JP2011071746A - 映像出力装置及び映像出力方法 - Google Patents

Abstract

【課題】取得した現実の映像に仮想情報を重畳した映像を出力するに際して、正方形といった特定の形状及び特定の色に制限されないマーカーを用いて、取得した映像に重畳される仮想情報の向き及び位置を検出することを可能とする。
【解決手段】映像出力装置１では、撮像対象物に付されるマーカーは、円形状を有する主部及び１以上の図形からなる付随図形部により構成されており、マーカーの特徴に基づいて、対象画像に含まれるマーカーの傾きが画像処理部１２により検出され、マーカーの傾きに基づき映像変換部１８により表示対象映像が変換され、変換された表示対象映像が映像出力部１９により出力される。これにより、特定の色及び正方形といった特定の形状に制限されないマーカーを含む対象画像に基づき、表示対象画像の変換に用いるマーカーの傾きを検出することが可能となる。
【選択図】図１

Description

本発明は、拡張現実感の実現に用いられる映像出力装置及び映像出力方法に関する。

拡張現実感（Augmented Reality）技術では、カメラ等により取得される現実の世界の画像に仮想の情報を重畳した映像がユーザに提供される。このとき、仮想情報を重畳する位置や、重畳する際の仮想情報の向き等の情報を、カメラ等の画像から取得する必要がある。例えば、白色と黒色で構成された正方形のパターンをマーカーとし、カメラ画像中から黒色の四角領域を探索し、探索された四角形の形を検出することにより、仮想情報の重畳を実現する技術が知られている（非特許文献１参照）。

加藤 博一"拡張現実感システム構築ツールARToolKitの開発"Technicalreport of IEICE. PRMU 101(652) pp.79-86（2002）

しかしながら、非特許文献１に記載された技術では、白色及び黒色の正方形の図形から構成される特定のマーカーを用いる必要があり、マーカーの色及び形状が制限されるので、不便であった。また、マーカーが付された撮像対象物のデザイン性を損なうこともあった。

そこで、本発明は、上記問題点に鑑みてなされたものであり、取得した現実の映像に仮想情報を重畳した映像を出力するに際して、正方形といった特定の形状及び特定の色に制限されないマーカーを用いて、取得した映像に重畳される仮想情報の向き及び位置を検出することが可能な映像出力装置及び映像出力方法を提供することを目的とする。

上記課題を解決するために、本発明の映像出力装置は、任意の平面上に円形に形成された主部、及び主部における円の内部または外部近傍の平面上に形成されると共に、平面に垂直な方向を軸とした回転を検出可能な１以上の図形からなる付随図形部を含むマーカーが付された撮像対象物の画像に基づき、所定の表示対象の映像を表示装置に出力する映像出力装置であって、マーカーが付された撮像対象物の画像である対象画像のデータを取得する画像取得手段と、マーカーの特徴を記憶するマーカー特徴記憶手段と、マーカー特徴記憶手段に記憶されたマーカーの特徴に基づき、画像取得手段により取得された対象画像に含まれるマーカーの傾きを検出する画像処理手段と、表示対象の映像である表示対象映像を予め蓄積している映像蓄積手段と、画像処理手段により検出されたマーカーの傾きに基づき、映像蓄積手段に蓄積された表示対象映像を変換する映像変換手段と、映像変換手段により変換された表示対象映像を所定の表示装置に表示させる映像出力手段とを備えることを特徴とする。

また、上記課題を解決するために、本発明の映像出力方法は、任意の平面上に円形に形成された主部、及び主部における円の内部または外部近傍の平面上に形成されると共に、平面に垂直な方向を軸とした回転を検出可能な１以上の図形からなる付随図形部を含むマーカーが付された撮像対象物の画像に基づき、所定の表示対象の映像を表示装置に出力する映像出力装置における映像出力方法であって、マーカーが付された撮像対象物の画像である対象画像のデータを取得する画像取得ステップと、マーカーの特徴を予め記憶しているマーカー特徴記憶手段からマーカーの特徴を取得し、取得したマーカーの特徴に基づき画像取得ステップにおいて取得された対象画像に含まれるマーカーの傾きを検出する画像処理ステップと、画像処理ステップにおいて検出されたマーカーの傾きに基づき、表示対象の映像である表示対象映像を予め蓄積している映像蓄積手段に蓄積された表示対象映像を変換する映像変換ステップと、映像変換ステップにおいて変換された表示対象映像を所定の表示装置に表示させる映像出力ステップとを有することを特徴とする。

本発明の映像出力装置及び映像出力方法によれば、撮像対象物に付されるマーカーは、円形状を有する主部及び１以上の図形からなる付随図形部により構成され、マーカーの特徴に基づいて、対象画像に含まれるマーカーの傾きが検出され、マーカーの傾きに基づき表示対象映像が変換され、変換された表示対象映像が出力される。これにより、特定の色及び正方形といった特定の形状に制限されないマーカーを含む対象画像に基づき、表示対象画像の変換に用いるマーカーの傾きを検出することが可能となる。なお、マーカーの付随図形部を構成する図形には、図形及び文字が含まれる。

また、本発明の映像出力装置では、画像処理手段は、対象画像からマーカーの特徴を備えた領域であるマーカー特徴領域を抽出するマーカー位置検出手段と、マーカー位置検出手段により抽出されたマーカー特徴領域から、マーカー特徴領域においてマーカーの主部が撮像された楕円形状の領域であるマーカー領域を検出するマーカー楕円検出手段と、対象画像からマーカーの付随図形部が撮像された領域である付随図形領域を検出するマーカー周辺特徴検出手段と、マーカー楕円検出手段により検出されたマーカー領域の形状、及びマーカー周辺特徴検出手段により検出された付随図形領域の形状に基づいて、マーカーの傾きを計算するマーカー姿勢計算手段とを含むことを特徴とする。

この構成によれば、マーカー特徴領域を抽出することにより、対象画像におけるマーカーの大まかな存在位置が検出され、その存在位置から対象画像において楕円形状に表されたマーカーの主部の像であるマーカー領域が検出され、さらに対象画像におけるマーカーの主部における円の内部または周辺部から付随図形領域が検出され、検出されたマーカー領域及び付随図形領域の形状に基づき、マーカーの傾きが計算されるので、適切に表示対象画像の変換に用いるマーカーの傾きが得られる。従って、適切に本発明を実施することができる。

また、本発明の映像出力装置では、マーカー姿勢計算手段は、マーカー領域により形成される楕円の長軸の長さに対する短軸の長さの比、並びに付随図形領域の形状及びマーカー領域に対する位置関係に基づいて、マーカーの傾きを計算することが好ましい。

この場合には、楕円形状のマーカー領域の長軸に対する短軸の長さの比、付随図形領域の形状及びマーカー領域に対する位置関係といった容易に取得可能な情報に基づきマーカーの傾きが計算されるので、容易に本発明を実施することができる。

また、本発明の映像出力装置では、マーカー特徴記憶手段は、マーカーが有する色に関する情報を記憶しており、マーカー位置検出手段は、マーカー特徴記憶手段に記憶されているマーカーの色に関する情報に基づいて、マーカー特徴領域を抽出することが好ましい。

この場合には、対象画像からの抽出が容易な色といった情報に基づき、マーカー特徴領域が抽出されるので、マーカーのおよその位置として容易にマーカー特徴領域を抽出することが可能となる。

また、本発明の映像出力装置では、マーカー特徴記憶手段は、マーカーの画像データを記憶しており、マーカー位置検出手段は、マーカー特徴記憶手段に記憶されているマーカーの画像に基づいて、対象画像を探索することによりマーカー特徴領域を抽出することが好ましい。

この場合には、予め記憶されているマーカーの画像データに基づいて対象画像を探索することにより、マーカー特徴領域が抽出されるので、対象画像中におけるマーカーの位置として確実にマーカー特徴領域を抽出することが可能となる。

また、本発明の映像出力装置では、映像蓄積手段に蓄積されている表示対象映像は、映像中における所定の基準位置を示す基準位置情報を含んでおり、映像出力手段は、基準位置情報に示される基準位置を画像取得部により取得された対象画像におけるマーカーの位置に合わせて、映像変換手段により変換された表示対象映像を所定の表示装置に表示させることを特徴とする。

この構成によれば、表示対象映像における基準位置が対象画像のマーカーの位置に合わせて表示装置に出力されるので、表示対象映像を適切に対象画像に重畳して表示させることが可能となる。

本発明の映像出力装置及び映像出力方法によれば、取得した現実の映像に仮想情報を重畳した映像を出力するに際して、特定の色及び正方形といった特定の形状に制限されないマーカーを用いて、表示対象画像の変換に用いるマーカーの傾きが検出され、マーカーの傾きに基づいて、取得された映像に重畳される仮想情報の向き及び位置を得ることが可能となる。

映像出力装置の機能的構成、及び映像出力装置を含むシステムのブロック図である。 実施形態に係るマーカーの例を示す図である。 映像出力装置のハードブロック図である。 マーカー特徴記憶部に特徴が記憶されているマーカーの例を示す図である。 マーカーの傾きを表現するための座標軸を示す図である。 マーカー楕円検出部により検出されたマーカー領域、及びマーカー周辺特徴検出部により検出された付随図形領域を模式的に示す図、及び撮像対象物に付されたマーカーを、マーカーが表された平面と正対する方向から見た状態を示すと共に、付随図形領域及び付随図形直線を模式的に示す図である。 マーカー姿勢計算部１６により判定される、回転角θの回転方向を説明するための図である。 映像蓄積部に記憶されている表示対象映像の例を示す図、及び映像変換部による変換後の表示対象映像の例を示す図である。 映像変換部により変換された表示対象映像を模式的に示す図、画像取得部により取得された対象画像を模式的に示す図、映像出力部により表示部に表示された表示対象映像を模式的に示す図である。 映像出力装置において実施される映像出力方法の処理内容を示すフローチャートである。

本発明に係る映像出力装置の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、映像出力装置１を含むシステムの全体構成図である。映像出力装置１は、マーカーが付された撮像対象物の画像に基づき、所定の表示対象の映像を表示装置に出力する装置である。ここで、映像出力装置１の説明に先立って、本実施形態におけるマーカーについて説明する。

マーカーは、拡張現実感技術において、現実世界のカメラ画像に仮想情報を重畳する際に、仮想情報を重畳する位置や向きといった情報をカメラ画像から抽出するために撮像対象物に付されるものである。本実施形態のマーカーは、
任意の平面上に円形に形成された主部、及び主部における円の内部または外部近傍の平面上に形成されると共に、平面に垂直な方向を軸とした回転を検出可能な１以上の図形からなる付随図形部を含む。映像出力装置１は、マーカーが付された撮像対象物の画像を取得することにより、表示対象の映像を表示する際の位置や向きといった情報をマーカーの画像から取得する。

図２は、本実施形態のマーカーの例を示す図である。図２（ａ）に示すマーカーＭ_Ａは、円形状の主部ＭＭ_Ａと、主部ＭＭ_Ａの内部に表された３つの図形からなる付随図形部ＭＳ_Ａにより構成されている。また、図２（ｂ）に示すマーカーＭ_Ｂは、円形状の主部ＭＭ_Ｂと、主部ＭＭ_Ｂにより形成される円の上側外部及び下側外部に表された２つの図形からなる付随図形部ＭＳ_Ｂにより構成されている。さらに、図２（ｃ）に示すマーカーＭ_Ｃは、円形状の主部ＭＭ_Ｃと、主部ＭＭ_Ｃにより形成される円の左側外部に表された１つの円からなる付随図形部ＭＳ_Ｃにより構成されている。このように、付随図形部ＭＳ_Ａ〜ＭＳ_Ｃは、どのような図形であってもよいし、また、何らかの文字であってもよいが、主部ＭＭ_Ａ〜ＭＭ_Ｃ及び付随図形部ＭＳ_Ａ〜ＭＳ_Ｃが形成された平面に垂直な方向を軸とした回転を検出可能な１以上の図形により構成されている必要がある。従って、付随図形部を円形状の主部と中心位置が一致する円により構成することは不可能である。なお、図２（ａ）に示すマーカーＭ_Ａのように、付随図形部ＭＳ_Ａが主部ＭＭ_Ａの内部に構成される場合には、付随図形部ＭＳ_Ａは、主部ＭＭ_Ａの色と異なる色を有することが必要である。

再び図１を参照する。図１に示すように、映像出力装置１は、撮影部２０及び表示部３０とデータの授受可能に接続されている。この接続は、有線または無線に限定されない。

撮影部２０は、周囲の画像を取得する部分であると共に、マーカーを認識するためのセンサとしての機能を有する。撮影部２０は、例えば、可視光や赤外線を用いたカメラにより構成される。このカメラは、例えば、単独の装置として構成されることとしてもよいし、ヘッドマウントディスプレイ（ＨＭＤ）に備え付けられるものとして構成されることとしてもよい。

表示部３０は、後に説明する映像出力部１９から出力された映像を表示するための装置である。表示部３０は、例えば、ディスプレイ、ＨＭＤ及びプロジェクタといった装置により構成される。表示部３０がプロジェクタにより構成される場合には、表示部３０に入力された映像は、スクリーンに投影される。

なお、本実施形態では、撮影部２０及び表示部３０は、それぞれ映像出力装置１と接続される他の装置として構成されることとしたが、映像出力装置１の一機能部として備えられることとしてもよい。

続いて、映像出力装置１の機能について詳細に説明する。映像出力装置１は、機能的には、画像取得部１０（画像取得手段）、マーカー特徴記憶部１１（マーカー特徴記憶手段）、画像処理部１２（画像処理手段）、映像蓄積部１７（映像蓄積手段）、映像変換部１８（映像変換手段）、映像出力部１９（映像出力手段）、マーカー位置検出部１３（マーカー位置検出手段）、マーカー楕円検出部１４（マーカー楕円検出手段）、マーカー周辺特徴検出部１５（マーカー周辺特徴検出手段）及びマーカー姿勢計算部１６（マーカー姿勢計算手段）を備える。

図３は、映像出力装置１のハードウエア構成図である。映像出力装置１は、物理的には、図３に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、ネットワークカード等のデータ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード、マウス及びスイッチ等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図３に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、映像出力装置１の各機能部について詳細に説明する。

画像取得部１０は、マーカーが付された撮像対象物の画像である対象画像を撮影部２０から取得する部分である。

マーカー特徴記憶部１１は、マーカーの特徴を記憶する記憶手段である。図４は、マーカー特徴記憶部１１に特徴が記憶されているマーカーＭ_１の例を示す図である。図４に示すように、マーカーＭ_１は、主部ＭＭ_１、及び付随図形部ＭＳ_１により構成されている。より具体的には、マーカー特徴記憶部１１は、マーカーの特徴として、例えば、マーカーＭ_１の主部ＭＭ_１及び付随図形部ＭＳ_１が有する色に関する情報を記憶している。また、マーカー特徴記憶部１１は、マーカーの特徴として、例えば、マーカーＭ_１の画像データを記憶していることとしてもよい。なお、マーカーの特徴は、予めマーカー特徴記憶部１１に記憶されていることとしてもよいし、ユーザにより任意のマーカーが登録されることとしてもよい。

画像処理部１２は、マーカー特徴記憶部１１に記憶されたマーカーＭ_１の特徴に基づき、画像取得部１０により取得された対象画像に含まれるマーカーＭ_１の傾きを検出する部分である。ここで、以降の説明においてマーカーＭ_１の傾きを表現するための座標軸を図５に示す。即ち、図５における紙面右方向をｘ軸の正方向とし、紙面上方向をｙ軸の正方向とし、紙面奥行方向をｚ軸の正方向とし、図４に示すマーカーＭ_１は、ｘ軸及びｙ軸に平行な平面上に表される。画像処理部１２により検出されるマーカーＭ_１の傾きは、ｘ軸回り、ｙ軸回り及びｚ軸回りの回転が合成されたものである。

また、画像処理部１２は、マーカーＭの傾きを検出するために、マーカー位置検出部１３、マーカー楕円検出部１４、マーカー周辺特徴検出部１５及びマーカー姿勢計算部１６を含む。次に、画像処理部１２に含まれる各機能部１３〜１６について詳細に説明する。

マーカー位置検出部１３は、マーカー特徴記憶部１１に記憶されたマーカーＭ_１の特徴に基づいて、マーカーＭ_１の特徴を備えた領域であるマーカー特徴領域を対象画像から抽出する部分である。マーカー特徴記憶部１１がマーカーＭ_１の主部ＭＭ_１及び付随図形部ＭＳ_１が有する色に関する情報を記憶している場合には、マーカー位置検出部１３は、マーカーＭ_１の主部ＭＭ_１及び付随図形部ＭＳ_１の色を備えた領域を対象画像から抽出する。また、マーカー特徴記憶部１１が、マーカーＭ_１の画像データを記憶している場合には、マーカー位置検出部１３は、例えばテンプレートマッチングといった既知の手法を用いて探索することにより、マーカーＭ_１が表されている画像領域を対象画像から抽出する。対象画像からマーカーＭ_１の画像を抽出するには、いわゆるアクティブ探索法、ＳＩＦＴ法等の手法を用いることができる。これにより、マーカー位置検出部１３は、対象画像におけるおよその位置を検出することができる。

なお、マーカーＭ_１の特徴を備えた領域としてマーカー位置検出部１３により抽出された領域であっても、面積が一定値未満の領域はノイズである蓋然性が高い。従って、マーカー位置検出部１３は、マーカー特徴領域の抽出に際して、対象画像からマーカーＭ_１の特徴を備えた領域として抽出した領域のうち、面積が一定値未満の領域を排除する。例えば、対象画像中におけるマーカーＭ_１の面積の概略値を予め見積もっておき、この概略値をノイズの排除に用いる一定値として採用することができる。マーカー位置検出部１３は、抽出された領域のうち、対象画像中におけるマーカーＭ_１の面積の概略値未満の領域をノイズと見なす。

マーカー楕円検出部１４は、マーカー位置検出部１３により抽出されたマーカー特徴領域から、マーカー特徴領域においてマーカーの主部ＭＭ_１が撮像された楕円形状の領域であるマーカー領域を検出する部分である。円形状を有するマーカーＭ_１の主部ＭＭ_１は、図５に示すｘ軸またはｙ軸回りの回転により傾きを伴う場合には、対象画像では楕円形状に表される。従って、マーカー領域は、楕円形状を有する。なお、マーカーＭ_１の主部ＭＭ_１がｘ軸またはｙ軸回りの回転により傾きを伴わない場合には、マーカー領域は、円形状を有すると共に、扁平率がゼロである楕円形状を有することとなる。

具体的には、マーカー楕円検出部１４は、例えば、マーカー位置検出部１３により抽出されたマーカー特徴領域の輪郭上に複数の点を設定し、設定された複数の点により楕円を定義することができる。そして、マーカー楕円検出部１４は、定義された楕円をマーカー領域として検出する。マーカー領域の検出には、例えば、最小二乗法、一般化ハフ変換といった手法を適用することができ、特定の手法に限定されない。また、マーカー特徴領域にノイズが含まれる場合には、マーカー領域の検出に際して、ロバスト推定を用いることができる。また、複数の領域がマーカー楕円検出部１４により検出された場合には、マーカー楕円検出部１４は、例えば、最も面積が大きい領域をマーカー領域として採用したり、マーカー特徴記憶部１１に記憶されているマーカーの色を最も多く含む領域をマーカー領域として採用したり、マーカーの画像データに基づいたテンプレートマッチングによりマーカー領域として採用する領域を決定したりすることができる。

マーカー周辺特徴検出部１５は、対象画像からマーカーの付随図形部ＭＳ_１が撮像された領域である付随図形領域を検出する部分である。より具体的には、付随図形部ＭＳ_１が主部ＭＭ_１の内部に配置されている場合には、マーカー周辺特徴検出部１５は、主部ＭＭ_１の色以外の色を有する領域をマーカー領域から抽出することにより、付随図形領域を検出することができる。また、付随図形部ＭＳ_１の画像データがマーカー特徴記憶部１１に記憶されている場合には、マーカー周辺特徴検出部１５は、テンプレートマッチング等の手法を用いることにより、対象画像から付随図形領域を検出することができる。

マーカー姿勢計算部１６は、マーカー楕円検出部１４により検出されたマーカー領域の形状、及びマーカー周辺特徴検出部１５により検出された付随図形領域の形状に基づいて、マーカーの傾きを計算する部分である。以下に、マーカーの傾きの計算について詳細に説明する。

図６（ａ）は、マーカー楕円検出部１４により検出されたマーカー領域ＲＭ、及びマーカー周辺特徴検出部１５により検出された付随図形領域ＲＳを模式的に示す図である。また、図６（ｂ）は、撮像対象物に付されたマーカーＭ_１を、マーカーＭ_１が表された平面と正対する方向から見た状態を示すと共に、付随図形領域ＲＳ及び付随図形直線ＬＳを模式的に示す図である。

付随図形領域ＲＳは、図６（ｂ）に示すように、付随図形部ＭＳ_１が設けられた全ての画素領域を包含する領域として、マーカー周辺特徴検出部１５により定義される。また、付随図形直線ＬＳは、マーカー姿勢計算部１６により、付随図形領域ＲＳを直線近似して求められた直線である。なお、本実施形態では、図６（ｂ）に示すように、マーカーＭ_１は、付随図形直線ＬＳが水平方向に沿うように撮像対象物に付されている。

マーカー姿勢計算部１６は、マーカーの傾きを求めるために、マーカー領域ＲＭの長軸Ｌと水平方向Ｈとの角度φ、マーカー領域ＲＭの長軸Ｌと付随図形直線ＬＳとの角度γを求める（図６（ａ）参照）。角度φ及び角度γは、マーカーＭ_１のｚ軸回りの回転を含んでいる。なお、本実施形態では、付随図形領域ＲＳ及び付随図形直線ＬＳに基づきマーカーＭ_１のｚ軸回りの回転を求めているが、これには限られない。例えば、マーカー姿勢計算部１６は、楕円近似された付随図形領域ＲＳの長軸の傾きに基づいて、マーカーＭ_１のｚ軸回りの回転を求めることができる。また、付随図形領域ＲＳに含まれる図形等から検出された特徴的な形状における特徴点の位置関係、及び付随図形領域ＲＳに含まれる図形等の傾き及び歪みに基づいて、マーカーＭ_１のｚ軸回りの回転を求めることができる。特に、付随図形領域ＲＳに含まれる図形の特徴点を用いた場合には、ｚ軸回りに正方向に９０度回転した場合と、負方向に９０度回転した場合との判別が可能となる。

また、マーカー姿勢計算部１６は、下記式（１）により、マーカー領域ＲＭにより形成される楕円の長軸Ｌの長さに対する短軸Ｓの長さの比に基づいて、マーカーＭ_１のｘ軸及びｙ軸回りの回転角θを求める。

なお、式（１）により求められる回転角θは、楕円の長軸Ｌの長さに対する短軸Ｓの長さの比に基づいて求められるものであるので、回転角θが、図７に示すプラス方向またはマイナス方向のどちらの方向への回転を含むものであるのかが区別できない。そこで、マーカー姿勢計算部１６は、マーカー領域ＲＭの画像の明るさの値を取得し、取得した明るさの値が所定の閾値以上であるか、閾値未満であるかにより回転方向を判定することができる。

光源がマーカーＭ_１の上方に存在することを前提とすると、マーカー領域ＲＭの画像の明るさの値が所定の閾値以上である場合には、マーカー姿勢計算部１６は、回転角θが図７におけるプラス方向への回転を示すものであると判定する。一方、マーカー領域ＲＭの画像の明るさの値が所定の閾値未満である場合には、マーカー姿勢計算部１６は、回転角θが図７におけるマイナス方向への回転を示すものであると判定する。なお、光源がマーカーＭ_１の下方に存在するときには、マーカー領域ＲＭの画像の明るさの値が所定の閾値以上である場合には、マーカー姿勢計算部１６は、回転角θが図７におけるマイナス方向への回転を示すものであると判定する。一方、マーカー領域ＲＭの画像の明るさの値が所定の閾値未満である場合には、マーカー姿勢計算部１６は、回転角θが図７におけるプラス方向への回転を示すものであると判定する。例えば、マーカー領域ＲＭの画像がＨＳＶ表色系のデータにより表されている場合には、マーカー姿勢計算部１６は、判定に用いる明るさの値として、Ｖ値（明るさ）を採用する。マーカー姿勢計算部１６は、以上のようにして求めた角度γ、角度φ、回転角θを映像変換部１８に送出する。

映像蓄積部１７は、表示部３０により表示される表示対象の映像である表示対象映像を予め蓄積している記憶手段である。図８（ａ）は、映像蓄積部１７に記憶されている表示対象映像の例を示す図である。

映像変換部１８は、画像処理部１２により検出されたマーカーＭ_１の傾きに基づき、映像蓄積部１７に蓄積された表示対象映像を変換する部分である。より具体的には、映像変換部１８は、マーカー姿勢計算部１６から取得した角度γ、角度φ、回転角θの値に基づいて、下記変換行列Ｒ、Ｓ、Ｔを求める。なお、下記変換行列Ｓにおいて用いられるθは、マーカー姿勢計算部１６により回転角θが図７におけるマイナス方向への回転を示すものであると判定された場合には、（−θ）とする。

さらに、映像変換部１８は、表示対象映像における座標（Ｘ，Ｙ，Ｚ）を下記式（５）により変換し、表示対象映像の変換後の座標（ｘ，ｙ，ｚ）を得る。

上記式（５）により、表示対象映像は、変換行列Ｒによりｚ軸回りに（γ＋φ）だけ回転し、変換行列Ｓによりｘ、ｙ軸回りにθだけ回転し、変換行列Ｔによりｚ軸回りにφだけ回転する。以上のようにして得られた座標（ｘ，ｙ，ｚ）により表される変換後の表示対象映像は、マーカーＭ_１の姿勢（傾き）を一致したものとなる。図８（ｂ）は、変換後の表示対象映像の例を示す図である。映像変換部１８は、変換後の表示対象映像を映像出力部１９に送出する。

映像出力部１９は、映像変換部１８により変換された表示対象映像を表示部３０に表示させる部分である。以下に具体的に説明する。映像蓄積部１７に蓄積されている表示対象映像は、映像中における所定の基準位置を示す基準位置情報を含んでいる。図９（ａ）は、映像変換部１８により変換された表示対象映像ＶＩを模式的に示す図である。図９（ａ）に示すように、表示対象映像ＶＩは、基準位置ＶＰを含んでいる。図９（ｂ）は、画像取得部１０により取得された対象画像ＴＰを模式的に示す図である。対象画像ＴＰにはマーカーＭが含まれている。

映像出力部１９は、基準位置情報に示される基準位置ＶＰを対象画像ＴＰにおけるマーカーＭの位置に合わせて、映像変換部１８により変換された表示対象映像ＶＩを表示部３０に表示させる。図９（ｃ）は、映像出力部１９により表示部３０に表示された表示対象映像を模式的に示す図である。図９（ｃ）に示すように、表示対象映像ＶＩにおける基準位置ＶＰは、対象画像ＴＰにおけるマーカーＭの位置に合わせられている。

続いて、図１０を参照して、本実施形態の映像出力方法における映像出力装置１の動作について説明する。図１０は、映像出力装置１において実施される処理内容を示すフローチャートである。

まず、画像取得部１０は、マーカーが付された撮像対象物の画像である対象画像を撮影部２０から取得する（Ｓ１、画像取得ステップ）。次に、画像処理部１２のマーカー位置検出部１３は、マーカー特徴記憶部１１に記憶されたマーカーＭ_１の特徴に基づいて、マーカーＭ_１の特徴を備えた領域であるマーカー特徴領域を対象画像から抽出することによりマーカーの位置を検出する（Ｓ２）。続いて、マーカー位置検出部１３は、マーカー特徴領域の抽出に際して、対象画像からマーカーＭ_１の特徴を備えた領域として抽出した領域のうち、面積が一定値未満の領域を排除することによりノイズを除去する（Ｓ３）。

次に、マーカー楕円検出部１４は、マーカー位置検出部１３により抽出されたマーカー特徴領域から、マーカー特徴領域においてマーカーの主部ＭＭ_１が撮像された楕円形状の領域であるマーカー領域を検出する（Ｓ４）。マーカー周辺特徴検出部１５は、対象画像からマーカーの付随図形部ＭＳ_１が撮像された領域である付随図形領域を検出する（Ｓ５）。さらに、マーカー姿勢計算部１６は、マーカーの傾きを求めるために、楕円形状のマーカー領域の長軸Ｌと水平方向Ｈとの角度φ、マーカー領域の長軸Ｌと付随図形直線ＬＳとの角度γを求めることにより（図６（ａ）参照）、マーカーＭ_１のｚ軸回りの回転（傾き）を検出する（Ｓ５）。

続いて、マーカー姿勢計算部１６は、上記式（１）により、マーカー領域ＲＭにより形成される楕円の長軸Ｌの長さに対する短軸Ｓの長さの比に基づいて（図６（ａ）参照）、マーカーＭ_１のｘ軸及びｙ軸回りの回転角θを検出する（Ｓ６）。ここで、マーカー姿勢計算部１６は、マーカー領域ＲＭの画像の明るさの値を取得し、取得した明るさの値が所定の閾値以上であるか、閾値未満であるかにより回転角θの回転方向を検出する（Ｓ７）。なお、ステップＳ４〜Ｓ７の処理は、本発明における画像処理ステップを構成する。

次に、映像変換部１８は、マーカー姿勢計算部１６から取得した角度γ、角度φ、回転角θの値に基づいて、変換行列Ｒ、Ｓ、Ｔを生成する（Ｓ８）。続いて、映像変換部１８は、上記式（５）を用いて、表示対象映像を変換する（Ｓ９）。なお、ステップＳ８〜Ｓ９の処理は、本発明における映像変換ステップを構成する。

そして、映像出力部１９は、映像変換部１８により変換された表示対象映像を表示部３０に表示させる（Ｓ１０）。こうして、本実施形態の処理を終了する。

以上説明した実施形態の映像出力装置１では、撮像対象物に付されるマーカーは、円形状を有する主部及び１以上の図形からなる付随図形部により構成されており、マーカーの特徴に基づいて、対象画像に含まれるマーカーの傾きが画像処理部１２により検出され、マーカーの傾きに基づき映像変換部１８により表示対象映像が変換され、変換された表示対象映像が映像出力部１９により出力される。これにより、特定の色及び正方形といった特定の形状に制限されないマーカーを含む対象画像に基づき、表示対象画像の変換に用いるマーカーの傾きを検出することが可能となる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１…映像出力装置、１０…画像取得部、１１…マーカー特徴記憶部、１２…画像処理部、１３…マーカー位置検出部、１４…マーカー楕円検出部、１５…マーカー周辺特徴検出部、１６…マーカー姿勢計算部、１７…映像蓄積部、１８…映像変換部、１９…映像出力部、２０…撮影部、３０…表示部、Ｌ…長軸、Ｓ…短軸、Ｍ，Ｍ_１，Ｍ_Ａ，Ｍ_Ｂ，Ｍ_Ｃ…マーカー、ＭＭ_１，ＭＭ_Ａ，ＭＭ_Ｂ，ＭＭ_Ｃ…主部、ＭＳ_１，ＭＳ_Ａ，ＭＳ_Ｂ，ＭＳ_Ｃ…付随図形部、ＲＭ…マーカー領域、ＲＳ…付随図形領域、ＬＳ…付随図形直線。

Claims (7)

1. 任意の平面上に円形に形成された主部、及び前記主部における円の内部または外部近傍の前記平面上に形成されると共に、前記平面に垂直な方向を軸とした回転を検出可能な１以上の図形からなる付随図形部を含むマーカーが付された撮像対象物の画像に基づき、所定の表示対象の映像を表示装置に出力する映像出力装置であって、
   前記マーカーが付された撮像対象物の画像である対象画像のデータを取得する画像取得手段と、
   前記マーカーの特徴を記憶するマーカー特徴記憶手段と、
   前記マーカー特徴記憶手段に記憶された前記マーカーの特徴に基づき、前記画像取得手段により取得された前記対象画像に含まれる前記マーカーの傾きを検出する画像処理手段と、
   前記表示対象の映像である表示対象映像を予め蓄積している映像蓄積手段と、
   前記画像処理手段により検出された前記マーカーの傾きに基づき、前記映像蓄積手段に蓄積された前記表示対象映像を変換する映像変換手段と、
   前記映像変換手段により変換された前記表示対象映像を前記表示装置に表示させる映像出力手段と
   を備えることを特徴とする映像出力装置。
2. 前記画像処理手段は、
   前記対象画像から前記マーカーの特徴を備えた領域であるマーカー特徴領域を抽出するマーカー位置検出手段と、
   前記マーカー位置検出手段により抽出された前記マーカー特徴領域から、前記マーカー特徴領域において前記マーカーの前記主部が撮像された楕円形状の領域であるマーカー領域を検出するマーカー楕円検出手段と、
   前記対象画像から前記マーカーの前記付随図形部が撮像された領域である付随図形領域を検出するマーカー周辺特徴検出手段と、
   前記マーカー楕円検出手段により検出された前記マーカー領域の形状、及び前記マーカー周辺特徴検出手段により検出された前記付随図形領域の形状に基づいて、前記マーカーの傾きを計算するマーカー姿勢計算手段とを含む
   ことを特徴とする請求項１に記載の映像出力装置。
3. 前記マーカー姿勢計算手段は、前記マーカー領域により形成される楕円の長軸の長さに対する短軸の長さの比、並びに前記付随図形領域の形状及び前記マーカー領域に対する位置関係に基づいて、前記マーカーの傾きを計算すること
   ことを特徴とする請求項２に記載の映像出力装置。
4. 前記マーカー特徴記憶手段は、前記マーカーが有する色に関する情報を記憶しており、
   前記マーカー位置検出手段は、
   前記マーカー特徴記憶手段に記憶されている前記マーカーの色に関する情報に基づいて、前記マーカー特徴領域を抽出する
   ことを特徴とする請求項２または３に記載の映像出力装置。
5. 前記マーカー特徴記憶手段は、前記マーカーの画像データを記憶しており、
   前記マーカー位置検出手段は、
   前記マーカー特徴記憶手段に記憶されている前記マーカーの画像に基づいて、前記対象画像を探索することにより前記マーカー特徴領域を抽出する
   ことを特徴とする請求項２または３に記載の映像出力装置。
6. 前記映像蓄積手段に蓄積されている前記表示対象映像は、映像中における所定の基準位置を示す基準位置情報を含んでおり、
   前記映像出力手段は、
   基準位置情報に示される基準位置を前記画像取得部により取得された対象画像におけるマーカーの位置に合わせて、前記映像変換手段により変換された前記表示対象映像を所定の表示装置に表示させる
   ことを特徴とする請求項１〜５のいずれか１項に記載の映像出力装置。
7. 任意の平面上に円形に形成された主部、及び前記主部における円の内部または外部近傍の前記平面上に形成されると共に、前記平面に垂直な方向を軸とした回転を検出可能な１以上の図形からなる付随図形部を含むマーカーが付された撮像対象物の画像に基づき、所定の表示対象の映像を表示装置に出力する映像出力装置における映像出力方法であって、
   前記マーカーが付された撮像対象物の画像である対象画像のデータを取得する画像取得ステップと、
   前記マーカーの特徴を予め記憶しているマーカー特徴記憶手段から前記マーカーの特徴を取得し、取得した前記マーカーの特徴に基づき前記画像取得ステップにおいて取得された前記対象画像に含まれる前記マーカーの傾きを検出する画像処理ステップと、
   前記画像処理ステップにおいて検出された前記マーカーの傾きに基づき、前記表示対象の映像である表示対象映像を予め蓄積している映像蓄積手段に蓄積された前記表示対象映像を変換する映像変換ステップと、
   前記映像変換ステップにおいて変換された前記表示対象映像を前記表示装置に表示させる映像出力ステップと
   を有することを特徴とする映像出力方法。
   
   

Images