JP2009187412A - マーカ検出識別装置およびそのプログラム - Google Patents

Abstract

【課題】撮像された映像をマーカが妨害することなく、かつ、精度よくマーカを検出・識別することが可能なマーカ検出識別装置を提供する。
【解決手段】マーカ検出識別装置３は、不可視マーカごとに、当該不可視マーカが配置されている位置の近傍領域における色特徴量を予め記憶する記憶手段３１と、不可視光撮像系で撮像した不可視光画像において、予め定めた輝度値を閾値として不可視マーカを検出するマーカ検出手段３４と、マーカ検出手段３４で検出された不可視マーカの位置に対応する可視光撮像系で撮像された可視光画像の位置の近傍領域における色特徴量を生成する検出マーカ色情報生成手段３５と、検出マーカ色情報生成手段３５で生成された色特徴量と、記憶手段３１に記憶されている色特徴量との類似の度合に基づいて、不可視マーカを個別に識別するマーカ識別手段３６と、を備える。
【選択図】図６

Description

本発明は、撮像画像の範囲に存在する複数のマーカを検出し、個別に識別するマーカ検出識別装置およびマーカ検出識別プログラムに関する。

従来、カメラで撮像した画像（映像）から、被写体単位、あるいは被写体の特定部位単位で、対象被写体や対象部位が、その実体が何であり、どこに位置しているのかを検出・識別したいという要望がある。この技術の用途としては、例えば、検出・識別した情報を映像に関連付けておき、その情報に基づいて、映像を効率よく検索する映像検索装置がある。また、この技術は、例えば、実写映像とコンピュータグラフィックス（ＣＧ）による映像を合成するＣＧ合成装置に用いることができる。具体的には、空間における位置が既知の被識別領域がカメラで撮像した映像中に複数存在し、それらを検出・識別することで、カメラの向きや位置といったカメラの姿勢（カメラパラメータ）を認識する。そして、そのカメラパラメータを用いることで、合成映像を作成する際に、ＣＧ素材の向き、位置、サイズ等を算出することができ、違和感なく実写映像とＣＧとを合成することができる。

このように映像内で特定の対象を検出し、識別する手法としては、以下に示すような手法が存在する。例えば、可視のマーカを被写体付近に取り付け、カメラで撮像した可視光画像を解析することで、マーカを検出・識別する手法（以下、マーカ方式という）が存在する（例えば、非特許文献１参照）。この手法は、カメラが撮像する方向において、ユニークなマーカを配置しておき、予め学習しておいたマーカの模様（配置パターン）と、撮像した画像上のマーカの模様とを比較することで、識別を行う手法である。

また、例えば、赤外インクで描画されたマーカを赤外光カメラで撮像した赤外光画像上で解析することで、マーカを検出・識別する手法（以下、赤外インク方式という）が存在する（例えば、非特許文献２参照）。この手法は、カメラが撮像する方向において、ユニークなマーカを赤外インクにより描画しておき、可視光カメラと同光軸に配置した赤外光カメラで撮像を行った後、マーカ方式と同様、マーカの配置パターンによって、マーカの識別を行う手法である。
加藤博一、他３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、Vol.4、No.4、pp.607-616、1999年 Hanhoon Park and Jong-Il Park, "Invisible Marker Tracking for AR," Proceedings of The Third IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR) 2004, pp.272-273, Washington, DC, USA, 2004. IEEE Computer Society.

前記した従来のマーカ方式では、カメラで撮像した映像中にマーカが映ってしまう。このため、マーカ方式は、例えば、実写映像にＣＧを合成したい場合、ＣＧで合成されない領域に映っているマーカについては、画像処理や手作業によって、当該マーカを映像から消去する等の作業が発生してしまうという問題がある。

また、従来の赤外インク方式では、赤外インクによりマーカを描画しておくため、赤外光カメラでマーカを含んだ領域を撮像した場合、十分なコントラストが得られない場合がある。また、赤外インク方式は、赤外インクを塗布する下地の模様に影響を受けてしまうことがある。このため、赤外インク方式は、撮像映像からマーカを精度よく識別することができないという問題がある。

本発明は、以上のような課題を解決するためになされたものであり、撮像された映像（画像）をマーカが妨害することなく、かつ、精度よくマーカを検出・識別することが可能なマーカ検出識別装置およびマーカ検出識別プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のマーカ検出識別装置は、不可視光の光源である複数の不可視マーカを不可視光透過素材に埋め込んで配置した撮像対象を不可視光撮像系および可視光撮像系が同光軸で共役な位置に配置された撮像装置で撮像した同じ撮像範囲の不可視光画像および可視光画像から、複数の不可視マーカを検出し、個別に識別するマーカ検出識別装置であって、マーカ識別情報記憶手段と、マーカ検出手段と、検出マーカ色情報生成手段と、マーカ識別手段と、を備える構成とした。

かかる構成において、マーカ検出識別装置は、マーカ識別情報記憶手段に、不可視マーカごとに、当該不可視マーカが配置されている位置の近傍領域における色特徴量をマーカ識別情報として予め記憶しておく。この色特徴量には、例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値をベクトルとした色ベクトル、色平均等である。これによって、不可視マーカが埋め込まれた位置の色特徴量が予めモデルデータとして保持されることになる。

また、マーカ検出識別装置は、マーカ検出手段によって、不可視光画像において、予め定めた輝度値を閾値とし、当該閾値よりも高輝度の閉領域の重心位置を不可視マーカの位置として検出する。このように、不可視光の光源である不可視マーカを用いることで、不可視光画像において十分なコントラストが得られるため、マーカ検出手段は、不可視光画像から精度よく不可視マーカを検出することができる。

そして、マーカ検出識別装置は、検出マーカ色情報生成手段によって、マーカ検出手段で検出された不可視マーカの位置に対応する可視光画像の位置の近傍領域における色特徴量を検出マーカ色情報として生成する。不可視マーカの位置に対応する可視光画像には、不可視マーカが映っておらず、不可視マーカを覆っている領域の色情報のみが抽出されるため、不可視マーカの位置における色特徴量（検出マーカ色情報）が精度よく得られる。なお、この色特徴量は、マーカ識別情報記憶手段に記憶されている色特徴量（マーカ識別情報）と、同種の特徴量であり、例えば、色ベクトル、色平均等である。

そして、マーカ検出識別装置は、マーカ識別手段によって、検出マーカ色情報生成手段で生成された検出マーカ色情報と、マーカ識別情報記憶手段に記憶されているマーカ識別情報との類似の度合に基づいて、不可視マーカを個別に識別する。

また、このとき、マーカ識別情報は、３次元色空間座標における白色値を示す座標によって構成される直線に対して垂直な色平面座標に投影して累計した色ヒストグラムであって、検出マーカ色情報生成手段は、画素ごとに各色の値を色平面座標に投影して累計した色ヒストグラムを検出マーカ色情報として生成することが望ましい（請求項２）。

通常、撮像装置が照明色を基準にホワイトバランスが調整されている場合、撮像対象の照明の映り込みによる色の変化は、３次元色空間座標における白色値を示す座標によって構成される直線（照明色ベクトル）に平行な直線上で変化する。

そこで、マーカ検出識別装置は、マーカ識別情報として、不可視マーカが配置されている位置の近傍領域における各色の値を、３次元色空間座標における白色値を示す座標によって構成される直線（照明色ベクトル）に対して垂直な色平面座標に投影して累計した色ヒストグラムを用いることで、照明色の映り込みに影響を受けない色特徴量をモデルデータとする。

そして、マーカ検出識別装置は、検出マーカ色情報生成手段によって、不可視マーカの位置に対応する可視光画像の位置の近傍領域において、画素ごとに各色の値を色平面座標に投影して累計した色ヒストグラムを検出マーカ色情報として生成する。これによって、照明色の映り込みに影響を受けない色特徴量で不可視マーカの識別が可能になる。

さらに、マーカ識別情報記憶手段に、撮像対象を複数の位置で撮像した撮像画像における不可視マーカが配置されている近傍領域における各色の値を、色ヒストグラムの累計単位であるビンごとに平均化して、マーカ識別情報として記憶しておくことが望ましい（請求項３）。

このように、マーカ検出識別装置は、不可視マーカが配置されている近傍領域における各色の値を、複数の位置で予め撮像した画像において色ヒストグラムのビンごとに平均化しておくことで、色特徴量（色ヒストグラム）は、固定位置から撮像した不可視マーカの位置における色特徴量のみを示すものではなく、種々の方向から撮像した撮像画像内の不可視マーカの位置における色特徴量を示すことになる。

また、請求項４に記載のマーカ検出識別プログラムは、不可視光の光源である複数の不可視マーカを不可視光透過素材に埋め込んで配置した撮像対象を不可視光撮像系および可視光撮像系が同光軸で共役な位置に配置された撮像装置で撮像した同じ撮像範囲の不可視光画像および可視光画像から、複数の不可視マーカを検出し、個別に識別するために、コンピュータを、マーカ検出手段、検出マーカ色情報生成手段、マーカ識別手段、として機能させる構成とした。

かかる構成において、マーカ検出識別プログラムは、マーカ検出手段によって、不可視光画像において、予め定めた輝度値を閾値とし、当該閾値よりも高輝度の閉領域の重心位置を不可視マーカの位置として検出する。そして、マーカ検出識別プログラムは、検出マーカ色情報生成手段によって、マーカ検出手段で検出された不可視マーカの位置に対応する可視光画像の位置の近傍領域における色特徴量を検出マーカ色情報として生成する。

そして、マーカ検出識別プログラムは、マーカ識別手段によって、検出マーカ色情報生成手段で生成された検出マーカ色情報と、予め記憶手段に記憶されている不可視マーカが配置されている位置の近傍領域における色特徴量であるマーカ識別情報との類似の度合に基づいて、不可視マーカを個別に識別する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，４に記載の発明によれば、可視光画像には、不可視マーカが撮像されないため、撮像映像（画像）がマーカによって妨害されない。このため、本発明では、マーカを画像（映像）上で画像処理や手作業によって消去する必要がない。また、請求項１，４に記載の発明によれば、不可視光画像上で不可視マーカの位置を検出し、その位置に対応する不可視マーカが撮像されていない可視光画像における色特徴量に基づいて、不可視マーカを個々に識別するため、不可視マーカが存在する領域の色特徴量を精度よく抽出することができる。このため、本発明では、個々に配置した不可視マーカの位置における色特徴量から、精度よく不可視マーカを識別することができる。

請求項２に記載の発明によれば、照明光の色ベクトルに平行な色を同一の色として累計した色ヒストグラムを色特徴量として用いるため、照明光が撮像対象に映り込んだ場合であっても、同一の色特徴量を用いることができる。このため、本発明では、照明光が映り込んだ場合であっても、個々のマーカ近傍領域の色特徴量に影響がなく、精度よく不可視マーカを識別することができる。

請求項３に記載の発明によれば、色特徴量を複数の位置で撮像した画像の色によって平均化しておくため、マーク識別時に撮像位置を変えた場合であっても、同一の色特徴量を用いることができる。このため、本発明では、撮像対象を撮像する位置を変えた場合であっても、マーカ領域ごとに固有の色特徴量によって、精度よく不可視マーカを識別することができる。

以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、最初に、本発明の実施の形態に係るマーカ検出識別装置を含んだ映像処理システムの概要について説明した後、同軸撮像装置の構成、マーカ検出識別装置の構成および動作、マーカ検出識別装置の応用について順次説明を行うこととする。

［映像処理システムの概要］
最初に、図１を参照して、本発明の実施の形態に係るマーカ検出識別装置を含んだ映像処理システムの概要について説明する。図１は、映像処理システムの構成を示すブロック図である。映像処理システム１は、スタジオ等でカメラによって撮像された映像から、撮像対象に埋め込まれたマーカを検出し、個別に識別するものである。ここでは、映像処理システム１は、同軸撮像装置２と、マーカ検出識別装置３とを備えている。また、撮像対象となる領域には、不可視マーカＭが埋め込まれている。

不可視マーカＭは、人間の眼には視認できない不可視光を発光するものである。ここでは、不可視マーカＭとして、赤外域の光を発光するＬＥＤ（赤外ＬＥＤ）を用いることとする。また、この不可視マーカＭは、予め撮像対象に埋め込んでおくこととする。例えば、不可視マーカＭを、図２に示すように、スタジオの壁Ｗ、床等に埋め込み、赤外光を透過する壁紙Ｗ_Ｐ、フィルム等で覆っておく。この壁紙Ｗ_Ｐやフィルムには、赤外光の特定の波長のみを透過させる帯域フィルタ等（不可視光透過素材）を用いることができる。これによって、カラーカメラで撮像した画像には、不可視マーカＭは撮像されず、赤外カメラで撮像した画像には、不可視マーカＭが高コントラストの輝点として撮像されることになる。

なお、不可視マーカＭは、赤外の特定波長を発光する赤外ＬＥＤに限定されるものではなく、赤外域で可視域の成分を含んでいない光を発光するものであればよい。また、不可視マーカＭは、赤外域ではなく、紫外域の光を発光する紫外域ＬＥＤを用いることも可能である。

同軸撮像装置２は、同一の撮像範囲、撮像条件で可視域、赤外域それぞれの画像を撮像するものである。なお、同軸撮像装置２は、赤外域を撮像した赤外画像（不可視光画像）と、可視域を撮像したカラー画像（可視光画像）とを、マーカ検出識別装置３に出力する。

マーカ検出識別装置３は、同軸撮像装置２で撮像された赤外画像（不可視光画像）およびカラー画像（可視光画像）から、複数の不可視マーカＭ，Ｍ，…を検出し、個別に識別するものである。ここでは、マーカ検出識別装置３は、予め個々の不可視マーカＭを埋め込んだ位置の近傍領域の色特徴量を記憶手段（図示せず）に記憶しておき、同軸撮像装置２で撮像された赤外画像において、輝度値に基づいて、不可視マーカＭを検出し、その不可視マーカＭの位置に対応するカラー画像の色特徴量と、記憶しておいた色特徴量とを比較することで、個々の不可視マーカＭを識別する。

ここで、図３を参照（適宜図１参照）して、マーカ検出識別装置３が不可視マーカＭを識別するために使用する色特徴量について説明する。図３は、色特徴量を説明するための説明図であって、（ａ）は撮像対象のＲＧＢ３次元色空間における色分布、（ｂ）は撮像対象のＲＧＢ色平面における色分布を示している。

図３（ａ）に示すように、色はＲＧＢ３次元空間における赤（Ｒ）、緑（Ｇ）、青（Ｂ）の値で表すことができる。なお、ここでは、ＲＧＢの各値、例えば“０”〜“２５５”を“０”〜“１”で正規化して表している。一般に、撮像対象の色の特徴を表すには、図３（ａ）に示すようにＲＧＢ３次元空間をＲＧＢ値ごとに格子状に分割し、個々の格子に割り当てられる度数を累計した色ヒストグラムが用いられる。

ここで、例えば、カメラがある位置で撮像した撮像対象の色ヒストグラムが、図３（ａ）で示した３次元空間のＲＧＢ値＝（０．５，０，０）の位置を含んだ格子に加算されて生成されていたとする。そして、カメラを移動させて同じ撮像対象に照明が映り込んだ場合、鏡面反射の性質から、照明光による色成分が色ヒストグラムに加算されることになり、図３（ａ）の区間Ａの軌跡を描いて映り込みが増していくことになる。そして、増加の途中で映像信号は飽和（ホワイトクリップ）し、区間Ｂの軌跡をとって最終的に完全飽和する。

通常、カラーカメラは、白色の画素値が、ＲＧＢ値＝（０，０，０）と、ＲＧＢ値＝（１，１，１）とを結ぶ直線上になるように、照明色を基準にホワイトバランスが調整されている。すなわち、照明色の色ベクトル（照明色ベクトルＶ）は、ＲＧＢ３次元空間において、（０，０，０）と（１，１，１）とを結ぶベクトルとなる。この照明色ベクトルＶは、区間Ａとして示した直線と平行である。この場合、区間ＡにおけるＲＧＢ値は、照明が映り込んでも色の特徴としては同一のものとして扱うことができる。

そこで、マーカ検出識別装置３は、照明色ベクトルＶと垂直に交わる平面（色平面座標）Ｐに、各色を照明色ベクトルと平行となるように投影し、平面Ｐにおいて、各座標に投影される度数を累計することで生成した色ヒストグラムを、色特徴量として用いることとする。すなわち、図３（ｂ）に示すように、色ベクトルを、照明色ベクトルと垂直に交わる平面Ｐにおいて累計することで、図３（ａ）に示した区間Ａの各ＲＧＢ値は、平面Ｐにおいて１つの座標に加算されることになる。

ここで、数式を用いて、マーカ検出識別装置３が、３次元色空間座標における座標値を、色平面座標に投影変換する手法について説明する。
図３（ａ）に示した３次元色空間のＲ，Ｇ，Ｂ軸と、平面Ｐとの交点を、例えば、（１，０，０）、（０，１，０）、（０，０，１）とし、ｒ，ｇ，ｂをそれぞれＲ，Ｇ，Ｂ軸の変数としたとき、平面Ｐの方程式は以下の（１）式で表される。
ｒ＋ｇ＋ｂ−１＝０ …（１）式

また、照明色ベクトルＶは、当該平面Ｐの法線ベクトル（１，１，１）であるため、３次元色空間上の任意の点（ｒ，ｇ，ｂ）は、法線方向に移動させて、前記（１）式上に投影させればよいことになる。すなわち、点（ｒ，ｇ，ｂ）を平面Ｐに投影した座標（Ｒ，Ｇ，Ｂ）は、以下の（２）式で表される。
（Ｒ，Ｇ，Ｂ）＝（ｒ，ｇ，ｂ）＋ｋ（１，１，１） …（２）式

また、座標（Ｒ，Ｇ，Ｂ）は、前記（１）式の関係を満たすことから、係数ｋは、以下の（３）式で示す値となる。
ｋ＝−（ｒ＋ｇ＋ｂ−１）／３ …（３）式
よって、前記（２）式および（３）式から、以下の（４）式の投影変換式が求められる。
Ｒ＝ｒ−（ｒ＋ｇ＋ｂ−１）／３
Ｇ＝ｇ−（ｒ＋ｇ＋ｂ−１）／３
Ｂ＝ｂ−（ｒ＋ｇ＋ｂ−１）／３ …（４）式
この投影変換式を用いることで、マーカ検出識別装置３は、３次元色空間座標（ｒ，ｇ，ｂ）の点を、平面Ｐの座標（Ｒ，Ｇ，Ｂ）の点に投影変換することができる。

このように、色平面座標において累計した色ヒストグラムを用いることで、色特徴量は、照明の映り込みに対する影響が少ない特徴量となる。また、色ヒストグラムは、平面Ｐに投影した座標ごとに累計を行うため、色ヒストグラムの累計単位であるビン数を減らすことができる。

［同軸撮像装置の構成］
次に、図４を参照（適宜図１参照）して、同軸撮像装置２（図１参照）の構成について説明する。図４は、同軸撮像装置の概略構成を示す構成図である。図４に示すように、同軸撮像装置２は、レンズ２１と、分光器２２と、赤外カメラ２３と、カラーカメラ２４とを備えている。なお、赤外カメラ２３とカラーカメラ２４とは、光軸が同じ（同光軸）で、レンズ主点が共役な位置になるように配置されている。

レンズ２１は、外部からの可視光、不可視光（ここでは、赤外光）を入射するものである。このレンズ２１は、映像撮像用レンズであれば、単一焦点レンズでもズームレンズでも構わない

分光器２２は、レンズ２１に入射した入射光を、可視光および赤外光にそれぞれ分光するものである。この分光器２２は、ホットミラーを用いることができる。このホットミラーは、赤外光のみを反射し、可視光を透過させることで、入射光を分離させるものである。なお、分光器２２は、ホットミラー以外にも、同等の機能を有するダイクロイックプリズムを用いてもよい。

赤外カメラ（不可視光撮像系）２３は、受光した赤外光を不可視光画像として撮像するものである。ここでは、赤外カメラ２３は、分光器２２で分光された赤外光のみを受光素子（ＣＣＤ）で受光することで撮像を行う。この赤外カメラ２３で撮像された赤外画像（不可視光画像）には、不可視マーカＭが発光する赤外光によって、不可視マーカＭが他の領域に比べ輝度が高い輝点として撮像される。そして、赤外カメラ２３は、撮像した赤外画像を、マーカ検出識別装置３に出力する。

カラーカメラ（可視光撮像系）２４は、受光した可視光をカラー画像（可視光画像）として撮像するものである。ここでは、カラーカメラ２４は、内部にダイクロイックプリズム２４１を備え、分光器２２で分光された可視光をさらに赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色光に分光し、受光素子（ＣＣＤ）で受光することで、各色の画像を撮像する。この撮像された各色の画像の各画素は、明るさに応じて“０”〜“２５５”の値をとるものとする。そして、カラーカメラ２４は、各色の画像の同一画素位置のＲＧＢ値を画素値とするカラー画像を、マーカ検出識別装置３に出力する。

なお、ここでは、カラーカメラ２４を、ＲＧＢの３色に対応した３つのＣＣＤにより撮像を行う３ＣＣＤ方式のカメラについて例示したが、可視光をカラーフィルタを配置した１つのＣＣＤで撮像を行う単板式のカメラであっても構わない。

これによって、同軸撮像装置２は、同じ撮像範囲の不可視光画像および可視光画像を同時に撮像することができる。例えば、赤外画像は、図５（ａ）に示すように不可視マーカＭのみが高輝度に撮像された画像となり、カラー画像は、図５（ｂ）に示すように不可視マーカＭが撮像されない画像となる。なお、図５（ｂ）においては、不可視マーカＭの位置を示すため、点線で不可視マーカを図示しているが、実際のカラー画像にはこの不可視マーカＭは撮像されない。

［マーカ検出識別装置の構成］
次に、図６を参照して、マーカ検出識別装置３（図１参照）の構成について説明する。図６は、本発明の実施の形態に係るマーカ検出識別装置の構成を示すブロック図である。図６に示すように、マーカ検出識別装置３は、記憶手段３１と、赤外画像入力手段３２と、カラー画像入力手段３３と、マーカ検出手段３４と、検出マーカ色情報生成手段３５と、マーカ識別手段３６とを備えている。

記憶手段（マーカ識別情報記憶手段）３１は、撮像対象に埋め込まれている不可視マーカＭを識別するための情報を記憶しておくものであって、ハードディスク等の一般的な記憶装置である。この記憶手段３１には、不可視マーカＭを特定する識別子と対応付けて、当該不可視マーカＭが配置されている位置の近傍領域（マーカ領域）における色特徴量をマーカ識別情報として記憶しておく。

ここでは、色特徴量（マーカ識別情報）として、ＲＧＢの３次元色空間座標における白色値を示す座標によって構成される直線に対して垂直な色平面座標に投影して累計した色ヒストグラム（図３参照）を用いることとする。また、色ヒストグラムの累計単位（ビン）は、色平面座標における予め定めた矩形範囲ごととする。

なお、この記憶手段３１に記憶しておく色特徴量は、撮像対象を複数の位置で撮像した撮像画像におけるマーカ領域の各色の値を、色ヒストグラムのビンごとに平均化しておくことが望ましい。これによって、マーカ検出識別装置３は、カメラ（同軸撮像装置２）を移動して撮像した場合であっても、同一の色ヒストグラムを用いで類似を判定することが可能になる。

赤外画像入力手段３２は、外部から赤外画像をデジタル画像として入力するものである。ここでは、赤外画像入力手段３２は、同軸撮像装置２の赤外カメラ２３と接続されたケーブルを介して、赤外カメラ２３が撮像した赤外画像を入力する。この赤外画像入力手段３２によって入力された赤外画像は、逐次図示を省略したメモリ等に記憶され、マーカ検出手段３４によって参照される。

カラー画像入力手段３３は、外部からカラー画像をデジタル画像として入力するものである。ここでは、カラー画像入力手段３３は、同軸撮像装置２のカラーカメラ２４と接続されたケーブルを介して、カラーカメラ２４が撮像したカラー画像を入力する。このカラー画像入力手段３３によって入力されたカラー画像は、逐次図示を省略したメモリ等に記憶され、検出マーカ色情報生成手段３５によって参照される。

マーカ検出手段３４は、赤外画像入力手段３２によって入力された赤外画像において、予め定めた輝度値を閾値とし、当該閾値よりも高輝度の閉領域の重心位置を不可視マーカの位置として検出するものである。このマーカ検出手段３４は、当該高輝度領域の重心位置を、赤外画像内における不可視マーカＭの位置（重心座標）として特定する。また、このマーカ検出手段３４によって検出された不可視マーカＭの赤外画像内における重心座標は、検出マーカ色情報生成手段３５に出力される。

検出マーカ色情報生成手段３５は、マーカ検出手段３４で検出された不可視マーカＭの位置（重心座標）に対応するカラー画像の位置の近傍領域（マーカ領域）における色特徴量を検出マーカ色情報として生成するものである。

ここでは、検出マーカ色情報生成手段３５は、マーカ領域（例えば、１６画素×１６画素）において、画素ごとに各色の値を色平面座標に投影して累計した色ヒストグラムを検出マーカ色情報として生成する。すなわち、検出マーカ色情報生成手段３５は、マーカ領域における各画素値（図３（ａ）で示した３次元色空間座標における座標値に相当）を、前記（４）式により、図３（ｂ）で示した色平面座標に投影（投影変換）し、色平面座標において累計することで色ヒストグラムを生成する。そして、検出マーカ色情報生成手段３５は、生成した検出マーカ色情報（色ヒストグラム）を、不可視マーカＭの位置に対応付けてマーカ識別手段３６に出力する。

マーカ識別手段３６は、検出マーカ色情報生成手段３５で生成された検出マーカ色情報と、記憶手段３１に記憶されているマーカ識別情報との類似の度合に基づいて、不可視マーカＭを個別に識別するものである。

ここでは、マーカ識別手段３６は、検出マーカ色情報とマーカ識別情報とのそれぞれの色ヒストグラムの類似度を算出し、検出マーカ色情報に最も類似するマーカ識別情報に対応する識別子を、検出した不可視マーカＭの識別子と判定する。そして、マーカ識別手段３６は、不可視マーカＭの撮像画像上の位置（マーカ位置）とともに、識別した不可視マーカＭの識別子（マーカ識別子）を出力する。

なお、色ヒストグラムを用いた類似度の算出手法については、一般的なヒストグラムの類似の手法（例えば、Michael J.Swain and Dana H. Ballard. Color indexing. Int. J. Comput. Vision, Vol. 7, No. 1, pp. 11-32, 1991.）を用いることができる。例えば、この手法を用いる場合、マーカ識別手段３６は、２つの色ヒストグラムの同一のビンごとに、少ない度数を採用し累積した値をマーカ識別情報の色ヒストグラムの各度数の総和で割り正規化した値を、色ヒストグラムの類似度とする。この場合、類似度が大きいほど、２つの色ヒストグラムは類似している。

以上説明したようにマーカ検出識別装置３を構成することで、マーカ検出識別装置３は、撮像対象を撮像する場合に、不可視マーカが通常の画像（カラー画像）には撮像されないため、撮像画像からマーカを消去する等の不要な作業を発生させることがない。

また、マーカ検出識別装置３は、赤外光を発光する不可視マーカを用いるため、赤外インクにより描画したマーカを検出する場合に比べ、十分にコントラストがとれた赤外画像から不可視マーカを検出することができるため、確実に不可視マーカを検出することができる。

さらに、マーカ検出識別装置３は、３次元色空間におけるマーカ領域の色分布を照明色ベクトルと垂直な色平面座標に投影して生成した色ヒストグラムを色特徴量として用いるため、照明の妨害を受けずに安定して不可視マーカを識別することができる。これによって、マーカ検出識別装置３は、移動しながら撮像対象を撮像した場合や、撮像対象を拡大、回転して撮像した場合であっても、精度よく不可視マーカを識別することができる。

また、マーカ検出識別装置３は、色平面座標に投影して生成した色ヒストグラムを色特徴量として用いるため、色ヒストグラムのビン数を、３次元空間における格子ごととする場合に比べ、少なくすることができ、実時間で撮像を行いながら、不可視マーカを検出・識別することができる。

また、マーカ検出識別装置３は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、マーカ検出識別装置３は、コンピュータを、前記した各手段として機能させるマーカ検出識別プログラムによって動作する。

［マーカ検出識別装置の動作］
次に、図７を参照し（適宜図６参照）て、マーカ検出識別装置３の動作について説明する。図７は、本発明の実施の形態に係るマーカ検出識別装置の動作を示すフローチャートである。

まず、マーカ検出識別装置３は、赤外画像入力手段３２およびカラー画像入力手段３３によって、同軸撮像装置２から、それぞれ赤外画像およびカラー画像を入力する（ステップＳ１）。このステップＳ１において入力された画像（赤外画像およびカラー画像）は、逐次図示を省略したメモリ等に記憶される。

そして、マーカ検出識別装置３は、マーカ検出手段３４によって、ステップＳ１で入力した赤外画像において、予め定めた輝度値を閾値として、不可視マーカＭを検出する（ステップＳ２）。具体的には、マーカ検出手段３４は、予め定めた輝度値よりも高輝度の領域を抽出する。そして、マーカ検出手段３４は、抽出した高輝度領域の重心を算出し、不可視マーカＭの位置（重心座標）とする。これによって、マーカ検出手段３４は、赤外画像内で複数の不可視マーカＭを検出することができる。

その後、マーカ検出識別装置３は、検出マーカ色情報生成手段３５によって、ステップＳ２で検出された不可視マーカＭの位置（重心座標）に対応するカラー画像の位置の近傍領域（マーカ領域）における色特徴量を検出マーカ色情報として生成する（ステップＳ３）。具体的には、検出マーカ色情報生成手段３５は、マーカ領域における３次元色空間の各画素値を、照明色ベクトルと垂直な色平面座標に投影（投影変換）し、色平面座標において累計することで色ヒストグラム（検出マーカ色情報）を生成する。これによって、検出マーカ色情報生成手段３５は、照明の映り込みの有無に関わらず、マーク領域の画素値を色ヒストグラムの同一のビンに割り当てることができる。

そして、マーカ検出識別装置３は、マーカ識別手段３６によって、ステップＳ３で生成された検出マーカ色情報と、予め記憶手段３１に記憶されているマーカ識別情報とで、色ヒストグラム同士の類似の度合に基づいて、不可視マーカＭを個別に識別する（ステップＳ４）。

そして、マーカ検出識別装置３は、マーカ識別手段３６によって、ステップＳ３で検出した不可視マーカＭの撮像画像上の位置とともに、ステップＳ４で識別した不可視マーカＭの識別子を出力する（ステップＳ５）。
以上の動作によって、マーカ検出識別装置３は、撮像画像から、精度よく不可視マーカＭを検出し、個別に識別することができる。

［マーカ検出識別装置の応用（カメラパラメータ推定装置）］
次に、マーカ検出識別装置の応用例として、識別されたマーカから、カメラパラメータを推定するカメラパラメータ推定装置について説明する。ここでは、カメラとして、図８に示すような同軸撮像装置２Ｂを用いることとする。この同軸撮像装置２Ｂは、図４で説明した同軸撮像装置２のレンズ２１を、ズームレンズであるレンズ２１Ｂとして構成している。また、このレンズ２１Ｂは、ズームリング２１１の回転量をロータリエンコーダ２１２のカウント値として出力する機能を有している。

以下、図９を参照して、本発明の実施の形態に係るマーカ検出識別装置の構成について説明する。図９は、本発明の実施の形態に係るマーカ検出識別装置を応用したカメラパラメータ推定装置の構成を示すブロック図である。

カメラパラメータ推定装置４は、同軸撮像装置２Ｂで撮像された赤外画像（不可視光画像）、カラー画像（可視光画像）および回転量から、同軸撮像装置２Ｂのカメラパラメータを推定するものである。ここでは、カメラパラメータ推定装置４は、図６で説明したマーカ検出識別装置３に、回転量入力手段３７と、パラメータ推定手段３８とを付加して構成している。また、図６で説明したマーカ検出識別装置３の記憶手段３１に幾何情報を記憶した記憶手段３１Ｂとして構成している。他の構成は、マーカ検出識別装置３と同一のものであるため、同一の符号を付し説明を省略する。

記憶手段３１Ｂは、撮像対象に埋め込まれている不可視マーカＭを識別するための情報を記憶しておくものであって、ハードディスク等の一般的な記憶装置である。この記憶手段３１Ｂには、不可視マーカＭを特定する識別子と対応付けて、当該不可視マーカＭが配置されている位置の近傍領域（マーカ領域）における色特徴量（色ヒストグラム）をマーカ識別情報として記憶しておくとともに、撮像対象に埋め込まれている複数の不可視マーカＭの幾何情報を記憶しておく。

ここで、幾何情報とは、予め定めた同軸撮像装置２Ｂの基準位置で撮像した際の不可視マーカＭが撮像される撮像画像上の位置を示すパターン情報である。この幾何情報には、少なくとも３点以上の複数の位置を設定しておくこととする。これによって、同軸撮像装置２Ｂのパン、チルトに伴い撮像される不可視マーカＭの位置の形状の変化と、基準となる幾何情報とに基づいて、パン角、チルト角を算出することが可能になる。

回転量入力手段３７は、同軸撮像装置２Ｂから、レンズ（ズームレンズ）２１Ｂにおけるロータリエンコーダ２１２の回転量を入力するものである。この回転量入力手段３７で入力された回転量はパラメータ推定手段３８に出力される。

パラメータ推定手段３８は、マーカ識別手段３６で識別された不可視マーカＭごとの撮像画像内における位置と、回転量入力手段３７で入力された回転量とに基づいて、カメラ（同軸撮像装置２Ｂ）のカメラパラメータを推定するものである。

ここでは、パラメータ推定手段３８は、予め記憶手段３１Ｂに記憶されている幾何情報を基準とし、マーカ識別手段３６で識別された不可視マーカＭごとの撮像画像内における位置で特定される幾何形状の変化量に基づいて、同軸撮像装置２Ｂの姿勢であるパン角、チルト角をパメラパラメータとして算出する。

また、一般にカメラのズーム量とカメラ光軸方向のカメラ自身の並進運動は線形でない場合が多いため、ズーム量を画像処理で判別することは困難である。そこで、ここでは、パラメータ推定手段３８は、予め記憶手段３１Ｂに回転量とズーム量とを対応付けたルックアップテーブル（図示せず）を用意しておき、回転量に応じたズーム量を、ルックアップテーブルを参照し取得することとする。
これによって、カメラパラメータ推定装置４は、不可視マーカＭを識別することで、カメラ（同軸撮像装置２Ｂ）のカメラパラメータを推定することができる。

以上、マーカ検出識別装置３の応用例について説明したが、これ以外にも種々のアプリケーションに応用することができる。例えば、マーカ検出識別装置３は、不可視マーカＭの位置を個別に識別することができるため、撮像した実写映像にＣＧを精度よく合成することができる。

本発明の実施の形態に係るマーカ検出識別装置を含んだ映像処理システムの構成を示すブロック図である。 不可視マーカを撮像対象に埋め込んだ状態を説明するための説明図である。 色特徴量を説明するための説明図であって、（ａ）は撮像対象のＲＧＢ３次元色空間における色分布、（ｂ）は撮像対象のＲＧＢ色平面における色分布を示している。 同軸撮像装置の概略構成を示す構成図である。 同軸撮像装置が撮像する画像の一例であって、（ａ）は赤外画像、（ｂ）はカラー画像を示す図である。 本発明の実施の形態に係るマーカ検出識別装置の構成を示すブロック図である。 本発明の実施の形態に係るマーカ検出識別装置の動作を示すフローチャートである。 ズーム機能を有する同軸撮像装置の概略構成を示す構成図である。 本発明の実施の形態に係るマーカ検出識別装置を応用したカメラパラメータ推定装置の構成を示すブロック図である。

符号の説明

１ 映像処理システム
２ 同軸撮像装置
２１ レンズ
２２ 分光器
２３ 赤外カメラ（不可視光撮像系）
２４ カラーカメラ（可視光撮像系）
３ マーカ検出識別装置
３１ 記憶手段（マーカ識別情報記憶手段）
３２ 赤外画像入力手段
３３ カラー画像入力手段
３４ マーカ検出手段
３５ 検出マーカ色情報生成手段
３６ マーカ識別手段

Claims (4)

1. 不可視光の光源である複数の不可視マーカを不可視光透過素材に埋め込んで配置した撮像対象を不可視光撮像系および可視光撮像系が同光軸で共役な位置に配置された撮像装置で撮像した同じ撮像範囲の不可視光画像および可視光画像から、前記複数の不可視マーカを検出し、個別に識別するマーカ検出識別装置であって、
   前記不可視マーカごとに、当該不可視マーカが配置されている位置の近傍領域における色特徴量をマーカ識別情報として予め記憶するマーカ識別情報記憶手段と、
   前記不可視光画像において、予め定めた輝度値を閾値とし、当該閾値よりも高輝度の閉領域の重心位置を前記不可視マーカの位置として検出するマーカ検出手段と、
   このマーカ検出手段で検出された不可視マーカの位置に対応する前記可視光画像の位置の近傍領域における色特徴量を検出マーカ色情報として生成する検出マーカ色情報生成手段と、
   この検出マーカ色情報生成手段で生成された検出マーカ色情報と、前記マーカ識別情報記憶手段に記憶されているマーカ識別情報との類似の度合に基づいて、前記不可視マーカを個別に識別するマーカ識別手段と、
   を備えることを特徴とするマーカ検出識別装置。
2. 前記マーカ識別情報は、前記不可視マーカが配置されている位置の近傍領域における各色の値を、３次元色空間座標における白色値を示す座標によって構成される直線に対して垂直な色平面座標に投影して累計した色ヒストグラムであって、
   前記検出マーカ色情報生成手段は、前記不可視マーカの位置に対応する前記可視光画像の位置の近傍領域において、画素ごとに各色の値を前記色平面座標に投影して累計した色ヒストグラムを前記検出マーカ色情報として生成することを特徴とする請求項１に記載のマーカ検出識別装置。
3. 前記マーカ識別情報記憶手段に、前記撮像対象を複数の位置で撮像した撮像画像における前記不可視マーカが配置されている近傍領域における各色の値を、色ヒストグラムの累計単位であるビンごとに平均化して、前記マーカ識別情報として記憶しておくことを特徴とする請求項２に記載のマーカ検出識別装置。
4. 不可視光の光源である複数の不可視マーカを不可視光透過素材に埋め込んで配置した撮像対象を不可視光撮像系および可視光撮像系が同光軸で共役な位置に配置された撮像装置で撮像した同じ撮像範囲の不可視光画像および可視光画像から、前記複数の不可視マーカを検出し、個別に識別するために、コンピュータを、
   前記不可視光画像において、予め定めた輝度値を閾値とし、当該閾値よりも高輝度の閉領域の重心位置を前記不可視マーカの位置として検出するマーカ検出手段、
   このマーカ検出手段で検出された不可視マーカの位置に対応する前記可視光画像の位置の近傍領域における色特徴量を検出マーカ色情報として生成する検出マーカ色情報生成手段、
   この検出マーカ色情報生成手段で生成された検出マーカ色情報と、予め記憶手段に記憶されている前記不可視マーカが配置されている位置の近傍領域における色特徴量であるマーカ識別情報との類似の度合に基づいて、前記不可視マーカを個別に識別するマーカ識別手段、
   として機能させることを特徴とするマーカ検出識別プログラム。

Images