JP2009027640A - マーカ検出装置およびマーカ検出プログラム - Google Patents

Abstract

【課題】不可視光を発光または反射する物体が撮影領域に存在しても撮影環境や被写体に関わらず撮影画像から不可視マーカを抽出する。
【解決手段】不可視光を放射する光源から構成された複数の不可視マーカＭについて同じ撮影範囲のカラー画像と赤外画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された赤外カメラとカラーカメラとを備えた同軸撮影装置２から入力されたカラー画像を輝度画像に変換する輝度画像生成手段３０と、輝度画像から二値画像を生成する二値画像生成手段４０と、同軸撮影装置２から入力された赤外画像から二値画像に含まれる不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、不可視マーカを示すオブジェクトを含むマーカ画像を生成する不要オブジェクト除去手段６０と、マーカ画像から画素の連結した連結領域ごとに連結領域の重心をマーカ位置として検出するマーカ位置検出手段７０とを備える。
【選択図】図３

Description

本発明は、画像処理、画像認識、映像合成、バーチャルリアリティなどで利用されるマーカ検出装置およびマーカ検出プログラムに係り、特に、照明や高輝度被写体の妨害を受けないマーカ検出装置およびマーカ検出プログラムに関する。

カラーカメラや白黒カメラ等の可視光カメラを用いて取得した画像は、可視域の画像（以下、可視光画像と呼称する）となる。例えば、カラーカメラで、波長に応じて赤、青、緑などに分けて撮影した可視光画像はカラー画像である。一方、赤外線カメラあるいは紫外線カメラ等の特殊なカメラ（以下、不可視光カメラと呼称する）を用いて取得した画像は、赤外線や紫外線のように目に見えない波長の光を可視化した画像（以下、不可視光画像と呼称する）となる。従来、映像制作やコンピュータビジョン（computer vision）など様々な分野では、これら可視光カメラと不可視光カメラとを組み合わせて、同じ被写体を撮影対象として撮影して、可視光画像と不可視光画像とを同時に取得することが必要とされている。

特に、撮影領域に不可視光を放射するマーク（以下、不可視マーカと呼称する）を設け、これを撮影することで、カラーカメラの映像（カラー画像）には影響を与えずに、不可視光画像からこの不可視マーカを検出することができる。この検出した情報を用いることで不可視光カメラの位置や傾きなどを推定することが可能となる。このことは、つまり、カラーカメラの位置や傾きを推定できることと同等である。このような不可視マーカを含む撮影領域を撮影する際には、目的とする不可視光画像の中に、不要な被写体（以下、不要オブジェクトと呼称する）が映り込むような妨害が発生する場合がある。この種の妨害は、不可視光カメラで感度のある波長の光（不可視光）を放射または反射する物体がある場合に生じる。言い換えると、不可視マーカの放射する光の波長と同じ波長の光を、不可視マーカ以外が放出または反射する場合に、その光は撮影画像に映り込んでしまう。

例えば、撮影領域に、室内照明としての蛍光灯があれば、不可視光カメラで撮影した不可視光画像に蛍光灯が写り込む。その理由は、蛍光灯は、可視光だけで発光しているわけではなく、紫外域から赤外域までスパイク状のスペクトル分布で発光しているためである。同様に、撮影領域に、室内照明としての白熱灯があれば、白熱灯は可視域のスペクトル分布および近赤外域から遠赤外域までのスペクトル分布で発光しているので、赤外域を対象とした不可視光カメラ（赤外カメラ）で撮影した不可視光画像（赤外画像）に白熱灯が写り込んでしまう。

このような場合、撮影画像から不可視マーカのみを抽出することは困難である。したがって、撮影領域に不可視マーカを設けてこれを撮影する場合には、目的とする不可視光画像を得るために、室内照明に対して予め工夫を施しておいて室内照明が写り込まないようにするか、あるいは、室内照明に特別な工夫をすることなく不可視光画像の中から不要オブジェクトを区別するための前処理を行う必要がある。

（１）室内照明に対して予め工夫を施しておく方法としては以下の３つの方法が考えられる。
（１ａ）不可視マーカで利用する波長を含まないような特定の照明光のみで室内を照明する方法。この方法では、室内照明を、例えば、バックライト用途などに用いられる赤色ＬＥＤランプ（例えば、ピーク波長660ｎｍ，発光スペクトル600〜720ｎｍ）や、３波長型の白色ＬＥＤランプ（例えば、発光スペクトル（420〜760ｎｍ）で構成する。または、室内照明を、例えば、蛍光体（phosphor）を工夫した蛍光ランプ（fluorescent lamp）で構成する。例えば、赤のカラーランプ用の代表的な蛍光体としては、「3.5ＭｇＯ・0.5ＭｇＦ₂・ＧｅＯ₂：Ｍｎ⁴⁺」が知られている。この蛍光体を用いた蛍光ランプは、ピーク波長660ｎｍ、それを越えた波長領域では急激に小さくなるような発光スペクトルを有する。
（１ｂ）室内照明などから放射される光のうち、不可視マーカで利用している波長の光と同様な近赤外域を遮断して、可視光のみを透過する近赤外カットフィルタ（Infrared Cut Filter）等の光学フィルタを室内照明（通常の蛍光灯など）に取り付ける方法。
（１ｃ）室内照明（通常の蛍光灯など）を消して不可視マーカを撮影する方法。

（２）室内照明に特別な工夫をすることなく前処理を行う方法としては、不可視マーカをパターン化して不可視マーカだけを画像認識する方法が考えられる（例えば、非特許文献１参照）。非特許文献１に開示された方法では、特定の波長を放射あるいは反射するマーカを予め定められた面積で正方形に形成し、そのマーカの中央部に識別用のパターンを描き、このパターンを画像処理した結果と、事前に登録したパターンとのテンプレートマッチングによりマーカを識別する。この方法では、マーカの中央部のパターン領域を、例えば６４×６４に分割し、その領域に対応する画素値を入力画素から抜き出し、６４×６４画素のパターン画像を得る。そして、これを１６×１６に縮小し、テンプレートマッチングに使用している。
加藤博一、他３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、1999年、Vol.４、No.４、p.607−616

しかしながら、前記した（１ａ）〜（１ｃ）に示した方法では、室内照明を予め特別な光源に変えてから撮影するか、室内照明を消灯してから撮影しなければならないため、撮影環境に関する条件が拘束されてしまうこととなり、利便性が犠牲となってしまう。また、（１ｂ）に示した方法では、室内照明に光学フィルタを取り付けたりするなどの煩雑な作業とそのためのコストとが必要となる。

また、前記した（２）に示した方法では、マーカに識別用のパターンを描けるように、マーカは、予め定められた面積のサイズで形成する必要がある。言い換えると、ある一定の面積のサイズを有したマーカを設置できるような被写体が必要となる。これは、被写体に関する条件が拘束されてしまうこととなり、利便性が犠牲となってしまう。また、一般に、画像認識では、２次元のパターン（平面のパターン）については容易に認識することができるが、３次元のパターン（凹凸のあるパターン）については認識することが比較的に困難であるか、あるいは、認識するための計算コストが高くなってしまう。

本発明は、以上のような問題点に鑑みてなされたものであり、不可視マーカと同じ波長を放射する光源またはその光源の発光を反射する物体が撮影領域に存在する場合であっても、撮影環境や被写体に関わらず、撮影画像から不可視マーカを抽出することのできるマーカ検出装置およびマーカ検出プログラムを提供することを目的とする。

前記目的を達成するために、本発明の請求項１に記載のマーカ検出装置は、不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するマーカ検出装置であって、輝度画像生成手段と、二値画像生成手段と、不要オブジェクト除去手段と、マーカ位置検出手段とを備えることとした。

かかる構成によれば、マーカ検出装置は、輝度画像生成手段によって、前記同軸撮影装置から入力された可視光画像を輝度画像に変換する。ここで、同軸撮影装置の不可視光撮像系は、赤外線カメラや紫外線カメラ等の不可視光カメラを備え、可視光撮像系は、カラーカメラや白黒カメラ等の可視光カメラを備える。また、不可視マーカの放射する不可視光は、赤外線や紫外線等を示す。可視光画像には、不要な被写体、すなわち、不可視マーカ以外に不可視光と可視光とを発光する光源、または、そのような光源から発光された不可視光と可視光とを強く反射するような物体がある場合に、この不要な被写体が不要オブジェクトとして写り、不可視マーカは写らない。そして、マーカ検出装置は、二値画像生成手段によって、予め指定されたしきい値によって前記輝度画像から二値画像を生成する。これにより、しきい値を超えた明るい領域を不要オブジェクトとみなすことができる。そして、マーカ検出装置は、不要オブジェクト除去手段によって、前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する。ここで、不要オブジェクトを減算する方法は、例えば、しきい値を超えた領域をマスク領域として、同時に撮影された不可視光画像からマスク領域の画像を除去することができる。そして、マーカ検出装置は、マーカ位置検出手段によって、予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出する。

また、前記目的を達成するために、本発明の請求項２に記載のマーカ検出装置は、不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するマーカ検出装置であって、特定色チャンネル画像抽出手段と、二値画像生成手段と、不要オブジェクト除去手段と、マーカ位置検出手段とを備えることとした。

かかる横成によれば、マーカ検出装置は、特定色チャンネル画像抽出手段によって、前記同軸撮影装置から入力された可視光画像から特定色チャンネルの画像を抽出する。そして、マーカ検出装置は、二値画像生成手段によって、予め指定されたしきい値によって前記特定色チャンネルの画像から二値画像を生成する。そして、マーカ検出装置は、不要オブジェクト除去手段によって、前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する。そして、マーカ検出装置は、マーカ位置検出手段によって、予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出する。

また、請求項３に記載のマーカ検出装置は、請求項１または請求項２に記載のマーカ検出装置において、前記二値画像に含まれる前記不要オブジェクトを膨張させてマスク用画像を生成する膨張処理手段をさらに備え、前記不要オブジェクト除去手段が、前記不可視光画像から前記マスク用画像を減算して前記マーカ画像を生成することとした。

かかる横成によれば、マーカ検出装置は、膨張処理手段によって、二値画像に含まれる不要オブジェクトを膨張させてマスク用画像を生成するので、不可視光画像からマスク用画像を減算したマーカ画像は、同軸撮影システムの不可視光撮像系と可視光撮像系との設置精度が低かったとしても、不可視マーカ以外の不可視光による写り込みを確実に防止することが可能になる。

また、請求項４に記載のマーカ検出プログラムは、不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するために、コンピュータを、輝度画像生成手段、二値画像生成手段、不要オブジェクト除去手段、および、マーカ位置検出手段として機能させることとした。

かかる構成によれば、マーカ検出プログラムは、輝度画像生成手段によって、前記同軸撮影装置から入力された可視光画像を輝度画像に変換し、そして、マーカ検出プログラムは、二値画像生成手段によって、予め指定されたしきい値によって前記輝度画像から二値画像を生成する。そして、マーカ検出プログラムは、不要オブジェクト除去手段によって、前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する。そして、マーカ検出プログラムは、マーカ位置検出手段によって、予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出する。

また、請求項５に記載のマーカ検出プログラムは、不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するために、コンピュータを、特定色チャンネル画像抽出手段、二値画像生成手段、不要オブジェクト除去手段、および、マーカ位置検出手段として機能させることとした。

かかる構成によれば、マーカ検出プログラムは、特定色チャンネル画像抽出手段によって、前記同軸撮影装置から入力された可視光画像から特定色チャンネルの画像を抽出する。そして、マーカ検出プログラムは、二値画像生成手段によって、予め指定されたしきい値によって前記特定色チャンネルの画像から二値画像を生成する。そして、マーカ検出プログラムは、不要オブジェクト除去手段によって、前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する。そして、マーカ検出プログラムは、マーカ位置検出手段によって、予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出する。

請求項１または請求項４に記載の発明によれば、マーカ検出装置は、不可視マーカと同じ波長を放射する光源またはその光源の発光を反射する物体が撮影領域に存在する場合であっても、可視光画像の輝度情報を用いて、その妨害を回避し、撮影環境や被写体に関わらず、不可視マーカ以外の不可視光による写り込みを防止することができる。そのため、撮影画像から、目的である不可視マーカを安定に抽出することができる。

請求項２または請求項５に記載の発明によれば、マーカ検出装置は、不可視マーカと同じ波長を放射する光源またはその光源の発光を反射する物体が撮影領域に存在する場合であっても、可視光画像の特定色チャンネルの画像情報を用いて、その妨害を回避し、撮影環境や被写体に関わらず、不可視マーカ以外の不可視光による写り込みを防止することができる。そのため、撮影画像から、目的である不可視マーカを安定に抽出することができる。

請求項３に記載の発明によれば、マーカ検出装置は、同軸撮影システムの不可視光撮像系と可視光撮像系との設置精度が低かったとしても、不可視マーカ以外の不可視光による写り込みを確実に防止することが可能になる。

以下、図面を参照して本発明のマーカ検出装置を実施するための最良の形態（以下「実施形態」という）について、第１実施形態および第２実施形態に分けて詳細に説明する。これらの実施形態では、不可視マーカとして赤外域のマーカ（赤外マーカ）を用いて説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係るマーカ検出装置を含む映像合成システムを模式的に示す構成図である。映像合成システム１は、同軸撮影装置２と、入力装置３と、表示装置４と、マーカ検出装置５と、ＣＧ描画装置６と、映像合成装置７とを備えている。

同軸撮影装置２は、同一の撮影領域、撮影条件で可視域、赤外域それぞれの画像を撮影するものであって、カメラレンズ１１と、赤外カメラ１２と、カラーカメラ１３と、ホットミラー１４とを備えている。カメラレンズ１１は、映像撮影用レンズであれば単一焦点レンズでもズームレンズでもよい。赤外カメラ（不可視光撮像系）１２は、ホットミラー１４を介して、赤外線が入射するように取り付けられている。カラーカメラ（可視光撮像系）１３は、ホットミラー１４を介して、可視光線が入射するように取り付けられている。これら赤外カメラ１２と、カラーカメラ１３とは同光軸で共役な位置に配置されている。ホットミラー（hot mirror）１４は、単一のレンズ系に対して赤外線のみ反射し可視光を透過する。なお、ホットミラー１４の代わりに同等の機能を有するダイクロイックプリズムを用いてもよい。

本実施形態では、画像は、横６４０画素×縦４８０画素の２次元配列の画素集合とする。また、各画素は、明るさに応じて、「０」から「２５５」の値をとるものとする。この同軸撮影装置２で撮影される画像は２種類である。一方は、赤外カメラ１２で撮影された赤外画像であり、他方は、カラーカメラ１３で撮影されたカラー画像である。本実施形態では、赤外画像は１チャンネル（１枚）、カラー画像は赤、青、緑の３チャンネル（３枚）とする。

撮影対象となる領域（撮影領域）には、所定の被写体の位置を検出するために、不可視光を放射する光源から構成された不可視マーカＭが事前に配設されている（埋め込まれている）。不可視マーカＭは、本実施形態では、赤外線のみを放射する発光体（例えは赤外線ＬＥＤなど）で構成された赤外マーカであり、極小の赤外線ＬＥＤおよび駆動回路が埋め込まれている。

この不可視マーカＭをカラーカメラ１３で撮影した場合、赤外線ＬＥＤが極小であるため、カラー画像上では、不可視マーカＭを判別することは困難である。一方、不可視マーカＭを赤外カメラ１２で撮影した場合、赤外画像上では、不可視マーカＭが高コントラストな輝点として撮影される。そのため、後記する簡易な画像処理で画像上のＬＥＤ位置を検出可能である。

照明装置Ｌは、例えば、室内で不可視マーカＭ以外に赤外線を放出する蛍光灯であり、赤外画像上のＬＥＤ位置の検出に影響を与える。この照明装置Ｌは、白熱灯でもよい。これら白熱灯や蛍光灯は、特に近赤外域の赤外線を放出している。なお、屋外で赤外線を放出する光源としては太陽を挙げることができる。

図２は、マーカおよび照明装置の赤外画像を模式的に示す図であり、（ａ）は照明点灯時、（ｂ）は照明消灯時をそれぞれ示している。照明装置Ｌの点灯時に、同軸撮影装置２によって、不可視マーカＭの配設された撮影領域を撮影した場合には、図２（ａ）に示すように、赤外画像２００には、不可視マーカＭに対応したオブジェクト２０１の他に、照明装置Ｌに対応したオブジェクト２０２が、不可視マーカＭと同様に高輝度な被写体として映る。このオブジェクト２０２は、その周囲の背景画像２０３より高輝度、つまり、ある一定のしきい値以上の輝度値を有している。したがって、オブジェクト２０２は、不可視マーカＭのＬＥＤ位置の検出を妨害することになる。

一方、照明装置Ｌの消灯時に、同軸撮影装置２によって、不可視マーカＭの配設された撮影領域を撮影した場合には、図２（ｂ）に示すように、赤外画像２１０には、不可視マーカＭに対応したオブジェクト２０１だけが高輝度な被写体として映る。そして、照明装置Ｌに対応したオブジェクト２０２は、その周囲の背景画像２０３と区別できなくなる。なお、照明装置Ｌが、例えば、ＬＥＤ、ＥＬ、レーザなどの赤外線を放射しないものであれば、その点灯／消灯によって赤外画像は変化することなく、不可視マーカＭのＬＥＤ位置の検出を妨害しない。

入力装置３は、例えば、キーボード、マウス、ディスクドライブ装置、可変抵抗などから構成される。なお、入力装置３は、図示しない通信ネットワークから各種情報を入力する通信インタフェース等から構成するようにしてもよい。

表示装置４は、マーカ検出装置５、ＣＧ描画装置６および映像合成装置７から出力される情報を切り替えてそれぞれ表示するものである。この表示装置４は、例えば、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、ＥＬ（Electronic Luminescence）等から構成される。

マーカ検出装置５は、同軸撮影装置２で撮影された可視光画像と不可視光画像とを画像処理して不可視マーカＭを示すオブジェクトを検出するものである。本実施形態では、マーカ検出装置５には、赤外カメラ１２で撮影された赤外画像と、カラーカメラ１３で撮影されたカラー画像とが入力される。また、マーカ検出装置５には、入力装置３によってカメラパラメータθが入力される。ここで、カメラパラメータθは、赤外画像とカラー画像とを撮影したときのカメラレンズ１１の撮影角度を少なくとも含む。また、カメラパラメータθは、例えば、カメラレンズ１１の設置場所や高さを示す３次元座標、カメラのパン軸、チルト軸、ズーム軸、フォーカス軸等の操作を反映したカメラ姿勢を示す軸移動角度や軸移動距離、カメラレンズ１１の焦点距離、カメラの撮像素子の画素ピッチ等を含んでもよい。マーカ検出装置５は、検出した不可視マーカＭを示すオブジェクトの位置（以下、マーカ位置という）をＣＧ描画装置６に伝送する。

ＣＧ描画装置６は、描画データ記憶手段６ａに格納された予め定められた描画情報に基づいて仮想三次元空間データを生成し、入力されたカメラパラメータに基づいてＣＧオブジェクトを描画し、ＣＧオブジェクトを描画した映像を、マーカ検出装置５から取得したマーカ位置に作成する。ＣＧ描画装置６は、ユーザが指定したＣＧオブジェクトをマーカ位置にレンダリングする。このＣＧ描画装置６は、例えば、ＣＧをレンダリング可能なパーソナルコンピュータで構成される。

映像合成装置７は、ＣＧ描画装置６のレンダリング結果の画像（ＣＧオブジェクト）を、カラーカメラ１３から出力されるカラー画像に映像合成するものである。映像合成装置７は、公知のバーチャルスタジオ用ＣＧ合成装置で実現するようにしてもよい。

［マーカ検出装置の構成］
図３は、第１実施形態に係るマーカ検出装置の構成を示すブロック図である。マーカ検出装置５は、図３に示すように、記憶手段２０と、輝度画像生成手段３０と、二値画像生成手段４０と、膨張処理手段５０と、不要オブジェクト除去手段６０と、マーカ位置検出手段７０とを含む構成とした。

記憶手段２０は、例えば、ＣＰＵ（Central Processing Unit）による演算処理等に利用されるＲＡＭ（Random Access Memory）と、所定のプログラムを格納したＲＯＭ（Read Only Memory）とを備えている。

図５に示したマーカ検出装置５の記憶手段２０以外の各機能ブロックは、例えば、ＣＰＵが記憶手段２０のＲＯＭ等に格納された所定のプログラムをＲＡＭに展開して実行することにより実現されるものである。
輝度画像生成手段３０は、同軸撮影装置２から入力されたカラー画像（可視光画像）を輝度画像に変換するものである。

二値画像生成手段４０は、予め指定されたしきい値によって、輝度画像から二値画像を生成するものである。本実施形態では、二値画像生成手段４０は、輝度がある一定のしきい値以上の画素を「２５５」、それ以外を「０」として二値化した二値画像を作成する。この二値画像は、照明装置Ｌに対応したオブジェクト２０２（図２（ａ）参照）をマスクするための画像である。なお、しきい値については、入力装置３により、ユーザが表示装置４に表示される処理結果を見ながら、手動で「１」から「２５４」の範囲の値を入力・調整可能である。

膨張処理手段５０は、二値画像に含まれる不要オブジェクトにおける注目画素に対する周囲の周辺画素を所定量膨張させてマスク用画像を生成するものである。本実施形態では、膨張処理手段５０は、二値画像生成手段４０で作成された二値画像において「２５５」の値を持つ領域の面積を増加させる、すなわち、膨張させ（膨張処理）、同軸撮影装置２の赤外カメラ１２とカラーカメラ１３との配設時のずれにより生じる除外漏れを解消する。この除外漏れとは、同軸撮影装置２の製作精度に依存するが、カラー画像と赤外画像の各画素の撮影位置が完全に合致することは不可能であり、ずれが生じることをいう。このずれにより、従来、赤外画像上において照明装置Ｌに対応したオブジェクトを除外する際に除外漏れが生じていた。しかし、マーカ検出装置５は、膨張処理手段５０によって、膨張処理を行うことで除害漏れを防止できる。この膨張処理には、一般的な画像処理であるモルフォロジ処理のＤｉｌａｔｉｏｎ（ダイレーション）で行うことができる。

不要オブジェクト除去手段６０は、同軸撮影装置２から入力された赤外画像（不可視光画像）から、二値画像に含まれる不可視マーカＭを示すオブジェクト以外の不要オブジェクトを減算し、不可視マーカＭを示すオブジェクトを含むマーカ画像を生成するものである。本実施形態では、不要オブジェクト除去手段６０は、入力された赤外画像の各画素値から、膨張処理手段５０で生成されたマスク用画像において赤外画像の座標に対応するマスク用画像の画素値を減算してマーカ画像を生成する。ここで、負の減算結果があり得るが、その画素については例外処理として、処理結果の画素値を「０」とする。生成されたマーカ画像は、照明装置Ｌの影響を除外し、不可視マーカＭに対応したオブジェクトのみが映った画像となる。

マーカ位置検出手段７０は、予め指定されたしきい値によってマーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した連結領域ごとに当該連結領域の重心をマーカ位置として検出するものである。なお、しきい値については、入力装置３により、ユーザが表示装置４に表示される処理結果を見ながら、手動で入力・調整可能である。

［マーカ検出装置の動作］
図３に示したマーカ検出装置５の動作について図４および図５を参照（適宜図１および図３参照）して説明する。図４は、図３に示したマーカ検出装置の動作を示すフローチャートであり、図５は、図３に示したマーカ検出装置の処理過程で生成される画像の一例を示す図である。

ここでは、映像合成システム１（図１参照）において、照明装置Ｌの点灯時に、同軸撮影装置２によって、不可視マーカＭの配設された撮影領域を撮影したものとする。
まず、マーカ検出装置５は、輝度画像生成手段３０によって、入力されたカラー画像を輝度画像に変換する（ステップＳ１）。このとき、図５（ａ）に示すように、カラー画像５００には、不可視マーカＭの赤外線ＬＥＤは極小なので不可視マーカＭに対応したオブジェクト５０１は映らずに、照明装置Ｌに対応したオブジェクト５０２が高輝度な被写体として映る。また、照明装置Ｌに対応したオブジェクト２０２は、その周囲の背景画像５０３より高輝度、つまり、ある一定のしきい値以上の輝度値を有している。

そして、マーカ検出装置５は、二値画像生成手段４０によって、指定されたしきい値によって二値画像を生成する（ステップＳ２）。このとき、図５（ｂ）に示すように、二値画像５２０には、照明装置Ｌに対応したオブジェクト５０２が背景画像５０３から明確に分離された不要オブジェクトとして映る。

そして、マーカ検出装置５は、膨張処理手段５０によって、不要オブジェクトを膨張させてマスク用画像を生成する（ステップＳ３）。このとき、図５（ｃ）に示すように、マスク用画像５４０には、照明装置Ｌに対応したオブジェクト５０２を膨張させたオブジェクト５０４が不要オブジェクトとして映る。

そして、マーカ検出装置５は、不要オブジェクト除去手段６０によって、入力された赤外画像からマスク用画像を減算してマーカ画像を生成する（ステップＳ４）。具体的には、図２（ａ）に示した赤外画像２００から、図５（ｃ）に示したマスク用画像５４０を減算して、図５（ｄ）に示すマーカ画像５６０が生成される。このとき、図２（ａ）に示した照明装置Ｌに対応したオブジェクト２０２は、図５（ｃ）に示したオブジェクト５０４（不要オブジェクト）よりも面積が小さいので、完全にマスクされる。したがって、図５（ｄ）に示すマーカ画像５６０には、不可視マーカＭに対応したオブジェクト５０１がその周囲の背景画像５０３より高輝度に映る。

そして、マーカ検出装置５は、マーカ位置検出手段７０によって、指定されたしきい値によってマーカ画像から連結領域を抽出し、抽出した連結領域ごとに当該連結領域の重心をマーカ位置として検出する（ステップＳ５）。マーカ検出装置５は、検出したマーカ位置をＣＧ描画装置６に伝送する。これにより、ＣＧ描画装置６は、ＣＧオブジェクトを描画し、描画した映像をマーカ位置に作成し、映像合成装置７はＣＧ画像をカラー画像に映像合成し、表示装置４は合成映像を表示する。その結果、表示装置４は、あたかもマーカ位置にＣＣオブジェクトが設置してあるような映像を表示する。

第１実施形態によれば、赤外カメラ１２と同光軸上の共役な位置にカラーカメラ１３を配した同軸撮影装置２のカラーカメラ１３で赤外カメラ１２と同じ撮影範囲を撮影し、その撮影画像であるカラー画像と赤外画像の双方を、マーカ検出装置５の画像処理に用いることで、不可視マーカＭのみが映る画像を抽出できる。したがって、通常の蛍光灯や白熱灯などの室内照明が存在する環境下で、撮影画像から室内照明の影響を抑えつつ、不可視マーカＭの位置を安定に検出できる。さらに、撮影環境の照明の種類を選ぶ必要がなく、不可視マーカＭの設置面積が少なくても認識ができるという効果を奏する。

（第２実施形態）
図６は、第２実施形態に係るマーカ検出装置の構成を示すブロック図である。第２実施形態に係るマーカ検出装置５Ａは、図３に示した輝度画像生成手段３０の代わりに、特定色チャンネル画像抽出手段８０を備えている点を除いて、図３に示したマーカ検出装置５と同一の構成なので、同一の構成には同一の符号を付し、その説明を省略する。

特定色チャンネル画像抽出手段８０は、入力されたカラー画像から特定色チャンネルの画像を抽出するものである。本実施形態では、特定色チャンネルを赤チャンネルとする。二値画像生成手段４０は、予め指定されたしきい値によって、赤チャンネルの画像から二値画像を生成する。なお、特定色チャンネルは、青または緑としてもよい。

［マーカ検出装置の動作］
図６に示したマーカ検出装置５Ａの動作について図７を参照（適宜図６参照）して説明する。図７は、図６に示したマーカ検出装置の動作を示すフローチャートである。
マーカ検出装置５Ａは、特定色チャンネル画像抽出手段８０によって、入力されたカラー画像から赤チャンネルの画像を抽出する（ステップＳ１１）。以下、マーカ検出装置５Ａの実行するステップＳ１２〜ステップＳ１５の処理は、図４に示したステップＳ２〜ステップＳ５の処理と同じなので、説明を省略する。ただし、ステップＳ１２において、マーカ検出装置５Ａは、二値画像生成手段４０によって、指定されたしきい値によって、赤チャンネルの画像から二値画像を生成する（ステップＳ２）。

第２実施形態によれば、マーカ検出装置５Ａは、入力された特定色チャンネルとしての赤チャンネルの画像を抽出するので、輝度画像を新たに生成する必要が無く、計算コストが低減される。

以上、各実施形態に基づいて本発明を説明したが、本発明はこれらに限定されるものではない。例えば、図３に示したマーカ検出装置５や図６に示したマーカ検出装置５Ａは、一般的なコンピュータを、前記した各手段として機能させるプログラムにより動作させることで実現することができる。これらのプログラム（マーカ検出プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

本発明の第１実施形態に係るマーカ検出装置を含む映像合成システムを模式的に示す構成図である。 マーカおよび照明装置の赤外画像を模式的に示す図であり、（ａ）は照明点灯時、（ｂ）は照明消灯時をそれぞれ示している。 第１実施形態に係るマーカ検出装置の構成を示すブロック図である。 図３に示したマーカ検出装置の動作を示すフローチャートである。 図３に示したマーカ検出装置の処理過程で生成される画像の一例を示す図である。 第２実施形態に係るマーカ検出装置の構成を示すブロック図である。 図６に示したマーカ検出装置の動作を示すフローチャートである。

符号の説明

１ 映像合成システム
２ 同軸撮影装置
３ 入力装置
４ 表示装置
５（５Ａ） マーカ検出装置
６ ＣＧ描画装置
６ａ 描画データ記憶手段
７ 映像合成装置
１１ カメラレンズ
１２ 赤外カメラ
１３ カラーカメラ
１４ ホットミラー
２０ 記憶手段
３０ 輝度画像生成手段
４０ 二値画像生成手段
５０ 膨張処理手段
６０ 不要オブジェクト除去手段
７０ マーカ位置検出手段
８０ 特定色チャンネル画像抽出手段
Ｌ 照明装置
Ｍ 不可視マーカ

Claims (5)

1. 不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するマーカ検出装置であって、
   前記同軸撮影装置から入力された可視光画像を輝度画像に変換する輝度画像生成手段と、
   予め指定されたしきい値によって前記輝度画像から二値画像を生成する二値画像生成手段と、
   前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する不要オブジェクト除去手段と、
   予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出するマーカ位置検出手段とを備えることを特徴とするマーカ検出装置。
2. 不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するマーカ検出装置であって、
   前記同軸撮影装置から入力された可視光画像から特定色チャンネルの画像を抽出する特定色チャンネル画像抽出手段と、
   予め指定されたしきい値によって前記特定色チャンネルの画像から二値画像を生成する二値画像生成手段と、
   前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する不要オブジェクト除去手段と、
   予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出するマーカ位置検出手段とを備えることを特徴とするマーカ検出装置。
3. 前記二値画像に含まれる前記不要オブジェクトを膨張させてマスク用画像を生成する膨張処理手段をさらに備え、
   前記不要オブジェクト除去手段は、前記不可視光画像から前記マスク用画像を減算して前記マーカ画像を生成することを特徴とする請求項１または請求項２に記載のマーカ検出装置。
4. 不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するために、コンピュータを、
   前記同軸撮影装置から入力された可視光画像を輝度画像に変換する輝度画像生成手段、
   予め指定されたしきい値によって前記輝度画像から二値画像を生成する二値画像生成手段、
   前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する不要オブジェクト除去手段、
   および、予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出するマーカ位置検出手段、
   として機能させることを特徴とするマーカ検出プログラム。
5. 不可視光を放射する光源から構成された複数の不可視マーカそれぞれについて同じ撮影範囲の可視光画像と不可視光画像とを同じ撮影条件で撮影可能な同光軸で共役な位置に配置された不可視光撮像系と可視光撮像系とを備えた同軸撮影装置で撮影された可視光画像と不可視光画像とを画像処理して、前記不可視マーカを示すオブジェクトを検出するために、コンピュータを、
   前記同軸撮影装置から入力された可視光画像から特定色チャンネルの画像を抽出する特定色チャンネル画像抽出手段、
   予め指定されたしきい値によって前記特定色チャンネルの画像から二値画像を生成する二値画像生成手段、
   前記同軸撮影装置から入力された不可視光画像から、前記二値画像に含まれる前記不可視マーカを示すオブジェクト以外の不要オブジェクトを減算し、前記不可視マーカを示すオブジェクトを含むマーカ画像を生成する不要オブジェクト除去手段、
   および、予め指定されたしきい値によって前記マーカ画像から画素の連結した領域を示す１以上の連結領域を抽出し、抽出した前記連結領域ごとに当該連結領域の重心をマーカ位置として検出するマーカ位置検出手段、
   として機能させることを特徴とするマーカ検出プログラム。

Images