JP2007102718A - 背景画像分離装置及び背景画像分離システム。 - Google Patents

Abstract

【課題】本発明は、所定の背景構造物を用いて画像の明るさに関する情報に基づいたマスクを作成することによって、対象物画像と背景画像とを正確に分離することができる背景画像分離装置を提供することを目的とする。
【解決手段】本発明における背景画像分離装置は、入射方向以外の方向への反射光より入射方向に対して強く反射する再帰性反射を発生させるように背景照明を照射し、上記背景照明の反射光を含む光を受光して画像を撮像して画像データを生成する画像データ生成手段と、上記画像データから、入射方向以外の方向への反射光より入射方向に対して強く背景照明を反射する再帰性反射領域を特定する再帰性反射領域特定手段と、を具備する。
【選択図】図１

Description

本発明は、撮像して得られた画像データを対象物画像と背景画像のデータとに分離することができる背景画像分離装置及び背景画像分離システムに関する。

従来、対象物画像と背景画像とを分離し、その対象物画像を、予め用意した背景画像と合成する画像合成処理装置が知られている。この画像合成処理装置において、対象物画像と背景画像とを分離する方法として一般的に利用されている方法は、クロマキー方法と呼ばれる技術である。

クロマキー方法は、ある色を鍵として、その色の部分のみを抽出する処理を含む処理方法である。一般的に、クロマキー方法の鍵として用いられる色は、人間の肌色と補色の関係にある青色、又は緑色である。例えば、青色の背景パネルの前に位置する対象物を撮像する場合、画像データの背景である青色部分を抽出し、抽出した部分を無色透明にしたマスクを作成する。このマスクは、撮像画像の対象物部分と背景部分とを分離するために用いられる。このクロマキー方法は、TV、映画等、多くの分野において広く使われている。

しかしながら、上述の方法では、対象物が鍵と同じ色を含む場合、作成されるマスクにおいて対象物のその鍵と同じ色の部分も無色透明になってしまうことがある。さらに、対象物の影が背景パネルに映りこんでしまうこともあり、マスク作成時に影の映りこんだ部分が背景画像として抽出されないことがある。その結果、上述の方法では、精度の高いマスクを作成することができず、画像の分離を適切に行うことができないといった問題があった。

そこで、本発明は、対象物画像と背景画像とを正確に分離することができる背景画像分離装置を提供することを目的とする。

本発明の背景画像分離装置は、入射方向以外の方向への反射光より入射方向に対して強く反射する再帰性反射を発生させるように背景照明を照射し、上記背景照明の反射光を含む光を撮像して画像データを生成する画像データ生成手段と、上記画像データから、入射方向以外の方向への反射光より入射方向に対して強く背景照明を反射する再帰性反射領域を特定する再帰性反射領域特定手段と、を具備する。

本発明によれば、対象物画像と背景画像とを正確に分離することができる背景画像分離装置を実現することができる。

以下に本発明の背景画像分離装置を用いた実施の形態における背景画像分離システムについて図を用いて詳細に説明する。
図１は背景画像分離システムの概略構成図である。
図１に示すように、背景画像分離システム１は、照明制御装置２と、背景照明装置としてのリング照明装置３と、対象物照明装置４と、カメラ制御装置５と、第１の撮像装置としての電荷結合素子等の個体撮像素子を有するカメラ６と、インターフェイス（以下、I/Fと略す）７と、パーソナルコンピュータ（以下、PCと略す）１０と、により構成される。I/F７は、複数のインターフェイス、例えばUSB等の有線、もしくは無線により構成され、PC１０と、例えば照明制御装置２等の外部の装置とを接続する。また、PC１０は、CPU１２、RAM１３、ROM１４、ハードディスク装置（以下、HDDと略す）１５、キーボード等との接続のためのユーザインターフェイス（以下、ユーザI/Fと略す）１６、及びモニタ等の出力機器が接続される出力装置インターフェイス（以下、出力装置I/Fと略す）１７を含んで構成され、バス１１によってそれぞれが接続されている。

背景として撮像される背景構造物は、カメラ６側の面に、再帰性反射を実現する再帰性反射材からなる反射面を有するシート部材（以下、このシート部材を再帰性反射材と略す。シート部材の具体的な製品としては、住友スリーエム株式会社製反射材、商品名スコッチライト反射シートダイヤモンドグレード等がある。）がスクリーン状に貼り付けられている。再帰性反射材は、反射面に極小のビーズ、もしくはプリズムを高密度に塗布してあり、照射された光を光源方向に反射することができるシート部材である。

ここで、図２を用いて再帰性反射材について説明する。図２は再帰性反射材についての説明の図である。再帰性反射材は、図２（a）に示すように、照射された光を光源方向に反射、すなわち入射光をほぼ入射した方向に反射する。照射された光がほぼ光源方向に反射することは、再帰性反射と呼ばれる。また、この再帰性反射材は、反射面に対する光の入射角がある角度θ_MAX以上になると、入射光を再帰性反射によって反射する反射率が著しく低下する。本実施の形態においては、この再帰性反射材を用いて背景構造物の反射面が形成される。一方、通常の反射材における反射光は、図２（b）に示すように、入射光の入射角度と等しい反射角度により反射される。この通常の反射は、鏡面反射と呼ばれる。一般的に、再帰性反射材は、交通標識等に広く用いられている。

また、対象物は、本実施の形態の場合、人間であり、背景構造物とカメラ６との間に位置している。なお、後述するように、この対象物は、本実施の形態によればクロマキー方法による処理とは異なり、どのような色が表面に配置されていても構わない。

そして、照明制御装置２は、リング照明装置３、及び対象物照明装置４と接続され、例えば点灯、消灯、光量制御等の動作を制御する。また、照明制御装置２は、I/F７を介してPC１０と接続され、PC１０は、照明制御装置２の動作を制御する。

リング照明装置３は、カメラ６による撮像時に、背景構造物及び対象物をリング照明光により照射する。このリング照明装置３は、リング形状であり中央部の開口部を通して、カメラ６が背景構造物及び対象物からの反射光を撮像する。

図３はカメラ６による撮像時のリング照明光を説明する図である。図３に示すように、リング照明装置３の照明光は、上述した再帰性反射材の特性のために、ほぼリング照明装置３の撮像位置に向かって反射することになる。このリング形状のリング照明装置３を用いることにより、カメラ６と照明光源の配置をほぼ同一の位置に配置することができ、リング照明光の背景構造物の反射面からの反射光をより多く撮像することができる。このリング照明光による背景構造物からカメラ６へ入射する反射光は、上述した再帰性反射材の特性により、対象物からカメラ６へ入射する反射光と比べて非常に光量が大きくなる。また、リング照明光以外の光、つまり外来光が背景構造物の反射面に照射されたとしても、その外来光の反射光は、再帰性反射材の特性によって、リング照明光と比べて非常に少ない光量のみがカメラ６へ反射する。つまり結果として、外来光は、リング照明光と比べて、カメラ６の撮像する画像にとってほとんど影響を与えない。

一方、対象物照明装置４は、常に背景構造物の反射面に対象物照明光がなるべく照射されないように対象物を照明する。また、リング照明装置３の点灯及び消灯時の対象物に照射される照明光量は変化するが、対象物照明装置４は、リング照明装置３が点灯及び消灯動作をしても対象物の明るさにほとんど影響を及ぼさなくなる程度の照明光量によって対象物を照明する。さらに、対象物照明装置４が消灯した状態、もしくは対象物照明装置４がない場合でも、後述するように、本発明は、対象物画像と背景画像とを分離することが可能である。しかし、本実施の形態においては、対象物画像と背景画像とを分離した後に、予め用意した背景画像と合成するため、対象物は、対象物の画像としてわかるように撮像される必要がある。そのため、本実施の形態においては、対象物照明装置４は、対象物を照明する対象物照明光を対象物に照射する。

そして、カメラ制御装置５は、カメラ６と接続され、カメラ６の撮像動作を制御する。また、カメラ制御装置５は、I/F７を介してPC１０と接続され、PC１０は、カメラ制御装置５の動作を制御する。

カメラ６は、上述したようにリング照明装置３の中央部の開口部を通して、対象物及び背景としての背景構造物からの反射光が形成する像を撮像するように配置される。また、カメラ６は、I/F７を介してPC１０と接続され、撮像した画像データをPC１０へ送信する。

PC１０は、受信した画像データに対して所定の背景画像分離処理を行う。さらに、PC１０は、背景構造物からの反射光を特定し、背景構造物の背景画像と対象物の対象物画像とを分離するためのマスクを作成する。そして、PC１０は、その分離した対象物の対象物画像と、予め用意された背景画像とを合成し、合成画像を生成する。

そして、合成画像は、出力装置I/F１７に接続された出力装置、例えばモニタ、プリンタ等に出力される。なお、背景構造物、リング照明装置３、及びカメラ６は、画像データ生成手段を構成する。

上述の背景画像分離処理についての詳細を以下に図を用いて説明する。図４は、背景構造物である背景画像と、対象物である対象物画像とを分離する背景画像分離処理の流れの例を示すフローチャートである。本実施の形態においては、CPU１２が、画像を構成する画素の明るさに関する情報のヒストグラムを生成し、背景画像部分と対象物画像部分を分離する。以下の処理は、PC１０内のCPU１２が行うものとする。この処理は、ユーザI/F１６に接続された図示しない撮像開始ボタン等が押されたときに始まるものとする。

まず、CPU１２は、リング照明装置３を点灯させずに、カメラ６に背景構造物及び対象物を撮像させる（ステップS１１）。このときカメラ６により撮像した第１の撮像画像の例を図５に示す。第１の撮像画像５０は、対象物画像部分６０と、背景画像部分７０とを含んで構成される。対象物画像部分６０は、対象物照明装置４からの対象物照明光により照明された対象物の画像となる。背景画像部分７０は、リング照明装置３が点灯されていないため、もしくは上述したように外来光の反射光がカメラ６にほとんど入射しないため、対象物照明光が照射されている対象物画像部分６０と比べて暗い画像となる。

次に、CPU１２は、リング照明装置３を点灯させ、カメラ６に対象物及び背景構造物を撮像させる（ステップS１２）。このときカメラ６により撮像した第２の撮像画像の例を図６に示す。第２の撮像画像５１は、対象物画像部分６１と、背景画像部分７１を含んで構成される。背景画像部分７１は、上述した再帰性反射材の特性により、背景構造物がカメラ６に向かってリング照明光の反射光を反射するため、明るい画像となる。また、背景画像部分７１は、上述した再帰性反射材の特性により、対象物の影が映りこむことがなくほぼ均一に明るい画像部分となる。一方、対象物画像部分６１は、上述したように対象物照明光を照射しているために、第１の背景画像部分７０に対する背景画像部分７１の明るさの変化と比べて、第１の対象物画像部分６０に対して明るさの変化が少ない画像部分となる。

そして、CPU１２は、第１の撮像画像５０と、第２の撮像画像５１との明るさの差に関する情報、例えば輝度、明度の差を、画素毎に算出する（ステップS１３）。

次に、CPU１２は、算出した明るさの差に関する情報についてのヒストグラムを生成する（ステップS１４）。図７に明るさの差に関する情報についてのヒストグラムの例を示す。図７に示すように、このヒストグラムは、縦軸が画素数、横軸が明るさの差である。このヒストグラムは、右へ行くほど２枚の撮像画像の明るさの差が大きくなり、左へ行くほど２つの撮像画像の明るさの差が小さくなる。

このヒストグラムは、２つの大きなピークを有する。一方のピークである左側のピークのある領域、つまり明るさの差が、他方のピークがある領域よりも小さい領域を、領域１００とする。それに対して、他方のピークである右側のピークのある領域、つまり明るさの差が領域１００よりも大きい領域を、領域２００とする。

つまり、領域１００に含まれる画素は、上述したように第１及び第２の撮像画像の明るさの差が小さい対象物画像部分を構成する画素である。一方、領域２００に含まれる画素は、上述したように第１及び第２の撮像画像の明るさの差が大きい背景画像部分を構成する画素である。

結果として、第１及び第２の撮像画像における明るさの差に関する情報のヒストグラムを生成することにより、対象物画像を示す領域１００と、背景画像を示す領域２００とが分離される。すなわち、CPU１２は、領域１００に含まれる画素の位置情報と、領域２００に含まれる画素の位置情報を特定することにより、各位置における画素が対象物画像であるか、背景画像であるかを判断することができる。

なお、領域２００は、領域１００よりもピークがなだらかに現れる。この現象は、ステップS１２において撮像された背景画像部分７１の明るさが不均一であることの原因により生じる。この明るさの不均一性は、例えば再帰性反射材が背景構造物に平坦に貼り付けられていない場合、及び再帰性反射材の反射方向の不均一性がある場合等、において現れる。そのため、反射面を平坦に構成する、もしくは反射面に、より再帰性反射性能の高い再帰性反射材を用いれば、領域２００のピークもシャープになる。

ここで図４の説明に戻ると、CPU１２は、生成したヒストグラムにおいて対象物画像の領域１００と、背景画像の領域２００とを分離するための閾値を決定する（ステップS１５）。閾値は、例えば領域１００と領域２００の２つのピークの間に位置する画素数が０の領域Rの中点とする。図７の場合、この閾値THは、領域１００と領域２００とを完全に分離できる。

そして、CPU１２は、決定した閾値THに基づいて、画像データを２値化する（ステップS１６）。例えば、CPU１２は、閾値TH以下の明るさの差を持つ画素、つまり対象物画像を示す領域１００の画素の位置情報に対応する位置に１を配列し、また、閾値TH以上の明るさの差を持つ画素、つまり背景画像を示す領域２００の画素の位置情報に対応する位置に０を配列したマスクデータを生成する。このCPU１２によるステップS１３からS１６は、反射領域特定手段を構成する。

図８は生成したマスクデータに基づいて生成したマスク５２の例を示す図である。図８に示すようにマスク５２の背景画像部分及び対象物画像部分は、ノイズ４０を含んでいる。このノイズ４０は、背景画像部分においては、背景構造物の反射面における、例えば反射光量の不足、反射角の異常等により生成され、対象物画像部分においては、対象物表面において、例えば金属等の光を反射する物質が配置されていることなどにより生成される。

そのため、CPU１２は、マスク５２の画素の位置情報に基づいてノイズ４０を除去し、ノイズの無いマスク５３を生成する（ステップS１７）。図９はノイズを除去したマスク５３の例を示す図である。このマスク５３は、対象物画像と背景画像とを正確に分離することができる。

そして、CPU１２は、予め決められた背景画像と、マスク５３に従って第２の撮像画像５１から背景画像７１を分離した対象物画像６１と、を合成して、合成画像５５を生成する（ステップS１８）。図１０は予め決められた背景画像としての風景画像５４の例を示す図である。図１１は合成画像５５の例を示す図である。例えば、CPU１２は、マスク５３の０のデータがある位置情報に対応する位置に風景画像５４の画像を配列し、また、マスクデータ５３の１のデータがある位置情報に対応する位置に第２の撮像画像５１の画像を配列して合成画像５４を生成する。

最後に、CPU１２は、出力装置I/F１７に接続された出力装置に合成画像５５を出力する（ステップS１９）。

以上説明したように、本発明の背景画像分離装置を用いた実施の形態における背景画像分離システム１は、画像の明るさに関する情報に基づいたマスクを作成することによって、対象物画像と背景画像とを正確に分離することができる。また、色を背景画像分離処理の鍵としないため、対象物の表面にどのような色が配置されていても、対象物画像と背景画像との分離が可能である。さらに、背景構造物とリング照明光により、対象物の影が背景構造物に写ることがないため、正確に対象物画像と背景画像との分離が可能である。

次に、上述した背景画像分離システム１の変形例について以下に図を用いて説明する。
上述した構成の背景画像分離システム１において、背景構造物の反射面に用いられる再帰性反射材は、入射光の反射面に対する入射角が大きくなるほど、光源に反射される反射光は少なくなる。そのため、対象物として、例えば人間の全身の撮像画像を生成する場合、人間の足元の部分、つまりリング照明光が反射面に対して大きい角度により反射面に入射する部分は、反射光の光量が不足し、対象物画像と背景画像とを分離するための明るさの差がなくなってしまうことがある。さらに、一般的に対象物は通常の床部分、つまり再帰性反射材によって構成されていない場所に位置するため、やはりリング照明光の反射光の光量が不足し、正確に対象物画像と背景画像とを分離することが出来なくなってしまう。

また、対象物を撮像するのに適したカメラ６の撮像条件、例えば絞り、シャッタスピード等と、対象物画像と背景画像とを分離するために適したカメラ６の撮像条件とが、異なる場合がある。

このような問題を解消する変形例に係る背景画像分離システム５００についての詳細を以下に図を用いて説明する。背景画像分離システム５００は、上述した背景画像分離システム１とほとんど同様の構成のため、以下には相違点のみを記述する。また、同じ構成要素は、同じ符号を用いて説明は省略する。

まず、図１２に背景画像分離システム５００の概略構成図を示す。
図１２に示すように背景画像分離システム５００は、背景画像分離システム１のカメラ６の代わりに第１の撮像装置としての背景撮像用カメラ５０６、及び第２の撮像装置としての対象物撮像用カメラ５０７を含んで構成される。また、背景画像分離システム５００は、撮像用台座５０１を含んで構成される。対象物としての人間は、撮像用台座５０１の上部に位置するものとする。

撮像用台座５０１は、透明な材質、例えばガラス等により構成された六面体構造であり、内部には、反射板５０２が配置されている。この反射板５０２は、再帰性反射を実現する再帰性反射材からなる反射面を有するシート部材が貼り付けられている板部材である。また、この反射板５０２は、天板部に対して所定の角度を成し、撮像用台座５０１内に固定されている。その所定の角度は、図１２に示すように、リング照明装置３からのリング照明光を背景撮像用カメラ５０６に向かって反射するような角度である。

背景撮像用カメラ５０６及び対象物撮像用カメラ５０７は、１本の棒部材の異なる位置にそれぞれ固定される。また、背景撮像用カメラ５０６は、対象物撮像用カメラ５０７よりも床面から遠い位置に配置される。背景撮像用カメラ５０６は、リング照明装置３の中央部の開口部を通して撮像をするように配置される。また、対象物撮像カメラ５０７は、対象物である人間の全身を撮像できるような位置に配置される。

背景撮像用カメラ５０６は、背景と対象物とを区別するのに適した条件、例えば絞り、シャッタスピード等が、リング照明装置３が点灯したときに対象物画像の明るさと背景画像の明るさとが大きく異なるように撮像できるような条件に設定される。リング照明装置３も同様に、背景撮像用カメラ５０６が、背景画像の明るさと対象物画像の明るさとが大きく異なるように撮像できるような条件、例えば光量、反射面に対する照射角度等が設定される。

一方、対象物撮像用カメラ５０７は、対象物である人間を撮像するのに適した条件、例えば絞り、シャッタスピード等、が設定される。対象物照明装置４も同様に、対象物である人間を撮像するのに適した条件、例えば光量、対象物に対する照射角度等が設定される。

以上のような構成の背景画像分離システム５００の動作は、背景画像分離装置１の動作と基本的に同じである。以下には背景画像分離システム１と背景画像分離システム５００との相違点を説明する。

まず、対象物照明装置４による対象物照明光により対象物を照射して、対象物撮像用カメラ５０７によって対象物を撮像する。図１３は対象物撮像用カメラ５０７によって撮像した画像の例を図である。図１３に示すように、対象物撮像用カメラ５０７によって撮像した画像は、対象物照明光の照射されている対象物画像部分のみが明るく撮像される。また、この画像は、背景画像分離システム１における、第１の画像５０と同様の働きをする。

次に、リング照明装置３によるリング照明光により対象物及び背景構造物を照射して、背景撮像用カメラ５０６により、対象物及び背景構造物を撮像する。撮像用台座５０１の反射板５０２及び背景構造物の反射面は、リング照明装置３からのリング照明光のほとんどを背景撮像用カメラ５０６に反射する。図１４は背景撮像用カメラ５０６によって撮像した画像の例の図である。図１４に示すように、背景撮像用カメラ５０６によって撮像した画像は、撮像用台座５０１内の反射板５０２によって、対象物である人間の足元の背景画像部分まで明るい画像となる。この画像は、背景画像分離システム１における、第２の画像５１と同様の働きをする。

しかし、図１３及び図１４に示すように、背景撮像用カメラ５０６により撮像した画像と、対象物撮像用カメラ５０７により撮像した画像とは、背景撮像用カメラ５０６及び対象物撮像用カメラ５０７が撮像する位置が異なるために対象物画像部分の輪郭の形状が異なる。具体的には、図１４において、対象物である人間の頭部が大きいのは、背景撮像用カメラ５０６の床面からの距離が、対象物である人間の頭部の床面からの距離よりも大きいことが原因である。

そのため、CPU１２は、射影変換処理を行う。この射影変換処理は、背景撮像用カメラ５０６によって撮像された画像を、対象物撮像用カメラ５０７の配置された位置から撮像された画像のように変換する処理のことである。この射影変換処理は、平面射影変換と呼ばれるもので、対象物である人間を三次元構造物ではなく、二次元構造物だと仮定し、撮像についての視差を修正するものである。

そこで、CPU１２は、背景撮像用カメラによって撮像された画像に対して射影変換処理を行って得られた画像と、被写体撮像用カメラ５０７により撮像した画像を用いて、背景画像分離システム１と同様に明るさに関する情報のヒストグラムを生成する。その後は背景画像分離システム１と同様に、マスクを生成して、対象物画像と背景画像とを分離する。

以上の構成の背景画像分離システム５００により、対象物である人間の全身を撮像して背景画像と対象物画像とを正確に分離することができる。さらに、撮像用台座５０１内の反射板５０２によって、対象物である人間の足元に影ができず、また、画像を分離するために十分な反射光の光量が得られる。また、対象物を撮像するのに適した撮像条件と、対象物画像と背景画像とを分離するために適した撮像条件とが異なる場合でも、それぞれの条件に応じて撮像が可能になる。

なお、撮像用台座５０１は、内部に反射板５０２ではなく、リング照明装置３と連動して点灯動作をする照明装置を含んで構成してもよい。この場合、照明装置は、リング照明装置３が点灯するのと同時に点灯する。また、その照明装置が照射する光量は、背景構造物からのリング照明光の反射光とほぼ同じになるような光量である。これにより、反射板５０２を含む撮像用台座５０１と同様の効果が得られる。

また、背景画像分離システム５００において、背景撮像用カメラ５０６及び対象物撮像用カメラ５０７は、床面からの距離が同じ距離になるような位置に配置してもよい。

さらに、背景画像分離システム５００において、背景撮像用カメラ５０６及び対象物撮像カメラ５０７は、同時に撮像するようにしてもよい。この場合、リング照明装置３及び対象物照明装置４を点灯させて、背景撮像用カメラ５０６及び対象物撮像カメラ５０７により同時に撮像する。このとき重要なことは、リング照明装置３のリング照明光が対象物撮像用カメラ５０７の撮像した画像にほとんど写らないようにするため、入射した光を入射した方向に反射する反射率が著しく低下する角度θ_MAXが小さい、言い換えると反射の指向性が強い背景構造物及び反射板５０２の再帰性反射材を使用することである。また、リング照明装置３の位置、照射角度、光量等を、背景撮像用カメラ５０６が背景構造物及び反射板５０２からの反射光を撮像でき、かつ、対象物撮像用カメラ５０７の撮像した画像に、背景構造物及び反射板５０２からの反射光がほとんど写らないように設定することである。なお、背景撮像用カメラ５０６及び対象物撮像用カメラ５０７の撮像条件、位置等も同様に決定する必要がある。

なお、本実施の形態の背景構造物において、反射面を再帰性反射材により構成するのではなく、通常の反射材を用いてもよい。この場合、例えばハニカム構造のフィルタを反射面に密着もしくは離間させて配置することにより再帰性反射を実現する。図１５はハニカム構造のフィルタの例の図である。図１５の矢印Fで示すように、このハニカム構造のフィルタは、ハニカム構造の孔が向いている方向の光のみを透過させる。通常の反射材と、このハニカム構造のフィルタとを含んで構成することによって、外来光を遮断し、再帰性反射材と同様の効果を実現することができる。また、配置するフィルタは、ハニカム構造ではなく、同様の効果を実現する、例えばよろい戸構造、携帯電話に用いられる覗き見防止用フィルタ等の異なる構造のフィルタでもよい。

さらになお、本実施の形態において、外来光を防止するため、背景構造物、もしくは反射面にひさしのようなものを含んで構成して再帰性反射を実現してもよい。図１６は、背景構造物にひさしとしての板状部材を取り付けた例の図である。このひさしは、反射面の床面から遠い端部に、反射面に直行する方向に床面と平行に配置される板状部材６０１と、その板状部材６０１の両端部から床面方向に延出し、かつ反射面に直交する板状部材６０２とから構成される。外来光は、明るさに関する情報についてのヒストグラムの形状を乱す原因となる。このようなひさしを用いることによって、画像の分離が正確にできなくなることを防止することができる。なお、上述のハニカム構造のフィルタ、ひさし、再帰性反射材を組み合わせて用いてもよい。

また、上述した本実施の形態では、静止画像の撮像の場合について説明したが、本実施の形態は、動画像を撮像する場合においても適用することができる。その場合、垂直同期信号Vsyncを照明制御装置２に与えることによって、リング照明装置３、及び対象物照明装置４の点灯制御を、カメラ６の撮像動作と同期させるようにする。図１７は垂直同期信号Vsyncを照明制御装置２に与える背景画像分離システム６００の概略構成図である。背景画像分離システム６００において、垂直同期信号Vsyncは、カメラ制御装置５から送信されているが、もちろんPC１０等の他の機器から制御するようにしてもよい。

さらにまた、本実施の形態において、対象物照明装置６は、予め用意された背景画像に応じて、対象物照明光の色を変化させるようにしてもよい。この場合、予め用意した背景画像として、例えば海の風景画像であるなら、対象物照明光を淡い水色にし、予め用意した背景画像として、例えば夕焼け空の風景画像であるなら、対象物照明光をオレンジ色にする、といった演出が可能となる。

なお、本実施の形態において、リング照明装置３は、リング照明光としてどのような色を照明してもよい。つまり、明るさに関する情報についてのヒストグラムの生成において、本実施の形態における領域１００及び領域２００のように、閾値によって明確に画像データの区分ができるようなヒストグラムが生成できれば背景画像部分の特定が可能である。

さらに、本実施の形態において、リング照明装置３は、陰影によるパターンを持つリング照明光を照射してもよい。図１８はパターンを持つリング照明光による撮像画像の例の図である。この場合、再帰性反射特性を持つ背景構造物の反射面と、対象物とに、リング照明光のパターンが写りこむ。しかし、反射面は無柄であるため、リング照明光のパターンがはっきりと投影される。また、リング照明光が照射された領域と、リング照明光が照射されない領域が発生し、画像に明るさの差が生じることになる。ここで、例えばCPU１２は、明るさに関する情報についてのヒストグラムを生成すると共に、リング照明光のパターンを判別するプログラムを動作させ、背景画像を特定するようにする。この方法により、CPU１２は、背景画像と対象物画像とを一層正確に分離可能になる。さらに、パターン、例えば格子状のパターンを持つリング照明光は、背景構造物及び対象物上の照射位置を移動させて撮像するようにしてもよい。つまり、カメラ６は、背景構造物及び対象物の表面に照射される複数種類の格子状のパターンを撮像して、背景画像分離処理を行う。また、格子状のパターンは、格子の間隔を変化させて複数種類撮像されるようにしてもよい。これらの場合、背景をより高い精度により特定することができる。図１８は、格子状のパターンの例を示しているが、他のパターン、例えば斜線パターンでもよい。

なお、本実施の形態において、リング照明装置３ではなく、背景構造物だけを照明するように対象物の後ろに配置された背景照明用の照明装置を用いてもよい。この場合、背景照明用の照明装置の位置は、カメラ６による撮像位置と、反射光の角度を考慮して決定する。

また、本実施の形態において、２つの画像を用いて明るさに関する情報についてのヒストグラムを生成したが、ヒストグラム以外の特定手段を用いてもよい。また、例えば、１つの画像データの明るさに関する情報に基づいて、背景画像と対象物画像とを分離するようにしてもよい。この場合、背景構造物からの反射光量と、対象物からの反射光量とが著しく異なることを利用する。例えば、明るさに関する情報についての閾値を決定することによって２値化を行い、背景画像と対象物画像との分離を行う。

さらに、本実施の形態において、３つ以上の画像を用いて背景画像と対象物画像とを分離するようにしてもよい。この場合、それぞれ光量、もしくは光源を変化させ撮像して、それぞれの差をとり、例えば、明るさに関する情報についてのヒストグラムを生成して背景を特定する。

なお、本実施の形態において、背景構造物の反射面を発光するパネル状部材により構成してもよい。この場合、リング照明装置３及び背景構造物の反射面を形成する再帰性反射材を無くし、撮像時にパネル状部材が発光するようにして、明るさに関する情報についてのヒストグラムを生成する。

また、本実施の形態において、赤外線照明装置、赤外線カメラ、及び赤外線吸収部材を用いて、対象物画像と背景画像とを分離するようにしてもよい。この場合、背景として赤外線吸収部材を背景構造物の反射面として構成し、赤外線照明により対象物を照明して赤外線カメラにより撮像する。赤外線照明は、背景構造物の赤外線吸収部材に吸収されるため、その差を利用して対象物画像と背景画像とを分離することができる。

また、本実施の形態において、合成画像をリアルタイムに表示する表示装置を別途構成してもよい。この場合、ユーザがユーザI/F１６を操作することにより、合成された画像を確認しながら合成画像の修正等の操作を行うことができる。

なお、本発明の背景画像分離装置は、例えばホームムービ、ゲーム装置、または、プリクラ（登録商標）などの即時印刷可能な撮影装置等に応用してもよい。

なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施の形態に係る、背景画像分離システムの概略構成図。 本発明の実施の形態に係る、再帰性反射材についての説明の図。 本発明の実施の形態に係る、照明光についての説明の図。 本発明の実施の形態に係る、画像分離処理の流れの例を示すフローチャート。 本発明の実施の形態に係る、リング照明を点灯させずに撮像した撮像画像を示す図。 本発明の実施の形態に係る、リング照明を点灯させて撮像した撮像画像を示す図。 本発明の実施の形態に係る、明るさに関する情報についてのヒストグラム。 本発明の実施の形態に係る、ノイズを含むマスクを示す図。 本発明の実施の形態に係る、ノイズ除去を行ったマスクを示す図。 本発明の実施の形態に係る、予め用意した背景画像の例を示す図。 本発明の実施の形態に係る、出力画像の例を示す図。 本発明の実施の形態に係る、背景画像分離システムの変形例の概略構成図。 本発明の実施の形態に係る、背景撮像用カメラにより撮像した画像を示す図。 本発明の実施の形態に係る、対象物撮像用カメラにより撮像した画像を示す図。 本発明の実施の形態に係る、ハニカム構造のフィルタを示す図。 本発明の実施の形態に係る、ひさしの例を示す図。 本発明の実施の形態に係る、動画像を撮像する背景画像分離システムの概略構成図。 本発明の実施の形態に係る、パターンを持つリング照明光による撮像画像の例の図。

符号の説明

１ 背景画像分離システム、２ 照明制御装置、３ リング照明装置、４ 対象物照明装置、５ カメラ制御装置、６ カメラ、７ インターフェイス、１０ パーソナルコンピュータ、４０ ノイズ、５０ 第１の撮像画像、５１ 第２の撮像画像、５２ マスク、５３ ノイズ除去後のマスク、５４ 風景画像、５５ 合成画像、６０ 第１の対象物画像、６１ 第２の対象物画像、７０ 第１の背景画像、７１ 第２の背景画像、５００ 背景画像分離システムの変形例、５０１ 撮像用台座、５０２ 反射板、５０６ 背景撮像用カメラ、５０７ 対象物撮像用カメラ、６００ 動画像を撮像する背景画像分離システム、６０１ 板状部材、６０２ 板状部材

Claims (7)

1. 入射方向以外の方向への反射光より入射方向に対して強く反射する再帰性反射を発生させるように背景照明を照射し、上記背景照明の反射光を含む光を撮像して画像データを生成する画像データ生成手段と、
   上記画像データから、入射方向以外の方向への反射光より入射方向に対して強く上記背景照明を反射する再帰性反射領域を特定する再帰性反射領域特定手段と、
   を具備することを特徴とする背景画像分離装置。
2. 上記再帰性反射領域特定手段は、上記背景照明が照射された場合と、上記背景照明が照射されない場合における上記画像データの明るさの差に関する情報に基づいて上記再帰性反射領域を特定することを特徴とする請求項１記載の背景画像分離装置。
3. 上記再帰性反射領域特定手段は、上記画像データにおいて、上記背景照明が照射された領域と、上記背景照明が照射されない領域との上記画像データの明るさの差に関する情報に基づいて上記再帰性反射領域を特定することを特徴とする請求項１もしくは請求項２記載の背景画像分離装置。
4. 上記再帰性反射領域特定手段は、上記画像データから、明るさに関する所定の閾値より上記背景照明の反射光が明るい領域を上記再帰性反射領域と特定することを特徴とする請求項１、請求項２、もしくは請求項３記載の背景画像分離装置。
5. 背景照明を照射する背景照明装置と、
   上記背景照明を入射方向以外の方向への反射光より入射方向に対して強く反射する再帰性反射を発生させるような反射面を有する背景構造物と、
   上記背景照明の反射光を含む光を受光して画像を撮像し、画像データを生成する第１の撮像装置と、
   上記画像データから、入射方向以外の方向への反射光より入射方向に対して強く背景照明を反射する再帰性反射領域を特定する再帰性反射領域特定手段と、
   を具備することを特徴とする背景画像分離システム。
6. さらに、上記反射面と上記第１の撮像装置との間に、主に対象物を照明するように配置された対象物照明装置と、
   を具備することを特徴とする請求項５記載の背景画像分離システム。
7. さらに、上記対象物を撮像して画像データを生成する第２の撮像装置と、
   を具備することを特徴とする請求項５もしくは請求項６記載の背景画像分離システム。