JP2009164951A - 撮像システム、画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】高精度で、正面画像における被写体領域を検出すること。
【解決手段】撮像システムは、第一の波長領域の光を被写体に正面側から照射する正面照射装置と、第二の波長領域の光を被写体に背面側から照射する背面照射装置と、第一の波長領域の光による被写体の正面画像、および第二の波長領域の光による被写体のシルエット画像を同時に、被写体の正面側から撮像する撮像装置と、正面画像およびシルエット画像を取得する画像取得部、ならびに正面画像およびシルエット画像に基づいて正面画像における被写体領域を検出する被写体領域検出部を有する画像処理装置とを備える。
【選択図】図１

Description

本発明は、撮像システム、画像処理装置、画像処理方法、およびプログラムに関する。本発明は、特に、合成画像に用いられる画像を撮像する、撮像システム、画像処理装置、画像処理方法、および画像処理装置用のプログラムに関する。

被写体の正面側から照射された光による被写体の正面画像と、被写体の背面側から照射された光による被写体のシルエット画像とを連続して撮像して、撮像されたシルエット画像に基づいて、正面画像における被写体領域を検出する技術が知られている（たとえば、特許文献１参照。）。
国際公開第２００６／０９５７７９号パンフレット

しかしながら、上記特許文献１に記載の技術によると、正面画像とシルエット画像とを連続して撮像しているので、被写体に動きがある場合、正面画像における被写体の位置と、シルエット画像における被写体の位置とにずれが生じてしまう。このため、高精度で、被写体領域を検出することができない。

上記課題を解決するために、本発明の第１の形態においては、撮像システムであって、第一の波長領域の光を被写体に正面側から照射する正面照射装置と、第二の波長領域の光を被写体に背面側から照射する背面照射装置と、第一の波長領域の光による被写体の正面画像、および第二の波長領域の光による被写体のシルエット画像を同時に、被写体の正面側から撮像する撮像装置と、正面画像およびシルエット画像を取得する画像取得部、ならびに正面画像およびシルエット画像に基づいて正面画像における被写体領域を検出する被写体領域検出部を有する画像処理装置とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係る撮像システム１０の一例を示す。撮像システム１０は、画像処理装置１００、撮像装置１１０、正面照射装置１２０、背面照射装置１３０、撮影台１４０、および反射板１６０を備える。

画像処理装置１００は、撮像装置１１０が撮像した正面画像およびシルエット画像を取得する。また、画像処理装置１００は、取得した正面画像およびシルエット画像に基づいて正面画像における被写体領域を検出する。ここでの正面画像とは、正面照射装置１２０が照射した光による被写体および背景を撮像装置１１０によって撮像された画像であってよい。また、シルエット画像とは、背面照射装置１３０が照射した光による被写体および背景を撮像装置１１０によって撮像された画像であってよい。

また、画像処理装置１００は、正面画像中の被写体領域と背景領域とを切り分けることにより、被写体領域のみを抽出した被写体画像を生成する。被写体画像は画像中の各画素が被写体領域である場合は１で、背景領域の場合は０の値を持つマスク画像、あるいは被写体２０と背景の境界線を位置座標で表すパスデータと正面画像を組み合わせた画像であってもよい。被写体２０が部分的に透明な場合、マスク画像は透明度に応じ０と１の間の値を持つ画像であってもよい。画像処理装置１００は、検出した被写体領域の被写体画像をシルエット画像から、あるいはシルエット画像および正面画像から抽出してもよい。なお、本実施形態の撮像システム１０は、上記した画像処理装置１００を備えているが、画像処理装置１００を備えずに、撮像装置１１０が画像処理装置１００と同様の機能を有してもよい。

撮像装置１１０は光学像を撮影するレンズ、絞り、シャッタ、撮像素子等を有する、いわゆる電子式カメラである。撮像装置１１０は、被写体２０の正面画像、および被写体２０のシルエット画像を、被写体２０の正面側から撮像する。撮像装置１１０は、画像を結像させるための光学系、光量制御のための絞り、シャッタおよび撮像素子を有する。

撮像素子は、被写体２０から反射して当該撮像装置１１０に入射された光の光量を、複数の受光素子によって検出する。撮像装置１１０は、検出した光量に応じた電荷を受光素子毎に出力する。撮像素子は、ＣＣＤ又はＣＭＯＳであってもよい。

正面照射装置１２０は、光を被写体２０に正面側から照射する。たとえば、正面照射装置１２０は、電圧を印加することにより発光する放電管などの発光体を有する。正面照射装置１２０は、撮像のタイミングを示すタイミング信号を撮像装置１１０から受け取ることにより、発光体を発光させる。正面照射装置１２０は、発光体を常に発光させていてもよい。

背面照射装置１３０は、光を被写体２０に背面側から照射する。たとえば、背面照射装置１３０は、電圧を印加することにより発光する放電管などの発光体を有する。背面照射装置１３０は、撮像のタイミングを示すタイミング信号を撮像装置１１０から受け取ることにより、発光体を発光させる。背面照射装置１３０は、発光体を常に発光させていてもよい。

撮影台１４０は、表面側からの光に対する拡散反射性と、裏面側からの光に対する透過性とを有する。撮影台１４０は、ガラスまたはアクリル板などの光透過性を有するシートに、表面側からの光に対する拡散反射性と、裏面側からの光に対する透過性とを有する拡散シートを重ね合わせたものであってもよい。撮影台１４０は、白色顔料が分散したプラスティックシートであってもよい。

反射板１６０は、撮影台１４０の下方において、背面照射装置１３０から照射された光を、反射および拡散させる。これにより、反射板１６０は、背面照射装置１３０から照射された光を撮影台１４０に対し均一に照射させる。

本実施形態において、撮像システム１０は、被写体２０の正面画像および被写体２０のシルエット画像を同時に撮像する。以下、被写体２０の正面画像および被写体２０のシルエット画像を同時に撮像する例を説明する。

撮像装置１１０は、第一の波長領域の光による被写体２０の正面画像、および第二の波長領域の光による被写体２０のシルエット画像を同時に、被写体２０の正面側から撮像する。たとえば、撮像装置１１０は、第一の波長領域の光である可視光による被写体２０の正面画像、および第二の波長領域の光である赤外光による被写体２０のシルエット画像を同時に、被写体２０の正面から撮像する。

撮像装置１１０が有する撮像素子は、被写体２０あるいは撮影台１４０が反射あるいは透過して当該撮像装置１１０に入射された可視光および赤外光のそれぞれの光量を、複数の受光素子によって検出する。たとえば、撮像装置１１０は、可視光の光量を色成分毎に検出する撮像素子と、赤外光の光量を検出する撮像素子とを有する。撮像装置１１０は、可視光の光量を色成分毎に検出する色成分毎の撮像素子と、赤外光の光量を検出する撮像素子とを物理的に四つ配置した撮像素子を有してもよい。

また、撮像装置１１０は、複数台の撮像装置によって構成され、複数台の撮像装置が同時に被写体２０を撮像してもよい。たとえば、撮像装置１１０は、可視光の光量を色成分毎に検出する撮像素子を有する撮像装置と、赤外光の光量を検出する撮像素子を有する撮像装置との、物理的に二台の撮像装置を有してもよい。

二台の撮像装置を組み合わせた撮像装置１１０を使用する場合は、二台の撮像装置の撮像条件は、互いに同一であることが好ましい。たとえば、二台の撮像装置の撮像位置、撮像方向、レンズ、絞り、シャッタースピード、ズーム条件、および焦点位置は、互いに同一であることが好ましい。

また、二台の撮像装置を組み合わせた撮像装置１１０を使用する場合は、１台目の撮像装置１１０は可視光のみを透過させるフィルタを有することにより、フィルタを透過した可視光を撮像してもよい。また、二台目の撮像装置１１０は、赤外光のみを透過させるフィルタを有することにより、フィルタを透過した赤外光を撮像してもよい。

正面照射装置１２０は、第一の波長領域の光を被写体２０に正面側から照射する。具体的には、正面照射装置１２０は、第一の波長領域の光である可視光を、被写体２０に正面側から照射する。正面照射装置１２０は、発光体から発光された光のうち、赤外光をカットするフィルタを有してもよい。

背面照射装置１３０は、第二の波長領域の光を被写体２０に背面側から照射する。具体的には、背面照射装置１３０は、第二の波長領域の光である赤外光を、被写体２０に背面側から照射する。背面照射装置１３０は、発光体から発光された光のうちの赤外光のみを透過するフィルタを有してもよい。

撮影台１４０は、表面側からの可視光に対する拡散反射性を有する。また、撮影台１４０は、裏面側からの赤外光に対する透過性を有する。ここでの、撮影台１４０の表面とは、被写体２０に対向する面であってよい。また、撮影台１４０の裏面とは、被写体２０に対向する面の反対側の面であってよい。

図２は、撮像装置１１０の撮像素子部の一例を示す。撮像素子部は撮像素子２１０、および撮像素子の前に配置されたフィルタ２２０を備える。撮像素子２１０は、複数の受光素子を有する。複数の受光素子は、碁盤目状に配設される。

撮像素子２１０は第一の波長領域である可視光全般および第二の波長領域である赤外光に十分な感度を有していることが望ましい。また撮像素子２１０の前に撮像素子に対応して配置されたフィルタ２２０は第一の波長領域である可視光および第二の波長領域である赤外光に個別に応答するようなフィルタであることが望ましく、さらに可視光域については光の三原色を分離しカラー画像を撮影することが望ましい。

フィルタ２２０は、Ｒ（赤）フィルタ、Ｇ（緑）フィルタ、Ｂ（青）フィルタ、およびＩｒ（赤外）あるいはＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）およびＩｒ（赤外）のフィルタをそれぞれ複数有する。なお、図２では素子を碁盤目状に配置しており、４つのフィルタの数を同じにしているが、これに限るものでなく、たとえば目の視感度を高めることを目的としてＧの数を増やすこともできる。

フィルタ２２０が有する複数のフィルタは、それぞれ所定の波長領域の光を透過する。たとえば、Ｒフィルタは、入射された光のうち、主に波長領域６００ｎｍ〜７００ｎｍを有する光（可視光の赤成分）を透過してよい。Ｇフィルタは、入射された光のうち、主に波長領域５００ｎｍ〜６００ｎｍを有する光（可視光の緑成分）を透過してよい。Ｂフィルタは、入射された光のうち、主に波長領域４００ｎｍ〜５００ｎｍを有する光（可視光の青成分）を透過してよい。Ｉｒ（赤外）フィルタは、入射された光のうち、主に波長領域７００ｎｍ〜１０００ｎｍを有する光（赤外光）を透過してよい。

撮像素子部に入射された光は、フィルタ２２０によって、複数種類の波長領域の光に細分化される。フィルタ２２０によって細分化された光のそれぞれは、撮像素子２１０の対応する位置に設けられた受光素子に照射される。これにより、撮像素子部は、所定の領域毎に、可視光に含まれる各周波数成分の光量、および赤外光の光量を検出する。

第一の波長領域である可視光の撮像素子であるＲ、Ｇ、Ｂのフィルタに対応する素子の信号は正面照射装置１２０からの光による画像に相当する。撮像装置１１０は、これら信号からカラーの正面画像を作成する。第二の波長領域である赤外光の撮像素子であるＩｒフィルタに対応する素子からの信号は、背面照射装置１３０からの光による画像に相当する。撮像装置１１０は、これらの信号からシルエット画像を作成する。

図３は、二台の撮影機を有する撮像装置１１０の構成例を示す。撮像装置１１０は、第一の波長領域である可視光のみを透過するフィルタ３３０、カラー画像を撮影できる撮影機３１０、第二の波長領域である赤外光のみを透過するフィルタ３４０、および赤外画像を撮影できる撮影機３２０を有する。

撮影機３１０の画像データは正面照射装置１２０からの光による画像に相当する。撮像装置１１０は、この信号からカラーの正面画像を作成する。撮影機３２０の画像データは背面照射装置１３０からの光による画像に相当する。撮像装置１１０は、この信号からシルエット画像を作成する。

図４は、画像処理装置１００のブロック構成の一例を示す。画像処理装置１００は、画像取得部５０２、画像補正部５０６、被写体領域検出部５０８、マスク画像生成部５１０、格納部５１８、および出力部５２０を有する。

画像取得部５０２は、正面画像およびシルエット画像を取得する。具体的には、被写体２０の正面側から光を照射して撮像された被写体２０の正面画像、および被写体２０の背面側から光を照射して撮像された被写体２０のシルエット画像を取得する。より具体的には、画像取得部５０２は、撮像装置１１０によって同時に撮像された、被写体２０の正面側から照射された可視光による被写体２０の正面画像、および被写体２０の背面側から照射された赤外光による被写体２０のシルエット画像を取得する。

画像補正部５０６は、正面画像とシルエット画像と間の画像の位置ズレ差異を必要に応じて補正する。第一の波長領域および第二の波長領域の光による画像を同一のレンズにより結像し両方の受光素子を一枚の撮像素子として構成し撮像素子のフィルタの特性により正面画像と、シルエット画像を切り分け生成する場合は可視光と赤外光の結像特性の違いによる位置ズレが生ずる。図３に示すように、二台の撮影機を配置して撮像装置１１０を構成する場合上記位置ズレに加え、光軸のズレ、レンズ特性の違い、絞り、焦点距離、焦点位置等光学特性の違いにより、正面画像とシルエット画像の間には位置ズレが生ずることがある。画像補正部５０６は、正面画像とシルエット画像との対応点を求め、その位置の差から画像全体の変形補正量を求め、求められた補正量に基づいて正面画像とシルエット画像と間の差異を補正してもよい。

画像補正部５０６は、正面画像とシルエット画像との、焦点距離、歪み特性等の差異を予め計測しておきこのデータに基づき補正してもよい。画像補正部５０６は、撮影台１４０に予め格子縞、格子点のようなテクスチャを印字しておき、正面画像およびシルエット画像に写り込まれたテクスチャから、上記二台の撮像装置の光学条件の差異を推定することで、推定した差異を補正してもよい。画像補正部５０６が補正処理をおこなうことにより、被写体領域検出部５０８は、高精度で、被写体領域を検出することができる。

被写体領域検出部５０８は、正面画像およびシルエット画像に基づいて正面画像における被写体領域を検出する。被写体領域検出部５０８は、シルエット画像において背面照射装置１３０からの光が遮光され暗い領域が被写体領域であると判断する。被写体領域検出部５０８は、背景領域の明るさのムラによる検出精度の劣化を防ぐことを目的として、シルエット画像を複数の領域に分割して、分割した領域毎に、被写体領域を検出してもよい。

たとえば、被写体領域検出部５０８は、分割した領域毎に、輝度および色を示すヒストグラムを生成して、生成した輝度および色を示すヒストグラムに基づいて、被写体領域を検出してもよい。この場合、周囲よりも暗い領域を被写体領域として検出してもよい。

被写体領域検出部５０８は、シルエット画像の輝度値のムラが所定量より大きい場合は、上記領域のサイズを所定のサイズより小さくしてもよい。これにより、被写体領域検出部５０８は、高精度で、被写体領域を検出することができる。被写体領域検出部５０８は、シルエット画像の輝度値のムラが、所定の値より小さい場合は、上記領域のサイズ領域サイズを所定のサイズより大きくしてもよい。これにより、被写体領域検出部５０８は、高処理速度で、被写体領域を検出することができる。

被写体領域検出部５０８は、エッジ処理等の既知の処理方法を用いて、被写体領域を検出してもよい。被写体領域検出部５０８は、上記した複数の処理方法を併用して、被写体領域を検出してもよい。これにより、被写体領域検出部５０８は、高精度で、被写体領域を検出することができる。

マスク画像生成部５１０は、正面画像中の被写体領域と背景領域とを切り分けることにより、被写体領域のみを抽出した被写体画像を生成する。被写体画像は画像中の各画素が被写体領域である場合は１で、背景領域の場合は０の値を持つマスク画像、あるいは被写体領域と背景領域との境界線を位置座標で表すパスデータと正面画像を組み合わせた画像であっても良い。

格納部５１８は、画像取得部５０２によって取得された正面画像を格納する。また、格納部５１８は、マスク画像生成部５１０によって生成されたマスク画像あるいはパスデータを正面画像と関連付けて格納する。また、格納部５１８は、後述の影響画像生成部５１４によって生成された被写体２０の存在することにより生ずる影等の被写体影響画像を正面画像およびマスク画像と関連付けて格納することもできる。

たとえば、格納部５１８は、上記した各画像を、キャッシュメモリ等へ一時的に格納してもよい。格納部５１８は、上記した各画像を、ハードディスク等へ恒久的に格納してもよい。格納部５１８に格納された正面画像は、被写体２０および背景パターン４１０を含んだ画像として印刷、表示、編集等の各種処理に用いてもよい。

出力部５２０は、格納部５１８に格納された正面画像およびマスク画像を関連付けて出力することができる。たとえば、出力部５２０は、正面画像およびマスク画像を他の情報処理装置へ送信してもよい。

出力先の情報処理装置は、正面画像をそのまま利用してもよい。また、出力先の情報処理装置は、マスク画像あるいはパスデータを用いて、正面画像から被写体画像を抽出してもよい。また、出力先の情報処理装置は、抽出した被写体画像から被写体２０と背景の切り分けの不具合を修正するための処理することもできる。また、出力先の情報処理装置は、抽出した被写体画像と、他の背景画像との合成画像を生成してもよい。

図５は、撮像システム１０における処理フローの一例を示す。まず、撮像装置１１０によって、被写体２０の正面画像およびシルエット画像を同時に撮像する（Ｓ６０２）。つぎに、画像処理装置１００の画像取得部５０２によって、撮像装置１１０が撮像した正面画像およびシルエット画像を取得する（Ｓ６０４）。そして、画像処理装置１００の画像補正部５０６によって、取得した正面画像を補正する（Ｓ６０６）。

つぎに、画像処理装置１００のマスク画像生成部５１０によって被写体領域がマスクされたマスク画像を生成する（Ｓ６０８）。マスク画像を生成する処理フローの一例については図６を用いて後述する。そして、画像処理装置１００の出力部５２０によって、正面画像およびマスク画像を出力して（Ｓ６１４）、処理を終了する。

図６は、マスク画像を生成する処理フローの一例を示す。まず、マスク画像生成部５１０は、シルエット画像を取得する（Ｓ７０２）。つぎに、マスク画像生成部５１０は、取得したシルエット画像を、複数の領域に分割する（Ｓ７０４）。たとえば、シルエット画像を、５×５の領域あるいは１０×１０の領域に分割する。

つぎに、マスク画像生成部５１０は、分割した領域毎に、画素ごとの明るさに相当するデータのヒストグラムを生成したうえで、被写体領域と背景領域とを分離する際の閾値となる分離値を決定する（Ｓ７１０）。そして、マスク画像生成部５１０は、分割した領域毎に、決定された分離値に基づいて、被写体領域と背景領域とを分離したうえで、マスク画像を生成して（Ｓ７１２）、処理を終了する。

マスク画像生成部５１０は、画像予測部５０４が推定した被写体２０の存在しないシルエット背景画像を取得してもよい。この場合、画像予測部５０４は画像の周辺部は背景であると仮定する、周辺近傍の比較的均質な画像領域を背景であると仮設する、あるいはオペレータの指示により確定する等の方法により、背景領域部を判別してもよい。

また、画像予測部５０４は、背景領域と判断された領域の、輝度、色、等の値を位置Ｘ，Ｙの関数とした多項式近似等により、背景画像を予測してもよい。たとえば、背景Ｘ，Ｙ点の輝度をＶ（Ｘ，Ｙ）＝ΣＡ_ｉｊ＊Ｘ^ｉ＊Ｙ^ｊ（Ｎ次の多項式の場合；ｉ，ｊは０からＮまでの整数）とおき、既知の背景部の値からＡ_ｉｊを求めることでシルエット背景画像を予測してもよい。マスク画像生成部５１０は、被写体２０の存在するシルエット画像と、前記推定により作成した被写体２０の存在しないシルエット背景画像との輝度、色の差異によりマスク画像を生成してもよい。

図７は、撮像装置１１０によって撮像された正面画像の一例を示す。正面画像８００には、正面側から可視光を照射された状態の被写体２０と、撮影台１４０とが写り込まれている。撮影台１４０は、表面側からの可視光に対する拡散反射性を有する。このため、表面側から可視光が照射された状態で撮像された正面画像８００には、撮影台１４０の裏側にある機材などは写り込まれない。予め背景パターンを撮影台１４０に印字しておくことにより、正面画像８００に背景パターンを写し込むこともできる。

図８は、撮像装置１１０によって撮像されたシルエット画像の一例を示す。シルエット画像８１０は、図７に示した正面画像８００と同時に、撮像装置１１０によって撮像されている。撮影台１４０は、裏面側からの赤外光に対する透過性を有する。このため、被写体２０は、裏面側から赤外光が照射された状態で、シルエット画像８１０に写り込まれる。

シルエット画像８１０においては、被写体領域と背景領域とで、明暗がはっきりと分かれている。このため、被写体領域検出部５０８は、高精度でシルエット画像８１０から被写体領域を検出することができる。

また、シルエット画像８１０は、図７に示した正面画像８００と同時に撮像されたことから、正面画像８００における被写体領域と、シルエット画像８１０における被写体領域との間にずれは生じない。たとえば、被写体２０が動いていた場合であっても、正面画像８００における被写体領域と、シルエット画像８１０における被写体領域との間にずれは生じない。したがって、被写体領域検出部５０８は、高精度でシルエット画像８１０から被写体領域を検出することができる。

図９は、マスク画像生成部５１０によって生成されたマスク画像の一例を示す。マスク画像８３０は、被写体領域がマスクされている。マスクされた被写体領域は、図８に示したシルエット画像８１０から被写体領域検出部５０８によって高精度で検出されている。このため、正面画像８００から被写体画像を抽出する場合には、マスク画像８３０を用いることにより、高精度で正面画像８００から被写体画像を抽出することができる。

このように、本実施形態の撮像システム１０は、正面照射装置１２０と背面照射装置１３０とが異なる波長領域の光をそれぞれ照射して、撮像装置１１０が異なる波長領域のそれぞれで正面画像およびシルエット画像を同時に撮像する。これにより、正面画像における被写体領域と、シルエット画像における被写体領域とのずれを無くすことができる。また、本実施形態の撮像システム１０は、正面画像と同時に撮像されたシルエット画像に基づいて、正面画像における被写体領域を検出できる。したがって、高精度で、正面画像における被写体領域を検出することができる。

図１０は、撮影台１４０の構成の一例を示す。撮影台１４０は、正面画像に写り込むテクスチャを有してもよい。また、撮影台１４０は、正面画像に写り込まず、シルエット画像に写り込むテクスチャ４２０を有してもよい。

被写体２０の正反射する部分を有する例えば白い陶器、光沢金属を有する宝飾品等では、裏面からの照明光の正反射で背景部分より明るくなる部分が生ずることがある。この場合、シルエット画像の明るさの違いにより被写体２０と背景とを分離する方法では、正確に被写体部分を検出することができない。そこで、テクスチャの利用することで、正確に被写体部分を検出することができる。

本実施形態において、撮像システム１０は、被写体２０のシルエット画像に写り込んだテクスチャの画像に基づいて、被写体２０の正面画像における被写体領域を検出してもよい。以下、被写体２０のシルエット画像に写り込んだテクスチャの画像に基づいて、被写体２０の正面画像における被写体領域を精度良く検出する例を説明する。

図１０（ａ）は、撮影台１４０の表面の一部拡大図を示す。図１０（ｂ）は、撮影台１４０の裏面の一部拡大図を示す。図１０（ｃ）は、撮影台１４０の側面の一部拡大図を示す。

撮影台１４０は、表面１４１側からの可視光に対する拡散反射性を有する。また、撮影台１４０は、裏面１４２側からの光に対する透過性を有する。

撮影台１４０の裏面１４２には、複数のテクスチャ４２０が規則的に配設されている。テクスチャ４２０は、裏面１４２側からの光を遮蔽する。

上記したように、テクスチャ４２０は、撮影台１４０の裏面１４２に設けられることが好ましい。テクスチャ４２０は、シルエット画像に写り込まれ、正面画像に写り込まないことが好ましい。テクスチャ４２０は、撮像装置１１０が検出可能な、ドットまたは細線であることが好ましい。テクスチャ４２０は、被写体検出精度を高めるためシルエット画像における所定数の画素を含む領域のそれぞれに写り込まれるように配設されることが好ましい。所定数の画素を含む領域は、撮像装置１１０の画像分解能の範囲で小さいサイズとすることが望ましい。

図１１は、撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。シルエット画像８１１には、背面側から光を照射された状態の被写体２０と、撮影台１４０の裏面に設けられたテクスチャ４２０とが写り込まれている。撮影台１４０は、裏面側からの光に対する透過性を有する。このため、裏面側から光が照射された状態で撮像されたシルエット画像８１１には、テクスチャ４２０が写り込まれる。

画像処理装置１００においては、画像取得部５０２は、被写体２０およびテクスチャ４２０が写り込まれているシルエット画像を取得する。また、被写体領域検出部５０８は、シルエット画像に写り込んだテクスチャ４２０の画像に基づいて、正面画像における被写体領域を検出する。

たとえば、被写体領域検出部５０８は、分割した領域毎にテクスチャ４２０の強度を示すヒストグラムを生成して、生成したテクスチャ４２０の強度を示すヒストグラムに基づいて、分割した領域毎に被写体領域を検出してもよい。この場合、テクスチャ４２０の強度が所定の値より低い領域を被写体領域として検出してもよい。あるいはテクスチャ４２０の配置の規則性よりテクスチャ４２０の存在する位置を推定した結果、テクスチャ４２０が検出できない場所を被写体領域であると判定することもできる。

また、被写体領域検出部５０８は、テクスチャ４２０の強度が所定の値より高い画素が周辺に存在する画素に対して、テクスチャ４２０の強度を高めてもよい。たとえば、注目画素ｉとその周辺に存在する画素ｊのテクスチャ４２０の強度Ｍｉｊの関数Ｔｉ＝Ｔ（Ｍｉ１、Ｍｉ２・・・）として、背景領域と被写体領域とを分離する演算式を求めてもよい。

図１２は、マスク画像を生成する処理フローの他の一例を示す。まず、マスク画像生成部５１０は、シルエット画像を取得する（Ｓ７０２）。つぎに、マスク画像生成部５１０は、取得したシルエット画像を、複数の領域に分割する（Ｓ７０４）。

つぎに、マスク画像生成部５１０は、画素毎に、テクスチャ４２０を抽出するマスク群を用いたテクスチャマスク演算処理をおこなうことにより、テクスチャ４２０を抽出する。そして、マスク画像生成部５１０は、抽出したテクスチャ４２０の強度を算出する（Ｓ７０６）。つぎに、マスク画像生成部５１０は、画素毎に、算出されたテクスチャ４２０の強度を用いたテクスチャ値演算処理をおこない、テクスチャ値を算出する（Ｓ７０８）。

つぎに、マスク画像生成部５１０は、分割した領域毎に、算出された画素毎のテクスチャ値のヒストグラムを生成したうえで、被写体領域と背景領域とを分離する際の閾値となる分離値を決定する（Ｓ７１０）。そして、マスク画像生成部５１０は、分割した領域毎に、決定された分離値および画素毎のテクスチャ値に基づいて、被写体領域と背景領域とを分離したうえで、マスク画像を生成して（Ｓ７１２）、処理を終了する。

このように、本実施形態の撮像システム１０は、シルエット画像に写り込んだテクスチャ４２０に基づいて、被写体２０の正面画像における被写体領域を検出することができる。これにより、被写体２０の背面側から照射された光が被写体２０で反射した場合であっても、高精度で、被写体２０の正面画像における被写体領域を検出することができる。本実施形態の撮像システム１０は、テクスチャ値に基づいて被写体領域を分離する方法と、前述の明るさ情報に基づいて被写体領域を分離する方法とを併用することもできる。

図１３は、撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。シルエット画像８１２には、背面側から光を照射された状態の被写体２０と、撮影台１４０の裏面に設けられたテクスチャ４２０と、撮影用反射防止シート１５０とが写り込まれている。

正面照射装置１２０の光により正面画像を撮影する場合に、被写体２０への撮影台１４０からの反射光の写り込みを防止することを目的として、撮影台１４０に撮影用反射防止シート１５０を設ける場合がある。本実施形態の撮像システム１０は、撮影用反射防止シート１５０を設けた場合であっても、被写体２０のシルエット画像に写り込んだテクスチャ４２０の画像に基づいて、被写体２０の正面画像における被写体領域を検出してもよい。以下、撮影用反射防止シート１５０を設けた場合に、被写体２０のシルエット画像に写り込んだテクスチャ４２０の画像に基づいて、被写体２０の正面画像における被写体領域を検出する例を説明する。

撮影用反射防止シート１５０は、表面側からの可視光に対する反射防止性を有する。撮影用反射防止シート１５０は、被写体２０の背面に設けられて正面照射装置１２０からの可視光の反射を防止する。撮影用反射防止シート１５０は、表面側からの可視光に対する３０％以下の反射防止性を有することが好ましい。

撮影用反射防止シート１５０は、シルエット画像に写り込むテクスチャ１５２を有する。撮影用反射防止シート１５０のテクスチャ１５２は、撮影用反射防止シート１５０に形成された穴であってもよい。撮影用反射防止シート１５０は、グレーまたは黒のシート状の部材であってもよい。テクスチャ１５２は、撮影用反射防止シート１５０に背景光を規則的に透過するパターンが印刷されたものでよい。

画像処理装置１００においては、画像取得部５０２は、被写体２０、テクスチャ４２０、および撮影用反射防止シート１５０が写り込まれているシルエット画像を取得する。また、被写体領域検出部５０８は、シルエット画像に写り込んだテクスチャ４２０およびテクスチャ１５２の画像に基づいて、正面画像における被写体領域を検出する。

このように、本実施形態の撮像システム１０は、撮影用反射防止シート１５０を設けた場合であっても、被写体２０のシルエット画像に写り込んだ、テクスチャ４２０の画像およびテクスチャ１５２の画像に基づいて、被写体２０の正面画像における被写体領域を検出することができる。これにより、被写体２０の正面側から照射された光の反射光による被写体２０への影響を防止すると同時に、高精度で、正面画像における被写体領域を検出することができる。

図１４は、画像処理装置１００のブロック構成の他の一例を示す。本実施形態の撮像システム１０は、被写体２０が存在することによる背景への影響が記録された影響画像を出力してもよい。以下、被写体２０が存在することによる背景への影響が記録された影響画像を出力する例を説明する。

なお、以下に説明する部分以外の構成および作用は、図４に示した画像処理装置１００と同一であり、重複する説明は省略する。画像処理装置１００は、画像取得部５０２、画像予測部５０４、画像補正部５０６、被写体領域検出部５０８、マスク画像生成部５１０、影響算出部５１２、影響画像生成部５１４、格納部５１８、および出力部５２０を有する。

画像取得部５０２は、被写体２０が存在することにより背景に生ずる影響が写り込まれている正面画像を取得する。正面画像に写り込まれた影響には、影、反射、透過像の歪み、背景の変化等が含まれる。また、画像取得部５０２は、被写体２０が含まれていない背景画像を取得する。具体的には、画像取得部５０２は、画像予測部５０４によって予測された背景画像を取得する。

画像取得部５０２は、撮像装置１１０によって撮像された背景画像を取得してもよい。この場合、撮像装置１１０は、被写体２０が含まれている正面画像を撮像したときと同じ撮像条件で、背景画像を撮像することが好ましい。特に、照明条件、撮像位置、レンズの状態を同一とすることが好ましい。

画像予測部５０４は、画像取得部５０２によって取得された正面画像から、被写体２０が含まれていない背景画像を予測する。たとえば、画像予測部５０４は、正面画像における背景領域を判断する。そして、画像予測部５０４は、判断された領域の画像を、正面画像における被写体領域に内挿することにより、背景画像を予測してもよい。この場合、画像予測部５０４は、被写体領域の周辺の領域を背景領域として判断してもよい。

画像予測部５０４は、ユーザによって指定された領域を背景領域として判断してもよい。画像予測部５０４は、背景領域と判断された領域の、輝度、色、周波数特性等の値を位置Ｘ，Ｙの関数とした多項式近似等により、背景画像を予測してもよい。たとえば、背景Ｘ，Ｙ点の輝度をＶ（Ｘ，Ｙ）＝ΣＡ_ｉｊ＊Ｘ^ｉ＊Ｙ^ｊ（Ｎ次の多項式の場合；ｉ，ｊは０からＮまでの整数）とおき、既知の背景部の値からＡ_ｉｊを求めることで背景画像を予測してもよい。

画像予測部５０４は、背景に含まれる色および背景パターン４１０に関する情報が予め示された情報を取得して、取得した情報に基づいて、背景画像を予測してもよい。画像予測部５０４は、撮影台１４０上における背景パターン４１０の位置に応じて、予測した背景パターン４１０の形状を変形させてもよい。

たとえば、画像予測部５０４は、撮像位置よりも近い位置にある背景パターン４１０を、撮像位置よりも遠い位置にある背景パターンよりも大きくなるように変形させてもよい。また、画像予測部５０４は、撮影台１４０の傾斜角度に応じて、背景パターン４１０の形状を変形させてもよい。また、画像予測部５０４は、背景領域の画像全体に色むらがない場合等、背景領域の画像が均一であると判断した場合は、背景領域の画像の一部を繰り返し用いることにより、背景画像を生成してもよい。

影響算出部５１２は、画像取得部５０２によって取得された正面画像、取得部５０２によって取得された被写体２０が含まれていない背景画像、および被写体領域検出部５０８によって検出された被写体領域に基づいて、被写体２０が存在することによって生じる背景の画像の変化量を算出する。具体的には、影響算出部５１２は、正面画像の明るさと背景画像の明るさとの比率又は差を画素毎に算出する。たとえば、正面画像から被写体領域を取り除いた画像の明るさと背景画像の明るさとの比率又は差を画素毎に算出する。これにより、影響算出部５１２は、被写体２０が存在することによって生じる被写体２０の影、被写体２０の反射光、波しぶき、砂埃等による背景の画像の変化量を算出できる。

影響画像生成部５１４は、影響画像を生成する。たとえば、影響画像生成部５１４は、各画素について算出された比率又は差が各画素に対応付けて記録された影響画像を生成する。

格納部５１８は、影響画像生成部５１４によって生成された影響画像を正面画像およびマスク画像と関連付けて格納する。出力部５２０は、格納部５１８に格納された正面画像、マスク画像、および影響画像を関連付けて出力する。被写体画像を別の背景画像の上に配置する場合に影響画像を用いることにより、被写体２０を撮影したときと同じ光源の元で生成された影を、別の背景画像の上に配置することができる。

図１５は、撮像システム１０における処理フローの他の一例を示す。まず、撮像装置１１０によって、被写体２０の正面画像およびシルエット画像を同時に撮像する（Ｓ６０２）。つぎに、画像処理装置１００の画像取得部５０２によって、撮像装置１１０が撮像した正面画像およびシルエット画像を取得する（Ｓ６０４）。そして、画像処理装置１００の画像補正部５０６によって、取得した正面画像を補正する（Ｓ６０６）。

つぎに、画像処理装置１００のマスク画像生成部５１０によって被写体領域がマスクされたマスク画像を生成する（Ｓ６０８）。マスク画像を生成する処理フローの一例については図１６を用いて後述する。つぎに、画像処理装置１００の影響算出部５１２によって、被写体２０が存在することによって生じる背景の画像の変化量を算出する（Ｓ６１０）。

つぎに、画像処理装置１００の影響画像生成部５１４によって、各画素について算出された比率又は差が各画素に対応付けて記録された影響画像を生成する（Ｓ６１２）。そして、画像処理装置１００の出力部５２０によって、正面画像、マスク画像、および影響画像を出力して（Ｓ６１４）、処理を終了する。

図１６は、撮像装置１１０によって撮像された正面画像の他の一例を示す。正面画像８０１には、正面側から可視光を照射された状態の被写体２０と、被写体２０の影２２と、撮影台１４０の表面に設けられた背景パターン４１０とが写り込まれている。

図１７は、被写体２０が含まれていない背景画像の一例を示す。背景画像８２０は、画像予測部５０４によって、図１６に示した正面画像８０１から予測された、被写体２０が含まれていない背景画像を示す。背景画像８２０には、撮影台１４０の表面に設けられた背景パターン４１０が写り込まれている。

図１８は、影響画像生成部５１４によって生成された影響画像の一例を示す。影響画像８４０は、影響画像生成部５１４によって生成された影響画像を示す。影響画像８４０には、図１６に示した正面画像８０１から抽出された被写体２０の影２２が写り込まれている。

影響画像８４０は、画素毎に、背景領域に対する、明るさの差または比率を示す影響画像値を有する。たとえば、被写体画像と他の背景画像とから合成画像を生成する情報処理装置は、生成した合成画像に対して、画素毎に、影響画像８４０が有する影響画像値を加算または乗算して明るさを変化させることができる。これにより、合成画像において影２２を表現することができる。

このように、本実施形態の撮像システム１０は、被写体２０が含まれている正面画像と、被写体２０が含まれていない背景画像とを比較することにより、被写体２０が存在することによる背景への影響を算出することができる。そして、被写体画像と、算出した背景への影響が記録された影響画像とを関連付けて出力することができる。これにより、たとえば、出力先の画像処理装置は、被写体画像と影響画像とに基づいて、背景への影響が再現された被写体画像の合成画像を生成できる。

図１９は、他の実施形態に係る撮像システム１０の一例を示す。なお、以下に説明する部分以外の構成および作用は、図１に示した撮像システム１０と同一であり、重複する説明は省略する。

本実施形態において、撮像システム１０は、被写体２０の正面画像および被写体２０のシルエット画像を連続して撮像する。また、撮像システム１０は、被写体２０の透過率を算出して、算出した透過率情報を出力する。また、本実施形態の撮像システム１０は、被写体２０を透過してくる背景画像の変形量を算出して、算出した変形量が記録された変形量情報を出力する。以下、被写体２０の正面画像および被写体２０のシルエット画像を連続して撮像したうえで、透過率情報および変形量情報を出力する例を説明する。

撮像装置１１０は、第一の波長領域の光による被写体２０の正面画像、および第二の波長領域の光による被写体２０のシルエット画像を連続して、被写体２０の正面側から撮像する。たとえば、撮像装置１１０は、可視光による被写体２０の正面画像、および可視光による被写体２０のシルエット画像を連続して、被写体２０の正面から撮像する。

たとえば、撮像装置１１０は、一回目の撮像をおこなうときには、撮像のタイミングを示すタイミング信号を正面照射装置１２０へ送信することにより、正面照射装置１２０を発光させて、被写体２０の正面画像を撮像する。そして、撮像装置１１０は、二回目の撮像をおこなうときには、撮像のタイミングを示すタイミング信号を背面照射装置１３０へ送信することにより、背面照射装置１３０を発光させて、被写体２０のシルエット画像を撮像する。被写体２０のシルエット画像を撮像する場合には、被写体２０に、背面照射装置１３０から照射された光以外の光が照射されないことが好ましい。

撮像装置１１０が有する撮像素子は、被写体２０が反射して当該撮像装置１１０に入射された可視光の光量を、複数の受光素子によって検出する。たとえば、撮像装置１１０は、可視光の光量を色成分毎に検出する撮像素子を有する。撮像装置１１０は、可視光の光量を色成分毎に検出する色成分毎の撮像素子を、物理的に有してもよい。

正面照射装置１２０は、光を被写体２０に正面側から照射する。具体的には、正面照射装置１２０は、可視光を、被写体２０に正面側から照射する。背面照射装置１３０は、光を被写体２０に背面側から照射する。具体的には、背面照射装置１３０は、可視光を、被写体２０に背面側から照射する。

撮影台１４０は、表面側からの可視光に対する拡散反射性を有する。また、撮影台１４０は、裏面側からの可視光に対する透過性を有する。ここでの、撮影台１４０の表面とは、被写体２０に対向する面であってよい。また、撮影台１４０の裏面とは、被写体２０に対向する面の反対側の面であってよい。

図２０は、画像処理装置１００のブロック構成の一例を示す。画像処理装置１００は、透明容器等の被写体領域に加え、被写体２０の各部の光透過率および、被写体２０を透過してくる光の被写体２０による変形量情報を取得する。なお、以下に説明する部分以外の構成および作用は、図４に示した画像処理装置１００と同一であり、重複する説明は省略する。図２０に示す画像処理装置１００は、画像取得部５０２、画像予測部５０４、画像補正部５０６、被写体領域検出部５０８、マスク画像生成部５１０、格納部５１８、出力部５２０、透過率算出部５２２、透過率情報生成部５２４、変形量算出部５２６、および変形量情報生成部５２８を有する。

画像取得部５０２は、正面画像およびシルエット画像を取得する。具体的には、被写体２０の正面側から光を照射して撮像された被写体２０の正面画像、および被写体２０の背面側から光を照射して撮像された被写体２０のシルエット画像を取得する。より具体的には、画像取得部５０２は、撮像装置１１０によって連続して撮像された、被写体２０の正面側から照射された可視光による被写体２０の正面画像、および被写体２０の背面側から照射された可視光による被写体２０のシルエット画像を取得する。

また、画像取得部５０２は、シルエット画像に被写体２０が含まれていない背景シルエット画像を取得する。具体的には、画像取得部５０２は、画像予測部５０４によって予測された背景シルエット画像を取得する。

画像取得部５０２は、撮像装置１１０によって撮像された背景シルエット画像を取得してもよい。この場合、撮像装置１１０は、被写体２０が含まれているシルエット画像を撮像したときと同じ撮像条件で、背景シルエット画像を撮像することが好ましい。特に、照明条件、撮像位置、レンズの状態を同一とすることが好ましい。

画像予測部５０４は、画像取得部５０２によって取得された背景シルエット画像から、シルエット画像に被写体２０が含まれていない背景シルエット画像を予測する。たとえば、画像予測部５０４は、シルエット画像における背景領域を判断して、判断した領域の画像をシルエット画像における被写体領域に内挿することにより、背景シルエット画像を生成してもよい。この場合、画像予測部５０４は、被写体領域の周辺の領域を背景領域として判断してもよい。

画像予測部５０４は、ユーザによって指定された領域を背景領域として判断してもよい。画像予測部５０４は、背景領域と判断された領域の、輝度、色、周波数特性等の値を位置Ｘ，Ｙの関数とした多項式近似等により、背景画像を予測してもよい。たとえば、背景Ｘ，Ｙ点の輝度をＶ（Ｘ，Ｙ）＝ΣＡ_ｉｊ＊Ｘ^ｉ＊Ｙ^ｊ（Ｎ次の多項式の場合；ｉ，ｊは０からＮまでの整数）とおき、既知の背景部の値からＡ_ｉｊを求めることで背景画像を予測してもよい。

画像予測部５０４は、背景領域に含まれる色およびテクスチャ４２０に関する情報が予め示された情報を取得することで、取得した情報に基づいて、背景シルエット画像を予測してもよい。また、画像予測部５０４は、シルエット画像における背景領域の画像全体に色むらがない場合等、シルエット画像における背景領域の画像が均一であると判断した場合は、シルエット画像における背景領域の画像の一部を抽出することで、抽出した画像を繰り返し用いて、背景シルエット画像を生成してもよい。

透過率算出部５２２は、被写体２０の透過率を算出する。たとえば、透過率算出部５２２は、画像取得部５０２によって取得されたシルエット画像の輝度と背景シルエット画像の輝度とを画素毎に比較して、その比率を被写体２０の透過率として画素毎に算出する。透過率算出部５２２は、被写体２０の色成分毎の透過率を画素毎に算出してもよい。たとえば、透過率算出部５２２は、被写体２０のＲ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分のそれぞれの透過率を画素毎に算出してもよい。

透過率情報生成部５２４は、透過率情報を生成する。たとえば、透過率情報生成部５２４は、各画素について算出された透過率が各画素に対応付けて記録された透過率情報を生成する。

変形量算出部５２６は、被写体２０を透過してくる背景画像の変形量を算出する。たとえば、変形量算出部５２６は、画像取得部５０２によって取得されたシルエット画像および背景シルエット画像に基づいて、被写体２０を透過してくる背景画像の変形量を画像領域毎に算出する。

変形量算出部５２６は、背景の色成分毎の変形量を算出してもよい。たとえば、変形量算出部５２６は、背景のＲ（赤）成分、Ｇ（緑）成分、およびＢ（青）成分のそれぞれの変形量を算出してもよい。

変形量情報生成部５２８は、変形量情報を生成する。変形量情報生成部５２８は、各画像領域について算出された変形量が各画像領域に対応付けて記録された変形量情報を生成する。

格納部５１８は、透過率情報生成部５２４によって生成された透過率情報を正面画像およびマスク画像と関連付けて格納する。また、格納部５１８は、変形量情報生成部５２８によって生成された変形量情報を正面画像およびマスク画像と関連付けて格納する。

出力部５２０は、格納部５１８に格納されている正面画像、マスク画像、および透過率情報を関連付けて出力する。また、出力部５２０は、格納部５１８に格納されている正面画像、マスク画像、および変形量情報を関連付けて出力する。正面画像およびマスク画像により分離された光透過性を有する被写体画像を、新たなテクスチャを有する背景の上に配置する画像合成において、前記変形量を利用して、被写体２０を透過してくるテクスチャ像の変形を再現することができる。

図２１は、撮像システム１０における処理フローの一例を示す。まず、撮像装置１１０によって、被写体２０の正面画像を撮像する（Ｓ１２０２）。つぎに、撮像装置１１０によって、被写体２０のシルエット画像を撮像する（Ｓ１２０４）。つぎに、画像処理装置１００の画像取得部５０２によって、撮像装置１１０が撮像した正面画像およびシルエット画像を取得する（Ｓ１２０６）。そして、画像処理装置１００の画像補正部５０６によって、取得した正面画像を補正する（Ｓ１２０８）。

つぎに、画像処理装置１００のマスク画像生成部５１０によって被写体領域がマスクされたマスク画像を生成する（Ｓ１２１０）。なお、マスク画像を生成する処理フローの一例については、図６で説明した処理フローと同様であるので、説明を省略する。つぎに、画像処理装置１００の透過率情報生成部５２４によって、各画素について算出された透過率が各画素に対応付けて記録された透過率情報を生成する（Ｓ１２１６）。透過率情報を生成する処理フローの一例については図２２を用いて後述する。

つぎに、画像処理装置１００の変形量情報生成部５２８によって、各画像領域について算出された変形量が各画像領域に対応付けて記録された変形量情報を生成する（Ｓ１２１８）。変形量情報を生成する処理フローの一例については図２３を用いて後述する。そして、画像処理装置１００の出力部５２０によって、正面画像、マスク画像、透過率情報、および変形量情報を出力して（Ｓ１２２０）、処理を終了する。

図２２は、透過率情報を生成する処理フローの一例を示す。まず、画像予測部５０４は、シルエット画像を取得する（Ｓ１３０２）。つぎに、画像予測部５０４は、取得したシルエット画像から、背景シルエット画像を予測する（Ｓ１３０４）。

つぎに、透過率算出部５２２は、シルエット画像の輝度と背景シルエット画像の輝度とを画素毎に比較することにより、被写体２０の透過率を画素毎に算出する（Ｓ１３０６）。そして、透過率情報生成部５２４は、各画素について算出された透過率が各画素に対応付けて記録された透過率情報を生成して（Ｓ１３０８）、処理を終了する。

図２３は、被写体を透過する光の変形量情報を生成する処理フローの一例を示す。まず、画像予測部５０４は、シルエット画像を取得する（Ｓ１４０２）。つぎに、画像予測部５０４は、取得したシルエット画像から、背景シルエット画像を予測する（Ｓ１４０４）。つぎに、変形量算出部５２６は、シルエット画像と背景シルエット画像とに基づいて、変形量を算出する（Ｓ１４０６）。そして、変形量算出部５２６は、算出された変形量が記録された変形量情報を生成して（Ｓ１４０８）、処理を終了する。

図２４は、撮像装置１１０によって撮像された正面画像の一例を示す。正面画像１８００には、透過性を有する被写体２０と、撮影台１４０の表面に設けられた背景パターン４１０とが写り込まれている。

図２５は、撮像装置１１０によって撮像されたシルエット画像の一例を示す。シルエット画像１８１０には、透過性を有する被写体２０が写り込まれている。

図２６は、シルエット画像に被写体２０が含まれていない背景シルエット画像の一例を示す。背景画像１８２０は、画像予測部５０４によって、図２７に示したシルエット画像１８１０から予測された画像を示す。

図２７は、マスク画像生成部５１０によって生成されたマスク画像の一例を示す。マスク画像１８３０は、被写体領域がマスクされている。マスクされた被写体領域は、図２５に示したシルエット画像１８１０から被写体領域検出部５０８によって高精度で検出されている。このため、図２４に示した正面画像１８００から被写体画像を抽出する場合には、マスク画像１８３０を用いることにより、高精度で正面画像１８００から被写体画像を抽出することができる。

たとえば、マスク画像１８３０には、被写体２０の画素毎の透過率を示す透過率情報が関連付けられる。また、マスク画像１８３０には、被写体２０を透過してくる背景画像の画素毎の変形率を示す変形率情報が関連付けられる。このため、被写体画像と他の背景画像とから合成画像を生成する場合には、透過率情報を用いて被写体画像を透過させることができる。また、変形率情報を用いて、背景の画像を変形させることができる。これにより、自然な合成画像を生成することができる。

このように、本実施形態の撮像システム１０は、被写体２０の透過率を算出して、被写体画像と、算出した透過率が記録された透過率情報とを関連付けて出力することができる。これにより、たとえば、出力先の画像処理装置は、被写体画像と透過率情報とに基づいて、被写体２０の光透過特性に応じて背景が適切に被写体２０を透過した被写体の合成画像を生成することができる。

また、本実施形態の撮像システム１０は、被写体２０を透過してくる背景画像の変形量を算出して、被写体画像と、算出した変形量が記録された変形量情報とを関連付けて出力することができる。これにより、たとえば、出力先の画像処理装置は、被写体画像と変形量情報とに基づいて、被写体２０の光透過特性に応じて背景が適切に変形された被写体画像の合成画像を生成できる。

図２８は、撮影台１４０の構成の一例を示す。撮影台１４０は、正面画像に写り込まず、シルエット画像に写り込むテクスチャ４２０を有してもよい。本実施形態において、撮像システム１０は、被写体２０のシルエット画像に写り込んだテクスチャの画像に基づいて、被写体２０の正面画像における被写体領域を検出してもよい。以下、被写体２０のシルエット画像に写り込んだテクスチャの画像に基づいて、被写体２０の正面画像における被写体領域を検出する例を説明する。

図２８（ａ）は、撮影台１４０の表面の一部拡大図を示す。図２８（ｂ）は、撮影台１４０の裏面の一部拡大図を示す。図２８（ｃ）は、撮影台１４０の側面の一部拡大図を示す。

ここでの、撮影台１４０の表面とは、被写体２０に対向する面であってよい。また、撮影台１４０の裏面とは、被写体２０に対向する面の反対側の面であってよい。

撮影台１４０は、表面１４１側からの可視光に対する拡散反射性を有する。また、撮影台１４０は、裏面１４２側からの光に対する透過性を有する。

撮影台１４０の裏面１４２には、複数のテクスチャ４２０が規則的に配設されている。テクスチャ４２０は、裏面１４２側からの光を遮蔽する。

上記したように、テクスチャ４２０は、撮影台１４０の裏面１４２に設けられることが好ましい。テクスチャ４２０は、シルエット画像に写り込まれ、正面画像に写り込まないことが好ましい。テクスチャ４２０は、撮像装置１１０が検出可能な、ドットまたは細線であることが好ましい。テクスチャ４２０は、シルエット画像における所定数の画素を含む領域のそれぞれに写り込まれるように配設されることが好ましい。

図２９は、撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。シルエット画像１８１１には、背面側から可視光を照射された状態の被写体２０と、撮影台１４０の裏面に設けられたテクスチャ４２０とが写り込まれている。撮影台１４０は、裏面側からの可視光に対する透過性を有する。このため、裏面側から可視光が照射された状態で撮像されたシルエット画像１８１１には、テクスチャ４２０が写り込まれる。

画像処理装置１００においては、画像取得部５０２は、被写体２０およびテクスチャ４２０が写り込まれているシルエット画像を取得する。また、被写体領域検出部５０８は、シルエット画像に写り込んだテクスチャ４２０の画像に基づいて、正面画像における被写体領域を検出する。

たとえば、被写体領域検出部５０８は、分割した領域毎にテクスチャ４２０の強度を示すヒストグラムを生成して、生成したテクスチャ４２０の強度を示すヒストグラムに基づいて、分割した領域毎に被写体領域を検出してもよい。この場合、テクスチャ４２０の強度が所定の値より低い領域を被写体領域として検出してもよい。あるいはテクスチャ４２０の配置の規則性よりテクスチャ４２０の存在する位置を推定した結果、テクスチャ４２０が検出できない場所を被写体領域であると判定することもできる。

また、被写体領域検出部５０８は、テクスチャ４２０の強度が所定の値より高い画素が周辺に存在する画素に対して、テクスチャ４２０の強度を高めてもよい。たとえば、注目画素ｉとその周辺に存在する画素ｊのテクスチャ４２０の強度Ｍｉｊの関数Ｔｉ＝Ｔ（Ｍｉ１、Ｍｉ２・・・）として、背景領域と被写体領域とを分離する演算式を求めてもよい。テクスチャ値に基づく被写体領域の分離には、前述の明るさ情報に基づく被写体領域の分離と併用することもできる。

また、変形量算出部５２６は、被写体２０のもつ光屈折、散乱等の特性による、光透過性を有する被写体２０を通過した背景画像のパターンの変形量を算出してもよい。また、変形量算出部５２６は、シルエット画像に写り込まれた被写体２０を通過してきた光像によるテクスチャ４２０の位置と、被写体２０が無いときのテクスチャの像である背景シルエット画像のテクスチャ４２０の位置との差を、変形量として算出してもよい。また、変形量算出部５２６は、シルエット画像に写り込まれたテクスチャ４２０の大きさと、背景シルエット画像に写り込まれたテクスチャ４２０の大きさとの差を、変形量として算出してもよい。

なお、被写体２０が存在しないときのテクスチャ像は、被写体２０を取り除いた状態で照明、撮影条件を同じにした背景画像のテクスチャを撮影することで作成してもよい。あるいはシルエット画像からテクスチャの連続性を仮定することで推定してもよい。

このように、本実施形態の撮像システム１０は、シルエット画像に写り込んだテクスチャ４２０に基づいて、被写体２０の正面画像における被写体領域を検出することができる。これにより、被写体２０の背面側から照射された光が被写体２０で反射した場合であっても、高精度で、被写体２０の正面画像における被写体領域を検出することができる。なお、シルエット画像に写り込んだテクスチャ４２０に基づいて被写体２０の正面画像における被写体領域を検出する場合における、マスク画像を生成する処理フローの一例については、図１２で説明した処理フローと同様であるので、説明を省略する。

図３０は、撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。シルエット画像１８１２には、背面側から可視光を照射された状態の被写体２０と、撮影台１４０の裏面に設けられたテクスチャ４２０と、撮影用反射防止シート１５０とが写り込まれている。

正面照射装置１２０の光により正面画像を撮影する場合に、被写体２０への撮影台１４０からの反射光の写り込みを防止することを目的として、撮影台１４０に撮影用反射防止シート１５０を設ける場合がある。本実施形態の撮像システム１０は、撮影用反射防止シート１５０を設けた場合であっても、被写体２０のシルエット画像に写り込んだテクスチャ４２０の画像に基づいて、被写体２０の正面画像における被写体領域を検出してもよい。以下、撮影用反射防止シート１５０を設けた場合に、被写体２０のシルエット画像に写り込んだテクスチャ４２０の画像に基づいて、被写体２０の正面画像における被写体領域を検出する例を説明する。

撮影用反射防止シート１５０は、表面側からの可視光に対する反射防止性を有する。撮影用反射防止シート１５０は、被写体２０の背面に設けられて正面照射装置１２０からの可視光の反射を防止する。撮影用反射防止シート１５０は、表面側からの可視光に対する３０％以下の反射防止性を有することが好ましい。

撮影用反射防止シート１５０は、正面画像に写り込まずシルエット画像に写り込むテクスチャ１５２を有する。撮影用反射防止シート１５０のテクスチャ１５２は、撮影用反射防止シート１５０に形成された穴であってもよい。撮影用反射防止シート１５０は、グレーまたは黒のシート状の部材であってもよい。テクスチャ１５２は、撮影用反射防止シート１５０に背景光を規則的に透過するパターンが印刷されたものでよい。

画像処理装置１００においては、画像取得部５０２は、被写体２０、テクスチャ４２０、および撮影用反射防止シート１５０が写り込まれているシルエット画像を取得する。また、被写体領域検出部５０８は、シルエット画像に写り込んだテクスチャ４２０およびテクスチャ１５２の画像に基づいて、正面画像における被写体領域を検出する。

このように、本実施形態の撮像システム１０は、撮影用反射防止シート１５０を設けた場合であっても、被写体２０のシルエット画像に写り込んだ、テクスチャ４２０の画像およびテクスチャ１５２の画像に基づいて、被写体２０の正面画像における被写体領域を検出することができる。これにより、被写体２０の正面側から照射された光の反射光による被写体２０への影響を防止すると同時に、高精度で、正面画像における被写体領域を検出することができる。

図３１は、画像処理装置１００のブロック構成の他の一例を示す。本実施形態の撮像システム１０は、被写体２０が存在することによる背景への影響が記録された影響画像を出力してもよい。以下、被写体２０が存在することによる背景への影響が記録された影響画像を出力する例を説明する。

なお、以下に説明する部分以外の構成および作用は、図２０に示した画像処理装置１００と同一であり、重複する説明は省略する。画像処理装置１００は、画像取得部５０２、画像予測部５０４、画像補正部５０６、被写体領域検出部５０８、マスク画像生成部５１０、影響算出部５１２、影響画像生成部５１４、格納部５１８、出力部５２０、透過率算出部５２２、透過率情報生成部５２４、変形量算出部５２６、および変形量情報生成部５２８を有する。

画像取得部５０２は、被写体２０が存在することにより背景に生ずる影響が写り込まれている正面画像を取得する。正面画像に写り込まれた影響には、影、反射、透過像の歪み、背景の変化等が含まれる。また、画像取得部５０２は、被写体２０が含まれていない背景画像を取得する。具体的には、画像取得部５０２は、画像予測部５０４によって予測された背景画像を取得する。

画像取得部５０２は、撮像装置１１０によって撮像された背景画像を取得してもよい。この場合、撮像装置１１０は、被写体２０が含まれている正面画像を撮像したときと同じ撮像条件で、背景画像を撮像することが好ましい。特に、照明条件、撮像位置、レンズの状態を同一とすることが好ましい。

画像予測部５０４は、画像取得部５０２によって取得された正面画像から、被写体２０が含まれていない背景画像を予測する。たとえば、画像予測部５０４は、正面画像における背景領域を判断する。そして、画像予測部５０４は、判断された領域の画像を、正面画像における被写体領域に内挿することにより、背景画像を予測してもよい。この場合、画像予測部５０４は、被写体領域の周辺の領域を背景領域として判断してもよい。

画像予測部５０４は、ユーザによって指定された領域を背景領域として判断してもよい。画像予測部５０４は、背景領域と判断された領域の、輝度、色、周波数特性等の値を位置Ｘ，Ｙの関数とした多項式近似等により、背景画像を予測してもよい。たとえば、背景Ｘ，Ｙ点の輝度をＶ（Ｘ，Ｙ）＝ΣＡ_ｉｊ＊Ｘ^ｉ＊Ｙ^ｊ（Ｎ次の多項式の場合；ｉ，ｊは０からＮまでの整数）とおき、既知の背景部の値からＡ_ｉｊを求めることで背景画像を予測してもよい。

画像予測部５０４は、背景に含まれる色および背景パターン４１０に関する情報が予め示された情報を取得して、取得した情報に基づいて、背景画像を予測してもよい。画像予測部５０４は、撮影台１４０上における背景パターン４１０の位置に応じて、予測した背景パターン４１０の形状を変形させてもよい。

たとえば、画像予測部５０４は、撮像位置よりも近い位置にある背景パターン４１０を、撮像位置よりも遠い位置にある背景パターンよりも大きくなるように変形させてもよい。また、画像予測部５０４は、撮影台１４０の傾斜角度に応じて、背景パターン４１０の形状を変形させてもよい。また、画像予測部５０４は、背景領域の画像全体に色むらがない場合等、背景領域の画像が均一であると判断した場合は、背景領域の画像の一部を繰り返し用いることにより、背景画像を生成してもよい。

影響算出部５１２は、画像取得部５０２によって取得された正面画像、取得部５０２によって取得された被写体２０が含まれていない背景画像、および被写体領域検出部５０８によって検出された被写体領域に基づいて、被写体２０が存在することによって生じる背景の画像の変化量を算出する。具体的には、影響算出部５１２は、正面画像の明るさと背景画像の明るさとの比率又は差を画素毎に算出する。たとえば、正面画像から被写体領域を取り除いた画像の明るさと背景画像の明るさとの比率又は差を画素毎に算出する。これにより、影響算出部５１２は、被写体２０が存在することによって生じる被写体２０の影、被写体２０の反射光、波しぶき、砂埃等による背景の画像の変化量を算出できる。

影響画像生成部５１４は、影響画像を生成する。たとえば、影響画像生成部５１４は、各画素について算出された比率又は差が各画素に対応付けて記録された影響画像を生成する。

格納部５１８は、影響画像生成部５１４によって生成された影響画像を正面画像およびマスク画像と関連付けて格納する。出力部５２０は、格納部５１８に格納された正面画像、マスク画像、および影響画像を関連付けて出力する。影響画像を用いることで、被写体２０を撮影したときと同じ光源の元で生成する影と被写体画像とを、別の背景画像の上に配置することができる。

図３２は、撮像システム１０における処理フローの他の一例を示す。まず、撮像装置１１０によって、被写体２０の正面画像を撮像する（Ｓ１２０２）。つぎに、撮像装置１１０によって、被写体２０のシルエット画像を撮像する（Ｓ１２０４）。つぎに、画像処理装置１００の画像取得部５０２によって、撮像装置１１０が撮像した正面画像およびシルエット画像を取得する（Ｓ１２０６）。そして、画像処理装置１００の画像補正部５０６によって、取得した正面画像を補正する（Ｓ１２０８）。

つぎに、画像処理装置１００のマスク画像生成部５１０によって被写体領域がマスクされたマスク画像を生成する（Ｓ１２１０）。なお、マスク画像を生成する処理フローの一例については、図６で説明した処理フローと同様であるので、説明を省略する。

つぎに、画像処理装置１００の影響算出部５１２によって、被写体２０が存在することによって生じる背景の画像の変化量を算出する（Ｓ１２１２）。つぎに、画像処理装置１００の影響画像生成部５１４によって、各画素について算出された比率又は差が各画素に対応付けて記録された影響画像を生成する（Ｓ１２１４）。

つぎに、画像処理装置１００の透過率情報生成部５２４によって、各画素について算出された透過率が各画素に対応付けて記録された透過率情報を生成する（Ｓ１２１６）。透過率情報を生成する処理フローの一例については、図２２で説明した処理フローと同様であるので、説明を省略する。

つぎに、画像処理装置１００の変形量情報生成部５２８によって、各画像領域について算出された変形量が各画像領域に対応付けて記録された変形量情報を生成する（Ｓ１２１８）。変形量情報を生成する処理フローの一例については図２３で説明した処理フローと同様であるので、説明を省略する。そして、画像処理装置１００の出力部５２０によって、正面画像、マスク画像、透過率情報、および変形量情報を出力して（Ｓ１２２０）、処理を終了する。

図３３は、撮像装置１１０によって撮像された正面画像の他の一例を示す。正面画像１８０１には、正面側から可視光を照射された状態の被写体２０と、被写体２０の影２２と、撮影台１４０の表面に設けられた背景パターン４１０とが写り込まれている。

図３４は、被写体２０が含まれていない背景画像の一例を示す。背景画像１８４０は、画像予測部５０４によって、図３３に示した正面画像１８０１から予測された、被写体２０が含まれていない背景画像を示す。背景画像１８４０には、撮影台１４０の表面に設けられた背景パターン４１０が写り込まれている。

図３５は、影響画像生成部５１４によって生成された影響画像の一例を示す。影響画像１８５０は、影響画像生成部５１４によって生成された影響画像を示す。影響画像１８５０には、図３３に示した正面画像１８０１から抽出された被写体２０の影２２が写り込まれている。

影響画像１８５０は、画素毎に、背景領域に対する、明るさの差または比率を示す影響画像値を有する。たとえば、被写体画像と他の背景画像とから合成画像を生成する情報処理装置は、生成した合成画像に対して、画素毎に、影響画像１８５０が有する影響画像値を加算または乗算して明るさを変化させることができる。これにより、合成画像において影２２を表現することができる。

このように、本実施形態の撮像システム１０は、被写体２０が含まれている正面画像と、被写体２０が含まれていない背景画像とを比較することにより、被写体２０が存在することによる背景への影響を算出することができる。そして、被写体画像と、算出した背景への影響が記録された影響画像とを関連付けて出力することができる。これにより、たとえば、出力先の画像処理装置は、被写体画像と影響画像とに基づいて、背景への影響が再現された被写体画像の合成画像を生成できる。撮像システム１０は、被写体２０が存在しない状態で正面画像撮影時と同じ照明撮影条件で撮影することにより、被写体２０が含まれていない背景画像を作成してもよい。また、撮像システム１０は、被写体２０が含まれている正面画像から、被写体領域の背景を推定することにより、被写体２０が含まれていない背景画像を作成してもよい。

図３６は、変形量算出部５２６による変形量の算出処理の一例を示す。正面画像２３００には、透過性を有する被写体２０と、背景パターン４１０とが写り込まれている。被写体２０が存在しないときには、Ｐとして（Ｘ，Ｙ）の位置に写し出される背景パターン４１０は、被写体２０が存在することによる影響を受け、Ｐ'として（ｘ，ｙ）の位置に写し出されたうえに、被写体２０が存在しない場合の点の大きさに比べ大きくなっている。

変形量算出部５２６は、Ｐの座標（Ｘ，Ｙ）およびＰ'の座標（ｘ，ｙ）に基づいて、背景パターン４１０の位置の差を、当該背景パターン４１０を含む背景領域についての、位置の変形量として算出してもよい。また、変形量算出部５２６は、Ｐの大きさおよびＰ'の大きさに基づいて、背景パターン４１０の大きさの差を、当該背景パターン４１０を含む背景領域についての、大きさの変形量として算出してもよい。

本発明を実施の形態を用いての説明では、静止画の被写体抽出のためのマスク画像作成、被写体による影響画像の生成、透過率情報生成、変形量情報生成について説明してきた。本発明は静止画に限定されるものでなく、動画においても動画のフレーム画像ごとに前述のシステムを適用しフレームごとにマスク画像、影響画像、透過率情報、変形量情報を生成してもよい。そして、生成した各情報を正面動画像の各フレームに対応させて保管してもよい。このように、本発明は、連続的に撮影される被写体の動画を別の背景の動画に合成し新たな動画を作成する場合にも適用できる。

たとえば、図１に示す撮像システム１０において、第一の波長領域の光を被写体に正面側から連続的に照射する正面照射装置１２０と、第二の波長領域の光を前記被写体に背面側から連続的に照射する背面照射装置１３０と、第一の波長領域の光による被写体の正面画像、および第二の波長領域の光による被写体のシルエット画像を同時に、被写体の正面側から動画として撮像する撮像装置１１０により第一の波長領域の光による正面動画像と第二の波長領域の光によるシルエット動画像を撮影してもよい。また、図４に示す画像処理装置１００により動画の１枚の画像フレームごとにマスク画像を生成してもよい。また、動画像の各フレームに対応したマスク画像を対応させて生成してもよい。

また、図１９に示す撮像システム１０において、正面照射装置１２０と背面照射装置１３０の光源を交互に撮像装置１１０のフレーム撮影に同期して発光させることで交互に正面画像とシルエット画像を撮影してもよい。また、図３１の画像処理装置１００により、正面画像のフレームと、シルエット画像のフレームとの組を取得することで前述の画像処理によりフレームごとにマスク画像、影響画像、透過率情報、変形量情報を生成してもよい。そして、生成した各情報を正面動画像の各フレームに対応させて保管してもよい。

図３７は、画像処理装置１００のハードウェア構成の一例を示す。画像処理装置１００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、ＲＡＭ１５２０をアクセスするＣＰＵ１５０５、およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、およびデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像システム１０が起動時に実行するブート・プログラム、あるいは撮像システム１０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、および通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。

ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１００を、図１から図３６に関連して説明した画像取得部５０２、画像予測部５０４、画像補正部５０６、被写体領域検出部５０８、マスク画像生成部５１０、影響算出部５１２、影響画像生成部５１４、格納部５１８、および出力部５２０として機能させる。また、ＣＰＵ１５０５により実行されるプログラムは、画像処理装置１００を、図１から図３６に関連して説明した透過率算出部５２２、透過率情報生成部５２４、変形量算出部５２６、および変形量情報生成部５２８として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして画像処理装置１００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係る撮像システム１０の一例を示す。 撮像装置１１０の撮像素子部の一例を示す。 二台の撮影機を有する撮像装置１１０の構成例を示す。 画像処理装置１００のブロック構成の一例を示す。 撮像システム１０における処理フローの一例を示す。 マスク画像を生成する処理フローの一例を示す。 撮像装置１１０によって撮像された正面画像の一例を示す。 撮像装置１１０によって撮像されたシルエット画像の一例を示す。 マスク画像生成部５１０によって生成されたマスク画像の一例を示す。 撮影台１４０の構成の一例を示す。 撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。 マスク画像を生成する処理フローの他の一例を示す。 撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。 画像処理装置１００のブロック構成の他の一例を示す。 撮像システム１０における処理フローの他の一例を示す。 撮像装置１１０によって撮像された正面画像の他の一例を示す。 被写体２０が含まれていない背景画像の一例を示す。 影響画像生成部５１４によって生成された影響画像の一例を示す。 他の実施形態に係る撮像システム１０の一例を示す。 画像処理装置１００のブロック構成の一例を示す。 撮像システム１０における処理フローの一例を示す。 透過率情報を生成する処理フローの一例を示す。 被写体を透過する光の変形量情報を生成する処理フローの一例を示す。 撮像装置１１０によって撮像された正面画像の一例を示す。 撮像装置１１０によって撮像されたシルエット画像の一例を示す。 シルエット画像に被写体２０が含まれていない背景シルエット画像の一例を示す。 マスク画像生成部５１０によって生成されたマスク画像の一例を示す。 撮影台１４０の構成の一例を示す。 撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。 撮像装置１１０によって撮像されたシルエット画像の他の一例を示す。 画像処理装置１００のブロック構成の他の一例を示す。 撮像システム１０における処理フローの他の一例を示す。 撮像装置１１０によって撮像された正面画像の他の一例を示す。 被写体２０が含まれていない背景画像の一例を示す。 影響画像生成部５１４によって生成された影響画像の一例を示す。 変形量算出部５２６による変形量の算出処理の一例を示す。 画像処理装置１００のハードウェア構成の一例を示す。

符号の説明

１０ 撮像システム
２０ 被写体
２２ 影
１００ 画像処理装置
１１０ 撮像装置
１２０ 正面照射装置
１３０ 背面照射装置
１４０ 撮影台
１４１ 表面
１４２ 裏面
１５０ 撮影用反射防止シート
１５２ テクスチャ
１６０ 反射板
２１０ 撮像素子
２２０ フィルタ
３１０ 撮影機
３２０ 撮影機
３３０ フィルタ
３４０ フィルタ
３５０ ハーフミラー
４１０ 背景パターン
４２０ テクスチャ
５０２ 画像取得部
５０４ 画像予測部
５０６ 画像補正部
５０８ 被写体領域検出部
５１０ マスク画像生成部
５１２ 影響算出部
５１４ 影響画像生成部
５１８ 格納部
５２０ 出力部
５２２ 透過率算出部
５２４ 透過率情報生成部
５２６ 変形量算出部
５２８ 変形量情報生成部

Claims (6)

1. 第一の波長領域の光を被写体に正面側から照射する正面照射装置と、
   第二の波長領域の光を前記被写体に背面側から照射する背面照射装置と、
   前記第一の波長領域の光による前記被写体の正面画像、および前記第二の波長領域の光による前記被写体のシルエット画像を同時に、前記被写体の正面側から撮像する撮像装置と、
   前記正面画像および前記シルエット画像を取得する画像取得部、ならびに前記正面画像および前記シルエット画像に基づいて前記正面画像における被写体領域を検出する被写体領域検出部を有する画像処理装置と
   を備える撮像システム。
2. 前記正面照射装置は、前記第一の波長領域の光である可視光を、前記被写体に正面側から照射し、
   前記背面照射装置は、前記第二の波長領域の光である赤外光を、前記被写体に背面側から照射する請求項１に記載の撮像システム。
3. 前記画像処理装置は、前記被写体領域検出部によって検出された前記被写体領域がマスクされたマスク画像を生成するマスク画像生成部をさらに備える請求項２に記載の撮像システム。
4. 撮像装置によって同時に撮像された、第一の波長領域の光による被写体の正面画像、および第二の波長領域の光による前記被写体のシルエット画像を取得する画像取得部と、
   前記正面画像および前記シルエット画像に基づいて、前記正面画像における被写体領域を検出する被写体領域検出部と
   を備える画像処理装置。
5. 撮像装置によって同時に撮像された、第一の波長領域の光による被写体の正面画像、および第二の波長領域の光による前記被写体のシルエット画像を取得する画像取得段階と、
   前記正面画像および前記シルエット画像に基づいて、前記正面画像における被写体領域を検出する被写体領域検出段階と
   を備える画像処理方法。
6. 画像処理装置用のプログラムであって、前記画像処理装置を、
   撮像装置によって同時に撮像された、第一の波長領域の光による被写体の正面画像、および第二の波長領域の光による前記被写体のシルエット画像を取得する画像取得部、
   前記正面画像および前記シルエット画像に基づいて、前記正面画像における被写体領域を検出する被写体領域検出部
   として機能させるプログラム。

Images