JP2002218498A - 背景分離システム - Google Patents

Abstract

(57)【要約】 【課題】被写体が有する色に関係なく高い信頼度で背景
と被写体を分離する、簡単な構成の背景分離システムを
提供する。 【解決手段】照明装置30で照明された被写体1と背景2を
撮影する撮影装置10と、この撮影装置によって取得され
た撮影画像から背景と被写体を分離する画像処理手段44
とを備えた背景分離システム。背景として被写体の背後
に反射体20が配置され、この反射体は照明装置からの入
射照明光の大部分を撮影装置に反射する特性を有する。
画像処理手段は取得された撮影画像から輝度情報に基づ
いて背景と被写体を分離する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体と背景を撮
影して得られた撮影画像から被写体を示す画像領域と背
景を示す画像領域とを分離する背景分離システムに関す
るものであり、一般にはクロマキー画像合成技術と呼ば
れている画像処理技術に属する。

【０００２】

【従来の技術】画像合成技術としてよく知られたクロマ
キー法は、背景をブルー等の単色とした環境で、この背
景とともに被写体を撮影して取得された画像データから
ブルー成分領域を切り出し、切り出された領域を他の画
像データで置き換えるものである。これにより、スタジ
オ等で撮影された被写体の背景を任意の風景などにする
ことが可能となる。しかしながら、このようなクロマキ
ー画像合成方法では、前もって設定しておいた背景色と
同じ色成分を有する画像領域が背景で、この背景色と異
なる色成分を有するものが被写体とみなして画像合成処
理が行われるので、もし背景色と同じ色の装飾品や衣服
などを被写体が身につけていれば、その部分も背景とみ
なされ、切り出され、他の画像と置き換えられるため、
合成後の被写体の画像が不自然なものとなる。このた
め、被写体の色を自由に変更できない場合に備えて多く
の色の背景スクリーンや背景壁を用意しておかなければ
ならないし、場合によっては、無理やり被写体から特定
色の装飾品や衣服を排除する必要も生じる。

【０００３】この問題を解決するため、例えば、特開昭
2000-29101号公報では、色調整可能な自己発光体として
Ｒ・Ｇ・Ｂの各色を発するライトを用意し、被写体に応
じた背景色を設定することによりより信頼性の高い背景
分離技術が開示されている。さらに、特開平11-73491号
公報には、赤外光を発する自己発光体からの光を背景と
して用いる技術、特にシート状の赤外光発光器を背景体
として用いる背景分離技術が開示されている。

【０００４】

【発明が解決しようとする課題】上述した公報による背
景分離技術では、被写体の色に制限されないという利点
は得られるとしても、背景体として自己発光器を採用す
ることにより、背景分離システムその自体の仕掛けが大
がかりになり、小さなスタジオや無人写真ボックスなど
には採用しづらいという問題がある。

【０００５】上記実状に鑑み、本発明の課題は、被写体
が有する色に関係なく高い信頼度で背景と被写体を分離
する、簡単な構成の背景分離システムを提供することで
ある。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、照明装置と、この照明装置で照明された被写体と背
景を撮影する撮影装置と、この撮影装置によって取得さ
れた撮影画像から背景と被写体を分離する画像処理手段
とを備えた背景分離システムにおいて、本発明では、前
記背景として被写体の背後に反射体が配置され、この反
射体は前記照明装置からの入射照明光の大部分を前記撮
影装置の方に反射するように構成されているとともに、
前記画像処理手段は取得された撮影画像から輝度情報に
基づいて背景と被写体を分離することを特徴としてい
る。

【０００７】この新しい背景分離システムでは、入射し
た光を確実に撮影装置に反射する、つまり表面での乱反
射を抑制し、大部分が所定の方向に光を戻す反射体を用
いていることから、背景体から反射して撮影装置に入る
光の強度が高くなり、その結果として撮影画像の内背景
領域の画像データの輝度値が他の領域のそれに較べて非
常に高い値となる。この現象を背景分離に利用するた
め、画像処理手段は輝度情報に基づいて背景と被写体を
分離する機能を備えている。

【０００８】これにより、大がかりとなる色調整可能な
自己発光式の背景体を必要とせずに、被写体が有する色
や環境光に関係なく、撮影画像から背景を確実に分離す
ることができ、任意の別な画像を背景に置き換えること
が可能となる。この背景分離システムは、被写体が有す
る色や環境光に影響されないことから、静止画のみでは
なく動画に適用した場合にもさらに大きな利点を与える
ことになる。

【０００９】本発明による好適な実施形態として、前記
反射体を再帰性反射材で構成し、かつ前記照明装置を、
その照明光が前記撮影装置の光軸（一般には撮影レンズ
の光軸のことであり、撮影中心軸ともいえる）に沿って
伝播するように構成することが提案される。再帰性反射
材それ自体はよく知られているが、入射してきた光をそ
の入射の方向に戻す機能をもった構造材料であり、その
表面での乱反射が抑えられているので、照明光が撮影装
置の光軸に沿って伝播するように設定することで、入射
照明光の大部分を撮影装置に送ることが可能となる。照
明光を撮影装置の光軸に沿って伝播させる最も簡単な構
成は、照明装置の光源を撮影装置に隣接させ、照明光の
光軸と撮影装置の光軸を実質的に同一にさせるとよい。

【００１０】この場合照明装置と撮影装置がスペース的
に干渉し合うことになる可能性があること、及びさらに
正確に照明光の光軸と撮影装置の光軸を一致させるため
の方策として、本発明の別な好適実施形態では、前記照
明装置が前記撮影装置の光軸上で撮影装置と被写体との
間に傾斜配置されたハーフミラーを備え、この照明装置
から出た照明光の少なくとも一部はハーフミラーによっ
て方向転換して撮影装置の光軸に沿って伝播し、被写体
及び反射体によって反射された反射照明光の少なくとも
一部はハーフミラーを通過して撮影装置に達するように
構成されている。この構成では、照明装置と撮影装置を
別々の場所に配置することができるので、システム全体
のレイアウトに大きな自由度を与える。

【００１１】本発明の好適な実施形態として、前記照明
装置を少なくとも赤外光を含む照明光を照射するものと
し、前記撮影装置には選択的に撮影装置の光軸に位置決
めされる赤外光通過フィルタと赤外光遮断フィルタを備
え、前記画像処理手段が、前記赤外光通過フィルタを通
過して取得された撮影画像と前記赤外光遮断フィルタを
通過して取得された撮影画像との比較から背景と被写体
を分離するように構成することも提案される。つまり、
背景用の照明光として赤外光成分も利用し、赤外光通過
フィルタと赤外光遮断フィルタを選択的に切り換えるこ
とにより、赤外光撮影画像と可視光撮影画像を時分割制
御で取得し、一般的に被写体の画像領域が低輝度となっ
ている赤外光撮影画像から背景を正確に分離して、背景
の輪郭情報を得て、この輪郭情報に基づいて可視光撮影
画像の背景領域を他の任意の画像に置き換えることが可
能となる。さらに、実質的に赤外光のみの照明光を使用
した場合、可視光撮影画像には、背景照明としての照明
光の影響がほとんど及ぼされないので、得られた合成画
像の品質が向上する。

【００１２】上記の場合、赤外光撮影画像と紫外線撮影
画像の取得を時分割制御で行っているが、撮影装置を赤
外光撮影画像取得用の第１撮影装置と可視光撮影画像取
得用の第２撮影装置に分けることで、同時に赤外光撮影
画像と紫外線撮影画像を取得することができ、背景分離
処理を高速化することが可能である。このような２つの
撮影装置を用いる形態においても、前述したハーフミラ
ーと再帰性反射体を用いた構成を採用することで同様な
利点が得られる。本発明によるその他の特徴及び利点
は、以下図面を用いた実施例の説明により明らかになる
だろう。

【００１３】

【発明の実施の形態】図１には、本発明による背景分離
システムの第１実施形態を採用した画像合成ステーショ
ンが模式的に示されている。この画像合成ステーション
は、被写体１越しにその被写体１の後に配置された背景
２としての再帰性反射体２０を照明する照明装置３０
と、再帰性反射体２０を背景２として被写体１を撮影す
る、ここではデジタルスチールカメラである撮影装置１
０と、撮影装置１で取得された撮影画像データから背景
領域を分離してその背景領域に前もって設定された画像
データで置き換えることで所望の合成画像データを生成
する画像処理機能を有するパソコンシステム４０と、生
成された合成画像データに基づいて合成画像データのハ
ードコピーを作成するプリンタ５０としての銀塩式デジ
タルプリンタプロセッサを備えている。また、被写体１
に対する写真撮影上のライティングのために、スポット
ライト等のライディング用機器４も備えられている。

【００１４】さらに、撮影装置３０と被写体１との間で
撮影装置１の光軸ＯＡ上にハーフミラー３が配置されて
いる。このハーフミラー３は、照明装置３０の光源３１
から出た照明光を撮影装置１の光軸ＯＡに一致させるよ
うに方向転換させるようにレイアウトされている。ま
た、被写体１や再帰性反射体２０から反射した反射光は
ハーフミラー３を通過して撮影装置１０に達することが
できる。このハーフミラー３の介在によって、撮影装置
１０と照明装置３０はスペース的に離れた位置に、つま
り自由な位置に配置することができるにも係わらず、照
明装置３０から出た照明光の光軸は撮影装置１０の光軸
ＯＸに一致させることができる。

【００１５】再帰性反射体２０は、種々のものが知られ
ているが、例えば住友スリーエム株式会社のスコッチラ
イト（商標登録商品名）反射シートを用いることができ
る。この再帰性反射シートは透明なプラスチックフィル
ムの中にガラスビーズを埋め込んだもので、極めて高い
反射輝度特性を有する。

【００１６】上述したように配置されたハーフミラー
３、及び撮影装置１０の光軸ＯＡがその面の鉛直線とな
るように配置された再帰性反射体２０の作用により、照
明装置３０から出されてハーフミラー３で方向転換され
た後再帰性反射体２０でその入射方向に反射した照明光
がハーフミラー３を通過して撮影装置１０に達すること
になる。再帰性反射体２０が有する入射方向に反射光を
戻すという性質により、撮影装置１０によって取得され
た撮影画像の背景２は被写体１に較べて極めて高い輝度
をもつことになる。

【００１７】キーボードやマウスからなる外部操作具４
２、モニタ４７といった周辺機器、及びＣＰＵ、ＲＯ
Ｍ、ＲＡＭ、Ｉ／Ｏインタフェース回路などの内蔵部品
からなるパソコンシステム４０の、本発明に関係する主
要な機能ブロックは図２に示されており、これらの機能
はハードウエア又はソフトウエアあるいはその両方で構
築される。主な機能構成要素としては、撮影装置１０か
ら入力された撮影画像データ及びスキャナやＣＤドライ
ブなどの画像入力装置４１から入力された差し替え用背
景画像データを一時的に格納するワークメモリ４３、ワ
ーキングメモリ４３に格納された画像データに対して種
々の画像処理を行う画像処理手段４４、処理された画像
データからプリンタ５０のためのプリントデータを生成
するプリントデータ生成部４５、各種画像データのイメ
ージ及びその他の表示アイテムのイメージをビデオメモ
リに取り込むともにこの表示イメージをビデオコントロ
ーラによってビデオ信号に変換してモニタ４７に送るビ
デオ制御部４６が挙げられる。画像処理手段４４には、
撮影装置１０から送り込まれてきた撮影画像データから
背景を分離する背景分離部４４ａと切り取られた背景領
域に他の画像データをはめ込む画像合成部４４ｂが含ま
れている。もちろん画像処理手段４４は、解像度変換、
縮小・拡大、トリミング、色調整などの機能を備えてい
る。これらの画像処理手段４４の諸機能及び構成は画像
処理の分野においてよく知られているので、ここでは詳
しい説明を省略する。

【００１８】このように構成された画像合成システムに
おける処理手順を図３を用いて説明する。まず、図１に
示すように被写体１としての人物が背景２としての再帰
性反射体２０の前に座る。照明装置３０を作動させる
と、光源ランプ３１から出た照明光はハーフミラー３に
よって撮影装置１０の光軸ＯＡ上を伝播するように反射
され被写体１と再帰性反射体２０を照射する。必要に応
じて、被写体１の写真写りを良くするためなどの目的で
ライティング用機器４も用いられる。被写体１と再帰性
反射体２０によって光軸ＯＡの方向に反射された照明光
はハーフミラー３を通過して撮影装置１０に達する。こ
こで撮影装置１０のシャッタが切られ、取得された撮影
画像データはワーキングメモリ４３に転送されるが、そ
の撮影画像データが示す撮影画像では、照明光が入射し
てきた方向に反射照明光を戻す再帰性反射体２０を背景
２として利用していることから、その背景２が非常に明
るく、つまり背景領域の画像データの輝度値が高くなっ
ている。

【００１９】この背景領域を表す画像データが極めて高
い輝度値を有することを利用して、背景分離部４４ａ
は、撮影画像データから所定レベルの輝度値を有する画
素からなる領域を選択することで背景領域だけを選択す
ることができる。次いで、画像合成部４４ｂが選択され
た背景領域に、予め用意してしておいたはめ込み用背景
画像をはめ込むことで、同じ被写体１に新しい背景をも
たせた合成画像が生成される。

【００２０】必要に応じて、ぼかしやシャープネスなど
のフィルタ処理を行った後、この合成画像を示す合成画
像データはプリントデータ生成部４５で、プリンタ５０
に最適化されたプリントデータに変換され、プリンタ５
０に送られ、先に述べた合成画像がここでは印画紙に焼
き付けられ、現像処理されることにより写真プリントと
して仕上げられる。

【００２１】図４には、本発明による背景分離システム
の第２実施形態を採用した画像合成ステーションが模式
的に示されているが、図１で示された第１実施形態に較
べて、照明装置３０が赤外光光源ランプ３２を備えてい
ることから赤外光照明光を発するように構成されている
ことと、撮影装置１０に選択的に設定される赤外光通過
フィルタ１２と赤外光遮断フィルタ１４が備えられてい
ることで異なっている。

【００２２】この赤外光通過フィルタ１２と赤外光遮断
フィルタ１４は、ここでは詳しく図示されていない、タ
レット機構に設けられており、パソコンシステム４０か
らの制御によって赤外光通過フィルタ１２と赤外光遮断
フィルタ１４を選択的に撮影装置４０の光軸ＯＡ上に位
置決めされ、これにより撮影装置４０は赤外光照明光の
影響を受けた撮影画像と赤外光照明光の影響を受ない撮
影画像を取得できる。

【００２３】画像合成処理においては、図５に示すよう
に、まず撮影装置４０の光軸ＯＡ上に赤外光遮断フィル
タ１４位置決めして撮影された可視光撮影画像と撮影装
置４０の光軸ＯＡ上に赤外光通過フィルタ１２位置決め
して撮影された赤外光撮影画像のデータが順次ワーキン
グメモリ４３に格納される。この２つの画像データは非
常に短い時間間隔で取得されるので、被写体１が静止し
た人物などの場合、それぞれの被写体１と背景の位置関
係は実質的に同一となる。

【００２４】赤外光撮影画像では、背景２と被写体１と
の輝度値の違いは第１実施形態での撮影画像よりもさら
に明白となっており、この赤外光撮影画像を利用するこ
とで背景分離部４４ａはより正確に背景領域を選択する
ことが可能となる。さらに、可視光撮影画像の方は、赤
外照明光の影響を受けないので、より自然な撮影画像と
なる。画像合成部４４ｂは、前述したように、選択され
た背景領域の位置情報を可視光撮影画像に当てはめて、
この可視光撮影画像の背景領域を予め用意してしておい
たはめ込み用背景画像で置き換え、新しい背景をもった
合成画像データを生成する。

【００２５】被写体１が動体である場合や画像合成処理
を高速で行いたい場合、赤外光通過フィルタ１２と赤外
光遮断フィルタ１４との切換を高速化するか、あるいは
同時に可視光撮影画像データと赤外光撮影画像データを
取得する必要がある。この後者の要望を達成するため
の、いわゆる第３実施形態が、図６に示されている。

【００２６】この第３実施形態は、前述した第２実施形
態とは異なり、撮影装置１０が第１撮影装置１１と第２
撮影装置１３の２つに分かれており、第２撮影装置１３
は前述した２つの実施形態と同様な位置に配置されてい
るのに対して、第１撮影装置１１は照明装置３０側に配
置されている。さらに赤外光通過フィルタ１２と赤外光
遮断フィルタ１４はタレット機構に一体的に設けられる
のではなく、赤外光通過フィルタ１２は第１撮影装置１
１の前面に取り付けられ、赤外光遮断フィルタ１４は第
２撮影装置１３の前面に取り付けられている。第１撮影
装置１１と第２撮影装置１３は同一の被写体１を同一の
撮影画面位置で撮影できるように設定されている。

【００２７】このような構成では、ハーフミラー４の働
きで、同時に、第１撮影装置１１は赤外照明光の影響下
にある撮影画像、つまり図５における可視光撮影画像と
同一の画像データを取得し、第２撮影装置１３は赤外照
明光の影響を受けない、つまり図５における赤外光撮影
画像と同一の撮影画像を取得することができ、画像合成
処理を高速に行うことができる。

【００２８】上述した実施形態ではハーフミラー４を利
用して、撮影装置１０と照明装置３０を別の場所に配置
させていたが、撮影装置１０と照明装置３０を隣接配置
したり、好ましくは撮影装置１０の光軸ＯＡの周囲に光
源ランプ３１を分布させることで、ハーフミラー４なし
で撮影装置１０の光軸ＯＡと照明光のビーム中心を実質
的に一致させる構成を採用することも可能である。

【００２９】さらに、上述した実施形態による画像合成
ステーションは、スタジオ風のレイアウトで説明されて
いたが、これらの全体設備を無人照明写真ボックスよう
なコンパクトなレイアウトで構成することも可能であ
る。その場合、はめ込み用背景画像として、持参した画
像データやスキャナ読取による画像データを用いたり、
予め用意されている画像データを選択するようにしても
良い。再帰性反射体２０の表面色をグレーにしておくこ
とで、合成を行わない通常の証明写真作成における背景
として再帰性反射体２０自体を利用することができる。

【００３０】本発明による背景分離技術は、従来のクロ
マキー技術とは異なり、反射特性がよい反射体を背景と
して用いて背景と被写体をその輝度レベルの違いから分
離するものであり、被写体の備える色に左右されないと
いう特徴をもつ。また、特に第３実施形態のような構成
を採用することで高速の画像合成も可能であり、静止画
の合成処理のみならず、動画の合成処理にも適用可能で
ある。

【図面の簡単な説明】

【図１】本発明による背景分離システムの第１実施形態
を採用した画像合成ステーションの模式図

【図２】図１による画像合成ステーションに備えられた
パソコンシステムにおける機能ブロック図

【図３】第１実施形態での背景分離システムにおける背
景入れ換え手順を説明する説明図

【図４】本発明による背景分離システムの第２実施形態
を採用した画像合成ステーションの模式図

【図５】第２実施形態での背景分離システムにおける背
景入れ換え手順を説明する説明図

【図６】本発明による背景分離システムの第３実施形態
を採用した画像合成ステーションの模式図

【符号の説明】

１ 被写体 ２ 背景 ３ ハーフミラー ４ ライティング用器具 １０ 撮影装置 １１ 第１撮影装置 １２ 赤外光通過フィルタ １３ 第２撮影装置 １４ 赤外光遮断フィルタ ２０ 再帰性反射体 ３０ 照明装置 ３１ 光源ランプ ３２ 赤外光光源ランプ ４０ パソコンシステム ４４ 画像処理手段 ４４ａ 背景分離部 ４４ｂ 画像合成部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ２５０ Ｇ０６Ｔ 7/00 ２５０ Ｈ０４Ｎ 5/272 Ｈ０４Ｎ 5/272

Claims (7)

【特許請求の範囲】
1. 【請求項１】照明装置と、この照明装置で照明された被
   写体と背景を撮影する撮影装置と、この撮影装置によっ
   て取得された撮影画像から背景と被写体を分離する画像
   処理手段とを備えた背景分離システムにおいて、 前記背景として被写体の背後に反射体が配置され、この
   反射体は前記照明装置からの入射照明光の大部分を前記
   撮影装置の方に反射するように構成されているととも
   に、 前記画像処理手段は取得された撮影画像から輝度情報に
   基づいて背景と被写体を分離することを特徴とする背景
   分離システム。
2. 【請求項２】前記反射体が再帰性反射材で構成されてお
   り、かつ前記照明装置は、その照明光が前記撮影装置の
   光軸に沿って伝播するように構成されていることを特徴
   とする請求項１に記載の背景分離システム。
3. 【請求項３】前記照明装置は前記撮影装置の光軸上で前
   記撮影装置と被写体との間に傾斜配置されたハーフミラ
   ーを備えており、前記照明装置から出た照明光の少なく
   とも一部はハーフミラーによって方向転換して前記撮影
   装置の光軸に沿って伝播し、被写体及び前記反射体によ
   って反射された反射照明光の少なくとも一部はハーフミ
   ラーを通過して前記撮影装置に達することを特徴とする
   請求項１又は２に記載の背景分離システム。
4. 【請求項４】前記照明装置は少なくとも赤外光を含む照
   明光を照射するものであり、前記撮影装置には選択的に
   前記撮影装置の光軸に位置決めされる赤外光通過フィル
   タと赤外光遮断フィルタが備えられ、前記画像処理手段
   は、前記赤外光通過フィルタを通過して取得された撮影
   画像と前記赤外光遮断フィルタを通過して取得された撮
   影画像との比較から背景と被写体を分離することを特徴
   とする請求項１〜３のいずれかに記載の背景分離システ
   ム。
5. 【請求項５】少なくとも赤外光を含む照明光を照射する
   照明装置と、前記照明装置で照明された被写体と背景を
   赤外光通過フィルタを介して撮影する第１撮影装置と、
   前記照明装置で照明された被写体と背景を赤外光遮断フ
   ィルタを介して撮影する第２撮影装置と、これらの第１
   ・第２撮影装置によって取得された撮影画像から背景と
   被写体を分離する画像処理装置とを備えた背景分離シス
   テムにおいて、 前記背景として被写体の背後に反射体が配置され、この
   反射体は前記照明装置からの入射照明光の大部分を前記
   第１・第２撮影装置の方に反射するように構成されてい
   るとともに、 前記画像処理手段は取得された撮影画像から輝度情報に
   基づいて背景と被写体を分離することを特徴とする背景
   分離システム。
6. 【請求項６】前記反射体が再帰性反射材で構成されてお
   り、かつ前記照明装置は、その照明光が前記第１・第２
   撮影装置の共通光軸に沿って伝播するように構成されて
   いることを特徴とする請求項５に記載の背景分離システ
   ム。
7. 【請求項７】前記照明装置は前記第１撮影装置の光軸と
   前記第２撮影装置の光軸の交差ポイントに傾斜配置され
   たハーフミラーを備えており、前記照明装置から出た照
   明光の少なくとも一部はハーフミラーによって方向転換
   して前記第１・第１撮影装置の共通光軸に沿って伝播
   し、被写体及び反射体によって反射された反射照明光の
   一部はハーフミラーを通過して前記第１撮影装置に達す
   るとともに前記反射照明光の他の一部はハーフミラーで
   反射して前記第２撮影装置に達することを特徴とする請
   求項５又は６に記載の背景分離システム。