JP2000023038A - 画像抽出装置 - Google Patents

Abstract

(57)【要約】 【課題】前景と背景とを含む被写体の全体画像から該前
景が抽出された前景画像を生成する装置において、リア
ルタイムに前景のみが抽出された画像を生成する。 【解決手段】被写体１６に対して不可視光を照射する光
源１１と、複数の画素が２次元配列され、前記被写体の
全体画像を撮像する全体画像撮像系２３と、前記光源か
ら照射された不可視光が前記被写体で反射した光を検知
する複数個の画素が２次元配列された前景画像撮像系２
４と、前景画像撮像系２４の画素の内、入射した光の強
度が所定値以上である画素を認識するキー信号作成手段
２６と、全体画像撮像系２３で撮像された全体画像か
ら、キー信号作成手段２６で認識された画素に対応する
位置の画像情報を抜き出し、前景画像を生成する手段と
を具備してなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＣＤやＭＯＳ型
イメージセンサを用いた電子スチルカメラやカメラ一体
型ＶＴＲなどの撮像装置に係わり、特に任意の全体画像
から前景画像を抽出する画像抽出装置に関する。

【０００２】

【従来の技術】人物などの前景画像を任意の背景画像に
挿入する方法として、従来からクロマキー法などが知ら
れている。クロマキー法とは、前景画像を抽出しやすく
するためにある特定の色（青色や緑色など）を背景に前
景（人物像など）を前もって撮影し、その前景のみを抽
出する信号処理を施した後に任意の背景画像と合成する
方法である。

【０００３】しかし、このクロマキー法は複雑な背景と
前景が混在する通常のカメラ画像においでリアルタイム
に前景を抽出できる方法ではない。近年、リアルタイム
で、カメラ画像をそのまま用いてその画面内で背景・前
景を分けて、前景の人物や物に影響を与えることなくそ
の背景の表示を自由に入れ替えることができる画像合成
装置が提案されている（宮林、Virtual Board の開発−
背景画像電子置換システム、放送技術、１９９７年１２
月号、Ｐ．１２３６）。しかし、この方法には、前景が
ないベース画像を予め取り込む必要があるため、真のリ
アルタイム合成法とは言えないという問題があった。

【０００４】

【発明が解決しようとする課題】上述したように、前景
（人物など）を任意の背景画像に挿入する従来の画像合
成装置においては、ある特定の色を背景に前景（人物な
ど）を前もって撮影する手順や、前景などの障害物がな
い状態でベース画像を予め取得する手順が必要であるた
め、真のリアルタイム画像合成法とは言いがたいという
問題があった。本発明の目的は、事前に画像を取得する
ことなく、カメラ画像からリアルタイムに前景のみを抽
出し得る画像抽出装置を提供することにある。

【０００５】

【課題を解決するための手段】［構成］本発明は、上記
目的を達成するために以下のように構成されている。本
発明（請求項１）の画像抽出装置は、前景と背景とを含
む被写体の全体画像から該前景が抽出された前景画像を
生成する画像抽出装置であって、前記被写体に対して不
可視光を照射する光源と、複数の画素が２次元配列さ
れ、前記被写体の全体画像を撮像する全体画像撮像系
と、前記光源から照射された不可視光が前記被写体で反
射した光を検知する複数個の画素が２次元配列された前
景画像撮像系と、この前景画像撮像系の画素の内、入射
した光の強度が所定値以上である画素を認識する前景位
置認識手段と、前記全体画像撮像系で撮像された全体画
像から、前記前景位置認識手段で認識された画素に対応
する位置の画像情報を抜き出し、前記前景画像を生成す
る前景画像生成手段とを具備してなることを特徴とす
る。

【０００６】本発明において、前記前景画像と、予め用
意された背景とを合成する手段とを具備することが好ま
しい。 ［作用］本発明は、上記構成によって以下の作用・効果
を有する。

【０００７】特定の発光源が発光した場合における全体
画像信号は、前景が近いため前景（人物など）からの反
射光が強いので前景信号がより強調されるが、背景は前
景に比べ遠いため反射光は極めて弱く背景信号が背景信
号が強調されることはない。従って、被写体の該光源に
対する反射光が所定値以上の光が入射した前景画像抽出
系の画素を抽出し、抽出された画素に対応する全体画像
の画素を抽出することで、前景のみが抽出された画像信
号が得られることになる。

【０００８】従来技術で述べたように、前景を抽出する
ために事前のベース画像取得が不可欠であったが、本発
明の構成をとれば不要になるという大きな利点を有す
る。さらに、予め記録された任意の背景画像と組み合わ
せて所望の背景でのスナップ写真を合成できる。

【０００９】

【発明の実施の形態】本発明の実施の形態を以下に図面
を参照して説明する。図１は、本発明の第１実施形態に
係わる電子スチルカメラ及び被写体の外観を示す図であ
る。

【００１０】電子スチルカメラ１０は、本体内に、被写
体を撮影する撮像系２０と、被写体１６に対して不可視
光の光を発する発光源１１と、前景画像及び全体画像
（前景と背景）とを記録する全体・前景画像保存用メモ
リ１２と、任意の合成用画像が記録された合成用背景メ
モリ１３と、前景画像と合成用画像とから作成された合
成画像を記録する合成画像保存用メモリとを具備する。
なお、本実施形態において、被写体１６は、人物（前
景）１７と樹木（背景）１８である。

【００１１】なお、全体・前景画像保存用メモリ１２，
合成用背景メモリ１３及び合成画像保存用メモリ１４
は、例えばＩＣメモリカードからなり、電子スチルカメ
ラ１０から着脱が可能である。また、それぞれのメモリ
１２，１３，１４は、全て別個の記録媒体である必要は
なく、全てのメモリ１２，１３，１４が一つの記録媒体
で合っても良いし、又一つの記録媒体に３つのメモリ１
２，１３，１４のうちの二つの機能を持たせても良い。

【００１２】なお、発光源１１には近赤外線を用いる
と、蛍光灯のような経時的に強度が点滅する外光が背景
に存在しても通常外光には近赤外成分が非常に少ないの
で、その影響が小さい。

【００１３】次に、電子スチルカメラ１０の内部構成を
説明する。図２は、電子スチルカメラ１０内の撮像系及
びその周辺の構成を示す図である。図２に示した電子ス
チルカメラの構成を動作の説明と同時に行う。

【００１４】図示されていないシャッターボタンを押す
と、発光源１１から被写体１６に対して不可視光の光が
照射される。また、シャッターボタンの押釦動作に同期
して被写体１６からの光は、撮像系２０にとりこまれ
る。

【００１５】被写体１６から撮像系２０に入射した光
は、レンズ２１で集光された後、ハーフミラー又はプリ
ズムなどのビーム分割手段２２で２方向に分割される。
分割された光は、全体画像撮像系２３と、バンドパスフ
ィルタ２５を介して前景抽出用撮像系２４にそれぞれ入
射する。そして、光は、撮像系２３，２４内のＣＣＤイ
メージセンサやＣＭＯＳイメージセンサなどの固体撮像
素子上に結像する。なお、全体画像撮像系２３は少なく
とも可視光レベルの波長の光を撮像し、前景抽出用撮像
系２４は、光源１１に対応した反射光レベルの波長の光
を撮像する。

【００１６】なお、干渉フィルタや可視光カットフィル
タなどからなるバンドパスフィルタ２５は、発光源１１
の発光による反射光成分を強調して取り出し、発光源１
１の波長成分を選択的に通す。

【００１７】人物１７が近距離に存在するので、発光源
１１の発光による人物１７からの反射光成分強度は、非
常に高い。そして、樹木１８は人物１７よりも遠方にあ
るので発光源１１の発光による樹木１８からの反射光成
分強度は、人物１７からのものに比べて非常に低い。

【００１８】従って、人物１７からの反射光を受光した
前景抽出用撮像系２４の画素には、強い光信号が入射す
る。よって、前景抽出用撮像系２４の画素のうち、所定
値以上の画素を抽出することによって、人物１７からの
反射光が入射した画素を特定することができる。

【００１９】そして、キー信号作成回路（本発明の前景
位置認識手段）２６では、前景抽出用撮像系２４の画素
のうち、一定値以上の光信号が入射した画素を抽出す
る。そして、抽出された画素を“１”、それ以外の画素
を“０”とするキー信号を作成し、キー信号をメモリＷ
／Ｒ（書き込み／読み出し）制御回路２７に入力する。

【００２０】一方、可視光波長を撮像する全体画像撮像
系２３は、ディレー回路２８を介してメモりＷ／Ｒ制御
回路２７に接続され、全体画像撮像系２３からメモりＷ
／Ｒ制御回路２７に対して全体画像信号が出力される。
ディレー回路２８は、全体画像信号に対して、全体画像
信号の各画素の画像信号に対応するキー信号がメモリＷ
／Ｒ制御回路２７に到達するタイミングに合わせた遅延
時間量を与える。

【００２１】そして、メモリＷ／Ｒ制御回路（本発明の
前景画像生成手段）２７は、入力された全体画像信号を
全体・前景画像保存用メモリ１２に記録する。また、メ
モリＷ／Ｒ制御回路２７は、全体画像信号の記録と別
に、キー信号の入力が“１”のときに全体・前景画像保
存用メモリ１２に全体画像信号の画像信号が書き込ま
れ、キー信号が“０”のときに画像信号が書き込まれな
い前景画像信号を記録し、図３に示す前景画像３２を生
成する。

【００２２】また、全体・前景画像保存用メモリ１２に
は、上述した前景画像信号が記録されると共に、キー信
号が記録される。勿論、用途に応じて全体画像信号の記
録機能を省くことも可能である。

【００２３】そして、メモリＷ／Ｒ制御回路２９は、全
体・前景画像保存用メモリ１２に記録された前景画像信
号及びキー信号と、合成用背景メモリ１３に保存されて
いる任意の背景画像信号３１を読み込む。そして、背景
画像用信号の画素に対応するキー信号が“１”である場
合に合成画像保存用メモリ１４に前景画像信号を書き込
み、キー信号が“０”の場合に背景画像信号を書き込む
ことによって、合成画像３３を生成する。

【００２４】なお、本発明は、上記実施形態に限定され
るものではない。例えば、ＣＭＯＳイメージセンサは、
不可視光である赤外領域波長の光に対しても優れた感度
を示すので、ＣＭＯＳイメージセンサの全段に機械的に
出し入れされるフィルタを設けることによって、全体画
像撮像系と前景抽出用撮像系とを一つの撮像素子でまか
なえることができる。

【００２５】また、予め任意の背景が保存された合成用
背景メモリ１３と合成画像保存用メモリ１４が電子スチ
ルカメラ１０本体に脱着可能に備えられている例を示し
たが、合成用背景メモリ１３又は１４の保存場所や記録
合成処理装置として外部の情報記録処理装置（例えばパ
ソコン）を利用しても本発明の主旨を逸脱しないのは勿
論である。

【００２６】電子スチルカメラを主体とした静止画の場
合の構成を示したが、ビデオカメラなどの動画構成にも
本発明を適用できるのは勿論である。その他、本発明
は、その要旨を逸脱しない範囲で、種々変形して実施す
ることが可能である。

【００２７】

【発明の効果】以上説明したように本発明によれば、被
写体に対して不可視光の光を照射し、前記不可視光に対
する被写体からの反射画像のうち強度の強い位置を認識
することによって、前景と通常の背景が含まれた全体画
像から実質的にリアルタイムに前景を抽出することが可
能になる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係わる電子スチルカメラ
の外観及び被写体を示す図。

【図２】電子スチルカメラの概略構成を示す図。

【図３】電子スチルカメラによって作成された人物（前
景画像）、並びに合成用背景画像及び合成画像を示す
図。

【符号の説明】

１０…電子スチルカメラ １１…発光源 １２…全体・前景画像メモリ １３…合成用背景メモリ １４…合成画像保存用メモリ １６…被写体 １７…人物 １８…樹木 ２０…撮像系 ２１…レンズ ２２…ビーム分割手段 ２３…全体画像撮像系 ２４…前景抽出用撮像系 ２５…バンドパスフィルタ ２６…キー信号作成回路 ２７…メモリＷ／Ｒ制御回路 ２８…ディレー回路 ２９…メモリＷ／Ｒ制御回路 ３１…背景用画像 ３２…前景画像 ３３…合成画像

Claims (1)

【特許請求の範囲】
1. 【請求項１】前景と背景とを含む被写体の全体画像から
   該前景が抽出された前景画像を生成する画像抽出装置で
   あって、 前記被写体に対して不可視光を照射する光源と、 複数の画素が２次元配列され、前記被写体の全体画像を
   撮像する全体画像撮像系と、 前記光源から照射された不可視光が前記被写体で反射し
   た光を検知する複数個の画素が２次元配列された前景画
   像撮像系と、 この前景画像撮像系の画素の内、入射した光の強度が所
   定値以上である画素を認識する前景位置認識手段と、 前記全体画像撮像系で撮像された全体画像から、前記前
   景位置認識手段で認識された画素に対応する位置の画像
   情報を抜き出し、前記前景画像を生成する前景画像生成
   手段とを具備してなることを特徴とする画像抽出装置。