JP2008299670A - 画像領域抽出装置およびその制御方法、複合現実感提示システム及びコンピュータプログラム - Google Patents

Abstract

【課題】非検出指標の情報を利用することにより、撮像画像中から被写体領域を抽出する際に予め被写体の画像属性を登録しなくてもよいようにする。
【解決手段】画像領域抽出装置であって、撮像装置で計測対象物体と被写体とを含む現実空間を撮像して得られた撮像画像を入力する入力手段と、前記計測対象物体上の指標の配置情報を保持する保持手段と、前記撮像画像から、前記指標の画像座標に関わる特徴量を抽出する抽出手段と、前記配置情報と前記特徴量とに基づいて、前記撮像画像において前記被写体により隠蔽された前記計測対象物体の隠蔽部位を特定する特定手段と、前記撮像画像における前記隠蔽部位に対応する位置の画像が有する属性に基づいて、前記撮像画像において前記被写体が表示されている被写体領域を表す被写体領域画像を生成する生成手段とを備える。
【選択図】図１

Description

本発明は、画像領域抽出装置およびその制御方法、複合現実感提示システム及びコンピュータプログラムに関する。

テレビ番組に代表される映像制作の分野では、クロマキーの手法が用いられている。これは、撮像装置からのライブ画像の中から特定の領域を抽出し、コンピュータグラフィックス（以下、ＣＧと記述）などによる画像と合成する手法である。

図１を参照してクロマキー合成技術について説明する。一般的なクロマキー合成では、被写体１０３にほとんど含まれていない特定の色彩を有するスクリーン１０２の前に被写体１０３を配置し、撮像装置によって実写映像を取得し、これを前景画像１０１とする。特定の色彩としては、一般には鮮やかなブルーまたはグリーンの色彩が用いられるが、以下では色とは無関係にスクリーン１０２のことを「ブルーバック」と記述する。

キー画像生成部１０５では、前景画像１０１から、ブルーバック１０２の色彩を基準にしてキー画像１０６を生成する。キー画像１０６は、前景画像１０１の中に含まれる被写体１０３の領域を抽出するための情報であり、図１に示すように背景と被写体とを識別する値が画素単位で設定される。

その一方、背景画像１０４は、静止画像・動画像・ＣＧなどの任意の画像であって、前景画像１０１を撮影する場合のようにブルーバックを使用する必要はない。

画像合成処理部１０７では下記の式１に従って、画像合成処理を実行する。ここで、キー画像１０６において、例えば被写体の領域を示す値を「１」、背景の領域を示す値を「０」とする。また、キー画像１０６の画素値を示す記号をＫ、前景画像１０１の画素値を示す記号をＦ、背景画像１０４の画素値を示す記号をＢ、合成画像１０８の画素値を示す記号をＣとする。このとき、
Ｋ＝０のとき、Ｃ＝Ｂ
Ｋ＝１のとき、Ｃ＝Ｆ （式１）
となる。

このような画像合成処理により、前景画像１０１の被写体１０３が背景画像１０４の上に重畳された合成画像１０８が生成される。

しかし、このようなブルーバック合成技術では、前景となる被写体１０３を撮影するためにはブルーバック１０２が必要となり、背景画像と同時に被写体を撮影することができない。

これに対し、図２に示すように、現実の実写風景２０３を背景として、仮想物体２０４を重畳し、さらにその前景として実写の被写体２０２を合成する技術が提案されている（特許文献１を参照）。

この提案技術では、被写体の色情報を予め登録しておき、実写画像の各画素について色情報を被写体の色情報と比較し、被写体領域に含まれるならば「１」、それ以外では「０」の値を有する被写体領域画像を生成する。

図３は、実写画像と被写体領域画像を示す図である。図３（ａ）は、実写画像３０１を示し、図３（ｂ）は、実写画像３０１を解析して得られた被写体領域画像３０２を示す。被写体領域画像３０２において、白で示した領域（画素値「１」を有する領域）が被写体である手の領域を示す。一方、斜線で示した領域（画素値「０」を有する領域）は、被写体である手の領域以外の領域を示す。

図３（ｂ）において斜線で示される領域に対してのみ、ＣＧ画像を合成することにより、現実の実写風景２０３を背景として、仮想物体２０４が重畳され、さらにその前景として実写の被写体２０２を合成することができる。

また、現実空間を撮像するカメラなどの撮像部（以下適宜カメラと言い換える）の位置姿勢計測は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。そのために現実空間に配置した位置が既知のマーカ、または現実空間中の位置が既知の自然特徴（現実空間に元来存在する特徴的な点や形状）を用いて、カメラの位置姿勢を測定するセンサの計測誤差を補正する技術が提案されている。このような提案技術は、特許文献２及び３、非特許文献１に記載されている。以下では、マーカと自然特徴を合わせて指標と記述する。

一方で、位置姿勢センサを用いず、カメラで撮像した指標のみを利用してカメラの位置姿勢推定を行う技術も提案されている（非特許文献２及び３）。
特開２００３−２９６７５９号公報 特開平１１−０８４３０７号公報 特開２０００−０４１１７３号公報 Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ， Ｂ．Ｇａｒｒｅｔｔ，ａｎｄ Ｍ．Ｌｉｖｉｎｇｓｔｏｎ：Ｓｕｐｅｒｉｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｒｅｇｉｓｔｒａｔｉｏｎ ｂｙ ｉｎｔｅｇｒａｔｉｎｇ ｌａｎｄｍａｒｋ ｔｒａｃｋｉｎｇ ａｎｄ ｍａｇｎｅｔｉｃ ｔｒａｃｋｉｎｇ，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ '９６，ｐｐ．４２９−４３８，Ｊｕｌｙ １９９６． 加藤，Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：マーカー追跡に基づく拡張現実感システムとそのキャリブレーション，日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，Ｄｅｃ．１９９９． Ｘ．Ｚｈａｎｇ，Ｓ．Ｆｒｏｎｚ，Ｎ．Ｎａｖａｂ：Ｖｉｓｕａｌ ｍａｒｋｅｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｄｅｃｏｄｉｎｇ ｉｎ ＡＲ ｓｙｓｔｅｍｓ：Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ，Ｐｒｏｃ．ｏｆ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ'０２），２００２．

上述の実写画像を使った画像合成技術では、予め登録された色情報を利用してマスク対象物体の抽出を行っているため、登録していない色情報の対象物体を抽出することはできない。また、実写画像中で抽出したい被写体以外の領域であって、被写体と略同一色を有する領域も抽出されるおそれがある。

また、位置姿勢計測では、カメラの位置姿勢を推定するために指標検出を行っているので、検出されていない指標の情報を追加手段なしで得ることが可能である。しかし、検出されなかった指標、すなわち、検出されるであろう画像面内での位置にその指標が検出されなかったという情報は特に利用されることなかった。

そこで本発明では、非検出指標の情報を利用することにより、撮像画像中から被写体領域を抽出する際に予め被写体の画像属性を登録しなくてもよいようにすることを目的とする。

上記課題を解決するための本発明は画像領域抽出装置であって、
撮像装置で計測対象物体と被写体とを含む現実空間を撮像して得られた撮像画像を入力する入力手段と、
前記計測対象物体上の指標の配置情報を保持する保持手段と、
前記撮像画像から、前記指標の画像座標に関わる特徴量を抽出する抽出手段と、
前記配置情報と前記特徴量とに基づいて、前記撮像画像において前記被写体により隠蔽された前記計測対象物体の隠蔽部位を特定する特定手段と、
前記撮像画像における前記隠蔽部位に対応する位置の画像が有する属性に基づいて、前記撮像画像において前記被写体が表示されている被写体領域を表す被写体領域画像を生成する生成手段と、
を備えることを特徴とする。

上記課題を解決するための本発明はまた、複合現実感提示システムであって、撮像装置と、上記の画像領域抽出装置と、前記合成画像を表示する表示装置とを備えることを特徴とする。

本発明によれば、撮像画像中から被写体領域を抽出する際に、予め被写体の画像属性を登録しなくてもよい。

以下、添付図面を参照して、本発明をその好適な実施形態に従って詳細に説明する。

［第１の実施形態］
本実施形態に係る画像領域抽出装置は、計測対象物体上の指標の被写体による隠蔽部位の画像属性を求め、画像属性が共通する撮像画像中の領域を抽出し、それ以外の領域に対して仮想空間画像を合成する。これにより、計測対象物体上に仮想空間画像が重畳され、その前景として実写の被写体を合成可能となる。以下、本実施形態に係る画像領域抽出技術について説明する。

図４は、本実施形態に対応する複合現実感提示システムの構成の一例を示す図である。本実施形態において、複合現実感提示システムは、画像領域抽出装置４００と頭部搭載型画像表示装置（以下、ＨＭＤと記述）４２０とで構成される。

また、図５は、本実施形態の複合現実感提示システムの利用形態の一例を示す図である。図５において、ユーザ５０１は、実写画像とＣＧを合成して表示するための表示装置であるＨＭＤ４２０を頭部５０２に装着している。該ＨＭＤ４２０は、画像領域抽出装置４００と有線又は無線接続される。

本実施形態では一例として、前景とすべき現実の被写体をユーザ５０１の手５０３とし、計測対象物体をユーザ５０１が手５０３で把持した箱５０４とし、背景とすべき現実の情景を壁５０５や窓５０６とした場合を説明する。即ち、現実の壁５０５や窓５０６などを背景として、箱５０４にパッケージデザイン等のＣＧを重畳表示し、該箱５０４の手前に実写の手５０３が表示される場合を例として説明する。

なお、以上の設定はあくまで発明の実施形態を説明するための一例であって、計測対象物体は、箱に限らず、具体物或いはそのモックアップであってもよい。たとえば、携帯電話やデジタルカメラ、リモコンなどのモックアップを計測対象物体として、該モックアップの表面に各機器の外観や画面表示内容を示すＣＧを重畳表示してもよい。

ＨＭＤ４２０の概略構成は、図４に示す通りである。図４において、ＨＭＤ４２０には、撮像部４２１と提示部４２２とが含まれる。撮像部４２１は、ＣＣＤやＣＭＯＳといった撮像素子を利用した小型の撮像装置であって、ＨＭＤ４２０において、ユーザ５０１の視界方向と一致する向きに固定される。ユーザ５０１が取得する視覚情報とほぼ同一の画像情報を取得することができる。提示部４２２は、ユーザ５０１に対して画像情報を提示するため、ＨＭＤ４２０においてユーザの眼前に位置するように固定されている。提示部４２２は例えば液晶パネルや有機ＥＬパネル等で構成された小型の表示装置である。

画像領域抽出装置４００は、画像入力部４０２、データ記憶部４０３、指標候補検出部４０４、位置姿勢計測部４０５、ＣＧ画像生成部４０６、非検出部位算出部４０７、画像属性抽出部４０８、被写体領域抽出部４０９及び画像合成部４１０を備える。ＨＭＤ４２０の撮像部４２１は画像入力部４０２と接続され、画像合成部４１０は提示部４２２に接続されている。

現実空間中には、撮像部４２１によって撮影するための指標が配置されている。本実施形態では、計測対象物体上に配置された指標を用いる場合、より具体的に箱５０４を構成する各エッジを指標として用いる場合を説明する。撮像部４２１が出力する画像（以下、撮像画像と記述）は、画像入力部４０２に入力される。画像入力部４０２は、画像領域抽出装置４００へ入力される撮像画像をデジタルデータに変換し、データ記憶部４０３に保存する。以下では便宜的にデジタルデータに変換した画像も「撮像画像」と記述する。

図６は、このような撮影画像の一例を示す図である。撮像画像６００は、ユーザ５０１が箱５０４を手５０３に持って、眼前に掲げた状態を撮影した画像である。このとき、背景には壁５０５や窓５０６が写っている。なお、本実施形態の撮像画像６００では、画像の左上端を原点としてＸＹ座標系が設定され、撮像画像内の画像座標は当該ＸＹ座標系において求めることとする。

図４の説明に戻り、データ記憶部４０３は、画像入力部４０２から入力される画像、指標候補検出部４０４から入力される各指標候補の画像座標に関わる特徴量、指標の３次元配置情報が保持される。また、撮像部４２１のカメラパラメータ（パン，チルト及びロール角等）及び３次元ＣＧデータ等のデータも保持される。

指標候補検出部４０４は、データ記憶部４０３に保持された撮像画像６００を取得し、取得した撮像画像６００から指標候補の画像座標に関わる特徴量を抽出し、データ記憶部４０３に出力する。本実施形態では、指標候補の画像座標に関わる特徴量として、撮像画像中から検出された各エッジの両端の画像座標を求める。

図７にエッジ抽出画像の一例を示す。図７では、エッジの端点を黒い丸印７００で示している。このようにしてエッジの両端点の画像座標を求めることができる。なお、このようにして求められた両端点について、データ記憶部４０３に保持された指標の３次元配置情報に基づいて指標のモデルとのマッチングを行い、特徴量を絞り込んでもよい。その結果として、例えば図８に示すような各特徴量を抽出することができる。図８においては、黒丸印８００で、指標候補の画像座標に関わる特徴量を示している。即ち、２つの黒丸印８００の組み合わせにより各指標候補のエッジが特定されるもので、図８では、この計測対象物体である箱５０４に対応するエッジ候補を点線で示している。

ここで、指標の３次元配置情報の定義について、図９を参照して説明する。図９において、計測対象物体である箱５０４は８つの頂点Ｃ１からＣ８で構成され、当該頂点Ｃ１からＣ８の所定の組合せにより特定される計測対象物体のエッジが指標となる。図９では、頂点Ｃ１を基準としたＸＹＺ座標系を設定している。即ち、Ｃ１の座標（ｘ１、ｙ１、ｚ１）＝（０，０，０）となる。これに対して、他の頂点の座標は、それぞれＣｎ（ｘｎ、ｙｎ、ｚｎ）（ｎ＝２、３・・・８）で求められる。また、各エッジは、２つの頂点の組合せとして定義され、例えばＸ軸に沿ったエッジであれば｛Ｃ１、Ｃ２｝の組合せにより定義される。他のエッジについても同様である。

次に、図４の位置姿勢計測部４０５は、計測対象物体に対する撮像部４２１の相対的な位置及び姿勢を計測して、位置姿勢情報としてデータ記憶部４０３に出力する。本実施形態では、箱５０４に対する撮像部４２１の相対的な位置及び姿勢を計測して、データ記憶部４０３に出力する。

より具体的に、位置姿勢計測部４０５による位置及び姿勢の計測には、例えばＨＭＤ４２０に取り付けられた磁気式の位置姿勢センサ（不図示）を用いることができる。

また、指標候補検出部４０４で検出された指標候補の画像座標に関わる特徴量と、予めデータ記憶部４０３に保持された指標の３次元配置情報とに基づいて、計測対象物体（例えば箱５０４）に対する撮像部４２１の位置及び姿勢を計測してもよい。本実施形態では、指標候補の画像座標に関わる特徴量として、図８に示すような各エッジ両端８００の画像座標を用いる場合を説明する。指標の３次元配置情報として、本実施形態では、図９に示すような計測対象物体座標系における各エッジ両端（Ｃ１からＣ８の組合せ）の３次元座標を用いる。なお、指標の３次元座標と画像座標の組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において知られているので、説明を省略する。

詳しくは、例えば、R．M．Haralick，C．Lee，K．Ottenberg，and M．Nolle:Review and analysis of solutions of the three point perspective pose estimation problem，International Journal of Computer Vision，vol．13，No.3，pp．331-356，1994．や、D．G．Lowe:Fitting parameterized three-dimensional models to images，IEEE Transactions on PAMI，vol．13，No.5，pp．441-450，1991．を参照されたい。

次に、ＣＧ画像生成部４０６は、データ記憶部４０３より、計測対象物体（例えば箱５０４）に対する撮像部４２１の相対的な位置及び姿勢、ＣＧモデルの幾何情報および色やテクスチャなどの属性情報、および照明情報を取得する。そして、それらの情報を用いて３次元ＣＧ画像（仮想空間画像）を生成する。３次元ＣＧ画像の生成は既知の技術であるので、ここでは詳細な説明を省略する。なお、ＣＧ画像生成部４０６では、フルＣＧ画像だけでなく、実写画像を利用した仮想空間画像を生成してもよい。

非検出部位算出部４０７はまず、計測対象物体（例えば箱５０４）に対する撮像部４２１の相対的な位置及び姿勢の情報（位置姿勢情報）を用いて、データ記憶部４０３に保持された指標の３次元配置情報を撮像画像６００に投影する。本実施形態では、指標の３次元配置情報として、計測対象物体座標系における各エッジの両端の３次元座標（Ｃ１からＣ８の組合せ）を用いる。

次に、それらの画像座標で特定されるエッジと、指標候補検出部４０４で検出された指標候補の画像座標に関わる特徴量により特定されるエッジとを比較して、非検出部位、即ち被写体により隠蔽された計測対象物体の隠蔽部位を抽出する。本実施形態では、指標候補の画像座標に関わる特徴量として、各エッジの両端の画像座標を用いる。そして、算出した非検出部位の情報をデータ記憶部４０３へと出力する。

図１０は、非検出部位の抽出の一例を説明するための図である。図１０において、実線１００１で示す部分は、指標の３次元配置情報を投影して得られる計測対象物体のエッジと、指標候補検出部４０４で検出された特徴量で特定される撮像画像から抽出された計測対象物体のエッジとの重複部分である。一方、点線１００２で示す部分は、当該投影結果に基づく計測対象物体のエッジと、指標候補検出部４０４で検出された特徴量で特定される計測対象物体のエッジとが重複しない部分、即ち、被写体により隠蔽された非検出部位に相当する。なお、非検出部位１００２の情報は、該非検出部位１００２の両端点の画像座標により求めることができる。

なお、非検出部位を算出する際のノイズの影響を避けるため、ある閾値以上に連続して検出されなかった部位のみを非検出部位としてもよい。また逆に、想定外の被写体による隠蔽の影響を避けるために、該閾値以上に連続して検出されなかった場合には、非検出部位としなくてもよい。

なお、図１０に示す例では、非検出部位を計測対象物体のエッジ上に設定しているが、これに限らず検出されなかった部位の周辺領域を含めてもよい。例えば、エッジ上のみならずエッジ上から数画素の幅を持たせた領域を非検出部位としてもよい。また、検出されなかった指標の部位が複数存在する場合には、それら全てを包含する凸包領域を非検出部位としてもよい。

次に、図４の画像属性抽出部４０８は、データ記憶部４０３より非検出部位の画像座標を取得し、撮像画像６００の該非検出部位における画像属性を抽出し、データ記憶部４０３に格納する。この画像属性としては、たとえば非検出部位（図１０の点線１００２）の色情報（本実施形態では手５０３の色）を撮像画像６００から抽出しデータ記憶部４０３に出力する。なお、色情報としては、色相や明度や彩度などを用いてもよい。

ここで、複数の非検出部位が存在する場合には、非検出部位毎に画像属性を抽出してもよいし、各画像属性の平均値を全体の画像属性としてもよい。前者の場合は、色が異なる複数の物体（たとえば、人間の手と衣服（袖））により計測対象物体が隠蔽されている場合に有効である。後者の場合は、ほぼ同一色の物体、たとえば人間の手に限らず、単色の上着やスパナやレンチなどのような単色の物体により計測対象物体が隠蔽されている場合に有効である。

なお、色情報は、多次元色空間における座標値として記述することができる。一般によく知られている表色系の種類には、ＲＧＢ、ＹＩＱ、ＹＣｂＣｒ、ＹＵＶ、ＨＳＶ、Ｌｕ＊ｖ＊、Ｌａ＊ｂ＊など様々なものがある。より詳細に関しては、日本規格協会 ＪＩＳ色彩ハンドブックに記載されているが、公知の技術事項であるのでここでの説明は省略する。表色系については、対象とする被写体の色彩特性に合わせて適当なものを任意に用いてよい。

本実施形態では、照明条件の相違による被写体の色彩特性の変化を相殺するために、輝度情報と色相情報とに分離する形式の表色系を用い、色相情報だけを用いる。このような表色系の代表的なものとしては、ＹＩＱやＹＣｂＣｒがある。本実施形態では、ＹＣｂＣｒ表色系を用いるものとする。

また、被写体領域抽出部４０９は、データ記憶部４０３から取得した撮像画像６００と画像属性とを用いて、画像属性が共通する画素領域を被写体領域として抽出し、被写体領域を表す画像（被写体領域画像）をデータ記憶部４０３に出力する。より具体的に、例えば撮像画像６００の各画素の色情報を、非検出部位１００２の色情報と比較し、一致する（誤差が所定の閾値範囲内の）場合には当該画素が被写体の領域であると判定することができる。そして、被写体領域に含まれるならば「１」、それ以外では「０」とした２値画像を生成する。

図１１は、このようにして撮像画像６００を解析して生成した画像の一例を示す図である。図１１に示すように、被写体領域画像１１００は、モノクロ２値画像として生成される。このうち、白色領域１１０１は、被写体領域を示し、黒色領域１１０２は被写体以外が撮像されている領域を示している。このような被写体領域画像１１００を用いることで、撮像画像６００から被写体領域を抽出することができる。なお、図１１の被写体領域画像１１００でも、図６の撮像画像６００と同様に画像の左上端を原点としてＸＹ座標系が設定される。これにより、撮像画像６００における任意の画素に対応する被写体領域画像１１００の画素を容易に特定することができる。

なお、被写体領域画像１１００を生成する際に、データ記憶部４０３より非検出部位１００２の情報を併せて取得し、非検出部位１００２と連結した画素領域のみを被写体として抽出してもよい。これにより、例えば撮像画像６００に映っている被写体と同色の物体（窓５０６の枠等）が、被写体領域１１０１に含まれることを防止することができる。

次に、画像合成部４１０では、データ記憶部４０３から供給される撮像画像６００、被写体領域１１０１を表す被写体領域画像１１００、及び、ＣＧ画像生成部４０６から供給される仮想空間画像としての３次元ＣＧ画像を用いて、合成画像を生成する。

次に、図１２を参照して、画像領域抽出装置４００のハードウェア構成の一例を、図４の４０２乃至４１０の各構成ブロックをそれぞれソフトウェアとして実行可能な情報処理装置として説明する。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像入力部４０２乃至画像合成部４１０の夫々のソフトウェアの実行を制御して、各部の機能を実現する。

ＲＡＭ１２０２は、外部記憶装置１２０７や記憶媒体ドライブ１２０８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１２０１が各種の処理を行うために必要とするワークエリアを備える。データ記憶部４０３の機能は、ＲＡＭ１２０２によって実現される。

ＲＯＭ１２０３は、画像領域抽出装置として機能するための処理プログラムや設定データなどが格納されている。キーボード１２０４、マウス１２０５は、操作者が夫々を用いて、各種の指示をＣＰＵ１２０１に入力するためのユーザインタフェースである。

表示部１２０６は、ＣＲＴや液晶画面などにより構成されており、例えば、指標の同定のために表示すべきメッセージ等を表示することができる。また、提示部４２２の機能の一部は、表示部１２０６によって実現されてもよい。

外部記憶装置１２０７は、ハードディスクなどの大容量情報記憶装置として機能する装置であって、ＯＳ（オペレーティングシステム）やソフトウェアのプログラム等が保存される。なお、本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１２０２にロードされる。

記憶媒体ドライブ１２０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１２０１からの指示に従って読み出して、ＲＡＭ１２０２や外部記憶装置１２０７に出力する。

Ｉ／Ｆ（インタフェース）１２０９は、撮像部４２１を接続するためのアナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポート、また、データを外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１２０９を介してＲＡＭ１２０２に取り込まれる。画像入力部４０２の機能の一部は、Ｉ／Ｆ１２０９によって実現される。バス１２１０は、上述の各部を繋ぐ。

次に、図１３を参照して、非検出部位算出部４０７による非検出部位１００２の抽出処理を説明する。当該処理は、ＣＰＵ１２０１が非検出部位算出部４０７のソフトウェアのプログラムを実行することで実現される。同フローチャートに従った処理は、ステップＳ１３０１の処理を行った後、夫々のエッジについてステップＳ１３０２からステップＳ１３０４の処理を行うことによって成されるものである。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。

まず、ステップＳ１３０１において、非検出部位算出部４０７は、データ記憶部４０３より、位置姿勢計測部４０５で測定された箱５０４に対する撮像部４２１の相対的な位置及び姿勢の情報（位置姿勢情報）を取得する。また、撮像部４２１のカメラパラメータと、指標候補検出部４０４で検出された各エッジ両端の画像座標とを、データ記憶部４０３より取得する。

ステップＳ１３０２において、非検出部位算出部４０７は、データ記憶部４０３より、指標の３次元配置情報として、計測対象物体座標系におけるエッジ両端の各３次元座標（ｘｎ、ｙｎ、ｚｎ）を取得する。

ステップＳ１３０３において、非検出部位算出部４０７は、ステップＳ１３０２で取得したエッジ両端の３次元座標を撮像画像６００に投影する。この投影の計算は、ステップＳ１３０１で取得した撮像部４２１の位置姿勢情報及びカメラパラメータに基づいて行われる。

ステップＳ１３０４において、非検出部位算出部４０７は、ステップＳ１３０１で取得したエッジ両端の画像座標により特定されるエッジと、ステップＳ１３０２で投影された３次元座標により特定されるエッジとを比較し、非検出部位１００２を算出する。例えば、投影エッジの両端を結ぶ線分と、各検出エッジの両端を結ぶ線分との差分を取って、投影エッジの両端を結ぶ線分のうち差し引かれずに残った部分を非検出部位１００２として算出する。なお、非検出部位１００２の情報は、部位の開始位置と終了位置との、２点の画像座標により表すことができる。

ステップＳ１３０５において、非検出部位算出部４０７は、全てのエッジについてステップＳ１３０２からＳ１３０４の処理を行ったのか否かを判断する。もし、全てのエッジについて処理を行っている場合は（ステップＳ１３０５において「ＹＥＳ」）、本処理を終了する。一方、全てのエッジについて処理を行っていない場合は（ステップＳ１３０５において「ＮＯ」）、ステップＳ１３０２に戻って、処理対象となっていないエッジについて以上の処理を行う。

次に、図１４を参照して、画像属性として色情報を用いる場合の、被写体領域１１０１を抽出する処理を説明する。図１４のフローチャートに従った処理は、ＣＰＵ１２０１が被写体領域抽出部４０９のソフトウェアのプログラムを実行することで実現される。同フローチャートに従った処理は、ステップＳ１４０１の処理を行った後、夫々の画素についてステップＳ１４０２からステップＳ１４０４の処理を行うことによって成されるものである。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１２０２に既にロードされているものとする。

ステップＳ１４０１において、被写体領域抽出部４０９は、データ記憶部４０３より撮像画像６００と、非検出部位１００２の情報とを取得する。

ステップＳ１４０２において、被写体領域抽出部４０９は、撮像画像６００における画像座標（ｉ、ｊ）のＲＧＢ値をＹＣｂＣｒ形式に変換し、ＣｂＣｒ平面での座標値（ｃｂ、ｃｒ）に変換する。

ステップＳ１４０３において、被写体領域抽出部４０９は、非検出部位１００２の画像属性を、ステップＳ１４０２でのＹＣｂＣｒ形式に変換後の色情報として取得する。なお、このとき、複数の非検出部位１００２が存在する場合には、各非検出部位に対応する色情報の平均により画像属性を求めてもよい。画像属性の他の求め方については、既に説明したとおりであるので、ここでは省略する。

続くステップＳ１４０４において、被写体領域抽出部４０９は、ＣｂＣｒ平面での座標値（ｃｂ、ｃｒ）を入力として、非検出部位１００２の画像属性としての色情報の値と一致するか否かを判定し、被写体領域画像１１００を生成する。ここでの一致判定は、入力値と画像属性の色情報との差分が、予め定められた閾値を超えない範囲に属するか否かにより、行うことができる。これにより、該入力色が被写体の色分布の領域に属するか否かを判定することができる。判定結果は、例えば、被写体の色分布領域に属すならば「１」、属さないならば「０」と二値で表してもよい。または、０から１までの連続値による確立分布で表現してもよい。

ステップＳ１４０５において、被写体領域抽出部４０９は、データ記憶部４０３に被写体領域画像１１００を出力する。

本実施形態では、画像入力部４０２から供給される画像データがＲＧＢ形式で記述されているとしているが、画像データはＹＩＱやＹＵＶで記述されていてもよい。この場合には、ステップＳ１４０２を省略し、ステップＳ１４０３の（ｃｂ、ｃｒ）にＩＱあるいはＵＶ空間の座標値を入力することにより、同様の効果が得られる。

次に、図１５を参照して、画像属性として色情報を用いる場合の、画像合成処理を説明する。図１５のフローチャートに従った処理は、ＣＰＵ１２０１が画像合成部４１０のソフトウェアのプログラムを実行することで実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１２０２に既にロードされているものとする。

ステップＳ１５０１において、画像合成部４１０は、データ記憶部４０３より撮像画像６００及び被写体領域画像１１００を取得する。

ステップＳ１５０２において、画像合成部４１０は、データ記憶部４０３から供給された撮像画像６００を画像表示のためのＲＡＭ１２０２内の記憶領域であるフレームバッファに転送する。

ステップＳ１５０３において、画像合成部４１０は、データ記憶部４０３から供給される被写体領域画像１１００を、マスク処理のためのＲＡＭ１２０２内の記憶領域であるステンシルバッファに転送する。

ステップＳ１５０４において、画像合成部４１０は、まず仮想空間画像としてＣＧ画像を生成する。生成されるＣＧ画像の一例は、図１６に示す通りである。図１６において、ＣＧ画像１６００は、ＣＧ領域１６０１と、非ＣＧ領域１６０２とが含まれる。ＣＧ領域１６０１は、撮像画像６００における計測対象物体（箱５０４）の表示位置に対応して生成される。なお、図１６のＣＧ画像１６００でも、撮像画像６００や被写体領域画像１１００と同様に画像の左上端を原点としてＸＹ座標系が設定される。これにより、撮像画像６００や被写体領域画像１１００における任意の画素に対応するＣＧ画像１６００の画素を容易に特定することができる。

生成されたＣＧ画像１６００のうち、ＣＧ領域１６０１を構成する各座標（ｉ、ｊ）の画素についてステンシルバッファの値Ｓｔｅｎｃｉｌ（Ｉ、ｊ）を参照して、以下のようにフレームバッファに描画する。

Ｓｔｅｎｃｉｌ（Ｉ、ｊ）＝１、すなわち撮像画像６００中の画素ｒｅａｌ（Ｉ、ｊ）が被写体領域１１０１に含まれる場合には、対応するフレームバッファの画素ｆｒａｍｅ（Ｉ、ｊ）を更新しない。

一方、Ｓｔｅｎｃｉｌ（Ｉ、ｊ）＝０、すなわち撮像画像６００中の画素ｒｅａｌ（Ｉ、ｊ）が被写体領域１１０１に含まれていない場合で、かつ、ＣＧ画像の画素値ｃｇｉ（Ｉ、ｊ）が存在する場合は、Ｆｒａｍｅ（Ｉ、ｊ）の値を置換する。これにより、撮像画像６００の画素値がＣＧ画像の画素値ｃｇｉ（Ｉ、ｊ）により置き換えられる。

その結果、被写体領域１１０１では、常に撮像画像６００の画素値がフレームバッファに描き込まれ、被写体領域でない領域１１０２では、ＣＧが重畳されるべき部分に関してはＣＧ画像の画素値がフレームバッファに描き込まれる。また、被写体領域でなく、かつ、ＣＧが重畳されない領域は撮像画像６００がフレームバッファに描き込まれる。

この画像合成処理の結果として生成される合成画像の一例は、図１７に示す通りである。図１７の合成画像１７００では、箱５０４にはＣＧによるパッケージデザインが重畳される一方、ユーザ５０１の手５０３がその前景として表示されている。

このように、画像合成部４１０では、ステンシルバッファに保持された被写体領域画像１１０１をマスクデータとして、撮像画像６００が書き込まれたフレームメモリへのＣＧ画像１６００の描画を制御する。本実施形態によれば、高速に合成処理を行うことができる。

以上のように、本実施形態によれば、撮像画像から抽出した画像属性に基づいて、被写体領域をその都度決定しているので、予め被写体の画像属性を登録しておく必要がなく、画像属性が異なる被写体であっても確実に撮像画像から抽出できる。

これにより、例えばＨＭＤを装着したユーザは、現実の壁や窓を背景として、手で把持した箱に重畳されたＣＧを観察することができ、さらに、手をＣＧの手前に置いた状態を見ることが可能になる。

なお、本実施形態では、指標候補の画像座標に関わる特徴量として、エッジの両端点の画像座標を用いる場合を説明したが、エッジそのものの座標を用いてもよい。その場合、画像中で検出されたエッジ候補と予め保持されたエッジの３次元配置情報とに基づいて撮像装置の位置及び姿勢を求める必要があるが、その方法についてはコンピュータビジョン等の分野において知られているので、説明を省略する。

詳しくは、例えば、Ｔ．Ｄｒｕｍｍｏｎｄ ａｎｄ Ｒ．Ｃｉｐｏｌｌａ，"Ｒｅａｌ−ｔｉｍｅ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｏｆ ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ，"ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌ．２４，ｎｏ．７，ｐｐ．９３２−９４６，２００２．を参照されたい。併せて、Ａ．Ｉ．Ｃｏｍｐｏｒｔ，Ｅ． Ｍａｒｃｈａｎｄ，ａｎｄ Ｆ．Ｃｈａｕｍｅｔｔｅ，"Ａ ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｅｒ ｆｏｒ ｍａｒｋｅｒｌｅｓｓ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ，"Ｐｒｏｃ． Ｔｈｅ Ｓｅｃｏｎｄ Ｉｎｔ'ｌ Ｓｙｍｐ．ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ０３），ｐｐ．３６−４５，２００３．も参照されたい。

［第２の実施形態］
第１の実施形態では、画像属性抽出部４０８が抽出する画像属性として、色情報（手の色）を用いていた。しかし、画像属性抽出部４０８が抽出する画像属性は色情報に限られるものではなく、模様（繰り返しパターン）を用いてもよい。例えば、図１８に示すように、被写体１８０１による計測対象物体１８００の隠蔽部位であるところの非検出部位１８０２及び１８０３から、白と黒の縞模様を画像属性として抽出することができる。このような模様を画像属性として抽出する場合、非検出のエッジ（図１８の点線１８０４、１８０５）から数画素の幅を持たせた領域を非検出部位（１８０２、１８０３）とするのが望ましい。これにより、領域内の模様の有無を判定することが可能となる。

次に、図１９を参照して、画像属性として縞模様を抽出する処理を説明する。図１９のフローチャートに従った処理は、ＣＰＵ１２０１が画像属性抽出部４０８のソフトウェアのプログラムを実行することで実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、ＲＡＭ１００２に既にロードされているものとする。

まず、ステップＳ１９０１において、画像属性抽出部４０８は、データ記憶部４０３より非検出部位を取得する。ここでは、たとえば、図１８の非検出部位１８０２及び１８０３のように、検出されなかったエッジから数画素の幅を持たせた領域が非検出部位として取得される。

続くステップＳ１９０２において、画像属性抽出部４０８は、取得した非検出部位における画像属性が縞模様であるかどうかを判定する。この判定は、非検出部位において、複数の色が一定方向に一定間隔で交互に並んでいるか否かを判別することにより実行される。もし複数の色が交互に並んでいれば縞模様であると判断し（ステップＳ１９０２において「ＹＥＳ」）、ステップＳ１９０３に移行する。

ステップＳ１９０３では、縞模様の間隔、縞模様を構成する複数の色情報、及び縞模様を構成する色情報の順序を画像属性として抽出する。一方、複数の色が交互に並んでいない場合は縞模様でないと判断し（ステップＳ１９０２において「ＮＯ」）、ステップＳ１９０４に移行する。ステップＳ１９０４では、画像属性として、たとえば非検出部位における色情報を抽出する。

続くステップＳ１９０５において、画像属性抽出部４０８は、抽出した画像属性をデータ記憶部４０３へと出力する。

このようにして取得された画像属性を利用して被写体領域１１０１を抽出する場合も、第１の実施形態における図１４のフローチャートに従った処理を実行すればよい。その際、ステップＳ１４０４では、例えば画像属性に基づくマッチング処理を行って、模様を有する領域を特定することができる。

なお、画像属性抽出部４０８が抽出する画像属性としては、縞模様に限らず、市松模様、格子模様、水玉模様、千鳥格子模様、唐草模様、麻の葉模様なども、条件によっては用いることができる。つまり、図２０に示すように、非検出部位を表す領域が模様の単位要素に対して十分大きい場合には用いることができる。図２０では、被写体２０００に格子模様が施されており、点線で囲まれた領域２００１が非検出部位として抽出される場合を示している。この場合、非検出部位２００１に基づいて画像属性２００２を取得することができる。

なお、本実施形態において、画像属性抽出部４０８が抽出する画像属性は、色情報や模様に限らず、画像中から抽出可能な属性であれば何でもよい。

また、画像属性抽出部４０８が抽出する画像属性は複数であってもよい。すなわち、複数の色情報や複数の模様やそれらの組み合わせを画像属性として抽出してもよい。例えば図２１に示す例では、非検出部位２１０１と２１０２が抽出され、非検出部位２１０２の画像属性は、手の肌色部分と、上着の袖の縞模様部分とで構成される。

以上のように、本実施形態によれば、撮像画像から抽出した模様の情報に基づいてその都度手の色を決定しているので、被写体の情報を予め登録しておく必要がなく、異なる被写体に対応することができる。

［第３の実施形態］
上記の実施形態において、指標としてエッジを用いる場合を例に説明したが、エッジに限らず、点マーカや点特徴を指標として用いてもよい。この場合、指標候補検出部４０４で検出する、指標候補の画像座標に関わる特徴量としては、撮像画像中から検出された点マーカや点特徴の画像座標を用いればよい。そして、非検出部位算出部４０７では、欠落した点マーカや点特徴、又はその周辺領域も含めた領域を非検出部位とすればよい。

さらに、エッジや点マーカや点特徴に限らず、２次元的な広がりを持った領域を指標として用いてもよい。この場合、この場合、指標候補検出部４０４で検出する、指標候補の画像座標に関わる特徴量としては、例えば、撮像画像中から検出された領域の輪郭を一定間隔で分割した各点の画像座標を用いればよい。そして、非検出部位算出部４０７では、領域の欠落部位、又はその周辺領域も含めた領域を非検出部位とすればよい。

また、上記の実施形態では、計測対象物体と撮像部の両方が移動する場合を想定していたが、一方又は両方が固定されている場合であっても、本発明を好適に適用可能である。

又、データ記憶部４０３に予め画像属性（例えば色情報など）を保持しておいてもよい。そして、非検出部位算出部４０７で算出された非検出部位の画像属性のうち、データ記憶部４０３に保持された画像属性と略同一のもののみを被写体領域抽出部４０９における被写体領域抽出に利用してもよい。これにより、ノイズの影響や意図しない対象物による隠蔽によって被写体以外の領域が抽出されてしまうことを防ぐことができる。

抽出された画像属性（例えば色情報など）をデータ記憶部４０３に保持しておいて再利用してもよい。これにより、指標（例えばエッジなど）を被写体（例えば手など）が隠蔽していない場合にも、ＣＧが重畳された計測対象物体の手前に被写体を合成することが可能となる。

［その他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムに供給し、そのシステムがプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

従来技術におけるクロマキー合成技術を説明するための図である。 従来技術における合成画像を説明する図である。 従来技術における被写体領域の抽出を説明する図であ 発明の実施形態に対応する複合現実感提示システムの構成の一例を示す図である。 発明の実施形態に対応する複合現実感提示システムの利用形態の一例を示す図である。 発明の第１の実施形態に対応する、撮像画像の一例を示す図である。 発明の第１の実施形態に対応する、エッジ抽出画像の一例を示す図である。 発明の第１の実施形態に対応する、撮像画像から検出された指標候補の一例を示す図である。 発明の第１の実施形態に対応する、指標の３次元配置情報の一例を説明するための図である。 発明の第１の実施形態に対応する、非検出部位の抽出の一例を説明するための図である。 発明の第１の実施形態に対応する、被写体領域抽出部４０９で生成される被写体領域画像の一例を示す図である。 発明の第１の実施形態に対応する、画像領域抽出装置４００のハードウェア構成の一例を示す図である。 発明の第１の実施形態に対応する、非検出部位算出部４０７による非検出部位１００２の抽出処理の一例を示すフローチャートである。 発明の第１の実施形態に対応する、画像属性として色情報を用いる場合の、被写体領域１１０１を抽出する処理の一例を示すフローチャートである。 発明の第１の実施形態に対応する、画像属性として色情報を用いる場合の、画像合成処理の一例を示すフローチャートである。 発明の第１の実施形態に対応する、ＣＧ画像の一例を示す図である。 発明の第１の実施形態に対応する、画像合成処理の結果の一例を示す図である。 発明の第２の実施形態に対応する、画像属性の抽出例を説明するための図である。 発明の第２の実施形態に対応する、画像属性の抽出処理の一例を示すフローチャートである。 発明の第２の実施形態に対応する、画像属性の他の抽出例を説明するための図である。 発明の第２の実施形態に対応する、画像属性の更に他の抽出例を説明するための図である。

Claims (16)

1. 撮像装置で計測対象物体と被写体とを含む現実空間を撮像して得られた撮像画像を入力する入力手段と、
   前記計測対象物体上の指標の配置情報を保持する保持手段と、
   前記撮像画像から、前記指標の画像座標に関わる特徴量を抽出する抽出手段と、
   前記配置情報と前記特徴量とに基づいて、前記撮像画像において前記被写体により隠蔽された前記計測対象物体の隠蔽部位を特定する特定手段と、
   前記撮像画像における前記隠蔽部位に対応する位置の画像が有する属性に基づいて、前記撮像画像において前記被写体が表示されている被写体領域を表す被写体領域画像を生成する生成手段と、
   を備えることを特徴とする画像領域抽出装置。
2. 前記生成手段は、前記撮像画像において前記属性と共通の属性を有する画素領域を前記被写体領域とみなすことにより、前記被写体領域画像を生成することを特徴とする請求項１に記載の画像領域抽出装置。
3. 前記属性は、少なくとも色情報及び模様のいずれかであることを特徴とする請求項２に記載の画像領域抽出装置。
4. 前記特定手段は、前記撮像装置の位置姿勢情報を算出する算出手段を備え、
   前記特徴量、前記配置情報及び前記位置姿勢情報に基づいて、前記撮像画像に前記配置情報を投影し、前記隠蔽部位を特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像領域抽出装置。
5. 前記指標は、前記計測対象物体を構成するエッジであって、
   前記隠蔽部位は、前記撮像画像から抽出された前記計測対象物体のエッジと、前記配置情報を前記撮像画像に投影して得られる前記計測対象物体のエッジとの差分に基づき特定されることを特徴とする請求項４に記載の画像領域抽出装置。
6. 前記算出手段は、前記配置情報と前記特徴量とに基づいて、前記位置姿勢情報を算出することを特徴とする請求項４又は５に記載の画像領域抽出装置。
7. 前記被写体領域画像と前記撮像画像とに基づき、前記撮像画像において前記計測対象物体が表示されている領域に仮想空間画像を合成して合成画像を生成する合成手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像領域抽出装置。
8. 撮像装置と、
   請求項７に記載の画像領域抽出装置と、
   前記合成画像を表示する表示装置と
   を備えることを特徴とする複合現実感提示システム。
9. 撮像装置で計測対象物体と被写体とを含む現実空間を撮像して得られた撮像画像を入力する入力手段と、前記計測対象物体上の指標の配置情報を保持する保持手段とを備える画像領域抽出装置の制御方法であって、
   抽出手段が、前記撮像画像から、前記指標の画像座標に関わる特徴量を抽出する抽出工程と、
   特定手段が、前記配置情報と前記特徴量とに基づいて、前記撮像画像において前記被写体により隠蔽された前記計測対象物体の隠蔽部位を特定する特定工程と、
   生成手段が、前記撮像画像における前記隠蔽部位に対応する位置の画像が有する属性に基づいて、前記撮像画像において前記被写体が表示されている被写体領域を表す被写体領域画像を生成する生成工程と、
   を備えることを特徴とする画像領域抽出装置の制御方法。
10. 前記生成工程では、前記撮像画像において前記属性と共通の属性を有する画素領域を前記被写体領域とみなすことにより、前記被写体領域画像を生成することを特徴とする請求項９に記載の画像領域抽出装置の制御方法。
11. 前記属性は、少なくとも色情報及び模様のいずれかであることを特徴とする請求項１０に記載の画像領域抽出装置の制御方法。
12. 前記特定工程は、算出手段が前記撮像装置の位置姿勢情報を算出する算出工程を備え、
    前記特徴量、前記配置情報及び前記位置姿勢情報に基づいて、前記撮像画像に前記配置情報を投影し、前記隠蔽部位を特定することを特徴とする請求項９乃至１１のいずれか１項に記載の画像領域抽出装置の制御方法。
13. 前記指標は、前記計測対象物体を構成するエッジであって、
    前記隠蔽部位は、前記撮像画像から抽出された前記計測対象物体のエッジと、投影された前記配置情報から得られる前記計測対象物体のエッジとの差分に基づき特定されることを特徴とする請求項１２に記載の画像領域抽出装置の制御方法。
14. 前記算出工程では、前記配置情報と前記特徴量とに基づいて、前記位置姿勢情報を算出することを特徴とする請求項１２又は１３に記載の画像領域抽出装置の制御方法。
15. 合成手段が、前記被写体領域画像と前記撮像画像とに基づき、前記撮像画像において前記計測対象物体が表示されている領域に仮想空間画像を合成して合成画像を生成する合成工程をさらに備えることを特徴とする請求項９乃至１４のいずれか１項に記載の画像領域抽出装置の制御方法。
16. コンピュータを請求項１乃至７のいずれか１項に記載の画像領域抽出装置として機能させるためのコンピュータプログラム。

Images