JP2005107971A - 複合現実空間画像生成方法及び複合現実感システム - Google Patents

Abstract

【課題】 違和感のない表示と使い勝手の良い表示とを両立した複合現実空間画像を生成すること。
【解決手段】 現実空間を撮像して得られる現実空間画像と、仮想空間画像とを重畳した複合現実空間画像を生成する複合現実空間画像生成装置において、仮想空間画像のうち、現実空間中の物体による隠れを考慮すべき仮想空間画像を現実空間画像に重畳する画像合成部１０９と、仮想空間画像のうち、隠れを考慮せずに表示すべきものをさらに重畳する注釈作成部１０８とを有する。
【選択図】 図１

Description

本発明は、現実空間画像と仮想空間画像を重畳し、複合現実空間画像を生成する複合現実感技術に関する。

近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感に関する研究が盛んに行われている。例えば特許文献１に記載されるように、複合現実感の提示を行う複合現実感システムは、ビデオカメラなどの撮像装置によって撮影された現実空間の画像に、仮想空間（たとえば３次元モデルをコンピュータ・グラフィックス（ＣＧ）により描画した仮想物体や文字情報など）の画像を重畳した複合現実空間画像を観察者に表示するシステムとして実現される。

従来、このような複合現実感システムとして、現実空間に位置する（存在する）現実物体である模型に、仮想空間の画像として、ＣＧモデルを重畳するものが存在する。
この従来の複合現実感システムでは、模型上にＣＧモデルと模型の部品を説明する注釈を重畳表示している。

さらに、奥行き（隠れ）を考慮して、観察者の手がＣＧモデルの手前にある場合には、観察者の手がＣＧモデルで隠されないように（すなわち、観察者の手の領域にはＣＧモデルを表示しないように）して違和感のない表示を実現する技術を、出願人は特願２００２−９５５３５によって提案した。

特開平１１−８８９１３号公報

しかしながら、従来の複合現実感システムにおいては、観察者の手がＣＧモデルに隠されないように表示を行うと、ＣＧモデルだけでなく注釈についても同様の表示制御が行われていた。そのため、観察者の手が注釈表示と重なると、重なった部分の注釈表示が観察できなくなってしまっていた。

注釈は観察者が複合現実感を体験する際に必要な情報を含むことがあり、それが隠されてしまうと、観察者にとって不便である。特に、観察者が操作すべきボタンの種類や操作方法の説明を注釈として表示している場合にはこの問題が顕著となる。

従って、例えばＣＧモデルは手で隠され、注釈は手で隠されないといった、違和感のない表示と使い勝手の良い表示とを両立することが望まれるが、従来そのような技術は存在しなかった。

本発明は、このような従来技術の問題点に鑑みなされたものであり、その主な目的は、仮想空間画像のうち、隠れを考慮して表示すべきものと、そうでないものを選択的に処理可能な複合現実空間画像生成方法及び装置を提供することにある。

すなわち、本発明の要旨は、現実空間を撮像して得られる現実空間画像と、仮想空間画像とを重畳した複合現実空間画像を生成する複合現実空間画像生成方法であって、仮想空間画像のうち、現実空間中の物体による隠れを考慮すべき第１の仮想空間画像を現実空間画像に重畳する第１の画像合成工程と、仮想空間画像のうち、隠れを考慮せずに表示すべき第２の仮想空間画像を第１の画像合成工程で生成した画像に重畳する第２の画像合成工程とを有することを特徴とする複合現実空間画像生成方法に存する。

また、本発明の別の要旨は、現実空間を撮像して得られる現実空間画像と、仮想空間画像とを重畳した複合現実空間画像を生成する複合現実空間画像生成装置であって、仮想空間画像のうち、現実空間中の物体による隠れを考慮すべき第１の仮想空間画像を現実空間画像に重畳する第１の画像合成手段と、仮想空間画像のうち、隠れを考慮せずに表示すべき第２の仮想空間画像を第１の画像合成手段で生成した画像に重畳する第２の画像合成手段とを有することを特徴とする複合現実空間画像生成装置に存する。

また、本発明の別の要旨は、本発明の複合現実空間画像生成装置を用いた複合現実感システムに存する。
また、本発明の別の要旨は、コンピュータに、本発明の複合現実空間画像生成方法の各工程を実現させるためのプログラム、又はそのプログラムを格納したコンピュータ読み取り可能な記録媒体に存する。

このような構成により、注釈表示方法を用いれば、仮想空間画像のうち、隠れを考慮して表示すべきものと、そうでないものを選択的に処理可能となり、違和感のない表示と使い勝手の良い表示とを両立することができる。

以下、添付図面を参照して、本発明をその好適な実施形態に基づき詳細に説明する。
本実施形態においては、本発明に係る複合現実空間画像生成装置を利用した複合現実感システムとして、ＭＲ技術を利用したデジタルモックアップシステムを説明する。

本実施形態に係るデジタルモックアップシステムは、ある工業製品の簡易なモックアップ（模型）の上にＭＲ技術を用いてその製品の詳細な形状や外観を表す３次元コンピュータグラフィックス（３ＤＣＧ）を重畳して提示するシステムである。システムの体験者は製品の３ＤＣＧが重畳されたモックアップを観察しながら実際にモックアップを手に取って触ることができ、また擬似的に動作させることが出来る。

モックアップには位置姿勢センサが内蔵されており、その測定値から検出したモックアップの位置姿勢に対応した３ＤＣＧを生成、重畳表示する。そのため体験者は簡易なモックアップを取り扱いながら、モックアップに重畳された詳細な３ＤＣＧが表す製品を持っているかのような感覚を体験できる。また、本実施形態におけるデジタルモックアップシステムは、体験させる工業製品に関する注釈（部品名や機能、使い方等）を表示する機能を有している。

図１は本実施形態のデジタルモックアップシステムのシステム構成を表した図である。ＰＣ１０１はシステム全体を制御するコントロールユニットであり、ビデオキャプチャ装置Ａ１０２、ビデオキャプチャ装置Ｂ１０３、グラフィック装置１０４、位置姿勢計測部１０５、被写体領域抽出部１０６、３ＤＣＧモデル作成部１０７、注釈作成部１０８、画像合成部１０９および被写体色情報登録部１１０を備えている。

ビデオシースルー型ＨＭＤ（ヘッドマウンテッドディスプレイ）３２は、左目カメラ３３、右目カメラ３４及びＬＣＤ等の映像表示部３５及び観察者の視点位置姿勢を検出する位置姿勢センサ３６を備えている。左目カメラ３３は観察者の左目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置Ａ１０２でキャプチャされる。右目カメラ３４は観察者の右目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置Ｂ１０３でキャプチャされる。映像表示部３５は表示制御部１０４が出力する複合現実空間画像を観察者に提示する表示装置である。位置姿勢センサ３６は、観察者の視点位置姿勢を検出し、位置姿勢計測部１０５へ送信する。

モックアップ１１は本実施形態においては図２に示すようなカメラの実物大模型であり、観察者が自由に手にとることが出来る。このモックアップ１１は工業製品としてのカメラの実物大模型であるが、色は単色で、外形だけを概略模した物である。観察者に実物を操作する際と同じ感覚を与えるよう、重量も実物とほぼ同じにしてある。

又、モックアップ１１には位置姿勢センサ１２が内蔵されている。位置姿勢センサ１２はモックアップ１１内の所定の位置に固定又は内蔵され、モックアップ１１と位置姿勢センサ１２の位置関係は一定になっている。そのため位置姿勢センサ１２の位置姿勢情報からモックアップの位置姿勢を算出することが出来る。

位置姿勢センサ１２によって計測された位置姿勢情報はＰＣ１０１の位置姿勢計測部１０５に送信される。位置姿勢計測部１０５はＨＭＤに設けられた位置姿勢センサ３６と、モックアップに設けられた位置姿勢センサ１２とから位置姿勢情報を受信する。位置姿勢計測部１０５は受信した位置姿勢情報に座標変換等の処理を行い、世界座標系における観察者の視点位置姿勢と、モックアップ１１の位置姿勢を求め、それらを３ＤＣＧモデル作成部１０７に送信する。

３ＤＣＧモデル作成部１０７は受信した２つの位置姿勢情報から、観察者の左右の目それぞれの視点から観察されるべき３ＤＣＧモデル（例えば、図３に示すＣＧのカメラ２１）を作成する。作成した左右それぞれの視点から見た３ＤＣＧモデルを画像合成部１０９に送信する。

図３はモックアップ１１の上にＭＲ技術を用いてＣＧのカメラ２１を重畳した状態を模式的に示す図である。ＣＧのカメラ２１はカメラの３ＤＣＧモデルであり、実物大である。当然モックアップ１１と同形で同じ大きさであるので、モックアップ１１の位置姿勢に一致させてＣＧのカメラ２１を重畳すれば両者はぴたりと重なり合うことになる。

ビデオキャプチャ装置Ａ１０２とビデオキャプチャ装置Ｂ１０３でキャプチャされた、左目カメラ３３及び右目カメラ３４からの左右の映像は、それぞれ画像合成部１０９と被写体領域抽出部１０６に送信される。

図７を用いて、被写体領域抽出部１０６の動作について説明する。被写体領域抽出部１０６は、ビデオキャプチャ装置Ａ１０２とビデオキャプチャ装置Ｂ１０３でキャプチャされた実写画像（図７（ａ））の各画素の色情報を、被写体色情報登録部１１０に予め登録してある被写体の色情報と比較し、登録されている色情報と一致もしくは近い色を有する画素は被写体領域であると判断する。各画素についてこのような判断を行い、判断の結果は例えば被写体に含まれる画素は１、含まれない画素は０の値として生成した二値化画像（図７（ｂ））の形式で、左右の被写体領域画像を画像合成部１０９に送信される。

なお、本実施形態において、被写体は観察者の手であり、被写体色情報登録部１１０には予め採取した皮膚の色に関する情報が登録されている。
画像合成部１０９での画像合成処理を図８によって説明する。ステップ１１０１では、ビデオキャプチャ装置Ａ１０２及びビデオキャプチャ装置Ｂ１０３からの実写画像を、画像表示のための画像メモリである左目用及び右目用のフレームバッファ（図示せず）に転送する。ステップ１１０２では、被写体領域抽出部１０６で生成された被写体領域画像を、マスク処理のための画像メモリである左目用及び右目用ステンシルバッファ（図示せず）に転送する。

ステップ１１０３では、左目用画像、右目用画像の各々について、各座標（ｉ，ｊ）の画素についてステンシルバッファの値 stencil(i,j) を参照し、stencil(i,j) = 1、すなわち実写画像中の画素 real（i,j）が被写体領域に含まれる場合には、対応するフレームバッファの画素 frame(i,j) を更新せず、stencil(i,j) = 0、すなわち実写画像中の画素 real（i,j）が被写体領域に含まれていないとき、かつＣＧのカメラ２１を重畳すべき画素のみ、frame(i,j) の値を３ＤＣＧモデル作成部１０７が生成したＣＧのカメラ２１の画素値 CGI（i,j）によって置き換える。これによって、実写画像と、ＣＧ画像（被写体領域を除いた部分のみ）が合成された画像（複合現実空間画像）が作成される。作成された画像は注釈作成部１０８に送信される。

注釈作成部１０８は例えば図４に示すような注釈４１をＣＧ画像として作成し、３ＤＣＧ画像の所定位置（図４ではシャッターボタン及びレンズ）を指し示すように、受信した左目用及び右目用合成画像に上書きする。本実施形態において注釈４１は三次元仮想空間に位置するテキストであり、ＣＧのカメラ２１と一定の位置関係を持ち、ＣＧのカメラ２１の一部品のように連動して位置姿勢が変わる。注釈を最後に上書きすることで、注釈が被写体領域と重なっても観察者は注釈を視認することが可能になる。

なお、注釈４１を３ＤＣＧの正しい位置を示すように表示する方法としては、例えば注釈作成部１０８が位置姿勢計測部１０５からモックアップの位置姿勢情報を取得し、それに基づいて注釈表示位置を決定する方法や、例えば３ＤＣＧモデル生成部１０７から３ＤＣＧ中のシャッターボタンやレンズの画像座標を取得し、その画像座標を指し示すように注釈を生成する方法など、任意の方法を採用することができる。注釈が上書きされた複合現実空間画像を注釈作成部１０８は表示制御部１０４に送信する。

図５は図４のような注釈表示を行う際、従来方法を用いた場合の表示状態を示す図である。観察者の手を被写体領域として抽出し、被写体領域をマスクとして使用することで、ＣＧのカメラ２１で観察者の手が隠されないように表示した例を示す。観察者の手５１によってＣＧのカメラ２１が隠された様に表示され、ＣＧのカメラ２１が手の位置より奥にあることが表現されているが、同時にレンズに対する注釈４１も隠されてしまい読めなくなってしまう。

一方、本実施形態においては、注釈を最後に上書きするように構成したため、図５に示す位置に被写体領域（すなわち観察者の手）があったとしても、手の上に注釈が表示され、注釈を読むことが可能になる。すなわち、奥行きを考慮した違和感のない表示を行いながら、被写体領域の場所に依存せずに注釈を読むことが可能になる。

表示制御部１０４はビデオシースルー型ＨＭＤ３２の映像表示部３５に左目用の複合現実空間画像と右目用の複合現実空間画像を送信し、映像表示部３５はそれぞれの画像を受信して表示する。

又、本実施形態においては、図９のようにモックアップ１１の姿勢が変わった時や、観察者の姿勢が変わった時でも、注釈は常に観察者の視点からモックアップへの直線に垂直な面（表示面）上に、観察者の姿勢と同じ向きに表示される。これによってモックアップや観察者の姿勢にかかわらず注釈は観察者に読みやすいようになる。

又、モックアップ１１に設ける位置姿勢センサ１２により、モックアップ１１の向きを検出し、モックアップ１１の向きに応じた注釈表示を行ってもよい。例えば本実施形態においてはカメラの正面（被写体が対向する面）が観察者に向いている時には正面から見える範囲に対する注釈を、裏面が観察者に向いている時には裏面から見える範囲に対する注釈を表示することができる。

図１０は本実施形態におけるＰＣ１０１として利用可能なコンピュータ装置の構成例を示すブロック図である。
図において、ディスプレイ２０１はアプリケーションプログラムによって処理中のデータの情報、各種メッセージメニューなどを表示し、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ(Liquid Crystal Display)等から構成される。ディスプレイコントローラとしてのＣＲＴＣ２０２は、ディスプレイ２０１への画面表示制御を行う。キーボード２０３及びポインティングデバイス２０４は、文字などを入力したり、ＧＵＩ（Graphical User Interface）におけるアイコンやボタンなどを指し示すためなどに用いられる。ＣＰＵ２０５はコンピュータ装置全体の制御を司る。

ＲＯＭ２０６（Read Only Memory）はＣＰＵ２０５が実行するプログラムやパラメータ等を記憶している。ＲＡＭ（Random Access Memory）２０７は各種プログラムをＣＰＵ２０５が実行する時のワークエリア、エラー処理時の一時退避エリア等として用いられる。

ハードディスクドライプ（ＨＤＤ）２０８、リムーバブルメディアドライプ（ＲＭＤ）２０９は、外部記憶装置として機能する。リムーバブルメディアドライブは、着脱可能な記録媒体の読み書き又は読み出しを行う装置であり、フレキシブルディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ、メモリカードリーダはもとより、着脱式ＨＤＤなどであってもよい。

なお、アプリケーションプログラムやエラー処理プログラムをはじめ、本実施形態において説明するＰＣ１０１の各種機能を実現するプログラムを始め、ＯＳや、ブラウザ等のアプリケーションプログラム、データ、ライプラリなどは、その用途に応じてＲＯＭ２０６、ＨＤＤ２０８、ＲＭＤ２０９（の記録媒体）の１つ以上に記憶されている。

拡張スロット２１０は、例えばＰＣＩ(Peripheral Component Interconnect)バス規格に準拠した拡張カード装着用スロットであり、ビデオキャプチャボードや、サウンドボード、ＧＰＩＢボードなど、様々な拡張ボードを装着することが可能である。

ネットワークインタフェース２１１はコンピュータ装置をコンピュータネットワークに接続するためのインタフェースである。バス２１２はアドレスバス、データバスおよび制御バスからなり、上述した各ユニット間を接続する。また、ネットワークインタフェース２１１の他に、ＲＳ−２３２Ｃ、ＲＳ−４２２、ＵＳＢ(Universal Serial Bus)、ＩＥＥＥ１３９４等のシリアルインタフェースや、ＩＥＥＥ１２８４等のパラレルインタフェースを有し、モデムやプリンタ等の外部機器との接続を可能にしている。

このような汎用コンピュータ装置は、ＯＳや必要なドライバソフトウェア等を用いることによって、ネットワークインタフェース２１１を介して必要に応じて接続されるルータ（ダイアルアップルータを含む）や、シリアルインタフェースを介して接続されるモデムやＴＡ等を用いて、コンピュータネットワークや公衆電話網上の他の機器と通信可能である。

図１０に示す汎用コンピュータをＰＣ１０１として用いた場合、ビデオキャプチャ装置Ａ１０２、ビデオキャプチャ装置Ｂ１０３及び位置姿勢計測部１０５は例えば拡張スロットに装着されたビデオキャプチャボード及び位置姿勢センサ１２、３６とのインタフェースボードと、その制御プログラムとして実現される。また、被写体領域抽出部１０６，３ＤＣＧモデル作成部１０７、注釈作成部１０８及び画像合成部１０９は、ＣＰＵ１０５がソフトウェアを実行することで実現可能である。また、表示制御部１０４はＣＲＴＣ２０１により実現される。

以上説明したように、本実施形態によれば、視覚的な違和感をなくすための奥行き（隠れ）を考慮した表示と、観察者の使い勝手を考慮した表示とを両立することが可能となる。

［他の実施形態］
上述の実施形態においては、理解を容易にするため、ＨＭＤやモックアップを含む複合現実感システムについて説明したが、これらは必ずしも必要ない。現実空間画像の取得や複合現実空間画像の表示、モックアップ及び観察者視点の位置姿勢計測に関する構成は必須でなく、これら画像や情報の収集、表示を外部装置で行っても良い。

また、上述の実施形態においては、被写体色情報登録部に登録された色と、画像中の各画素とを比較して被写体領域を検出していた。しかしながら、例えば被写体を観察者の手とした場合には、モックアップの位置姿勢センサの出力値から、観察者がモックアップを持っていると判断されている場合には、実写画像中のモックアップ部分からモックアップの色とは異なる色領域を抽出し、その領域を被写体領域とするか、または被写体色情報としてその領域の色を用いて被写体領域を上述のように求めてもよい。このように動的に被写体色情報を設定したり、被写体領域を検出することにより、観察者が手袋をはめている場合など、多種多様な状況に対応することが可能になる。

また、上述の実施形態においては、複合現実感を利用したモックアップシステムに本発明を適用した例を示したが、現実物体の外観を表す仮想空間画像を表示する用途に限らず、表示すべき仮想空間画像のうち、奥行き（隠れ）を考慮して表示すべきものと、そうでないものが存在するような任意の用途及び複合現実感システムに適用可能である。従って、隠れを考慮しないで表示を行う仮想空間画像も注釈に限定されず、任意の仮想空間画像であってよい。

さらに、上述の実施形態においては、被写体が観察者の手である場合について説明したが、観察者が操作する器具であったり、身体の他の部位であったり、また観察者以外の現実物体であっても良い。

また、上述の実施形態においては、ＰＣ１０１を１つの機器から構成した場合についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

本発明の実施形態に係るデジタルモックアップシステムの構成例を示すブロック図である。 図１のシステムで用いるモックアップを模式的に示す図である。 図２のモックアップに３ＤＣＧモデルを重畳した状態を模式的に示す図である。 図３の状態に注釈を追加表示した状態を模式的に示す図である。 観察者の手によって注釈が隠される従来の状態を説明する図である。 本発明の実施形態での表示状態を模式的に示す図である。 被写体領域抽出部１０６の処理を説明する図である。 画像合成部１０９の処理を説明するフローチャートである。 モックアップの姿勢変化時の注釈表示の状態を示す図である。 ＰＣ１０１として利用可能な汎用コンピュータ装置の構成例を示す図である。

符号の説明

１１ モックアップ
１２、３６ 位置姿勢センサ
２１ ＣＧのカメラ
３１ 観察者
３２ ビデオシースルー型ＨＭＤ（ヘッドマウントディスプレイ）
３３ 左目カメラ
３４ 右目カメラ
３５ 映像表示部
４１ 注釈
１０１ ＰＣ
１０２ ビデオキャプチャ装置Ａ
１０３ ビデオキャプチャ装置Ｂ
１０４ 表示制御部
１０５ 位置姿勢計測部
１０６ 被写体領域抽出部
１０７ ３ＤＣＧモデル作成部
１０８ 注釈作成部
１０９ 画像合成部
１１０ 被写体色情報登録部

Claims (8)

1. 現実空間を撮像して得られる現実空間画像と、仮想空間画像とを重畳した複合現実空間画像を生成する複合現実空間画像生成方法であって、
   前記仮想空間画像のうち、前記現実空間中の物体による隠れを考慮すべき第１の仮想空間画像を前記現実空間画像に重畳する第１の画像合成工程と、
   前記仮想空間画像のうち、隠れを考慮せずに表示すべき第２の仮想空間画像を前記第１の画像合成工程で生成した画像に重畳する第２の画像合成工程とを有することを特徴とする複合現実空間画像生成方法。
2. 前記第１の画像合成工程が、
   前記現実空間画像から、所定の被写体領域を抽出する被写体領域抽出工程と、
   前記第１の仮想空間画像の、前記被写体領域に含まれない領域のみを前記現実空間画像に重畳する重畳工程とを有することを特徴とする請求項１記載の複合現実空間画像生成方法。
3. 前記第１の仮想空間画像が、現実空間中の物体の外観を表す画像であり、前記第２の仮想空間画像が、前記物体に関する注釈を表す画像であることを特徴とする請求項１又は請求項２に記載の複合現実空間画像生成方法。
4. 前記物体の位置姿勢に応じて、前記第２の仮想空間画像の内容又は表示位置を変化させることを特徴とする請求項３記載の複合現実空間画像生成方法。
5. 現実空間を撮像して得られる現実空間画像と、仮想空間画像とを重畳した複合現実空間画像を生成する複合現実空間画像生成装置であって、
   前記仮想空間画像のうち、前記現実空間中の物体による隠れを考慮すべき第１の仮想空間画像を前記現実空間画像に重畳する第１の画像合成手段と、
   前記仮想空間画像のうち、隠れを考慮せずに表示すべき第２の仮想空間画像を前記第１の画像合成手段で生成した画像に重畳する第２の画像合成手段とを有することを特徴とする複合現実空間画像生成装置。
6. 請求項５記載の複合現実空間画像生成装置を用いた複合現実感システム。
7. コンピュータに、請求項１乃至請求項４記載の複合現実空間画像生成方法の各工程を実現させるためのプログラム。
8. 請求項７記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images