JP2002269593A

JP2002269593A - 画像処理装置及び方法、並びに記憶媒体

Info

Publication number: JP2002269593A
Application number: JP2001071120A
Authority: JP
Inventors: Yasuhiro Okuno; 泰弘奥野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-03-13
Filing date: 2001-03-13
Publication date: 2002-09-20
Anticipated expiration: 2021-03-13
Also published as: JP3848092B2

Abstract

(57)【要約】【課題】不自然な映像の表示を防止することができる
画像処理装置及び方法、並びに記憶媒体を提供する。【解決手段】画像処理（複合現実感提示）装置は、位
置姿勢センサ本体１０５ａ、ヘッドマウントディスプレ
イ１０６、及びビデオカメラ１０７を有する。位置姿勢
センサ本体１０５ａには、ビデオカメラ１０７の視線位
置姿勢を検出するためにＨＭＤ１０６に取付けられた位
置姿勢センサ１０５ｂ，ＣＧ映像位置姿勢検出用の位置
姿勢センサ１０５ｃ，１０５ｄが接続されている。位置
姿勢センサ１０５ｃ，１０５ｄの視線位置が有効領域内
にないときは、全てのＣＧ映像を描画することなく現実
映像のみをＨＭＤに表示し、ＣＧ映像位置が有効領域内
にないときは、そのＣＧ映像のみの描画を停止し且つ他
のＣＧ映像を描画する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置及び方
法、並びに記憶媒体に関し、特に、現実空間の映像と、
３次元的にモデリングされたコンピュータグラフィック
ス（以下「ＣＧ」という。）によって生成された映像と
を重畳し、且つ両者の映像を位置合わせしつつ表示する
ことができる画像処理装置及び方法、並びに記憶媒体に
関する。

【０００２】

【従来の技術】従来、現実空間の映像と、三次元モデリ
ングされたＣＧ映像によって生成された映像とを重畳
し、且つ両者の映像を位置合わせしつつ表示して、あた
かも現実の世界の中にＣＧで描かれた物体（仮想物体）
が存在しているかのように見せることができる複合現実
感提示装置がある。この装置は、現実の映像を撮影する
ための現実映像撮影手段（例えば、ビデオカメラ）と、
現実の映像を撮影している位置から見たようにＣＧ映像
を作り出すＣＧ映像生成手段と、両者を合成して表示す
ることのできる映像表示手段（例えば、ヘッドマウント
ディスプレイ（ＨＭＤ）又はモニタ）から成る。ここ
で、映像表示手段は、現実映像撮影手段の視線位置が変
わってもＣＧ映像と現実の映像を正しい位置関係で表示
するようになっており、現実映像撮影手段は、視線位置
や視線方向を検出するための視線位置姿勢検出手段（例
えば、位置姿勢センサ）を備えている。

【０００３】ＣＧ映像生成手段は、三次元モデリングさ
れたＣＧ映像を現実空間と同じスケールの仮想空間に置
き、視線位置姿勢検出手段によって検出された視線位置
や視線方向から観察されたものとしてＣＧ映像をレンダ
リングする。このようにして生成されたＣＧ映像と現実
の映像とを重畳すると、結果として、現実映像撮影手段
がどの視線位置や視線方向から観察した場合でも、現実
空間の中に正しくＣＧ映像の対象が置かれているような
映像を表示することができる。

【０００４】また、ＣＧ映像を出現させたい場所にもさ
らなる位置姿勢検出装置を取り付け、そこから得られた
位置にＣＧ映像を出現させることも行われている。例え
ば、手に位置姿勢検出装置（位置姿勢センサ）を取り付
け、そのセンサの位置にＣＧ映像を生成することによっ
て、あたかも手の上に常にＣＧ映像の対象が乗っている
ように、即ち手をどのように動かしても手の上にＣＧ映
像が乗っているような映像を表示することができる。

【０００５】現実空間の撮影対象を撮影する現実映像撮
影手段としてのビデオカメラは、その視線方向にある映
像を撮影し、撮影された映像データはメモリ中にキャプ
チャするようになっている。

【０００６】現実の映像とＣＧ映像とを合成して表示す
る映像表示装置としては、例えばＨＭＤが用いられる。
通常のモニタでなくＨＭＤを用いて、さらに上記ビデオ
カメラをＨＭＤの視線方向に装着することで、観察者が
向いている方向の映像をＨＭＤに映し出すことができ、
かつ、観察者がその方向を向いたときのＣＧ映像の表示
も行えるため、観察者の没入感を高めることができる。

【０００７】位置姿勢検出手段としては、磁気方式によ
る位置姿勢センサなどが用いられ、これを上記ビデオカ
メラ、又はビデオカメラが取り付けられているＨＭＤに
取り付ることによって、ビデオカメラの視線の位置姿勢
の値を検出する。磁気方式の位置姿勢センサとは、磁気
発生装置（発信機）と磁気センサ（受信機）との間の相
対位置及び姿勢を検出するものであり、米国ポヒマス
（PolhemuＳ）社の製品FAＳTRAKなどがあげられる。こ
れは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，
Ｚ）と姿勢（ローリング、ピッチング、ヨーイング）を
リアルタイムに検出する装置である。

【０００８】上記の構成により、観察者は、ＨＭＤを通
じて現実の映像とＣＧ映像が重畳された世界を観察する
ことができるようになる。観察者が周囲を見回すと、Ｈ
ＭＤに備え付けられた現実映像撮影装置（ビデオカメ
ラ）が現実の映像を撮影し、ＨＭＤに備え付けられた視
線位置姿勢検出手段（位置姿勢センサ）がビデオカメラ
の位置視線方向を検出し、これに応じてＣＧ映像生成手
段がその視線位置・姿勢から見たＣＧ映像を生成し、こ
れを現実の映像に重畳して表示する。

【０００９】また、観察者を複数設けることも可能であ
る。現実空間を撮影するビデオカメラと表示装置（ＨＭ
Ｄ等）、位置姿勢センサを観察者数だけ用意し、夫々の
観察者の視点から現実空間の撮影して現実の映像とＣＧ
映像の生成を行い、これらを合成して、夫々の観察者に
表示すればよい。

【００１０】

【発明が解決しようとしている課題】しかしながら、上
記従来の複合現実感提示装置では、視線位置や視線方向
（姿勢）を検出するための視線位置姿勢センサから得ら
れる値に基づいてＣＧ映像をレンダリングしており、こ
れらの値に誤差があると、生成されるすべてのＣＧ映像
の位置がずれて、誤差の分だけずれた位置や方向から見
たＣＧ映像が生成される。

【００１１】また、視線位置姿勢センサに誤差が少ない
状態であっても、ＣＧ映像を出現させたい場所を検出す
るために設置したＣＧ映像位置姿勢センサに誤差がある
と、その位置に出現させようとしたＣＧ映像の位置や方
向がずれる。

【００１２】このような位置姿勢センサから得られる値
には、一般的に多かれ少なかれ誤差が含まれ、例えば、
磁気方式による位置姿勢センサは、位置姿勢が検出でき
る領域が磁気発信機を中心とした空間領域に限られてお
り、さらにその領域の中であっても、磁気発信機から受
信機（センサ）が離れるほど検出誤差が大きい。そのた
め、観察位置、即ち現実映像を撮影するためのカメラの
位置が発信機の位置から遠くなればなるほど、その位置
姿勢センサは発信機から遠くなり、結果として視線位置
姿勢の値に誤差が多くなる。ＣＧ映像を出現させる位置
に位置姿勢センサを置いている場合は、観察者位置が発
信機の位置に近くて誤差が少ない範囲から観察している
としても、ＣＧ映像を出現させる位置が発信機位置から
遠くなると位置姿勢センサの誤差が大きくなり、結果と
してＣＧ映像が現れる位置にずれが生じる。

【００１３】従来の複合現実感提示装置では、観察者の
移動やＣＧ映像位置の移動によって位置姿勢センサの誤
差が大きくなったときでもＣＧ映像描画を行ってしまう
ため、センサの誤差によってＣＧ映像と現実空間の位置
あわせがずれてしまったような、例えば、手の上にある
ように計画されたＣＧ映像表示が、手の上でないところ
に表示されるような不自然な映像であってもそのまま表
示してしまうという問題がある。現実空間との位置あわ
せが不要ばバーチャルリアリティ（Virtual Riality）
システム（現実の映像がなく、ＣＧ映像のみを表示する
システム）の場合は、少々の誤差があってもさほど不自
然でないため大きな問題とならないが、複合現実感シス
テムの場合は現実物体との高精度の位置あわせを必要と
するため、位置姿勢センサの有効測定領域内で生じるよ
うな少々の誤差であっても映像が不自然になってしま
い、実用に耐えなくなる場合がある。

【００１４】また、例えば、視線位置に誤差がある場合
はＣＧ映像すべての位置あわせに誤差が出るが、ＣＧ映
像位置姿勢に誤差がある場合はそのＣＧ映像の描画に誤
差が出るだけであるように、ＣＧ映像の位置姿勢センサ
に誤差が大きくなった場合と、視線位置姿勢センサの誤
差が大きくなった場合とでは、発生する現象が異なり、
夫々の場合に好適な対処をするシステムは存在しない。

【００１５】本発明の目的は、不自然な映像の表示を防
止することができる画像処理装置及び方法、並びに記憶
媒体を提供することにある。

【００１６】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の画像処理装置は、所定の視線位置で
現実の映像を取得する現実映像撮影手段と、ＣＧ映像を
生成するＣＧ映像生成手段と、前記所定の視線位置を検
出する視線位置検出手段と、前記生成されたＣＧ映像を
前記取得された現実映像に重畳して表示装置に表示する
映像表示手段とを備える画像処理装置において、前記視
線位置の有効領域を設定する有効視線位置領域設定手段
と、前記検出された視線位置が前記設定された視線位置
の有効領域内にあるか否かを判別する判別手段とを備
え、前記映像表示手段は、前記検出された視線位置が前
記設定された視線位置の有効領域内にないときは、前記
ＣＧ映像の全てを前記現実映像に重畳しないことを特徴
とする。

【００１７】請求項２記載の画像処理装置は、請求項１
記載の画像処理装置において、前記ＣＧ映像位置の有効
領域を設定する有効ＣＧ映像位置領域設定手段と、前記
重畳すべきＣＧ映像の位置を検出するＣＧ映像位置検出
手段と、前記検出されたＣＧ映像の位置が前記設定され
たＣＧ映像位置の有効領域内にあるか否かを判別する他
の判別手段と備え、前記映像表示手段は、前記検出され
たＣＧ映像の位置が前記設定されたＣＧ映像位置の有効
領域内にないときは、当該検出されたＣＧ映像を前記現
実映像に重畳しないことを特徴とする。

【００１８】上記目的を達成するために、請求項３記載
の画像処理方法は、所定の視線位置で現実の映像を取得
する現実映像撮影工程と、ＣＧ映像を生成するＣＧ映像
生成工程と、前記所定の視線位置を検出する視線位置検
出工程、前記生成されたＣＧ映像を前記取得された現実
映像に重畳して表示装置に表示する映像表示工程とを備
える画像処理方法において、前記視線位置の有効領域を
設定する有効視線位置領域設定工程と、前記検出された
視線位置が前記設定された視線位置の有効領域内にある
か否かを判別する判別工程とを備え、前記映像表示工程
は、前記検出された視線位置が前記設定された視線位置
の有効領域内にないときは、前記ＣＧ映像の全てを前記
現実映像に重畳しないことを特徴とする。

【００１９】請求項４記載の画像処理方法は、請求項３
記載の画像処理方法において、前記ＣＧ映像位置の有効
領域を設定する有効ＣＧ映像位置領域設定工程と、前記
重畳すべきＣＧ映像の位置を検出するＣＧ映像位置検出
工程と、前記検出されたＣＧ映像の位置が前記設定され
たＣＧ映像位置の有効領域内にあるか否かを判別する他
の判別工程と備え、前記映像表示工程は、前記検出され
たＣＧ映像の位置が前記設定されたＣＧ映像位置の有効
領域内にないときは、当該検出されたＣＧ映像を前記現
実映像に重畳しないことを特徴とする。

【００２０】上記目的を達成するために、請求項５記載
の記憶媒体は、画像処理方法を実行するプログラムを格
納する記憶媒体において、前記プログラムは、所定の視
線位置で現実の映像を取得する現実映像撮影モジュール
と、ＣＧ映像を生成するＣＧ映像生成モジュールと、前
記所定の視線位置を検出する視線位置検出モジュール
と、前記生成されたＣＧ映像を前記取得された現実映像
に重畳して表示装置に表示する映像表示モジュールと、
前記視線位置の有効領域を設定する有効視線位置領域設
定モジュールと、前記検出された視線位置が前記設定さ
れた視線位置の有効領域内にあるか否かを判別する判別
モジュールとを備え、前記映像表示モジュールは、前記
検出された視線位置が前記設定された視線位置の有効領
域内にないときは、前記ＣＧ映像の全てを前記現実映像
に重畳しないことを特徴とする。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態に係る
画像処理（複合現実感提示）装置を図を用いて詳述す
る。

【００２２】図１は、本発明の実施の形態に係る画像処
理（複合現実感提示）装置の概略構成を示すブロック図
である。

【００２３】図１において、本発明の実施の形態に係る
複合現実感提示装置は、ＣＰＵ１０１、メモリ１０３、
メモリ１０４、位置姿勢センサ本体１０５ａ、ヘッドマ
ウントディスプレイ（ＨＭＤ）１０６、及びビデオカメ
ラ１０７を有し、これらは計算機バス１０２を介して互
いに接続されている。また、位置姿勢センサ本体１０５
ａには、位置姿勢センサ１０５ｂ，１０５ｃ，１０５ｄ
が接続され、これらのうち、位置姿勢センサ１０５bは
ビデオカメラ１０７の視線位置姿勢を検出するためにＨ
ＭＤ１０６に取付けられている。位置姿勢センサ１０５
c，１０５dはどちらもＣＧ映像位置姿勢検出用のもので
ある。

【００２４】メモリ１０３とメモリ１０４とはハード構
成を同じくするが、メモリ１０３は、後述する図２の処
理を実行するプログラムとして、視線位置姿勢検出モジ
ュール１１０、現実映像モジュール１１１、視線位置有
効判定モジュール１１２、ＣＧ映像位置姿勢検出モジュ
ール１１３、ＣＧ映像位置有効判定モジュール１１４、
ＣＧ映像生成モジュール１１５、映像表示モジュール１
１６、有効視線位置領域設定モジュール１１７、及び有
効ＣＧ映像位置領域設定モジュール１１８を格納してお
り、メモリ１０４は、上記プログラム中で使用されるデ
ータ領域として、センサ有効領域中心データ領域１２
０、映像メモリ領域１２１、視線位置姿勢データ領域１
２２、ＣＧ映像位置姿勢データ領域１２３、有効視線位
置データ領域１２４、有効ＣＧ映像位置データ領域１２
５、視線位置距離データ領域１２６、ＣＧ映像位置距離
データ領域１２７を有する。

【００２５】図２は、図１の複合現実感提示装置によっ
て実行される映像表示処理のフローチャートである。

【００２６】図２において、まず、視線位置姿勢検出モ
ジュール１１０によって、従来から用いられている技
術、例えば磁気センサ等を用いてビデオカメラ１０７の
視線の３次元位置（Ｘ，Ｙ，Ｚ）及び姿勢（ローリン
グ、ピッチング、ヨーイング）を検出して、ビデオカメ
ラ１０７の位置及び姿勢データをメモリ１０４の視線位
置姿勢データ領域１２２に書き込み（ステップＳ２０
１）、次いで、現実映像撮影モジュール１１１によっ
て、ビデオカメラ１０７で撮影された映像をキャプチャ
し、現実空間の映像（現実の映像）をメモリ１０４の映
像メモリ領域１２１に書き込む（ステップＳ２０２）。

【００２７】続くステップＳ２０３では、後述する図３
の視線位置有効判定モジュール１１２によって、検出さ
れたビデオカメラ１０７の視線位置が有効領域内にある
か否かを判別し、視線位置が有効領域内にあるときは、
ステップＳ２０４に進み、ＣＧ用の位置姿勢センサの数
を数えるための正の整数からなる変数Ｎを１に初期化す
る（ステップＳ２０４）。本実施の形態では、位置姿勢
センサの数は、位置姿勢センサ１０５ｃ，１０５ｄの２
つである。

【００２８】次いで、ＣＧ映像位置姿勢検出モジュール
１１３によって、位置姿勢センサ１０５ｃ，１０５ｄを
用いて第Ｎ番目のＣＧ映像を表示すべき位置姿勢を検出
し、メモリ１０４中のＣＧ映像位置姿勢データ領域１２
３に格納する（ステップＳ２０５）。ＣＧ映像位置姿勢
検出モジュール１１３は前述した視線位置姿勢検出モジ
ュール１１０と構成が同じである。

【００２９】ステップＳ２０６では、後述する図４のＣ
Ｇ映像位置有効判定モジュール１１４によって、検出さ
れたＣＧ映像位置が有効領域内にあるか否かを判別し、
ＣＧ映像位置が有効領域内にあるときは、ＣＧ映像生成
モジュール１１５によって、視線位置姿勢データ領域１
２２のデータとＣＧ映像位置姿勢データ領域１２３のデ
ータに基づいて、３次元モデリングされた第Ｎ番目のＣ
Ｇ映像を映像メモリ領域１２１に重ね描きして（ステッ
プＳ２０７）、ステップＳ２０８に進む。一方、ステッ
プＳ２０６の判別の結果、ＣＧ映像位置が有効領域内に
なければ、ステップＳ２０７をスキップして、ステップ
Ｓ２０８に進む。

【００３０】ＣＧ映像生成モジュール１１５は、ＣＧ映
像を、ＣＧ映像位置姿勢データ領域１２３のデータが示
す位置姿勢に置かれたものを視線位置姿勢データ領域１
２２のデータが示す視線から観察したようにレンダリン
グする。映像メモリ領域１２１には、すでにステップＳ
２０３において現実映像撮影モジュール１１１によって
現実空間の映像が書き込まれており、ＣＧ映像はこの上
に重ねて描画されることになる。

【００３１】続くステップＳ２０８では、変数Ｎが１だ
けインクリメントされ、次のステップＳ２０９で、変数
Ｎが２（ＣＧ映像の数）以下であるか否かを判別し、２
以下であるときは、ステップＳ２０５以降の処理を繰り
返す一方、２を超えるときは、ステップＳ２１０に進
む。

【００３２】ステップＳ２０３の判別の結果、視線位置
が有効領域内にないときは、ステップＳ２０４以降の処
理（第Ｎ番目のＣＧ映像の映像メモリ領域への格納）を
実行することなく、直ちにステップＳ２１０に進む。

【００３３】続くステップＳ２１０では、映像表示モジ
ュール１１６によって、映像メモリ領域１２１に書き込
まれた映像をＨＭＤ１０６のフレームメモリに書き込
み、実際の表示を行う。

【００３４】次いで、ステップＳ２１１では全体の処理
を終了するか否かを判別し、終了しない場合は再びステ
ップＳ２０１以降の処理を繰り返す。処理を繰り返すこ
とによってビデオカメラ１０７から次々と現実映像をキ
ャプチャし、これにＣＧ映像を重ね書きし、表示すると
いうサイクルを連続して行うことになる。

【００３５】図２の処理によれば、位置姿勢センサ１０
５ｃ，１０５ｄの視線位置が有効領域内にないときは
（ステップＳ２０３でＮＯ）、全てのＣＧ映像を描画す
ることなく現実映像のみをＨＭＤに表示し（ステップＳ
２１０）、ＣＧ映像位置が有効領域内にないときは（ス
テップＳ２０６でＮＯ）、そのＣＧ映像のみの描画を停
止し且つ他のＣＧ映像を描画する（ステップＳ２０６〜
Ｓ２０７）ので、不自然な映像の表示を防止することが
できる。

【００３６】図３は、図２のステップＳ２０３における
視線位置有効判定モジュール１１２のフローチャートで
ある。

【００３７】メモリ１０４の有効視線位置データ領域１
２４には、事前に、有効視線位置領域設定モジュール１
１７によってビデオカメラ１０７の視線位置の有効領域
の値が記録されているものとする。また、メモリ１０４
のセンサ有効領域中心データ領域１２０には、位置姿勢
センサの有効領域の中心となる座標（Ｘ，Ｙ，Ｚ）が格
納されているものとする。

【００３８】有効視線位置データ領域１２４のデータ
は、例えば、センサ有効領域中心からのビデオカメラ１
０７の視線位置の有効距離の値であり、この場合１つの
数値となる。

【００３９】図３において、まず、メモリ１０４の視線
位置姿勢データ領域１２２のデータとセンサ有効領域中
心データ領域１２０のデータから、ビデオカメラ１０７
の視線位置とセンサ有効領域中心の間の距離を計算し、
メモリ１０４の視線位置距離データ領域１２６に格納す
る（ステップＳ３０１）。

【００４０】次いで、視線位置距離データ領域１２６の
データが有効視線位置データ領域１２４のデータ未満で
あるか否かを判別し（ステップＳ３０２）、ビデオカメ
ラ１０７の視線位置距離が有効視線位置距離未満である
ときは、視線位置が有効領域内にあると判定し（ステッ
プＳ３０３）、視線位置距離が有効視線位置距離以上で
あるときは、有効領域内にないと判定して（ステップＳ
３０４）、本処理を終了する。

【００４１】有効視線位置データ領域１２４が保持する
データは、本実施の形態に挙げたようなセンサ有効領域
中心からの距離に限らず、特定の領域を示す複数の位置
の組などであってもよい。その場合は、視線位置有効判
定モジュール１１２は、視線位置姿勢がその複数の位置
で囲まれる領域内にあるか否かを判定することとなる。

【００４２】図４は、図２のステップＳ２０６における
ＣＧ映像位置有効判定モジュール１１４のフローチャー
トである。

【００４３】メモリ１０４の有効ＣＧ映像位置データ領
域１２５には、事前に、有効ＣＧ映像位置領域設定モジ
ュール１１８によって、ＣＧ映像位置の有効領域の値が
格納されているものとする。また、メモリ１０４のセン
サ有効領域中心１２０には、位置姿勢センサの有効領域
の中心となる座標（Ｘ，Ｙ，Ｚ）が格納されているもの
とする。

【００４４】有効ＣＧ映像位置データ領域１２５は、例
えば、センサ有効領域中心からのＣＧ映像位置の有効距
離の値であり、この場合は１つの数値となる。

【００４５】図４において、ステップＳ４０１では、メ
モリ１０４のＣＧ映像位置姿勢データ領域１２３のデー
タとセンサ有効領域中心データ領域１２０のデータか
ら、ＣＧ映像位置とセンサ有効領域中心の間の距離を計
算し、メモリ１０４のＣＧ映像位置距離データ領域１２
７に格納する（ステップＳ４０１）。

【００４６】次いで、ＣＧ映像位置姿勢データ領域１２
３のデータが有効ＣＧ映像位置データ領域１２５のデー
タ未満であるか否かを判別し（ステップＳ４０２）、Ｃ
Ｇ映像位置距離が有効ＣＧ映像位置距離未満であるとき
は、ＣＧ映像位置が有効領域内にあると判定し（ステッ
プＳ４０３）、ＣＧ映像位置距離が有効ＣＧ映像位置距
離以上であるときは、有効領域内にないと判定して（ス
テップＳ４０４）、本処理を終了する。

【００４７】上記実施の形態において、視線位置姿勢や
ＣＧ映像位置姿勢を検出するための位置姿勢センサ１０
５b，１０５c，１０５dがセンサの有効領域外に出てし
まうと、センサが正しい値を検出できなくなって検出値
が不定になるため、有効視線位置データ領域１２４と有
効ＣＧ映像位置データ領域１２５はセンサの有効領域内
にするのが普通である。また、位置姿勢センサ１０５ｂ
〜１０５ｃは有効領域の境界近傍で検出値に誤差が多く
含まれる場合あるため、有効視線位置領域と有効ＣＧ映
像位置領域は、位置姿勢センサ１０５ｂ〜１０５ｃの検
出値に基づいて描画するＣＧ映像が不自然にならないよ
うに位置姿勢センサの設置状況等に応じて領域を設定す
るのがよい。

【００４８】また、位置姿勢センサ１０５ｂ〜１０５ｃ
の１つ１つに個別に有効領域を設定してもよく、この場
合は、メモリ１０４の有効ＣＧ映像位置データ領域１２
５を位置姿勢センサ毎に複数用意すればよい。

【００４９】また、本発明は、前述した実施の形態を実
現するソフトウェアのプログラムモジュールを記憶した
記憶媒体を、システム又は装置にプログラムを供給する
ことによって達成される場合にも適用できることはいう
までもない。この場合、記憶媒体から読み出されたプロ
グラムモジュール自体が本発明の新規な機能を実現する
ことになり、そのプログラムを記憶した記憶媒体は本発
明を構成することになる。

【００５０】上記実施の形態では、プログラムモジュー
ルはメモリ１０３に格納されるが、プログラムモジュー
ルを供給する記憶媒体としては、フロッピー（登録商
標）ディスク、ハードディスク、光ディスク、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ、磁気
テープ、不揮発性のメモリカード等の様々なものが考え
られるが、特定のものに限定する必要はなく、上記プロ
グラムを記憶できるものであればよい。

【００５１】

【発明の効果】以上詳細に説明したように、請求項１記
載の画像処理装置、請求項３記載の画像処理方法、及び
請求項５記載の記憶媒体によれば、検出した現実の映像
の視線位置が、設定された現実の映像の視線位置の有効
領域内にないときは、ＣＧ映像の全てを現実映像に重畳
しないので、全てのＣＧ映像を描画することなく現実映
像のみを表示装置に表示し、もって不自然な映像の表示
を防止することができる。

【００５２】請求項２記載の画像処理装置及び請求項４
記載の画像処理方法によれば、検出されたＣＧ映像の位
置が、設定されたＣＧ映像位置の有効領域内にないとき
は、当該検出されたＣＧ映像を現実映像に重畳しないの
で、そのＣＧ映像のみの描画を停止し且つ他のＣＧ映像
を描画することにより、もって不自然な映像の表示を防
止することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像処理（複合現実
感提示）装置の概略構成を示すブロック図である。

【図２】図１の複合現実感提示装置によって実行される
映像表示処理のフローチャートである。

【図３】図２のステップＳ２０３における視線位置有効
判定モジュール１１２のフローチャートである。

【図４】図２のステップＳ２０６におけるＣＧ映像位置
有効判定モジュール１１４のフローチャートである。

【符号の説明】

１０１ＣＰＵ１０２計算機バス１０３，１０４メモリ１０５ａ位置姿勢センサ本体１０５ｂ、１０５ｃ、１０５ｄ位置姿勢センサ１０６ＨＭＤ１０７ビデオカメラ

フロントページの続きＦターム(参考） 5B050 AA08 BA07 BA08 BA09 BA11 CA06 CA07 DA01 EA13 EA19 EA24 FA02 5C023 AA18 AA37 AA38 BA01 CA03 CA05 5C061 AA01 AB14 AB24 5C082 AA21 AA27 BA12 BA27 CA55 CB01 DA87 MM10

Claims

【特許請求の範囲】

【請求項１】所定の視線位置で現実の映像を取得する
現実映像撮影手段と、ＣＧ映像を生成するＣＧ映像生成
手段と、前記所定の視線位置を検出する視線位置検出手
段と、前記生成されたＣＧ映像を前記取得された現実映
像に重畳して表示装置に表示する映像表示手段とを備え
る画像処理装置において、前記視線位置の有効領域を設定する有効視線位置領域設
定手段と、前記検出された視線位置が前記設定された視
線位置の有効領域内にあるか否かを判別する判別手段と
を備え、前記映像表示手段は、前記検出された視線位置
が前記設定された視線位置の有効領域内にないときは、
前記ＣＧ映像を前記現実映像に重畳しないことを特徴と
する画像処理装置。
【請求項２】前記ＣＧ映像位置の有効領域を設定する
有効ＣＧ映像位置領域設定手段と、前記重畳すべきＣＧ
映像の位置を検出するＣＧ映像位置検出手段と、前記検
出されたＣＧ映像の位置が前記設定されたＣＧ映像位置
の有効領域内にあるか否かを判別する他の判別手段と備
え、前記映像表示手段は、前記検出されたＣＧ映像の位
置が前記設定されたＣＧ映像位置の有効領域内にないと
きは、当該検出されたＣＧ映像を前記現実映像に重畳し
ないことを特徴とする請求項１記載の画像処理装置。
【請求項３】所定の視線位置で現実の映像を取得する
現実映像撮影工程と、ＣＧ映像を生成するＣＧ映像生成
工程と、前記所定の視線位置を検出する視線位置検出工
程、前記生成されたＣＧ映像を前記取得された現実映像
に重畳して表示装置に表示する映像表示工程とを備える
画像処理方法において、前記視線位置の有効領域を設定する有効視線位置領域設
定工程と、前記検出された視線位置が前記設定された視
線位置の有効領域内にあるか否かを判別する判別工程と
を備え、前記映像表示工程は、前記検出された視線位置
が前記設定された視線位置の有効領域内にないときは、
前記ＣＧ映像を前記現実映像に重畳しないことを特徴と
する画像処理方法。
【請求項４】前記ＣＧ映像位置の有効領域を設定する
有効ＣＧ映像位置領域設定工程と、前記重畳すべきＣＧ
映像の位置を検出するＣＧ映像位置検出工程と、前記検
出されたＣＧ映像の位置が前記設定されたＣＧ映像位置
の有効領域内にあるか否かを判別する他の判別工程と備
え、前記映像表示工程は、前記検出されたＣＧ映像の位
置が前記設定されたＣＧ映像位置の有効領域内にないと
きは、当該検出されたＣＧ映像を前記現実映像に重畳し
ないことを特徴とする請求項３記載の画像処理方法。
【請求項５】画像処理方法を実行するプログラムを格
納する記憶媒体において、前記プログラムは、所定の視
線位置で現実の映像を取得する現実映像撮影モジュール
と、ＣＧ映像を生成するＣＧ映像生成モジュールと、前
記所定の視線位置を検出する視線位置検出モジュール
と、前記生成されたＣＧ映像を前記取得された現実映像
に重畳して表示装置に表示する映像表示モジュールと、
前記視線位置の有効領域を設定する有効視線位置領域設
定モジュールと、前記検出された視線位置が前記設定さ
れた視線位置の有効領域内にあるか否かを判別する判別
モジュールとを備え、前記映像表示モジュールは、前記
検出された視線位置が前記設定された視線位置の有効領
域内にないときは、前記ＣＧ映像を前記現実映像に重畳
しないことを特徴とする記憶媒体。