JP4892405B2 - 画像処理装置および方法 - Google Patents

Description

本発明は、画像処理装置および方法に関すし、特に、主点位置を設定できない三次元ＣＧ描画プログラムを用いて、実写画像と仮想画像が同じ見え方になるようにＭＲ画像を生成するための画像処理装置および方法に関する。

現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）の技術を応用したシステム（ＭＲシステム）が盛んに提案されている。これらのＭＲシステムは、カメラなどの撮像装置によって撮影した現実空間の画像（実写画像）に対し、三次元コンピュータグラフィックス（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で描画した仮想空間の画像を合成する。そして、合成した画像を、ヘッドマウントディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などの表示装置に表示することで、ユーザに提示している。（特許文献１参照）
これらのＭＲシステムは、実写画像の変化に追従させるかたちで仮想空間の画像を生成するために、ユーザ視点の位置姿勢をリアルタイムで取得する。ユーザ視点での位置姿勢を仮想空間での仮想カメラの視点の位置姿勢として設定し、三次元ＣＧによって仮想空間の画像を描画して、実写画像と合成する。このことにより、ＭＲシステムのユーザは、あたかも現実空間の中に仮想の物体が存在しているかのような画像を観察することができる。

ＭＲシステムにおいて、現実空間と仮想空間とが自然に合成されたような複合現実感画像（ＭＲ画像）を生成するためには、実写画像と仮想空間の画像とで見え方が同じになるように仮想画像を生成しなければならない。現実空間を撮像する撮像装置は三次元空間を二次元平面に射影する装置であり、現実空間中の三次元座標が実写画像の各画素の点として射影されているとみなすことができる。仮想画像の見え方を実写画像の見え方と一致させるためには、仮想空間中の三次元座標が現実空間中の三次元座標と同じになるように仮想空間の世界座標系を構成し、仮想カメラに撮像装置と同じ位置姿勢を設定するのに加えて、三次元空間から二次元平面への射影が撮像装置と同じになるように仮想カメラを設定しなければならない。

ここで、三次元ＣＧによって仮想画像を生成するための方法について説明する。三次元ＣＧでは、コンピュータ中に仮想的に設定されたＣＧモデルに関して、モデリング変換、視界変換、射影変換、ビューポート変換を行い、仮想画像を生成する。モデリング変換では、各ＣＧモデルに対して設定されている座標系から、仮想空間全体の基準となる世界座標系への変換を行う。視界変換では、世界座標系から仮想カメラの視点を原点とするカメラ座標系への変換を行う。射影変換では透視投影の視体積を定義し、仮想画像上にＣＧオブジェクトがどのように射影されるかを決定する。ビューポート変換では、透視投影後のＣＧモデルの座標を、実際に表示を行うウィンドウ上での座標に変換する。

射影変換では、視体積と呼ばれる立体を定義する。ＣＧオブジェクトのうち、視体積の内部に存在する（三次元の）点のみが二次元画像上の点として射影される。透視投影の場合、視体積は図７の灰色の領域に示すような錘台に似た形状となる。視体積を設定するパラメータは、ｌｅｆｔ，ｒｉｇｈｔ，ｔｏｐ，ｂｏｔｔｏｍ，ｎｅａｒ，ｆａｒの６種類から成る。図７はカメラ座標系で表現され、原点が仮想カメラの視点、Ｚ軸が視線軸となっている。すなわち、図７において射影中心は原点であり、投影面上でＺ軸が通過する点が仮想画像上での基準点（仮想画像上で射影中心を表す点）である。

自然な（違和感の無い）見え方のＭＲ画像を生成するためには、実写画像を撮影した撮像装置と同じ透視投影が行われるように、視体積を設定する必要がある。ｌｅｆｔ，ｒｉｇｈｔ，ｔｏｐ，ｂｏｔｔｏｍの４パラメータは撮像装置の主点位置、焦点距離、画像サイズから算出される。ｎｅａｒ，ｆａｒの２パラメータについては、撮像装置とは独立して別途設定される値である。

主点位置とは、撮像装置の光学中心（すなわち撮像装置の射影中心）を表す実写画像中での座標であり、撮像装置に固有の値である。理想的な撮像装置であれば、主点位置と実写画像の画像中心とは一致する。しかし現実には、撮像装置の光学系の構成や撮像装置の組み立て誤差、撮像画像のトリミングなどにより、主点位置と実写画像の画像中心とは一致しないことが多い。そのため、ＭＲシステムでは、撮像装置を較正することにより主点位置をあらかじめ算出しておき、仮想空間を描画するときに、仮想画像上での射影中心が実写画像上での主点位置と一致するように視体積を設定する。このようにして生成した仮想画像を実写画像に重畳することによって、実写画像と仮想画像の射影中心が一致した自然な見え方のＭＲ画像が生成される。なお、撮像装置の較正時には、主点位置の座標のほかにも撮像装置の焦点距離と撮像装置が撮像する画像サイズを算出する。

ここで、視体積の設定方法について、具体的に説明する。図７における視体積のパラメータをｌ＝ｌｅｆｔ，ｒ＝ｒｉｇｈｔ，ｔ＝ｔｏｐ，ｂ＝ｂｏｔｔｏｍ，ｎ＝ｎｅａｒ，ｆ＝ｆａｒとする。撮像装置を較正したパラメータのうち、画像中心を原点としたときの主点位置の座標を（ｕｐ，ｖｐ）、撮像装置の焦点距離をｆ、撮像装置が撮像する画像サイズを（ｗ，ｈ）とすると、ｌ，ｒ，ｔ，ｂは次のように算出することができる。
ｌ＝（ｕｐ−ｗ／２）×ｎ／ｆ
ｒ＝（ｕｐ＋ｗ／２）×ｎ／ｆ
ｔ＝（ｖｐ−ｈ／２）×ｎ／ｆ
ｂ＝（ｖｐ＋ｈ／２）×ｎ／ｆ ・・・（式１）
視線軸はＺ軸であるので、ｕｐ＝０のとき、ｌとｒはＺ軸に関して（左右）対称となる。同様にｖｐ＝０のときもｔとｂはＺ軸に関して（上下）対称となる。

上記のパラメータを用いて描画した仮想画像のサイズが実写画像のサイズと同じであれば、実写画像における主点位置の座標は、仮想画像上で射影中心を表す点（基準点）と一致する。

一般的なＭＲシステムにおいては、仮想視点の位置姿勢および撮像装置の較正によって得られた主点位置の座標、焦点距離、画像サイズから上記の方法によってｌ，ｒ，ｔ，ｂを算出し、三次元ＣＧ描画プログラムに渡すことによって、実写画像と射影中心が一致した仮想画像を生成することができる。実写画像と生成された仮想画像とを合成することによって，最終的なＭＲ画像を生成する。

ところが、三次元ＣＧ描画プログラムの中には、上記ｌ，ｒ，ｔ，ｂを任意に指定できないものが存在する。例えば、仏国Ｍｅｒｃｕｒｙ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ社のグラフィックス・ライブラリであるＯｐｅｎ Ｉｎｖｅｎｔｏｒ（商標）では、仮想カメラの視体積パラメータとして、アスペクト比、垂直方向画角とｎｅａｒ，ｆａｒの値を設定することができる。これらのパラメータから視体積のパラメータｌ，ｒ，ｔ，ｂは以下の式に基づいて算出することができる。ただし、アスペクト比をａ，垂直方向画角をｆｏｖｙとする。実際には、三次元ＣＧ描画プログラムの内部で以下の式に基づく演算が実行されている。
ｌ＝−ｎ×ｔａｎ（ｆｏｖｙ／２）×ａ
ｒ＝ ｎ×ｔａｎ（ｆｏｖｙ／２）×ａ
ｔ＝−ｎ×ｔａｎ（ｆｏｖｙ／２）
ｂ＝ ｎ×ｔａｎ（ｆｏｖｙ／２） ・・・（式２）
式２では、視線軸（Ｚ軸）に関して、ｌとｒおよびｔとｂが必ず対称となる。式１において主点位置（ｕｐ，ｖｐ）が（ｕｐ，ｖｐ）＝（０，０）であるのと等価である。これは、仮想画像上において、主点位置が常に画像中心にあることを意味する。すなわち、例に挙げた三次元ＣＧ描画プログラムでは上下・左右対称な視体積しか設定できず、主点位置と射影中心とが一致する視体積を設定することができない。
特登録３３６３８６１号公報 Ｒ．Ｙ．Ｔｓａｉ，Ｍｅｔｒｏｌｏｇｙ Ｕｓｉｎｇ Ｏｆｆ−ｔｈｅ−Ｓｈｅｌｆ ＴＶ Ｃａｍｅｒａｓ ａｎｄ Ｌｅｎｓｅｓ ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｆ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ，Ｖｏｌ．３，Ｎｏ．４，ｐｐ． ３２３−３４４，Ａｕｇｕｓｔ １９８７．

ＭＲシステムにおいて、実写画像と同じ見え方の仮想画像を生成するためには、撮像装置の較正によって得られたパラメータから、仮想カメラの視体積を設定して三次元ＣＧを描画する必要がある。しかし、三次元ＣＧ描画プログラムの中には、主点位置を設定する（すなわち、視線軸に対して上下または左右非対称な視体積を設定する）機能を持たないものが存在する。実写画像と仮想画像の射影中心を一致させる場合には、このような三次元ＣＧ描画プログラムを用いることができないため、ＭＲシステムの実現にあたって大きな制約となっていた。

本発明は、上記の課題に鑑みてなされたものであり、主点位置を設定できない三次元ＣＧ描画プログラムを用いて、実写画像と仮想画像が同じ見え方になるような画像を生成できることを目的とする。

上記の目的を達成するために、本発明の画像処理装置は、撮像手段で撮像された実写画像を取得する手段と、前記撮像手段の主点位置を取得する取得手段と、前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定手段と、前記仮想画像描画領域に描画する仮想画像を生成する生成手段と、前記設定手段で設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画手段と、前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出手段と、前記抽出手段で抽出した表示画像を、前記表示手段に表示する制御手段とを備え、前記設定手段は、前記主点位置から前記実写画像の四辺までの距離を算出し、前記算出した距離に基づく描画領域のサイズを設定し、当該設定されたサイズに基づいて前記主点位置を中心とした前記仮想画像描画領域を設定することを特徴とする。

また、本発明の画像処理方法は、撮像手段で撮像された実写画像を取得する工程と、前記撮像手段の主点位置を取得する取得工程と、前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定工程と、前記仮想画像描画領域に描画する仮想画像を生成する生成工程と、前記設定工程において設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画工程と、前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出工程と、前記抽出工程において抽出した表示画像を、前記表示手段に表示する制御工程とを有し、前記設定工程では、前記主点位置から前記実写画像の四辺までの距離を算出し、前記算出した距離に基づく描画領域のサイズを設定し、当該設定されたサイズに基づいて前記主点位置を中心とした前記仮想画像描画領域を設定することを特徴とする。

本発明によれば、主点位置を設定できない三次元ＣＧ描画プログラムを用いる場合に、仮想画像描画領域を設定し、実写画像と仮想画像の描画を行い、描画した画像の適切な領域を抽出すことによって、実写画像と仮想画像が同じ見え方になるよう画像を表示装置に出力することが可能となる。

以下、添付の図面を参照して、本発明の好適な実施の形態を説明する。

［第１の実施の形態］
本第１の実施の形態では、主点位置を設定できないグラフィックス・ライブラリを用いる場合に、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行いＭＲ画像生成する。そして、ＭＲ画像の生成後に適切な領域を切り出すことによって、実写画像と仮想画像が同じ見え方になるように表示装置に出力する。

図１は、本発明に係る画像処理装置の第１の実施の形態における概略構成を示すブロック図である。

図１において、画像処理装置は、撮像装置１０１、表示装置１０２、コンピュータ２００によって構成される。コンピュータ２００は、さらにＣＰＵ２０１、ＲＡＭ２０２、ディスク装置２０３、画像入力装置２０４、画像描画装置２０５、システムバス２０６から構成される。

撮像装置１０１は、ビデオカメラなどの機器によって実現され、実写画像を撮像する。撮像された実写画像は、画像入力装置２０４によってコンピュータ２００の内部に取り込まれる。

表示装置１０２は、ＣＲＴやＬＣＤなどのディスプレイ装置によって実現され、コンピュータ２００内部の画像描画装置２０５から出力される表示画像を、表示画面に表示することにより、画像をユーザに提示する。

ＣＰＵ２０１は、ディスク装置２０３に保持されているプログラムコードをＲＡＭ２０２に転送し、その命令に基づいて処理を実行する。ＣＰＵ２０１はシステムバス２０６に接続され、ＲＡＭ２０２、ディスク装置２０３、画像入力装置２０４、画像描画装置２０５と相互に通信することで、各部を制御する。

ＲＡＭ２０２は、メモリ等の主記憶装置によって実現される。ＲＡＭ２０２は、システムバス２０６を介して供給される、処理を実行するためのプログラムコードやプログラムの制御情報などの各種データを一時的に保持する。

ディスク装置２０３は、不揮発性の記憶装置であり、ハードディスク等の補助記憶装置によって実現される。ディスク装置２０３は、本実施の形態を実現するためのプログラムのプログラムコードやプログラムの制御情報などを保持する。後述する較正情報についても、ディスク装置２０３に保持されている。画像処理装置が起動された後、これらのデータについてはＣＰＵ２０１によってディスク装置２０３から読み出され、ＲＡＭ２０２に保持される。以後、ＣＰＵ２０１はＲＡＭ２０２に保持されている較正情報３００を用いて処理を行う。

ここで、較正情報について、図２を用いて説明する。図２において、３００は、較正情報を示し、本実施の形態において、主点位置３０１、焦点距離３０２、画像サイズ３０３の各パラメータから構成され、撮像装置１０１の個体に特有の値である。較正情報３００は、撮像装置１０１の特性（例えばレンズの焦点距離）が変化しない限りにおいて、各パラメータは固定値として扱うことができる。較正情報３００は、撮像装置１０１によって特定の指標を撮像して得られた画像（実写画像）から算出することができる。本実施の形態では、画像処理装置の起動して使用する前に、あらかじめ算出した較正情報３００を、ディスク装置２０３に保持しておく。較正情報３００の算出には、非特許文献１に記載されている手法を用いることができるため、その詳細については省略する。

主点位置３０１は、実写画像における撮像装置１０１の光学中心を示す位置であり、実写画像中の特定の画素を示す座標（ｕｐ，ｖｐ）として表される。

焦点距離３０２は、撮像装置１０１の光学中心から撮像素子までの距離であり、その値をｆと表す。

画像サイズ３０３は、撮像装置１０１が撮像する画像の大きさを示す値であり、画像の横方向と縦方向とで独立の値（ｗｒ，ｈｒ）を持つ。横方向の大きさがｗｒ、縦方向の大きさがｈｒである。撮像装置１０１の画角は、画像サイズ３０３を焦点距離３０２で除算することにより算出される。

図１に戻り、画像入力装置２０４は、キャプチャカードなどの画像入力機器やＵＳＢ、ＩＥＥＥ１３９４などの入力インタフェースを持つ装置によって実現される。画像入力装置２０４は、撮像装置１０１から入力される実写画像をコンピュータ２００内部に取り込み、取り込んだ実写画像データをＲＡＭ２０２に書き込む。

画像描画装置２０５は、グラフィックスカードなどの画像描画機器によって実現される。本実施の形態では、画像出力装置２０５は、ＣＰＵ２０１からの指令を受け、実写およびＣＧの描画処理を行い、描画結果となる画像を生成し、画像描画装置２０５の内部に備えているフレームバッファ（非図示）に保持する。その後、画像描画装置２０５は、フレームバッファが保持している画像を表示装置１０２で表示可能な表示画像に変換したのち表示装置１０２へ送出する。

システムバス２０６には、コンピュータ２００を構成する各機器が接続され、上記機器が相互に通信するための通信路である。

以上のような構成を備えた本実施の形態の制御について、図３に示すフローチャートを用いて説明する。

図３は、本実施の形態の画像処理装置が行う動作処理のフローチャートである。なお、同フローチャートに従ったプログラムコードは、本実施の形態の装置内のディスク装置２０３やＲＡＭ２０２などの記憶装置内に格納され、ＣＰＵ２０１により読み出され、実行される。

本実施の形態では、最初に撮像装置１０１の較正処理（ステップＳ１０００）を行い、その後に描画処理（ステップＳ１１００）を行う。以下、ステップＳ１０００およびステップＳ１１００において行われる処理について、詳細に説明する。

図４は、ステップＳ１０００における撮像装置１０１の較正処理の処理手順を示すフローチャートである。ステップＳ１０００は、ステップＳ１０１０からＳ１０３０までの処理によって構成される。

まず、ステップＳ１０１０では、画像処理装置は「較正モード」で起動される。画像処理装置が起動されると、撮像装置１０１は実写画像を撮像する。本実施の形態では、撮像された実写画像は、画像入力装置２０４を介してコンピュータ２００の内部に取り込まれ、ＲＡＭ２０２に実写画像データとして格納される。また、ユーザは、撮像装置１０１の位置姿勢を変えながら、複数枚の実写画像を撮像し、その結果複数の実写画像データがコンピュータ２００の内部に取り込まれることになる。

なお、本実施の形態では、撮像装置１０１はコンピュータ２００の画像入力装置２０４に直接接続されているが、この構成に限られるものではない。例えば、撮像装置１０１がメモリカードなどの図示しない記憶領域を内部に備えている場合、前記記憶領域を介して実写画像をコンピュータ２００の内部に取り込むようにしてもよい。すなわち、撮像した実写画像を前記記憶領域に保持させ、コンピュータ２００（より正確にはＣＰＵ２０１）は前記記憶領域を参照して、実写画像をＲＡＭ２０２に格納するようにしてもよい。この場合、コンピュータ２００が前記記憶領域を参照することによって画像入力装置２０４の機能を実現していることになる。

ステップＳ１０２０において、ＣＰＵ２０１は、ＲＡＭ２０１内に取り込まれた実写画像を用いて、較正情報３００を算出する。算出された較正情報３００はＲＡＭ２０１内に書き込まれる。較正情報３００の算出方法については、前述の通り非特許文献１に記載の方法を用いればよい。

ステップＳ１０３０において、ＣＰＵ２０１は、ＲＡＭ２０２内の較正情報３００をディスク装置２０３に書き込む。ディスク装置２０３に書き込まれた較正情報３００は、ステップＳ１１００の描画処理においてＣＰＵ２０１によって読み出される。なお、ステップＳ１１００の描画処理においてＣＰＵ２０１が較正情報３００を読み出すことができれば、較正情報３００を保持するのはディスク装置２０３に限らない。例えば、ＲＡＭ２０２内部に記録した較正情報３００をＣＰＵ２０１が直接読み出すように構成してもよく、その場合にはステップＳ１０３０の処理は不要となる。

なお、本実施の形態では、ステップＳ１０１０からステップＳ１０３０までを順次実行しているが、ステップＳ１０１０とステップＳ１０２０を必要に応じて繰り返し実行するようにしてもよい。例えば、ステップＳ１０２０終了時に、ＣＰＵ２０１が自動的にあるいはユーザが較正情報３００の内容を判断して、ステップＳ１０１０に戻る、またはステップＳ１０３０に進むといったことを選択するようにしてもよい。また、ステップＳ１０３０の処理を行った後もステップＳ１０１０に戻り、これを何度か繰り返した後にステップＳ１０００の較正処理を終了するようにしてもよい。いずれにせよ、ステップＳ１０００の処理が終了した後には、較正情報３００がディスク装置２０３（またはＲＡＭ２０２）に格納されていることになる。

また、較正情報３００が既に得られている場合（較正情報３００は撮像装置に固有のパラメータであるため、以前に算出・保存した較正情報３００を繰り返し利用することが可能な場合がある）には、ステップＳ１０００の処理を省略するようにしてもよい。

図５は、図３のステップＳ１１００における描画処理の手順を示すフローチャートである。ステップＳ１１００は、ステップＳ１１１０からＳ１１７０までの処理によって構成される。

まず、ステップＳ１１１０では、本実施の形態の画像処理装置は「描画モード」で起動される。画像処理装置が起動されると、初期化処理として、ステップＳ１０００によって算出された較正情報３００を読み込む。より具体的には、ＣＰＵ２０１によって、ディスク装置２０３に格納されている較正情報３００が読み出され、ＲＡＭ２０２に保持される。なお、ステップＳ１０００で、較正情報３００をＲＡＭ２０２に保持したままとし、ディスク装置２０３に出力しないように構成している場合には、ＣＰＵ２０１はディスク装置２０３から読み出すまでもなく、ＲＡＭ２０２に較正情報３００が保持されている。そのため、ステップＳ１１１０での初期化処理が不要となる。

次に、ステップＳ１１２０では、較正情報３００のうち主点位置３０１および画像サイズ３０３を用いて、後述するウィンドウ領域３０の設定処理を行う。本実施の形態において、ウィンドウ領域の設定処理には、ウィンドウ領域３０の生成、ウィンドウ領域３０のサイズの設定、ウィンドウ領域３０の出力範囲の設定が含まれる。

図６は、ステップＳ１１２０で設定されるウィンドウ領域３０（多角形ａｂｆｄの領域）について示している。本実施の形態では、表示装置１０２に出力される基準座標（本実施の形態では、スクリーンの左上隅の座標）をスクリーン座標系の原点ｏとし、図の右方向にｕ軸、下方向にｖ軸を取る。図６の座標はすべてスクリーン座標系を基準として記述している。また、ウィンドウ領域３０中の多角形ｏｃｆｅの領域１０に実写画像が描画されるものとする（ステップＳ１１４０）。本実施の形態におけるウィンドウ領域３０は、領域１０に表示された実写画像の主点位置を中心とし、実写画像の各辺と主点位置との距離のうち、縦横それぞれについて長い距離（すなわち、横方向であれば実写画像の右辺と主点位置との距離と、実写画像１０の左辺と主点位置との距離のうち、どちらか長い距離１つ）の縦横それぞれ２倍の長さを持つ領域となっている。また、ウィンドウ領域３０の基準座標を原点にとっている。

本実施の形態では、ウィンドウ領域３０は画像描画装置２０５の内部に備えられている不図示のバッファ（例えばバックバッファ）として設定される。ＣＰＵ２０１は画像描画装置２０５に対してウィンドウ領域３０のサイズを指定することによって、バッファ内に、指定された大きさの画像を保持する領域が設定される。

また、画像描画装置２０５はバッファのうち一部を表示装置１０２に表示画像２０として出力する機能を備えており、ウィンドウ領域３０の基準座標とウィンドウ領域３０の出力サイズとを指定することによってウィンドウ領域３０の出力範囲が決定される。本実施の形態では、ウィンドウ領域３０の出力サイズには画像サイズ３０３（実写画像のサイズ（ｗｄ，ｈｄ））が設定される。

ここで、本実施の形態におけるウィンドウ領域３０のサイズおよび基準座標を算出する方法について、図６を用いてより詳細に説明する。

まず、ウィンドウ領域３０のサイズを以下の方法によって算出する。ウィンドウ領域３０のサイズを（ｗｄ，ｈｄ）とする。ここでｗｄはウィンドウ領域３０の横方向のサイズ、ｈｄはウィンドウ領域３０の縦方向のサイズである。また、既に説明したように、主点位置３０１を（ｕｐ，ｖｐ）、画像サイズ３０３を（ｗｒ，ｈｒ）とする。このとき、（ｗｄ，ｈｄ）は以下の式によって算出することができる。ただし、ｍａｘ｛ａ，ｂ｝は、ａ，ｂのいずれか大きい値を返す関数である。
ｗｄ＝２×ｍａｘ｛ｕｐ，ｗｒ−ｕｐ｝
ｈｄ＝２×ｍａｘ｛ｖｐ，ｈｒ−ｖｐ｝ ・・・（式３）
図６の例では、ｗｄ＝ｗｒ−ｕｐ，ｈｄ＝ｈｒ−ｖｐとなる。

上記の式３によって、ウィンドウ領域３０のサイズ（ｗｄ，ｈｄ）は、主点位置３０１と画像の両端（画像の四辺の内の右辺と左辺、及び、上辺と下辺）との間の距離のうち、それぞれの長いほうの２倍に設定される。ウィンドウ領域３０のサイズ（ｗｄ，ｈｄ）と実写画像の大きさ（すなわち画像サイズ３０３）（ｗｒ，ｈｒ）との間には、常にｗｄ≧ｗｒ，ｈｄ≧ｈｒの関係が成り立つ。

次に、ウィンドウ領域３０の中心と主点位置３０１とを一致させるようにウィンドウ領域３０の基準座標を定める。具体的には、以下の方法によって算出する。実写画像の左上を原点ｏ（０，０）、ウィンドウ領域３０の左上隅の座標を基準座標ａ（ｕｏ，ｖｏ）とすると、（ｕｏ，ｖｏ）は以下の式によって算出することができる。
ｕｏ＝０（ｕｐ≧ｗｒ／２ のとき）またはｗｒ−ｗｄ（それ以外のとき）
ｖｏ＝０（ｖｐ≧ｈｒ／２ のとき）またはｈｒ−ｈｄ（それ以外のとき） ・・・（式４）
図６の例では、ｕｏ＝ｗｒ−ｗｄ，ｖｏ＝ｈｒ−ｈｄとなる。

図５に戻り、ステップＳ１１３０において、撮像装置１０１は実写画像を撮像する。撮像された実写画像は、画像入力装置２０４を介してコンピュータ２００の内部に取り込まれ、ＲＡＭ２０２に実写画像データとして格納される。

ステップＳ１１４０において、画像描画装置２０５はステップＳ１１３０で取り込まれた実写画像をウィンドウ領域３０に書き込む。より具体的には、ＣＰＵ１０１はＲＡＭ２０２から実写画像の画像データを読み出し、ステップＳ１１２０において確保された画像描画装置２０５内の前記バッファに画像データを書き込む。このとき、実写画像の左上の座標がスクリーン座標系の原点と一致するように（すなわち、図６の多角形領域ｏｃｆｅと一致するように）描画する。

ステップＳ１１５０において、ＣＰＵ２０１（または画像描画装置２０５）は、ウィンドウ領域３０に三次元ＣＧを描画する。本実施の形態では、三次元ＣＧを描画する仮想カメラの画角を、較正情報３００に含まれる焦点距離３０２とステップＳ１１２０で得られたウィンドウ領域３０のサイズ（ｗｄ，ｈｄ）とを用いて、設定する。三次元ＣＧを描画する仮想カメラの水平画角ｆｏｖｗ，垂直画角をｆｏｖｈは以下の式によって算出することができる。
ｆｏｖｗ＝２×ａｒｃｔａｎ（ｗｄ／（２×ｆ））
ｆｏｖｈ＝２×ａｒｃｔａｎ（ｈｄ／（２×ｆ）） ・・・（式５）
なお、本実施の形態の場合、水平画角・垂直画角のうち、垂直画角ｆｏｖｈのみが算出できればよい。

本実施の形態では、三次元ＣＧ描画プログラムには視体積のｌｅｆｔ，ｒｉｇｈｔ，ｔｏｐ，ｂｏｔｔｏｍの代わりにアスペクト比αを、垂直方向画角ｆｏｖｙおよびｎｅａｒ，ｆａｒの値を設定できるものを想定する。仮想カメラの射影パラメータの設定として、ｆｏｖｙには式５のｆｏｖｈを設定する。また、アスペクト比にはｈｄ／ｗｄの値を設定する。

このように仮想カメラの視体積を設定した後、画像描画装置２０５は三次元ＣＧの描画処理を行い、画像描画装置２０５内部の前記バッファに描画結果を書き込む。このとき、ウィンドウ領域３０の一部（図６の多角形領域ｏｃｆｅ）については、ステップＳ１１４０の処理により、実写画像が既に描画されている。そのため、三次元ＣＧの背景部分については、前記バッファを更新せず、実写画像を上書きしないように描画結果の書き込みを行う。この結果、ウィンドウ領域３０にＭＲ画像が描画されたことになる（より正確には図６の多角形領域ｏｃｆｅのみにＭＲ画像が描画される）。

ステップＳ１１６０において、画像描画装置２０５は、ウィンドウ領域３０の一部を切り出し、表示装置１０２に出力する。より具体的には、画像描画装置２０５は、画像描画装置２０５の内部に保持されているバッファ（すなわちＭＲ画像）から、スクリーン座標の原点と出力サイズとで設定される矩形の領域を切り出し、表示画像を生成して表示装置１０２に送出する。本実施の形態では、出力サイズには画像サイズ３０３（実写画像のサイズ（ｗｄ，ｈｄ））が設定されている。

すなわち、ステップＳ１１６０において生成された表示画像は、図６における多角形領域ｏｃｆｅ（実写画像が描画された領域）に等しい。実際にはステップＳ１１５０によって、図６における多角形領域ａｂｆｄ（ウィンドウ領域３０の全域）に三次元ＣＧが描画されているが、ステップＳ１１６０によって、表示画像は多角形領域ｏｃｆｅにトリミングされる。ウィンドウ領域３０はステップＳ１１２０によって、主点位置３０１がウィンドウ領域３０の中心座標となるように設定されている。視線軸に対して上下・左右対称の視体積が設定され、ウィンドウ領域３０の中心座標が仮想カメラの射影中心となるように三次元ＣＧが描画される。この時点で、実写画像と仮想カメラの射影中心が一致している。描画結果の画像を多角形領域ｏｃｆｅにトリミングすることによって、上下・左右非対称の視体積を設定したのと同じ描画結果が得られることになる。

なお、ステップＳ１１６０では、画像描画装置２０５がウィンドウ領域３０の一部を抽出する抽出処理を行っているが、表示装置１０２が抽出処理を行うようにしてもよい（この場合、表示画像はトリミングされる前の画像となり、最終的な表示画像とは一致しない）。また、切り出し処理はＣＰＵ２０１が行ってもよいし、コンピュータ２００の内部あるいは外部に切り出しを行うための電気回路を別途備えるようにしてもよい。

ステップＳ１１７０では、描画処理（すなわちステップＳ１１００の処理）を終了するか否か判断し、継続する場合は、ステップＳ１１３０に戻り、終了する場合は、本処理を終了する。

以上述べたように、第１の実施の形態によれば、主点位置を設定できない三次元ＣＧ描画プログラムを用いる場合に、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行うことによりＭＲ画像を生成し、ＭＲ画像の生成後に適切な領域を切り出すことによって、実写画像と仮想画像が同じ見え方になるように、表示装置に出力することが可能となる。

［第２実施の形態］
本第２実施の形態では、ＨＭＤを装着したユーザに対して、右眼と左眼とにそれぞれ異なる視点から観測される（実際のユーザの右眼および左眼の位置から観測される）ＭＲ画像を提示する。このとき、右眼と左眼のそれぞれに対して、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行うことでＭＲ画像を生成し、ＭＲ画像の生成後に適切な領域を切り出して表示する。

図８は、本発明に係る画像処理装置の第２の実施の形態における概略構成を示すブロック図である。第１の実施の形態（図１）と比較すると、撮像装置１０１と表示装置１０２がそれぞれ２つずつ備わっている。それ以外の構成要素は、第１の実施の形態と同様であり、以下では、第１の実施の形態と異なる部分についてのみ説明する。

撮像装置１０１Ａおよび撮像装置１０１ＢはＨＭＤに備えられ、ユーザ視点の右眼および左眼視点からのそれぞれの実写画像を撮像する。以下では、撮像装置１０１Ａで撮像した実写画像を実写画像１０Ａ、撮像装置１０１Ｂで撮像した実写画像を実写画像１０１Ｂと言う。本実施の形態では、撮像装置１０１Ａはユーザの左眼視点からの画像を撮像し、実写画像１０Ａを画像入力装置２０４０に送出する。同様に撮像装置１０１Ｂはユーザの右眼視点からの画像を撮像し、実写画像１０Ｂを画像入力装置２０４０に送出する。なお、左眼および右眼の役割を適宜入れ替えてもよい。

表示装置１０１Ａおよび表示装置１０２ＢはＨＭＤに備えられ、ユーザの左眼および右眼からのみ観測されるように配置され、それぞれ異なる画像を表示する。以下では、表示装置１０１に表示される画像を表示画像２０Ａ、表示装置１０１Ｂに表示される画像を表示画像２０１Ｂと言う。本実施の形態では、表示装置１０１Ａに入力された表示画像２０Ａはユーザの左眼のみで観測され、表示装置１０１Ｂに入力された表示画像２０Ｂはユーザの右眼のみで観測される。

較正情報３００について、パラメータの種類については第１の実施の形態と同じであるが、本第２の実施の形態では２つの撮像装置を備えるため、較正情報３００が２つ存在する。本実施の形態では撮像装置１０１Ａに対応するものを較正情報３００Ａ、撮像装置１０１Ｂに対応するものを較正情報３００Ｂと言う。主点位置３０１、焦点距離３０２、画像サイズ３０３についても同様に主点位置３０１Ａ、主点位置３０１Ｂのように言い、２つの撮像装置のうち、どちらのパラメータであるかを区別する。

本実施の形態では、図９に示すように、１つのウィンドウ領域を生成し、ウィンドウ領域中に左眼用のＭＲ画像（図９中の左下り斜線で塗られた領域）と右眼用のＭＲ画像（図９中の右下り斜線で塗られた領域）の両方を生成し、描画する。画像描画装置２０５０は、ウィンドウ領域から右眼用のＭＲ画像の領域を切り出し、表示画像２０Ｂを表示装置２０１Ｂに送出する。同様に、画像描画装置２０５０は、ウィンドウ領域から左眼用のＭＲ画像の領域を切り出し、表示画像２０Ａを表示装置２０１Ａに送出する。

本実施の形態の画像処理装置が行う処理のフローチャートは、第１の実施の形態（図３）と同様である。本第２の実施の形態も、第１の実施の形態と同様に、最初に撮像装置１０１の較正処理（ステップＳ１０００）を行い、その後に描画処理（ステップＳ１１００）を行う。ステップＳ１０００において行われる撮像装置１０１の較正処理の処理手順についても、第１の実施の形態（図４）と同じである。ただし、本実施の形態では撮像装置１０１は２系統（撮像装置１０１Ａ、撮像装置１０１Ｂ）備えられているため、ステップＳ１０００では較正情報３００Ａと較正情報３００Ｂの両方を、それぞれ算出する。

また、ステップＳ１１００における本実施の形態での描画処理の手順を示すフローチャートについても、第１の実施の形態（図５）と同様である。以下、処理の内容について，第１の実施の形態と異なる部分についてのみ説明する。

ステップＳ１１２０において、較正情報３００Ａ、Ｂのうち主点位置３０１Ａ、Ｂおよび画像サイズ３０３Ａ、Ｂを用いて、ウィンドウ領域３０の設定処理を行う。

図１０では、本実施の形態において、ステップＳ１１２０で設定されるウィンドウ領域３０（多角形ＡＣＮＬの領域）について示している。ウィンドウ領域３０の内部に右眼用・左眼用の２つのＭＲ画像が生成されることになる。ウィンドウ領域３０の内部の領域に描画される実写画像１０Ａの領域は多角形ＯＥＭＬの領域であり、実写画像１０Ｂの領域は多角形ＢＣＫＨの領域である。

図１０において、多角形ＯＤＢＣＫＩＭＬの領域は左眼用の仮想画像描画領域４０Ａおよび右眼用の仮想画像描画領域４０Ｂである。本実施の形態においては、この領域に対して仮想画像が描画されることになる。仮想画像描画領域４０Ａ、４０Ｂのサイズを（ｗｄ，ｈｄ）とすると、（式３）によって仮想描画領域４０Ａ、４０Ｂのサイズを決定することができる。また、（式４）によって、仮想描画領域４０Ａの基準座標を決定することができる。ただし、（式４）は実写画像の左上隅の座標を原点としているため、仮想画像描画領域４０Ｂについては、実写画像１０Ａの画像サイズを加える必要がある。すなわち、以下の式のように表される。
ｕｏ＝ｗｒ（ｕｐ≧ｗｒ／２のとき）または２×ｗｒ−ｗｄ（それ以外のとき）
ｖｏ＝０（ｖｐ≧ｈｒ／２のとき）またはｈｒ−ｈｄ（それ以外のとき） ・・（式４’）

本実施の形態におけるウィンドウ領域３０については、２つの仮想画像描画領域４０Ａ、４０Ｂを内包するように定める。すなわち、図１１における多角形ＡＣＮＬの領域を本実施の形態でのウィンドウ領域３０となるようにサイズと位置を定める。

ステップＳ１１３０において、撮像装置１０１Ａ、撮像装置１０１Ｂはそれぞれ実写画像１０Ａ、実写画像１０Ｂを撮像する。撮像された実写画像１０Ａ、実写画像１０Ｂは、画像入力装置２０４を介してコンピュータ２００の内部に取り込まれ、ＲＡＭ２０２に画像データとして格納される。

ステップＳ１１４０において、画像描画装置２０５０はステップＳ１１３０で取り込まれた実写画像１０Ａおよび実写画像１０Ｂをウィンドウ領域３０に書き込む。実写画像１０Ａは図１０の多角形ＯＥＭＬの領域に、実写画像１０Ｂは図１０の多角形ＢＣＫＨの領域にそれぞれ描画される。

ステップＳ１１５０において、ＣＰＵ２０１（または画像描画装置２０５０）は、ウィンドウ領域３０内部の仮想画像描画領域４０Ａおよび４０Ｂに三次元ＣＧを描画する。

まず、仮想画像描画領域４０Ａの描画処理について述べる。第１の実施の形態と同様に、仮想画像描画領域４０Ａに仮想画像が描画されるように仮想カメラの視体積を設定するのであるが、主点位置３０１Ａの値によっては、仮想画像描画領域４０Ａと、実写画像１０Ｂとが重なってしまう場合がある。すなわち、左眼用の仮想画像によって、右眼用の実写画像１０Ｂの一部を上書きしてしまう場合が存在する。この場合、仮想画像描画領域４０Ａと実写画像１０Ｂが重複する領域をマスク領域として、マスク処理を行うことで仮想画像を描画しないように対処する必要がある。

より具体的には、主点位置３０１Ａが画像中心３０３Ａの右側に存在するとき、仮想画像描画領域４０Ａと実写画像１０Ｂが重なってしまう（図１１における点線で囲まれた領域（多角形ＤＥＩＨの領域））。この場合、仮想画像描画領域４０Ａのうち、実写画像１０Ａを除く領域（図１１における多角形ＤＥＭＬＧＨの領域）については、仮想画像を生成せず、実写画像１０Ｂを上書きしないようにマスク処理を行う。

本実施の形態の場合、画像描画装置２０５にはステンシルバッファ（非図示）が備えられている。仮想画像描画領域４０Ａのうち、ステンシルバッファ上の実写画像１０Ａを除く領域に関してフラグをオンにする。ステンシルバッファのフラグ設定を行った後で三次元ＣＧを描画すると、図１１における多角形ＤＥＭＬＧＨの領域については仮想画像の描画が行われない。すなわち、生成される仮想画像は実写画像１０Ａと同じ領域のみ三次元ＣＧが描画されており、それ以外の領域については、何も描画されていないことになる。

本実施の形態では、実写画像１０Ａを除く領域（図１１における多角形ＤＥＭＬＧＨの領域）についてステンシルバッファのマスク領域の設定を行っているが、重複領域（図１１における点線で囲まれた領域）についてのみマスク領域の設定を行うようにしてもよい。

また、本実施の形態ではステンシルバッファを用いてマスク処理を行っているが、他の方法を用いてもよい。例えばＺバッファ（奥行きバッファ）を用いて、実写画像１０Ａを除く領域に対して、最も近い奥行き値を格納するようにして、奥行き判定時にＣＧが描画されないようにしてもよい。

仮想画像描画領域４０Ｂの描画処理についても、仮想画像描画領域４０Ａの描画と同様の処理を行う（ただし、主点位置３０１Ｂが画像中心３０３Ｂの左側に存在するときに、ステンシルバッファの重複領域のフラグをオンにする）。

なお、本実施の形態では仮想画像描画領域４０Ａに対する描画、仮想画像描画領域４０Ｂに対する描画（すなわち、左眼用仮想画像の描画、右眼用仮想画像の描画）の順で処理を行ったが、この処理を逆にして、仮想画像描画領域４０Ｂに対する描画処理を先に行うようにしてもよい。

ステップＳ１１６０において、画像描画装置２０５は、ウィンドウ領域３０の一部を切り出し、表示装置１０２Ａおよび表示装置１０２Ｂに出力する。表示装置１０２Ａには、図１１における実写画像１０Ａの領域が、表示装置１０２Ｂには図１０における実写画像１０Ｂの領域がそれぞれ出力される。具体的な切り出し処理については、第１の実施の形態と同じである。

第２の実施の形態では、左眼用の画像を左側に、右眼の画像を右側に配置して描画および切り出しを行っているが、これに限られるものではない。例えば、左右の画像の役割を逆にしてもよいし、２つの画像を水平方向ではなく、垂直方向に配置するようにしてもよい。

以上述べたように、第２の実施の形態によれば、右眼と左眼のそれぞれに対して、実写画像の主点位置と仮想画像の画像中心とが一致するように仮想画像の描画領域を設定し、実写画像と仮想画像の描画を行い、ＭＲ画像の生成後に適切な領域を切り出して表示することが可能となる。

［その他の実施例］
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのコンピュータプログラムコードを記録したコンピュータ可読記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）がコンピュータ可読記憶媒体に格納されたコンピュータプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、コンピュータ可読記憶媒体から読出されたコンピュータプログラムコード自体が前述した実施例の機能を実現することになり、そのコンピュータプログラムコードを記憶した記憶媒体は本発明を構成することになる。

コンピュータプログラムコードを供給するためのコンピュータ可読記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したコンピュータプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのコンピュータプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、コンピュータ可読記憶媒体から読出されたコンピュータプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

第１の実施の形態における画像処理装置の概略構成を示すブロック図である。 較正情報の構成を説明するための図である。 第１の実施の形態における動作処理を示すフローチャートである。 第１の実施の形態における撮像装置１０１の較正処理の動作処理を示すフローチャートである。 第１の実施の形態における描画処理の動作処理を示すフローチャートである。 第１の実施の形態におけるウィンドウ領域３０の設定を説明するための図である。 三次元ＣＧにおける視体積を説明するための図である。 第２の実施の形態における画像処理装置の概略構成を示すブロック図である。 第２の実施の形態におけるウィンドウ領域、右眼用画像、左眼用画像の関係について説明するための図である。 第２の実施の形態におけるウィンドウ領域３０の設定を説明するための図である。 第２の実施の形態における重複領域を説明するための図である。

Claims (9)

1. 撮像手段で撮像された実写画像を取得する手段と、
   前記撮像手段の主点位置を取得する取得手段と、
   前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定手段と、
   前記仮想画像描画領域に描画する仮想画像を生成する生成手段と、
   前記設定手段で設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画手段と、
   前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出手段と、
   前記抽出手段で抽出した表示画像を、前記表示手段に表示する制御手段と
   を備え、
   前記設定手段は、前記主点位置から前記実写画像の四辺までの距離を算出し、前記算出した距離に基づく描画領域のサイズを設定し、当該設定されたサイズに基づいて前記主点位置を中心とした前記仮想画像描画領域を設定することを特徴とする画像処理装置。
2. 前記設定手段は、
   前記主点位置から前記実写画像の四辺までの距離を算出し、右辺と左辺および上辺と下辺のそれぞれの組み合わせについて、長い距離を選択する選択手段と、
   仮想画像を描画するための領域について、前記主点位置を中心として、前記選択手段よって選択された距離に基づく値を描画領域のサイズに設定するサイズの設定手段とを備え、
   前記サイズに基づき、前記仮想画像描画領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. さらに、前記仮想画像描画領域から前記実写画像を描画する領域を除いた領域において、前記仮想画像の一部の領域を描画しないようにするためのマスク領域を設定するマスク領域の設定手段とを備えることを特徴とする請求項１又は２の何れか１項に記載の画像処理装置。
4. 前記マスク領域は、ステンシルバッファ、又は、Ｚバッファを用いて設定されることを特徴とする請求項３に記載の画像処理装置。
5. 前記表示手段は、前記サイズに等しいサイズの表示画面を有することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記取得手段は、２つの撮像手段が撮像した実写画像をそれぞれ取得し、
   前記描画手段は、前記２つの実写画像と、前記２つの実写画像に対応する２つの仮想画像をそれぞれ描画し、
   前記抽出手段は、前記２つの異なる領域から表示画像を抽出し、
   前記制御手段は、抽出した２つの異なる表示画像を、それぞれ異なる表示手段に表示することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 撮像手段で撮像された実写画像を取得する工程と、
   前記撮像手段の主点位置を取得する取得工程と、
   前記主点位置と前記実写画像とに基づいて、仮想画像を描画する仮想画像描画領域を設定する設定工程と、
   前記仮想画像描画領域に描画する仮想画像を生成する生成工程と、
   前記設定工程において設定された仮想画像描画領域に、前記仮想画像と前記実写画像とを描画する描画工程と、
   前記仮想画像描画領域から表示手段に表示する領域の表示画像を抽出する抽出工程と、
   前記抽出工程において抽出した表示画像を、前記表示手段に表示する制御工程と
   を有し、
   前記設定工程では、前記主点位置から前記実写画像の四辺までの距離を算出し、前記算出した距離に基づく描画領域のサイズを設定し、当該設定されたサイズに基づいて前記主点位置を中心とした前記仮想画像描画領域を設定することを特徴とする画像処理方法。
8. コンピュータを請求項１乃至６のいずれか１項に記載の画像処理装置として機能させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納したコンピュータ可読記憶媒体。

Images