JP2013196492A - 画像重畳処理装置、方法およびプログラム - Google Patents

Abstract

【課題】遮蔽物の背面のおけるカメラの設置や運動視差を用いることなく簡便な方法で即時的且つ直感的な透明視を実現することができる画像重畳処理装置方法およびプログラムを提供する。
【解決手段】画像配置手段は、境界位置算出手段によって算出された境界の表示画面上の対応位置と重なるように仮想物画像を表示画面上に配置する。輝度算出手段は輝度データを参照して物体の輝度と、背景の輝度と、仮想物画像が表示画面上において物体と重なる第１の部分の輝度と、仮想物画像が表示画面上において背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように仮想物画像の第１の部分の輝度および第２の部分の輝度を調整する。
【選択図】図１

Description

本発明は、現実環境に存在する物体またはその画像上に仮想物画像を重ねて表示する画像重畳処理装置、方法およびプログラムに関する。

近年、現実の環境から知覚に与えられる情報に、コンピュータが作り出した情報を重ね合わせることにより補足的な情報を与える拡張現実（ＡＲ：augmented reality）という技術が注目されつつある。例えば、ヘッドマウントディスプレイ（ＨＭＤ）のような眼前に装着できる透過型のディスプレイに、装着者の見ている対象物と関連する文字、画像、映像などを重ね合わせて表示することで、肉眼では見えない部分を見えるようにしたり、関連情報を提供したりする実装例が提案されている。

コンピュータが作り出す付加情報の提示形態としては、現実環境に存在する壁などの遮蔽物をあたかも透視するかのように関連画像等を遮蔽物に重ねて表示する形態が考えられる。そのような表示形態を用いる場面としては、例えば、自動車で見通しの悪い交差点を通過するときに、通信手段を用いて遮蔽物の背後に存在する車両や人の画像をその遮蔽物に重ねて表示することにより、ユーザに遮蔽物の背後に車両や人が存在することを報知するような場合が挙げられる。このような場合において、単に車両や人の画像を遮蔽物に重ねて表示しただけでは、その画像は遮蔽物の背後に存在するものとして知覚されず、遮蔽物の表面にその画像が描かれているように知覚されてしまうおそれがある。すなわち、単に遮蔽物に画像を重ねるだけでは透明視が成立しない場合がある。

例えば、特許文献１および非特許文献１には、遮蔽物の背面にカメラを設置し、取得した画像を観測者視点から見た画像となるように画像変換することにより遮蔽物の透明視を実現する技術が記載されている。

また、非特許文献２には、運動視差を利用することにより物体表面とその内部で別個のオプティカルフローを生じさせることで物体の透明視を実現する技術が記載されている。

特開２００８−１９８１９６号公報

P.C. Barunum ほか, "Dynamic Seethroughs: Synthesizing Hidden Views of Moving Objects" , ISMAR 2009 N.Elmqvist ほか, "Employing Dynamic Transparency for 3D Occlusion Management: Design Issues and Evaluation", in Proc. of INTERACT 2007

上記した特許文献１や非特許文献１に記載の技術においては、遮蔽物の背面に設置したカメラによって取得した画像を遮蔽物の後方の背景と繋げて遮蔽物上に重畳させることにより透明視を実現している。しかしながら、この場合、遮蔽物の背面にカメラを設置することが必要となるため、かかる手法を利用できる場面が著しく限定されることとなる。

一方、非特許文献２に記載の技術では、運動視差を用いて透明視を実現しているので、重畳する画像を移動させなければ透明視が成立せず、また、透明視を行う対象物が遠方に存在する場合には運動視差が生じるのに時間がかかるといった問題がある。

本発明は、上記した事情に鑑みてなされたものであり、遮蔽物の背面のおけるカメラの設置や運動視差を用いることなく、より簡便な方法で即時的且つ直感的な透明視を実現することができる画像重畳処理装置、方法およびプログラムを提供することを目的とする。

本発明に係る画像重畳処理装置は、表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理装置であって、前記物体と前記物体後方の背景との境界を検出する境界検出手段と、前記物体の輝度と前記背景の輝度とを測定して前記物体の輝度と前記背景の輝度とを示す輝度データを生成する輝度測定手段と、前記境界検出手段によって検出された前記境界の前記表示画面上の対応位置を算出する境界位置算出手段と、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記仮想物画像を前記表示画面上に配置する画像配置手段と、前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記仮想物画像が前記表示画面上において前記物体と重なる第１の部分の輝度と、前記仮想物画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、を含んで構成されている。

本発明に係る他の態様の画像重畳処理装置は、表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理装置であって、前記物体と前記物体後方の背景との境界を検出する境界検出手段と、前記物体の輝度と前記背景の輝度とを測定して前記物体の輝度と前記背景の輝度とを示す輝度データを生成する輝度測定手段と、前記境界検出手段によって検出された前記境界の前記表示画面上の対応位置を算出する境界位置算出手段と、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、前記表示画面上に表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するマーカ画像取得手段と、前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記マーカ画像を配置するとともに前記表示画面上において前記物体と重なる位置に前記仮想物画像を配置する画像配置手段と、前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記マーカ画像が前記表示画面上において前記物体と重なる第１の部分の輝度と、前記マーカ画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、を含んで構成されている。

本発明に係る他の態様の画像重畳処理装置は、現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理装置であって、前記物体と前記物体後方の背景を撮像して物体画像と背景画像を含む現実環境画像を生成する撮像手段と、前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成する輝度検出手段と、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、前記仮想物画像を前記物体画像と前記背景画像の境界上に配置する画像配置手段と、前記輝度データを参照し、前記物体画像の輝度と、前記背景画像の輝度と、前記仮想物画像の前記物体画像と重なる第１の部分の輝度と、前記仮想物画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、を含んで構成されている。

本発明に係る他の態様の画像重畳処理装置は、現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理装置であって、前記物体と前記物体後方の背景を撮像して物体画像と背景画像を含む現実環境画像を生成する撮像手段と、前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成する輝度検出手段と、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、前記現実環境画像に重畳表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するマーカ画像取得手段と、前記マーカ画像を前記物体画像と前記背景画像の境界上に配置するとともに前記仮想物画像を前記物体画像上に配置する画像配置手段と、前記輝度データを参照して、前記物体画像の輝度と、前記背景画像の輝度と、前記マーカ画像の前記物体画像と重なる第１の部分の輝度と、前記マーカ画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように、前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、を含んで構成されている。

本発明に係る画像重畳処理方法は、表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理方法であって、制御手段が、境界検出手段に現実環境における物体と前記物体後方の背景との境界を検出させるステップと、制御手段が、輝度測定手段に前記物体の輝度と前記背景の輝度とを測定させ前記物体の輝度と前記背景の輝度とを示す輝度データを生成させるステップと、境界位置算出手段が、前記境界検出手段によって検出された前記境界の前記表示画面上の対応位置を算出するステップと、仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、画像配置手段が、前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記仮想物画像を前記表示画面上に配置するステップと、輝度調整手段が、前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記仮想物画像が、前記表示画面上において前記物体と重なる第１の部分の輝度と、前記仮想物画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、を含んで構成されている。

本発明に係る他の態様の画像重畳処理方法は、表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理方法であって、制御手段が、境界検出手段に現実環境における物体と前記物体後方の背景との境界を検出させるステップと、制御手段が、輝度測定手段に前記物体の輝度と前記背景の輝度とを測定させ前記物体の輝度と前記背景の輝度とを示す輝度データを生成させるステップと、境界位置算出手段が、前記境界検出手段によって検出された前記境界の表示画面上の対応位置を算出するステップと、仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、マーカ画像取得手段が、前記表示画面上に表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するステップと、画像配置手段が、前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記マーカ画像を配置するとともに前記表示画面上において前記物体と重なるように前記仮想物画像を配置するステップと、輝度調整手段が、前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記マーカ画像が前記表示画面上において前記物体と重なる第１の部分の輝度と、前記マーカ画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、を含んで構成されている。

本発明に係る他の態様の画像重畳処理方法は、現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理方法であって、制御手段が、撮像手段に前記物体と前記物体後方の背景を撮像させ物体画像と背景画像を含む現実環境画像を生成させるステップと、輝度検出手段が、前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成するステップと、仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、画像配置手段が、前記仮想物画像を前記物体画像と前記背景画像の境界上に配置するステップと、輝度調整手段が、前記輝度データを参照し、前記物体画像の輝度と、前記背景画像の輝度と、前記仮想物画像の前記物体画像と重なる第１の部分の輝度と、前記仮想物画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、を含んで構成されている。

本発明に係る他の態様の画像重畳処理方法は、現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理方法であって、制御手段が、撮像手段に前記物体と前記物体後方の背景を撮像させ物体画像と背景画像を含む現実環境画像を生成させるステップと、輝度検出手段が、前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成するステップと、仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、マーカ画像取得手段が、前記現実環境画像に重畳表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するステップと、画像配置手段が、前記マーカ画像を前記物体画像と前記背景画像の境界上に配置するとともに前記仮想物画像を前記物体画像上に配置するステップと、輝度調整手段が、前記輝度データを参照して、前記物体画像の輝度と、前記背景画像の輝度と、前記マーカ画像の前記物体画像と重なる第１の部分の輝度と、前記マーカ画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように、前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、を含んで構成されている。

本発明に係る画像重畳処理プログラムは、上記した画像重畳処理方法の各ステップをコンピュータに実行させる画像重畳処理プログラムである。

本発明に係る画像重畳処理装置、方法およびプログラムによれば、遮蔽物の背面のおけるカメラの設置や運動視差を用いることなく、従来よりも簡便な方法で即時的且つ直感的な透明視を実現することが可能となる。

図１は、本発明の第１の実施形態に係る画像重畳処理装置の構成を示すブロック図である。 図２（ａ）は、安定透明視が成立している場合を示す図である。図２（ｂ）は、両義的透明視が成立している場合を示す図である。図２（ｃ）は、透明視が成立していない場合を示す図である。 図３は、本発明の実施形態に係る画像重畳処理装置によって生成される画像を表示するためのディスプレイを示す模式図である。 図４は、本発明の実施形態に係る境界位置検出部の構成を示すブロック図である。 図５（ａ）および図５（ｂ）は、本発明の実施形態に係る画像重畳処理装置における画像重畳処理を示す図である。 図６は、本発明の実施形態に係る画像重畳処理装置によって実行される画像重畳処理ルーチンを示すフローチャートである。 図７は、本発明の実施形態に係る輝度算出部によって実行される輝度算出処理ルーチンを示すフローチャートである。 図８（ａ）〜図８（ｆ）は、本発明の実施形態に係る画像重畳処理装置による仮想物画像に対する輝度調整の結果を示す図である。 図９は、本発明の実施形態に係る画像重畳処理装置によって生成された画像を示す図である。 図１０は、本発明の第２の実施形態に係る画像重畳処理装置の構成を示すブロック図である。 図１１は、透明視の伝搬の効果を示す図である。 図１２は、透明視の伝搬の効果を実証するための試験に使用した刺激パターン一覧を示す図である。 図１３は、透明視の伝搬の効果を実証するための試験の結果を示すグラフである。 図１４は、本発明の第２の実施形態に係る画像重畳処理装置における画像重畳処理を示す図である。 図１５は、本発明の第２の実施形態に係る画像重畳処理装置によって実行される画像重畳処理ルーチンを示すフローチャートである。 図１６は、本発明の第２の実施形態に係る画像重畳処理装置によって生成された画像を示す図である。 図１７は、本発明の第２の実施形態に係る画像重畳処理装置によって形成された画像を示す図である。 本発明の第３の実施形態に係る画像重畳処理装置の構成を示すブロック図である。 本発明の第４の実施形態に係る画像重畳処理装置の構成を示すブロック図である。 図２０は、本発明の第４の実施形態に係る画像重畳処理装置によって実行される画像重畳処理ルーチンを示すフローチャートである。 本発明の第５の実施形態に係る画像重畳処理装置の構成を示すブロック図である。 本発明の第６の実施形態に係る画像重畳処理装置の構成を示すブロック図である。

以下、本発明の実施形態について図面を参照しつつ説明する。尚、各図において、実質的に同一又は等価な部分には同一の参照符号を付して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像重畳処理装置１の構成を示すブロック図である。画像重畳処理装置１は、ヘッドアップディスプレイやヘッドマウントディスプレイのような光透過性を有する画像表示画面を透過して視認される現実環境に存在する壁や建物などの物体に、コンピュータによって生成された仮想物画像を表示画面上において重ねて表示するものであり、仮想物画像と現実環境における物体との間で透明視が成立するように仮想物画像の画像処理を行うものである。

ここで、図２（ａ）は、図形１０１と図形１０２との間で安定透明視（Unique Transparency）が成立している場合を示している。すなわち、透明な図形１０１の背後に図形１０２が存在しているかのように視認することができる。

このような安定透明視が成立するための条件は２つある。第１番目の条件は、図形１０１の外縁線（エッジ）Ｅ１を横切るように図形１０２が重ねられ、図形１０１の外縁線（エッジ）Ｅ１と、図形１０２の外縁線（エッジ）Ｅ２とが十字交点Ｘを形成していることである。

安定透明視が成立するための第２番目の条件は、十字交点Ｘの周りの４つの領域Ｒ１、Ｒ２、Ｒ３、Ｒ４のそれぞれの輝度ａ、ａ’、ｂ、ｂ’の大きさが以下に示す式（１）および式（２）の双方を満たすことである。

１＞（ａ’−ｂ’）／（ａ−ｂ）＞０ ・・・（１）
（ａ−ａ’）／（ｂ−ｂ’）＜０ ・・・（２）

上記の式（１）は、領域Ｒ２の輝度ａ’と領域Ｒ４の輝度ｂ’の大小関係が領域Ｒ１の輝度ａと領域Ｒ３の輝度ｂの大小関係と一致しており且つ領域Ｒ２と領域Ｒ４との間のコントラスト（輝度差：ａ’−ｂ’）が、領域Ｒ１と領域Ｒ３との間のコントラスト（輝度差：ａ−ｂ）よりも小であることを意味している。

上記の式（２）は、領域Ｒ３の輝度ｂと領域Ｒ４の輝度ｂ’の大小関係が、領域Ｒ１の輝度ａと領域Ｒ２の輝度ａ’の大小関係と逆転していることを意味している。

上記の式（１）および（２）より、領域Ｒ１〜Ｒ４の輝度の順序が、
ｂ＞ｂ’＞ａ’＞ａ
又は
ａ＞ａ’＞ｂ’＞ｂ
を満たすとき図形１０１と図形１０２との間で安定透明視が成立する、と導くことができる。

図２（ｂ）は、図形１０１と図形１０２との間で両義的透明視（BistableTransparency）が成立している場合を示している。すなわち、図形１０１と図形１０２の前後関係が不明確であるものの、図形１０１と図形１０２との間で透明視が成立している場合である。

両義的透明視が成立するための条件は、図形１０１と図形１０２が十字交点Ｘを形成して交差することに加え、十字交点Ｘの周りの４つの領域Ｒ１、Ｒ２、Ｒ３、Ｒ４のそれぞれの輝度ａ、ａ’、ｂ、ｂ’が以下に示す式（３）および式（４）の双方を満たすことである。

１＞（ａ’−ｂ’）／（ａ−ｂ）＞０ ・・・（３）
（ａ−ａ’）／（ｂ−ｂ’）＞０ ・・・（４）

上記の式（３）は、領域Ｒ２の輝度ａ’と領域Ｒ４の輝度ｂ’の大小関係が領域Ｒ１の輝度ａと領域Ｒ３の輝度ｂの大小関係と一致しており且つ領域Ｒ２と領域Ｒ４との間のコントラスト（輝度差：ｂ−ｂ’）が、領域Ｒ１と領域Ｒ３との間のコントラスト（輝度差：ａ−ａ’）よりも小であることを意味している。

上記の式（４）は、領域Ｒ３の輝度ｂと領域Ｒ４の輝度ｂ’の大小関係が、領域Ｒ１の輝度ａと領域Ｒ２の輝度ａ’の大小関係と一致していることを意味している。

上記の式（３）および（４）より、領域Ｒ１〜Ｒ４の輝度の順序が、
ｂ＞（ｂ’，ａ）＞ａ’
又は
ａ’＞（ｂ’,ａ）＞ｂ
又は
ｂ’＞（ｂ，ａ’）＞ａ
又は
ａ＞（ｂ，ａ’）＞ｂ’
（但し括弧内は順不同、いずれも｜ａ’−ｂ’｜＜｜ａ−ｂ｜）
のいずれかを満たすとき、図形１０１と図形１０２との間で安定透明視が成立すると、導くことができる。

図２（ｃ）は、領域Ｒ１〜Ｒ４の輝度順序が上記した安定透明視条件または両義的透明視条件を満たしておらず、透明視が成立していない場合を示したものである。

本発明の実施形態に係る画像重畳処理装置１は、現実環境に存在する物体と、コンピュータによって生成された仮想物画像との間で安定透明視または両義的透明視が成立するように、仮想物画像の配置設定や輝度調整を行って、透過型のディスプレイ上において仮想物画像を現実空間の物体に重ねて表示する。

図１を参照して、ディスプレイ６０は、本発明の実施形態に係る画像重畳処理装置１によって構築された仮想物画像を表示する表示画面である。ディスプレイ６０は、ハーフミラーで構成された光透過性を有する画像表示画面である。図３に示すように、ディスプレイ６０は、ユーザＵの眼前に配置され、現実環境からの像Ａを透過させる一方、プロジェクタ５０から出射される仮想物画像ＶをユーザＵに向けて反射させる。ユーザＵは現実環境の物体の像Ａと、仮想物画像Ｖとを同時に視認することができる。ディスプレイ６０は、所謂ヘッドアップディスプレイまたはヘッドマウントディスプレイの形態を有するものであってもよい。

境界位置検出部１１は、現実環境に存在する壁や建物等の遮蔽物となり得る物体とその物体の後方に延在する背景との境界を検出して、検出した境界の位置を示す境界位置データを出力する。境界位置検出部１１は、例えば図４に示すように、カメラ１１１、遮蔽物候補抽出部１１２、境界候補抽出部１１３および境界判定部１１４により構成される。

カメラ１１１は、現実環境の対象領域を撮影する撮像装置である。遮蔽物候補抽出部１１２は、予め遮蔽物の画像特徴の機械学習がなされ、学習内容に基づいてカメラ１１１によって撮影された画像から遮蔽物候補領域を抽出する。境界候補抽出部１１３は、カメラ１１１で撮影された画像に含まれる縦方向エッジを境界候補として抽出する。境界判定部１１４は、境界候補抽出部１１３によって抽出された境界候補のうち、遮蔽物候補抽出部１１２によって抽出された遮蔽物候補領域に隣接し且つ縦方向の長さが遮蔽物候補領域の高さに最も近いものを選択して、選択した境界候補の位置座標を上記の境界位置データとして出力する。

尚、遮蔽物候補抽出部１１２、境界候補抽出部１１３および境界判定部１１４は、コンピュータにより構成することができる。また、遮蔽物候補抽出部１１２は、例えばレーザを用いて物体の３次元形状を検出する３次元形状計測装置により構成されていてもよい。

境界位置検出部１１によって生成される境界位置データは、カメラ１１１によって撮影された画像上の座標系で表示され得る。境界位置検出部１１は、制御部２０から供給される制御信号に応じて遮蔽物と背景の境界位置を検出して境界位置データを生成し、生成した境界位置データを制御部２０に供給する。制御部２０は、受信した境界位置データを境界位置算出部１３に供給する。

境界位置算出部１３は、制御部２０から供給される境界位置データに基づいて、遮蔽物と背景との境界の、ディスプレイ６０上における位置を算出する。すなわち、ユーザの視点からディスプレイ６０を介して遮蔽物を見たときに、ディスプレイ６０上のどこに遮蔽物と背景との境界が位置することになるのかを算出する。図５（ａ）は、ディスプレイ６０を介して視認される遮蔽物Ｃと、その後方に延在する背景Ｂとを示したものである。境界位置算出部１３は、制御部から供給された境界位置データによって示される境界位置をディスプレイ６０における座標系に変換することによりディスプレイ６０上における遮蔽物Ｃと背景Ｂとの境界の対応位置Ｌを特定する。境界位置算出部１３は、対応位置Ｌをディスプレイ６０における座標系で表示した変換座標境界位置データを生成し、これを配置算出部１６に供給する。

輝度測定部１２は、境界位置検出部１１による境界位置検出の対象となった遮蔽物および背景の輝度を測定し、遮蔽物および背景の輝度を示す輝度データを生成する。尚、輝度測定部１２は、境界位置検出部１１による遮蔽物と背景との境界位置の検出結果に基づいて遮蔽物と背景の位置を検出することができる。輝度測定部１２は、制御部２０から供給される制御信号に応じて輝度測定を開始して輝度データを生成し、生成した輝度データを制御部２０に供給する。制御部２０は、受信した輝度データを輝度算出部１６に供給する。

仮想物画像取得部１５は、ディスプレイ６０に表示すべき仮想物画像を生成する。仮想物画像は、コンピュータグラフィックス（ＣＧ）であり、人物や物の画像であってもよいし、文字、図形、記号などであってもよい。仮想物画像取得部１５は、制御部２０から供給される制御信号に基づいて仮想物画像を生成する。尚、仮想物画像取得部１５は、制御部２０から供給される制御信号に基づいて予め記憶媒体に記憶された複数の仮想物画像の中から１の仮想物画像を抽出することにより仮想物画像を取得してもよい。仮想物画像取得部１５は、取得した仮想物画像の画像データを輝度算出部１４および画像構築部１７に供給する。

配置算出部１６は、図５（ｂ）に示すように、境界位置算出部１３によって生成された変換座標境界位置データによって特定されるディスプレイ６０上における遮蔽物Ｃと背景Ｂとの境界の対応位置Ｌ上に、仮想物画像取得部１５によって取得された仮想物画像Ｖを重ねるべく仮想物画像の配置を算出する。すなわち、配置算出部１６は、仮想物画像Ｖがディスプレイ６０上において遮蔽物Ｃと十字交点を形成して交差することとなる仮想物画像Ｖの配置を算出する。配置算出部１６は、算出した仮想物画像の配置をディスプレイ６０上における座標系で表示した配置データとして出力する。配置データは、画像構築部１７に供給される。

輝度算出部１４は、図５（ｂ）に示すように、配置データに基づいて仮想物画像Ｖがディスプレイ６０上に配置されたときに、遮蔽物Ｃと仮想物画像Ｖとの間で透明視が成立する仮想物画像Ｖの輝度を算出する。すなわち、輝度算出部１４は、輝度測定部１２によって生成された輝度データによって示される遮蔽物Ｃ（領域Ｒ４）の輝度および背景Ｂ（領域Ｒ３）の輝度と、仮想物画像取得部１５によって取得された仮想物画像について予め設定されている初期の輝度を参照し、領域Ｒ１〜Ｒ４の輝度の大きさの順序が上記した安定透明視または両義的透明視の成立条件を満たすような仮想物画像Ｖの輝度（領域Ｒ１および領域Ｒ２の輝度）を算出する。ここで、領域Ｒ１は、仮想物画像Ｖの背景Ｂと重なる部分の領域である。領域Ｒ２は、仮想物画像Ｖの遮蔽物Ｃと重なる部分の領域である。領域Ｒ３は、背景Ｂの仮想物画像Ｖと重ならない部分の領域である。領域Ｒ４は、遮蔽物Ｃの仮想物画像Ｖと重ならない部分の領域である。

輝度算出部１４は、領域Ｒ１の輝度ａ、領域Ｒ２の輝度ａ’、領域Ｒ３の輝度ｂおよび領域Ｒ４の輝度ｂ’の大きさの順序が安定透明視の成立条件であるｂ＞ｂ’＞ａ’＞ａ若しくはａ＞ａ’＞ｂ’＞ｂを満たすように、または両義的透明視の成立条件であるｂ＞（ｂ’，ａ）＞ａ’若しくはａ’＞（ｂ’,ａ）＞ｂ若しくはｂ’＞（ｂ，ａ’）＞ａ若しくはａ＞（ｂ，ａ’）＞ｂ’（但し括弧内は順不同、いずれも｜ａ’−ｂ’｜＜｜ａ−ｂ｜）を満たすような仮想物画像Ｖの背景Ｂと重なる部分（領域Ｒ１）の輝度ａと、仮想物画像Ｖの遮蔽物Ｃと重なる部分（領域Ｒ２）の輝度ａ’の値を算出し、算出した輝度値を変調輝度データとして出力して画像構築部１７に供給する。

画像構築部１７は、仮想物画像の背景と重なる部分（領域Ｒ１）の輝度ａおよび仮想物画像の遮蔽物と重なる部分（領域Ｒ２）の輝度ａ’を、それぞれ、輝度算出部１４によって算出された輝度となるように調整するとともに、仮想物画像を配置算出部１６によって算出された位置に配置するように仮想物画像の構築を行い、構築した画像の画像データをプロジェクタ５０に供給する。

プロジェクタ５０は、画像構築部１７で構築された仮想物画像をディスプレイ６０上に投影する。

制御部２０は、画像重畳処理装置１の全体的な制御を司る構成部分であり、上記したように、各構成部分に対して制御信号を例えば出力し、また各種データの送受信を行う。

境界位置算出部１３、輝度算出部１４、仮想物画像取得部１５、配置算出部１６、画像構築部１７および制御部２０は、図６に示される後述の画像重畳処理ルーチンの各ステップを記述した画像重畳処理プログラムを格納したＲＯＭと、画像重畳処理プログラムを実行するためのＣＰＵと、ＣＰＵにおける処理内容を一時的に記憶しておくためのＲＡＭ等を備えたコンピュータで構成することができる。

次に本発明の第１の実施形態に係る画像重畳処理装置１によって実行される画像重畳処理ルーチンについて図６に示すフローチャートを参照しつつ説明する。

ステップＳ１において、制御部２０は、例えば外部から供給される制御入力に応じて境界位置検出部１１に対して境界位置検出を開始すべき制御信号を供給する。これにより、境界位置検出部１１は、現実環境における壁や建物などの遮蔽物と、その後方に延在する背景との境界を検出して境界位置データを生成し、生成した境界位置データを制御部２０に供給する。制御部２０は受信した境界位置データを境界位置算出部１３に供給する。

ステップＳ２において、制御部２０は輝度測定部１２に対して輝度測定を開始すべき制御信号を供給する。これにより、輝度測定部１２は、境界位置検出部１１によって検出された遮蔽物と背景の各々の輝度を測定して輝度データを生成し、生成した輝度データを制御部２０に供給する。制御部２０は受信した輝度データを輝度算出部１４に供給する。

ステップＳ３において、制御部２０は仮想物画像取得部１５に対して仮想物画像を取得すべき制御信号を供給する。この制御信号には取得すべき仮想物画像の内容が示されていてもよい。仮想物画像取得部１５は、制御信号に基づいて仮想物画像を生成し又は予め仮想物画像を記憶した記憶媒体から抽出する。仮想物画像取得部１５は、取得した仮想物画像の画像データを輝度算出部１４および画像構築部１７に供給する。

ステップＳ４において、境界位置算出部１３は、制御部２０から供給される境界位置データに基づいて、遮蔽物と背景との境界が透過型のディスプレイ６０上のどの位置に対応するのかを算出する。すなわち、境界位置算出部１３は、境界位置データによって示される遮蔽物と背景との境界位置をディスプレイ６０における座標系で表示した変換座境界位置データを生成し、これを配置算出部１６に供給する。

ステップＳ５において、配置算出部１６は、変換座標境界位置データによって示されるディスプレイ６０上における遮蔽物と背景との境界の対応位置上に、仮想物画像取得部１５によって取得された仮想物画像を重ねるべく仮想物画像の配置を算出する。すなわち、配置算出部１６は、仮想物画像が遮蔽物と十字交点を形成して交差することとなる仮想物画像の配置を算出し、算出した配置を配置データとして出力し、画像構築部１７に供給する。

ステップＳ６において、輝度算出部１４は、図７に示す輝度算出処理ルーチンを実行することにより、遮蔽物との間で透明視が成立する仮想物画像の輝度を算出し、算出した輝度を変調輝度データとして出力して画像構築部１７に供給する。

輝度算出部１４によって実行される輝度算出処理ルーチンについて図７を参照しつつ以下に説明する。

ステップＳ１１において、輝度算出部１４は、制御部２０から供給される輝度データを参照し、図５（ｂ）における領域Ｒ４の輝度ｂ’に対応する遮蔽物の輝度と、領域Ｒ３の輝度ｂに対応する背景の輝度を読み込む。更に輝度算出部１４は、仮想物画像取得部１５から供給された仮想物画像の画像データから仮想物画像において予め設定されている初期の輝度を読み込み、ステップＳ１２に進む。尚、仮想物画像において予め設定された初期の輝度は、仮想物画像の背景と重なる部分（領域Ｒ１）の輝度ａに対応する。

ステップＳ１２において、輝度算出部１４は、ステップＳ１１において読み込んだ輝度ａ、ｂおよびｂ’がｂ＞ｂ’＞ａまたはａ＞ｂ’＞ｂのいずれかを満たすか否かを判断し、満たすと判断した場合にはステップＳ１３に進み、満たさないと判断した場合にはステップＳ１４に進む。

ステップＳ１３において、輝度算出部１４は、輝度ｂおよび輝度ｂ’がｂ＞ｂ’を満たすか否かを判断し、満たすと判断した場合にはステップＳ１８に進み、満たさないと判断した場合にはステップＳ１９に進む。

ステップＳ１４において、輝度算出部１４は、仮想物画像において予め設定されている初期の輝度ａを変更することが可能であるか否かを判断し、可能であると判断した場合にはステップＳ１５に進み、可能ではないと判断した場合にはステップＳ２０に進む。この判断は、例えば仮想物画像に輝度変更の可否を示すデータを付随させておき、輝度算出部１４がこのデータを読みとることによって行うこととしてもよい。

ステップＳ１５において、輝度算出部１４は、輝度ｂおよびｂ’がｂ＞ｂ’を満たすか否かを判断し、満たすと判断した場合にはステップＳ１６に進み、満たさないと判断した場合にはステップＳ１７に進む。

ステップＳ１６において、輝度算出部１４は、輝度ａをαｂ’に設定してステップＳ１８に進む。ここで、αは、輝度の変更度合いを示す係数であり１＞α＞０の範囲に設定される。

ステップＳ１７において、輝度算出部１４は、輝度ａを（１−α）＜ＭＡＸ＞−αｂ’に設定してステップＳ１９に進む。ここでαは、輝度の変更度合いを示す係数であり１＞α＞０の範囲に設定される。尚、＜ＭＡＸ＞とは、設定し得る最大の輝度である。すなわち、輝度算出部１４は、設定し得る最大輝度を（１−α）倍した値から輝度ｂをα倍した値を減算した値を輝度ａの設定とする。

ステップＳ１８において、輝度算出部１４は、仮想物画像の遮蔽物と重なる部分の輝度ａ’をｂ’＞ａ’＞ａを満たす範囲に設定する。輝度算出部１４は、例えば輝度ａ’の値を輝度ｂ’と輝度ａの中央値に設定してステップＳ２７に進む。ステップＳ２７において、輝度算出部１４は、算出した輝度ａおよび輝度ａ’の値を変調輝度データとして出力し、本ルーチンを終了する。

ステップＳ１９において、輝度算出部１４は、仮想物画像の遮蔽物と重なる部分の輝度ａ’をａ＞ａ’＞ｂ’を満たす範囲に設定する。輝度算出部１４は、例えば輝度ａ’の値を輝度ａと輝度ｂ’の中央値に設定してステップＳ２７に進む。ステップＳ２７において、輝度算出部１４は、算出した輝度ａおよび輝度ａ’の値を変調輝度データとして出力し、本ルーチンが終了する。

尚、ステップＳ１８およびステップＳ１９を経る輝度算出結果によれば、ｂ＞ｂ’＞ａ’＞ａ又はａ＞ａ’＞ｂ’＞ｂを満たすこととなるので、仮想物画像と遮蔽物との間で安定透明視が成立することとなる。

ステップＳ２０において、輝度算出部１４は、輝度ｂおよび輝度ｂ’がｂ＞ｂ’を満たすか否かを判断し、満たすと判断した場合にはステップＳ２１に進み、満たさないと判断した場合にはステップＳ２２に進む。

ステップＳ２１において、輝度算出部１４は、輝度ａおよび輝度ｂがａ＞ｂを満たすか否かを判断し、満たすと判断した場合にはステップＳ２３に進み、満たさないと判断した場合にはステップＳ２４に進む。

ステップＳ２２において、輝度算出部１４は、輝度ａおよび輝度ｂがｂ＞ａを満たすか否かを判断し、満たすと判断した場合にはステップＳ２５に進み、満たさないと判断した場合にはステップＳ２６に進む。

ステップＳ２３において、輝度算出部１４は、仮想物画像の遮蔽物と重なる部分の輝度ａ’を（ａ−ｂ）＋ｂ’＞ａ’＞ｂ’を満たす範囲に設定する。輝度算出部１４は、例えば輝度ａ’の値を輝度（ａ−ｂ）＋ｂ’と輝度ｂ’の中央値に設定してステップＳ２７に進む。ステップＳ２７において、輝度算出部１４は、算出した輝度ａ’の値を変調輝度データとして出力し、本ルーチンが終了する。

ステップＳ２４において、輝度算出部１４は、仮想物画像の遮蔽物と重なる部分の輝度ａ’をｂ’＞ａ’＞ｍａｘ（０，ｂ’−（ｂ−ａ））を満たす範囲に設定する。輝度算出部１４は、例えば輝度ａ’の値を輝度ｂ’と輝度ｍａｘ（０，ｂ’−（ｂ−ａ））の中央値に設定してステップＳ２７に進む。ここで、ｍａｘ（０，ｂ’−（ｂ−ａ））とは、輝度０（すなわち、設定し得る最低輝度）または輝度｛ｂ’−（ｂ−ａ）｝のうち、より大きい方の値である。ステップＳ２７において、輝度算出部１４は、算出した輝度ａ’の値を変調輝度データとして出力し、本ルーチンが終了する。

ステップＳ２５において、輝度算出部１４は、仮想物画像の遮蔽物と重なる部分の輝度ａ’をｂ’＞ａ’＞ｂ’−（ｂ−ａ）を満たす範囲に設定する。輝度算出部１４は、例えば輝度ａ’の値を輝度ｂ’と輝度ｂ’−（ｂ−ａ）の中央値に設定してステップＳ２７に進む。ステップＳ２７において、輝度算出部１４は、算出した輝度ａ’の値を変調輝度データとして出力し、本ルーチンが終了する。

ステップＳ２６において、輝度算出部１４は、仮想物画像の遮蔽物と重なる部分の輝度ａ’をｂ’＋（ａ−ｂ）＞ａ’＞ｂ’を満たす範囲に設定する。輝度算出部１４は、例えば輝度ａ’の値を輝度ｂ’＋（ａ−ｂ）と輝度ｂ’の中央値に設定してステップＳ２７に進む。ステップＳ２７において、輝度算出部１４は、算出した輝度ａ’の値を変調輝度データとして出力し、本ルーチンが終了する。

尚、ステップＳ２３〜Ｓ２６を経る輝度算出結果によれば、ｂ＞（ｂ’，ａ）＞ａ’又はａ’＞（ｂ’,ａ）＞ｂ又はｂ’＞（ｂ，ａ’）＞ａ又はａ＞（ｂ，ａ’）＞ｂ’を満たすこととなるので、仮想物画像と遮蔽物との間で両義的透明視が成立することとなる。

輝度算出部１４による上記した輝度算出処理ルーチンが終了すると図６に示すフローチャートのステップＳ７に進む。

ステップＳ７において、画像構築部１７は、仮想物画像が遮蔽物と重なる部分（領域Ｒ２）の輝度ａ’および仮想物画像が背景と重なる部分（領域１）の輝度ａを、輝度算出部１４から供給される変調輝度データに基づいて調整するとともに、仮想物画像を配置算出部１６から供給される配置データに基づいて配置することにより仮想物画像の構築を行う。構築された仮想物画像の画像データはプロジェクタ５０に供給される。プロジェクタ５０は、輝度調整がなされた仮想物画像を、ディスプレイ６０上における遮蔽物と背景との境界の投影線と十字交点を形成して交差する位置に投影する。ディスプレイ６０上に投影された仮想物画像は、遮蔽物と間で透明視が成立しており、遮蔽物の背後に存在しているかのように視認される。以上の各ステップを経ることにより画像重畳処理ルーチンが終了する。尚、上記した画像重畳処理ルーチンの各ステップをコンピュータに実行させるための画像重畳処理プログラムが構成され得る。

図８（ａ）〜（ｆ）は、画像重畳処理装置１による仮想物画像に対する輝度調整の結果を示す図である。各図において上段は輝度調整前の状態であり、下段は輝度調整後の状態である。図８（ａ）は、図７に示すフローチャートのステップＳ１８に係る輝度算出に基づく輝度調整の結果である。図８（ｂ）は、図７に示すフローチャートのステップＳ１９に係る輝度算出に基づく輝度調整の結果である。図８（ｃ）は、図７に示すフローチャートのステップＳ２３に係る輝度算出に基づく輝度調整の結果である。図８（ｄ）は、図７に示すフローチャートのステップＳ２４に係る輝度算出に基づく輝度調整の結果である。図８（ｅ）は、図７に示すフローチャートのステップＳ２５に係る輝度算出に基づく輝度調整の結果である。図８（ｆ）は、図７に示すフローチャートのステップＳ２６に係る輝度算出に基づく輝度調整の結果である。例えば、図８（ａ）において、遮蔽物Ｃの輝度ｂ’は１９１であり、背景Ｂの輝度ｂは２５５であり、仮想物画像Ｖの初期の輝度ａは３８である。この場合において、画像重畳処理装置１は、仮想物画像Ｖの遮蔽物Ｃと重なる部分の輝度ａ’を３８から１２７に変更する。これによりｂ＞ｂ’＞ａ’＞ａとなり、安定透明視条件を満たすので、遮蔽物と仮想物画像との間で透明視が成立する。

図９は、画像重畳処理装置１によって生成された画像を示す図である。図９において、現実環境に存在する遮蔽物（壁）Ｃにコンピュータグラフィックスによって生成された仮想物画像（自動車の画像）Ｖが重畳表示されている。遮蔽物Ｃと仮想物画像Ｖとの間で透明視が成立しているのが理解できる。

以上の説明から明らかなように、本発明の第１の実施形態に係る画像重畳処理装置１によれば、コンピュータグラフィックによって生成される仮想物画像は、現実環境に存在する遮蔽物と背景との境界線のディスプレイ６０上における対応位置と重なる位置に配置され、ディスプレイ６０上において遮蔽物と仮想物画像とが十字交点を形成して交差する。また、この十字交点周りの４つの領域Ｒ１〜Ｒ４の輝度の順序が安定透明視条件または両義的透明視条件を満たすように仮想物画像の輝度調整が行われる。

このように、本発明の第１の実施形態に係る画像処理装置１によれば、遮蔽物の背面にカメラを設置することなく透明視を実現することが可能となり、あらゆる場面において透明視が成立する画像を生成することが可能となる。また、透明視を実現する際に運動視差を利用しないので、画像に動きを持たせる必要がなく、また遠方の遮蔽物に対しても直ちに透明視を成立させることが可能である。すなわち、本発明の実施形態に係る画像重畳処理装置１によれば、従来よりも簡便な方法で即時的且つ直感的な透明視を実現することができる。

（第２の実施形態）
以下に、本発明の第２の実施形態に係る画像重畳処理装置２について詳細に説明する。図１０は、画像重畳処理装置２の構成を示すブロック図である。

画像重畳処理装置２は、上記した第１の実施形態に係る画像重畳処理装置１と同様、現実環境に存在する物体と仮想物画像との間で透明視が成立するように仮想物画像の画像処理を行う。第２の実施形態に係る画像重畳処理装置２が第１の実施形態に係る画像重畳処理装置１と異なる点は、遮蔽物と仮想物画像との間で透明視を成立させるために、本発明者が発見した「透明視の伝播」という人間の視覚特性を利用する点である。

図１１は、「透明視の伝播」を示す図である。図１１に示すように、図形２０１は、図形２０３との間で透明視が成立している。一方、図形２０２は、図形２０３内に完全に包含されており、上記したような十字交点を形成していないので、図形２０２は単独では、図形２０３との間で透明視は成立していない。しかしながら、これらの図形を全体的に眺めてみると、図形２０２と図形２０３との間でも透明視が成立しているように視認される。これは、図形２０１と図形２０３との間で成立している透明視の効果が図形２０２にも伝搬しているためである。この効果を「透明視の伝播」と称することとする。

本発明者は、「透明視の伝播」の効果を実証するべく、図１２に示す１２個の刺激パターンを複数の被験者にランダムに提示して、各刺激パターンが、全体として透明に見えるかどうかを質問した。その結果を図１３に示す。使用した刺激パターンは、以下の４つのグループ分類される。第１のグループは、図形２０１と図形２０３との間で透明視が成立しており且つ図形２０１と図形２０２の輝度が同一である刺激パターン、第２のグループは、図形２０１と図形２０３との間で透明視が成立していない刺激パターン、第３のグループは、図形２０１と図形２０３との間で透明視が成立しており且つ図形２０１と図形２０３とのコントラスト（輝度差）が図形２０２と図形２０３とのコントラストよりも大きい刺激パターン、第４のグループは、図形２０１と図形２０３との間で透明視が成立しており且つ図形２０１と図形２０３とのコントラスト（輝度差）が図形２０２と図形２０３とのコントラスト（輝度差）よりも小さい刺激パターンである。

図１３において棒グラフは、上記した４つのグループの各々について被験者毎に取得した透明視成立割合（被験者が透明に見えると判定した割合）の平均値を示し、線グラフは分散を示している。図１３に示すように、第１のグループおよび第３のグループにおいて透明視成立割合は高く且つ分散も小さかった。第２のグループにおいては透明視成立割合は顕著に低かった。この結果は、「透明視の伝播」の効果を裏付けるものといえる。第４のグループでは、透明視成立割合が若干低下しており分散も大きい。この結果は、図形２０１と図形２０３とのコントラストと、図形２０２と図形２０３とのコントラストの大小関係が透明視の成立割合に影響することを示している。

本発明の第２の実施形態に係る画像重畳処理装置２は、遮蔽物に完全に重なるように仮想物画像を配置した場合、すなわち、遮蔽物と仮想物画像とが十字交点を形成して交差しない場合に、遮蔽物との間で透明視が成立するように構築されたマーカ画像を用いて「透明視の伝播」の効果を得ることにより遮蔽物と仮想物画像との間で透明視を成立させるものである。

以下、画像重畳処理装置２が、上記した第１の実施形態に係る画像重畳処理装置１と異なる点について詳細に説明する。

画像重畳処理装置２は、主に、マーカ画像取得部１８を更に有する点で第１の実施形態に係る画像重畳処理装置１と異なる。

マーカ画像取得部１８は、ディスプレイ６０に表示すべきマーカ画像を生成する。マーカ画像は、コンピュータグラフィックス（ＣＧ）であり、人物や物の画像であってもよいし、文字、図形、記号などであってもよい。マーカ画像取得部１８は、制御部２０から供給される制御信号に基づいてマーカ画像を生成する。尚、マーカ画像取得部１８は、制御部２０から供給される制御信号に基づいて予め記憶媒体に記憶された複数のマーカ画像の中から１のマーカ画像を抽出することによりマーカ画像を取得してもよい。マーカ画像取得部１８は、取得したマーカ画像を輝度算出部１４ａおよび画像構築部１７ａに供給する。

配置算出部１６ａは、図１４に示すように、境界位置算出部１３によって生成された変換座標境界位置データによって特定されるディスプレイ６０上における遮蔽物Ｃと背景Ｂとの境界の対応位置Ｌ上に、マーカ画像取得部１８によって取得されたマーカ画像Ｍを重ねるべくマーカ画像Ｍの配置を算出する。すなわち、配置算出部１６ａは、マーカ画像Ｍがディスプレイ６０上において遮蔽物Ｃと十字交点を形成して交差することとなるマーカ画像Ｍの配置を算出する。また、配置算出部１６ａは、仮想物画像取得部１５によって取得された仮想物画像をディスプレイ６０上において遮蔽物Ｃと十字交点を形成しない位置に重ねるべく仮想物画像Ｖの配置を算出する。例えば、配置算出部１６ａは遮蔽物Ｃと完全に重なる仮想物画像Ｖの配置を算出する。配置算出部１６ａは、算出した仮想物画像およびマーカ画像の配置をディスプレイ６０上における座標系で表示した配置データとして出力する。配置データは、画像構築部１７ａに供給される。

輝度算出部１４ａは、図１４に示すように配置データに基づいてマーカ画像Ｍがディスプレイ６０上に配置されたときに、遮蔽物Ｃとマーカ画像Ｍとの間で透明視が成立するマーカ画像Ｍの輝度を算出する。すなわち、輝度算出部１４ａは、輝度測定部１２によって生成された輝度データによって示される遮蔽物Ｃ（領域Ｒ４）の輝度および背景Ｂ（領域Ｒ３）の輝度と、マーカ画像取得部１８によって取得されたマーカ画像について予め設定されている初期の輝度を参照し、領域Ｒ１〜Ｒ４の輝度の順序が上記した安定透明視または両義的透明視の成立条件を満たすようなマーカ画像Ｍの輝度（領域Ｒ１および領域Ｒ２の輝度）を算出する。ここで、領域Ｒ１は、マーカ画像Ｍの背景Ｂと重なる部分の領域である。領域Ｒ２は、マーカ画像Ｍの遮蔽物Ｃと重なる部分の領域である。領域Ｒ３は、背景Ｂのマーカ画像Ｍと重ならない部分の領域である。領域Ｒ４は、遮蔽物Ｃのマーカ画像Ｍと重ならない部分の領域である。

輝度算出部１４ａは、領域Ｒ１の輝度ａ、領域Ｒ２の輝度ａ’、領域Ｒ３の輝度ｂおよび領域Ｒ４の輝度ｂ’の大きさの順序が安定透明視の成立条件であるｂ＞ｂ’＞ａ’＞ａ若しくはａ＞ａ’＞ｂ’＞ｂを満たすように、または両義的透明視の成立条件であるｂ＞（ｂ’，ａ）＞ａ’若しくはａ’＞（ｂ’,ａ）＞ｂ若しくはｂ’＞（ｂ，ａ’）＞ａ若しくはａ＞（ｂ，ａ’）＞ｂ’（但し括弧内は順不同、いずれも｜ａ’−ｂ’｜＜｜ａ−ｂ｜）を満たすようなマーカ画像Ｍの背景Ｂと重なる部分（領域Ｒ１）の輝度ａと、マーカ画像Ｍの遮蔽物Ｃと重なる部分（領域Ｒ２）の輝度ａ’の値を算出し、算出した値を変調輝度データとして出力して画像構築部１７ａに供給する。

画像構築部１７ａは、マーカ画像の背景と重なる部分（領域Ｒ１）の輝度ａおよびマーカ画像の遮蔽物と重なる部分（領域Ｒ２）の輝度ａ’を、それぞれ、輝度算出部１４ａによって算出された輝度となるように調整するとともに、マーカ画像および仮想物画像を配置算出部１６ａによって算出された位置に配置することによりマーカ画像および仮想物画像の構築を行う。

尚、境界位置検出部１１、輝度測定部１２、境界位置算出部１３、仮想物画像取得部１５および制御部２０は、上記した第１の実施形態に係る画像重畳処理装置１と同様であるので、それらの説明は省略する。

境界位置算出部１３、輝度算出部１４ａ、仮想物画像取得部１５、配置算出部１６ａ、画像構築部１７ａ、マーカ画像取得部１８および制御部２０は、図１５に示される後述の画像重畳処理ルーチンの各ステップを記述した画像重畳処理プログラムを格納したＲＯＭと、画像重畳処理プログラムを実行するためのＣＰＵと、ＣＰＵにおける処理内容を一時的に記憶しておくためのＲＡＭ等を備えたコンピュータで構成することができる。

次に本発明の第２の実施形態に係る画像重畳処理装置２によって実行される画像重畳処理ルーチンについて図１５に示すフローチャートを参照しつつ説明する。

ステップＳ３１において、制御部２０は、例えば外部から供給される制御入力に応じて境界位置検出部１１に対して境界位置検出を開始すべき制御信号を供給する。これにより、境界位置検出部１１は、現実環境における壁や建物などの遮蔽物と、その後方に延在する背景との境界を検出して境界位置データを生成し、生成した境界位置データを制御部２０に供給する。制御部２０は受信した境界位置データを境界位置算出部１３に供給する。

ステップＳ３２において、制御部２０は輝度測定部１２に対して輝度測定を開始すべき制御信号を供給する。これにより、輝度測定部１２は、境界位置検出部１１によって検出された遮蔽物と背景の各々の輝度を測定して輝度データを生成し、生成した輝度データを制御部２０に供給する。制御部２０は受信した輝度データを輝度算出部１４ａに供給する。

ステップＳ３３において、制御部２０は仮想物画像取得部１５に対して仮想物画像を取得すべき制御信号を供給する。この制御信号には、取得すべき仮想物画像の内容が示されていてもよい。仮想物画像取得部１５は、この制御信号に基づいて、仮想物画像を生成し又は予め仮想物画像を記憶した記憶媒体から仮想物画像を抽出する。仮想物画像取得部１５は、取得した仮想物画像の画像データを輝度算出部１４ａおよび画像構築部１７ａに供給する。

ステップＳ３４において、制御部２０はマーカ画像取得部１８に対してマーカ画像を取得すべき制御信号を供給する。この制御信号には、取得すべきマーカ画像の内容が示されていてもよい。マーカ画像取得部１８は、この制御信号に基づいて、マーカ画像を生成し又は予めマーカ画像を記憶した記憶媒体からマーカ画像を抽出する。マーカ画像取得部１８は取得したマーカ画像を仮想物画像構築部１７ａおよび輝度算出部１４ａに供給する。尚、先のステップＳ３３において取得された仮想物画像と大きさや形状が同一であるマーカ画像または仮想物画像と観念的に関連するマーカ画像を取得することで、「透明視の伝播」の効果をより高めることが可能となる。

ステップＳ３５において、境界位置算出部１３は、制御部２０から供給される境界位置データに基づいて、遮蔽物と背景との境界が透過型のディスプレイ６０上のどの位置に対応するのかを算出する。すなわち、境界位置算出部１３は、境界位置データによって示される遮蔽物と背景との境界位置をディスプレイ６０における座標系で表示した変換座標境界位置データを生成し、これを配置算出部１６ａに供給する。

ステップＳ３６において、配置算出部１６ａは、変換座標境界位置データによって示されるディスプレイ６０上における遮蔽物と背景との境界の対応位置上にマーカ画像取得部１８によって取得されたマーカ画像を重ねるべくマーカ画像の配置を算出する。すなわち、配置算出部１６ａは、マーカ画像が遮蔽物と十字交点を形成して交差することとなるマーカ画像の配置を算出する。また、配置算出部１６ａは、仮想物画像取得部１５によって取得された仮想物画像をディスプレイ６０上において遮蔽物Ｃと十字交点を形成しない位置に重ねるべく仮想物画像Ｖの配置を算出する。配置算出部１６ａは、算出したマーカ画像および仮想物画像の配置を配置データとして出力し、画像構築部１７ａに供給する。

ステップＳ３７において、輝度算出部１４ａは、図７に示す輝度算出処理ルーチンを実行することにより、遮蔽物との間で透明視が成立するマーカ画像の輝度を算出して変調輝度データを生成する。本実施例においては、マーカ画像の背景と重なる部分（領域Ｒ１）の輝度が輝度ａに対応し、マーカ画像の遮蔽物と重なる部分（領域Ｒ２）の輝度が輝度ａ’に対応する。輝度算出部１４ａによる輝度算出処理ルーチンが終了すると図１５に示すフローチャートのステップＳ３８に進む。

ステップＳ３８において、画像構築部１７ａは、マーカ画像が遮蔽物と重なる部分（領域Ｒ２）の輝度ａ’およびマーカ画像が背景と重なる部分（領域Ｒ１）の輝度ａを、それぞれ、輝度算出部１４ａから供給される変調輝度データに基づいて調整するとともに、マーカ画像および仮想物画像を配置算出部１６ａから供給される配置データに基づいて配置することによりマーカ画像および仮想物画像の構築を行う。構築された仮想物画像の画像データはプロジェクタ５０に供給される。プロジェクタ５０は、輝度調整がなされたマーカ物画像を、ディスプレイ６０上における遮蔽物と背景との境界の投影線と十字交点を形成して交差する位置に投影する。ディスプレイ６０上に投影された仮想物画像は、マーカ画像によってもたらされる「透明視の伝播」の効果によって、遮蔽物の背後に存在しているかのように視認される。以上の各ステップを経ることにより画像重畳処理ルーチンが終了する。尚、上記した画像重畳処理ルーチンの各ステップをコンピュータに実行させるための画像重畳処理プログラムが構成され得る。

図１６は、画像重畳処理装置２によって生成された画像を示す図である。図１６において、現実環境に存在する遮蔽物（壁）Ｃにコンピュータグラフィックスによって生成された仮想物画像（自動車の画像）Ｖおよびマーカ画像Ｍを重畳表示されている。マーカ画像Ｍによってもたらされる「透明視の伝播」の効果によって遮蔽物Ｃと仮想物画像Ｖとの間で透明視が成立しているのが理解できる。

以上の説明から明らかなように、本発明の第２の実施形態に係る画像重畳処理装置２によれば、遮蔽物に完全に重なるように仮想物画像を配置する場合、すなわち、遮蔽物と仮想物画像とが十字交点を形成しない場合でも、遮蔽物との間で透明視が成立するようにマーカ画像を構築することによって「透明視の伝播」の効果が生じるので、遮蔽物と仮想物画像との間で透明視を成立させることが可能となる。

尚、上記した実施形態では、図１４や図１６に示すように、マーカ画像Ｍは、単一形状を有する場合を例示したが、マーカ画像取得部１８は、図１７に示すような互いに間隔をおいて離間した２つのマーカ片ｍ１およびｍ２からなるマーカ画像を取得することとしてもよい。この場合、配置算出部１６ａは、図１７に示すように、マーカ片ｍ１およびｍ２を遮蔽物Ｃと背景Ｂとの境界を跨ぐように配置するべくマーカ画像Ｍの配置を算出する。すなわち、マーカ片ｍ１を遮蔽物Ｂに重畳表示し、マーカ片ｍ２を背景Ｃに重畳表示するべくマーカ画像Ｍの配置を算出する。また、輝度算出部１４ａは、マーカ画像ｍ１の輝度を上記した単一形状のマーカ画像における領域Ｒ１に対応する輝度ａに対応させ、
マーカ画像ｍ２の輝度を単一形状のマーカ画像における領域Ｒ２に対応する輝度ａ’に対応させる。このように互いに分離したマーカ片ｍ１およびｍ２を使用する場合においても、マーカ片ｍ１およびｍ２の輝度を適切な値に設定することにより、単一形状を有するマーカ片の場合と同様、「透明視の伝播」の効果を得ることができる。分離マーカ片ｍ１およびｍ２は、これらの間隙のどこかに遮蔽物と背景の境界が位置するように配置されればよく、高い位置精度でマーカ画像Ｍを配置することを要しないので、遮蔽物と背景との境界の位置検出精度を確保できない場合に有効となる。

（第３の実施形態）
以下に、本発明の第３の実施形態に係る画像重畳処理装置について詳細に説明する。図１８は、本発明の第３の実施形態に係る画像重畳処理装置３の構成を示すブロック図である。

画像重畳処理装置３は、上記した本発明の第２の実施形態に係る画像重畳処理装置２と同様、遮蔽物に完全に重なるように仮想物画像を配置した場合、マーカ画像を用いて「透明視の伝播」の効果を得ることにより遮蔽物と仮想物画像との間で透明視を成立させるものである。ここで、図１３に示す「透明視の伝搬」を実証するための試験結果によれば、刺激パターンの第２のグループと第３のグループとの間で透明視の成立割合に有意差が見られた。このことは、マーカ画像と遮蔽物とのコントラストを仮想物画像と遮蔽物とのコントラストよりも大きく設定することにより「透明視の伝播」の効果を高められることを示している。かかる点に鑑みて、本発明の第３の実施形態に係る画像重畳処理装置３においては、「透明視の伝播」の効果を高めるべく仮想物画像およびマーカ画像の遮蔽物に対するコントラストを調整するコントラスト調整部１９を有する。

コントラスト調整部１９は、図１４に示すようにディスプレイ６０上にマーカ画像Ｍおよび仮想物画像Ｖを配置する場合において、マーカ画像の遮蔽物と重なる部分（領域Ｒ２）と遮蔽物（領域Ｒ４）とのコントラスト（輝度差）が、仮想物画像と遮蔽物とのコントラスト（輝度差）よりも大となるような仮想物画像の輝度を算出し、算出した値をコントラスト調整データとして画像構築部１７ｂに供給する。コントラスト調整部１９は、コントラスト調整データを生成するにあたり、制御部２０から供給される遮蔽物と背景の輝度を示す輝度データと、輝度算出部１４ａによって生成された変調輝度データおよび仮想物画像取得部１５によって取得された仮想物画像の輝度を参照する。

画像構築部１７ｂは、マーカ画像における領域Ｒ１および領域Ｒ２の輝度を、輝度算出部１４ａによって算出された輝度となるように調整するとともに、仮想物画像取得部１５によって取得された仮想物画像の輝度をコントラスト調整部１９によって算出された輝度となるように調整し、輝度調整がなされたマーカ画像および仮想物画像を配置算出部１６ａによって算出された位置に配置することによりマーカ画像および仮想物画像の構築を行う。

コントラスト調整部１９および画像構築部１７ｂ以外の構成部分は、第２の実施形態に係る画像重畳装置２と同様であるので、それらの説明については省略する
尚、コントラスト調整部１９は、仮想物画像のみならずマーカ画像の輝度をも変更して上記したようなコントラスト調整を行うこととしてもよいし、マーカ画像の輝度のみを変更して上記したようなコントラスト調整を行うこととしてもよい。マーカ画像の輝度を変更する場合には、遮蔽物に対して透明視が成立する範囲内において輝度調整を行うことが必要である。

このように、本発明の第３の実施形態に係る画像重畳処理装置３によれば、マーカ画像を用いて「透明視の伝播」の効果を得ることにより遮蔽物と仮想物画像との間で透明視を成立させる場合において、マーカ画像と遮蔽物とのコントラスト（輝度差）が、仮想物画像と遮蔽物とのコントラストよりも大きく設定されるので、「透明視の伝播」の効果をより高めることが可能となる。

（第４の実施形態）
以下に、本発明の第４の実施形態に係る画像重畳処理装置について詳細に説明する。図１９は、本発明の第４の実施形態に係る画像重畳処理装置４の構成を示すブロック図である。

上記した第１乃至第３の実施形態に係る画像重畳処理装置は、光透過性のディスプレイを介して視認される現実環境に存在する壁や建物などの遮蔽物に対して透明視が成立するように仮想物画像を重畳表示するものであった。これに対し、本発明の第４の実施形態に係る画像重畳処理装置４は、現実環境に存在する物体をカメラ等の撮像装置によって撮影することにより現実環境画像を取得し、取得した現実環境画像に対して透明視が成立するように仮想物画像を重畳表示するものである。

ディスプレイ６０ｃは、画像重畳処理装置４によって生成された画像を表示するための表示画面である。ディスプレイ６０ｃは、例えば液晶パネルや有機ＥＬパネルなどの表示装置により構成される。

撮像部３０は、現実環境における物体やその後方に延在する背景を撮像して画像データを生成する撮像装置である。撮像部３０は、制御部２０から供給される制御信号に応じて現実環境を撮像して現実環境画像の画像データを生成し、生成した画像データを制御部２０に供給する。制御部２０は、受信した現実環境画像の画像データを輝度検出部２１および画像構築部１７ｃに供給する。

境界位置検出部１１は、撮像部３０によって取得された現実環境画像に含まれる壁や建物などの遮蔽物とその後方に延在する背景との境界を検出して、検出した境界の位置を示す境界位置データを出力する。尚、境界位置データによって示される境界の位置は、例えば現実環境画像の座標系で示される。境界位置検出部１１は、例えば、図４に示すような構成を有し得るが、この場合、撮像部３０が、図４に示されたカメラ１１１を兼ねることができる。境界位置検出部１１は、制御部２０から供給される制御信号に応じて境界検出を開始して境界位置データを生成し、これを制御部２０に供給する。制御部２０は、受信した境界位置データを輝度検出部２１および配置算出部１６ｃに供給する。尚、遮蔽物画像と背景画像の境界位置をユーザのマニュアル操作で入力することとしてもよい。この場合、境界位置検出部１１は、不要となる。

仮想物画像取得部１５は、ディスプレイ６０ｃに表示すべき仮想物画像を生成する。仮想物画像は、コンピュータグラフィックス（ＣＧ）であり、人物や物の画像であってもよいし、文字、図形、記号などであってもよい。仮想物画像取得部１５は、制御部２０から供給される制御信号に基づいて仮想物画像を生成する。尚、仮想物画像取得部１５は、制御部２０から供給される制御信号に基づいて予め記憶媒体に記憶された複数の仮想物画像の中から１の仮想物画像を抽出することにより仮想物画像を取得してもよい。仮想物画像取得部１５は、取得した仮想物画像を輝度検出部２１および画像構築部１７ｃに供給する。

輝度検出部２１は、制御部２０から供給される現実環境画像に含まれる遮蔽物画像と背景画像の各々の輝度および仮想物画像取得部１５から供給される仮想物画像の輝度を検出し、これらの画像の輝度を示す輝度データを出力する。尚、輝度検出部２１は、制御部２０から供給される境界位置データに基づいて遮蔽物画像と背景画像の位置を特定することができる。輝度検出部２１は、生成した輝度データを輝度算出部１４ｃに供給する。

配置算出部１６ｃは、制御部２０から供給される境界位置データによって示される遮蔽物画像と仮想物画像との境界線上に、仮想物画像取得部１５によって取得された仮想物画像を重ねるべく仮想物画像の配置を算出する。すなわち、配置算出部１６ｃは、仮想物画像が遮蔽物画像と十字交点を形成して交差するべく仮想物画像の配置を算出する。配置算出部１６ｃは、算出した仮想物画像の配置をディスプレイ６０ｃ上における座標系で表示した配置データとして出力して画像構築部１７ｃに供給する。

輝度算出部１４ｃは、図５（ｂ）に示すように、仮想物画像Ｖが配置データに基づいてディスプレイ上に配置されたときに、遮蔽物画像Ｃと仮想物画像Ｖとの間で透明視が成立する仮想物画像Ｖの輝度を算出する。すなわち、輝度算出部１４ｃは、輝度検出部２１にから供給される輝度データによって示される遮蔽物画像Ｃ（領域Ｒ４）の輝度と、背景画像Ｂ（領域Ｒ３）の輝度と、仮想物画像について予め設定されている初期の輝度を参照し、領域Ｒ１〜Ｒ４の輝度の大きさの順序が上記した安定透明視または両義的透明視の成立条件を満たすような仮想物画像Ｖの輝度（領域Ｒ１および領域Ｒ２の輝度）を算出する。ここで、領域Ｒ１は、仮想物画像Ｖの背景画像Ｂと重なる部分の領域である。領域Ｒ２は、仮想物画像Ｖの遮蔽物画像Ｃと重なる部分の領域である。領域Ｒ３は、背景画像Ｂの仮想物画像Ｖと重ならない部分の領域である。領域Ｒ４は、遮蔽物画像Ｃの仮想物画像Ｖと重ならない部分の領域である。

輝度算出部１４ｃは、領域Ｒ１の輝度ａ、領域Ｒ２の輝度ａ’、領域Ｒ３の輝度ｂおよび領域Ｒ４の輝度ｂ’の大きさの順序が安定透明視の成立条件であるｂ＞ｂ’＞ａ’＞ａ若しくはａ＞ａ’＞ｂ’＞ｂを満たすように、または両義的透明視の成立条件であるｂ＞（ｂ’，ａ）＞ａ’若しくはａ’＞（ｂ’,ａ）＞ｂ若しくはｂ’＞（ｂ，ａ’）＞ａ若しくはａ＞（ｂ，ａ’）＞ｂ’（但し括弧内は順不同、いずれも｜ａ’−ｂ’｜＜｜ａ−ｂ｜）を満たすような仮想物画像Ｖの背景画像Ｂと重なる部分（領域Ｒ１）の輝度ａと、仮想物画像Ｖの遮蔽物画像Ｃと重なる部分（領域Ｒ２）の輝度ａ’の値を算出し、算出した値を変調輝度データとして出力して画像構築部１７ｃに供給する。尚、輝度算出部１４ｃは、遮蔽物画像と仮想物画像との間で透明視が成立するように、仮想物画像の輝度のみならず遮蔽物画像や背景画像の輝度を算出してもよい。

画像構築部１７ｃは、仮想物画像が遮蔽物画像と重なる部分（領域２）および仮想物画像が背景画像と重なる部分（領域３）の輝度を、それぞれ、輝度算出部１４ｃによって算出された輝度となるように調整するとともに、仮想物画像を配置算出部１６ｃによって算出された位置に配置することにより、現実環境画像とこれに重畳された仮想物画像とからなる重畳画像の構築を行い、構築した重畳画像の画像データをディスプレイ６０ｃに供給する。

輝度算出部１４ｃ、仮想物画像取得部１５、配置算出部１６ｃ、画像構築部１７ｃ、制御部２０および輝度検出部２１は、図２０に示される後述の画像重畳処理ルーチンの各ステップを記述した画像重畳処理プログラムを格納したＲＯＭと、画像重畳処理プログラムを実行するためのＣＰＵと、ＣＰＵにおける処理内容を一時的に記憶しておくためのＲＡＭ等を備えたコンピュータで構成することができる。

次に本発明の第４の実施形態に係る画像重畳処理装置４によって実行される画像重畳処理ルーチンについて図２０に示すフローチャートを参照しつつ説明する。

ステップＳ４１において、制御部２０は、例えば外部から供給される制御入力に応じて撮像部３０に対して撮像を開始すべき制御信号を供給する。これにより撮像部３０は、現実環境に存在する壁や建物などの遮蔽物やその後方に延在する背景を含む現実環境を撮像して現実環境画像の画像データを生成し、生成した画像データを制御部２０に供給する。制御部２０は受信した現実環境画像の画像データを輝度検出部２１および画像構築部１７ｃに供給する。

ステップＳ４２において、制御部２０は、境界位置検出部１１に対して境界位置検出を開始すべき制御信号を供給する。これにより、境界位置検出部１１は、撮像部３０の撮像対象となっている遮蔽物とその後方に延在する背景との境界を検出して境界位置データを生成し、生成した境界位置データを制御部２０に供給する。制御部２０は受信した境界位置データを輝度検出部２１および配置算出部１６ｃに供給する。

ステップＳ４３において、制御部２０は仮想物画像取得部１５に対して仮想物画像を取得すべき制御信号を供給する。この制御信号には、取得すべき仮想物画像の内容が示されていてもよい。仮想物画像取得部１５は、この制御信号に基づいて、仮想物画像を生成し又は仮想物画像を記憶した記憶媒体から抽出する。仮想物画像取得部１５は、取得した仮想物画像の画像データを輝度検出部２１および画像構築部１７ｃに供給する。

ステップＳ４４において、輝度検出部２１は、制御部２０から供給される境界位置データ、現実環境画像の画像データおよび仮想物画像取得部１５から供給される仮想物画像の画像データから遮蔽物画像の輝度、背景画像の輝度および仮想物画像の輝度を検出し、これらの画像の各々の輝度を示す輝度データを生成する。輝度検出部２１は生成した輝度データを輝度算出部１４ｃに供給する。

ステップＳ４５において、配置算出部１６ｃは、制御部２０から供給される境界位置データによって示される遮蔽物画像と背景画像との境界線上に、仮想物画像取得部１５によって取得された仮想物画像を重ねるべく仮想物画像の配置を算出する。すなわち、配置算出部１６ｃは、仮想物画像が遮蔽物画像と十字交点を形成して交差するべく仮想物画像の配置を算出し、算出した配置を配置データとして出力し、画像構築部１７ｃに供給する
ステップＳ４６において、輝度算出部１４ｃは、図７に示す輝度算出処理ルーチンを実行することにより、遮蔽物画像との間で透明視が成立する仮想物画像の輝度を算出して変調輝度データを生成する。本実施例においては、仮想物画像の背景画像と重なる部分（領域Ｒ１）の輝度が輝度ａに対応し、仮想物画像の遮蔽物画像と重なる部分（領域Ｒ２）の輝度が輝度ａ’に対応し、背景画像の仮想物画像と重ならない部分（領域Ｒ３）の輝度が輝度ｂに対応し、遮蔽物画像の仮想物画像と重ならない部分（領域Ｒ４）の輝度が輝度ｂ’に対応する。輝度算出部１４ｃによる輝度算出処理ルーチンが終了すると図２０に示すフローチャートのステップＳ４７に進む。

ステップＳ４７において、画像構築部１７ｃは、仮想物画像が遮蔽物画像と重なる部分（領域２）の輝度ａ’および仮想物画像が背景画像と重なる部分（領域１）の輝度ａを、それぞれ、輝度算出部１４ｃから供給された変調輝度データに基づいて調整するとともに、仮想物画像を配置算出部１６ｃによって算出された位置に配置することにより、現実環境画像とこれに重畳された仮想物画像とからなる重畳画像の構築を行う。構築された現実環境画像と仮想物画像とからなる重畳画像の画像データはディスプレイ６０ｃに供給される。ディスプレイ６０上に表示された仮想物画像は、遮蔽物画像と間で透明視が成立しており、遮蔽物画像の背後に存在しているかのように視認される。以上の各ステップを経ることにより画像重畳処理ルーチンが終了する。尚、上記した画像重畳処理ルーチンの各ステップをコンピュータに実行させるための画像重畳処理プログラムが構成され得る。

以上の説明から明らかなように、本発明の第４の実施形態に係る画像重畳処理装置４によれば、撮像部３０によって取得された現実環境画像に対して透明視が成立するように仮想物画像を重畳表示することが可能となる。

（第５の実施形態）
図２１は、本発明の第５の実施形態に係る画像重畳処理装置５の構成を示す図である。画像重畳処理装置５は、マーカ画像を取得するマーカ画像取得部１８を有する。画像重畳処理装置５は、上記した第２の実施形態に係る画像重畳処理装置２と同様、現実環境画像との間で透明視が成立するようにマーカ画像を表示するとともに仮想物画像を遮蔽物画像と完全に重なるように表示する。画像重畳処理装置５によれば「透明視の伝播」の効果によって遮蔽物画像と仮想物画像との間で透明視を成立させることが可能となる。

（第６の実施形態）
図２２は、本発明の第６の実施形態に係る画像重畳処理装置６の構成を示す図である。画像重畳処理装置６は、コントラスト調整部１９を有する。画像重畳処理装置６は、上記した第３の実施形態に係る画像重畳処理装置３と同様、マーカ画像と遮蔽物画像とのコントラストを仮想物画像と遮蔽物画像とのコントラストよりも大とするようにコントラスト調整を行う。これにより、マーカ画像によってもたらされる「透明視の伝播」の効果をより高めることが可能となる。

尚、上記した説明においては、理解を容易にするために仮想物画像の輝度が一様であって輝度分布を有しない場合について説明した。仮想物画像の輝度が一様ではなく、輝度分布を有している場合には、仮想物画像の平均輝度値ｍを求め、仮想物画像が一様な平均輝度値ｍを有するものとして、上記した例に倣って透明視が成立する仮想物画像における輝度ａおよび輝度ａ’の値を求める。そして、求めた輝度ａおよび輝度ａ’と平均輝度ｍの差分ΔｌおよびΔｌ’を求め、この差分ΔｌとΔｌ’をそれぞれ、輝度分布を有する仮想物画像の領域Ｒ１および領域Ｒ２における輝度値に加算すればよい。また、このような仮想物画像の輝度の調整を、遮蔽物と背景の境界近傍の一定範囲についてのみ行うこととしてもよい。

１、２、３、４、５、６ 画像重畳処理装置
１１ 境界位置検出部
１２ 輝度測定部
１３ 境界位置算出部
１４、１４ａ、１４ｃ 輝度算出部
１５ 仮想物画像取得部
１６、１６ａ、１６ｃ 配置算出部
１７、１７ａ、１７ｂ、１７ｃ 画像構築部
１８ マーカ画像取得部
１９ コントラスト調整部
２０ 制御部
２１ 輝度検出部
３０ 撮像部
６０、６０ｃ ディスプレイ

Claims (13)

1. 表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理装置であって、
   前記物体と前記物体後方の背景との境界を検出する境界検出手段と、
   前記物体の輝度と前記背景の輝度とを測定して前記物体の輝度と前記背景の輝度とを示す輝度データを生成する輝度測定手段と、
   前記境界検出手段によって検出された前記境界の前記表示画面上の対応位置を算出する境界位置算出手段と、
   前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、
   前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記仮想物画像を前記表示画面上に配置する画像配置手段と、
   前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記仮想物画像が前記表示画面上において前記物体と重なる第１の部分の輝度と、前記仮想物画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、
   を含む画像重畳処理装置。
2. 表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理装置であって、
   前記物体と前記物体後方の背景との境界を検出する境界検出手段と、
   前記物体の輝度と前記背景の輝度とを測定して前記物体の輝度と前記背景の輝度とを示す輝度データを生成する輝度測定手段と、
   前記境界検出手段によって検出された前記境界の前記表示画面上の対応位置を算出する境界位置算出手段と、
   前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、
   前記表示画面上に表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するマーカ画像取得手段と、
   前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記マーカ画像を配置するとともに前記表示画面上において前記物体と重なる位置に前記仮想物画像を配置する画像配置手段と、
   前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記マーカ画像が前記表示画面上において前記物体と重なる第１の部分の輝度と、前記マーカ画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、
   を含む画像重畳処理装置。
3. 前記マーカ画像生成手段は、互いに離間した２つのマーカ片を前記マーカ画像として生成し、
   前記画像配置手段は、前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置が前記２つのマーカ片の間に位置するように前記マーカ画像を配置する請求項２に記載の画像重畳処理装置。
4. 前記マーカ画像の前記第１の部分と前記物体との輝度差が、前記仮想物画像と前記物体との輝度差よりも大となるように前記マーカ画像および前記仮想物画像の少なくとも一方の輝度を調整するコントラスト調整手段を更に含む請求項２又は３に記載の画像重畳処理装置。
5. 現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理装置であって、
   前記物体と前記物体後方の背景を撮像して物体画像と背景画像を含む現実環境画像を生成する撮像手段と、
   前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成する輝度検出手段と、
   前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、
   前記仮想物画像を前記物体画像と前記背景画像の境界上に配置する画像配置手段と、
   前記輝度データを参照し、前記物体画像の輝度と、前記背景画像の輝度と、前記仮想物画像の前記物体画像と重なる第１の部分の輝度と、前記仮想物画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、
   を含む画像重畳処理装置。
6. 現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理装置であって、
   前記物体と前記物体後方の背景を撮像して物体画像と背景画像を含む現実環境画像を生成する撮像手段と、
   前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成する輝度検出手段と、
   前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得する仮想物画像取得手段と、
   前記現実環境画像に重畳表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するマーカ画像取得手段と、
   前記マーカ画像を前記物体画像と前記背景画像の境界上に配置するとともに前記仮想物画像を前記物体画像上に配置する画像配置手段と、
   前記輝度データを参照して、前記物体画像の輝度と、前記背景画像の輝度と、前記マーカ画像の前記物体画像と重なる第１の部分の輝度と、前記マーカ画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように、前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整する輝度調整手段と、
   を含む画像重畳処理装置。
7. 前記マーカ画像生成手段は、互いに離間した２つのマーカ片を前記マーカ画像として生成し、
   前記画像配置手段は、前記物体画像と前記背景画像の境界が前記２つのマーカ片の間に位置するように前記マーカ画像を配置する請求項６に記載の画像重畳処理装置。
8. 前記マーカ画像の前記第１の部分と前記物体画像との輝度差が、前記仮想物画像と前記物体画像との輝度差よりも大となるように前記マーカ画像および前記仮想物画像の少なくとも一方の輝度を調整するコントラスト調整手段を更に含む請求項６または７に記載の画像重畳処理装置。
9. 表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理方法であって、
   制御手段が、境界検出手段に現実環境における物体と前記物体後方の背景との境界を検出させるステップと、
   制御手段が、輝度測定手段に前記物体の輝度と前記背景の輝度とを測定させ前記物体の輝度と前記背景の輝度とを示す輝度データを生成させるステップと、
   境界位置算出手段が、前記境界検出手段によって検出された前記境界の前記表示画面上の対応位置を算出するステップと、
   仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、
   画像配置手段が、前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記仮想物画像を前記表示画面上に配置するステップと、
   輝度調整手段が、前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記仮想物画像が、前記表示画面上において前記物体と重なる第１の部分の輝度と、前記仮想物画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、
   を含む画像重畳処理方法。
10. 表示画面を通して視認される現実環境における物体に仮想物画像を重畳させて前記表示画面上に表示する重畳画像処理方法であって、
    制御手段が、境界検出手段に現実環境における物体と前記物体後方の背景との境界を検出させるステップと、
    制御手段が、輝度測定手段に前記物体の輝度と前記背景の輝度とを測定させ前記物体の輝度と前記背景の輝度とを示す輝度データを生成させるステップと、
    境界位置算出手段が、前記境界検出手段によって検出された前記境界の表示画面上の対応位置を算出するステップと、
    仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、
    マーカ画像取得手段が、前記表示画面上に表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するステップと、
    画像配置手段が、前記境界位置算出手段によって算出された前記境界の前記表示画面上の対応位置と重なるように前記マーカ画像を配置するとともに前記表示画面上において前記物体と重なるように前記仮想物画像を配置するステップと、
    輝度調整手段が、前記輝度データを参照して、前記物体の輝度と、前記背景の輝度と、前記マーカ画像が前記表示画面上において前記物体と重なる第１の部分の輝度と、前記マーカ画像が前記表示画面上において前記背景と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、
    を含む画像重畳処理方法。
11. 現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理方法であって、
    制御手段が、撮像手段に前記物体と前記物体後方の背景を撮像させ物体画像と背景画像を含む現実環境画像を生成させるステップと、
    輝度検出手段が、前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成するステップと、
    仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、
    画像配置手段が、前記仮想物画像を前記物体画像と前記背景画像の境界上に配置するステップと、
    輝度調整手段が、前記輝度データを参照し、前記物体画像の輝度と、前記背景画像の輝度と、前記仮想物画像の前記物体画像と重なる第１の部分の輝度と、前記仮想物画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように前記仮想物画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、
    を含む画像重畳処理方法。
12. 現実環境における物体の画像に仮想物画像を重畳させて表示画面上に表示する重畳画像処理方法であって、
    制御手段が、撮像手段に前記物体と前記物体後方の背景を撮像させ物体画像と背景画像を含む現実環境画像を生成させるステップと、
    輝度検出手段が、前記物体画像の輝度と前記背景画像の輝度とを検出して前記物体画像の輝度と前記背景画像の輝度とを示す輝度データを生成するステップと、
    仮想物画像取得手段が、前記仮想物画像を、生成または前記仮想物画像を記憶した記憶媒体からの抽出によって取得するステップと、
    マーカ画像取得手段が、前記現実環境画像に重畳表示されるべきマーカ画像を、生成または前記マーカ画像を記憶した記憶媒体からの抽出によって取得するステップと、
    画像配置手段が、前記マーカ画像を前記物体画像と前記背景画像の境界上に配置するとともに前記仮想物画像を前記物体画像上に配置するステップと、
    輝度調整手段が、前記輝度データを参照して、前記物体画像の輝度と、前記背景画像の輝度と、前記マーカ画像の前記物体画像と重なる第１の部分の輝度と、前記マーカ画像の前記背景画像と重なる第２部分の輝度の大きさの順序が安定透明視条件または両義的透明視条件を満たすように、前記マーカ画像の前記第１の部分の輝度および前記第２の部分の輝度を調整するステップと、
    を含む画像重畳処理方法。
13. 請求項９乃至１２のいずれか１つ記載の画像重畳処理方法の各ステップをコンピュータに実行させる画像重畳処理プログラム。