JP2016004493A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】複合現実感を体験中の使用者に、現実世界の物体との接触の可能性を知覚可能とさせる。
【解決手段】表示すべき画像を生成する画像処理装置において、現実空間を撮像する撮像手段と、撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、生成された複合現実映像を観察する観察者と現実物体との間の距離を測定する測定手段と、を有し、生成手段は、仮想物体により現実物体の表示領域が隠され、かつ、観察者と現実物体との間の距離が所定の距離以内である場合に、仮想物体を半透明表示又は輪郭線表示とする。
【選択図】図２

Description

本発明は、複合現実システムにおける画像処理技術に関するものである。

近年、現実世界と仮想空間をリアルタイムかつシームレスに融合する複合現実（ＭＲ：Mixed Reality）システムが利用されてきている。ＭＲシステムを実現する方法の一つとして、ビデオシースルー方式がある。ビデオシースルー方式は、ヘッドマウントディスプレイ（ＨＭＤ）に付属しているカメラでＨＭＤ使用者の視界領域を撮像する。そして、その撮像画像にコンピュータグラフィックス（ＣＧ）を重畳した画像をＨＭＤに付属しているディスプレイに表示し、表示された画像をＨＭＤの使用者に観察させる技術である（例えば、特許文献１）。

このようなＭＲ装置においては、複合現実感を高めるために、装置の使用者の視点位置・姿勢をリアルタイムで取得し、かつ、ＨＭＤのような表示装置にリアルタイムに画像を表示する必要がある。そこで、ＭＲ装置では、センサによって計測した使用者の視点位置・姿勢に基づいて仮想世界での視点位置・姿勢を設定し、この設定に基づいて仮想世界の画像をＣＧにより描画して、現実世界の画像と合成している。

特開２００６−３０１９２４号公報

しかしながら、ＭＲ装置においては、ＣＧが描画される領域に重なっている現実世界の視界が遮られることになる。そのため、ＨＭＤを使用して複合現実感を体験中の使用者は、ＣＧが描画される領域に対応する現実世界の視界内の物体を知覚することができない。すなわち、使用者は、ＣＧが描画される領域に対応する現実世界の視界内に使用者自身に向かって接近する物体が存在した場合であっても、当該物体に接触する可能性があることを認識することが出来ないことになる。

本発明は上述の問題点に鑑みなされたものであり、複合現実感を体験中の使用者に現実世界の物体との接触の可能性を知覚可能とさせる技術を提供することを目的としている。

上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、表示すべき画像を生成する画像処理装置であって、
現実空間を撮像する撮像手段と、
前記撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、
前記現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、
前記生成手段によって生成された複合現実映像を観察する観察者と前記現実物体との間の距離を測定する測定手段と、
を有し、
前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とする。

本発明によれば、複合現実感を体験中の使用者に現実世界の物体との接触の可能性を知覚可能とさせる技術を提供することができる。

第１実施形態に係るＨＭＤの使用状況、及び、ＭＲ表示の例を示す図である。 ＨＭＤ１００の動作を説明するフローチャートである。 ＨＭＤ１００の内部構成を示す図である。 第２実施形態に係るＭＲシステムの全体構成を示す図である。 ＨＭＤ４００の内部構成を示す図である。 ＰＣ４０２の内部構成を示す図である。 カメラ４０４の内部構成を示す図である。 ＰＣ４０２の動作を説明するフローチャートである。 第３実施形態に係るＭＲシステムの全体構成を示す図である。 ＨＭＤ９００の動作を説明するフローチャートである。 ＰＣ９０２の動作を説明するフローチャートである。 ＨＭＤ９００の内部構成を示す図である。 現実物体の接近速度に応じた危険回避処理を説明するフローチャートである。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、複合現実（ＭＲ）の表示を行うビデオシースルー型のヘッドマウントディスプレイ（ＨＭＤ）を例に挙げて以下に説明する。

＜装置構成＞
図１は、第１実施形態に係るＨＭＤ１００の使用状況、および、ＭＲ表示の例を示す図である。上述の通り、ＨＭＤ１００は、ビデオシースルー型のＨＭＤ、すなわち、撮像部により撮像された現実世界の映像（現実空間映像）に仮想世界の物体の映像を重畳した複合現実映像を表示部に表示するタイプのＨＭＤとして構成されている。図１に示すように、以下の説明では、ＨＭＤ１００を頭部に装着した利用者が、現実世界における現実物体２００の方向に視線を向けている状況について説明する。なお、現実物体は、任意の物体であり、建造物、車両、人間などを含む。

ＨＭＤ１００の表示部において、現実物体２００は画面２０３〜２０５において表示２０１のように映る。つまり、ＣＧで描画される仮想物体の表示２０２の表示位置に依存して、表示２０１の一部又は全部が隠れる場合がある。

画面２０３のように、現実物体２００の一部が見えている状態であれば、観察者（使用者）は、現実物体２００が接近してきた場合であっても衝突を避けることができる。この場合、仮想物体の表示２０２を表示したままにすることにより、複合現実感が失われることがなくなる。

ここで、仮想物体の表示２０２の表示位置は、現実物体２００の位置に依存せずに決定されるケースを想定する。この場合、現実物体２００が移動した場合、画面２０４に示すように、現実物体２００の表示２０１は仮想物体の表示２０２の後ろに完全に隠れてしまい見えなくなる場合がある。この状態で、現実物体２００がＨＭＤ１００の方向に近づいてくると、ある時点で急に仮想物体の表示２０２の手前に飛び出てくることになる。すなわち、ＨＭＤ１００を装着している観察者は、現実物体２００が仮想物体の表示２０２の手前に来るまで、現実物体２００の存在を知覚することができず、現実の空間において、現実物体２００と衝突／接触する危険が及ぶこととなる。

そこで、第１実施形態においては、現実物体２００が仮想物体の表示２０２に隠れた状態のまま、所定の距離にまで接近した場合に、観察者が現実物体２００を知覚可能となるように制御する。具体的には、画面２０５に示すように、仮想物体の表示２０２を輪郭線だけの表示にするようにしたり、仮想物体の表示２０２を半透明表示にしたりする。また、併せて、警告の表示や警告音の鳴動を行うよう制御する。当該制御の詳細については図２を参照して後述する。

図３は、ＨＭＤ１００の内部構成を示す図である。左撮像部３００（左眼用撮像部）及び右撮像部３０１（右眼用撮像部）は、それぞれ、観察者の視点位置および方向に基づき現実空間の撮像を行う機能部である。ＣＧ合成部３０９は、仮想空間上の物体のＣＧを生成し、左撮像部３００及び右撮像部３０１で撮像した映像それぞれに対して当該ＣＧを合成（重畳）した映像を生成する機能部である。左表示部３１０及び右表示部３１１は、それぞれ、観察者の左眼及び右眼に対して表示する映像を表示する機能部である。

危険回避無効スイッチ３０２は、図２を参照して後述する危険回避処理を無効設定するためのスイッチである。危険回避処理部３０３は、仮想物体の表示２０２を輪郭線だけの表示にするようにしたり、仮想物体の表示２０２を半透明表示にしたりする機能部である。

領域判定部３０４は、現実空間の各物体に対応する表示領域が仮想物体の表示領域により隠されるか否かを判定する機能部である。位置計測部３０５は、現実物体と観察者との間の距離を測定する機能部である。現実物体特定部３０６は、撮像部で撮像された現実物体が表示部に表示される画面のどの部分に表示されるかを特定する機能部である。仮想物体特定部３０７は、仮想物体が表示部に表示される画面のどの部分に表示されるかを特定する機能部である。タイマー部３０８は、計時機能を実現するための機能部である。

なお、ＨＭＤ１００は上述の複数の機能部を含むが、これらの機能部の全てをＨＭＤ１００の内部に実装しなくともよい。例えば、ＣＧ合成部３０９を、外部機器であるパーソナルコンピュータ（以下ＰＣ）で実現するよう構成しても良い。この場合、ＨＭＤ１００とＰＣとは、相互に通信可能となるよう、ケーブル、もしくは、無線通信を介して接続される。無線通信には、たとえば、ＩＥＥＥ８０２．１１規格の無線ＬＡＮが利用可能である。また、ＨＭＤ１００は、不図示の少なくとも一つのＣＰＵ、各種メモリ（ＲＯＭ、ＲＡＭ等）等のハードウェア構成を備える。上述した３０２〜３０９の各機能部は、ハードウェアによって提供されてもよいし、ソフトウェアによって提供されてもよい。これらの機能部の一部または全部がソフトウェアによって提供される場合には、ＨＭＤ１００が備えるＣＰＵが、各機能部に相当するソフトウェアを実行することにより、各機能が実行される。

＜装置の動作＞
図２は、ＨＭＤ１００の動作を説明するフローチャートである。当該フローチャートは、ＨＭＤ１００の電源をＯＮにし、Ｓ２１０にて、左撮像部３００、右撮像部３０１にて現実物体を撮像することにより開始される。図２に示す各ステップは、ＨＭＤ１００が備えるＣＰＵが、メモリに記憶されたプログラムを実行することによって処理される。

Ｓ２１１では、現実物体特定部３０６は、各撮像部に映った現実物体が画面上のどの部分に表示されるかを特定する。このとき、撮像画像からひと固まりとなる領域を特定していくが、手法としては、たとえば、４近傍におけるラベリング処理を利用するとよい。ラベリング処理によって紐づけられたｉ番目の物体が占める領域をＯＢＪ_ｉ（ｉ＝１〜Ｎ)とする。特定した領域の総数はＮとなる。また、このときのラベリング処理は左撮像部３００と右撮像部３０１から得られた左右画像の視差情報により生じる３次元的なエッジから領域を特定する方法を利用してもよい。そのほか、領域を特定し、ラベリングする方法はいろいろ提案されているが、どの手法を利用してもよい。

Ｓ２１２では、ＨＭＤ１００は、変数ｉを１に初期化する。すなわち、以下のＳ２１３〜Ｓ２１６の処理を、Ｓ２１１で認識した各物体について行う。

Ｓ２１３では、位置計測部３０５は、ＯＢＪ_ｉに対応する現実物体と観察者との間の距離を計測し、得られた距離をｄとする。ここでは計測方法は深度センサーを使う方法を用いるものとする。ただし、距離が測れる方法であれば任意の方法が利用可能である。たとえば、左撮像部３００と右撮像部３０１から得られた左右画像の視差情報により観察者とＯＢＪ_ｉのあらわす現実物体との距離を算出する方法を用いてもよい。また、外部カメラにより距離を測る方法も用いてもよい。さらに、時間的に変化する画像情報から３次元空間を再構成するＰＴＡＭ（Parallel Tracking and Mapping）と呼ばれる手法を用いてもよい。

Ｓ２１４では、ＨＭＤ１００は、距離ｄが、接触の危険の可能性があるとして予め設定される距離以内かどうかを判定する。予め設定される距離Ｄ以内でない場合はＳ２１７に進み、距離Ｄ以内である場合はＳ２１５に進む。

Ｓ２１５では、仮想物体特定部３０７は、仮想物体が画面上に描かれる領域を特定する。続いて、領域判定部３０４にて、ＯＢＪ_ｉに対応する表示領域が、仮想物体特定部３０７で特定された領域のいくつか（ここでは、その領域をＣＧ_ｉ（ｉ＝１〜Ｍ）とする）によってすべて隠れるか否かを判定する。ＯＢＪ_ｉのあらわす領域が隠れているかどうかの判定は、ＯＢＪ_ｉのあらわす領域の画素座標上にＣＧ_ｉ（ｉ＝１〜Ｍ）が配置されているかどうかによって判断する。

なお、ここで”いくつか”と表現しているのは、１つの仮想物体に対応する表示領域だけでなく、複数の仮想物体に対応する表示領域によって、ＯＢＪ_ｉに対応する表示領域が隠される場合もあるからである。すべて隠れる場合はＳ２１６に進み、一部が隠れていない場合はＳ２１７に進む。なお、”すべて”ではなく所定の割合（例えばＯＢＪ_ｉの表示領域の９０％）が隠れるか否かを判定するよう構成しても良い。

Ｓ２１６では、危険回避処理部３０３は、危険回避処理を行なう。危険回避処理は、ここでは、Ｓ２１５によって得られたＣＧ_ｉ（ｉ＝１〜Ｍ）を半透明の表示にすることとする。この処理により、観察者は現実物体が存在することを事前に知覚可能となり、現実物体との衝突を回避することができる。なお、危険回避処理として、たとえば、ＣＧ_ｉ（ｉ＝１〜Ｍ）を輪郭線表示（ワイヤフレーム表示）にしてもよい。また、追加で、警告表示を表示したり、警告音を鳴動させるよう構成してもよい。

Ｓ２１７では、ＨＭＤ１００は、変数ｉをインクリメントし、Ｓ２１８では、ＨＭＤ１００は、全てのＯＢＪ_ｉを調査したか否かを判定する。全てのＯＢＪ_ｉの調査が完了した場合は処理を終了する。調査していないＯＢＪ_ｉが残っている場合はＳ２１３に進む。

ところで、図２のフローチャートの処理によって、距離Ｄ以内に現実物体が存在する場合、現実物体との衝突の危険がないときであっても、何かしらの危険回避処理をすることになる。その結果、複合現実感が失われることがある。そこで、危険回避無効スイッチ３０２をＨＭＤ１００に設けておくとよい。危険回避無効スイッチ３０２により危険回避処理を無効とするよう設定されている場合には、危険回避処理部３０３は危険回避処理の実行を抑止する。なお、このスイッチはＨＭＤ１００に設けてもよいし、外部に設けてもよい。また、観察者が操作してもよいし、その状況を外部から観察しているオペレータが処理をしてもよい。

また、危険回避処理部３０３は、タイマー部３０８により提供される計時情報を利用して、危険回避処理が発生してから一定時間が経過した場合に、自動的に危険回避処理を無効にするよう構成しても良い。

ところで、上述のＳ２１４おいては距離ｄに応じて危険回避処理の実行を制御しているが、ＯＢＪ_ｉのあらわす現実物体が観察者に近づく速度に応じてＳ２１６の危険回避処理を行なうということをしてもよい。つまり、現実物体が観察者に近づく速度が遅い時には衝突の危険が少ないため、速度に応じた制御を行うのである。

図１３は、現実物体が観察者に近づく速度に応じて危険回避処理を行なう動作を説明するフローチャートである。当該フローチャートは、図２におけるＳ２１４の代替としてＨＭＤのＣＰＵによって実行される。

Ｓ１３００では、ＨＭＤ１００は、距離ｄが、接触の危険の可能性があるとして予め設定される距離Ｄ以内かどうかを判定する。距離Ｄ以内でない場合はＳ１３０４に進み、距離Ｄ以内である場合はＳ１３０１に進む。

Ｓ１３０１では、ＨＭＤ１００は、１フレーム前のＯＢＪ_ｉと観察者との間の距離ｄ_ｏｌｄと現フレームでの距離ｄの差分に基づいて観察者に向かってくる速度ｖを計算する。すなわち、距離の時間変化に基づいて相対速度を決定する（速度決定手段）。なお、距離ｄ_ｏｌｄはＳ１３０３、Ｓ１３０４でフレーム毎に保存されている。

Ｓ１３０２では、ＨＭＤ１００は、速度ｖが所定の速度以上であるか否かを判定する。速度ｖが所定速度Ｖ以上である場合はＳ１３０３に進み、速度ｖが所定速度Ｖ未満である場合はＳ１３０４に進む。なお、ここでの所定速度Ｖは一定値であってもよいし、距離に応じて小さくなるよう設定された値としてもよい。

以上説明したとおり第１実施形態によれば、仮想物体により隠れる現実物体が存在し、かつ、当該現実物体までの距離ｄが所定距離Ｄ以下である場合に、危険回避処理を実行する。具体的には、危険回避処理として、仮想物体を半透明化するかあるいは輪郭線の表示のみとする。この処理により、ＨＭＤの使用者（観察者）は現実物体が存在することを事前に知覚可能となり、当該現実物体との衝突／接触を回避することが可能となる。

（第２実施形態）
第２実施形態では、ＨＭＤを付けた複数の観察者（ＨＭＤ４００、ＨＭＤ４０１）が存在する状況について説明する。具体的には、ＨＭＤ４００を装着している観察者に対して、仮想物体４０８に関して反対側に存在しＨＭＤ４０１を装着している観察者が近づいてくる場合を想定している。

＜装置構成＞
図４は、第２実施形態に係るＭＲシステムの全体構成を示す図である。ここでは、ＨＭＤ１００の機能ブロックがＨＭＤ４００とＰＣ４０２に分割されて実装され、ＨＭＤ４００とＰＣ４０２がケーブル４０５にて接続されている。さらに、複数のＨＭＤの位置を監視できるカメラ４０４が外部に設置されている。このカメラ４０４は、ＰＣ４０２，ＰＣ４０３とネットワークを介してケーブル４０７で接続されている。この接続形態は、有線ケーブルであっても、無線通信であってもよい。

図５は、ＨＭＤ４００の内部構成を示す図である。左撮像部３００、右撮像部３０１、左表示部３１０、右表示部３１１は、第１実施形態と同じものなので、説明は省略する。これらが通信部５００を介して、外部のＰＣ４０２と接続される。接続形態はケーブル４０５のようなものとする。ただし、この部分は、無線通信であってもよく、接続形態は規定しない。

図６は、ＰＣ４０２の内部構成を示す図である。危険回避無効スイッチ３０２、危険回避処理部３０３、領域判定部３０４、位置計測部３０５、現実物体特定部３０６、仮想物体特定部３０７、タイマー部３０８、ＣＧ合成部３０９は、第１実施形態と同様の機能部であるため説明は省略する。これらが通信部６００を通して、ＨＭＤ４００と接続される。

３次元位置受信部６０２は、カメラ４０４からの各ＨＭＤの地理的位置情報を受け取る機能ブロックである。３次元位置特定部６０３は、ＨＭＤ４００の視点位置および方向から視野に入る他のＨＭＤ（ここではＨＭＤ４０１）の位置を特定するものである。

図７は、カメラ４０４の内部構成を示す図である。撮像部７００は、現実空間に存在するＨＭＤ（ここではＨＭＤ４００及びＨＭＤ４０１）を撮像し、各ＨＭＤの３次元位置を取得するものである。３次元位置の取得方法は、赤外線を使って位置を取得する方法や、画像処理から取得する方法など、３次元位置を特定できるものであれば、どの方法を使ってもよい。ここで得られた３次元位置情報は、３次元位置送信部７０１により各ＰＣ（ここではＰＣ４０２及びＰＣ４０３）に送信される。

尚、ＨＭＤ４００、ＰＣ４０２、カメラ４０４の何れも、不図示の少なくとも一つのＣＰＵ、各種メモリ（ＲＯＭ、ＲＡＭ等）等のハードウェア構成を備える。そして図６の３０２〜３０９、６０２、６０３の各機能部は、ハードウェアによって提供されてもよいし、ソフトウェアによって提供されてもよい。これらの機能部の一部または全部がソフトウェアによって提供される場合には、ＰＣ４０２が備えるＣＰＵが、各機能部に相当するソフトウェアを実行することにより、各機能が実行される。

＜装置の動作＞
図８は、ＰＣ４０２の動作を説明するフローチャートである。図８に示す各ステップは、ＰＣ４０２が備えるＣＰＵが、メモリに記憶されたプログラムを実行することによって処理される。まず、Ｓ８００では、ＰＣ４０２は、ＨＭＤ４００の撮像部で撮像された画像を通信部６００を利用して取得する。Ｓ８０１では、ＰＣ４０２は、カメラ４０４より送られたＨＭＤ４００とＨＭＤ４０１の３次元位置情報を３次元位置受信部６０２にて取得する。

Ｓ８０２では、ＰＣ４０２は、Ｓ８０１で取得した情報から、ＨＭＤ４００の視野に入っているＨＭＤ４０１の３次元位置情報Ｒ_１と、ＨＭＤ４００の３次元位置情報Ｑを３次元位置特定部６０３にて特定する。

Ｓ８０３では、ＰＣ４０２は、３次元位置情報Ｒ_１に基づいて、ＨＭＤ４００の画面上における”ＨＭＤ４０１の装着者の表示領域ＯＢＪ_１”を特定する。ここでの特定方法は、ＨＭＤ４０１の周辺部分に対応する領域を表示領域ＯＢＪ_１としてもよいし、画像処理から画像に映ったＨＭＤ４０１に隣接している領域を表示領域ＯＢＪ_１としてもよい。

Ｓ８０４では、ＰＣ４０２は、変数ｉを１に初期化する。すなわち、以下のＳ８０５〜Ｓ８０８の処理を、Ｓ８０３で特定した各物体について行う。

Ｓ８０５では、位置計測部３０５は、ＱとＲ_１から距離ｄを計算する。その後のフローは第１実施形態と同様であるため、説明は省略する。

以上説明したとおり第２実施形態によれば、仮想物体により隠れる他のＨＭＤ使用者が存在し、かつ、当該他のＨＭＤ使用者までの距離ｄが所定距離Ｄ以下である場合に、危険回避処理を実行する。この処理により、ＨＭＤの使用者（観察者）は他のＨＭＤ使用者が存在することを事前に知覚可能となり、当該他のＨＭＤ使用者との衝突／接触を回避することが可能となる。

（第３実施形態）
第３実施形態では、第２実施形態と同様、機能ブロックがＨＭＤ９００とＰＣ９０２に分割されて実装され、ＨＭＤ９００とＰＣ９０２が無線アクセスポイント９０３（以下アクセスポイントのことをＡＰと略す）を介して、接続されている状況を考える。以下では、ＡＰ９０３からＡＰ９０４にローミング／ハンドオーバーが発生しそうな無線電波状況の場合（現在の無線接続における受信電波強度が弱くなった場合）に、危険回避処理を実施する形態について説明する。

＜装置構成＞
図９は、第３実施形態に係るＭＲシステムの全体構成を示す図である。上述の通り、図３の各機能ブロックはＨＭＤ９００及びＰＣ９０２に分割されて実装されている。また、ＨＭＤ９００とＰＣ９０２がＡＰ９０３を介して接続されている。

図１２は、ＨＭＤ９００の内部構成を示す図である。左撮像部３００、右撮像部３０１、左表示部３１０、右表示部３１１は、第１実施形態と同様であるため、説明は省略する。これらの各機能部は、無線部１２００、ＡＰ（ＡＰ９０３又はＡＰ９０４）を介して、ＰＣ４０２と接続される。無線品質測定部１２０１は、無線における受信電波強度（通信品質）を監視し、その結果に基づいた危険回避処理の指示をＰＣ９０２に送信する機能部である。ここでは、危険回避処理を有効にする指示、又は、危険回避処理を無効にする指示、の何れかを送信するよう構成されているものとして説明する。

ＨＭＤ９００は、不図示の少なくとも一つのＣＰＵ、各種メモリ（ＲＯＭ、ＲＡＭ等）等のハードウェア構成を備える。機能部１２０１は、ハードウェアによって提供されてもよいし、ソフトウェアによって提供されてもよい。この機能部がソフトウェアによって提供される場合には、ＨＭＤ９００が備えるＣＰＵが、該機能部に相当するソフトウェアを実行することにより機能が実行される。ＰＣ９０２の構成に関しては、第２実施形態のＰＣ４０２と同じ構成のため説明を省略する。

＜装置の動作＞
図１０は、ＨＭＤ９００の動作を説明するフローチャートである。図８に示す各ステップは、ＨＭＤ９００が備えるＣＰＵが、メモリに記憶されたプログラムを実行することによって処理される。Ｓ１０００では、無線品質測定部１２０１は、現在の無線接続における受信電波強度ＲＳＳＩが閾値Ｘ以下（所定の通信品質以下）か否かを判定する。そして、閾値以下（電波強度が弱い）の場合は、Ｓ１００１に進み危険回避処理を有効にする指示をＰＣ９０２に送信する。閾値を超えている場合は、Ｓ１００２に進み、危険回避処理を無効にする指示をＰＣ９０２に送信する。

図１１は、ＰＣ９０２の動作を説明するフローチャートである。ＰＣ９０２は、ＨＭＤ９００より危険回避処理を有効にする指示を受信した場合（Ｓ１１００）、Ｓ１１０１にて危険回避処理を有効にする。一方、ＰＣ９０２は、ＨＭＤ９００より危険回避処理を無効にする指示を受信した場合（Ｓ１１０２）、Ｓ１１０３にて危険回避処理を無効にする。これら以外の動作は、第１実施形態と同様のため、説明を省略する。

以上説明したとおり第３実施形態によれば、ＨＭＤ９００は、ＡＰ９０３からＡＰ９０４にローミング／ハンドオーバーが発生しそうな無線電波状況の場合に、危険回避処理を実施する。この処理により、ＰＣ９０２との通信が切断され、観察者が周囲の状況を把握できなくなる前に、衝突の危険が迫っていることを提示することが可能となる。また同時に、危険回避処理により複合現実感が失われる状況を最小限に抑えることが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

３００ 左撮像部；３０１ 右撮像部；３０３ 危険回避処理部；３１０ 左表示部；３１１ 右表示部；３０９ ＣＧ合成部

Claims (10)

1. 表示すべき画像を生成する画像処理装置であって、
   現実空間を撮像する撮像手段と、
   前記撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段と、
   前記現実空間映像に含まれる現実物体の表示領域を特定する特定手段と、
   前記生成手段によって生成された複合現実映像を観察する観察者と前記現実物体との間の距離を測定する測定手段と、
   を有し、
   前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とする
   ことを特徴とする画像処理装置。
2. 前記生成手段は、前記仮想物体により前記現実物体の表示領域のすべてが隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とする
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、更に、前記現実物体が存在する旨を示す警告表示を前記複合現実映像に追加する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記測定手段により測定された距離の時間変化に基づいて、前記観察者に対する前記現実物体の相対速度を決定する速度決定手段を更に備え、
   前記生成手段は、前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内であり、かつ、前記速度決定手段により決定された相対速度が所定の速度以上である場合に、前記仮想物体を半透明表示又は輪郭線表示とする
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記測定手段は、深度センサーであることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記撮像手段は、左眼用撮像部と右眼用撮像部とを有しており、
   前記測定手段は、前記左眼用撮像部及び前記右眼用撮像部それぞれにより得られた画像の視差に基づいて前記距離を算出する
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
7. 前記測定手段は、外部装置から取得した前記観察者及び前記現実物体それぞれの地理的位置に基づいて前記距離を算出する
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
8. 前記生成手段による前記仮想物体を半透明表示又は輪郭線表示とする制御を無効にするための無効設定手段を更に有することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記観察者が装着したヘッドマウントディスプレイ（ＨＭＤ）と前記画像処理装置とは無線通信を介して通信可能に構成されており、
   前記ＨＭＤは、
   前記無線通信の通信品質が所定の通信品質以下である場合に、前記生成手段に対し、前記仮想物体を半透明表示又は輪郭線表示とする制御を有効とするための指示を送信し、
   前記無線通信の通信品質が前記所定の通信品質を超える場合に、前記生成手段に対し、前記仮想物体を半透明表示又は輪郭線表示とする制御を無効とするための指示を送信する
   よう構成されている
   ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 表示すべき画像を生成する画像処理装置の制御方法であって、
    前記画像処理装置は、現実空間を撮像する撮像手段により得られた現実空間映像に仮想物体を重畳した複合現実映像を生成する生成手段を有しており、
    前記制御方法は、
    前記現実空間映像に含まれる現実物体の表示領域を特定する特定工程と、
    前記生成手段によって生成された複合現実映像を観察する観察者と前記現実物体との間の距離を測定する測定工程と、
    前記仮想物体により前記現実物体の表示領域が隠され、かつ、前記観察者と前記現実物体との間の距離が所定の距離以内である場合に、前記仮想物体を半透明表示又は輪郭線表示とするよう前記生成手段を制御する制御工程と、
    を含むことを特徴とする画像処理装置の制御方法。

Images