JP2018120173A - 画像表示装置、画像表示方法及びプログラム - Google Patents

Abstract

【課題】 ＨＭＤに表示する合成画像の位置を変更制御する際に、ＨＭＤ使用者の感じる違和感を軽減すること。【解決手段】 本発明は、合成画像を表示部に表示させる際の位置姿勢に係る情報と撮像手段が撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、表示部の水平方向または垂直方向の少なくとも一方の方向において表示部に対する合成画像の位置を変更する。その際、本発明は、表示部の水平方向または垂直方向の少なくとも一方の方向において合成画像の移動量が所定範囲に収まるように変更する。【選択図】 図５

Description

本発明は、使用者の頭部等に装着されて使用される画像表示装置の技術に関する。

近年、現実世界と仮想世界をリアルタイムにシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用するものが知られている。この技術では、ＨＭＤ使用者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像し、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をＨＭＤ使用者が観察できるようにする。

ビデオシースルー型ＨＭＤでは、ＣＣＤ等の電荷結合素子により被写体を撮像して該被写体のデジタル画像データを得るとともに、ＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶や有機ＥＬ等の表示デバイスを介して装着者に表示する構成になっている。ＨＭＤの他に外部装置（画像処理装置）があり、ＨＭＤから外部装置にＨＭＤで撮像した撮像画像を送信する。外部装置ではＨＭＤから受信した撮像画像からＨＭＤの位置姿勢を計算し、この計算結果を元に撮像画像に対してＣＧ画像を重畳しＨＭＤへ送信する。ＨＭＤでは外部装置から受信した重畳画像を表示する。このようにして、ＨＭＤ使用者はＨＭＤを装着することでＭＲ空間を体験することが可能となる。

このシステムでは、撮像部を備える画像表示装置であるＨＭＤが撮像した後、撮像画像を外部装置に送信し、外部装置はＣＧを重畳して画像をＨＭＤへ送信するという一連の処理を行うため、ＨＭＤで現実空間を撮像してからその画像が表示されるまで遅延が発生する。この遅延の間に、ＨＭＤ使用者が頭の向きを変えると、ＨＭＤ使用者が向いている現実空間とＨＭＤに表示される現実空間の画像との間に不一致が生じてしまう。特許文献１には、ＨＭＤが撮像した画像にＣＧを重畳するなどの処理をした後、ＨＭＤ使用者の頭部の位置姿勢を求め、この位置姿勢に基づいて画像を補正して表示する技術が記載されている。特許文献１に記載の方法では、ＨＭＤ使用者が向いている方向とＨＭＤに表示される現実空間の画像の方向とを一致させるために画像を補正する際、ＨＭＤで撮像されていない部分については画像の外縁部のデータを繰り返すようにしている。

特開２０１５−２３１１０６号公報

しかしながら、特許文献１に記載される方法のように、撮像部を備える画像表示装置で撮像されていない部分について画像の外縁部のデータを繰り返す等の処理をした場合、その領域が大きいと、撮像部を備える画像表示装置の使用者が大きな違和感を感じることがあった。

上記課題を解決するために、本発明は、現実空間の画像を撮像する撮像手段と、前記撮像した画像を画像処理装置に送信する送信手段と、前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信する受信手段と、前記受信した合成画像を表示部に表示させる際の画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記表示部に対する前記合成画像の位置を変更する変更手段と、を有し、前記変更手段は、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記合成画像の移動量が所定範囲に収まるように変更することを特徴とする。

以上の構成によれば、本発明は、撮像部を備える画像表示装置の使用者の感じる違和感を軽減することができる。

第１の実施形態に係る画像処理システムを示す概略図。 第１の実施形態に係る画像処理システムの構成を示すブロック図。 第１の実施形態に係る表示位置変更部の機能を示すブロック図。 第１の実施形態において位置姿勢の変化量の計算方法を説明する図。 第１の実施形態において合成画像の移動制御について説明する図。 第１の実施形態において合成画像の移動制御について説明する図。 第１の実施形態に係る移動制御による移動量の制限を概念的に表した図。 第１の実施形態において合成画像の移動制御の変形例を説明する図。 第１の実施形態に係る合成画像を移動制御する際のフローチャート。 第２の実施形態に係る表示位置変更部の機能を示すブロック図。 第２の実施形態において合成画像の移動制御について説明する図。 第２の実施形態に係る合成画像を移動制御する際のフローチャート。 第３の実施形態に係る合成画像を移動制御する際のフローチャート。 第４の実施形態に係る表示位置変更部の機能を示すブロック図。 第４の実施形態に係る合成画像を移動制御する際のフローチャート。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。図１は、本実施形態に係る画像処理システム示す概略図である。図１に示すように、本実施形態に係るシステムは、頭部装着型の画像表示装置（以下、ＨＭＤ）１２０１、および画像処理装置１２１０から構成されている。

ＨＭＤ１２０１は、使用者の頭部に装着され、画像表示部、画像処理装置１２１０と通信する通信部、及び、それらを制御する制御部とを含んでいる。画像表示部は、画像処理装置１２１０で生成した画像を表示する。画像表示部は、使用者のそれぞれの眼の前に光学系を含む構成で取付けられている。

また、ＨＭＤ１２０１と画像処理装置１２１０とは、ケーブルにより接続されている。なお、本実施形態の画像処理システムでは、ケーブルを用いた有線の通信経路により通信する構成となっているが、代わりに無線の通信経路を用いても構わない。

また、画像処理装置１２１０は不図示の外部Ｉ／Ｆ装置と接続されており、外部Ｉ／Ｆ装置はキーボードなどを備え、データや、命令等を入力し、入力されたデータの表示や、命令の結果等は、外部表示装置に表示する。

図２は、本実施形態に係る画像処理システムの機能を示すブロック図である。ＨＭＤ１２０１は、現実空間を撮像する撮像部１２０２、ＨＭＤ使用者に表示すべき画像を表示する表示部１２０６、画像や制御信号を送信および受信する画像処理装置Ｉ／Ｆ通信部１２０４を備える。また、ＨＭＤの姿勢を計測する姿勢センサ部１２０３、画像処理装置１２１０から受信した合成画像を処理する（移動する）表示位置変更部１２０５、ＨＭＤの位置姿勢を計算する位置姿勢算出部１２０８、制御部１２０７、その他不図示の機能部を備える。

画像処理装置１２１０は、ＰＣやＷＳなどＨＭＤ１２０１とは異なる外部の装置で構成され、画像や制御信号等を送受信するＨＭＤ Ｉ／Ｆ通信部１２１１、仮想画像のＣＧコンテンツが格納されているコンテンツＤＢ １２１４を備える。また、コンテンツＤＢに格納されているＣＧ画像を撮像部１２０２で撮像した撮像画像と重畳して合成画像を生成するＣＧ描画部１２１３、外部Ｉ／Ｆ装置と通信を行うための外部Ｉ／Ｆ通信部１２１５、その他不図示の機能部を備える。

ＨＭＤ１２０１および画像処理装置１２１０はそれぞれ、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。

外部Ｉ／Ｆ装置１２２０は画像処理装置１２１０から受け取った映像を表示したり、使用者が画像処理装置を使用するための操作をしたりする装置である。具体的には、画像処理装置１２１０と通信するＩ／Ｆ通信部１２２１、映像を表示する外部表示装置１２２２、操作するための操作部１２２３、その他不図示の機能部から構成される。

本実施形態では、ＨＭＤ１２０１から画像処理装置１２１０へ撮像画像と位置姿勢情報を送り、画像処理装置１２１０で仮想画像のＣＧを撮像画像に重畳しているが、本構成だけにはよらない。例えば画像処理装置１２１０からＨＭＤ１２０１へ仮想画像のＣＧ画像のみを送り、ＨＭＤ１２０１の中で撮像画像とＣＧ画像を重畳する構成にしてもよいし、または位置姿勢算出部１２０８を画像処理装置１２１０に搭載してもよい。

上述の構成において、ＨＭＤ１２０１の撮像部１２０２で撮像した現実空間の画像と、位置姿勢算出部１２０８で算出したＨＭＤの位置姿勢情報が画像処理装置Ｉ／Ｆ通信部１２０４を介して画像処理装置１２１０へ送られる。

画像処置装置１２１０のＣＧ描画部１２１３は受け取った位置姿勢情報を元にＣＧを描画して撮像部１２０２で撮像した撮像画像と重畳して合成画像を生成する。その後、合成画像を、ＨＭＤ Ｉ／Ｆ通信部１２１１を介してＨＭＤ１２０１へ送信する。ＨＭＤ１２０１は画像処理装置１２１０から受信した合成画像を表示部１２０６で表示する。以上の構成により、ＨＭＤを装着した使用者は、画像処理装置１２１０で描画したＣＧと撮像画像とが重畳された合成画像を見ることができる。

また、ＣＧ描画部１２１３で描画した合成画像を外部Ｉ／Ｆ通信部１２１５を介して外部Ｉ／Ｆ装置１２２０へ送信する。外部Ｉ／Ｆ装置１２２０はＩ／Ｆ通信部１２２１で受け取った合成画像を外部表示装置１２２２で表示する。これによりＨＭＤ１２０１の表示部１２０６で表示される画像と同じ画像が、外部表示装置１２２２でも表示される。

図３は、本実施形態における表示位置変更部１２０５の機能構成を示すブロック図である。撮像位置姿勢情報保持部１３０１は、ＨＭＤ１２０１が撮像したときのＨＭＤ１２０１の位置姿勢情報を位置姿勢算出部１２０８から取得して保持する。表示位置姿勢情報保持部１３０２は、表示すべき画像を受信したときのＨＭＤ１２０１の位置姿勢情報を位置姿勢算出部１２０８から取得して保持する。移動量計算部１３０３は、ＨＭＤ１２０１の撮像部１２０２が現実空間を撮像してから、この撮像画像が表示されるまでにＨＭＤ１２０１がどの向きにどれくらい動いたかを算出し、この動き量から画像をどれくらい動かす必要があるかを計算する。この計算は、撮像位置姿勢情報保持部１３０１から取得した、現実空間を撮像したときの位置姿勢情報と、表示位置姿勢情報保持部１３０２から取得した、撮像画像を表示するときの位置姿勢情報と、に基づいて行われる。撮像画像を表示するときの位置姿勢情報は、位置姿勢算出部１２０８が算出した最新の位置姿勢情報を、撮像画像を表示する際の位置姿勢として用いるようにしてもよい。または、表示部に表示される時間における位置姿勢を推定し、その推定した位置姿勢情報を用いるようにしてもよい。次に、移動量計算部１３０３は、この計算結果をもとに、表示すべき画像を移動させるピクセル数を計算する。移動部１３０４は、計算されたピクセル数だけ移動させて、表示部１２０６に合成画像を表示させる。

ここで、移動量計算部１３０３において、ＨＭＤ１２０１の位置姿勢の変化から、その変化分のピクセル数を計算する方法について説明する。図４は、位置姿勢の変化（移動した角度）から、そのピクセル数を計算する方法について説明する図である。同図では、ＨＭＤ使用者が首を横方向に振った動作時を示しており、ＨＭＤ使用者が表示部１２０６を観察するときの水平の画角をθ［ｒａｄｉａｎ］としている。また、位置姿勢の変化量に相当するピクセル数の計算は表示部１２０６の中心部分を基点に行い、１フレームあたりに移動した角度をΔθ［ｒａｄｉａｎ／ｆｒａｍｅ］、その移動に相当するピクセル数をΔｘ［ｐｉｘｅｌ］とする。また、表示部１２０６におけるピクセル数をＮ［ｐｉｘｅｌ］、ＨＭＤ使用者が表示部１２０６を観察できる画角をθ［ｒａｄｉａｎ］とする。このとき、移動に相当するピクセル数をΔｘ［ｐｉｘｅｌ］は、以下の数式１から求めることができる。なお、垂直方向も同様の計算式で求めることができる。

Δｘ＝Ｎ÷２÷ｔａｎ（θ÷２）×ｔａｎ（Δθ）・・・（数式１）
移動部１３０４は、表示部１２０６に表示する合成画像を、移動量計算部１３０３が数式１により算出した移動量（ピクセル数）だけ移動させて表示させる。

本実施形態では、移動部１３０４は、数式１により計算された移動量が所定範囲（上限および下限）を超えた場合には、移動量が所定範囲に収まるように移動量を変更する。

図５は、本実施形態の表示位置変更部１２０５による合成画像の移動制御について説明する図であり、特に合成画像の移動が所定範囲の上限に収まるよう移動を制御する際の概念図である。図５の各図では、左側に、ＨＭＤ１２０１を装着した使用者を上から見たときの様子を示しており、右側に、そのとき表示部１２０６に表示される画像の様子を示している。図５（ａ）は、ＨＭＤ使用者が動いていない時の様子と、ＨＭＤ１２０１に表示されている画像を示している。図５（ｂ）は、ＨＭＤ使用者が首を左に振ったときの様子と、その際、従来技術のように、移動量に制限を設定せずに表示させた場合の画像である。図５（ｃ）は、図５（ｂ）と同様にＨＭＤ使用者が首を左に振ったときの様子と、その際、本実施形態の構成によって移動量に制限を設定して表示させた場合の画像である。

本実施形態では、画像処理装置１２１０から受け取る合成画像はＨＭＤの表示部１２０６で表示する画像と同じサイズ（同じ画角）となっている。そのため、ＨＭＤの移動に合わせて表示部１２０６に表示すべき画像を移動させると、何も表示されない黒色の領域が発生する。そして、従来技術（図５（ｂ））のように、移動量に制限を設けずに合成画像を移動させて表示させると、表示部１２０６に大きな黒色の領域が発生してＨＭＤ使用者に大きな違和感を与えることになる。

これに対して、本実施形態（図５（ｃ））では、移動量が所定範囲に収まるように移動量に制限を設けているため、ＨＭＤが大きく移動している場合でも、表示部１２０６に発生する黒色の領域はある程度の大きさに抑えられる。これにより、本実施形態では、ＨＭＤ使用者に与える違和感を軽減することができる。

ＨＭＤ使用者が見る方向を垂直方向に変化させた場合も同様であり、これを示した同じ図が図５（ｄ）〜（ｆ）である。各図では、左側に、ＨＭＤ１２０１を装着した使用者を横から見たときの様子を示しており、右側に、そのとき表示部１２０６に表示される画像の様子を示している。本実施形態では、垂直方向への移動に制限を設けることで、ＨＭＤを大きく移動させた場合にも、図５（ｆ）のように黒色の領域がある程度の大きさに抑えられて表示される。これによって、ＨＭＤ使用者に与える違和感を軽減することができる。

図６は、本実施形態の表示位置変更部１２０５による合成画像の移動制御について説明する図であり、特に合成画像の移動が所定範囲の下限を上回るよう移動を制御する際の概念図である。図６の各図では、左側に、ＨＭＤ１２０１を装着した使用者を上から見たときの様子を示しており、右側に、そのとき表示部１２０６に表示される画像の様子を示している。ＨＭＤ使用者が静止しようとした場合にもわずかにＨＭＤ１２０１が少し動いたり、ＨＭＤ１２０１を静止させているにもかかわらず位置姿勢算出部１２０８がＨＭＤ１２０１の位置姿勢に少しの移動があると検知したりする場合がある。例えば、ＨＭＤ１２０１が少し動いた場合、移動制御を行わなければ、図６（ａ）のように表示部１２０６には合成画像が表示される。また、従来技術（図６（ｂ））のように、移動量に制限を設けずに合成画像を移動させて表示させると、移動制御による効果はほぼ無いにもかかわらず表示部１２０６に黒色領域が表示され、使用者に違和感を与えることになる。本実施形態では、図６（ｃ）のように、移動量が所定範囲に収まるように移動量に制限を設けて、移動量が所定の範囲の下限に達しない場合には移動制御を行わないようにしている。これによって、黒色領域の発生を抑制して、ＨＭＤ使用者に与える違和感を軽減することが可能となる。

図７は、図５と図６のような移動制御を実施したときの移動量の制限を概念的に表した図ある。横軸は画像の移動量を表しており、画像移動の上限、下限を設定することで画像を移動可能な量は少なくなる。なお、上限値、下限値を水平方向と垂直方向で個別に設定して、所定範囲を水平方向と垂直方向とで異なるようにしてもよい。

図９は、本実施形態に係る合成画像を移動制御する際の画像処理のフローチャートである。ステップＳ１９０１において、表示位置姿勢情報保持部１３０２は、画像処理装置１２１０で生成された合成画像を受信したときの位置姿勢情報を位置姿勢算出部１２０８から取得し、移動量計算部１３０３へ送る。

ステップＳ１９０２において、移動量計算部１３０３は、画像処理装置１２１０から受信した合成画像の背景画像が撮像部１２０２で撮像されたときの位置姿勢情報を撮像位置姿勢情報保持部１３０１から取得する。撮像位置姿勢情報保持部１３０１は、撮像部１２０２が現実空間を撮像したときの位置姿勢情報を位置姿勢算出部１２０８から取得して保持している。画像処理装置１２１０から受信した画像が、撮像部１２０２でどのタイミングで撮像されたかを関連付ける方法としては、種々の従来技術を利用することができる。例えば、画像のヘッダーに識別子を付与したり、画像中に識別子を埋め込んだりすることにより実現できる。本実施形態は、位置姿勢情報をＨＭＤ１２０１で保持する構成としているが、位置姿勢情報も画像のヘッダーに入れたり、画像情報の中に埋め込んだりしてもよい。

次に、ステップＳ１９０３において、移動量計算部１３０３は画像処理装置１２１０から合成画像を受け取ったときの位置姿勢情報と、この合成画像の背景画像が撮像されたときの位置姿勢情報と、に基づいて、どれだけ位置姿勢が変化したかを計算する。

ステップＳ１９０４において、移動量計算部１３０３は、Ｓ１９０３で計算した位置姿勢の変化から、どの方向にどれだけ画像を移動するか（水平方向の移動量および垂直方向の移動量を）計算をする。ステップＳ１９０５において、移動量計算部１３０３は、Ｓ１９０４で計算した水平方向の移動量が所定範囲内であるか否かを判定する。移動量計算部１３０３は、水平方向の移動量が所定範囲以外であった場合、ステップＳ１９０６において範囲内の移動量へ変換する。具体的には、移動量計算部１３０３は、移動量が上限値を超えていた場合には移動量を上限値に変更し、移動量が下限値を下回っていた場合には移動量を下限値に変更する。

ステップＳ１９０７において、移動量計算部１３０３は、Ｓ１９０４で計算した垂直方向の移動量が所定の範囲以内か否かを判定する。移動量計算部１３０３は、垂直方向の移動量が所定範囲以外であった場合、ステップＳ１９０８において、Ｓ１９０６と同様にして所定範囲内の移動量へ変換する。

ステップＳ１９０９において、移動部１３０４は、Ｓ１９０６、Ｓ１９０８で計算した移動量で合成画像を移動して表示部１２０６に表示する。なお、Ｓ１９０５、Ｓ１９０７で用いられる水平方向の閾値（上限値および下限値）および垂直方向の閾値（上限値および下限値）については、予め決められた値であってもよい。もしくは、外部Ｉ／Ｆ装置１２２０のユーザーインターフェースである操作部１２２３でユーザが入力した値でもよい。また、この閾値については、システム動作中に変更できるようになっていてもよく、その変更は操作部１２２３により変更できるようにしてもよい。

本実施形態によれば、撮像部が撮像したときの位置姿勢情報と合成画像を表示部に表示させるときの位置姿勢情報とに基づいて生成された合成画像の表示部に対する表示位置を移動させる際に、その移動量が所定範囲内になるように移動させる。これによって、ＨＭＤ使用者が表示部に表示される画像を見るときの違和感を軽減することが可能となる。

なお、上述の説明では、上限値と下限値の両方から成る所定範囲に収まるように移動量を変更しているが、上限値または下限値のいずれか一方のみを設定するようにしてもよい。すなわち、上限値だけであれば、その上限値を上回らないように移動量を変更し、下限値だけであれば、その下限値を下回らないように移動量を変更するような構成であってもよい。また、上述の説明では、水平方向と垂直方向の両方で合成画像の表示位置を移動させる移動制御を行っているが、いずれか一方の方向のみの制御であってもよい。

さらに、上述の説明では、移動量計算部１３０３が、算出した移動量が所定範囲内か否かを判断して、所定範囲外であれば、移動量を上限値または下限値に変更する構成を示した。しかし、本実施形態は、この構成に限らず、例えば、移動部１３０４が、移動量計算部１３０３によって算出された移動量が所定範囲内かを判断して、所定範囲外であれば移動量が上限値または下限値となるように移動させる構成であってもよい。いずれにしても、本実施形態は、表示部１２０６に表示される合成画像の移動量が結果として所定範囲内になるように表示されていればよい。

またさらに、上述の説明では、移動制御によって、撮像部１２０２によって撮像された画像の範囲を超えた部分には黒色画像が表示されるようにしたが、他色の画像が表示されるようにしてもよい。また、特許文献１に記載のように、撮像画像の端部の画像を繰り返し表示するようにしてもよい。

［第１の実施形態の変形例］
上述の説明では、ＨＭＤ１２０１の撮像部１２０２が撮像する画像の画角と、表示部１２０６が表示する画像の画角とが同じ場合の構成を示した。しかし、変形例として、撮像部１２０２の画像の画角が表示部１２０６の画像の画角よりも大きく（広く）なっており、抽出部（不図示）が撮像部１２０２で撮像した画像の一部を切り出して（抽出して）、表示部１２０６に表示させる構成であってもよい。図８は、このような構成における移動制御の例を説明する図である。

図８（ａ）は、左側に、ＨＭＤ１２０１を装着した使用者を上から見たときの様子を示している。右側には、撮像部１２０２で撮像された画像にＣＧを重畳させた合成画像１８０１と、その画像の一部を切り出して表示部１２０６に表示させる領域１８０２を示している。本変形例では、撮像部の画像の画角のまま画像処理装置でＣＧと重畳されて合成画像が生成され、その合成画像がＨＭＤ１２０１へと送信される。そして、ＨＭＤ１２０１において、撮像部が撮像したときの位置姿勢情報と合成画像を表示部に表示させるときの位置姿勢情報とに基づいて、切り出される（抽出される）領域が制御される。

図８（ｂ）は、従来技術のように切り出す位置に制限を設けない場合に、ＨＭＤ使用者が見る方向を左に大きく移動させたとき、合成画像１８０１のうち切り出される領域１８０３を示している。図８（ａ）と比べると、ＨＭＤ使用者が見る方向を左に移動させているために、合成画像１８０１中の切り出す位置を左側に移動させている。その際、ＨＭＤ１２０１の移動量が大きいと切り出す位置が撮像部の画像の画角の範囲を超えてしまい、合成画像に撮像部１２０２によって撮像されていない範囲が含まれるため、表示部１２０６に表示される画像には図８（ｃ）のように黒色領域が発生する。なお、ここでの移動量とは、画像の一部を切り出す位置と初期位置との差分である。

これに対し、本実施形態では、切り出し位置の制御の際にその移動量に制限を設けることによって、ＨＭＤ１２０１の移動量が大きい場合であっても、切り出される領域１８０４が合成画像１８０１の範囲に収まる。そのため、図８（ｅ）のように、表示部１２０６に表示される合成画像に黒色領域が発生するのを抑制することができる。なお、ここでは、黒色領域が発生しないように移動量に上限を設けているが、黒色領域が発生しても、その大きさがある程度の大きさに収まるように上限を設定するようにしてもよい。

このように、変形例では、撮像部が撮像したときの位置姿勢情報と合成画像を表示部に表示させるときの位置姿勢情報とに基づいて合成画像から切り出す位置を変更する際、その切り出し位置の移動量が所定範囲内になるように移動させる。これによって、ＨＭＤ使用者が表示部に表示される画像を見るときの違和感を軽減することが可能となる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態は、画像のフレーム間での移動量に制限を設けるものである。なお、第１の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。

図１０は、本実施形態における表示位置変更部１２０５の機能構成を示すブロック図である。第１の実施形態の図３と比較すると、本実施形態の表示位置変更部１２０５には、移動量保持部２００１が追加されている。移動量保持部２００１は、前フレームで合成画像をどの方向にどれだけ移動したか（移動量）を保持する機能部である。

図１１は、本実施形態の表示位置変更部１２０５による合成画像の移動制御について説明する図である。図１１の各図では、左側に、ＨＭＤ１２０１を装着した使用者を上から見たときの様子を示しており、右側に、そのとき表示部１２０６に表示される画像の様子を示している。

図１１（ａ）は、ＨＭＤ１２０１で見えるＮフレーム目の画像を示しており、図１１（ｂ）はＨＭＤ使用者が左に首をふったときに、本実施形態の移動量制御を行わなかった場合の、ＨＭＤ１２０１で見えるＮ＋１フレーム目の画像を示している。図１１（ｂ）で、ＨＭＤ使用者は、首を速くふったため、画像の移動量は２１０１となり、移動した量だけ黒画像が表示される。

図１１（ｃ）は、本実施形態に係る移動量制御を実施した場合の、ＨＭＤ１２０１で見えるＮ＋１フレーム目の画像を示している。本実施形態の移動量制御では、直前のフレーム（Ｎフレーム）の移動量と現在のフレーム（Ｎ＋１フレーム）の移動量との差分が所定範囲に収まるように移動量を制御する。すなわち、前フレームの移動量と現フレームの移動量との差が所定の上限値以下であるか否かを判定し、上限値を超えていれば、差分が上限値となるように移動量を変更する。

図１２は、本実施形態に係る合成画像を移動制御する際の画像処理のフローチャートである。第１の実施形態で示した図９のフローチャートと比較すると、ステップＳ２２０１〜Ｓ２２０４が追加または変更になっている。ここでは、図９のフローチャートとの差分について説明する。

ステップＳ２２０１において、移動量計算部１３０３は、移動量保持部２００１から前フレームでの移動量を取得する。Ｓ２２０２において、移動量計算部１３０３は、Ｓ２２０１で取得した移動量とＳ１９０４で計算した移動量との差分を算出し、その算出した差分が上限値以下か否かを判定する。算出した差分が上限値を上回っていた場合、ステップＳ２２０３において、移動量計算部１３０３は、移動量を設定された上限値に変更する。Ｓ２２０４において、移動量計算部１３０３は、計算した移動量を移動量保持部１９０１へ格納する。

本実施形態では、フレーム間の移動量に制限を設定することで、ＨＭＤ使用者が早い動作を行った場合にも、合成画像の表示位置の移動に制限がかかるため、急激に表示位置が変更されるようなＨＭＤ表示画像の違和感を低減することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第１の実施形態では各フレームにおいて移動量に制限を設ける構成を示し、第２の実施形態では２つのフレーム間の移動量の差に制限を設ける構成を示した。本実施形態は、各フレームにおいて移動量に制限を設けるとともに、２つのフレーム間の移動量の差にも制限を設ける構成を示す。なお、第１、第２の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。

図１３は、本実施形態に係る合成画像を移動制御する際の画像処理のフローチャートである。同図において、ステップＳ１９０１〜Ｓ１９０６は、第１の実施形態と同様に処理を行う。Ｓ１９０６の後に、ステップＳ２２０１〜Ｓ２２０４の処理を行う。Ｓ２２０１〜Ｓ２２０４の処理は、第２の実施形態と同様である。これら一連の処理で求めた移動量に基づいて、Ｓ１９０７において、移動部１３０４は、画像処理装置１２１０から受信した合成画像を表示部１２０６に対して移動して表示する。

本実施形態では、各フレームで合成画像の移動量を制限しつつ、フレーム間の移動量に制限を設定することで、ＨＭＤ使用者に対する違和感を一層軽減することができる。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。本実施形態は、ＨＭＤ１２０１の位置姿勢の変化だけではなく、撮像部１２０２が撮像してから合成画像が表示部１２０６に表示されるまでの遅延時間も考慮して移動量を算出するものである。より具体的には、撮像部１２０２が撮像してから表示部１２０６で表示するまでの遅延時間が閾値以上の場合は、ある一定時間前のＨＭＤの位置姿勢情報を元に移動量を計算し、閾値未満の場合は撮像時の位置姿勢情報を元に移動量を計算する。なお、第１〜第３の実施形態で既に説明をした構成については同一の符号を付し、その説明は省略する。

図１４は、本実施形態における表示位置変更部１２０５の機能構成を示すブロック図である。図１４（ａ）に示す本実施形態の構成と第２の実施形態の図１０とを比較すると、本実施形態の表示位置変更部１２０５には、位置姿勢情報保持部２４０１が追加されている。位置姿勢保持部２４０１は、過去のＨＭＤ１２０１の位置姿勢情報を保持する機能部である。位置姿勢情報保持部２４０１は、位置姿勢算出部１２０８から送られてくる姿勢情報を随時保持する。

また、変形例として、図１４（ｂ）のように、位置姿勢情報保持部２４０１が、姿勢センサ部１２０３からの姿勢情報のみを格納するような構成であってもよい。この構成では、撮像部１２０２が撮像してから表示部１２０６に合成画像が表示されるまでの時間が閾値を超える場合は、姿勢情報のみで移動量を計算する構成となる。以下では、図１４（ａ）に示した本実施形態の構成に基づいて説明を行う。

本実施形態では、撮像部１２０２が撮像してから表示部１２０６で表示するまでの遅延時間が５０ｍｓｅｃ未満の場合は、撮像時の位置姿勢情報を用いて移動量を計算する。一方、遅延時間が５０ｍｓｅｃ以上の場合は、５０ｍｓｅｃ前の位置姿勢情報を用いて移動量を計算する。

このような構成によって、例えば画像処理装置１２１０の処理負荷が集中して遅延時間が長くなった場合にも、遅延時間を最大で５０ｍｓｅｃと制限することにより、ＨＭＤ１２０１の移動量についても制限することができるようになる。例えば、遅延時間に制約を設けずに、その間にＨＭＤ１２０１が大きく動いてしまうような場合には、その大きな移動量に相当する黒色領域が発生することになる。しかし、本実施形態では、遅延時間に制約を設けることによって、ＨＭＤ１２０１の移動量に制約を設け、ＨＭＤ１２０１の表示部１２０６に表示される黒色領域の大きさを制限できる。また、このような構成によって、位置姿勢情報を保持する期間も最大で５０ｍｓｅｃとなるため、メモリ容量の増大を抑制できるという効果も有する。以下、図１５を用いて、本実施形態における処理の詳細について説明する。

図１５は、本実施形態に係る合成画像を移動制御する際の画像処理のフローチャートである。ここでは、図１２のフローチャートとの差分についてのみ説明する。

ステップＳ２６０１において、移動量計算部１３０３は、画像処理装置１２１０から受信した合成画像（の背景画像）が撮像部１２０２で撮像されてからの時間（遅延時間）を計算する。遅延時間の計算方法は、第１の実施形態で説明した撮像画像と表示画像との対応付けを行う際に、時刻情報を追加することで実現できる。そして、計算した遅延時間が閾値未満であるか否かを判定する。遅延時間が閾値以上の場合、ステップＳ２６０２において、移動量計算部１３０３は、位置姿勢情報保持部２４０１からＮミリ秒前の位置姿勢情報を取得する。このＮミリ秒は、本実施形態では５０ミリ秒であるが、この値は予め決められた値でもよいし、使用者が操作部１２２３で指定した値でもよい。

ステップＳ２６０３において、移動量計算部１３０３は、Ｓ２６０２で取得したＮミリ秒前の位置姿勢情報とＳ１８０１で取得した現在の位置姿勢情報とに基づいて、位置姿勢情報の変化量を計算する。なお、ステップＳ１８０４以降の処理は、図１２と同様のため説明を省略する。

本実施形態では、遅延時間も考慮して移動量の算出を行うことで、ＨＭＤ使用者が表示部に表示される画像を見るときの違和感を軽減することが可能となる。

［その他の実施形態］
画像処理装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

なお、この各装置が備える各部は、専用のハードウェアにより実現されるものであってもよい。または、各装置に備えられた各部はメモリおよびＣＰＵ（中央演算装置）により構成され、前記各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

１２０１ 画像表示装置（ＨＭＤ）
１２０２ 撮像部
１２０５ 表示変更部
１２０６ 表示部
１２０８ 位置姿勢算出部
１２１０ 画像処理装置
１２１３ ＣＧ描画部

Claims (16)

1. 現実空間の画像を撮像する撮像手段と、
   前記撮像した画像を画像処理装置に送信する送信手段と、
   前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信する受信手段と、
   前記受信した合成画像を表示部に表示させる際の画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記表示部に対する前記合成画像の位置を変更する変更手段と、を有し、
   前記変更手段は、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記合成画像の移動量が所定範囲に収まるように変更することを特徴とする画像表示装置。
2. 前記変更手段は、前記合成画像の移動量が前記所定範囲の上限値を超えている場合、当該移動量を当該上限値に変更することを特徴とする請求項１に記載の画像表示装置。
3. 前記変更手段は、前記合成画像の移動量が前記所定範囲の下限値を下回る場合、当該移動量を当該下限値に変更することを特徴とする請求項１または２に記載の画像表示装置。
4. 前記変更手段は、
   前記受信した合成画像を表示部に表示させる際の位置姿勢に係る情報と前記撮像手段が撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて前記合成画像の移動量を算出する算出部と、
   前記算出された移動量に基づいて、前記表示部に対する前記合成画像の位置を移動する移動手段と、
   を有し、
   前記算出部は、前記算出した移動量が所定範囲外である場合に、前記移動量が前記所定範囲に収まるように前記移動量を変更することを特徴とする請求項１から３のいずれか１項に記載の画像表示装置。
5. 前記変更手段は、
   前記撮像した画像と前記受信した合成画像との対応付けに基づいて、前記受信した合成画像を表示部に表示させる際の位置姿勢と前記撮像手段が撮像した際の位置姿勢との差分を計算する計算手段を有することを特徴とする請求項１から４のいずれか１項に記載の画像表示装置。
6. 画像のヘッダーもしくは画像中に識別子が埋め込まれていることにより、前記撮像した画像と前記受信した合成画像との対応付けがされていることを特徴とする請求項５に記載の画像表示装置。
7. 前記変更手段は、直前のフレームにおける前記合成画像の移動量と現在のフレームにおける前記合成画像の移動量との差分が、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記所定範囲に収まるように変更することを特徴とする請求項１から６のいずれか１項に記載の画像表示装置。
8. 前記変更手段は、前記撮像手段が撮像してから前記表示部が表示するまでの時間が所定の時間を超えるか否かを判断し、超えると判断した場合は、前記受信した合成画像を表示部に表示させる際の位置姿勢に係る情報と前記所定の時間だけ前の画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記表示部に対する前記合成画像の位置を変更することを特徴とする請求項１から７のいずれか１項に記載の画像表示装置。
9. 前記所定範囲は、前記水平方向と前記垂直方向とで異なることを特徴とする請求項１から８のいずれか１項に記載の画像表示装置。
10. 前記所定範囲は、前記画像表示装置の使用者によって変更できることを特徴とする請求項１から９のいずれか１項に記載の画像表示装置。
11. 現実空間の画像を撮像する撮像手段と、
    前記撮像した画像を画像処理装置に送信する送信手段と、
    前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信する受信手段と、
    前記受信した合成画像を表示部に表示させる際の画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記表示部に対する前記合成画像の位置を変更する変更手段と、を有し、
    前記変更手段は、直前のフレームにおける前記合成画像の移動量と現在のフレームにおける前記合成画像の移動量との差分が、前記表示部の水平方向または垂直方向の少なくとも一方の方向において所定範囲に収まるように変更することを特徴とする画像表示装置。
12. 現実空間の画像を撮像する撮像手段と、
    前記撮像した画像を画像処理装置に送信する送信手段と、
    前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信する受信手段と、
    前記受信した合成画像を表示部に表示させる際の画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、表示部に表示させる画像として前記合成画像の一部を抽出する抽出手段と、を有し、
    前記抽出手段は、前記表示部の水平方向または垂直方向の少なくとも一方の方向において抽出する位置と初期位置との差分が所定範囲に収まるように抽出することを特徴とする画像表示装置。
13. 現実空間の画像を撮像するステップと、
    前記撮像した画像を画像処理装置に送信するステップと、
    前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信するステップと、
    前記受信した合成画像を表示部に表示させる際の画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記表示部に対する前記合成画像の位置を変更するステップと、を有し、
    前記変更するステップは、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記合成画像の移動量が所定範囲に収まるように変更することを特徴とする画像表示方法。
14. 現実空間の画像を撮像するステップと、
    前記撮像した画像を画像処理装置に送信するステップと、
    前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信するステップと、
    前記受信した合成画像を表示部に表示させる際の画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、前記表示部の水平方向または垂直方向の少なくとも一方の方向において前記表示部に対する前記合成画像の位置を変更するステップと、を有し、
    前記変更するステップは、直前のフレームにおける前記合成画像の移動量と現在のフレームにおける前記合成画像の移動量との差分が、前記表示部の水平方向または垂直方向の少なくとも一方の方向において所定範囲に収まるように変更することを特徴とする画像表示方法。
15. 現実空間の画像を撮像するステップと、
    前記撮像した画像を画像処理装置に送信するステップと、
    前記画像処理装置によって前記撮像した画像と仮想画像とに基づいて生成された合成画像を前記画像処理装置より受信するステップと、
    前記受信した合成画像を表示部に表示させる際の画像表示装置の位置姿勢に係る情報と前記撮像手段が前記画像を撮像した際の画像表示装置の位置姿勢に係る情報とに基づいて、表示部に表示させる画像として前記合成画像の一部を抽出するステップと、を有し、
    前記抽出するステップは、前記表示部の水平方向または垂直方向の少なくとも一方の方向において抽出する位置と初期位置との差分が所定範囲に収まるように抽出することを特徴とする画像表示方法。
16. コンピュータを、請求項１から１３のいずれか１項に記載の画像表示装置として機能させるためのプログラム。

Images