JP2004109994A - 頭部装着型画像表示システム装置及びその画像処理方法 - Google Patents

Abstract

【課題】安価で且つ画像生成演算処理による画像表示遅れを軽減してリアルタイムで頭部の方位に応じた画像を表示することのできる頭部装着型画像表示システム装置及びその画像処理方法を提供すること。
【解決手段】本発明の頭部装着型画像表示システム装置１において、ＨＭＤ２の頭部方位検出部５から方位データがコントローラ３の頭部方位データ中継部９を介して頭部方位データストレージ部１０に供給されると、頭部方位データストレージ部１０は現在の頭部方位データと既に記録されている△ｔ（コンピュータによる画像生成処理に要する時間）だけ過去の頭部方位データとを方位変移演算部１１に出力し、方位位変移演算部１１はこれらの頭部方位データの方位の差をもとにコンピュータ４の演算処理時間遅れ△ｔによって生じた視野の垂直と水平のシフト量を演算処理により求める。その後、画像信号処理部１２はコンピュータ４の画像生成部４Ｂから供給された画像に対し、前記方位変移演算部１１で演算処理された垂直と水平の各シフト量と同量を逆方向にシフトするように処理を施しＨＭＤ２に出力する。
【選択図】図２

Description

　本発明は、頭部装着型画像表示システム装置に関し、特に使用者の頭部の移動方位に基づき生成された画像生成機器からの生成画像を、画像生成演算処理に伴う処理時間に拘わらず、違和感なくリアルタイムで頭部装着型画像表示装置に表示することの可能な頭部装着型画像表示システム装置及びその画像処理方法に関する。

　近年、頭部装着型画像表示装置、いわゆるヘッド・マウント・ディスプレイ（以下、ＨＭＤと称す）を有するシステムが注目されている。

　このＨＭＤは、上記のように使用者の頭部に装着する表示装置であり、バーチャルリアリティー（以下、ＶＲと称す）システムや、ミックスリアリティー（以下、ＭＲと称す）システムの視覚表示装置として使用されることがある。

　ＶＲやＭＲシステムの典型的構成としては、使用者の頭部の移動方位を検出するヘッドトラッカー（センサであり、以下、ＨＴと略記）を具備してなるＨＭＤと、該ＨＭＤの画像表示部をコントロールするためのコントローラと、ＨＭＤの画像表示部に表示する画像を生成し出力する画像生成手段及びシステム全体を制御する制御手段を具備するコンピュータとで構成され、使用者は該ＨＭＤを頭部に被りこのシステムを利用する。

　この種のシステムにおいて、前記ＨＴは、使用者の頭部の方位を検出して計測し、方位データとしてコントローラを介してコンピュータに出力する。これを受けコンピュータは、この方位データに基づき、仮想環境の視覚画像を、コンピュータグラフィックスの技術を利用した画像生成手段により生成する。すなわち、使用者が仮想空間に入り込み、その方位に頭を向けたときに見えるであろう視覚画像を生成する。そして、コンピュータはこの生成した視覚画像をコントローラを介してＨＭＤに出力し、ＨＭＤは具備する画像表示部にてその視覚画像を表示することにより、使用者に空中像として提示する。

　ところで、この種のＶＲシステムでは、理想的には、ＨＴにより頭の方位が計測されＨＭＤに画像を表示する一連の流れが、一瞬のうちに行わなければならない。しかし、現実的には、コンピュータ内で画像を生成するための演算処理に時間（この時間を△ｔと呼ぶことにする）がかかる。このため、使用者が頭を動かしても、その瞬間にはＨＭＤを通して観察される仮想空間の視野に変化はなく、△ｔだけ時間が経過してから、視野の方向が頭の方位変化に追従して動き出すことになる。実生活のなかで、肉眼で観察している世界には、このような遅れは全くなく、したがって、この遅れは違和感となってしまう。

　また、既に開示がなされている類似技術としては、例えば特開平９−２８４６７６号公報や特開平８−１９１４１９号公報の提案がある。

　前者の特開平９−２８４６７６号公報の提案では、ジャイロセンサを搭載したヘッドマウントディスプレイにおいて、視聴者の頭部の移動量及びまたは回転角を検出する手段を設け、該検出された移動量及びまたは回転角の変化量に応じて、原映像の映像信号の一部を抜き出して表示する映像処理を施した映像表示装置が開示されている。

　また後者の特開平８−１９１４１９号公報の提案では、信号処理部のフレームメモリに記憶された広画角の画像信号から、回転角センサで検出されたユーザの頭位置情報に基づいて、ユーザが見るべき表示画像をフレームメモリから切り出し、ディスプレイに表示する頭部装着型表示システムが開示されている。
特開平９−２８４６７６号公報 特開平８−１９１４１９号公報

　しかしながら、上述した従来のＶＲシステムでは、上述したようにコンピュータ内で画像を生成するための演算処理に△ｔの時間がかかってしまうことから、この△ｔによる影響により、ＨＭＤの画像表示部には、頭を動かしてもその頭の動きに応じた画像がリアルタイムで表示されず違和感を生じてしまうといった問題点があった。このように△ｔの影響による違和感を無くす方法としては、従来、より高性能の演算処理能力を持つコンピュータを使用する方法や、画像の緻密度を減じて画像生成における演算ボリュームを減らす方法が考えられるが、前者の方法だと、システムが高価となってしまい実現が困難であり、一方、後者の方法では、△ｔの時間を軽減することはできるが、画像の緻密さがなくなってしまい、結果的には現実感が損なってしまうといった不都合がある。

　また、前述した特開平９−２８４６７６号公報や特開平８−１９１４１９号公報の提案による従来の類似技術においては、元の映像を記憶させておくための大容量のフレームメモリや、さらに広画角の画像を生成できる処理能力を持つコンピュータを必要とするため、システムとして高価となる問題点があった。

　そこで、本発明は上記問題点に鑑みてなされたもので、安価で且つ画像生成演算処理による画像表示遅れを軽減してリアルタイムで頭部の方位に応じた画像を表示することのできる頭部装着型画像表示システム装置及びその画像処理方法を提供することを目的とする。

　請求項１の発明の頭部装着型画像表示システム装置は、使用者の頭部に着脱自在に装着可能な表示手段と、該表示手段に設置され、使用者の頭部の少なくとも水平の方位を検出する方位検出手段と、該方位検出手段からの使用者の頭部の方位に応じて画像を生成し、生成した画像を前記表示手段に表示させる画像生成機器とを具備した頭部装着型画像表示システム装置において、前記方位検出手段により得られた現在の頭部の方位データと、一定時間前の頭部方位データとの差を演算する方位変移演算手段と、前記方位変移演算手段により得られた方位変位量に応じて、前記表示手段に表示する空中像の位置を少なくとも水平にシフトする画像処理手段とを設けたことを特徴とするものである。

　請求項２の発明の頭部装着型画像表示システム装置は、使用者の頭部に着脱自在に装着可能な表示手段と、前記表示手段に設置され、使用者の頭部の少なくとも水平の方位を検出する方位検出手段と、前記方位検出手段からの使用者の頭部の方位に応じて画像を生成し、生成した画像を前記表示手段に表示させる画像生成機器と、前記方位検出手段により得られた現在の頭部の方位データと、一定時間前の頭部方位データとの差を演算する方位変移演算手段と、前記方位変移演算手段により得られた方位変位量に応じて、前記表示手段に表示する空中像の位置を少なくとも水平にシフトする画像処理手段と、を具備して構成したことを特徴とするものである。

　請求項３の発明の頭部装着型画像表示システム装置は、請求項１または請求項２に記載の頭部装着型画像表示システム装置において、前記方位変移演算手段及び画像処理手段は、前記表示手段または前記表示手段の表示制御を行うコントローラに内蔵されていることを特徴とするものである。

　請求項４の発明の頭部装着型画像表示システム装置は、請求項１または請求項２に記載の頭部装着型画像表示システム装置において、前記方位検出手段は、使用者の頭部方位を検出する２つの異なる第１，第２の方位検出部で構成されたもので、前記第１の方位検出部は前記方位変移演算手段の演算に必要な方位を計測し、前記第２の方位検出部は前記画像生成機器が画像生成のために必要とする方位を計測するものであることを特徴とするものである。

　請求項５の発明の頭部装着型画像表示システム装置は、請求項１または請求項２に記載の頭部装着型映像表示システム装置において、前記画像処理手段は、前記画像生成機器からの生成画像信号にに対し信号処理を行うことにより、前記表示手段に表示する空中像の位置を水平方向にのみシフトさせることを特徴とするものである。

　請求項６の発明の頭部装着型画像表示システム装置は、請求項１又は請求項２に記載の頭部装着型画像表示システム装置において、前記一定時間は、前記画像生成機器が画像生成に要する時間であって、これを実測する一定時間計測手段を設けたことを特徴とするものである。

　請求項７の発明の頭部装着型画像表示システム装置は、請求項６に記載の頭部装着型画像表示システム装置において、前記一定時間計測手段は、前記一定時間を計測するために、前記画像生成機器に頭部方位の変化を知らせるダミーの方位信号を送りだし、該画像生成機器が生成し出力する画像信号を分析して、その信号をもとに画像生成機器が画像を生成するまでに要した時間を計測することを特徴とするものである。

　請求項８の発明の頭部装着型画像表示システム装置は、請求項６に記載の頭部装着型画像表示システム装置において、前記一定時間計測手段は、予め定義した複数のパターン画像の生成時間を計測し、それらを統計処理して決定した時間を前記一定時間とすることを特徴とするものである。

　請求項９の発明の頭部装着型画像表示システム装置は、請求項１または請求項２に記載の頭部装着型画像表示システム装置において、前記方位検出手段は、前記方位変位演算手段の演算に必要な方位データと前記画像生成機器が画像生成のために必要とする方位データとを生成することを特徴とするものである。

　請求項１０の発明の頭部装着型画像表示システム装置は、請求項９に記載の頭部装着型画像表示システム装置において、前記方位検出手段は、前記方位変位演算手段に入力される第１の方位データを生成する為の第１の信号処理手段と、前記画像生成機器に入力される第２の方位データを生成する為の第２の処理手段とを有することを特徴とするものである。

　請求項１１の発明の頭部装着型画像表示システム装置は、請求項１０に記載の頭部装着型画像表示システム装置において、前記第１の信号処理手段は、応答速度が早い処理を行うことを特徴とするものである。

　請求項１２の発明の頭部装着型画像表示システム装置は、請求項１１に記載の頭部装着型画像表示システム装置において、前記応答速度は略ビデオレートあるいはそれより速い速度であることを特徴とするものである。

　請求項１３の発明の頭部装着型画像表示システム装置は、請求項１１に記載の頭部装着型画像表示システム装置において、前記第１の信号処理手段の応答時間は略１／１５ｓｅｃ以下であることを特徴とするものである。

　請求項１４の発明の頭部装着型画像表示システム装置は、請求項１０に記載の頭部装着型画像表示システム装置において、前記第２の信号処理手段は、ドリフトを抑制する処理を行うことを特徴とするものである。

　請求項１５の発明の頭部装着型画像表示システム装置の画像処理方法は、使用者の頭部に着脱自在に装着可能な表示手段に設置された方位検出手段で使用者の頭部の少なくとも水平の方位を検出する方位検出手順と、前記方位検出手段で検出された使用者の頭部の方位に応じて画像を生成する画像生成手順と、前記方位検出手段により得られた現在の頭部の方位データと、一定時間前の頭部方位データとの差を演算して方位変位量を算出する方位変移演算手順と、前記算出された方位変位量に応じて、前記生成した画像を前記表示手段に表示する空中像の位置を少なくとも水平にシフトする画像処理手順と、を備えたことを特徴とするものである。

　請求項１６の発明の頭部装着型画像表示システム装置の画像処理方法は、請求項１５に記載の頭部装着型画像表示システム装置の画像処理方法において、前記方位検出手順は、前記方位検出手段が使用者の頭部方位を検出する２つの異なる第１，第２の方位検出部で構成され、前記第１の方位検出部で前記方位変位量の演算に必要な方位を計測する手順と、前記第２の方位検出部で前記画像を生成するために必要とする方位を計測する手順と、を有することを特徴とするものである。

　本発明の頭部装着型画像表示システム装置及びその画像処理方法は、安価で且つ画像生成演算処理による画像表示遅れを軽減してリアルタイムで頭部の方位に応じた画像を表示することのできるという利点がある。

　発明の実施の形態について図面を参照して説明する。
　（構成）
　図１乃至図７は本発明に係る頭部装着型画像表示システム装置の第１の実施の形態を示し、図１は該頭部装着型画像表示システム装置の概略的なシステム構成を示す構成図、図２は該頭部装着型画像表示システム装置の特徴となる回路構成を示すブロック図、図３乃至図６は本発明の頭部装着型画像表示装置の原理を説明するための説明図で、図３は△ｔに起因する画像方位のずれ状態、図４は△ｔに起因した方位データ差を補正するための補正量（△θ）、図５は時刻ｔにおける図４の補正量（△θ）を示すグラフ、図６は補正量（△θ）に基づきシフトした場合の画像方位をそれぞれ示している。また図７は該頭部装着型画像表示装置の動作を説明するための説明図で、図７（ａ）は時刻、図７（ｂ）は使用者の頭部方位、図７（ｃ）は使用者が見る頭部方位に応じた正しい映像、図７（ｄ）はコンピュータにより生成された出力映像、図７（ｅ）はＨＭＤにて表示される補正映像をそれぞれ示している。

　本実施の形態の頭部装着型画像表示システム装置では、既存の従来回路をわずかに変更した簡単な構成で、安価で且つ画像生成演算処理による画像表示遅れを軽減して、より正しく頭部の方位に応じた画像を表示することのできるように改良したことが特徴である。

　まず、本発明の頭部装着型画像表示システム装置における原理について、図３及び図６を参照しながら説明する。なお、説明を簡略化するために、まず頭の方位が鉛直軸周りにのみ回転変移するものとし、すなわち、水平に首を振る場合に限定するものとし、その水平方向の方位をθで表すものとする。

　本発明の頭部装着型画像表示システム装置には、使用者の頭部の移動方位を検出するＨＴ等の頭部方位検出手段と、該頭部方位検出手段からの頭部方位情報や画像生成機器としてのコンピュータによる画像生成処理に起因する時間遅れ（△ｔであり、現在時刻をｔ０とする）の頭部方位情報を格納（記録）する頭部方位データストレージ手段と、△ｔに応じた頭部方位変移量（シフト量ともいい、△θと示す）を演算する方位変移演算手段と、求められた△θに基づき画像の補正処理を施す画像信号処理手段とが少なくとも設けられている。

　上記構成の頭部装着型画像表示システム装置においては、頭部方位に基づく画像生成演算処理に起因して△ｔの時間だけ要してしまうことは、従来技術で述べた通りである。つまり、図３にこの様子が示されている。図３中の実線は、前記頭部方位検出手段が検出した方位データθであり、波線は画像生成機器であるコンピュータが生成した視野中心方位を示している。この場合、上記のように画像演算処理に△ｔだけ時間を要するとすると、図３に示すように、波線は実線で示した曲線を右に△ｔだけ水平移動した曲線となる。

　図４は、前記頭部方位検出手段が求めた方位検出信号（方位データともいう）から、補正量△θをどのように求めるかを示している。すなわち、前記頭部方位データストレージ手段及び方位変移演算手段を用いて、現在の方位データから△ｔだけ過去に計測した方位データを引き算することにより、補正量△θを求める。求められた補正量△θをグラフに示した一例が図５に示されている。つまり、図５において、図４中の矢印が示す補正量△θは、図中矢印が示す補正量△θとなり、現在時刻ｔ０のときのものとなる。なお、この場合、頭の移動変位がない場合には補正量△θはゼロとなり、また、頭が一定のスピードで動いた場合には曲線ではなく直線となる。

　本発明においては、前記画像信号処理手段を用いて、求められた補正量△θに基づきコンピュータからの生成画像に補正処理を施すことにより、画像生成演算処理に起因する△ｔ分の時間遅れに拘わらず、あたかも画像生成演算処理が瞬時に行われたと同じようにリアルタイムで頭部方位に応じた画像を得ることができる。この様子が図６に示されている。つまり、図６は、前記画像信号処理手段においてコンピュータの画像生成部が生成した画像に△θ分シフト処理を施した画像の視野中心方位を示したもので、二点斜線で示されている。すなわち、二点斜線が示すように、あたかも画像生成演算処理手段が瞬時で行われたと同じように、補正された画像の視野中心方位は、頭部方位検出手段が検出した方位（図３参照）と合致していることが、図３と図６との比較から解る。

　以上、説明簡略化のために頭部が水平方向のみに変移した場合について説明したが、自由な方向に向きを変えた場合には、方位をスカラー量θではなく、方位を示すマトリックスでこれを現し、△θも変換マトリックスで現せば良い。ただし、違和感は垂直や回転方向よりも水平方向のずれに対して優位に発生することから、回路構成簡素化を図る目的とする場合には、水平方向のみの補正でも違和感減少に大きな効果がある。

　このような原理を採用することで上記課題を解決した頭部装着型画像表示システム装置の実施の形態を下記に示す。

　図１に示すように、本実施の形態の頭部装着型画像表示システム装置１は、前記頭部方位検出手段を備えた頭部装着型ディスプレイ（ＨＭＤ）２と、このＨＭＤ２に接続ケーブル３Ａを介して電気的に接続され、前記ＨＭＤ２の画像表示部をコントロールためコントローラ３と、このコントローラ３に接続ケーブル３Ａを介して電気的に接続され、画像生成演算処理部を有する画像生成機器としてのコンピュータ４とを具備して構成されている。

　ＨＭＤ２は、画像表示部等の主要構成部品を有する本体２Ａと、該本体２Ａを使用者の頭部に装着するための装着部２Ｂとを備えて構成されている。本体２Ａは、例えばツル等の装着部２Ｂが両側基端部に取付けられており、該装着部２Ｂを用いて本体２Ａが使用者の目を覆うように頭部に装着し保持される。なお、装着部２Ｂとしては、ツル以外に使用者の頭部に本体２Ａを装着し保持するものであれば他のものでもよく、例えばヘルメット等のものでも良い。また、図示はしないが装着部２Ｂの使用者の耳に対応する両側部分には表示画像に対応する音声を再生するためのインナーホンが設けられている。

　コントローラ３は、ＨＭＤ２の画像表示部（後述する）を制御するためのＨＭＤコントローラであり、ＨＭＤ２の本体２Ａに配された画像表示部における表示映像の表示制御や、音量調整、画質，音質調整、電源スイッチのオンオフ等の各種制御を行う。またコントローラ３には、上記各種制御を行うための操作手段（図示せず）や接続ケーブル３Ａを接続するのに必要な端子群も設けられている。
　コンピュータ４は、画像生成演算処理部（後述する）を有する画像生成機器であり、前記ＨＭＤ２の頭部方位検出手段により検出された頭部方位データに基づく画像を生成し出力する。例えばコンピュータ４は、該頭部装着型画像表示システム装置をゲーム機器としてシステム構成した場合には、映像信号の出力可能なゲーム機が適用される。

　次に、このような頭部装着型画像表示装置の電気的回路構成を図２を参照しながら説明する。

　図２に示すように、ＨＭＤ２の本体２Ａ内部には、頭部方位検出手段としての頭部方位検出部５，小型映像表示素子ドライブ回路６，小型映像表示素子７，空中像投影光学系８が搭載されている。

　頭部方位検出部５は、使用者の頭部の移動方位を検出するＨＴ等で構成されたもので、検出した頭部方位データ（方位ベクトル）をコントローラ３の頭部方位データ中継部９に出力する。

　小型映像表示素子７は、例えば入力画像を表示するＬＣＤで構成されたもので、本体２Ａの内側面に配されている。

　小型映像表示素子ドライブ６は、前記小型映像表示素子６の駆動を制御するもので、該小型映像表示素子７に入力画像信号に基づく画像を表示させる。

　空中像投影光学系８は、正の屈折力を持つ光学系で、前記小型映像表示素子７により表示された表示画像をより臨場感ある空中像像として使用者に視聴させるものである。なお、ＨＭＤの構造に関し、該ＨＭＤ２の本体２Ａが装着部２Ｂにより使用者の頭部に装着された場合に、前記空中像光学系８や小型映像表示素子７に対して外光が入射されないような遮蔽構造も図示はしないが設けられている。

　コントローラ３は、主に、前記ＨＭＤ２の頭部方位検出部５からの方位データを取り込み出力する頭部方位データ中継部９と、該頭部方位データ中継部９からの頭部方位データ（コンピュータ４による画像生成処理に起因する時間遅れ（△ｔ）の頭部方位データも含む）を格納する頭部方位データストレージ部１０と、△ｔに応じた頭部方位変移量（シフト量：△θ）を演算する方位変移演算部１１と、求められた△θに基づき画像の補正処理を施す画像信号処理部１２とを含んで構成されている。

　前記頭部方位データ中継部９は、取り込んだ方位データを前記頭部方位データストレージ部１０及びコンピュータ４に出力する。

　コンピュータ４は、該機器及びシステム全体を制御する制御部４ａと、前記方位データに基づく画像を生成する画像生成部４ｂとを具備し、該画像生成部４ｂにより、取り込んだ方位データに基づきこの方位に見える仮想空間の画像を生成し、コントローラ３の画像信号処理部１２に出力する。

　上記構成の頭部装着型画像表示システム装置において、ＨＭＤ２の頭部方位検出部５から方位データがコントローラ２の頭部方位データ中継部９を介して頭部方位データストレージ部１０に供給されると、コントローラ３の頭部方位データストレージ部１０により記録される。

　頭部方位データストレージ部１０は、記録された最新の頭部方位データ、つまり現在（ｔ０とする）の頭部方位データと、既に記録されている△ｔ（コンピュータによる画像生成処理に要する時間）だけ過去の頭部方位データとを、前記方位変移演算部１１に出力する。

　そして、方位変移演算部１１は、現在の頭部方位データと、既に記録されている△ｔだけ過去の頭部方位データとから方位の差を求め、これをもとにコンピュータ４の演算処理時間遅れ△ｔによって生じた視野の垂直と水平のシフト量を演算処理により求める。この求められたシフト量は画像信号処理部１２に供給され、これを受け画像信号処理部１２は、コンピュータ４の画像生成部４Ｂから供給された画像に対し、前記方位変移演算部１１で演算処理された垂直と水平の各シフト量と同量を逆方向にシフトするように処理を施し、施した画像信号をＨＭＤ２の小型映像表示素子ドライブ回路６に出力する。

　小型映像表示素子ドライブ回路６は、この補正された画像信号に基づき小型映像表示素子７を駆動させ、あたかもコンピュータ４が瞬時に画像生成をしたときと同じ視野方位をもつ画像を表示させる。これにより、使用者は空中像投影光学系８を通して、違和感なく仮想空間の空中画像を視聴し確認することができる。

　なお、本実施の形態において、前記方位変移演算部１１は、コンピュータ４の演算時間遅れ△ｔによって生じた視野の垂直と水平のシフト量を演算処理により求めるように説明したが、これに限定されることはなく、例えば回転量を演算処理で求め、前記画像信号処理部においては、回転量補正を含めた処理を行うように構成しても良い。

　（作用）
　次に、本実施の形態の頭部装着型画像表示システム装置の特徴となる動作を図７を参照しながら詳細に説明する。

　なお、図７（ａ），図７（ｂ）に示すように、該頭部装着型画像表示システム装置１の使用開始時刻ｔを１２：００とし、また、コンピュータの演算処理に要する△ｔを０．５秒とし、さらに、使用開始時刻から△ｔ後の使用者の頭部移動変移を３０゜、さらに△ｔ後の現在までの頭部移動変移を１５゜に水平方向に移動したものとして説明する。

　いま、使用者が本実施の形態の頭部装着型画像表示装置１を頭部に装着し、電源を投入したものとする。

　このとき、図７（ｂ）に示すように、１２：００の時刻で使用者の頭部２０が正面（０゜の位置）に向いており、正面の実際の映像が図７（ｃ）に示すような樹木３０が中央にあり人３１が右方向にいる映像２０Ａだったとすると、コンピュータ４からの出力映像は使用者の頭部２０が移動してないので図７（ｄ）に示す映像４Ａがコントローラ３の画像信号処理部１２に出力され、その結果、ＨＭＤ２の小型映像表示素子７には前記映像４Ａと同じ映像８Ａ（図７（ｅ）参照）が表示される。

　そして、０．５秒後（△ｔ後で１２：００．０５）に、使用者の頭部２０が３０゜右方向に移動したものとすると、この３０゜で見える実際の映像は図７（ｃ）に示すような樹木３０及び人３１が多少左方向に移動した映像２０Ｂとなるが、コンピュータ４からの出力映像は、図７（ｄ）に示すように、演算処理部４ｂの演算処理に要する時間△ｔがかかってしまうことになるため、１２：００，０５の時刻では頭部方位変移に応じた映像を得ることが出来ず、実際の映像２０Ａ（図７（ｃ）参照）と略同じ映像４Ｂがコントローラ３の画像信号処理部１２に出力されることになる。

　しかしながら、本実施の形態では、方位変移演算部１１を用いて、現在の頭部方位データと、既に記録されている△ｔだけ過去の頭部方位データとから方位の差を求め、これをもとにコンピュータ４の演算処理時間遅れ△ｔによって生じた視野の垂直と水平のシフト量を演算処理により求め（図４に示す△θで、本例では図７（ｅ）に示すシフト部４０）、その後、画像信号処理部１２により、コンピュータ４の画像生成部４ｂから供給された画像（映像４Ｂ）に対し、前記方位変移演算部１１で演算処理された垂直と水平の各シフト量と同量を逆方向にシフトするように処理を施し（図６参照）、ＨＭＤ２の小型映像表示素子ドライブ回路６に出力しているので、その結果、小型映像表示素子７には、あたかもコンピュータ４が瞬時に画像生成をしたときと同じ視野方位をもつ画像、すなわち、実際の映像２０Ｂと略同じ映像８Ｂ（図７（ｅ）参照）が表示されることになる。

　そして、さらに、０．５秒後（△ｔ後で１２：００．１０）に、使用者の頭部２０が４５゜右方向に移動したものとすると、この４５゜で見える実際の映像は図７（ｃ）に示すような樹木３０が左側端部にあり人３１が中央にある映像２０Ｃとなるが、コンピュータ４からの出力映像は、図７（ｄ）に示すように、演算処理部４ｂの演算処理に要する時間△ｔがかかってしまうことになるため、１２：００，１０の時刻では頭部方位変移に応じた映像を得ることが出来ず、実際の映像２０Ｂ（△ｔ前の過去の映像４Ｂ）と略同じ映像４Ｃがコントローラ３の画像信号処理部１２に出力されることになる。

　しかしながら、本実施の形態では、上記同様に方位変移演算部１１を用いて、現在の頭部方位データと、既に記録されている△ｔだけ過去の頭部方位データとから方位の差を求め、これをもとにコンピュータ４の演算処理時間遅れ△ｔによって生じた視野の垂直と水平のシフト量を演算処理により求め（本例では図７（ｅ）に示すシフト部４０Ａ）、その後、画像信号処理部１２により、コンピュータ４の画像生成部４Ｂから供給された画像（映像４Ｃ）に対し、前記方位変移演算部１１で演算処理された垂直と水平の各シフト量と同量を逆方向にシフトするように処理を施し、ＨＭＤ２の小型映像表示素子ドライブ回路６に出力しているので、その結果、小型映像表示素子７には、あたかもコンピュータ４が瞬時に画像生成をしたときと同じ視野方位をもつ画像、すなわち、実際の映像２０Ｃと略同じ映像８Ｃ（図７（ｅ）参照）が表示されることになる。

　これにより、使用者は空中像投影光学系８を通して、違和感なく仮想空間の空中画像を視聴し確認することができる。

　なお、図７（ｄ）に示されるように、補正映像の周辺には図中に斜線部が示す映像が表示されない領域が生じることがある。これを防止あるいは軽減する手段としては、図２中に示す小型映像表示素子７の前に該小型映像表示素子の表示領域周辺部を覆い隠す視野マスクを配置すると良い。

　あるいは、前記小型映像表示素子７をオーバースキャン駆動することで、映像信号を表示素子の有効表示領域からはみ出させ、該表示素子に周辺映像が切り捨てられた映像を表示させても良い。

　（効果）
　したがって、本実施の形態によれば、安価で且つ画像生成演算処理による画像表示遅れを軽減してリアルタイムで頭部の方位に応じた画像を表示することのできる頭部装着型画像表示システム装置及びその画像処理方法の実現が可能となる。

　ところで、上記△ｔは、使用するコンピュータの演算処理能力によって異なる場合が考えられるが、本発明では、この△ｔを予め何らかの手段でコンピュータの画像生成時間を調べておき、その値を手動で前記方位変移演算部１１にセットするように構成してもよい。そこで、上記△ｔを自動的にセットアップするようにすれば、使用者の設定操作を簡素化するには極めて有効である。このような△ｔを自動的にセットアップ可能にした実施の形態を下記に示す。

　（構成，作用）
　図８は本発明に係る頭部装着型画像表示システム装置の第２の実施の形態を示し、該頭部装着型画像表示システム装置の特徴となる回路構成を示すブロック図である。なお、図８は、前記第１実施の形態に置ける装置と同様な構成要素については同一の符号を付して説明を省略し、異なる部分をのみを説明する。

　本実施の形態では、前記第１の実施の形態のコントローラ３に△ｔ計測部１３及び△ｔをセットアップする際に操作するセットアップボタン５０を付加して構成するとともに、頭部方位データ中継部９に新たな付加機能を設けて構成したことが特徴であり、その他の構成は前記第１の実施の形態と略同様である。

　図８に示すように、コントローラ３において、セットアップボタン５０は、使用者によって△ｔを自動的に計測する際に操作する操作ボタンであり、押下されることにより、操作信号は頭部方位データ中継部９及び該コントローラ全体を制御する制御部（図示しない）に供給される。この場合、制御部（図示しない）は該コントローラ３内をセットアップモードに応じた処理を制御する。

　頭部方位データ中継部１９は、セットアップボタン５０が押下されると、供給された操作信号に基づきダミーの方位データ（以下、第１の方位データと称す）をコンピュータ４及び△ｔ計測部１３に出力するとともに、想定される△tより充分長い時間（例えば１秒）が経過した所で、第１の方位データに所定の変移を加えた方位データ（以下、第２の方位データと称す）をコンピュータ４及び△ｔ計測部１３に出力する。　
　コンピュータ４は、画像生成部４ｂにより第１の方位データに基づく画像（以下、第１の画像と称す）を生成しコントローラ３の△ｔ計測部１３及び画像信号処理部１２に出力するとともに、第２の方位データに基づく画像（以下、第２の画像と称す）を生成し同様にコントローラ３の△ｔ計測部１３及び画像信号処理部１２に出力する。

　△ｔ計測部１３は、前記第２の方位データを受信したときからカウントを開始し、前記第２の画像を受信するとそのカウントを停止してそれまでの時間をカウントする。つまり、頭部方位データ中継部９がコンピュータ４に送信してから、第２の画像が該コントローラ３に送信されるまでの時間、即ち△ｔを計測する。そして、△ｔ計測部１３は、計測して△ｔを頭部方位データストレージ部１０に出力し設定させる。

　なお、前記△ｔ計測部１３による△ｔの計測処理では、コンピュータ４から送られてくる第１の画像から第２の画像に切り替わったことを検出する必要があるが、この場合、第１の画像信号と第２の画像信号との輝度信号り時間微分を行い、それが急峻変化したタイミングを検出したときに、第１の画像から第２の画像に切り替わったと判断すれば良く、他の手段を用いて画像の切り替わりを検出するようにしても良い。

　また、△ｔ計測部１３にて△ｔを計測する場合、コンピュータ４の画像生成部４ｂにて生成する画像パターンを予め該画像生成部４ｂまたは他の記憶手段に登録しておき、これをもとに第１の画像及び第２の画像がコントローラ３の△ｔ計測部１３に出力するようにして△ｔを計測するようにしても良い。このような方法によればより安定した△ｔの計測を行うことができる。

　さらに、本実施の形態では、前記予め登録する画像バターンをポリゴン数の異なる複数の画像とし、各画像毎に△ｔを求め、得られた△ｔから平均もしくは重み付き平均をとり、これを方位変移演算部１１で用いる△ｔとすれば、より高精度に処理することが可能となる。

　その他の構成及び作用については、前記第１の実施の形態と同様である。

　（効果）
　したがって、本実施の形態によれば、前記第１の実施の形態と同様の効果を得られる他に、コンピュータの演算処理能力によって異なる画像生成演算処理に要する△ｔを、自動的に設定することができ、使用者の設定操作の簡素化に大きく寄与する。

　ところで、上記第１及び第２の実施の形態にて使用される頭部方位検出部５としては、例えば加速度センサーを応用したタイプと磁気センサーを応用したタイプとの２種類のタイプのセンサが考えられるが、加速度センサーは応答性が高く、しかしドリフトを生じるといった欠点があり、一方、磁気センサーは、ドリフトはないが応答性が悪いといった欠点がある。

　そこで、頭部方位を検出する２つの異なるタイプのセンサーを用いて、それぞれの長所を生かすようにそれぞれ２つの頭部方位検出部を構成することにより、高価な頭部方位検出部を用意せずとも、違和感減少に効果を得ることが出来、また低コストで該システムを構築することが可能となる。このような実施の形態を図９に示す。

　（構成，作用）
　図９は本発明に係る頭部装着型画像表示システム装置の第３の実施の形態を示し、該頭部装着型画像表示システム装置の特徴となる回路構成を示すブロック図である。なお、図９は、前記第２実施の形態に置ける装置と同様な構成要素については同一の符号を付して説明を省略し、異なる部分をのみを説明する。

　本実施の形態では、前記第２の実施の形態にて用いられた頭部方位検出部５に代えて２つの第１，第２の頭部方位検出部５Ａ，５Ｂを設けると同時に、これに対応して、頭部方位データ中継部９に代えて２つの第１，第２の頭部方位データ中継部９Ａ，９Ｂを設けて構成したことが特徴である。

　つまり、本実施の形態では、応答速度の高い加速度センサーは、方位変移演算部１１の演算処理に必要な方位を計測する目的に利用し、ドリフトのない磁気センサーは、コンピュータ４の画像生成部４ｂが画像生成のために必要とする方位を計測する目的に利用する。

　具体的には、図９に示すように、第１の頭部方位検出部５Ａは、磁気センサーを応用したタイプのもので構成し、検出した方位データを第１の頭部方位データ中継部９Ａを介してコンピュータ４側に出力する。一方、第２の頭部方位検出部５Ｂは、加速度センサータイプを応用したもので構成し、検出した方位データを第２の頭部方位データ中継部９Ｂを介して頭部方位データストレージ部１０に出力する。

　上記構成によれば、方位変移演算部１１に必要な方位を検出する頭部方位検出手段として、応答速度の高い加速度センサーで構成された第２の頭部方位検出部５Ｂを用いるとともに、コンピュータ４の画像生成部４ｂが画像生成のために必要とする方位を検出する頭部方位検出手段として、ドリフトのない磁気センサータイプで構成された第１の頭部方位検出部５Ａを用いて構成しているので、それぞれ特徴を活かした動作処理を行うことができ、高価な頭部方位検出センサーを設けずとも、安価で検出精度を向上させることができる。

　その他の構成及び作用については、前記第２の実施の形態と同様である。

　（効果）
　したがって、本実施の形態によれば、前記第２の実施の形態と同様の効果を得られる他に、高価な頭部方位検出センサーを設けずとも、安価で検出精度を向上させることが可能となる、違和感減少に大きく寄与する。

　（構成，作用）
　図１０は本発明に係る頭部装着型画像表示システム装置の第４の実施の形態を示し、該当部装着型画像表示システム装置の特徴となる回路構成を示すブロック図である。なお、図１０は、前記第３実施の形態における装置と同様な構成要素については同一の符合を付して説明を省略し、異なる部分のみを説明する。

　本実施の形態は、前記第３の実施の形態にて検出手段を構成する第１の頭部方位検出部５Ａと第２の頭部方位検出部５Ｂを一つの頭部方位検出部５Ｃで置き換えて構成したことが特徴である。

　具体的には、図１０に示すように、頭部方位検出部５Ｃは一つ以上のセンサーを有する方位センサー部１４と方位センサー信号演算部１５から構成されており、方位センサー部１４が頭部の動きに応じて出力する信号を方位センサー信号演算部１５が処理し、方位座標に変換し第１の頭部方位データ中継部９Ａと第２の頭部方位データ中継部９Ｂに方位データＡと方位データＢを出力する。

　このとき、方位センサー信号演算部１５では、その内部で方位データＡと方位データＢを生成するためにそれぞれ異なる信号処理回路または演算処理にて処理を行なう。即ち、方位データＡの生成は応答速度よりもドリフトを抑制することに主眼を置いた処理を行い、方位データＢの生成はドリフトを抑制することより早い応答速度に主眼を置いた処理を行う。この応答速度は頭部の動きを検出したら、その直後に表示される画像が、頭部方位に対応した画像であることが望ましい。

　従って応答速度は略ビデオレート以下、即ち頭部の動きを検出してからそれに対応した方位データＢが出力されるまでの応答時間が例えば１／１５ｓｅｃ以下、より好適には１／３０ｓｅｃ以下であることが望ましい。

　前記方位センサー信号演算部１５には、例えば時定数の異なる２種類のローパスフィルタ（ＬＰＦ）やバンドパスフィルタ（ＢＰＦ）、ノイズフィルタ等の信号処理手段が組み込まれ、夫々の時定数に対応して、前記方位データＡと方位データＢを出力する。

　前記ＬＰＦや、ＢＰＦ、ノイズフィルタ等の信号処理手段はハードウェアで構成されていても良いし、ソフトウェア演算処理で実現しても良い。無論、信号処理手段としてはＬＰＦやＢＰＦ、ノイズフィルタ以外にも、応答速度よりもドリフトを抑制することに主眼を置いた方位データＡの生成、並びにドリフトを抑制することより早い応答速度に主眼を置いた方位データＢの生成を夫々実現できる信号処理回路又は演算処理であれば良い。

　上記構成によれば、前記第３の実施の形態にて用いられた第１の頭部方位検出部５Ａと第２の頭部方位検出部５Ｂの機能を兼ね備えた一つの頭部方位検出部５Ｃを用いることで方位検出部を小型で軽量化でき、ひいてはＨＭＤ２の軽量化が図られ、使用感改善に大きく寄与できる。

　なお、上記方位センサー部１４のセンサーとしては、例えば加速度センサーやジャイロセンサー、重力センサー、磁気センサー、地磁気センサー等が考えられ、それらが一種類、若しくは複数種類組み合わされて構成されている。無論、第１から第３の実施の形態において方位検出手段を構成する頭部方位検出部５、第１の頭部方位検出部５Ａ、第２の頭部方位検出部５Ｂにおけるセンサーも同様である。

　また、本発明に係る第１乃至第４の実施の形態において、ＨＭＤ２の小型映像表示素子７及び空中像投影光学系８を介して違和感なく仮想空間の空中画像を表示する構成について説明したが、勿論、図示はしないがその空中画像に対応した音声についても連動して再生することが可能である。

　さらに、前記第１乃至第４の実施の形態においては、前記頭部方位データ中継部９，頭部方位データストレージ部１０，方位変移演算部１１及び画像信号処理部（△t計測部も含む）がコントローラ３に内蔵した構成について説明したが、これに限定されるものではなく、これらの各主要構成回路群が小型・軽量である場合には、前記ＨＭＤ２の本体２Ａ内に内蔵するように構成しても良い。

　また、本発明は前記第１乃至第４の実施の形態に限定されるものではなく、その組み合わせや応用についても適用される。

　本発明に係る頭部装着型画像表示システム装置は、使用者の頭部の方位を検出するヘッドトラッカーを有するヘッド・マウント・ディスプレイ（ＨＭＤ）をバーチャルリアリティー（ＶＲ）システムや、ミックスリアリティー（ＭＲ）システムの視覚表示装置として採用した画像表示システムとして、また、ＶＲシステムやＭＲシステムを構築することが望まれる医療や学問等の各種分野、あるいは娯楽のゲームにおける画像表示システムとして有効であり、特にコンピュータ等の画像生成演算処理による画像表示遅れを軽減してリアルタイムで頭部の方位に応じた画像を表示するのに適している。

本発明の頭部装着型画像表示システム装置の第１の実施の形態を示し、該頭部装着型画像表示システム装置の概略的なシステム構成を示す構成図。 本実施の形態の頭部装着型画像表示システム装置の特徴となる回路構成を示すブロック図。 本発明の頭部装着型画像表示装置の原理を説明するための説明図で、△ｔに起因する画像方位のずれ状態を示す図。 本発明の頭部装着型画像表示装置の原理を説明するための説明図で、△ｔに起因した方位信号差を補正するための補正量（△θ）を示す図。 本発明の頭部装着型画像表示装置の原理を説明するための説明図で、図３の補正量（△θ）とｔとの関係を示すグラフ。 本発明の頭部装着型画像表示装置の原理を説明するための説明図で、補正量（△θ）に基づきシフトした場合の画像方位を示す図。 本実施の形態の頭部装着型画像表示装置の動作を説明するための説明図。 本発明の頭部装着型画像表示システム装置の第２の実施の形態を示し、該頭部装着型画像表示システム装置の特徴となる回路構成を示すブロック図。 本発明の頭部装着型画像表示システム装置の第３の実施の形態を示し、該頭部装着型画像表示システム装置の特徴となる回路構成を示すブロック図。 本発明の頭部装着型映像表示システム装置の第４の実施の形態を示し、該当部装着型画像表示システム装置の特徴となる回路構成を示すブロック図。

符号の説明

　１…頭部装着型画像表示システム装置、
　２…ＨＭＤ（表示手段）、
　２Ａ…本体、
　２Ｂ…装着部（ツル）、
　３…コントローラ（ＨＭＤコントローラ）、
　４…コンピュータ（画像生成機器）、
　４ａ…制御部、
　４ｂ…画像生成部、
　５…頭部方位検出部、
　６…小型映像表示素子ドライブ回路、
　７…小型映像表示素子、
　８…空中像投影光学系、
　９…頭部方位データ中継部、
　１０…頭部方位データストレージ部、
　１１…方位変移演算部、
　１２…画像信号処理部、
　１４…方位センサー部、
　１５…方位センサー信号演算部。
　　　代理人　　弁理士　　　伊　　藤　　　進

Claims (16)

1. 使用者の頭部に着脱自在に装着可能な表示手段と、該表示手段に設置され、使用者の頭部の少なくとも水平の方位を検出する方位検出手段と、該方位検出手段からの使用者の頭部の方位に応じて画像を生成し、生成した画像を前記表示手段に表示させる画像生成機器とを具備した頭部装着型画像表示システム装置において、
   　前記方位検出手段により得られた現在の頭部の方位データと、一定時間前の頭部方位データとの差を演算する方位変移演算手段と、
   　前記方位変移演算手段により得られた方位変位量に応じて、前記表示手段に表示する空中像の位置を少なくとも水平にシフトする画像処理手段とを設けたことを特徴とする頭部装着型画像表示システム装置。
2. 使用者の頭部に着脱自在に装着可能な表示手段と、
   　前記表示手段に設置され、使用者の頭部の少なくとも水平の方位を検出する方位検出手段と、
   　前記方位検出手段からの使用者の頭部の方位に応じて画像を生成し、生成した画像を前記表示手段に表示させる画像生成機器と、
   　前記方位検出手段により得られた現在の頭部の方位データと、一定時間前の頭部方位データとの差を演算する方位変移演算手段と、
   　前記方位変移演算手段により得られた方位変位量に応じて、前記表示手段に表示する空中像の位置を少なくとも水平にシフトする画像処理手段と、
   　を具備して構成したことを特徴とする頭部装着型画像表示システム装置。
3. 前記方位変移演算手段及び画像処理手段は、前記表示手段または前記表示手段の表示制御を行うコントローラに内蔵されていることを特徴とする請求項１または請求項２に記載の頭部装着型画像表示システム装置。
4. 前記方位検出手段は、使用者の頭部方位を検出する２つの異なる第１，第２の方位検出部で構成されたもので、前記第１の方位検出部は前記方位変移演算手段の演算に必要な方位を計測し、前記第２の方位検出部は前記画像生成機器が画像生成のために必要とする方位を計測するものであることを特徴とする請求項１または請求項２に記載の頭部装着型画像表示システム装置。
5. 前記画像処理手段は、前記画像生成機器からの生成画像信号にに対し信号処理を行うことにより、前記表示手段に表示する空中像の位置を水平方向にのみシフトさせることを特徴とする請求項１または請求項２に記載の頭部装着型画像表示システム装置。
6. 前記一定時間は、前記画像生成機器が画像生成に要する時間であって、これを実測する一定時間計測手段を設けたことを特徴とする請求項１又は請求項２に記載の頭部装着型画像表示システム装置。
7. 前記一定時間計測手段は、前記一定時間を計測するために、前記画像生成機器に頭部方位の変化を知らせるダミーの方位信号を送りだし、該画像生成機器が生成し出力する画像信号を分析して、その信号をもとに画像生成機器が画像を生成するまでに要した時間を計測することを特徴とする請求項６に記載の頭部装着型画像表示システム装置。
8. 前記一定時間計測手段は、予め定義した複数のパターン画像の生成時間を計測し、それらを統計処理して決定した時間を前記一定時間とすることを特徴とする請求項６に記載の頭部装着型画像表示システム装置。
9. 前記方位検出手段は、前記方位変位演算手段の演算に必要な方位データと前記画像生成機器が画像生成のために必要とする方位データとを生成することを特徴とする請求項１または請求項２に記載の頭部装着型画像表示システム装置。
10. 前記方位検出手段は、前記方位変位演算手段に入力される第１の方位データを生成する為の第１の信号処理手段と、前記画像生成機器に入力される第２の方位データを生成する為の第２の処理手段とを有することを特徴とする請求項９に記載の頭部装着型画像表示システム装置。
11. 前記第１の信号処理手段は、応答速度が早い処理を行うことを特徴とする請求項１０に記載の頭部装着型画像表示システム装置。
12. 前記応答速度は略ビデオレートあるいはそれより速い速度であることを特徴とする請求項１１に記載の頭部装着型画像表示システム装置。
13. 前記第１の信号処理手段の応答時間は略１／１５ｓｅｃ以下であることを特徴とする請求項１１に記載の頭部装着型画像表示システム装置。
14. 前記第２の信号処理手段は、ドリフトを抑制する処理を行うことを特徴とする請求項１０に記載の頭部装着型画像表示システム装置。
15. 使用者の頭部に着脱自在に装着可能な表示手段に設置された方位検出手段で使用者の頭部の少なくとも水平の方位を検出する方位検出手順と、
    　前記方位検出手段で検出された使用者の頭部の方位に応じて画像を生成する画像生成手順と、
    　前記方位検出手段により得られた現在の頭部の方位データと、一定時間前の頭部方位データとの差を演算して方位変位量を算出する方位変移演算手順と、
    　前記算出された方位変位量に応じて、前記生成した画像を前記表示手段に表示する空中像の位置を少なくとも水平にシフトする画像処理手順と、
    　を備えたことを特徴とする頭部装着型画像表示システム装置の画像処理方法。
16. 前記方位検出手順は、前記方位検出手段が使用者の頭部方位を検出する２つの異なる第１，第２の方位検出部で構成され、前記第１の方位検出部で前記方位変位量の演算に必要な方位を計測する手順と、
    　前記第２の方位検出部で前記画像を生成するために必要とする方位を計測する手順と、
    　を有することを特徴とする請求項１５に記載の頭部装着型画像表示システム装置の画像処理方法。

Images