A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本実施形態における頭部装着型表示装置100(HMD100)の外観構成を示す説明図である。HMD100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施形態のHMD100は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、HMD100によって使用者が視認する虚像を便宜的に「表示画像」ともいう。
HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、第1カメラ61と、第2カメラ62と、右眼撮像カメラ37と、左眼撮像カメラ38と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図2参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図2参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
第1カメラ61および第2カメラ62は、外景を撮像する。第1カメラ61と第2カメラ62とのそれぞれは、画像表示部20の異なる位置に配置されている。第1カメラ61は、右光学像表示部26の他端である端部ERにおいて、画像表示部20が使用者に装着された場合の使用者の頭部方向に配置されている。また、同じように、第2カメラ62は、左光学像表示部28の他端である端部ELにおいて、画像表示部20が使用者に装着された場合の使用者の頭部方向に配置されている。本実施形態では、第1カメラ61と第2カメラ62とのそれぞれは、画像表示部20の中心である右光学像表示部26の一端と左光学像表示部28の一端とが接続する位置を通る中心線に対して、線対称に配置されている。なお、以降では、第1カメラ61と第2カメラ62とを合わせて、単に、カメラ61,62とも呼ぶ。本実施形態では、第1カメラ61が画像表示部20に配置されている場所と、第2カメラ62が画像表示部20に配置されている場所と、が異なるため、第1カメラ61の撮像範囲と第2カメラ62の撮像範囲との両方に撮像されている対象までの距離を、三角法を用いて算出できる。なお、カメラ61,62は、請求項における外景撮像部に相当する。
右眼撮像カメラ37は、画像表示部20を装着した使用者の右眼を撮像するカメラである。同様に、左眼撮像カメラ38は、画像表示部20を装着した使用者の左眼を撮像するカメラである。右眼撮像カメラ37によって撮像された使用者の右眼の画像および左眼撮像カメラ38によって撮像された使用者の左眼の画像は、後述する方向特定部166が使用者の視線方向を特定するための処理に用いられる。なお、右眼撮像カメラ37および左眼撮像カメラ38は、単眼カメラであるが、ステレオカメラであってもよい。以降では、右眼撮像カメラ37および左眼撮像カメラ38を合わせて、眼撮像カメラ37,38とも呼ぶ。眼撮像カメラ37,38と後述する方向特定部166とは、請求項における視線方向特定部に相当する。また、眼撮像カメラ37,38は、請求項における眼撮像部に相当する。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部10は、HMD100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、HMD100の動作状態を、その発光状態によって通知する。HMD100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LEDが用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。
図2は、本実施形態におけるHMD100の構成を機能的に示すブロック図である。図2に示すように、制御部10は、記憶部120と、電源130と、無線通信部132と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。操作部135は、使用者による操作を受け付け、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。無線通信部132は、無線LANやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。
記憶部120は、コンピュータープログラムを格納しているROMと、CPU140が種々のコンピュータープログラムの書き込みおよび読み取りを実行するときに用いられるRAMと、を有する。
CPU140は、記憶部120のROMに格納されているコンピュータープログラムを読み出し、記憶部120のRAMに書き込みおよび読み取りを実行することにより、オペレーティングシステム150(OS150)、表示制御部190、音声処理部170、画像処理部160、画像設定部165、距離測定部168、および、方向特定部166として機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データ、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して音声信号を供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
方向特定部166は、眼撮像カメラ37,38によって撮像された使用者の右眼REの画像および左眼LEの画像を解析することによって、使用者の視線方向を特定する。撮像された使用者の右眼REの画像および左眼LEの画像に基づく使用者の視線方向の特定方法としては、種々の公知技術を用いることができる。例えば、方向特定部166は、撮像された画像を、記憶部120に予め記憶された使用者の視線方向に対応させた画像のデータベースを基準として、撮像された眼の画像に対してパターンマッチングや統計的識別法を用いて、使用者の視線方向を特定できる。
距離測定部168は、第1カメラ61の撮像画像に含まれる対象物と、第2カメラ62の撮像画像に含まれる対象物と、に対して三角法を用いることで、カメラ61,62の撮像画像に含まれる対象物の画像までの距離を測定する。なお、本実施形態では、配置された場所が異なるステレオカメラである第1カメラ61と第2カメラ62とによって、対象物までの距離が測定されたが、他の実施形態では、TOF(Time Of Flight)センサーなどの異なる測定手段によって、対象物までの距離が測定されてもよい。
画像設定部165は、画像表示部20に表示させる画像(表示画像)の各種設定を行なう。例えば、画像設定部165は、表示画像の表示位置や表示画像の大きさや表示画像の輝度などを設定したり、表示画像を三次元画像として、使用者に立体的(3D)に視認させるために両眼視差(単に、「視差」ともいう)を形成するように右眼用画像データと左眼用画像データとを設定する。また、画像設定部165は、撮像画像に対してパターンマッチング等を用いることで、撮像画像の中から予め設定された検出対象の画像を検出する。
本実施形態では、画像設定部165は、同じ画像データに基づく画像であっても、特定された使用者の視線方向と、画像が表示される画像領域の位置と、の関係によって、異なる画像を画像表示部20に表示させる。例えば、画像設定部165は、RGB(Red Green Blue)の色情報を有する三次元画像データに基づいて、使用者の注視点を中心とする所定の視野の範囲ではRGBの色情報を有し、測定された距離情報を用いた三次元画像として画像表示部20に表示させる。一方、画像設定部165は、三次元画像データに基づいて、当該所定の視野の範囲外では白と黒のみの色情報を有する二次元画像として画像表示部20に表示させる。画像設定部165は、視線方向と画像領域の位置との関係について、同じ画像データであってもどのように異なる画像を表示するかの対応を決定するルックアップテーブルを、ROMを介して読み取ることで、画像表示部20に表示させる画像を決定している。
図3は、注視点PORと使用者の視線方向EDと関係の説明図である。図3には、使用者の右眼REと左眼LEとが注視点PORを見ている場合の視線方向EDが示されている。本実施形態では、右眼REと左眼LEとの中間点である左右眼球中心MPから注視点PORまでの方向を視線方向EDとして定義している。なお、使用者の視線方向EDの定義については、種々変形可能であり、例えば、利き眼から注視点PORまでの方向を視線方向EDとして定義してもよい。
人間は、注視点PORを中心とする一定の範囲である視野に存在する対象を視認できる。一般に、人間は、注視点PORまでの距離と同じ距離に存在し、注視点PORの近い位置に存在する対象ほど、より明確に視認できる。人間が視野のどの範囲に存在する対象かによって人間の視認性が変化する視覚特性には、種々の形態がある。例えば、ある視野の範囲までは対象の輪郭を明確に視認できるが、それ以外の視野の範囲では、対象が存在することを認識できるものの、対象の輪郭が把握できないといった視覚特性が存在する。なお、対象の代わりとなる表示画像についても同様のことが言える。換言すると、人間は、注視点PORから離れるほど、視野に含まれる対象物を認識する能力が低下する。そのため、本実施形態では、画像設定部165は、使用者の視線方向EDから離れる位置に表示される画像については、同じ画像データに基づく画像であっても、例えば、画像の解像度を落とすなどの手段によって、当該画像を画像表示部20に表示させるための処理を低減させて画像表示部20に当該画像を表示させる。なお、画像設定部165は、請求項における画像変更部に相当する。
注視点PORを中心とする約5度以内の領域は、視力などの視機能が優れている弁別視野と呼ばれている。また、注視点PORを中心として水平方向に約30度以内で、かつ、視点を中心として垂直方向に約20度以内の領域は、眼球運動だけで瞬時に対象を認識できる有効視野と呼ばれている。また、注視点PORを中心として水平方向に約60〜90度で、かつ、視点を中心として垂直方向に約45〜70度以内の領域は、使用者が眼球を動かす眼球運動や頭部運動を行なうことで無理なく対象を認識できる安定注視野と呼ばれている。
図4は、注視点PORを中心とする水平視野VRwおよび鉛直視野VRhの概略図である。図4には、水平方向および鉛直方向における弁別視野と有効視野と安定注視野との関係が示されている。図4には、使用者が注視点PORを見ている場合に、注視点PORを中心として視認できる視野VRと、視野VRを水平方向成分に分けて説明するための水平視野VRwと、視野VRを鉛直方向成分に分けて説明するための鉛直視野VRhと、が示されている。図4では、弁別視野と有効視野と安定注視野とは、下記の関係(1)のように表される。なお、関係(1)における括弧書きの角度は、注視点PORを中心とした場合の片側の角度である。
弁別視野:W0,H0(〜約5度)
有効視野:W1(〜約30度),H1(〜約20度) ・・・(1)
安定注視野:W2(〜約60(90)度),H2(〜約45(70)度)
図4に示すように、視野VRの鉛直方向では、上側よりも下側における安定注視野などが広い範囲である。これは、人間にとって、鉛直方向に沿って上側よりも下側を視認しやすいことを示している。
図5は、水平視野VRwにおける視野の範囲ごとの人間の認識の度合いを示す説明図である。図5には、使用者USの視線方向EDを中心として6つに区別した視野範囲VR1から視野範囲VR6が示されており、下記の関係(2)が成立する。なお、関係(2)における括弧書きの角度は、注視点PORを中心とした場合の片側の角度である。
VR1:注視点PORとみなせる範囲(〜約1度)
VR2:文字を識別できる範囲(〜約10度)
VR3:眼球運動が楽に行なえる範囲(〜約15度)・・・(2)
VR4:形状を識別できる範囲(〜約30度)
VR5:色情報を識別できる範囲(〜約60度)
VR6:視野の限界(〜約94度)
以上、図5に示すように、視野によって使用者USが認識できる情報が異なってくる。
図6は、鉛直視野VRhにおける視野の範囲ごとの人間の認識の度合いを示す説明図である。図6には、図5の水平視野VRwの代わりとしての鉛直視野VRhについての区別された使用者USの視野が示されている。そのため、区別した視野範囲がどういった視野範囲であるのかの説明は省略する。
図2に示すインターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、第1カメラ61と、第2カメラ62と、を備えている。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241と、を総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
図7は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図2に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.画像表示処理:
図8は、画像表示処理の流れを示すフローチャートである。画像表示処理では、CPU140が、カメラ61,62の撮像画像の中から検出された検出対象に対応付けられた対応画像を画像表示部20に表示させる際に、使用者の視線方向EDを中心として区別された視野範囲と画像の表示位置とに基づいて、表示画像を変更して画像表示部20に表示させる処理である。
画像表示処理では、初めに、画像設定部165は、カメラ61,62を用いて、外景を撮像する(ステップS11)。画像設定部165は、撮像されたカメラ61,62の撮像画像の中から画像表示部20に表示させる対応画像に対応付けられた検出対象をパターンマッチング等によって検出する(ステップS13)。画像設定部165は、撮像画像の中から検出対象を検出しない場合には(ステップS13:NO)、引き続き、撮像画像の中から検出対象の検出を待機する(ステップS13)。
ステップS13の処理において、画像設定部165は、撮像画像の中から検出対象を検出した場合には(ステップS13:YES)、検出対象に予め対応付けられた対応画像を画像表示部20に表示させる画像表示位置を決定する(ステップS15)。対応画像の画像表示位置については、種々の決定が可能であり、例えば、撮像画像の中の検出対象の位置にかかわらず画像表示部20が画像を表示できる画像表示最大領域PNにおける固定された位置に表示させたり、検出対象に設定された特徴点の位置の近傍に表示させる場合などがある。なお、画像表示最大領域PNは、請求項における表示領域に相当する。
対応画像の画像表示位置が決定されると(ステップS15)、CPU140は、画像表示部20を頭部に装着している使用者の注視点PORおよび視線方向EDを、眼撮像カメラ37,38の撮像画像を用いて特定する(ステップS17)。CPU140は、距離測定部168がカメラ61,62の撮像画像を用いて測定した検出対象までの距離と、方向特定部166が眼撮像カメラ37,38の撮像画像を用いて特定した使用者の視線方向EDと、を特定する。
画像設定部165は、対応画像の画像表示最大領域PNにおける画像表示位置が、特定された視線方向EDに基づいて設定された複数の視野範囲の内のいずれの視野範囲に属するかを特定する(ステップS19)。画像設定部165は、例えば、図5に示すように、特定された視線方向EDを中心とする複数の視野範囲を区別し、画像表示位置が区別したどの視野範囲に属するのかを特定する。
図9は、対応画像IM1の画像表示位置と区別された視野範囲との関係を示す説明図である。図9には、使用者が視認する視野VRの一例が示されている。図9に示すように、使用者は、光学像表示部26,28を透過した外景SCを視認できる。外景SCには、検出対象TWとしてのランドマークの1つとしての「スカイツリー」が含まれている。図9には、CPU140によって特定された使用者の注視点PORと、注視点PORを中心として所定の範囲で設定された視野範囲VR2,VR3,VR4,VR5と、が示されている。なお、視野範囲VR3とは、視野範囲VR3に含まれ、かつ、視野範囲VR2に含まれない範囲をいう。同じように、視野範囲VR4とは、視野範囲VR4に含まれ、かつ、視野範囲VR2,VR3に含まれない範囲をいい、視野範囲VR5とは、視野範囲VR5に含まれ、かつ、視野範囲VR2,VR3,VR4のいずれにも含まれない範囲をいう。図9では、破線の画像表示最大領域PNと、注視点PORを示す星印と、各視野範囲を示す一点鎖線と、を説明のために便宜上示しているが、これらは使用者には視認されない。本実施形態では、カメラ61,62の撮像画像によって、使用者が視認する視野に相当する撮像画像が作成されているため、作成された撮像画像と使用者の視野VRとは一致する。他の実施形態では、撮像画像と使用者の視野VRとが異なっていてもよい。
画像設定部165は、図8のステップS19の処理を行なうと、検出対象TWに対応付けられた対応画像の画像データに基づいて画像表示最大領域PNに表示させる対応画像の表示態様を設定する(ステップS23)。本実施形態では、画像設定部165は、画像表示最大領域PNにおいて対応画像が表示される位置に対応させて、同じ画像データに基づく表示画像であっても、表示画像の態様の設定を変更する。画像設定部165は、対応画像IM1の表示態様を設定すると、表示態様を設定した対応画像IM1を画像表示最大領域PNに表示させる(ステップS23)。
図10は、対応画像IM1が表示された場合の使用者の視野VRの一例を示す説明図である。図10に示すように、使用者の視野VRには、光学像表示部26,28を透過して使用者が視認できる外景SCと、画像表示最大領域PN内に表示された対応画像IM1と、が含まれている。対応画像IM1は、撮像画像の中から検出された検出対象TWに対応付けられて画像表示最大領域PNに表示される画像である。対応画像IM1は、検出対象TWの近くに検出対象TWに重複しないように表示されるように予め設定されている。特に、特定された使用者の注視点PORが検出対象TWに重複する場合には、対応画像IM1は、特定された注視点PORの位置に合わせて表示される。なお、検出対象TWは、請求項における特定対象物に相当する。
画像設定部165は、特定された注視点PORの位置に対応付けた対応画像IM1を表示させる画像表示位置と各視野範囲との位置関係を特定する。画像設定部165は、対応画像IM1の少なくとも一部が最も注視点PORに近い視野範囲VR2に含まれることを特定すると、対応画像IM1の画像データに基づいて表示させる画像の表示態様として、対応画像IM1の画像データを最も詳細まで表した表示態様として設定する。画像設定部165は、設定した表示態様の対応画像IM1として、下記の内容(A)〜(C)の全てを充足した画像を画像表示最大領域PNに表示させる。
(A)文字画像
(B)三次元画像(距離情報を含む)
(C)RGBの色情報を含む画像
設定された表示態様の対応画像IM1は、文字画像を含んでおり、検出対象TWまでの距離と同じ距離に視認されるような三次元画像として画像表示最大領域PNに表示される。また、対応画像IM1に含まれる文字画像の内の下線が引いてある「こちら」には、別に画像表示最大領域PNに表示されるカーソルなどを移動させることによって、「こちら」を選択可能であることを示すために、他の文字画像と異なる色(例えば、青(BLUE))によって表示されている。操作部135が受け付けた所定の操作によって、対応画像IM1に含まれる「こちら」が選択されると、CPU140は、無線通信部132を介して、検出対象TWのホームページ(HP)へと接続される。なお、本実施形態では、対応画像IM1の画像表示位置が複数の視野範囲に含まれる場合には、画像設定部165は、最も内側の視野範囲に対応画像IM1の全体が含まれた場合に表示される態様で、対応画像IM1を画像表示最大領域PNに表示させる。なお、他の実施形態では、対応画像IM1の表示位置がいずれの視野範囲に含まれるかの特定について種々変形可能であり、例えば、画像の内の最も含まれる表示領域が多い視野範囲が、表示態様を設定するための視野範囲として特定されてもよい。視野範囲VR2は、請求項における第1の視野範囲に相当し、視野範囲VR2以外の視野範囲は、請求項における第2の視野範囲に相当する。
図8のステップS23において、対応画像IM1が画像表示最大領域PNに表示されると、CPU140は、カメラ61,62の撮像範囲の変化を監視する(ステップS25)。CPU140は、カメラ61,62の撮像範囲の変化を検出した場合には(ステップS25:YES)、ステップS13以降の処理を繰り返す。なお、CPU140は、カメラ61,62の撮像範囲の変化は、所定の閾値を用いて、所定の閾値以下の変化であれば、撮像画像に変化がないとして扱ってもよい。
図11は、カメラ61,62の撮像範囲が変化した後の対応画像IM2が表示された場合に使用者の視野VRの一例を示す説明図である。図11には、図10と比較して、使用者が検出対象TWよりも離れた位置に存在し、使用者の注視点PORが外景SCに含まれる月MNである場合の視野VRが示されている。すなわち、図11では、図10と比較して、使用者の注視点PORも変化している。図11に示す例では、カメラ61,62の撮像画像から検出された検出対象TWは、視野範囲VR5よりもさらに外側の範囲に含まれる。この場合に、画像設定部165は、対応画像IM1と同じ対応画像IM2の画像データに基づいて画像表示最大領域PNに表示させる画像の表示態様として、検出対象TWの位置のみを簡略化した距離情報を有さない表示態様として設定する。図11に示すように、画像設定部165は、対応画像IM2の画像データに基づく簡略化した対応画像IM2として、検出対象TWの位置に重複する丸の画像である対応画像IM2を、画像表示最大領域PNに無限遠の位置に表示させる。本実施形態では、画像設定部165は、視野範囲VR5に含まれる検出対象TWの対応画像として、検出対象TWの位置を表すだけの画像を画像表示最大領域PNに表示させる。なお、視野範囲VR5よりも外側の範囲は、請求項における第8の視野範囲に相当し、視野範囲VR5を含む視野範囲VR5より内側の視野範囲は、請求項における第7の視野範囲に相当する。
図8のステップS23において、対応画像IM2が表示されると、CPU140は、カメラ61,62の撮像範囲の変化を監視する(ステップS25)。CPU140は、カメラ61,62の撮像画像の変化がないと判定した場合には(ステップS25:NO)、使用者の視線方向EDの変化を監視する(ステップS27)。CPU140は、使用者の視線方向EDが変化したと判定した場合には(ステップS27:YES)、ステップS17以降の処理を繰り返す。
図12は、使用者の視線方向EDが変化した後の対応画像IM3が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図12には、図11と比較して、使用者の注視点PORが変化した場合の視野VRが示されている。図12に示す例では、使用者の注視点PORは、外景SCに含まれる建物BD1であり、カメラ61,62の撮像画像における検出対象TWの位置は、視野範囲VR4および視野範囲VR5に含まれている。そのため、画像設定部165は、検出対象TWが視野範囲VR4に属すると判定して、検出対象TWに対応付けられた対応画像IM1と同じ画像データである対応画像IM3の画像データに基づいて画像表示最大領域PNに表示させる画像の表示態様を設定する。画像設定部165は、設定した表示態様に基づいて、ホームページ(HP)とリンクしており、選択可能なボタンとしての対応画像IM3を、図10の対応画像IM1の「こちら」と同じ色の無限遠に視認される画像として、画像表示最大領域PNに表示させる。換言すると、画像設定部165は、図10に示す対応画像IM1に対して、(A)文字画像の内容と、(B)距離情報を含む三次元画像の内容と、を含まないで、(C)RGBの色情報を含む画像として、画像表示最大領域PNに対応画像IM3を表示させる。なお、視野範囲VR4は、請求項における第4の視野範囲に相当し、視野範囲VR4よりも内側の視野範囲は、請求項における第3の視野範囲に相当する。
図8のステップS23の処理において、対応画像IM3が画像表示最大領域PNに表示されると、CPU140は、カメラ61,62の撮像範囲の変化を監視する(ステップS25)。CPU140は、カメラ61,62の撮像範囲の変化がないと判定した場合には(ステップS25:NO)、使用者の視線方向EDの変化を監視する(ステップS27)。CPU140は、使用者USの視線方向EDの変化がないと判定した場合には(ステップS27:NO)、操作部135に対する画像表示処理を終了する所定の操作の受付を監視する(ステップS29)。画像表示処理を終了する所定の操作が受け付けられない場合には(ステップS29:NO)、CPU140は、ステップS25以降の処理を繰り返す。ステップS29の処理において、画像表示処理を終了する所定の操作が受け付けられた場合には(ステップS29:YES)、CPU140は、画像表示処理を終了する。
また、本実施形態におけるHMD100では、画像設定部165は、特定された使用者の視線方向EDと対応画像の表示位置との関係に基づいて、同じ対応画像の画像データであっても、異なる画像として画像表示部20の画像表示最大領域PNに表示させる。そのため、本実施形態のHMD100では、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度を向上させることができる。
また、本実施形態のHMD100では、画像設定部165は、カメラ61,62の撮像画像の中から検出された検出対象TWの位置に対応付けて対応画像の画像表示位置を設定する。そのため、本実施形態のHMD100では、検出対象TWと対応画像との対応関係について、よりわかりやすく使用者に視認させることができ、使用者の使い勝手が向上する。
また、本実施形態のHMD100では、眼撮像カメラ37,38の撮像画像によって使用者の視線方向EDが特定されるため、使用者の視線方向EDおよび注視点PORを精度良く特定できる。
また、本実施形態のHMD100では、画像設定部165は、対応画像IM1の画像データに基づいて、視野範囲VR2では文字画像を含む対応画像IM1を画像表示部20の画像表示最大領域PNに表示させる。一方で、画像設定部165は、対応画像IM1の画像データに基づいて、視野範囲VR2よりも外側の視野範囲では、文字画像を含まない対応画像(例えば、対応画像IM2)を画像表示部20の画像表示最大領域PNに表示させる。そのため、本実施形態のHMD100では、使用者が文字を認識しづらい視野範囲では文字画像を含まない対応画像が画像表示部20に表示されるため、対応画像を視認する使用者の認識のしやすさをより低減させないで、対応画像を表示させる処理の速度を向上させることができる。
また、本実施形態のHMD100では、画像設定部165は、対応画像IM1の画像データに基づいて、視野範囲VR5では、簡略化した丸の画像の対応画像IM2を画像表示部20の画像表示最大領域PNに表示させる。そのため、本実施形態のHMD100では、使用者が表示画像の詳細な内容までを認識できない視野範囲では画像があることだけを示す簡略化した画像のみが画像表示部20に表示されるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。
また、本実施形態のHMD100では、画像設定部165は、対応画像IM1の画像データに基づいて、視野範囲VR4では、使用者の注視点PORまでの距離にかかわらず、距離情報を含まない二次元画像としての対応画像IM3を画像表示部20の画像表示最大領域PNに表示させる。そのため、本実施形態のHMD100では、使用者が表示画像までの距離を認識しづらい視野範囲において二次元画像を画像表示部20に表示させるため、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。
B.第2実施形態:
第2実施形態のHMD100aでは、第1実施形態のHMD100と比較して、画像設定部165aが対応画像の表示態様を設定するために用いる視野範囲VR2が異なり、他の構成については第1実施形態のHMD100と同じである。
第2実施形態では、視野範囲VR2は、人間の眼球運動を考慮して決定される。人間の眼球運動としては、固視微動と、追従運動と、サッカードとの3つに分けられることが知られている。人間が特定の対象物を注視している場合であっても、実際の人間の視線は動いており、このような不随運動を固視微動という。追従運動とは、人間が動いている対象物を見ている場合に、当該対象物の動きを追跡する運動である。追従運動の速度は、最大30degree/s(dps)程度である。サッカードとは、眼球が小刻みに、高速で動く運動のことである。例えば、本を読んでいる場合などにおいて、横書きの文の右端まで読んだ後、改行された文の始まりである左端まで視線を高速で移動させる運動がサッカードに当たる。サッカードによる眼球の速度は、300〜600dps程度であり、サッカードの初動には、160〜170ミリセカンド(ms)程度を要する。サッカードの距離を視角で表すと、個人によって差があるものの、2〜6度(degree)程度である。第2実施形態では、画像設定部165aは、第1実施形態の視野範囲VR2に、サッカードによる視角も加えた視野範囲VR2Sを、第1実施形態のVR2における表示態様と同じに設定する。
図13は、第1実施形態の視野範囲VR2と第2実施形態の視野範囲VR2Sとの比較するための説明図である。なお、図13には、第1実施形態の図10に図示されていた視野範囲VR3,VR4,VR5を図示せずに、新たに、視野範囲VR2Sを図示している。また、図13では、第1実施形態との比較のために、便宜上、第1実施形態の視野範囲VR2を破線で示している。
第2実施形態の画像設定部165aは、第1実施形態の視野範囲VR2の外側であっても、視野範囲VR2Sの内側であれば、検出対象TWに対応付けられた画像として、対応画像IM1を画像表示最大領域PNに表示させる。換言すると、第2実施形態では、検出対象TWが検出された場合に対応画像IM1として表示する視野領域が、視野範囲VR2から視野範囲VR2Sへと拡張されている。
以上説明したように、第2実施形態のHMD100aでは、画像設定部165aは、人間の眼球運動である視覚特性としてのサッカードを用いて、対応画像の表示態様を変化させた。そのため、第2実施形態のHMD100aでは、第1実施形態と同じように、視野範囲VR2Sよりも外側の領域では、検出対象TWに対応付けられた対応画像を画像表示最大領域PNに表示させるために必要な処理を軽減する。さらに、視野範囲VR2Sの領域では、対応画像IM1を画像表示最大領域PNに表示させるため、注視点PORがサッカードによって第1実施形態の視野範囲VR2の外側に変化したとしても、視野範囲VR2Sの内側であれば、対応画像の表示に遅れを生じさせなくてすむ。これにより、使用者にとってHMD100aの使い勝手が向上する。
C.第3実施形態:
第3実施形態のHMD100bでは、画像設定部165bが画像表示最大領域PNに表示させる対応画像を設定する場合に、上記実施形態で考慮された視線方向EDおよび検出対象に加えて、使用者が注視している視認対象と視認対象以外の範囲との運動特性も考慮して、対応画像の表示態様を設定する。考慮される運動特性としては、例えば、視認対象が静止しており、視認対象の背景が視認対象に対して動いている場合などに使用者が感じる感覚が挙げられる。具体的には、電車に乗っている使用者が電車の窓に張られた広告を視認対象として視認しているに、走っている電車の外の景色は、動いているように使用者に知覚される場合などである。このように、人間が、自身に対して動いていると知覚することを、運動刺激を受けるという。一方で、人間が、自身に対して静止していると知覚することを、静止刺激を受けるという。一般に、人間は、視認対象として静止刺激を受け、視認対象の周りの背景として運動刺激を受けると、自身が運動していると知覚することが知られている。また、人間は、視認対象の近くから(特に奥行きを基準とした前後に)運動刺激を受けると、自身が運動していると知覚する。一方で、視認対象として運動刺激を受け、背景として静止刺激を受けると、自身が運動していないと知覚する。第3実施形態のHMD100bでは、使用者が運動していると感じる自己運動感覚を出したりなくしたりすることで、使用者に臨場感を持たせたり、使用者の臨場感を抑制したりする。本明細書では、HMD100bの使用者が、停止していると認識する視認対象に対して、移動していると認識する背景等を、移動背景とも呼ぶ。
図14は、第3実施形態において自動車を運転している使用者が視認する視野VRの説明図である。図14に示すように、第3実施形態では、使用者は、外景SCとして森林の中の道路と、画像表示最大領域PNに表示された対応画像IM7および対応画像IM8と、を視認している。使用者は、右手RHと左手LHとで自動車のハンドルHDを操作し、注視点PORを見ている。対応画像IM7は、検出対象TWaである自動車に搭載されたカーナビゲーション(以降では、単に「カーナビ」とも呼ぶ)に対応付けられた画像である。IM7は、カーナビが目的地までの経路として直進することを使用者に促す画像である。対応画像IM7は、文字などの情報を削った単に矢印の画像(マーク)として画像表示最大領域PNに表示させる。対応画像IM8は、外景SCに含まれる検出対象TWbである道路に対応付けられた画像である。対応画像IM8は、道路の脇から飛び出してくるおそれのある野生の動物に注意することを使用者に促す「動物注意」の文字画像である。
第3実施形態では、方向特定部166は、右眼撮像カメラ37が撮像した右眼REの撮像画像と、左眼撮像カメラ38が撮像した左眼LEの撮像画像と、を用いることで、使用者の視線方向EDに加えて、視認対象OJ1までの距離も特定できる。図14に示す例では、方向特定部166によって特定された視認対象OJ1までの距離は、10メートル(m)である。すなわち、使用者は、自動車の外景SCに含まれる道路を視認対象OJ1として注視している。この場合、自動車が走行していると、使用者は、自身にとって移動していると認識する道路から運動刺激を受ける。また、使用者は、視認対象OJ1の道路の近くの背景も移動していると知覚することにより、視認対象OJ1の近くの背景から運動刺激を受ける。そのため、使用者は、自身が運動していると知覚する。
第3実施形態の距離測定部168bは、カメラ61,62によって複数の時点(例えば、動画)で撮像された外景の撮像画像を用いて、撮像画像における特定の対象がカメラ61,62に対して移動しているか否かを判定できる。画像設定部165bは、距離測定部168bによって判定された撮像された対象のそれぞれの移動の有無に基づいて、対応画像IM7の表示態様および対応画像IM8の表示態様を設定する。
画像設定部165bは、使用者が視認対象OJ1から運動刺激を受けているため、同じように運動刺激を使用者に与える検出対象TWbに対応付けられた対応画像IM8を、文字などの情報も含む画像として画像表示最大領域PNに表示させる。一方で、画像設定部165bは、使用者が乗車している自動車の内部に配置された検出対象TWaは、使用者と同じ速度で移動するため、使用者に静止刺激を与える。画像設定部165bは、視認対象OJ1が使用者に与える運動刺激と異なる静止刺激を使用者に与える検出対象TWaに対応付けられた対応画像IM7を、単なるマークを表す画像として画像表示最大領域PNに表示させる。簡単に言うと、第3実施形態のHMD100bでは、画像設定部165bは、使用者の視線方向EDとしての視認対象OJ1までの距離と、視認対象OJ1に対する速度の関係に基づいて、対応画像IM7,IM8の表示態様を設定する。
図15は、第3実施形態において自動車を運転している使用者が視認する視野VRの説明図である。図15に示すように、使用者は、外景SCと、対応画像IM8および対応画像IM9と、を視認している。図15に示す例では、使用者は、図14に示す使用者の視線方向EDと同じ方向を注視している。この場合、図14に示す例と図15に示す例とでは、画像を表示できる画像表示最大領域PNにおいて、使用者は、同じ領域を視認していることになる。すなわち、使用者の視線方向を基準として、図15における検出対象TWaの位置および検出対象TWbの位置は、図14における検出対象TWaの位置および検出対象TWbの位置と同じである。
図15において、使用者が注視する視認対象OJ2は、使用者から50センチメートル(cm)離れた自動車のフロントガラスである。換言すると、使用者は、自身と一緒に移動して静止しているように見える視認対象OJ2を注視している。図15に示す例では、使用者は、視認対象OJ2から静止刺激を受け、検出対象TWaから静止刺激を受け、検出対象TWbから運動刺激を受ける。そのため、画像設定部165bは、視認対象OJ2と同じ静止刺激を使用者に与える検出対象TWaに対応付けられた対応画像IM9の表示態様として、文字情報も含む画像を設定する。対応画像IM9は、カーナビが使用者を目的地まで案内するための直進することを促す「このまま直進」の文字画像である。一方で、画像設定部165bは、視認対象OJ2の静止刺激と異なる運動刺激を使用者に与える検出対象TWbに対応付けられた対応画像IM10の表示態様として、文字情報を削って、注意を促すびっくりマークである「!」のみを設定する。請求項における簡便な表示態様とは、画像表示最大領域PNに表示される2つの表示画像を比較したときに、表示画像に含まれる形状がより複雑でないこと(例えば、単純な「○」や「×」の形状)、表示画像に用いられる色がより少ないこと、表示画像の領域がより小さいこと(例えば、より少ない文字での表示)、などが挙げられる。
以上説明したように、第3実施形態のHMD100bでは、方向特定部166bが視認対象OJ1,OJ2までの距離を特定し、画像設定部165bは、視認対象OJ1,OJ2から使用者が受ける静止刺激や運動刺激といった運動特性に基づいて、検出対象TWa,TWbに対応付けられた対応画像IM7,IM8,IM9,IM10の表示態様を設定する。そのため、第3実施形態のHMD100bでは、使用者の運動特性も考慮した対応画像が画像表示最大領域PNに表示されるため、対応画像を用いて、使用者が感じる臨場感を調整できる。また、使用者により視認しやすい画像と視認しにくい対応画像を画像表示最大領域PNに表示させる場合に、視認しにくい対応画像の情報を少なくすることで、HMD100bが実行する処理の負担を軽減できる。
また、第3実施形態のHMD100bでは、図14に示す例と図15に示す例とで比較したように、画像設定部165bは、視線方向EDに対して、外景の同じ領域に位置する検出対象TWa,TWbであっても、視認対象の運動特性によって、対応画像の表示態様を変更する。そのため、第3実施形態のHMD100bでは、対応画像を用いて、使用者が感じる臨場感をより調整できる。
D.第4実施形態:
第4実施形態のHMD100cでは、撮像された対象の移動速度が特定され、画像設定部165cは、画像表示部20cを装着している使用者に対する特定された対象の移動速度と、使用者の視線方向EDと、に基づいて、対応画像の表示態様を設定する。また、HMD100cでは、無線通信部132cは、無線通信を行なうことで、他のサーバーから検出対象のデータと、当該検出対象に対応付けられた対応画像の基となる画像データと、を取得する。無線通信部132cによって取得される画像データは、画像データが複数のカテゴリーに分類されており、無線通信部132cは、これらのカテゴリーについても、画像データと紐付けて取得する。カテゴリーとしては、例えば、使用者に目的地までの道などを教える「案内」や自然災害などの突発的な事象に起因して使用者に注意を促す「警告」などが挙げられる。なお、無線通信部132cは、請求項における画像データ取得部に相当する。
図16は、第4実施形態において歩行者である使用者が視認する視野VRの説明図である。図16に示すように、使用者は、建物BD4などを含む外景SCと、画像表示最大領域PNに表示された対応画像IM11および対応画像IM12と、を視認する。図16に示す例では、使用者は、建物BD4の入口ENを注視点PORとして視認している。なお、図16には、注視点PORを中心として、第1実施形態で説明した視野範囲VR2が示されている。対応画像IM11は、検出対象としての移動物体CA1に対応付けられて表示される画像である。移動物体CA1は、建物BD4の前の道路を、使用者に対して横切るように(左右に)通行している循環バスである。対応画像IM11は、移動物体CA1が〇〇市内を循環するバスであることを表す文字画像「〇〇市内循環バス」である。
対応画像IM12は、検出対象としての移動物体CA2に対応付けられて表示される画像である。移動物体CA2は、使用者に方向に向かって走行してくる自動車である。画像設定部165cは、無線通信部132cを介して取得した画像データに基づいて、対応画像IM12の表示態様を決定して、画像表示最大領域PNに対応画像IM12を表示させる。第3実施形態では、方向特定部166cは、画像表示部20cを基準として、カメラ61,62によって撮像された撮像画像に含まれる対象の移動速度を測定する。対応画像IM12は、元となる画像データが紐付けられているカテゴリーが「警告」である。この場合、画像設定部165cは、移動物体CA2が予め設定された速度以上で使用者(画像表示部20c)に近づくと判定した場合は、注視点PORおよび視野範囲VR2との位置関係に関わらず、対応画像IM11などの他の対応画像よりも大きく対応画像IM12を画像表示最大領域PNに表示させる。そのため、図16に示すように、使用者への移動物体CA2の接近を注意する文字画像「接近中!」の対応画像IM12のフォントは、対応画像IM11のフォントよりも大きく画像表示最大領域PNに表示される。なお、方向特定部166cは、請求項における移動物体特定部に相当する。
以上説明したように、第4実施形態のHMD100cでは、画像設定部165cは、視線方向EDに加えて、検出対象としての移動物体CA2が画像表示部20cを装着している使用者に近づく速度に基づいて、移動物体CA2に対応付けられた対応画像IM12の表示態様を設定する。そのため、第4実施形態のHMD100cでは、使用者への近づく速度が速い移動物体がある場合に、使用者に危険を報知することができ、使用者の利便性が向上する。
E.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
E−1.変形例1:
図17は、変形例における使用者が視認する視野VRの一例を示す説明図である。図17には、第1実施形態の図12と比較して、使用者の注視点PORが建物BD1から建物BD2へと変化した後の視野VRが示されている。図17に示す例では、使用者の注視点PORが建物BD2であるため、画像設定部165は、カメラ61,62の撮像画像における検出対象TWの位置が視野範囲VR3に属すると判定して、画像表示最大領域PNに表示画像としての対応画像IM4を表示させる。対応画像IM4は、図12に示す対応画像IM3に対して、さらに、(B)距離情報を含む三次元画像として表示される画像である。換言すると、対応画像IM4は、(B)距離情報を含む三次元画像の内容と、(C)RGBの色情報と、を含む画像である。なお、視野範囲VR4は、請求項における第4の視野範囲に相当し、視野範囲VR4よりも内側の視野範囲は、請求項における第3の視野範囲に相当する。
このように、この変形例のHMD100では、画像設定部165は、対応画像IM1の画像データに基づいて、視野範囲VR3では、距離情報を含む三次元画像としての対応画像IM4を画像表示部20の画像表示最大領域PNに表示させる。そのため、この変形例のHMD100では、同じ画像データに基づいて、使用者が三次元画像として認識できる範囲においては三次元画像が表示され、使用者が三次元画像を認識しづらい範囲においては二次元画像が表示される。これにより、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。
図18は、変形例における使用者が視認する視野VRの一例を示す説明図である。図18には、第1実施形態の図12と比較して、使用者の注視点PORが建物BD1から建物BD3へと変化した後の視野VRが示されている。図18に示す例では、使用者USの注視点PORが建物BD3であるため、画像設定部165は、カメラ61,62の撮像画像における検出対象TWの位置が視野範囲VR5に属すると判定して、画像表示最大領域PNに表示画像としての対応画像IM5を表示させる。対応画像IM5は、白と黒との濃淡によって表され、対応画像IM1と同じ画像データに基づいて作成される画像である。対応画像IM5は、RGBの色情報を含まない上で使用者の視認性を向上させるために、濃淡の濃い色の長方形の画像を背景として、濃淡の薄い色の「HP」の文字を表した画像である。換言すると、対応画像IM5は、対応画像IM3に対して、(C)RGBの色情報を含まない画像である。なお、視野範囲VR5は、請求項における第6の視野範囲に相当し、視野範囲VR5よりも内側の視野範囲は、請求項における第5の視野範囲に相当する。
このように、この変形例のHMD100では、画像設定部165は、対応画像IM1の画像データに基づいて、視野範囲VR5では、RGBの色情報を含まない対応画像IM5を画像表示部20の画像表示最大領域PNに表示させる。そのため、この変形例のHMD100では、同じ画像データに基づいて、使用者がRGBを含む種々の色情報を認識できる範囲においてはRGBの色情報を用いた対応画像が表示され、使用者が色情報を認識しづらい範囲においては白と黒との色情報のみを有する対応画像が表示させる。これにより、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。
E−2.変形例2:
図19は、対応画像IM5が視野範囲VR5に属する場合に使用者が視認する視野VRの一例を示す説明図である。図19には、撮像された人間の被写体OBに頭部の位置に、帽子の画像である対応画像IM6が重畳されて表示されている場合の視野VRが示されている。被写体OBは、上半身および下半身にスキーウェアを試着している人間であり、実際には帽子を頭部に試着していない。図19に示すように、HMD100の使用者の注視点PORは、被写体OBから離れた位置であり、この場合に、対応画像IM6が画像表示最大領域PNにおいて表示される領域は、視野範囲VR5に属する。対応画像IM6の基となる画像データは、対応画像IM6として表示されている帽子の模様などの色情報も含んでいる。しかし、画像設定部165は、対応画像IM6の表示位置が視野範囲VR5に属するため、対応画像IM6を、模様やRGBなどの色情報を含まず、帽子の外枠だけを黒の濃い濃淡で表示させた画像として画像表示最大領域PNに表示させる。換言すると、画像設定部165は、対応画像IM6の輪郭を使用者に認識させるため、帽子の画像の外枠のみの画像を画像表示最大領域PNに表示させる。
このように、この変形例のHMD100では、画像設定部165は、画像データに基づいて、視野範囲VR5では、表示画像の輪郭のみの対応画像IM6を画像表示部20の画像表示最大領域PNに表示させる。そのため、この変形例のHMD100では、使用者が色情報を認識しづらい範囲においては画像の外枠のみを表示させので、対応画像を視認する使用者の認識のしやすさを低減させないで、対応画像を表示させる処理の速度をより向上させることができる。
E−3.変形例3:
上記実施形態では、表示画像が画像表示最大領域PNの一部に表示されたが、表示画像は、画像表示最大領域PNの全体に表示される画像であってもよいし、カメラ61,62の撮像画像から検出される検出対象と対応付けられた対応画像とは異なる画像であってもよい。例えば、表示画像は、検出対象と無関係に、コンテンツ等によって再生される映画などの動画であってもよい。また、表示画像としての動画は、画像表示最大領域PNの全体に表示されてもよい。画像が画像表示最大領域PNの全体に表示される動画の場合に、画像設定部165は、使用者の視線方向EDが画像表示最大領域PN上にないと判定したときには、動画を非表示にしてもよい。このように、画像設定部165は、画像表示最大領域PNに表示される画像と特定された使用者の視線方向EDとに基づいて、表示画像の表示態様を種々変形して設定する。
上記実施形態では、使用者の視線方向EDは、眼撮像カメラ37,38の撮像画像に基づいて特定されたが、別の方法によって特定されてもよい。例えば、画像表示部20の向きによって使用者の視線方向EDが特定されてもよい。具体的には、画像表示部20を頭部に装着している使用者の視線方向EDは、画像表示部20の正面方向であると特定し、常に、画像表示最大領域PNの中心を使用者の注視点PORとして設定してもよい。この変形例のHMD100によれば、眼撮像カメラ37,38のような装置を使用せずに、簡便に安価に使用者の視線方向EDを特定できる。また、画像表示部20にジャイロセンサーが搭載されて、ジャイロセンサーによって検出された角速度に基づいて、画像表示部20の向きが特定されてもよい。また、使用者のこめかみや鼻に接触する部分に配置された電極が検出する筋電位によって使用者の視線方向が特定されてもよい。
また、上記実施形態では、人間の視野と視野に関連した人間に視認の程度によって、視野範囲VR2などの使用者の注視点PORに対する範囲を設定したが、これらの範囲によっては、種々変形可能である。外景SCの輝度などの明るさ、HMD100の使用者の視力、表示される画像の解像度などによって視野範囲VR2などが設定されてもよい。
上記実施形態では、カメラ61,62の撮像画像に基づいて、撮像画像に含まれる対象物までの距離が測定されたが、対象物までの距離の測定の方法や測定の有無については、種々変形可能である。また、必ずしも、対象物までの距離が測定される必要はない。
上記実施形態では、画像表示部20を装着した使用者が透過した外景SCを視認できたが、使用者が外景SCを視認できないいわゆるクローズ型のHMDであってもよい。
また、上記実施形態では、外景SCを撮像する撮像部として、第1カメラ61と第2カメラ62とによって構成されるステレオカメラが用いられたが、1つのカメラが用いられてもよいし、3つ以上のカメラが用いられてもよい。また、カメラの配置される位置は、必ずしも画像表示部20に含まれる必要はなく、カメラは、画像表示部20と別体で構成されてもよい。
また、使用者の視覚特性には個人差があるため、操作部135が所定の操作を受け付けることで、視野範囲と画像表示部20に表示される画像との対応関係が変更されてもよい。
上記実施形態では、三次元画像として使用者に認識させるために、両眼視差を形成する方法を用いたが、三次元画像として使用者に認識させる方法については、種々変形可能である。例えば、三次元画像として使用者に認識させる方法として、輻輳運動させる画像が画像表示部20に表示されたり、陰影が画像に付与したり、画像の大きさの変更させることで奥行き感が表されてもよい。また、二次元画像についても、例えば、距離情報を含まない無限遠として画像表示部20に表示される画像であってもよく、種々変形可能である。
図18に示すように、視野範囲VR5では、RGBの色情報を含まない対応画像IM5が画像表示最大領域PNに表示されたが、色情報を含まない例としては、これに限られず、種々変形可能である。例えば、赤(RED)などの単色に対して、濃淡が付与された画像が画像表示最大領域PNに表示されてもよい。色情報を減らした画像としては、単に、特定の色のグレースケールなどによって表示された画像であってもよい。
上記実施形態では、図11に示すように、簡略化した画像として丸の画像である対応画像IM2が画像表示最大領域PNに表示されたが、簡略化した画像については、種々変形可能である。例えば、丸以外の三角や四角の画像であってもよいし、画像データに対応付けられた当該画像データを連想しやすい何らかのシンボルマークの形状であってもよい。簡略化した画像とは、画像データに基づいて表示される画像(例えば、対応画像IM1)と比較して、複雑ではなく、そこに簡略化した画像が存在することを使用者に認識させる程度の画像であればよい。
上記実施形態では、使用者の視線方向と使用者の視野範囲との関係に基づいて、画像表示最大領域PNに表示される画像の態様が変化したが、態様ではなく、画像が表示される位置が変化してもよい。例えば、視野範囲VR2に含まれる場合には、画像表示最大領域PNの全体に画像が表示され、視野範囲VR5よりも外側の範囲である場合には、画像表示最大領域PNの一部に簡略化された画像が表示されてもよい。
E−4.変形例4:
上記第4実施形態では、移動物体CA2が検出対象として予め設定されていたが、検出対象として予め設定さていない対象が、上述した速度以上で使用者に近づくと判断された場合に、新たに検出対象として設定されてもよい。また、図16の対応画像IM12は、注視点POR付近の視野範囲VR2に含まれる場合には、対応画像IM11と同じフォントで画像表示最大領域PNに表示されてもよい。これは、画像表示最大領域PNにおける注視点PORの近くに、使用者へと注意を促す対応画像IM12が表示される場合には、使用者が対応画像IM12を注視していると判定されるからである。また、他の実施形態として、無線通信部132cが他のサーバーから対応画像の基となる画像データを取得するのではなく、HMD100cがデータベースとしてこれらの画像データを記憶した記憶部を有していてもよい。また、HMD100cの画像設定部165cが、インターフェイス180を介して接続されたデータベースから画像データ等を取得してもよい。
以上説明したように、変形例のMD100cでは、画像設定部165cは、予め検出対象TWとして記憶されていない対象であっても、一定速度以上で画像表示部20cを装着している使用者に近づく場合には、当該対象を検出対象TWと判定して、予め設定された警告等の対応画像IM12を画像表示最大領域PNに表示させる。そのため、第4実施形態のHMD100cでは、使用者に危険をより適切に報知でき、使用者の利便性が向上する。
E−5.変形例5:
この変形例では、上記第4実施形態のHMD100cの画像設定部165cと比較して、変形例の画像設定部165dが画像データに紐付けられたカテゴリーに応じて対応画像の表示位置を変更することが異なる。画像設定部165dは、カテゴリーに応じて表示する優先度の重み付けを行ない、優先度の高いカテゴリーに紐付けられた画像データに基づく表示画像を、注視点PORの近くに表示させる。なお、画像データに紐付けられたカテゴリーは、請求項における画像データの種類に相当する。
図20は、変形例における使用者の視野VRにおける対応画像IM13,IM14の表示位置の説明図である。図20に示すように、画像表示部20dを頭部に装着した使用者は、外景SCとしての商店街と、対応画像IM14と、対応画像IM15と、を視認している。使用者の注視点PORは、商店街にあるお店「〇〇薬局」の看板を見ている。図20に示す例では、カメラ61,62は、検出対象TWd1としての「〇〇薬局」の看板と、検出対象TWd2としての自動車と、を撮像している。対応画像IM13は、検出対象TWd1に対応付けられて、画像表示最大領域PNに表示される画像である。対応画像IM13は、画像表示最大領域PNの中央上部に表示されている。対応画像IM13の画像データに紐付けられたカテゴリーは、「広告」である。対応画像IM14は、検出対象TWd1に対応付けられて、画像表示最大領域PNに表示される画像である。対応画像IM14は、画像表示最大領域PNの中央部に表示されている。対応画像IM14の画像データに紐付けられたカテゴリーは、「警告」である。
変形例の画像設定部165dは、使用者の視線方向EDにおいて、距離の異なる位置に複数の検出対象が重複している場合に、対応画像の画像データに紐付けられたカテゴリーに基づいて、複数の対応画像の表示領域が重複しないように、対応画像の表示位置を含む表示態様を設定する。図20では、検出対象TWd1の看板と、検出対象TWd2の自動車とは、同じ注視点POR付近で重複している。このような場合に、画像設定部165dは、カテゴリーが「警告」である対応画像IM14を、カテゴリーが「広告」である対応画像IM13よりも目立つように、画像表示最大領域PNの中央部に表示させる。また、画像設定部165dは、対応画像IM14を、対応画像IM13よりも大きく表示させる。
以上説明したように、変形例のHMD100dでは、画像設定部165dが対応画像の画像データに紐付けられたカテゴリーに応じて、検出対象に対応付けられた対応画像の画像表示最大領域PNにおける表示態様を設定する。そのため、変形例のHMD100dでは、より使用者に視認させたい画像を優先的に画像表示最大領域PNに表示させ、使用者の使い勝手を向上させる。
E−6.変形例6:
上記実施形態では、制御部10に操作部135が形成されたが、操作部135の態様については種々変形可能である。例えば、制御部10とは別体で操作部135であるユーザーインターフェースがある態様でもよい。この場合に、操作部135は、電源130等が形成された制御部10とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ61,62が画像表示部20に配置されたが、カメラ61が画像表示部20とは別体に構成され、外景SCを撮像できてもよい。また、制御部10の構成するCPU140や電源130が画像表示部20に全て搭載されたHMD100であってもよい。このHMD100では、画像表示部20と別体で構成されるコントローラーがないため、より小型化できる。また、制御部10と画像表示部20とのそれぞれに、CPU140が搭載されることで、制御部10がコントローラー単体として使用され、画像表示部20が表示装置単体として使用されてもよい。
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、例えば、画像光生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のHMD100に対して本発明を適用することも可能である。また、画像表示最大領域PNは、各画素に形成されたMEMSシャッターを開閉するMEMSシャッター方式のディスプレイによって構成されてもよい。
また、画像光生成部として、MEMSミラーを用いた走査光学系を採用し、MEMSディスプレイ技術を利用したHMD100であってもよい。具体的な構成としては、HMD100は、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材と、を光射出部として備えてもよい。HMD100がこの構成を備えると、信号光形成部によって射出された光は、MEMSミラーによって反射され、光学部材に入射し、光学部材に導かれて、虚像形成面(例えば、反射面)に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、形成された虚像を使用者が視認することで、使用者に画像が認識される。
また、例えば、HMD100は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、HMD100は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、HMD100の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、HMD100は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
また、HMD100は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のPCのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のPCから画像信号を受信することで、画像表示部20の画像表示最大領域PNに画像が表示されてもよい。
また、HMD100は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてHMD100が用いられてもよいし、HMD100が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。
E−7.変形例7:
上記実施形態におけるHMD100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16を省略したり、方向キー16やトラックパッド14に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン32,34は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、LCDと光源とを利用しているが、これらに代えて、有機ELディスプレイといった他の表示素子を採用してもよい。
図21は、変形例におけるHMDの外観構成を示す説明図である。図21(A)の例の場合、図1に示したHMD100との違いは、画像表示部20xが、右光学像表示部26に代えて右光学像表示部26xを備える点と、左光学像表示部28に代えて左光学像表示部28xを備える点とである。右光学像表示部26xは、上記実施形態の光学部材よりも小さく形成され、HMD100xの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28xは、上記実施形態の光学部材よりも小さく形成され、HMD100xの装着時における使用者の左眼の斜め上に配置されている。図21(B)の例の場合、図1に示したHMD100との違いは、画像表示部20yが、右光学像表示部26に代えて右光学像表示部26yを備える点と、左光学像表示部28に代えて左光学像表示部28yを備える点とである。右光学像表示部26yは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28yは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のHMD100として実現できる。
また、上記実施形態において、HMD100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図1および図2に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。