JP2016096488A - 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Abstract

【課題】外景に含まれる特定の対象物を検出し、検出した特定の対象物に対応付けた動画像を表示する頭部装着型表示装置を提供する。【解決手段】透過型の頭部装着型表示装置であっては；外景の中から第１の対象を検出する検出部と；外景を透過可能で、画像を表示可能な画像表示部と；検出された第１の対象に対応付けられた動画像である第１の動画像を画像表示部に表示させる表示画像設定部と、を備える。【選択図】図１

Description

本発明は、頭部装着型表示装置の技術に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、所定の範囲に静止している静止物体に対して超音波を照射することで、超音波を照射した超音波センサーから静止物体までの距離情報を取得し、距離情報に基づいて静止物体の立体像を取得する物体の自動認識方法が開示されている。また、特許文献２には、ゴルフクラブのヘッドに慣性センサーのデータを取得するセンサーユニットが搭載され、使用者が当該ゴルフクラブをスイングすると、当該ゴルフクラブと無線通信によって接続されている解析処理装置が慣性センサーによって取得されたデータを解析するゴルフクラブの解析システムが開示されている。

特開平８−７５４１８号公報 特開２０１１−６０４６２号公報

しかし、特許文献１に記載された技術では、１つの静止した物体の立体像を認識することしかできず、動いている物体や複数の物体の立体像を認識したいという課題があった。また、特許文献２に記載された技術では、センサーユニットが搭載されたゴルフクラブの慣性のデータは取得できるものの、センサーが搭載されていない物体についての動きなどのデータが取得できず、これらのデータを取得したいという課題があった。そのほか、従来の頭部装着型表示装置においては、使い勝手の向上等が望まれていた。

本発明は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、外景の中から第１の対象を検出する検出部と；前記外景を透過可能で、画像を表示可能な画像表示部と；検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させる表示画像設定部と、を備える。この形態の頭部装着型表示装置によれば、使用者は、透過して視認できる実物に合わせて表示される動画像を視認しながら、作業等を行なうことができるため、使用者の作業の効率性などを向上させることができる。

（２）上記形態の頭部装着型表示装置において、前記表示画像設定部は、前記第１の動画像を検出された前記第１の対象の位置に対応付けて表示してもよい。この形態の頭部装着型表示装置によれば、使用者は、実物の位置に合わせて表示される動画像を視認しながら、作業等を行なうことができるため、使用者の作業の効率性などをさらに向上させることができる。

（３）上記形態の頭部装着型表示装置において、前記検出部は、前記外景を撮像し、撮像した撮像画像の中から前記第１の対象を検出してもよい。この形態の頭部装着型表示装置によれば、第１の対象を画像として検出するため、第１の対象の検出の精度を向上させることができる。

（４）上記形態の頭部装着型表示装置において、前記第１の動画像は、検出された前記第１の対象に対して行なわれる作業に関連する動画像であってもよい。この形態の頭部装着型表示装置によれば、使用者は、作業の推奨動作をより認識しやすく、使用者の作業の効率性などがさらに向上する。

（５）上記形態の頭部装着型表示装置において、前記検出部は、前記外景の中から、前記第１の対象とは異なる第２の対象を検出し；前記表示画像設定部は、前記画像表示部に前記第１の動画像を表示させているときに、前記第２の対象が検出されると、前記第１の動画像に代えて、前記第２の対象に対応付けられた前記第１の動画像とは異なる動画像である第２の動画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者に対して、適宜、状況に適した画像を視認させることができるため、使用者の使い勝手がさらに向上する。

（６）上記形態の頭部装着型表示装置において、さらに；外部の音声を取得する音声取得部を備え；前記表示画像設定部は、検出された前記第１の対象と取得された前記音声との組み合わせに基づいて、前記第１の動画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、検出された第１の対象に加えて、使用者は、第１の動画像を操作できるため、使用者の使い勝手がさらに向上する。

（７）上記形態の頭部装着型表示装置において、さらに；前記第１の動画像が前記画像表示部に表示されているときに、前記第１の動画像に対応付けられた音声を出力する音声出力部を備えてもよい。この形態の頭部装着型表示装置によれば、使用者に対して、第１の動画像に加えて、音声によっても情報を認識させることができ、使用者は、視覚および聴覚によってより多くの情報を認識でき、使用者の利便性が向上する。

（８）上記形態の頭部装着型表示装置において、さらに；使用者の生体情報を取得する生体情報取得部を備え；前記表示画像設定部は、検出された前記第１の対象と取得された使用者の前記生体情報とに基づいて、前記第１の動画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、検出された第１の対象に、取得された使用者の生体情報も加えた動画像を使用者に視認させることができ、使用者の利便性がさらに向上する。

（９）上記形態の頭部装着型表示装置において、前記第１の対象と前記第１の動画像との対応付けは、検出された前記第１の対象の種類と前記第１の対象の動きと前記外景における前記第１の対象の位置と前記第１の対象の向きとの少なくとも１つと、前記第１の動画像と、の組み合わせであってもよい。この形態の頭部装着型表示装置によれば、複数の要素によって種々の動画像が選択されるため、使用者は、種々の動画像から簡単に所望の動画像を選択できる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、検出部と、画像表示部と、表示画像設定部と、３つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、検出部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、表示画像設定部を有していてもよく、有していなくてもよい。検出部は、例えば、外景の中から第１の対象を検出してもよい。画像表示部は、例えば、前記外景を透過可能で、画像を表示可能であってもよい。表示画像設定部は、例えば、検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示システム、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置（ＨＭＤ）の外観構成を示す説明図である。 ＨＭＤの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 ＡＲシナリオ実行処理のフローチャートである。 複数のＡＲシナリオから実行される第１シナリオを選択するときに使用者が視認する視野を示す説明図である。 ＡＲシナリオに含まれるＡＲ画像が光学像表示部に表示されたときに使用者が視認する視野を示す説明図である。 撮像画像の中から第２の対象が検出されて第２シナリオが実行されたときに使用者が視認する視野を示す説明図である。 撮像画像の中から第３の対象が検出されて第３シナリオが実行されたときに使用者が視認する視野を示す説明図である。 第３シナリオが終了した後に実行される第４シナリオが実行されたときに使用者が視認する視野を示す説明図である。 図９のテキスト画像の内の選択肢が選択された後に使用者が視認する視野を示す画像である。 第２実施形態のＨＭＤの構成を機能的に示すブロック図である。 第１の対象が検出されてタイヤ交換シナリオが実行されたときに使用者が視認する視野を示す説明図である。 タイヤ交換シナリオが実行されているときに第２の対象が検出された場合に使用者が視認する視野を示す説明図である。 第１の対象が検出されたタイヤ交換シナリオが実行されたときに使用者が視認する視野を示す説明図である。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置（ＨＭＤ）の構成：
図１は、頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態のＨＭＤ１００は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。

マイク６３は、外部の音声を取得する。マイク６３は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に配置されている。なお、マイク６３は、請求項における音声取得部に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６の反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、記憶部１２０と、電源１３０と、操作部１３５と、無線通信部１３２と、シナリオデータベース１３８（シナリオＤＢ１３８）と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。

記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０のＲＯＭには、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、記憶部１２０のＲＯＭから各種コンピュータープログラムを読み取り、記憶部１２０のＲＡＭに格納することで、各種コンピュータープログラムを実行する。

シナリオＤＢ１３８は、ＡＲ（Augmented Reality）画像を含む複数の動画であるＡＲシナリオを記憶している。本実施形態におけるＡＲシナリオは、カメラ６１の撮像画像の中から予め設定された特定の対象物が検出されると、画像表示部２０に表示されるＡＲ画像や、イヤホン３２，３４を介して出力される音声を含む動画である。他の実施形態では、単に、何らかの動画を含むデータをＡＲシナリオとしてみなすこともでき、ＡＲシナリオに含まれる動画としては、テキスト画像のポップアップ等であってもよい。シナリオＤＢ１３８は、複数のＡＲシナリオをいくつかのカテゴリーに分類して記憶している。分類されたカテゴリーとしては、例えば、料理、家電の取扱、スケジュール管理などがある。なお、ＨＭＤ１００は、シナリオＤＢ１３８に記憶されたＡＲシナリオだけではなく、無線通信部１３２を介して、他の装置から受信するＡＲシナリオを実行することもできる。

ＣＰＵ１４０は、記憶部１２０のＲＯＭに格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、表示画像設定部１６５、および、物体認識部１６８として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。なお、画像光を生成することを「画像を表示する」ともいう。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３によって取得された音声を、制御信号として表示画像設定部１６５に送信する。

物体認識部１６８は、パターンマッチングや統計的識別法によって、カメラ６１の撮像画像の中から、シナリオＤＢ１３８に記憶されている複数のＡＲシナリオに対応付けられている特定の対象の画像である第１の対象の画像を検出する。本実施形態では、シナリオＤＢ１３８に記憶された複数のＡＲシナリオを分類したカテゴリーが選択された後に、物体認識部１６８は、選択されたカテゴリーに含まれるＡＲシナリオに対応付けられている第１の対象の画像を検出する。以降では、撮像画像の中から、特定の対象の画像が検出されることを、単に、特定の対象が検出されるともいう。なお、物体認識部１６８は、実行されているＡＲシナリオの状況などに応じて、第１の対象とは異なる特定の対象である第２の対象や第３の対象等も撮像画像の中から検出する。物体認識部１６８は、撮像画像の中から第１の対象を検出すると、検出した第１の対象と、検出した第１の対象に対応付けられたＡＲシナリオと、の情報を表示画像設定部１６５へと送信する。なお、カメラ６１および物体認識部１６８は、請求項における検出部に相当する。また、第１の対象に対応付けられたＡＲシナリオは、請求項における第１の動画像に相当する。他の実施形態では、物体認識部１６８は、撮像画像の中から、無線通信部１３２によって他の装置から受信したＡＲシナリオに対応付けられた第１の対象を検出してもよいし、インターフェイス１８０を介して接続されたＵＳＢメモリ等に記憶されたＡＲシナリオに対応付けられた第１の対象を検出してもよい。なお、無線通信部１３２は、請求項における受信部に相当する。また、無線通信部１３２によって通信する他の装置は、請求項における記憶装置に相当する。

また、物体認識部１６８は、ＨＭＤ１００が何らかのＡＲシナリオを実行しているときに、カメラ６１の撮像画像の中から、第１の対象とは異なる特定の対象である第２の対象を検出することもできる。第２の対象は、第１の対象に対応付けられたＡＲシナリオとは異なるＡＲシナリオに対応付けられている。物体認識部１６８は、撮像画像の中から第２の対象を検出すると、表示画像設定部１６５に、検出した第２の対象と第２の対象に対応付けられているＡＲシナリオの情報を送信する。

ＣＰＵ１４０は、物体認識部１６８から送信された情報に基づいて、撮像画像の中から検出された特定の対象物に対応付けられたＡＲシナリオを実行する。ＡＲシナリオが実行されると、表示画像設定部１６５は、実行されるＡＲシナリオに含まれる画像等を光学像表示部２６，２８に表示させる。表示画像設定部１６５は、ＡＲシナリオに含まれる少なくとも１つのＡＲ画像を、撮像画像の中から検出された特定の対象物の位置や向きに関連付けて画像表示部２０に表示させる。ＡＲシナリオには、検出される特定の対象物について優先度が設定されており、表示画像設定部１６５は、検出された特定の対象物の内、設定された優先度が高い特定の対象物に対応付けられた画像を優先的に光学像表示部２６，２８に表示させる。

ＣＰＵ１４０は、何らかのＡＲシナリオを実行しているときに、物体認識部１６８が第２の対象を検出すると、実行しているＡＲシナリオとは異なる第２の対象に対応付けられた別のＡＲシナリオを実行する。表示画像設定部１６５は、第２の対象が撮像画像の中から検出されると、実行されていたＡＲシナリオに含まれる画像に代えて別のＡＲシナリオに含まれる画像を光学像表示部２６，２８に表示させる。なお、第２の対象に対応付けられたＡＲシナリオは、請求項における第２の動画像に相当する。

音声処理部１７０は、イヤホン３２，３４を介して、別のＡＲシナリオに含まれる音声信号に基づく音声を出力する。また、音声処理部１７０は、イヤホン３２，３４を介して、ＡＲシナリオに含まれる音声信号に基づく音声を出力する。音声処理部１７０は、マイク６３から取得した音声に基づいて、各種処理を行なう。例えば、ＡＲシナリオに選択肢が含まれる場合には、音声処理部１７０は、取得した音声に基づいて、選択肢の中から１つの選択肢を選択したりする。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、マイク６３と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．ＡＲシナリオ実行処理：
図４は、ＡＲシナリオ実行処理のフローチャートである。ＡＲシナリオ実行処理は、ＣＰＵ１４０が撮像画像の中から検出した対象に応じたＡＲシナリオを実行する処理である。ＡＲシナリオ実行処理では、初めに、ＣＰＵ１４０は、操作部１３５がＡＲシナリオを実行する所定の操作を受け付けたか否かを判定する（ステップＳ１１）。本実施形態では、ＣＰＵ１４０は、シナリオＤＢ１３８に記憶されて分類されたＡＲシナリオのカテゴリーを使用者に選択させるための画像を光学像表示部２６，２８に表示させる。ＣＰＵ１４０は、ＡＲシナリオを実行するための所定の操作として、光学像表示部２６，２８に表示させたＡＲシナリオのカテゴリーの選択を受け付けたか否かを判定する。所定の操を受け付けていないと判定された場合には（ステップＳ１１：ＮＯ）、ＣＰＵ１４０は、ＡＲシナリオ実行処理を終了する。なお、本実施形態では、ＡＲシナリオのカテゴリーとして、「料理」が選択された場合について説明する。

ステップＳ１１の処理において、ＣＰＵ１４０は、ＡＲシナリオを実行する所定の操作を受け付けたと判定した場合には（ステップＳ１１：ＹＥＳ）、カメラ６１を介して、外景を撮像する（ステップＳ１３）。次に、物体認識部１６８は、カメラ６１が撮像した外景の撮像画像の中から、シナリオＤＢ１３８に記憶されたＡＲシナリオに対応付けられた特定の対象としての第１の対象の画像（以下、単に「第１の対象」ともいう）を検出する（ステップＳ１５）。物体認識部１６８は、撮像画像の中から第１の対象を検出しない場合には（ステップＳ１５：ＮＯ）、引き続き、撮像画像の中から第１の対象の検出を待機する（ステップＳ１５）。撮像画像の中から第１の対象が検出された場合には（ステップＳ１５：ＹＥＳ）、ＣＰＵ１４０は、第１の対象に対応付けられている複数のＡＲシナリオがあるか否かを判定する（ステップＳ１７）。第１の対象に対応付けられている複数のＡＲシナリオがあると判定された場合には（ステップＳ１７：ＹＥＳ）、表示画像設定部１６５は、複数のＡＲシナリオから１つのＡＲシナリオを選択させるための選択画像を光学像表示部２６，２８に表示させて、使用者に１つのＡＲシナリオを選択させる（ステップＳ１９）。ＣＰＵ１４０は、使用者によって実行する１つのＡＲシナリオが選択されたと判定した場合（ステップＳ１９）、選択されたＡＲシナリオを実行する（ステップＳ２１）。また、ＣＰＵ１４０は、ステップＳ１７の処理において複数のＡＲシナリオがないと判定した場合には（ステップＳ１７：ＮＯ）、自動的に１つのＡＲシナリオを実行する。（ステップＳ２１）。なお、以降では、実行する１つの当該ＡＲシナリオを第１シナリオとも呼ぶ。

図５は、複数のＡＲシナリオから実行される第１シナリオを選択するときに使用者が視認する視野ＶＲを示す説明図である。図５には、光学像表示部２６，２８を透過して使用者に視認される外景ＳＣと、光学像表示部２６，２８に表示された選択画像ＩＭＧ１と矢印画像ＣＳ３とが示されている。選択画像ＩＭＧ１および矢印画像ＣＳ３は、光学像表示部２６，２８において、画像を表示できる最大の領域である画像表示最大領域ＰＮ内に表示される。外景ＳＣには、まな板ＢＣと、板ＢＣの上に載っている魚ＦＳとが含まれる。魚ＦＳの頭部から尾にかけての体の表面には、複数のうろこＦＳＣが張り付いている。なお、本実施形態では、魚ＦＳの種類は、鯛である。表示画像設定部１６５は、検出された魚ＦＳと選択された「料理」のＡＲシナリオのカテゴリーとに基づいて、魚ＦＳに対応付けられた複数のＡＲシナリオの候補を選択画像ＩＭＧ１として画像表示最大領域ＰＮに表示させる。図５の選択画像ＩＭＧ１に示すように、魚ＦＳに対応付けられたＡＲシナリオの候補は、「１．三枚おろし」と「２．塩焼き」と「３．姿煮」とである。表示画像設定部１６５は、検出された魚ＦＳの位置に関わらず、画像表示最大領域ＰＮにおける固定の位置に選択画像ＩＭＧ１を表示させる。操作部１３５が使用者の操作を受け付けることで、矢印画像ＣＳ３が画像表示最大領域ＰＮ内を移動する。矢印画像ＣＳ３が選択画像ＩＭＧ１のいずれかの選択肢に重複した状態で操作部１３５が決定操作を受け付けると、ＣＰＵ１４０は、実行する１つのＡＲシナリオを選択する。なお、他の実施形態では、マイク６３が音声入力を受け付けることで、選択画像ＩＭＧ１のいずれかの選択肢が選択されてもよい。本実施形態では、第１シナリオとして「１．三枚おろし」が選択された場合について説明する。なお、図５および以降の図では、便宜上、画像表示最大領域ＰＮを示しているものの、破線で示した画像表示最大領域ＰＮの外枠は、使用者には視認されない。

ＡＲシナリオが実行されると、表示画像設定部１６５は、ＡＲシナリオに含まれるＡＲ画像を、物体認識部１６８によって特定された第１の対象の位置や向きに対応付けて画像表示最大領域ＰＮに表示させる（ステップＳ２３）。物体認識部１６８は、撮像画像の中の魚ＦＳに対してパターンマッチングを行なうことで、撮像画像の中における魚ＦＳが占める領域や座標の位置を特定する。物体認識部１６８は、特定した領域や座標の位置に基づいて、魚ＦＳの頭の位置と尾の位置とを特定することで、撮像画像における魚ＦＳの向きを特定する。表示画像設定部１６５は、特定された撮像画像の中の魚ＦＳにおける予め定められた１つの座標に対応付けて、画像表示最大領域ＰＮ内に画像を表示させる。なお、本実施形態のＡＲシナリオは、主に、ＨＭＤ１００の使用者の動作を支援する動画である。そのため、シナリオＤＢ１３８に記憶されたＡＲシナリオに含まれる動画は、使用者に促したい推奨動作である場合が多い。表示画像設定部１６５が画像表示部２０に表示させた動画と同等の動作が使用者によって行なわれたと撮像画像によって判断した場合には、ＣＰＵ１４０は、実行している第１シナリオを終了する、または、別のＡＲシナリオを実行する。

図６は、ＡＲシナリオに含まれるＡＲ画像が画像表示最大領域ＰＮに表示されたときに使用者が視認する視野ＶＲを示す説明図である。図６には、シナリオＤＢ１３８の中から「料理」のＡＲシナリオのカテゴリーが選択された場合に、第１対象としての魚ＦＳに対応付けられた「うろこ取り」のＡＲ画像である画像ＡＲ１が表示されたときの視野ＶＲが示されている。図６に示すように、画像表示最大領域ＰＮに画像ＡＲ１が表示されるため、使用者は、光学像表示部２６，２８を透過する板ＢＣおよび魚ＦＳを含む外景ＳＣを視認すると同時に、画像表示最大領域ＰＮに表示された画像ＡＲ１を視認する。表示画像設定部１６５は、物体認識部１６８によって特定された魚ＦＳの頭部と尾とを往復する画像ＡＲ１の動画を画像表示最大領域ＰＮ内に表示させる。画像ＡＲ１は、使用者にうろこ取りで魚ＦＳのうろこを取る動作を支援する動画である。図６に示した矢印画像ＣＳ１は、画像ＡＲ１の頭と尾とを往復するイメージを示しており、矢印画像ＣＳ１が画像表示最大領域ＰＮ内に表示されるわけではない。なお、本実施形態では、カメラ６１の画角と使用者が視認する視野ＶＲとが同じになるように設定されている。

図４のステップＳ２３において、魚ＦＳの位置や向きに対応付けられて画像ＡＲ１が画像表示最大領域ＰＮに表示されると、物体認識部１６８は、画像ＡＲ１を含む実行されている「うろこ取り」のＡＲシナリオが推奨する動作を使用者が行なったか否かを判定する（ステップＳ２５）。物体認識部１６８は、「うろこ取り」の動作を使用者が行なったか否かの判定を、撮像画像の中から実物のうろこ取りの検出と、実物のうろこ取りの動きとに基づいて行なう。具体的な判定方法は、撮像画像の中から画像ＡＲ１に相当する実物のうろこ取りが検出され、検出された実物のうろこ取りが魚ＦＳの頭部から尾までを予め設定された回数往復したか否かを検出することで判定する。

ステップＳ２５の処理において、物体認識部１６８は、実行されている第１シナリオが推奨する動作を使用者が行なっていないと判定した場合には（ステップＳ２５：ＮＯ）、物体認識部１６８は、撮像画像の中から、第１シナリオとは異なるＡＲシナリオである第２シナリオに対応付けられた第２の対象の画像（以下、単に「第２の対象」とも呼ぶ）を検出する（ステップＳ２７）。撮像画像の中から第２の対象が検出された場合には（ステップＳ２７：ＹＥＳ）、ＣＰＵ１４０は、第２の対象に対応付けられた第２シナリオを実行する（ステップＳ２９）。第２シナリオが実行されると、表示画像設定部１６５は、第２シナリオに含まれるＡＲ画像を、検出された第２の対象の位置や向きに対応付けて、画像表示最大領域ＰＮ内に表示させる（ステップＳ２３）。

図７は、撮像画像の中から第２の対象が検出されて第２シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図７には、ＡＲシナリオが促す「うろこ取り」の推奨動作が終了していない状態で、第２の対象としての包丁ＫＮが撮像画像の中から検出された場合に、使用者の視野ＶＲが示されている。視野ＶＲには、光学像表示部２６，２８を透過した外景ＳＣに加えて、第２シナリオに含まれるＡＲ画像であるうろこ取りの画像ＡＲ２およびテキスト画像ＴＸ１が含まれている。表示画像設定部１６５は、第２シナリオに含まれるＡＲ画像として、包丁ＫＮではなく、うろこ取りによって魚ＦＳのうろこを取る動作を促す文字で表したテキスト画像ＴＸ１と、うろこ取りの画像ＡＲ２と、を画像表示最大領域ＰＮに表示させる。表示画像設定部１６５は、テキスト画像ＴＸ１および画像ＡＲ１の画像表示最大領域ＰＮにおける表示位置を、検出された第２の対象である包丁ＫＮの位置や向きに対応付けて表示させる。そのため、第１シナリオで魚ＦＳの位置に対応付けられ表示されるうろこ取りの画像ＡＲ１と、第２シナリオで包丁ＫＮの位置に対応付けられて表示されるうろこ取りの画像ＡＲ２とは、画像表示最大領域ＰＮにおいて異なる位置に表示される。なお、音声処理部１７０は、表示画像設定部１６５によるテキスト画像ＴＸ１の表示に合わせて、イヤホン３２，３４を介してテキスト画像ＴＸ１の文字と同じ音声を出力してもよい。

図４のステップＳ２３の処理において、包丁ＫＮの位置に対応付けられてテキスト画像ＴＸ１および画像ＡＲ２が画像表示最大領域ＰＮに表示されると、物体認識部１６８は、第２シナリオが使用者に推奨する動作が行なわれたか否かを判定する（ステップＳ２５）。物体認識部１６８は、図７のテキスト画像ＴＸ１に従って使用者が包丁ＫＮではなく、画像ＡＲ２に示すうろこ取りを持ったことを検出した場合に、第２シナリオの推奨動作が行なわれたと判定する。推奨動作が行なわれた判定された場合には（ステップＳ２５：ＹＥＳ）、物体認識部１６８は、撮像画像の中から選択されたカテゴリーのＡＲシナリオに対応付けられた特定の対象の画像を検出しているか否かを判定する（ステップＳ３１）。物体認識部１６８は、撮像画像の中に第１の対象としての魚ＦＳを検出しているため（ステップＳ３１：ＹＥＳ）、ステップＳ１７，１９の処理を行なわれた後、第１の対象に対応付けられた第１シナリオを実行する（ステップＳ２１）。表示画像設定部１６５は、第１シナリオに含まれるうろこ取りの画像ＡＲ１を魚ＦＳの位置に対応付けて画像表示最大領域ＰＮに表示させ（ステップＳ２５）、物体認識部１６８は、第１シナリオの推奨動作である魚ＦＳのうろこ取りが終了したか否かを判定する（ステップＳ２５）。物体認識部１６８は、検出したうろこ取りが所定の回数（例えば、２０回）以上、魚ＦＳの頭部と尾との間を往復した場合には、第１シナリオの推奨動作であるうろこ取りが使用者に行なわれたと判定する。なお、うろこ取りの推奨動作が行なわれたか否かの判定は、種々変形可能であり、例えば、魚ＦＳの表面のうろこを画像認識することで、判定されてもよい。

物体認識部１６８は、推奨動作である魚ＦＳのうろこ取りが終了したと判定した場合には（ステップＳ２５：ＹＥＳ）、撮像画像の中から、その他のＡＲシナリオに対応付けられた特定の対象を検出する（ステップＳ３１）。撮像画像の中からその他の対象が検出されない場合には（ステップＳ３１：ＮＯ）、ＣＰＵ１４０は、その他のシナリオを実行するか否かを判定する（ステップＳ３３）。ＣＰＵ１４０は、操作部１３５が受け付けた操作やマイク６３が取得した音声などによって、シナリオＤＢ１３８に記憶されたＡＲシナリオ以外のＡＲシナリオ（例えば、無線通信部１３２を介して取得したＡＲシナリオ）の実行など受け付ける。

ステップＳ３３の処理において、ＣＰＵ１４０は、無線通信部１３２を介してその他のＡＲシナリオを受信し、操作部１３５が受け付けた操作によって受信したＡＲシナリオを実行すると判定した場合には（ステップＳ３３：ＹＥＳ）、物体認識部１６８は、撮像画像の中から実行するＡＲシナリオに対応付けられた特定の対象である第３の対象を検出する（ステップＳ１５）。なお、ここでいう第３の対象は、第１の対象と同じである。第３の対象が検出されると（ステップＳ１５：ＹＥＳ）、ＣＰＵ１４０は、ステップＳ１７以降の処理を行なう。なお、第３の対象は、請求項における第１の対象に相当する。

本実施形態では、うろこ取りが終了した魚ＦＳが第３の対象として検出され、魚ＦＳを３枚におろすことを使用者の動作推奨とする第３の対象に対応付けられたＡＲシナリオが実行される。なお、以降では、第３の対象に対応付けられたＡＲシナリオを、単に、第３シナリオとも呼ぶ。

図８は、撮像画像の中から第３の対象が検出されて第３シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図８には、第３の対象として、うろこ取りが終了した魚ＦＳを含む外景ＳＣが示されている。また、図８に示すように、使用者の右手ＲＨが包丁ＫＮを持ち、使用者の左手ＬＨが魚ＦＳの頭部を押さえている。物体認識部１６８が第３の対象を検出すると、表示画像設定部１６５は、実行される第３シナリオに含まれる包丁のＡＲ画像である画像ＡＲ３と、推奨動作を示すテキスト画像ＴＸ２とを画像表示最大領域ＰＮに表示させる。画像ＡＲ３およびテキスト画像ＴＸ２は、第３の対象としての魚ＦＳに対応付けられて画像表示最大領域ＰＮに表示される。そのため、テキスト画像ＴＸ２が表示される位置は、図７における包丁ＫＮに対応付けられたテキスト画像ＴＸ１の位置とは異なる。テキスト画像ＴＸ２は、魚ＦＳを３枚におろす推奨動作を促す第３シナリオにおいて、初めに、魚ＦＳの内臓を取り出すことを使用者に促す文字画像である。物体認識部１６８によって検出された第３の対象やその他の対象に基づいて、表示画像設定部１６５は、実行される第３シナリオに含まれる画像を画像表示最大領域ＰＮに表示する。また、同様に、音声処理部１７０は、イヤホン３２，３４を介して、実行される第３シナリオに含まれる音声を出力する。

図９は、第３シナリオが終了した後に実行される第４シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図９には、魚ＦＳを三枚におろす第３シナリオの動作推奨が使用者によって完了した後に、撮像画像の中から三枚におろされた魚ＦＳのそれぞれが第４の対象として検出されて、第４の対象に対応付けられたＡＲシナリオである第４シナリオが実行されたときに使用者が視認する視野ＶＲが示されている。物体認識部１６８は、第４シナリオが実行されると、第４シナリオに含まれるＡＲ画像の矢印画像ＣＳ２と、三枚におろされた魚ＦＳに対する処理を使用者に選択させるためのテキスト画像ＴＸ３とを画像表示最大領域ＰＮに表示させる。テキスト画像ＴＸ３および矢印画像ＣＳ２は、三枚におろされた魚ＦＳのそれぞれの切身ＣＢ１，ＣＢ２および中骨ＭＢを検出すると、画像表示最大領域ＰＮに表示される。物体認識部１６８は、テキスト画像ＴＸ３および矢印画像ＣＳ２が表示される位置を、切身ＣＢ１，ＣＢ２および中骨ＭＢの位置や向きとは関係なく、画像表示最大領域ＰＮにおける固定の位置に表示させる。テキスト画像ＴＸ３は、切身ＣＢ１と切身ＣＢ２と中骨ＭＢとに対する処理として、保存と刺身と昆布締めとを使用者に選択させるための画像である。操作部１３５が使用者の操作を受け付けることで、テキスト画像ＴＸ３のいずれかの選択肢（例えば、１．切身ＣＢ１）が選択されると、ＣＰＵ１４０は、選択された選択肢に対応付けられた画像および音声を出力させる。また、マイク６３が音声入力を受け付けることで、テキスト画像ＴＸ３のいずれかの選択肢が選択されてもよい。

図１０は、図９のテキスト画像ＴＸ３の内の選択肢が選択された後に使用者が視認する視野ＶＲを示す画像である。図１０には、図９のテキスト画像ＴＸ３において、処理される対象として「１．切身ＣＢ１」が選択され、切身ＣＢ１の処理として、「３．昆布締め」が選択された場合に、画像表示最大領域ＰＮに表示されるＡＲ画像である画像ＡＲ４とテキスト画像ＴＸ４とが示されている。表示画像設定部１６５は、実行されているＡＲシナリオの具体的な処理を示すテキスト画像ＴＸ４を、画像表示最大領域ＰＮにおける固定の位置に表示させる。また、表示画像設定部１６５は、使用者に選択されると共に物体認識部１６８によって撮像画像の中から検出された切身ＣＢ１の位置と向きに対応付けて、昆布締めに使用される昆布のＡＲ画像を画像ＡＲ４として画像表示最大領域ＰＮ内に表示させる。これにより、ＨＭＤ１００は、使用者に対して、切身ＣＢ１に昆布締めに必要な処理を推奨動作として認識させることができる。

図４のステップＳ２５において、推奨動作として第４シナリオの昆布締めの処理が切身ＣＢ１に行なわれると（ステップＳ２５：ＹＥＳ）、物体認識部１６８は、その他の対象を撮像画像の中から検出する（ステップＳ３１）。その他の対象が検出されない場合に（ステップＳ３１：ＮＯ）、ＣＰＵ１４０は、その他のＡＲシナリオをもう実行しないと判定した場合には（ステップＳ３３：ＮＯ）、ＡＲ実行処理を終了する。

以上説明したように、第１実施形態のＨＭＤ１００では、物体認識部１６８がカメラ６１の撮像画像の中から第１の対象を検出し、表示画像設定部１６５は、第１の対象に対応付けられた魚ＦＳのうろこ取りの推奨動作の第１シナリオ実行される場合に、検出されたＦＳ魚の位置に対応付けてうろこ取りの画像ＡＲ１を画像表示最大領域ＰＮに表示させる。そのため、第１実施形態のＨＭＤ１００では、外景ＳＣに含まれる複数の物体の内から１つの物体を検出して、検出した物体の位置に対応付けた画像を表示する。これにより、使用者は、実物の位置に合わせて表示される画像を視認しながら、作業等を行なうことができるため、使用者が行なう作業を支援し、使用者の作業の効率性などを向上させることができる。

また、第１実施形態のＨＭＤ１００では、物体認識部１６８は、画像として第１の対象である魚ＦＳを検出するため、魚ＦＳを検出する精度を向上させることができる。

また、第１実施形態のＨＭＤ１００では、第１の対象としての魚ＦＳに対応付けられたうろこ取りの画像ＡＲ１は、魚ＦＳに対して行なわれるうろこ取りの推奨動作に関連する動画であるため、使用者は、推奨動作をより認識しやすく、使用者の作業の効率性などがさらに向上する。

また、第１実施形態のＨＭＤ１００では、物体認識部１６８が撮像画像の中から第２の対象としての包丁ＫＮを検出した場合に、表示画像設定部１６５は、実行される第２シナリオに含まれるテキスト画像ＴＸ１およびうろこ取りの画像ＡＲ２を画像表示最大領域ＰＮに表示させる。そのため、第１実施形態のＨＭＤ１００では、検出される物体に優先度が設定されており、複数のＡＲシナリオに対応付けられた複数の特定の対象物が検出されても、検出された特定の対象物に設定された優先度に基づいて、画像表示最大領域ＰＮに表示される画像が変更される。これにより、使用者に対して、状況の最も適した画像を視認させることができるため、使用者の使い勝手がさらに向上する。

また、第１実施形態のＨＭＤ１００では、表示画像設定部１６５は、マイク６３が取得した音声に基づいて、三枚におろされた魚ＦＳの切身ＣＢ１に対して受け付けた処理に対応付けて、テキスト画像ＴＸ４および画像ＡＲ４を画像表示最大領域ＰＮに表示される。そのため、第１実施形態のＨＭＤ１００では、検出された特定の対象物に加えて、使用者は、音声によっても画像表示最大領域ＰＮに表示させる画像を操作できるため、使用者の使い勝手がさらに向上する。

また、第１実施形態のＨＭＤ１００では、音声処理部１７０は、第１シナリオが実行されている場合に、第２の対象としての包丁ＫＮが検出されると、画像表示最大領域ＰＮに表示されるテキスト画像ＴＸ１の文字と同じ音声を出力する。そのため、第１実施形態のＨＭＤ１００では、使用者に対して、画像表示最大領域ＰＮに表示される画像に加えて、音声によっても情報を認識させることができ、使用者は、視覚および聴覚によってより多くの情報を認識でき、使用者の利便性が向上する。

Ｂ．第２実施形態：
Ｂ−１．ＨＭＤの構成：
図１１は、第２実施形態のＨＭＤ１００ａの構成を機能的に示すブロック図である。第２実施形態のＨＭＤ１００ａでは、第１実施形態のＨＭＤ１００と比較して、生体情報取得センサー９０と、ＣＰＵ１４０ａの生体情報処理部１６９と、を備える点が異なり、その他の構成については同じである。生体情報取得センサー９０は、制御部１０および画像表示部２０とは別体で形成されたセンサーである。生体情報取得センサー９０は、使用者の生体情報を取得する。本実施形態では、生体情報取得センサー９０は、腕時計型のセンサーであり、使用者の手首に装着された状態で、ひずみゲージによるひずみ検出によって、現時点での使用者の筋力を測定する。生体情報取得センサー９０は、取得した使用者の筋力の測定データを制御部１０ａのＣＰＵ１４０ａへと送信する。取得された生体情報を処理する。生体情報処理部１６９は、取得された使用者の筋力の測定データに基づいて、実行されるＡＲシナリオに含まれる各種処理を実行する。

Ｂ−２．ＡＲシナリオ実行処理：
第２実施形態では、自動車のタイヤの交換を推奨動作とするＡＲシナリオ（以下、単に、「タイヤ交換シナリオ」とも呼ぶ）について、ＡＲシナリオ実行処理について説明する。第２実施形態では、第１実施形態のＡＲシナリオ実行処理（図４）における処理の内、異なる処理であるステップＳ２１以降の処理について説明する。

図１２は、第１の対象が検出されてタイヤ交換シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図１２には、第１対象としてのタイヤＴＲの画像が撮像画像の中から検出された場合に、ＣＰＵ１４０ａによってＡＲシナリオとしてのタイヤ交換シナリオが実行され、表示画像設定部１６５がＡＲ画像である画像ＡＲ５が画像表示最大領域ＰＮに表示されたときに視野ＶＲが示されている。外景ＳＣに含まれるタイヤＴＲは、４箇所のボルトＢＴによって自動車の本体に固定されている。画像ＡＲ５は、工具としての六角レンチを表す工具画像ＡＲＲと、工具画像ＡＲＲを持っている腕画像ＡＲＨと、腕画像ＡＲＨの手首に装着されている筋力センサー画像ＡＲＳと、から構成されている。すなわち、画像ＡＲ５は、使用者に、筋力センサーを装着した腕で六角レンチにてタイヤＴＲのボルトＢＴを外すことを推奨動作とする画像である。表示画像設定部１６５は、検出されたタイヤＴＲのボルトＢＴの位置に対応付けて画像ＡＲ５の内の工具画像ＡＲＲを画像表示最大領域ＰＮに表示させる。また、表示画像設定部１６５は、画像ＡＲ５の内の腕画像ＡＲＨおよび筋力センサー画像ＡＲＳを、工具画像ＡＲＲに対応付けて画像表示最大領域ＰＮに表示させる。腕画像ＡＲＨの表示部には、工具を回すために推奨とされる筋力の数値が表示される。表示される数値（８０）は、パーセンテージ（％）の単位であり、予め、ＨＭＤ１００の使用者の筋力とひずみゲージとの関係が設定された上で、推奨される数値である。

タイヤ交換シナリオが実行され（図４のステップＳ２３）、タイヤ交換シナリオに対応付けられた画像ＡＲ５が画像表示最大領域ＰＮに表示されると（図４のステップＳ２３）、物体認識部１６８は、タイヤ交換シナリオの推奨動作が終了したか否かを判定する（ステップＳ２５）。

図１３は、タイヤ交換シナリオが実行されているときに第２の対象が検出された場合に使用者が視認する視野ＶＲを示す説明図である。図１３には、タイヤ交換シナリオが実行されている場合に、第２の対象が検出された場合に、画像表示最大領域ＰＮに表示されるテキスト画像ＴＸ５と画像ＡＲ５，ＡＲ６とが示されている。第２実施形態における第２の対象は、実物の六角レンチである工具ＲＮと足ＬＧとが所定の位置関係として検出された状態である。図１３では、画像ＡＲ５の内の工具画像ＡＲＲは、実物の工具ＲＮと重なっている。物体認識部１６８が実物の工具ＲＮに使用者の足ＬＧが接触している位置関係を検出した場合に、表示画像設定部１６５は、画像ＡＲ５に加えて、テキスト画像ＴＸ５および画像ＡＲ６を画像表示最大領域ＰＮに表示させる。テキスト画像ＴＸ５は、足ＬＧで工具ＲＮを回転させることの禁止を促す文字画像である。また、画像ＡＲ６は、テキスト画像ＴＸ５の内容を強調するための「×」を示すＡＲ画像である。表示画像設定部１６５は、画像ＡＲ６を、検出された工具ＲＮと足ＬＧとの接触位置に対応させて画像表示最大領域ＰＮ内に表示させる。

タイヤ交換シナリオの推奨動作が終了していない場合に（図４のステップＳ２５：ＮＯ）、第２の対象としての工具ＲＮおよび足ＬＧが検出されると（ステップＳ２７：ＹＥＳ）、ＣＰＵ１４０ａは、タイヤ交換を足ではなく腕を使って行なう推奨動作のＡＲシナリオである第２シナリオを実行する（ステップＳ２９）。第２シナリオが実行されると、表示画像設定部１６５は、図１３に示すように、画像表示最大領域ＰＮ内に画像ＡＲ５に加えて、画像ＡＲ６およびテキスト画像ＴＸ５を表示させる（ステップＳ２３）。第２シナリオの推奨動作に従って、足ＬＧが検出されなくなった場合には（ステップＳ２５：ＹＥＳ）、タイヤＴＲが検出されるため（ステップＳ３１：ＹＥＳ）、ＣＰＵ１４０ａは、タイヤ交換シナリオを実行する（ステップＳ２１）。その後、表示画像設定部１６５は、画像ＡＲ５を画像表示最大領域ＰＮに表示させる（ステップＳ２３）。

図１４は、第１の対象が検出されたタイヤ交換シナリオが実行されたときに使用者が視認する視野ＶＲを示す説明図である。図１４には、画像表示最大領域ＰＮに、図１２と同様の画像ＡＲ５が表示され、かつ、実物の使用者の腕ＨＤと、腕ＨＤの手首に装着された筋力センサーＳＳと、腕ＨＤが持っている工具ＲＮと、テキスト画像ＴＸ６とを含む視野ＶＲが示されている。図１４に示すように、画像ＡＲ５の内の工具画像ＡＲＲと実物の工具ＲＮとの位置関係と、腕画像ＡＲＨと腕ＨＤとの位置関係とは異なる。換言すれば、使用者の腕ＨＤおよび工具ＲＮのそれぞれは、推奨動作として表示された画像ＡＲ５と重複しておらず、物体認識部１６８は、使用者にタイヤ交換シナリオの推奨動作が行なわれていないと判定する。物体認識部１６８は、撮像画像の中における複数のボルトＢＴの位置と大きさとによって、タイヤＴＲの位置や向きを特定する。そのため、物体認識部１６８は、特定したタイヤＴＲのボルトＢＴに対して、実物の工具ＲＮが正しい位置に挿入されているか否かを判定できる。表示画像設定部１６５は、検出された工具ＲＮが正しい位置に挿入されていないと判定されると、工具ＲＮをボルトＢＴに対して正しい位置に挿入する動作を促すテキスト画像ＴＸ６を画像表示最大領域ＰＮに表示させる。なお、図１４では、工具ＲＮが正しい位置に挿入されていないため、使用者は工具ＲＮを回転させることができず、筋力センサーＳＳの数値は０（％）と表示されている。

使用者がテキスト画像ＴＸ６に従い、工具ＲＮがボルトＢＴに対して正しい位置に挿入されると、表示画像設定部１６５が画像ＡＲ５を非表示にして、生体情報処理部１６９は、生体情報取得センサー９０としての筋力センサーＳＳの筋力の数値を検出する。生体情報処理部１６９は、筋力センサーＳＳによって取得された値が８０％を中心とする７５％から８５％までの間の数値以外で、工具ＲＮが回されているか否かを判定する。当該数値の間で工具ＲＮが回されていると判定した場合には、表示画像設定部１６５は、８０％の筋力で工具ＲＮを回転させるように促すテキスト画像を画像表示最大領域ＰＮに表示させる。生体情報処理部１６９が８０％の筋力で工具ＲＮが回転させられていると判定すると、表示画像設定部１６５がテキスト画像を非表示にして、表示画像設定部１６５は、別のボルトＢＴを外すＡＲ画像を画像表示最大領域ＰＮに表示させる。以上のような動作が繰り返されると、ＣＰＵ１４０ａは、タイヤ交換シナリオを終了する。

以上説明したように、第２実施形態のＨＭＤ１００ａでは、生体情報取得センサー９０によって検出された使用者の筋力に基づいて、表示画像設定部１６５は、画像表示最大領域ＰＮに画像を表示させる。そのため。第２実施形態のＨＭＤ１００ａでは、撮像画像の中に検出された特定の対象物に、取得された使用者の生体情報も加えた画像を使用者に視認させることができ、使用者の利便性がさらに向上する。

Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｃ−１．変形例１：
上記実施形態では、撮像画像の中から検出される第１の対象は、１つの物体であったが、これに限られず、複数の物体などであってもよい。例えば、物体認識部１６８は、第１の対象として、撮像画像の中から複数の物体の位置も含めた組み合わせを検出してもよい。また、物体認識部１６８は、同じ特定の対象であっても、特定の対象が特定の動きをしている場合にのみ、第１の対象として、検出してもよい。また、物体認識部１６８は、複数の特定の対象を検出して、複数の特定の対象の内から使用者が１つの特定の対象を選択することで、選択された特定の対象を第１の対象として検出してもよい。

上記第１実施形態では、第２の対象としての包丁ＫＮが検出された場合に、実行するＡＲシナリオとして第２シナリオへと変更されたが、第１シナリオから他のシナリオへの変更については、種々変形可能である。例えば、「うろこ取り」の第１シナリオが実行されているときに、実物のうろこ取りが検出されても、実物のうろこ取りの位置や動きが、矢印画像ＣＳ１と大きく異なる場合に、ＣＰＵ１４０は、第２の対象が検出されたとして、別のＡＲシナリオを実行してもよい。

上記実施形態では、パターンマッチング等の画像認識により、撮像画像の中から第１の対象を検出されたが、第１の対象が検出される方法については、これに限られず、種々変形可能である。例えば、物体認識部１６８は、撮像画像に対する画像認識ではなく、デプスセンサーなどを用いて、ＴＯＦ（Time-of-Flight）方法などによって、デプスセンサーから第１の対象までの距離を測定することで、第１の対象を検出してもよい。

撮像画像の中から検出される特定の対象物の画像は、上記実施形態の例に限られず、種々変形可能である。例えば、特定の対象物は、撮像画像の中から検出される実物であれば、ＡＲシナリオに対応付けられることができる。特定の対象物は、上記実施形態のように、人が持ち運ぶことで移動可能な魚ＦＳであってもよいし、移動不可能な建造物などであってもよい。また、特定の対象物は、時間の経過によって規則的な移動をする太陽などであってもよい。また、請求項における第１の対象と第１の動画像とが対応付けられているとは、外景ＳＣから特定の対象物として何らかの対象物が検出されることで、検出された特定の対象物のＡＲシナリオが実行されることを含む。第１の対象と第１の動画像とが対応付けられているには、例えば、撮像画像の中から特定の対象物の画像が検出されることやデプスセンサーなどによって外景ＳＣから特定の形状が検出されることやデプスセンサーによって画像表示部２０から特定の距離に何らかの対象が検出されることで、ＡＲシナリオが実行されることが含まれる。

上記実施形態では、シナリオＤＢ１３８のカテゴリーが選択された後に、選択されたカテゴリーに含まれるＡＲシナリオの第１の対象が撮像画像の中から検出されたが、第１の対象となるＡＲシナリオの設定については、種々変形可能である。例えば、物体認識部１６８は、ＡＲシナリオをカテゴリーに分類せずに、全てのＡＲシナリオに対応付けられた第１の対象を撮像画像の中から検出してもよい。

第１の対象に対応付けてＡＲシナリオを実行する方法については、上記実施形態の例に限られず、種々変形可能である。例えば、シナリオＤＢ１３８は、複数のＡＲシナリオをいくつかのカテゴリーに分類して記憶するだけでなく、撮像画像における第１の対象の位置、第１の対象の動き、検出された特定の対象の順番、撮像画像における第１の対象の向き、これらと取得した外部の音声との組み合わせのテーブルを記憶していてもよい。例えば、撮像画像の中から検出された１つの特定の対象物が検出され、かつ、検出された特定の対象物の所定の時間内に予め設定された動作が検出された場合に、ＣＰＵ１４０は、シナリオＤＢ１３８に対応付けて記憶されたＡＲシナリオを実行してもよい。また、第１の対象として、ホールケーキが検出され、かつ、外部音声としての「８等分」や「６等分」が取得されたときに、ケーキをカットするナイフと、検出されたケーキに対して切り込む位置と、がＡＲ画像として表示されるＡＲシナリオが実行されてもよい。この変形例では、複数の要素によって種々のＡＲシナリオが選択されるため、使用者は、種々のＡＲシナリオから簡単に所望のＡＲシナリオを選択できる。

上記実施形態では、特定の対象が検出された場合に、１つのＡＲシナリオが実行されたが、必ずしも、実行されるＡＲシナリオは、１つに限られず、複数であってもよい。例えば、ＣＰＵ１４０は、第１の対象に対応付けられたＡＲシナリオを全て実行した上で、その後に検出された第１の対象と異なる特定の対象に基づいて、実行していた複数のＡＲシナリオから、実行するＡＲシナリオをいくつかに限定してもよい。

上記実施形態では、第１の対象に対応付けられた複数のＡＲシナリオがある場合に、操作部１３５が受け付けた操作に基づいて、１つのＡＲシナリオが選択されたが、複数のＡＲシナリオから１つのＡＲシナリオを選択する方法については、種々変形可能である。例えば、ＣＰＵ１４０は、第１の対象に対応付けられた複数のＡＲシナリオがある場合に、最近実行されたＡＲシナリオを、実行する第１シナリオとして選択してもよい。

請求項における動画像とは、静止画の組み合わせであるパラパラ漫画なども含み、同じ画像でもサイズが異なるように変化する動画も含む。動画像とは、時間の経過に伴い全く変化しない静止画像以外の広い概念のことをいい、複数の静止画像の組み合わせが変化する画像も含む。

また、ＡＲシナリオに含まれる画像としては、種々変形可能であり、ＲＧＢデータを変化させることで、半透明のＡＲ画像や二次元の画像として生成してもよい。例えば、図６に示す例において、「うろこ取り」の画像ＡＲ１に対して、うろこ取りを持つ半透明の人の手の画像が、うろこ取りの画像ＡＲ１と同時に画像表示最大領域ＰＮに表示されてもよい。この変形例では、ＡＲシナリオを実行している使用者がうろこ取りの持ち方などがわからない場合に、うろこ取りの画像ＡＲ１と対応付けて半透明の人の手の画像を画像表示最大領域ＰＮに表示させることで、使用者の利便性が向上する。

上記実施形態では、カメラ６１の画角と光学像表示部２６，２８を透過して使用者が視認する視野とは、対応するように予め設定されていたが、必ずしも対応するように設定されている必要はなく、これらの設定については、種々変形可能である。例えば、操作部１３５が操作を受け付けることで、カメラ６１の画角が変更されてもよい。また、ＣＰＵ１４０は、画像表示最大領域ＰＮにキャリブレーション用の画像を表示させて、所定の操作を使用者に促すことで、カメラ６１の画角を調整してもよい。

上記第２実施形態では、生体情報取得センサー９０として、筋力センサーＳＳを例に挙げて説明したが、種々変形可能である。例えば、生体情報取得センサー９０は、使用者の脈拍や発汗状態などを取得するセンサーであってもよい。生体情報取得センサー９０は、赤外線を腕に発光させて、反射光を検出することで、血液の流れについて波形を取得することもできる。

上記第２実施形態では、筋力センサーＳＳが表示する推奨の筋力の数値が８０％であったが、これらの値については、種々変形可能である。例えば、筋力センサーＳＳではなく、トルクレンチと筋力とを関連付けることにより、筋力センサーＳＳが取得したひずみに基づいて、いくつのトルクが工具ＲＮにかかっているかが表示されてもよい。

上記第２実施形態では、生体情報取得センサー９０としての筋力センサーＳＳの使用について、一例を挙げて説明したが、生体情報取得センサー９０の設定については、種々変形可能である。例えば、使用者の握力、腕等を回す動作、トルクレンチやゴルフクラブを握ったとき状態において、予め複数回の計測がされ、これらの計測から得られた最大値や平均値と、筋力センサーＳＳなどと関連付けられているＡＲシナリオと、の関係が設定されてもよい。さらに具体的には、特定のＡＲシナリオで使用される生体情報取得センサー９０および工具が決まっている場合には、予め、当該工具を使用した場合の計測を行なわれ、ＡＲシナリオに反映させることで、ＣＰＵ１４０は、ＡＲシナリオを実行する使用者に「コツ」なども含めた作業支援の画像等を認識させることができる。

Ｃ−２．変形例２：
上記実施形態では、ＡＲシナリオの推奨動作の終了の判定は、撮像画像の中から検出された人の動き等によって行なわれたが、種々変形可能である。例えば、物体認識部１６８が所定の動作を検出することで、推奨動作の終了を判定するのではなく、マイク６３が取得した音声（例えば、「終了しました」）によって判定されてもよい。

上記実施形態では、上記実施形態では、第１シナリオが実行されているときに、第２の対象が検出されると、第２シナリオが実行される態様であったが、第１シナリオと第２シナリオとの関係については、このような関係に限られず、種々変形可能である。例えば、第１シナリオと第２シナリオとを合わせて、１つの複合されたＡＲシナリオとして取り扱われてもよい。この場合、ＣＰＵ１４０は、１つのＡＲシナリオを実行しているときに、上記実施形態における第２の対象が検出された場合には、実行しているＡＲシナリオにおいて分岐したとも言い換えることができる。
上記実施形態では、第２の対象が検出された場合に、第２シナリオが実行されたが、必ずしも第２シナリオが実行される必要はない。例えば、ＣＰＵ１４０は、第１の対象を検出して第１シナリオを実行しているときに、第１シナリオに対応付けられていない特定の対象物を検出しなくてもよい。

上記実施形態では、表示画像設定部１６５は、検出された第１対象としての魚ＦＳの位置などに対応付けてＡＲ画像を画像表示最大領域ＰＮに表示させたが、画像を表示させる位置については、種々変形可能である。例えば、表示画像設定部１６５は、特定の対象物が検出された場合に、特定の対象物の位置に関わらず、画像表示最大領域ＰＮとの関係において、ＡＲ画像を表示させる位置を設定してもよい。

上記実施形態では、使用者の作業を支援するＡＲシナリオとして、魚ＦＳの調理方法やタイヤＴＲの交換を例に挙げて説明したが、これらに限られず、種々変形可能である。例えば、工場の特定の作業を支援するＡＲシナリオであってもよいし、ゴルフなどのスポーツにおけるスポーツ用具の使い方をレクチャーするＡＲシナリオであってもよい。

上記実施形態では、マイク６３、イヤホン３２，３４、音声処理部１７０がＨＭＤ１００の構成に含まれていたが、必ずしも必要ではなく、マイク６３等がなくてもよい。

Ｃ−３．変形例３：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。また、制御部１０の構成するＣＰＵ１４０や電源１３０が画像表示部２０に全て搭載されたＨＭＤ１００であってもよい。このＨＭＤ１００では、画像表示部２０と別体で構成されるコントローラーがないため、より小型化できる。また、制御部１０と画像表示部２０とのそれぞれに、ＣＰＵ１４０が搭載されることで、制御部１０がコントローラー単体として使用され、画像表示部２０が表示装置単体として使用されてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。また、画像表示最大領域ＰＮは、各画素に形成されたＭＥＭＳシャッターを開閉するＭＥＭＳシャッター方式のディスプレイによって構成されてもよい。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００の代わりに、使用者の頭部に装着されるのではなく、双眼鏡のように使用者が手で位置を固定するハンドヘルドディスプレイが画像表示装置として用いられてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、ＨＭＤ１００は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のＰＣのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のＰＣから画像信号を受信することで、画像表示部２０の画像表示最大領域ＰＮに画像が表示されてもよい。

また、ＨＭＤ１００は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてＨＭＤ１００が用いられてもよいし、ＨＭＤ１００が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｃ−４．変形例４：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図１５は、変形例におけるＨＭＤの外観構成を示す説明図である。図１５（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図１５（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン（音声出力部）
３４…左イヤホン（音声出力部）
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（検出部）
６３…マイク（音声取得部）
９０…生体情報取得センサー（生体情報取得部）
１００…ＨＭＤ
１２０…記憶部
１３０…電源
１３２…無線通信部（受信部）
１３５…操作部
１３８…シナリオＤＢ
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…表示画像設定部
１６８…物体認識部（検出部）
１６９…生体情報処理部（生体情報取得部）
１７０…音声処理部（音声取得部、音声出力部）
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＩＭＧ１…選択画像
ＯＡ…外部機器
ＳＣ…外景
ＢＣ…まな板
ＨＤ…腕
ＬＥ…左眼
ＲＥ…右眼
ＬＧ…足（第２の対象）
ＲＨ…右手
ＬＨ…左手
ＩＬ…照明光
ＰＬ…画像光
ＥＬ…端部
ＰＮ…画像表示最大領域
ＫＮ…包丁（第２の対象）
ＲＮ…工具（第２の対象）
ＡＰ…先端部
ＶＲ…視野
ＴＲ…タイヤ（第１の対象）
ＥＲ…端部
ＳＳ…筋力センサー（生体情報取得部）
ＦＳ…魚（第１の対象）
ＢＴ…ボルト（第１の対象）
ＣＢ１，ＣＢ２…切身
ＭＢ…中骨
ＡＲ１，ＡＲ２，ＡＲ３，ＡＲ４，ＡＲ５，ＡＲ６…画像
ＣＳ１，ＣＳ２，ＣＳ３…矢印画像
ＴＸ１，ＴＸ２，ＴＸ３，ＴＸ４，ＴＸ５，ＴＸ６…テキスト画像
ＡＲＨ…腕画像
ＡＲＲ…工具画像
ＡＲＳ…筋力センサー画像

Claims (12)

1. 透過型の頭部装着型表示装置であって、
   外景の中から第１の対象を検出する検出部と、
   前記外景を透過可能で、画像を表示可能な画像表示部と、
   検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させる表示画像設定部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記表示画像設定部は、前記第１の動画像を検出された前記第１の対象の位置に対応付けて表示する、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記検出部は、前記外景を撮像し、撮像した撮像画像の中から前記第１の対象を検出する、頭部装着型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の頭部装着型表示装置であって、
   前記第１の動画像は、検出された前記第１の対象に対して行なわれる作業に関連する動画像である、頭部装着型表示装置。
5. 請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、
   前記検出部は、前記外景の中から、前記第１の対象とは異なる第２の対象を検出し、
   前記表示画像設定部は、前記画像表示部に前記第１の動画像を表示させているときに、前記第２の対象が検出されると、前記第１の動画像に代えて、前記第２の対象に対応付けられた前記第１の動画像とは異なる動画像である第２の動画像を前記画像表示部に表示させる、頭部装着型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   外部の音声を取得する音声取得部を備え、
   前記表示画像設定部は、検出された前記第１の対象と取得された前記音声との組み合わせに基づいて、前記第１の動画像を前記画像表示部に表示させる、頭部装着型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記第１の動画像が前記画像表示部に表示されているときに、前記第１の動画像に対応付けられた音声を出力する音声出力部を備える、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   使用者の生体情報を取得する生体情報取得部を備え、
   前記表示画像設定部は、検出された前記第１の対象と取得された使用者の前記生体情報とに基づいて、前記第１の動画像を前記画像表示部に表示させる、頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
   前記第１の対象と前記第１の動画像との対応付けは、検出された前記第１の対象の種類と前記第１の対象の動きと前記外景における前記第１の対象の位置と前記第１の対象の向きとの少なくとも１つと、前記第１の動画像と、の組み合わせである、頭部装着型表示装置。
10. 記憶装置と透過型の頭部装着型表示装置と有する表示システムであって、
    前記記憶装置は、
    動画像を記憶する記憶部と、
    記憶された前記動画像を前記頭部装着型表示装置へと送信する送信部と、を備え、
    前記頭部装着型表示装置は、
    外景の中から第１の対象を検出する検出部と、
    前記外景を透過可能で、画像を表示可能な画像表示部と、
    検出された前記第１の対象に対応付けられ、前記記憶装置に記憶された前記動画像である第１の動画像を受信する受信部と、
    前記第１の動画像を前記画像表示部に表示させる表示画像設定部と、を備える、表示システム。
11. 外景を透過可能で画像を表示可能な画像表示部を有する透過型の頭部装着型表示装置の制御方法であって、
    外景の中から第１の対象を検出する工程と、
    検出された前記第１の対象に対応付けられた動画像を前記画像表示部に表示させる工程と、を備える、制御方法。
12. 外景を透過可能で画像を表示可能な画像表示部を有する透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    外景の中から第１の対象を検出する検出機能と、
    検出された前記第１の対象に対応付けられた動画像である第１の動画像を前記画像表示部に表示させる表示画像設定機能と、をコンピューターに実現させる、コンピュータープログラム。

Images