JP2016206447A - 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム - Google Patents

Abstract

【課題】使用者に必要な広告の画像を頭部装着型表示装置の画像表示部に表示させる。
【解決手段】透過型の頭部装着型表示装置は；画像を表示すると共に外景を透過可能な画像表示部と；頭部装着型表示装置の位置情報を取得する位置情報取得部と；画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と；取得された位置情報に対応付けられており、判断情報対応情報を含む表示用情報を受信する情報送受信部と；判断情報が取得された場合には、取得された判断情報に対応付けられ、受信された表示用情報に含まれる判断情報対応情報としての画像を画像表示部に表示させる表示画像制御部と、を備える。
【選択図】図１

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

特許文献１には、ＨＭＤの使用者の位置と関連する特定の物体と対応付けられた広告を拡張現実の画像として表示させるＨＭＤが開示されている。

特表２０１３−５２１５７６号公報

しかし、特許文献１に記載された技術では、使用者に視認されていない特定の物体に対応付けられた広告が表示されない場合や、使用者に視認されていても使用者にとって不要な広告が表示されてしまう場合があり、使用者の利便性を向上させる余地があった。そのほか、従来のＨＭＤにおいては、ＨＭＤの小型化等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と；前記頭部装着型表示装置の位置情報を取得する位置情報取得部と；前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と；取得された前記位置情報に対応付けられている判断情報対応情報を含む表示用情報を受信する情報送受信部と；前記判断情報が取得された場合には、取得された前記判断情報に対応付けられ、受信された前記表示用情報に含まれる前記判断情報対応情報としての画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、使用者は、特定された位置に基づく表示用情報と判断情報とに基づく判断情報対応情報としての画像を視認でき、使用者にとって不要な画像が画像表示部に表示されないため、使用者の利便性が向上する。

（２）上記形態の頭部装着型表示装置において、前記判断情報取得部は、前記外景の中から前記表示用情報に含まれる前記判断情報としての識別対象画像を検出する画像検出部を有し；前記表示画像制御部は、前記識別対象画像が検出された場合には、前記判断情報対応情報を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者が識別対象画像を視認できると共に識別対象画像に対応付けられた判断情報対応情報としての画像を視認できるため、使用者の利便性が向上する。

（３）上記形態の頭部装着型表示装置において、前記画像検出部は、前記外景を撮像し；前記表示画像制御部は、撮像された前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記判断情報対応情報を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、撮像されていない識別対象画像に対応付けられた判断情報対応情報としての画像が表示されないため、使用者は、自身が視認する看板のみに対応付けられた判断情報対応情報としての画像を視認でき、不要な判断情報対応情報としての画像を視認せずに済むため、使用者の利便性を向上させることができる。

（４）上記形態の頭部装着型表示装置において、前記画像検出部は、前記画像表示部の向きを特定し；前記表示画像制御部は、特定された前記画像表示部の向きに基づいて前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記判断情報対応情報を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、使用者は、自身の視線方向上にある識別対象画像に対応付けられた判断情報対応情報としての画像を視認でき、視線方向上に存在しない識別対象画像に対応付けられた不要な判断情報対応情報としての画像を視認せずに済み、使用者の利便性がさらに向上する。

（５）上記形態の頭部装着型表示装置において、さらに；取得された前記位置情報によって特定される前記頭部装着型表示装置の位置と、検出された前記識別対象画像の基となる看板の位置と、の距離を測定する距離測定部を備え；前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記判断情報対応情報としての画像の表示態様を設定してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、視認する実際の看板の位置に加え、画像表示部に表示される判断情報対応情報としての画像に基づいて、看板の位置を認識できるため、使用者の利便性がさらに向上する。

（６）上記形態の頭部装着型表示装置において、前記表示画像制御部は、前記画像表示部に表示させる前記判断情報対応情報としての画像の表示態様として、画像の大きさと表示位置との少なくとも一方を設定してもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者は、判断情報対応情報としての画像の大きさまたは表示位置によって看板の位置との距離を認識できるため、より看板の位置との距離を認識しやすい。

（７）上記形態の頭部装着型表示装置において、さらに；前記頭部装着型表示装置の外部環境の状態を検出する状態検出部を備え；前記表示画像制御部は、検出された前記外部環境の状態に対応付けられた前記判断情報対応情報としての画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の外部環境も考慮された判断情報対応情報としての画像が画像表示部に表示されるため、使用者は、その場の状況に合った情報を認識できるため、使用者の利便性がさらに向上する。

（８）上記形態の頭部装着型表示装置において、さらに；特定の画像を前記画像表示部に表示させ、前記外景の中における特定の対象物の画像を検出し、前記特定の画像と前記特定の対象物の画像とに基づいて、前記画像表示部に表示される画像と前記対象物との位置関係を校正する校正部を備え；前記表示画像制御部は、前記校正部によって校正された後、前記外景の中に検出される前記特定の対象物の画像の位置に基づいて、前記画像表示部に表示させた前記判断情報対応情報としての画像を変更してもよい。この形態の頭部装着型表示装置によれば、実際の特定の対象物と画像表示部に表示された特定の画像とを重畳させることで、使用者は、特定の対象物と特定の画像とを同一の空間にある物体として認識でき、使用者の操作における使い勝手が向上する。

（９）上記形態の頭部装着型表示装置において、さらに；個人情報を記憶する個人情報記憶部を備え；前記表示画像制御部は、使用者の個人情報に基づいて設定した前記判断情報対応情報としての画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者の個人情報も考慮された判断情報対応情報としての画像が画像表示部に表示されるため、使用者は、自分の好みに合った情報を認識できるため、使用者の利便性がさらに向上する。

（１０）上記形態の頭部装着型表示装置において、使用者の前記個人情報は、使用者が過去に滞在した場所についての情報であってもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者の過去に滞在した場所も考慮された画像が画像表示部に表示されるため、使用者は、滞在する頻度の高い場所の情報をその他の場所の情報よりも優先的に認識できるため、使用者の利便性がさらに向上する。

（１１）上記形態の頭部装着型表示装置において、前記判断情報取得部は、前記判断情報として、使用者が過去に滞在した場所についての情報と、使用者の生体情報と、他の使用者の統計情報と、の少なくとも１つを取得してもよい。この形態の頭部装着型表示装置によれば、識別対象画像を検出しなくても、位置情報と画像以外の判断情報とに基づく判断情報対応情報としての画像を使用者に視認させることができ、使用者の利便性がさらに向上する。

（１２）本発明の他の形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と；前記頭部装着型表示装置の位置情報を取得する位置情報取得部と；前記画像表示部に表示される判断情報対応情報としての画像を含む表示用情報を記憶する広告情報記憶部と；前記判断情報対応情報としての画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と；前記判断情報が取得された場合には、取得された前記判断情報に対応付けられた前記判断情報対応情報しての画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、他の情報記憶装置と情報の送受信を行なわなくても済むため、使用者の利便性を向上させ、かつ、頭部装着型表示装置を小型化できる。

（１３）本発明の他の形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像を表示すると共に外景を透過可能な画像表示部と；前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と；判断情報対応情報を含む表示用情報を受信する情報送受信部と；前記判断情報が取得された場合には、前記表示用情報に含まれる前記判断情報対応情報の内、取得された前記判断情報に対応付けられた判断情報対応情報としての画像を前記画像表示部に表示させる表示画像制御部と、を備える。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の位置情報がなくても、取得された判断対象と受信された表示用情報とに基づいて、判断情報対応情報としての画像が表示されるため、使用者の利便性を向上させることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、位置特定部と、判断情報取得部と、情報送受信部と、表示画像制御部と、の５つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、判断情報取得部を有していてもよく、有していなくてもよい。また、装置は、位置情報取得部を有していてもよく、有していなくてもよい。また、装置は、情報送受信部を有していてもよく、有していなくてもよい。また、装置は、表示画像制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像を表示すると共に外景を透過可能であってもよい。位置情報取得部は、例えば、前記頭部装着型表示装置の位置情報を取得してもよい。判断情報取得部は、例えば、前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得してもよい。情報送受信部は、例えば、特定された位置の情報に対応付けられており、判断情報対応情報を含む表示用情報を受信してもよい。表示画像制御部は、例えば、判断情報が取得された場合には、取得された前記判断情報に対応付けられ、受信された前記表示用情報に含まれる前記判断情報対応情報としての画像を、画像表示部に表示させてもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本発明の第１実施形態における情報システムの概略構成を示す説明図である。 サーバーの構成を機能的に示すブロック図である。 サーバーの広告ＤＢに記憶された看板の画像のそれぞれに対応付けられた広告情報の一例を示す一覧表である。 ＨＭＤの構成を機能的に示すブロック図である。 ＨＭＤの使用者の滞在情報の一例を示す一覧表である。 画像光生成部によって画像光が射出される様子を示す説明図である。 広告表示処理のフローチャートである。 カメラの撮像画像の一例を示す説明図である。 検出看板の広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 ＨＭＤの使用者の視線方向が変化した後に使用者が視認する視野の一例を示す説明図である。 第２実施形態のＨＭＤの構成を機能的に示すブロック図である。 第２実施形態における広告表示処理のフローチャートである。 キャリブレーション設定が実行されている場合に使用者が視認する視野の一例を示す説明図である。 検出看板の広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 キャリブレーション操作が行なわれた後に使用者が視認する視野の一例を示す説明図である。 第３実施形態のＨＭＤの構成を機能的に示すブロック図である。 第３実施形態における広告表示処理のフローチャートである。 第３実施形態において広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 第４実施形態における広告表示処理のフローチャートである。 第４実施形態において広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 第５実施形態の広告表示処理のフローチャートである。 第５実施形態において広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 第６実施形態における広告表示処理のフローチャートである。 第６実施形態において広告画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 変形例における広告表示処理のフローチャートである。 変形例におけるＨＭＤの外観構成を示す説明図である。

Ａ．第１実施形態：
Ａ−１．情報システムの構成：
図１は、本発明の第１実施形態における情報システム５００の概略構成を示す説明図である。情報システム５００は、使用者の頭部に装着され、虚像を使用者に視認させるヘッドマウントディスプレイ１００（Head Mounted Display、ＨＭＤ１００）と、ＨＭＤ１００などの情報端末に、各地に設置されている看板と、看板のそれぞれの位置を特定する位置情報および看板のそれぞれに対応付けられた画像情報と、を含む広告情報を記憶しているサーバー３００と、を備えている。情報システム５００では、ＨＭＤ１００によって検出された種々の情報に応じて、サーバー３００からＨＭＤ１００へとサーバー３００に記憶された広告情報が送信される。なお、情報システム５００において、本実施形態では、ＨＭＤ１００とサーバー３００とが１つずつしか備えられていないが、他の実施形態では、ＨＭＤ１００およびサーバー３００の少なくとも一方が複数備えられていてもよい。

図２は、サーバー３００の構成を機能的に示すブロック図である。サーバー３００は、ＨＭＤ１００に送信する広告情報を記憶している記憶部３２０と、記憶部３２０に記憶されている広告情報の内の少なくとも１部をＨＭＤ１００に送信する通信部３３０と、ＣＰＵ３１０と、を備えている。記憶部３２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部３２０は、看板の画像と、看板の画像のそれぞれに対応付けられた広告情報を記憶している広告データベース３２５（広告ＤＢ３２５）を有している。広告ＤＢ３２５に格納されている広告情報の詳細については、後述する。また、記憶部３２０は、各種コンピュータープログラムを格納している。

通信部３３０は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。通信部３３０は、サーバー３００とＨＭＤ１００との間で各種情報を送受信する。ＣＰＵ３１０は、記憶部３２０に格納されているコンピュータープログラムを読み出して実行する。ＣＰＵ３１０は、通信部３３０を介して受信されたＨＭＤ１００の画像表示部２０の位置情報やＨＭＤ１００に備え付けられている外景を撮像するカメラ６１の撮像画像などの情報に基づいて、広告ＤＢ３２５に記憶された広告情報から少なくとも一部を選択する情報選択部３１２を備える。なお、画像表示部２０の位置などを特定する方法については、後述する。情報選択部３１２は、選択した広告情報の一部である選択情報を、通信部３３０を介して、ＨＭＤ１００に送信する。なお、本実施形態におけるサーバー３００は、請求項における情報記憶装置に相当し、サーバー３００の通信部３３０は、請求項における選択情報送信部に相当する。

図３は、サーバー３００の広告ＤＢ３２５に記憶された看板の画像のそれぞれに対応付けられた広告情報の一例を示す一覧表である。図３には、広告ＤＢ３２５に記憶された広告情報の一部の店舗別広告データＳＤが一覧で示されている。店舗別広告データＳＤでは、店舗の店舗名称ごとに、カテゴリーと、看板の位置と、画像情報とが区別されている。詳細については後述するが、カテゴリーと看板の位置とに基づいて、サーバー３００からＨＭＤ１００へと送信される選択情報が広告情報から選択される。また、サーバー３００から送信された選択情報に対応付けられた画像情報に基づいて、ＨＭＤ１００に表示される画像の表示態様などが設定される。

以下では、店舗別広告データＳＤの情報の詳細について説明する。例えば、図３に示すように、店舗名称が「富士」である店舗のカテゴリーは、飲食であり、店舗名称が「カラオケＪＯ」である店舗のカテゴリーは、娯楽である。店舗別広告データＳＤにおける看板の位置は、看板が設置されている場所の緯度および経度を特定する。例えば、店舗名称が「富士」である店舗の看板の位置の緯度および経度のそれぞれは、「１３０．ｘ・・・ｘｘ１」と「３３．ｙ・・・ｙｙ１」である。

店舗別広告データＳＤにおける画像情報は、画像の種類と、ページ数と、時刻制限と、環境制限とに区別されている。画像の種類は、ＨＭＤ１００に表示される場合の画像の種類である。例えば、店舗名称が「富士」である店舗の画像の種類は、「文字」の画像（単に、「文字画像」とも呼ぶ）である。文字画像は、ＨＭＤ１００に表示された場合に、時間が経過しても変化せず、文字によって表された静止画像である。また、店舗名称が「××肉店」の画像の種類は「動画」であり、動画は、時間の経過に伴ってＨＭＤ１００に表示される画像が変化する画像である。ページ数は、ＨＭＤ１００に表示される画像の階層構造を示している。例えば、店舗名称が「富士」である店舗のページ数は「２」であるため、２階層の画像の構造になっている。そのため、特定の時点では、ＨＭＤ１００に表示される画像は１種類であるが、所定の操作を受け付けることにより、ＨＭＤ１００に表示される画像がもう１種類の画像に変更される。テンポ情報が「カラオケＪＯ」である店舗のページ数は「１」であるため、ＨＭＤ１００に表示される画像は１種類である。

時刻制限は、ＨＭＤ１００に表示される画像の時刻についての設定である。例えば、店舗名称が「富士」である店舗の時刻制限は１１時から２０時であるため、「富士」に対応付けられた画像がＨＭＤ１００に表示される時刻が１１時から２０時までに限られており、これ以外の時刻では、「富士」に対応付けられた画像は表示されない。また、店舗名称が「カラオケＪＯ」の店舗の時刻制限は、１０時から１８時までと、１８時から２４時までの２通りである。そのため、１０時から１８時にＨＭＤ１００に表示される「カラオケＪＯ」に対応付けられた画像と、１８時から２４時までにＨＭＤ１００に表示される「カラオケＪＯ」に対応付けられた画像とは異なる。また、店舗名称が「○○薬局」の店舗の時刻制限はないため、１日の２４時間を通して、ＨＭＤ１００には同じ画像が表示される。

環境制限は、ＨＭＤ１００に表示される画像を変更する条件についてのＨＭＤ１００の外部環境の設定である。例えば、店舗名称が「富士」である店舗の環境制限は、外部の温度が「摂氏３０度（３０℃）」であるため、３０℃を境界としてＨＭＤ１００に表示される画像が異なる。また、店舗名称が「カラオケＪＯ」の店舗の環境制限は、「雨」であるため、天候が雨の場合と雨以外の場合とでＨＭＤ１００に表示される画像が異なる。また、店舗名称が「○○薬局」である店舗の環境制限は、「なし」であるため、外部環境に関わらず、ＨＭＤ１００に表示される画像は同じである。

図１に示すＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、ＨＭＤ１００によって使用者が視認する虚像を便宜的に「表示画像」ともいう。また、コンテンツ等の画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

ＨＭＤ１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、マイク６３と、温度計６５とを含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図４参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図４参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。本実施形態のカメラ６１は、使用者の視野とほぼ同じとなるような画角に設定されている。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。マイク６３は、外部の音声を取得する装置である。マイク６３は、使用者が画像表示部２０を装着した際の右表示駆動部２２における使用者と対向する側の反対側（外側）に配置されている。温度計６５は、外部環境の温度（摂氏）を測定する。なお、温度計６５は、請求項における状態検出部に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、ＨＭＤ１００の動作状態を、その発光状態によって通知する。ＨＭＤ１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤが用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図４は、ＨＭＤ１００の構成を機能的に示すブロック図である。図４に示すように、制御部１０は、記憶部１２０と、電源１３０と、ＧＰＳモジュール１３７と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。

ＧＰＳモジュール１３７は、ＧＰＳ衛星からの信号を受信することにより、画像表示部２０の現在位置を特定して、画像表示部２０の位置を示す位置情報を生成する。言い換えれば、ＧＰＳモジュール１３７は、画像表示部２０を含むＨＭＤ１００の位置を特定する。画像表示部２０の現在位置が特定されることで、ＨＭＤ１００を装着した使用者の現在位置が特定される。なお、ＧＰＳモジュール１３７は、請求項における位置特定部に相当する。

無線通信部１３２は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。無線通信部１３２は、ＧＰＳモジュール１３７によって特定された画像表示部２０の位置情報を、サーバー３００の通信部３３０へと送信する。通信部３３０が画像表示部２０の位置情報を受信すると、サーバー３００の情報選択部３１２は、記憶部３２０の広告ＤＢ３２５に記憶されると共に、特定された画像表示部２０の現在位置から所定の距離にある看板の位置（図３）の看板の画像および広告情報を選択する。通信部３３０は、情報選択部３１２によって選択された看板の位置に対応付けられた看板の画像および画像情報（図３）と看板の位置とを対応付けた情報を選択情報として、ＨＭＤ１００の無線通信部１３２へと送信する。無線通信部１３２は、通信部３３０から送信された選択情報を受信する。また、無線通信部１３２は、サーバー３００とは異なるサーバーから、特定された画像表示部２０の現在位置の天気の状態および現在の時刻についての情報を取得できる。なお、無線通信部１３２は、請求項における情報送受信部および状態検出部に相当する。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。記憶部１２０は、選択情報記憶部１２２と、過去履歴記憶部１２４とを有している。選択情報記憶部１２２は、無線通信部１３２を介して、サーバー３００から送信された選択情報を記憶する。選択情報記憶部１２２に記憶された選択情報や後述するカメラ６１によって撮像された撮像画像などに基づいて、画像表示部２０に選択情報に含まれる画像情報に対応付けられた画像が表示される。

過去履歴記憶部１２４は、ＨＭＤ１００の過去における滞在情報を記憶している。滞在情報は、所定の周期でＨＭＤ１００の現在位置がＧＰＳモジュール１３７によって特定されることで生成される。具体的には、周期的に特定される画像表示部２０の現在位置が、一定の期間の後、ある時点で特定された位置から所定の範囲内（例えば、５メートル以内）に含まれる場合には、画像表示部２０の使用者が特定された位置に滞在したと判定される。そのため、過去履歴記憶部１２４に記憶された滞在情報から、特定の位置に存在する店舗に画像表示部２０の使用者が滞在した時間などを判定できる。なお、過去履歴記憶部１２４は、請求項における個人情報記憶部に相当する。

図５は、ＨＭＤ１００の使用者の滞在情報ＶＤの一例を示す一覧表である。滞在情報ＶＤには、滞在場所と、１ヶ月あたりの滞在頻度との項目について、それぞれの値が記憶されている。滞在場所の項目では、滞在場所の仮名称としての滞在ＩＤと、滞在場所の緯度および経度とが区別されている。１ヶ月あたりの滞在頻度は、前日から遡って直近１ヶ月の履歴から情報が作成されている。滞在頻度の項目では、１ヶ月あたりの合計の滞在時間と、１ヶ月あたりに滞在した回数と、１回の滞在した平均滞在時間と、滞在したときの時刻の中央の平均である中央平均時刻と、が区別されている。例えば、図５に示すように、滞在ＩＤが場所Ａの緯度は「１３０．ｘ・・・ｘｘ１」、場所Ａの経度は「３３．ｙ・・・ｙｙ１」である。ＨＭＤ１００の使用者は、場所Ａに１ヶ月あたり合計２４０分間滞在しており、１ヶ月当たり２回滞在している。そのため、１ヶ月あたりの平均滞在時間は、１２０分である。また、使用者が場所Ａに滞在した中央平均時刻は、１９時３０分である。なお、本実施形態では、場所Ａと場所Ｂと場所Ｃと場所Ｄとのそれぞれは、図３における「富士」と「カラオケＪＯ」と「○○薬局」と「××肉店」との店舗と同じ場所であるが、他の実施形態では、異なる場所であってもよい。

ＣＰＵ１４０（図４）は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、環境情報処理部１６９、看板検出部１６８、過去履歴照合部１６６、距離測定部１６１、および、表示設定部１６５として機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。また、音声処理部１７０は、マイク６３が取得した外部の音声に対して、音声認識を行なう。音声認識によって認識された外部の音声が予め設定された所定の音声であった場合には、音声処理部１７０は、取得した音声が所定の音声であることを示す信号を操作部１３５へと送信する。操作部１３５は、決定キー１１などが押下されたキー操作に加え、音声処理部１７０から送信された信号に基づいて、ＨＭＤ１００の各種操作を実行する。

看板検出部１６８は、パターンマッチングや統計的識別法によって、カメラ６１によって撮像された撮像画像の中から、選択情報記憶部１２２に記憶された選択情報に対応付けられた看板の画像（以降、単に「検出看板」とも呼ぶ）を検出する。また、看板検出部１６８は、ＧＰＳモジュール１３７によって特定された画像表示部２０の位置と、撮像画像の中から検出看板の位置とに基づいて、カメラ６１の向きを特定する。すなわち、看板検出部１６８は、カメラ６１が配置された画像表示部２０の向きを特定できる。看板検出部１６８が撮像画像の中から、少なくとも１つの選択情報に対応付けられた看板の画像を検出すると、検出看板に対応付けられた店舗の店舗別広告データＳＤを表示設定部１６５および環境情報処理部１６９へと送信する。なお、看板検出部１６８とカメラ６１とＧＰＳモジュール１３７とは、請求項における画像検出部に相当し、検出された看板の画像は、請求項における識別対象画像に相当する。

環境情報処理部１６９は、温度計６５によって測定されたＨＭＤ１００の外部の温度と、看板検出部１６８から送信された店舗別広告データＳＤにおける環境制限とを照合する。環境情報処理部１６９は、温度計６５によって測定されたＨＭＤ１００の外部の温度と、店舗別広告データＳＤにおける環境制限との照合結果と、を表示設定部１６５へと送信する。

距離測定部１６１は、ＧＰＳモジュール１３７によって特定された画像表示部２０の現在位置と、選択情報記憶部１２２に記憶されると共に検出看板に対応付けられた看板の位置とに基づいて、画像表示部２０と検出看板の位置との距離を測定する。

過去履歴照合部１６６は、検出看板に対応付けられた店舗別広告データＳＤと、過去履歴記憶部１２４に記憶されたＨＭＤ１００の使用者の滞在情報ＶＤとを照合する。過去履歴照合部１６６は、検出看板の店舗別広告データＳＤと滞在情報ＶＤとの照合結果を表示設定部１６５へと送信する。

表示設定部１６５は、看板検出部１６８から送信された検出看板に対応付けられた店舗別広告データＳＤと、環境情報処理部１６９から送信された照合結果とに基づいて、画像表示部２０に表示させる画像の表示態様を設定し、画像表示部２０に画像を表示させる。画像表示部２０に表示される画像の具体的な態様については、後述する「Ａ−２．広告表示処理」において説明する。なお、環境情報処理部１６９と、表示設定部１６５と、看板検出部１６８とは、請求項における表示画像制御部に相当する。

操作部１３５は、使用者による物理的な操作を受け付ける、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、および、音声処理部１７０によって音声認識されて送信された信号に基づいて、画像表示部２０の各種操作を実行する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、マイク６３と、温度計６５とを備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図６は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図６に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．情報検出処理：
図７は、広告表示処理のフローチャートである。広告表示処理は、制御部１０が各種処理を実行することによって実行される。広告表示処理では、検出看板に対応付けられた広告情報が、ＨＭＤ１００の外部の温度などに基づいて設定された表示態様で、画像として画像表示部２０に表示される。

広告表示処理では、初めに、操作部１３５が所定の操作を受け付けると、広告表示処理のアプリを起動する（ステップＳ１０）。広告表示処理のアプリが起動すると、制御部１０は、広告表示処理を実行するために必要なカメラ６１などの各種装置を起動する（ステップＳ１２）。次に、起動したＧＰＳモジュール１３７は、画像表示部２０の現在位置を特定する（ステップＳ１４）。画像表示部２０の現在位置が特定されると、無線通信部１３２は、サーバー３００の通信部３３０へと画像表示部２０の位置情報を送信する（ステップＳ１６）。次に、無線通信部１３２は、送信した画像表示部２０の位置情報に基づいてサーバー３００によって選択された選択情報を受信する（ステップＳ１８）。

無線通信部１３２が選択情報を受信すると、カメラ６１は、外景の撮像を開始する（ステップＳ２０）。次に、看板検出部１６８は、カメラ６１の撮像画像の中から、無線通信部１３２によって受信された選択情報に含まれる看板の画像と同一の画像を検出するのを監視する（ステップＳ２２）。言い換えれば、看板検出部１６８は、撮像画像に検出看板が含まれるか否かを判定する。撮像画像に検出看板が含まれなかった場合には（ステップＳ２２：ＮＯ）、看板検出部１６８は、引き続き、撮像画像に検出看板が含まれるかを監視する（ステップＳ２２）。撮像画像に検出看板が含まれた場合には（ステップＳ２２：ＹＥＳ）、距離測定部１６１は、ＧＰＳモジュール１３７によって特定された画像表示部２０の現在位置と、選択情報記憶部１２２に記憶された看板の位置と、に基づいて、画像表示部２０と検出看板の位置との距離を測定する（ステップＳ２４）。

図８は、カメラ６１の撮像画像ＩＭＧの一例を示す説明図である。図８に示す撮像画像ＩＭＧは、使用者が装着したＨＭＤ１００に配置されたカメラ６１が撮像した外景ＳＣの画像である。撮像画像ＩＭＧにおいて、看板検出部１６８は、選択情報記憶部１２２に記憶された選択情報の店舗別広告データＳＤに含まれる看板の画像と同一の看板として、看板ＡＢ１と看板ＡＢ２と看板ＡＢ３との３つの看板を検出する。図８に示すように、「富士」の看板ＡＢ１は、「富士」の店舗の出入口の前に設置され、「カラオケＪＯ」の看板ＡＢ２は、「カラオケＪＯ」の出入口の上側に設置され、「○○薬局」の看板ＡＢ３は、「○○薬局」の店舗の出入口の前に設置されている。なお、「××肉店」の看板自体は、画像表示部２０の現在位置の近くに存在するものの、撮像範囲には写っていない。距離測定部１６１は、画像表示部２０の現在位置と、看板検出部１６８によって検出された看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの位置との距離を測定する。

画像表示部２０の現在位置と検出看板のそれぞれの位置との距離が測定されると、無線通信部１３２と、温度計６５および環境情報処理部１６９とは、環境情報を取得する（図７のステップＳ１６）。環境情報には、無線通信部１３２によって取得される画像表示部２０の現在位置の天気の情報および時刻と、温度計６５および環境情報処理部１６９によって測定される画像表示部２０の外部の温度とが含まれる。次に、過去履歴照合部１６６は、過去履歴記憶部１２４に記憶されたＨＭＤ１００の使用者の滞在情報ＶＤと、検出看板である看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの店舗と、の関係を照合する（ステップＳ２８）。

次に、表示設定部１６５は、検出看板である看板ＡＢ１，ＡＢ２，ＡＢ３と、看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの店舗別広告データＳＤと、看板ＡＢ１，ＡＢ２，ＡＢ３のそれぞれの位置と画像表示部２０との距離と、環境情報と、使用者の滞在情報ＶＤと、に基づいて、店舗別広告データＳＤに含まれる広告の画像を画像表示部２０に表示させるための表示態様を設定する（ステップＳ２８）。設定された表示態様の一例としては、表示設定部１６５は、画像表示部２０との距離が近い位置の検出看板と対応付けられた文字画像のフォントを大きくしたり、現在の時刻と使用者の滞在情報ＶＤにおける中央平均時刻が近い店舗の広告を、画像光生成部が画像光を生成できる範囲の中心部分に表示させたり、滞在情報ＶＤにおける滞在時間が長い店舗の広告を目立つように点滅させた態様である。表示態様が設定されると、表示設定部１６５および画像処理部１６０は、設定された表示態様に基づいて、画像光生成部に画像光を生成して、広告の画像を表示させる（ステップＳ３２）。

図９は、検出看板の広告画像ＴＸ１，ＴＸ２が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図９には、画像光生成部が画像光を生成できる最大の領域である画像表示最大領域ＰＮの中に、「富士」に対応付けられた広告画像ＴＸ１と、「カラオケＪＯ」に対応付けられた広告画像ＴＸ２と、がＨＭＤ１００の使用者に視認された状態が示されている。広告画像ＴＸ１は、「富士」の本日の会員割引とお勧めメニューとを示す文字画像である。広告画像ＴＸ２は、「カラオケＪＯ」の３０分あたりの料金が３００円であることを示す文字画像である。広告画像ＴＸ１，ＴＸ２のそれぞれは、看板ＡＢ１，ＡＢ２のそれぞれに対応付けられた文字画像であり、検出看板である看板ＡＢ１，ＡＢ２のそれぞれの位置の近くに表示されている。また、画像表示部２０の現在位置から、看板ＡＢ２の位置と看板ＡＢ３の位置とまでのそれぞれの距離は、ほぼ同じである。一方で、無線通信部１３２によって取得された天気および現在の時刻のそれぞれは、晴天で１７時である。また、環境情報処理部１６９および温度計６５によって取得された外部の温度は、３１℃である。図３に示すように、店舗別広告データＳＤにおける「富士」の環境制限で、摂氏３０度が設定されているため、画像表示最大領域ＰＮ（図９）には、３０℃以上の場合に対応した「富士」の広告画像ＴＸ１が表示されている。また、現在の時刻が１７時であるため、店舗別広告データＳＤにおいて、「富士」、「カラオケＪＯ」、「○○薬局」のいずれの時刻制限にも該当する。しかし、滞在情報ＶＤ（図５）における「○○薬局」では、平均中央時刻は、８時であり、現在の時刻よりも９時間前である。本実施形態では、表示設定部１６５は、現在の時刻よりも平均中央時刻が５時間以上空いている場合には、当該広告の画像を画像表示最大領域ＰＮに表示しない。また、滞在情報ＶＤの「富士」における使用者の１ヶ月あたりの滞在時間および滞在回数の数値は、「カラオケＪＯ」の滞在時間および滞在回数よりも数値が大きい。そのため、表示設定部１６５は、「富士」の看板ＡＢ１に対応付けられた広告画像ＴＸ１のフォントを、「カラオケＪＯ」に対応付けられた広告画像ＴＸ２のフォントよりも太く、大きく設定する。また、店舗別広告データＳＤ（図３）の「富士」におけるページ数は、「２」に設定されているため、操作部１３５が所定の操作を受け付けることにより、表示設定部１６５は、画像表示最大領域ＰＮ内の広告画像ＴＸ１に表示させる文字画像を変更する。なお、広告画像ＴＸ１，ＴＸ２は、請求項における判断情報対応情報としての画像に相当する。

画像表示最大領域ＰＮに広告画像ＴＸ１，ＴＸ２が表示されると（図７のステップＳ３２）、ＧＰＳモジュール１３７が画像表示部２０の現在位置の変化を検出すると共に、看板検出部１６８がカメラ６１の撮像画像の変化に基づくＨＭＤ１００の使用者の視線方向の変化を検出する（ステップＳ３４）。画像表示部２０の現在位置と使用者の視線方向との少なくとも一方に変化が検出された場合には（ステップＳ３４：ＹＥＳ）、制御部１０は、ステップＳ１４以降の処理を繰り返す。

図１０は、ＨＭＤ１００の使用者の視線方向が変化した後に使用者が視認する視野ＶＲの一例を示す説明図である。図１０には、使用者の視線方向が図９に示した状態よりもさらに左を向いた状態が示されている。なお、画像表示部２０の現在位置は、図９の状態から変更されていない。図１０に示すように、「カラオケＪＯ」の看板ＡＢ２が検出看板でなくなったため、表示設定部１６５は、看板ＡＢ２に対応付けられた広告画像ＴＸ２を非表示に設定する。また、本実施形態では、広告の画像を画像表示最大領域ＰＮの中心部分には表示させないように予め設定されているため、表示設定部１６５は、看板ＡＢ１に対応付けられた「富士」の広告画像ＴＸ３として、画像表示最大領域ＰＮに表示させる位置を広告画像ＴＸ１（図９）から変更する。なお、図１０の状態では、図９の状態と比較して、時刻および天気に変更はない。広告画像ＴＸ３は、請求項における判断情報対応情報としての画像に相当する。

図７のステップＳ３４の処理において、画像表示部２０の現在位置に変化がなく、かつ、使用者の視線方向に変化がないと判定された場合には（ステップＳ３４：ＮＯ）、制御部１０は、広告表示処理を終了するか否かを判定する（ステップＳ３６）。本実施形態では、操作部１３５が広告表示処理を終了する所定の操作を受け付けると、制御部１０は、広告表示処理を終了する。操作部１３５が広告表示処理を終了する所定の操作を受け付けなかった場合には（ステップＳ３６：ＮＯ）、制御部１０は、ステップＳ３４以降の処理を繰り返す。ステップＳ３６の処理において、操作部１３５が広告表示処理を終了する所定の操作を受け付けると（ステップＳ３６：ＹＥＳ）、制御部１０は、広告表示処理を終了する。

以上説明したように、本実施形態のＨＭＤ１００では、ＧＰＳモジュール１３７がＨＭＤ１００の現在位置を特定し、無線通信部１３２は、特定されたＨＭＤ１００の位置情報をサーバー３００へと送信し、サーバー３００から送信された選択情報を受信する。看板検出部１６８およびＧＰＳモジュール１３７が画像表示部２０の向きを特定し、表示設定部１６５は、検出看板である看板ＡＢ１，ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２を画像表示部２０に表示させる。そのため、本実施形態のＨＭＤ１００では、ＨＭＤ１００の使用者は、視認できる範囲の実物の看板ＡＢ１，ＡＢ２に加え、検出看板に対応付けられた広告画像ＴＸ１，ＴＸ２も視認でき、より多くの情報を入手できるため、使用者の利便性が向上する。また、使用者は、自身の視線方向に存在する看板ＡＢ１、ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２を視認できるが、使用者からの看板の位置が近くても、視線方向から外れた方向に存在する看板に対応付けられた情報を視認しなくて済むため、必要な情報のみを視認できる。

また、本実施形態のＨＭＤ１００では、看板検出部１６８は、カメラ６１の撮像画像の中から看板ＡＢ１，ＡＢ２を検出し、表示設定部１６５は、検出看板の看板ＡＢ１，ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２を画像表示部２０に表示させる。そのため、本実施形態のＨＭＤ１００では、使用者の視線方向上に存在しても、使用者に視認されない看板に対応付けられた広告画像が画像表示部２０に表示されず、使用者は、不要な広告画像を視認せずに済み、使用者の利便性がさらに向上する。

また、本実施形態のＨＭＤ１００では、環境情報として、ＧＰＳモジュール１３７が他のサーバーから現在の時刻および画像表示部２０の現在位置の天気の情報を取得し、温度計６５および環境情報処理部１６９が画像表示部２０の外部の温度を取得し、表示設定部１６５は、取得した環境情報に応じて、画像表示部２０に表示させる広告画像ＴＸ１，ＴＸ２を設定する。そのため、本実施形態のＨＭＤ１００では、画像表示部２０の現在位置および画像表示部２０の向きに加え、画像表示部２０の外部の情報も踏まえた画像が画像表示最大領域ＰＮに表示されるため、使用者は、その場の状況に合った情報を視認できるため、使用者の利便性がさらに向上する。

また、本実施形態のＨＭＤ１００では、記憶部１２０の過去履歴記憶部１２４は、使用者の過去の滞在情報ＶＤを記憶し、表示設定部１６５は、滞在情報ＶＤと撮像画像ＩＭＧの中に検出された看板ＡＢ１、ＡＢ２に対応付けられた店舗別広告データＳＤとに基づいて、広告画像ＴＸ１，ＴＸ２を画像表示最大領域ＰＮに表示させる。そのため、本実施形態のＨＭＤ１００では、画像表示部２０の現在位置および画像表示部２０の向きに加え、使用者の滞在情報ＶＤも踏まえた広告画像が画像表示部２０に表示されるため、使用者は、自分の好みに合った情報を視認できるため、使用者の利便性がさらに向上する。

また、本実施形態のＨＭＤ１００では、距離測定部１６１およびＧＰＳモジュール１３７が画像表示部２０の現在位置と検出看板の位置との距離を測定し、表示設定部１６５は、測定された距離に基づいて、検出看板である看板ＡＢ１，ＡＢ２に対応付けられた広告画像ＴＸ１，ＴＸ２の文字画像のフォントの大きさを設定した。そのため、本実施形態のＨＭＤ１００では、より近くに存在する看板に対応付けられた広告情報に含まれる文字画像ほど大きく画像表示部２０に表示されるため、使用者は、画像表示部２０に表示された広告画像ＴＸ１，ＴＸ２によって検出看板の位置との距離を認識でき、使用者の利便性がさらに向上する。

Ｂ．第２実施形態：
Ｂ−１．ＨＭＤの構成：
図１１は、第２実施形態のＨＭＤ１００ａの構成を機能的に示すブロック図である。第２実施形態のＨＭＤ１００ａでは、第１実施形態のＨＭＤ１００と比較して、制御部１０ａの記憶部１２０ａが過去履歴記憶部１２４を有していない点と、制御部１０ａのＣＰＵ１４０ａが過去履歴照合部１６６および環境情報処理部１６９の代わりにキャリブレーション設定部１６７として機能する点と、画像表示部２０ａが温度計６５を備えていない点とが異なり、その他の構成については、第１実施形態のＨＭＤ１００と同じである。

キャリブレーション設定部１６７は、カメラ６１の撮像画像の中に検出された特定の対象物としてのＨＭＤ１００ａの使用者の人差し指と、画像表示部２０ａの画像表示最大領域ＰＮ内に表示される広告画像と、相対的な位置関係を定義する。具体的な定義の方法については、「Ｂ−２．広告表示処理」において説明する。なお、キャリブレーション設定部１６７は、請求項における校正部に相当する。

Ｂ−２．広告表示処理：
図１２は、第２実施形態における広告表示処理のフローチャートである。第２実施形態の広告表示処理では、第１実施形態の広告表示処理（図７）と比較して、ステップＳ４４およびステップＳ６２の処理が追加されている点と、図７のステップＳ２６およびステップＳ２８の処理が削除されている点とが異なり、他の処理については、第１実施形態の広告表示処理と同じである。そのため、第２実施形態では、第１実施形態の広告表示処理と同じ処理については、詳細な説明は省略する。

第２実施形態の広告表示処理では、広告表示処理のアプリが起動すると（図１２ステップＳ４０）、ＣＰＵ１４０ａが各種装置を起動させた後に（ステップＳ４２）、ＣＰＵ１４０ａのキャリブレーション設定部１６７がキャリブレーション設定を実行する（ステップＳ４４）。キャリブレーション設定では、初めに、表示設定部１６５は、キャリブレーション設定を実行するための画像である設定画像を画像表示部２０ａの画像表示最大領域ＰＮに表示させる。その後、カメラ６１が撮像を開始する。キャリブレーション設定部１６７は、カメラ６１の撮像画像の中に検出される特定の対象物として予め設定された使用者の人差し指の位置の変化と、画像表示最大領域ＰＮに表示された設定画像との関係に基づいて、キャリブレーション設定を実行する。

図１３は、キャリブレーション設定が実行されている場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１３には、キャリブレーション設定を実行するための設定画像ＣＧが外景ＳＣに重畳して表示され、カメラ６１の撮像画像に使用者の右手ＨＤが撮像されている状態が示されている。設定画像ＣＧは、矩形状の四角画像ＢＧと、５つの円形画像Ｐ１，Ｐ２，Ｐ３，Ｐ４，Ｐ５と、４つの矢印画像ＣＳ１，Ｃｓ２、ＣＳ３，ＣＳ４とによって構成されている。円形画像Ｐ１は、四角画像ＢＧの１つの頂点の近傍の左上に形成され、円形画像Ｐ２は、四角画像ＢＧの右上の頂点の近傍に形成され、円形画像Ｐ３は、四角画像ＢＧの右下の頂点の近傍に形成され、円形画像Ｐ４は、四角画像ＢＧの左下の頂点の近傍に形成され、円形画像Ｐ５は、四角画像ＢＧの中央に形成される。矢印画像ＣＳ１は、円形画像Ｐ１から円形画像Ｐ２へと直線で結んだ矢印であり、矢印画像ＣＳ２は、円形画像Ｐ２から円形画像Ｐ３へと直線で結んだ矢印であり、矢印画像ＣＳ３は、円形画像Ｐ３から円形画像Ｐ４へと直線で結んだ矢印であり、矢印画像ＣＳ４は、円形画像Ｐ４から円形画像Ｐ５へと直線で結んだ矢印である。

キャリブレーション設定部１６７は、設定画像ＣＧが画像表示最大領域ＰＮ内に表示された後に、右手ＨＤの人差し指ＦＦを撮像画像の中に検出する。その後、キャリブレーション設定部１６７は、人差し指ＦＦが円形画像Ｐ１を起点として、矢印画像ＣＳ１、矢印画像ＣＳ２、矢印画像ＣＳ３、矢印画像ＣＳ４に沿って順々に、円形画像Ｐ１、円形画像Ｐ２、円形画像Ｐ３、円形画像Ｐ４、円形画像Ｐ５と重複する動きを検出することで、設定画像ＣＧの位置関係と外景ＳＣに含まれる人差し指ＦＦとの位置関係を定義する。これにより、キャリブレーション設定部１６７は、カメラ６１によって撮像された人差し指ＦＦが画像表示最大領域ＰＮにおけるどの位置の画素に対応しているかを設定する。なお、設定画像ＣＧは、請求項における特定の画像に相当し、右手ＨＤの人差し指ＦＦは、請求項における特定の対象物に相当する。

キャリブレーション設定が実行されると（図１２のステップＳ４４）、制御部１０ａがステップＳ４６からステップＳ５６の処理を行なう。その後、表示設定部１６５は、検出看板と、検出看板のそれぞれの店舗別広告データＳＤと、検出看板のそれぞれの位置と画像表示部２０との現在位置との距離と、に基づいて、画像表示部２０に表示させる広告画像の表示態様を設定する（ステップＳ５８）。次に、表示設定部１６５および画像処理部１６０は、設定された表示態様に基づいて、広告画像を画像表示部２０に表示させる（ステップＳ５８）。

図１４は、検出看板の広告画像ＴＸ２，ＴＸ４が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１４に示すように、第２実施形態では、表示設定部１６５は、検出看板である看板ＡＢ１に対応付けられた広告画像ＴＸ４を画像表示最大領域ＰＮに表示させる。広告画像ＴＸ４は、選択可能な２つのアイコン画像ＩＣ１，ＩＣ２を含んでいる。キャリブレーション設定後に、使用者が人差し指ＦＦをアイコン画像ＩＣ１またはアイコン画像ＩＣ２に重畳させるキャリブレーション操作が実行されることにより、操作部１３５は、重畳されたアイコン画像を選択し、選択されたアイコン画像に対応付けられた広告画像ＴＸ４とは異なる広告画像を画像表示最大領域ＰＮに表示できる。

広告画像が画像表示最大領域ＰＮに表示されると（図１２のステップＳ６０）、操作部１３５は、音声入力または人差し指ＦＦによるキャリブレーション操作を受け付けたか否かを判定する（ステップＳ６２）。なお、他の実施形態では、操作部１３５の決定キー１１等のキー操作を受け付けたかが判定されてもよい。ステップＳ６２の処理において、操作部１３５が音声入力またはキャリブレーション操作を受け付けた場合には（ステップＳ６２：ＹＥＳ）、表示設定部１６５は、受け付けた音声入力またはキャリブレーション操作に基づいて、画像表示最大領域ＰＮに表示させる広告画像の表示態様を設定し（ステップＳ５８）、表示設定部１６５および画像処理部１６０は、画像表示最大領域ＰＮに設定された広告画像を表示させる（ステップＳ６０）。

図１５は、キャリブレーション操作が行なわれた後に使用者が視認する視野ＶＲの一例を示す説明図である。図１５には、図１４に示す広告画像ＴＸ４におけるアイコン画像ＩＣ２がキャリブレーション操作によって選択された場合に表示される広告画像ＴＸ５が示されている。広告画像ＴＸ５は、選択されたアイコン画像ＩＣ２（図１４）に対応付けられた「富士」で提供されるドリンクのメニューの一部を文字画像で示し、かつ、２つのアイコン画像ＩＣ１，ＩＣ３を含んでいる。音声入力またはキャリブレーション操作によってアイコン画像ＩＣ３が選択されると、表示設定部１６５は、広告画像ＴＸ５の代わりに広告画像ＴＸ４を画像表示最大領域ＰＮに表示させる。また、アイコン画像ＩＣ１が選択されると、表示設定部１６５は、広告画像ＴＸ５の代わりに、アイコン画像ＩＣ１に対応付けられた「富士」で提供される料理のメニューの一部を文字画像で画像表示最大領域ＰＮに表示させる。なお、広告画像ＴＸ４，ＴＸ５は、請求項における判断情報対応情報としての画像に相当する。

広告画像ＴＸ２，ＴＸ５が画像表示最大領域ＰＮに表示されると（図１２のステップＳ６０）、操作部１３５は、音声入力または人差し指ＦＦによるキャリブレーション操作を受け付けたか否かを判定する（ステップＳ６２）。操作部１３５が音声入力もキャリブレーション操作も受け付けなかった場合には（ステップＳ６２：ＮＯ）、制御部１０ａがステップＳ６４以降の処理を行なう。

以上説明したように、第２実施形態のＨＭＤ１００ａでは、キャリブレーション設定部１６７は、画像表示部２０ａに表示させた四角画像ＢＧと、撮像画像の中に検出された使用者の右手ＨＤの人差し指ＦＦとの位置関係に基づいて、キャリブレーション設定を実行する。キャリブレーション設定後に、表示設定部１６５は、撮像画像の中に検出された人差し指ＦＦの位置に基づいて、画像表示部２０ａに表示される画像を広告画像ＴＸ４から広告画像ＴＸ５へと変更する。そのため、第２実施形態のＨＭＤ１００ａでは、現実での外景ＳＣと画像表示部２０ａに表示される画像とを重畳させることで、使用者は、外景ＳＣと表示画像を同一のものとして認識して操作でき、使用者にとっての使い勝手が向上する。

Ｃ．第３実施形態：
Ｃ−１．ＨＭＤの構成：
図１６は、第３実施形態のＨＭＤ１００ｂの構成を機能的に示すブロック図である。第１実施形態および第２実施形態では、撮像画像の中に検出看板が含まれる場合に画像表示最大領域ＰＮに広告画像が表示されたが、第３実施形態では、特定された使用者の現在位置と画像表示の有無を決定するための判断情報とに基づいて、画像表示最大領域ＰＮの広告画像が表示される。そのため、第３実施形態では、第１実施形態および第２実施形態の構成と異なる構成について説明し、同じ構成についての説明を省略する。なお、第３実施形態では、判断情報として、使用者の過去履歴が用いられる。

図１６に示すように、画像表示部２０ｂは、画像表示部２０ｂを頭部に装着した使用者の右眼を撮像する右眼撮像カメラ３７と、使用者の左眼を撮像する左眼撮像カメラ３８と、使用者の何らかの生体情報を取得する生体情報取得部３９と、を有する。第３実施形態では、右眼撮像カメラ３７および左眼撮像カメラ３８は、単眼カメラであるが、ステレオカメラであってもよい。以降では、右眼撮像カメラ３７および左眼撮像カメラ３８を合わせて、単に、「眼撮像カメラ３７，３８」とも呼ぶ。眼撮像カメラ３７，３８が撮像した使用者の眼の画像は、後述する使用者の視線方向の特定および使用者の瞳孔の大きさの測定に用いられる。生体情報取得部３９は、使用者の体温、血圧、心拍数、呼吸、脳波状態などの使用者の生体情報の少なくとも１つを取得するセンサーである。なお、生体情報取得部３９および生体情報を処理する制御部１０ｂのＣＰＵ１４０ｂにおける環境情報処理部１６９ｂについては、後述する第４実施形態で詳細を説明する。

第３実施形態の記憶部１２０ｂの過去履歴記憶部１２４ｂは、第１実施形態のように、ＨＭＤ１００ｂの過去における滞在情報に加えて、使用者が特定の店舗で購入した商品や当該商品の金額といった購買情報も記憶している。購買情報は、使用者が操作部１３５に対して所定の操作を行なうことで入力されたり、特定の店舗で使用したクレジットカードの情報を、無線通信部１３２を介して取得されることで、過去履歴記憶部１２４ｂに記憶される。

制御部１０ｂのＣＰＵ１４０ｂは、撮像された眼の撮像画像を取得と取得された生体情報とに基づいて、画像表示最大領域ＰＮに表示させる広告画像を判断する判断部１６２を有する。判断部１６２は、無線通信部１３２を介してサーバー３００と通信することで、ＧＰＳモジュール１３７によって特定されたＨＭＤ１００ｂの位置が広告ＤＢ３２５において特定の店舗内であるか否かを判定する。判断部１６２は、ＨＭＤ１００ｂの位置が特定の店舗内であると判定した場合には、無線通信部１３２を介して、当該特定の店舗の広告画像や商品の陳列に関する選択情報としての陳列情報を取得する。この場合に、過去履歴照合部１６６ｂは、過去履歴記憶部１２４ｂに記憶された滞在情報と購買情報とを照合することで、使用者の現在位置である特定の店舗における使用者の過去履歴を照合する。

判断部１６２は、撮像された使用者の眼の画像に対して、パターンマッチングや統計的識別法によって、使用者の視線方向を特定する。また、判断部１６２は、瞳孔の大きさを測定することで、瞳孔の大きさの変化を特定する。判断部１６２は、過去履歴照合部１６６ｂの照合結果と特定された使用者の視線方向および瞳孔の大きさとに基づいて、予測される使用者の行動または使用者の意図を推測する。判断部１６２は、推測した使用者の行動または使用者の意図に基づいて決定した広告画像を、画像表示最大領域ＰＮに表示させる。具体的には、例えば、判断部１６２は、使用者の過去の購入履歴にある商品、かつ、特定された視線方向の近くにある商品を、使用者が購入する意思があると推測して、当該商品に対応付けられた広告画像を選択する。また、判断部１６２は、使用者の現在位置である特定の店舗の特売に関する広告画像を、付随的に画像表示最大領域ＰＮに表示させたりもする。表示設定部１６５ｂは、第１実施形態の表示設定部１６５と同様に、画像表示最大領域ＰＮに表示させる広告画像やその他の画像の表示態様を設定して、画像表示最大領域ＰＮに画像を表示させる。第３実施形態における使用者の眼の撮像画像および使用者の過去の購入履歴は、請求項における判断情報に相当する。また、判断部１６２は、請求項における判断情報取得部に相当する。

Ｃ−２．広告表示処理：
図１７は、第３実施形態における広告表示処理のフローチャートである。第３実施形態の広告表示処理では、第１実施形態の広告表示処理と比較して、ステップＳ７０からステップＳ８４までの処理が異なり、他の処理については同じである。そのため、第３実施形態では、第１実施形態と異なるステップＳ７０からステップＳ８４までの処理について説明し、その他の処理についての説明を省略する。

図１７のステップＳ１６の処理において、無線通信部１３２は、使用者の位置情報である画像表示部２０ｂの位置情報をサーバー３００へと送信すると、サーバー３００から画像表示部２０ｂの位置情報の近くの店舗の位置情報を受信する（ステップＳ７０）。判断部１６２は、無線通信部１３２を介して、画像表示部２０ｂの現在位置に対応付けられた店舗の位置情報を取得する。判断部１６２は、使用者の現在位置としての特定される画像表示部２０ｂの現在位置が特定の店舗内であるか否かを判定する（ステップＳ７２）。判断部１６２は、画像表示部２０ｂの現在位置が特定の店舗内でないと判定した場合には（ステップＳ７２：ＮＯ）、第１実施形態と同じステップＳ３４以降の処理を行なう。

ステップＳ７２の処理において、判断部１６２は、画像表示部２０ｂの現在位置が特定の店舗内であると判定した場合には（ステップＳ７２：ＹＥＳ）、眼撮像カメラ３７，３８の眼の撮像画像に基づいて、使用者の視線方向を特定する（ステップＳ７３）。判断部１６２は、特定された使用者の視線方向と現在位置である特定の店舗とに対応付けられた選択情報としての陳列情報を、無線通信部１３２を介して、サーバー３００から受信する（ステップＳ７４）。次に、過去履歴照合部１６６ｂは、過去履歴記憶部１２４ｂに記憶された使用者の購買情報を照合する。判断部１６２は、過去履歴照合部１６６ｂの照合結果に基づいて、特定された使用者の視線方向の近くに陳列されている商品を以前に購入した購入履歴があるか否かを判定する（ステップＳ７８）。判断部１６２は、視線方向の近くの商品の購入履歴があると判定した場合には（ステップＳ７８：ＹＥＳ）、当該商品を購入する意思が使用者にあると推測して、購入履歴に対応付けられた画像を表示画像として決定し、当該画像の表示態様を設定する（ステップＳ８０）。その後、判断部１６２は、使用者の現在位置を含む店舗および購入履歴に対応付けられた広告画像を決定し、決定した当該広告画像の表示態様を設定する（ステップＳ８４）。なお、ステップＳ７８の処理において、判断部１６２は、視線方向の近くの商品の購入履歴がないと判定した場合には（ステップＳ７８：ＮＯ）、使用者の現在位置を含む店舗の広告画像を決定し、決定した広告画像の表示態様を設定する（ステップＳ８２）。その後、表示設定部１６５ｂは、設定された表示態様に基づいて、広告画像を含む画像を画像表示最大領域ＰＮに表示させ（ステップＳ８４）、ステップＳ３４以降の処理を繰り返す。

図１８は、第３実施形態において広告画像ＴＸ６，ＴＸ７が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図１８には、使用者の現在位置が特定の店舗としてのショッピングセンターであり、使用者の視線方向がショッピングセンター内の「花」の売り場を向いている場合に、使用者が視野ＶＲとして視認する外景ＳＣおよび広告画像ＴＸ６，ＴＸ７が示されている。広告画像ＴＸ６は、購入履歴に対応付けられて画像表示最大領域ＰＮに表示させる文字画像である。広告画像ＴＸ６は、一週間前に使用者が「季節の花」とし広告ＤＢ３２５に記憶された花を購入した履歴があることと、現在のショッピングセンターにおいて「季節の花」として予め登録されている３種類の花の名称の「チューリップ」、「朝顔」、「バラ」と、を表す。また、広告画像ＴＸ７は、広告ＤＢ３２５に記憶され、ショッピングセンターの「花」の売り場に対応付けられた広告情報を文字で画像表示最大領域ＰＮに表す画像である。広告画像ＴＸ７は、ショッピングセンターの本日の特売品として、２種類の花である「ゆり」と「菊」とを宣伝する。

第３実施形態では、表示設定部１６５ｂは、広告画像を画像表示最大領域ＰＮ内に表示させる位置として、使用者の個人情報に関連する購入履歴に対応付けられた広告画像ＴＸ６を、画像表示最大領域ＰＮの中心付近に表示させる。また、表示設定部１６５ｂは、使用者の現在位置に起因して、広告ＤＢ３２５から送信される広告情報の一部である広告画像ＴＸ６を、画像表示最大領域ＰＮの中心を除く位置に表示させる。なお、他の実施形態では、広告画像の種類によって画像表示最大領域ＰＮ内に表示される位置については、種々変形可能である。第３実施形態における広告画像ＴＸ６，ＴＸ７は、請求項における判断情報対応情報としての画像に相当する。

以上説明したように、第３実施形態のＨＭＤ１００ｂでは、判断部１６２は、過去履歴照合部１６６ｂの照合結果と特定された使用者の視線方向とに基づいて、図１８に示す広告画像ＴＸ６を画像表示最大領域ＰＮに表示させる。第３実施形態のＨＭＤ１００ｂでは、画像表示最大領域ＰＮに表示される広告画像の決定に対して、使用者の個人情報の１つである購入履歴が参照されているため、使用者との関連が低い広告画像を使用者に視認させなくて済み、使用者の利便性が向上する。

Ｄ．第４実施形態：
第４実施形態では、ＨＭＤ１００ｂは、図１６に示す画像表示部２０ｂの生体情報取得部３９が取得した使用者の生体情報と、サーバー３００から受信された選択情報と、に基づいて画像表示最大領域ＰＮに広告画像を表示する。第４実施形態では、生体情報取得部３９は、使用者の肌に貼ることで使用者の汗を検出する汗検出センサーである。人間は、筋肉の活動などによって体内での乳酸を生成する化学反応が起こると、汗をかく。生体情報取得部３９は、生成された乳酸値を使用者の肌から測定することで、使用者がかく汗の量を検出する。

図１９は、第４実施形態における広告表示処理のフローチャートである。第４実施形態の広告表示処理では、図１７に示す第３実施形態の広告表示処理と比較して、ステップＳ７０からステップＳ８０までの処理の代わりにステップＳ９０およびステップＳ９２の処理を備えることと、ステップＳ３４の処理を備えないことと、が異なり、その他の処理については、第３実施形態の広告表示処理の処理と同じである。そのため、第４実施形態の広告表示処理では、第３実施形態の広告表示処理と異なるステップＳ９０からステップＳ８４までの処理について説明し、その他の処理についての説明を省略する。

図１９のステップＳ１６の処理において、無線通信部１３２が、使用者の位置情報である画像表示部２０ｂの位置情報をサーバー３００へと送信すると、生体情報取得部３９は、使用者の生体情報として、使用者の汗を検出する（ステップＳ９０）。次に、判断部１６２は、検出された使用者の汗が予め設定されている閾値としての汗の量以上であるか否かを判定する（ステップＳ９２）。判断部１６２は、検出された使用者の汗の量が閾値以上でないと判定した場合には（ステップＳ９２：ＮＯ）、第１実施形態および第３実施形態と同じステップＳ３６以降の処理を繰り返す。

ステップＳ９２の処理において、判断部１６２は、検出された使用者の汗の量が閾値以上であると判定した場合には（ステップＳ９２：ＹＥＳ）、使用者の閾値以上の汗の量に予め対応付けられた選択情報をサーバー３００から受信する（ステップＳ７４）。第４実施形態では、判断部１６２は、使用者の閾値以上の汗の量を検出した場合に、使用者ののどが渇いていると推測して、使用者の現在位置を中心とする喫茶店の位置、当該喫茶店の広告画像、飲み物の自動販売機の位置、を表す画像の表示態様を設定する（ステップＳ８２）。その後、表示設定部１６５ｂは、設定された表示態様に基づいて、広告画像を含む画像を画像表示最大領域ＰＮに表示させ（ステップＳ８４）、ステップＳ３６以降の処理を繰り返す。

図２０は、第４実施形態において広告画像ＧＭが表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図２０には、歩行中の使用者の視野ＶＲに含まれる外景ＳＣと画像表示最大領域ＰＮ内に表示された広告画像ＧＭとが示されている。広告画像ＧＭは、使用者の閾値以上の汗の量が検出された場合に、画像表示最大領域ＰＮに表示される飲み物の自動販売機（図２０の「Ａｕｔｏｍａｔｏ」）と、喫茶店（図２０の「Ｓｈｏｐ」）と、使用者（図２０の「Ｕｓｅｒ」）と、の位置関係を表す鳥瞰図の概略画像である。判断部１６２は、使用者の位置情報とサーバー３００から受信した選択情報とに基づいて、使用者の位置から所定の範囲内に存在する自動販売機の位置と喫茶店の位置とを使用者の現在位置と対比させた広告画像ＧＭを画像表示最大領域ＰＮに表示させる。なお、第４実施形態における広告画像ＧＭは、請求項における判断情報対応情報としての画像に相当する。

以上説明したように、第４実施形態のＨＭＤ１００ｂでは、判断部１６２は、使用者の生体情報としての使用者の汗の量に基づいて、画像表示最大領域ＰＮに表示させる広告画像ＧＭを設定する。そのため、第４実施形態のＨＭＤ１００ｂでは、使用者の現時点での体調等に応じた画像を使用者に視認させることができ、使用者の利便性が向上する。

Ｅ：第５実施形態：
第５実施形態では、第３実施形態と比較して、判断部１６２が、使用者の個人情報である購入履歴ではなく、複数の他の使用者の統計情報に基づいて、画像表示最大領域ＰＮに表示させる広告画像を設定することが異なり、構成および広告表示処理におけるほかの処理については、第３実施形態と同じである。

第５実施形態では、サーバー３００の広告ＤＢ３２５は、複数の使用者とは異なる人間である他の使用者の統計情報を有している。統計情報としては、例えば、アミューズメントパークにおける時間ごとの入園者数や、ジェットコースターなどの遊具の待ち時間などが挙げられる。

図２１は、第５実施形態の広告表示処理のフローチャートである。第５実施形態の広告表示処理では、図１７に示す第３実施形態の広告表示処理と比較して、ステップＳ１００からステップＳ１０６までの処理が異なり、その他の処理については、第３実施形態と同じである。具体的には、第５実施形態の広告表示処理では、図１７に示す第３実施形態の広告表示処理に対して、使用者の現在位置が特定の店舗としてのショッピングセンター内ではなく、観光地の案内掲示板の目の前であることと、画像表示最大領域ＰＮに表示される広告画像が購買情報とは異なる統計情報に基づいて設定されること、とが異なる。そのため、第５実施形態では、第３実施形態の広告表示処理とは異なる処理を含むステップＳ１００からステップＳ８４までの処理について説明し、その他の処理については説明を省略する。

図２１のステップＳ１６において、無線通信部１３２は、使用者の位置情報である画像表示部２０ｂの位置情報をサーバー３００へと送信すると、サーバー３００から画像表示部２０ｂの位置の近くの店舗や看板を含む各種施設の位置情報を受信する（ステップＳ１００）。判断部１６２は、無線通信部１３２を介して、使用者の現在位置から最も近い施設との位置関係を特定する（ステップＳ１０２）。判断部１６２は、使用者の現在位置が各種施設の１つである観光地の案内掲示板の目の前であることを特定すると（ステップＳ１０２：ＹＥＳ）、眼撮像カメラ３７，３８の使用者の眼の撮像画像を用いて、使用者の視線方向と瞳孔の大きさとを特定する（ステップＳ１０３）。判断部１６２は、検出看板としての観光地の案内掲示板に対応付けられている選択情報を、無線通信部１３２を介してサーバー３００から受信する（ステップＳ１０４）。判断部１６２は、サーバー３００から受信した選択情報と特定した使用者の視線方向とに基づいて、画像表示最大領域ＰＮに表示させる広告画像の表示態様を設定する（ステップＳ８２）。その後、表示設定部１６５ｂは、設定された表示態様に基づいて、広告画像を画像表示最大領域ＰＮに表示させる（ステップＳ８４）。

図２２は、第５実施形態において広告画像ＴＸ８が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図２２には、使用者の視野ＶＲに含まれる外景ＳＣと、画像表示最大領域ＰＮに表示された案内画像ＣＩおよび広告画像ＴＸ８と、が示されている。また、外景ＳＣには、使用者が現実に視認している案内掲示板ＧＵ含まれる。第５実施形態では、検出看板である案内掲示板ＧＵに、広告画像としての案内画像ＣＩと広告画像ＴＸ８とが対応付けられている。案内画像ＣＩは、案内掲示板ＧＵに示された観光地を案内するためのコンシェルジュを表す画像である。また、広告画像ＴＸ８は、広告ＤＢ３２５に記憶された他の使用者の履歴によって作成された統計情報に基づくお勧めの観光スポットを表す文字画像である。なお、第５実施形態における統計情報は、請求項における判断情報に相当し、案内画像ＣＩと広告画像ＴＸ８とは、請求項における判断情報対応情報としての画像に相当する。

図２１のステップＳ８４の処理において、判断部１６２は、画像表示最大領域ＰＮに案内画像ＣＩおよび広告画像ＴＸ８を表示させると、使用者の眼の撮像画像に基づいて、使用者の瞳孔の大きさの変化を判定する（ステップＳ１０６）。判断部１６２は、使用者の瞳孔の大きさの変化として、閾値以上に瞳孔が大きくなる変化を検出しないと判定した場合には（ステップＳ１０６：ＮＯ）、第３実施形態と同じステップＳ３４以降の処理を繰り返す。

ステップＳ１０６の処理において、判断部１６２は、使用者の瞳孔の大きさが閾値以上に大きくなる変化を検出したと判定した場合には（ステップＳ１０６：ＹＥＳ）、第５実施形態では、判断部１６２は、使用者の視線方向上にある画像または実際の物体に対して、使用者が興味を持ったと推測し、画像表示最大領域ＰＮに表示させる広告画像の表示態様を再設定する（ステップＳ８２）。具体的には、判断部１６２は、使用者の視線方向上に物体（例えば、図う２２の「□□川」）に対応付けられた画像をより大きく表示したり、当該物体に関連付けられたさらに詳しい情報を画像表示最大領域ＰＮに表示させたりする。

以上説明したように、第５実施形態のＨＭＤ１００ｂでは、判断部１６２は、使用者とは異なる複数の他の人間に基づく統計情報に基づいて、画像表示最大領域ＰＮに表示させる広告画像を設定する。そのため、第５実施形態のＨＭＤ１００ｂでは、使用者が訪れたことのない観光地や使用者が有する情報の少ない場所において、他の人間の統計情報を用いた広告画像を使用者に視認させることができ、使用者の利便性が向上する。

また、第５実施形態のＨＭＤ１００ｂでは、判断部１６２は、使用者の瞳孔の大きさの変化に応じて、使用者の興味の度合いを推測して、画像表示最大領域ＰＮに表示させる広告画像を設定するため、使用者の利便性がさらに向上する。

Ｆ．第６実施形態：
第６実施形態では、第３実施形態と比較して、判断部１６２が、マイク６３によって取得された外部音声に基づいて、画像表示最大領域ＰＮに表示させる広告画像を設定することが異なり、他の構成および処理については、第３実施形態と同じである。第６実施形態では、使用者が別の人間である友人と話していたときに、会話の中で頻繁に出現する単語や会話が行なわれている時刻などに基づいて、判断部１６２は、使用者および友人が求めていると推測する内容に関連する広告画像を画像表示最大領域ＰＮに表示させる。例えば、判断部１６２は、夕方に、使用者と友人との会話において、「食事」および「食事」と関連が高い言葉が頻繁に取得された場合には、「食事」を行なえる近隣のレストランやバーなどの広告画像を画像表示最大領域ＰＮに表示させる。

図２３は、第６実施形態における広告表示処理のフローチャートである。第６実施形態の広告表示処理では、第３実施形態の広告表示処理と比較して、ステップＳ１１０からステップＳ１１４までの処理が異なり、その他の処理については第３実施形態と同じである。そのため、第６実施形態の広告表示処理では、第３実施形態の広告表示処理とは異なる処理を含むステップＳ１１０からステップＳ８４までの処理について説明して、その他の処理についての説明を省略する。

図２３のステップＳ１６の処理が行なわれると、マイク６３は、外部音声を取得する（ステップＳ１１０）。判断部１６２は、取得された外部音声から、予め設定されている単語を識別して、当該単語を抽出する（ステップＳ１１２）。判断部１６２は、抽出した単語の数に応じて、無線通信部１３２を介して、抽出した単語と関連が高い選択情報をサーバー３００から受信する（ステップＳ１１４）。判断部１６２は、抽出した単語の頻度に応じて、画像表示最大領域ＰＮに表示させる受信した選択情報に含まれる広告情報の表示態様を設定する（ステップＳ８２）。表示設定部１６５ｂは、設定された表示態様に基づいて、広告画像を画像表示最大領域ＰＮに表示させる（ステップＳ８４）。

図２４は、第６実施形態において広告画像ＴＸ９が表示された場合に使用者が視認する視野ＶＲの一例を示す説明図である。図２４には、マイク６３が取得した音声から多く抽出された単語が「食事」、「魚」、「和食」であった場合に画像表示最大領域ＰＮ内に表示される広告画像ＴＸ９と外景ＳＣとを含む使用者の視野ＶＲが示されている。第６実施形態では、判断部１６２は、使用者と友人ＦＲとの会話から取得された会話から抽出した単語に基づいて、広告画像ＴＸ９として、食事ができるお店の店舗一覧を示す文字画像を画像表示最大領域ＰＮに表示させる。広告画像ＴＸ９には、店名が「富士」の和食の店と、店名が「旬魚」の和食の店と、店名が「広東」の中華料理の店と、店名が「隠れ家」のバーの店と、が店舗一覧として示されている。なお、第６実施形態における取得された音声は、請求項における判断情報に相当し、広告画像ＴＸ９は、請求項における判断情報対応情報としての画像に相当する。

以上説明したように、第６実施形態のＨＭＤ１００ｂでは、判断部１６２は、取得された音声の中から抽出した単語に基づいて、画像表示最大領域ＰＮに表示させる広告画像を設定する。そのため、第６実施形態のＨＭＤ１００ｂでは、自動的に、音声に基づいて、使用者が欲しいと推測される情報を画像表示最大領域ＰＮに広告画像ＴＸ９として表示されるため、使用者の利便性がさらに向上する。

Ｇ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｇ−１．変形例１：
上記実施形態では、ＧＰＳモジュール１３７によって特定された画像表示部２０の位置と、カメラ６１の撮像画像の中に検出された看板の画像とに基づいて、画像表示部２０の向きが特定されたが、画像表示部２０の向きの特定の方法については、種々変形可能である。例えば、画像表示部２０に方位センサーおよび加速度センサーが搭載され、画像表示部２０の現在位置と方位センサーによって特定された東西南北の向きと加速度センサーとによって特定された重力方向に対する向きとに基づいて、画像表示部２０の向きが特定されてもよい。この変形例のＨＭＤ１００では、使用者の前を一時的に遮った障害物（例えば、自動車など）があっても、障害物がない場合に検出した看板に対応付けられた画像を画像表示部２０に表示できる。また、使用者に視認されない看板に対応付けられた画像のみが画像表示部２０に表示されることで、使用者は、実物として視認する看板と、実物として視認していない看板に対応付けられた画像とを認識でき、広範囲の情報を取得できる。

また、上記実施形態では、店舗別広告データＳＤ（図３）や滞在情報ＶＤ（図５）の一例を示したが、店舗別広告データＳＤおよび滞在情報ＶＤにおける項目については、上記実施形態の項目に限られず、種々変形可能である。例えば、店舗別広告データＳＤの項目の一例として、湿度や年齢に基づく制限があってもよい。また、記憶部１２０の過去履歴記憶部１２４は、使用者の滞在情報ＶＤの変わりに、使用者の過去において画像表示部２０に表示された広告画像の頻度や店舗の利用回数や無線通信部１３２を用いた店舗の検索回数などを記憶してもよい。また、記憶部１２０は、使用者の過去の情報ではなく、性別、趣味、住所、職種などの個人情報を記憶し、表示設定部１６５は、記憶された個人情報に基づいて、画像表示部２０に表示させる広告画像を設定してもよい。

また、上記実施形態では、ＧＰＳモジュール１３７が取得した画像表示部２０の現在位置と検出看板の位置とに基づいて、画像表示部２０からの検出看板の位置までの距離が測定されたが、画像表示部２０の現在位置と検出看板の位置との距離を測定する方法については、種々変形可能である。例えば、距離測定部１６１として、画像表示部２０のカメラ６１の近くに赤外線発光部および赤外線受光部が配置され、赤外線発光部が発した赤外線を赤外線受光部が受光することにより、距離測定部１６１は、赤外線を反射した対象と画像表示部２０との距離を測定してもよい。

また、上記実施形態では、操作部１３５は、音声処理部１７０によって認識された音声の信号に基づいて、ＨＭＤ１００の各種操作を実行したが、認識された音声の信号に基づいて、操作以外の制御が実行されてもよい。例えば、撮像画像の中に検出された看板と認識された音声とに基づいて、表示設定部１６５は、画像表示部２０に表示させる広告画像を設定してもよい。具体的には、「お腹空いた」の音声が認識された場合には、表示設定部１６５は、店舗別広告データＳＤにおけるカテゴリーが「飲食」のみの検出看板に対応付けられた広告情報を、画像表示部２０に表示させたり、画像表示部２０に点滅などさせて強調して表示させたりする。

また、上記第２実施形態では、キャリブレーション設定部１６７は、設定画像ＣＧを画像表示部２０ａに表示させ、撮像画像ＩＭＧの中に検出した右手ＨＤの人差し指ＦＦによってキャリブレーション設定を実行したが、設定画像ＣＧや人差し指ＦＦについては、種々変形可能である。例えば、キャリブレーション設定部１６７は、設定画像ＣＧとして、１つの大きな円の画像を画像表示部２０ａに表示させて、表示された円の軌跡と検出された人差し指ＦＦ軌跡とによってキャリブレーション設定を実行してもよい。また、キャリブレーション設定部１６７が検出する特定の対象物としては、右手ＨＤの人差し指ＦＦではなく、ＨＭＤ１００ａに１対１で対応付けられている制御部１０ａであってもよいし、ボールペンなどであってもよい。

Ｇ−２．変形例２：
上記実施形態では、ＧＰＳモジュール１３７によって画像表示部２０の現在位置が特定された後に、ＨＭＤ１００の無線通信部１３２がサーバー３００から選択情報を受信したが、ＨＭＤ１００とサーバー３００との間での情報の送受信の方法については、種々変形可能である。例えば、画像表示部２０の現在位置が特定され、かつ、撮像画像の中から看板の画像が検出された場合に、無線通信部１３２が画像表示部２０の位置情報と検出看板の画像の情報とをサーバー３００へと送信し、サーバー３００から検出看板に対応付けられた広告情報を受信してもよい。この変形例のＨＭＤ１００では、上記実施形態の記憶部１２０の選択情報記憶部１２２のように、サーバー３００に記憶された広告情報を制御部１０に格納しなくても済むため、制御部１０の記憶容量が少なくて済み、ＨＭＤ１００を小型化できる。

上記実施形態では、ＨＭＤ１００の無線通信部１３２がサーバー３００などのサーバーと情報を送受信することで、制御部１０が看板の画像と看板に対応付けられた広告情報とを取得したが、広告情報等の取得の方法については、種々変形可能である。例えば、制御部１０の記憶部１２０が看板の画像と看板に対応付けられた広告情報とを記憶しており、制御部１０の各部は、記憶された看板の画像と広告情報とを用いて広告表示処理を行なってもよい。また、看板の画像と広告情報とは、ＵＳＢインターフェイスによって接続された外部の記憶装置から取得されてもよい。この変形例のＨＭＤ１００では、無線通信部１３２などの他の情報端末と情報の送受信をしなくても済むため、ＨＭＤ１００を小型化できる。

Ｇ−３．変形例３：
上記実施形態では、表示設定部１６５が画像表示部２０に表示させる広告画像の表示態様の一例を挙げて説明したが、表示設定部１６５に設定される表示態様については、種々変形可能である。例えば、第２実施形態において、表示設定部１６５は、使用者によってキャリブレーション操作が行なわれた広告画像ＴＸ４に対応付けられた広告画像ＴＸ５などを、画像表示最大領域ＰＮの中心付近に表示させると共に、ＢＬ２２１，２２２の輝度を操作が行なわれる前よりも上昇させてもよい。使用者が画像表示最大領域ＰＮ内に表示された広告画像ＴＸ４を対象にキャリブレーション操作を行なう場合には、外景ＳＣを透過させる必要が少ないため、ＢＬ２２１，２２２の輝度を上昇させることで、使用者の利便性を向上させることができる。

また、店舗別広告データＳＤにおける同じカテゴリーの複数の検出看板がある場合には、表示設定部１６５は、使用者が比較しやすいように、画像表示最大領域ＰＮ内に並べて表示させてもよい。また、表示設定部１６５は、同じカテゴリーの広告画像について、画像表示最大領域ＰＮ内に表示される文字画像のフォントを同じフォントに設定したり、広告画像の外枠の色を同じ色に設定して表示させてもよい。

また、表示設定部１６５は、右光学像表示部２６に表示させる画像と左光学像表示部２８とに表示させる画像と変えることで、輻輳角を形成して、使用者が画像表示部２０に表示された広告画像を三次元画像として表示させてもよい。例えば、表示設定部１６５は、距離測定部１６１によって測定された距離と、画像表示部２０に三次元で表示させる広告画像の位置とを同じ距離に設定してもよい。また、表示設定部１６５は、滞在情報ＶＤを参照して、使用者にとって最も使用頻度が高い店舗の検出看板に対応付けられた広告画像のみを三次元で表示させることで、強調して使用者に視認させてもよい。

また、上記実施形態では、看板検出部１６８がカメラ６１の撮像画像の中から看板の画像を検出したが、看板検出部１６８は、カメラ６１の撮像画像以外の情報からも識別対象画像を検出できる。例えば、看板検出部１６８は、赤外線センサー、超音波センサー、レーダーによって検出された情報に含まれる画像を識別対象画像として検出してもよい。

Ｇ−４．変形例４：
上記第１実施形態の広告表示処理では、図７のステップＳ２４からステップＳ３２までの処理において、距離などの各種情報が取得され、取得された情報に基づいて、画像表示部２０に広告画像が表示されたが、取得される各種情報について、種々変形可能である。図２５は、変形例における広告表示処理のフローチャートである。図２５に示す広告表示処理は、図７のステップＳ２４からステップＳ２８までの処理が省略された処理である。このように、広告表示処理では、画像表示部２０と検出看板との距離が測定されなくてもよいし、温度等の環境情報が取得されなくてもよいし、滞在情報ＶＤと検出看板との関係が照合されなくてもよい。

また、上記実施形態では、ＧＰＳモジュール１３７によって特定された画像表示部２０の現在位置と、特定された現在位置に基づいてサーバー３００から送信される選択情報とに基づいて、画像表示部２０に広告画像が表示されたが、広告画像の取得の方法については、種々変形可能である。例えば、サーバー３００ではなく、看板に、当該看板に対応付けられた店舗の店舗別広告データＳＤを光情報として発信するｉ‐Ｂｅａｃｏｎ（登録商標）のような発信部が配置されていてもよい。この場合に、ＨＭＤ１００は、看板から発信される光情報を受信する受信部を備えており、看板検出部１６８は、受信部によって受信された光情報に含まれる看板の画像とカメラ６１によって検出される看板との照合を行なうことで、検出看板を取得してもよい。また、ＨＭＤ１００は、無線通信部１３２によって、無線ＬＡＮを介して取得したネットワーク情報によって自身の位置を特定してもよい。また、ＨＭＤ１００は、撮像した外景に含まれるランドマークとして登録された特徴的な建物を特定することで、自身の位置を特定してもよい。また、ＨＭＤ１００は、無線通信部１３２を介して、住所や特定の交差点についてのデータを記憶しているサーバーから情報を受信することで、自身の位置を特定してもよい。この変形例では、ＧＰＳモジュール１３７によって画像表示部２０の位置が取得される必要がないため、ＨＭＤ１００の使用者の利便性が向上する。

上記実施形態では、請求項の識別対象画像に相当する画像として、検出された看板の画像を例に挙げて説明したが、識別対象画像については、種々変形可能である。例えば、識別対象画像は、撮像画像の中から、文字、図形、記号、立体的な形状によって構成される標識のような画像であってもよいし、特定の外観を有する物品の形状、模様、色彩の組み合わせの画像であってもよい。また、上記実施形態では、請求項の判断情報対応情報としての画像として、広告画像ＴＸ１，ＴＸ２を例に挙げて説明したが、判断情報対応情報および判断情報対応情報としての画像については、種々変形可能である。例えば、判断情報対応情報としての画像は、駅の看板に対応付けられた時刻表の画像であってもよいし、バスの停留所の看板や目印に対応付けられた路線図、次に到着する停留所、下車する停留所ごとの運賃のような関連情報を示す画像であってもよい。また、判断情報対応情報は、画像以外の音声などであってもよい。

Ｇ−５．変形例５：
上記第３実施形態では、過去履歴記憶部１２４ｂが記憶する使用者の個人情報として、使用者の過去の購買情報を例に挙げたが、使用者の個人情報については、種々変形可能である。使用者の個人情報として、例えば、使用者がインターネットを介して検索したＷｅｂ履歴、使用者とその他の人間との会話の履歴などが挙げられる。

また、上記第３実施形態から第６実施形態までの実施形態では、判断部１６２は、取得した判断情報に基づいて、使用者の意図や動作を推測したが、判断部１６２が推測する使用者の動作等については、種々変形可能である。判断部１６２は、例えば、使用者の動作状態として、寝そべっている状態や着席している状態を推測してもよいし、使用者の移動状態として、自動車に乗車している状態やランニングをしている状態を推測してもよい。なお、判断情報とは、画像表示最大領域ＰＮに広告等の画像が表示されるためのトリガーとなる情報であり、上記実施形態で説明した看板、使用者の過去の履歴、外部の音声、他の使用者の統計情報、使用者の生体情報以外の情報であってもよい。例えば、操作部１３５が所定の操作を受け付けることで、使用者が自由に判断情報を設定できてもよい。

また、上記第４実施形態では、生体情報取得部３９が取得する生体情報として、使用者の汗を例に挙げて説明したが、生体情報取得部３９が取得する生体情報については、種々変形可能である。生体情報取得部３９は、例えば、使用者の体温、血圧、心拍数、呼吸数、脳波、血流の量、血糖値などを取得してもよい。生体情報取得部３９は、これらの生体情報を取得するセンサーであり、ＨＭＤ１００と一体または別体で有していてもよい。変形例のＨＭＤ１００は、生体情報取得部３９を備えておらず、無線通信部１３２を介して、別の機器で取得された使用者の生体情報を取得してもよい。

また、上記第６実施形態では、判断部１６２は、マイク６３によって取得された外部音声と使用者の位置情報とに基づいて、画像表示最大領域ＰＮに表示させる広告画像を設定したが、外部音声以外の外部の情報によって、画像表示最大領域ＰＮに表示させる広告画像を設定してもよい。判断部１６２は、使用者の位置情報に加えて、例えば、外景ＳＣの映像、匂い、天候などによって画像表示最大領域ＰＮに表示させる広告画像を設定してもよい。そのために、ＨＭＤ１００は、外景ＳＣを撮像するカメラ、外部の匂いを判定する匂いセンサー、天候を判定するための温度センサー、湿度センサー、気圧センサー、環境光センサーを備えていてもよい。

請求項における位置情報に対応付けられた表示用情報は、例えば、取得された位置情報に含まれるＨＭＤ１００の位置から所定の範囲内にある店舗の情報を当然含むが、その他の情報であってもよい。例えば、取得された位置情報は、ＨＭＤ１００の現在位置と異なる位置として、ＨＭＤ１００の使用者が所定の時間後（例えば、１時間後）に到着する位置から所定の範囲内にある店舗等の情報であってもよい。また、取得された位置情報は、ＨＭＤ１００の使用者が所定の時間内（例えば、３０分以内）に通過する予定の軌跡から所定の範囲内にある観光施設の情報であってもよい。また、取得された位置情報は、他のＨＭＤ１００の使用者の位置を特定する情報であってもよい。

また、画像表示最大領域ＰＮに表示される判断情報対応情報としての画像の表示態様については、上記実施形態で説明した例に限られず、種々変形可能である。例えば、表示画像の表示態様は、表示位置、表示するタイミング(例えば、数秒間かけて１つの画像を表示する)、外景の照度にあわせた輝度、２次元または３次元表示、３次元表示する場合の使用者が視認する距離、特定の画像に対する拡大または縮小といった画像の各種設定が挙げられる。

Ｇ−６．変形例６：
上記実施形態では、制御部１０に操作部１３５が形成されたが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ６１が画像表示部２０に配置されたが、カメラ６１が画像表示部２０とは別体に構成され、外景ＳＣを撮像できてもよい。

例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像光生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のＨＭＤ１００に対して本発明を適用することも可能である。

また、例えば、ＨＭＤ１００は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ＨＭＤ１００は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、ＨＭＤ１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。

Ｇ−７．変形例７：
上記実施形態におけるＨＭＤ１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は、適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。

図２６は、変形例におけるＨＭＤの外観構成を示す説明図である。図２６（Ａ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｘが、右光学像表示部２６に代えて右光学像表示部２６ｘを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｘを備える点とである。右光学像表示部２６ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ｘは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤ１００ｘの装着時における使用者の左眼の斜め上に配置されている。図２６（Ｂ）の例の場合、図１に示したＨＭＤ１００との違いは、画像表示部２０ｙが、右光学像表示部２６に代えて右光学像表示部２６ｙを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｙを備える点とである。右光学像表示部２６ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｙは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のＨＭＤ１００として実現できる。

また、上記実施形態において、ＨＭＤ１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図２および図３に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
３７…右眼撮像カメラ
３８…左眼撮像カメラ
３９…生体情報取得部
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（画像検出部）
６３…マイク
６５…温度計（状態検出部）
１００…ＨＭＤ
１２０…記憶部
１２２…選択情報記憶部
１２４…過去履歴記憶部（個人情報記憶部）
１３０…電源
１３２…無線通信部（情報送受信部、状態検出部）
１３５…操作部
１３７…ＧＰＳモジュール（位置特定部、画像検出部）
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６１…距離測定部
１６２…判断部（判断情報取得部）
１６５…表示設定部（表示画像制御部）
１６６…過去履歴照合部
１６７…キャリブレーション設定部（校正部）
１６８…看板検出部（画像検出部、表示画像制御部）
１６９…環境情報処理部（表示画像制御部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
３００…サーバー（情報記憶装置）
３１０…ＣＰＵ
３１２…情報選択部
３２０…記憶部
３２５…広告ＤＢ
３３０…通信部（選択情報送信部）
５００…情報システム
Ａ、Ｂ，Ｃ，Ｄ…場所
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
Ｐ１、Ｐ２，Ｐ３，Ｐ４，Ｐ５…円形画像
ＯＡ…外部機器
ＳＣ…外景
ＳＤ…店舗別広告データ
ＶＤ…滞在情報
ＨＤ…右手
ＲＥ…右眼
ＬＥ…左眼
ＦＦ…人差し指（特定の対象物）
ＣＧ…設定画像（特定の画像）
ＢＧ…四角画像
ＩＬ…照明光
ＰＬ…画像光
ＰＮ…画像表示最大領域
ＶＲ…視野
ＡＢ１、ＡＢ２，ＡＢ３…看板
ＣＳ１、ＣＳ２，ＣＳ３，ＣＳ４…矢印画像
ＴＸ１、ＴＸ２，ＴＸ３，ＴＸ４，ＴＸ５，ＴＸ６，ＴＸ７，ＴＸ８，ＴＸ９，ＧＭ…広告画像（判断情報対応情報としての画像）
ＣＩ…案内画像（判断情報対応情報としての画像）
ＩＭＧ…撮像画像
ＩＣ１，ＩＣ２，ＩＣ３…アイコン画像ＩＣ
ＧＵ…案内掲示板
ＦＲ…友人

Claims (16)

1. 透過型の頭部装着型表示装置であって、
   画像を表示すると共に外景を透過可能な画像表示部と、
   前記頭部装着型表示装置の位置情報を取得する位置情報取得部と、
   前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と、
   取得された前記位置情報に対応付けられており、判断情報対応情報を含む表示用情報を受信する情報送受信部と、
   前記判断情報が取得された場合には、取得された前記判断情報に対応付けられ、受信された前記表示用情報に含まれる前記判断情報対応情報としての画像を、前記画像表示部に表示させる表示画像制御部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記判断情報取得部は、前記外景の中から前記表示用情報に含まれる前記判断情報としての識別対象画像を検出する画像検出部を有し、
   前記表示画像制御部は、前記識別対象画像が検出された場合には、前記判断情報対応情報を前記画像表示部に表示させる、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記画像検出部は、前記外景を撮像し、
   前記表示画像制御部は、撮像された前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記判断情報対応情報を前記画像表示部に表示させる、頭部装着型表示装置。
4. 請求項２に記載の頭部装着型表示装置であって、
   前記画像検出部は、前記画像表示部の向きを特定し、
   前記表示画像制御部は、特定された前記画像表示部の向きに基づいて前記外景の中に前記識別対象画像が検出された場合には、検出された前記識別対象画像に対応付けられた前記判断情報対応情報を前記画像表示部に表示させる、頭部装着型表示装置。
5. 請求項２から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   取得された前記位置情報によって特定される前記頭部装着型表示装置の位置と、検出された前記判断情報の基となる看板の位置と、の距離を測定する距離測定部を備え、
   前記表示画像制御部は、測定された前記距離に基づいて、前記画像表示部に表示させる前記判断情報対応情報としての画像の表示態様を設定する、頭部装着型表示装置。
6. 請求項５に記載の頭部装着型表示装置であって、
   前記表示画像制御部は、前記画像表示部に表示させる前記判断情報対応情報としての画像の表示態様として、画像の大きさと表示位置との少なくとも一方を設定する、頭部装着型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   前記頭部装着型表示装置の外部環境の状態を検出する状態検出部を備え、
   前記表示画像制御部は、検出された前記外部環境の状態に対応付けられた前記判断情報対応情報としての画像を前記画像表示部に表示させる、頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   特定の画像を前記画像表示部に表示させ、前記外景の中における特定の対象物の画像を検出し、前記特定の画像と前記特定の対象物の画像とに基づいて、前記画像表示部に表示される画像と前記対象物との位置関係を校正する校正部を備え、
   前記表示画像制御部は、前記校正部によって校正された後、前記外景の中に検出される前記特定の対象物の画像の位置に基づいて、前記画像表示部に表示させた前記判断情報対応情報としての画像を変更する、頭部装着型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
   個人情報を記憶する個人情報記憶部を備え、
   前記表示画像制御部は、使用者の個人情報に基づいて設定した前記判断情報対応情報としての画像を前記画像表示部に表示させる、頭部装着型表示装置。
10. 請求項９に記載の頭部装着型表示装置であって、
    使用者の前記個人情報は、使用者が過去に滞在した場所についての情報である、頭部装着型表示装置。
11. 請求項１から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
    前記判断情報取得部は、前記判断情報として、使用者が過去に滞在した場所についての情報と、使用者の生体情報と、他の使用者の統計情報と、の少なくとも１つを取得する、頭部装着型表示装置。
12. 透過型の頭部装着型表示装置であって、
    画像を表示すると共に外景を透過可能な画像表示部と、
    前記頭部装着型表示装置の位置情報を取得する位置情報取得部と、
    前記画像表示部に表示される判断情報対応情報としての画像を含む表示用情報を記憶する広告情報記憶部と、
    前記判断情報対応情報としての画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と、
    前記判断情報が取得された場合には、取得された前記判断情報に対応付けられた前記判断情報対応情報としての画像を前記画像表示部に表示させる表示画像制御部と、を備える、頭部装着型表示装置。
13. 透過型の頭部装着型表示装置であって、
    画像を表示すると共に外景を透過可能な画像表示部と、
    前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と、
    判断情報対応情報を含む表示用情報を受信する情報送受信部と、
    前記判断情報が取得された場合には、前記表示用情報に含まれる前記判断情報対応情報の内、取得された前記判断情報に対応付けられた前記判断情報対応情報としての画像を前記画像表示部に表示させる表示画像制御部と、を備える、頭部装着型表示装置。
14. 情報を記憶して送信する情報記憶装置と、前記情報記憶装置と情報を送受信する透過型の頭部装着型表示装置と、を有する、情報システムであって、
    前記頭部装着型表示装置は、
    前記頭部装着型表示装置の位置情報を取得する位置情報取得部と、
    取得された前記位置情報を前記情報記憶装置へと送信する情報送信部と、を備え、
    前記情報記憶装置は、
    前記情報送信部から送信された前記位置情報に基づいて、前記情報記憶装置に記憶された情報から判断情報対応情報を含む表示用情報を選択する情報選択部と、
    選択された前記表示用情報を、前記頭部装着型表示装置へと送信する選択情報送信部と、を備え、
    前記頭部装着型表示装置は、さらに、
    画像を表示すると共に外景を透過可能な画像表示部と、
    前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得部と、
    前記判断情報が取得された場合には、取得された前記判断情報に対応付けられ、受信された前記表示用情報に含まれる前記判断情報対応情報としての画像を前記画像表示部に表示させる表示画像制御部と、を備える、情報システム。
15. 画像を表示すると共に外景を透過可能な画像表示部と、情報を受信する情報受信部と、を有する透過型の頭部装着型表示装置の制御方法であって、
    コンピューターが、
    前記頭部装着型表示装置の位置情報を取得する工程と、
    取得された前記位置情報に対応付けられており、判断情報対応情報を含む表示用情報を受信する工程と、
    前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する工程と、
    前記判断情報が取得された場合には、取得された前記判断情報に対応付けられ、受信された前記表示用情報に含まれる前記判断情報対応情報としての画像を前記画像表示部に表示させる工程と、を備える、制御方法。
16. 画像を表示すると共に外景を透過可能な画像表示部を有する透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    前記頭部装着型表示装置の位置情報を取得する位置特定機能と、
    取得された前記位置情報に対応付けられており、判断情報対応情報を含む表示用情報を受信する情報送受信機能と、
    前記画像表示部に表示される画像の表示有無を決定するために用いられる判断情報を取得する判断情報取得機能と、
    前記判断情報が取得された場合には、取得された前記判断情報に対応付けられ、受信された前記表示用情報に含まれる前記判断情報対応情報としての画像を前記画像表示部に表示させる表示画像制御機能と、をコンピューターに実現させる、コンピュータープログラム。

Images