JP2018160735A - 透過型表示装置、表示制御方法、およびコンピュータープログラム - Google Patents

Abstract

【課題】透過型の表示装置において、ポインターの視認性を向上する。
【解決手段】透過型表示装置であって、光透過性を有し、表示対象の対象画像とポインター画像とを、自身を透過して視認される外界に重ねて表示する表示部と、ポインター画像の表示態様を制御する表示制御部と、外界を撮像する撮像部と、を備え、表示制御部は、撮像により得られた外界画像と、対象画像と、外界画像および対象画像の合成画像と、のうちいずれか一つを基準画像として、基準画像におけるポインター画像の表示位置を含む領域の特徴量に応じて、ポインター画像の表示態様を変更して表示させる、透過型表示装置。
【選択図】図８

Description

本発明は、透過型の表示装置に関する。

頭部に装着されてユーザーの視野領域内に画像等を表示する頭部装着型表示装置（ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ））として、装着時に画像とともに外界の風景を透過視認できる透過型の頭部装着型表示装置が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイと光源とを利用して画像を表す画像光を生成し、生成された画像光を投写光学系および導光板等を利用してユーザーの眼に導くことにより、ユーザーに虚像を認識させる。ユーザーは、液晶ディスプレイ上に表示されるマウスカーソル等のポインターを操作することにより、頭部装着型表示装置を制御する。しかし、外界の風景および表示画像における色および模様等によっては、ポインターが視認しづらく、ポインターを見失ってしまうことがある。特許文献１には、透過型の表示装置において、外界の風景画像に重畳して表示画像を表示する際に、外界の風景画像全体の輝度と表示画像全体の輝度とに基づいて表示画像の表示輝度を算出し、表示輝度に応じて表示画像を表示する色または色の濃度を制御する技術が開示されている。

特開２０１６−１４２９８８号公報

しかし、特許文献１に記載の技術では、例えば、表示画像の輝度が外界の風景の輝度に比べて著しく低い場合や、色彩に富んだ外界の風景を透過して視認した場合などには、外界の風景の色がポインターの色に影響して、ユーザーがポインターを視認できない、或いは、視認しづらいといった問題が生じ得る。このような課題は、透過型の頭部装着型表示装置に限らず、外界の風景に重畳して画像等を表示する透過型の表示装置においても共通する。そこで、透過型の表示装置において、ポインターの視認性を向上する技術が望まれている。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一実施形態によれば、透過型表示装置が提供される。この透過型表示装置は、光透過性を有し、表示対象の対象画像とポインター画像とを、自身を透過して視認される外界に重ねて表示する表示部と；前記ポインター画像の表示態様を制御する表示制御部と；外界を撮像する撮像部と；を備え；前記表示制御部は、前記撮像により得られた外界画像と、前記対象画像と、前記外界画像および前記対象画像の合成画像と、のうちいずれか一つを基準画像として、前記基準画像における前記ポインター画像の表示位置を含む領域の特徴量に応じて、前記ポインター画像の表示態様を変更して表示させる。
この形態の透過型表示装置によれば、撮像により得られた外界画像と、対象画像と、外界画像および対象画像の合成画像と、のうちいずれか一つを基準画像として、基準画像におけるポインター画像の表示位置を含む領域の特徴量に応じて、ポインター画像の表示態様を変更して表示させるので、基準画像の特徴を考慮した表示態様によりポインター画像を表示させることができ、ポインター画像の視認性を向上できる。

（２）上記形態の透過型表示装置において、前記基準画像は、前記合成画像であってもよい。この形態の透過型表示装置によれば、基準画像は、合成画像であるので、外界画像および対象画像の特徴量を考慮してポインター画像の表示態様を制御できる。したがって、透過して視認される外界に対象画像が重ねて表示され、さらにポインター画像が重ねて表示される場合に、ポインター画像の視認性を向上できる。

（３）上記形態の透過型表示装置において、前記基準画像における前記ポインター画像の表示位置を含む領域の平均色相値を算出する平均色相値算出部を、さらに有し；前記表示制御部は、前記ポインター画像の色を前記平均色相値の補色にして前記ポインター画像を表示させもよい。この形態の透過型表示装置によれば、ポインター画像の色を平均色相値の補色にしてポインター画像を表示させるので、ポインター画像の色が平均色相値の補色でない構成に比べて、ポインター画像をより視認しやすくできる。

（４）上記形態の透過型表示装置において、前記基準画像における前記ポインター画像の表示位置を含む領域のエッジ傾向を算出するエッジ傾向算出部をさらに有し；前記表示制御部は、前記ポインター画像の模様を前記エッジ傾向に基づき定まる方向性を有する模様にして、前記ポインター画像を表示させてもよい。この形態の透過型表示装置によれば、ポインター画像の模様をエッジ傾向に基づき定まる方向性を有する模様にしてポインター画像を表示させるので、ポインター画像の模様の視認性を高めて、ポインター画像自体の視認性を向上できる。

（５）上記形態の透過型表示装置において、前記表示制御部は、前記模様を、前記エッジ傾向の合成ベクトルと交差する方向に繰り返される縞模様にして前記ポインター画像を表示させてもよい。この形態の透過型表示装置によれば、ポインター画像の模様をエッジ傾向の合成ベクトルと交差する方向に繰り返される縞模様にしてポインター画像を表示させるので、ポインター画像の縞模様の視認性を高めて、ポインター画像自体の視認性を向上できる。

（６）上記形態の透過型表示装置において、前記基準画像における前記ポインター画像の表示位置を含む領域の平均色相値を算出する平均色相値算出部を、さらに有し；前記表示制御部は、前記ポインター画像を視差のついた立体として表示し、前記平均色相値に基づいて前記視差の変化量を設定してもよい。この形態の透過型表示装置によれば、ポインター画像を視差のついた立体として表示し、平均色相値に基づいて視差の変化量を設定するので、平均色相値が異なる領域にポインター画像が移動した場合にポインター画像の視認性を高め、ポインター画像への追従性（目で追う性能）を向上できる。

（７）上記形態の透過型表示装置において、前記基準画像における前記ポインター画像の表示位置を含む領域の平均色相値を算出する平均色相値算出部を、さらに有し；前記表示制御部は、前記ポインター画像を視差のついた立体として表示することと、前記ポインター画像を視差のついていない面として表示することと、を交互に切り替え、前記平均色相値に基づいて前記視差をつける周期を設定してもよい。この形態の透過型表示装置によれば、ポインター画像を視差のついた立体として表示することと、ポインター画像を視差のついていない面として表示することと、を交互に切り替え、平均色相値に基づいて視差をつける周期を設定するので、ポインター画像を目立たせて視認性を高めると共に、平均色相値が異なる領域にポインター画像が移動した場合にも視差をつける周期が変化することで、ポインター画像を目立たせることができ、ポインター画像への追従性を向上できる。

（８）上記形態の透過型表示装置において、前記表示制御部は、前記ポインター画像を視差のついた立体として表示し；前記立体として表示された前記ポインター画像の焦点位置を、前記表示部から前記外界へと向かう方向に所定距離移動させることと、前記外界から前記表示部へと向かう方向に前記所定距離移動させることと、を交互に行ってもよい。この形態の透過型表示装置によれば、ポインター画像を視差のついた立体として表示し、立体として表示されたポインター画像の焦点位置を、表示部から外界へと向かう方向に所定距離移動させることと、外界から表示部へと向かう方向に所定距離移動させることとを交互に行うので、立体として表示されたポインター画像を凹ませて表示することと出っ張らせて表示することとを交互に行うことができ、ポインター画像の視認性をより向上できる。

（９）上記形態の透過型表示装置において、前記表示制御部は、前記ポインター画像の少なくとも一部の明るさを周期的に変更して前記ポインター画像を表示させてもよい。この形態の透過型表示装置によれば、ポインター画像の少なくとも一部の明るさを周期的に変更してポインター画像を表示させるので、ポインター画像の一部を点滅させて表示させることができ、ポインター画像の視認性をより向上できる。

（１０）上記形態の透過型表示装置において、前記表示制御部は、前記透過型表示装置における所定動作の検知を契機として、前記ポインター画像の表示態様の制御を実行してもよい。この形態の透過型表示装置によれば、透過型表示装置における所定動作の検知を契機として、ポインター画像の表示態様の制御を実行するので、ポインター画像の表示態様の制御を実行する契機を透過型表示装置の利用者が調整でき、利用者の利便性を向上できる。

本発明は、種々の形態で実現することも可能である。例えば、透過型表示装置における表示制御方法、かかる表示制御方法を実現するためのコンピュータープログラム、かかるコンピュータープログラムを記録した記録媒体等の形態で実現できる。

本発明の第１実施形態としての頭部装着型表示装置の概略構成を示す説明図である。 画像表示部が備える光学系の構成を示す要部平面図である。 使用者から見た画像表示部の要部構成を示す図である。 カメラの画角を説明するための図である。 ＨＭＤの構成を機能的に示すブロック図である。 制御装置の構成を機能的に示すブロック図である。 ＨＭＤによる拡張現実感表示の一例を示す説明図である。 ポインター画像表示制御処理の処理手順を示すフローチャートである。 色調変更処理（ステップＳ１１０）の詳細な処理手順を示すフローチャートである。 基準画像設定処理（ステップＳ２００）の詳細な処理手順を示すフローチャートである。 色調変更処理（ステップＳ１１０）実行後のポインター画像の一例を模式的に示す説明図である。 向き変更処理（ステップＳ１２０）の詳細な処理手順を示すフローチャートである。 向き変更処理（ステップＳ１２０）実行後のポインター画像の一例を模式的に示す説明図である。 視差変更処理（ステップＳ１３０）の詳細な処理手順を示すフローチャートである。 視差変更処理（ステップＳ１３０）実行後におけるポインター画像の一例を模式的に示す説明図である。 第２実施形態における視差変更処理（ステップＳ１３０ａ）の詳細な処理手順を示すフローチャートである。 第３実施形態における視差変更処理（ステップＳ１３０ｂ）の詳細な処理手順を示すフローチャートである。 変形例３におけるポインター画像の模様を模式的に示す説明図である。

Ａ．第１実施形態：
Ａ１．透過型表示装置の全体構成：
図１は、本発明の第１実施形態としての頭部装着型表示装置１００の概略構成を示す説明図である。頭部装着型表示装置１００は、使用者の頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、グラスを通過して視認される外界の中に画像が浮かび上がるシースルー型（透過型）の頭部装着型表示装置である。

ＨＭＤ１００は、使用者に画像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する支持体に、右表示ユニット２２と、左表示ユニット２４と、右導光板２６と、左導光板２８とを備える。本実施形態において、画像表示部２０は、課題を解決するための手段における表示部に相当する。

右保持部２１および左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者の頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者の右側に位置する端部を端部ＥＲとし、使用者の左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部２３は、前部フレーム２７の端部ＥＬから、画像表示部２０の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。

右導光板２６および左導光板２８は、前部フレーム２７に設けられている。右導光板２６は、画像表示部２０の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。

前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有する。この連結位置は、画像表示部２０の装着状態における使用者の眉間の位置に対応する。前部フレーム２７には、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部２１と左保持部２３とによって、画像表示部２０を使用者の頭部に保持できる。また、右保持部２１および左保持部２３に対して、画像表示部２０の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部２０を使用者の頭部に強固に保持できる。

右表示ユニット２２は、右導光板２６による画像の表示を行う。右表示ユニット２２は、右保持部２１に設けられ、画像表示部２０の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示を行う。左表示ユニット２４は、左保持部２３に設けられ、画像表示部２０の装着状態における使用者の左側頭部の近傍に位置する。

本実施形態の右導光板２６および左導光板２８は、光透過性の樹脂等によって形成される光学部（例えばプリズム）であり、右表示ユニット２２および左表示ユニット２４が出力する画像光を使用者の眼に導く。なお、右導光板２６および左導光板２８の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム２７の表面（使用者の眼と対向する面とは反対側の面）を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６および左導光板２８に入射し、右導光板２６および左導光板２８を透過する外光の光量を調整できる。

画像表示部２０は、右表示ユニット２２および左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６および左導光板２８に導き、この画像光によって、自身を透過して視認される外界の風景とともに、画像（拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ）画像）を使用者に視認させる（これを「画像を表示する」とも呼ぶ）。使用者の前方から右導光板２６および左導光板２８を透過して外光が使用者の眼に入射する場合、使用者の眼には、画像を構成する画像光と、外光とが入射する。このため、使用者における画像の視認性は、外光の強さに影響を受ける。

このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、画像の視認のしやすさを調整することができる。典型的な例では、ＨＭＤ１００を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。また、太陽光を抑制して、画像の視認性を高めることができる。また、調光板を用いると、右導光板２６および左導光板２８を保護し、右導光板２６および左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、あるいは、右導光板２６および左導光板２８のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。

カメラ６１は、画像表示部２０の前部フレーム２７に配置されている。カメラ６１は、前部フレーム２７の前面において、右導光板２６および左導光板２８を透過する外光を遮らない位置に設けられる。図１の例では、カメラ６１は、前部フレーム２７の端部ＥＲ側に配置されている。カメラ６１は、前部フレーム２７の端部ＥＬ側に配置されていてもよく、右導光板２６と左導光板２８との連結部に配置されていてもよい。

カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラを採用してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、画像表示部２０の装着状態において使用者が視認する視界方向の、少なくとも一部の外界（実空間）を撮像する。換言すれば、カメラ６１は、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。カメラ６１の画角の広さは適宜設定できる。本実施形態では、カメラ６１の画角の広さは、使用者が右導光板２６および左導光板２８を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ６１は、制御機能部１５０（図６）の制御に従って撮像を実行し、得られた撮像データを制御機能部１５０へ出力する。本実施形態において、カメラ６１は、課題を解決するための手段における撮像部に相当する。

ＨＭＤ１００は、予め設定された測定方向に位置する測定対象物までの距離を検出する測距センサーを備えていてもよい。測距センサーは、例えば、前部フレーム２７の右導光板２６と左導光板２８との連結部分に配置することができる。測距センサーの測定方向は、ＨＭＤ１００の表側方向（カメラ６１の撮像方向と重複する方向）とすることができる。測距センサーは、例えば、ＬＥＤやレーザーダイオード等の発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。測距センサーは、例えば、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。測距センサーは、カメラ６１と同様に、制御機能部１５０の指示に従って測距し、検出結果を制御機能部１５０へ出力する。

図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。説明の便宜上、図２には使用者の右眼ＲＥおよび左眼ＬＥを図示する。図２に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成されている。

右眼ＲＥに画像（ＡＲ画像）を視認させる構成として、右表示ユニット２２は、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ユニット２２１と、右光学系２５１とを備える。ＯＬＥＤユニット２２１は、画像光を発する。右光学系２５１は、レンズ群等を備え、ＯＬＥＤユニット２２１が発する画像光Ｌを右導光板２６へと導く。

ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光し、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素とした複数の画素が、マトリクス状に配置されている。

ＯＬＥＤ駆動回路２２５は、後述の制御機能部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択および通電を実行し、発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板に実装されてもよい。この基板には、後述する温度センサー２１７（図５）が実装される。なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加えて、Ｗ（白）の光を放射する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３が採用されてもよい。

右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射後、右導光板２６から右眼ＲＥへと射出され、この画像光Ｌが右眼ＲＥの網膜で像を結ぶことで、使用者に画像を視認させる。

左眼ＬＥに画像（ＡＲ画像）を視認させる構成として、左表示ユニット２４は、ＯＬＥＤユニット２４１と、左光学系２５２とを備える。ＯＬＥＤユニット２４１は画像光を発する。左光学系２５２は、レンズ群等を備え、ＯＬＥＤユニット２４１が発する画像光Ｌを左導光板２８へと導く。ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５を有する。各部の詳細は、ＯＬＥＤユニット２２１、ＯＬＥＤパネル２２３、ＯＬＥＤ駆動回路２２５と同じである。ＯＬＥＤパネル２４３の裏面に固定される基板には、温度センサー２３９（図５）が実装される。また、左光学系２５２の詳細は上述の右光学系２５１と同じである。

以上説明した構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。使用者の左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、左導光板２８を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板２６および左導光板２８を透かして外界の風景（実世界）が見えると共に、この外界に重なるようにして画像光Ｌによる虚像（虚像画像、ＡＲ画像）が視認される。

なお、右光学系２５１および右導光板２６を総称して「右導光部」とも呼び、左光学系２５２および左導光板２８を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に画像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

図１において、制御装置１０と画像表示部２０とは、接続ケーブル４０によって接続される。接続ケーブル４０は、制御装置１０の下部に設けられるコネクターに着脱可能に接続され、左保持部２３の先端から、画像表示部２０内部の各種回路に接続する。接続ケーブル４０には、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有する。接続ケーブル４０にはさらに、アナログデータを伝送するメタルケーブルを含んでもよい。接続ケーブル４０の途中には、コネクター４６が設けられている。

コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図１に示す本実施形態の例では、コネクター４６には、ステレオヘッドホンを構成する右イヤホン３２および左イヤホン３４と、マイク６３を有するヘッドセット３０とが接続されている。

マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置されている。マイク６３は、音声を集音し、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、モノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであっても無指向性のマイクであってもよい。

制御装置１０は、ＨＭＤ１００を制御するための装置である。制御装置１０は、点灯部１２と、トラックパッド１４と、方向キー１６と、決定キー１７と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いることができる。

トラックパッド１４は、トラックパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用することができる。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。決定キー１７は、押下操作を検出して、制御装置１０において操作された内容を決定するための信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。

図３は、使用者から見た画像表示部２０の要部構成を示す図である。図３では、接続ケーブル４０、右イヤホン３２、左イヤホン３４の図示を省略している。図３の状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者は、これらハーフミラー２６１、２８１を含む右導光板２６、左導光板２８の全体を透過して外界の風景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。

図４は、カメラ６１の画角を説明するための図である。図４では、カメラ６１と、使用者の右眼ＲＥおよび左眼ＬＥとを平面視で模式的に示すと共に、カメラ６１の画角（撮像範囲）をθで示す。なお、カメラ６１の画角θは図示のように水平方向に拡がっているほか、一般的なデジタルカメラと同様に鉛直方向にも拡がっている。

上述のようにカメラ６１は、画像表示部２０において右側の端部に配置され、使用者の視線の方向（すなわち使用者の前方）を撮像する。このためカメラ６１の光軸は、右眼ＲＥおよび左眼ＬＥの視線方向を含む方向とされる。使用者がＨＭＤ１００を装着した状態で視認できる外界の風景は、無限遠とは限らない。例えば、使用者が両眼で対象物ＯＢを注視すると、使用者の視線は、図中の符号ＲＤ、ＬＤに示すように、対象物ＯＢに向けられる。この場合、使用者から対象物ＯＢまでの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍであることがより多い。そこで、ＨＭＤ１００について、通常使用時における使用者から対象物ＯＢまでの距離の上限および下限の目安を定めてもよい。この目安は、予め求められＨＭＤ１００にプリセットされていてもよいし、使用者が設定してもよい。カメラ６１の光軸および画角は、このような通常使用時における対象物ＯＢまでの距離が、設定された上限および下限の目安に相当する場合において対象物ＯＢが画角に含まれるように設定されることが好ましい。

なお、一般的に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされる。そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５〜７０度程度とされている。この場合、注視点が対象物ＯＢ（図４）であるとき、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野である。また、水平方向に６０〜９０度、垂直方向に４５〜７０度程度が安定注視野である。使用者が画像表示部２０を透過して右導光板２６および左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）と呼ぶ。実視野は、視野角および安定注視野より狭いが、有効視野より広い。

本実施形態のカメラ６１の画角θは、使用者の視野より広い範囲を撮像可能に設定される。カメラ６１の画角θは、少なくとも使用者の有効視野より広い範囲を撮像可能に設定されることが好ましく、実視野よりも広い範囲を撮像可能に設定されることがより好ましい。カメラ６１の画角θは、使用者の安定注視野より広い範囲を撮像可能に設定されることがさらに好ましく、使用者の両眼の視野角よりも広い範囲を撮像可能に設定されることが最も好ましい。このため、カメラ６１には、撮像レンズとしていわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよい。また、カメラ６１には、単焦点レンズを含んでもよく、ズームレンズを含んでもよく、複数のレンズからなるレンズ群を含んでもよい。

図５は、ＨＭＤ１００の構成を機能的に示すブロック図である。制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０と、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部１３０とを備える。メインプロセッサー１４０には、これらの記憶部、入出力部、センサー類、インターフェイス、電源部１３０がそれぞれ接続されている。メインプロセッサー１４０は、制御装置１０が内蔵しているコントローラー基板１２０に実装されている。

記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０によって実行されるコンピュータープログラム、および、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するコンピュータープログラムや、メインプロセッサー１４０によって処理される各種のデータを記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０に実装されている。

入出力部には、トラックパッド１４と、操作部１１０とが含まれている。操作部１１０には、制御装置１０に備えられた方向キー１６と、決定キー１７と、電源スイッチ１８とが含まれる。メインプロセッサー１４０は、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。

センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）レシーバー１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳレシーバー１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳレシーバー１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０へと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０からの指示に応じてもよい。

インターフェイスには、無線通信部１１７と、音声コーデック１８０と、外部コネクター１８４と、外部メモリーインターフェイス１８６と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェイス１９６とが含まれている。これらは、外部とのインターフェイスとして機能する。

無線通信部１１７は、ＨＭＤ１００と外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）を含む無線ＬＡＮ等の規格に準拠した無線通信を行う。

音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。音声コーデック１８０は、アナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。本実施形態のＨＭＤ１００は、音声を右イヤホン３２および左イヤホン３４から出力し、マイク６３により集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換し、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。

外部コネクター１８４は、メインプロセッサー１４０に対して、メインプロセッサー１４０と通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０が実行するコンピュータープログラムのデバッグや、ＨＭＤ１００の動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス等の無線接続に対応したインターフェイスを採用できる。

外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス１８６は、例えば、カード型記録媒体を装着してデータの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェイス回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。

また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合や、ＨＭＤ１００の電源がオンオフされた場合等に所定の振動パターンでバイブレーター１９により振動を発生させる。バイブレーター１９は、制御装置１０に設ける構成に換えて、画像表示部２０側、例えば、画像表示部の右保持部２１（テンプルの右側部分）に設ける構成としてもよい。

センサーハブ１９２およびＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して画像表示部２０に接続されている。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得して、メインプロセッサー１４０に出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信されるデータの処理およびインターフェイス１９６を介した伝送を実行する。インターフェイス１９６は、画像表示部２０の右表示ユニット２２と、左表示ユニット２４とに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４とのそれぞれが、制御装置１０のインターフェイス１９６に接続される。

電源部１３０には、バッテリー１３２と、電源制御回路１３４とが含まれている。電源部１３０は、制御装置１０が動作するための電力を供給する。バッテリー１３２は、充電可能な電池である。電源制御回路１３４は、バッテリー１３２の残容量の検出と、ＯＳ１４３（図６）への充電の制御を行う。電源制御回路１３４は、メインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値や、バッテリー１３２の電圧の検出値をメインプロセッサー１４０へと出力する。なお、電源部１３０が供給する電力に基づいて、制御装置１０から画像表示部２０へと電力を供給してもよい。電源部１３０から制御装置１０の各部および画像表示部２０への電力の供給状態を、メインプロセッサー１４０により制御可能な構成としてもよい。

右表示ユニット２２は、表示ユニット基板２１０と、ＯＬＥＤユニット２２１と、カメラ６１と、照度センサー６５と、ＬＥＤインジケーター６７と、温度センサー２１７とを備える。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１と、受信部（Ｒｘ）２１３と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２１５とが実装されている。受信部２１３は、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２２５（図２）へと出力する。

ＥＥＰＲＯＭ２１５は、各種のデータをメインプロセッサー１４０が読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０のＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４のセンサー特性に関するデータ等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、後述する温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれる。出荷後は、メインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを読み込んで各種の処理に利用する。

カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データあるいは撮像結果を表す信号を制御装置１０へと出力する。照度センサー６５は、図１に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者の前方からの外光を受光するように配置される。照度センサー６５は、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７は、図１に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。

温度センサー２１７は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図２）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は主としてＯＬＥＤパネル２２３の温度を検出する。なお、温度センサー２１７は、ＯＬＥＤパネル２２３あるいはＯＬＥＤ駆動回路２２５（図２）に内蔵されてもよい。例えば、ＯＬＥＤパネル２２３がＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路２２５と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７を実装してもよい。

左表示ユニット２４は、表示ユニット基板２３０と、ＯＬＥＤユニット２４１と、温度センサー２３９とを備える。表示ユニット基板２３０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１と、受信部（Ｒｘ）２３３と、６軸センサー２３５と、磁気センサー２３７とが実装されている。受信部２３３は、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する。受信部２３３は、ＯＬＥＤユニット２４１で表示する画像の画像データを受信した場合に、受信した画像データをＯＬＥＤ駆動回路２４５（図２）へと出力する。

６軸センサー２３５は、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７は、例えば、３軸の地磁気センサーである。６軸センサー２３５と磁気センサー２３７は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された頭部の動きから画像表示部２０の向き、すなわち、使用者の視界が特定される。

温度センサー２３９は、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図２）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は主としてＯＬＥＤパネル２４３の温度を検出する。温度センサー２３９は、ＯＬＥＤパネル２４３あるいはＯＬＥＤ駆動回路２４５（図２）に内蔵されてもよい。詳細は温度センサー２１７と同様である。

右表示ユニット２２のカメラ６１、照度センサー６５、温度センサー２１７と、左表示ユニット２４の６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、制御装置１０のセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２および左表示ユニット２４が備える各センサーの検出値をメインプロセッサー１４０へ出力する。センサーハブ１９２は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデータ形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始および停止させることで、ＬＥＤインジケーター６７を点灯または消灯させる。

図６は、制御装置１０の構成を機能的に示すブロック図である。制御装置１０は、機能的には、記憶機能部１２２と、制御機能部１５０とを備える。記憶機能部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部である。記憶機能部１２２は、記憶機能部１２２のみを使用する構成に替えて、不揮発性記憶部１２１に組み合わせてＥＥＰＲＯＭ２１５やメモリー１１８を使用する構成としてもよい。制御機能部１５０は、メインプロセッサー１４０がコンピュータープログラムを実行することにより、すなわち、ハードウェアとソフトウェアとが協働することにより構成される。

記憶機能部１２２には、制御機能部１５０における処理に供する種々のデータが記憶されている。具体的には、本実施形態の記憶機能部１２２には、設定データ１２３と、コンテンツデータ１２４とが記憶されている。設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。例えば、設定データ１２３には、制御機能部１５０がＨＭＤ１００を制御する際のパラメーター、行列式、演算式、ＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）等が含まれている。また、後述する利用モードが設定データ１２３として予め記憶されている。

コンテンツデータ１２４には、制御機能部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２４には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、操作部１１０によって使用者の操作を取得して、取得した操作内容に応じた処理を制御機能部１５０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者の操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。

制御機能部１５０は、記憶機能部１２２が記憶しているデータを利用して各種処理を実行することにより、ＯＳ１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、入出力制御部１５１、平均色相値算出部１５３、エッジ傾向算出部１５５としての機能を実行する。本実施形態では、ＯＳ１４３以外の各機能部は、ＯＳ１４３上で実行されるコンピュータープログラムとして構成されている。

画像処理部１４５は、画像表示部２０により表示する画像／映像の画像データに基づいて、右表示ユニット２２および左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。画像処理部１４５は、メインプロセッサー１４０がコンピュータープログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で構成してもよい。

なお、画像処理部１４５は、必要に応じて、解像度変換処理、画像調整処理、２Ｄ／３Ｄ変換処理等を実行してもよい。解像度変換処理は、画像データの解像度を右表示ユニット２２および左表示ユニット２４に適した解像度へと変換する処理である。画像調整処理は、画像データの輝度や彩度を調整する処理である。２Ｄ／３Ｄ変換処理は、三次元画像データから二次元画像データを生成し、あるいは、二次元画像データから三次元画像データを生成する処理である。画像処理部１４５は、これらの処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成し、接続ケーブル４０を介して画像表示部２０へと送信する。

表示制御部１４７は、右表示ユニット２２および左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２および左表示ユニット２４のそれぞれによる画像光の生成と射出とを制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づいて、ＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。

また、表示制御部１４７は、後述のポインター画像表示制御処理において、ポインター画像の表示態様を制御する。ポインター画像表示制御処理では、使用者がポインター画像を視認しやすいようにポインター画像を目立たせて表示させる。例えば、ポインター画像の色および模様等の表示態様を制御する。ポインター画像表示制御処理についての詳細な説明は後述する。

撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶機能部１２２に一時的に記憶させる。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は、撮像画像データをカメラ６１から取得して、記憶機能部１２２に一時的に記憶させる。また、撮像制御部１４９は、後述のポインター画像表示制御処理において、表示制御部１４７の指示に応じて、外界の撮像を行って外界の撮像画像を得る。

入出力制御部１５１は、トラックパッド１４（図１）と、方向キー１６と、決定キー１７とを適宜、制御して、これらから入力指令を取得する。取得した指令は、ＯＳ１４３、またはＯＳ１４３と共にＯＳ１４３上で動作するコンピュータープログラムに出力される。

平均色相値算出部１５３は、後述のポインター画像表示制御処理において、後述の基準画像におけるポインター画像の表示位置を含む領域の平均色相値を算出する。エッジ傾向算出部１５５は、後述のポインター画像表示制御処理において、後述の基準画像におけるポインター画像の表示位置を含む領域のエッジ傾向を算出する。

Ａ２．拡張現実感表示：
図７は、ＨＭＤ１００による拡張現実感表示の一例を示す説明図である。図７では、使用者の視界ＶＲを例示している。上述のようにして、ＨＭＤ１００の使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は表示対象の対象画像ＡＩを拡張現実感（ＡＲ）として視認する。図７に示す例では、対象画像ＡＩは、ＨＭＤ１００のＯＳのメニュー画面である。メニュー画面には、例えば、「メッセージ」、「電話」、「カメラ」、「ブラウザー」、「ナビゲーション」の各アプリケーションプログラムを起動するためのアイコンが含まれる。また、右導光板２６、左導光板２８が外界からの光を透過することで、使用者は外界ＳＣを視認する。このように、本実施形態のＨＭＤ１００の使用者は、視界ＶＲのうち対象画像ＡＩが表示された部分については、外界ＳＣに重なるようにして対象画像ＡＩを見ることができる。また、視界ＶＲのうち対象画像ＡＩが表示されていない部分については、外界ＳＣだけを見ることができる。

図７に示すように、対象画像ＡＩ上には、ポインター画像Ｐｔが表示されている。図７では、説明の便宜上、実際に使用者が視認するポインター画像Ｐｔに比べて拡大して示している。ポインター画像Ｐｔは、使用者が対象画像ＡＩ上に表示された各メニューを選択するために用いられる。図７に示す例では、使用者は、対象画像ＡＩ上のブラウザーアイコンにポインター画像Ｐｔをあわせることで、ブラウザーメニューを選択している。使用者は、この状態で、トラックパッド１４上でタップ操作等を行うことにより、ブラウザーメニューを実行できる。

本実施形態において、「ポインター画像」とは、ＧＵＩ操作にかかる操作位置の指標であって、対象画像ＡＩにおける操作対象位置を示す指標を意味し、本実施形態では、マウスポインター画像を意味する。なお、マウスポインターに限らず、例えば、マーカー、マウスカーソルなど任意のポインター画像を用いてもよい。図７に示す例では、ポインター画像Ｐｔは、矢印形状を有する。なお、ポインター画像Ｐｔの形状は、矢印形状に限らず、円形、三角形や四角形等の幾何学図形および記号等であってもよい。また、ポインター画像Ｐｔに模様が付されている構成であってもよい。本実施形態では、ポインター画像Ｐｔの模様は方向性を有する。具体的には、図７に示すように、ポインター画像Ｐｔには、ある方向に繰り返される模様が付されている。なお、模様の方向についての詳細な説明は、後述する。

上述のように、使用者は、外界ＳＣに重なるようにして対象画像ＡＩを見るので、一般的には、外界ＳＣおよび対象画像ＡＩの特徴、例えば、彩度、明度および色相等により、ポインター画像Ｐｔを視認しづらい場合がある。しかし、後述のポインター画像表示制御処理において、外界ＳＣの撮像画像又は対象画像ＡＩ又はそれらの合成画像の特徴量に応じて、ポインター画像Ｐｔの表示態様を制御してポインター画像Ｐｔを表示することで、ポインター画像Ｐｔの視認性を向上させている。

Ａ３．ポインター画像表示制御処理：
図８は、ポインター画像表示制御処理の処理手順を示すフローチャートである。ポインター画像表示制御処理では、利用モードに応じてポインター画像Ｐｔの表示態様を変更する。ポインター画像表示制御処理は、使用者が電源スイッチ１８をオンに設定すると開始される。図８に示すように、表示制御部１４７は、設定データ１２３から利用モードを取得する（ステップＳ１００）。

利用モードとは、ポインター画像Ｐｔの表示態様を変化させるモードであり、本実施形態では、「色調変更モード」と「向き変更モード」と「視差変更モード」との合計３種類のモードが存在する。「色調変更モード」とは、ポインター画像Ｐｔの色を変更してポインター画像Ｐｔを表示するモードである。「向き変更モード」とは、ポインター画像Ｐｔの模様の向きを変更してポインター画像Ｐｔを表示するモードである。「視差変更モード」とは、ポインター画像Ｐｔに視差をつけてポインター画像Ｐｔを表示するモードである。使用者は、これら３つのモードについて、それぞれ独立して有効または無効を選択的に設定でき、各モードについての有効性の情報が設定データ１２３として記憶機能部１２２に記憶される。なお、本実施形態では、上記３つのモードの全てが有効であると予め設定されている。

ステップＳ１００の実行後、表示制御部１４７は、色調変更モードは有効であるか否かを判定する（ステップＳ１０５）。色調変更モードが有効でないと判定された場合（ステップＳ１０５：ＮＯ）、色調変更処理（ステップＳ１１０）を実行しない。これに対して、色調変更モードが有効であると判定された場合（ステップＳ１０５：ＹＥＳ）、表示制御部１４７は、色調変更処理を実行する（ステップＳ１１０）。

図９は、色調変更処理（ステップＳ１１０）の詳細な処理手順を示すフローチャートである。図９に示すように、表示制御部１４７は、基準画像設定処理を実行する（ステップＳ２００）。本実施形態において、「基準画像」とは、ポインター画像Ｐｔの表示態様を変更する際に特徴量が考慮される画像である。基準画像は、表示制御部１４７により、撮像により得られた外界画像と、対象画像ＡＩと、撮像により得られた外界画像および対象画像ＡＩの合成画像と、のうちのいずれか一つの画像に設定される。

図１０は、基準画像設定処理（ステップＳ２００）の詳細な処理手順を示すフローチャートである。図１０に示すように、表示制御部１４７は、外界輝度を取得する（ステップＳ３００）。具体的には、表示制御部１４７は、照度センサー６５の取得する外光の受光量に対応した検出値に基づいて外界輝度を取得する。

ステップＳ３００の実行後、表示制御部１４７は、外界輝度が対象画像輝度に比べて著しく高いか否かを判定する（ステップＳ３０５）。対象画像輝度は、対象画像ＡＩの全画素のＲＧＢ値を輝度値に変換して、それらの平均値として算出される。表示制御部１４７は、予め閾値を定めておき、外界輝度と対象画像輝度との差の絶対値が閾値よりも大きい場合、外界輝度が対象画像輝度に比べて著しく高いと判定する。これに対して、外界輝度と対象画像輝度との差の絶対値が閾値以下の場合、外界輝度が対象画像輝度に比べて著しく高くないと判定する。外界輝度が対象画像輝度に比べて著しく高いと判定された場合（ステップＳ３０５：ＹＥＳ）、撮像制御部１４９は、カメラ６１に外界を撮像させて外界画像を得る（ステップＳ３１０）。ステップＳ３１０の実行後、表示制御部１４７は、撮像により得られた外界画像を基準画像として設定する（ステップＳ３１５）。ステップＳ３１５の実行後、基準画像設定処理（ステップＳ２００）は終了し、図９に示す後述のステップＳ２０５が実行される。

上述のステップＳ３０５において、外界輝度が対象画像輝度に比べて著しく高くないと判定された場合（ステップＳ３０５：ＮＯ）、表示制御部１４７は、外界輝度が対象画像輝度に比べて著しく低いか否かを判定する（ステップＳ３２０）。外界輝度が対象画像輝度に比べて著しく低いと判定された場合（ステップＳ３２０：ＹＥＳ）、表示制御部１４７は、対象画像ＡＩを基準画像として設定する（ステップＳ３２５）。ステップＳ３２５の実行後、上述のステップＳ３１５の実行後と同様に、基準画像設定処理（ステップＳ２００）は終了し、図９に示す後述のステップＳ２０５が実行される。

上述のステップＳ３２０において、外界輝度が対象画像輝度に比べて著しく低くないと判定された場合（ステップＳ３２０：ＮＯ）、上述のステップＳ３１０と同様に、撮像制御部１４９は、カメラ６１に外界を撮像させて外界画像を得る（ステップＳ３３０）。ステップＳ３３０の実行後、表示制御部１４７は、撮像により得られた外界画像と対象画像ＡＩとを加法混色して合成画像を得る（ステップＳ３３５）。なお、加法混色は公知な技術であるため、その詳細な説明は省略する。ステップＳ３３５において、加法混色の対象となるのは、各画像の全体である。ステップＳ３３５の実行後、表示制御部１４７は、合成画像を基準画像として設定する（ステップＳ３４０）。ステップＳ３４０の実行後、上述のステップＳ３１５およびステップＳ３２５の実行後と同様に、基準画像設定処理（ステップＳ２００）は終了し、図９に示す後述のステップＳ２０５が実行される。

図９に示すように、ステップＳ２００の完了後、表示制御部１４７は、基準画像とポインター画像Ｐｔとの重複領域を算出する（ステップＳ２０５）。本実施形態において、「重複領域」とは、基準画像におけるポインター画像Ｐｔの表示位置を含む領域であって、ポインター画像Ｐｔの長手方向の長さの中点を中心とする略真円形状の領域を意味する。図７に示す例では、領域Ａｒ１が重複領域として算出される。領域Ａｒ１は、ポインター画像Ｐｔに加えて、ポインター画像Ｐｔの周辺の領域も含む領域である。

図９に示すように、ステップＳ２０５の実行後、表示制御部１４７は、重複領域Ａｒ１の色相値を取得する（ステップＳ２１０）。具体的には、重複領域Ａｒ１の各画素の色相値（色相角）を取得する。ステップＳ２１０の実行後、表示制御部１４７は、重複領域Ａｒ１の平均色相値を算出する（ステップＳ２１５）。具体的には、上述のステップＳ２１０で取得した重複領域Ａｒ１の各画素の色相値の和を重複領域の画素数で割ることにより平均色相値を算出する。

ステップＳ２１５の実行後、表示制御部１４７は、ポインター画像Ｐｔの色を平均色相値の補色にする（ステップＳ２２０）。本実施形態において、「補色」とは、マンセル色相環において、平均色相値の表す色相と、ポインター画像Ｐｔの色相値の表す色相と、の間の角度（色相角）が、１８０度である色相を意味する。また、「補色」には、色相角がちょうど１８０度である場合に加えて、例えば、色相角が１８０度±４５度の範囲にある場合も含む広い概念を意味する。なお、色相環は、マンセル色相環に限らず、例えば、ＰＣＣＳ色相環であってもよいし、オストワルト色相環であってもよい。また、色相環は、赤、黄、緑、青、紫等の各色が連続的につながっていなくてもよい。

ステップＳ２２０において、ポインター画像Ｐｔの色が平均色相値の補色にして表示されると、色調変更処理（ステップＳ１１０）が終了する。

図１１は、色調変更処理（ステップＳ１１０）実行後のポインター画像Ｐｔの一例を模式的に示す説明図である。図１１では、説明の便宜上、基準画像Ｓｔｇｄにおける重複領域Ａｒ１およびポインター画像Ｐｔを図７に示す例よりもさらに拡大して示している。また、重複領域Ａｒ１およびポインター画像Ｐｔの色をハッチングにより表している。図１１に示すように、ポインター画像Ｐｔは、重複領域Ａｒ１の平均色相値の色の補色にして表示されている。このため、ポインター画像Ｐｔは、重複領域Ａｒ１におけるポインター画像Ｐｔを除いた領域に対して目立ち、ポインター画像Ｐｔの視認性は向上している。

図８に示すように、色調変更処理（ステップＳ１１０）の実行後、表示制御部１４７は、向き変更モードは有効であるか否かを判定する（ステップＳ１１５）。向き変更モードが有効でないと判定された場合（ステップＳ１１５：ＮＯ）、向き変更処理（ステップＳ１２０）は実行されない。これに対して、向き変更モードが有効であると判定された場合（ステップＳ１１５：ＹＥＳ）、表示制御部１４７は、向き変更処理を実行する（ステップＳ１２０）。

図１２は、向き変更処理（ステップＳ１２０）の詳細な処理手順を示すフローチャートである。向き変更処理が開始されると、まず上述のステップＳ２００およびステップＳ２０５と同じ処理が実行される。したがって、基準画像が設定されて重複領域Ａｒ１が算出される。

図１２に示すように、ステップＳ２０５の実行後、表示制御部１４７は、重複領域Ａｒ１のエッジ検出をする（ステップＳ４００）。ステップＳ４００では、キャニー法等の公知な画像処理技術を用いることによりエッジ検出を行う。

ステップＳ４００の実行後、表示制御部１４７は、重複領域Ａｒ１のエッジ傾向を算出する（ステップＳ４０５）。本実施形態において、「エッジ傾向」とは、基準画像の端を原点としたときのエッジにおける原点に近い端点を基点とし、原点に遠い端点を終点とするベクトルを意味する。ステップＳ４０５では、ステップＳ４００で検出した全てのエッジ傾向の合成ベクトルをエッジ傾向として算出する。

ステップＳ４０５の実行後、表示制御部１４７は、ポインター画像Ｐｔの模様をエッジ傾向の合成ベクトルと交差する方向に繰り返される縞模様にする（ステップＳ４１０）。ステップＳ４１０の実行後、向き変更処理（ステップＳ１２０）が終了する。

図１３は、向き変更処理（ステップＳ１２０）実行後のポインター画像Ｐｔの一例を模式的に示す説明図である。図１３では、合成画像が基準画像Ｓｔｇｄである場合を示している。図１３において、Ｘ軸は基準画像Ｓｔｇｄの長辺と平行な方向を示し、Ｙ軸は基準画像Ｓｔｇｄの短辺と平行な方向を示している。図１３に示す例では、外界画像における重複領域Ａｒ１のエッジ傾向Ｅｄｇ１は、Ｙ軸と平行なベクトルであり、対象画像ＡＩにおける重複領域Ａｒ１のエッジ傾向Ｅｄｇ２は、Ｘ軸と平行なベクトルである。したがって、重複領域Ａｒ１におけるエッジ傾向Ｅｄｇ１およびエッジ傾向Ｅｄｇ２の合成ベクトルは、方向Ｄ１に沿ったベクトルとなる。このため、ステップＳ４１０では、ポインター画像Ｐｔの模様が、方向Ｄ１と垂直な方向Ｄ２に繰り返される縞模様にしてポインター画像Ｐｔが表示される。

図８に示すように、向き変更処理（ステップＳ１２０）の実行後、表示制御部１４７は、視差変更モードは有効であるか否かを判定する（ステップＳ１２５）。視差変更モードが有効でないと判定された場合（ステップＳ１２５：ＮＯ）、視差変更処理（ステップＳ１３０）は実行されず、上述のステップＳ１００に戻る。これに対して、視差変更モードが有効であると判定された場合（ステップＳ１２５：ＹＥＳ）、表示制御部１４７は、視差変更処理を実行する（ステップＳ１３０）。

図１４は、視差変更処理（ステップＳ１３０）の詳細な処理手順を示すフローチャートである。図１４に示すように、視差変更処理が開始されると、まず上述のステップＳ２００と同じ処理が実行される。したがって、基準画像が設定される。ステップＳ２００の実行後、表示制御部１４７は、上述の色調変更処理（ステップＳ１１０）を実行したか否かを判定する（ステップＳ５００）。色調変更処理を実行していないと判定された場合（ステップＳ５００：ＮＯ）、表示制御部１４７は、基準画像における制御対象座標およびその周辺領域の色相値を算出する（ステップＳ５０５）。本実施形態において、「制御対象座標」とは、ポインター画像Ｐｔのうち視差変更処理の対象とする座標を意味する。また、「周辺領域」とは、ポインター画像Ｐｔに視差をつけて表示する際にポインター画像Ｐｔの移動が予想される領域を含む領域を意味する。なお、本実施形態では、ポインター画像Ｐｔに視差をつけて表示する際のポインター画像Ｐｔの最大移動領域が周辺領域として予め設定されている。ステップＳ５０５において、表示制御部１４７は、上述の色調変更処理（ステップＳ１１０）におけるステップＳ２１０と同様な手順により、基準画像における制御対象座標およびその周辺領域の色相値を算出する。

ステップＳ５０５の実行後、表示制御部１４７は、制御対象およびその周辺領域の平均色相値を算出する（ステップＳ５１０）。ステップＳ５１０では、上述の色調変更処理（ステップＳ１１０）におけるステップＳ２１５と同様に、ステップＳ５０５で算出した各色相値の和をとり、制御対象およびその周辺領域の画素数で割ることにより平均色相値を算出する。

ステップＳ５１０の実行後、表示制御部１４７は、制御対象およびその周辺領域の平均色相値を平均色相値の補色にする（ステップＳ５１５）。ステップＳ５１５では、上述の色調変更モード（ステップＳ１００）におけるステップＳ２２０と同様に、制御対象およびその周辺領域の平均色相値の補色にする。

ステップＳ５１５の実行後、表示制御部１４７は、ポインター画像Ｐｔを視差のついた立体として表示する（ステップＳ５２０）。具体的には、表示制御部１４７は、表示制御部１４７において予め設定された視差の変化量のデフォルト値に基づいてポインター画像Ｐｔに視差をつけて立体として表示する。

ステップＳ５２０の実行後、表示制御部１４７は、立体として表示されたポインター画像Ｐｔの焦点位置を、画像表示部２０から外界へと向かう方向に所定距離移動させることと、外界から画像表示部２０へと向かう方向に所定距離移動させることと、を交互に行う（ステップＳ５２５）。具体的には、画像表示部２０上にポインター画像Ｐｔが表示されている状態におけるポインター画像Ｐｔと使用者との焦点位置を基準位置とし、基準位置から外界へと向かう方向に所定距離だけ焦点位置を移動させる。また、移動させた焦点位置を外界から画像表示部２０へと向かう方向に所定距離だけ移動させる。ステップＳ５２５の実行後、視差変更処理（ステップＳ１３０）は終了し、図８に示すように、上述のステップＳ１００に戻る。

上述のステップＳ５００において、色調変更処理を実行したと判定された場合（ステップＳ５００：ＹＥＳ）、表示制御部１４７は、上述のステップＳ５２０およびステップＳ５２５を実行し、視差変更処理（ステップＳ１３０）は終了し、図８に示すように、上述のステップＳ１００に戻る。

なお、上述のステップＳ５０５〜ステップＳ５１５は、上述のステップＳ５２０およびステップＳ５２５を実行することにより、制御対象座標がわかりにくくなることを抑制するために行う処理である。また、これらの処理は、図９に示す色調変更処理（ステップＳ１１０）におけるステップＳ２１０〜ステップＳ２２０に相当する処理である。このため、図１４に示すように、色調変更処理（ステップＳ１１０）をすでに実行している場合、視差変更処理（ステップＳ１３０）において再びこれらの処理は実行されない。

図１５は、視差変更処理（ステップＳ１３０）実行後におけるポインター画像Ｐｔの一例を模式的に示す説明図である。図１５において、ポインター画像Ｐｔは、焦点位置を移動させていない状態を示している。また、ポインター画像Ｐｔ１は焦点位置を画像表示部２０から外界へと向かう方向に所定距離移動させた状態を、ポインター画像Ｐｔ２は焦点位置を外界から画像表示部２０へと向かう方向に所定距離移動させた状態を、それぞれ示している。

図１５に示すように、ポインター画像Ｐｔと使用者の右眼ＲＥおよび左眼ＬＥとの焦点距離は、焦点距離ｗである。ポインター画像Ｐｔ１と使用者の右眼ＲＥおよび左眼ＬＥとの焦点距離ｗ１は、焦点距離ｗよりも大きい。このため、ポインター画像Ｐｔ１は、ポインター画像Ｐｔに比べて使用者から遠くに見えるので、ポインター画像Ｐｔ１は、ポインター画像Ｐｔを凹ませた形状で視認させることができる。これに対して、ポインター画像Ｐｔ２と使用者の右眼ＲＥおよび左眼ＬＥとの焦点距離ｗ２は、焦点距離ｗよりも小さい。このため、ポインター画像Ｐｔ２は、ポインター画像Ｐｔに比べて使用者から近くに見えるので、ポインター画像Ｐｔ２は、ポインター画像Ｐｔを出っ張らせた形状で視認させることができる。

以上説明した第１実施形態のＨＭＤ１００によれば、撮像により得られた外界画像と、対象画像ＡＩと、外界画像および対象画像ＡＩの合成画像と、のうちいずれか一つを基準画像Ｓｔｇｄとして、基準画像Ｓｔｇｄにおけるポインター画像Ｐｔの表示位置を含む領域Ａｒ１の特徴量（平均色相値およびエッジ傾向）に応じて、ポインター画像Ｐｔの表示態様を変更して表示させる。このため、基準画像Ｓｔｇｄの特徴を考慮した表示態様によりポインター画像Ｐｔを表示させることができ、ポインター画像Ｐｔの視認性を向上できる。

また、基準画像Ｓｔｇｄは、合成画像であるので、外界画像および対象画像ＡＩの特徴量を考慮してポインター画像Ｐｔの表示態様を制御できる。したがって、透過して視認される外界に対象画像ＡＩが重ねて表示され、さらにポインター画像Ｐｔが重ねて表示される場合に、ポインター画像Ｐｔの視認性を向上できる。

加えて、ポインター画像Ｐｔの色を平均色相値の補色にしてポインター画像Ｐｔを表示させるので、ポインター画像Ｐｔの色が平均色相値の補色でない構成に比べて、ポインター画像Ｐｔをより視認しやすくできる。

また、ポインター画像Ｐｔの模様をエッジ傾向に基づき定まる方向性を有する模様にしてポインター画像Ｐｔを表示させるので、ポインター画像Ｐｔの模様の視認性を高めて、ポインター画像Ｐｔ自体の視認性を向上できる。

加えて、ポインター画像Ｐｔの模様をエッジ傾向の合成ベクトルと垂直な方向に繰り返される縞模様にしてポインター画像Ｐｔを表示させるので、ポインター画像Ｐｔの縞模様の視認性を高めて、ポインター画像Ｐｔ自体の視認性を向上できる。

加えて、立体として表示されたポインター画像Ｐｔの焦点位置を、画像表示部２０から外界へと向かう方向に所定距離移動させることと、外界から画像表示部２０へと向かう方向に所定距離移動させることとを交互に行うので、立体として表示されたポインター画像Ｐｔを凹ませて表示することと出っ張らせて表示することとを交互に行うことができ、ポインター画像Ｐｔの視認性をより向上できる。

Ｂ．第２実施形態：
Ｂ１．透過型表示装置の全体構成：
第２実施形態における頭部装着型表示装置１００は、図１に示す、第１実施形態における頭部装着型表示装置１００と同じであるので、その詳細な説明は省略する。

Ｂ２．ポインター画像表示制御処理：
図１６は、第２実施形態における視差変更処理（ステップＳ１３０ａ）の詳細な処理手順を示すフローチャートである。第２実施形態におけるポインター画像表示制御処理は、視差変更処理の手順において第１実施形態における視差変更処理（ステップＳ１３０）と異なり、他の処理手順は第１実施形態と同じである。第２実施形態の視差変更処理（ステップＳ１３０ａ）は、ステップＳ５１６およびステップＳ５１７を追加して実行する点と、ステップＳ５２５を省略する点とにおいて、第１実施形態の視差変更処理（ステップＳ１３０）と異なる。第２実施形態の視差変更処理（ステップＳ１３０ａ）におけるその他の手順は、第１実施形態の視差変更処理（ステップＳ１３０）と同じであるので、同一の手順には同一の符号を付し、その詳細な説明は省略する。

第２実施形態の視差変更処理では、ポインター画像Ｐｔを、視差のついた立体として表示することと、視差のついていない面として表示することと、を交互に切り替えてポインター画像Ｐｔを表示させる。具体的には、図１６に示すように、制御対象座標およびその周辺領域を平均色調値の補色にされると（ステップＳ５１５）、表示制御部１４７は、平均色相値に基づいて視差の変化量を設定する（ステップＳ５１６）。具体的には、表示制御部１４７は、ポインター画像Ｐｔの平均色相値と、重複領域Ａｒ１の平均色相値との差を算出し、算出した平均色相値の差が所定の閾値よりも大きい場合、視差の変化量を相対的に小さな固定値に設定する。また、算出した平均色相値の差が所定の閾値以下である場合、視差の変化量を相対的に大きな固定値に設定する。ポインター画像Ｐｔの平均色相値と重複領域Ａｒ１の平均色相値との差が大きい場合、視差の変化量が小さくてもポインター画像Ｐｔは識別し易いのに対して、ポインター画像Ｐｔの平均色相値と重複領域Ａｒ１の平均色相値との差が小さい場合、視差の変化量を大きくしないとポインター画像Ｐｔが識別できなくなるおそれがある。そこで、上述のように、算出した平均色相値の差が大きい場合に視差の変化量を相対的に小さな値に設定し、算出した平均色相値の差が小さい場合に視差の変化量を相対的に大きな値に設定する。

ステップＳ５１６の実行後、表示制御部１４７は、平均色相値に基づいて視差をつける周期を設定する（ステップＳ５１７）。具体的には、上述のステップＳ５１６と同様に、表示制御部１４７は、ポインター画像Ｐｔの平均色相値と、重複領域Ａｒ１の平均色相値との差を算出し、算出した平均色相値の差が所定の閾値よりも大きい場合、視差の周期を相対的に短く設定する。また、算出した平均色相値の差が所定の閾値以下である場合、視差の周期を相対的に長く設定する。

なお、視差の変化量および視差の周期は、３Ｄコンソーシアムが策定した３ＤＣ安全ガイドライン（ＩＳＯ ＩＷＡ３準拠）に基づいて設定することが好ましい。具体的には、視差は、瞳孔間距離以下の範囲に設定することが好ましく、５ｃｍに対応する範囲で設定することがさらに好ましい。また、視差角の変化量は２度以内に設定することが好ましく、快適視差範囲である１度以内に設定することがさらに好ましい。

ステップＳ５１７の実行後、上述のステップＳ５２０と同様に、ポインター画像Ｐｔを視差のついた立体として表示する。このとき、上述のステップＳ５１６およびステップＳ５１７において設定された視差の変化量および周期に基づいてポインター画像Ｐｔが表示される。

以上説明した第２実施形態のＨＭＤ１００によれば、ポインター画像Ｐｔを視差のついた立体として表示し、平均色相値に基づいて視差の変化量を設定するので、平均色相値が異なる領域にポインター画像Ｐｔが移動した場合にポインター画像Ｐｔの視認性を高め、ポインター画像への追従性（目で追う性能）を向上できる。

加えて、ポインター画像Ｐｔを視差のついた立体として表示することと、ポインター画像Ｐｔを視差のついていない面として表示することと、を交互に切り替え、平均色相値に基づいて視差をつける周期を設定するので、ポインター画像Ｐｔを目立たせて視認性を高めることができる。また、平均色相値が異なる領域にポインター画像Ｐｔが移動した場合にも視差をつける周期が変化することで、ポインター画像Ｐｔを目立たせることができ、ポインター画像Ｐｔへの追従性を向上できる。

Ｃ．第３実施形態：
Ｃ１．透過型表示装置の全体構成：
第３実施形態における頭部装着型表示装置１００は、図１に示す、第１実施形態における頭部装着型表示装置１００と同じであるので、その詳細な説明は省略する。

Ｃ２．ポインター画像表示制御処理：
図１７は、第３実施形態における視差変更処理（ステップＳ１３０ｂ）の詳細な処理手順を示すフローチャートである。第３実施形態におけるポインター画像表示制御処理は、視差変更処理の手順において第１実施形態における視差変更処理（ステップＳ１３０）と異なり、他の処理手順は第１実施形態と同じである。第３実施形態の視差変更処理（ステップＳ１３０ｂ）は、ステップＳ５２５に代えてステップＳ５２５ａを実行する点において、第１実施形態の視差変更処理（ステップＳ１３０）と異なる。第３実施形態の視差変更処理（ステップＳ１３０ｂ）におけるその他の手順は、第１実施形態の視差変更処理（ステップＳ１３０）と同じであるので、同一の手順には同一の符号を付し、その詳細な説明は省略する。

第３実施形態の視差変更処理では、ポインター画像Ｐｔの先端部分の明るさを周期的に変更して表示する。具体的には、図１７に示すように、ポインター画像Ｐｔが視差のついた立体として表示されると（ステップＳ５２０）、表示制御部１４７は、ポインター画像Ｐｔの先端部分の明るさを周期的に変更する（ステップＳ５２５ａ）。さらに具体的には、表示制御部１４７は、ポインター画像Ｐｔの先端部分の輝度を予め定められた範囲内で変更する。これにより、使用者にはポインター画像Ｐｔの先端部分が点滅して表示される。

以上説明した第３実施形態のＨＭＤ１００によれば、ポインター画像Ｐｔの少なくとも一部の明るさを周期的に変更して表示させるので、ポインター画像Ｐｔの一部を点滅させて表示させることができ、ポインター画像Ｐｔの視認性をより向上できる。

Ｄ．変形例：
Ｄ１．変形例１：
上記各実施形態において、基準画像は合成画像であったが、本発明はこれに限られない。例えば、基準画像は、対象画像ＡＩであってもよいし、撮像により得られた外界画像であってもよい。例えば、上述の基準画像設定処理（ステップＳ２００）において、外界輝度と対象画像輝度とを比較した際に（ステップＳ３０５、ステップＳ３２０）、外界輝度が所定の閾値よりも低い場合、外界の色や明るさがポインター画像Ｐｔへ影響することが抑制されるので、この場合、基準画像を対象画像ＡＩとしてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ２．変形例２：
上記各実施形態における向き変更処理（ステップＳ１２０）において、ポインター画像Ｐｔの縞模様が繰り返される方向は、エッジ傾向の合成ベクトルと垂直な方向であったが、垂直な方向でなくてもよい。例えば、エッジ傾向の合成ベクトルと９０度とは異なる角度で交差する方向であってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ３．変形例３：
上記第１実施形態では、ポインター画像Ｐｔの模様を縞模様にして表示していたが、本発明はこれに限定されない。例えば、ポインター画像Ｐｔの模様をグラデーションにして表示してもよい。

図１８は、変形例３におけるポインター画像Ｐｔ３の模様を模式的に示す説明図である。図１８に示すポインター画像Ｐｔ３は、図１３に示す第１実施形態のポインター画像Ｐｔと模様のみが異なり、図１８におけるその他の構成要素は図１３におけるその他の構成要素と同一である。図１８に示すように、ポインター画像Ｐｔ３は、ポインター画像Ｐｔ３の先端部ｓ１から後端部ｅ１に向かって、すなわち、エッジ傾向の合成ベクトルの方向Ｄ１と垂直な方向Ｄ２に沿って、ポインター画像Ｐｔ３の色の濃度が次第に薄くなるように表示されている。このように、エッジ傾向に基づいて定まる方向、すなわち、エッジ傾向の合成ベクトルの方向Ｄ１と垂直な方向Ｄ２に沿って層状に異なる色（濃度）となるようにポインター画像Ｐｔ３を表示してもよい。このような構成においても、上記第１実施形態と同様な効果を奏する。

Ｄ４．変形例４：
上記第３実施形態において、ポインター画像Ｐｔの先端部分の明るさを周期的に変更して表示していたが、明るさを周期的に変更して表示するのはポインター画像Ｐｔの先端部分に限られない。例えば、ポインター画像Ｐｔの全体であってもよい。すなわち一般には、ポインター画像Ｐｔの少なくとも一部の明るさを周期的に変更する構成であれば、上記第３実施形態と同様な効果を奏する。

Ｄ５．変形例５：
上記各実施形態において、重複領域Ａｒ１は、基準画像におけるポインター画像Ｐｔの表示位置を含む領域であって、ポインター画像Ｐｔの長手方向の長さの中点を中心とする略真円形状の領域であったが、本発明はこれに限定されない。例えば、略真円形状に限らず、楕円形状や多角形形状などの他の任意の形状であってもよい。また、例えば、ポインター画像Ｐｔの外縁が所定の距離だけ離れた点の集合を外縁とする領域であってもよい。また、例えば、ポインター画像Ｐｔの周辺領域を含まない領域であってもよい。すなわち、ポインター画像Ｐｔの輪郭に沿って形成される領域を重複領域としてもよい。また、例えば、ポインター画像Ｐｔがアイコン等の画像に重なっている場合には、かかるアイコン等の画像を含む領域を重複領域としてもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ６．変形例６：
上記各実施形態において、ポインター画像表示制御処理は、ＨＭＤ１００の電源がオンに設定されると開始されていたが、本発明はこれに限定されない。例えば、ＨＭＤ１００における所定動作の検知を契機としてポインター画像表示制御処理を開始してもよい。所定動作としては、例えば、制御装置１０におけるトラックパッド１４上でのタップ操作や、所定のアプリケーションの起動等が該当する。このような構成においても、上記各実施形態と同様な効果を奏する。加えて、ＨＭＤ１００における所定動作の検知を契機として、ポインター画像Ｐｔの表示態様の制御を実行するので、ポインター画像Ｐｔの表示態様の制御を実行する契機をＨＭＤ１００の利用者が調整でき、利用者の利便性を向上できる。さらに、使用者がポインター画像Ｐｔを視認しづらい場合にのみ所定動作を行ってポインター画像Ｐｔの視認性を向上させることができるので、常時ポインター画像表示制御処理を行う構成に比べて、ＨＭＤ１００の処理負荷を低減できる。

Ｄ７．変形例７：
上記各実施形態において、ポインター画像表示制御処理の利用モードとして、色調変更モード、向き変更モードおよび視差変更モードの３つが用いられていたが、本発明はこれに限定されない。例えば、色調変更モードを省略して向き変更モードおよび視差変更モードの２つを用いてもよい。また、例えば、色調変更モードのみを用いてもよい。このような構成においても、基準画像におけるポインター画像Ｐｔの表示位置を含む領域の特徴量に応じて、ポインター画像Ｐｔの表示態様を変更して表示させるので、上記各実施形態と同様な効果を奏する。

Ｄ８．変形例８：
上記各実施形態において、合成画像は、外界画像の全体と対象画像ＡＩの全体との合成画像であったが、本発明はこれに限定されない。例えば、外界画像におけるポインター画像Ｐｔの表示位置を含む領域と、対象画像ＡＩにおけるポインター画像Ｐｔの表示位置を含む領域と、の合成画像であってもよい。このような構成においても、上記各実施形態と同様な効果を奏する。加えて、処理領域を狭くでき、ポインター画像表示制御処理の処理負荷を低減できる。

Ｄ９．変形例９：
上記各実施形態において、合成画像は、加法混色により生成していたが、本発明はこれに限定されない。例えば、加法減色により生成してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１０．変形例１０：
上記各実施形態において、基準画像設定処理（ステップＳ２００）は、色調変更処理、向き変更処理および視差変更処理のそれぞれにおいて実行されていたが、本発明はこれに限定されない。例えば、利用モードとして複数のモードを用いる場合、先に実行される表示態様変更処理において基準画像設定処理を実行し、その後に実行される他の表示態様変更処理では先に実行された基準画像設定処理の処理結果を利用してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１１．変形例１１：
上記各実施形態において、ポインター画像表示制御処理を実行する表示装置は、ＨＭＤ１００であったが、本発明はこれに限定されない。例えば、ヘッドアップディスプレイ（ＨＵＤ）であってもよいし、ビデオシースルー型ＨＭＤであってもよい。また、据え置き型の透過型表示装置でもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１２．変形例１２：
上記各実施形態において、表示制御部１４７の機能の少なくとも一部を他の制御機能部が実行してもよい。具体的には、上記各実施形態において表示制御部１４７は、ＯＬＥＤパネル２２３、２４３による画像の表示の実行と、ポインター画像表示制御処理と、を実行していたが、例えば、ポインター画像表示制御処理を他の制御機能部が実行してもよい。また、これら制御機能部の機能および処理の一部又は全部は、ＣＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のデジタル回路を用いて実現してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

Ｄ１３．変形例１３：
上記第２実施形態において、視差の変化量および視差の周期は、ポインター画像Ｐｔの平均色相値と重複領域Ａｒ１の平均色相値との差が所定の閾値よりも大きい場合と、所定の閾値以下である場合とでそれぞれ決まった値に設定されていたが、本発明はこれに限定されない。例えば、視差の変化量および視差の周期は、平均色相値の差が大きくなるにしたがって小さくなるように設定されてもよいし、平均色相値の差が小さくなるにしたがって大きくなるように設定されてもよい。また、例えば、平均色相値の差と比例するように設定されていてもよい。このような構成おいても、上記第２実施形態と同様な効果を奏する。

Ｄ１４．変形例１４：
上記各実施形態における色調変更処理、向き変更処理および視差変更処理において、それぞれ、表示態様の変更後のポインター画像Ｐｔの表示処理を行っていたが、本発明はこれに限定されない。例えば、色調変更処理、向き変更処理および視差変更処理のそれぞれの処理において、ポインター画像Ｐｔの表示態様の変更を行った後、変更後のポインター画像Ｐｔの表示を実行しなくてもよい。この場合、各表示態様変更処理のうち最後に実行された表示態様変更処理の実行後におけるポインター画像Ｐｔを表示してもよい。具体的には、図８に示すステップＳ１３０実行後にポインター画像Ｐｔの表示処理を行ってもよい。このような構成であっても、上記各実施形態と同様な効果を奏する。

Ｄ１５．変形例１５：
上記各実施形態および変形例における向き変更処理において、ポインター画像Ｐｔの模様を変更していたが、本発明はこれに限定されない。例えば、ポインター画像Ｐｔの形状をエッジ傾向の合成ベクトルと交差する方向に基づく形状に変更してもよい。例えば、ポインター画像Ｐｔの形状が略真円形状である場合、ポインター画像Ｐｔの形状をエッジ傾向の合成ベクトルと交差する方向に沿って細長く伸びる楕円形状に変更してもよい。また、例えば、ポインター画像Ｐｔの模様と形状とのいずれも変更してもよいし、ポインター画像Ｐｔの形状のみを変更してもよい。このような構成においても、上記各実施形態および変形例と同様な効果を奏する。

Ｄ１６．変形例１６：
上記各実施形態において、視差をつけたポインター画像Ｐｔの表示を周期的に繰り返し行っていたが、本発明はこれに限定されない。例えば、視差をつけたポインター画像Ｐｔを一回だけ表示してもよい。また、例えば、一回視差をつけてポインター画像Ｐｔを表示した後、ポインター画像Ｐｔの表示態様を元に戻さないで、視差をつけたポインター画像Ｐｔの表示を継続してもよい。このような構成においても、上記各実施形態と同様な効果を奏する。

本発明は、上述の実施形態および変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御装置、１２…点灯部、１４…トラックパッド、１６…方向キー、１７…決定キー、１８…電源スイッチ、１９…バイブレーター、２０…画像表示部、２１…右保持部、２２…右表示ユニット、２３…左保持部、２４…左表示ユニット、２６…右導光板、２７…前部フレーム、２８…左導光板、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、４６…コネクター、６１…カメラ、６３…マイク、６５…照度センサー、６７…ＬＥＤインジケーター、１００…頭部装着型表示装置、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳレシーバー、１１７…無線通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶機能部、１２３…設定データ、１２４…コンテンツデータ、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御機能部、１５１…入出力制御部、１５３…平均色相値算出部、１５５…エッジ傾向算出部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェイス、２１０…表示ユニット基板、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２２３…ＯＬＥＤパネル、２２５…ＯＬＥＤ駆動回路、２３０…表示ユニット基板、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、２４３…ＯＬＥＤパネル、２４５…ＯＬＥＤ駆動回路、２５１…右光学系、２５２…左光学系、２６１…ハーフミラー、２８１…ハーフミラー、ＡＩ…対象画像、Ａｒ１…重複領域、Ｄ１…方向、Ｄ２…方向、ＥＬ…端部、ＥＲ…端部、Ｅｄｇ１…エッジ傾向、Ｅｄｇ２…エッジ傾向、Ｌ…画像光、ＬＤ…視線、ＬＥ…左眼、ＯＢ…対象物、ＯＬ…外光、Ｐｔ…ポインター画像、Ｐｔ１…ポインター画像、Ｐｔ２…ポインター画像、Ｐｔ３…ポインター画像、ＲＤ…視線、ＲＥ…右眼、ＳＣ…外界、Ｓｔｇｄ…基準画像、ＶＲ…視界、ｅ１…後端部、ｓ１…先端部、ｗ…焦点距離、ｗ１…焦点距離、ｗ２…焦点距離

Claims (12)

1. 透過型表示装置であって、
   光透過性を有し、表示対象の対象画像とポインター画像とを、自身を透過して視認される外界に重ねて表示する表示部と、
   前記ポインター画像の表示態様を制御する表示制御部と、
   外界を撮像する撮像部と、
   を備え、
   前記表示制御部は、前記撮像により得られた外界画像と、前記対象画像と、前記外界画像および前記対象画像の合成画像と、のうちいずれか一つを基準画像として、前記基準画像における前記ポインター画像の表示位置を含む領域の特徴量に応じて、前記ポインター画像の表示態様を変更して表示させる、
   透過型表示装置。
2. 請求項１に記載の透過型表示装置において、
   前記基準画像は、前記合成画像である、
   透過型表示装置。
3. 請求項１または請求項２に記載の透過型表示装置において、
   前記基準画像における前記ポインター画像の表示位置を含む領域の平均色相値を算出する平均色相値算出部を、さらに有し、
   前記表示制御部は、前記ポインター画像の色を前記平均色相値の補色にして前記ポインター画像を表示させる、
   透過型表示装置。
4. 請求項１から請求項３までのいずれか一項に記載の透過型表示装置において、
   前記基準画像における前記ポインター画像の表示位置を含む領域のエッジ傾向を算出するエッジ傾向算出部を、さらに有し、
   前記表示制御部は、前記ポインター画像の模様を前記エッジ傾向に基づき定まる方向性を有する模様にして、前記ポインター画像を表示させる、
   透過型表示装置。
5. 請求項４に記載の透過型表示装置において、
   前記表示制御部は、前記模様を、前記エッジ傾向の合成ベクトルと交差する方向に繰り返される縞模様にして前記ポインター画像を表示させる、
   透過型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の透過型表示装置において、
   前記基準画像における前記ポインター画像の表示位置を含む領域の平均色相値を算出する平均色相値算出部を、さらに有し、
   前記表示制御部は、前記ポインター画像を視差のついた立体として表示し、前記平均色相値に基づいて前記視差の変化量を設定する、
   透過型表示装置。
7. 請求項１から請求項６までのいずれか一項に記載の透過型表示装置において、
   前記基準画像における前記ポインター画像の表示位置を含む領域の平均色相値を算出する平均色相値算出部を、さらに有し、
   前記表示制御部は、前記ポインター画像を視差のついた立体として表示することと、前記ポインター画像を視差のついていない面として表示することと、を交互に切り替え、前記平均色相値に基づいて前記視差をつける周期を設定する、
   透過型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の透過型表示装置において、
   前記表示制御部は、
   前記ポインター画像を視差のついた立体として表示し、
   前記立体として表示された前記ポインター画像の焦点位置を、前記表示部から前記外界へと向かう方向に所定距離移動させることと、前記外界から前記表示部へと向かう方向に前記所定距離移動させることと、を交互に行う、
   透過型表示装置。
9. 請求項１から請求項８までのいずれか一項に記載の透過型表示装置において、
   前記表示制御部は、前記ポインター画像の少なくとも一部の明るさを周期的に変更して前記ポインター画像を表示させる、
   透過型表示装置。
10. 請求項１から請求項９までのいずれか一項に記載の透過型表示装置において、
    前記表示制御部は、前記透過型表示装置における所定動作の検知を契機として、前記ポインター画像の表示態様の制御を実行する、
    透過型表示装置。
11. 光透過性を有し、表示対象の対象画像とポインター画像とを、自身を透過して視認される外界に重ねて表示する表示部を備える透過型表示装置における表示制御方法であって、
    外界を撮像して外界画像を得る工程と、
    前記外界画像と、前記対象画像と、前記外界画像および前記対象画像の合成画像と、のうちいずれか一つを基準画像として、前記基準画像における前記ポインター画像の表示位置を含む領域の特徴量に応じて、前記ポインター画像の表示態様を変更して表示させる工程と、
    を備える、
    表示制御方法。
12. 光透過性を有し、表示対象の対象画像とポインター画像とを、自身を透過して視認される外界に重ねて表示する表示部を備える透過型表示装置における表示制御方法を実現するためのコンピュータープログラムであって、
    外界を撮像して外界画像を得る機能と、
    前記外界画像と、前記対象画像と、前記外界画像および前記対象画像の合成画像と、のうちいずれか一つを基準画像として、前記基準画像における前記ポインター画像の表示位置を含む領域の特徴量に応じて、前記ポインター画像の表示態様を変更して前記表示部に表示させる機能と、
    をコンピューターに実現させるための、
    コンピュータープログラム。

Images