JP2013191905A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

Abstract

【課題】光学透過型の頭部装着型表示装置において、外景の影響を抑制し、外景が変化しても適当な表示画像を使用者に視認させる頭部装着型表示装置および頭部装着型表示装置の制御方法を提供する。
【解決手段】光学透過型の頭部装着型表示装置は、原画像データを取得する取得部と、外光の分光輝度分布を検出する検出部と、検出した外光の分光輝度分布と目標分光輝度分布との差分に基づき、原画像データを調整して表示用画像データを生成する画像補正部と、表示用画像データに基づいて画像光を生成し、使用者に画像光を虚像として認識させる画像表示部と、を備える。
【選択図】図５

Description

本発明は、使用者が外景を視認できる光学透過型の頭部装着型表示装置および頭部装着型表示装置の制御方法に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display））の１つとして、使用者が装着時に画像と共に外景を視認できる光学透過型の頭部装着型表示装置が知られている。光学透過型の頭部装着型表示装置は、コンテンツ映像等の画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。なお、本明細書では、頭部装着型表示装置によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。

光学透過型の頭部装着型表示装置では、使用者の眼に画像光と共に外光も入るため、外光の色温度等によっては表示画像に色ずれが発生する場合がある。光学透過型の頭部装着型表示装置において、外景を撮像し、外景の画像をキャンセルするようなキャンセル画像を生成し、表示したい画像とキャンセル画像とを合成することで、表示したい画像を使用者に視認させやすくする技術が知られている（例えば、特許文献１参照）。

特開２０１０−１７７７８８号公報 特開２０１１−２３７６９６号公報

しかし、上記従来の光学透過型の頭部装着型表示装置では、画像処理の作業負担が多く、外景の画像を撮像してから合成後の表示画像を生成するのに時間がかかり、外景の画像が変化したときに適当な表示画像を表示することが難しかった。

本発明は、上述の課題を解決するためになされたものであり、光学透過型の頭部装着型表示装置において、外景の影響を抑制し、外景が変化しても適当な表示画像を使用者に視認させる技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］光学透過型の頭部装着型表示装置であって、
原画像データを取得する取得部と、
外光の分光輝度分布を検出する検出部と、
前記検出した外光の分光輝度分布と目標分光輝度分布との差分に基づき、前記原画像データを調整して表示用画像データを生成する画像補正部と、
前記表示用画像データに基づいて画像光を生成し、使用者に前記画像光を虚像として認識させる画像表示部と、を備える、頭部装着型表示装置。

この頭部装着型表示装置では、取得部は、原画像データを取得し、検出部は、外光の分光輝度分布を検出する。画像補正部は、検出部が検出した外光の分光輝度分布と目標分光輝度分布との差分に基づき算出した補正値を用いて表示用画像データを生成する。画像表示部は、表示用画像データに基づいて画像光を生成して使用者に画像を視認させる。そのため、この頭部装着型表示装置では、透過して視認できる外景を撮像せずに、外光の影響による補正値を算出して使用者に視認させる画像を生成しているので、画像処理の負担が少なく、外光の影響を抑制して原画像に忠実な画像を使用者に視認させることができる。

［適用例２］適用例１に記載の頭部装着型表示装置であって、前記検出部は、前記分光輝度分布を表す一組の輝度指標値を取得し、前記画像補正部は、前記一組の輝度指標値間の大小関係が前記目標分光輝度分布を表す一組の輝度指標値間の大小関係と異なる場合に、前記大小関係間の差分に基づいて算出した補正値を用いて前記原画像データを調整して前記表示用画像データを生成する、頭部装着型表示装置。

この頭部装着型表示装置では、検出部は、外光の分光輝度分布における一組の輝度指標値を取得する。画像補正部は、一組の輝度指標値間の大小関係が目標分光輝度分布における一組の輝度指標値間の大小関係と異なる場合に、外光の分光輝度分布と目標分光輝度分布とにおける大小関係間の差分に基づいて算出した補正値を用いて取得した原画像を調整して表示用画像データを生成している。そのため、この頭部装着型表示装置では、検出部が検出した外光の分光輝度分布と目標分光輝度分布とにおける一組の輝度指標値間の差分のみによって、補正値が算出されるため、簡便に補正値を算出することができ、画像処理の負担が少なくすることができる。

［適用例３］適用例２に記載の頭部装着型表示装置であって、前記目標分光輝度分布を表す一組の輝度指標値における各輝度指標値は互いに同じ値である、頭部装着型表示装置。

この頭部装着型表示装置では、目標分光輝度分布を表す一組の輝度指標値における各指標値は互いに同じ値であるため、目標分光輝度分布の色は白色であり、画像表示部に表示された表示画像は、外光と合成されて原画像に忠実な画像を使用者に視認させることができる。

［適用例４］適用例２または適用例３に記載の頭部装着型表示装置であって、前記画像補正部は、前記大小関係間の差分が第１の閾値以上である場合には前記調整を行い、前記大小関係間の差分が前記第１の閾値未満である場合には前記調整を行わない、頭部装着型表示装置。

この頭部装着型表示装置では、画像補正部は、外光の分光輝度分布における一組の輝度指標値間の差分が第１の閾値以上である場合には、原画像を補正する。また、外光の分光輝度分布における一組の輝度指標値間の差分が第１の閾値未満である場合には、原画像を補正しない。そのため、この頭部装着型表示装置では、外光の分光輝度分布の影響が小さい場合には原画像に補正を行わないので、使用者の視認性を損なわず、画像処理の作業負担を少なくすることができる。

［適用例５］適用例２または適用例３に記載の頭部装着型装置であって、前記補正値は、前記大小関係間の差分が第２の閾値以上の場合には前記第２の閾値を用い、前記大小関係間の差分が前記第２の閾値未満の場合には前記大小関係間の差分を用いる、頭部装着型表示装置。

この頭部装着型表示装置では、補正値は、外光の分光輝度分布における一組の輝度指標値間の差分が第２の閾値以上である場合には、第２の閾値を用いる。また、外光の分光輝度分布における一組の輝度指標値間の差分が第２の閾値未満である場合には、外光の分光輝度分布における一組の輝度指標値間の差分を用いる。そのため、この頭部装着型表示装置では、外光の分光輝度分布に対する過度な補正を行わないので、外光が変化した場合に、補正量が大きすぎず、使用者が違和感のない画像を視認することができる。

［適用例６］適用例１ないし適用例５のいずれかに記載の頭部装着型表示装置であって、前記画像補正部は、前記外光の分光輝度分布が分布する波長範囲を前記目標分光輝度分布が分布する波長範囲で割った前記波長範囲間の割合に基づいて算出した補正値を用いて前記原画像データを調整して前記表示用画像データを生成する、頭部装着型表示装置。

この頭部装着型表示装置では、画像補正部は、外光の分光輝度分布が分布する波長範囲を目標分光輝度分布が分布する波長範囲で割った割合に基づき算出した補正値を用いて表示用画像データを生成する。そのため、この頭部装着型表示装置では、外光の分光輝度分布と目標分光輝度分布とにおける一組の輝度指標値間に差分がない場合でも、外光の分光輝度分布と目標分光輝度分布とにおける波長範囲間の割合に基づいて補正値が算出されるため、外光の影響を抑制して原画像と忠実な画像を使用者に視認させることができる。

［適用例７］適用例６に記載の頭部装着型表示装置であって、前記画像補正部は、前記割合の差分が第３の閾値以上である場合には前記調整を行い、前記割合の差分が前記第３の閾値未満である場合には前記調整を行わない、頭部装着型表示装置。

この頭部装着型表示装置では、画像補正部は、外光の分光輝度分布と目標分光輝度分布とにおける波長範囲の割合の差分が第３の閾値以上である場合には、原画像データを補正する。また、外光の分光輝度分布と目標分光輝度分布とにおける波長範囲の割合の差分が第３の閾値未満の場合には、原画像データを表示用画像データとする。そのため、この頭部装着型表示装置では、外光の分光輝度分布における波長範囲の偏りが小さく、外光が表示画像に及ぼす影響が小さい場合には画像補正を行わないので、使用者の視認性を損なわず、画像処理の作業負担を少なくすることができる。

［適用例８］適用例６または適用例７に記載の頭部装着型表示装置であって、前記補正値は、前記割合の差分が第４の閾値以下である場合には前記第４の閾値を用い、前記割合の差分が前記第４の閾値未満の場合には前記割合の差分を用いる、頭部装着型表示装置。

この頭部装着型表示装置では、補正値は、外光の分光輝度分布と目標分光輝度分布とにおける波長範囲の割合の差分が第４の閾値以上である場合には第４の閾値を用い、外光の分光輝度分布と目標分光輝度分布とにおける波長範囲の割合の差分が第４の閾値未満である場合には割合の差分を用いる。そのため、この頭部装着型表示装置では、外光の分光輝度分布における波長範囲の偏りが小さく、外光が表示画像に及ぼす影響が小さい場合には画像補正を行わないので、使用者の視認性を損なわず、画像処理の作業負担を少なくすることができる。

［適用例９］適用例１ないし適用例８のいずれかに記載の頭部装着型表示装置であって、前記検出部は、複数の位置における前記分光輝度分布を検出し、前記画像補正部は、前記複数の位置における各前記分光輝度分布と前記目標分光輝度分布との差分に基づき、前記表示画像用データを生成する、頭部装着型表示装置。

この頭部装着型表示装置では、検出部は、複数の位置における外光の分光輝度分布を検出する。画像補正部は、複数の位置における外光の分光輝度分布と目標分光輝度分布とにおける輝度の差分に基づいて表示用画像データを生成するので、検出部が検出する外光が１つの場合に比べて、より使用者に視認しやすい表示画像を提供することができる。

［適用例１０］適用例９に記載の頭部装着型表示装置であって、前記検出部は、使用者の右眼の視線方向における前記分光輝度分布を検出する右眼用検出部と、左眼の視線方向における前記分光輝度分布を検出する左眼用検出部と、を含み、前記表示用画像データは、前記右眼用検出部が検出した前記分光輝度分布と前記目標分光輝度分布との差分に基づき前記原画像データを調整した右眼用表示用画像データと、前記左眼用検出部が検出した前記分光輝度分布と前記目標分光輝度分布との差分に基づき前記原画像データを調整した左眼用表示用画像データと、を含み、前記画像表示部は、前記右眼用表示用画像データに基づいて右眼用画像光を生成して使用者の右眼に前記右眼用画像光を虚像として認識させる右眼用画像表示部と、前記左眼用表示用画像データに基づいて左眼用画像光を生成して使用者の左眼に前記左眼用画像光を虚像として認識させる左眼用画像表示部と、を含む、頭部装着型表示装置。

この頭部装着型表示装置では、検出部が右眼の視線方向における外光の分光輝度分布を検出する右眼検出部と、左眼の視線方向における外光の分光輝度分布を検出する左眼検出部と、を含んでいる。表示用画像データは、右眼検出部が検出した分光輝度分布と目標分光輝度分布との差分に基づき補正された右眼用表示用画像データと、左眼検出部が検出した分光輝度分布と目標分光輝度分布との差分に基づき補正された左眼用表示用画像データと、を含んでいる。画像表示部は、右眼用表示用画像データから生成された右眼用表示画像を使用者に視認させる右眼用画像表示部と、左眼用表示用画像データから生成された左眼用表示画像を使用者に視認させる左眼用画像表示部と、を含んでいる。そのため、この頭部装着型表示装置では、右眼と左眼とで検出された外光に応じて、画像表示部が右眼用画像表示部と左眼用画像表示部とに別々の表示画像を表示するので、右眼と左眼とで検出される外光が異なる場合であっても、使用者に視認しやすい表示画像を提供することができる。

［適用例１１］適用例９に記載の頭部装着型表示装置であって、前記画像補正部は、前記複数の位置における前記分光輝度分布の各前記一組の輝度指標値と前記目標分光輝度分布を表す一組の輝度指標値との間に第５の閾値以上の差分が生じている場合には前記表示用画像データを生成し、前記複数の位置において少なくとも１つの前記分光輝度分布の前記一組の輝度指標値と前記目標分光輝度分布を表す一組の輝度指標値との間に前記第５の閾値未満の差分が生じている場合には前記原画像データを前記表示用画像データとする、頭部装着型表示装置。

この頭部装着型表示装置では、検出部は、複数の位置における外光の分光輝度分布を検出する。画像補正部は、検出した複数の各一組の輝度指標値と目標分光輝度分布の一組の輝度指標値との間の差分が第５の閾値以上の場合には表示用画像データを生成する。また、画像補正部は、検出した複数の各一組の輝度指標値と目標分光輝度分布の一組の輝度指標値との間の差分が第５の閾値未満の場合には、原画像データを表示用画像データとする。そのため、この頭部装着型表示装置では、外光の誤検出を抑制して、使用者の視認性を損なわず、画像処理の作業負担を少なくすることができる。

［適用例１２］適用例１ないし適用例１１のいずれかに記載の頭部装着型表示装置であって、前記画像表示部は、前記一組の輝度指標値に応じて前記画像光の輝度を調整する、頭部装着型表示装置。

この頭部装着型表示装置では、画像表示部は、検出した外光の分光輝度分布における一組の輝度指標値に応じて表示画像の輝度を調整するので、より外光の影響を抑制して原画像に忠実な画像を使用者に視認させることができる。

［適用例１３］適用例１ないし適用例１２のいずれかに記載の頭部装着型装置であって、さらに、使用者からの操作を受け付ける操作部と、を備え、前記画像補正部は、前記画像表示部に前記原画像データに基づく画像を表示する操作が受け付けられると、前記表示用画像データを自動的に生成する、頭部装着型表示装置。

この頭部装着型表示装置では、使用者からの操作を受け付ける操作部を備えている。画像補正部は、画像表示部に原画像データに基づく画像を表示する操作が受け付けられると、自動的に表示用画像データを生成するので、使用者は複雑な操作をすることなく、外光の影響を受けても原画像に忠実な画像を視認することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、光学透過型の表示装置および表示装置の制御方法、光学透過型の頭部装着型表示装置および頭部装着型表示装置の制御方法、情報処理システム、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

本発明の実施例における頭部装着型表示装置１００の外観構成を示す説明図である。 本実施例における頭部装着型表示装置１００の構成を機能的に示す説明図である。 本実施例における頭部装着型表示装置１００の画像処理の流れを示すフローチャートである。 本実施例における頭部装着型表示装置１００に接続された外部機器ＯＡから供給される画像の一例を示す説明図である。 外光の分光輝度分布の検出結果の一例を示す説明図である。 本実施例における画像表示部２０に表示される補正後の表示画像の一例を示す説明図である。 比較例における画像表示部２０に表示される表示画像の一例を示す説明図である。 第２実施例における頭部装着型表示装置１００の画像処理の流れを示すフローチャートである。 外光の分光輝度分布の検出結果の一例を示す説明図である。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１実施例：
Ａ−１．装置構成：
Ａ−２．画像処理：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
Ａ−１．装置構成：
図１は、本発明の実施例における頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施例の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施例では眼鏡形状に形成されている。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、検出部６２と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、頭部装着型表示装置１００の装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部２６の一端と、左光学像表示部２８の一端は、それぞれ、頭部装着型表示装置１００の装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部２６の他端である端部ＥＲからは、右保持部２１が延伸している。同様に、左光学像表示部２８の他端である端部ＥＬからは、左保持部２３が延伸している。

画像表示部２０は、また、右耳用の右イヤホン３２および左耳用の左イヤホン３４を有する。右イヤホン３２および左イヤホン３４は、使用者が画像表示部２０を装着した際に、それぞれ右および左の耳に装着される。

右保持部２１は、右光学像表示部２６の端部ＥＲから、頭部装着型表示装置１００の装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部２６とほぼ直角をなすように延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の端部ＥＬから、頭部装着型表示装置１００の装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部２８とほぼ直角をなすように延伸して設けられた部材である。右保持部２１と、左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に頭部装着型表示装置１００を保持する。

右表示駆動部２２は、右保持部２１の内側（換言すれば、頭部装着型表示装置１００の装着時における使用者の頭部に対向する側）であって、右光学像表示部２６の端部ＥＲ側に配置されている。また、左表示駆動部２４は、左保持部２３の内側であって、左光学像表示部２８の端部ＥＬ側に配置されている。なお、以降では、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」と、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２、２４は、図示しないＬＣＤ（Liquid Crystal Display：液晶ディスプレイ）や、投写光学系等を含む。詳細は後述する。光学部材としての光学像表示部２６、２８は、図示しない導光板と、調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部２２、２４から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、頭部装着型表示装置１００の表側（使用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、使用者の眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

検出部６２は、右光学像表示部２６と左光学像表示部２８とを接続している眉間に対応する位置に形成されている。検出部６２は、外光の分光輝度分布を検出するセンサーであり、例えば、ＲＧＢカラーセンサー、カラーフィルター、フォトダイオード等が使用される。なお、本発明では、分光輝度分布とは、各波長における輝度を意味する。分光輝度分布は、ある波長域内の複数の波長値における最も高い輝度を１００％とした相対的な輝度で表される。複数の波長値間の間隔は一定であってもよいし、一定でなくてもよい。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２と、左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６とは反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８と、には、例えば、金属ケーブルや光ファイバーを採用することができる。

制御部１０は、頭部装着型表示装置１００を操作するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光状態によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用することができる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、本実施例における頭部装着型表示装置１００の構成を機能的に示す説明図である。図２に示すように、制御部１０は、ＣＰＵ１４０と、ＲＯＭやＲＡＭ等により構成された記憶部１２０と、頭部装着型表示装置１００の各部に電力を供給する電源１３０と、使用者により操作される操作部１３５（本実施例では、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８）と、画像（静止画像、動画像）や音声等のコンテンツデータの供給元となる種々の外部機器ＯＡ（例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末）を接続するためのインターフェイス１８０と、送信部（Ｔｘ）５１および５２と、を有している。電源１３０としては、例えば二次電池を用いることができ、インターフェイス１８０としては、例えばＵＳＢインターフェイスやメモリーカード用インターフェイス、無線ＬＡＮインターフェイス等を採用することができる。

記憶部１２０には、種々のコンピュータープログラムが格納されており、ＣＰＵ１４０は、記憶部１２０からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１９０、音声処理部１７０として機能する。

画像処理部１６０は、インターフェイス１８０を介して入力されるコンテンツに基づき、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを生成し、接続部４０を介してこれらの信号を画像表示部２０に供給する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、図示しないＰＬＬ（Phase Locked Loop）回路等を利用してクロック信号ＰＣＬＫを生成する。

画像処理部１６０は、同期信号が分離されたアナログ画像信号を、図示しないＡ／Ｄ変換回路等を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データＤａｔａ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成したクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、表示駆動部２２、２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦ、などを個別に制御することにより、表示駆動部２２、２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１、５２を介してそれぞれ送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。

音声処理部１７０は、コンテンツデータに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部２０の右イヤホン３２および左イヤホン３４に接続部４０を介して供給する。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、検出部６２と、右イヤホン３２と、左イヤホン３４と、を備えている。

右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する機能を有する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する機能を有する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。導光部は、画像光を用いて使用者に虚像を視認させる限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。

左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。右表示駆動部２２と左表示駆動部２４とは対になっており、左表示駆動部２４の各部は、右表示駆動部２２で説明する各部と同様の構成および動作を有するので詳細な説明は省略する。なお、右ＬＣＤ２４１および左ＬＣＤ２４２を総称して単に「光学パネル」とも呼ぶ。

検出部６２は、検出した外光の分光輝度分布をＲＧＢ成分に分けて検出する。検出した分光輝度分布は、接続部４０を介して、画像処理部１６０に送信される。

このようにして、頭部装着型表示装置１００の使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は虚像を視認する。

Ａ−２．画像処理：
外光の色温度によっては、光学パネル２４１、２４２によって生成された原画像データに基づく画像光と、光学像表示部２６、２８を透過した外光を含んだ外景と、が合成されて使用者に視認されることで、使用者は原画像データに基づく表示画像と色合いが異なる表示画像を視認する場合がある。使用者に原画像データに基づく表示画像を視認させるために、画像処理部１６０は、外光の分光輝度分布に応じてホワイトバランスを調整した表示画像用データ生成し、表示画像用データに基づく画像光を生成する。ホワイトバランスを調整された表示画像用データに基づく画像光と、光学像表示部２６、２８を透過した外光を含んだ外景と、は合成されて、使用者に原画像データに基づく表示画像に忠実な画像を視認させることができる。

本実施例では、画像処理部１６０は、ホワイトバランスを調整することで外光が使用者に視認させる表示画像に与える影響を少なくする処理を行う。検出部６２は、外光の分光輝度分布を検出する。外光の色度が表示画像に影響を及ぼさないように、画像処理部１６０は、外光の分光輝度分布と白色光の分光輝度分布とのずれ量を補正する画像処理を行う。具体的には、例えば、外光の色温度が低い場合（３０００Ｋ等）、原画像データに基づいた画像光を使用者に視認させると、外光と合成されて使用者に表示画像は赤っぽく視認される。画像処理部１６０は、使用者に原画像データに基づく表示画像に忠実な画像を視認させるために、原画像データのＲＧＢ成分を補正して、ホワイトバランスを調整した画像光を使用者に視認させる。使用者は、外光とホワイトバランスを調整した画像光とを合成して視認することで、原画像データに基づく表示画像に忠実な画像を視認することができる。なお、白色光の分光輝度分布は、本発明における目標分光輝度分布に相当する。

図３は、本実施例における頭部装着型表示装置１００の画像処理の流れを示すフローチャートである。本実施例における画像処理は、外光の分光輝度分布を検出し、検出された分光輝度分布が所定の条件に該当する場合には、画像の補正を行い、補正後の画像を表示する処理である。図４は、本実施例における頭部装着型表示装置１００に接続された外部機器ＯＡから供給される画像の一例を示す説明図である。使用者が動画や画像等のコンテンツを見たい場合に、操作部１３５が操作されると、ＣＰＵ１４０は、インターフェイス１８０を介して接続された外部機器ＯＡから、例えば、図４に示す画像のコンテンツデータを取得する（ステップＳ３１０）。なお、ＣＰＵ１４０は、本発明における取得部に相当し、取得した画像のコンテンツデータは、本発明における原画像データに相当する。

次に、検出部６２は、外光の分光輝度分布を検出して、検出結果を画像処理部１６０に送信する（ステップＳ３２０）。図５は、外光の分光輝度分布の検出結果の一例を示す説明図である。図５には、外光の分光輝度分布の検出結果を実線で示している。なお、本実施例で用いる外光センサー６４は、Ｒ、Ｇ、Ｂの３チャンネルで分光輝度分布を検出するＲＧＢカラーセンサーである。例えば、Ｒチャンネルについては、感度波長範囲は５８０ｎｍ−６８０ｎｍであり、ピーク感度は６２０ｎｍであり、Ｇチャンネルについては、感度波長範囲は４９０ｎｍ−５９０ｎｍであり、ピーク感度は５４０ｎｍであり、Ｂチャンネルについては、感度波長範囲は４１０ｎｍ−５１０ｎｍであり、ピーク感度は４６０ｎｍである。図５の縦軸では、検出した波長ごとの輝度を示しており、最も高い輝度を１００％として相対的な輝度が示されている。一例として、外光センサー６４のＲ、Ｇ、Ｂの３チャンネルによる検出結果は、それぞれ、図５の曲線Ｃｒ、Ｃｇ、Ｃｂのような曲線となる。本実施例では、各曲線Ｃｒ、Ｃｇ、Ｃｂの輝度のピーク値Ｐｒ、Ｐｇ、Ｐｂを外光の分光輝度分布を表すＲ、Ｇ、Ｂの３チャンネルの一組の輝度指標値として使用する。なお、図５では、ピーク値Ｐｒおよびピーク値Ｐｇの輝度が最大であり、１００％となる。

次に、画像処理部１６０は、検出された外光の分光輝度分布を表す一組の輝度指標値（ピーク値Ｐｒ、Ｐｇ、Ｐｂ）を、予め設定された目標分光輝度分布を表す一組の輝度指標値と比較する（ステップＳ３２０）。本実施例では、外光センサー６４に白色光が入力された場合の各チャンネルの輝度のピーク値が、目標分光輝度分布を表す一組の輝度指標値として設定されている。例えば、外光センサー６４のＲ、Ｇ、Ｂの各チャンネルの感度が互いに等しい場合には、目標分光輝度分布を表す一組の輝度指標値における各指標値は同じ、すなわち、各チャンネルの輝度のピーク値間の比＝１００％：１００％：１００％（１：１：１）である。画像処理部１６０は、検出されたピーク値間の比率を、目標分光輝度分布を表す一組の輝度指標値におけるピーク値間の比率（例えば１：１：１）と比較する。これにより、外光の色の白色からのずれ量（赤っぽい、黄色っぽい等）が検出される。

次に、画像処理部１６０は、上記比較の結果が、補正実行条件に該当するか否かを判定する（ステップＳ３４０）。本実施例では、検出されたピーク値Ｐｒ、Ｐｇ、Ｐｂ間の比率と目標分光輝度分布を表す一組の輝度指標値との比率との差分が第１の閾値Ｔｈ１未満である場合には、後述の画像補正を実行せず、当該差分が第１の閾値Ｔｈ１以上である場合には、後述の画像補正を実行するものとしている。例えば、外光の色がごくわずかだけ白色からずれており、補正実行条件に該当しないと判断された場合には（ステップＳ３４０：ＮＯ）、後述の画像補正は実行されず、原画像データに基づく画像が表示される（ステップＳ３７０）。一方、外光の色が白色から第１の閾値Ｔｈ１以上ずれており、補正実行条件に該当すると判断された場合には、以下に述べるように画像補正が実行される。

画像処理部１６０は、補正実行条件に該当すると判断された場合には、補正値を算出する（ステップＳ３５０）。補正値は、検出された外光の色の白色からのずれ量に基づき算出される。例えば、検出されたＲ成分のピーク値ＰｒおよびＧ成分のピーク値ＰｇがＢ成分のピーク値Ｐｂより大きい場合、すなわち、外光が黄色っぽい光であった場合には、Ｇ成分およびＲ成分を減らすような補正値が算出される。具体的には、ピーク値が相対的に一番小さいＢ成分を基準とする場合に、Ｒ成分のピーク値ＰｒとＢ成分のピーク値Ｐｂとの差分に所定の係数を乗じた値がＲ成分の補正値とされる。同様に、Ｇ成分のピーク値ＰｇとＢ成分のピーク値Ｐｂとの差分に所定の係数を乗じた値がＧ成分の補正値とされる。例えば、図５に示す例では、Ｂ成分のピーク値Ｐｂを基準の１とする場合に、Ｒ成分のピーク値ＰｒおよびＧ成分のピーク値Ｐｇは１．５である。ピーク値Ｐｒおよびピーク値Ｐｇは、ピーク値Ｐｂよりも０．５（５０％）大きく、目標分光輝度分布のピーク値の比と異なる。なお、画像処理部１６０は、本発明における画像補正部に相当する。

本実施例では、第１の閾値Ｔｈ１は０．３（３０％）に設定されている。例えば、Ｒ成分およびＧ成分のずれ量が０．５である場合には、第１の閾値Ｔｈ１の０．３以上であるため、補正値の算出が行われる。当該ずれ量が第２の閾値Ｔｈ２未満である場合には、補正値は、当該ずれ量に所定の係数を乗じた値となる。ただし、当該ずれ量が第２の閾値Ｔｈ２以上である場合には、補正値は、当該ずれ量ではなく、第２の閾値Ｔｈ２に所定の係数を乗じた値となる。本実施例では、第２の閾値Ｔｈ２は０．４（４０％）に設定されている。Ｒ成分およびＧ成分のずれ量は０．５である場合には、第２の閾値Ｔｈ２の０．４以上であるため、Ｒ成分およびＧ成分における補正値は、第２の閾値Ｔｈ２に所定の係数を乗じた値となる。

次に、画像処理部１６０は、補正値を用いて補正後の表示画像を生成する（ステップＳ３６０）。画像処理部１６０は、外部機器ＯＡから取得したコンテンツデータの原画像データにおけるＲ成分およびＧ成分から補正値を差し引いた表示画像用データに基づいた表示画像を生成する。

次に、画像表示部２０は、補正後の表示画像を表示する（ステップＳ３７０）。図６は、本実施例における画像表示部２０に表示される補正後の表示画像の一例を示す説明図である。図６に示す画像では、原画像（図４）に対してＲ成分およびＧ成分から補正値が差し引かれている。画像表示部２０に表示される補正後の表示画像は、Ｒ成分およびＧ成分のエネルギーがＢ成分と比較して低くなっているため、原画像よりも青っぽい色の画像となる。画像表示部２０が補正後の表示画像に基づいて画像光を生成して表示すると、表示画像と外光を含んだ外景とが合成されて、使用者は、原画像に忠実な画像を視認することができる。

図７は、比較例における画像表示部２０に表示される表示画像の一例を示す説明図である。図７には、本実施例と異なり、頭部装着型表示装置１００に接続された外部機器ＯＡから供給される原画像（図４）に対して補正を行わずに画像表示部２０に表示したときに、使用者が視認する画像を示している。補正を行っていない原画像を画像表示部２０に表示すると、画像表示部２０に表示された画像は、外光を含んだ外景と合成されて、原画像よりも黄色っぽい色の画像となる。

以上説明したように、本実施例の頭部装着型表示装置１００では、ＣＰＵ１４０は、インターフェイス１８０を介して接続された外部機器ＯＡからコンテンツデータを取得し、検出部６２は、外光の分光輝度分布を検出する。画像処理部１６０は、検出部６２が検出した外光の分光輝度分布と目標分光輝度分布とについて比較し、外光の分光輝度分布と目標分光輝度分布との差分に基づき算出した補正値を用いて表示用画像データを生成する。画像表示部２０は、表示用画像データに基づいて画像光を生成して使用者に画像を視認させる。そのため、この頭部装着型表示装置１００では、透過して視認できる外景を撮像せずに、外光の影響による補正値を算出して使用者に視認させる画像を生成しているので、画像処理の負担が少なく、外光の影響を抑制して原画像に忠実な画像を使用者に視認させることができる。

また、本実施例の頭部装着型表示装置１００では、検出部６２は、外光の分光輝度分布におけるＲＧＢ成分を取得する。画像処理部１６０は、外光の分光輝度分布を表す一組の輝度指標値であるＲＧＢの各成分の輝度のピーク値における大小関係が目標分光輝度分布を表す一組の輝度指標値であるＲＧＢの各成分の輝度のピーク値における大小関係と異なる場合に、外光の分光輝度分布を表す一組の輝度指標値間における差分に基づいて算出した補正値を用いて取得した原画像データを調整して表示用画像データを生成している。そのため、本実施例の頭部装着型表示装置１００では、検出部６２が検出した外光の分光輝度分布を表す一組の輝度指標値間における輝度の差分のみによって、補正値が算出されるため、簡便に補正値を算出することができ、画像処理の負担を少なくすることができる。

また、本実施例の頭部装着型表示装置１００では、目標分光輝度分布を表す一組の輝度指標値におけるＲＧＢの各チャンネルの輝度のピーク値の比が１：１：１であり、目標分光輝度分布の色は白色であるため、画像処理部１６０は、外光の分光輝度分布を白色光の分光輝度分布に近づける補正を行うので、画像表示部２０に表示された表示画像は、外光と合成されて原画像に忠実な画像を使用者に視認させることができる。

また、本実施例の頭部装着型表示装置１００では、外光の分光輝度分布を表す一組の輝度指標値におけるピーク値Ｐｒ、Ｐｇ、Ｐｂ間の比率と目標分光輝度分布を表す一組の輝度指標値間との比率との差分が第１の閾値Ｔｈ１未満である場合には、画像補正を実行せず、当該差分が第１の閾値Ｔｈ１以上である場合には、画像補正を実行するものとしている。また、画像補正を実行する場合に、当該差が第２の閾値Ｔｈ２以上である場合には、補正値は当該差分ではなく、第２の閾値Ｔｈ２に所定の係数を乗じた値となる。そのため、本実施例の頭部装着型表示装置１００では、外光が表示画像に及ぼす影響が小さい場合には画像補正を行わないので、使用者の視認性を損なわず、画像処理の作業負担を少なくすることができ、また、外光の分光輝度分布に対する過度な補正を行わないので、外光が変化した場合に、補正値が大きすぎず、使用者が違和感のない画像を視認することができる。

また、本実施例の頭部装着型表示装置１００では、操作部１３５が操作されると、画像処理部１６０は、自動的に表示画像を生成するので、使用者は複雑な操作をすることなく、外光の影響を受けても原画像に忠実な画像を視認することができる。

Ｂ．第２実施例：
図８は、第２実施例における頭部装着型表示装置１００の画像処理の流れを示すフローチャートである。第２実施例では、外光の分光輝度分布の波長範囲と目標分光輝度分布である白色光の波長範囲との割合によって補正値を算出することが第１実施例と異なり、図８に示すステップＳ４２０ないしステップＳ４５０の画像処理が第１実施例と異なる。

操作部１３５が操作されると、ＣＰＵ１４０は、外部機器ＯＡからコンテンツデータを取得する（ステップＳ４１０）。次に、検出部６２は、外光の分光輝度分布を検出して、検出結果を画像処理部１６０に送信する（ステップＳ４２０）。図９は、外光の分光輝度分布の検出結果の一例を示す説明図である。図９には、外光の分光輝度分布の検出結果を実線で示している。第２実施例で用いる外光センサー６４のＲ、Ｇ、Ｂの３チャンネルによる検出結果は、それぞれ、図９の曲線Ｃｒ’、Ｃｇ’、Ｃｂ’のような曲線となる。また、曲線Ｃｒ’の波長範囲はλｒであり、曲線Ｃｇ’の波長範囲はλｇであり、曲線Ｃｂ’の波長範囲はλｂである。図９には、白色光の分光輝度分布におけるＲ成分を曲線Ｓｒで示している。なお、白色光の分光輝度分布におけるＧ成分およびＢ成分は、曲線Ｃｇ’および曲線Ｃｂ’とほぼ同じ分光輝度分布となるため、図９には示していない。

次に、画像処理部１６０は、検出された外光の分光輝度分布が分布する波長範囲を予め設定された目標分光輝度分布が分布する波長範囲と比較する（ステップＳ４３０）。第２実施例では、第１実施例と同様に外光センサー６４に白色光が入力された場合の各チャンネルの波長範囲間の比が、目標分光輝度分布が分布する波長範囲間の比として設定されている。例えば、外光センサー６４に白色光が入力された場合の波長範囲は、Ｒチャンネルが５８０−６８０ｎｍであり、Ｇチャンネルが４９０−５９０ｎｍであり、Ｂチャンネルが４１０−５１０ｎｍであるので、目標分光輝度分布が分布する波長範囲間の比は、各チャンネルの感度波長範囲の比＝１００ｎｍ：１００ｎｍ：１００ｎｍ（１：１：１）である。画像処理部１６０は、検出された波長範囲間の比率を、目標分光輝度分布を表す波長範囲間の比（例えば、１：１：１）と比較する。これにより、外光の色の白色からのずれ量が検出される。

次に、画像処理部１６０は、上記比較の結果が、補正実行条件に該当するか否かを判定する（ステップＳ４４０）。第２実施例では、検出された波長範囲λｒ、λｇ、λｂを目標分光輝度分布の対応する成分の波長範囲で除した割合の各成分間の差が第３の閾値Ｔｈ３未満である場合には、画像補正を実行せず、当該割合が第３の閾値Ｔｈ３以上である場合には、画像補正を実行するものとしている。補正実行に該当しないと判断された場合には（ステップＳ４４０：ＮＯ）、画像補正は実行されず、原画像データに基づく画像が表示される（ステップＳ４７０）。一方、補正実行条件に該当すると判断された場合には、画像補正が実行される。

画像処理部１６０は、補正実行条件に該当すると判断された場合には、補正値を算出する（ステップＳ４５０）。補正値は、検出された外光の色の白色からのずれ量に基づき算出される。具体的には、例えば、Ｇ成分を基準とする場合に、Ｒ成分の波長範囲λｒを白色光におけるＲ成分の波長範囲で割った割合とＧ成分の波長範囲λｇを白色光におけるＧ成分の波長範囲で割った割合との差分に所定の係数を乗じた値がＲ成分の補正値とされる。例えば、Ｇ成分の波長範囲λｇを白色光におけるＧ成分の波長範囲（１００ｎｍ）で除した比率Ｒｇを基準の１とする場合に、Ｂ成分の波長範囲λｂを白色光におけるＢ成分の波長範囲（１００ｎｍ）で除した比率Ｒｂは１であり、Ｒ成分の波長範囲λｒを白色光におけるＲ成分の波長範囲（１００ｎｍ）で除した比率Ｒｒは０．２５（２５％）である。Ｒ成分の値Ｒｒは、Ｇ、Ｂ成分の比率Ｒｇ、比率Ｒｂよりも０．７５（７５％）小さい。

第２実施例では、第３の閾値Ｔｈ３は０．４（４０％）に設定されている。例えば、Ｒ成分のずれ量は０．７５である場合には、第３の閾値Ｔｈ３の０．４以上であるため、補正値の算出が行われる。当該ずれ量が第４の閾値Ｔｈ４未満である場合には、補正値は、当該ずれ量に所定の係数を乗じた値となる。ただし、当該ずれ量が第４の閾値Ｔｈ４以上である場合には、補正値は、当該ずれ量ではなく、第４の閾値Ｔｈ４に所定の係数を乗じた値となる。本実施例では、第４の閾値Ｔｈ４は０．７（７０％）に設定されている。Ｒ成分のずれ量は０．７５である場合には、第４の閾値Ｔｈ４の０．７以上であるため、補正値は、第４の閾値Ｔｈ４に所定の係数を乗じた値となる。

次に、画像処理部１６０は、補正値を用いて補正後の表示画像を生成し（ステップ４６０）、画像表示部２０は、補正後の表示画像を表示する（ステップＳ４７０）。

以上説明したように、第２実施例の頭部装着型表示装置１００では、画像処理部１６０は、外光の分光輝度分布の各成分の波長範囲を目標分光輝度分布の各成分の波長範囲で割った割合に基づき算出した補正値を用いて表示用画像データを生成する。外光の分光輝度分布と目標の分光輝度分布とにおける一組の輝度指標値間で差分がなくても、外光の分光輝度分布の波長範囲に偏りがあると、使用者が視認する表示画像に影響を及ぼす。そのため、第２実施例の頭部装着型表示装置１００では、外光の分光輝度分布と目標分光輝度分布とにおける一組の輝度指標値間で差分がない場合でも、外光の分光輝度分布と目標分光輝度分布とにおける波長範囲に基づいて補正値が算出されるため、外光の影響を抑制して原画像と同じような画像を使用者に視認させることができる。

また、第２実施例の頭部装着型表示装置１００では、外光の分光輝度分布において検出された波長範囲λｒ、λｇ、λｂを目標分光輝度分布の対応する成分の感度波長範囲で除した割合の各成分間の差が第３の閾値Ｔｈ３未満である場合には、画像補正を実行せず、当該割合が第３の閾値Ｔｈ３以上である場合には、画像補正を実行するものとしている。また、画像補正を実行する場合に、分光輝度分布の各成分間の割合の差分が第４の閾値Ｔｈ４以上である場合には、補正値は、当該差分ではなく、第４の閾値Ｔｈ４に所定の係数を乗じた値となる。そのため、第２実施例の頭部装着型表示装置１００では、外光が表示画像に及ぼす影響が小さい場合には画像補正を行わないので、使用者の視認性を損なわず、画像処理の作業負担を少なくすることができ、また、外光の分光輝度分布に対する過度な補正を行わないので、外光が変化した場合に、補正値が大きすぎず、使用者が違和感のない画像を視認することができる。

Ｃ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｃ１：変形例１：
上記実施例の頭部装着型表示装置１００では、外光の分光輝度分布におけるＲＧＢ成分、目標分光輝度分布、第１の閾値Ｔｈ１、第２の閾値Ｔｈ２、第３の閾値Ｔｈ３、第４の閾値Ｔｈ４等について、具体的に数値や曲線等で示したが、この数値や曲線等に限られず、種々変形可能である。

上記実施例の頭部装着型表示装置１００では、画像処理部１６０は、第１実施例において外光の分光輝度分布と目標分光輝度分布とにおける一組の輝度指標値の各成分における差分によって補正値を算出し、第２実施例において外光の分光輝度分布と目標分光輝度分布とにおける各成分の波長範囲の割合によって補正値を算出したが、原画像の補正の方法は種々変形可能である。例えば、画像処理部１６０は、ＲＧＢの各成分における差分によって補正した後に、さらに、ＲＧＢの各成分における波長範囲の割合によって補正値を算出してもよい。

Ｃ２．変形例２：
上記実施例の頭部装着型表示装置１００では、検出部６２は、右光学像表示部２６と左光学像表示部２８とを接続している眉間に対応する位置に形成されているとしたが、検出部６２の数や位置については種々変形可能である。例えば、検出部６２は、使用者の右眼に入射する外光を検出する右眼検出部と、使用者の左眼に入射する外光を検出する左眼検出部と、を含んでいてもよい。この場合、右眼検出部が検出した外光の分光輝度分布と左眼検出部が検出した外光の分光輝度分布とを平均して、上記実施例における外光輝度分布として目標分光輝度分布との比較を行ってもよい。この変形例の頭部装着型表示装置１００では、検出部６２は、複数の位置における外光の分光輝度分布を検出し、画像処理部１６０は、複数の位置における外光の分光輝度分布と目標分光輝度分布とにおける一組の輝度指標値の差分に基づいて表示用画像データを生成するので、検出部６２が検出する外光が１つの場合に比べて、より使用者に視認しやすい表示画像を提供することができる。

また、検出部６２が右眼検出部と左眼検出部とを含む場合に、画像処理部１６０は右眼用検出部が検出した外光の分光輝度分布と目標分光輝度分布とにおける輝度に基づき調整した右眼用画像データを生成して、画像表示部２０は右光学像表示部２６に右眼用画像を表示し、同じように、画像処理部１６０は左眼用画像データを生成して、画像表示部２０は左光学像表示部２８に左眼用画像を表示してもよい。この変形例の頭部装着型表示装置１００では、右眼と左眼とで検出された外光に応じて、画像表示部２０が右光学像表示部２６と左光学像表示部２８とに別々の表示画像を表示するので、右眼と左眼とで検出される外光が異なる場合であっても、使用者に視認しやすい表示画像を提供することができる。

また、検出部６２が複数の位置で外光の分光輝度分布の検出を行う場合に、画像処理部１６０は、各位置で検出した外光の分光輝度分布における各一組の輝度指標値間の差に第５の閾値Ｔｈ５以上の差分が生じている場合に原画像を調整する補正値を算出して表示画像を生成し、そうでない場合には原画像を表示画像としてもよい。具体的には、例えば、右眼検出部が検出した外光のＲ成分の輝度と左眼検出部が検出したＲ成分の輝度とが異なる場合に、Ｒ成分間における輝度の差分が第５の閾値Ｔｈ５以上であれば、画像処理部１６０は、右眼検出部と左眼検出部とで検出される外光は異なる分光輝度分布であると判定して、補正値を算出する。また、比率間の差分が第５の閾値Ｔｈ５未満であれば、画像処理部１６０は、右眼検出部と左眼検出部とで検出される外光は同じ分光輝度分布であると判定して、補正値を算出しない。この変形例の頭部装着型表示装置１００では、検出部６２が複数の位置における外光の分光輝度分布を検出する場合に、各位置で検出したＲＧＢの各成分の差分が第５の閾値Ｔｈ５未満の場合には、画像表示部２０に原画像を表示する。そのため、この変形例の頭部装着型表示装置１００では、検出部６２がある１つの位置において外光の誤検出を行っても、画像処理部１６０が画像補正を行わないので、使用者の視認性を損なわず、画像処理の作業負担を少なくすることができる。

Ｃ３．変形例３：
上記実施例の頭部装着型表示装置１００では、画像処理部１６０は、外光の分光輝度分布と目標分光輝度分布との差分に基づいて原画像データを調整したが、外光の分光輝度分布における一組の輝度指標値に応じて、画像表示部２０が生成する画像光の輝度を調整してもよい。例えば、画像処理部１６０は、検出部６２が検出した外光の分光輝度分布におけるＧ成分の輝度が高く、使用者に表示画像を認識させづらいと判断した場合には、画像表示部２０が表示画像の輝度を上げる。例えば、フォトダイオード等の検出部６２を用いて輝度を検出し、画像表示部２０の輝度が検出した輝度の１０倍になるように画像表示部２０が輝度を調整することで、使用者は表示画像を視認しやすくなる。そのため、この変形例の頭部装着型表示装置１００では、画像表示部２０は、検出した一組の輝度指標値に応じて表示画像の輝度を調整するので、より外光の影響を抑制して原画像と同じような画像を使用者に視認させることができる。

また、上記実施例では、検出部６２の外光センサー６４は、Ｒ、Ｇ、Ｂの３チャンネルで分光輝度分布を検出するＲＧＢカラーセンサーであるが、検出部６２として用いる外光センサー６４は種々変形可能である。例えば、外光センサー６４に分光放射輝度計、または、色彩輝度計を用いることも可能である。外光センサー６４が分光放射輝度計の場合、外光の分光輝度分布をＲＧＢ成分に分解せずに検出して、外光と表示画像とが合成されて使用者に視認される分光輝度分布が白色光の分光輝度分布となるような目標分光輝度分布を設定する。画像処理部１６０は、外光の分光輝度分布と設定した目標分光輝度分布とにおける一組の輝度指標値の差分をＲＧＢ成分に分解して、当該差分に基づいて原画像データを調整してもよい。

Ｃ４：変形例４：
上記実施例の頭部装着型表示装置１００では、画像処理部１６０は、第１の閾値Ｔｈ１、第２の閾値Ｔｈ２、第３の閾値Ｔｈ３、第４の閾値Ｔｈ４、第５の閾値Ｔｈ５を用いて、原画像を補正するか否かを判定したが、必ずしも閾値を用いて判定する必要はなく、補正の有無の判定については種々変形可能である。例えば、画像処理部１６０は、閾値を何ら設定せずに、外光の分光輝度分布と目標分光輝度分布とにおける一組の輝度指標値間のＲＧＢ成分との差分があるか否かのみによって、原画像を補正するか否かを判定してもよい。

上記実施例の頭部装着型表示装置１００では、目標分光輝度分布は白色光の分光輝度分布としたが、種々変形可能である。頭部装着型表示装置１００の使用状況下によっては、目標分光輝度分布は白色光以外の分光輝度分布であってもよいし、使用者が状況に応じて適時、操作部１３５を操作することで目標分光輝度分布を変更できるとしてもよい。

上記実施例の頭部装着型表示装置１００では、操作部１３５が操作されると、自動的に画像処理が行われるが、必ずしもこの態様に限られず、種々変形可能である。例えば、画像表示部２０にＯＳＤ表示をして、画像処理を行うか否かの決定を使用者に求める構成としてもよい。また、補正後の表示画像を画像表示部２０に一時的に表示させて、使用者が操作部１３５を操作することで、画像処理部１６０は、さらに使用者の見たい表示画像へとＲＧＢ成分を補正してもよい。

Ｃ５：変形例５：
また、上記実施例の頭部装着型表示装置１００の構成において、オペレーティングシステム１５０と画像処理部１６０と表示制御部１９０と音声処理部１７０とは、ＣＰＵ１４０がソフトウェアを実行することにより実現されるとしているが、電子回路といったハードウェアによって実現されるとしてもよい。また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施例では、外部機器ＯＡからコンテンツデータが供給されるとしているが、頭部装着型表示装置１００の制御部１０の記憶部１２０にコンテンツデータが格納され、記憶部１２０に格納されたコンテンツデータに基づき画像が表示されるとしてもよい。

また、上記実施例の頭部装着型表示装置１００の構成において、制御部１０に設けられた方向キー１６を省略したり、方向キー１６やトラックパッド１４に加えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。また、制御部１０に無線ＬＡＮ等の通信部を設けてもよい。

また、上記実施例の頭部装着型表示装置１００の構成において、制御部１０と画像表示部２０とが接続部４０により有線接続されるとしているが、制御部１０と画像表示部２０とが、無線ＬＡＮや赤外線通信、Bluetooth（登録商標）等の信号伝送路を介して接続されるとしてもよい。

また、上記実施例の頭部装着型表示装置１００の構成において、画像表示部２０が眼鏡のように装着するＨＭＤであるとしているが、画像表示部２０が通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機エレクトロルミネッセンス（Electro-Luminescence：ＥＬ）ディスプレイ装置等）であるとしてもよい。この場合にも、制御部１０と画像表示部２０との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部１０を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホン３２、３４は省略してもよい。

また、上述した実施形態における構成要素のうち、独立請求項に記載された要素以外の要素は、付加的な要素であり、適宜省略、または、組み合わせが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
６２…検出部
６４…外光センサー
１００…頭部装着型表示装置
１２０…記憶部
１３０…電源
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
λｒ…波長範囲
λｇ…波長範囲
λｂ…波長範囲
Ｔｈ１…第１の閾値
Ｔｈ２…第２の閾値
Ｔｈ３…第３の閾値
Ｔｈ４…第４の閾値
Ｔｈ５…第５の閾値

Claims (14)

1. 光学透過型の頭部装着型表示装置であって、
   原画像データを取得する取得部と、
   外光の分光輝度分布を検出する検出部と、
   前記検出した外光の分光輝度分布と目標分光輝度分布との差分に基づき、前記原画像データを調整して表示用画像データを生成する画像補正部と、
   前記表示用画像データに基づいて画像光を生成し、使用者に前記画像光を虚像として認識させる画像表示部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記検出部は、前記分光輝度分布を表す一組の輝度指標値を取得し、
   前記画像補正部は、前記一組の輝度指標値間の大小関係が前記目標分光輝度分布を表す一組の輝度指標値間の大小関係と異なる場合に、前記大小関係間の差分に基づいて算出した補正値を用いて前記原画像データを調整して前記表示用画像データを生成する、頭部装着型表示装置。
3. 請求項２に記載の頭部装着型表示装置であって、
   前記目標分光輝度分布を表す一組の輝度指標値における各輝度指標値は互いに同じ値である、頭部装着型表示装置。
4. 請求項２または請求項３に記載の頭部装着型表示装置であって、
   前記画像補正部は、前記大小関係間の差分が第１の閾値以上である場合には前記調整を行い、前記大小関係間の差分が前記第１の閾値未満である場合には前記調整を行わない、頭部装着型表示装置。
5. 請求項２または請求項３に記載の頭部装着型装置であって、
   前記補正値は、前記大小関係間の差分が第２の閾値以上の場合には前記第２の閾値を用い、前記大小関係間の差分が前記第２の閾値未満の場合には前記大小関係間の差分を用いる、頭部装着型表示装置。
6. 請求項１ないし請求項５のいずれかに記載の頭部装着型表示装置であって、
   前記画像補正部は、前記外光の分光輝度分布が分布する波長範囲を前記目標分光輝度分布が分布する波長範囲で割った前記波長範囲間の割合に基づいて算出した補正値を用いて前記原画像データを調整して前記表示用画像データを生成する、頭部装着型表示装置。
7. 請求項６に記載の頭部装着型表示装置であって、
   前記画像補正部は、前記割合の差分が第３の閾値以上である場合には前記調整を行い、前記割合の差分が前記第３の閾値未満である場合には前記調整を行わない、頭部装着型表示装置。
8. 請求項６または請求項７に記載の頭部装着型表示装置であって、
   前記補正値は、前記割合の差分が第４の閾値以下である場合には前記第４の閾値を用い、前記割合の差分が前記第４の閾値未満の場合には前記割合の差分を用いる、頭部装着型表示装置。
9. 請求項１ないし請求項８のいずれかに記載の頭部装着型表示装置であって、
   前記検出部は、複数の位置における前記分光輝度分布を検出し、
   前記画像補正部は、前記複数の位置における各前記分光輝度分布と前記目標分光輝度分布との差分に基づき、前記表示画像用データを生成する、頭部装着型表示装置。
10. 請求項９に記載の頭部装着型表示装置であって、
    前記検出部は、使用者の右眼の視線方向における前記分光輝度分布を検出する右眼用検出部と、左眼の視線方向における前記分光輝度分布を検出する左眼用検出部と、を含み、
    前記表示用画像データは、前記右眼用検出部が検出した前記分光輝度分布と前記目標分光輝度分布との差分に基づき前記原画像データを調整した右眼用表示用画像データと、前記左眼用検出部が検出した前記分光輝度分布と前記目標分光輝度分布との差分に基づき前記原画像データを調整した左眼用表示用画像データと、を含み、
    前記画像表示部は、前記右眼用表示用画像データに基づいて右眼用画像光を生成して使用者の右眼に前記右眼用画像光を虚像として認識させる右眼用画像表示部と、前記左眼用表示用画像データに基づいて左眼用画像光を生成して使用者の左眼に前記左眼用画像光を虚像として認識させる左眼用画像表示部と、を含む、頭部装着型表示装置。
11. 請求項９に記載の頭部装着型表示装置であって、
    前記画像補正部は、前記複数の位置における前記分光輝度分布の各前記一組の輝度指標値と前記目標分光輝度分布を表す一組の輝度指標値との間に第５の閾値以上の差分が生じている場合には前記表示用画像データを生成し、前記複数の位置において少なくとも１つの前記分光輝度分布の前記一組の輝度指標値と前記目標分光輝度分布を表す一組の輝度指標値との間に前記第５の閾値未満の差分が生じている場合には前記原画像データを前記表示用画像データとする、頭部装着型表示装置。
12. 請求項１ないし請求項１１のいずれかに記載の頭部装着型表示装置であって、
    前記画像表示部は、前記一組の輝度指標値に応じて前記画像光の輝度を調整する、頭部装着型表示装置。
13. 請求項１ないし請求項１２のいずれかに記載の頭部装着型装置であって、さらに、
    使用者からの操作を受け付ける操作部と、を備え、
    前記画像補正部は、前記画像表示部に前記原画像データに基づく画像を表示する操作が受け付けられると、前記表示用画像データを自動的に生成する、頭部装着型表示装置。
14. 画像データに基づいて画像光を生成して使用者に画像光を虚像として認識させる画像表示部を有し、使用者が外景を視認できる光学透過型の頭部装着型表示装置の制御方法であって、
    原画像データを取得する第１の工程と、
    外光の分光輝度分布を検出する第２の工程と、
    前記検出した外光の分光輝度分布と目標分光輝度分布との差分に基づき、前記原画像データを調整して表示用画像データを生成する第３の工程と、を備える、頭部装着型表示装置の制御方法。

Images