JP2016218547A - 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム - Google Patents

Abstract

【課題】実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色を制御することが可能な頭部装着型表示装置を提供する。【解決手段】利用者が虚像と外景とを視認可能な頭部装着型表示装置は、利用者に虚像を視認させる画像表示部と、現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ虚像を画像表示部に形成させる拡張現実感処理部と、実オブジェクトの色である実物色を検出する色検出部と、実物色に仮想オブジェクトの色が重畳された色である目視色を、検出された実物色を用いて目的の色に近づける色調整部と、を備える。【選択図】図４

Description

本発明は、頭部装着型表示装置に関する。

現実世界に実在するオブジェクトである実オブジェクトに対して、コンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている。拡張現実感において、実オブジェクトに付加的に表示される情報を「仮想オブジェクト」とも呼ぶ。拡張現実感の機能は、例えば、ヘッドマウントディスプレイ（以降、「ＨＭＤ」または「頭部装着型表示装置」とも呼ぶ。）に搭載される。

ＨＭＤは、カメラで外景を撮像し、撮像により得られた画像を画像認識し、仮想オブジェクトを生成または取得する。ＨＭＤを装着した状態において利用者の視界が遮断されない透過型のＨＭＤでは、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、現実世界の実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。特許文献１には、透過型のＨＭＤにおいて、虚像の表示領域とカメラの撮像領域とを位置合わせすることで、拡張現実感を実現する際の利用者の違和感を低減する技術が記載されている。

特開２０１３−１８６６４１号公報

上述した仮想オブジェクトは、実オブジェクトに対して、その少なくとも一部が重畳されて表示される場合がある。例えば、車のディーラーにおいて、注文する車の色やアクセサリーを決める際に拡張現実感を用いる場合や、住宅展示場において、注文する住宅の壁紙や床材を決める際に拡張現実感を用いる場合である。このような場合は、実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色が重要となる。特許文献１に記載された技術では、このような色に関する課題については何ら考慮されていない。

このため、実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色を制御することが可能な頭部装着型表示装置が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、利用者が虚像と外景とを視認可能な頭部装着型表示装置が提供される。この頭部装着型表示装置は；前記利用者に前記虚像を視認させる画像表示部と；現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させる拡張現実感処理部と；前記実オブジェクトの色である実物色を検出する色検出部と；前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける色調整部と、を備える。
この形態の頭部装着型表示装置によれば、色調整部は、実オブジェクトの色（実物色）と仮想オブジェクトの色とが重畳された色である目視色、換言すれば、利用者が視認する色である目視色を、色検出部によって検出された実物色を用いて制御することができる。

（２）上記形態の頭部装着型表示装置において；前記色調整部は；検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整することで、前記目視色を前記目的の色に近づけてもよい。
この形態の頭部装着型表示装置によれば、色調整部は、仮想オブジェクトの色を調整することで目視色を目的の色に近づけることができる。すなわち、頭部装着型表示装置が備える既存の構成に特別な構成を追加することなく、目視色を制御することができる。

（３）上記形態の頭部装着型表示装置において；前記画像表示部は、さらに、画素毎に前記外景の透過率を変更可能であり；前記色調整部は；前記画像表示部に前記外景の透過率を変更させることで、前記目視色を前記目的の色に近づけてもよい。
この形態の頭部装着型表示装置によれば、色調整部は、画像表示部における外景の透過率を変更することで目視色を目的の色に近づけることができる。すなわち、頭部装着型表示装置における特別な画像処理を必要とせずに、目視色を制御することができる。

（４）上記形態の頭部装着型表示装置において；前記色調整部は；検出された前記実物色の彩度が所定の彩度以上である場合に、前記画像表示部に前記外景の透過率を変更させ；検出された前記実物色の彩度が前記所定の彩度より小さい場合に、検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、実物色の彩度（色鮮やかさ）に応じて、外景の透過率を変更することで目視色を制御するのか、仮想オブジェクトの色を調整することで目視色を制御するのか、を使い分ける。実物色の彩度が高い（色鮮やかである）場合は、例えば外景の透過率を下げることによって、色鮮やかな実物色そのものを利用者に見えづらくすることで、仮想オブジェクトの色を強調することが有効である。一方、実物色の彩度が低い（くすんだ色である）場合は、仮想オブジェクトの色を調整した加法混色による調色を用いれば、表現できる色域を拡げることができる。このようにして色の分解能を向上させれば、微妙な色再現が可能となるため有効である。このようにすれば、色調整部は、実物色の彩度に応じて、目視色を制御するためのより適切な方法を使い分けることができる。

（５）上記形態の頭部装着型表示装置において；前記色調整部は；前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素毎に実行してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、目視色の制御（目視色を目的の色に近づける処理）を仮想オブジェクトの画素毎に実行するため、目視色の制御を簡単に行うことができる。また、仮想オブジェクトに複数の色が混在している場合であっても、目視色を制御することができる。

（６）上記形態の頭部装着型表示装置において；前記色調整部は；前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素のうち、近隣の複数の画素をまとめたｎ×ｍ（ｎ、ｍは２以上の整数）画素ブロック毎に実行してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、目視色の制御（目視色を目的の色に近づける処理）を仮想オブジェクトの画素ブロック毎に実行するため、目視色の制御の結果が画素ごとにばらつくことを抑制することができる。また、仮想オブジェクトに複数の色が混在している場合であっても、目視色を制御することができる。

（７）上記形態の頭部装着型表示装置において；前記色調整部は；前記目的の色を、前記実オブジェクトが置かれている現実の光環境に基づいて決定してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、実オブジェクトが置かれている現実の光環境に基づいて目的の色を決定するため、目的の色を、例えば現実の環境に適合するような色とすることができる。また、色調整部は、目的の色を、例えば現実の環境から際立たせるような色とすることもできる。

（８）上記形態の頭部装着型表示装置において；前記色調整部は、さらに；仮想的な光環境を考慮して前記仮想オブジェクトの色を色変換することで、前記目視色を変更してもよい。
この形態の頭部装着型表示装置によれば、色調整部は、仮想的な光環境を考慮して目視色を変更するため、頭部装着型表示装置における目視色の再現の幅が広がり、利用者における利便性を向上させることができる。

（９）上記形態の頭部装着型表示装置において；前記色検出部は、前記外景を表す外景画像を取得するカメラであってもよい。
この形態の頭部装着型表示装置によれば、標準機能として広く普及しているカメラを用いて実物色を検出することができる。

上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、拡張現実感処理部と、色検出部と、色調整部と、の４つの要素のうちの一部または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、この装置は、拡張現実感処理部を有していてもよく、有していなくてもよい。また、この装置は、色検出部を有していてもよく、有していなくてもよい。また、この装置は、色調整部を有していてもよく、有していなくてもよい。こうした装置は、例えば頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。例えば、本発明の一形態としての装置は、実オブジェクトの色と仮想オブジェクトの色とが重畳された状態において利用者が視認する色を制御することを課題としている。しかし、この装置には、他にも、装置の小型化、利便性の向上、装置製造の際の低コスト化、省資源化、製造の容易化、等が望まれている。

なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示装置を含むシステム、これらの方法、装置、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するための装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。

本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。 頭部装着型表示装置の構成を機能的に示すブロック図である。 利用者に視認される虚像の一例を示す説明図である。 色調整処理の手順を示すフローチャートである。 色調整処理の一例について説明する図である。 色調整処理の他の例について説明する図である。 第２実施形態の頭部装着型表示装置の構成を機能的に示すブロック図である。 第２実施形態の色調整処理について説明する図である。 色変換処理の手順を示すフローチャートである。 環境対応テーブルの一例を示す図である。 変形例における頭部装着型表示装置の外観の構成を示す説明図である。

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、本発明の一実施形態における頭部装着型表示装置の概略構成を示す説明図である。本実施形態の頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。ＨＭＤ１００は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイである。

本実施形態のＨＭＤ１００は、現実世界に実在するオブジェクトである「実オブジェクト」に対して、ＨＭＤ１００のＣＰＵを用いて情報を付加する拡張現実感（ＡＲ、Augmented Reality）処理を行うことができる。ここで、オブジェクトとは、任意の人、任意の動植物、任意の物（人工物、自然物等を含む）等を意味する。また、拡張現実感処理において、実オブジェクトに対して付加的に表示される情報を「仮想オブジェクト」と呼ぶ。本実施形態のＨＭＤ１００は、拡張現実感処理において、仮想オブジェクトを含む虚像のみを利用者に視認させる。利用者は、ＨＭＤ１００を透過した実オブジェクトと、虚像によって表されている仮想オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。このような拡張現実感処理において、本実施形態のＨＭＤ１００は、実オブジェクトの色と仮想オブジェクトの色とが重畳された色、換言すれば、利用者が実際に視認する色（以降、単に「目視色」とも呼ぶ。）を制御することができる。

なお、本実施形態の実オブジェクトは、利用者が関心を寄せている（例えば視線を向けている）オブジェクトである「実関心オブジェクト」と、利用者の関心外の（例えば視界に入っているものの視線を向けていない）オブジェクトである「実背景オブジェクト」との両方を含む。本実施形態の拡張現実感処理は、実関心オブジェクトと、実背景オブジェクトと、の両方を含む実オブジェクトが処理対象となり得る。

ＨＭＤ１００は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。なお、以降の説明において、ＨＭＤ１００によって利用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、ＨＭＤ１００が画像データーに基づいて生成された画像光を射出することを「画像を表示する」ともいう。

Ａ−１−１．画像表示部の構成：
図２は、ＨＭＤ１００の構成を機能的に示すブロック図である。画像表示部２０は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状である（図１）。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、９軸センサー６６と、を備えている。以降、利用者が画像表示部２０を装着した状態における、画像表示部２０の各部の位置関係と機能について説明する。

図１に示すように、右光学像表示部２６および左光学像表示部２８は、利用者の右の眼前と、左の眼前とにそれぞれ位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、利用者の眉間に対応する位置で接続されている。図２に示すように、右光学像表示部２６は、右導光板２６１と、右電子シェード２６１ｓと、調光板（図示省略）と、を備えている。右導光板２６１は、光透過性の樹脂材料等によって形成され、右表示駆動部２２から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼ＲＥに導く。

右電子シェード２６１ｓは、複数の画素をマトリクス状に配置した透過型液晶パネルである。右電子シェード２６１ｓは、供給電圧の増減により、外部から利用者の右眼ＲＥに導かれる外光の透過率を画素単位で増減させる。本実施形態の右電子シェード２６１ｓは、供給電圧なしの状態では外光の透過率が１００％となり、供給電圧が最大の状態では外光の透過率が０％（遮断）される。なお、図２における電子シェードの配置は一例であり、右電子シェード２６１ｓは、右ＬＣＤ２４１と利用者の右眼ＲＥとの間の光路上に配置されていればよい。調光板は、薄板状の光学素子であり、画像表示部２０の表側（利用者の眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１および右電子シェード２６１ｓを保護し、損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。

左光学像表示部２８は、左導光板２６２と、左電子シェード２６２ｓと、調光板（図示省略）とを備えている。これらの詳細は、右光学像表示部２６と同様である。なお、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼び、右電子シェード２６１ｓおよび左電子シェード２６２ｓを総称して単に「電子シェード」とも呼ぶ。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いて実現されても良いし、半透過反射膜を用いて実現されても良い。

図１に示すように、右保持部２１は、右光学像表示部２６の他端ＥＲから利用者の側頭部に対応する位置にかけて延伸して設けられている。左保持部２３は、左光学像表示部２８の他端ＥＬから利用者の側頭部に対応する位置にかけて、延伸して設けられている。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、利用者の頭部に画像表示部２０を保持する。なお、右保持部２１および左保持部２３を総称して単に「保持部」とも呼ぶ。

図１に示すように、右表示駆動部２２は、右保持部２１の内側（利用者の頭部に対向する側）に配置されている。左表示駆動部２４は、左保持部２３の内側に配置されている。図２に示すように、右表示駆動部２２は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ（液晶ディスプレイ、Liquid Crystal Display）制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを備えている。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて右バックライト２２１を駆動する。右バックライト２２１は、例えばＬＥＤ（Light Emitting Diode）やエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用の画像データーＤａｔａとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズである。

左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを備えている。これらの詳細は、右表示駆動部２２と同様である。なお、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼ぶ。

図１に示すように、カメラ６１は、利用者の右眼の目尻の上方に対応する位置に配置されている。カメラ６１は、画像表示部２０の表側方向、換言すれば、ＨＭＤ１００を装着した状態における利用者の視界方向の外景（外部の景色）を撮像し、外景画像を取得する。カメラ６１はいわゆる可視光カメラであるため、外景画像は、物体から放射される可視光によって物体の形状を表す画像となる。本実施形態におけるカメラ６１は単眼カメラであるが、いわゆるステレオカメラを採用してもよい。カメラ６１は「色検出部」として機能する。

図１に示すように、９軸センサー６６は、利用者の右側のこめかみに対応する位置に配置されている。９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が利用者の頭部に装着されているときには、ヘッドマウントディスプレイ１００の利用者の頭部の動きを検出する動き検出部として機能する。ここで、頭部の動きとは、頭部の速度・加速度・角速度・向き・向きの変化を含む。

図１に示すように、画像表示部２０は、画像表示部２０と制御部１０とを接続するための接続部４０を備えている。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。接続部４０の各コードには、例えば、金属ケーブルや光ファイバーを採用することができる。

Ａ−１−２．制御部の構成：
制御部１０はＨＭＤ１００を制御するための装置である。図１に示すように、制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を備えている。決定キー１１は、押下操作を検出して、制御部１０において操作された内容を決定するための信号を出力する。点灯部１２は、例えばＬＥＤによって実現され、ＨＭＤ１００の動作状態（例えば電源のＯＮ／ＯＦＦ等）を発光状態によって通知する。表示切替キー１３は、押下操作を検出して、例えばコンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。

トラックパッド１４は、トラックパッド１４の操作面上における利用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々の方式を採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源投入状態を切り替える。

図２に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１および５２とを備え、各部は図示しないバスにより相互に接続されている。

入力情報取得部１１０は、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、および、電源スイッチ１８に対する操作入力に応じた信号を取得する。入力情報取得部１１０は、上記以外の種々の方法を用いた操作入力を取得することができる。例えば、フットスイッチ（利用者の足により操作するスイッチ）による操作入力を取得してもよい。例えば、視線検出部（図示省略）によって検出された利用者の視線や、目の動きに対応付けられたコマンドによる操作入力を取得してもよい。このコマンドは利用者によって追加可能に設定されていてもよい。例えば、カメラ６１を用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。これらの方法による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部１１０は、利用者からの操作入力を取得することができる。

記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。記憶部１２０には、オペレーティングシステム（ОＳ）をはじめとする種々のコンピュータープログラムが格納されている。また、記憶部１２０には、彩度基準１２２が記憶されている。

彩度基準１２２には、後述する色調整処理において使用される彩度の基準となる値が予め格納されている。本実施形態において、彩度の基準には、ＲＧＢ色空間またはＨＳＢ色空間における「Ｓ値」を用いる。彩度基準１２２の値は、目視色を制御する方法を使い分けるために用いられる。なお、彩度基準１２２の値は、利用者によって適宜変更可能であってもよい。

電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。

無線通信部１３２は、所定の無線通信規格に則って、外部装置との間で無線通信を行う。所定の無線通信規格とは、例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）に例示される近距離無線通信、ＩＥＥＥ８０２．１１に例示される無線ＬＡＮ等である。

ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、ＨＭＤ１００の利用者の現在位置を検出し、利用者の現在位置情報を表す現在位置情報を生成する。現在位置情報は、例えば緯度経度を表す座標によって実現することができる。

ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、拡張現実感処理部１４２、色調整部１４４、ＯＳ１５０、画像処理部１６０、音声処理部１７０、表示制御部１９０として機能する。

拡張現実感処理部１４２は、拡張現実感処理を実行する。拡張現実感処理は、現実世界に実在する実オブジェクトに対して、仮想オブジェクトを付加して表示するための処理であり、以下の手順ａ１〜ａ６を含む。

（ａ１）拡張現実感処理部１４２は、カメラ６１により撮像された外景画像を取得する。
（ａ２）拡張現実感処理部１４２は、手順ａ１で取得した外景画像に含まれる実オブジェクトの中から、仮想オブジェクトを付加する対象となる実オブジェクト（以降、「対象オブジェクト」とも呼ぶ。）を特定する。
（ａ３）拡張現実感処理部１４２は、ＨＭＤ１００に対する対象オブジェクトの位置および距離を取得する。この際、拡張現実感処理部１４２は、ステレオカメラによって取得された２枚以上の外景画像を用いて位置および距離を算出してもよいし、図示しない各種のセンサー（例えば、深度センサー、測距センサー等）を用いて位置および距離を算出してもよい。

（ａ４）拡張現実感処理部１４２は、仮想オブジェクトを表す画像、文字、図形記号等を取得または生成する。拡張現実感処理部１４２は、仮想オブジェクトを記憶部１２０に予め記憶していてもよいし、仮想オブジェクトをＨＭＤ１００にネットワーク接続されている他の装置から取得してもよい。
（ａ５）拡張現実感処理部１４２は、手順ａ３で取得した対象オブジェクトの位置および距離に合わせて、手順ａ４の仮想オブジェクトを配置し、他の部分に黒色を配置した付加画像データーを生成する。この位置合わせの際、拡張現実感処理部１４２は、対象オブジェクトの特徴部（エッジ等）を利用してもよいし、対象オブジェクトに付されたマーカー等の目印を利用してもよい。また、拡張現実感処理部１４２は、仮想オブジェクトを配置する際に、仮想オブジェクトに対して拡大、縮小、回転、色変換等の画像処理を施してもよい。
（ａ６）拡張現実感処理部１４２は、付加画像データーを画像処理部１６０へ送信する。画像処理部１６０は、受信した付加画像データーに対して、後述の表示処理を実行する。

色調整部１４４は、目視色を制御するための色調整処理を実行する。色調整処理は、拡張現実感処理のサブルーチンとして、上述した手順ａ５と手順ａ６との間において実行される処理である。色調整処理の詳細は後述する。

画像処理部１６０は、画像表示のための信号処理を行う。具体的には、画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介してコンテンツ（映像）が入力されている場合、コンテンツに基づく画像データーＤａｔａを生成する。画像処理部１６０は、ＨＭＤ１００の他の機能部から画像データーを受信した場合、受信したデーターを画像データーＤａｔａとする。なお、画像処理部１６０は、画像データーＤａｔａに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。画像処理部１６０は、上述の画像データーＤａｔａと、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、を、送信部５１、５２を介して、画像表示部２０へ送信する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、左右のＬＣＤ制御部２１１、２１２による左右のＬＣＤ２４１、２４２の駆動ＯＮ／ＯＦＦや、左右のバックライト制御部２０１、２０２による左右のバックライト２２１、２２２の駆動ＯＮ／ＯＦＦを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、これらの制御信号を、送信部５１、５２を介して画像表示部２０へ送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２の図示しないスピーカーと、左イヤホン３４の図示しないスピーカーとに対して供給する。

インターフェイス１８０は、所定の有線通信規格に則って、外部装置ＯＡとの間で通信を行う。所定の有線通信規格としては、例えば、ＭｉｃｒｏＵＳＢ（Universal Serial Bus）、ＵＳＢ、ＨＤＭＩ（High Definition Multimedia Interface、ＨＤＭＩは登録商標）、ＤＶＩ（Digital Visual Interface）、ＶＧＡ（Video Graphics Array）、コンポジット、ＲＳ−２３２Ｃ（Recommended Standard 232）、ＩＥＥＥ８０２．３に例示される有線ＬＡＮ等である。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等を利用することができる。

図３は、利用者に視認される虚像の一例を示す説明図である。図３（Ａ）は、拡張現実感処理を実行していない場合の利用者の視野ＶＲを例示している。上述のようにして、ＨＭＤ１００の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像ＶＩを視認する。図３（Ａ）の例では、虚像ＶＩは、ＨＭＤ１００のＯＳ１５０の待ち受け画面である。利用者は、右光学像表示部２６および左光学像表示部２８を透過して外景ＳＣを視認する。このように、本実施形態のＨＭＤ１００の利用者は、視野ＶＲのうち虚像ＶＩが表示された部分については、虚像ＶＩと、虚像ＶＩの背後に外景ＳＣとを見ることができる。また、視野ＶＲのうち虚像ＶＩが表示されていない部分については、光学像表示部を透過して、外景ＳＣを直接見ることができる。

図３（Ｂ）は、拡張現実感処理を実行している場合の利用者の視野ＶＲを例示している。拡張現実感処理を実行することによって、利用者は、仮想オブジェクトＶＯを含んだ虚像ＶＩを視認する。仮想オブジェクトＶＯは、外景ＳＣの山の麓に重畳するように配置されたリンゴの画像である。このように、利用者は、虚像ＶＩに含まれる仮想オブジェクトＶＯと、虚像ＶＩの背後に透過して見える外景ＳＣ内の実オブジェクトと、の両方を見ることで、拡張現実感を体感することができる。

Ａ−２．色調整処理：
色調整処理は、拡張現実感処理中において、目視色を制御する処理である。目視色とは、実オブジェクトの色と仮想オブジェクトの色とが重畳された色、換言すれば、利用者が実際に視認する色を意味する。色調整処理は、拡張現実感処理のサブルーチンとして、拡張現実感処理の手順ａ５と手順ａ６との間で実行される。なお、以降の色調整処理における「色」の特定には、ＲＧＢ色空間またはＨＳＢ色空間における「ＲＧＢ値」または「ＨＳＢ値」を用いる。すなわち、本実施形態の「色」には、色相、彩度、明度の全てを含む。

図４は、色調整処理の手順を示すフローチャートである。図５は、色調整処理の一例について説明する図である。図５の例では、車のディーラーにおいて、利用者ＵＲが、注文する車の車体の色を決める際に拡張現実感処理を利用する場合を示している。図６は、色調整処理の他の例について説明する図である。図６の例では、車のディーラーにおいて、利用者ＵＲが、注文する車に付加するアクセサリーを決める際に拡張現実感処理を利用する場合を示している。

色調整処理（図４）のステップＳ１００において色調整部１４４は、仮想オブジェクトを取得する。具体的には、色調整部１４４は、拡張現実感処理部１４２から仮想オブジェクトを含んだ付加画像データーを取得する。付加画像データーとは、拡張現実感処理の手順ａ５で生成されたデーターである。色調整部１４４は、例えば特徴部抽出（エッジ抽出）等の手法を用いて、取得した付加画像データーから仮想オブジェクトを抽出する。

図５の例では、色調整部１４４は、拡張現実感処理部１４２から付加画像データーＤａｔａ１を取得し、車体を表す仮想オブジェクトＶＯ１を抽出する。図６の例では、色調整部１４４は、拡張現実感処理部１４２から付加画像データーＤａｔａ２を取得し、フロントスポイラーを表す仮想オブジェクトＶＯ２を抽出する。

図４のステップＳ１０２において色調整部１４４は、外景画像から対象オブジェクトを取得する。対象オブジェクトとは、仮想オブジェクトを付加する対象となる実オブジェクトである。具体的には、色調整部１４４は、カメラ６１に外景画像を撮像させ、カメラ６１から外景画像を取得する。色調整部１４４は、例えば特徴部抽出（エッジ抽出）等の手法を用いて、取得した外景画像データーから対象オブジェクトを抽出する。

図５の例では、色調整部１４４は、カメラ６１から外景画像ＩＭ１を取得し、車を表す対象オブジェクト（実オブジェクト）ＦＯを抽出する。同様に、図６の例では、色調整部１４４は、カメラ６１から外景画像ＩＭ２を取得し、車を表す対象オブジェクトＦＯを抽出する。

図４のステップＳ１０４において色調整部１４４は、色調整処理内において用いる変数ｘ、ｙに１をセットする。変数ｘ、ｙは、共に、１つの画素を特定するために用いられる。

ステップＳ１０６において色調整部１４４は、仮想オブジェクトの（ｘ，ｙ）画素の目的の色を決定する。目的の色とは、拡張現実感処理が用いられる場面に応じて、以下の基準ｂ１、ｂ２のいずれかに沿って定められる。

（ｂ１）カタログ色：
対象オブジェクトが置かれている現実の環境（特に光環境）を考慮せずに、目的の色を定める。色調整部１４４は、ステップＳ１００で抽出した仮想オブジェクトの（ｘ，ｙ）画素の色をそのまま目的の色としてもよいし、利用者によって指定された色をそのまま目的の色としてもよい。なお、仮想オブジェクトの（ｘ，ｙ）画素の色は、仮想オブジェクトが本来持つ色と、仮想オブジェクトのテクスチャを表現するための色と、仮想オブジェクトに当たる光を表現するための色と、仮想オブジェクトに生じる陰影を表現するための色と、のうちのいずれかとなる。このため、例えば仮想オブジェクトが「赤い車」であっても、仮想オブジェクトの（ｘ，ｙ）画素の色は、ｘ，ｙの値に応じて（画素の位置に応じて）、例えば赤、白、茶色等、様々となる。基準ｂ１は、対象オブジェクトの少なくとも一部を仮想オブジェクトで置換したい場合に採用されることが好ましい。置換したい場合とは、例えば、図５に示したディーラーにおける車体色のシミュレーションや、住宅展示場における壁紙や床材のシミュレーション等である。

（ｂ２）マッチング色：
対象オブジェクトが置かれている現実の環境（特に光環境）を考慮して（例えば、現実の環境に適合するようにしてもよいし、現実の環境から際立たせるようにしてもよい）、目的の色を定める。具体的には、色調整部１４４は、以下に例示する方法ｂ２−１またはｂ２−２によって目的の色を定めることができる。基準ｂ２は、対象オブジェクトに仮想オブジェクトを付加したい場合に採用されることが好ましい。付加したい場合とは、例えば、図６に示したディーラーにおけるアクセサリーのシミュレーションや、住宅展示場における家具のシミュレーション等である。

（ｂ２−１）色調整部１４４は、ステップＳ１０２で取得した対象オブジェクト（実オブジェクト）の色の統計色（例えば、平均色、中央色等）を求める。色調整部１４４は、求めた統計色を目的の色とする。
（ｂ２−２）色調整部１４４は、ステップＳ１０２で取得した外景画像を画像認識することによって、対象オブジェクト（実オブジェクト）の各領域の輝度情報（影領域の情報、鏡面反射の情報、拡散反射の情報等）を収集する。色調整部１４４は、収集した輝度情報に基づいて、仮想オブジェクトに追加する光源の種類（点光源、スポットライト、平行光源、環境光、天空光、ＩＢＬ等）、光源の色温度、光源の強さ等のうちの少なくとも一部を決定する。色調整部１４４は、決定した種類、色温度、強さ等を持つ光源を、ステップＳ１００で取得した仮想オブジェクトに合成する。色調整部１４４は、光源の合成後の仮想オブジェクトの（ｘ，ｙ）画素の色を目的の色とする。

なお、ステップＳ１０６において、仮想オブジェクトが本来持つ色として利用者から指定された色は、ネットワークを介して他の装置の記憶装置に記憶されてもよい。他の装置に記憶された色は、種々の用途に使用可能である。例えば、他の装置に記憶された色は、利用者から指定された色を持つ製品（例えば、車や、壁紙や床材等）の注文や製造に使用されてもよいし、利用者の嗜好を把握するための分析に使用されてもよい。

図４のステップＳ１０８において色調整部１４４は、対象オブジェクトの（ｘ，ｙ）画素の実物色を取得する。実物色とは、対象オブジェクト（仮想オブジェクトを付加する対象となる実オブジェクト）の実際の色である。具体的には、色調整部１４４は、ステップＳ１０２で取得した対象オブジェクトの（ｘ，ｙ）画素の色を、実物色として取得する。このように、本実施形態では、カメラ６１により撮像された外景画像内の対象オブジェクトの色を実物色とみなしているため、標準機能として広く普及しているカメラ６１を用いて実物色を検出することができる。

ステップＳ１１０において色調整部１４４は、ステップＳ１０８で取得した対象オブジェクトの（ｘ，ｙ）画素の実物色の彩度（Ｓ値）が、彩度基準１２２に格納されている基準（Ｓ値）以上であるか否かを判定する。実物色の彩度が彩度基準１２２以上である場合（ステップＳ１１０：ＹＥＳ）、ステップＳ１１２以降の処理で色調整部１４４は、電子シェードを用いて外景の透過率を変更させることで目視色を制御する。一方、実物色の彩度が彩度基準１２２より小さい場合（ステップＳ１１０：ＮＯ）、ステップＳ１１８の処理で色調整部１４４は、仮想オブジェクトの色を調整することで目視色を制御する。

電子シェードを用いて外景の透過率を変更させることで目視色を制御する場合について説明する。図４のステップＳ１１２において色調整部１４４は、対象オブジェクトの（ｘ，ｙ）画素に対応する部分の電子シェードをＯＮにする。具体的には、色調整部１４４は、図２の右電子シェード２６１ｓのうちの対象オブジェクトの（ｘ，ｙ）画素に対応する画素と、左電子シェード２６２ｓのうちの対象オブジェクトの（ｘ，ｙ）画素に対応する画素と、に電圧を供給することで、当該画素部分の外光の透過率を減少させる。この際、色調整部１４４は、電子シェードへの供給電圧を最大（１００％）にして外光を遮断してもよい。こうすれば、色調整部１４４における制御が単純となる。また、色調整部１４４は、対象オブジェクトの（ｘ，ｙ）画素の彩度に比例させて電子シェードへの供給電圧を１％〜１００％の範囲で調整することで、外光の少なくとも一部を遮断してもよい。こうすれば、色調整部１４４はきめ細かく目視色を制御することができる。

ステップＳ１１４において色調整部１４４は、仮想オブジェクトの（ｘ，ｙ）画素のＣＧ色を変更せずに、そのままとする。ＣＧ色とは、画像データーに含まれる仮想オブジェクトの色である。

仮想オブジェクトの色を調整することで目視色を制御する場合について説明する。図４のステップＳ１１８において色調整部１４４は、以下の実物色ｉと、ＣＧ色ｉｉと、を加法混色した際に、目的の色ｉｉｉとなる（または近づく）色を求める。色調整部１４４は、仮想オブジェクトの（ｘ，ｙ）画素のＣＧ色を、求めた色に変更する。
（ｉ）ステップＳ１０８で取得した対象オブジェクトの（ｘ，ｙ）画素の実物色
（ｉｉ）ＣＧ色
（ｉｉｉ）ステップＳ１０６で決定した仮想オブジェクトの（ｘ，ｙ）画素の目的の色

図４のステップＳ１１６において色調整部１４４は、処理を次の画素へ進めるための変数の制御を行う。具体的には、変数ｘが仮想オブジェクトの最終画素ではない場合、色調整部１４４は、変数ｘをインクリメントして、処理をステップＳ１０６へ遷移させる。これにより、処理対象が右隣の画素に遷移する。変数ｘが最終画素であり、かつ、変数ｙが最終画素ではない場合、色調整部１４４は、変数ｙをインクリメントして、変数ｘを１にして、処理をステップＳ１０６へ遷移させる。これにより、処理対象が１行下の画素列に遷移する。変数ｘおよび変数ｙが最終画素である場合、色調整部１４４は、処理を終了し、ＣＧ色の調整後における仮想オブジェクトを含んだ付加画像データーを、拡張現実感処理部１４２へ送信する。その後、色調整部１４４は処理を終了させる。

図４に示した色調整処理の結果、図５、図６に示すように、利用者ＵＲは、視野ＶＲにおいて、ＣＧ色が調整された仮想オブジェクトＶＯ１、ＶＯ２を含んだ虚像ＶＩを視認する。また、利用者ＵＲは、画像表示部２０を透過した外景ＳＣにおいて、実オブジェクトＦＯ（対象オブジェクト）を視認する。図５の仮想オブジェクトＶＯ１は、実オブジェクトＦＯの車体部分全域に亘って重畳されて表示されているため、利用者ＵＲは、あたかも車の色が変わったような像を見ることができる。図６の仮想オブジェクトＶＯ２は、実オブジェクトＦＯの車体下部において、その一部が重畳されて表示されているため、利用者ＵＲは、あたかも車にフロントスポイラーが付加されたような像を見ることができる。

以上のように、上記色調整処理において色調整部１４４は、実オブジェクトＦＯの色（実物色）と仮想オブジェクトＶＯの色（ＣＧ色）とが重畳された色である目視色、換言すれば、利用者が視認する色である目視色を、色検出部（カメラ６１）によって検出された実物色を用いて制御することができる。この結果、本実施形態の頭部装着型表示装置（ＨＭＤ１００）は、図５や図６に例示したような様々な場面において、利用者ＵＲによる実際の見え方を考慮して、より適切な色表現を行うことが可能となる。

さらに、ステップＳ１１０以降の色調整処理において、色調整部１４４は、実物色の彩度（色鮮やかさ）に応じて、外景ＳＣの透過率を変更することで目視色を制御するのか、仮想オブジェクトＶＯの色を調整することで目視色を制御するのか、を使い分ける。実物色の彩度が高い（色鮮やかである）場合は、例えば外景ＳＣの透過率を下げることによって、色鮮やかな実物色そのものを利用者に見えづらくすることで、仮想オブジェクトＶＯの色を強調することが有効である。一方、実物色の彩度が低い（くすんだ色である）場合は、仮想オブジェクトＶＯの色を調整した加法混色による調色を用いれば、表現できる色域を拡げることができる。このようにして色の分解能を向上させれば、微妙な色再現が可能となるため有効である。このようにすれば、色調整部１４４は、実物色の彩度に応じて、目視色を制御するためのより適切な方法を使い分けることができる。

さらに、上記色調整処理において色調整部１４４は、目視色の制御を仮想オブジェクトＶＯの画素毎に実行するため、目視色の制御を簡単に行うことができる。また、仮想オブジェクトＶＯに複数の色が混在している場合であっても、目視色を制御することができる。なお、仮想オブジェクトＶＯに複数の色が混在している場合とは、仮想オブジェクトＶＯが本来持つ色が複数ある場合（例えば、ボディが青で帆が白いヨット）のほか、上述した１つの仮想オブジェクトＶＯ（例えば、赤い車用のフロントスポイラー）に、仮想オブジェクトが本来持つ色と、仮想オブジェクトのテクスチャを表現するための色と、仮想オブジェクトに当たる光を表現するための色と、仮想オブジェクトに生じる陰影を表現するための色とが混在している場合も含む。

Ａ−３．色調整処理の変形：
なお、色調整処理（図４）には、以下のような変形１〜３を施してもよい。変形１〜３は単独で採用してもよいし、組み合わせて採用してもよい。

Ａ−３−１．変形１：
変形１では、実物色の彩度に応じた目視色の制御を省略する。

一例では、色調整部１４４は、実物色の彩度によらず一律に、電子シェードを用いて外景の透過率を変更させることで目視色を制御する。具体的には、図４のステップＳ１１０とＳ１１８とを省略すればよい。このようにすれば、画像表示部２０における外景ＳＣの透過率を変更することで目視色を目的の色に近づけることができるため、頭部装着型表示装置（ＨＭＤ１００）における特別な画像処理を必要とせずに、目視色を制御することができる。

他の例では、色調整部１４４は、実物色の彩度によらず一律に、仮想オブジェクトの色を調整することで目視色を制御する。具体的には、図４のステップＳ１１０とＳ１１２とＳ１１４とを省略すればよい。このようにすれば、仮想オブジェクトＶＯの色（ＣＧ色）を調整することで目視色を目的の色に近づけることができるため、頭部装着型表示装置（ＨＭＤ１００）が備える既存の構成に特別な構成（右電子シェード２６１ｓ、左電子シェード２６２ｓ）を追加することなく、目視色を制御することができる。

Ａ−３−２．変形２：
変形２では、目視色の制御を仮想オブジェクトＶＯの画素ブロック毎に実行する。画素ブロックとは、仮想オブジェクトＶＯの画素のうち、近隣の複数の画素をまとめたｎ×ｍ（ｎ、ｍは２以上の整数）の画素のまとまりである。「近隣の複数の画素」とは、隣り合って連続する複数の画素を意味する。

図４のステップＳ１０４において色調整部１４４は、色調整処理内において用いる変数ｘ、ｙに２をセットする。変数ｘ、ｙは、共に、３×３画素から構成される画素ブロックを特定するために用いられる。

ステップＳ１０６、Ｓ１０８、Ｓ１１２の説明のうち、「（ｘ，ｙ）画素」との記載は「（ｘ，ｙ）画素を中心とする画素ブロック」と読み替え、「（ｘ，ｙ）画素の色」との記載は「（ｘ，ｙ）画素を中心とする画素ブロックの色」と読み替える。色調整部１４４は、画素ブロックの色を、画素ブロックを構成する各画素の統計色（例えば、平均色、中央色等）によって求めることができる。

ステップＳ１１６の説明のうち、「インクリメント」との記載は「元の値に３を加算」と読み替え、「変数ｘを１にし」との記載は「変数ｘを２にし」と読み替える。

なお、上記例では、ｎ＝３、ｍ＝３を用いて３×３画素から構成される画素ブロックを採用した場合について例示したが、ｎとｍとの値は任意に定めることができる。ｎの値とｍの値とを異なる値としてもよい。

変形２によれば、色調整部１４４は、目視色の制御を仮想オブジェクトＶＯの画素ブロック毎に実行するため、目視色の制御の結果が画素ごとにばらつくことを抑制することができる。また、仮想オブジェクトＶＯに複数の色が混在している場合であっても、目視色を制御することができる。

Ａ−３−３．変形３：
変形３では、表示系の位置合わせ（キャリブレーション）を実施する。

ＨＭＤ１００には、予め、光学像表示部（左表示駆動部２４および右光学像表示部２６）と、カメラ６１と、平均的な利用者の眼と、から構成される表示系の位置合わせがされている。変形３では、この規定の位置合わせの内容を、ＨＭＤ１００の利用者の個人差や、ＨＭＤ１００の個体差に合わせて変更可能である。具体的には、ＣＰＵ１４０は、以下の手順ｃ１、ｃ２を実行する。以下の２つの手順は、位置合わせの精度向上の観点から、組み合わせて、かつ、手順ｃ１、ｃ２の順で実行されることが好ましいが、単独で実行されてもよい。

（ｃ１）利用者の眼間距離の調整：
ＣＰＵ１４０は、右ＬＣＤ２４１および左ＬＣＤ２４２に対して、同一の第１の校正用画像を表示させる。本実施形態では、表示は無限遠とする。この時、ＣＰＵ１４０は、左右のＬＣＤのうちのいずれか一方に表示されている第１の校正用画像の位置を、ユーザーインターフェイス（例えば、トラックパッド１４等）の操作により移動可能とする。利用者は、ユーザーインターフェイスを操作し、虚像として視認している左右の第１の校正用画像の位置を一致させた後、ユーザーインターフェイス（例えば、決定キー１１等）を操作し、位置確定の旨をＣＰＵ１４０へ通知する。

ＣＰＵ１４０は、位置確定の旨を取得した際の、右ＬＣＤ２４１における第１の校正用画像の位置と、左ＬＣＤ２４２における第１の校正用画像の位置と、画像処理部１６０へ送信する。画像処理部１６０は、右ＬＣＤ２４１における第１の校正用画像の位置を基準として、右ＬＣＤ２４１における画像の表示範囲を調整する。同様に、画像処理部１６０は、左ＬＣＤ２４２における第１の校正用画像の位置を基準として、左ＬＣＤ２４２における画像の表示範囲を調整する。

（ｃ２）利用者による校正用画像と実オブジェクトとの位置合わせ：
ＣＰＵ１４０は、右ＬＣＤ２４１および左ＬＣＤ２４２に対して、第２の校正用画像を表示させながら、当該第２の校正用画像に対応した実オブジェクト（例えば、２次元マーカー）を、カメラ６１を介して認識する。この時、ＣＰＵ１４０は、カメラ６１（または光学表示部）に対する実オブジェクトの姿勢および位置を追跡する。ＣＰＵ１４０は、左右のＬＣＤに表示されている第２の校正用画像の位置を連動させて、ユーザーインターフェイス（例えば、トラックパッド１４等）の操作により移動可能とする。この場合、利用者の操作がないときには、実オブジェクトの上記追跡に応じて、表示された第２の校正用画像の姿勢および位置が変わるようにしてもよい。なお、第２の校正用画像の表示範囲は、手順ｃ１が実行されている場合は手順ｃ１で調整された後の範囲であり、手順ｃ１が実行されていない場合はデフォルトの範囲である。利用者は、ユーザーインターフェイスを操作し、虚像として視認している左右の第２の校正用画像と、光学像表示部を透過して視認している実オブジェクトとが重なる（位置、大きさ、向きの少なくとも１つがほぼ一致する）ように知覚したタイミングでユーザーインターフェイス（例えば、決定キー１１等）を操作し、位置確定の旨をＣＰＵ１４０へ通知する。

ＣＰＵ１４０は、位置確定の旨を取得した際の、カメラ６１の撮像により得られた画像（外景画像）における実オブジェクトの位置と、右ＬＣＤ２４１における第２の校正用画像の位置と、左ＬＣＤ２４２における第２の校正用画像の位置と、を取得する。ＣＰＵ１４０は、取得した各位置の情報に基づいて、カメラ６１の撮像範囲と、左右のＬＣＤ２４１、２４２における画像の表示範囲と、を調整する。なお、手順ｃ２では、第２の校正用画像はＬＣＤ２４１、２４２上で移動可能であるが、第２の校正用画像は、固定された姿勢で、固定された位置に表示されてもよい。後者の場合には、利用者が第２の校正用画像と実オブジェクトとが重なるように知覚するように、利用者が実オブジェクトに対して移動すればよい。

変形３の手順ｃ１によれば、ＣＰＵ１４０は、主に利用者の個人差に応じた表示系の位置合わせを行うことができる。変形３の手順ｃ２によれば、ＣＰＵ１４０は、主にＨＭＤ１００の個体差に応じた表示系の位置合わせを行うことができる。これらの結果、ＣＰＵ１４０は、拡張現実感処理において、実オブジェクトの位置と、仮想オブジェクトの位置と、をより精度よく合わせることができる。なお、第１の校正用画像と、第２の校正用画像とは、同じであってもよく異なっていてもよい。

Ｂ．第２実施形態：
本発明の第２実施形態では、色調整処理において、現実の光環境に加えてさらに、仮想的な光環境を考慮して目視色を変更する。以下では、第１実施形態と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第１実施形態と同様の構成および動作は先に説明した第１実施形態と同様の符号を付し、その詳細な説明を省略する。すなわち、以下に説明しない構成および動作は、上述した第１実施形態と同じである。

Ｂ−１．頭部装着型表示装置の構成：
図７は、第２実施形態のＨＭＤ１００ａの構成を機能的に示すブロック図である。ＨＭＤ１００ａは、制御部１０に代えて制御部１０ａを備えている。制御部１０ａは、色調整部１４４に代えて色調整部１４４ａを備え、記憶部１２０に代えて記憶部１２０ａを備えている。色調整部１４４ａは、色調整処理における処理内容の一部が第１実施形態と異なる。

記憶部１２０ａは、彩度基準１２２に加えてさらに、環境対応テーブル１２４と、プリセット群１２６と、を備えている。環境対応テーブル１２４には、複数のプリセット（プリセット群１２６）から１つのプリセットを特定するための情報が記憶されている。プリセット群１２６は、複数のプリセットにより構成されている。個々のプリセットには、それぞれ、付加画像データーを色変換するための情報が記憶されている。色変換するための情報には、例えば、ホワイトバランス調整のための情報（具体的には、例えば、ＲＧＢ毎のトーンカーブの調整内容、色温度の調整内容、色偏差の調整内容等のうちの、少なくとも一部）が含まれている。

Ｂ−２．色調整処理：
図８は、第２実施形態の色調整処理について説明する図である。上述した第１実施形態の色調整処理では、対象オブジェクトが置かれている現実の光環境を考慮せず（図４、ステップＳ１０６、ｂ１：カタログ色）、または、現実の光環境を考慮して（図４、ステップＳ１０６、ｂ２：マッチング色）、目視色を制御した（図８、破線枠）。第２実施形態では、このような現実の光環境に加えてさらに、仮想的な光環境を考慮して、目視色を変更することを可能とする。なお、「現実の光環境」とは、色調整処理の対象オブジェクトが置かれている現実の光環境を意味する。「仮想的な光環境」とは、ＨＭＤ１００ａの利用者に対して視認させようとする仮想的な光環境を意味する。

色調整部１４４ａは、仮想的な光環境を考慮する場合、図４に示した色調整処理のステップＳ１１６において、付加画像データーを拡張現実感処理部１４２へ送信する前に、後述の色変換処理を実施する（図８、実線枠）。一方、色調整部１４４ａは、仮想的な光環境を考慮しない場合、図４に示した色調整処理をそのまま実施する（図８、破線枠）。この結果、色調整部１４４ａは、図８に示す４パターンの処理を実施することができる。なお、色調整部１４４ａは、仮想的な光環境を考慮するか否かについて、例えば、記憶部１２０ａ内に予め記憶されている設定の内容を参照して判断できる。この設定内容は、利用者によって変更可能であってもよい。

Ｂ−２−１．色変換処理：
図９は、色変換処理の手順を示すフローチャートである。色変換処理は、付加画像データーを色変換することで、仮想的な光環境を考慮して、目視色を変更するための処理である。ステップＳ２００において色調整部１４４ａは、対象オブジェクトが置かれている現実の光環境を取得する。色調整部１４４ａは、例えば、色調整処理（図４）のステップＳ１０６の基準ｂ２−２と同様の方法を用いて、現実の光環境を取得することができる。

ステップＳ２０２において色調整部１４４ａは、仮想的な光環境を取得する。仮想的な光環境は、例えば、記憶部１２０ａ内に予め記憶されている設定の内容を参照して判断できる。この設定内容は、利用者によって変更可能であってもよい。

ステップＳ２０４において色調整部１４４ａは、環境対応テーブル１２４を参照して、採用すべきプリセットを取得する。

図１０は、環境対応テーブル１２４の一例を示す図である。環境対応テーブル１２４には、仮想的な光環境を実現するために、現実の光環境に応じて採用すべきプリセットの識別子が対応付けられて記憶されている。図１０の例では、環境対応テーブル１２４には、例えば、仮想的な光環境「蛍光灯」を実現するために、現実の光環境が「蛍光灯」である場合にはプリセットを採用しないこと、現実の光環境が「白熱灯」である場合にはプリセット３を採用すること、現実の光環境が「太陽光」である場合にはプリセット５を採用すること、が記憶されている。仮想的な光環境「白熱灯」、「太陽光」についても同様であるため、説明は省略する。本実施形態では蛍光灯として昼光色を想定し、太陽光として晴天日中の太陽光を想定する。なお、図１０の例では、光環境の一例として光源の種類を例示した。しかし、光環境としては、例えば、朝焼け、夕暮れ等のシーン的な要素が採用されてもよい。

図９のステップＳ２０４において色調整部１４４ａは、ステップＳ２００で取得した現実の光環境と、ステップＳ２０２で取得した仮想的な光環境と、をキーとして環境対応テーブル１２４を検索し、プリセットの識別子を取得する。色調整部１４４ａは、プリセット群１２６から、取得した識別子を有するプリセットを取得する。

ステップＳ２０６において色調整部１４４ａは、付加画像データーの全画素（黒色部分も含む全画素を意味する）に対して、ステップＳ２０４で取得したプリセットを適用する。この結果、付加画像データーの全体には、プリセットに予め記憶されているＲＧＢ毎のトーンカーブの調整、色温度の調整、色偏差の調整等が行われる。例えば、プリセット５（現実の光環境が太陽光、仮想的な光環境が蛍光灯の場合のプリセット）が適用された場合、付加画像データーの全体には、例えば色温度を４０００Ｋとし、例えばＢのトーンカーブを上昇させるような調整が行われる。このようにして、色調整部１４４ａは、仮想オブジェクトが含まれる付加画像データーの全体を色変換することで、仮想的な光環境を考慮して目視色を変更することができる。この結果、本実施形態の頭部装着型表示装置（ＨＭＤ１００ａ）では、目視色の再現の幅が広がり、利用者における利便性を向上させることができる。

なお、上述した色変換処理では、付加画像データーの色変換によって仮想的な光環境を考慮した目視色の制御を実現した。しかし、色調整部１４４ａは、付加画像データーの色変換に代えて、または、付加画像データーの色変換と共に、電子シェードを利用することによって、仮想的な光環境を考慮した目視色の変更を実現してもよい。この場合、電子シェードの制御内容（例えば、電子シェードへの供給電圧の調整内容）は、例えば、プリセットに記憶されていてもよい。

Ｂ−３．色調整処理の変形：
第２実施形態の色調整処理においても、上述した変形１〜３を採用してよい。変形１〜３は単独で採用してもよいし、組み合わせて採用してもよい。

Ｃ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。

・変形例１：
上記実施形態では、ＨＭＤの構成について例示した。しかし、ＨＭＤの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。

上記実施形態における制御部と画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。
（i）制御部にＣＰＵやメモリー等の処理機能を搭載し、画像表示部には表示機能のみを搭載する態様
（ｉｉ）制御部と画像表示部との両方にＣＰＵやメモリー等の処理機能を搭載する態様
（ｉｉｉ）制御部と画像表示部とを一体化した態様（例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様）
（ｉｖ）制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様
（ｖ）制御部と画像表示部とを無線ＬＡＮや赤外線通信やＢｌｕｅｔｏｏｔｈ等の無線の信号伝送路を介した接続により接続し、接続部（コード）を廃した態様。なお、この場合において、制御部または画像表示部に対する給電をワイヤレスにより実施してもよい。

例えば、上記実施形態で例示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部の送信部（Ｔｘ）および画像表示部の受信部（Ｒｘ）は、いずれも、双方向通信が可能な機能を備えており送受信部として機能してもよい。例えば、制御部が備えるとした操作用インターフェイス（各種キーやトラックパッド等）の一部を省略してもよい。例えば、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。例えば、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。例えば、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。

図１１は、変形例におけるＨＭＤの外観の構成を示す説明図である。図１１（Ａ）の画像表示部２０ｘは、右光学像表示部２６ｘおよび左光学像表示部２８ｘを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め上にそれぞれ配置されている。図１１（Ｂ）の画像表示部２０ｙは、右光学像表示部２６ｙおよび左光学像表示部２８ｙを備えている。これらは上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における利用者の左右の眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。光学像表示部を形成する光学部材の大きさは任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様でもよい。

例えば、制御部が備えるとした各処理部（例えば画像処理部、表示制御部、拡張現実感処理部等）は、当該機能を実現するために設計されたＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）を用いて構成されてもよい。

例えば、ＨＭＤは、両眼タイプの透過型ＨＭＤであるものとしたが、単眼タイプのＨＭＤとしてもよい。例えば、利用者がＨＭＤを装着した状態において外景の透過が遮断される非透過型ＨＭＤとして構成してもよいし、非透過型ＨＭＤにカメラを搭載したビデオシースルーとして構成してもよい。例えば、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。

例えば、眼鏡のように装着する画像表示部に代えて、通常の平面型ディスプレイ装置（液晶ディスプレイ装置、プラズマディスプレイ装置、有機ＥＬディスプレイ装置等）を採用してもよい。この場合も、制御部と画像表示部との間の接続は、有線、無線どちらでもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。
例えば、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等の身体防護具に内蔵された画像表示部といった、他の態様の画像表示部を採用してもよい。例えば、自動車や飛行機等の車両、またはその他の交通手段に搭載されるヘッドアップディスプレイ（ＨＵＤ、Head-Up Display）として構成されてもよい。

例えば、画像光生成部は、上述した構成部（バックライト、バックライト制御部、ＬＣＤ、ＬＣＤ制御部）と共に、または、上述した構成部に代えて、他の方式を実現するための構成部を備えていても良い。例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備えていてもよい。例えば、画像生成部は、ＬＣＤに代えてデジタル・マイクロミラー・デバイス等を備えていてもよい。例えば、レーザー網膜投影型の頭部装着型表示装置に対して本発明を適用することも可能である。

・変形例２：
上記実施形態では、拡張現実感処理と、色調整処理との一例を示した。しかし、上記実施形態において示した処理の手順はあくまで一例であり、種々の変形が可能である。例えば、一部のステップを省略してもよいし、更なる他のステップを追加してもよい。実行されるステップの順序を変更してもよい。

例えば、色調整処理（図４）は、拡張現実感処理の手順ａ４と手順ａ５との間において実行されてもよい。例えば、色調整部は、「色」の構成要素のうちの色相、彩度、明度のうちの少なくともいずれか１つについてのみ、色調整処理を実施してもよい。

例えば、色調整処理のステップＳ１０６において色調整部は、画素ごと（または画素ブロックごと）に目的の色を決定しているが、色調整部は、仮想オブジェクト単位で目的の色を決定してもよい。仮想オブジェクト単位で目的の色を決定した場合、仮想オブジェクトは単色になる。この場合、ステップＳ１１６が終了した後、色調整部は処理をステップＳ１０８へ遷移させればよい。

例えば、色調整処理のステップＳ１０８において、ＨＭＤがカラーセンサー等の他の色検出手段を備える場合、色調整部は、他の色検出手段を用いて実物色を取得してもよい。

例えば、色調整処理のステップＳ１１０の判定は、最初の画素（または最初の画素ブロック）について１回実施するだけとし、２回目以降は「前回と同じ処理ルートを通る」こととして、省略してもよい。このようにすれば、色調整部における処理量を低減させることができる。

例えば、色調整処理のステップＳ１１０の判定において、異なる複数の彩度基準（第１の彩度基準、第２の彩度基準、第１の彩度基準＞第２の彩度基準の関係を満たす）を併用してもよい。例えば、色調整部は、実物色の彩度が第１の彩度基準以上である場合にステップＳ１１２以降の処理を実行し、実物色の彩度が第２の彩度基準以下である場合にステップＳ１１８以降の処理を実行し、実物色の彩度が第１の彩度基準より小さく、かつ、第２の彩度基準より大きい場合にステップＳ１１２以降の処理とステップＳ１１８以降の処理とを併用してもよい。このようにすれば、色調整部は、よりきめ細かな目視色の制御を実施することができる。

例えば、色調整処理のステップＳ１１２において色調整部は、実オブジェクト近傍における紫外線や、赤外線等を取得し、取得した紫外線や赤外線の状態に応じて電子シェードの透過率を決定してもよい。

例えば、色調整処理のステップＳ１１８において色調整部は、実物色の彩度と、実オブジェクト近傍における紫外線と、赤外線と、のうちの少なくともいずれかに基づいて、仮想オブジェクトのＣＧ色を調整することに加えて、電子シェードを併用してもよい。

例えば、上記実施形態で例示した実オブジェクトおよび仮想オブジェクトは任意に変更することができる。例えば、実オブジェクトには「実背景オブジェクト」を用いてもよい。また、実オブジェクトは平面的（例えば壁やスクリーン）であってもよく、仮想オブジェクトも平面的（例えば、実オブジェクトとしての壁に添付したように見える広告の画像）であってもよい。

例えば、拡張現実感処理において利用者の眼前に形成される虚像には、仮想オブジェクトだけが含まれていてもよく、仮想オブジェクト以外の他の情報（例えば、メニューバーや時計等）が含まれていてもよい。

・変形例３：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０、１０ａ…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（色検出部）
６６…９軸センサー
１１０…入力情報取得部
１００…ＨＭＤ（頭部装着型表示装置）
１２０、１２０ａ…記憶部
１２２…彩度基準
１２４…環境対応テーブル
１２６…プリセット群
１３０…電源
１３２…無線通信部
１４０…ＣＰＵ
１４２…拡張現実感処理部
１４４、１４４ａ…色調整部
１６０…画像処理部
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
２６１ｓ…右電子シェード
２６２ｓ…左電子シェード
ＰＣＬＫ…クロック信号
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
Ｄａｔａ…画像データー
Ｄａｔａ１…付加画像データー
Ｄａｔａ２…付加画像データー
ＯＡ…外部機器
ＰＣ…パーソナルコンピューター
ＳＣ…外景
ＶＩ…虚像
ＶＲ…視野
ＲＥ…右眼
ＬＥ…左眼
ＥＲ…端部
ＥＬ…端部
ＶＯ…仮想オブジェクト
ＶＯ１…仮想オブジェクト
ＶＯ２…仮想オブジェクト
ＦＯ…対象オブジェクト（実オブジェクト）

Claims (11)

1. 利用者が虚像と外景とを視認可能な頭部装着型表示装置であって、
   前記利用者に前記虚像を視認させる画像表示部と、
   現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ前記虚像を前記画像表示部に形成させる拡張現実感処理部と、
   前記実オブジェクトの色である実物色を検出する色検出部と、
   前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける色調整部と、
   を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記色調整部は、
   検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整することで、前記目視色を前記目的の色に近づける、頭部装着型表示装置。
3. 請求項１または請求項２に記載の頭部装着型表示装置であって、
   前記画像表示部は、さらに、画素毎に前記外景の透過率を変更可能であり、
   前記色調整部は、
   前記画像表示部に前記外景の透過率を変更させることで、前記目視色を前記目的の色に近づける、頭部装着型表示装置。
4. 請求項２に従属する請求項３に記載の頭部装着型表示装置であって、
   前記色調整部は、
   検出された前記実物色の彩度が所定の彩度以上である場合に、前記画像表示部に前記外景の透過率を変更させ、
   検出された前記実物色の彩度が前記所定の彩度より小さい場合に、検出された前記実物色と、前記仮想オブジェクトの色と、を加法混色した色が、前記目的の色に近づくように前記仮想オブジェクトの色を調整する、頭部装着型表示装置。
5. 請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置であって、
   前記色調整部は、
   前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素毎に実行する、頭部装着型表示装置。
6. 請求項１から請求項４のいずれか一項に記載の頭部装着型表示装置であって、
   前記色調整部は、
   前記目視色を前記目的の色に近づける処理を、前記仮想オブジェクトの画素のうち、近隣の複数の画素をまとめたｎ×ｍ（ｎ、ｍは２以上の整数）画素ブロック毎に実行する、頭部装着型表示装置。
7. 請求項１から請求項６のいずれか一項に記載の頭部装着型表示装置であって、
   前記色調整部は、
   前記目的の色を、前記実オブジェクトが置かれている現実の光環境に基づいて決定する、頭部装着型表示装置。
8. 請求項１から請求項７のいずれか一項に記載の頭部装着型表示装置であって、
   前記色調整部は、さらに、
   仮想的な光環境を考慮して前記仮想オブジェクトの色を色変換することで、前記目視色を変更する、頭部装着型表示装置。
9. 請求項１から請求項８のいずれか一項に記載の頭部装着型表示装置であって、
   前記色検出部は、前記外景を表す外景画像を取得するカメラである、頭部装着型表示装置。
10. 頭部装着型表示装置を制御する方法であって、
    （ａ）現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ虚像を形成させる工程と、
    （ｂ）前記実オブジェクトの色である実物色を検出する工程と、
    （ｃ）前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける工程と、
    を備える、方法。
11. コンピュータープログラムであって、
    現実世界に実在する実オブジェクトに対して、その少なくとも一部を重畳して表示するための仮想オブジェクトを含んだ虚像を形成させる機能と、
    前記実オブジェクトの色である実物色を検出する機能と、
    前記実物色に前記仮想オブジェクトの色が重畳された色である目視色を、検出された前記実物色を用いて目的の色に近づける機能と、
    をコンピューターに実現させるための、コンピュータープログラム。

Images