JP2015032131A - 表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法 - Google Patents

Abstract

【課題】簡単な構成で、拡張現実画像を実物体に付加されているように認識させることができる。【解決手段】使用者に表示画面２６を虚像２２として視認させると共に、当該表示画面２６を使用者の輻輳角に合わせた焦点距離で視認させる透過型の頭部装着型表示装置１であって、使用者の視界内における実物体Ａを認識する画像解析部７２と、使用者から実物体Ａまでの距離を検出する距離センサー４１と、実物体Ａに対するＡＲ画像Ｇを配置した表示画面２６を表示させる表示制御部７４と、表示画面２６を表示する表示部３０と、を備え、表示制御部７４は、検出した距離に合わせた輻輳角となるように使用者の輻輳角を誘導する画面効果を、表示画面２６上に表示させる。【選択図】図５

Description

本発明は、使用者に表示画面を虚像として視認させる透過型の表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法に関するものである。

従来、この種の透過型の表示装置として、使用者の頭部に装着される光学透過型の頭部装着型表示装置が知られている（特許文献１参照）。この表示装置では、使用者が、画像を虚像として視認すると同時に、現実風景（外景）も直接視認可能に構成されている。

特開２０１２−１６３６３７号公報

ところで、この種の透過型の表示装置に、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）システムを適用することが考えられた。すなわち、使用者の視界内における実物体を認識し、視界内（現実風景）の実物体に付加するように拡張現実画像を表示する構成である。例えば、実物体の表面に載置されているかのように、拡張現実画像を表示させる。かかる構成によれば、視認している実物体にＡＲ画像を重ねる構成であるため、撮影画像と画像オブジェクトとを合成する一般的なＡＲシステムに比べ、高いリアル感を得ることができる。
しかしながら、この種の透過型の表示装置に、単にＡＲシステムを適用すると、以下のような問題が生じた。すなわち、この種の透過型の表示装置では、使用者の輻輳角に合わせた焦点距離で画像が視認される。そのため、ＡＲ画像の焦点距離が実物体の位置から外れてしまい、ＡＲ画像が実物体から離れて認識されてしまうという問題があった。よって、ＡＲ画像が、実物体に付加されているように（例えば載置されているように）認識されず、現実空間と仮想空間との親和性が著しく低下してしまう。特に、使用者の輻輳角は、通常、無限遠に合わせた輻輳角となっているので、ＡＲ画像の焦点距離が無限遠になる。そのため、実物体が使用者に近ければ近いほど、ＡＲ画像が実物体から離れて認識されてしまう。

本発明は、簡単な構成で、拡張現実画像を実物体に付加されているように認識させることができる表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法を適用することを課題としている。

本発明の表示装置は、使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置であって、使用者の視界内における実物体を認識する物体認識部と、使用者から実物体までの距離を検出する距離検出部と、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、表示画面を表示する表示部と、を備え、表示制御部は、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を、表示画面上に表示させることを特徴とする。

本発明の頭部装着型表示装置は、使用者の頭部に装着され且つ使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の頭部装着型表示装置であって、使用者の視界内における実物体を認識する物体認識部と、使用者から実物体までの距離を検出する距離検出部と、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、表示画面を表示する表示部と、を備え、表示制御部は、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を、表示画面上に表示させることを特徴とする。

本発明の表示システムは、使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示システムであって、使用者の視界内における実物体を認識する物体認識部と、使用者から実物体までの距離を検出する距離検出部と、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、表示画面を表示する表示部と、を備え、表示制御部は、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を表示画面に表示させることを特徴とする。

本発明の表示装置の制御方法は、使用者に表示画面を虚像として視認させると共に、当該表示画面を使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置の制御方法であって、使用者の視界内における実物体を認識する物体認識ステップと、使用者から実物体までの距離を検出する距離検出ステップと、実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御ステップと、表示画面を表示する表示ステップと、を実行し、表示制御ステップでは、検出した距離に合わせた輻輳角となるように使用者の視線を誘導する画像を表示画面に表示させることを特徴とする。

これらの構成によれば、上記画像によって、検出した実物体までの距離に合った輻輳角となるように使用者の視線（輻輳角：寄り目の度合い）を誘導することで、使用者の輻輳角を実物体の位置に合わせることができ、これに伴って拡張現実画像の焦点距離（焦点位置）を、実物体の位置に合わせることができる。すなわち、特定の画像（例えば画面効果）を表示させるだけで（表示制御のみで）、拡張現実画像の焦点距離を調整することができ、簡単な構成で、拡張現実画像を実物体に付加されているように認識させることができる。よって、拡張現実画像を実物体に付加して表示することができ、現実空間と仮想空間との親和性を向上させることができる。なお、上記画像の表示は、拡張現実画像の表示に先駆けて行うことが好ましい。また、上記画像は、静止画像であっても良いし、動画像であっても良い。

上記の表示装置において、表示制御部は、各アプリケーションを呼び出すための画像オブジェクトであって、透視図法を用いて内向きの遠近画像に変換された複数の画像オブジェクトを、表示画面上に表示させると共に、上記画像として、複数の画像オブジェクトの内向きの傾き度合を徐々に変化させることが好ましい。

この場合、複数の画像オブジェクトは、アイコン、メニューおよび縮小化したアプリケーション画面のいずれかであることが好ましい。

これらの構成によれば、複数の画像オブジェクトにおける内向きの傾き度合を変化させる。すなわち、複数の画像オブジェクトを門扉とする門が、開閉するかのように変化させる。この変化に釣られて使用者の輻輳角が変化する。このように、複数の画像オブジェクトの内向きの傾き度合を変化させることで、各アプリケーションを呼び出すための画像オブジェクトを利用して、使用者の輻輳角を誘導することができる。

また、表示制御部は、表示画面の外縁側から中央側に延びる複数のガイド線を、周方向に並んで配置したガイドを、表示画面上に表示させると共に、上記画像として、ガイドにおけるガイド線の周方向のピッチを徐々に変化させることが好ましい。

この構成によれば、ガイド線の周方向のピッチを徐々に変化させることで、複数のガイド線によって生じた遠近錯視による遠近感を徐々に変化させる。この遠近感の変化に釣られて使用者の輻輳角が変化する。このように、複数のガイド線のピッチを変化させることで、使用者の輻輳角を効果的に誘導することができる。

さらに、表示制御部は、表示画面中央を囲う枠状画像および表示画面中央を囲うリング状画像のいずれか一方の画像を、表示画面上に表示させると共に、上記画像として、一方の画像の大きさを徐々に変化させることが好ましい。

また、表示制御部は、実物体を中心とした枠状画像および実物体を中心としたリング状画像のいずれか一方の画像を、表示画面上に表示させると共に、上記画像として、一方の画像の大きさを徐々に変化させることが好ましい。

これらの構成によれば、枠状画像またはリング状画像の大きさを徐々に変化させることで、枠状画像またはリング状画像が徐々に奥手前方向に移動するかのように錯覚させる。この錯覚に釣られて使用者の輻輳角を変化する。このように、枠状画像またはリング状画像の大きさを変化させることで、使用者の輻輳角を効果的に誘導することができる。

また、表示制御部は、表示画面の外縁側から中央側にかけて暗くなるグラデーション画像を、表示画面上に表示させると共に、上記画像として、グラデーション画像における明暗の変化度合を徐々に変化させることが好ましい。

この構成によれば、明暗のグラデーション画像によって生じた遠近錯視による遠近感を徐々に変化させる。この遠近感の変化に釣られて輻輳角が変化する。このように、グラデーション画像の明暗の変化度合を変化させることで、使用者の輻輳角を効果的に誘導することができる。

一方、実物体に対する使用者の相対的な移動速度を検出する速度検出部を、さらに備え、表示制御部は、速度検出部の検出結果に基づいて、上記画像を調整することが好ましい。

この構成によれば、実物体に対する使用者の相対的な移動速度を加味して上記画像を調整することで、実物体の位置に対する拡張現実画像の焦点距離の合わせ込みを精度良く行うことができる。

また、表示制御部は、使用者の輻輳角を示すインジケーターを表示画面上に表示させることが好ましい。

この構成によれば、使用者がインジケーターを確認することで、自身の輻輳角を確認することができる。

さらに、表示部は、画像光を出力する画像光出力部と、出力された画像光を前記使用者の眼に導く導光部と、を有し、導光部は、外光を透過し、当該外光を画像光と共に使用者の眼に入射させることが好ましい。

この構成によれば、いわゆる虚像投写型の表示装置を用いることで、簡単な構成で且つ安価な透過型の表示装置を提供することができる。

実施形態に係る頭部装着型表示装置の外観構成を示す説明図である。 使用者が視認可能な虚像および現実風景の一例について説明する図である。 頭部装着型表示装置の制御構成について説明するブロック図である。 表示画面について説明する図である。 複数のアイコンによる画面効果について説明する画面遷移図である。 遠近ガイドによる画面効果について説明する画面遷移図である。 ターゲットによる画面効果について説明する画面遷移図である。 頭部装着型表示装置によるＡＲ画像の表示動作について説明するフローチャートである。 ターゲットによる画面効果の第１変形例について説明する画面遷移図である。 ターゲットによる画面効果の第２変形例について説明する画面遷移図である。 グラデーション画像による画面効果について説明する画面遷移図である。 インジケーターについて説明する画面遷移図である。

以下、添付の図面を参照し、本発明の一実施形態に係る表示装置、頭部装着型表示装置、表示システムおよび表示装置の制御方法について説明する。本実施形態では、本発明の表示装置を適用した頭部装着型表示装置を例示する。この頭部装着型表示装置は、使用者の頭部に装着される表示装置であり、ヘッドマウンドディスプレイ（Head Mounted Display：ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置は、使用者に画像を虚像として視認させると同時に現実風景（外景）も直接視認可能な光学透過型の頭部装着型表示装置（透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ）であり、眼鏡型（ゴーグル型）の形状を有している。

図１に示すように、頭部装着型表示装置１は、右保持部１１と、右表示駆動部１２と、左保持部１３と、左表示駆動部１４と、右光学像表示部１５と、左光学像表示部１６と、外界用カメラ１７と、右耳用の右イヤホン１８および左耳用の左イヤホン１９と、を有している。

右光学像表示部１５および左光学像表示部１６は、頭部装着型表示装置１の装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部１５の一端と、左光学像表示部１６の一端とは、それぞれ、頭部装着型表示装置１の装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部１５の他端である端部ＥＲからは、右保持部１１が延伸している。同様に、左光学像表示部１６の他端である端部ＥＬからは、左保持部１３が延伸している。

右保持部１１は、右光学像表示部１５の端部ＥＲから頭部装着型表示装置１の装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部１５とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部１３は、左光学像表示部１６の端部ＥＬから頭部装着型表示装置１の装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部１６とほぼ直角を成すように延伸して設けられた部材である。右保持部１１および左保持部１３は、眼鏡のテンプル（つる、耳掛け）のようにして、使用者の頭部に頭部装着型表示装置１を保持する。

右表示駆動部１２は、右保持部１１の内側、換言すれば、頭部装着型表示装置１の装着時における使用者の頭部に対向する側であって、右光学像表示部１５の端部ＥＲ側に配置されている。また、左表示駆動部１４は、左保持部１３の内側であって、左光学像表示部１６の端部ＥＬ側に配置されている。

外界用カメラ１７は、頭部装着型表示装置１を装着した状態における使用者の視界方向（使用者の前方）の現実風景２３を撮像する。詳細は後述するが、外界用カメラ１７による撮像画像は、実物体Ａに設けられたマーカーＭＫの認識、ひいては実物体Ａの認識に用いられる。

右イヤホン１８および左イヤホン１９は、使用者が頭部装着型表示装置１を装着した際に、それぞれ右および左の耳に装着され、右および左の耳への各種音声出力を行う。

次に図２を参照して、頭部装着型表示装置１を装着した使用者が視認可能な虚像２２および現実風景２３の一例について説明する。図２に示すように、頭部装着型表示装置１を装着した使用者の視界２１には、頭部装着型表示装置１が生成する表示画面２６が虚像２２として表示される。表示画面２６は、虚像２２が表示される（虚像２２を表示可能な）虚像表示領域２７全域に表示される。また、使用者の視界２１では、使用者は、右光学像表示部１５および左光学像表示部１６を透過して、現実風景２３を見ることができる。図２の例では、現実風景２３として、実物体Ａであるテーブルが見えている。すなわち、使用者が、視界２１内において、虚像２２と現実風景２３とを同時に視認できるように構成されている。本実施形態では、虚像２２（表示画面２６）が、使用者の輻輳角に合わせた焦点距離で視認される。

次に図３を参照して、頭部装着型表示装置１の制御構成について説明する。図３に示すように、頭部装着型表示装置１は、使用者に虚像２２を視認させる表示部３０と、外界用カメラ１７と、右イヤホン１８と、左イヤホン１９と、センサー部３１と、電源部３２と、無線通信インターフェース３３と、これら各部を制御する制御部３４とを有している。

センサー部３１は、頭部装着型表示装置１の制御に係る各種情報を検出する。具体的には、センサー部３１は、距離センサー（距離検出部）４１、ＧＰＳ受信機４２および９軸センサー４３を有している。距離センサー４１は、例えば光学式や超音波式により、使用者（厳密には、頭部装着型表示装置１）から実物体Ａ（厳密にはマーカーＭＫ）までの距離を検出する。ＧＰＳ受信機４２は、ＧＰＳ信号を受信して、使用者（厳密には、頭部装着型表示装置１）の位置を示す位置情報を取得する。９軸センサー４３は、３軸加速度、３軸角速度および３軸地磁気を検出する。

電源部３２は、頭部装着型表示装置１の各部に電力を供給する。無線通信インターフェース３３は、無線ネットワークを介して、外部サーバーとの通信を行うためのものである。

表示部３０は、右表示駆動部（画像光出力部）１２と、左表示駆動部（画像光出力部）１４と、右光学像表示部１５としての右導光板（導光部）４６と、左光学像表示部１６としての左導光板（導光部）４７と、を有している。

右表示駆動部１２は、光源として機能する右バックライト（ＢＬ）制御部５１および右バックライト（ＢＬ）５２と、表示素子として機能する右ＬＣＤ（Liquid Crystal Display）制御部５３および右ＬＣＤ５４と、右投写光学系５５とを含んでいる。

右バックライト制御部５１は、入力された制御信号に基づいて、右バックライト５２を駆動制御する。右バックライト５２は、例えば、ＬＥＤ（Light Emitting Diode）やエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部５３は、入力された表示データに基づいて、右ＬＣＤ５４を駆動制御する。右ＬＣＤ５４は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系５５は、右ＬＣＤ５４から射出された画像光を投写（出力）するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部１５としての右導光板４６は、光透過性の樹脂素材等によって形成され、右投写光学系５５から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。また、右導光板４６は、外光（現実風景２３の光）を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。

左表示駆動部１４は、右表示駆動部１２と同様に、左バックライト（ＢＬ）制御部６１と、左バックライト（ＢＬ）６２と、左ＬＣＤ制御部６３と、左ＬＣＤ６４と、左投写光学系６５とを含んでいる。左表示駆動部１４に含まれる各要素の構成や機能は、右表示駆動部１２に含まれる各要素と同様であるため、ここでは説明を省略する。また、左光学像表示部１６としての左導光板４７は、光透過性の樹脂素材等によって形成され、左投写光学系６５から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。また、左導光板４７は、外光を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。

このようにして、頭部装着型表示装置１の使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図２に示すように虚像表示領域２７内に虚像２２（表示画面２６）を視認する。すなわち、本頭部装着型表示装置１は、虚像投写型のヘッドマウントディスプレイの構成を有している。本頭部装着型表示装置１では、虚像２２を、使用者の輻輳角に合わせた焦点距離で使用者に視認させる。なお、ここでは、画像光を網膜に結像することを、「表示」もしくは「表示する」と呼称している。

制御部３４は、ＣＰＵ（Central Processing Unit）６７と、記憶部６８とを有している。記憶部６８は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等により構成されており、種々のコンピュータープログラムが格納されている。ＣＰＵ６７は、記憶部６８からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）７１、画像解析部（物体認識部）７２、表示制御部７４、表示状態制御部７５および音声処理部７６として機能する。

画像解析部７２は、外界用カメラ１７によって撮像された画像の画像信号を取得し、取得した画像信号の解析を行う。画像解析部７２は、画像解析により実物体Ａに設けられた物体認識用のマーカーＭＫを認識し、マーカーＭＫが設けられた実物体Ａを認識する（マーカーＭＫおよび実物体Ａは図２参照）。これにより使用者の視界２１内における実物体Ａを認識する。なお、本実施形態では、実物体ＡにマーカーＭＫが設けられており、これを認識して実物体Ａを認識する構成であるが、マーカーレスで、実物体Ａの特徴位置（特徴点）を認識して実物体Ａを認識する構成であっても良い。また、ＧＰＳ受信機４２および９軸センサー４３から得られた使用者の位置情報と、９軸センサー４３から得られた使用者の頭部の向きと、画像解析部７２により得られた視界２１内におけるマーカーＭＫの位置とに基づいて、現実空間におけるマーカーＭＫの位置情報を検出し、検出した位置情報に基づいて実物体Ａを認識する構成であっても良い。かかる場合、マーカーＭＫの位置情報と実物体Ａとの対応データは、頭部装着型表示装置１に予め記憶しておく構成であっても良いし、外部サーバーに記憶しておき、マーカーＭＫの位置情報の検出の都度、対応する実物体Ａの情報を、無線通信インターフェース３３により、外部サーバーから取得する構成であっても良い。

表示制御部７４は、表示データを生成し、表示データを表示部３０（右ＬＣＤ制御部５３および左ＬＣＤ制御部６３）に送信する。表示制御部７４は、表示画面２６の表示データを生成し、この表示データを表示部３０に送信することで、表示画面２６を表示部３０に表示させる。すなわち、本頭部装着型表示装置１では、表示制御部７４により、表示画面２６の表示データを生成して表示部３０に送信し（表示制御ステップ）、表示部３０により、送信された表示データに基づいて、表示画面２６を表示（画像光を網膜に結像）する（表示ステップ）。

また、表示制御部７４は、ＡＲアプリケーションに従って、認識した実物体Ａに対するＡＲ画像（拡張現実画像）Ｇを、表示画面２６上に表示させる。具体的には、表示制御部７４は、画像解析部７２による実物体Ａの認識結果に基づいて、
実物体Ａに対するＡＲ画像Ｇを、実物体Ａに付加されるように（例えば載置されるように）表示画面２６上に配置し表示させる（図２参照）。すなわち、表示制御部７４は、実物体Ａに付加されて視認されるように、ＡＲ画像Ｇの表示位置、表示サイズおよび向きを決定し、これらに基づいてＡＲ画像Ｇを表示画面上に配置し表示させる。なお、実物体Ａに対するＡＲ画像Ｇは、各実物体Ａに対応する各ＡＲ画像Ｇを記憶部６８に記憶しておく構成であっても良いし、各実物体Ａに対応する各ＡＲ画像Ｇを、無線通信インターフェース３３により外部サーバーから取得する構成であっても良い。また、表示制御部７４は、画像解析部７２による実物体Ａの認識結果に加え、実物体Ａに対する使用者の相対的な移動速度を加味してＡＲ画像Ｇを表示させる。すなわち、距離センサー４１および９軸センサー４３により実物体Ａに対する使用者の相対的な移動速度を検出し（速度検出部）、この検出結果と、上記実物体Ａの認識結果とに基づいて、表示画面２６上におけるＡＲ画像Ｇの表示位置、表示サイズおよび向きを決定し、これらに基づいてＡＲ画像Ｇを配置し表示させる。

また、詳細は後述するが、表示制御部７４は、ＡＲ画像Ｇの表示に先駆けて、使用者の輻輳角を、使用者から実物体Ａまでの距離に合わせた輻輳角となるように誘導する画面効果を表示させる。

表示状態制御部７５は、右表示駆動部１２および左表示駆動部１４を制御する制御信号を生成し、表示部３０に送信することにより、表示部３０における画像表示状態を制御する。具体的には、表示状態制御部７５は、制御信号により、右ＬＣＤ制御部５３による右ＬＣＤ５４の駆動のＯＮ／ＯＦＦや、右バックライト制御部５１による右バックライト５２の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部６３による左ＬＣＤ６４の駆動ＯＮ／ＯＦＦや、左バックライト制御部６１による左バックライト６２の駆動のＯＮ／ＯＦＦ等を個別に制御することにより、右表示駆動部１２および左表示駆動部１４のそれぞれによる画像光の生成および射出を制御する。

音声処理部７６は、音声信号を右イヤホン１８および左イヤホン１９に送信して、右イヤホン１８および左イヤホン１９に音声出力を行わせる。

次に図４を参照して頭部装着型表示装置１の表示画面２６について説明する。表示画面２６は、各アプリケーションを呼び出すためのアイコン８１を配置した画面であり、例えばホーム画面である。図４の例では、ＡＲ画像Ｇを表示させる前の表示画面２６を図示している。図４に示すように、表示画面２６は、表示画面２６の左右に配置された複数のアイコン（画像オブジェクト）８１と、中央を除く表示画面２６全域に形成された遠近ガイド（ガイド）８２と、表示画面２６の中央に配置された２重円環状のターゲット８３と、を有している。また、表示画面２６の中央には、現実風景２３を見るための視界確保領域８４が予め設定されている。また、表示画面２６の背景は、全透過とする。

複数のアイコン８１は、視界確保領域８４を左右に避けた退避領域８５のみに配置されている。複数のアイコン８１は、左右の退避領域８５に２分され、両退避領域８５にそれぞれ配置されている。また、各アイコン８１として、矩形のアイコン画像を、透視図法（遠近法）を用いて遠近画像に変換させたものを配置する。具体的には、矩形のアイコン画像を、表示画面２６の中央を消失点とし且つ視界確保領域８４に対する内向き（視界確保領域８４側向き）の遠近画像に変換させたものを配置する。すなわち、矩形のアイコン画像にパースをつけたものを配置している。これにより、複数のアイコン８１の矩形のアイコン画像が、使用者から見て、透視図法上、左右の壁に張り付いているかのように表示される。なお、複数のアイコン８１には、ＡＲアプリケーションを呼び出すためのアイコン８１が含まれている。

遠近ガイド８２は、表示画面２６中央を消失点とする消失線に相当する複数の第１ガイド線９１と、水平線に相当する複数の第２ガイド線９２と、鉛直線に相当する複数の第３ガイド線９３とを有している。複数の第１ガイド線９１は、周方向に並んで配置されており、表示画面２６の外縁側から中央側に延びている。具体的には、複数の第１ガイド線９１は、視界確保領域８４を避け、表示画面２６の外縁から視界確保領域８４の手前まで延びている。なお、請求項にいう「ガイド線」は、第１ガイド線９１により構成されている。

複数の第２ガイド線９２は、左右方向に延びると共に、視界確保領域８４を避け、表示画面２６の上下端部に配置されている。一方、複数の第３ガイド線９３は、上下方向に延びると共に、視界確保領域８４を避け、表示画面２６の左右端部に配置されている。よって、表示画面２６の上下端部では、第１ガイド線９１および第２ガイド線９２が、透視図法上、天壁および底壁の形態を成している。一方、表示画面２６の左右端部では、第１ガイド線９１および第３ガイド線９３が、透視図法上、左側壁および右側壁の形態を成している。すなわち、第１ガイド線９１、第２ガイド線９２および第３ガイド線９３が、透視図法上、前後壁がない部屋状（箱状）の形態を成している。

ターゲット８３は、表示画面２６の中央を囲う２つのリング状画像９４により構成されている。２つのリング状画像９４は、径が異なると共に、表示画面２６中央を中心点とする同心円状に形成されている。

ここで、表示制御部７４による画面効果の表示について説明する。上述したように、表示制御部７４は、ＡＲ画像Ｇの表示に先駆けて、使用者の輻輳角（寄り目度合）を、使用者から実物体Ａまでの距離に合わせた輻輳角となるように誘導する画面効果を表示させる。具体的には、画面効果として、表示画面２６上の画像（複数のアイコン８１、遠近ガイド８２およびターゲット８３）の形態を徐々に変化させることで、使用者の輻輳角（両眼の各視線）を誘導する。本実施形態では、使用者の輻輳角が、画面効果表示前のデフォルトの状態で無限遠に合っているものとし、これを基準として上記距離に合わせるのに必要な輻輳角の調整量を求め、求めた輻輳角の調整量に基づいて、画像の形態の変化量を決定する。なお、輻輳角の調整量に対する上記変化量の決定は、予め実験で得られた各変化量に対する各調整量のデータテーブルに基づいて行われる。

なお、本実施形態では、表示制御部７４は、実物体Ａに対する使用者の相対的な移動速度に基づいて、画面効果を調整する。すなわち、表示制御部７４は、距離センサー４１および９軸センサー４３により実物体Ａに対する使用者の相対的な移動速度を検出し、使用者から実物体Ａまでの距離と、当該移動速度に基づいて、上記変化量を決定する。つまり、使用者が移動していると、距離検出時と画面効果表示時とのタイムラグによって、検出した上記距離と、画面効果を表示する時の実際の上記距離とにズレが生じてしまう。本実施形態では、これを加味して変化量を補正する。

次に図５ないし６を参照して、複数のアイコン８１、遠近ガイド８２およびターゲット８３を利用した画面効果について個々に説明する。図５は、複数のアイコン８１による画面効果を説明する画面遷移図である。図５に示すように、表示制御部７４は、画面効果として、透視図法上の、複数のアイコン８１の内向きの傾き度合を徐々に変化させる。つまり、複数のアイコン８１を門扉とした門が開閉するかのように徐々に変化させる。すなわち、決定した変化量だけ上記門を徐々に閉塞する。これにより、使用者に、複数のアイコン８１が手前側に迫ってくるような錯覚を起こさせることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。

図６は、遠近ガイド８２による画面効果を説明する画面遷移図である。図６に示すように、表示制御部７４は、画面効果として、遠近ガイド８２における第１ガイド線９１の周方向のピッチを徐々に変化させる。すなわち、決定した変化量だけ、第１ガイド線９１の周方向のピッチを徐々に広くする。これにより、複数の第１ガイド線９１によって生じた遠近錯視による遠近感を徐々に変化させることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。

図７は、ターゲット８３による画面効果を説明する画面遷移図である。図７に示すように、表示制御部７４は、画面効果として、ターゲット８３における２つのリング状画像９４の大きさを徐々に変化させる。すなわち、決定した変化量だけ、２つのリング状画像９４を徐々に拡大させる。これにより、２つのリング状画像９４が徐々に手前方向に移動するかのように錯覚させることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。

なお、図５ないし図７では、各画面効果を個々に図示し、画面効果に利用する各画像のみ図示したが、表示制御部７４は、ＡＲ画像Ｇに先駆けて、これら全ての画面効果を表示させる構成であっても良いし、これらの画面効果のうち、いずれか１つのみ表示させる構成であっても良い。

次に図８を参照して、頭部装着型表示装置１によるＡＲ画像Ｇの表示動作について説明する。なお、本表示動作は、表示画面２６が表示された状態で行われると共に、図外のコントローラーにより、ＡＲアプリケーションのアイコン８１がクリックされたことに起因し、ＡＲアプリケーションに従って実行される。

図８に示すように、頭部装着型表示装置１は、まず、外界用カメラ１７により、現実風景２３を撮像する（Ｓ１）。そして、画像解析部７２により、外界用カメラ１７の撮像画像中のマーカーＭＫを認識し、実物体Ａを認識する（Ｓ２：物体認識ステップ）。

実物体Ａを認識したら、距離センサー４１により、使用者から、認識した実物体Ａまでの距離を検出し（Ｓ３：距離検出ステップ）、距離センサー４１および９軸センサー４３により、認識した実物体Ａに対する使用者の相対的な移動速度を検出する（Ｓ４）。

その後、表示制御部７４により、検出した使用者から実物体Ａまでの距離と、検出した上記移動速度とに基づいて、画面効果における変化量を決定する（Ｓ５）。そして、当該変化量に基づいて、画面効果を表示させる（Ｓ６）。

画面効果の表示が終了したら、表示制御部７４により、画像解析部７２による実物体Ａの認識結果と、検出した上記移動速度とに基づいて、ＡＲ画像Ｇが実物体Ａに付加されるようにＡＲ画像Ｇの表示位置、表示サイズおよび向きを決定する（Ｓ７）。そして、決定した表示位置、表示サイズおよび向きに基づいて、ＡＲ画像Ｇを表示させる（Ｓ８）。これにより、本表示動作を終了する。

以上のような構成によれば、画面効果によって、検出した実物体Ａまでの距離に合った輻輳角となるように使用者の輻輳角（寄り目の度合い）を誘導することで、使用者の輻輳角を実物体Ａの位置に合わせることができ、これに伴ってＡＲ画像Ｇの焦点距離（焦点位置）を、実物体Ａの位置に合わせることができる。すなわち、特定の画面効果を表示させるだけで（表示制御のみで）、ＡＲ画像Ｇの焦点距離を調整することができ、簡単な構成で、ＡＲ画像Ｇを実物体Ａに付加されているように認識させることができる。よって、ＡＲ画像Ｇを実物体Ａに付加して表示することができ、現実空間と仮想空間との親和性を向上させることができる。

また、画面効果として、複数のアイコン８１の内向きの傾き度合を変化させることで、アイコン８１を利用して、使用者の輻輳角を誘導することができる。

さらに、画面効果として、遠近ガイド８２における第１ガイド線９１の周方向のピッチを変化させることで、使用者の輻輳角を効果的に誘導することができる。

またさらに、画面効果として、リング状画像９４の大きさを徐々に変化させることで、使用者の輻輳角を効果的に誘導することができる。

また、実物体Ａに対する使用者の相対的な移動速度を検出し、当該相対的な移動速度により画面効果を調整することで、実物体Ａの位置に対するＡＲ画像Ｇの焦点距離の合わせ込みを精度良く行うことができる。

なお、本実施形態においては、ターゲット８３を２つのリング状画像９４により構成し、画面効果として、２つのリング状画像９４の大きさを変化させる構成であったが、図９に示すように、ターゲット８３を、表示画面２６中央を囲う２つの枠状画像１０１により構成し、画面効果として、２つの枠状画像１０１の大きさを変化させる構成であっても良い。また。ターゲット８３を、１つのリング状画像９４または１つの枠状画像１０１により構成しても良い。

また、本実施形態においては、表示画面２６中央を囲うリング状画像９４または枠状画像１０１を表示し、画面効果として、このリング状画像９４または枠状画像１０１の大きさを変化させる構成であったが、図１０に示すように、認識した実物体Ａを中心としたリング状画像９４または枠状画像１０１を表示し、画面効果として、このリング状画像９４または枠状画像１０１の大きさを変化させる構成であっても良い。

さらに、本実施形態において、画面効果として、グラデーション画像を利用する構成であっても良い。すなわち、図１１に示すように、表示制御部７４は、表示画面２６の外縁側から中央側にかけて暗くなるグラデーション画像１０２を、表示画面２６上に表示させると共に、グラデーション画像１０２における明暗の変化度合を徐々に変化させる。すなわち、グラデーション画像１０２によって左右に壁があるかのように認識させると共に、決定した変化量だけ明暗の変化度合を徐々に緩やかにする。これにより、使用者に、上記壁が手前側に迫ってくるような錯覚を起こさせることで、使用者を寄り目に誘導し、使用者の輻輳角を拡大させる。かかる構成によれば、グラデーション画像１０２を用いることで、使用者の輻輳角を効果的に誘導することができる。

またさらに、本実施形態においては、使用者の輻輳角が、画面効果表示前のデフォルトの状態で無限遠に合っているとし、これを基準として輻輳角の誘導を行う構成であったが、使用者の輻輳角を検出し、これを基準として輻輳角の誘導を行う構成であっても良い。具体的には、頭部装着型表示装置１は、使用者の各眼球の視線を検出する視線検出センサー（例えば赤外線方式）をさらに備え、ＣＰＵ６７は、視線検出センサーの検出結果に基づいて使用者の輻輳角を検出する輻輳角検出部としても機能する。また、表示制御部７４は、輻輳角検出部の検出結果に基づき、これを基準とし、検出した上記距離に合わせるのに必要な輻輳角の調整量を求め、当該調整量に基づいて画面効果の変化量を決定する。そして、決定した変化量だけ、上記画像の形態を変化させる構成とする。なお、輻輳角を縮小する誘導が必要な場合には、図示した画面遷移を逆順（（ｃ）、（ｂ）、（ａ）の順）で実行する。

また、本実施形態において、図１２に示すように、画面効果を表示させるときに、一緒に、使用者の輻輳角を示すインジケーター１０３を表示させる構成であっても良い。かかる構成によれば、使用者がインジケーター１０３を視認することで、自身の輻輳角を確認することができる。

さらに、本実施形態においては、マーカーＭＫもしくは実物体Ａの特徴位置に基づいて、実物体Ａを認識する構成であったが、実物体Ａが、サイネージや看板等の、文字列を表示する表示物である場合、表示している文字列を認識して実物体Ａを認識する構成であっても良い。

またさらに、本実施形態においては、ＡＲアプリケーションを起動する前（ＡＲ画像Ｇの表示を指示する前）に、画面効果に利用する画像（複数のアイコン８１、遠近ガイド８２およびターゲット８３）を表示させている構成であったが、ＡＲアプリケーションを起動した後に、これらの画像を表示させ、画面効果を表示させる構成であっても良い。

また、本実施形態においては、ＡＲ画像Ｇの表示に先駆けて、ＡＲ画像Ｇを表示する前に画面効果を表示させる構成であったが、ＡＲ画像Ｇを表示した後に画面効果を表示させる構成であっても良い。

さらに、本実施形態においては、複数のアイコン８１を表示画面２６上に表示させる構成であったが、各アプリケーションを呼び出すための画像オブジェクトを表示画面２６上に表示させる構成であれば、これに限るものではない。例えば、当該画像オブジェクトとして、各アプリケーションを示すメニューや、縮小化したアプリケーション画面を表示画面２６上に表示させる構成であっても良い。

また、各アプリケーションを呼び出すための複数の画像オブジェクトに代えて、各ファイルや各フォルダを呼び出すための複数の画像オブジェクト（例えばアイコン８１やショートカット等）を表示画面２６上に表示させる構成であっても良いし、各アプリケーションを呼び出すための複数の画像オブジェクトに代えて、各ユーザー操作を行うための画像オブジェクト（例えばラジオボタン、選択ボタンやソフトキーボード等）を表示画面２６上に表示させる構成であっても良い。

またさらに、本実施形態において、頭部装着型表示装置１が図外のコントローラーを有し、当該コントローラーに、画像解析部７２、表示制御部７４、表示状態制御部７５および音声処理部７６の一部または全部を搭載する構成であっても良い。かかる場合、当該コントローラーは、コード等により、制御部３４もしくは表示部３０等（表示部３０、外界用カメラ１７、センサー部３１、右イヤホン１８および左イヤホン１９）に有線接続されている構成であっても良いし、無線ＬＡＮや赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により、制御部３４もしくは表示部３０等に無線接続されている構成であっても良い。また、当該コントローラーの機能を、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ、携帯電話、時計型携帯端末、スマートフォン）等により実現しても良い。

また、本実施形態においては、表示装置として両眼タイプの頭部装着型表示装置１（光学透過型頭部装着型表示装置）を例示しているが、本発明は、例えば、単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施形態では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置１を例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ（眼の前方の一部を覆うタイプ）の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイ等の他の表示装置にも適用可能である。

さらに、本実施形態においては、画像光出力部が、バックライト制御部（右バックライト制御部５１および左バックライト制御部６１）と、バックライト（右バックライト５２および左バックライト６２）と、ＬＣＤ制御部（右ＬＣＤ制御部５３および左ＬＣＤ制御部６３）と、ＬＣＤ（右ＬＣＤ５４および左ＬＣＤ６４）とを備える構成であったが、この様態はあくまでも一例である。画像光出力部が、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。

例えば、画像光出力部が、有機ＥＬ（有機エレクトロルミネッセンス，Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像光出力部が、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon，ＬＣｏＳは登録商標）や、デジタル・マイクロミラー・デバイス等を備える構成であっても良い。

またさらに、本実施形態においては、いわゆる虚像投写型の頭部装着型表示装置１（ヘッドマウントディスプレイ）に、本発明を適用したが、例えば、レーザー網膜投影型（いわゆる網膜走査型）の頭部装着型表示装置に対して本発明を適用することも可能である。

また、本実施形態においては、画像光出力部が、投写光学系（右投写光学系５５および左投写光学系６５）を備え、ＬＣＤから射出された画像光を投写する構成であったが、画像光出力部が、投写光学系に代えて、例えばＭＥＭＳミラーで構成された走査光学系を備えると共に、走査光学系に信号光を射出する信号光変調部（信号光形成部）を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系（ＭＥＭＳミラー）に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成される。この虚像を使用者が眼で捉えることで画像を認識させることができる。

さらに、本実施形態においては、頭部装着型表示装置１に本発明を適用する構成であったが、頭部装着型表示装置１と、外部機器もしくは外部サーバーとをネットワークを介して接続した表示システムに、本発明を適用しても良い。かかる場合、画像解析部７２、表示制御部７４、表示状態制御部７５および音声処理部７６の一部または全部を、外部機器もしくは外部サーバー側に搭載する構成とする。

１：頭部装着型表示装置、 ２２：虚像、 ２６：表示画面、 ３０：表示部、 ４１：距離センサー、 ７２：画像解析部、 ７４：表示制御部、 ８１：アイコン、 ８２：遠近ガイド、 ９１：第１ガイド線、 ９４：リング状画像、 Ａ：実物体、 Ｇ：ＡＲ画像

Claims (13)

1. 使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置であって、
   前記使用者の視界内における実物体を認識する物体認識部と、
   前記使用者から前記実物体までの距離を検出する距離検出部と、
   前記実物体に対する拡張現実画像を配置した前記表示画面を表示させる表示制御部と、
   前記表示画面を表示する表示部と、を備え、
   前記表示制御部は、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する画像を、前記表示画面上に表示させることを特徴とする表示装置。
2. 前記表示制御部は、
   各アプリケーションを呼び出すための画像オブジェクトであって、透視図法を用いて内向きの遠近画像に変換された複数の画像オブジェクトを、前記表示画面上に表示させると共に、
   前記画像として、前記複数の画像オブジェクトの内向きの傾き度合を徐々に変化させることを特徴とする請求項１に記載の表示装置。
3. 前記複数の画像オブジェクトは、アイコン、メニューおよび縮小化したアプリケーション画面のいずれかであることを特徴とする請求項２に記載の表示装置。
4. 前記表示制御部は、
   前記表示画面の外縁側から中央側に延びる複数のガイド線を、周方向に並んで配置したガイドを、前記表示画面上に表示させると共に、
   前記画像として、前記ガイドにおける前記ガイド線の前記周方向のピッチを徐々に変化させることを特徴とする請求項１ないし３のいずれか１項に記載の表示装置。
5. 前記表示制御部は、
   前記表示画面中央を囲う枠状画像および前記表示画面中央を囲うリング状画像のいずれか一方の画像を、前記表示画面上に表示させると共に、
   前記画像として、前記一方の画像の大きさを徐々に変化させることを特徴とする請求項１ないし４のいずれか１項に記載の表示装置。
6. 前記表示制御部は、
   前記実物体を中心とした枠状画像および前記実物体を中心としたリング状画像のいずれか一方の画像を、前記表示画面上に表示させると共に、
   前記画像として、前記一方の画像の大きさを徐々に変化させることを特徴とする請求項１ないし４のいずれか１項に記載の表示装置。
7. 前記表示制御部は、
   前記表示画面の外縁側から中央側にかけて暗くなるグラデーション画像を、前記表示画面上に表示させると共に、
   前記画像として、前記グラデーション画像における明暗の変化度合を徐々に変化させることを特徴とする請求項１ないし６のいずれか１項に記載の表示装置。
8. 前記実物体に対する前記使用者の相対的な移動速度を検出する速度検出部を、さらに備え、
   前記表示制御部は、前記速度検出部の検出結果に基づいて、前記画像を調整することを特徴とする請求項１ないし７のいずれか１項に記載の表示装置。
9. 前記表示制御部は、前記使用者の輻輳角を示すインジケーターを前記表示画面上に表示させることを特徴とする請求項１ないし８のいずれか１項に記載の表示装置。
10. 前記表示部は、
    画像光を出力する画像光出力部と、
    出力された前記画像光を前記使用者の眼に導く導光部と、を有し、
    前記導光部は、外光を透過し、当該外光を前記画像光と共に前記使用者の眼に入射させることを特徴とする請求項１ないし９のいずれか１項に記載の表示装置。
11. 使用者の頭部に装着され且つ使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の頭部装着型表示装置であって、
    前記使用者の視界内における実物体を認識する物体認識部と、
    前記使用者から前記実物体までの距離を検出する距離検出部と、
    前記実物体に対する拡張現実画像を配置した前記表示画面を表示させる表示制御部と、
    前記表示画面を表示する表示部と、を備え、
    前記表示制御部は、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する画像を、前記表示画面上に表示させることを特徴とする頭部装着型表示装置。
12. 使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示システムであって、
    前記使用者の視界内における実物体を認識する物体認識部と、
    前記使用者から前記実物体までの距離を検出する距離検出部と、
    前記実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御部と、
    前記表示画面を表示する表示部と、を備え、
    前記表示制御部は、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する画像を前記表示画面に表示させることを特徴とする表示システム。
13. 使用者に表示画面を虚像として視認させると共に、当該表示画面を前記使用者の輻輳角に合わせた焦点距離で視認させる透過型の表示装置の制御方法であって、
    前記使用者の視界内における実物体を認識する物体認識ステップと、
    前記使用者から前記実物体までの距離を検出する距離検出ステップと、
    前記実物体に対する拡張現実画像を配置した表示画面を表示させる表示制御ステップと、
    前記表示画面を表示する表示ステップと、を実行し、
    前記表示制御ステップでは、検出した前記距離に合わせた輻輳角となるように前記使用者の視線を誘導する画像を前記表示画面に表示させることを特徴とする表示装置の制御方法。

Images