JP2015208031A - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

頭部装着型表示装置および頭部装着型表示装置の制御方法 Download PDF

Info

Publication number
JP2015208031A
JP2015208031A JP2015126090A JP2015126090A JP2015208031A JP 2015208031 A JP2015208031 A JP 2015208031A JP 2015126090 A JP2015126090 A JP 2015126090A JP 2015126090 A JP2015126090 A JP 2015126090A JP 2015208031 A JP2015208031 A JP 2015208031A
Authority
JP
Japan
Prior art keywords
unit
image
head
control unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015126090A
Other languages
English (en)
Other versions
JP6004053B2 (ja
Inventor
裕士 中田
Yuji Nakata
裕士 中田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2015126090A priority Critical patent/JP6004053B2/ja
Publication of JP2015208031A publication Critical patent/JP2015208031A/ja
Application granted granted Critical
Publication of JP6004053B2 publication Critical patent/JP6004053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】頭部装着型表示装置において、従来とは異なる構成で使用者が頭部装着型表示装置の制御部を操作しようとしたことを検知し、外景の視認性を向上させる技術を提供する。
【解決手段】頭部装着型表示装置は、画像を表す画像光を生成し射出させる画像光生成部と、射出された画像光を使用者の眼に導く導光部と、を有し、使用者に虚像を視認させるための画像表示部と、操作面を有するとともに画像表示部と接続され、画像表示部による画像表示を制御する制御部と、使用者が制御部の操作面を向いているかを判定する向き判定部とを備える。制御部は、使用者が制御部の操作面を向いていると判定された場合に、虚像の視認性を低下させるように、画像光生成部の輝度を調整し、または、画像光生成部により生成される画像光を調整する。
【選択図】図2

Description

本発明は、頭部に装着する表示装置である頭部装着型表示装置および頭部装着型表示装置の制御方法に関する。
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display、HMD))が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表す画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を認識させる。
上述のようなヘッドマウントディスプレイにおいて、使用者が、例えば映像の再生、停止、早送り等を目的としてヘッドマウントディスプレイの制御部を操作する場合、使用者の眼前に表示されている虚像は、使用者の視界を遮り操作の妨げとなる恐れがあるという問題があった。このような問題を解決するために、従来では、カメラで表示領域を含む範囲を撮像し、撮像された画像を解析して使用者の手を検知し、検知した手のうち一方の手と他方の手との間で形成される領域に表示される画像の視認性を低減することで、外景の視認性を向上させる技術が知られている(例えば、特許文献1)。
特開2010−211408号公報 特開平9−211382号公報
しかし、従来の技術では、例えば、公共空間内の使用において、誤検知による誤作動が起こるおそれがあった。
本発明は、頭部装着型表示装置において、従来とは異なる構成で使用者が頭部装着型表示装置の制御部を操作しようとしたことを検知し、外景の視認性を向上させる技術を提供することを目的とする。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
[適用例1]
頭部装着型表示装置であって、
画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を使用者の眼に導く導光部と、を有し、使用者に虚像を視認させるための画像表示部と、
操作面を有するとともに前記画像表示部と接続され、前記画像表示部による画像表示を制御する制御部と、
使用者が前記制御部の前記操作面を向いているかを判定する向き判定部と、
を備え、
前記制御部は、
使用者が前記操作面を向いていると判定された場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
このような構成とすれば、向き判定部は、使用者が制御部の操作面を向いているかを判定し、制御部は、使用者が操作面を向いていると判定された場合に、虚像の視認性を低下させるように、画像光生成部の輝度を調整し、または、画像光生成部により生成される画像光を調整する。このため、頭部装着型表示装置において、従来とは異なる構成で使用者が頭部装着型表示装置の制御部を操作しようとしたことを検知し、画像表示部における外景の視認性を向上させることができる。
[適用例2]
適用例1記載の頭部装着型表示装置であって、さらに、
前記画像表示部に配置され、非可視光を射出する頭部側発光部と、
前記操作面に配置され、射出された前記非可視光を受光する制御部側受光部と、
を備え、
前記向き判定部は、
前記制御部側受光部の出力信号を用いて、前記操作面と前記画像表示部が対向しているか否かを判定することにより、使用者が前記制御部の前記操作面を向いているかを判定する、頭部装着型表示装置。
このような構成とすれば、画像表示部には非可視光を射出する頭部側発光部が配置され、操作面には射出された非可視光を受光する制御部側受光部が配置されるため、向き判定部は、制御部側受光部の出力信号を用いて、操作面と画像表示部が対向しているか否かを判定することにより、使用者が制御部の操作面を向いているかを判定することができる。
[適用例3]
適用例2記載の頭部装着型表示装置であって、さらに、
前記操作面に配置され、非可視光を射出する制御部側発光部と、
前記画像表示部に配置され、射出された前記非可視光を受光する頭部側受光部と、
を備え、
前記制御部は、
前記頭部側発光部および前記制御部側発光部に対して、交互に前記非可視光を射出させ、
前記向き判定部は、
前記制御部側受光部の出力信号と、前記頭部側受光部の出力信号とを用いて、前記操作面と前記画像表示部が対向しているか否かを判定することにより、使用者が前記制御部の前記操作面を向いているかを判定する、頭部装着型表示装置。
このような構成とすれば、操作面にはさらに、非可視光を射出する制御部側発光部が配置され、画像表示部にはさらに、射出された非可視光を受光する頭部側受光部が配置される。制御部は頭部側発光部および制御部側発光部に対して、交互に非可視光を射出させ、向き判定部は、制御部側受光部の出力信号と、頭部側受光部の出力信号とを用いて、操作面と画像表示部が対向しているか否かを判定することにより、使用者が制御部の操作面を向いているかを判定するため、適用例2記載の頭部装着型表示装置において、向き判定部による判定の精度を向上させることができる。
[適用例4]
適用例2または3記載の頭部装着型表示装置であって、さらに、
前記制御部に配置された前記制御部への接触を検出するための接触検出部を備え、
前記制御部は、
前記制御部への接触が検出された場合に、前記頭部側発光部による前記非可視光の射出と、前記制御部側発光部による前記非可視光の射出と、を実行させる、頭部装着型表示装置。
このような構成とすれば、制御部には制御部への接触を検出するための接触検出部が配置されるため、制御部は、制御部への接触が検出された場合に、頭部側発光部による非可視光の射出と、制御部側発光部による非可視光の射出とを実行させることができる。
[適用例5]
適用例2ないし4のいずれか一項記載の頭部装着型表示装置であって、
前記頭部側発光部が射出する前記非可視光には、前記非可視光のパルス変調により前記画像表示部を識別するための識別情報が含まれ、
前記制御部は、前記制御部に接続されている前記画像表示部を認証するための認証情報を記憶する記憶部を有し、
前記向き判定部は、さらに、
前記制御部側受光部の出力信号から前記識別情報を取得し、取得した前記識別情報が前記認証情報に含まれるかを検索することで、前記画像表示部を認証する認証部を備える、頭部装着型表示装置。
このような構成とすれば、頭部側発光部が射出する非可視光には画像表示部を識別するための識別情報が含まれるため、認証部は、制御部側受光部の出力信号から識別情報を取得し、取得した識別情報が認証情報に含まれるかを検索することで、画像表示部を認証することができる。この結果、誤認識を低減させることができる。
[適用例6]
適用例1ないし5のいずれか一項記載の頭部装着型表示装置であって、さらに、
前記画像表示部に配置された前記画像表示部の加速度情報を検出するための加速度情報検出部と、
前記画像表示部に配置された前記画像表示部の角速度情報を検出するための角速度情報検出部と、
を備え、
前記向き判定部は、
検出された前記加速度情報と、検出された前記角速度情報とを用いて、前記操作面と前記画像表示部が対向しているか否かを判定することにより、使用者が前記制御部の前記操作面を向いているかを判定する、頭部装着型表示装置。
このような構成とすれば、画像表示部には画像表示部の加速度情報を検出するための加速度情報検出部と、画像表示部の角速度情報を検出するための角速度情報検出部とが配置されるため、向き判定部は、検出された加速度情報と、検出された角速度情報とを用いて、使用者が制御部の操作面を向いているかを判定することができる。
[適用例7]
適用例1ないし6のいずれか一項記載の頭部装着型表示装置であって、
前記画像光生成部は、
前記画像を生成する表示素子と、
生成された前記画像を表す画像光を射出させる光源と、
を含み、
前記制御部は、
使用者が前記制御部の前記操作面を向いていると判定された場合に、前記光源の照明光を消灯または減光させることで、前記画像光生成部の輝度を調整する、頭部装着型表示装置。
このような構成とすれば、制御部は、使用者が制御部の操作面を向いていると判定された場合に、光源の照明光を消灯または減光させることで、画像光生成部の輝度を調整するため、画像表示部における外景の視認性を向上させることができる。
[適用例8]
適用例1ないし6のいずれか一項記載の頭部装着型表示装置であって、
前記画像光生成部は、
前記画像を生成する表示素子と、
生成された前記画像を表す画像光を射出させるための、複数の発光体を含む光源と、
を含み、
前記制御部は、
使用者が前記制御部の前記操作面を向いていると判定された場合に、前記複数の発光体のうちの少なくとも一部の発光体の照明光を消灯または減光させることで、前記画像光生成部の輝度を調整する、頭部装着型表示装置。
このような構成とすれば、制御部は、使用者が制御部の操作面を向いていると判定された場合に、複数の発光体のうちの少なくとも一部の発光体の照明光を消灯または減光させることで、画像光生成部の輝度を調整するため、画像表示部における一部の外景の視認性を向上させることができる。
[適用例9]
適用例1ないし6のいずれか一項記載の頭部装着型表示装置であって、
前記制御部は、
前記画像光生成部に画像データを送信するとともに、使用者が前記制御部の前記操作面を向いていると判定された場合に、送信する前記画像データの少なくとも一部を、黒色を示すダミーデータに置換することで、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
このような構成とすれば、制御部は、使用者が制御部の操作面を向いていると判定された場合に、画像光生成部に送信する画像データの少なくとも一部を、黒色を示すダミーデータに置換することで、画像光生成部により生成される画像光を調整するため、画像表示部における外景の視認性を向上させることができる。
[適用例10]
適用例1ないし6のいずれか一項記載の頭部装着型表示装置であって、
前記画像光生成部は、
前記画像を生成する表示素子と、
生成された前記画像を表す画像光を射出させる光源と、
を含み、
前記制御部は、
使用者が前記制御部の前記操作面を向いていると判定された場合に、前記表示素子の少なくとも一部の液晶開口率を小さくすることで、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
このような構成とすれば、制御部は、使用者が制御部の操作面を向いていると判定された場合に、表示素子の少なくとも一部の液晶開口率を小さくすることで、画像光生成部により生成される画像光を調整するため、画像表示部における外景の視認性を向上させることができる。
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置および頭部装着型表示装置の制御方法、頭部装着型表示システム、これらの方法、装置またはシステムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。
本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。 ヘッドマウントディスプレイの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 使用者に認識される虚像の一例を示す説明図である。 ヘッドマウントディスプレイの手元透過処理の手順を示すフローチャートである。 図5のステップS106における画像光生成部の様子を示す説明図である。 手元透過処理(図5)が実行される様子を示す説明図である。 手元透過処理(図5)のステップS106における他の処理態様を示す説明図である。 第2実施例におけるヘッドマウントディスプレイの外観の構成を示す説明図である。 第2実施例におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。 第2実施例におけるヘッドマウントディスプレイの手元透過処理の手順を示すフローチャートである。 変形例におけるヘッドマウントディスプレイの構成を機能的に示すブロック図である。
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
(A−1)頭部装着型表示装置の構成:
図1は、本発明の一実施例における頭部装着型表示装置の外観の構成を示す説明図である。頭部装着型表示装置HMは、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。本実施例のヘッドマウントディスプレイHMは、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
ヘッドマウントディスプレイHMは、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施例では眼鏡形状を有している。画像表示部20は、耳掛部21と、右表示駆動部22と、左表示駆動部24と、右光学パネル26と、左光学パネル28と、頭部側発光部61と、頭部側受光部65とを含んでいる。耳掛部21は、右表示駆動部22および左表示駆動部24の端部から使用者の耳の上を横断するように設けられた部材であり、テンプル(つる)として機能する。右光学パネル26および左光学パネル28は、使用者が画像表示部20を装着した状態においてそれぞれ使用者の右および左の眼の前に位置するように配置されている。右表示駆動部22は、右耳用の耳掛部21と右光学パネル26との接続箇所に配置されている。また、左表示駆動部24は、左耳用の耳掛部21と左光学パネル28との接続箇所に配置されている。なお、以降では、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」と、右光学パネル26および左光学パネル28を総称して単に「光学パネル」とも呼ぶ。
頭部側発光部61と、頭部側受光部65とは、光学パネルを形成する筐体の前面(本実施例では、右光学パネル26と左光学パネル28の中央上部近傍)に隣り合うように配置されている。本実施例における頭部側発光部61には、赤外線発光ダイオードが用いられ、非可視光である赤外線を発光する。また、本実施例における頭部側受光部65には、赤外線フォトダイオードが用いられ、赤外線を受光する。
表示駆動部は、図示しないLCD(Liquid Crystal Display:液晶ディスプレイ)や、投写光学系等を含む。詳細は後述する。光学パネルは、図示しない導光板と、調光板とを含んでいる。導光板は、光透過性の樹脂材料等によって形成され、表示駆動部から取り込んだ画像光を使用者の眼に向けて射出させる。調光板は、薄板状の光学素子であり、前面側(使用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板を保護し、導光板の損傷や、汚れの付着等を抑制するとともに、調光板の光透過率を調整することにより、使用者の眼に入る外光量を調整し、虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
画像表示部20は、さらに、右耳用の右イヤホン32および左耳用の左イヤホン34を有する。右イヤホン32および左イヤホン34は、使用者が画像表示部20を装着した際に、それぞれ右および左の耳に装着される。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42と、左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右表示駆動部22に接続されており、左コード44は、左表示駆動部24に接続されている。画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46とは反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48コネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや、光ファイバーを採用することができる。
制御部10は、ヘッドマウントディスプレイHMを操作するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18と、制御部側発光部62と、制御部側受光部66とを含んでいる。点灯部12は、ヘッドマウントディスプレイHMの動作状態(例えば、電源のON/OFF等)を、その発光状態によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、ヘッドマウントディスプレイHMの電源投入状態を切り替える。なお、制御部10の筐体のうち、使用者が制御部10の操作を行うための主要な構成部(すなわち、タッチパッド14や十字キー16)が配置されている側の面を「操作面」とも呼ぶ。
制御部側発光部62と、制御部側受光部66とは、使用者が制御部10を手に持った際に隠れにくい位置、例えば、制御部10の操作面上に鉛直方向に中心線を取った場合の当該中心線付近に配置されている。本実施例では、制御部側発光部62と、制御部側受光部66とは、操作面上の点灯部12の両隣に配置されている。本実施例における制御部側発光部62には、赤外線発光ダイオードが用いられ、非可視光である赤外線を発光する。また、本実施例における制御部側受光部66には、赤外線フォトダイオードが用いられ、赤外線を受光する。
図2は、ヘッドマウントディスプレイHMの構成を機能的に示すブロック図である。制御部10は、制御部側発光部62と、制御部側受光部66と、入力情報取得部110と、記憶部120と、電源130と、CPU140と、インターフェイス180と、送信部(Tx)51および52と、を備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、使用者による操作入力に応じた信号(例えば、タッチパッド14や十字キー16、電源スイッチ18に対する操作入力)を取得する機能を有する。記憶部120は、図示しないROM、RAM、DRAM、ハードディスク等を含む記憶部である。電源130は、ヘッドマウントディスプレイHMの各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。
CPU140は、予めインストールされたプログラムを実行することで、オペレーティングシステム(ОS)150としての機能を提供する。また、CPU140は、ROMやハードディスクに格納されているファームウェアやコンピュータープログラムをRAMに展開して実行することにより、向き判定部145、画像処理部160、音声処理部170、表示制御部190としても機能する。これら各部の詳細は後述する。
制御部側受光部66は、頭部側発光部61から射出された赤外線を受光し、受光した赤外線の信号パターンに応じた出力信号を向き判定部145へ出力する。向き判定部145は、頭部側発光部61、制御部側発光部62、頭部側受光部65、制御部側受光部66の駆動を制御すると共に、頭部側受光部65と制御部側受光部66からの出力信号を用いて、手元透過処理を実行する。手元透過処理は、使用者が制御部10の操作面を向いていると判定された場合に、画像表示部20において表示されている虚像を消す処理である。詳細は後述する。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OA(例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末)を接続するためのインターフェイスである。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス、無線LANインターフェイス等を備えることができる。また、コンテンツとは、画像(静止画像、動画像)や音声等からなる情報内容を意味する。
画像処理部160は、インターフェイス180を介して入力されるコンテンツに基づき、クロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、画像データDataを生成し、接続部40を介してこれらの信号を画像表示部20に供給する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に、1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、図示しないPLL回路等を利用してクロック信号PCLKを生成する。
画像処理部160は、同期信号が分離されたアナログ画像信号を、図示しないA/D変換回路等を用いてデジタル画像信号に変換する。その後、画像処理部160は、変換後のデジタル画像信号を、対象画像の画像データData(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度や彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成したクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データDataとを、送信部51および52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と、画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、画像表示部20の右イヤホン32および左イヤホン34に接続部40を介して供給する。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学パネル26としての右導光板261と、左光学パネル28としての左導光板262と、頭部側発光部61と、頭部側受光部65と、右イヤホン32と、左イヤホン34とを備えている。
頭部側受光部65は、制御部側発光部62から射出された赤外線を受光し、受光した赤外線の信号パターンに応じた出力信号を向き判定部145へ出力する。右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251を含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と、画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する機能を有する。右バックライト221は、例えば、LED等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データとに基づいて、右LCD241を駆動する機能を有する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
図3は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241はマトリクス状に配置された各画素位置に対応する液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表す有効な画像光PLへと変調する機能を有する。なお、図3のように、本実施例ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
図2の右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学パネル26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。なお、右投写光学系251と右導光板261とを総称して「導光部」とも呼ぶ。
左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252を含んでいる。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242とを総称して「画像光生成部」と、左投写光学系252と、左導光板262とを総称して「導光部」とも呼ぶ。右表示駆動部22と左表示駆動部24とは対になっており、左表示駆動部24の各部は、右表示駆動部22で説明する各部と同様の構成および動作を有するため詳細な説明は省略する。
図4は、使用者に認識される虚像の一例を示す説明図である。上述のようにして、ヘッドマウントディスプレイHMの使用者の両眼に導かれた画像光が使用者の網膜に結像することにより、使用者は虚像を視認することができる。図4に示すように、ヘッドマウントディスプレイHMの使用者の視野VR内には虚像VIが表示される。また、使用者の視野VRのうち、虚像VIが表示された部分以外については、使用者は、右光学パネル26および左光学パネル28を透過して、外景SCを見ることができる。なお、本実施例のヘッドマウントディスプレイHMでは、使用者の視野VRの内の虚像VIが表示された部分についても、虚像VIの背後に外景SCが透けて見えるようになっている。
(A−2)手元透過処理:
図5は、ヘッドマウントディスプレイHMの手元透過処理の手順を示すフローチャートである。手元透過処理は、使用者が制御部10の操作面を向いていること、すなわち、使用者が制御部10を操作しようとしたために、制御部10の操作面と画像表示部20が対向する状態となったことが検知された場合に、画像表示部20において表示されている虚像を消す処理であり、ヘッドマウントディスプレイHMが起動された後、常時実行される。
制御部10の向き判定部145は、頭部側発光部61および制御部側発光部62を発光させる(ステップS102)。具体的には、制御部10の向き判定部145は、頭部側発光部61と制御部側発光部62とを交互に駆動することによって、頭部側発光部61と、制御部側発光部62とに、交互に赤外線を射出させる。このように、交互に赤外線を射出させることで、頭部側発光部61からの赤外線と制御部側発光部62からの赤外線の混信を抑制することができる。なお、時分割の際の単位時間は任意に定めることができる。
向き判定部145は、頭部側受光部65および制御部側受光部66が赤外線を受光したか否かを判定する(ステップS104)。具体的には、向き判定部145は、所定の時間内に、頭部側受光部65からの出力信号と、制御部側受光部66からの出力信号の両方を受信したか否かを判定する。両方を受信した場合、向き判定部145は、頭部側受光部65および制御部側受光部66が赤外線を受光した(ステップS104:YES)と判定する。いずれか一方でも受信しなかった場合、向き判定部145は、頭部側受光部65および制御部側受光部66が赤外線を受光していない(ステップS104:NO)と判定する。なお、所定の時間とは任意に定めることができるが、ステップS102の単位時間の2倍以上とすることが好ましい。
頭部側受光部65および制御部側受光部66が赤外線を受光していない場合(ステップS104:NO)、向き判定部145は、処理をステップS102へ遷移させ、頭部側発光部61および制御部側発光部62を発光させる。一方、頭部側受光部65および制御部側受光部66が赤外線を受光した場合(ステップS104:YES)、向き判定部145は、バックライトを消灯させる(ステップS106)。具体的には、向き判定部145は、制御部10の表示制御部190に対して、バックライトを消灯するよう要求する。
図6は、図5のステップS106における画像光生成部の様子を示す説明図である。図5のステップS106において、向き判定部145からの要求を受信した表示制御部190は、右バックライト制御部201による右バックライト221の駆動OFFを示す制御信号と、左バックライト制御部202による左バックライト222の駆動OFFを示す制御信号とを画像表示部20へ送信する。信号を受信した右バックライト制御部201は、右バックライト221を消灯させる。同様に、信号を受信した左バックライト制御部202は、左バックライト222を消灯させる。この結果、図6に示すように、右LCD241および左LCD242で描画された画像が画像光として射出されなくなるため、使用者の視野VRから虚像VIの表示が消える。
バックライト消灯後、向き判定部145は、頭部側受光部65および制御部側受光部66が赤外線の受光を継続しているか否かを判定する(ステップS108)。ステップS108の判定はステップS104と同様の方法で行う。
頭部側受光部65および制御部側受光部66が赤外線の受光を継続している場合(ステップS108:YES)、向き判定部145は処理をステップS106へ遷移させ、バックライトの消灯状態を継続する。一方、頭部側受光部65および制御部側受光部66のいずれか一方でも赤外線を受光しなくなった場合(ステップS104:YES)、向き判定部145は、バックライトを点灯させる(ステップS110)。具体的には、向き判定部145は、制御部10の表示制御部190に対して、バックライトを点灯するよう要求し、処理を終了する。
図5のステップS110において、向き判定部145からの要求を受信した表示制御部190は、右バックライト制御部201による右バックライト221の駆動ONを示す制御信号と、左バックライト制御部202による左バックライト222の駆動ONを示す制御信号を画像表示部20へ送信する。信号を受信した右バックライト制御部201は、右バックライト221を点灯させる。同様に、信号を受信した左バックライト制御部202は、左バックライト222を点灯させる。この結果、右LCD241、左LCD242で描画された画像が画像光として射出され、使用者の視野VRには、再び虚像VIが表示される。
図7は、手元透過処理(図5)が実行される様子を示す説明図である。図7(A)は、ヘッドマウントディスプレイHMを装着した使用者が制御部10の操作面以外の場所を向いている場合の様子を示している。ヘッドマウントディスプレイHMを装着した使用者が制御部10の操作面以外の場所を向いている場合、画像表示部20の頭部側発光部61から射出される赤外線CAと、制御部10の制御部側発光部62から射出される赤外線MAとは、共に受光されない(図5、ステップS104:NO)。従って、手元透過処理におけるバックライトの消灯(ステップS106)は行われないため、使用者の視野VRには虚像VIが表示される。
図7(B)は、ヘッドマウントディスプレイHMを装着した使用者が制御部10の操作面を向いた場合の様子を示している。ヘッドマウントディスプレイHMを装着した使用者が制御部10の操作面を向いた場合、画像表示部20の頭部側発光部61から射出される赤外線CAは、制御部10の制御部側受光部66によって受光される。同様に、制御部10の制御部側発光部62から射出される赤外線MAも、画像表示部20の頭部側受光部65によって受光される(図5、ステップS104:YES)。従って、手元透過処理におけるバックライトの消灯(ステップS106)が行われ、使用者の視野VRから虚像VIの表示が消える。視野VRを遮る虚像VIの表示が消える結果、使用者は、外景、すなわち制御部10の操作面をはっきりと見ることができる。
なお、図7(B)のように、ヘッドマウントディスプレイHMを装着した使用者が制御部10の操作面を向いた状態であること、換言すれば、画像表示部20の光学パネル面と制御部10の操作面とが向き合っている状態であることを「操作面と画像表示部20が対向している」とも呼ぶ。
なお、右バックライト221および左バックライト222が複数の発光体(LED等)を含む場合、手元透過処理(図5)のステップS106では、例えば、以下のような処理をしてもよい。
図8は、手元透過処理(図5)のステップS106における他の処理態様を示す説明図である。図8に示す右バックライト221および左バックライト222は、12個のLEDを含んだ光源である。図5のステップS106において向き判定部145は、制御部10の表示制御部190に対して、LEDの一部を消灯するよう要求する。要求を受信した表示制御部190は、右バックライト制御部201および左バックライト制御部202に対して、各LEDを識別するための識別子と、各LEDの駆動ON/OFFを指定する制御信号を送信する。信号を受信した右バックライト制御部201は、右バックライト221のうち、指定された一部のLEDを消灯させる。同様に、左バックライト制御部202は、左バックライト222のうち、指定された一部のLEDを消灯させる。
この結果、図8に示すように、右LCD241および左LCD242で描画された画像のうち、消灯されたLEDが配置されている領域PTの部分に相当する画像は、画像光として射出されなくなる。このため、使用者の視野VRには、領域PTを除く他の部分の虚像VIが表示される。このようにすれば、消灯されたLEDが配置されている領域PTに相当する部分の虚像VIが表示されなくなるため、領域PT部分における外景の視認性を向上させることができる。
なお、図8において、領域PTを除く他の部分に、制御部10の操作説明や機能説明を表示させてもよい。そうすれば、使用者はヘッドマウントディスプレイHMを装着したまま、操作説明や機能説明を参照しつつ、制御部側の操作面を確認することができる。このため、利便性を向上させることができる。
さらに、手元透過処理(図5)のステップS106において向き判定部145は、バックライトを消灯させることに代えて、例えば、以下のような処理をしてもよい。
図5のステップS106において向き判定部145は、制御部10の表示制御部190に対して、バックライトの輝度を下げるよう要求する。要求を受信した表示制御部190は、右バックライト制御部201および左バックライト制御部202に対して、バックライトの駆動ON/OFFを指定する制御信号と共に、バックライトの輝度を指定するための制御信号を送信する。バックライトの輝度を指定するための制御信号としては、例えばPWM(Pulse Width Modulation)信号を用いることができる。このようにすれば、ステップS106では、バックライトの消灯に代えて、バックライト(右バックライト221、左バックライト222)による照明光の減光が行われる。照明光が減光されれば、画像光生成部によって射出される画像光が弱くなる(画像光生成部の輝度が下がる)ため、使用者の視野VRに表示される虚像VIは、薄くぼやけたような表示になる。従って、使用者は、外景、すなわち制御部10の操作面を視認しやすくなる。
図5のステップS106において向き判定部145は、制御部10の表示制御部190に対して、LCD(液晶)の開口率を小さくするよう要求する。要求を受信した表示制御部190は、右LCD制御部211および左LCD制御部212に対して、LCDの開口率を指定するための制御信号を送信する。このようにすれば、ステップS106では、バックライトの消灯に代えて、LCD(右LCD241、左LCD242)の開口率の低下が行われる。液晶開口率が小さくなれば、画像光生成部によって射出される画像光が弱くなるため、使用者の視野VRに表示される虚像VIは、薄くぼやけたような表示になる。従って、使用者は、外景、すなわち制御部10の操作面を視認しやすくなる。
図5のステップS106において向き判定部145は、制御部10の画像処理部160に対して、画像データDataを黒一色のダミーデータとするよう要求する。要求を受信した画像処理部160は、画像表示部20へ送信する画像データDataを黒一色のダミーデータに変更する。このようにすれば、ステップS106では、LCD(右LCD241、左LCD242)に描画される画像が黒一色のダミー画像へと調整され、画像光生成部はこれに対応した画像光を射出するため、使用者の視野VRに表示される虚像VIは、消えたような表示になる。従って、使用者は、外景、すなわち制御部10の操作面を視認しやすくなる。なお、画像処理部160は、画像データDataの全てではなく、少なくとも一部を黒一色のダミーデータと置換してもよい。
以上のように、第1実施例によれば、向き判定部145は、使用者が制御部10の操作面を向いているかを判定し、制御部10は、使用者が操作面を向いていると判定された場合に、虚像VIの視認性を低下させるように、画像光生成部の輝度を調整し、または、画像光生成部により生成される画像光PLを調整するため、ヘッドマウントディスプレイHMにおいて、従来とは異なる構成で、使用者がヘッドマウントディスプレイHMの制御部10を操作しようとしたことを検知し、画像表示部20における外景SCの視認性を向上させることができる。
具体的には、画像表示部20には非可視光(赤外線)を射出する頭部側発光部61が配置され、制御部10の操作面には射出された非可視光を受光する制御部側受光部66が配置される。また、制御部10の操作面にはさらに、非可視光(赤外線)を射出する制御部側発光部62が配置され、画像表示部20にはさらに、射出された非可視光を受光する頭部側受光部65が配置される。制御部10は、頭部側発光部61および制御部側発光部62に対して、交互に非可視光を射出させ、向き判定部145は、制御部側受光部66の出力信号と、頭部側受光部65の出力信号とを用いて、制御部10の操作面と画像表示部20が対向しているか否かを判定する。使用者がヘッドマウントディスプレイHMの制御部10を操作しようとする場合、使用者は制御部10の操作面のほうを見る、すなわち、使用者が操作面を向く(換言すれば、使用者の頭部に装着されている画像表示部20と操作面とが対向する)ことから、向き判定部145は、上述のようにして制御部10の操作面と画像表示部20が対向しているか否かを判定することにより、使用者が操作面を向いているかを判定することができる。
制御部10は、使用者が操作面を向いている(すなわち、制御部10の操作面と画像表示部20が対向している)と判定された場合に、光源(右バックライト221、左バックライト222)の照明光ILを消灯または減光させることで、虚像VIの視認性を低下させるように画像光生成部の輝度を調整することができる。また、制御部10は、使用者が操作面を向いている(すなわち、制御部10の操作面と画像表示部20が対向している)と判定された場合に、画像光生成部に送信する画像データDataの少なくとも一部を、黒色を示すダミーデータに置換することで、虚像VIの視認性を低下させるように画像光生成部により生成される画像光PLを調整することができる。また、制御部10は、使用者が操作面を向いている(すなわち、制御部10の操作面と画像表示部20が対向している)と判定された場合に、表示素子(右LCD241、左LCD242)の少なくとも一部の液晶開口率を小さくすることで、虚像VIの視認性を低下させるように画像光生成部により生成される画像光PLを調整することができる。このようにして、使用者の視野VRを遮る虚像VIの視認性が低下される結果、画像表示部における外景の視認性を向上させることができ、使用者は、外景、すなわち制御部10の操作面をはっきりと見ることができる。
さらに、本実施例によれば、頭部側発光部61および制御部側発光部62として赤外線を射出する赤外線発光部を用い、頭部側受光部65および制御部側受光部66として射出された赤外線を受光する赤外線受光部を用いるため、従来とは異なる構成で画像表示部20における外景の視認性を向上させたヘッドマウントディスプレイHMを、低コストで実現することができる。
さらに、本実施例によれば、制御部10と、画像表示部20とに、それぞれ発光部と受光部の組が配置される。制御部10は、2つの発光部(頭部側発光部61および制御部側発光部62)に対して交互に非可視光(赤外線)を射出させ、向き判定部145は、2つの受光部(制御部側受光部66、頭部側受光部65)からの出力信号を用いて、制御部10の操作面と画像表示部20とが対向しているか否かを判定するため、誤判定を抑制し、向き判定部145による判定の精度を向上させることができる。
B.第2実施例:
本発明の第2実施例では、手元透過処理における信頼性と省電力性を向上させることが可能な構成について説明する。以下では、第1実施例と異なる構成および動作を有する部分についてのみ説明する。なお、図中において第1実施例と同様の構成部分については先に説明した第1実施例と同様の符号を付し、その詳細な説明を省略する。
(B−1)頭部装着型表示装置の構成:
図9は、第2実施例におけるヘッドマウントディスプレイHMaの外観の構成を示す説明図である。図10は、第2実施例におけるヘッドマウントディスプレイHMaの構成を機能的に示すブロック図である。図1、図2に示す第1実施例との違いは、制御部10に代えて制御部10aを、画像表示部20に代えて画像表示部20aを、それぞれ備える点である。
画像表示部20aは、頭部側発光部61に代えて頭部側発光部61aを備えている。頭部側発光部61aは、非可視光である赤外線を発光する機能を有する。頭部側発光部61aは、射出する赤外線をパルス変調することによって、画像表示部20aの識別情報を含む信号パターンの赤外線を射出する。なお、識別情報とは、画像表示部20aを識別するための任意の文字列等からなる情報である。
制御部10aは、向き判定部145に代えて向き判定部145aを備えると共に、接触検出部71を備えている。また、制御部10aの記憶部120には、認証情報CIが格納されている。接触検出部71は、制御部10aの操作面とは反対側の面で、使用者が制御部10aを手に持って操作を行う場合に、使用者の手が接触することが想定される部分(例えば、中央部や、左右の端部)に配置されている。本実施例における接触検出部71は、タッチセンサーを用いて構成され、使用者による接触を検出する。タッチセンサーは種々の方式のものを採用することができる。向き判定部145aは、認証部146を含んでいる。認証部146の詳細は後述する。記憶部120に格納されている認証情報CIには、制御部10aに接続される画像表示部20aの識別情報が予め格納されている。
(B−2)手元透過処理:
図11は、第2実施例におけるヘッドマウントディスプレイHMaの手元透過処理の手順を示すフローチャートである。図5に示した第1実施例との違いは、ステップS202、S204をさらに備える点のみであり、他の動作は第1実施例と同様である。まず、向き判定部145aは、接触検出部71からの出力信号によって、制御部10aへの接触が検出されたか否かを判定する(ステップS202)。接触が検出されていない場合、向き判定部145aは処理をステップS202へ遷移させる。一方、接触が検出された場合、制御部10の向き判定部145aは処理をステップS204へ遷移させ、頭部側発光部61aと、制御部側発光部62とを駆動する。
ステップS104において、頭部側受光部65からの出力信号と、制御部側受光部66からの出力信号の両方を受信したと判定した場合、向き判定部145aの認証部146は、画像表示部20aの認証を行う(ステップS204)。具体的には、認証部146は、制御部側受光部66からの出力信号から取得した画像表示部20aの識別情報が、記憶部120に格納されている認証情報CI内の識別情報と一致するか否かを検索することによって、画像表示部20aの認証を行う。出力信号に含まれる識別情報が認証情報CI内の識別情報と一致する場合、認証部146は、画像表示部20aの認証に成功したと判定する(ステップS204:YES)。一方、一致しない場合、認証部146は、画像表示部20aの認証に失敗したと判定する(ステップS204:NO)。認証部146による認証に失敗した場合、向き判定部145aは処理をステップS102へ遷移させ、頭部側発光部61aおよび制御部側発光部62を発光させる。一方、認証部146による認証に成功した場合、向き判定部145aは処理をステップS106へ遷移させ、バックライトを消灯させる。
以上のように、第2実施例によれば、制御部10aには、制御部10aへの接触を検出するための接触検出部71が配置され、制御部10aの向き判定部145aは、制御部10aへの接触が検出された場合に、頭部側発光部61aによる赤外線の射出と、制御部側発光部62による赤外線の射出を実行させる。使用者がヘッドマウントディスプレイHMaの操作をしようとする場合、一般的に使用者は制御部10aを手に取ることから、第2実施例によれば、発光部(頭部側発光部61、制御部側発光部62)によって常に赤外線を射出させる構成と比較して、ヘッドマウントディスプレイHMaの消費電力を低減することができる。
さらに、第2実施例によれば、頭部側発光部61aが射出する赤外線には画像表示部20aを識別するための識別情報が含まれ、認証部146は、制御部側受光部66の出力信号から画像表示部20aの識別情報を取得し、取得した識別情報が、予め記憶されている認証情報CIに含まれるかを検索することがで、画像表示部20aを認証することができる。このため、例えば、公共空間等において、赤外線を射出することが可能な他の装置から射出された赤外線を誤って検出してしまうこと(誤認識)を低減し、手元透過処理における信頼性を向上させることができる。以上のように、第2実施例によれば、ヘッドマウントディスプレイHMaにおいて、さらに、手元透過処理の信頼性と省電力性を向上させることが可能となる。
C.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の構成をとることができる。例えば、ソフトウェアによって実現した機能は、ハードウェアによって実現するものとしてもよい。そのほか、以下のような変形が可能である。
C1.変形例1:
上記実施例では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施例では、説明の便宜上、制御部が送信部(51、52)を備え、画像表示部が受信部(53、54)を備えるものとした。しかし、上記実施例の送信部(51、52)および受信部(53、54)は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。
例えば、図12に示すように、接続部を省略し、制御部と、画像表示部とが無線通信可能な構成としてもよい。具体的には、制御部にさらに、無線通信部(81)を備えると共に、画像表示部にさらに、無線通信部(82)と、電源(280)とを備える構成とする。この場合、無線通信部81が上記実施例における送信部(51、52)として機能し、無線通信部82が上記実施例における受信部(53、54)として機能する。
例えば、図1に示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパネルを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えても良い。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、制御部にWi−Fi(wireless fidelity)等を用いた通信部を設けてもよい。
例えば、図1に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、使用者がヘッドマウントディスプレイを装着した状態において外景が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。また、単眼タイプのヘッドマウントディスプレイとしてもよい。
例えば、画像光生成部は、左右のバックライト制御部と、左右のLCD制御部と、左右のバックライトと、左右のLCDとを用いて構成されるものとしたが、これらに代えて、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)と、有機EL制御部とを用いても良い。その場合、有機ELおよび有機EL制御部が「画像光生成部」に相当する。
例えば、画像処理部、表示制御部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施例では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することができる。
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。
例えば、上記実施例では、電源として二次電池を用いることしたが、電源としては二次電池に限らず、種々の電池を使用することができる。例えば、一次電池や、燃料電池、太陽電池、熱電池等を使用してもよい。
C2.変形例2:
上記実施例において、画像処理部は、同じ画像データを右眼用画像データおよび左眼用画像データとして出力することとした。しかし、画像処理部は、右眼用画像データと、左眼用画像データとを、異なる画像データにすることで、使用者に3Dの虚像を視認させることが可能な構成としてもよい。
C3.変形例3:
上記実施例の手元透過処理(図5、図11)では、向き判定部は、頭部側受光部と、制御部側受光部からの出力信号を受信したか否かによって、制御部と画像表示部とが対向しているか否かを判定することとした。しかし、上記実施例での態様はあくまで一例であり、向き判定部は、種々の方法を用いて、制御部と画像表示部とが対向しているか否かを判定することができる。
例えば、頭部側発光部と制御部側受光部の組、もしくは、制御部側発光部と頭部側受光部の組、のいずれか一方を省略してもよい。このようにしても、ヘッドマウントディスプレイにおいて、従来とは異なる構成で使用者が制御部を操作しようとしたことを検知し、画像表示部における外景の視認性を向上させることができる。また、発光部と受光部を一組しか必要としないため、低コストで実現可能である。
例えば、発光部(頭部側発光部、制御部側発光部)と受光部(頭部側受光部、制御部側受光部)とに代えて、または、発光部と受光部に加えて、画像表示部に、画像表示部の加速度情報を検出するための加速度情報検出部と、画像表示部の角速度情報を検出するための角速度情報検出部を備えることとしても良い。加速度情報検出部としては、例えば、加速度センサーを用いることができる。角速度情報検出部としては、例えば、ジャイロセンサーを用いることができる。
発光部と受光部に代えて、加速度情報検出部と、角速度情報検出部を備える構成とする場合、向き判定部は、加速度情報と角速度情報より導かれる画像表示部の動き(すなわち、画像表示部を装着した使用者の頭の動き)が、予め想定された動き(例えば、操作面を見ようとする使用者が頭を下に向ける動き)と一致する場合に、操作面と画像表示部が対向している(ステップS104:YES)と判定することができる。このようにすれば、発光部と受光部に代えて、加速度情報検出部と、角速度情報検出部を備える構成とする場合であっても、実施例と同様の効果を得ることができる。
発光部と受光部に加えて、加速度情報検出部と、角速度情報検出部を備える構成とする場合、向き判定部は、頭部側受光部と、制御部側受光部の両方から出力信号を受信したと判定した場合(ステップS104:YES)に、さらに、加速度情報と角速度情報より導かれる画像表示部の動き(使用者の頭の動き)が、予め想定された動き(例えば、頭を下に向ける動き)と一致するか否かを判定することができる。そうすれば、手元透過処理における「使用者が操作面を向いているか」の判定の精度を、より向上させることができる。
発光部と受光部に加えて、加速度情報検出部と、角速度情報検出部を備え、かつ、バックライトが複数の発光体(LED)を含む構成とする場合、向き判定部は、バックライトを消灯させる際(ステップS106)に、さらに、加速度情報と角速度情報より導かれる画像表示部の動き(使用者の頭の動き)に応じて、複数の発光体のうちの、どの発光体を消灯させるかを決定することができる。そうすれば、使用者の頭の動きに対応した領域に相当する部分の虚像表示がなくなるため、使用者の使い勝手を向上させることができる。
発光部と受光部とに代えて、または、発光部と受光部に加えて、画像表示部に測距センサーを備えることとしてもよい。発光部と受光部に代えて測距センサーを備える構成とする場合、実施例と同様の効果を得ることができる。また、発光部と受光部に加えて測距センサーを備える構成とする場合、手元透過処理における「使用者が操作面を向いているか」の判定の精度を、より向上させることができる。さらに、向き判定部は、測距センサーの測定結果から導かれる制御部と画像表示部との距離に応じて、光源の輝度を調節してもよい。例えば、向き判定部は、制御部と画像表示部との距離が近ければ光源の輝度を小さく(すなわち、画像光生成部の輝度を小さくして虚像VIの表示を薄く)し、制御部と画像表示部との距離が遠ければ光源の輝度を大きく(すなわち、画像光生成部の輝度を大きくして虚像VIの表示を濃く)することができる。
発光部と受光部とに代えて、または、発光部と受光部に加えて、画像表示部に測距センサーを備え、かつ、バックライトが複数の発光体(LED)を含む構成とする場合、向き判定部は、バックライトを消灯させる際(ステップS106)に、さらに、測距センサーの測定結果から導かれる制御部と画像表示部との距離に応じて、複数の発光体のうちの、どの発光体を消灯させるかを決定することができる。例えば、向き判定部は、制御部と画像表示部との距離が近ければ消灯させる発光体の数を多く(すなわち、虚像VIにおける画像表示のない領域の面積を大きく)し、制御部と画像表示部との距離が遠ければ消灯させる発光体の数を小さく(すなわち、虚像VIにおける画像表示のない領域の面積を小さく)することができる。
発光部と受光部とに代えて、または、発光部と受光部に加えて、制御部または画像表示部に撮像部(例えば、CCDカメラ)を設けることとしてもよい。制御部に撮像部を設ける構成とした場合、向き判定部は撮影された画像を解析し、当該画像に、画像表示部の光学パネル筐体が含まれるか否かを判定する。撮影画像に光学パネル筐体が含まれる場合、向き判定部は、操作面と画像表示部が対向していると判定することができる(ステップS104:YES)。一方、画像表示部に撮像部を設ける構成とした場合、向き判定部は撮像された画像を解析し、当該画像に、制御部の操作面に配置されているタッチパッドや十字キーが含まれるか否かを判定する。撮影画像にタッチパッドや十字キーが含まれる場合、向き判定部は、操作面と画像表示部が対向していると判定することができる(ステップS104:YES)。発光部と受光部に代えて撮像部を備える構成とする場合、実施例と同様の効果を得ることができる。また、発光部と受光部に加えて撮像部を備える構成とする場合、手元透過処理における「使用者が操作面を向いているか」の判定の精度を、より向上させることができる。
C4.変形例4:
上記第2実施例の手元透過処理(図11)では、向き判定部は、接触検出部により接触が検出された場合に、発光部(頭部側発光部、制御部側発光部)を駆動することとした。しかし、上記実施例での態様はあくまで一例であり、種々の変形が可能である。
例えば、制御部は、接触検出部に代えて、制御部の加速度情報を検出するための加速度情報検出部(加速度センサー)を備える構成としても良い。この場合、向き判定部は、加速度情報検出部が制御部の傾きを検出した場合に、ステップS202:YESと判定することができる。このようにすれば、接触検出部に代えて、加速度情報検出部を備える構成とする場合であっても、実施例と同様の効果を得ることができる。
例えば、制御部は、タッチパッドを接触検出部として代用することもできる。このようにすれば、ヘッドマウントディスプレイを低コストで実現することができる。
10、10a…制御部
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20、20a…画像表示部
21…耳掛部
22…右表示駆動部
24…左表示駆動部
26…右光学パネル
28…左光学パネル
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61、61a…頭部側発光部
62…制御部側発光部
65…頭部側受光部
66…制御部側受光部
71…接触検出部
81…無線通信部
82…無線通信部
110…入力情報取得部
120…記憶部
130…電源
140…CPU
145、145a…向き判定部
146…認証部
160…画像処理部
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部(画像光生成部、光源)
202…左バックライト制御部(画像光生成部、光源)
211…右LCD制御部(画像光生成部、表示素子)
212…左LCD制御部(画像光生成部、表示素子)
221…右バックライト(画像光生成部、光源)
222…左バックライト(画像光生成部、光源)
241…右LCD(画像光生成部、表示素子)
242…左LCD(画像光生成部、表示素子)
251…右投写光学系(導光部)
252…左投写光学系(導光部)
261…右導光板(導光部)
262…左導光板(導光部)
PCLK…クロック信号
VSync…垂直同期信号
HSync…水平同期信号
Data…画像データ
CA…赤外線
MA…赤外線
OA…外部機器
SC…外景
PC…パーソナルコンピューター
VI…虚像
CI…認証情報
IL…照明光
PL…画像光
HM、HMa…ヘッドマウントディスプレイ(頭部装着型表示装置)
VR…視野
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現可能である。頭部装着型表示装置であって、画像を表す画像光を生成し射出させる画像光生成部を用いて、使用者に虚像を視認させるための画像表示部と、操作面を有するとともに前記画像表示部と接続され、前記画像表示部による画像表示を制御する制御部と、非可視光を利用して、使用者が前記制御部の前記操作面を向いているかを判定する向き判定部と、を備え、前記向き判定部は、前記非可視光を受光した場合に、使用者が制御部の操作面を向いていると判定し、前記非可視光を受光しない場合に、使用者が制御部の操作面を向いていないと判定し、前記制御部は、使用者が前記操作面を向いていると判定された場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。そのほか、本発明は、以下の形態又は適用例として実現することが可能である。

Claims (11)

  1. 頭部装着型表示装置であって、
    画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を使用者の眼に導く導光部と、を有し、使用者に虚像を視認させるための画像表示部と、
    操作面を有するとともに前記画像表示部と接続され、前記画像表示部による画像表示を制御する制御部と、
    使用者が前記制御部の前記操作面を向いているかを判定する向き判定部と、
    を備え、
    前記制御部は、
    使用者が前記操作面を向いていると判定された場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
  2. 請求項1記載の頭部装着型表示装置であって、さらに、
    前記画像表示部に配置され、非可視光を射出する頭部側発光部と、
    前記操作面に配置され、射出された前記非可視光を受光する制御部側受光部と、
    を備え、
    前記向き判定部は、
    前記制御部側受光部の出力信号を用いて、前記操作面と前記画像表示部が対向しているか否かを判定することにより、使用者が前記制御部の前記操作面を向いているかを判定する、頭部装着型表示装置。
  3. 請求項2記載の頭部装着型表示装置であって、さらに、
    前記操作面に配置され、非可視光を射出する制御部側発光部と、
    前記画像表示部に配置され、射出された前記非可視光を受光する頭部側受光部と、
    を備え、
    前記制御部は、
    前記頭部側発光部および前記制御部側発光部に対して、交互に前記非可視光を射出させ、
    前記向き判定部は、
    前記制御部側受光部の出力信号と、前記頭部側受光部の出力信号とを用いて、前記操作面と前記画像表示部が対向しているか否かを判定することにより、使用者が前記制御部の前記操作面を向いているかを判定する、頭部装着型表示装置。
  4. 請求項2または3記載の頭部装着型表示装置であって、さらに、
    前記制御部に配置された前記制御部への接触を検出するための接触検出部を備え、
    前記制御部は、
    前記制御部への接触が検出された場合に、前記頭部側発光部による前記非可視光の射出と、前記制御部側発光部による前記非可視光の射出と、を実行させる、頭部装着型表示装置。
  5. 請求項2ないし4のいずれか一項記載の頭部装着型表示装置であって、
    前記頭部側発光部が射出する前記非可視光には、前記非可視光のパルス変調により前記画像表示部を識別するための識別情報が含まれ、
    前記制御部は、前記制御部に接続されている前記画像表示部を認証するための認証情報を記憶する記憶部を有し、
    前記向き判定部は、さらに、
    前記制御部側受光部の出力信号から前記識別情報を取得し、取得した前記識別情報が前記認証情報に含まれるかを検索することで、前記画像表示部を認証する認証部を備える、頭部装着型表示装置。
  6. 請求項1ないし5のいずれか一項記載の頭部装着型表示装置であって、さらに、
    前記画像表示部に配置された前記画像表示部の加速度情報を検出するための加速度情報検出部と、
    前記画像表示部に配置された前記画像表示部の角速度情報を検出するための角速度情報検出部と、
    を備え、
    前記向き判定部は、
    検出された前記加速度情報と、検出された前記角速度情報とを用いて、前記操作面と前記画像表示部が対向しているか否かを判定することにより、使用者が前記制御部の前記操作面を向いているかを判定する、頭部装着型表示装置。
  7. 請求項1ないし6のいずれか一項記載の頭部装着型表示装置であって、
    前記画像光生成部は、
    前記画像を生成する表示素子と、
    生成された前記画像を表す画像光を射出させる光源と、
    を含み、
    前記制御部は、
    使用者が前記操作面を向いていると判定された場合に、前記光源の照明光を消灯または減光させることで、前記画像光生成部の輝度を調整する、頭部装着型表示装置。
  8. 請求項1ないし6のいずれか一項記載の頭部装着型表示装置であって、
    前記画像光生成部は、
    前記画像を生成する表示素子と、
    生成された前記画像を表す画像光を射出させるための、複数の発光体を含む光源と、
    を含み、
    前記制御部は、
    使用者が前記操作面を向いていると判定された場合に、前記複数の発光体のうちの少なくとも一部の発光体の照明光を消灯または減光させることで、前記画像光生成部の輝度を調整する、頭部装着型表示装置。
  9. 請求項1ないし6のいずれか一項記載の頭部装着型表示装置であって、
    前記制御部は、
    前記画像光生成部に画像データを送信するとともに、使用者が前記操作面を向いていると判定された場合に、送信する前記画像データの少なくとも一部を、黒色を示すダミーデータに置換することで、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
  10. 請求項1ないし6のいずれか一項記載の頭部装着型表示装置であって、
    前記画像光生成部は、
    前記画像を生成する表示素子と、
    生成された前記画像を表す画像光を射出させる光源と、
    を含み、
    前記制御部は、
    使用者が前記操作面を向いていると判定された場合に、前記表示素子の少なくとも一部の液晶開口率を小さくすることで、前記画像光生成部により生成される前記画像光を調整する、頭部装着型表示装置。
  11. 操作面を有する頭部装着型表示装置の制御方法であって、
    (a)画像を表す画像光を生成し射出させる画像光生成部と、射出された前記画像光を使用者の眼に導く導光部と、を用いて、使用者に虚像を視認させる工程と、
    (b)前記工程(a)による画像表示を制御する工程と、
    (c)使用者が前記工程(b)のために前記操作面の前記操作面を向いているかを判定する工程と、
    (d)使用者が前記工程(b)のために前記操作面を向いていると判定された場合に、前記虚像の視認性を低下させるように、前記画像光生成部の輝度を調整し、または、前記画像光生成部により生成される前記画像光を調整する工程と、
    を備える、頭部装着型表示装置の制御方法。
JP2015126090A 2015-06-24 2015-06-24 頭部装着型表示装置および頭部装着型表示装置の制御方法 Active JP6004053B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015126090A JP6004053B2 (ja) 2015-06-24 2015-06-24 頭部装着型表示装置および頭部装着型表示装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015126090A JP6004053B2 (ja) 2015-06-24 2015-06-24 頭部装着型表示装置および頭部装着型表示装置の制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011066373A Division JP5834439B2 (ja) 2011-03-24 2011-03-24 頭部装着型表示装置および頭部装着型表示装置の制御方法

Publications (2)

Publication Number Publication Date
JP2015208031A true JP2015208031A (ja) 2015-11-19
JP6004053B2 JP6004053B2 (ja) 2016-10-05

Family

ID=54604478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015126090A Active JP6004053B2 (ja) 2015-06-24 2015-06-24 頭部装着型表示装置および頭部装着型表示装置の制御方法

Country Status (1)

Country Link
JP (1) JP6004053B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102104894B1 (ko) * 2013-09-02 2020-04-27 엘지전자 주식회사 조리기기 및 그 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767056A (ja) * 1993-06-15 1995-03-10 Olympus Optical Co Ltd 頭部装着型ディスプレイシステム
JPH08328512A (ja) * 1995-05-26 1996-12-13 Canon Inc 頭部装着型表示装置
JPH10243319A (ja) * 1997-02-27 1998-09-11 Shimadzu Corp 電子計算機の表示装置
JP2001103395A (ja) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd ヘッド・マウント・ディスプレイ装置
JP2001290103A (ja) * 2001-02-13 2001-10-19 Olympus Optical Co Ltd 観察システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767056A (ja) * 1993-06-15 1995-03-10 Olympus Optical Co Ltd 頭部装着型ディスプレイシステム
JPH08328512A (ja) * 1995-05-26 1996-12-13 Canon Inc 頭部装着型表示装置
JPH10243319A (ja) * 1997-02-27 1998-09-11 Shimadzu Corp 電子計算機の表示装置
JP2001103395A (ja) * 1999-09-30 2001-04-13 Kawasaki Heavy Ind Ltd ヘッド・マウント・ディスプレイ装置
JP2001290103A (ja) * 2001-02-13 2001-10-19 Olympus Optical Co Ltd 観察システム

Also Published As

Publication number Publication date
JP6004053B2 (ja) 2016-10-05

Similar Documents

Publication Publication Date Title
JP5834439B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9588345B2 (en) Head-mounted display device and control method for the head-mounted display device
JP6232763B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9064442B2 (en) Head mounted display apparatus and method of controlling head mounted display apparatus
KR101791494B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP5958689B2 (ja) 頭部装着型表示装置
US9792710B2 (en) Display device, and method of controlling display device
JP2012203128A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5948801B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR20160048881A (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP6600945B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20160225190A1 (en) Head-mounted display device, method of controlling the same, and computer program
US20160021360A1 (en) Display device, method of controlling display device, and program
JP2012168221A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5803193B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5742270B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
US20150168728A1 (en) Head mounted display device
JP5742355B2 (ja) 頭部装着型表示装置
US20160156900A1 (en) Head mounted display device, control method for head mounted display device, and computer program
JP6004053B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6375662B2 (ja) 頭部装着型表示装置
JP2015212828A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP5975145B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160822

R150 Certificate of patent or registration of utility model

Ref document number: 6004053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150