JP2019020738A - 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム - Google Patents

頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Download PDF

Info

Publication number
JP2019020738A
JP2019020738A JP2018168394A JP2018168394A JP2019020738A JP 2019020738 A JP2019020738 A JP 2019020738A JP 2018168394 A JP2018168394 A JP 2018168394A JP 2018168394 A JP2018168394 A JP 2018168394A JP 2019020738 A JP2019020738 A JP 2019020738A
Authority
JP
Japan
Prior art keywords
head
display device
mounted display
environment
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018168394A
Other languages
English (en)
Inventor
慎也 鳥井
Shinya Torii
慎也 鳥井
高野 正秀
Masahide Takano
正秀 高野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018168394A priority Critical patent/JP2019020738A/ja
Publication of JP2019020738A publication Critical patent/JP2019020738A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】利用環境にふさわしい機能を、人が機能の設定をいちいち切り替えることなしに、容易に実現する。【解決手段】透過型の頭部装着型表示装置である。この頭部装着型表示装置は、画像を表示して前記頭部装着型表示装置を装着した利用者に画像を視認させるとともに、外景を透過し得る画像表示部と、前記頭部装着型表示装置の利用環境を判定する利用環境判定部(ステップS110、S120)と、前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部(ステップS160、S170)と、を備える。【選択図】図7

Description

本発明は、頭部装着型表示装置およびその制御方法、並びにコンピュータープログラムに関する。
近年、頭部に装着する表示装置である頭部装着型表示装置が知られている。この頭部装着型表示装置は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)とも呼ばれ、利用者がHMDを装着した状態で外景を見ることが可能なシースルー型のものがある。シースルー型HMDは、液晶パネル等の光変調素子によって生成された画像光を、利用者の眼前に配置した光学系等で反射させることによって、利用者の視野領域に外景(実像)とともに、虚像としての画像を表示する(例えば、特許文献1)。
特開2010−139901号公報
従来、シースルー型HMDでは、前記画像を表示する機能を始めとして、様々な機能を搭載するものが提案されている。様々な機能としては、カメラを用いた撮影機能、音声を出力する機能等、種々のものがある。これらの機能を常時動作させてよいか、という点について、十分に検討されていないという課題があった。そのほか、従来の頭部装着型表示装置においては、利用者の利便性の向上や、検出精度の向上、盗撮等の悪意の使用の防止、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等が望まれていた。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は、画像を表示して前記頭部装着型表示装置を装着した利用者に画像を視認させるとともに、外景を透過し得る画像表示部と、前記頭部装着型表示装置の利用環境を判定する利用環境判定部と、前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と、を備えてよい。この形態の頭部装着型表示装置によれば、利用者に装着された頭部装着型表示装置の利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更してもよい。このために、利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が抑制または拡張するといった変更がなされる。したがって、本形態の頭部装着型表示装置によれば、利用環境に対応した機能を容易に実現できる。
(2)前記形態の頭部装着型表示装置において、前記利用環境は、前記頭部装着型表示装置が移動することによって切り替わる利用環境であるようにしてもよい。透過型の頭部装着型表示装置によれば、利用者は装着したまま自由に移動することができることから、利用環境が変化し易い。したがって、本形態の頭部装着型表示装置によれば、変化しやすい利用環境に対応した機能を容易に実現できる。
(3)前記形態の頭部装着型表示装置において、撮影を行う撮影部を備え、前記利用環境判定部は、前記撮影部によって得られた撮影画像に基づいて、前記利用環境を判定するようにしてもよい。撮影部は頭部装着型表示装置に備えられていることから、利用者の頭部の移動に伴って撮影範囲も移動する。このために、撮影部によって得られた撮影画像から、利用環境の変化を容易に検出することができる。
(4)前記形態の頭部装着型表示装置において、前記利用環境判定部は、前記撮影部によって得られた撮影画像内に、特定の利用環境を認識するためのマーカーが含まれたときに、前記特定の利用環境であると判定するものとするようにしてもよい。この形態の頭部装着型表示装置によれば、マーカーを撮影することで、利用環境の変化を容易に検出することができる。
(5)前記形態の頭部装着型表示装置において、前記利用環境判定部は、外部の無線通信端末からの信号に基づいて、前記利用環境を判定するようにしてもよい。この形態の頭部装着型表示装置によれば、利用環境を容易に検出することができる。
(6)前記形態の頭部装着型表示装置において、前記所定の機能は、カメラ部によって望遠撮影を行う望遠撮影機能であるようにしてもよい。この形態の頭部装着型表示装置によれば、カメラ部による望遠撮影機能を抑制または拡張することができる。したがって、利用環境によって望遠撮影の態様に容易に切り替えることができる。
(7)前記形態の頭部装着型表示装置において、前記利用環境として、競技場内の特定の座席環境を少なくとも含み、前記処理制御部は、前記利用環境判定部によって前記特定の座席環境であると判定されたときに、前記望遠撮影機能をオンして前記カメラ部による望遠撮影を行うようにしてもよい。この形態の頭部装着型表示装置によれば、競技場内の特定の座席環境において自動的に望遠撮影がなされることから、利用者は、その望遠撮影によって記録された撮影画像を自由に再生することが可能となる。したがって、競技場内の特定の座席環境における利用者の利便性を高めることができる。
(8)前記形態の頭部装着型表示装置において、前記頭部装着型表示装置が前記競技場外に移動したことが検出されたときに、前記望遠撮影によって記録された撮影画像を消去する消去部を備えるようにしてもよい。この形態の頭部装着型表示装置によれば、競技場内の特定の座席環境で撮影された撮影画像が、競技場外に持ち出されることを防止することができる。
(9)前記形態の頭部装着型表示装置において、前記処理制御部は、前記利用環境判定部によって所定の利用環境であると判定されたときに、所定のデータを取得して記憶部に保存し、前記利用環境判定部によって前記所定の利用環境から外れたと判定されたときに、前記所定の利用環境で前記記憶部に保存された前記所定のデータを消去するようにしてもよい。この形態の頭部装着型表示装置によれば、所定の利用環境で保存された所定のデータを、所定の利用環境から外れたときに、消去できる。このために、この形態の頭部装着型表示装置によれば、所定のデータの利用範囲を所定の利用環境下に制限することができることから、セキュリティーの向上を図ることができる。
(10)前記形態の頭部装着型表示装置において、前記所定の機能は、前記画像表示部に所定の情報を表示させる情報提示機能であるようにしてもよい。この形態の頭部装着型表示装置によれば、画像表示部に所定の情報を表示させる情報提示機能を抑制または拡張することができる。したがって、その場にふさわしい情報提示を容易に行うことができる。
(11)前記形態の頭部装着型表示装置において、前記利用環境として、劇場内の特定の座席環境を少なくとも含み、前記処理制御部は、前記利用環境判定部によって前記特定の座席環境であると判定されたときに、前記劇場で演じられている劇についての案内情報を前記所定の情報として表示させるようにしてもよい。この形態の頭部装着型表示装置によれば、劇場内の特定の座席環境に移行したときに、劇場で演じられている劇についての案内情報を画像表示により利用者に示すことができる。したがって、劇についての情報提示を容易に行うことができる。
(12)前記形態の頭部装着型表示装置において、前記利用環境として、映画館内の特定の座席環境を少なくとも含み、前記処理制御部は、前記利用環境判定部によって前記特定の座席環境であると判定されたときに、字幕を前記所定の情報として表示させるようにしてもよい。この形態の頭部装着型表示装置によれば、映画館内の特定の座席環境に移行したときに、上映されている映画の字幕を画像表示により利用者に示すことができる。したがって、字幕についての情報提示を容易に行うことができる。
(13)前記形態の頭部装着型表示装置において、前記映画館内の特定の座席環境として、第1の座標環境と第2の座標環境とを有し、前記処理制御部は、前記利用環境判定部によって前記第1の座席環境であると判定されたときに、第1の言語にて記した前記字幕を表示させ、前記利用環境判定部によって前記第2の座席環境であると判定されたときに、前記第1の言語とは相違する第2の言語にて記した前記字幕を表示させるようにしてもよい。この形態の頭部装着型表示装置によれば、映画館内の第1の座席環境に移行したときに第1の言語によって字幕を受けることができ、映画館内の第2の座席環境に移行したときに第2の言語によって字幕を受けることができる。したがって、座席環境に応じて、字幕の言語を容易に切り替えることができる。
(14)前記形態の頭部装着型表示装置において、前記利用環境として、高レベルのセキュリティーを必要とするセキュリティー環境を少なくとも含み、前記処理制御部は、前記利用環境判定部によって前記セキュリティー環境であると判定されたときに、所定のアプリケーションの実行を許可し、前記利用環境判定部によって前記セキュリティー環境でないと判定されたときに、前記所定のアプリケーションの実行を禁止するようにしてもよい。この形態の頭部装着型表示装置によれば、高レベルのセキュリティーを必要とするセキュリティー環境に移行したときに、所定のアプリケーションの実行が許可され、前記セキュリティー環境にないときには、前記所定のアプリケーションの実行が禁止される。したがって、セキュリティー環境に応じて、所定のアプリケーションの実行の許可/禁止を容易に切り替えることができる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、画像表示部と、利用環境判定部と、処理制御部と、の3つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、利用環境判定部を有していてもよく、有していなくてもよい。また、装置は、処理制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像を表示して頭部装着型表示装置を装着した利用者に画像を視認させるとともに、外景を透過し得るものとしてもよい。利用環境判定部は、例えば、頭部装着型表示装置の利用環境を判定してもよい。処理制御部は、例えば、判定された利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、利用者の利便性の向上や、検出精度の向上、盗撮等の悪意の使用の防止、装置構成のコンパクト化、低コスト化、省資源化、製造の容易化等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
第1実施形態における頭部装着型表示装置(HMD)の概略構成を示す説明図である。 HMDの構成を機能的に示すブロック図である。 利用者に視認される虚像の一例を示す説明図である。 HMDのプラットフォームの説明図である。 第1実施形態に係わるサッカー観戦用チケットを示す説明図である。 サッカー観戦用チケットに視線を向けてQRコードの読み取りがなされたときに利用者に視認される情報の一例を示す説明図である。 観戦補助ルーチンの詳細を示すフローチャートである。 撮影動画を再生したときに利用者に視認される情報の一例を示す説明図である。 第2実施形態に係るHMDの使用形態を示す説明図である。 第2実施形態における鑑賞補助ルーチンの詳細を示すフローチャートである。 第3実施形態に係るHMDの使用形態を示す説明図である。 第3実施形態における鑑賞補助ルーチンの詳細を示すフローチャートである。 第4実施形態に係るHMDの使用形態を示す説明図である。 変形例におけるHMDの外観の構成を示す説明図である。
A.第1実施形態:
A−1.頭部装着型表示装置の構成:
図1は、本発明の第1実施形態における頭部装着型表示装置の概略構成を示す説明図である。頭部装着型表示装置100は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ(Head Mounted Display、HMD)とも呼ばれる。HMD100は、利用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型のヘッドマウントディスプレイであり、本実施形態では、競技(例えば、サッカー)観戦用として用いられる。
HMD100は、利用者の頭部に装着された状態において利用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部(コントローラー)10とを備えている。
画像表示部20は、利用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、を含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、利用者が画像表示部20を装着した際に利用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、利用者が画像表示部20を装着した際の利用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、利用者が画像表示部20を装着した際の利用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、利用者が画像表示部20を装着した際の利用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、利用者の頭部に画像表示部20を保持する。
右表示駆動部22は、右保持部21の内側、換言すれば、利用者が画像表示部20を装着した際の利用者の頭部に対向する側に配置されている。また、左表示駆動部24は、左保持部23の内側に配置されている。なお、以降では、右保持部21および左保持部23を区別せず「保持部」として説明する。同様に、右表示駆動部22および左表示駆動部24を区別せず「表示駆動部」として説明し、右光学像表示部26および左光学像表示部28を区別せず「光学像表示部」として説明する。
表示駆動部は、液晶ディスプレイ(Liquid Crystal Display、以下「LCD」と呼ぶ)241、242や投写光学系251、252等を含む(図2参照)。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板261、262(図2参照)と調光板とを含んでいる。導光板261、262は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を利用者の眼に導く。調光板は、薄板状の光学素子であり、画像表示部20の表側(利用者の眼の側とは反対の側)を覆うように配置されている。調光板は、導光板261、262を保護し、導光板261、262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、利用者の眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、本体コード48が2本に分岐した右コード42および左コード44と、分岐点に設けられた連結部材46と、を含んでいる。右コード42は、右表示駆動部22に接続され、左コード44は、左表示駆動部24に接続されている。連結部材46には、イヤホンプラグ30を接続するためのジャックが設けられている。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行う。本体コード48における連結部材46と反対側の端部と、制御部10とのそれぞれには、互いに嵌合するコネクター(図示省略)が設けられており、本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48には、例えば、金属ケーブルや光ファイバーを採用することができる。
制御部10は、HMD100を制御するための装置である。制御部10は、点灯部12と、タッチパッド14と、十字キー16と、電源スイッチ18とを含んでいる。点灯部12は、HMD100の動作状態(例えば、電源のON/OFF等)を、その発光態様によって通知する。点灯部12としては、例えば、LED(Light Emitting Diode)を用いることができる。タッチパッド14は、タッチパッド14の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド14としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源の状態を切り替える。
図2は、HMD100の構成を機能的に示すブロック図である。制御部10は、入力情報取得部110と、記憶部120と、電源130と、無線通信部132と、GPSモジュール134と、CPU140と、インターフェイス180と、送信部(Tx)51および52とを備え、各部は図示しないバスにより相互に接続されている。
入力情報取得部110は、例えば、タッチパッド14や十字キー16、電源スイッチ18などに対する操作入力に応じた信号を取得する。記憶部120は、ROM、RAM、DRAM、ハードディスク等によって構成されている。
電源130は、HMD100の各部に電力を供給する。電源130としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部132は、無線LANやBluetooth(登録商標)、iBeacon(登録商標)といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。GPSモジュール134は、GPS衛星からの信号を受信することにより、自身の現在位置を検出する。
CPU140は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム(ОS)150、画像処理部160、表示制御部162、利用環境判定部164、処理制御部166、音声処理部170、iBeacon処理部172、として機能する。
画像処理部160は、インターフェイス180や無線通信部132を介して入力されるコンテンツ(映像)に基づいて信号を生成する。そして、画像処理部160は、生成した信号を、接続部40を介して画像表示部20に供給することで、画像表示部20を制御する。画像表示部20に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部160は、クロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、画像データDataとを生成し、送信する。具体的には、画像処理部160は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に1秒あたり30枚のフレーム画像から構成されているアナログ信号である。画像処理部160は、取得した画像信号から垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離し、それらの周期に応じて、PLL回路等によりクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等を用いてディジタル画像信号に変換する。画像処理部160は、変換後のディジタル画像信号を、RGBデータの画像データDataとして、1フレームごとに記憶部120内のDRAMに格納する。
一方、ディジタル形式の場合、画像処理部160は、クロック信号PCLKと、画像データDataとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号PCLKが画像信号に同期して出力されるため、垂直同期信号VSyncおよび水平同期信号HSyncの生成と、アナログ画像信号のA/D変換とが不要となる。なお、画像処理部160は、記憶部120に格納された画像データDataに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSyncと、記憶部120内のDRAMに格納された画像データDataとを、送信部51、52を介してそれぞれ送信する。なお、送信部51を介して送信される画像データDataを「右眼用画像データData1」とも呼び、送信部52を介して送信される画像データDataを「左眼用画像データData2」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
表示制御部162は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部162は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFFなどを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。表示制御部162は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。同様に、表示制御部162は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
利用環境判定部164は、利用者の頭部に装着されたHMD100が移動することによって切り替わる移動環境を判定する。処理制御部166は、HMD100に搭載された種々の機能の内の所定の機能の少なくとも一部を変更する。所定の機能は一つの機能でも複数の機能であってもよいが、第1実施形態では一つの機能である。利用環境判定部164および処理制御部166の詳細は、後述する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内の図示しないスピーカーおよび左イヤホン34内の図示しないスピーカーに対して供給する。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
iBeacon処理部172は、iBeacon(登録商標)の技術を用いて、HMD100の外部に設けられたBLE(Bluetooth Low Energy)端末からの信号を受信することによって、BLE端末とHMD100との間の距離を求める。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。インターフェイス180としては、例えば、USBインターフェイスや、マイクロUSBインターフェイス、メモリーカード用インターフェイス等を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、外景撮影用カメラ61(図1も参照)と、9軸センサー66とを備えている。
外景撮影用カメラ61は、利用者が画像表示部20を装着した際の利用者の眉間に対応する位置に配置されている。そのため、外景撮影用カメラ61は、利用者が画像表示部20を頭部に装着した状態において、利用者が向いている方向の外部の景色である外景を撮像する。外景撮影用カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。なお、本実施形態では、外景撮影用カメラ61は、望遠機能を有し、望遠での撮影を行うことが可能となっている。望遠機能としては、光学ズーム、デジタルズームのいずれによるものであってもよい。さらに、外景撮影用カメラ61に換えて、USB接続等の外付けのカメラとすることもできる。
9軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)を検出するモーションセンサーであり、本実施形態では利用者の右側のこめかみに対応する位置に配置されている。9軸センサー66は、画像表示部20に設けられているため、画像表示部20が利用者の頭部に装着されているときには、利用者の頭部の動きを検出する。検出された利用者の頭部の動きから画像表示部20の向きが特定される。
右表示駆動部22は、受信部(Rx)53と、光源として機能する右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを含んでいる。なお、右バックライト制御部201と、右LCD制御部211と、右バックライト221と、右LCD241とを総称して「画像光生成部」とも呼ぶ。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データData1とに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光を、画像を表す有効な画像光へと変調する。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ利用者の右眼REに導く。光学像表示部は、画像光を用いて利用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、HMD100が画像光を出射することを、本明細書では「画像を表示する」とも呼ぶ。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。すなわち、左表示駆動部24は、受信部(Rx)54と、光源として機能する左バックライト(BL)制御部202および左バックライト(BL)222と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252とを含んでいる。右LCD241と同様に、左LCD242は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左LCD242を透過する光の透過率を変化させることにより、左バックライト222から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
図3は、利用者に視認される虚像の一例を示す説明図である。図3では、利用者の視野VRを例示している。上述のようにして、HMD100の利用者の両眼に導かれた画像光が利用者の網膜に結像することにより、利用者は虚像(画像)VIを視認する。図3の例では、虚像VIは、HMD100のOSの待ち受け画面である。また、利用者は、右光学像表示部26および左光学像表示部28を透過して外景SCを視認する。このように、本実施形態のHMDの利用者は、視野VRのうち虚像VIが表示された部分については、虚像VIと、虚像VIの背後に外景SCとを見ることができる。また、視野VR1のうち虚像VIが表示されていない部分については、光学像表示部を透過して、外景SCを直接見ることができる。
A−2.HMDのプラットフォーム:
図4は、HMD100のプラットフォームの説明図である。プラットフォームとは、HMD100にインストールされているアプリケーションを動作させるために必要な、基盤となるハードウェア資源、OS、ミドルウェア等の集合である。本実施形態のプラットフォーム500は、アプリケーション層510と、フレームワーク層520と、ライブラリー層530と、カーネル層540と、ハードウェア層550と、を含んでいる。各層510〜550は、プラットフォーム500に含まれているハードウェア資源、OS、ミドルウェア等を概念的に層分けしている。フレームワーク層520と、ライブラリー層530と、カーネル層540とによって、OS150(図2)の機能が実現される。なお、図4では、説明上必要としない構成要素は図示を省略する。
アプリケーション層510は、OS150上において所定の処理を実行するためのアプリケーションソフトウェアの集合である。アプリケーション層510に含まれている各アプリケーションソフトウェアを、以降「アプリ」または「アプリケーション」とも呼ぶ。アプリケーション層510には、HMD100に予めインストールされているアプリと、HMD100の利用者がインストールしたアプリと、の両方が含まれる。
図4の例では、アプリケーション層510には、観戦補助アプリ511と、ゲームアプリ512と、カメラアプリ513と、コードリーダーアプリ514等、が含まれている。観戦補助アプリ511は、大規模な競技場(スタジアム)での観戦に好適な観戦補助機能を提供する。ゲームアプリ512は、ゲーム機能を提供する。カメラアプリ513は、撮影機能を提供する。
フレームワーク層520は、アプリケーション層510のアプリケーションソフトウェアに共通する基本的なプログラム構造や、機能セットを実装したプログラムの集合である。本実施形態では、画像処理部フレーム521と、表示制御部フレーム522と、音声処理部フレーム523と、iBeacon処理部フレーム524等、が含まれている。画像処理部フレーム521は、画像処理部160(図2)の機能を実現する。表示制御部フレーム522は、表示制御部162(図2)の機能を実現する。音声処理部フレーム523は、音声処理部170(図2)の機能を実現する。iBeacon処理部フレーム524は、iBeacon処理部172(図2)の機能を実現する。
ライブラリー層530は、特定の機能を実現するためのプログラムを、他のプログラム(例えばアプリケーション層510のアプリ)から使用できるように部品化したライブラリーソフトウェアの集合である。ライブラリー層530に含まれている各ライブラリーソフトウェアを、以降「ライブラリー」とも呼ぶ。ライブラリーは、単独では実行できず、他のプログラムから呼び出される形で実行される。
図4の例では、ライブラリー層530には、ディスプレイライブラリー533と、オーディオライブラリー534と、センサーライブラリー535と、カメラライブラリー536と、HTML(Hyper Text Markup Language)ライブラリー537等、が含まれている。ディスプレイライブラリー533は、右LCD241および左LCD242(図2)を駆動する。オーディオライブラリー534は、右イヤホン32および左イヤホン34(図2)に内蔵されている音声IC(Integrated Circuit)を駆動する。センサーライブラリー535は、9軸センサー66(図2)を駆動すると共に、9軸センサー66による検出値を取得し、検出値をアプリに提供するための情報へ加工する。カメラライブラリー536は、外景撮影用カメラ61(図2)を駆動すると共に、外景撮影用カメラ61による検出値を取得し、検出値から外景画像を生成する。HTMLライブラリー537は、ウェブページ記述用言語で記載されたデータを解釈して画面表示用の文字や画像の配置を計算する。
カーネル層540は、OS150の基本機能を実装したプログラムの集合である。カーネル層540は、ソフトウェア(ライブラリー層530)とハードウェア(ハードウェア層550)とのやり取りを管理し、両者の架け橋として機能する。
図4の例では、カーネル層540には、右LCD241および左LCD242用のLCDドライバー541と、音声IC用の音声ICドライバー542と、9軸センサー66用のセンサードライバー543と、外景撮影用カメラ61に内蔵されている画像センサー用の画像センサードライバー544と、が含まれている。
ハードウェア層550は、HMD100に組み込まれている実際のハードウェア資源である。本実施形態において「ハードウェア資源」とは、HMD100に接続されてHMD100に組み込まれているデバイスを意味する。すなわち、ハードウェア資源には、HMD100のマザーボードに内部的に接続されているデバイス(例えば、9軸センサー66のセンサーデバイス、カメラ61の画像センサーデバイス、タッチパッド14のセンサーデバイス等)と、インターフェイス180を介してHMD100に外部的に接続されているデバイス(例えば、外付けのモーションセンサーデバイス、外付けのUSBデバイス等)と、の両方が含まれる。
図4の例では、ハードウェア層550には、右LCD241および左LCD242としてのLCDデバイス551と、音声ICデバイス552と、9軸センサー66のセンサーデバイス553と、カメラ61の画像センサーデバイス554と、が含まれている。
図4において破線で囲んだライブラリーと、ドライバーと、デバイスとは、それぞれ対応関係にあり、協働して動作する。例えば、センサーライブラリー535と、センサードライバー543と、センサーデバイス553と、は9軸センサー66の機能を実現するために協働して動作する。すなわち、ライブラリー層530のセンサーライブラリー535と、カーネル層540のセンサードライバー543とは、アプリが、ハードウェア資源(ハードウェア層550)としてのセンサーデバイス553を使用するためのプログラム(ソフトウェア)であると言える。なお、1つのハードウェア資源としてのセンサーデバイス553を使用可能とするために、センサーデバイス553に複数のライブラリーが割り当てられる構成としてもよい。
一方、図4において、例えば、ライブラリー層530のHTMLライブラリー537は、ハードウェア資源と対応関係になく、ハードウェア資源に依存しない。このように、HMD100に組み込まれ、ハードウェア資源に依存しないプログラム(ソフトウェア)を、本実施形態では「ソフトウェア資源」とも呼ぶ。ソフトウェア資源としては、フレームワーク層520、ライブラリー層530、カーネル層540の各層に含まれる種々のプログラムが想定される。
A−3.観戦用チケットとアプリの起動の仕方:
図5は、本実施形態に係わるサッカー観戦用のチケットを示す説明図である。サッカー観戦用のチケットTCには、会場名C1と、座席位置を示す座席情報C2と、QRコード(登録商標)C3等が印刷されている。QRコードC3には、観戦補助アプリ511(図4)を起動するための起動情報(以下、「観戦補助アプリ起動情報」と呼ぶ)と、座席情報とがコード化されて記録されている。
HMD100を装着した利用者は、スタジアム内において、コードリーダーアプリ514を起動して、入場時に提示したチケットTKに視線を向ける。コードリーダーアプリ514は、HMD100の待ち受け画面(図3参照)に配置された[コードリーダー]アイコンICを選択する所定の操作を入力情報取得部110が受け付けることによって起動される。コードリーダーアプリ514を実行するHMD100は、外景撮影用カメラ61によって撮影を行い、得られた撮影画像の中にQRコードが含まれる場合に、そのQRコードを元の情報に復元し、その元情報を表示する。すなわち、CPU140は、撮影画像の中にQRコードが含まれる場合に、QRコードとしてコード化された情報を画像表示部20に表示させる。
図6は、サッカー観戦用のチケットTCに視線を向けてQRコードC3の読み取りがなされたときに、利用者に視認される情報の一例を示す説明図である。図6では、利用者の視野VR1を例示している。視野VR1には、図示するように、スタジアム内の外景SC1が含まれている。また、外景SC1に重畳して、コード情報表示領域AR1が表示される。コード情報表示領域AR1には、QRコード511の元情報である観戦補助アプリ起動情報D1と座席情報D2が含まれる。
利用者は、観戦補助アプリ起動情報D1を選択する所定の操作を、タッチパッド14や十字キー16を用いて行う。その所定の操作を入力情報取得部110が受け付けることによって、HMD100は、観戦補助アプリ511(図4)を起動することができる。具体的には、HMD100は、観戦補助アプリ起動情報D1に記されたURLを辿って観戦補助アプリをインストールし、インストールされた観戦補助アプリ511(図4)を起動する。なお、観戦補助アプリ511は、予め内蔵された構成としてもよい。なお、本実施形態では、QRコード511は、サッカー観戦用のチケットTCに記したものとしたが、これに換えて、スタジアム内の各座席に予め貼り付けた構成としてもよい。すなわち、各座席には、各座席に対応した座席情報D2を有するQRコードをそれぞれ貼り付けた構成とすることができる。
A−4.観戦補助アプリによる処理:
図7は、観戦補助ルーチンの詳細を示すフローチャートである。観戦補助ルーチンは、観戦補助アプリ511に従う処理ルーチンで、HMD100のCPU140によって実行される。観戦補助ルーチンは、観戦補助アプリ511の起動を受けて実行開始される。なお、観戦補助アプリ511が、一度、HMD100にインストールされた後では、チケットTCからではなく、インストールされた観戦補助アプリ511に対して、直接、実行指示することによって、観戦補助ルーチンは実行開始することができる。
処理が開始されると、CPU140は、まず、QRコード511を読み取ることによって得られた、前述したにコード化された座席情報D2を、記憶部120(図2)の所定のエリアに記憶する(ステップS110)。なお、観戦補助アプリ511を起動するに際し、QRコードC3の読み取りを行わなかった場合には、座席情報D2をタッチパッド14や十字キー16を用いて入力するようにしてもよい。
次いで、CPU140は、その座席情報D2によって定まる座席が、スタジアムの上段エリアに含まれるか否かを判定する(ステップS120)。上段エリアは、スタジアムの上段側に予め設定したエリアであり、本実施形態では、この上段エリア内に含まれる観客に対して特別なサービスを提供することが可能なように、ステップS120で、上段エリアに含まれるか否かの判定を行っている。ステップS120で、座席情報D2によって定まる座席が上段エリアに含まれないと判定された場合には、CPU140は、この観戦補助ルーチンを終了する。
一方、ステップS120で、座席情報D2によって定まる座席が上段エリアに含まれると判定されると、CPU140は、HMD100の現在位置をGPSモジュール134によって検出し(ステップS140)、その現在位置が、サッカー競技を行っているスタジアム内か否かを判定する(ステップS150)。ここで、現在位置がスタジアム内であると判定された場合には、CPU140は、外景撮影用カメラ61の望遠機能をオンして撮影を開始する(ステップS160)。なお、その撮影の際には、撮影動画を記憶部120に保存する(ステップS170)。また、撮影の際には、ステップS140およびS150の処理を繰り返し行い、ステップS150によって、HMD100の現在位置がスタジアム内であると判定されたときには、ステップS160およびS170によって撮影を継続して行う。
前述したように、外景撮影用カメラ61は、利用者が向いている方向の外景を撮像することが可能であることから、HMD100によれば、利用者が向いている方向の競技の模様を自動的に望遠撮影することができる。なお、HND100は、望遠撮影がなされている途中で、別に用意された再生アプリケーションを利用して、撮影した内容、すなわち、記憶部120に保存した撮影動画を再生することができる。
図8は、撮影動画を再生したときに、利用者に視認される情報の一例を示す説明図である。図8では、利用者の視野VR2を例示している。視野VR2には、図示するように、スタジアム内の外景SC2が含まれている。また、外景SC2に重畳して、再生領域AR2が表示される。再生領域AR2には、上述した望遠にて撮影された撮影動画が含まれる。
図7のステップS150によって、HMD100の現在位置がスタジアム内ではない、すなわちHMD100がスタジアムの外側に移動したと判定されたときには、CPU140は、ステップS130に処理を進めて、ステップS170によって記憶部120に記憶された撮影動画を削除する。その後、CPU140は、観戦補助ルーチンを終了する。
なお、観戦補助ルーチンにおけるステップS110およびステップS120の処理が利用環境判定部(図2)に対応し、ステップS160およびステップS170の処理が処理制御部(図2)に対応している。
以上のように構成された第1実施形態のHMD100によれば、スタジアムにおける利用環境が上段エリアといった座席環境にある場合に、利用者が向いている方向の模様が望遠にて自動的に撮影される。このために、利用者は、上段エリアであるがために、「よく見えないな」、「今のプレーを再度みたい」といった場合に、自動的に望遠撮影されて保存された撮影動画を再生することで、再度、見ることができる。したがって、HMD100によれば、上段エリアという座席環境にふさわしい撮影機能を容易に実現できる。また、上段エリアという座席環境における利用者の利便性を向上することができる。また、スタジアムの外に出たときには、撮影画像は削除されることから、撮影画像がスタジアム外に持ち出されることを防止することができる。
上記第1実施形態の変形例として、HMD100がスタジアムの外側に移動したと判定されたときに、撮影動画を削除する構成に換えて、撮影動画の再生をロックする構成としてもよい。スタジアムの外側ではロックすることで、スタジアム外での上記の撮影動画の再生を禁止することができ、当該スタジアムに戻ってきたときには、過去の撮影動画を再生することが可能となる。また、第1実施形態の別の変形例として、図7においてステップS110およびS120の処理を削除する構成としてもよい。この変形例によれば、スタジアム内のいずれの位置でも望遠撮影が可能となり、スタジアム外に移動したときには、その撮影画像は削除される。この変形例においても、撮影動画を削除する構成に換えて、撮影動画の再生をロックする構成としてもよい。
B.第2実施形態:
図9は、本発明の第2実施形態に係るHMDの使用形態を示す説明図である。第2実施形態に係るHMD600は、第1実施形態に係るHMD100と比較して、オペラ(歌劇)鑑賞補助アプリを備える点が相違し、残余の点では同一である。なお、第1実施形態と同一のパーツについては、第1実施形態で用いた符号をそのまま付けて、以下の説明を行う。図示するように、第2実施形態に係るHMD600は、オペラを公演する劇場内で用いられる。オペラ鑑賞補助アプリは、例えば、利用する劇場のホームページからダウンロードして、HMD600に予めインストールされている。
劇場の最後部座席の裏側には、BLE端末610が配置されており、BLE端末610からiBeaconの信号が出力される。iBeaconの信号には、BLE端末610までの距離が少なくとも保持される。HMD600を装着した利用者は、劇場内に入ると、まず、オペラ鑑賞補助アプリを起動する。
図10は、鑑賞補助ルーチンの詳細を示すフローチャートである。鑑賞補助ルーチンは、オペラ鑑賞補助アプリに従う処理ルーチンで、HMD600のCPU140によって実行される。この鑑賞補助ルーチンでは、iBeacon処理部172(図2)を用いる。
処理が開始されると、HMD600のCPUは、まず、BLE端末670からiBeaconの信号を感知したか否かを判定する(ステップS210)。CPU140は、iBeaconの信号を感知するまでステップS210の処理を繰り返し実行し、ステップS210で感知されたと判定されると、感知した信号に保持される距離が所定値(例えば、7m)未満であるか否かを判定する(ステップS220)。距離が所定値未満であるか否かの判定は、HMD100を装着した利用者の座席が、劇場の後部側の所定範囲に含まれるか否かを判定するためのものである。すなわち、距離が所定値未満であるか否かの判定は、HMD100の利用環境が後部座席という座席環境にあるか否かを判定する。ここで、距離が所定値未満でないと判定された場合、CPU140は、ステップS210に処理を戻す。
ステップS220で、距離が所定値未満であると判定された場合には、HMD100の利用環境が後部座席の環境に移行したとして、CPU140は、アプリケーション層510(図4)に含まれる音声処理部フレーム523とカメラアプリ513とをロックする(ステップS230、S240)。音声処理部フレーム523は、HMD100の音声の出力の全てを担うために、音声処理部フレーム523がロックされることで、HMD600からの音声の出力は全て消される(ミュートされる)。
一方、外景撮影用カメラ61を用いた撮影機能については、カメラアプリ516以外にも、アプリケーション層510に含まれる他のアプリによるマーカー認識処理(第1実施形態におけるQRコードを認識する処理等)にも含まれるが、本実施形態では、カメラアプリ516による撮影は禁止され、マーカー認識処理に従う撮影は禁止されることはない(すなわち、許可される)。すなわち、本実施形態では、盗撮を目的として利用可能なカメラアプリ516による撮影を禁止し、盗撮として利用できないマーカー認識処理に従う撮影は許可するようにした。なお、変形例として、ライブラリー層530に含まれるカメラライブラリー536をロックして、全ての撮影を禁止するようにしてもよい。
ステップS240の実行後、CPU140は、案内情報の表示を開始する(ステップS250)。すなわち、CPU140は、案内情報を画像表示部20に表示させることを開始する。図9に例示するように、利用者の視野VR3には、劇場内の外景SC3が含まれており、外景SC3に重畳して、案内情報表示領域AR3が表示される。この案内情報表示領域AR3に案内情報GIが含まれる。案内情報GIは、公演されているオペラ(上演作品)についての技法、時代背景、みどころなどの詳細情報である。本実施形態では、HMD600は、公演の開始を開始時間から検出し、公演時間に併せて、案内情報表示領域AR3に含まれる案内情報を順に切り替える。また、本実施形態では、視野VR3において、その中心からずらした位置に案内情報表示領域AR3を配置する構成とした。これによって、利用者は、公演内容を視認することに支障をきたすことなしに、案内情報GIを見ることができる。ステップS250の実行後、鑑賞補助ルーチンを終了するが、上記の開始された案内情報の表示は、公演が終了するまで継続される。
なお、鑑賞補助ルーチンにおけるステップS210およびS220の処理が利用環境判定部に対応し、ステップS230からS250までの処理が処理制御部に対応している。処理制御部としては、ステップS230からS250までの全ての処理を実行する構成に換えて、ステップS230からS250までのいずれか一つのステップだけを実行する構成としてもよいし、いずれか2つのステップを実行する構成としてもよい。
以上のように構成され第2実施形態のHMD600によれば、劇場における利用環境が後部座席といった座席環境にある場合に、外景SC3として視認される公演内容とともに、公演されているオペラの案内情報を見ることができる。劇場(特に、大型の劇場)における後部座席の座席環境では、視認する対象は遠くにあり、視野VRに占める割合は小さくなる。このために、視野VRに案内情報GIを表示するだけのスペースを十分にとることができる。したがって、HMD600によれば、後部座席という座席環境にふさわしい表示機能を容易に実現できる。また、後部座席という座席環境における利用者の利便性を向上することができる。
C.第3実施形態:
図11は、本発明の第3実施形態に係るHMDの使用形態を示す説明図である。第3実施形態に係るHMD700は、第1実施形態に係るHMD100と比較して、映画鑑賞補助アプリを備える点が相違し、残余の点では同一である。なお、第1実施形態と同一のパーツについては、第1実施形態で用いた符号をそのまま付けて、以下の説明を行う。図示するように、第3実施形態に係るHMD700は、映画館内で用いられる。映画鑑賞補助アプリは、例えば、利用する映画館のホームページからダウンロードして、HMD700に予めインストールされている。
映画館内の第1の位置には第1のBLE端末710が配置されており、映画館内の第1の位置とは相違する第2の位置には第2のBLE端末710が配置されている。各BLE端末710、720からiBeaconの信号が出力される。iBeaconの信号には、BLE端末710、720を識別するためのBLE端末識別番号と、各BLE端末710、720までの距離とが少なくとも保持される。HMD700を装着した利用者は、映画館内に入ると、まず、映画鑑賞補助アプリを起動する。
図12は、鑑賞補助ルーチンの詳細を示すフローチャートである。鑑賞補助ルーチンは、映画鑑賞補助アプリに従う処理ルーチンで、HMD700のCPU140によって実行される。この鑑賞補助ルーチンでは、iBeacon処理部172(図2)を用いる。
処理が開始されると、HMD600のCPUは、まず、2つのBLE端末710、720のうちの少なくとも一方から、iBeaconの信号を感知したか否かを判定する(ステップS310)。CPU140は、iBeaconの信号を感知するまでステップS310の処理を繰り返し実行し、ステップS310で感知されたと判定されると、感知した信号に保持される距離が所定値(例えば、5m)未満であるか否かを判定する(ステップS320)。なお、複数のiBeaconの信号を感知した場合には、保持される距離が短い方の信号を上記「感知した信号」とみなす。距離が所定値未満であるか否かの判定は、HMD100を装着した利用者の座席が、第1のBLE端末710が配置された第1の位置を中心とする、半径が前記所定値である第1の範囲E1と、第2のBLE端末720が配置された第2の位置を中心とする、半径が前記所定値である第2の範囲E2とのいずれか一方に含まれるか否かを判定するためのものである。すなわち、距離が所定値未満であるか否かの判定は、HMD100の利用環境が第1の範囲E1または第2の範囲E2に含まれるか否かを判定する。ここで、距離が所定値未満でないと判定された場合、CPU140は、ステップS310に処理を戻す。
ステップS320で、距離が所定値未満であると判定された場合には、HMD100の利用環境が第1の範囲E1または第2の範囲E2に含まれる環境に移行したとして、CPU140は、アプリケーション層510(図4)に含まれる音声処理部フレーム523とカメラアプリ513とをロックする(ステップS330、S340)。このステップS330およびS340は、第2実施形態のステップS230およびS240(図10)と同一である。
ステップS330の実行後、CPU140は、感知した信号に保持されるBLE端末識別番号に対応した言語の字幕の表示を開始する(ステップS240)。本実施形態では、映画館内の第1の範囲E1では字幕を日本語で表示し、映画館内の第2の範囲E2では字幕を中国語で表示するように、予め定められていう。このため、ステップS240では、感知した信号に保持されるBLE端末識別番号が第1のBLE端末710を示すものであるときには、日本語の字幕の表示を開始し、感知した信号に保持されるBLE端末識別番号が第2のBLE端末710を示すものであるときには、中国語の字幕の表示を開始する。ステップS340の実行後、鑑賞補助ルーチンを終了するが、上記の開始された字幕の表示は、上映が終了するまで継続される。
なお、鑑賞補助ルーチンにおけるステップS310およびS320の処理が利用環境判定部に対応し、ステップS330からS350までの処理が処理制御部に対応している。処理制御部としては、ステップS330からS350までの全ての処理を実行する構成に換えて、ステップS330からS350までのいずれか一つのステップだけを実行する構成としてもよいし、いずれか2つのステップを実行する構成としてもよい。
以上のように構成され第3実施形態のHMD700によれば、映画館における利用環境が第1の範囲E1といった座席環境にある場合に、外景SC4として透過して視認されるスクリーンSRとともに、日本語の字幕を見ることができる。また、映画館における利用環境が第2の範囲E2といった座席環境にある場合に、外景SC5として透過して視認されるスクリーンSRとともに、中国語の字幕を見ることができる。したがって、HMD600によれば、座席環境に応じて、字幕の言語を容易に切り替えることができる。また、座席環境における利用者の利便性を向上することができる。
D.第4実施形態:
図13は、本発明の第4実施形態に係るHMDの使用形態を示す説明図である。第4実施形態に係るHMD800は、第1実施形態に係るHMD100と比較して、アプリ実行制限アプリケーションを備える点が相違し、残余の点では同一である。第4実施形態に係るHMD800は、高レベルのセキュリティーを必要とするセキュリティールーム820を含むオフィス810において使用される。セキュリティールーム820の中央には、BLE端末830が設けられている。BLE端末830とHMD800との間の距離か所定値(例えば、5m)未満となったときに、HMD800を装着した利用者がセキュリティールーム820に入ったものとみなす。HMD800は、BLE端末830からの距離か所定値未満と判定されたときに、所定のアプリケーションプログラムの実行を許可するとともに、所定のネットワークへの接続を許可するようにする。一方、BLE端末830からの距離か所定値以上と判定されたとき、またはBLE端末830からのiBeaconの信号を感知できなかったときには、前記所定のアプリケーションプログラムの実行を禁止するとともに、所定のネットワークへの接続を禁止する。
以上のように構成された第4実施形態に係るHMD800によれば、利用環境が高レベルのセキュリティーを必要とするセキュリティー環境にあるか否かによって、所定のアプリケーションの実行が許可または禁止され、所定のネットワークへの接続が許可または禁止される。したがって、HMD800によれば、セキュリティー環境に応じて、所定のアプリケーションの実行の許可/禁止、および所定のネットワークへの接続の許可/禁止を容易に切り替えることができる。なお、本実施形態では、所定のアプリケーションの実行と所定のネットワークへの接続との双方を許可または禁止する構成としたが、これに換えて、所定のアプリケーションの実行と所定のネットワークへの接続とのいずれか一方だけを行う構成としてもよい。
E.変形例:
なお、この発明は上記第1ないし第4実施形態およびそれらの変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
E−1.変形例1:
利用環境の違いとしては、以下のものが含まれる。
[1]国、州や県、都市、行政区などの地理的な違い。
[2]特定の施設、例えばスタジアム、劇場、美術館、博物館、映画館、コンサート会場、研究所、会社、デパート、工場、学校、病院、高速道路、競技場、建築現場、動物園、植物園、公園などの内か外か。この場合、内外の区別は、スタジアム一般、劇場一般として判断してもよい。○○美術館といった特定の施設を対象として判断してもよい。
[3]特定の区域、例えば、砂丘、湿原、浜辺、山岳地帯などの内か外か。この場合、内外の区別は、砂丘一般、湿原一般として判断してもよい。○○湿原といった特定の施設を対象として判断してもよい。
[4]特定の移動手段、例えば飛行機、電車、船舶、車両の内外。この場合、内外の区別は、飛行機一般、電車一般として判断してもよい。○○便といった特定の移動手段を対象として判断してもよい。
[5]上記[2]〜[4]の内側における特定の位置、例えば第1ないし第4実施形態が該当する。
[6]利用者のいる場所において利用者の五感(視覚、聴覚、嗅覚、味覚、触覚)に感じられる要素、例えば照度、温度、湿度、騒音レベル、環境音の相違、臭い、風量、風向、降雪・降雨などの違いを利用環境の違いとして認識してもよい。五感には感じられない環境の要素、例えば低周波音、赤外線量、紫外線量、電波強度、磁場強度、などによって利用環境の違いを認識してもよい。
[7]利用環境の違いは、統計的あるいは被統計的手法により、予め区別されたものであってもよい。例えば、利用者のいる場所の安全性(犯罪率、事故率、被災率などによって指標化できる)の相違や、利便性(駅までの距離、コンビニの数、学校までの距離などによって指標化できる)の相違や、社会性(パブリックスペースか、プライベートスペースか、その中間か)などの相違によって、区別してもよい。こうした区別は、予め指標化して、位置情報と対応付けておいてもよいし、その都度、インターネットなどのネットワークを介して取得するものとしてもよい。
具体的には、例えば、電車の中、車の中、飛行機の中などのパブリックスペースへの移行が検出されたときに、カメラアプリ516がロックされる構成として、盗撮防止を図るようにしてもよい。例えば、会社への移動が検出されたときに、業務用のアプリケーションプログラムの実行を許可するようにしてもよい。例えば、航空機の中という環境では、妨害電波の基となる携帯電話、無線LANの使用を禁止し、航空機の電子機器への影響の少ないBluetooth、iBeaconを利用可能とするようにしてもよい。例えば、HMDの利用環境が特定の国であることがGPS等によって検出されたときに、その国に応じて定められた機能を変更するようにしてもよい。例えば、HMDにおける使用言語を変更すること、HMDにおいて表示される長さ、質量などの使用単位を変更すること、HMDの無線機器の出力制限を変更すること等を行うことができる。
E−2.変形例2:
利用環境の判定としては、以下のものが含まれる。
[1]撮像した画像に基づいて判断するもの
〈1〉撮像した外景から直接判断する手法。例えば、風景、景色、建物外形などを、画像マッチングを利用して判断する。
〈2〉撮像した外景に含まれるマーカーにより判断する手法。マーカーには、バーコード、QRコード(登録商標)、特定の形態の看板、特定の標識(例えば、「撮影禁止」、「フラッシュ禁止」等の標識)マーク、文字列、などが含まれる。また、マーカーは、土地や施設の固定物(看板、路面マークなど)であってもよいし、簡単に設置または持ち運べるもの(プラカード、ポスターなど)であってもよい。
〈3〉外景以外にも、手術における内視鏡画像などの特定の撮像画像から判断するもの。特定の撮像画像に含まれるマーカーにより判断する手法。
[2]収録した音により判断するもの
〈1〉音を分析して、浜辺、都会、などの判断。
〈2〉音に含まれる特定のパターンにより判断。流れている音楽、可聴域のビーコンなど。
[3]電波や磁場などの信号により判断。例えば、無線LANやBluetooth、iBeaconなど。
E−3.変形例3:
変更される所定の機能としては、以下のものが含まれる。
[1]撮影機能
第1実施形態に示したように動画を撮影する機能に換えて、静止画を撮影する機能としてもよい。また、第1実施形態に示したように望遠撮影の機能であってもよいし、赤外撮影の機能、パノラマ撮影等の他の種類の撮影機能としてもよい。また、上記第1実施形態では、カメラによる撮影機能の変更として、駆動のオン/オフの切り替えであったが、これに換えて、解像度の変更、赤外撮影のオン/オフの切り替え、ビデオ機能のオン/オフの切り替え、カラー/白黒の切り替え、連写のオン/オフの切り替え、分割撮影のオン/オフの切り替え、保存形式(ロウデータ)の切り替え、撮影画像の保存の可否の切り替え、撮影画像に対するパスワードの付与の切り替え、各種フィルタ撮影の切り替え等としてもよい。すなわち、撮影機能のオン・オフに加えて、撮影機能の一部停止、一部活性化等であってもよい。例えば、パブリックスペースへの移行が検出されたときに、カメラの解像度を制限すること、例えば通常1200万画素のカメラを人の顔を認識出来ないレベルの30万画素の機能に落とようにしてもよい。
[2]録音機能
第1実施形態に示したように録画する機能に換えて、録音する機能としてもよい。例えば、コンサート会場の利用環境において、録音機能を禁止するようにしてもよい。また、録音機能の変更として、マイクのオン/オフの変更、録音機能そのもののオン/オフの変更、録音音声の保存の有無の変更、バスワード付与の有無の変更等としてもよい。
[3]音声機能
上記第2および第3実施形態では、処理制御部として、音声機能を抑制することとして、音声処理部フレーム523をロックしていたが、これに換えて、音声の出力レベルを抑える(すなわち、音量を下げる)構成としてもよい。例えば、音声の出力の程度を促進する(すなわち、音量を上げる)構成としてもよい。すなわち、撮影機能のオン・オフに加えて、撮影機能の一部停止、一部活性化等であってもよい。また、音声機能の変更として、音域の変更、ビットレート(AM放送並み、高品質など)の変更、ドルビーのオン/オフの変更、使える音源の数や種類(シンセサイザー、音声合成)の変更、ステレオ/モノラルの変更、左右いずれか/両方かの変更等、種々の切り替えに適用することができる。
[4]情報提示機能
情報提示機能として、上記第2実施形態では案内情報を表示することとし、上記第3実施形態では字幕を表示することとし、これらの表示を行うか行なわないかを切り替えていたが、これに換えて、表示の能力を切り替える構成としてもよい。例えば、右表示駆動部22および左表示駆動部24を用いた両眼表示といずれか一方を用いた単眼表示との切り替え、解像度の切り替え、3D表示と2D表示の切り替え、カラー/白黒の切り替え、透過率の切り替え、表示輝度の切り替え、動画フレーム数の切り替え、表示言語の切り替え等としてもよい。また、広告表示のオン/オフの切り替えとしてもよい。また、情報提示機能を抑制する構成として、表示する案内情報の情報量を少なくする構成等、所定の機能を抑制する構成としてもよい。また、例えば、表示する案内情報の情報量を多くする構成等、情報提示機能を促進する構成としてもよい。
[5]HMDが外部と連携する機能の変更
例えば、通信機能の変更として、通信機能のオン/オフの切り替え、通信速度の切り替え、通信距離の切り替え、接続先ネットワークの範囲の切り替え、自動接続の可否の切り替え等としてもよい。また、BluetoothやiBeacomのオン/オフの切り替え、Bluetoothのマルチリンク可否の切り替え、RFタグの読み取り機能のオン/オフの切り替え、メモリーのアクセス範囲の切り替え、外部メモリーへのアクセスの可否の切り替え、ライブラリーやドライバーのアクセス範囲の切り替え等としてもよい。その他、各種センサーのオン/オフの切り替えとしてもよい。
変更される所定の機能としては上記の[1]〜[5]以外の種々のものが含まれる。また、機能の変更としては、オン、オフ、抑制、促進、一部停止、一部活性化が含まれる。さらに、機能の変更には、機能の追加や除去なども含まれる。
E−4.変形例4:
上記各実施形態では、機能を変更する方法として、アプリケーション層510に含まれる要素、(例えば、カメラアプリ516)を変更したり、フレームワーク層520に含まれる要素、例えば、音声処理部フレーム523)を変更していたが、これらに換えて、ライブラリー層530に含まれる要素を変更したり、カーネル層540に含まれる要素を変更したり、ハードウェア層550に含まれる要素を変更したりしてもよい。
E−5.変形例5:
上記各実施形態では、HMDの利用環境は、HMDが移動することによって切り替わる利用環境であったが、これに換えて、HMDの移動とは無関係にHMDの周囲の変化によって切り替わる利用環境としてもよい。例えば、季節の移り変わりを検知するようにし、夏には画像表示部20による表示の輝度を冬の場合より高くするようにしてもよい。
E−6.その他の変形例:
上記実施形態では、ヘッドマウントディスプレイの構成について例示した。しかし、ヘッドマウントディスプレイの構成は、本発明の要旨を逸脱しない範囲において任意に定めることが可能であり、例えば、各構成部の追加・削除・変換等を行うことができる。
上記実施形態における、制御部と、画像表示部とに対する構成要素の割り振りは、あくまで一例であり、種々の態様を採用可能である。例えば、以下のような態様としてもよい。(i)制御部にCPUやメモリー等の処理機能を搭載、画像表示部には表示機能のみを搭載する態様、(ii)制御部と画像表示部との両方にCPUやメモリー等の処理機能を搭載する態様、(iii)制御部と画像表示部とを一体化した態様(例えば、画像表示部に制御部が含まれ眼鏡型のウェアラブルコンピューターとして機能する態様)、(iv)制御部の代わりにスマートフォンや携帯型ゲーム機を使用する態様、(v)制御部と画像表示部とを無線通信かつワイヤレス給電可能な構成とすることにより接続部(コード)を廃した態様。
上記実施形態では、説明の便宜上、制御部が送信部を備え、画像表示部が受信部を備えるものとした。しかし、上記実施形態の送信部および受信部は、いずれも、双方向通信が可能な機能を備えており、送受信部として機能することができる。また、例えば、図2に示した制御部は、有線の信号伝送路を介して画像表示部と接続されているものとした。しかし、制御部と、画像表示部とは、無線LANや赤外線通信やBluetooth(登録商標)等の無線の信号伝送路を介した接続により接続されていてもよい。
例えば、上記実施形態で示した制御部、画像表示部の構成は任意に変更することができる。具体的には、例えば、制御部からタッチパッドを省略し、十字キーのみで操作する構成としてもよい。また、制御部に操作用スティック等の他の操作用インターフェイスを備えてもよい。また、制御部にはキーボードやマウス等のデバイスを接続可能な構成として、キーボードやマウスから入力を受け付けるものとしてもよい。また、例えば、タッチパッドや十字キーによる操作入力のほか、フットスイッチ(利用者の足により操作するスイッチ)による操作入力を取得してもよい。例えば、画像表示部に赤外線センサー等の視線検知部を設けた上で、利用者の視線を検知し、視線の動きに対応付けられたコマンドによる操作入力を取得してもよい。例えば、カメラを用いて利用者のジェスチャーを検知し、ジェスチャーに対応付けられたコマンドによる操作入力を取得してもよい。ジェスチャー検知の際は、利用者の指先や、利用者の手に付けられた指輪や、利用者の手にする医療器具等を動き検出のための目印にすることができる。フットスイッチや視線による操作入力を取得可能とすれば、利用者が手を離すことが困難である作業においても、入力情報取得部は、利用者からの操作入力を取得することができる。
図14は、変形例におけるHMDの外観の構成を示す説明図である。図14(A)の例の場合、画像表示部20xは、右光学像表示部26に代えて右光学像表示部26xを備え、左光学像表示部28に代えて左光学像表示部28xを備えている。右光学像表示部26xと左光学像表示部28xとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め上にそれぞれ配置されている。図14(B)の例の場合、画像表示部20yは、右光学像表示部26に代えて右光学像表示部26yを備え、左光学像表示部28に代えて左光学像表示部28yを備えている。右光学像表示部26yと左光学像表示部28yとは、上記実施形態の光学部材よりも小さく形成され、HMDの装着時における利用者の右眼および左眼の斜め下にそれぞれ配置されている。このように、光学像表示部は利用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が利用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が利用者の眼を完全に覆わない態様のHMDとして実現することもできる。
例えば、ヘッドマウントディスプレイは、両眼タイプの透過型ヘッドマウントディスプレイであるものとしたが、単眼タイプのヘッドマウントディスプレイとしてもよい。また、利用者がヘッドマウントディスプレイを装着した状態において外景の透過が遮断される非透過型ヘッドマウントディスプレイとして構成してもよい。
例えば、画像処理部、表示制御部、音声処理部等の機能部は、CPUがROMやハードディスクに格納されているコンピュータープログラムをRAMに展開して実行することにより実現されるものとして記載した。しかし、これら機能部は、当該機能を実現するために設計されたASIC(Application Specific Integrated Circuit:特定用途向け集積回路)を用いて構成されてもよい。
例えば、上記実施形態では、画像表示部を眼鏡のように装着するヘッドマウントディスプレイであるとしているが、画像表示部が通常の平面型ディスプレイ装置(液晶ディスプレイ装置、プラズマディスプレイ装置、有機ELディスプレイ装置等)であるとしてもよい。この場合にも、制御部と画像表示部との間の接続は、有線の信号伝送路を介した接続であってもよいし、無線の信号伝送路を介した接続であってもよい。このようにすれば、制御部を、通常の平面型ディスプレイ装置のリモコンとして利用することもできる。
また、画像表示部として、眼鏡のように装着する画像表示部に代えて、例えば帽子のように装着する画像表示部といった他の形状の画像表示部を採用してもよい。また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドアップディスプレイ(HUD、Head-Up Display)として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
例えば、上記実施形態では、表示駆動部は、バックライトと、バックライト制御部と、LCDと、LCD制御部と、投写光学系を用いて構成されるものとした。しかし、上記の態様はあくまで例示である。表示駆動部は、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えていてもよい。例えば、表示駆動部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部と、投写光学系とを備える構成としてもよい。例えば、表示駆動部は、LCDに代えてDMD(デジタル・マイクロミラー・デバイス)等を用いることもできる。例えば、表示駆動部は、RGBの各色光を発生させるための色光源とリレーレンズを含む信号光変調部と、MEMSミラーを含む走査光学系と、これらを駆動する駆動制御回路と、を含むように構成されてもよい。このように、有機ELやDMDやMEMSミラーを用いても、「表示駆動部における射出領域」とは、表示駆動部から画像光が実際に射出される領域であることに変わりはなく、各デバイス(表示駆動部)における射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。また、例えば、表示駆動部は、画素信号に応じた強度のレーザーを、利用者の網膜へ出射する1つ以上のレーザーを含むように構成されてもよい。この場合、「表示駆動部における射出領域」とは、表示駆動部から画像を表すレーザー光が実際に射出される領域を表す。レーザー(表示駆動部)におけるレーザー光の射出領域を上記実施形態と同様に制御することによって、上記実施形態と同様の効果を得ることができる。
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部(コントローラー)
12…点灯部
14…タッチパッド
16…十字キー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51…送信部
52…送信部
53…受信部
54…受信部
61…外景撮影用カメラ
110…入力情報取得部
100…頭部装着型表示装置(HMD)
120…記憶部
130…電源
132…無線通信部
140…CPU
160…画像処理部
162…表示制御部
164…利用環境判定部
166…処理制御部
170…音声処理部
180…インターフェイス
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
500…プラットフォーム
510…アプリケーション層
511…観戦補助アプリ
512…ゲームアプリ
513…カメラアプリ
514…コードリーダーアプリ
520…フレームワーク層
530…ライブラリー層
533…ディスプレイライブラリー
534…オーディオライブラリー
535…センサーライブラリー
536…カメラライブラリー
537…ライブラリー
540…カーネル層
542…音声ICドライバー
543…センサードライバー
544…画像センサードライバー
550…ハードウェア層
552…音声ICデバイス
553…センサーデバイス
554…画像センサーデバイス
600、700、800…頭部装着型表示装置(HMD)
610、710、720…BLE端末
820…セキュリティールーム
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
本発明の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は、画像を表示して前記頭部装着型表示装置を装着した利用者に画像を視認させるとともに、外景を透過し得る画像表示部と、前記頭部装着型表示装置の利用環境を判定する利用環境判定部と、前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と、を備え、前記処理制御部は、前記利用環境判定部によって所定の利用環境であると判定されたときに、所定のデータを取得して記憶部に保存し、前記利用環境判定部によって前記所定の利用環境から外れたと判定されたときに、前記所定の利用環境で前記記憶部に保存された前記所定のデータを消去する。
この形態の頭部装着型表示装置によれば、利用者に装着された頭部装着型表示装置の利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更してもよい。このために、利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が抑制または拡張するといった変更がなされる。したがって、本形態の頭部装着型表示装置によれば、利用環境に対応した機能を容易に実現できる。また、この形態の頭部装着型表示装置によれば、所定の利用環境で保存された所定のデータを、所定の利用環境から外れたときに、消去できる。このために、この形態の頭部装着型表示装置によれば、所定のデータの利用範囲を所定の利用環境下に制限することができることから、セキュリティーの向上を図ることができる。
本発明の他の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は、画像を表示して前記頭部装着型表示装置を装着した利用者に画像を視認させるとともに、外景を透過し得る画像表示部と、前記頭部装着型表示装置の利用環境を判定する利用環境判定部と、前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と、を備える。前記所定の機能は、前記画像表示部に所定の情報を表示させる情報提示機能である。
この形態の頭部装着型表示装置によれば、利用者に装着された頭部装着型表示装置の利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更してもよい。このために、利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が抑制または拡張するといった変更がなされる。したがって、本形態の頭部装着型表示装置によれば、利用環境に対応した機能を容易に実現できる。また、この形態の頭部装着型表示装置によれば、画像表示部に所定の情報を表示させる情報提示機能を抑制または拡張することができる。したがって、その場にふさわしい情報提示を容易に行うことができる。
本発明の他の一形態は、透過型の頭部装着型表示装置である。この頭部装着型表示装置は、画像を表示して前記頭部装着型表示装置を装着した利用者に画像を視認させるとともに、外景を透過し得る画像表示部と、前記頭部装着型表示装置の利用環境を判定する利用環境判定部と、前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と、を備える。前記利用環境として、高レベルのセキュリティーを必要とするセキュリティー環境を少なくとも含む。前記処理制御部は、前記利用環境判定部によって前記セキュリティー環境であると判定されたときに、所定のアプリケーションの実行を許可し、前記利用環境判定部によって前記セキュリティー環境でないと判定されたときに、前記所定のアプリケーションの実行を禁止する。
この形態の頭部装着型表示装置によれば、利用者に装着された頭部装着型表示装置の利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更してもよい。このために、利用環境に応じて、頭部装着型表示装置に搭載された所定の機能の少なくとも一部が抑制または拡張するといった変更がなされる。したがって、本形態の頭部装着型表示装置によれば、利用環境に対応した機能を容易に実現できる。また、この形態の頭部装着型表示装置によれば、高レベルのセキュリティーを必要とするセキュリティー環境に移行したときに、所定のアプリケーションの実行が許可され、前記セキュリティー環境にないときには、前記所定のアプリケーションの実行が禁止される。したがって、セキュリティー環境に応じて、所定のアプリケーションの実行の許可/禁止を容易に切り替えることができる。
その他、本発明は、以下の形態としても実現することが可能である。
(13)前記形態の頭部装着型表示装置において、前記映画館内の特定の座席環境として、第1の座席環境と第2の座席環境とを有し、前記処理制御部は、前記利用環境判定部によって前記第1の座席環境であると判定されたときに、第1の言語にて記した前記字幕を表示させ、前記利用環境判定部によって前記第2の座席環境であると判定されたときに、前記第1の言語とは相違する第2の言語にて記した前記字幕を表示させるようにしてもよい。この形態の頭部装着型表示装置によれば、映画館内の第1の座席環境に移行したときに第1の言語によって字幕を受けることができ、映画館内の第2の座席環境に移行したときに第2の言語によって字幕を受けることができる。したがって、座席環境に応じて、字幕の言語を容易に切り替えることができる。
HMD100を装着した利用者は、スタジアム内において、コードリーダーアプリ514を起動して、入場時に提示したチケットTCに視線を向ける。コードリーダーアプリ514は、HMD100の待ち受け画面(図3参照)に配置された[コードリーダー]アイコンICを選択する所定の操作を入力情報取得部110が受け付けることによって起動される。コードリーダーアプリ514を実行するHMD100は、外景撮影用カメラ61によって撮影を行い、得られた撮影画像の中にQRコードが含まれる場合に、そのQRコードを元の情報に復元し、その元情報を表示する。すなわち、CPU140は、撮影画像の中にQRコードが含まれる場合に、QRコードとしてコード化された情報を画像表示部20に表示させる。
図6は、サッカー観戦用のチケットTCに視線を向けてQRコードC3の読み取りがなされたときに、利用者に視認される情報の一例を示す説明図である。図6では、利用者の視野VR1を例示している。視野VR1には、図示するように、スタジアム内の外景SC1が含まれている。また、外景SC1に重畳して、コード情報表示領域AR1が表示される。コード情報表示領域AR1には、QRコードC3の元情報である観戦補助アプリ起動情報D1と座席情報D2が含まれる。
利用者は、観戦補助アプリ起動情報D1を選択する所定の操作を、タッチパッド14や十字キー16を用いて行う。その所定の操作を入力情報取得部110が受け付けることによって、HMD100は、観戦補助アプリ511(図4)を起動することができる。具体的には、HMD100は、観戦補助アプリ起動情報D1に記されたURLを辿って観戦補助アプリをインストールし、インストールされた観戦補助アプリ511(図4)を起動する。なお、観戦補助アプリ511は、予め内蔵された構成としてもよい。なお、本実施形態では、QRコードC3は、サッカー観戦用のチケットTCに記したものとしたが、これに換えて、スタジアム内の各座席に予め貼り付けた構成としてもよい。すなわち、各座席には、各座席に対応した座席情報D2を有するQRコードをそれぞれ貼り付けた構成とすることができる。
処理が開始されると、CPU140は、まず、QRコードC3を読み取ることによって得られた、前述したにコード化された座席情報D2を、記憶部120(図2)の所定のエリアに記憶する(ステップS110)。なお、観戦補助アプリ511を起動するに際し、QRコードC3の読み取りを行わなかった場合には、座席情報D2をタッチパッド14や十字キー16を用いて入力するようにしてもよい。
処理が開始されると、HMD600のCPUは、まず、BLE端末610からiBeaconの信号を感知したか否かを判定する(ステップS210)。CPU140は、iBeaconの信号を感知するまでステップS210の処理を繰り返し実行し、ステップS210で感知されたと判定されると、感知した信号に保持される距離が所定値(例えば、7m)未満であるか否かを判定する(ステップS220)。距離が所定値未満であるか否かの判定は、HMD600を装着した利用者の座席が、劇場の後部側の所定範囲に含まれるか否かを判定するためのものである。すなわち、距離が所定値未満であるか否かの判定は、HMD600の利用環境が後部座席という座席環境にあるか否かを判定する。ここで、距離が所定値未満でないと判定された場合、CPU140は、ステップS210に処理を戻す。
ステップS220で、距離が所定値未満であると判定された場合には、HMD600の利用環境が後部座席の環境に移行したとして、CPU140は、アプリケーション層510(図4)に含まれる音声処理部フレーム523とカメラアプリ513とをロックする(ステップS230、S240)。音声処理部フレーム523は、HMD600の音声の出力の全てを担うために、音声処理部フレーム523がロックされることで、HMD600からの音声の出力は全て消される(ミュートされる)。
一方、外景撮影用カメラ61を用いた撮影機能については、カメラアプリ513以外にも、アプリケーション層510に含まれる他のアプリによるマーカー認識処理(第1実施形態におけるQRコードを認識する処理等)にも含まれるが、本実施形態では、カメラアプリ513による撮影は禁止され、マーカー認識処理に従う撮影は禁止されることはない(すなわち、許可される)。すなわち、本実施形態では、盗撮を目的として利用可能なカメラアプリ513による撮影を禁止し、盗撮として利用できないマーカー認識処理に従う撮影は許可するようにした。なお、変形例として、ライブラリー層530に含まれるカメラライブラリー536をロックして、全ての撮影を禁止するようにしてもよい。
映画館内の第1の位置には第1のBLE端末710が配置されており、映画館内の第1の位置とは相違する第2の位置には第2のBLE端末720が配置されている。各BLE端末710、720からiBeaconの信号が出力される。iBeaconの信号には、BLE端末710、720を識別するためのBLE端末識別番号と、各BLE端末710、720までの距離とが少なくとも保持される。HMD700を装着した利用者は、映画館内に入ると、まず、映画鑑賞補助アプリを起動する。
処理が開始されると、HMD700のCPUは、まず、2つのBLE端末710、720のうちの少なくとも一方から、iBeaconの信号を感知したか否かを判定する(ステップS310)。CPU140は、iBeaconの信号を感知するまでステップS310の処理を繰り返し実行し、ステップS310で感知されたと判定されると、感知した信号に保持される距離が所定値(例えば、5m)未満であるか否かを判定する(ステップS320)。なお、複数のiBeaconの信号を感知した場合には、保持される距離が短い方の信号を上記「感知した信号」とみなす。距離が所定値未満であるか否かの判定は、HMD700を装着した利用者の座席が、第1のBLE端末710が配置された第1の位置を中心とする、半径が前記所定値である第1の範囲E1と、第2のBLE端末720が配置された第2の位置を中心とする、半径が前記所定値である第2の範囲E2とのいずれか一方に含まれるか否かを判定するためのものである。すなわち、距離が所定値未満であるか否かの判定は、HMD700の利用環境が第1の範囲E1または第2の範囲E2に含まれるか否かを判定する。ここで、距離が所定値未満でないと判定された場合、CPU140は、ステップS310に処理を戻す。
ステップS320で、距離が所定値未満であると判定された場合には、HMD700の利用環境が第1の範囲E1または第2の範囲E2に含まれる環境に移行したとして、CPU140は、アプリケーション層510(図4)に含まれる音声処理部フレーム523とカメラアプリ513とをロックする(ステップS330、S340)。このステップS330およびS340は、第2実施形態のステップS230およびS240(図10)と同一である。
ステップS330の実行後、CPU140は、感知した信号に保持されるBLE端末識別番号に対応した言語の字幕の表示を開始する(ステップS350)。本実施形態では、映画館内の第1の範囲E1では字幕を日本語で表示し、映画館内の第2の範囲E2では字幕を中国語で表示するように、予め定められていう。このため、ステップS350では、感知した信号に保持されるBLE端末識別番号が第1のBLE端末710を示すものであるときには、日本語の字幕の表示を開始し、感知した信号に保持されるBLE端末識別番号が第2のBLE端末710を示すものであるときには、中国語の字幕の表示を開始する。ステップS350の実行後、鑑賞補助ルーチンを終了するが、上記の開始された字幕の表示は、上映が終了するまで継続される。
D.第4実施形態:
図13は、本発明の第4実施形態に係るHMDの使用形態を示す説明図である。第4実施形態に係るHMD800は、第1実施形態に係るHMD100と比較して、アプリ実行制限アプリケーションを備える点が相違し、残余の点では同一である。第4実施形態に係るHMD800は、高レベルのセキュリティーを必要とするセキュリティールーム820を含むオフィス810において使用される。セキュリティールーム820の中央には、BLE端末830が設けられている。BLE端末830とHMD800との間の距離か所定値(例えば、5m)未満となったときに、HMD800を装着した利用者がセキュリティールーム820に入ったものとみなす。HMD800は、BLE端末830からの距離所定値未満と判定されたときに、所定のアプリケーションプログラムの実行を許可するとともに、所定のネットワークへの接続を許可するようにする。一方、BLE端末830からの距離所定値以上と判定されたとき、またはBLE端末830からのiBeaconの信号を感知できなかったときには、前記所定のアプリケーションプログラムの実行を禁止するとともに、所定のネットワークへの接続を禁止する。
具体的には、例えば、電車の中、車の中、飛行機の中などのパブリックスペースへの移行が検出されたときに、カメラアプリ513がロックされる構成として、盗撮防止を図るようにしてもよい。例えば、会社への移動が検出されたときに、業務用のアプリケーションプログラムの実行を許可するようにしてもよい。例えば、航空機の中という環境では、妨害電波の基となる携帯電話、無線LANの使用を禁止し、航空機の電子機器への影響の少ないBluetooth、iBeaconを利用可能とするようにしてもよい。例えば、HMDの利用環境が特定の国であることがGPS等によって検出されたときに、その国に応じて定められた機能を変更するようにしてもよい。例えば、HMDにおける使用言語を変更すること、HMDにおいて表示される長さ、質量などの使用単位を変更すること、HMDの無線機器の出力制限を変更すること等を行うことができる。
E−4.変形例4:
上記各実施形態では、機能を変更する方法として、アプリケーション層510に含まれる要素、(例えば、カメラアプリ513)を変更したり、フレームワーク層520に含まれる要素、例えば、音声処理部フレーム523)を変更していたが、これらに換えて、ライブラリー層530に含まれる要素を変更したり、カーネル層540に含まれる要素を変更したり、ハードウェア層550に含まれる要素を変更したりしてもよい。

Claims (16)

  1. 透過型の頭部装着型表示装置であって、
    画像を表示して前記頭部装着型表示装置を装着した利用者に画像を視認させるとともに、外景を透過し得る画像表示部と、
    前記頭部装着型表示装置の利用環境を判定する利用環境判定部と、
    前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する処理制御部と、
    を備える頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、
    前記利用環境は、前記頭部装着型表示装置が移動することによって切り替わる利用環境である、頭部装着型表示装置。
  3. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    撮影を行う撮影部を備え、
    前記利用環境判定部は、
    前記撮影部によって得られた撮影画像に基づいて、前記利用環境を判定する、頭部装着型表示装置。
  4. 請求項3に記載の頭部装着型表示装置であって、
    前記利用環境判定部は、
    前記撮影部によって得られた撮影画像内に、特定の利用環境を認識するためのマーカーが含まれたときに、前記特定の利用環境であると判定する、頭部装着型表示装置。
  5. 請求項1または請求項2に記載の頭部装着型表示装置であって、
    前記利用環境判定部は、
    外部の無線通信端末からの信号に基づいて、前記利用環境を判定する、頭部装着型表示装置。
  6. 請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、
    前記所定の機能は、カメラ部によって望遠撮影を行う望遠撮影機能である、頭部装着型表示装置。
  7. 請求項6に記載の頭部装着型表示装置であって、
    前記利用環境として、競技場内の特定の座席環境を少なくとも含み、
    前記処理制御部は、
    前記利用環境判定部によって前記特定の座席環境であると判定されたときに、前記望遠撮影機能をオンして前記カメラ部による望遠撮影を行う、頭部装着型表示装置。
  8. 請求項7に記載の頭部装着型表示装置であって、
    前記頭部装着型表示装置が前記競技場外に移動したことが検出されたときに、前記望遠撮影によって記録された撮影画像を消去する消去部を備える、頭部装着型表示装置。
  9. 請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、
    前記処理制御部は、
    前記利用環境判定部によって所定の利用環境であると判定されたときに、所定のデータを取得して記憶部に保存し、
    前記利用環境判定部によって前記所定の利用環境から外れたと判定されたときに、前記所定の利用環境で前記記憶部に保存された前記所定のデータを消去する、頭部装着型表示装置。
  10. 請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、
    前記所定の機能は、前記画像表示部に所定の情報を表示させる情報提示機能である、頭部装着型表示装置。
  11. 請求項10に記載の頭部装着型表示装置であって、
    前記利用環境として、劇場内の特定の座席環境を少なくとも含み、
    前記処理制御部は、
    前記利用環境判定部によって前記特定の座席環境であると判定されたときに、前記劇場での上演作品に係わる情報を前記所定の情報として表示させる、頭部装着型表示装置。
  12. 請求項10に記載の頭部装着型表示装置であって、
    前記利用環境として、映画館内の特定の座席環境を少なくとも含み、
    前記処理制御部は、
    前記利用環境判定部によって前記特定の座席環境であると判定されたときに、字幕を前記所定の情報として表示させる、頭部装着型表示装置。
  13. 請求項12に記載の頭部装着型表示装置であって、
    前記映画館内の特定の座席環境として、第1の座標環境と第2の座標環境とを有し、
    前記処理制御部は、
    前記利用環境判定部によって前記第1の座席環境であると判定されたときに、第1の言語にて記した前記字幕を表示させ、前記利用環境判定部によって前記第2の座席環境であると判定されたときに、前記第1の言語とは相違する第2の言語にて記した前記字幕を表示させる、頭部装着型表示装置。
  14. 請求項1から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、
    前記利用環境として、高レベルのセキュリティーを必要とするセキュリティー環境を少なくとも含み、
    前記処理制御部は、
    前記利用環境判定部によって前記セキュリティー環境であると判定されたときに、所定のアプリケーションの実行を許可し、前記利用環境判定部によって前記セキュリティー環境でないと判定されたときに、前記所定のアプリケーションの実行を禁止する、頭部装着型表示装置。
  15. 画像を表示して利用者に画像を視認させるとともに外景を透過し得る画像表示部を有する透過型の頭部装着型表示装置の制御方法であって、
    前記頭部装着型表示装置の利用環境を判定し、
    前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する、頭部装着型表示装置の制御方法。
  16. 画像を表示して利用者に画像を視認させるとともに外景を透過し得る画像表示部を有する透過型の頭部装着型表示装置を制御するためのコンピュータープログラムであって、
    コンピューターに、
    前記頭部装着型表示装置の利用環境を判定する機能と、
    前記判定された利用環境に応じて、前記頭部装着型表示装置に搭載された所定の機能の少なくとも一部を変更する機能と、
    を実現させる、コンピュータープログラム。
JP2018168394A 2018-09-10 2018-09-10 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム Withdrawn JP2019020738A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018168394A JP2019020738A (ja) 2018-09-10 2018-09-10 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018168394A JP2019020738A (ja) 2018-09-10 2018-09-10 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014204488A Division JP6500382B2 (ja) 2014-10-03 2014-10-03 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Publications (1)

Publication Number Publication Date
JP2019020738A true JP2019020738A (ja) 2019-02-07

Family

ID=65354101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018168394A Withdrawn JP2019020738A (ja) 2018-09-10 2018-09-10 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム

Country Status (1)

Country Link
JP (1) JP2019020738A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7325757B2 (ja) 2020-03-25 2023-08-15 淳 大▲高▼ 対話可能物体表示プログラムおよび対話可能物体表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法
JP2012235424A (ja) * 2011-05-09 2012-11-29 Nec Access Technica Ltd 情報管理装置、情報管理システム、情報管理方法およびプログラム
JP2014016705A (ja) * 2012-07-06 2014-01-30 Canon Inc 情報処理装置、情報処理装置の制御方法、コンピュータプログラム。
US20140118631A1 (en) * 2012-10-29 2014-05-01 Lg Electronics Inc. Head mounted display and method of outputting audio signal using the same
JP2014146871A (ja) * 2013-01-28 2014-08-14 Olympus Corp ウェアラブル型表示装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008083290A (ja) * 2006-09-27 2008-04-10 Sony Corp 表示装置、表示方法
JP2012235424A (ja) * 2011-05-09 2012-11-29 Nec Access Technica Ltd 情報管理装置、情報管理システム、情報管理方法およびプログラム
JP2014016705A (ja) * 2012-07-06 2014-01-30 Canon Inc 情報処理装置、情報処理装置の制御方法、コンピュータプログラム。
US20140118631A1 (en) * 2012-10-29 2014-05-01 Lg Electronics Inc. Head mounted display and method of outputting audio signal using the same
JP2014146871A (ja) * 2013-01-28 2014-08-14 Olympus Corp ウェアラブル型表示装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7325757B2 (ja) 2020-03-25 2023-08-15 淳 大▲高▼ 対話可能物体表示プログラムおよび対話可能物体表示装置

Similar Documents

Publication Publication Date Title
WO2016051775A1 (en) Head mounted display device adapted to the environment
JP6492451B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
KR101791494B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN110060614B (zh) 头部佩戴型显示装置及其控制方法、显示系统
JP6634697B2 (ja) 頭部装着型表示装置
JP6380091B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
CN109085697B (zh) 头部佩戴型显示装置和头部佩戴型显示装置的控制方法
JP2016142887A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2016057814A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
JP6500382B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2019020738A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10102600B2 (en) Head mounted display device, control method for head mounted display device, and computer program
JP2015019274A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6766403B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム
JP2016091348A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP6467922B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
JP2017106945A (ja) 頭部装着型表示装置、情報処理装置、画像表示装置、画像表示システム、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6375662B2 (ja) 頭部装着型表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20200220