JP2016057814A - 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム - Google Patents

頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム Download PDF

Info

Publication number
JP2016057814A
JP2016057814A JP2014183284A JP2014183284A JP2016057814A JP 2016057814 A JP2016057814 A JP 2016057814A JP 2014183284 A JP2014183284 A JP 2014183284A JP 2014183284 A JP2014183284 A JP 2014183284A JP 2016057814 A JP2016057814 A JP 2016057814A
Authority
JP
Japan
Prior art keywords
unit
image
head
display device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014183284A
Other languages
English (en)
Other versions
JP2016057814A5 (ja
Inventor
和夫 西沢
Kazuo Nishizawa
和夫 西沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014183284A priority Critical patent/JP2016057814A/ja
Priority to US14/830,343 priority patent/US20160070101A1/en
Publication of JP2016057814A publication Critical patent/JP2016057814A/ja
Publication of JP2016057814A5 publication Critical patent/JP2016057814A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/08Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Abstract

【課題】特定の場所に限られない動作状況に対応して頭部装着型表示装置の機能を決定する。
【解決手段】透過型の頭部装着型表示装置は、外景を撮像する撮像部と画像を表示すると共に外景を透過可能な画像表示部と;使用者の動作を検出する動作検出部と;検出された動作と、撮像された外景と、の組み合わせである動作状況が所定の状況である場合に、頭部装着型表示装置が実行可能な機能を決定する機能決定部と、を備える。
【選択図】図1

Description

本発明は、頭部装着型表示装置に関する。
頭部に装着する表示装置である頭部装着型表示装置(ヘッドマウントディスプレイ(Head Mounted Display)、HMD)が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の2つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。
特許文献1には、ショッピングセンターの駐車場の入り口に設置された入場ゲートを自動車が通過すると、自動車に登録されている個人情報などを、ショッピングセンター内の各店舗の情報を記憶するサーバーが取得し、取得された個人情報に対応付けられた店舗の情報を、入場ゲートを通過した自動車に提供する情報提供システムが記載されている。
特開2002−342653号公報
しかし、特許文献1に記載された技術では、入場ゲート等の特定の場所を通過した場合に、特定の場所に関連付けられた情報が自動車の運転手などのユーザーに提供されるのであって、特定の場所に限られないでユーザーに情報を提供したいという要望があった。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この形態の頭部装着型表示装置によれば、外景を撮像する撮像部と;画像を表示すると共に前記外景を透過可能な画像表示部と;使用者の動作を検出する動作検出部と;検出された前記動作と、撮像された前記外景と、の組み合わせである動作状況が所定の状況である場合に、前記頭部装着型表示装置が実行可能な機能を決定する機能決定部と、を備える。この形態の頭部装着型表示装置によれば、場所に限られない使用者の動作状況に応じて、使用者に不要であると考えられる頭部装着型表示装置の機能を制限するため、状況に応じて使用者に必要な機能のみを提供でき、使用者の利便性が向上する。
(2)上記形態の頭部装着型表示装置において、さらに;前記動作状況が所定の状況である場合に、決定される前記機能と前記動作状況との少なくとも一方に対応付けられた対応表示画像を前記画像表示部に表示させる表示画像制御部を備えてもよい。この形態の頭部装着型表示装置によれば、使用者は、動作状況に関連する情報を視覚的に認識でき、使用者の利便性がより向上する。
(3)上記形態の頭部装着型表示装置において、さらに;前記動作状況が所定の状況である場合に、前記画像表示部の現在位置を特定する位置特定部と;特定された現在位置を示す位置情報を他の装置へと送信し、前記位置情報に基づく地域情報を受信する情報送受信部と、を備え;前記表示画像制御部は、前記対応表示画像として、受信された前記地域情報に対応付けられた画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、検出された使用者の動作状況に加えて、画像表示部の現在位置も加味した対応表示画像が画像表示部に表示され、使用者がより必要とする情報を使用者に視認させることができ、使用者の使い勝手が向上する。
(4)上記形態の頭部装着型表示装置において、前記動作検出部は、前記使用者の動作として、前記使用者の視線方向を検出し;前記表示画像制御部は、前記動作状況が所定の状況であると共に、検出された前記視線方向が所定の方向以外の方向である場合に、前記対応表示画像として、前記視線方向を前記所定の方向に変化させるように促す画像を前記画像表示部に表示させてもよい。この形態の頭部装着型表示装置によれば、検出された動作状況に基づいて、使用者に行なうべき行動を報知することができるため、使用者の使い勝手がより向上する。
(5)上記形態の頭部装着型表示装置において、さらに;前記外景の明るさを検出する状況検出部を備え;前記機能決定部は、前記動作状況が所定の状況であると共に、検出された前記外景の明るさが予め設定された所定の明るさ以上である場合には、検出された前記外景の明るさが前記所定の明るさ未満である場合に前記画像表示部に表示される画像の輝度よりも高い輝度に設定してもよい。この形態の頭部装着型表示装置によれば、外景の明るさに応じて、適切な輝度によって対応表示画像が表示されるため、使用者は、表示画像を視認しやすい。
(6)上記形態の頭部装着型表示装置において、さらに;前記動作状況が所定の状況である複数の時点において、検出された過去の前記動作の履歴を記憶する履歴記憶部を備え;前記動作状況が所定の状況である場合に、前記複数の時点において記憶された前記動作の履歴と、検出された前記使用者の動作と、を照合した結果に基づいて、前記機能決定部によって行なわれる前記機能の決定と前記画像表示部によって行なわれる前記対応表示画像の表示との少なくとも一方が行なわれてもよい。この形態の頭部装着型表示装置によれば、個々の使用者の動作の履歴を照合した上で、使用者によって異なる対応表示画像が画像表示部に表示されるため、使用者により適切な画像が視認され、使用者の利便性が向上する。
(7)上記形態の頭部装着型表示装置において、さらに;前記動作状況が所定の状況である場合に、前記動作状況が所定の状況である複数の時点における他の使用者の前記動作の情報を、他の装置から受信する情報送受信部を備え;受信された前記他の使用者の前記動作と、検出された前記使用者の動作と、を照合した結果によって、前記機能決定部によって行なわれる前記機能の決定と前記画像表示部によって行なわれる前記対応表示画像の表示との少なくとも一方が行なわれてもよい。この形態の頭部装着型表示装置によれば、頭部装着型表示装置の使用者と他の使用者との比較を行なった上での対応表示画像が画像表示部に表示されるため、使用者により適切な画像が視認され、使用者の利便性が向上する。
(8)上記形態の頭部装着型表示装置において、前記撮像部は、前記外景の中から予め設定された特定の対象を検出し;前記動作状況は、検出された動作と、前記撮像部によって検出された前記特定の対象と、の組み合わせであってもよい。この形態の頭部装着型表示装置によれば、特定の対象を検出することで動作状況を検出するため、動作状況を検出しやすく、誤った動作状況を検出する誤作動が少ない。
(9)上記形態の頭部装着型表示装置において、前記動作検出部は、前記画像表示部に一体で形成され、前記画像表示部の加速度に基づいて前記使用者の動作を検出してもよい。この形態の頭部装着型表示装置によれば、動作検出部が画像表示部と一体で形成されるため、動作検出部を単独の装置として使用者に装着させる必要がなく、使用者の使い勝手が向上する。
(10)上記形態の頭部装着型表示装置において、請求項1から請求項9までのいずれか一項に記載の頭部装着型表示装置であって;前記動作検出部は、前記画像表示部とは別体で形成されると共に前記使用者の体に装着され、装着された部分の前記使用者の加速度に基づいて前記使用者の動作を検出してもよい。この形態の頭部装着型表示装置によれば、使用者の加速度を検出する位置に応じて、より使用者に適切な機能の制御や情報の報知を行なうことができる。
(11)上記形態の頭部装着型表示装置において、さらに;前記外景の状況を検出する状況検出部を備え;前記機能決定部は、前記動作状況が所定の状況であると共に、検出された前記外景の状況が所定の状況の場合に、検出された前記外景の状況に対応付けられた機能を決定してもよい。この形態の頭部装着型表示装置によれば、外景の状況に応じて、適切な環境下で頭部装着型表示装置の機能が制御されるため、使用者の使い勝手が向上する。
(12)上記形態の頭部装着型表示装置において、前記所定の状況は、予め設定された前記外景の画像と、予め設定された前記外景の画像に対応付けられた使用者の動作と、の組み合わせであってもよい。この形態の頭部装着型表示装置によれば、予め設定された画像が検出された後に、検出された画像に対応付けられた使用者の動作が取得されるため、所定の状況を判定するための処理の負担を抑制できる。
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
例えば、本発明の一形態は、撮像部と、画像表示部と、動作検出部と、機能決定部と、の4つの要素の内の一つまたは二つ以上を備えた装置として実現可能である。すなわち、この装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、動作検出部を有していてもよく、有していなくてもよい。また、装置は、機能決定部を有していてもよく、有していなくてもよい。撮像部は、例えば、外景を撮像してもよい。画像表示部は、例えば、画像を表示すると共に外景を透過可能であってもよい。動作検出部は、例えば、使用者の動作を検出してもよい。機能決定部は、例えば、検出された前記動作と、撮像された前記外景と、の組み合わせである動作状況が所定の状況である場合に、前記頭部装着型表示装置が実行可能な機能を決定してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも1つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示装置を有する情報システム、頭部装着型表示装置の制御方法および情報システムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
本発明の実施形態における情報システムの概略構成を示す説明図である。 サーバーの構成を機能的に示すブロック図である。 サーバーの交通情報DBに記憶された交通情報の一例を示す一覧表である。 HMDの構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 情報報知処理のフローチャートである。 情報報知処理のフローチャートである。 シーンが特定された状態における撮像画像を示す説明図である。 画像表示部に注意画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 画像表示部に注意画像が表示された場合に使用者が視認する視野の一例を示す説明図である。 変形例におけるHMDの外観構成を示す概略図である。 変形例におけるHMDを装着した使用者の概略図である。 変形例におけるHMDの外観構成を示す説明図である。
A.第1実施形態:
A−1.情報システムの構成:
図1は、本発明の実施形態における情報システム500の概略構成を示す説明図である。情報システム500は、使用者の頭部に装着され、虚像を使用者に視認させるヘッドマウントディスプレイ100(Head Mounted Display、HMD100)と、HMD100などの情報端末に各種情報を送信するサーバー300とを備えている。情報システム500では、HMD100によって特定の状況であるシーンが特定されると、特定されたシーンに基づいて、サーバー300から各種情報が送信されて、HMD100の画像表示部20にシーンおよび各種情報に対応付けられた虚像が生成される。なお、本明細書では、画像表示部20によってコンテンツ等の画像データに基づいて画像光が生成されることを、単に、画像が表示されるともいい、生成された画像光を、単に、表示画像ともいう。情報システム500において、本実施形態では、HMD100とサーバー300とが1つずつしか備えられていないが、他の実施形態では、HMD100やサーバー300が複数備えられていてもよい。
図2は、サーバー300の構成を機能的に示すブロック図である。サーバー300は、HMD100に送信する交通情報を記憶している記憶部320と、記憶部320に記憶されている交通情報をHMD100に送信する通信部330と、CPU310とを備えている。記憶部320は、ROMやRAM等によって構成されている。記憶部320は、道路や交差点に対応した過去の交通事故の情報や工事による規制の情報と、HMD100が交通事故や規制の情報に対して所定の条件を満たした場合にHMD100の使用者へと報知する報知情報と、を格納している交通情報データベース325(交通情報DB325)を有している。交通情報DB325に格納されている交通情報の詳細については、後述する。また、記憶部320は、各種コンピュータープログラムを格納している。
通信部330は、無線LANやブルートゥース(登録商標)といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。通信部330は、サーバー300とHMD100との間で各種情報を送受信する。CPU310は、記憶部320に格納されているコンピュータープログラムを読み出して実行する。CPU310は、通信部330を介して、受信されたHMD100のシーンの情報や位置情報に基づいて、交通情報DB325に記憶された少なくとも一部の情報を選択する。なお、選択された一部の情報を、選択交通情報とも呼ぶ。画像表示部20の位置などを特定する方法については、後述する。CPU310は、通信部330を介して、選択交通情報をHMD100に送信する。なお、本実施形態におけるサーバー300は、請求項における情報記憶装置に相当し、通信部330は、地域情報送信部に相当する。また、交通情報TDは、請求項における地域情報に相当する。
図3は、サーバー300の交通情報DB325に記憶された交通情報TDの一例を示す一覧表である。図3には、道路や交差点に対応した過去の交通事故の情報や工事による規制の情報として、交通情報DB325に記憶された交通情報TDの一部が一覧として項目別に示されている。図3に示すように、交通情報TDの項目は、交差点や道路などを示す名称と、使用者へと報知する内容を区別するカテゴリーと、使用者に報知する内容と、交差点や道路などの位置と、画像の表示や音声の出力を行なうための報知条件と、使用者へと報知する報知方法と、他の使用者のデータを示す他のデータとに分かれている。
カテゴリーは、注意と規制とに分かれており、注意は、HMD100の使用者に注意を促す内容を示し、規制は、使用者に交通が規制されている内容を示す。内容は、カテゴリーをさらに細かく分類しており、例えば、名称が交差点CR1の内容は、交通事故多発であり、交差点CR1では交通事故が多発していることを表す。同じように、交差点CR2の内容は、交差点CR2では右折ができないように規制されていることを表す。国道RD1の内容は、国道RD1において片側一車線の通行規制が行なわれていることを表す。国道RD2の内容は、国道RD2が通行止めの規制が行なわれていることを表す。国道RD3の内容は、国道RD3において速度制限の規制が行なわれていることを表す。
交通情報TDでは、例えば、交差点CR1の位置として、緯度が「130.x・・・xx1」であると共に、経度が「33.y・・・yy1」であると記憶されている。同じように、国道RD1において、片側一車線の規制が行なわれている位置として、緯度が「130.x・・・xx3から130.x・・・xx4まで」であると共に、経度が「33.y・・・yy3から33.y・・・yy4まで」であると記憶されている。
報知条件は、距離および速度の項目と、時刻の項目とに分けられている。距離および速度の項目の条件と、時刻の項目の条件との両方を満たした場合に、HMD100の使用者に所定の報知情報が報知される。距離および速度の項目は、HMD100に使用者に報知情報を報知する条件として、HMD100から特定の地点までの距離(例えば、交差点CR1まで)と、HMD100の移動速度との閾値を表す。例えば、国道RD3の距離および速度における閾値は、HMD100の位置が国道RD3まで1000メートル(m)以内であり、かつ、HMD100の移動速度が時速50キロメートル(50km/h)以上である。時刻の項目は、HMD100の使用者に報知情報を報知する条件として、現在の時刻の閾値を表す。例えば、国道RD3の時刻における閾値は、現在の時刻が18時から6時までの間である。すなわち、国道RD3では、HMD100から国道RD3までの距離が1000m以内であると共にHMD100の移動速度が時速50キロメートルであり、かつ、現在の時刻が18時から6時までの間である場合に、HMD100に国道RD3の規制に対応付けられた報知情報が報知される。
報知方法の項目は、HMD100の使用者に対して、画像と音声とのどの組み合わせによって報知情報を報知するかを特定する。例えば、交差点CR1、国道RD2、国道RD3における報知方法は、画像および音声であり、交差点CR2における報知方法は、画像のみであり、国道RD1における報知方法は、音声のみである。他のデータの項目は、HMD100の使用者とは異なる他のHMD100などを含む情報端末の使用者の過去のデータを表す。例えば、交差点CR1における他のデータでは、直近1ヶ月に交差点CR1で発生した交通事故の回数が2回である。また、国道RD3における他のデータでは、国道RD3において速度制限の時速50kmを超えた速度の自動車が12回観測されている。
図1に示すHMD100は、使用者が虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。HMD100は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部20と、画像表示部20を制御する制御部10(コントローラー10)と、を備えている。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部20は、右保持部21と、右表示駆動部22と、左保持部23と、左表示駆動部24と、右光学像表示部26と、左光学像表示部28と、カメラ61と、照度センサー63とを含んでいる。右光学像表示部26および左光学像表示部28は、それぞれ、使用者が画像表示部20を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部26の一端と左光学像表示部28の一端とは、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
右保持部21は、右光学像表示部26の他端である端部ERから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部23は、左光学像表示部28の他端である端部ELから、使用者が画像表示部20を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部21および左保持部23は、眼鏡のテンプル(つる)のようにして、使用者の頭部に画像表示部20を保持する。
右表示駆動部22と左表示駆動部24とは、使用者が画像表示部20を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部21および左保持部23を総称して単に「保持部」とも呼び、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」とも呼び、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
表示駆動部22,24は、液晶ディスプレイ241,242(Liquid Crystal Display、以下「LCD241,242」とも呼ぶ)や投写光学系251,252等を含む(図4参照)。表示駆動部22,24の構成の詳細は後述する。光学部材としての光学像表示部26,28は、導光板261,262(図4参照)と調光板とを含んでいる。導光板261,262は、光透過性の樹脂材料等によって形成され、表示駆動部22,24から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部20の表側を覆うように配置されている。調光板は、導光板261,262を保護し、導光板261,262の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
カメラ61は、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ61は、使用者が画像表示部20を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像画像を取得する。本実施形態のカメラ61は、使用者の視野とほぼ同じとなるような画角に設定されている。カメラ61は、単眼カメラであるが、ステレオカメラであってもよい。照度センサー63は、カメラ61と同様に、使用者が画像表示部20を装着した際の使用者の眉間に対応する位置に配置されている。照度センサー63は、外景の明るさの指標値として、使用者の視線方向の外部の景色である外景照度を検出する。なお、他の実施形態では、検出される外景の明るさは、照度に限られず、光度や輝度であってもよい。
画像表示部20は、さらに、画像表示部20を制御部10に接続するための接続部40を有している。接続部40は、制御部10に接続される本体コード48と、右コード42と、左コード44と、連結部材46と、を含んでいる。右コード42と左コード44とは、本体コード48が2本に分岐したコードである。右コード42は、右保持部21の延伸方向の先端部APから右保持部21の筐体内に挿入され、右表示駆動部22に接続されている。同様に、左コード44は、左保持部23の延伸方向の先端部APから左保持部23の筐体内に挿入され、左表示駆動部24に接続されている。連結部材46は、本体コード48と、右コード42および左コード44と、の分岐点に設けられ、イヤホンプラグ30を接続するためのジャックを有している。イヤホンプラグ30からは、右イヤホン32および左イヤホン34が延伸している。
画像表示部20と制御部10とは、接続部40を介して各種信号の伝送を行なう。本体コード48における連結部材46とは反対側の端部と、制御部10と、のそれぞれには、互いに嵌合するコネクター(図示しない)が設けられている。本体コード48のコネクターと制御部10のコネクターとの嵌合/嵌合解除により、制御部10と画像表示部20とが接続されたり切り離されたりする。右コード42と、左コード44と、本体コード48とには、例えば、金属ケーブルや光ファイバーを採用できる。
制御部10は、HMD100を制御するための装置である。制御部10は、決定キー11と、点灯部12と、表示切替キー13と、トラックパッド14と、輝度切替キー15と、方向キー16と、メニューキー17と、電源スイッチ18と、を含んでいる。決定キー11は、押下操作を検出して、制御部10で操作された内容を決定する信号を出力する。点灯部12は、HMD100の動作状態を、その発光状態によって通知する。HMD100の動作状態としては、例えば、電源のON/OFF等がある。点灯部12としては、例えば、LEDが用いられる。表示切替キー13は、押下操作を検出して、例えば、コンテンツ動画の表示モードを3Dと2Dとに切り替える信号を出力する。トラックパッド14は、トラックパッド14の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド14としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー15は、押下操作を検出して、画像表示部20の輝度を増減する信号を出力する。方向キー16は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ18は、スイッチのスライド操作を検出することで、HMD100の電源投入状態を切り替える。
図4は、HMD100の構成を機能的に示すブロック図である。図4に示すように、制御部10は、記憶部120と、電源130と、GPSモジュール137と、無線通信部132と、操作部135と、CPU140と、インターフェイス180と、送信部51(Tx51)および送信部52(Tx52)と、を有している。
GPSモジュール137は、GPS衛星からの信号を受信することにより、画像表示部20の現在位置を特定して、画像表示部20の位置を示す位置情報を生成する。言い換えれば、GPSモジュール137は、画像表示部20を含むHMD100の位置を特定する。画像表示部20の現在位置が特定されることで、HMD100を装着した使用者の現在位置が特定される。なお、GPSモジュール137は、請求項における位置特定部に相当する。
無線通信部132は、無線LANやブルートゥース(登録商標)といった所定の無線通信方式に則って他の機器との間で無線通信を行なう。無線通信部132は、GPSモジュール137によって特定された画像表示部20の位置情報を、サーバー300の通信部330へと送信する。通信部330は、画像表示部20の位置情報を受信すると、後述する特定されたシーンと、画像表示部20の現在位置から所定の距離(例えば、3000メートル)の範囲と、の組み合わせに対応する選択交通情報をHMD100の無線通信部132へと送信する。無線通信部132は、通信部330から送信された選択交通情報を受信する。電源130は、HMD100の各部に電力を供給する。電源130としては、例えば二次電池を用いることができる。なお、無線通信部132は、請求項における情報送受信部に相当する。
記憶部120は、種々のコンピュータープログラムを格納している。記憶部120は、ROMやRAM等によって構成されている。記憶部120は、シーン記憶部122と、履歴記憶部124とを有している。シーン記憶部122は、使用者に報知する条件となる複数のシーンを、無線通信部132を介して受信した選択交通情報に含まれる報知情報と対応付けて記憶している。シーン記憶部122は、HMD100の使用者が運転している状態や、走っている状態などの複数のシーンを記憶している。シーン記憶部122は、特定のシーンにおいて、シーン画像とシーン状態とを対応付けて記憶している。複数のシーンの内の1つのシーンとしては、例えば、カメラ61の撮像画像によって特定される使用者が自動車のハンドルを握っているシーン画像と、後述する画像表示部20に搭載された10軸センサー66が検出する自動車の走行中の加速度であるシーン状態と、の組み合わせが挙げられる。シーン記憶部122は、シーンのそれぞれに対して、HMD100において制御される機能を合わせて記憶している。
履歴記憶部124は、シーン記憶部122に記憶されたシーンのそれぞれに対する過去の履歴(過去履歴)を記憶している。例えば、過去に、国道RD3(図3)において、速度制限の規制の報知情報が報知されたことがある場合には、履歴記憶部124は、当該報知の日付などを記憶している。
CPU140(図4)は、記憶部120に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム150(OS150)、表示制御部190、音声処理部170、画像処理部160、外部情報検出部169、シーン特定部168、情報照合部166、機能決定部161、および、報知方法設定部165として機能する。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFF、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFF、左バックライト制御部202による左バックライト222の駆動ON/OFFなど、を個別に制御する。これにより、表示制御部190は、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号のそれぞれを、送信部51および52を介して送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号のそれぞれを送信する。
画像処理部160は、コンテンツに含まれる画像信号を取得する。画像処理部160は、取得した画像信号から、垂直同期信号VSyncや水平同期信号HSync等の同期信号を分離する。また、画像処理部160は、分離した垂直同期信号VSyncや水平同期信号HSyncの周期に応じて、PLL(Phase Locked Loop)回路等(図示しない)を利用してクロック信号PCLKを生成する。画像処理部160は、同期信号が分離されたアナログ画像信号を、A/D変換回路等(図示しない)を用いてディジタル画像信号に変換する。その後、画像処理部160は、変換後のディジタル画像信号を、対象画像の画像データ(RGBデータ)として、1フレームごとに記憶部120内のDRAMに格納する。なお、画像処理部160は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
画像処理部160は、生成されたクロック信号PCLK、垂直同期信号VSync、水平同期信号HSync、記憶部120内のDRAMに格納された画像データ、のそれぞれを、送信部51、52を介して送信する。なお、送信部51を介して送信される画像データを「右眼用画像データ」とも呼び、送信部52を介して送信される画像データを「左眼用画像データ」とも呼ぶ。送信部51、52は、制御部10と画像表示部20との間におけるシリアル伝送のためのトランシーバーとして機能する。
音声処理部170は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材46に接続された右イヤホン32内のスピーカー(図示しない)および左イヤホン34内のスピーカー(図示しない)に対して供給する。音声処理部170は、選択交通情報に含まれる報知情報に基づいて、音声を出力する。例えば、音声処理部170は、画像表示部20に表示する画像に含まれる文字画像を読み上げたり、使用者への注意を促すアラームを出力したりする。なお、例えば、Dolby(登録商標)システムを採用した場合、音声信号に対する処理がなされ、右イヤホン32および左イヤホン34のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
シーン特定部168は、パターンマッチングや統計的識別法によって、カメラ61によって撮像された撮像画像の中から、シーン記憶部122に記憶されたシーンに対応付けられたシーン画像を検出する。また、シーン特定部168は、シーン状態として、後述する10軸センサー66によって検出された画像表示部20の加速度に基づいて、画像表示部20を装着した使用者の移動状態(例えば、自動車で走行中)を特定する。シーン特定部168は、シーン画像を検出し、かつ、検出されたシーン画像に対応付けられたシーン状態が検出された場合には、シーン記憶部122に記憶された1つのシーンとして特定する。言い換えれば、シーン特定部168は、シーン画像とシーン状態との組み合わせが特定の組み合わせである場合に、1つのシーンとして特定する。なお、シーンの特定および特定されたシーンに対応付けられた報知情報の詳細については、情報報知処理において説明する。なお、シーン特定部168および後述する10軸センサー66は、請求項における動作検出部に相当し、シーン画像とシーン状態との組み合わせは、請求項における動作状況に相当する。
外部情報検出部169は、照度センサー63によって検出された外景照度と、予め設定された照度の閾値とを比較する。外部情報検出部169は、比較した照度の結果、照度が第1の閾値よりも高い場合には、後述する画像表示部20のBL221,222の輝度を上げ、照度が第2の閾値よりも低い場合には、BL221,222の輝度を下げる。なお、照度センサー63および外部情報検出部169は、請求項における状況検出部に相当する。
機能決定部161は、シーン記憶部122に記憶されたシーンが特定されると、特定されたシーンに対応付けられてシーン記憶部122に記憶されたHMD100の一部の機能を決定する。例えば、HMD100の使用者が自動車を運転しているシーンであると特定された場合には、機能決定部161は、コンテンツ等の動画や画像を画像表示部20に表示させないように、画像を表示する機能について一部を制限する制御を決定する。なお、本明細書における機能の制御を決定するとは、機能の効果をオフ(OFF)にする制御も含む。
情報照合部166は、シーン特定部168によって特定されたシーンと、特定されると共に履歴記憶部124に記憶されたシーンの過去履歴およびサーバー300から送信された選択交通情報に含まれる交通情報TDにおける他のデータ(図3)と、を照合する。情報照合部166は、照合した結果に基づいて、HMD100の使用者に行なう報知の方法を決定する。
報知方法設定部165は、サーバー300から送信された選択交通情報に含まれると共に特定されたシーンに対応する報知情報と、情報照合部166によって決定された報知の方法とに基づいて、画像表示部20に表示させる表示画像および当該表示画像の表示態様を設定する。画像表示部20に表示される画像の詳細については、後述する情報報知処理において説明する。なお、報知方法設定部165は、請求項における表示画像制御部に相当する。
操作部135は、使用者による物理的な操作を受け付ける、決定キー11、表示切替キー13、トラックパッド14、輝度切替キー15、方向キー16、メニューキー17、電源スイッチ18、から構成されている。
インターフェイス180は、制御部10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。外部機器OAとしては、例えば、パーソナルコンピューター(PC)や携帯電話端末、ゲーム端末等、がある。インターフェイス180としては、例えば、USBインターフェイス、マイクロUSBインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
画像表示部20は、右表示駆動部22と、左表示駆動部24と、右光学像表示部26としての右導光板261と、左光学像表示部28としての左導光板262と、カメラ61と、照度センサー63と、10軸センサー66とを備えている。
右表示駆動部22は、受信部53(Rx53)と、光源として機能する右バックライト制御部201(右BL制御部201)および右バックライト221(右BL221)と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251と、を含んでいる。右バックライト制御部201と右バックライト221とは、光源として機能する。右LCD制御部211と右LCD241とは、表示素子として機能する。
受信部53は、制御部10と画像表示部20との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部201は、入力された制御信号に基づいて、右バックライト221を駆動する。右バックライト221は、例えば、LEDやエレクトロルミネセンス(EL)等の発光体である。右LCD制御部211は、受信部53を介して入力されたクロック信号PCLKと、垂直同期信号VSyncと、水平同期信号HSyncと、右眼用画像データと、に基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
右投写光学系251は、右LCD241から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部26としての右導光板261は、右投写光学系251から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼REに導く。
左表示駆動部24は、右表示駆動部22と同様の構成を有している。左表示駆動部24は、受信部54(Rx54)と、光源として機能する左バックライト制御部202(左BL制御部202)および左バックライト222(左BL222)と、表示素子として機能する左LCD制御部212および左LCD242と、左投写光学系252と、を含んでいる。左バックライト制御部202と左バックライト222とは、光源として機能する。左LCD制御部212と左LCD242とは、表示素子として機能する。なお、左バックライト制御部202と、左LCD制御部212と、左バックライト222と、左LCD242と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系252は、左LCD242から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部28としての左導光板262は、左投写光学系252から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼LEに導く。なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。
10軸センサー66は、加速度(3軸)、角速度(3軸)、地磁気(3軸)、および、気圧(1軸)を検出するセンサーである。10軸センサー66は、画像表示部20における右表示駆動部22の近くに内蔵されており、画像表示部20が使用者の頭部に装着されているときには、使用者の頭部の動きや位置を検出する。
図5は、画像光生成部によって画像光が射出される様子を示す説明図である。右LCD241は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右LCD241を透過する光の透過率を変化させることにより、右バックライト221から照射される照明光ILを、画像を表わす有効な画像光PLへと変調する。左側についても同様である。なお、図6に示すように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
A−2.情報報知処理:
図6および図7は、情報報知処理のフローチャートである。情報報知処理は、制御部10によって、特定されたシーンに対応付けられた情報が音声と画像との少なくとも一方の手段によってHMD100の使用者に報知される処理である。初めに、操作部135が情報報知処理を開始するための所定の処理を受け付けると、制御部10のCPU140は、情報報知処理のアプリケーション(アプリ)を起動する(図6のステップS10)。次に、制御部10は、情報報知処理を行なうために必要なカメラ61等の各種センサーを起動させる(ステップS12)。
次に、起動したカメラ61は、画像表示部20を装着した使用者の視線方向の外景を撮像する(ステップS14)。シーン特定部168は、カメラ61の撮像画像の中から、シーン記憶部122に記憶されたシーン画像と同等の画像(以下、単に「シーン画像」とも呼ぶ)を検出する(ステップS16)。シーン画像が検出されない場合には(ステップS16:NO)、シーン特定部168は、引き続き、撮像画像の中のシーン画像の検出を待機する(ステップS16)。ステップS16の処理において、撮像画像の中からシーン画像が検出された場合には(ステップS16:YES)、シーン特定部168は、検出されたシーン画像に対応付けられてシーン記憶部122に記憶されているシーン状態の取得できたか否かを判定する(ステップS18)。シーン画像に対応付けられたシーン状態が取得されない場合には(ステップS18:NO)、シーン特定部168は、ステップS16以降の処理を繰り返す。ステップS18の処理において、検出されたシーン画像に対応付けられたシーン状態が取得された場合には(ステップS18:YES)、シーン特定部168は、検出されたシーン画像および取得されたシーン状態に対応付けられて記憶されたシーンを特定する。
図8は、シーンが特定された状態における撮像画像IMGを示す説明図である。図8には、特定されたシーンとして、HMD100の使用者が自動車を運転している運転状態の撮像画像IMGが示されている。図8に示すように、カメラ61は、撮像画像IMGとして、外景SCを撮像する。外景SCには、HMD100の使用者が運転している車のハンドルHDと、ハンドルHDを握っている使用者の左手LHおよび右手RHが含まれている。シーン記憶部122は、運転状態のシーンのシーン画像として、ハンドルHDにおける所定の位置を握っている左手LHおよび右手RHの画像を記憶している。また、シーン記憶部122は、運転状態のシーン画像に対応付けられたシーン状態として、走行している自動車に乗車しているときに10軸センサー66によって検出される加速度のパターンを記憶している。シーン特定部168は、撮像画像IMGの中にハンドルHDにおける所定の位置を握っている左手LHおよび右手RHを検出し、かつ、運転状態のシーン状態としての加速度が検出されると、HMD100の使用者の状態が運転状態のシーンであると特定する。なお、ハンドルHDを握っている左手LHおよび右手RHは、請求項における特定の対象に相当する。
図6のステップS20の処理において、シーンが特定されると、GPSモジュール137は、画像表示部20の現在位置を特定する(ステップS22)。次に、情報照合部166は、画像表示部20の現在位置と特定されたシーンとに対応する情報を、無線通信部132を介して、サーバー300から取得する(ステップS24)。具体的には、情報照合部166は、無線通信部132を介して、サーバー300の交通情報DB325に記憶された交通情報TDの内、特定された画像表示部20の位置から所定の距離(例えば、3000メートル)の範囲に存在するとして選択された情報である選択交通情報を送信するように、サーバー300に要求する。サーバー300のCPU310は、通信部330を介して、HMD100から送信された要求を受けて、記憶部320の交通情報DB325に記憶された交通情報TDから、該当する情報を選択交通情報としてHMD100に送信する。HMD100の情報照合部166は、無線通信部132を介して、サーバー300から送信された選択交通情報を受信することで取得する。
選択交通情報が取得されると、情報照合部166は、取得された選択交通情報に含まれる情報の場所に対応する使用者の過去の履歴(以下、単に「過去履歴」とも呼ぶ)が履歴記憶部124にあるか否かを判定する(ステップS26)。過去履歴があると判定された場合には(ステップS26:YES)、情報照合部166は、過去履歴を加味した内容を含んだ交通情報の報知をHMD100の使用者に行なうことを決定する(ステップS28)。過去履歴を含む報知を行なうことを決定する、または、ステップS26の処理において、過去履歴がないと判定された場合には(ステップS26:NO)、情報照合部166は、取得された選択交通情報に他の情報端末の使用者の過去のデータである他のデータ(図3)があるか否かを判定する(図7のステップS30)。他のデータがあると判定された場合には(ステップS30:YES)、情報照合部166は、他のデータを加味した内容を含んだ交通情報の報知をHMD100の使用者に行なうことを決定する(ステップS32)。他のデータを含む報知を行なうことを決定する、または、ステップS30の処理において、他のデータがないと判定された場合には(ステップS30:NO)、機能決定部161は、シーン記憶部122に記憶され、特定されたシーンに対応付けられたHMD100において実行される機能を決定する(ステップS34)。次に、外部情報検出部169は、外部情報として、照度センサー63を用いて、外景照度を検出する(ステップS35)。外部情報検出部169は、検出された外景照度と、第1の閾値および第2の閾値と比較することで、画像表示部20に画像を表示する場合のBL221,222の輝度を設定する。その後、報知方法設定部165は、選択交通情報と、情報照合部166によって決定された報知の方法と、外部情報検出部169によって設定されたBL221,222の輝度とに基づいて、画像表示部20およびイヤホン32,34を用いて、情報をHMD100の使用者に報知する(ステップS36)。
図9は、画像表示部20に注意画像TX1が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図9に示すように、図8の撮像画像IMGと異なり、使用者は、外景SCに加え、外景SCに重畳されるように画像表示部20の光学像表示部26,28に表示された注意画像TX1を視認する。なお、図9には、使用者には視認されない光学像表示部26,28に画像を表示できる最大の領域である画像表示最大領域PNが破線によって示されている。注意画像TX1は、交通情報TD(図3)の交差点CR1に対応した情報に基づいて画像表示最大領域PNに表示された文字画像である。注意画像TX1は、4行の文章によって構成される文字画像である。注意画像TX1の1行目は、交差点CR1の位置が使用者の位置からどの位置にあるのかを示している。注意画像TX1の2行目は、交差点CR1における注意を促す「事故多発」の文字と、交差点CR1の名称とを示している。注意画像TX1の3行目は、交通情報TDにおける交差点CR1の他のデータ(図3)に対応する他の使用者の情報を示しており、交差点CR1での今月の事故の回数が2回であることを示している。注意画像TX1の4行目は、履歴記憶部124に記憶されたHMD100の使用者の交差点CR1における過去履歴を示しており、使用者が12ヶ月前に交差点CR1で事故を起こした経験があることを表している。なお、注意画像TX1における3行目は、図7のステップS32の処理における他のデータを含む報知に対応付けられた文字画像であり、注意画像TX1における4行目は、図6のステップS28の処理における過去履歴を含む報知に対応付けられた文字画像である。そのため、注意画像TX1における3行目と4行目との文字画像は、HMD100の使用者によって表示の有無や表示内容が異なる画像である。
また、交通情報TD(図3)に示すように、交差点CR1の報知方法は、画像に加えて、音声による使用者への報知も含まれる。そのため、報知方法設定部165は、画像表示最大領域PNに注意画像TX1を表示すると共に、イヤホン32,34を介して、使用者に注意を促す音声を出力する。注意を促す音声は、注意画像TX1の文字画像を読み上げた音声である。
また、使用者に注意画像TX1および音声によって報知が行なわれると共に、機能決定部161は、特定された運転状態のシーンに対応付けられた機能を決定する。本実施形態では、機能決定部161は、コンテンツ等の動画や画像を画像表示最大領域PNに表示できないような制御を決定し、また、注意画像TX1などの注意や規制に対応付けられた画像を画像表示最大領域PNの中央部以外の部分に表示させる。なお、本実施形態における画像表示最大領域PNの中央部とは、矩形状である画像表示最大領域PNの縦と横とのそれぞれを3分割した場合に(全部で9分割)、中心の領域のことをいう。他の実施形態では、画像表示最大領域PNの中央部は、異なる部分であってもよい。また、注意画像TX1に表示画像が表示される領域が制限していることを表す文字画像の表示や音声の出力が行なわれてもよい。
図7のステップS36の処理において、使用者に注意画像TX1および音声によって報知が行なわれると、シーン特定部168は、シーンの変化を検出する(ステップS38)。特定されたシーンの変化が検出されると(ステップS38:YES)、報知方法設定部165は、画像表示最大領域PNに表示させた注意画像TX1を非表示にする(ステップS46)。次に、操作部135は、情報報知処理を終了する所定の操作を受け付けたか否かを判定する(ステップS48)。所定の操作が受け付けられたと判定された場合には(ステップS48:YES)、制御部10は、情報報知処理を終了する。ステップS48の処理において、所定の操作が受け付けられないと判定された場合には(ステップS48:NO)、制御部10は、図6のステップS16以降の処理を繰り返す。
図7のステップS38の処理において、シーンの変化が検出されない場合には(ステップS38:NO)、GPSモジュール137は、画像表示部20の現在位置の変化を検出する(ステップS40)。画像表示部20の現在位置が変化していない場合には(ステップS40:NO)、シーン特定部168は、引き続き、シーンの変化の検出を待機する(ステップS38)。ステップS40の処理において、画像表示部20の現在位置の変化が検出された場合には(ステップS40:YES)、報知方法設定部165は、画像表示部20の変更後の現在位置に対応する新たな情報をHMD100の使用者に報知する(ステップS42)。
図10は、画像表示部20に注意画像TX2が表示された場合に使用者が視認する視野VRの一例を示す説明図である。図10には、自動車の運転手である使用者が装着した画像表示部20の現在位置が、交差点CR1に図9に示す視野VRよりも近くなった場合に、使用者が視認する視野VRが示されている。本実施形態では、交差点CR1が所定の距離以内(例えば、100メートル以内)に存在する場合、報知方法設定部165は、交通情報TD(図3)の他のデータに対応付けられた文字画像と、履歴記憶部124に記憶された過去履歴に対応付けられた文字画像とを含まない注意画像TX2を画像表示最大領域PNに表示させる。図10に示すように、注意画像TX2の1行目は、直前の交差点が交差点CR1であることを示す文字画像である。注意画像TX2の2行目は、使用者に注意を促す具体的な内容を示す文字画像である。また、報知方法設定部165は、注意画像TX2の表示に加え、音声による使用者への報知も行なう。報知方法設定部165は、イヤホン32,34を介して、注意画像TX2の文字画像を読み上げた音声を出力する。なお、注意画像TX1および注意画像TX2は、請求項における対応表示画像に相当する。
図7のステップS42の処理において、使用者に新たな情報が報知されると、操作部135は、情報報知処理を終了する所定の操作の受け付けたか否かを判定する(ステップS44)。所定の操作が受け付けられていないと判定された場合には(ステップS44:NO)、制御部10は、ステップS38以降の処理を繰り返す。ステップS44の処理において、所定の操作が受け付けられたと判定された場合には(ステップS44:YES)、制御部10は、情報報知処理を終了する。
以上説明したように、本実施形態のHMD100では、シーン特定部168は、カメラ61の撮像画像の中から検出されたシーン画像と、10軸センサー66によって検出されたシーン状態と、に基づいて使用者がおかれているシーンを特定する。機能決定部161は、特定されたシーンがシーン記憶部122に記憶された特定のシーンである場合に、HMD100において実行される機能を決定する。本実施形態のHMD100では、場所に限られない使用者がおかれているシーンに応じて、使用者に不要であると考えられるHMD100の機能を制限するため、状況に応じて使用者に必要な機能のみを提供でき、使用者の利便性が向上する。
また、本実施形態のHMD100では、シーンに対応付けられた注意画像TX1や注意画像TX2が画像表示部20に表示されるため、使用者は、シーンに関連する情報を視覚的に認識でき、使用者の利便性がより向上する。
また、本実施形態のHMD100では、無線通信部132は、GPSモジュール137によって特定された画像表示部20の現在位置をサーバー300へと送信し、かつ、サーバー300から選択交通情報を取得する。報知方法設定部165は、サーバー300から送信された選択交通情報に対応付けられた注意画像TX1,TX2を画像表示部20に表示させる。そのため、本実施形態のHMD100では、特定されたシーンに加えて、画像表示部20の現在位置も加味した注意画像TX1,TX2が画像表示部20に表示され、使用者がより必要とする情報を使用者に視認させることができ、使用者の使い勝手が向上する。
また、本実施形態のHMD100では、外部情報検出部169は、照度センサー63によって検出された外景照度と閾値とを比較する。検出された外景照度が第1の閾値以上の場合には、外景照度が第1の閾値未満のときと比較して、画像表示部20のBL221,222の輝度を上げる。そのため、本実施形態のHMD100では、外景の明るさに応じて、適切な輝度によって画像が表示されるため、使用者は、表示画像を視認しやすい。
本実施形態のHMD100では、外部情報検出部169は、特定されたシーンと、履歴記憶部124に記憶された使用者の過去履歴とを照合し、報知方法設定部165は、照合結果に対応付けられた注意画像TX1を画像表示部20に表示させる。本実施形態のHMD100では、個々の使用者の過去履歴を照合した上で、使用者によって異なる注意画像TX1が画像表示部20に表示されるため、使用者により適切な画像が視認され、使用者の利便性が向上する。
本実施形態のHMD100では、外部情報検出部169は、無線通信部132を介して、他の使用者の情報を含む選択交通情報をサーバー300から受信する。外部情報検出部169は、特定されたシーンと、選択交通情報に含まれる他の使用者の情報とを照合し、報知方法設定部165は、照合結果に対応付けられた注意画像TX1を画像表示部20に表示させる。本実施形態のHMD100では、HMD100の使用者と他の使用者との比較を行なった上での注意画像TX1が画像表示部20に表示されるため、使用者により適切な画像が視認され、使用者の利便性が向上する。
また、本実施形態のHMD100では、シーン特定部168は、特定のシーン画像として、カメラ61の撮像画像の中にハンドルHDにおける所定の位置を握っている左手LHおよび右手RHの画像が検出され、かつ、特定のシーン状態が検出された場合に、シーンを特定する。本実施形態のHMD100では、シーン画像としてパターンマッチング等によって具体的な画像を特定するため、シーンを特定しやすく、誤ったシーンを特定する誤作動が少ない。
また、本実施形態のHMD100では、10軸センサー66が画像表示部20と一体で構成されているため、使用者の動作を特定する10軸センサー66を単独の装置として使用者に装着させる必要がなく、使用者の使い勝手が向上する。
また、本実施形態のHMD100では、シーン特定部168は、シーン記憶部122に記憶されたシーン画像と同等の画像と、検出されたシーン画像に対応付けられているシーン状態との組み合わせを取得する。そのため、シーン画像が検出された後に、シーン画像に対応付けられたシーン状態の判定が行なわれるため、シーンを特定するための処理の負担を抑制できる。
B.変形例:
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
B−1.変形例1:
上記実施形態では、機能決定部161によって決定されるHMD100の機能は、コンテンツ等の動画や画像の表示であったが、決定される機能については、種々変形可能である。例えば、機能決定部161は、コンテンツ等の動画や画像のみではなく、画像表示最大領域PNに全ての画像を非表示にする決定をしてもよいし、イヤホン32,34によって出力される音声の音量を決定してもよい。また、機能決定部161は、カメラ61の撮像画像を記録してもよいし、画像表示部20または別体に配置されたマイクによって周囲の音声を取得して記録してもよい。
機能決定部161は、運転状態と特定された場合には、他の携帯端末との通話を行なう機能を使用禁止にしたり、交通案内を使用者に報知するナビゲーションアプリケーション(ナビアプリ)を起動させてもよい。ナビアプリは、目的地までの経路を案内するのに加えて、時刻が正午に近い場合などに、昼ごはんを食べられるレストランなどの情報を音声や画像によって使用者に報知してもよい。また、機能決定部161は、長時間の運転が使用者に及ぼす影響を記録および報知するアプリケーションを起動させてもよい。このアプリケーションは、例えば、1時間の連続運転が行なわれた場合に、使用者に休憩を促す報知を行なってもよいし、他のデータ(図3)や使用者の過去履歴と比較して、ブレーキを踏むタイミングが遅れてきた場合には、ブレーキをもっと早く踏むように促す報知や走行している道路における適切な速度の報知を行なってもよい。
上記実施形態では、報知方法設定部165は、画像表示部20に表示させる注意画像TX1および注意画像TX2として、使用者に交通情報TDに記憶された注意や規制に対応した文字画像が表示されたが、機能決定部161によって実行が決定された機能を表示させてもよいし、イヤホン32,34によって制御された機能を音声で出力してもよい。また、上記実施形態の情報報知処理におけるステップS46の処理において、報知方法設定部165は、注意画像TX1を表示したが、音声によって注意画像TX1を非表示にすることを使用者に報知してもよい。また、報知方法設定部165は、注意画像TX1や注意画像TX2のような文字画像ではなく、動画やその他の図形による画像などを画像表示部20に表示させてもよいし、過去履歴や選択交通情報における他のデータなどによって、文字画像の文字のフォントの大きさなどの表示態様を変更してもよい。また、機能決定部161は、過去履歴や選択交通情報におけるほかのデータなどに基づいて、HMD100に実行される機能を決定してもよい。
上記実施形態では、シーン特定部168が、シーン画像を検出した後に(図6のステップS16:YES)、シーン画像に対応付けられたシーン状態が取得された場合に(ステップS18:YES)、シーンを特定したが、シーン画像の検出とシーン状態の取得との順番については、種々変形可能である。シーン特定部168は、シーン状態が検出された後に、検出されたシーン状態に対応付けられたシーン画像を取得してもよい。シーン状態とシーン画像との組み合わせは、検出する順序も含めて種々変形可能である。によってシーンを特定する。
上記実施形態では、地域情報の一例として、交通情報TD(図3)について説明したが、地域情報については、種々変形可能である。例えば、交通情報TDにおけるカテゴリーは、図3に示した例に限られず、交差点や道路について規制や注意の情報だけではなく、交通情報TDに飲食店やガソリンスタンドなどの位置情報が含まれていてもよい。また、地域情報としては、交通情報だけではなく、観光案内情報などがサーバー300に記憶されていてもよい。
B−2.変形例2:
また、上記実施形態の画像表示部20に、使用者の右眼REと左眼LEとのそれぞれを撮像する右眼撮像部および左眼撮像部が配置され、右眼撮像部が撮像した右眼画像と、左眼撮像部が撮像した左眼画像とに基づいて、機能決定部161は、HMD100の機能の一部を制御する決定をしてもよい。図11は、変形例におけるHMD100aの外観構成を示す概略図である。変形例のHMD100aでは、上記実施形態のHMD100に対して、右眼撮像部37のカメラと、左眼撮像部38のカメラとが追加されている構成が異なり、他の構成については同じである。この変形例では、シーン特定部168は、右眼撮像部37の右眼画像と左眼撮像部38の左眼画像とに対して、パターンマッチング等の解析を行なうことにより、使用者の視線方向を特定する。特定されたシーンが運転状態であり、かつ、特定された使用者の視線方向が前方以外の方向であると特定された場合に、報知方法設定部165は、音声および画像によって、使用者に視線方向を前方に移すように促す報知を行なう。これにより、変形例のHMD100aでは、特定されたシーンに基づいて、使用者に行なうべき行動を報知することができるため、使用者の使い勝手がより向上する。なお、HMD100aにおける右眼撮像部37および左眼撮像部38とシーン特定部168とは、請求項における動作検出部に相当し、前方は、請求項における所定の方向に相当する。
B−3.変形例3:
また、上記実施形態の画像表示部20とは別体で構成された加速度センサーが使用者に装着され、当該加速度センサーが検出した使用者の加速度と、カメラ61の撮像画像とによって、シーンが特定されてもよい。図12は、変形例におけるHMD100bを装着した使用者USの概略図である。図12には、HMD100bを装着し、スキーをしている使用者USが示されている。この変形例のHMD100bは、本実施形態のHMD100に対して、制御部10および画像表示部20と別体の第1の加速度センサーP1および第2の加速度センサーP2を備える構成が異なり、他の構成については、同じである。この変形例では、第1の加速度センサーP1は、使用者USの右足の足首に装着され、第2の加速度センサーP2は、使用者USの左足の足首に装着されている。シーン特定部168は、第1の加速度センサーP1が検出した右足の加速度と、第2の加速度センサーP2が検出した左足の加速度と、カメラ61の撮像画像によって、使用者USがおかれているシーンとして、スキーをしている使用者USの動作を特定する。機能決定部161は、特定されたスキーのシーンに対応付けられたスキーのレクチャーアプリを起動させる。報知方法設定部165は、スキーのレクチャーアプリに対応付けられたレクチャーのための画像を画像表示部20に表示させ、レクチャーのための音声をイヤホン32,34に出力させる。この変形例のHMD100bでは、使用者USの頭部に装着される画像表示部20とは別体に第1の加速度センサーP1および第2の加速度センサーP2が構成されているため、使用者USの足や腕といったいろんな部位の加速度が検出できる。これにより、使用者USの加速度を検出する位置に応じて、より使用者に適切な機能の決定や情報の報知を行なうことができる。なお、この変形例における第1の加速度センサーP1および第2の加速度センサーP2は、請求項における動作検出部に相当する。
上記変形例のHMD100bでは、スキーのシーン以外のシーンにおいて、機能の決定や画像の表示が行なわれてもよい。例えば、特定されたシーンがランニングである場合に、第1の加速度センサーP1が使用者USの右腕に装着され、第2の加速度センサーP2が使用者USの左足に装着され、画像表示部20に望ましい両腕の振りや両足のスタンスなどについてのアドバイスの画像が表示されてもよい。また、第1の加速度センサーP1および第2の加速度センサーP2の代わりに、使用者USの脈拍が計測されてもよい。また、第1の加速度センサーP1および第2の加速度センサーP2のように、必ずしも2つの加速度センサーが必要ではなく、1つの加速度センサーであってもよいし、3つ以上の加速度センサーが構成されていてもよい。
B−4.変形例4:
上記実施形態では、制御部10に操作部135が形成されたが、操作部135の態様については種々変形可能である。例えば、制御部10とは別体で操作部135であるユーザーインターフェースがある態様でもよい。この場合に、操作部135は、電源130等が形成された制御部10とは別体であるため、小型化でき、使用者の操作性が向上する。また、カメラ61が画像表示部20に配置されたが、カメラ61が画像表示部20とは別体に構成され、外景SCを撮像できてもよい。また、制御部10の構成するCPU140や電源130が画像表示部20に全て搭載されたHMD100であってもよい。このHMD100では、画像表示部20と別体で構成されるコントローラーがないため、より小型化できる。また、制御部10と画像表示部20とのそれぞれに、CPU140が搭載されることで、制御部10がコントローラー単体として使用され、画像表示部20が表示装置単体として使用されてもよい。
例えば、画像光生成部は、有機EL(有機エレクトロルミネッセンス、Organic Electro-Luminescence)のディスプレイと、有機EL制御部とを備える構成としてもよい。また、例えば、画像光生成部は、LCDに代えて、LCOS(Liquid crystal on silicon, LCoS は登録商標)や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のHMD100に対して本発明を適用することも可能である。
また、例えば、HMD100は、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、HMD100は、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。また、HMD100は、両眼タイプの光学透過型であるとしているが、本発明は、例えば、ビデオ透過型といった他の形式の頭部装着型表示装置にも同様に適用可能である。
また、HMD100は、他の装置から受信した画像信号に基づく画像を表示するためだけの表示装置と用いられてもよい。具体的には、デスクトップ型のPCのモニターに相当する表示装置として用いられ、例えば、デスクトップ型のPCから画像信号を受信することで、画像表示部20の画像表示最大領域PNに画像が表示されてもよい。
また、HMD100は、システムの一部として機能するように用いられてもよい。例えば、航空機を含むシステムの一部の機能を実行するための装置としてHMD100が用いられてもよいし、HMD100が用いられるシステムとしては、航空機を含むシステムに限られず、自動車や自転車など含むシステムであってもよい。
また、イヤホンは耳掛け型やヘッドバンド型が採用されてもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載される頭部装着型表示装置として構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵された頭部装着型表示装置として構成されてもよい。
B−5.変形例5:
上記実施形態におけるHMD100の構成は、あくまで一例であり、種々変形可能である。例えば、制御部10に設けられた方向キー16を省略したり、方向キー16やトラックパッド14に加えて、操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部10は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
また、画像表示部として、眼鏡のように装着する画像表示部20に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン32,34は、適宜省略可能である。
図13は、変形例におけるHMDの外観構成を示す説明図である。図13(A)の例の場合、図1に示したHMD100との違いは、画像表示部20xが、右光学像表示部26に代えて右光学像表示部26xを備える点と、左光学像表示部28に代えて左光学像表示部28xを備える点とである。右光学像表示部26xは、上記実施形態の光学部材よりも小さく形成され、HMD100xの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部28xは、上記実施形態の光学部材よりも小さく形成され、HMD100xの装着時における使用者の左眼の斜め上に配置されている。図13(B)の例の場合、図1に示したHMD100との違いは、画像表示部20yが、右光学像表示部26に代えて右光学像表示部26yを備える点と、左光学像表示部28に代えて左光学像表示部28yを備える点とである。右光学像表示部26yは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部28yは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のHMD100として実現できる。
また、上記実施形態において、HMD100は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部160や音声処理部170は、CPU140がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
また、上記実施形態では、図1および図4に示すように、制御部10と画像表示部20とが別々の構成として形成されているが、制御部10と画像表示部20との構成については、これに限られず、種々変形可能である。例えば、画像表示部20の内部に、制御部10に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源130が単独で形成されて、交換可能な構成であってもよいし、制御部10に形成された構成が重複して画像表示部20に形成されていてもよい。例えば、図2に示すCPU140が制御部10と画像表示部20との両方に形成されていてもよいし、制御部10に形成されたCPU140と画像表示部20に形成されたCPUとが行なう機能が別々に分けられている構成としてもよい。
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
10…制御部
11…決定キー
12…点灯部
13…表示切替キー
14…トラックパッド
15…輝度切替キー
16…方向キー
17…メニューキー
18…電源スイッチ
20…画像表示部
21…右保持部
22…右表示駆動部
23…左保持部
24…左表示駆動部
26…右光学像表示部
28…左光学像表示部
30…イヤホンプラグ
32…右イヤホン
34…左イヤホン
37…右眼撮像部(動作検出部)
38…左眼撮像部(動作検出部)
40…接続部
42…右コード
44…左コード
46…連結部材
48…本体コード
51,52…送信部
53,54…受信部
61…カメラ(撮像部)
63…照度センサー(状況検出部)
66…10軸センサー(動作検出部)
100…HMD
120…記憶部
122…シーン記憶部
124…履歴記憶部
130…電源
132…無線通信部(情報送受信部)
135…操作部
137…GPSモジュール(位置特定部)
140…CPU
150…オペレーティングシステム(OS)
160…画像処理部
161…機能決定部
165…報知方法設定部(表示画像制御部)
166…情報照合部
168…シーン特定部(動作検出部)
169…外部情報検出部(状況検出部)
170…音声処理部
180…インターフェイス
190…表示制御部
201…右バックライト制御部
202…左バックライト制御部
211…右LCD制御部
212…左LCD制御部
221…右バックライト
222…左バックライト
241…右LCD
242…左LCD
251…右投写光学系
252…左投写光学系
261…右導光板
262…左導光板
300…サーバー
310…CPU
320…記憶部
325…交通情報DB
330…通信部
500…情報システム
VSync…垂直同期信号
HSync…水平同期信号
PCLK…クロック信号
P1…第1の加速度センサー(動作検出部)
P2…第2の加速度センサー(動作検出部)
OA…外部機器
SC…外景
TD…交通情報
HD…ハンドル(特定の対象)
LH…左手(特定の対象)
RH…右手(特定の対象)
RE…右眼
LE…左眼
EL…端部
ER…端部
IL…照明光
PL…画像光
PN…画像表示最大領域
AP…先端部
VR…視野
TX1,TX2…注意画像(対応表示画像)
IMG…撮像画像

Claims (15)

  1. 透過型の頭部装着型表示装置であって、
    外景を撮像する撮像部と、
    画像を表示すると共に前記外景を透過可能な画像表示部と、
    使用者の動作を検出する動作検出部と、
    検出された前記動作と、撮像された前記外景と、の組み合わせである動作状況が所定の状況である場合に、前記頭部装着型表示装置が実行可能な機能を決定する機能決定部と、を備える頭部装着型表示装置。
  2. 請求項1に記載の頭部装着型表示装置であって、さらに、
    前記動作状況が所定の状況である場合に、決定される前記機能と前記動作状況との少なくとも一方に対応付けられた対応表示画像を前記画像表示部に表示させる表示画像制御部を備える頭部装着型表示装置。
  3. 請求項2に記載の頭部装着型表示装置であって、さらに、
    前記動作状況が所定の状況である場合に、前記画像表示部の現在位置を特定する位置特定部と、
    特定された現在位置を示す位置情報を他の装置へと送信し、前記位置情報に基づく地域情報を受信する情報送受信部と、を備え、
    前記表示画像制御部は、前記対応表示画像として、受信された前記地域情報に対応付けられた画像を前記画像表示部に表示させる、頭部装着型表示装置。
  4. 請求項2または請求項3に記載の頭部装着型表示装置であって、
    前記動作検出部は、前記使用者の動作として、前記使用者の視線方向を検出し、
    前記表示画像制御部は、前記動作状況が所定の状況であると共に、検出された前記視線方向が所定の方向以外の方向である場合に、前記対応表示画像として、前記視線方向を前記所定の方向に変化させるように促す画像を前記画像表示部に表示させる、頭部装着型表示装置。
  5. 請求項2から請求項4までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記外景の明るさを検出する状況検出部を備え、
    前記機能決定部は、前記動作状況が所定の状況であると共に、検出された前記外景の明るさが予め設定された所定の明るさ以上である場合には、検出された前記外景の明るさが前記所定の明るさ未満である場合に前記画像表示部に表示される画像の輝度よりも高い輝度に設定する、頭部装着型表示装置。
  6. 請求項2から請求項5までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記動作状況が所定の状況である複数の時点において、検出された過去の前記動作の履歴を記憶する履歴記憶部を備え、
    前記動作状況が所定の状況である場合に、前記複数の時点において記憶された前記動作の履歴と、検出された前記使用者の動作と、を照合した結果に基づいて、前記機能決定部によって行なわれる前記機能の決定と前記画像表示部によって行なわれる前記対応表示画像の表示との少なくとも一方が行なわれる、頭部装着型表示装置。
  7. 請求項2から請求項6までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記動作状況が所定の状況である場合に、前記動作状況が所定の状況である複数の時点における他の使用者の前記動作の情報を、他の装置から受信する情報送受信部を備え、
    受信された前記他の使用者の前記動作と、検出された前記使用者の動作と、を照合した結果によって、前記機能決定部によって行なわれる前記機能の決定と前記画像表示部によって行なわれる前記対応表示画像の表示との少なくとも一方が行なわれる、頭部装着型表示装置。
  8. 請求項1から請求項7までのいずれか一項に記載の頭部装着型表示装置であって、
    前記撮像部は、前記外景の中から予め設定された特定の対象を検出し、
    前記動作状況は、検出された動作と、前記撮像部によって検出された前記特定の対象と、の組み合わせである、頭部装着型表示装置。
  9. 請求項1から請求項8までのいずれか一項に記載の頭部装着型表示装置であって、
    前記動作検出部は、前記画像表示部に一体で形成され、前記画像表示部の加速度に基づいて前記使用者の動作を検出する、頭部装着型表示装置。
  10. 請求項1から請求項9までのいずれか一項に記載の頭部装着型表示装置であって、
    前記動作検出部は、前記画像表示部とは別体で形成されると共に前記使用者の体に装着され、装着された部分の前記使用者の加速度に基づいて前記使用者の動作を検出する、頭部装着型表示装置。
  11. 外景の状況を検出
    請求項1から請求項10までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
    前記外景の状況を検出する状況検出部を備え、
    前記機能決定部は、前記動作状況が所定の状況であると共に、検出された前記外景の状況が所定の状況の場合に、検出された前記外景の状況に対応付けられた機能を決定する、頭部装着型表示装置。
  12. 請求項1から請求億10までのいずれか一項に記載の頭部装着型表示装置であって、
    前記所定の状況は、予め設定された前記外景の画像と、予め設定された前記外景の画像に対応付けられた使用者の動作と、の組み合わせである頭部装着型表示装置。
  13. 外景を撮像する撮像部と、画像を表示すると共に前記外景を透過可能な画像表示部と、を備える透過型の頭部装着型表示装置の制御方法であって、
    使用者の動作を検出する工程と、
    検出された前記動作と、撮像された前記外景と、の組み合わせである動作状況が所定の状況である場合に、前記頭部装着型表示装置が実行可能な機能を決定する工程と、を備える、制御方法。
  14. 透過型の頭部装着型表示装置と、地域情報を記憶する情報記憶装置と、を備える、情報システムであって、
    前記頭部装着型表示装置は、
    外景を撮像する撮像部と、
    画像を表示すると共に前記外景を透過可能な画像表示部と、
    使用者の動作を検出する動作検出部と、
    前記画像表示部の現在位置を特定する位置特定部と、
    特定された現在位置を示す位置情報を前記情報記憶装置と送信する情報送受信部と、を備え、
    前記情報記憶装置は、
    送信された前記画像表示部の位置情報を受信し、前記画像表示部の位置から所定の範囲の前記地域情報を前記情報送受信部へと送信する地域情報送信部を備え、
    前記情報送受信部は、送信された前記地域情報を受信し、
    前記頭部装着型表示装置は、さらに、
    検出された前記動作と、撮像された前記外景と、の組み合わせである動作状況が所定の状況である場合に、前記頭部装着型表示装置が実行可能な機能を決定する機能決定部と、
    受信された前記地域情報に対応付けられた画像を前記画像表示部に表示させる表示画像制御部と、を備える、情報システム。
  15. 外景を撮像する撮像部と、画像を表示すると共に前記外景を透過可能な画像表示部と、を備える透過型の頭部装着型表示装置のためのコンピュータープログラムであって、
    使用者の動作を検出する動作検出機能と、
    検出された前記動作と、撮像された前記外景と、の組み合わせである動作状況が所定の状況である場合に、前記頭部装着型表示装置が実行可能な機能を決定する機能制御機能と、をコンピューターに実現させる、コンピュータープログラム。
JP2014183284A 2014-09-09 2014-09-09 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム Pending JP2016057814A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014183284A JP2016057814A (ja) 2014-09-09 2014-09-09 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
US14/830,343 US20160070101A1 (en) 2014-09-09 2015-08-19 Head mounted display device, control method for head mounted display device, information system, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014183284A JP2016057814A (ja) 2014-09-09 2014-09-09 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム

Publications (2)

Publication Number Publication Date
JP2016057814A true JP2016057814A (ja) 2016-04-21
JP2016057814A5 JP2016057814A5 (ja) 2017-08-24

Family

ID=55437371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014183284A Pending JP2016057814A (ja) 2014-09-09 2014-09-09 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム

Country Status (2)

Country Link
US (1) US20160070101A1 (ja)
JP (1) JP2016057814A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5119636B2 (ja) * 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
KR20150104711A (ko) * 2014-03-06 2015-09-16 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10133343B2 (en) * 2015-12-02 2018-11-20 Tactonic Tecnologies, LLC Foot operated navigation and interaction for virtual reality experiences
CN107741782B (zh) * 2017-09-20 2022-12-13 国网山东省电力公司泰安供电公司 一种设备虚拟漫游方法和装置
WO2019209911A1 (en) * 2018-04-24 2019-10-31 Lc-Tec Displays Ab Viewing direction independent single-layer, pixelated light dimming filter
US20200280814A1 (en) * 2019-03-01 2020-09-03 Bose Corporation Augmented reality audio playback control
CN112506335B (zh) * 2019-09-16 2022-07-12 Oppo广东移动通信有限公司 头戴式设备及其控制方法、装置、系统和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256598A (ja) * 2000-03-08 2001-09-21 Honda Motor Co Ltd 危険箇所報知システム
JP2004519788A (ja) * 2001-03-30 2004-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 運転に対するドライバーの注意力を監視するシステム
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2010081319A (ja) * 2008-09-26 2010-04-08 Kyocera Corp 携帯電子機器
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP2013257492A (ja) * 2012-06-14 2013-12-26 Sony Corp 制御装置、表示装置、制御方法、照明制御方法及びプログラム
US20140002357A1 (en) * 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6972734B1 (en) * 1999-06-11 2005-12-06 Canon Kabushiki Kaisha Mixed reality apparatus and mixed reality presentation method
CN1922651A (zh) * 2004-06-10 2007-02-28 松下电器产业株式会社 穿戴型信息提示装置
US20100214111A1 (en) * 2007-12-21 2010-08-26 Motorola, Inc. Mobile virtual and augmented reality system
US20090237328A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Mobile virtual and augmented reality system
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9081416B2 (en) * 2011-03-24 2015-07-14 Seiko Epson Corporation Device, head mounted display, control method of device and control method of head mounted display
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
US10713846B2 (en) * 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
EP2941767A4 (en) * 2013-01-04 2016-08-31 Vuzix Corp PORTABLE AND PORTABLE INTERACTIVE INTELLIGENT DEVICES
US9261700B2 (en) * 2013-11-20 2016-02-16 Google Inc. Systems and methods for performing multi-touch operations on a head-mountable device
US20150187357A1 (en) * 2013-12-30 2015-07-02 Samsung Electronics Co., Ltd. Natural input based virtual ui system for mobile devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256598A (ja) * 2000-03-08 2001-09-21 Honda Motor Co Ltd 危険箇所報知システム
JP2004519788A (ja) * 2001-03-30 2004-07-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 運転に対するドライバーの注意力を監視するシステム
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2010081319A (ja) * 2008-09-26 2010-04-08 Kyocera Corp 携帯電子機器
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
JP2013257492A (ja) * 2012-06-14 2013-12-26 Sony Corp 制御装置、表示装置、制御方法、照明制御方法及びプログラム
US20140002357A1 (en) * 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム

Also Published As

Publication number Publication date
US20160070101A1 (en) 2016-03-10

Similar Documents

Publication Publication Date Title
US10175484B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US9898868B2 (en) Display device, method of controlling the same, and program
US9971155B2 (en) Head mounted display device and control method for head mounted display device
JP6155622B2 (ja) 表示装置、頭部装着型表示装置、表示装置の制御方法、および、頭部装着型表示装置の制御方法
JP6337433B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6476643B2 (ja) 頭部装着型表示装置、情報システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2016057814A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報システム、および、コンピュータープログラム
JP2016004340A (ja) 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10114604B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
JP2014241523A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2016082466A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US20160035137A1 (en) Display device, method of controlling display device, and program
JP2016024208A (ja) 表示装置、表示装置の制御方法、および、プログラム
JP6303274B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6135162B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6252002B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6582374B2 (ja) 表示装置およびその制御方法、並びにコンピュータープログラム
JP6201332B2 (ja) 音処理装置
JP6375662B2 (ja) 頭部装着型表示装置
JP2017117175A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2018107823A (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180828