JP2013168910A - ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 - Google Patents

ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 Download PDF

Info

Publication number
JP2013168910A
JP2013168910A JP2012032647A JP2012032647A JP2013168910A JP 2013168910 A JP2013168910 A JP 2013168910A JP 2012032647 A JP2012032647 A JP 2012032647A JP 2012032647 A JP2012032647 A JP 2012032647A JP 2013168910 A JP2013168910 A JP 2013168910A
Authority
JP
Japan
Prior art keywords
application
unit
display
head
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012032647A
Other languages
English (en)
Other versions
JP2013168910A5 (ja
JP5880115B2 (ja
Inventor
Yukinobu Kuriya
志伸 栗屋
Masatoshi Ueno
正俊 上野
Kenichi Kabasawa
憲一 樺澤
Daisuke Kawakami
大介 川上
Tetsuo Goto
哲郎 後藤
Naoko Sugano
尚子 菅野
Tsubasa Tsukahara
翼 塚原
Toshiyuki Nakagawa
俊之 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012032647A priority Critical patent/JP5880115B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2013/000557 priority patent/WO2013121730A1/en
Priority to US14/376,026 priority patent/US9523854B2/en
Priority to EP13704636.3A priority patent/EP2815291A1/en
Priority to CN201380008827.0A priority patent/CN104115100B/zh
Publication of JP2013168910A publication Critical patent/JP2013168910A/ja
Publication of JP2013168910A5 publication Critical patent/JP2013168910A5/ja
Application granted granted Critical
Publication of JP5880115B2 publication Critical patent/JP5880115B2/ja
Priority to US15/355,784 priority patent/US9857886B2/en
Priority to US15/826,198 priority patent/US20180081451A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザビリティの高いヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法を提供すること。
【解決手段】本技術に係るヘッドマウントディスプレイは、表示部と、装具と、検出部と、アプリケーション選択部と、情報管理部とを具備する。表示部は、画像を表示することが可能である。装具は、ユーザの頭部に装着され、表示部をユーザの眼前に支持する。検出部は、予め指定された正面方向を基準とする方向を検出方向として検出する。アプリケーション選択部は、検出方向に基づいてアプリケーションを選択する。情報管理部は、アプリケーション選択部によって選択されたアプリケーションによって生成された画像を表示部に表示させる。
【選択図】図2

Description

本技術は、アプリケーションの出力画像を切り替えて表示するヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法に関する。
ユーザの頭部に装着され、眼前に配置されたディスプレイに画像を表示させるヘッドマウントディスプレイ(以下、HMD)が知られている。HMDには、ディスプレイが外光を透過させず、表示画像のみをユーザに視覚させる非透過型HMDと、ディスプレイが外光を透過させ、表示画像をユーザの視界に重畳させる透過型HMDがある。例えば、特許文献1には、非透過型HMDである「視覚装置」が開示されている。
特開平6−78248号公報
特許文献1に記載のようなHMDは、コントローラによって操作可能なものが一般的である。しかしながら、HMDの着用者は視界が限られている場合も多く、コントローラによる操作ではユーザビリティが問題となる。
以上のような事情に鑑み、本技術の目的は、ユーザビリティの高いヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法を提供することにある。
以上のような事情に鑑み、本技術の一形態に係るヘッドマウントディスプレイは、表示部と、装具と、検出部と、アプリケーション選択部と、情報管理部とを具備する。
上記表示部は、画像を表示することが可能である。
上記装具は、ユーザの頭部に装着され、上記表示部をユーザの眼前に支持する。
上記検出部は、予め指定された正面方向を基準とする方向を検出方向として検出する。
上記アプリケーション選択部は、上記検出方向に基づいてアプリケーションを選択する。
上記情報管理部は、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる。
この構成によれば、ユーザがヘッドマウントディスプレイを、予め指定された正面方向から別の方向に向けることにより、アプリケーションが選択され、その出力画像が表示部表示される。即ち、ユーザは、ボタン等を用いた操作入力をすることなく、頭部を動かすだけでアプリケーションを切り替えることが可能であり、このヘッドマウントディスプレイは高いユーザビリティを有するものである。
上記表示部は、透過型ディスプレイであり、上記情報管理部は、上記検出方向が上記正面方向と異なるときに、上記画像を上記表示部に表示させてもよい。
この構成によれば、ユーザは、ヘッドマウントディスプレイを正面方向に向けているときには表示部を介して外部を見ることが可能である。一方ユーザは、必要に応じてヘッドマウントディスプレイを正面方向から別の方向に向けることにより、アプリケーションの出力画像を表示部に表示させることができる。したがって、ユーザは、何らかの作業(例えば料理)をしながら補助的にアプリケーションの出力画像(例えば料理のレシピ)を参照すること可能となる。
上記アプリケーション選択部は、上記正面方向から上記検出方向への遷移方向に応じて異なるアプリケーションを選択してもよい。
この構成によれば、ユーザは、HMDを正面方向から別方向に向ける際、その向ける方向(遷移方向)によって異なるアプリケーションの出力画像を参照することが可能となる。
上記アプリケーション選択部は、上記検出方向が上記正面方向と異なる方向で一定時間経過した場合には、選択されているアプリケーションを固定してもよい。
この構成によれば、ユーザが正面方向と異なる方向にHMDを向け、一定時間が経過した場合には、以降、HMDを正面方向に戻しても、そのアプリケーションの出力画像が表示部に表示される。ユーザが一定時間同じ方向にHMDを向けている場合には、ユーザはそのアプリケーションの出力画像を注視していると判断することができるため、ユーザの意図に従ったアプリケーションの選択が可能である。
上記アプリケーション選択部は、アプリケーションを固定した状態で一定時間経過した場合には、アプリケーションの固定を解除してもよい。
この構成によれば、上記のようにアプリケーションが固定された後、ユーザがHMDを正面方向に戻し、一定時間が経過した場合には、表示部をアプリケーションの固定前の状態に戻すことが可能となる。

上記情報管理部は、上記検出方向が上記正面方向と異なるときに、各アプリケーションの出力画像をメニュー表示させ、上記アプリケーション選択部は、上記検出方向が上記正面方向と一致したときのアプリケーションを選択してもよい。
この構成によれば、ユーザは、メニュー表示を利用して出力画像を表示させたいアプリケーションを選択することが可能となる。メニュー表示やそれによるアプリケーションの選択は、HMDの方向によって実行されるため、ユーザは頭部を動かすだけで任意のアプリケーションを選択することが可能である。
以上のような事情に鑑み、本技術の一形態に係るヘッドマウントディスプレイ制御プログラムは、アプリケーション生成部と、情報管理部とを具備する。
上記アプリケーション生成部は、画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択する。
上記情報管理部は、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる。
以上のような事情に鑑み、本技術の一形態に係るヘッドマウントディスプレイ制御方法は、アプリケーション選択部が、画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択する。
情報管理部が、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる。
以上のように、本技術によれば、本技術の目的は、ユーザビリティの高いヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法を提供することが可能となる。
本技術の第1の実施形態に係るヘッドマウントディスプレイの外観を示す模式図である。 同ヘッドマウントディスプレイの機能的構成を示すブロック図である。 同ヘッドマウントディスプレイの動作を示すシーケンス図である。 同ヘッドマウントディスプレイの方向と表示されるアプリケーションの例を示す模式図である。 同ヘッドマウントディスプレイの方向とスライド表示されるアプリケーションの出力画像を示す模式図である。 同ヘッドマウントディスプレイのメニュー表示を示す模式図である。 本技術の第2の実施形態に係る機能的構成を示すブロック図である。 同ヘッドマウントディスプレイの動作を示すシーケンス図である。 同ヘッドマウントディスプレイに表示されるアプリケーションの遷移を示す模式図である。
(第1の実施形態)
第1の実施形態に係るヘッドマウントディスプレイ(以下、HMD)について説明する。
[ヘッドマウントディスプレイの構成]
図1は、HMD100の外観を示す模式図であり、図2はHMD100の機能的構成を示す模式図である。
図1に示すように、HMD100は、装具102、表示部103、筐体104を有する。表示部103と筐体104はともに装具102に支持されている。また、装具102には、イヤフォン121が設けられている。図2に示すように、筐体104には情報管理部141、アプリケーション選択部142及び検出部143が収容されている。
装具102は、ユーザの頭部に装着され、表示部103をユーザの眼前に支持する。装具102の形状は特に限定されず、図1に示すようなメガネ型形状の他にも表示部103の支持が可能なあらゆる形状のものとすることができる。
表示部103は、ユーザの眼前において画像を表示することが可能なディスプレイであり、外光を透過させることが可能な透過型ディスプレイであるものとすることができる。透過型ディスプレイには、カメラによって撮像した周囲の画像をディスプレイに表示することにより、周囲を視認することが可能となるビデオ透過型ディスプレイと、ディスプレイ自体が光透過性を有する光学透過型ディスプレイがある。本実施形態においては、いずれの透過型ディスプレイであってもよい。
表示部103は、筐体104に収容された情報管理部141に接続され、情報管理部141において生成された画像を表示することが可能に構成されている。表示部103に表示される画像の詳細については後述する。
筐体104は、情報管理部141、アプリケーション選択部142及び検出部143を収容する。情報管理部141及びアプリケーション選択部142は、プロセッサやメモリ等のハードウェアとプログラムの協働によって実現されている。詳細は後述するが、アプリケーション選択部142は、検出部143の出力に基づいてアプリケーションを選択し、情報管理部141は、選択されたアプリケーションによって生成された画像を表示部103に表示させる。
検出部143は、自身の方向(即ち、HMD100の方向)を検出し、その出力を情報管理部141を介してアプリケーション選択部142に供給する。HMD100の方向は、HMD100を装着したユーザが頭部あるいは身体の向きを動かした場合に変動する。検出部143は具体的には、加速度センサ、ジャイロセンサ及び地磁気センサによって構成されたモーションセンサであるものとすることができる。また、検出部143はモーションセンサに限られず、HMD100の方向を検出することが可能なもの、例えば、カメラによって撮像された周囲の画像に対する画像処理によってHMD100の方向を検出するものとすることも可能である。
なお、本実施形態において、情報管理部141、アプリケーション選択部142及び検出部143は筐体104に収容されているものとしているが、これに限られない。例えば情報管理部141及びアプリケーション選択部142は別の情報処理装置(PC、スマートフォン等)に内蔵され、有線又は無線によって検出部143や表示部103と接続されているものとすることも可能である。
[ヘッドマウントディスプレイの動作]
以上のように構成されたHMD100の動作について説明する。図3は、HMD100の動作を示すシーケンス図である。
ユーザがHMD100を装着している状態で、アプリケーションAの出力画像が表示部103に表示されているものとする。また、表示部103が透過型ディスプレイである場合には、表示部103になんらの画像も表示されず、ユーザが表示部103を通して外部を見ている状態であってもよい。このときのHMD100の方向を「正面方向」と定義する。
情報管理部141は、所定時間毎に検出部143からHMD100の方向を示すセンサ値を取得する。続いて、情報管理部141は、センサ値をアプリケーション選択部142に供給する。
アプリケーション選択部142は、センサ値に基づいてアプリケーションを選択する。具体的には、センサ値が「正面方向」の範囲に含まれている場合にはそのままアプリケーションAを選択し、センサ値が「正面方向」の範囲を外れている場合(「非正面方向」とする)には別のアプリケーション(アプリケーションB)を選択するものとすることができる。
続いてアプリケーション選択部142は、選択したアプリケーションBを情報管理部141に通知する。情報管理部141は、通知されたアプリケーションBから表示画像を取得し、表示部103に表示させる。
以上の動作をユーザ側からみると次のようになる。即ち、ユーザがHMD100を装着して電源を入れるか又は所定の操作入力を実行すると、そのHMD100の方向が「正面方向」と定義される。このとき、表示部103には、アプリケーションAの出力画像が表示されている。
ユーザがいずれかの方向に頭部を振り向けると、それにともなってHMD100の方向も変更される。この際、HMD100の方向が正面方向の範囲を超える場合には、アプリケーションAに代わってアプリケーションBの出力画像が表示部103に表示される。したがって、ユーザは例えば、アプリケーションAを動画再生アプリケーションとし、アプリケーションBを時刻表示アプリケーションとして設定しておくと、動画再生中に頭部の向きを代え、HMD100を非正面方向に向けることにより時刻を確認することが可能となる。ユーザが頭部を正面方向に戻すと、再びアプリケーションAの出力画像が表示部103に表示される。
また、表示部103が透過型ディスプレイである場合には、HMD100は、アプリケーションAに替えて表示部103に何も表示しないものとすることも可能である。この場合、ユーザは、表示部103を透視して外部を見ている状態で、HMD100の方向を変えると、アプリケーションBの出力画像を視認することが可能となる。
HMD100の方向を変えることにより出力画像を視認することが可能となるアプリケーション(上記アプリケーションB)の例としては、次のようなものが挙げられる。即ち、天気、時計、一行ニュース、株価、為替、スケジュール、カレンダー、フォトフレーム、オークション価格、検索急上昇ワード、現在地マップ・情報等のそれぞれの表示アプリケーション等である。
上述の説明においては、HMD100の方向が正面方向から非正面方向に変わると、アプリケーションBの出力画像が表示部103に表示されるものとしたが、非正面方向への遷移方向毎に異なるアプリケーションの出力画像が表示部103に表示されるものとすることも可能である。図4は、HMD100の方向と、表示されるアプリケーションの例を示す模式図である。
アプリケーション選択部142は、HMD100が正面方向から右方向に向くとアプリケーションB、正面から左方向に向くとアプリケーションC、正面から上方向に向くとアプリケーションDのように、それぞれの遷移方向に応じて異なるアプリケーションを選択するものとすることができる。これにより、ユーザは、頭部を様々な方向に向けることで、種々のアプリケーションの出力画像を見ることが可能となる。
また、上述の説明においては、HMD100の方向が正面方向の範囲を超えると、アプリケーションB等の出力画像が表示部103に表示されるものとしたが、この際、エフェクトが生じるようにすることも可能である。図5は、HMD100の方向と、表示部103の表示画像の例を示す模式図である。
情報管理部141は、アプリケーション選択部142によってアプリケーションBが選択されると、HMD100の方向の程度に応じて、アプリケーションBの出力画像を表示部103の画面外からスライドさせて表示させることができる。これにより、ユーザが頭部を振り向ける程度に応じて、アプリケーションBの出力画像が次第に表示され、ユーザは自然に情報にアクセスしている感覚を得ることができる。
情報管理部141は、HMD100が正面方向に戻る際も同様に、アプリケーションBの出力画像を表示部103の画面外へスライドさせて表示させることができる。また、情報管理部141は、HMD100の方向が正面方向の範囲を超えると、HMD100の方向の程度に拠らず、アプリケーションBの出力画像を表示部103の画面外からスライドさせて表示させてもよい。
さらに、上述の説明においては、HMD100の方向に応じて表示部103に表示させるアプリケーションが選択されるものとしたが、この際にメニュー選択を利用することも可能である。図6は、メニュー選択の例を示す模式図である。
図6(a)に示すように、HMD100が正面方向から所定方向(例えば上方向)に向けられると、表示部103に複数のアプリケーションが並んで表示(メニュー表示)される。ユーザが首をかしげ、HMD100が傾けられると、図6(b)に示すようにメニュー表示されているアプリケーションがスライドして表示される。ユーザは、重力に従ってメニューがスライドする感覚で直感的にアプリケーションを選択することが可能である。また、HMD100が所定方向(例えば右方向)に向けられるとアプリケーションがスライドして表示されてもよい。ユーザが首を戻し、HMD100が正面方向に向けられると、図6(c)に示すようにアプリケーションが選択される。
以上のように本実施形態においては、ユーザは頭部を振り向けてHMD100の方向を変えることにより、表示部103に表示させるアプリケーションを切り替えることが可能であり、HMD100は高いユーザビリティを有するものであるといえる。
(第2の実施形態)
第2の実施形態に係るヘッドマウントディスプレイ(HMD)について説明する。本実施形態において、第1の実施形態と同様の構成については同一の符号を付し、説明を省略する。
[ヘッドマウントディスプレイの構成]
図7は第2の実施形態に係るHMD200の機能的構成を示す模式図である。なお、HMD200の外観は第1の実施形態と同様とすることができる。
HMD200は、情報管理部241、アプリケーション選択部242及び検出部243に加え、タイマ244を有する。タイマ244は情報管理部241に接続され、情報管理部241からの要求を受けて時間のカウントを開始し、情報管理部241にタイマー値を返す。
アプリケーション選択部242は、第1の実施形態においては検出部243の出力であるセンサ値に基づいてアプリケーションを選択するものとしたが、本実施形態においてはセンサ値に加え、タイマ244の出力であるタイマ値に基づいてアプリケーションを選択する。
情報管理部241、アプリケーション選択部242及びタイマ244は、第1の実施形態と同様に筐体に収容されていてもよく、別の情報処理装置(PC、スマートフォン等)に内蔵され、有線又は無線によって検出部243や表示部203と接続されているものとすることも可能である。
[ヘッドマウントディスプレイの動作]
以上のように構成されたHMD200の動作について説明する。図8は、HMD200の動作を示すシーケンス図である。
ユーザがHMD200を装着している状態で、アプリケーションAの出力画像が表示部203に表示されているものとする。また、表示部203が透過型ディスプレイである場合には、表示部203になんらの画像も表示されず、ユーザが表示部203を通して外部を見ている状態であってもよい。このときのHMD200の方向を「正面方向」と定義する。
情報管理部241は、所定時間毎に検出部243からHMD200の方向を示すセンサ値を取得する。続いて、情報管理部241は、センサ値をアプリケーション選択部242に供給する。さらに、アプリケーション選択部242は、タイマ244からタイマ値を取得する。
アプリケーション選択部242は、センサ値及びタイマ値に基づいてアプリケーションを選択する。具体的には、センサ値が「正面方向」の範囲を外れている場合(「非正面方向」)には別のアプリケーション(アプリケーションB)を選択する。センサ値が「正面方向」の範囲に含まれている場合には、タイマ値を参照し、タイマ値が所定時間を超えている場合にはアプリケーションBを選択し、タイマ値が所定時間以下の場合にはアプリケーションAを選択する。
アプリケーション選択部242は、アプリケーションの選択と同時にタイマ244に指示を出し、タイマをスタートさせる。上記アプリケーション選択部242がタイマ244からタイマ値を取得するステップにおいて取得されるタイマ値は、このときにスタートされたものである。即ち、アプリケーション選択部242は、所定時間にわたってアプリケーションBが選択されている場合には、センサ値が「正面方向」の範囲である場合であってもアプリケーションBを選択することになる。
即ち、HMD200が非正面方向に向けられ、アプリケーション選択部242がアプリケーションBを選択している時間が所定時間継続すれば、それ以降HMD200が正面方向に戻されてもアプリケーションAではなくアプリケーションBが選択(固定)される。HMD200が非正面方向に向けられて所定時間経過した場合、ユーザはアプリケーションBの出力画像を注視していると判断できるためである。
一方、アプリケーションBが固定されている状態で、HMD200が正面方向に向けられ、所定時間が経過すると、アプリケーションBの固定が解除され、元のアプリケーションAが選択される。
続いてアプリケーション選択部242は、選択したアプリケーションBを情報管理部241に通知する。情報管理部241は、通知されたアプリケーションBから表示画像を取得し、表示部203に表示させる。
以上の動作をユーザ側からみると次のようになる。図9は、表示部203に表示されるアプリケーションの遷移を示す模式図である。ユーザがHMD200を装着して電源を入れるか又は所定の操作入力を実行すると、そのHMD200の方向が「正面方向」と定義される。このとき、表示部203には、アプリケーションAの出力画像が表示されている(T1)。ユーザが頭部を正面方向に向けたままであれば、アプリケーションAの出力画像の表示が継続される(T1→T1)。
ユーザがいずれかの方向に頭部を振り向けると、それにともなってHMD200の方向も変更される。この際、HMD200の方向が正面方向の範囲を超える場合(「非正面方向」)には、アプリケーションAに代わってアプリケーションBの出力画像が表示部203に表示される(T1→T2)。所定時間経過前に、HMD200が正面に戻されると、再びアプリケーションAの表示画像が表示される(T2→T1)
ここで、ユーザがHMD200を、所定時間(タイマUP時間)を超えて非正面方向に向けている場合には、上記のようにアプリケーションBが固定される(T2→T3)。この状態で所定時間(タイマUP時間)が経過すると、アプリケーションBに代わってアプリケーションAの出力画像が表示部203に表示される(T3→T5)。一方、所定時間経過前にHMD200が正面方向に向けられると、アプリケーションBは固定されているため、継続してアプリケーションBの出力画像が表示部203に表示される(T3→t4)。
HMD200が正面方向に向けられている状態で所定時間(タイマUP時間)が経過すると、アプリケーションBの固定が解除され、再びアプリケーションAの出力画像が表示部203に表示される(T4→T1)。第1の実施形態と同様に、HMD200が別の非正面方向に向けられると、他のアプリケーション(アプリケーションC等)の出力画像が表示部203に表示される(T2→T2、T4→T2)。
HMD200の方向を変えることにより出力画像を視認することが可能となるアプリケーション(上記アプリケーションB)の例としては、第1の実施形態と同様である。即ち、天気、時計、一行ニュース、株価、為替、スケジュール、カレンダー、フォトフレーム、オークション価格、検索急上昇ワード、現在地マップ・情報等のそれぞれの表示アプリケーション等である。
本実施形態においては、HMD200が非正面方向に向けられている状態で所定時間が経過すると、表示中のアプリケーションが固定される。したがって、ユーザがそのアプリケーションの出力画像を注視したい場合に利便性が高い。なお、本実施形態においても第1の実施形態と同様に、メニュー表示による選択、スライドエフェクト等を適用することが可能である。
(変形例)
上記第1及び第2の実施形態において、アプリケーションの選択は、HMDの方向に基づいて実行されるものとしたが、さらにユーザの視線の情報が利用されるものとすることも可能である。具体的には、アプリケーション選択部が、上述したアプリケーションの固定や解除の際、ユーザの視線をジェスチャーとして利用すること等が考えられる。これにより、アプリケーションの選択にユーザの意図をより反映させやすくすることが可能となる。視線の認識は、例えば、HMDに設けられたカメラによって撮像されたユーザの眼球の画像に、画像処理を施すことによってすることが可能である。
また、アプリケーションの選択には、さらにHMDの位置情報が利用されるものとすることも可能である。具体的には、アプリケーション選択部が、HMDが一定以上のスピードで移動(即ちユーザが移動)していることを検出した場合には、アプリケーションの選択を停止し、表示部に何も表示させないものとすることができる。これによりユーザの往来での危険を防止することができる。位置情報は、例えばHMDに設けられたGPS(Global Positioning System)や加速度センサの出力等から取得することが可能である。
上記第2の実施形態において、アプリケーションの固定及び解除は、タイマによってカウントされるタイマUP時間によって決定されるものとしたが、タイマUP時間はHMDの方向の変化速度によって決定されるものとすることも可能である。また、タイマUP時間はアプリケーション毎に異なるものとすることも可能である。
また、アプリケーションの固定及び解除は、HMDに設けられた操作入力部(ボタン、タッチセンサ等)によってなされるものとすることも可能である。さらにアプリケーションの固定及び解除は、ユーザが頭部を動かすことによるジェスチャーによってなされてもよい。具体的は、例えば、ユーザがうなずくと固定、さらに上を向くと固定、首をかしげると固定、頭部を横に振ると解除、首をゆっくり戻すと固定されて付いてくる、正面で固定された状態で頭部を動かすと解除等である。
また、ユーザの視線情報によってアプリケーションの固定及び解除がなされてもよい。例えば、しばらく目を閉じると固定あるいは解除、目を閉じて首を戻すと固定、焦点が合うと固定、焦点が外れると開放、視線によるジェスチャー等である。さらに、手で払う、噛む、足踏み、ジャンプ等のユーザの身体的な動作よって固定あるいは解除がなされるものとすることも可能である。また、車や人が目の前に出てきたら解除する等、外部の状況に応じて固定あるいは解除がなされてもよい。
(応用例)
本技術に係るHMDの応用例について説明する。
[辞書]
ユーザがHMDを装着して書籍等の文章を閲覧している際に、HMDが正面方向に向けられている際には、表示部(透過型ディスプレイ)に何も表示されないが、HMDに設けられたカメラによって文字認識が実行され、文章中の単語が抽出されている。HMDが非正面方向に向けられると、辞書アプリケーションの出力結果(単語の意味や翻訳等)が表示部に表示される。ユーザの視線認識と組み合わせて、ユーザが注視している箇所の単語を抽出するようにしてもよい。
[字幕]
HMDが正面方向に向けられている際には、表示部に映画等の動画が表示されており、HMDが非正面方向に向けられると、動画の再生箇所に応じた字幕が表示される。なお、HMDが正面方向に向けられている際には表示部(透過型ディスプレイ)に何も表示されず、ユーザは表示部を透過して実際の動画を閲覧していてもよい。この場合、字幕は、画像認識により、あるいはネットワークを介して取得される。
[学習]
HMDが正面方向に向けられている際には、表示部に「問題」が表示されている。HMDが非正面方向に向けられると、その問題の解答やヒントが表示部に表示される。例えば、HMDが正面方向から上方向に向けられると問題のヒントが表示され、正面から下方向に向けられると問題の解答が表示されるものとすることができる。
[通知]
HMDが正面方向に向けられている際には、表示部に何も表示されず、あるいは何らかのアプリケーションの出力画像が表示されている。電子メールやSNS(social networking service)が受信されると、その通知が表示部に表示される。ユーザがHMDを非正面方向に向けると、電子メールやSNSのメッセージが表示部に表示される。メッセージは表示部の全体ではなく端部にのみ表示されてもよい。また、例えば、新着メールがない場合には、HMDが非正面方向に向けられても表示部の表示を変更しないものとすることもできる。
[後方確認]
HMDが正面方向に向けられている際には表示部に何も表示されず、ユーザは表示部(透過型ディスプレイ)を透過して前方を視認することができる。HMDが非正面方向に向けられると、搭載されたカメラによって撮像されている後方の画像が表示部に表示される。後方の画像は、動き認識が実行され、動いているものが強調表示されたものであってもよく、サーモグラフィ画像であってもよい。また、これらの各種画像が正面方向から非正面方向への遷移方向によってそれぞれ表示されるものとすることも可能である。
[作業支援]
HMDが正面方向に向けられている際には表示部に何も表示されず、ユーザは表示部(透過型ディスプレイ)を透過して前方を視認することができる。HMDが非正面方向に向けられると、作業手順(料理のレシピ等)が表示部に表示される。HMDが正面方向に向けられているときには作業手順が表示されないため、ユーザの作業を妨げない。
[その他]
HMDの方向によって、シソーラス(単語を関係性に応じて配置した図)における表示範囲を移動させ、ユーザが関連語を検索しやすくする。あるいは、HMDの方向によって天文図における表示範囲を移動させ、ユーザによる疑似天文観察を可能とする。また、HMDの方向によって仮想的なゲーム版を傾けるゲームを提供することも可能である。
本技術は、上記各実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において変更することが可能である。
なお、本技術は以下のような構成も採ることができる。
(1)
画像を表示することが可能な表示部と、
ユーザの頭部に装着され、上記表示部をユーザの眼前に支持する装具と、
予め指定された正面方向を基準とする方向を検出方向として検出する検出部と、
上記検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる情報管理部と
を具備するヘッドマウントディスプレイ。
(2)
上記(1)に記載のヘッドマウントディスプレイであって、
上記表示部は、透過型ディスプレイであり、
上記情報管理部は、上記検出方向が上記正面方向と異なるときに、上記画像を上記表示部に表示させる
ヘッドマウントディスプレイ。
(3)
上記(1)又は(2)に記載のヘッドマウントディスプレイであって、
上記アプリケーション選択部は、上記正面方向から上記検出方向への遷移方向に応じて異なるアプリケーションを選択する
ヘッドマウントディスプレイ。
(4)
上記(1)から(3)のうちいずれか一つに記載のヘッドマウントディスプレイであって、
上記アプリケーション選択部は、上記検出方向が上記正面方向と異なる方向で一定時間経過した場合には、選択されているアプリケーションを固定する
ヘッドマウントディスプレイ。
(5)
上記(1)から(4)のうちいずれか一つに記載のヘッドマウントディスプレイであって、
上記アプリケーション選択部は、アプリケーションを固定した状態で一定時間経過した場合には、アプリケーションの固定を解除する
ヘッドマウントディスプレイ。
(6)
上記(1)から(5)のうちいずれか一つに記載のヘッドマウントディスプレイであって、
上記情報管理部は、上記検出方向が上記正面方向と異なるときに、各アプリケーションの出力画像をメニュー表示させ、
上記アプリケーション選択部は、上記検出方向が上記正面方向と一致したときのアプリケーションを選択する
ヘッドマウントディスプレイ。
(7)
画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる情報管理部と
を具備するヘッドマウントディスプレイ制御プログラム。
(8)
アプリケーション選択部が、画像を表示することが可能な表示部と、ユーザの頭部に装着され上記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択し、
情報管理部は、上記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を上記表示部に表示させる
ヘッドマウントディスプレイの制御方法。
102…装具
103、203…表示部
104…筐体
121…イヤフォン
141、241…情報管理部
142、241…アプリケーション選択部
143、243…検出部
244…タイマ
100、200…HMD

Claims (8)

  1. 画像を表示することが可能な表示部と、
    ユーザの頭部に装着され、前記表示部をユーザの眼前に支持する装具と、
    予め指定された正面方向を基準とする方向を検出方向として検出する検出部と、
    前記検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
    前記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を前記表示部に表示させる情報管理部と
    を具備するヘッドマウントディスプレイ。
  2. 請求項1に記載のヘッドマウントディスプレイであって、
    前記表示部は、透過型ディスプレイであり、
    前記情報管理部は、前記検出方向が前記正面方向と異なるときに、前記画像を前記表示部に表示させる
    ヘッドマウントディスプレイ。
  3. 請求項1に記載のヘッドマウントディスプレイであって、
    前記アプリケーション選択部は、前記正面方向から前記検出方向への遷移方向に応じて異なるアプリケーションを選択する
    ヘッドマウントディスプレイ。
  4. 請求項1に記載のヘッドマウントディスプレイであって、
    前記アプリケーション選択部は、前記検出方向が前記正面方向と異なる方向で一定時間経過した場合には、選択されているアプリケーションを固定する
    ヘッドマウントディスプレイ。
  5. 請求項2に記載のヘッドマウントディスプレイであって、
    前記アプリケーション選択部は、アプリケーションを固定した状態で一定時間経過した場合には、アプリケーションの固定を解除する
    ヘッドマウントディスプレイ。
  6. 請求項1に記載のヘッドマウントディスプレイであって、
    前記情報管理部は、前記検出方向が前記正面方向と異なるときに、各アプリケーションの出力画像をメニュー表示させ、
    前記アプリケーション選択部は、前記検出方向が前記正面方向と一致したときのアプリケーションを選択する
    ヘッドマウントディスプレイ。
  7. 画像を表示することが可能な表示部と、ユーザの頭部に装着され前記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択するアプリケーション選択部と、
    前記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を前記表示部に表示させる情報管理部と
    を具備するヘッドマウントディスプレイ制御プログラム。
  8. アプリケーション選択部が、画像を表示することが可能な表示部と、ユーザの頭部に装着され前記表示部をユーザの眼前に支持する装具とを有するヘッドマウントディスプレイに搭載された検出部であって、予め指定された正面方向を基準とする方向を検出方向として検出する検出部によって検出された検出方向に基づいてアプリケーションを選択し、
    情報管理部は、前記アプリケーション選択部によって選択されたアプリケーションによって生成された画像を前記表示部に表示させる
    ヘッドマウントディスプレイの制御方法。
JP2012032647A 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法 Active JP5880115B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2012032647A JP5880115B2 (ja) 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US14/376,026 US9523854B2 (en) 2012-02-17 2013-02-01 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
EP13704636.3A EP2815291A1 (en) 2012-02-17 2013-02-01 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
CN201380008827.0A CN104115100B (zh) 2012-02-17 2013-02-01 头戴式显示器、用于控制头戴式显示器的程序及控制头戴式显示器的方法
PCT/JP2013/000557 WO2013121730A1 (en) 2012-02-17 2013-02-01 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US15/355,784 US9857886B2 (en) 2012-02-17 2016-11-18 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display
US15/826,198 US20180081451A1 (en) 2012-02-17 2017-11-29 Head-mounted display, program for controlling head-mounted display, and method of controlling head-mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012032647A JP5880115B2 (ja) 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Publications (3)

Publication Number Publication Date
JP2013168910A true JP2013168910A (ja) 2013-08-29
JP2013168910A5 JP2013168910A5 (ja) 2015-03-05
JP5880115B2 JP5880115B2 (ja) 2016-03-08

Family

ID=47720704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012032647A Active JP5880115B2 (ja) 2012-02-17 2012-02-17 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法

Country Status (5)

Country Link
US (3) US9523854B2 (ja)
EP (1) EP2815291A1 (ja)
JP (1) JP5880115B2 (ja)
CN (1) CN104115100B (ja)
WO (1) WO2013121730A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015108887A1 (en) * 2014-01-17 2015-07-23 Sony Computer Entertainment America Llc Using a second screen as a private tracking heads-up display
WO2015112361A1 (en) 2014-01-25 2015-07-30 Sony Computer Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
WO2016043537A1 (ko) * 2014-09-18 2016-03-24 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR20160055026A (ko) * 2014-11-07 2016-05-17 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
KR20160096246A (ko) * 2015-02-04 2016-08-16 강릉원주대학교산학협력단 헤드 마운트 디스플레이 장치 및 그 동작 방법
KR20160098137A (ko) * 2016-08-04 2016-08-18 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
EP3096205A1 (en) 2015-05-21 2016-11-23 Seiko Epson Corporation Portable display device, display system and display method
JP2016208370A (ja) * 2015-04-24 2016-12-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
JP2016212599A (ja) * 2015-05-07 2016-12-15 パナソニックIpマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
JPWO2014128752A1 (ja) * 2013-02-19 2017-02-02 株式会社ブリリアントサービス 表示制御装置、表示制御プログラム、および表示制御方法
KR101740806B1 (ko) * 2015-08-26 2017-05-29 한양대학교 에리카산학협력단 가상 현실을 이용한 인테리어 디자인 서비스 제공 방법 및 장치
WO2017126797A1 (ko) * 2016-01-22 2017-07-27 삼성전자 주식회사 Hmd 디바이스 및 그 제어 방법
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
KR101836374B1 (ko) * 2014-11-25 2018-03-12 주식회사 이랜텍 보안 성능이 강화된 스마트 안경
US9986207B2 (en) 2013-03-15 2018-05-29 Sony Interactive Entertainment America Llc Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks
US10216738B1 (en) 2013-03-15 2019-02-26 Sony Interactive Entertainment America Llc Virtual reality interaction with 3D printing
US10356215B1 (en) 2013-03-15 2019-07-16 Sony Interactive Entertainment America Llc Crowd and cloud enabled virtual reality distributed location network
US10474711B1 (en) 2013-03-15 2019-11-12 Sony Interactive Entertainment America Llc System and methods for effective virtual reality visitor interface
JP2020013589A (ja) * 2019-08-19 2020-01-23 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
US10565249B1 (en) 2013-03-15 2020-02-18 Sony Interactive Entertainment America Llc Real time unified communications interaction of a predefined location in a virtual reality location
US10599707B1 (en) 2013-03-15 2020-03-24 Sony Interactive Entertainment America Llc Virtual reality enhanced through browser connections
US10809798B2 (en) 2014-01-25 2020-10-20 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
US10613642B2 (en) * 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
CN105786167B (zh) * 2014-12-26 2019-11-26 联想(北京)有限公司 一种信息处理方法及电子设备
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
EP3076287A1 (de) * 2015-03-31 2016-10-05 SITEC GmbH Sicherheitseinrichtungen und technische Geräte Verfahren zum navigieren durch die auf der anzeigeeinheit eines mobilen elektronischen geräts dargestellten inhalte und mobiles elektronisches gerät mit einer anzeigeeinheit
CN105224186A (zh) * 2015-07-09 2016-01-06 北京君正集成电路股份有限公司 一种智能眼镜的屏幕显示方法及智能眼镜
CN111934704B (zh) * 2015-12-24 2023-02-24 索尼互动娱乐股份有限公司 频带确定装置、头戴式显示器和频带确定方法
CN105867608A (zh) * 2015-12-25 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实头盔的功能菜单翻页方法、装置及头盔
JP5996138B1 (ja) * 2016-03-18 2016-09-21 株式会社コロプラ ゲームプログラム、方法およびゲームシステム
JP2017216667A (ja) * 2016-05-31 2017-12-07 フォーブ インコーポレーテッド 画像提供システム
JP6122537B1 (ja) * 2016-09-08 2017-04-26 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
CN110023881B (zh) 2016-12-01 2022-07-08 昆山云英谷电子科技有限公司 基于区域的显示数据处理和传输
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CN108521816A (zh) * 2017-04-17 2018-09-11 深圳市柔宇科技有限公司 头戴式显示设备及其传感器功率调节方法
JP6684746B2 (ja) * 2017-05-12 2020-04-22 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム
US20200005791A1 (en) * 2018-06-29 2020-01-02 International Business Machines Corporation Audio content visualized by pico projection of text for interaction
US11366514B2 (en) 2018-09-28 2022-06-21 Apple Inc. Application placement based on head position
WO2020084625A1 (en) 2018-10-25 2020-04-30 Beyeonics Surgical Ltd. Ui for head mounted display system
US11055923B2 (en) 2018-12-19 2021-07-06 Samsung Electronics Co., Ltd. System and method for head mounted device input
WO2021061351A1 (en) 2019-09-26 2021-04-01 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
TWI750818B (zh) * 2020-09-24 2021-12-21 宏達國際電子股份有限公司 動態調整使用者界面方法、電子裝置及電腦可讀儲存媒體
US11175791B1 (en) * 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2009296228A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
WO2009150747A1 (ja) * 2008-06-13 2009-12-17 パイオニア株式会社 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3326820B2 (ja) 1992-08-28 2002-09-24 ソニー株式会社 視覚装置
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6091378A (en) * 1998-06-17 2000-07-18 Eye Control Technologies, Inc. Video processing methods and apparatus for gaze point tracking
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
CN100359363C (zh) * 2004-05-06 2008-01-02 奥林巴斯株式会社 头戴式显示装置
US20070052672A1 (en) * 2005-09-08 2007-03-08 Swisscom Mobile Ag Communication device, system and method
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US10031576B2 (en) * 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007134785A (ja) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc 頭部装着型の映像表示装置
JP2008033891A (ja) * 2006-06-27 2008-02-14 Matsushita Electric Ind Co Ltd 表示装置及びその制御方法
JP2009296228A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
JP2009294372A (ja) * 2008-06-04 2009-12-17 Nikon Corp ヘッドマウントディスプレイ装置
WO2009150747A1 (ja) * 2008-06-13 2009-12-17 パイオニア株式会社 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014128752A1 (ja) * 2013-02-19 2017-02-02 株式会社ブリリアントサービス 表示制御装置、表示制御プログラム、および表示制御方法
US10599707B1 (en) 2013-03-15 2020-03-24 Sony Interactive Entertainment America Llc Virtual reality enhanced through browser connections
US10474711B1 (en) 2013-03-15 2019-11-12 Sony Interactive Entertainment America Llc System and methods for effective virtual reality visitor interface
US11064050B2 (en) 2013-03-15 2021-07-13 Sony Interactive Entertainment LLC Crowd and cloud enabled virtual reality distributed location network
US10949054B1 (en) 2013-03-15 2021-03-16 Sony Interactive Entertainment America Llc Personal digital assistance and virtual reality
US10938958B2 (en) 2013-03-15 2021-03-02 Sony Interactive Entertainment LLC Virtual reality universe representation changes viewing based upon client side parameters
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US10565249B1 (en) 2013-03-15 2020-02-18 Sony Interactive Entertainment America Llc Real time unified communications interaction of a predefined location in a virtual reality location
US11272039B2 (en) 2013-03-15 2022-03-08 Sony Interactive Entertainment LLC Real time unified communications interaction of a predefined location in a virtual reality location
US10356215B1 (en) 2013-03-15 2019-07-16 Sony Interactive Entertainment America Llc Crowd and cloud enabled virtual reality distributed location network
US10320946B2 (en) 2013-03-15 2019-06-11 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US10216738B1 (en) 2013-03-15 2019-02-26 Sony Interactive Entertainment America Llc Virtual reality interaction with 3D printing
US9986207B2 (en) 2013-03-15 2018-05-29 Sony Interactive Entertainment America Llc Real time virtual reality leveraging web cams and IP cams and web cam and IP cam networks
US11809679B2 (en) 2013-03-15 2023-11-07 Sony Interactive Entertainment LLC Personal digital assistance and virtual reality
WO2015108887A1 (en) * 2014-01-17 2015-07-23 Sony Computer Entertainment America Llc Using a second screen as a private tracking heads-up display
US10096167B2 (en) 2014-01-25 2018-10-09 Sony Interactive Entertainment America Llc Method for executing functions in a VR environment
US11036292B2 (en) 2014-01-25 2021-06-15 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
CN112218068B (zh) * 2014-01-25 2024-03-19 索尼互动娱乐美国有限责任公司 头戴式显示器中的环境中断以及非视野不动产的利用
US9818230B2 (en) 2014-01-25 2017-11-14 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
WO2015112361A1 (en) 2014-01-25 2015-07-30 Sony Computer Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US11693476B2 (en) 2014-01-25 2023-07-04 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
EP3097552A4 (en) * 2014-01-25 2018-01-24 Sony Computer Entertainment America LLC Environmental interrupt in a head-mounted display and utilization of non field of view real estate
KR102374251B1 (ko) * 2014-01-25 2022-03-15 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용
JP2017506449A (ja) * 2014-01-25 2017-03-02 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー ヘッドマウントディスプレイにおける環境的な割り込み、及び非視野リアルエステートの利用
KR20210087570A (ko) * 2014-01-25 2021-07-12 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용
KR102275589B1 (ko) * 2014-01-25 2021-07-09 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용
CN112218068A (zh) * 2014-01-25 2021-01-12 索尼互动娱乐美国有限责任公司 头戴式显示器中的环境中断以及非视野不动产的利用
US10809798B2 (en) 2014-01-25 2020-10-20 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
CN106164993B (zh) * 2014-01-25 2020-10-20 索尼互动娱乐美国有限责任公司 头戴式显示器中的环境中断以及非视野不动产的利用
CN106164993A (zh) * 2014-01-25 2016-11-23 索尼互动娱乐美国有限责任公司 头戴式显示器中的环境中断以及非视野不动产的利用
KR20160113613A (ko) * 2014-01-25 2016-09-30 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 헤드-마운티드 디스플레이에서의 환경적 인터럽트 및 비 시야 리얼 에스테이트의 이용
CN106796351A (zh) * 2014-09-18 2017-05-31 爱父爱斯吉尔有限公司 通过视线控制的头戴式显示装置及其控制方法、用于控制该装置的计算机程序
WO2016043537A1 (ko) * 2014-09-18 2016-03-24 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
JP2017537368A (ja) * 2014-09-18 2017-12-14 エフエックスギア インコーポレイテッド 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
US10261581B2 (en) 2014-09-18 2019-04-16 Fxgear Inc. Head-mounted display controlled by sightline, method for controlling same, and computer program for controlling same
KR102309281B1 (ko) * 2014-11-07 2021-10-08 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
KR20160055026A (ko) * 2014-11-07 2016-05-17 삼성전자주식회사 오브젝트를 표시하는 방향 기반 전자 장치 및 방법
KR101836374B1 (ko) * 2014-11-25 2018-03-12 주식회사 이랜텍 보안 성능이 강화된 스마트 안경
KR101653591B1 (ko) * 2015-02-04 2016-09-12 강릉원주대학교산학협력단 헤드 마운트 디스플레이 장치 및 그 동작 방법
KR20160096246A (ko) * 2015-02-04 2016-08-16 강릉원주대학교산학협력단 헤드 마운트 디스플레이 장치 및 그 동작 방법
WO2016171404A1 (ko) * 2015-04-22 2016-10-27 삼성전자 주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
US11050810B2 (en) 2015-04-22 2021-06-29 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
US10397297B2 (en) 2015-04-22 2019-08-27 Samsung Electronics Co., Ltd. Method and apparatus for transmitting and receiving image data for virtual-reality streaming service
US10747488B2 (en) 2015-04-24 2020-08-18 Panasonic Intellectual Property Corporation Of America Head-mounted display apparatus worn on user's head
JP2016208370A (ja) * 2015-04-24 2016-12-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
US10359982B2 (en) 2015-04-24 2019-07-23 Panasonic Intellectual Property Corporation Of America Head-mounted display apparatus worn on user's head
JP2016212599A (ja) * 2015-05-07 2016-12-15 パナソニックIpマネジメント株式会社 表示制御方法、ヘッドマウントディスプレイ、およびプログラム
EP3096205A1 (en) 2015-05-21 2016-11-23 Seiko Epson Corporation Portable display device, display system and display method
KR101740806B1 (ko) * 2015-08-26 2017-05-29 한양대학교 에리카산학협력단 가상 현실을 이용한 인테리어 디자인 서비스 제공 방법 및 장치
US10845869B2 (en) 2016-01-22 2020-11-24 Samsung Electronics Co., Ltd. HMD device and control method therefor
WO2017126797A1 (ko) * 2016-01-22 2017-07-27 삼성전자 주식회사 Hmd 디바이스 및 그 제어 방법
KR20160098137A (ko) * 2016-08-04 2016-08-18 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR101879235B1 (ko) * 2016-08-04 2018-07-17 (주)에프엑스기어 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
JP2020013589A (ja) * 2019-08-19 2020-01-23 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム

Also Published As

Publication number Publication date
CN104115100B (zh) 2018-01-26
US9857886B2 (en) 2018-01-02
EP2815291A1 (en) 2014-12-24
US9523854B2 (en) 2016-12-20
US20150009132A1 (en) 2015-01-08
WO2013121730A1 (en) 2013-08-22
CN104115100A (zh) 2014-10-22
US20170068336A1 (en) 2017-03-09
US20180081451A1 (en) 2018-03-22
JP5880115B2 (ja) 2016-03-08

Similar Documents

Publication Publication Date Title
JP5880115B2 (ja) ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
US10416835B2 (en) Three-dimensional user interface for head-mountable display
RU2638004C2 (ru) Устройство обработки информации, способ управления отображением и программа
Starner How wearables worked their way into the mainstream
JP7389270B2 (ja) 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
US20160011724A1 (en) Hands-Free Selection Using a Ring-Based User-Interface
US20150193098A1 (en) Yes or No User-Interface
JP2015537276A (ja) ヘッドマウントディスプレイの使用が、非ユーザから見てあまり分からないようにするための方法およびシステム
Vidal et al. Looking at or through? using eye tracking to infer attention location for wearable transparent displays
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
JP7505088B2 (ja) 連携表示システム
WO2023230291A2 (en) Devices, methods, and graphical user interfaces for user authentication and device management
US20160371240A1 (en) Serial text presentation
US20240152244A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240104861A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240103701A1 (en) Methods for interacting with user interfaces based on attention
US20240152256A1 (en) Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
WO2024064278A1 (en) Devices, methods, and graphical user interfaces for interacting with extended reality experiences
JP2023542234A (ja) ユーザインタフェースに関連付けられた没入感を調整及び/又は制御する方法
WO2024064230A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R151 Written notification of patent or utility model registration

Ref document number: 5880115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250