JP2019092216A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2019092216A
JP2019092216A JP2019030787A JP2019030787A JP2019092216A JP 2019092216 A JP2019092216 A JP 2019092216A JP 2019030787 A JP2019030787 A JP 2019030787A JP 2019030787 A JP2019030787 A JP 2019030787A JP 2019092216 A JP2019092216 A JP 2019092216A
Authority
JP
Japan
Prior art keywords
luminance
illuminance
information
information indicating
luminance determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019030787A
Other languages
English (en)
Other versions
JP6750697B2 (ja
Inventor
博隆 石川
Hirotaka Ishikawa
博隆 石川
岩津 健
Takeshi Iwazu
健 岩津
翼 塚原
Tsubasa Tsukahara
翼 塚原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019092216A publication Critical patent/JP2019092216A/ja
Application granted granted Critical
Publication of JP6750697B2 publication Critical patent/JP6750697B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/022Centralised management of display operation, e.g. in a server instead of locally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させる。【解決手段】ユーザのモーションを示す情報を含む状況情報に基づいて、実空間に重畳される画像をユーザに知覚させるためにウェアラブル光学装置によって射出される光の輝度を決定するための輝度決定プロセスを、第1の輝度決定プロセスと第2の輝度決定プロセスを含む複数の輝度決定プロセスから選択し、選択した輝度決定プロセスと、実空間からユーザに向けてウェアラブル光学装置に入射する光の照度を示す照度情報と、に基づいて、輝度を決定する輝度決定部と、ウェアラブル光学装置を制御して、決定された輝度で光を射出させる制御部と、を備え、第1の輝度決定プロセスにおいて所定の照度に応じて決定される輝度は、第2の輝度決定プロセスにおいて所定の照度に応じて決定される輝度以上である、情報処理装置が提供される。【選択図】図4

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、実空間の像に重畳する仮想的な画像を観察者に知覚させることが可能な光学装置が種々開発されている。こうした光学装置は、例えばウェアラブル光学装置であり、特にユーザの頭部に装着されるものはヘッドマウントディスプレイ(HMD:Head Mounted Display)として知られている。HMDとして、例えば観察者の瞳の前方に設けられるハーフミラーを表示面として、そこに画像(実像)を結像させるタイプのものが知られている。また、光学系を用いて画像表示光を観察者の眼に導光することによって画像(虚像)を知覚させるタイプのHMDも開発されている。例えば、特許文献1には、観察者の眼に対して横方向から画像表示光を導光して眼に入射させることが可能なHMDを実現するための技術が記載されている。
また、こうしたHMDを用いて実空間の像と仮想的な画像とを観察するときに、実空間の明るさが変化しても画像の視認性を保つための技術も提案されている。例えば、特許文献2には、観察者の眼の前方からHMDの光学系を透過して観察者の眼に導かれる光の照度を検出し、照度が明領域から暗領域に変化した場合には画像表示光の輝度を徐々に暗くし、照度が暗領域から明領域に変化した場合には画像表示光の輝度を徐々に明るくする技術が記載されている。この技術によれば、観察者の眼の前方から光学系を透過して観察者の眼に導かれる光の照度が非常に明るくても暗くても、画像を良好に視認することができる。
特許第4776285号公報 特開2011−175035号公報
例えば特許文献1に記載されたような技術や、その他の技術を利用することによって、HMDのようなウェアラブル光学装置の小型化および軽量化が進んでいる。それゆえ、こうしたウェアラブル光学装置は、より多様な状況において利用されるものになりつつある。このような中、ウェアラブル光学装置によって提供される画像の視認性を向上させるための方法として、例えば特許文献2に記載されたような技術では必ずしも十分とはいえなくなっている。つまり、単に観察者の眼に導かれる光の照度が明るいか暗いかという条件には限らず、観察者およびウェアラブル光学装置の周辺で発生するさまざまな状況に対応して画像の視認性を向上させるための技術が希求されている。
そこで、本開示では、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることが可能な、新規かつ改良された電子機器、および画像の提供方法を提案する。
本開示によれば、ユーザのモーションを示す情報を含む状況情報に基づいて、実空間に重畳される画像を前記ユーザに知覚させるためにウェアラブル光学装置によって射出される光の輝度を決定するための輝度決定プロセスを、第1の輝度決定プロセスと第2の輝度決定プロセスを含む複数の輝度決定プロセスから選択し、前記選択した輝度決定プロセスと、前記実空間から前記ユーザに向けて前記ウェアラブル光学装置に入射する光の照度を示す照度情報と、に基づいて、輝度を決定する輝度決定部と、前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させる制御部と、を備え、前記第1の輝度決定プロセスにおいて所定の照度に応じて決定される輝度は、前記第2の輝度決定プロセスにおいて前記所定の照度に応じて決定される輝度以上である、情報処理装置が提供される。
また、本開示によれば、ユーザのモーションを示す情報を含む状況情報に基づいて、実空間に重畳される画像を前記ユーザに知覚させるためにウェアラブル光学装置によって射出される光の輝度を決定するための輝度決定プロセスを、第1の輝度決定プロセスと第2の輝度決定プロセスを含む複数の輝度決定プロセスから選択することと、前記選択された輝度決定プロセスと、前記実空間から前記ユーザに向けて前記ウェアラブル光学装置に入射する光の照度を示す照度情報と、に基づいて、輝度を決定することと、前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させることと、を含み、前記第1の輝度決定プロセスにおいて所定の照度に応じて決定される輝度は、前記第2の輝度決定プロセスにおいて前記所定の照度に応じて決定される輝度以上である、情報処理方法が提供される。
また、本開示によれば、コンピュータのプロセッサに、ユーザのモーションを示す情報を含む状況情報に基づいて、実空間に重畳される画像を前記ユーザに知覚させるためにウェアラブル光学装置によって射出される光の輝度を決定するための輝度決定プロセスを、第1の輝度決定プロセスと第2の輝度決定プロセスを含む複数の輝度決定プロセスから選択する機能と、前記選択した輝度決定プロセスと、前記実空間から前記ユーザに向けて前記ウェアラブル光学装置に入射する光の照度を示す照度情報と、に基づいて、輝度を決定する機能と、前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させる機能と、を実現させ、前記第1の輝度決定プロセスにおいて所定の照度に応じて決定される輝度は、前記第2の輝度決定プロセスにおいて前記所定の照度に応じて決定される輝度以上である、プログラムが提供される。
ウェアラブル光学装置の周辺状況を示す状況情報を、画像を知覚させるためにウェアラブル光学装置によって射出される光の輝度に反映させることによって、多様な周辺状況に対応して画像の視認性を向上させることができる。
以上説明したように本開示によれば、多様な周辺状況に対応して、ウェアラブル光学装置によって提供される画像の視認性を向上させることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。 図1に示すシステムの概略的な機能構成を示すブロック図である。 本開示の第1の実施形態に係るシステムにおける処理シーケンスの例を示す図である。 本開示の第1の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第1の実施形態における照度センサの取り付け位置の例を示す図である。 本開示の第1の実施形態において用いられる関数の例を示す図である。 本開示の第1の実施形態における輝度の値の平滑化の例を示す図である。 本開示の第1の実施形態における処理について説明するための図である。 図8に示すスイッチの動作の例を示すフローチャートである。 本開示の第2の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第2の実施形態において用いられる関数の例を示す図である。 本開示の第2の実施形態における処理の例を示すフローチャートである。 本開示の第2の実施形態の変形例における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第3の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第3の実施形態における光学的なアタッチメントの装着の例を示す図である。 本開示の第3の実施形態における処理の例を示すフローチャートである。 本開示の第4の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。 本開示の第4の実施形態におけるノイズ除去について説明するための図である。 本開示の第4の実施形態における照度ノイズ低減部の動作の例を示すフローチャートである。 本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1−1.システム構成
1−2.画像表示光の輝度制御
2.第2の実施形態
3.第3の実施形態
4.第4の実施形態
5.ハードウェア構成
6.補足
(1.第1の実施形態)
(1−1.システム構成)
図1は、本開示の第1の実施形態に係るシステムの概略的な構成を示す図である。図2は、図1に示すシステムの概略的な機能構成を示すブロック図である。図1および図2を参照すると、システム10は、ヘッドマウントディスプレイ(HMD)100と、スマートフォン200と、サーバ300とを含む。以下、それぞれの機器の構成について説明する。
(ヘッドマウントディスプレイ)
HMD100は、ディスプレイユニット110と、コントロールユニット160とを含む。ディスプレイユニット110は、例えば眼鏡型の筐体を有し、ユーザ(観察者)の頭部に装着される。コントロールユニット160は、ディスプレイユニット110にケーブルで接続される。
ディスプレイユニット110は、図1に示されるように、光源112と、導光板114とを備える。光源112は、コントロールユニット160の制御に従って画像表示光を射出する。導光板114は、光源112から入射した画像表示光を導光し、ユーザの眼に対応する位置で画像表示光を出射する。ユーザの眼には、実空間から入射して導光板114を透過する光と、導光板114によって光源112から導光された画像表示光とが入射する。これによって、ディスプレイユニット110を装着したユーザは、実空間に重畳される画像を知覚することができる。なお、光源112から導光板114を介して画像表示光を出射させるための構成には、例えば上述した特許4776285号公報に記載されたような技術が用いられてもよい。ディスプレイユニット110は、このような構成のための図示しない光学系をさらに備えてもよい。
さらに、ディスプレイユニット110は、図2に示されるように、照度センサ116と、モーションセンサ118と、カメラ120とを備える。照度センサ116は、実空間からユーザ(観察者)に向けてディスプレイユニット110に入射する光の照度を検出する。後述するように、照度センサから出力される照度情報は、光源112が射出する画像表示光の輝度を制御するために利用される。このため、照度センサ116は、実空間におけるユーザの視界に対応する領域の照度を検出するように、指向性を有していてもよい。モーションセンサ118は、例えば、3軸加速度センサ、3軸ジャイロセンサ、および3軸地磁気センサを含む。これらのセンサによって検出されるディスプレイユニット110の加速度、角速度、および方位に基づいて、ディスプレイユニット110の姿勢や動き(変位および回転)を特定することができる。ディスプレイユニット110がユーザの頭部に装着されている場合、ディスプレイユニット110の姿勢や動きは、ユーザの頭部の姿勢や動きとみなされてもよい。カメラ120は、実空間の画像を撮影する。カメラ120によって撮影される画像は、例えば、実空間におけるユーザの視界に対応する画像として扱われる。
コントロールユニット160は、プロセッサ162と、メモリ164と、通信装置166と、入力キー168と、タッチセンサ170と、マイクロフォン172と、スピーカ174と、バッテリー176とを備える。プロセッサ162は、メモリ164に格納されたプログラムに従って動作することによって各種の機能を実現する。後述する照度情報取得部、輝度決定部、および制御部などの機能は、例えばプロセッサ162によって実現される。プロセッサ162は、ケーブルを介した有線通信によってディスプレイユニット110に制御信号を送信し、光源112による画像表示光の射出を制御する。また、プロセッサ162は、ディスプレイユニット110に備えられる照度センサ116、モーションセンサ118、およびカメラ120から出力されたデータを取得し、これらに基づく処理を実行する。
メモリ164は、プロセッサ162の動作のためのさまざまなデータを格納する。例えば、メモリ164は、プロセッサ162が各種機能を実現するためのプログラムを格納する。また、メモリ164は、ディスプレイユニット110の照度センサ116、モーションセンサ118、およびカメラ120から出力されたデータを一時的に格納する。通信装置166は、スマートフォン200との間で無線通信を実行する。無線通信には、例えばBluetooth(登録商標)またはWi−Fiなどが用いられる。入力キー168は、例えば戻るキーやPTT(Push to Talk)キーなどを含み、HMD100に対するユーザ操作を取得する。タッチセンサ170も、同様にHMD100に対するユーザ操作を取得する。より具体的には、例えば、タッチセンサ170は、ユーザによるタップやスワイプなどの操作を取得する。
マイクロフォン172は、音声を音声信号に変換し、プロセッサ162に提供する。スピーカ174は、プロセッサ162の制御に従って音声を出力する。バッテリー176は、コントロールユニット160およびディスプレイユニット110の全体に電源を供給する。なお、HMD100では、プロセッサ162やマイクロフォン172、スピーカ174、バッテリー176などをコントロールユニット160に搭載し、ディスプレイユニット110とコントロールユニット160とを分離してケーブルで接続することによって、ディスプレイユニット110の小型化および軽量化を図っている。コントロールユニット160もまたユーザによって携帯されるため、可能な限り小型化および軽量化することが望ましい。そこで、例えば、プロセッサ162が実現する機能をディスプレイユニット110の制御のための最低限の機能とし、それ以外の機能についてはスマートフォン200で実現することによって、プロセッサ162の消費電力の低減によるバッテリー176およびコントロールユニット160全体の小型化を図ってもよい。
(スマートフォン)
スマートフォン200は、プロセッサ202と、メモリ204と、通信装置206,208と、センサ210と、ディスプレイ212と、タッチパネル214と、GPS(Global Positioning System)受信機216と、マイクロフォン218と、スピーカ220と、バッテリー222とを備える。プロセッサ202は、メモリ204に格納されたプログラムに従って動作することによって各種の機能を実現する。上述の通り、プロセッサ202がHMD100のコントロールユニット160が備えるプロセッサ162と協働して各種の機能を実現することによって、コントロールユニット160を小型化することができる。メモリ204は、スマートフォン200の動作のためのさまざまなデータを格納する。例えば、メモリ204は、プロセッサ202が各種機能を実現するためのプログラムを格納する。また、メモリ204は、センサ210やGPS受信機216によって取得されたデータ、およびHMD100との間で送受信されるデータを、一時的または継続的に格納する。
通信装置206は、HMD100のコントロールユニット160が備える通信装置166との間で、Bluetooth(登録商標)またはWi−Fiなどを用いた無線通信を実行する。また、通信装置208は、サーバ300との間でネットワーク通信を実行する。ネットワーク通信は、例えば携帯電話網を経由して実行されてもよい。ディスプレイ212は、プロセッサ202の制御に従って各種の画像を表示する。タッチパネル214は、ディスプレイ212上に配置され、ディスプレイ212に対するユーザのタッチ操作を取得する。GPS受信機216は、スマートフォン200の緯度、経度、および高度を測定するためのGPS信号を受信する。マイクロフォン218は、音声を音声信号に変換し、プロセッサ202に提供する。スピーカ220は、プロセッサ202の制御に従って音声を出力する。バッテリー222は、スマートフォン200の全体に電源を供給する。
(サーバ)
サーバ300は、プロセッサ302と、メモリ304と、通信装置306とを備える。なお、サーバ300は、例えばネットワーク上で複数のサーバ装置が協働することによって実現されるが、ここでは説明を簡単にするために仮想的な単一の装置として説明する。プロセッサ302は、メモリ304に格納されたプログラムに従って動作することによって各種の機能を実現する。サーバ300のプロセッサ302は、例えば、スマートフォン200から受信したリクエストに応じて各種の情報処理を実行し、結果をスマートフォン200に送信する。メモリ304は、サーバ300の動作のためのさまざまなデータを格納する。例えば、メモリ304は、プロセッサ302が各種機能を実現するためのプログラムを格納する。メモリ304は、さらに、スマートフォン200からアップロードされたデータを一時的または継続的に格納してもよい。通信装置306は、スマートフォン200との間で、例えば携帯電話網を経由したネットワーク通信を実行する。
以上、本開示の第1の実施形態におけるシステム構成について説明した。なお、本実施形態において、HMD100は、ウェアラブル光学装置(ディスプレイユニット110)を含む電子機器の一例である。上述の通り、HMD100は、導光板114を用いて画像表示光を観察者の眼に導光することによって画像を知覚させる。従って、ディスプレイという用語が用いられているが、HMD100は必ずしも表示面に画像を結像させるものではない。もちろん、他の方式のHMDとして知られているように、HMD100に代えて表示面に画像を結像させるタイプのHMDが用いられてもよい。この場合、画像表示光は、例えば表示面に投影されてもよいし(プロジェクタの場合)、表示面に配設された発光素子によって射出されてもよいし(有機ELディスプレイなどの場合)、表示面の背面または側面に配設された光源から射出された光が表示面において変調されたものであってもよい(液晶ディスプレイの場合)。いずれの場合も、画像表示光は、例えばコントロールユニット160が備えるプロセッサ162によって決定された所定の輝度で、ディスプレイユニット110から射出される。なお、本明細書における「射出」という用語は、上記の例のように、光源が導光板や表示面などに向けて光を発することを意味する。つまり、「射出」という用語は、必ずしも、光源が発する光がウェアラブル光学装置の外部に向けられていることを意味するのではない。
また、上記のシステム構成は一例であり、他にもさまざまなシステム構成が可能である。例えば、HMD100は、必ずしもディスプレイユニット110とコントロールユニット160とに分離していなくてもよく、例えば上記で説明したHMD100の構成の全体が、ディスプレイユニット110のような眼鏡型の筐体に集約されていてもよい。また、既に述べた通り、HMD100を制御するための機能の少なくとも一部が、スマートフォン200で実現されてもよい。あるいは、ディスプレイユニット110もプロセッサを備え、HMD100における情報処理がコントロールユニット160のプロセッサ162とディスプレイユニット110のプロセッサとの協働によって実現されてもよい。
さらなる変形例として、システム10がスマートフォン200を含まず、HMD100とサーバ300との間で直接的に通信が実行されてもよい。また、システム10において、スマートフォン200は、HMD100およびサーバ300の両方との通信を実行することが可能な他の装置、例えばタブレット端末、パーソナルコンピュータ、または携帯型ゲーム機などによって代替されてもよい。
図3は、本開示の第1の実施形態に係るシステムにおける処理シーケンスの例を示す図である。図3を参照すると、まず、HMD100のコントロールユニット160において、例えばタッチセンサ170などを介してユーザ操作が入力される(S101)。このとき、プロセッサ162は、ユーザ操作の内容を示す情報を、通信装置166を介してスマートフォン200に送信する(S103)。スマートフォン200では、プロセッサ202が、通信装置206を介してHMD100から受信した情報に基づいて、次に表示する画像の内容を判断する(S105)。図示していないが、このとき、プロセッサ202は、通信装置208を介してサーバ300と通信し、次に表示する画像のために必要な情報を取得してもよい。
続いて、プロセッサ202は、通信装置206を介して、次に表示する画像のために必要な情報、例えばアイコンやテキストなどをHMD100に送信する(S107)。HMD100では、プロセッサ162が、通信装置166を介してスマートフォン200から受信した情報に基づいて、次に表示する画像(フレーム画像)を生成する(S109)。さらに、プロセッサ162は、生成されたフレーム画像のデータに基づいてディスプレイユニット110の光源112を制御し、光源112から射出される画像表示光によって提供される画像のフレームを更新する(S111)。
(1−2.画像表示光の輝度制御)
図4は、本開示の第1の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図4を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部510と、輝度決定部520と、制御部530と、照度変化率算出部540とを含む機能構成によって実現される。
上述のように、システム10において、これらの機能構成は、例えばHMD100のコントロールユニット160が備えるプロセッサ162がメモリ164に格納されたプログラムに従って動作することによって実現される。あるいは、上記の機能構成の一部または全部は、Bluetooth(登録商標)やWi−Fiなどの無線通信を介してHMD100と通信するスマートフォン200のプロセッサ202がメモリ204に格納されたプログラムに従って動作することによって実現されてもよい。同様に、上記の機能構成の一部または全部は、サーバ300のプロセッサ302がメモリ304に格納されたプログラムに従って動作することによって実現されてもよい。つまり、上記の機能構成は、システム10に含まれるいずれかの電子機器(HMD100、スマートフォン200、またはサーバ300)において実現されてもよいし、システム10に含まれる複数の電子機器が協働することによって実現されてもよい。
(基本的な輝度制御)
まず、基本的な輝度制御について説明する。本実施形態では、基本的な輝度制御として、照度情報取得部510によって取得された照度情報によって示される照度に基づいて輝度決定部520が輝度を決定し、制御部530が決定された輝度で画像表示光を射出するようにディスプレイユニット110の光源112を制御する。
照度情報取得部510は、実空間から観察者に向けてディスプレイユニット110(より詳細には、導光板114のユーザの眼に対応する位置)に入射する光の照度を示す照度情報を取得する。本実施形態において、ディスプレイユニット110は、ウェアラブル光学装置の一例である。照度情報は、ディスプレイユニット110が備える照度センサ116によって取得される。上述のように、照度センサ116は、実空間におけるユーザの視界に対応する領域の照度を検出するように、指向性を有していてもよい。
ここで、照度センサ116の取り付け位置の例を、図5に示す。図5に示す例において、照度センサ116は、ディスプレイユニット110の正面向きに取り付けられる。ディスプレイユニット110の正面向きは、ユーザが導光板114を透過して実空間を視認する向きに一致する。さらに、照度センサ116は、ディスプレイユニット110の正面向きの指向性(図5に示す矢印に対応する)を有し、実空間におけるユーザの視界に対応する領域の照度を検出してもよい。
再び図4を参照して、輝度決定部520は、照度情報取得部510が取得した照度情報に基づいて、実空間に重畳される画像をユーザ(観察者)に知覚させるためにディスプレイユニット110(より詳しくは光源112)によって射出される光、すなわち画像表示光の輝度を決定する。輝度決定部520は、例えば、照度情報によって示される照度を、ステップ関数を用いて画像表示光の輝度に変換する。ステップ関数では、後述する例に示すように、照度が高い(明るい)場合には輝度が高くなり、照度が低い(暗い)場合には輝度が低くなるように、所定の傾きに沿ってステップが形成されている。これによって、実空間におけるユーザの視界が明るい場合には画像表示光を高い輝度で射出し、画像の視認性を維持することができる。また、実空間におけるユーザの視界が暗い場合には画像表示光を低い輝度で射出し、画像が明るすぎて背景の実空間が見えづらくなることを防ぐことができる。
ここで、輝度決定部520が照度を画像表示光の輝度に変換するために用いるステップ関数の例を、図6に示す。図6に示す例では、ステップ関数F1,F2を用いて照度が輝度に変換される。輝度決定部520は、照度情報によって示される照度が上昇している場合にはステップ関数F1(第1のステップ関数)を用いる。また、輝度決定部520は、照度情報によって示される照度が低下している場合にはステップ関数F2(第2のステップ関数)を用いる。ステップ関数F2は、ステップ関数F1を照度の負方向にオフセットしたものである。図6のグラフでは、照度(入力値)および輝度(出力値)が、いずれも最大値を1.0として正規化して表現されている。
画像表示光の輝度が実空間の照度に対応していたとしても、細かい照度の変化に対して逐一輝度が変化したのでは、画像の視認性は必ずしも向上しない。そこで、上記の例のようにステップ関数F1,F2を用いて照度を輝度に変換することによって、細かい照度の変化に対しては輝度を一定に維持しつつ、大きい照度の変化が発生した場合には照度に対応して輝度を変更することができる。さらに、照度の上昇時にはステップ関数F1を、照度の低下時にはステップ関数F2を用いることによって、いわゆるヒステリシス制御が実現される。例えば、照度が上昇してステップ関数F1の境界値を超え、輝度が1ステップ分上昇した直後に低下し始めたとする。この場合、輝度決定部520は、照度が低下し始めた時点で、使用する関数をステップ関数F1からステップ関数F2に切り替える。ステップ関数F2はステップ関数F1を照度の負方向にオフセットしたものであるため、同じ輝度の出力値に対する照度の境界値はステップ関数F1よりも低い。従って、照度が低下し始めても、すぐに輝度が低下することはなく、当該輝度に対するステップ関数F2の境界値よりも低くなって初めて輝度が低下することになる。このような制御によって、照度がステップ関数の境界値付近で上下した場合に発生するチャタリングのような出力変化を防ぐことができる。
さらに、輝度決定部520は、図6に示したようなステップ関数を用いて得られた輝度を、例えばローパスフィルタなどを用いて平滑化してもよい。ローパスフィルタを用いた平滑化の例を、図7に示す。図7に示す例では、ステップ関数を用いて得られた輝度B1が、ローパスフィルタを通すことによって平滑化され、輝度B2として出力される。これによって、輝度の時間変化が滑らかになり、輝度の急激な変化によってユーザが感じる違和感を軽減できる。従って、ユーザは、照度の変化に伴って輝度が変化した場合でも気を散らすことなく、実空間と画像とを視認し続けることができる。
本実施形態では、輝度決定部520が上記のような処理によって画像表示光の輝度を決定することによって、輝度の細かな揺れや急激な変化が生じにくくなり、HMD100によって提供される画像の視認性が向上する。ただし、上記の処理は、以下で説明するように画像表示光の輝度の変化を実空間から入射する光の照度の変化に比べて遅延させるために、HMD100の周辺状況によっては問題が生じる可能性がある。
例えば、図6に示すようなステップ関数を用いて照度を輝度に変換する場合、照度情報によって示される照度が低下していても、照度がステップ関数F2の境界値に達するまで輝度は低下しない。このとき、輝度の変化には、照度の変化に比べて遅延が生じることになる。また、図7に示すようにローパスフィルタを用いて輝度の変化を平滑化する場合、平滑化前の輝度B1が時刻tで瞬間的にbからbまで立ち上がるのに対し、輝度B2は、時刻tから徐々にbからbまで上昇する。従って、輝度B2の変化は、輝度B1の変化に対して遅延し、輝度B1に対応する照度の変化に対しても遅延することになる。なお、図7の例は輝度B1が上昇する場合であるが、輝度B1が低下する場合についても同様である。
ここで、例えば、HMD100の周辺が急激に暗くなった場合(照度が急激に大きく低下した場合)を考える。ディスプレイユニット110から射出される画像表示光の輝度が、実空間の視界の照度に比べて高すぎると背景の実空間が見えづらくなるため、安全のためには早急に輝度を低下させる必要がある。しかしながら、上述したような輝度決定部520による基本的な輝度制御では、輝度の急激な変化が抑制される分、輝度の変化が照度の変化に対して遅延するために、周辺が暗いにもかかわらず画像表示光の輝度が依然として高い状態が、短時間ではあるものの継続し、一時的に背景の実空間が見えづらくなってしまう。
本実施形態では、輝度決定部520が、上記の基本的な輝度制御に加えてHMD100の周辺状況を示す状況情報に基づいた制御を実行することによって、上記のような事態が生じることを防ぐ。以下では、再び図4を参照して、上記の基本的な輝度制御とともに実行される、状況情報に基づく輝度制御について、さらに説明する。
(状況情報に基づく輝度制御)
照度変化率算出部540は、照度情報取得部510が取得した照度情報に基づいて、照度の変化率を算出する。本実施形態において、照度の変化率を示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況を示す状況情報の一例である。従って、照度変化率算出部540は、状況情報を取得する状況情報取得部ともいえる。より具体的には、例えば、照度変化率算出部540は、照度情報によって示される照度をローパスフィルタを用いて平滑化した上で微分することによって変化率を算出する。算出された変化率を示す情報は、輝度決定部520に提供される。輝度決定部520は、変化率によって照度の急激な低下が示される場合に、上記のステップ関数を用いた処理によって得られる輝度にかかわらず、出力する輝度を一律に最低値(例えば0)に設定する。制御部530は、輝度が最低値に設定された場合、例えばディスプレイユニット110の光源112をオフにする。これによって、HMD100の周辺が急激に暗くなった場合(照度が急激に大きく低下した場合)には、遅延を最小化することによって輝度を迅速に低下させることができ、実空間の視界を確保してユーザの安全を図ることができる。
図8は、上記の処理を、照度および輝度の波形の例とともにより詳しく説明するための図である。図8では、輝度決定部520の処理がステップ関数521、ローパスフィルタ523、およびスイッチ525として、照度変化率算出部540の処理がローパスフィルタ541、および変化率算出部543として、それぞれ示されている。
例えば、照度情報取得部510が、波形(a)のような照度の変化を示す照度情報を取得したとする。波形(a)では、時刻t以降に輝度の急激かつ大きな低下が発生している。ここで、輝度決定部520の基本的な処理では、ステップ関数521による変換によって階段状の波形(b)の輝度が得られ、さらにそれがローパスフィルタ523によって波形(c)のように平滑化される。平滑化された輝度の波形(c)では、波形(a)において輝度の低下が始まった時刻tから、時刻tまでの時間をかけて輝度が低下する。
一方、照度変化率算出部540の処理では、ローパスフィルタ541によって波形(a)から高周波のノイズを除去した波形(d)について、変化率算出部543が微分によって照度の変化率を算出する。この結果得られる照度の変化率、つまり時刻t以降における波形(d)の傾きが負であり(照度が低下している)、かつ傾きの絶対値が閾値を超える(照度が急激に変化している)場合、輝度決定部520は、スイッチ525によって、ステップ関数521およびローパスフィルタ523によって得られた波形(c)に従った輝度制御ではなく、輝度を一律に0(最低値)にする制御を選択する。この時点で、制御部530は、画像表示光の輝度を0に設定するために、ディスプレイユニット110の光源112をオフにする。この結果、画像表示光の輝度は、波形(e)に示すように、時刻tよりも早い時点で0になる。
さらに、輝度決定部520は、上記のようにスイッチ525が動作してから所定の時間が経過した時刻tに、ステップ関数521およびローパスフィルタ523によって得られた波形(c)に従った輝度制御を復帰させてもよい。時刻tまでの所定の時間は、例えば、ステップ関数521およびローパスフィルタ523によって得られる波形(c)でも照度の変化が反映されて輝度が0になるまでの時間、またはそれよりも長い時間でありうる。輝度制御を復帰させることによって、例えば照度が再び上昇したような場合に、照度に対応した輝度の制御を円滑に再開することができる。
図9は、図8に示すスイッチ525の動作の例を示すフローチャートである。図9を参照すると、通常の場合、スイッチ525はオン、つまりステップ関数521およびローパスフィルタ523によって得られた輝度が制御部530に伝達されるように設定されている(S201)。ここで、変化率算出部543によって算出された照度の変化率が閾値(負の値)よりも小さくなった場合(S203のYES)、スイッチ525はオフ、つまり一律に0(最低値)の輝度が制御部530に伝達されるように設定される(S205)。さらに、S203から所定の時間が経過すると(S207)、処理はS201に戻る。
このように、本実施形態では、照度情報に基づく輝度の決定プロセスが、複数の候補プロセス(ステップ関数521およびローパスフィルタ523を用いて照度を輝度に変換するプロセスと、照度に関わらず一律に輝度を0(最低値)に設定するプロセス)の中から、ディスプレイユニット110の周辺状況を示す状況情報(照度情報によって示される照度の変化率)に基づいて選択される。複数の候補プロセスのうち、第1のプロセス(ステップ関数521およびローパスフィルタ523を用いて照度を輝度に変換するプロセス)には、輝度の急激な変化を抑制するために生じる、照度の変化に対する輝度の変化の遅延が含まれる。これに対して、第2のプロセス(照度に関わらず一律に輝度を0(最低値)に設定するプロセス)では、輝度の急激な変化を抑制しない(むしろ、急激に0(最低値)にする)ため、第1のプロセスのような遅延は含まれない。厳密には、第2のプロセスでも遅延は0ではないが、ユーザの知覚に影響する程度ではない。なお、上記のような第1のプロセスと第2のプロセスとの目的の相違ために、ローパスフィルタ523とローパスフィルタ541とには、それぞれ異なる特性を有するフィルタが使用されてもよい。照度の変化率によって照度の急激な低下が示される場合には、例えば実空間の視界を確保してユーザの安全を図るために、輝度決定部520に含まれるスイッチ525が、遅延を含まない第2のプロセスを選択する。そうでない場合、スイッチ525は第1のプロセスを選択する。
以上で説明したように、本実施形態では、ステップ関数やローパスフィルタを用いて照度を輝度に変換することによって、輝度の揺れや急激な変化を抑え、画像表示光によって提供される画像の視認性を向上させることができる。さらに、本実施形態では、HMD100の周辺状況を示す状況情報として、照度情報によって示される照度の変化率を示す情報を利用することによって、HMD100の周辺が急激に暗くなった場合には輝度の揺れや急激な変化を抑えるための処理をカットし、画像表示光の輝度を照度に追従して迅速に低下させることができる。従って、本実施形態では、周辺が急激に暗くなった場合のユーザの安全性を確保しつつ、HMD100によって提供される画像の視認性を向上させることができる。
(2.第2の実施形態)
次に、本開示の第2の実施形態について説明する。第2の実施形態では、上記の第1の実施形態と同様のシステム10において、第1の実施形態とは異なる画像表示光の輝度制御が実行される。従って、第1の実施形態と共通するシステム構成については重複した説明を省略し、以下では輝度制御の処理について特に説明する。
図10は、本開示の第2の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図10を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部510と、輝度決定部620と、制御部530と、照度変化率算出部540と、モーションデータ取得部640と、モーションデータ解析部650とを含む機能構成によって実現される。これらの機能構成は、第1の実施形態と同様に、例えばHMD100のコントロールユニット160が備えるプロセッサ162、スマートフォン200のプロセッサ202、もしくはサーバ300のプロセッサ302のうちのいずれか、またはこれらの協働によって実現される。
なお、照度情報取得部510、制御部530、および照度変化率算出部540については、第1の実施形態と同様の機能構成であるため、重複した説明を省略する。また、照度変化率算出部540は、他の手段によってHMD100の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。照度変化率算出部540が設けられる場合、輝度決定部620は、照度変化率算出部540によって照度の急激な低下が検出された場合について、上記の第1の実施形態における輝度決定部520と同様に動作するが、これについても重複した説明を省略する。
モーションデータ取得部640は、ディスプレイユニット110が備えるモーションセンサ118の出力値(以下、モーションデータともいう)を取得する。ここで、モーションセンサ118を含むディスプレイユニット110はユーザ(観察者)の頭部に装着されているため、モーションデータはユーザ(観察者)の頭部の姿勢や動きを示すものとみなすことができる。
モーションデータ解析部650は、モーションデータ取得部640が取得したモーションデータを解析して、ディスプレイユニット110を装着したユーザのモーションを検出する。モーションデータに含まれる加速度、角速度、および方位などに基づいて、歩く、走る、立つ、座るといったユーザのモーションを検出するための処理については、例えば特開2010−198595号公報などに記載された公知技術であるため、ここでは詳細な説明を省略する。
ここで、モーションデータ解析部650は、上記のような技術を利用しつつ、歩く、走る、立つ、座るといった一般的なモーションとは異なるユーザのモーションを検出してもよい。例えば、モーションデータ解析部650は、振り返る、歩いて(走って)角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションを検出してもよい。こうしたモーションは、例えば、ジャイロセンサの出力値に基づいてユーザの首や体の回転を検出することによって特定することができる。
本実施形態において、ユーザのモーションを示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況(ディスプレイユニット110を装着したユーザの状況)を示す状況情報の一例である。従って、モーションデータ解析部650は、状況情報を取得する状況情報取得部ともいえる。
輝度決定部620は、照度情報取得部510が取得した照度情報と、モーションデータ解析部650によって提供されるユーザのモーションを示す情報とに基づいて画像表示光の輝度を決定する。輝度決定部620は、例えば、照度情報によって示される照度を、ステップ関数を用いて画像表示光の輝度に変換する。第1の実施形態と同様に、ステップ関数では、照度が高い(明るい)場合には輝度が高くなり、照度が低い(暗い)場合には輝度が低くなるように、所定の傾きに沿ってステップが形成されている。
さらに、本実施形態では、輝度決定部620が、ユーザのモーションを示す情報に基づいて、複数の候補関数の中から使用する関数を選択する。本実施形態において選択される関数の例を、図11に示す。図11に示す例では、ステップ関数F1,F2、およびステップ関数F3,F4の中から、輝度の決定に用いられる関数が選択される。ステップ関数F1,F2は、図6に示されたものと同様であり、ステップ関数F2はステップ関数F1を照度の負方向にオフセットしたものである。一方、ステップ関数F3,F4は、相互にオフセットされた1組のステップ関数という点ではステップ関数F1,F2と同様であるが、ステップが形成される傾きがステップ関数F1,F2よりも緩やかである。つまり、ステップ関数F3,F4は、ステップ関数F1,F2よりも低い割合で、照度を輝度に変換する。例えば、照度が最大値(1.0)まで上昇した場合、ステップ関数F1では輝度も最大値(1.0)まで上昇するが、ステップ関数F3では輝度が最大値の70%程度までしか上昇しない。従って、ステップ関数F3,F4を用いて照度を輝度に変換した場合、出力される輝度の値は、全体的にステップ関数F1,F2の場合よりも暗くなる。なお、図11のグラフでも、照度(入力値)および輝度(出力値)がいずれも最大値を1.0として正規化して表現されている。
上記の例において、輝度決定部620は、ユーザのモーションを示す情報に基づいて、ステップ関数F1,F2およびステップ関数F3,F4のうちのどちらかを選択する。例えば、輝度決定部620は、ユーザが静止している場合にはステップ関数F3,F4を選択し、ユーザが歩いたり走ったりしている場合にはステップ関数F1,F2を選択する。ユーザが静止している場合は、背景の実空間が変化しないため画像が視認しやすい。従って、ステップ関数F3,F4を用いてより低い輝度で画像表示光を射出することで、視認可能でありかつ邪魔にならない画像の提供が可能になる。一方、ユーザが歩いたり走ったりしている場合は、背景の実空間が変化するために画像が視認しにくい。従って、ステップ関数F1,F2を用いてより高い輝度で画像表示光を射出することで、視認しやすい画像の提供が可能になる。
さらに、輝度決定部620は、振り返る、歩いて(走って)角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションが検出されている場合にはステップ関数F3,F4を選択し、そうでない場合にはステップ関数F1,F2を選択してもよい。視界に含まれる実空間の範囲が転換するときには、実空間の様子をよく見ることが必要とされる。従って、ステップ関数F3,F4を選択してより低い輝度で画像表示光を射出することで、ユーザが実空間の様子を視認しやすくすることができる。
本実施形態において、輝度決定部620は、上記の2つの判定のいずれか一方だけを実行してもよいし、両方を組み合わせて実行してもよい。両方を組み合わせる場合の処理の例を、図12のフローチャートに示す。図12を参照すると、輝度決定部620は、ユーザのモーションを示す情報を取得すると(S301)、まず、ユーザが静止しているか否かを判定する(S303)。ここで、ユーザが静止している場合(YES)、輝度決定部620は、ステップ関数F3,F4を選択する(S305)。
一方、S303の判定において、ユーザが静止していなかった場合(NO)、ユーザは例えば歩いたり走ったりして動いていると推定される。この場合、さらに、輝度決定部620は、特定のモーションが検出されているか否かを判定する(S307)。特定のモーションは、例えば、振り返る、歩いて(走って)角を曲がる、下を見る、上を見る、といったような、ユーザの視界に含まれる実空間の範囲を転換させるモーションである。このようなモーションが検出されている場合(YES)、輝度決定部620は、ステップ関数F3,F4を選択する(S305)。一方、上記のようなモーションが検出されていない場合(NO)、輝度決定部620は、ステップ関数F1,F2を選択する(S309)。ステップ関数F1,F2を選択することによって、同じ照度の入力値に対して、ステップ関数F3,F4を選択した場合よりも高い輝度の出力値が得られる。
次に、輝度決定部620は、S305またはS309において選択された関数を用いて、照度の入力値(照度情報によって示される照度)を、輝度の出力値(画像表示光の輝度)に変換し(S311)、得られた輝度の値を制御部530に提供する(S315)。このとき、輝度決定部620は、第1の実施形態で説明したように、ローパスフィルタなどを用いて輝度の値を平滑化してもよい(S313)。
以上のような処理によって、画像表示光の輝度が決定される。従って、例えば、実空間の照度が一定であったとしても、ユーザが立ち止まっている場合にはやや低い輝度で画像が提供され、ユーザが歩きだすと輝度が上昇する。さらに、ユーザが振り返ったり角を曲がったりしたときには、一時的に輝度が低下する。このような輝度の変化によって、ユーザが十分に画像を視認できるとともに、輝度が高すぎて画像が邪魔になることがなく、またユーザが実空間の様子をよく見たい場合には一時的に画像の輝度が抑制されて実空間が視認しやすくなる。
このように、本実施形態では、照度情報に基づく輝度の決定プロセスが、複数の候補プロセス(ステップ関数F1,F2を用いるプロセスと、ステップ関数F3,F4を用いるプロセス)の中から、ディスプレイユニット110の周辺状況を示す状況情報(ユーザ(観察者)に装着されたモーションセンサの出力値に基づいて生成される、ユーザのモーションを示す情報)に基づいて選択される。候補プロセスのうち、第2のプロセス(ステップ関数F3,F4を用いるプロセス)は、第1のプロセスの割合(第1の割合)よりも低い割合(第2の割合)で、照度情報によって示される照度を画像表示光の輝度に変換する。輝度決定部620は、例えばユーザが静止している場合(画像を視認しやすい場合)や、ユーザの視界に含まれる実空間の範囲を転換させるモーションが発生した場合(実空間の様子をよく見たい場合)には上記の第2のプロセスを選択し、それ以外の場合には第1のプロセスを選択する。
なお、上述した本開示の第2の実施形態は、第1の実施形態とは独立して実施されてもよいし、組み合わせて実施されてもよい。より具体的には、例えば、図11に例示したステップ関数F1〜F4に代えて、ステップ関数以外の関数が用いられてもよい。あるいは、輝度決定部620は、単純な関数を用いて照度を輝度に変換するのではなく、より複雑な手順によって照度を輝度に変換してもよい。このような場合も、例えば照度の入力値に対する輝度の出力値の割合が相異なる少なくとも2つのプロセスが設定可能であれば、本実施形態を応用することができる。
(変形例)
次に、本開示の第2の実施形態の変形例について説明する。変形例に係る機能構成を、図13に示す。図13を参照すると、本変形例では、図10に示した第2の実施形態の機能構成において、モーションデータ解析部650が、行動認識部660によって置換されている。
上述のように、モーションデータに基づいてユーザのモーションを検出するための処理は、行動認識としてよく知られている技術である。行動認識の技術としては、例えば特開2011−81431号公報や特開2012−8771号公報などに記載されているように、比較的長時間にわたる行動パターンや、場所の属性などと結びついた行動のように、より高度な認識を実現する技術も知られている。行動認識部660は、こうした各種の行動認識技術を利用して、ユーザの行動を認識する。上記のモーションデータ解析部650による解析がユーザのモーションの認識に特化していたのに対して、行動認識部660は、必要に応じて、モーションに限らずユーザの各種の行動を認識することが可能である。本変形例において、ユーザの行動を示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況(ディスプレイユニット110を装着したユーザの状況)を示す状況情報の一例である。従って、行動認識部660は、状況情報を取得する状況情報取得部ともいえる。
なお、行動認識部660は、モーションセンサの出力値に限らず、他の様々なセンサの出力値に基づいて行動認識を実行してもよい。例えば、行動認識部660は、HMD100のディスプレイユニット110が備える照度センサ116やカメラ120、コントロールユニット160が備えるマイクロフォン172、スマートフォン200が備えるセンサ210やGPS受信機216、マイクロフォン218などをセンサとして用いて、これらの出力値に基づく行動認識を実行してもよい。これらのセンサは、例えば、HMD100のユーザ(観察者)に装着されている。センサは、HMD100のディスプレイユニット110(ウェアラブル光学装置)と一体化していてもよいし、それ以外の電子機器、例えばコントロールユニット160やスマートフォン200、その他のユーザによって装着または携帯される電子機器に組み込まれていてもよい。
また、行動認識部660の処理は、処理負荷が高かったり、蓄積されたデータへのアクセスを必要とする場合がある。従って、行動認識部660の処理は、他の機能構成、つまり照度情報取得部510、輝度決定部620、および制御部530などとは異なる電子機器において実現されてもよい。例えば、照度情報取得部510、輝度決定部620、および制御部530がHMD100のコントロールユニット160が備えるプロセッサ162によって実現される場合に、行動認識部660はスマートフォン200のプロセッサ202、またはサーバ300のプロセッサ302によって実現されてもよい。
本変形例では、静止したり、動いたりといったモーションに限らず、ユーザの各種の行動に応じて画像表示光の輝度が制御されることによって、より多様な状況において、HMD100によって提供される画像の視認性を向上させることができる。
(3.第3の実施形態)
次に、本開示の第3の実施形態について説明する。第3の実施形態では、上記の第1の実施形態と同様のシステム10において、第1の実施形態とは異なる画像表示光の輝度制御が実行される。従って、第1の実施形態と共通するシステム構成については重複した説明を省略し、以下では輝度制御の処理について特に説明する。
図14は、本開示の第3の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図14を参照すると、本実施形態において、画像表示光の輝度制御は、照度情報取得部510と、輝度決定部720と、制御部530と、照度変化率算出部540と、アタッチメント装着検出部740とを含む機能構成によって実現される。これらの機能構成は、第1の実施形態と同様に、例えばHMD100のコントロールユニット160が備えるプロセッサ162、スマートフォン200のプロセッサ202、もしくはサーバ300のプロセッサ302のうちのいずれか、またはこれらの協働によって実現される。
なお、照度情報取得部510、制御部530、および照度変化率算出部540については、第1の実施形態と同様の機能構成であるため、重複した説明を省略する。また、照度変化率算出部540は、他の手段によってHMD100の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。照度変化率算出部540が設けられる場合、輝度決定部720は、照度変化率算出部540によって照度の急激な低下が検出された場合について、上記の第1の実施形態における輝度決定部520と同様に動作するが、これについても重複した説明を省略する。
アタッチメント装着検出部740は、ディスプレイユニット110への光学的なアタッチメント、例えばサングラスの装着状態を示すアタッチメント装着情報を取得する。アタッチメント装着情報は、例えばディスプレイユニット110とアタッチメントとの連結をスイッチを用いて検出することによって生成される。なお、本実施形態において、アタッチメント装着検出部740によって検出される、光学的なアタッチメントの装着状態を示す情報は、ディスプレイユニット110(ウェアラブル光学装置)の周辺状況を示す状況情報の一例である。従って、アタッチメント装着検出部740は、状況情報を取得する状況情報取得部ともいえる。
このような構成の具体的な例を、図15に示す。図15を参照すると、本実施形態では、ディスプレイユニット110に、サングラス122を装着するための連結部124が設けられる。連結部124には、例えばサングラス122に設けられる凸部が嵌め込まれる凹部であってもよいし、サングラス122がクリップで固定されるための領域であってもよい。連結部124には、連結検出スイッチ126が設けられる。連結検出スイッチ126は、連結部124にサングラス122が連結されたときにオンになるスイッチである。例えばコントロールユニット160のプロセッサ162によって実現されるアタッチメント装着検出部740は、連結検出スイッチ126がオンになった場合に出力される信号を受信した場合に、ディスプレイユニット110にサングラス122が装着されたと判定する。
本実施形態において、サングラス122は、導光板114のユーザの眼に対応する領域をカバーするが、照度センサ116をカバーしない。つまり、本実施形態において照度情報取得部510によって取得される照度情報は、サングラス122(光学的なアタッチメント)による光学的な影響を受けない照度センサ116(光学センサ)の出力値に基づいて生成されている。従って、サングラス122が装着されたことによって実空間から入射する光の照度が低下していても、照度情報にはそのような照度変化が反映されていない。このような場合、輝度決定部720が、サングラス122が装着されていない場合と同様にして画像表示光の輝度を決定すると、画像表示光の輝度が高すぎ、サングラス122を透過して視認される背景の実空間が視認しづらくなる可能性がある。
そこで、輝度決定部720は、照度情報取得部510が取得した照度情報と、アタッチメント装着検出部740によって提供されるアタッチメント装着情報とに基づいて、画像表示光の輝度を決定する。光学的なアタッチメントの光学的特性は、予め登録されている。例えば、サングラス122の場合、ディスプレイユニット110にサングラス122を装着することによる実空間から入射する光の照度低下量が、例えばコントロールユニット160が備えるメモリ164、スマートフォン200が備えるメモリ204、またはサーバ300が備えるメモリ304に、予め登録されている。輝度決定部720は、アタッチメント装着情報によってサングラス122が装着されたことが示される場合に、サングラス122の装着による光学的な影響、すなわち実空間から入射する光の照度低下を画像表示光の輝度に反映させる。
上記の輝度決定部720の処理の例について、図16を参照してさらに説明する。図16に示す例では、輝度決定部720が、ステップ関数F1,F2、およびステップ関数F5,F6の中から、輝度の決定に用いられる関数を選択する。ステップ関数F1,F2は、図6に示されたものと同様であり、ステップ関数F2はステップ関数F1を照度の負方向にオフセットしたものである。一方、ステップ関数F5,F6は、相互にオフセットされた1組のステップ関数という点ではステップ関数F1,F2と同様であるが、ステップが形成される傾きがステップ関数F1,F2よりも緩やかであり、また輝度の出力値は所定の輝度b2で飽和する。この例において、輝度決定部720は、アタッチメント装着情報によってサングラス122が装着されたことが示される場合にはステップ関数F5,F6を用いて照度を輝度に変換し、それ以外の場合にはステップ関数F1,F2を用いて照度を輝度に変換する。このような処理よって、輝度決定部720によって決定される画像表示光の輝度には、サングラス122の装着による実空間から入射する光の照度低下が反映され、サングラス122を装着した状態においてより適切な画像表示光の輝度が決定される。
なお、上述した本開示の第3の実施形態は、第1の実施形態および/または第2の実施形態とは独立して実施されてもよいし、組み合わせて実施されてもよい。より具体的には、例えば、図16に例示したステップ関数F1,F2,F5,F6に代えて、ステップ関数以外の関数が用いられてもよい。あるいは、輝度決定部720は、単純な関数を用いて照度を輝度に変換するのではなく、より複雑な手順によって照度を輝度に変換してもよい。このような場合も、サングラス122のような光学的アタッチメントによる光学的な影響を画像表示光の輝度の反映させることが可能な少なくとも2つのプロセスが設定可能であれば、本実施形態を応用することができる。
(4.第4の実施形態)
次に、本開示の第4の実施形態について説明する。第4の実施形態では、上記の第1の実施形態と同様のシステム10において、第1〜第3の実施形態のいずれかと同様の画像表示光の輝度制御に加えて、照度に含まれるノイズを除去する処理が実行される。従って、上述した各実施形態と共通するシステム構成および輝度制御の処理については重複した説明を省略し、以下では照度のノイズ除去の処理について特に説明する。なお、以下の説明では、簡単のために第1の実施形態と同様の輝度制御に加えてノイズ除去の処理が実行される場合について説明するが、同様に、第2の実施形態または第3の実施形態と同様の輝度制御に加えてノイズ除去の処理が実行されてもよい。
図17は、本開示の第4の実施形態における画像表示光の輝度制御のための機能構成を示すブロック図である。図17を参照すると、本実施形態では、第1の実施形態と同様の照度情報取得部510、輝度決定部520、制御部530、および照度変化率算出部540に加えて、照度情報取得部510の前段に照度ノイズ低減部840が設けられる。照度ノイズ低減部840を含む各機能構成は、第1の実施形態と同様に、例えばHMD100のコントロールユニット160が備えるプロセッサ162、スマートフォン200のプロセッサ202、もしくはサーバ300のプロセッサ302のうちのいずれか、またはこれらの協働によって実現される。なお、照度変化率算出部540は、他の手段によってHMD100の周囲が急激に暗くなった場合のユーザの安全性が確保できるのであれば、必ずしも設けられなくてもよい。
本実施形態において、照度ノイズ低減部840は、例えば照度センサ116に髪の毛がかかった場合に照度の検出値に発生するノイズを除去する。このような処理の具体的な例を、図18に示す。図18に示す例では、ノイズ除去前の照度L1から、急峻な谷状のノイズ成分Nが除去され、照度L2が得られる。これによって、例えば照度センサ116に髪の毛がかかったことによって瞬間的に照度が低下しても、その照度変化が画像表示光の輝度に反映されて画像が暗くなってしまうことが防止される。
図19は、本実施形態における照度ノイズ低減部840の動作の例を示すフローチャートである。図19を参照すると、通常の場合、照度ノイズ低減部840はオフ、つまり照度センサ116から取得された照度情報をそのまま照度情報取得部510に入力するように設定されている(S401)。ここで、照度情報によって示される照度に、閾値を超える時間周波数での照度の変化が検出された場合(S403のYES)、照度ノイズ低減部840がオンになる。より具体的には、照度ノイズ低減部840は、閾値を超える時間周波数での照度の変化に対応する成分を、照度情報によって示される照度から除去する(S405)。一例として、照度ノイズ低減部840は、ハイパスフィルタを使用して、S403における閾値を超える時間周波数での照度変化を検出してもよい。さらに、照度ノイズ低減部840は、ローパスフィルタを使用して、閾値を超える時間周波数成分(ノイズにあたる)を除去してもよい。
(5.ハードウェア構成)
次に、図20を参照して、本開示の実施形態に係る電子機器のハードウェア構成について説明する。図20は、本開示の実施形態に係る電子機器のハードウェア構成例を示すブロック図である。図示された電子機器900は、例えば、上記の実施形態におけるHMD100、スマートフォン200、および/またはサーバ300を構成するサーバ装置を実現しうる。
電子機器900は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、電子機器900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、電子機器900は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。電子機器900は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、電子機器900内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、電子機器900の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、電子機器900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などでありうる。出力装置917は、電子機器900の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。
ストレージ装置919は、電子機器900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、電子機器900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を電子機器900に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、電子機器900と外部接続機器929との間で各種のデータが交換されうる。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどでありうる。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば電子機器900の筐体の姿勢など、電子機器900自体の状態に関する情報や、電子機器900の周辺の明るさや騒音など、電子機器900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
以上、電子機器900のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
(6.補足)
本開示の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を示す照度情報を取得する照度情報取得部と、
前記ウェアラブル光学装置の周辺状況を示す状況情報を取得する状況情報取得部と、
前記照度情報および前記状況情報に基づいて、前記実空間に重畳される画像を前記観察者に知覚させるために前記ウェアラブル光学装置によって射出される光の輝度を決定する輝度決定部と、
前記ウェアラブル光学装置を制御して、前記決定された輝度で光を出射させる制御部と
を備える電子機器。
(2)前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記照度の変化に対する前記輝度の変化の遅延を最小化する、前記(1)に記載の電子機器。
(3)前記輝度決定部は、前記照度情報に基づく前記輝度の決定プロセスを、複数の候補プロセスの中から前記状況情報に基づいて選択する、前記(1)に記載の電子機器。
(4)前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含み、
前記複数の候補プロセスは、前記照度情報によって示される照度の変化に対する前記輝度の遅延を含む第1のプロセスと、前記遅延を含まない第2のプロセスとを含み、
前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記第2のプロセスを選択し、そうでない場合には前記第1のプロセスを選択する、前記(3)に記載の電子機器。
(5)前記第1のプロセスは、前記輝度の急激な変化を抑制する、前記(4)に記載の電子機器。
(6)前記状況情報は、前記観察者に装着されたモーションセンサの出力値に基づいて生成される情報を含む、前記(3)〜(5)のいずれか1項に記載の電子機器。
(7)前記複数の候補プロセスは、前記照度情報によって示される照度を第1の割合で前記輝度に変換する第1のプロセスと、前記照度情報によって示される照度を前記第1の割合よりも低い第2の割合で前記輝度に変換する第2のプロセスとを含み、
前記輝度決定部は、前記状況情報によって前記観察者の視界に含まれる前記実空間の範囲を転換させるモーションの発生が示される場合には前記第2のプロセスを選択し、そうでない場合には前記第1のプロセスを選択する、前記(6)に記載の電子機器。
(8)前記状況情報は、前記観察者の行動を示す行動情報を含む、前記(1)〜(7)のいずれか1項に記載の電子機器。
(9)前記行動情報は、前記ウェアラブル光学装置と一体化されたセンサの出力値に基づいて生成される、前記(8)に記載の電子機器。
(10)前記状況情報は、前記ウェアラブル光学装置への光学的なアタッチメントの装着状態を示すアタッチメント装着情報を含む、前記(1)〜(9)のいずれか1項に記載の電子機器。
(11)前記アタッチメント装着情報は、前記ウェアラブル光学装置と前記アタッチメントとの連結を検出するスイッチによって提供される、前記(10)に記載の電子機器。
(12)前記照度情報は、前記アタッチメントによる光学的な影響を受けない光学センサの出力値に基づいて生成され、
前記輝度決定部は、予め登録された前記アタッチメントの光学的特性に基づいて、前記アタッチメント装着情報によって前記アタッチメントが装着されたことが示される場合に、前記アタッチメントの装着による光学的な影響を前記決定される輝度に反映させる、前記(10)または(11)に記載の電子機器。
(13)前記輝度決定部は、ステップ関数を用いて前記照度情報によって示される照度を前記輝度に変換する、前記(1)〜(12)のいずれか1項に記載の電子機器。
(14)前記ステップ関数は、前記照度情報によって示される照度が上昇している場合に用いられる第1のステップ関数と、前記照度情報によって示される照度が低下している場合に用いられる第2のステップ関数とを含み、
前記第2のステップ関数は、前記第1のステップ関数よりも照度の負方向にオフセットされている、前記(13)に記載の電子機器。
(15)前記輝度決定部は、前記ステップ関数を用いて得られた前記輝度を平滑化する、前記(13)または(14)に記載の電子機器。
(16)前記照度に含まれるノイズを低減する照度ノイズ低減部をさらに備える、前記(1)〜(15)のいずれか1項に記載の電子機器。
(17)前記照度ノイズ低減部は、閾値を超える時間周波数での前記照度の変化が検出された場合に、該変化に対応する成分を前記照度から除去する、前記(16)に記載の電子機器。
(18)実空間から観察者に向けてウェアラブル光学装置に入射する光の照度を検出し、
前記ウェアラブル光学装置の周辺状況を示す状況情報を取得し、
前記照度および前記状況情報に基づいて輝度を決定し、
前記ウェアラブル光学装置が、前記実空間に重畳される画像を前記観察者に知覚させるための光を、前記決定された輝度で射出する
ことを含む画像の提供方法。
10 システム
100 HMD
110 ディスプレイユニット
112 光源
114 導光板
116 照度センサ
118 モーションセンサ
122 サングラス
124 連結部
126 スイッチ
160 コントロールユニット
162 プロセッサ
164 メモリ
200 スマートフォン
202 プロセッサ
204 メモリ
300 サーバ
302 プロセッサ
304 メモリ
510 照度情報取得部
520,620,720 輝度決定部
530 制御部
540 照度変化率算出部
640 モーションデータ取得部
650 モーションデータ解析部
660 行動認識部
740 アタッチメント装着検出部
840 ノイズ低減部

Claims (18)

  1. ユーザのモーションを示す情報を含む状況情報に基づいて、実空間に重畳される画像を前記ユーザに知覚させるためにウェアラブル光学装置によって射出される光の輝度を決定するための輝度決定プロセスを、第1の輝度決定プロセスと第2の輝度決定プロセスを含む複数の輝度決定プロセスから選択し、
    前記選択した輝度決定プロセスと、前記実空間から前記ユーザに向けて前記ウェアラブル光学装置に入射する光の照度を示す照度情報と、に基づいて、輝度を決定する輝度決定部と、
    前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させる制御部と、
    を備え、
    前記第1の輝度決定プロセスにおいて所定の照度に応じて決定される輝度は、前記第2の輝度決定プロセスにおいて前記所定の照度に応じて決定される輝度以上である、
    情報処理装置。
  2. 前記輝度決定部は、前記モーションを示す情報が、前記ユーザの静止状態を示す情報である場合、前記第2の輝度決定プロセスを選択する、
    請求項1に記載の情報処理装置。
  3. 前記輝度決定部は、前記モーションを示す情報が、歩行、又は走行を含む情報である場合、前記第1の輝度決定プロセスを選択する、
    請求項1に記載の情報処理装置。
  4. 前記モーションを示す情報は、歩行、又は走行を示す情報と所定のモーションを示す情報とを含む、
    請求項1に記載の情報処理装置。
  5. 前記輝度決定部は、前記モーションを示す情報が前記ユーザの視界に含まれる実空間の範囲を転換させるモーションを示す情報を含む場合、前記第2の輝度決定プロセスを選択する、
    請求項4に記載の情報処理装置。
  6. 前記輝度決定部は、前記モーションを示す情報が、歩行、又は走行を示す情報と前記所定のモーションを示す情報とを含む場合、前記第2の輝度決定プロセスを選択する、
    請求項4に記載の情報処理装置。
  7. 前記輝度決定部は、前記モーションを示す情報が、歩行、又は走行を示す情報を含み、前記所定のモーションを示す情報を含まない場合、前記第1の輝度決定プロセスを選択する、
    請求項4に記載の情報処理装置。
  8. 前記輝度決定部は、前記モーションを示す情報が、前記実空間を転換させるモーションを含む情報である場合、前記第2の輝度決定プロセスを選択する、
    請求項1に記載の情報処理装置。
  9. 前記状況情報は、前記照度情報によって示される照度の変化率を示す情報を含む、
    請求項1に記載の情報処理装置。
  10. 前記輝度決定部は、前記変化率によって照度の急激な低下が示される場合には前記照度の変化に対する前記輝度の変化の遅延を最小化する、
    請求項9に記載の情報処理装置。
  11. 前記状況情報は、前記ユーザの行動を示す行動情報を含む、
    請求項1に記載の情報処理装置。
  12. 前記輝度決定部は、ステップ関数を用いて前記照度情報によって示される照度を前記輝度に変換する、
    請求項1に記載の情報処理装置。
  13. 前記輝度決定部は、前記ステップ関数を用いて得られた前記輝度を平滑化する、
    請求項12に記載の情報処理装置。
  14. 前記状況情報は、前記ウェアラブル光学装置への光学的なアタッチメントの装着状態を示すアタッチメント装着情報を含む、
    請求項1に記載の情報処理装置。
  15. 前記アタッチメント装着情報は、前記ウェアラブル光学装置と前記アタッチメントとの連結を検出するスイッチによって提供される、
    請求項14に記載の情報処理装置。
  16. 前記照度情報は、前記アタッチメントによる光学的な影響を受けない光学センサの出力値に基づいて生成され、
    前記輝度決定部は、予め登録された前記アタッチメントの光学的特性に基づいて、前記アタッチメント装着情報によって前記アタッチメントが装着されたことが示される場合に、前記アタッチメントの装着による光学的な影響を前記決定される輝度に反映させる、
    請求項14に記載の情報処理装置。
  17. ユーザのモーションを示す情報を含む状況情報に基づいて、実空間に重畳される画像を前記ユーザに知覚させるためにウェアラブル光学装置によって射出される光の輝度を決定するための輝度決定プロセスを、第1の輝度決定プロセスと第2の輝度決定プロセスを含む複数の輝度決定プロセスから選択することと、
    前記選択された輝度決定プロセスと、前記実空間から前記ユーザに向けて前記ウェアラブル光学装置に入射する光の照度を示す照度情報と、に基づいて、輝度を決定することと、
    前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させることと、
    を含み、
    前記第1の輝度決定プロセスにおいて所定の照度に応じて決定される輝度は、前記第2の輝度決定プロセスにおいて前記所定の照度に応じて決定される輝度以上である、
    情報処理方法。
  18. コンピュータのプロセッサに、
    ユーザのモーションを示す情報を含む状況情報に基づいて、実空間に重畳される画像を前記ユーザに知覚させるためにウェアラブル光学装置によって射出される光の輝度を決定するための輝度決定プロセスを、第1の輝度決定プロセスと第2の輝度決定プロセスを含む複数の輝度決定プロセスから選択する機能と、
    前記選択した輝度決定プロセスと、前記実空間から前記ユーザに向けて前記ウェアラブル光学装置に入射する光の照度を示す照度情報と、に基づいて、輝度を決定する機能と、
    前記ウェアラブル光学装置を制御して、前記決定された輝度で光を射出させる機能と、
    を実現させ、
    前記第1の輝度決定プロセスにおいて所定の照度に応じて決定される輝度は、前記第2の輝度決定プロセスにおいて前記所定の照度に応じて決定される輝度以上である、
    プログラム。
JP2019030787A 2014-02-21 2019-02-22 情報処理装置、情報処理方法及びプログラム Expired - Fee Related JP6750697B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014031604 2014-02-21
JP2014031604 2014-02-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016503940A Division JP6492330B2 (ja) 2014-02-21 2014-11-18 電子機器、および画像の提供方法

Publications (2)

Publication Number Publication Date
JP2019092216A true JP2019092216A (ja) 2019-06-13
JP6750697B2 JP6750697B2 (ja) 2020-09-02

Family

ID=53877892

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016503940A Expired - Fee Related JP6492330B2 (ja) 2014-02-21 2014-11-18 電子機器、および画像の提供方法
JP2019030787A Expired - Fee Related JP6750697B2 (ja) 2014-02-21 2019-02-22 情報処理装置、情報処理方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016503940A Expired - Fee Related JP6492330B2 (ja) 2014-02-21 2014-11-18 電子機器、および画像の提供方法

Country Status (3)

Country Link
US (1) US10672309B2 (ja)
JP (2) JP6492330B2 (ja)
WO (1) WO2015125363A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989353B2 (en) 2020-06-22 2024-05-21 Samsung Electronics Co., Ltd. Brightness adjustment method and HMD device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934758B1 (en) * 2016-09-21 2018-04-03 Gopro, Inc. Systems and methods for simulating adaptation of eyes to changes in lighting conditions
JP2019061559A (ja) 2017-09-27 2019-04-18 本田技研工業株式会社 表示装置、表示制御装置及び車両
JP2021057737A (ja) * 2019-09-30 2021-04-08 セイコーエプソン株式会社 表示システム、表示制御方法、および、プログラム
JP7285904B2 (ja) * 2020-08-26 2023-06-02 ソフトバンク株式会社 表示制御装置、プログラム、及びシステム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268002A (ja) * 2001-03-08 2002-09-18 Mitsubishi Heavy Ind Ltd 網膜走査表示装置
JP2005262478A (ja) * 2004-03-16 2005-09-29 Fuji Xerox Co Ltd 光ビーム発光制御装置
JP2011028136A (ja) * 2009-07-29 2011-02-10 J&K Car Electronics Corp 情報提示装置、プログラム、及び情報提示方法
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013197637A (ja) * 2012-03-16 2013-09-30 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014010460A (ja) * 2013-08-22 2014-01-20 Sony Computer Entertainment Inc 映像観察デバイスおよび透過率制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH078711A (ja) * 1993-06-17 1995-01-13 Toshiba Corp ろ過池洗浄時間制御装置
AU1330295A (en) 1994-02-07 1995-08-21 Virtual I/O, Inc. Personal visual display system
JPH11161190A (ja) * 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JP3499798B2 (ja) * 2000-03-13 2004-02-23 シャープ株式会社 液晶情報表示装置
JP2002323690A (ja) * 2001-04-25 2002-11-08 Sharp Corp 液晶表示装置の自動調光方法及び装置
US20030122810A1 (en) * 2001-12-31 2003-07-03 Tsirkel Aaron M. Method and apparatus to adjust the brightness of a display screen
JP2006285064A (ja) 2005-04-04 2006-10-19 Matsushita Electric Ind Co Ltd 画像表示装置
MX2012005855A (es) 2009-11-21 2012-06-19 Douglas Peter Magyari Dispositivo de vizualizacion montado en la cabeza.
JP2011175035A (ja) * 2010-02-23 2011-09-08 Shimadzu Corp 頭部装着型表示装置
JP5633578B2 (ja) * 2010-11-30 2014-12-03 富士通株式会社 画像表示装置、表示制御装置および表示制御方法
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JPWO2012137759A1 (ja) 2011-04-07 2014-07-28 シャープ株式会社 表示装置、及び、輝度制御信号の生成方法
US8654068B2 (en) * 2011-07-15 2014-02-18 Apple Inc. Enhanced resolution of luminance levels in a backlight unit of a display device
JP6031920B2 (ja) * 2011-09-30 2016-11-24 ブラザー工業株式会社 基板ユニット、カートリッジ、及びこれらの製造方法
JP6160020B2 (ja) * 2011-12-12 2017-07-12 セイコーエプソン株式会社 透過型表示装置、表示方法および表示プログラム
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
KR101385681B1 (ko) * 2012-11-08 2014-04-15 삼성전자 주식회사 헤드마운트형 디스플레이장치 및 그 제어방법
KR102047059B1 (ko) * 2012-12-26 2019-11-20 삼성전자주식회사 디스플레이 방법 및 장치
JP2013174898A (ja) 2013-04-10 2013-09-05 Sony Corp 撮像表示装置、撮像表示方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002268002A (ja) * 2001-03-08 2002-09-18 Mitsubishi Heavy Ind Ltd 網膜走査表示装置
JP2005262478A (ja) * 2004-03-16 2005-09-29 Fuji Xerox Co Ltd 光ビーム発光制御装置
JP2011028136A (ja) * 2009-07-29 2011-02-10 J&K Car Electronics Corp 情報提示装置、プログラム、及び情報提示方法
JP2013137413A (ja) * 2011-12-28 2013-07-11 Brother Ind Ltd ヘッドマウントディスプレイ
JP2013197637A (ja) * 2012-03-16 2013-09-30 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2014010460A (ja) * 2013-08-22 2014-01-20 Sony Computer Entertainment Inc 映像観察デバイスおよび透過率制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11989353B2 (en) 2020-06-22 2024-05-21 Samsung Electronics Co., Ltd. Brightness adjustment method and HMD device

Also Published As

Publication number Publication date
JP6750697B2 (ja) 2020-09-02
WO2015125363A1 (ja) 2015-08-27
JP6492330B2 (ja) 2019-04-03
US10672309B2 (en) 2020-06-02
JPWO2015125363A1 (ja) 2017-03-30
US20170053575A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
JP6750697B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10324294B2 (en) Display control device, display control method, and computer program
CN108027652B (zh) 信息处理设备、信息处理方法以及记录介质
EP3862845B1 (en) Method for controlling display screen according to eyeball focus and head-mounted electronic equipment
US20210082435A1 (en) Multi-mode guard for voice commands
US11223718B2 (en) Communication control device, method of controlling communication, and program
WO2015125373A1 (ja) 電子機器、および電源制御方法
US11087775B2 (en) Device and method of noise suppression based on noise source positions
JP6402718B2 (ja) 情報処理装置、制御方法およびプログラム
JPWO2018155026A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20170163866A1 (en) Input System
US20180254038A1 (en) Information processing device, information processing method, and program
WO2019244670A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN111630852A (zh) 信息处理设备、信息处理方法和程序
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2019152794A (ja) 情報処理装置、情報処理方法およびプログラム
US11170539B2 (en) Information processing device and information processing method
WO2015125364A1 (ja) 電子機器、および画像の提供方法
KR20180045644A (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
CN107958478B (zh) 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN111566597A (zh) 信息处理设备、信息处理方法和程序
CN116820229B (zh) Xr空间的显示方法、xr设备、电子设备及存储介质
US11366328B1 (en) Controlling a level of magnification of content on a display device based on user movement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190228

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200727

R151 Written notification of patent or utility model registration

Ref document number: 6750697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees