JP2019510991A - 適応焦点面を有して仮想現実をレンダリングする構成 - Google Patents

適応焦点面を有して仮想現実をレンダリングする構成 Download PDF

Info

Publication number
JP2019510991A
JP2019510991A JP2018534138A JP2018534138A JP2019510991A JP 2019510991 A JP2019510991 A JP 2019510991A JP 2018534138 A JP2018534138 A JP 2018534138A JP 2018534138 A JP2018534138 A JP 2018534138A JP 2019510991 A JP2019510991 A JP 2019510991A
Authority
JP
Japan
Prior art keywords
virtual reality
processor
field
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018534138A
Other languages
English (en)
Other versions
JP2019510991A5 (ja
Inventor
パインズ，ジョシュア
ロペス，ピーター
キラン ワーラーナシー
キラン ワーラーナシー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2019510991A publication Critical patent/JP2019510991A/ja
Publication of JP2019510991A5 publication Critical patent/JP2019510991A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

仮想現実装置は仮想現実表示スクリーンを含む。更に、仮想現実装置は、仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システムを含む。その上、仮想現実装置はプロセッサを含む。仮想現実装置は、プロセッサによって実行される場合に、仮想現実装置に、仮想現実表示によって表示されている仮想現実イメージの輝度に基づき１つ以上の目の１つ以上の瞳孔寸法を推定させる命令の組を有するメモリを更に含む。仮想現実装置は、更に、推定された１つ以上の瞳孔寸法に基づき焦点面を決定させられる。

Description

本開示は、コンピューティング・システムの分野に概して関係がある。より具体的には、本開示は仮想現実システムに関係がある。
仮想現実（“ＶＲ”）（virtual reality）システムは、現実世界環境におけるユーザの現実の所在をシミュレートする。シミュレーションは、様々な感覚的経験、例えば、視界、音響、触覚、におい、などをユーザに与えることによって、人工的に生成される。
いくつかの現在のＶＲシステムは、立体表示デバイスを介して実施されている。立体表示デバイスは、立体視、すなわち、第１の画像をユーザの第１の目に、第２の画像をユーザの第２の目に提示して、２Ｄ画像から３Ｄ画像を人工的に生成すること、を介して、画像における奥行きの錯覚を提供する。
ＶＲメガネは、立体視を利用するＶＲシステムの一例である。例えば、ＶＲメガネは、ユーザの両目の直接的な周辺視野をカバーするヘッドマウント型表示スクリーンを通常は含む。ＶＲメガネは、同じ３Ｄシーンの２つの画像を表示する。次いで、それら２つの画像は、３Ｄシーンを現実的な方法でレンダリングする対応する量のパララックスを伴ってコンピュータ・グラフィクス・システムによって合成される。パララックスは、２つの異なる視線（lines of sight）から見られるオブジェクトの知覚されたポジションの差である。３Ｄシーンの現実的なレンダリングは、通常、近くのオブジェクトについてはより大きいパララックスを、遠くのオブジェクトについてはより小さいパララックスを有している。いくつかのＶＲシステムはまた、ＶＲメガネによる表示のために画像を捕捉するよう立体画像捕捉リグを利用することがある。立体画像捕捉リグは、ＶＲシステムを利用するビューアーが、ＶＲシステムによって供給される仮想環境において異なるオブジェクトを見回すよう、ＶＲシステムを利用するときに頭を回転することができるように、３６０°パノラマとして画像を捕捉する。
仮想現実装置は仮想現実表示スクリーンを含む。更に、当該仮想現実装置は、仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システムを含む。その上、当該仮想現実装置はプロセッサを含む。当該仮想現実装置は、前記プロセッサによって実行される場合に、当該仮想現実装置に、前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定させる命令の組を有するメモリを更に含む。当該仮想現実装置は、更に、前記推定された１つ以上の瞳孔寸法に基づき焦点面を決定させられる。更に、当該仮想現実装置は、前記焦点面に基づき合成被写界深度を生成させられる。その上、当該仮想現実装置は、前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用させられる。
更に、プロセスは、視標追跡システムにより、仮想現実装置の仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡する。その上、当該プロセスは、プロセッサにより、前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定する。当該プロセスはまた、前記プロセッサにより、前記推定された１つ以上の瞳孔寸法に基づき焦点面を決定する。更に、当該プロセスは、前記プロセッサにより、前記焦点面に基づき合成被写界深度を生成する。その上、当該プロセスは、前記プロセッサにより、前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用する。
本開示の上記の特徴は、添付の図面と関連して検討される以下の記載を参照して、より明らかになるだろう。図面において、同じ参照符号は、同じ要素を表す。
ユーザがＶＲ環境を見るようヘッドマウント型ＶＲデバイスを利用するＶＲ構成を表す。
図１に表されているユーザによって見られるヘッドマウント型ＶＲデバイスの内部コンポーネントの上面図を表す。
異なる焦点面及び対応する被写界深度（“ＤｏＦ”）（depth of field）を有しているヘッドマウント型ＶＲデバイスの内部コンポーネントの上面図を表す。
図２及び図３に表されている適応焦点面システムの内部コンポーネントを表す。
輝度に基づき正面点を適応させるよう適応焦点面システムによって利用されるプロセスを表す。
適応焦点面を有してＶＲをレンダリングするための構成が提供される。従前のＶＲシステムは、３Ｄ世界ジオメトリがコンピュータ・グラフィクス・パイプラインを用いて輝かされレンダリングされた合成３Ｄシーンとの関連でパララックスを生成することができたが、そのようなＶＲシステムは、通常、全てのオブジェクトを焦点が合って表示した。換言すれば、全ての仮想オブジェクトは、ユーザが焦点を合わせられているオブジェクトの前景及び背景において焦点が合ったままであった。そのような環境は、ヒトの視覚系がパララックスに加えて焦点面に依存するということで、非現実的な見掛けを有している。換言すれば、現実的な環境は、ユーザに明らかに見える特定の奥行きでの焦点面においてオブジェクトを有し、一方で、前景又は背景にある面におけるオブジェクトは、一定量のブラーを有している。
様々なシステムは、ユーザの目を追跡し瞳孔拡張を測定して、明らかに表示すべき注目のオブジェクト及びブラーを適用すべき他のオブジェクトを決定することによって、仮想環境の部分にブラーを適用するよう試みてきたが、そのようなシステムは、通常、複雑な画像処理を利用する。例えば、そのようなシステムは、大きい瞳孔拡張の結果起こる低ＤｏＦをシミュレートするように更なるブラーを適用するよう瞳が拡張されるかどうか、すなわち、奥行きがはっきりと焦点が合っているように焦点が合っているオブジェクトの前及び後ろの奥行きを決定するよう、あるいは、小さい瞳孔拡張の高ＤｏＦをシミュレートするようにより少ないブラーを適用するよう瞳が収縮されるかどうかを決定するよう、瞳の画像を解析する。換言すれば、ＤｏＦは、焦点が合って見えるべきシーン内の最も近いオブジェクトから最も遠いオブジェクトまでの間の距離を測り、一方で、その距離の外にあるオブジェクトは、一定量のブラーを有するべきである。対照的に、適応焦点面を有してＶＲをレンダリングするための構成は、仮想シーンの輝度に基づきユーザの瞳の直径を推定する。結果として、ＶＲシステムの計算効率、例えば、処理スピードは、瞳孔直径推定が瞳孔拡張の画像処理よりも効率的であるということで、改善される。更に、適応焦点面を有してＶＲをレンダリングするための構成は、複雑な画像解析のための装置が、従来のＶＲシステムと対照的に、適応焦点面を有してＶＲをレンダリングするための構成には不要であるということで、従来のＶＲシステムのコストを削減する。
適応焦点面を有してＶＲをレンダリングするための構成はまた、従来のＶＲシステムよりも正確である。例えば、実際の屋外シーンにおけるユーザの瞳は、シーン内の全てのオブジェクトの焦点が合っているように、収縮されうる。ＶＲ環境において同様のシーンを見るときに、ユーザは表示輝度を下げることがある。これは、現実世界のシーンの輝度に相応しない瞳孔拡張を生じさせる可能性がある。従来のＶＲシステムは、たとえユーザが仮想環境において明るく輝かされたシーンを見ていたとしても、測定された瞳孔拡張に基づき、前景及び背景のオブジェクトにブラーを適用した。換言すれば、ユーザは、仮想シーン内の全てのオブジェクトを焦点が合って見えると期待していたかもしれないが、従来のＶＲシステムが測定された瞳孔拡張をブラー適用のために利用した結果として、特定の前景及び背景のオブジェクトに関してブラーを見ることがある。対照的に、適応焦点面を有してＶＲをレンダリングするための構成は、シーンの輝度がブラー適用のための基準として利用されるので、ブラー適用のために更なる正確さを与えることによって従来のＶＲシステムを改良する。例えば、適応焦点面を有してＶＲをレンダリングするための構成は、ユーザが表示輝度を低減させた太陽に照らされたＶＲシーンに等しくブラーを適用しない。これは、太陽に照らされたＶＲシーンがユーザによって変更されていないからである。
図１は、ユーザ１０１がＶＲ環境を見るためにヘッドマウント型ＶＲデバイス１０２を利用するＶＲ構成１００を表す。ユーザ１０１は、ヘッドマウント型ＶＲデバイス１０２内に位置付けられた、図２に表されているＶＲ表示スクリーン２０３を見る。様々な実施形態で、ＶＲ環境は、現実世界イメージの捕捉された立体画像を有している。立体画像は、合成イメージとしてＶＲ環境においてレンダリングされる。ユーザ１０１は、様々なモダリティ、例えば、頭部旋回、ヘッドマウント型ＶＲデバイスに位置付けられたマイクロホンにボイス入力を供給すること、ヘッドマウント型ＶＲデバイス１０２に位置付けられたアクチュエータにタッチ入力を供給すること、ヘッドマウント型ＶＲデバイス１０２の近くに位置するアクチュエータにタッチ入力を供給すること、などを介して、ＶＲ環境をナビゲートし得る。様々な頭部取付デバイス、例えば、ストラップ構成が、ユーザ１０１の頭へのＶＲデバイス１０２の頭部取り付けを達成するために利用されてよい。ＶＲ構成１００は、ヘッドマウント型ＶＲデバイス１０２を利用するものとして表されているが、ＶＲシステムの様々な他の実施形態は、ユーザから離れて位置付けられて、ＶＲ表示スクリーンに対するユーザの追跡された頭部の動きに基づきＶＲ環境を変更するＶＲ表示スクリーンを含む。従って、ＶＲ構成１００は、特定のＶＲシステムに制限されない。
図２は、図１で表されているユーザ１０１によって見られるヘッドマウント型ＶＲデバイス１０２の内部コンポーネントの上面図を表す。ユーザ１０１は、ＶＲ環境における様々なオブジェクト２０７〜２１１を知覚するよう表示スクリーン２０３を見る。例えば、ユーザ１０１の左眼２０１及び右眼２０２は、注目のオブジェクト２０７をじっと見る。視標追跡システム２０４（例えば、１つ以上の画像捕捉デバイス）は、注目のオブジェクト２０７を決定するよう目２０１及び２０２の注視を捕捉する。視標追跡システム２０４は、捕捉された視標追跡データを適応焦点面システム２０５へ供給する。
様々な実施形態において、視標追跡システム２０４は、目２０１及び２０２の夫々についてカメラ座標系（例えば、ｘ座標及びｙ座標）を有してよい。世界ジオメトリは、目２０１及び２０２の夫々が世界ジオメトリの原点にあると見なされるように、目２０１及び２０２の夫々についてのカメラ座標系に従って表され得る。視標追跡システム２０４は、ＶＲ表示スクリーン２０３における（ｘ，ｙ）ピクセル座標に関して目２０１及び２０２の夫々のビュー方向を推定する。
適応焦点面システム２０５は、目２０１及び２０２についての焦点面２０６を推定するよう、捕捉された視標追跡データのビュー方向を利用する。様々な実施形態において、適応焦点面システム２０５は、目２０１及び２０２が注目のオブジェクト２０７の同じ点をじっと見ているということに基づいて、焦点面２０６を単一の焦点面２０６として推定する。様々な他の実施形態において、適応焦点面システム２０５は、目２０１及び２０２がＶＲ環境におけるオブジェクトの異なる点又は異なるオブジェクトをじっと見ているということに基づいて、目２０１及び２０２の夫々についての異なる焦点面を推定する。
適応焦点面システム２０５は、次いで、ＶＲ表示スクリーン２０３の輝度に基づき目２０１及び２０２の瞳孔拡張を推定する。例えば、適応焦点面システム２０５は、ＶＲ表示スクリーン２０３が低輝度を有しているイメージを出す場合には、目２０１及び２０２の大きい瞳孔拡張を推定し得る。そのような瞳孔収縮は、最小限の明暗を有している現実世界のシーンの瞳孔拡張と相互に関連がある。他の例として、適応焦点面システム２０５は、ＶＲ表示スクリーン２０３が高い輝度を有しているイメージを出す場合には、目２０１及び２０２の小さい瞳孔拡張を発生させ得る。そのような瞳孔拡張は、瞳孔拡張が現実世界のシーンにおけるオブジェクトを知覚するには不要であるように、最適な明暗又はほぼ最適な明暗を有しているその現実世界のシーンの瞳孔収縮と相互に関連がある。
適応焦点面システム２０５は、推定された焦点面２０６に基づき合成ＤｏＦを生成する。適応焦点面システム２０５は、合成ＤｏＦ内のオブジェクトのピクセルが明りょうであることを可能にする、又はそのように変更し、一方、適応焦点面システム２０５は、ブラーが未だ適用されていない場合には、合成ＤｏＦの外にあるオブジェクトにブラーを適用する。例えば、注目のオブジェクト２０７がユーザ１０１によって明らかに見られて知覚されるよう意図される場合に、注目のオブジェクト２０７のピクセルは変更されないか、あるいは、適応焦点面システム２０５によって、如何なるブラーも除去するよう変更される。その上、合成ＤｏＦ内の前景オブジェクト及び／又は背景オブジェクトも、ユーザ１０１によって明らかに見られて知覚されるよう意図される。従って、適応焦点面システム２０５は、そのようなオブジェクトのピクセルが如何なるブラーもなしで見られることを可能にするか、又はそのように変更する。
図２に表されているＤｏＦの例は、ＶＲ表示スクリーン２０３によって発せられた低輝度に基づく大きな瞳孔拡張の推定から生じる低いＤｏＦである。例えば、ＤｏＦは、ＶＲ表示スクリーン２０３の全体に満たない最短距離だけ注目のオブジェクト２０７から前及び後ろに延在するものとして表される。結果として、適応焦点面システム２０５は、ＤｏＦ内に存在している前景オブジェクト２０９及び背景オブジェクト２０８にブラーを適用せず、ＤｏＦの外にある前景オブジェクト２１０及び背景オブジェクト２１１にブラーを適用する。
様々な実施形態において、輝度は、ＶＲ表示スクリーン２０３によって表示されるＶＲ環境が合成イメージであることから、予め決定されている。換言すれば、特定のシーンの輝度は、たとえユーザが明るさのような様々な入力を調整するとしても、変化しない。例えば、輝度シーン値は、適応焦点面システム２０５へ、例えば、ストリーミング、ダウンロード、などを介して供給されるビデオフレーム内に符号化されてよい。それにより、適応焦点面システム２０５は、特定のシーンに関連した所定の輝度を決定する。様々な実施形態において、適応焦点面システム２０５は、特定のＶＲシーンに関連するＶＲ表示スクリーン２０３によって表示されるコードを解析すること、ＶＲ表示スクリーン２０３から受信されるメタデータを解析すること、特定の画像に関連すると予め決定されるシーンを決定するよう画像解析を行うこと、などによって、特定のシーンを決定してよい。
ブラーデータは、適応焦点面システム２０５によって決定される。適応焦点面システム２０５は、そのようなデータを、レンダリングのために、ＶＲ表示スクリーン２０３へ送ってよい。換言すれば、適応焦点面システム２０５は、合成ＤｏＦの外にある特定のオブジェクト又はオブジェクトの部分にブラー効果をかけるよう表示データを変更してよい。ＶＲ表示スクリーン２０３は、次いで、変更されたデータをレンダリングしてよい。
適応焦点面システム２０５は単一のシステムとして表されているが、様々な実施形態において、複数のシステムが、適応焦点面システム２０５の機能性を実行するために利用されてよい。例えば、第１のシステムは、輝度に基づき瞳孔寸法を推定してよく、第２のシステムは、瞳孔寸法の推定に基づき焦点面を決定するか又は既存の焦点面を適応させてよく、第３のシステムは、焦点面に基づき合成ＤｏＦを生成してよく、第４のシステムは、合成ＤｏＦに基づきブラー適用を実行してよい。異なる機能性を実行するために利用されるシステムの数は他にもいくつであってもよい。
適応焦点面システム２０５は、様々な瞳孔サイズ推定に焦点面を適応させる。図３は、異なる焦点面３０１及び対応するＤｏＦを有しているヘッドマウント型ＶＲデバイス１０２の内部コンポーネントの上面図を表す。一例として、図３の適応焦点面システム２０５は、目２０１及び２０２の小さい瞳孔拡張、すなわち、ＶＲ表示スクリーン２０３から発せられた最適な又はほぼ最適な輝度から生じる瞳孔収縮を推定する。結果として、適応焦点面システム２０５は、全てのオブジェクト２０７〜２１１がＶＲ表示スクリーン２０３によって明りょうにレンダリングされるような高いＤｏＦを計算する。
図４は、図２及び図３で表されている適応焦点面システム２０５の内部コンポーネントを表す。適応焦点面システム２０５は、プロセッサ４０１と、様々な入出力（Ｉ／Ｏ）デバイス４０２、例えば、オーディオ／ビデオ出力及びオーディオ／ビデオ入力、テープ・ドライブ、フロッピー（登録商標）・ドライブ、ハードディスク・ドライブ若しくはコンパクトディスク・ドライブを含むがそれらに限られない記憶デバイス、受信器、送信器、スピーカ、ディスプレイ、画像捕捉センサ、例えば、デジタル静止カメラ若しくはデジタルビデオカメラで使用されるもの、クロック、出力ポート、ユーザ入力デバイス、例えば、キーボード、キーパッド、マウス、及び同様のもの、又は発話コマンドを捕捉するマイクロホンと、メモリ４０３、例えば、ランダム・アクセス・メモリ（“ＲＡＭ”）（random access memory）及び／又はリード・オンリー・メモリ（“ＲＯＭ”）（read only memory）と、データ記憶デバイス４０４と、合成ＤｏＦ生成コード４０５とを有する。
プロセッサ４０１は、具体的に、ＶＲシーンのどの部分がブラー効果をかけられるか又はかけられないかを決定するために利用される合成ＤｏＦを生成するように合成ＤｏＦ生成コード４０５を実行するよう構成される。瞳孔拡張を決定するために計算負荷の重い画像処理を利用した従来のコンピューティング・システムと対照的に、プロセッサ４０１は、輝度に基づく瞳孔拡張のより計算効率の良い推定を利用する。従って、プロセッサ４０１は、現実的なＶＲ景観をレンダリングするようブラー適用の処理スピードを改善することによって、コンピュータの機能を改善する。
更に、プロセッサ４０１は、画像処理を介して瞳孔拡張を決定することによるよりも正確な合成ＤｏＦを生成するよう輝度値を利用することによって、コンピュータの精度を改善する。換言すれば、プロセッサ４０１は、どのような瞳孔拡張が、ユーザ１０１によって調整されているかもしれず且つ瞳孔拡張に対して影響を有している可能性がある特定の明るさレベルよりもむしろ、所定の同姓イメージの特定の輝度値に基づくべきであるかを決定する。よって、合成イメージの輝度の使用は、明るさ調整のような他の制約によって影響を及ぼされる可能性がある瞳孔拡張と比べて、合成ＤｏＦを生成するためのより正確な決定因子である。
図５は、輝度に基づき焦点面を適応させるよう適応焦点面システム２０５によって利用されるプロセス５００を表す。処理ブロック５０１で、プロセス５００は、視標追跡システム２０４により、仮想現実装置１０２の仮想現実表示２０３において注目のオブジェクト２０７を決定するようユーザ１０１の１つ以上の目２０１及び２０２の注視方向を追跡する。その上、処理ブロック５０２で、プロセス５００は、プロセッサ４０１により、仮想現実表示２０３によって表示されている仮想現実イメージの輝度に基づき、１つ以上の目２０１及び２０２の１つ以上の瞳孔寸法を推定する。処理ブロック５０３で、プロセス５００はまた、プロセッサ４０１により、推定された１つ以上の瞳孔寸法に基づき焦点面２０６を決定する。更に、処理ブロック５０４で、プロセス５００は、プロセッサ４０１により、焦点面２０６に基づき合成ＤｏＦを生成する。その上、処理ブロック５０５で、プロセス５００は、プロセッサ４０１により、仮想現実表示２０３の１つ以上のピクセルが合成被写界深度の外にあることに基づき、それらの１つ以上のピクセルにブラー効果を適用する。
本願で記載されるプロセスは、図４に表されているプロセッサ４０１によって実装されてよい。そのようなプロセッサは、プロセスを実行するよう、コンパイルされたアセンブリ又はマシンレベルのいずれかで、命令を実行する。それらの命令は、プロセスに対応する図の記載に従って当業者によって記述され、そして、コンピュータ可読記憶デバイスのようなコンピュータ可読媒体において記憶又は送信され得る。命令はまた、ソースコード又は何らかの他の既知のコンピュータ支援設計ツールを用いて作成されてよい。コンピュータ可読媒体は、それらの命令を運ぶことが可能な如何なる媒体であってもよく、ＣＤ−ＲＯＭ、ＤＶＤ、磁気又は他の光ディスク、テープ、シリコン・メモリ、例えば、ローカルで若しくは遠隔でネットワークを通じた有線若しくは無線伝送によるリムーバブル、非リムーバブル、揮発性若しくは不揮発性、パケット化された若しくはパケット化されていないデータを含む。コンピュータは、本願では、上述されたような一般的な多目的又は単一目的のプロセッサを有している如何なるデバイスも含むよう意図される。
本願で記載される構成は、ＶＲシステムを対象としているが、そのような構成は、拡張現実（“ＡＲ”）（augmented reality）システムとの関連でも利用されてよい。ＡＲシステムは、通常、表示システム、例えば、メガネのような、現実世界のイメージの上に仮想イメージをオーバーレイするヘッドマウント型システムを利用する。結果として、ユーザは、仮想イメージがオーバーレイされた現実世界の景観を見ることができる。本願のために提供された構成は、仮想イメージがより現実的に見えるように、仮想イメージの輝度値から生成された瞳孔拡張推定に基づきその仮想イメージの焦点面を調整するために利用されてよい。
“及び／又は（and/or）”及び“〜のうちの少なくとも１つ（at least one of）”の使用（例えば、“Ａ及び／又はＢ”及び“Ａ及びＢのうちの少なくとも１つ”の場合）は、最初に挙げられているオプション（Ａ）のみの選択、又は２番目に挙げられているオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ、及び／又はＣ”及び“Ａ、Ｂ、及びＣのうちの少なくとも１つ”の場合に、そのような言い回しは、最初に挙げられているオプション（Ａ）のみの選択、又は２番目に挙げられているオプション（Ｂ）のみの選択、又は３番目に挙げられているオプション（Ｃ）のみの選択、又は最初と２番目に挙げられているオプション（Ａ及びＢ）のみの選択、又は最初と３番目に挙げられているオプション（Ａ及びＣ）のみの選択、又は２番目と３番目に挙げられているオプション（Ｂ及びＣ）のみの選択、又は３つ全てのオプション（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、挙げられているアイテムの数だけ拡張され得る。
本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品は、他のタイプのプロセス、システム、装置、及びコンピュータ・プログラム製品においても適用されてよいことが理解される。当業者に明らかなように、本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品の実施形態の様々な適応及び変更は、目下のプロセス及びシステムの適用範囲及び精神から外れることなしに構成されてよい。従って、添付の特許請求の範囲の適用範囲の中で、目下のプロセス、システム、装置、及びコンピュータ・プログラム製品は、本願で具体的に記載されている以外にも実施されてよいことが理解されるべきである。
本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品は、他のタイプのプロセス、システム、装置、及びコンピュータ・プログラム製品においても適用されてよいことが理解される。当業者に明らかなように、本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品の実施形態の様々な適応及び変更は、目下のプロセス及びシステムの適用範囲及び精神から外れることなしに構成されてよい。従って、添付の特許請求の範囲の適用範囲の中で、目下のプロセス、システム、装置、及びコンピュータ・プログラム製品は、本願で具体的に記載されている以外にも実施されてよいことが理解されるべきである。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
仮想現実装置（１０２）であって、
仮想現実表示スクリーン（２０３）と、
仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システム（２０４）と、
プロセッサ（４０１）と、
命令の組を有するメモリ（４０３）と
を有し、
前記命令の組は、前記プロセッサ（４０１）によって実行される場合に、当該仮想現実装置（１０２）に、
前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定させ、
前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定させ、
前記焦点面（２０６）に基づき合成被写界深度を生成させ、
前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用させる、
仮想現実装置（１０２）。
（付記２）
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定させる、
付記１に記載の仮想現実装置（１０２）。
（付記３）
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除かせる、
付記１に記載の仮想現実装置（１０２）。
（付記４）
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
付記１に記載の仮想現実装置（１０２）。
（付記５）
前記視標追跡システム（２０４）は、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡する、
付記１に記載の仮想現実装置（１０２）。
（付記６）
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
付記１に記載の仮想現実装置（１０２）。
（付記７）
当該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを更に有する
付記１に記載の仮想現実装置（１０２）。
（付記８）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
付記１に記載の仮想現実装置（１０２）。
（付記９）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
付記１に記載の仮想現実装置（１０２）。
（付記１０）
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実イメージのパノラマビューを供給させる、
付記１に記載の仮想現実装置（１０２）。
（付記１１）
視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法。
（付記１２）
前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
付記１１に記載の方法。
（付記１３）
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
付記１１に記載の方法。
（付記１４）
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
付記１１に記載の方法。
（付記１５）
前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
付記１１に記載の方法。
（付記１６）
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
付記１１に記載の方法。
（付記１７）
前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
付記１１に記載の方法。
（付記１８）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
付記１１に記載の方法。
（付記１９）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
付記１１に記載の方法。
（付記２０）
前記仮想現実イメージのパノラマビューを供給することを更に有する
付記１１に記載の方法。
（付記２１）
視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法を実施するためのコンピュータ実行可能プログラム命令を記憶している非一時的なコンピュータ可読媒体。
（付記２２）
前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２３）
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２４）
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２５）
前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２６）
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２７）
前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２８）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２９）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記３０）
前記仮想現実イメージのパノラマビューを供給することを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。

Claims (30)

  1. 仮想現実装置（１０２）であって、
    仮想現実表示スクリーン（２０３）と、
    仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システム（２０４）と、
    プロセッサ（４０１）と、
    命令の組を有するメモリ（４０３）と
    を有し、
    前記命令の組は、前記プロセッサ（４０１）によって実行される場合に、当該仮想現実装置（１０２）に、
    前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定させ、
    前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定させ、
    前記焦点面（２０６）に基づき合成被写界深度を生成させ、
    前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用させる、
    仮想現実装置（１０２）。
  2. 前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
    前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定させる、
    請求項１に記載の仮想現実装置（１０２）。
  3. 前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
    前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除かせる、
    請求項１に記載の仮想現実装置（１０２）。
  4. 前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
    請求項１に記載の仮想現実装置（１０２）。
  5. 前記視標追跡システム（２０４）は、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡する、
    請求項１に記載の仮想現実装置（１０２）。
  6. 前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
    請求項１に記載の仮想現実装置（１０２）。
  7. 当該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを更に有する
    請求項１に記載の仮想現実装置（１０２）。
  8. 前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
    請求項１に記載の仮想現実装置（１０２）。
  9. 前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
    請求項１に記載の仮想現実装置（１０２）。
  10. 前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
    前記仮想現実イメージのパノラマビューを供給させる、
    請求項１に記載の仮想現実装置（１０２）。
  11. 視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
    プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
    前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
    前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
    前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
    を有する方法。
  12. 前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
    請求項１１に記載の方法。
  13. 前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
    請求項１１に記載の方法。
  14. 前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
    請求項１１に記載の方法。
  15. 前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
    請求項１１に記載の方法。
  16. 前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
    請求項１１に記載の方法。
  17. 前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
    請求項１１に記載の方法。
  18. 前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
    請求項１１に記載の方法。
  19. 前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
    請求項１１に記載の方法。
  20. 前記仮想現実イメージのパノラマビューを供給することを更に有する
    請求項１１に記載の方法。
  21. 視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
    プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
    前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
    前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
    前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
    を有する方法を実施するためのコンピュータ実行可能プログラム命令を記憶している非一時的なコンピュータ可読媒体。
  22. 前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  23. 前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  24. 前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  25. 前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  26. 前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  27. 前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  28. 前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  29. 前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
    請求項２１に記載の非一時的なコンピュータ可読媒体。
  30. 前記仮想現実イメージのパノラマビューを供給することを更に有する
    請求項２１に記載の非一時的なコンピュータ可読媒体。
JP2018534138A 2015-12-31 2016-12-22 適応焦点面を有して仮想現実をレンダリングする構成 Pending JP2019510991A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562273833P 2015-12-31 2015-12-31
US62/273,833 2015-12-31
PCT/EP2016/082428 WO2017114755A1 (en) 2015-12-31 2016-12-22 Configuration for rendering virtual reality with an adaptive focal plane

Publications (2)

Publication Number Publication Date
JP2019510991A true JP2019510991A (ja) 2019-04-18
JP2019510991A5 JP2019510991A5 (ja) 2020-01-23

Family

ID=57681595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018534138A Pending JP2019510991A (ja) 2015-12-31 2016-12-22 適応焦点面を有して仮想現実をレンダリングする構成

Country Status (6)

Country Link
US (1) US10713760B2 (ja)
EP (1) EP3398004B1 (ja)
JP (1) JP2019510991A (ja)
KR (1) KR20180099703A (ja)
CN (1) CN108885339B (ja)
WO (1) WO2017114755A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699433B2 (en) * 2013-01-24 2017-07-04 Yuchen Zhou Method and apparatus to produce re-focusable vision with detecting re-focusing event from human eye
WO2019086635A1 (en) * 2017-11-03 2019-05-09 United Screens Gmbh Display system, mobile device and method for providing three-dimensional views
CN107958478B (zh) * 2017-12-15 2022-05-03 歌尔光学科技有限公司 虚拟现实场景中物体的渲染方法和虚拟现实头戴设备
CN108134928A (zh) * 2017-12-26 2018-06-08 深圳Tcl新技术有限公司 Vr显示方法和装置
CN111869222B (zh) * 2018-03-22 2022-05-17 华为技术有限公司 基于http的dash客户端网元、方法及介质
CN111757089A (zh) * 2019-03-29 2020-10-09 托比股份公司 利用眼睛的瞳孔增强调节来渲染图像的方法和系统
WO2020209491A1 (en) 2019-04-11 2020-10-15 Samsung Electronics Co., Ltd. Head-mounted display device and operating method of the same
CN110084879B (zh) * 2019-04-28 2023-06-27 网易（杭州）网络有限公司 虚拟场景中的对象处理方法、装置、介质及电子设备
CN112258612B (zh) * 2019-08-01 2022-04-22 北京灵医灵科技有限公司 一种基于断层图像的虚拟解剖对象观察方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2004005567A (ja) * 2002-04-09 2004-01-08 Sony Computer Entertainment America Inc コンピュータディスプレイ画像を生成する方法ならびに画像データを生成するコンピュータ処理システムおよびグラフィックスプロセッサ
JP2006195084A (ja) * 2005-01-12 2006-07-27 Sharp Corp 表示装置
US20120113107A1 (en) * 2010-11-05 2012-05-10 Jun Woo Jang Image display device and driving method for thereof
US20130335404A1 (en) * 2012-06-15 2013-12-19 Jeff Westerinen Depth of field control for see-thru display
JP2015164235A (ja) * 2012-06-19 2015-09-10 シャープ株式会社 画像処理装置、方法、プログラム、および記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69323115T2 (de) * 1992-06-02 1999-08-05 Canon K.K., Tokio/Tokyo Optisches gerät mit Blickrichtungserfassung
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
JP5529660B2 (ja) * 2010-07-20 2014-06-25 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
US8625200B2 (en) * 2010-10-21 2014-01-07 Lockheed Martin Corporation Head-mounted display apparatus employing one or more reflective optical surfaces
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
JP2015504616A (ja) * 2011-09-26 2015-02-12 マイクロソフト コーポレーション 透過近眼式ディスプレイのセンサ入力に基づく映像表示修正
JP5572647B2 (ja) * 2012-02-17 2014-08-13 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
DE102013212374A1 (de) * 2013-06-27 2014-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Anpassen einer Darstellung eines Bildes auf einem Bildschirm
TWI516804B (zh) * 2014-01-02 2016-01-11 廣達電腦股份有限公司 頭戴式顯示裝置及其背光調整方法
US10007350B1 (en) * 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
GB2533553B (en) * 2014-12-15 2020-09-09 Sony Interactive Entertainment Inc Image processing method and apparatus
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
CN105244008B (zh) * 2015-11-09 2017-12-15 深圳市华星光电技术有限公司 一种显示设备及其亮度调节方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000354257A (ja) * 1999-06-10 2000-12-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム提供媒体
JP2004005567A (ja) * 2002-04-09 2004-01-08 Sony Computer Entertainment America Inc コンピュータディスプレイ画像を生成する方法ならびに画像データを生成するコンピュータ処理システムおよびグラフィックスプロセッサ
JP2006195084A (ja) * 2005-01-12 2006-07-27 Sharp Corp 表示装置
US20120113107A1 (en) * 2010-11-05 2012-05-10 Jun Woo Jang Image display device and driving method for thereof
US20130335404A1 (en) * 2012-06-15 2013-12-19 Jeff Westerinen Depth of field control for see-thru display
JP2015164235A (ja) * 2012-06-19 2015-09-10 シャープ株式会社 画像処理装置、方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
EP3398004A1 (en) 2018-11-07
WO2017114755A1 (en) 2017-07-06
CN108885339A (zh) 2018-11-23
KR20180099703A (ko) 2018-09-05
CN108885339B (zh) 2021-09-28
US20190012771A1 (en) 2019-01-10
US10713760B2 (en) 2020-07-14
EP3398004B1 (en) 2021-09-29

Similar Documents

Publication Publication Date Title
CN108885339B (zh) 用于使用自适应焦平面渲染虚拟现实的配置
US10948726B2 (en) IPD correction and reprojection for accurate mixed reality object placement
JP6759371B2 (ja) ３ｄプレノプティックビデオ画像を作成するためのシステムおよび方法
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11010958B2 (en) Method and system for generating an image of a subject in a scene
EP3035681B1 (en) Image processing method and apparatus
JP2024059761A (ja) 仮想現実および拡張現実ディスプレイシステムのための連続時間ワーピングおよび両眼時間ワーピングおよび方法
US20150138069A1 (en) Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display
US9342861B2 (en) Alternate viewpoint rendering
JP2019510991A5 (ja)
JP2023551864A (ja) 自動立体テレプレゼンスシステムのための３次元（３ｄ）顔特徴追跡
JP6017144B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP6685241B2 (ja) 立体視ビデオ生成
KR20200117685A (ko) 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템
JP6490107B2 (ja) 立体視ビデオズーミング
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
US20240078743A1 (en) Stereo Depth Markers
US20220232201A1 (en) Image generation system and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210518