JP2018523142A - 取込まれた像のパススルー表示 - Google Patents
取込まれた像のパススルー表示 Download PDFInfo
- Publication number
- JP2018523142A JP2018523142A JP2017550729A JP2017550729A JP2018523142A JP 2018523142 A JP2018523142 A JP 2018523142A JP 2017550729 A JP2017550729 A JP 2017550729A JP 2017550729 A JP2017550729 A JP 2017550729A JP 2018523142 A JP2018523142 A JP 2018523142A
- Authority
- JP
- Japan
- Prior art keywords
- pixel row
- image
- display
- pixel
- buffer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 69
- 239000000872 buffer Substances 0.000 claims description 87
- 230000008569 process Effects 0.000 claims description 38
- 238000001914 filtration Methods 0.000 claims description 17
- 230000003139 buffering effect Effects 0.000 claims description 9
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 8
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 28
- 230000008901 benefit Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 238000009429 electrical wiring Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本願は、2015年5月4日に出願された米国仮出願番号第62/156,815号の利点を主張するものであって、その全体が引用によりこの明細書中に援用されている。
本開示は、概して、ディスプレイシステムに関し、より特定的には、ディスプレイシステムにおける1つ以上の撮像センサを介して取込まれた像の表示に関する。
拡張現実(augmented reality:AR)ディスプレイシステムは、典型的には、ユーザの環境の像を取込むように動作し、次いで、取込まれた像の表現をディスプレイ装置上に表示する。これにより、取込まれた像の表現は、拡張表示情報、たとえばARオーバーレイなど、または、取込まれた像の仮想現実(virtual reality:VR)表現、たとえば、取込まれた画像における現実的内容の漫画表現もしくはコンピュータ描写表現などを含み得る。従来のARディスプレイシステムにおいては、各々の画像が取込まれた後、画像の画素がすべて出力されてフレームバッファに一緒にバッファリングされる。その後、プロセッサが、その画像を、フレームバッファからの全体画像として処理し、さらに、結果として生じる修正画像がフレームバッファからディスプレイ装置に出力されて、修正画像が表示される。
添付の図面を参照することにより、本開示が当業者によってより良く理解され得るとともに、その多数の特徴および利点が当業者にとって明らかになり得る。異なる図面において同じ参照符号を用いる場合、これらは同様のアイテムまたは同一のアイテムを示している。
以下の説明は、像の取込みおよび表示のシステムを含むいくつかの具体的な実施形態および詳細を提供することによって本開示の十分な理解をもたらすように意図されている。しかしながら、本開示が、単なる例示に過ぎないこれらの具体的な実施形態および詳細に限定されないものであり、このため、開示の範囲が添付の特許請求の範囲およびその同等例によってのみ限定されるよう意図されていることが理解される。当業者が、公知のシステムおよび方法に鑑みて、特定の設計および他の必要性に応じて、いくつもの代替的な実施形態において、その意図された目的および利点についての開示を使用することを認識するだろうことがさらに理解される。
Claims (26)
- 第1の撮像センサによって取込まれた第1の画像の画素行の第1のセットの各画素行を前記第1の撮像センサから連続的に出力するステップと、
前記第1の画像の第1の画素行を表わす画素行を、前記第1の画像の第2の画素行が前記第1の撮像センサによって出力される前に、ディスプレイ装置において表示するステップとを含む、方法。 - 画素行の前記第1のセットのサブセットをバッファにバッファリングするステップをさらに含み、前記サブセットは前記第1の画素行を含み、さらに、
前記バッファにおける画素行の前記バッファリングされたサブセットを修正して、前記第1の画素行を表わす前記画素行を生成するステップを含み、
前記第1の画素行を表わす前記画素行を表示するステップは、前記バッファから前記第1の画素行を表わす前記画素行にアクセスするステップと、前記アクセスされた画素行で、前記ディスプレイ装置の対応する行を駆動するステップとを含む、請求項1に記載の方法。 - 画素行の前記バッファリングされたサブセットを修正するステップは、
画素行の前記第1のサブセットのうち1つ以上の画素行についての拡張現実オーバーレイ情報を受取るステップと、
前記拡張現実オーバーレイ情報に基づいて画素行の前記バッファリングされたサブセットを修正するステップとを含む、請求項2に記載の方法。 - 画素行の前記バッファリングされたサブセットを修正するステップは、
画素行の前記バッファリングされたサブセット上で1つ以上のフィルタリングプロセスを実行するステップを含む、請求項2に記載の方法。 - 1つ以上のフィルタリングプロセスを実行するステップは、
空間フィルタリングプロセスおよび色フィルタリングプロセスのうち少なくとも1つを実行するステップを含む、請求項4に記載の方法。 - 前記第1の画素行を画素行バッファにバッファリングするステップと、
前記第1の画素行の位置に関連付けられた拡張現実オーバーレイ情報に基づいて、前記画素行バッファにおいて前記第1の画素行を修正して、前記第1の画素行を表わす前記画素行を生成するステップとをさらに含み、
前記第1の画素行を表わす前記画素行を表示するステップは、前記バッファから前記第1の画素行を表わす前記画素行にアクセスして、前記アクセスされた画素行で前記ディスプレイ装置を駆動するステップを含む、請求項1に記載の方法。 - 第2の画素行を表わす画素行を、前記第1の画像の第3の画素行が前記第1の撮像センサによって出力されるよりも前に、前記ディスプレイ装置において表示するステップをさらに含む、請求項1に記載の方法。
- 第2の撮像センサによって取込まれた第2の画像の画素行の第2のセットのうち各画素行を前記第2の撮像センサから連続的に出力するステップと、
前記第2の画像の第3の画素行を表わす画素行を、前記第2の画像の第4の画素行が前記第2の撮像センサによって出力される前に、前記ディスプレイ装置において表示するステップとを含む、請求項1に記載の方法。 - 前記第1の画像は前記ディスプレイの第1の領域において表示され、
前記第2の画像は、前記第1の画像の表示と同時に前記ディスプレイの第2の領域において表示される、請求項8に記載の方法。 - 前記第1の画像は第1の時間において前記ディスプレイの第1の領域において表示され、
前記第2の画像は、前記第1の時間とは異なる第2の時間において前記ディスプレイの第2の領域において表示され、
前記第2の領域は前記第1の時間においてインアクティブであり、
前記第1の領域は前記第2の時間においてインアクティブである、請求項8に記載の方法。 - 第1の取込まれた画像の画素行を連続的に出力するための出力を有する第1の撮像センサと、
前記第1の撮像センサの前記出力に連結されたディスプレイコントローラとを含み、前記ディスプレイコントローラは、前記第1の取込まれた画像の最後の画素行が前記第1の撮像センサによって出力される前に、ディスプレイ装置において、前記第1の取込まれた画像の画素行を連続的に表示し始めるためのものである、装置。 - 前記第1の撮像センサの前記出力に連結された画素行バッファをさらに含み、前記画素行バッファは、前記第1の取込まれた画像の前記画素行のサブセットをバッファにバッファリングするための複数のエントリを有し、さらに、
前記画素行バッファに連結されたコンポジタを含み、前記コンポジタは、画素行の前記バッファリングされたサブセットを修正して、画素行の修正済みサブセットを生成するためのものであり、
前記ディスプレイコントローラは、前記画素行バッファに連結されており、前記ディスプレイコントローラは、前記画素行バッファから画素行の前記修正済みサブセットの各画素行に連続的にアクセスすることによって、前記第1の取込まれた画像の前記画素行を連続的に表示するためのものであり、かつ、前記アクセスされた画素行で、前記ディスプレイ装置の対応する行を駆動するためのものである、請求項11に記載の装置。 - 前記コンポジタはさらに、画素行の前記サブセットのうち1つ以上の画素行についての拡張現実オーバーレイ情報を受取るためのものであり、
前記コンポジタは、前記拡張現実オーバーレイ情報に基づいて画素行の前記バッファリングされたサブセットを修正するためのものである、請求項12に記載の装置。 - 前記コンポジタは、画素行の前記バッファリングされたサブセット上において1つ以上のフィルタリングプロセスを実行することによって、画素行の前記バッファリングされたサブセットを修正するためのものである、請求項12に記載の装置。
- 前記1つ以上のフィルタリングプロセスは、空間フィルタリングプロセスおよび色フィルタリングプロセスのうち少なくとも1つを含む、請求項14に記載の装置。
- 画素行バッファをさらに含み、前記第1の取込まれた画像の第1の画素行が前記画素行バッファにバッファリングされ、さらに、
前記画素行バッファに連結されたコンポジタを含み、前記コンポジタは、前記第1の画素行の位置に関連付けられた拡張現実オーバーレイ情報に基づいて前記画素行バッファにおいて前記第1の画素行を修正して、前記第1の画素行を表わす画素行を生成するためのものであり、
前記ディスプレイコントローラは、前記画素行バッファに連結されており、前記ディスプレイコントローラは、前記バッファから前記第1の画素行を表わす前記画素行にアクセスすることによって前記第1の画素行を表わす前記画素行を表示するためのものであり、かつ、前記アクセスされた画素行で前記ディスプレイ装置を駆動するためのものである、請求項11に記載の装置。 - 前記ディスプレイコントローラはさらに、第2の画素行を表わす画素行を、前記第1の取込まれた画像の第3の画素行が前記第1の撮像センサによって出力される前に、前記ディスプレイ装置において表示するためのものである、請求項11に記載の装置。
- 第2の取込まれた画像の画素行を連続的に出力するための出力を有する第2の撮像センサをさらに含み、
前記ディスプレイコントローラは、前記第2の撮像センサに連結されており、前記ディスプレイコントローラはさらに、前記第2の取込まれた画像の最後の画素行が前記第2の撮像センサによって出力される前に、前記ディスプレイ装置において、前記第2の取込まれた画像の画素行を連続的に表示し始めるためのものである、請求項11に記載の装置。 - 前記ディスプレイコントローラは、前記ディスプレイの第1の領域において前記第1の取込まれた画像を表示して、前記第1の取込まれた画像の表示と同時に、前記ディスプレイの第2の領域において前記第2の取込まれた画像を表示するためのものである、請求項18に記載の装置。
- 前記ディスプレイコントローラは、第1の時間において前記ディスプレイの第1の領域において前記第1の取込まれた画像を表示するためのものであり、
前記ディスプレイコントローラは、前記第1の時間とは異なる第2の時間において、前記ディスプレイの第2の領域において前記第2の取込まれた画像を表示するためのものであり、
前記第2の領域は前記第1の時間においてインアクティブであり、
前記第1の領域は前記第2の時間においてインアクティブである、請求項18に記載の装置。 - 前記ディスプレイと位置合わせされた接眼レンズをさらに含み、前記接眼レンズは第1のタイプの空間歪みをもたらし、
前記第1の撮像センサは、前記第1のタイプの空間歪みに対して相補的な第2のタイプの空間歪みをもたらすレンズを含む、請求項11に記載の装置。 - 請求項11に記載の装置を含む頭部装着型ディスプレイシステム。
- 装置であって、
第1のタイプの空間歪みをもたらすレンズを有する撮像センサと、
前記撮像センサに連結されたディスプレイ装置とを含み、前記ディスプレイ装置は、前記撮像センサによって取込まれるとともに前記第1のタイプの空間歪みを有する像を表示するためのものであり、前記装置はさらに、
前記ディスプレイと位置合わせされた接眼レンズを含み、前記接眼レンズは、前記第1のタイプの空間歪みを補償する第2のタイプの空間歪みをもたらす、装置。 - 前記第1のタイプの空間歪みはバレル歪みであり、前記第2のタイプの空間歪みはピンクッション歪みである、請求項23に記載の装置。
- 前記第1のタイプの空間歪みはピンクッション歪みであり、前記第2のタイプの空間歪みはバレル歪みである、請求項23に記載の装置。
- 請求項23に記載の装置を含む頭部装着型ディスプレイ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562156815P | 2015-05-04 | 2015-05-04 | |
US62/156,815 | 2015-05-04 | ||
PCT/US2016/030556 WO2016179164A1 (en) | 2015-05-04 | 2016-05-03 | Pass-through display of captured imagery |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020201998A Division JP2021060590A (ja) | 2015-05-04 | 2020-12-04 | 取込まれた像のパススルー表示 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018523142A true JP2018523142A (ja) | 2018-08-16 |
Family
ID=56024392
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550729A Pending JP2018523142A (ja) | 2015-05-04 | 2016-05-03 | 取込まれた像のパススルー表示 |
JP2020201998A Pending JP2021060590A (ja) | 2015-05-04 | 2020-12-04 | 取込まれた像のパススルー表示 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020201998A Pending JP2021060590A (ja) | 2015-05-04 | 2020-12-04 | 取込まれた像のパススルー表示 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11024082B2 (ja) |
EP (1) | EP3292542A1 (ja) |
JP (2) | JP2018523142A (ja) |
KR (1) | KR102534698B1 (ja) |
CN (1) | CN107431798A (ja) |
DE (1) | DE112016002043T5 (ja) |
GB (1) | GB2558345B (ja) |
WO (1) | WO2016179164A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020136856A (ja) * | 2019-02-18 | 2020-08-31 | キヤノン株式会社 | 同期制御装置、同期制御方法、及びプログラム |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016179164A1 (en) | 2015-05-04 | 2016-11-10 | Google Inc. | Pass-through display of captured imagery |
US20170115489A1 (en) * | 2015-10-26 | 2017-04-27 | Xinda Hu | Head mounted display device with multiple segment display and optics |
EP3943888A1 (en) | 2016-08-04 | 2022-01-26 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
CN108346398A (zh) * | 2017-01-24 | 2018-07-31 | 上海珏芯光电科技有限公司 | 显示驱动平板装置其驱动方法 |
WO2018148146A1 (en) | 2017-02-10 | 2018-08-16 | Gentex Corporation | Vehicle display comprising projection system |
US20180239143A1 (en) * | 2017-02-20 | 2018-08-23 | Google Llc | Protecting a display from external light sources |
WO2019012535A1 (en) * | 2017-07-12 | 2019-01-17 | Guardian Optical Technologies Ltd. | SYSTEMS AND METHODS FOR ACQUIRING INFORMATION FROM AN ENVIRONMENT |
KR102473840B1 (ko) | 2017-11-21 | 2022-12-05 | 삼성전자주식회사 | 디스플레이 드라이버 및 모바일 전자 기기 |
US10559276B2 (en) | 2018-02-03 | 2020-02-11 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
EP3522150A3 (en) * | 2018-02-03 | 2020-01-01 | Facebook Technologies, LLC | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10706813B1 (en) | 2018-02-03 | 2020-07-07 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10827164B2 (en) * | 2018-03-01 | 2020-11-03 | Google Llc | Active LCD shutters for virtual and augmented reality low persistence |
KR102582961B1 (ko) * | 2018-03-28 | 2023-09-26 | 삼성전자주식회사 | 디스플레이를 보호하는 웨어러블 장치 및 그 방법 |
US10678325B2 (en) | 2018-05-22 | 2020-06-09 | Facebook Technologies, Llc | Apparatus, system, and method for accelerating positional tracking of head-mounted displays |
US11256097B2 (en) * | 2018-05-30 | 2022-02-22 | Sony Interactive Entertainment Inc. | Image generation apparatus, image display system, image generation method, and computer program |
KR102558106B1 (ko) * | 2018-05-30 | 2023-07-21 | 엘지디스플레이 주식회사 | 디스플레이 패널, 디스플레이 장치 및 가상 현실/증강 현실 장치 |
US11354787B2 (en) | 2018-11-05 | 2022-06-07 | Ultrahaptics IP Two Limited | Method and apparatus for correcting geometric and optical aberrations in augmented reality |
US10638165B1 (en) * | 2018-11-08 | 2020-04-28 | At&T Intellectual Property I, L.P. | Adaptive field of view prediction |
US11126001B2 (en) * | 2019-03-29 | 2021-09-21 | Sony Interactive Entertainment Inc. | Image generating apparatus, head-mounted display, content processing system and image displaying method |
US11500226B1 (en) * | 2019-09-26 | 2022-11-15 | Scott Phillip Muske | Viewing area management for smart glasses |
US11567323B2 (en) * | 2019-12-01 | 2023-01-31 | Vision Products, Llc | Partial electronic see-through head-mounted display |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
US11012677B1 (en) * | 2020-06-15 | 2021-05-18 | Microsoft Technology Licensing, Llc | Systems and methods for correcting rolling shutter artifacts |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
US11887513B2 (en) * | 2022-02-02 | 2024-01-30 | Google Llc | Case for smartglasses with calibration capabilities |
WO2023157774A1 (ja) * | 2022-02-21 | 2023-08-24 | 国立大学法人東海国立大学機構 | 電子式ゴーグル |
WO2024064059A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Synchronization circuitry for reducing latency associated with image passthrough |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06509185A (ja) * | 1991-07-03 | 1994-10-13 | サン、マイクロシステムズ、インコーポレーテッド | 仮想イメージ表示装置 |
JP2002354505A (ja) * | 2001-05-29 | 2002-12-06 | Vstone Kk | 立体視システム |
JP2009025919A (ja) * | 2007-07-17 | 2009-02-05 | Canon Inc | 画像処理装置、画像処理方法 |
WO2013125138A1 (ja) * | 2012-02-22 | 2013-08-29 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
JP2014511606A (ja) * | 2011-02-25 | 2014-05-15 | フオトニス・ネザーランズ・ベー・フエー | リアルタイムの画像の取得および表示 |
JP2014093705A (ja) * | 2012-11-06 | 2014-05-19 | Seiko Epson Corp | 撮影装置、撮影装置の制御方法 |
US20140240469A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
CN204101815U (zh) * | 2014-09-28 | 2015-01-14 | 光场视界(北京)科技有限公司 | 一种基于光学和图像畸变互补偿的虚拟眼镜 |
US20150029218A1 (en) * | 2013-07-25 | 2015-01-29 | Oliver Michael Christian Williams | Late stage reprojection |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100636090B1 (ko) * | 1999-06-11 | 2006-10-19 | 삼성전자주식회사 | 액정 프로젝션 시스템 |
JP4693552B2 (ja) * | 2005-08-30 | 2011-06-01 | キヤノン株式会社 | 表示装置、制御装置、及び制御方法 |
JP4912141B2 (ja) | 2006-12-26 | 2012-04-11 | キヤノン株式会社 | 撮像表示装置、撮像表示制御方法及びシステム |
EP2502223A4 (en) * | 2009-11-21 | 2016-05-18 | Douglas Peter Magyari | HEAD-MOUNTED DISPLAY DEVICE |
US8896668B2 (en) | 2010-04-05 | 2014-11-25 | Qualcomm Incorporated | Combining data from multiple image sensors |
JP6003053B2 (ja) | 2011-12-14 | 2016-10-05 | 日立化成株式会社 | 半導体パッケージ用プリント配線板の保護膜用感光性樹脂組成物及び半導体パッケージ |
US9230473B2 (en) * | 2013-06-24 | 2016-01-05 | Microsoft Technology Licensing, Llc | Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences |
WO2016179164A1 (en) | 2015-05-04 | 2016-11-10 | Google Inc. | Pass-through display of captured imagery |
-
2016
- 2016-05-03 WO PCT/US2016/030556 patent/WO2016179164A1/en active Application Filing
- 2016-05-03 KR KR1020177027715A patent/KR102534698B1/ko active IP Right Grant
- 2016-05-03 GB GB1715308.1A patent/GB2558345B/en active Active
- 2016-05-03 JP JP2017550729A patent/JP2018523142A/ja active Pending
- 2016-05-03 EP EP16723874.0A patent/EP3292542A1/en not_active Withdrawn
- 2016-05-03 US US15/145,362 patent/US11024082B2/en active Active
- 2016-05-03 DE DE112016002043.0T patent/DE112016002043T5/de not_active Ceased
- 2016-05-03 CN CN201680019020.0A patent/CN107431798A/zh active Pending
-
2020
- 2020-12-04 JP JP2020201998A patent/JP2021060590A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06509185A (ja) * | 1991-07-03 | 1994-10-13 | サン、マイクロシステムズ、インコーポレーテッド | 仮想イメージ表示装置 |
JP2002354505A (ja) * | 2001-05-29 | 2002-12-06 | Vstone Kk | 立体視システム |
JP2009025919A (ja) * | 2007-07-17 | 2009-02-05 | Canon Inc | 画像処理装置、画像処理方法 |
JP2014511606A (ja) * | 2011-02-25 | 2014-05-15 | フオトニス・ネザーランズ・ベー・フエー | リアルタイムの画像の取得および表示 |
WO2013125138A1 (ja) * | 2012-02-22 | 2013-08-29 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
JPWO2013125138A1 (ja) * | 2012-02-22 | 2015-07-30 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
JP2014093705A (ja) * | 2012-11-06 | 2014-05-19 | Seiko Epson Corp | 撮影装置、撮影装置の制御方法 |
US20140240469A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
US20150029218A1 (en) * | 2013-07-25 | 2015-01-29 | Oliver Michael Christian Williams | Late stage reprojection |
CN204101815U (zh) * | 2014-09-28 | 2015-01-14 | 光场视界(北京)科技有限公司 | 一种基于光学和图像畸变互补偿的虚拟眼镜 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020136856A (ja) * | 2019-02-18 | 2020-08-31 | キヤノン株式会社 | 同期制御装置、同期制御方法、及びプログラム |
JP7242332B2 (ja) | 2019-02-18 | 2023-03-20 | キヤノン株式会社 | 同期制御装置、同期制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN107431798A (zh) | 2017-12-01 |
WO2016179164A1 (en) | 2016-11-10 |
KR20180002607A (ko) | 2018-01-08 |
US20160328882A1 (en) | 2016-11-10 |
JP2021060590A (ja) | 2021-04-15 |
GB2558345B (en) | 2021-05-12 |
GB2558345A (en) | 2018-07-11 |
US11024082B2 (en) | 2021-06-01 |
DE112016002043T5 (de) | 2018-04-19 |
KR102534698B1 (ko) | 2023-05-19 |
EP3292542A1 (en) | 2018-03-14 |
GB201715308D0 (en) | 2017-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102534698B1 (ko) | 캡처된 이미지에 대한 패스-스루 디스플레이 | |
CN109146965B (zh) | 信息处理装置、计算机可读介质和头戴式显示装置 | |
JP6514826B2 (ja) | ピクセル速度を用いた電子ディスプレイ安定化 | |
CN109565551B (zh) | 对齐于参考帧合成图像 | |
US11049476B2 (en) | Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays | |
US10979612B2 (en) | Electronic device comprising plurality of cameras using rolling shutter mode | |
WO2019040763A1 (en) | SPACE-TIME VIEW SYNTHESIS FOR ENHANCED VISUALIZATION EXPERIENCES IN COMPUTER ENVIRONMENTS | |
US9767612B2 (en) | Method, system and apparatus for removing a marker projected in a scene | |
US20150015671A1 (en) | Method and system for adaptive viewport for a mobile device based on viewing angle | |
JP2018511098A (ja) | 複合現実システム | |
JP2019030007A (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
US11256372B1 (en) | Method and apparatus for creating an adaptive Bayer pattern | |
WO2014160342A1 (en) | Low latency stabilization for head-worn displays | |
US20180288387A1 (en) | Real-time capturing, processing, and rendering of data for enhanced viewing experiences | |
US20120050464A1 (en) | Method and system for enhancing 3d effects for 3d video rendering | |
US11044398B2 (en) | Panoramic light field capture, processing, and display | |
US10321126B2 (en) | User input device camera | |
US11694352B1 (en) | Scene camera retargeting | |
US11720996B2 (en) | Camera-based transparent display | |
Zheng | Spatio-temporal registration in augmented reality | |
JP2013201688A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR101414362B1 (ko) | 영상인지 기반 공간 베젤 인터페이스 방법 및 장치 | |
CN113890984B (zh) | 拍照方法、图像处理方法和电子设备 | |
US10778893B2 (en) | Detection device, display device and detection method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200804 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201204 |
|
C116 | Written invitation by the chief administrative judge to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C116 Effective date: 20201215 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20201215 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20210421 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20210907 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211207 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220118 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220222 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220222 |