JP2021060590A - 取込まれた像のパススルー表示 - Google Patents
取込まれた像のパススルー表示 Download PDFInfo
- Publication number
- JP2021060590A JP2021060590A JP2020201998A JP2020201998A JP2021060590A JP 2021060590 A JP2021060590 A JP 2021060590A JP 2020201998 A JP2020201998 A JP 2020201998A JP 2020201998 A JP2020201998 A JP 2020201998A JP 2021060590 A JP2021060590 A JP 2021060590A
- Authority
- JP
- Japan
- Prior art keywords
- pixel row
- image
- display
- pixel
- rows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000003384 imaging method Methods 0.000 claims description 84
- 239000000872 buffer Substances 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 17
- 230000003139 buffering effect Effects 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 8
- 230000000295 complement effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 27
- 230000008901 benefit Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 238000009429 electrical wiring Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000011664 signaling Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/385—Image reproducers alternating rapidly the location of the left-right image components on the display screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Geometry (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本願は、2015年5月4日に出願された米国仮出願番号第62/156,815号の利点を主張するものであって、その全体が引用によりこの明細書中に援用されている。
本開示は、概して、ディスプレイシステムに関し、より特定的には、ディスプレイシステムにおける1つ以上の撮像センサを介して取込まれた像の表示に関する。
拡張現実(augmented reality:AR)ディスプレイシステムは、典型的には、ユーザ
の環境の像を取込むように動作し、次いで、取込まれた像の表現をディスプレイ装置上に表示する。これにより、取込まれた像の表現は、拡張表示情報、たとえばARオーバーレイなど、または、取込まれた像の仮想現実(virtual reality:VR)表現、たとえば、
取込まれた画像における現実的内容の漫画表現もしくはコンピュータ描写表現などを含み得る。従来のARディスプレイシステムにおいては、各々の画像が取込まれた後、画像の画素がすべて出力されてフレームバッファに一緒にバッファリングされる。その後、プロセッサが、その画像を、フレームバッファからの全体画像として処理し、さらに、結果として生じる修正画像がフレームバッファからディスプレイ装置に出力されて、修正画像が表示される。
mounted display:HMD)システムなどにおける画像取込み装置が動作中であり得るような実現例においては、この遅れは、画像取込み装置の動きとディスプレイ装置における動きの結果の表示との間に認知可能な遅延をもたらす可能性があり、これにより、ユーザの経験が損なわれる可能性がある。
添付の図面を参照することにより、本開示が当業者によってより良く理解され得るとともに、その多数の特徴および利点が当業者にとって明らかになり得る。異なる図面において同じ参照符号を用いる場合、これらは同様のアイテムまたは同一のアイテムを示している。
以下の説明は、像の取込みおよび表示のシステムを含むいくつかの具体的な実施形態および詳細を提供することによって本開示の十分な理解をもたらすように意図されている。しかしながら、本開示が、単なる例示に過ぎないこれらの具体的な実施形態および詳細に限定されないものであり、このため、開示の範囲が添付の特許請求の範囲およびその同等例によってのみ限定されるよう意図されていることが理解される。当業者が、公知のシステムおよび方法に鑑みて、特定の設計および他の必要性に応じて、いくつもの代替的な実施形態において、その意図された目的および利点についての開示を使用することを認識するだろうことがさらに理解される。
た画像の画素行の処理および表示を開始する。例示のために、いくつかの実施形態においては、ディスプレイシステムは、画像についての出力画素行ストリームの「スライディングウィンドウ」を表現する各々の画素行が小型バッファにおける撮像センサから出力されると、一時的にこれら各々の画素行をバッファリングし、バッファに格納された画素行の小さなサブセットを用いて効率的な修正プロセスを1回以上実行し、次いで、バッファから各々の修正画素行に順々にアクセスし、アクセスされた修正画素行でディスプレイ装置の対応する行を駆動する。
ルー表示プロセスでは、画像処理およびその後の表示処理を始める前に画像全体をバッファリングする必要が無くなり、このため、画像取込みと表現的画像の表示との間の遅延が、従来のディスプレイシステムと比べて著しく減じられている。これにより、この明細書中に記載されるパススルー表示システムおよび技術は、従来のディスプレイシステムと比べて、ユーザ経験を向上させる。
装置、たとえば、医療用撮像機器、セキュリティ撮像センサシステム、工業用ロボット制御システム、ドローン制御システムなどを含み得る。例示を容易にするために、電子装置100は、この明細書中において、HMDシステムの例示的文脈において概略的に説明されている。しかしながら、電子装置100はこれらの実現例には限定されない。
センサデータ142は、その現在位置/配向にある電子装置100によっても収集される。
タベースにアクセスして、その現在の位置に対する店舗の位置を判断することができる。この情報を用いれば、電子装置100は、(たとえば、「右折」、「左折」「真っすぐに直進」または「方向転換」の矢印図の表示により)電子装置100が向けられている現在の方向に対する店舗の方向を識別するグラフィカルなオーバーレイを、撮像センサ114および116のうち1つ以上によって現在取込まれているビデオ像の上に、表示することができる。
れた線204に沿ってユーザ110の頭部402に装着される電子装置100の例示的な断面図400を示す。例示されるように、電子装置100は、ハウジング102のうち前向きの表面106における対応するアパーチャまたは他の開口部に配置された撮像センサ114、116および調光プロジェクタ202と、ハウジング102のうちユーザの方に面する表面104における対応するアパーチャまたは他の開口部に配置された接眼レンズ304および306と、ハウジング102内の接眼レンズ304および306から遠位側に配置されたディスプレイ装置108とを含む。撮像センサ114は、画像センサ408と、画像センサ408の検知面上に配置された1つ以上の光学レンズ410とを含む。同様に、撮像センサ116は、画像センサ412と、画像センサ412の検知面上に配置された1つ以上の光学レンズ414とを含む。各々の撮像センサのために実現されるレンズのタイプは、撮像センサの意図される機能に左右される。たとえば、レンズ410は、たとえば、既知の高い歪みがある状態で160度〜180度の画角を有する広角レンズまたは魚眼レンズとして実現されてもよく、撮像センサ116のレンズ414は、たとえば水平に80度〜90度の画角を有する狭角レンズとして実現されてもよい。これらの画角が単に例示的なものに過ぎないことに留意されたい。
イス532、ピア・ツー・ピア(peer-to-peer:P2P)無線インターフェイス534、および近距離無線通信(near field communications:NFC)インターフェイス536
などを含み得る。非画像センサはまた、タッチスクリーン514またはマイクロホン516などのユーザインターフェイス512のユーザ入力コンポーネントを含み得る。
れる可能性があり、これにより、画像全体が移出されて全体としてバッファリングされてからでないと表示処理が開始できないような従来のシステムと比べて、画像取込みと表示との間の遅れが減じられる。
せるプロセスを開始し、センサアレイ604からの画素データを各画素センサ行から順々に移出するプロセスを開始する。
つかの実施形態においては、撮像センサ114は、各々の行が出力されると、これら各々の行がディスプレイ108の対応する行においてディスプレイコントローラ506によって直接表示され得るように、ディスプレイコントローラ506に直接連結されていてもよい。このような場合、撮像センサ114は、ディスプレイと適合したフォーマットで画素データを出力するように構成されているか、または、ディスプレイ108は撮像センサ114の出力フォーマットを受付けるように構成されている。例示するために、多くの従来の撮像センサが、典型的には、MIPIカメラシリアルインターフェイス(camera serial interface:CSI)フォーマットで画素データを出力するのに対して、ディスプレイ
は、典型的には、MIPIディスプレイシリアルインターフェイス(display serial interface:DSI)フォーマットで表示データを受付けるように構成されている。したがって、一実現例においては、撮像センサ114は、MIPI DSIフォーマットで画素行を出力し得るか、または代替的には、ディスプレイ108は、MIPI CSIフォーマットで画素データを受付けるように構成され得る。
供する。ARオーバーレイの内容は、撮像センサ114によって出力されている画像の取込みまたは表示の時に、電子装置100の位置/配向の予測に少なくとも部分的に依拠する可能性がある。例示するために、データストア542は、電子装置100が動作している局所環境についての仮想物体の3Dモデルを格納し得るとともに、アプリケーションプロセッサ504は、事前に取込まれた像において検出される空間的特徴、ジャイロスコープおよび加速度計の読取り値から得られる配向および運動量の情報などのさまざまな入力に基づいて、来たるべき時間Tにおける電子装置100の位置および配向を予測し得る。さらに、この予測された位置および配向から、アプリケーションプロセッサ504は、3Dモデルのいくつかの仮想物体の表示を、これら仮想物体が予測された位置および配向から現われるのに応じてレンダリングし得る。こうして、アプリケーションプロセッサ504は、このレンダリングされた表示を、時間Tにおいて表示されることになっている取込み画像に組込まれるようにアプリケーションオーバーレイとして提供し得る。
るために約60マイクロ秒の初期遅れが存在することとなる。これは、表示状況において人にとって認知可能となるべく示される典型的な最短期間よりも短い桁であり、このため、この初期のバッファリング遅れと、コンポジタ502による関連する処理とによってもたらされる遅延はユーザ110にとって感知できないものである。
クセスして、ラスタスキャンオーダーでディスプレイ装置908の右側領域912における対応する行を駆動する。同時に、ディスプレイコントローラ906は、左側領域910内のディスプレイ要素がインアクティブなままとなるようにディスプレイ装置908を制御し、これにより、黒の画像または空白の画像をユーザの左眼に提示するようにする。こうして、この実現例においては、ディスプレイ装置808は、画像の左眼表示と右眼表示とを交互にして、片方の眼に空白領域または黒色領域が提示されるようにし得る。しかしながら、表示速度が十分に高ければ、空白領域/黒色領域はユーザ110にとって感知不可能となり、このため、ユーザの経験に悪影響を及ぼすことはないだろう。
えた実現例または当該ICにおける実現例に十分に適している。当業者であれば、場合によっては、たとえば可用時間、現在の技術および経済上の考慮事項によって著しい労力および多くの設計上の選択が動機付けされるにもかかわらず、この明細書中に開示された概念および原理によって誘導されると、最小限の実験でこのようなICを容易に作製することができるであろうことが予想される。したがって、本開示に従った原理および概念を不明瞭にする如何なるリスクをも最小限にして簡潔にするために、このようなソフトウェアおよびICのさらなる説明は、もしあったとしても、好ましい実施形態の範囲内の原理および概念に関する要点に制限されるだろう。
はない。上述のフローチャートのステップは特に指定のない限り、如何なる順序であってもよく、ステップは、実現例に応じて、削除されてもよく、繰返されてもよく、および/または、追加されてもよい。また、概念は具体的な実施形態に関連付けて説明されてきた。しかしながら、当業者であれば、添付の特許請求の範囲に記載される本開示の範囲から逸脱することなく、さまざまな変更および変形が実施可能であることを認識する。したがって、明細書および図は限定的ではなく例示的な意味で考慮されるべきであり、このようなすべての変更例は本開示の範囲内に含まれるように意図されている。
Claims (26)
- 第1の撮像センサによって取込まれた第1の画像の画素行の第1のセットの各画素行を前記第1の撮像センサから連続的に出力するステップと、
前記第1の画像の第1の画素行を表わす画素行を、前記第1の画像の第2の画素行が前記第1の撮像センサによって出力される前に、ディスプレイ装置において表示するステップとを含む、方法。 - 画素行の前記第1のセットのサブセットをバッファにバッファリングするステップをさらに含み、前記サブセットは前記第1の画素行を含み、さらに、
前記バッファにおける画素行の前記バッファリングされたサブセットを修正して、前記第1の画素行を表わす前記画素行を生成するステップを含み、
前記第1の画素行を表わす前記画素行を表示するステップは、前記バッファから前記第1の画素行を表わす前記画素行にアクセスするステップと、前記アクセスされた画素行で、前記ディスプレイ装置の対応する行を駆動するステップとを含む、請求項1に記載の方法。 - 画素行の前記バッファリングされたサブセットを修正するステップは、
画素行の前記第1のサブセットのうち1つ以上の画素行についての拡張現実オーバーレイ情報を受取るステップと、
前記拡張現実オーバーレイ情報に基づいて画素行の前記バッファリングされたサブセットを修正するステップとを含む、請求項2に記載の方法。 - 画素行の前記バッファリングされたサブセットを修正するステップは、
画素行の前記バッファリングされたサブセット上で1つ以上のフィルタリングプロセスを実行するステップを含む、請求項2に記載の方法。 - 1つ以上のフィルタリングプロセスを実行するステップは、
空間フィルタリングプロセスおよび色フィルタリングプロセスのうち少なくとも1つを実行するステップを含む、請求項4に記載の方法。 - 前記第1の画素行を画素行バッファにバッファリングするステップと、
前記第1の画素行の位置に関連付けられた拡張現実オーバーレイ情報に基づいて、前記画素行バッファにおいて前記第1の画素行を修正して、前記第1の画素行を表わす前記画素行を生成するステップとをさらに含み、
前記第1の画素行を表わす前記画素行を表示するステップは、前記バッファから前記第1の画素行を表わす前記画素行にアクセスして、前記アクセスされた画素行で前記ディスプレイ装置を駆動するステップを含む、請求項1に記載の方法。 - 第2の画素行を表わす画素行を、前記第1の画像の第3の画素行が前記第1の撮像センサによって出力されるよりも前に、前記ディスプレイ装置において表示するステップをさらに含む、請求項1に記載の方法。
- 第2の撮像センサによって取込まれた第2の画像の画素行の第2のセットのうち各画素行を前記第2の撮像センサから連続的に出力するステップと、
前記第2の画像の第3の画素行を表わす画素行を、前記第2の画像の第4の画素行が前記第2の撮像センサによって出力される前に、前記ディスプレイ装置において表示するステップとを含む、請求項1に記載の方法。 - 前記第1の画像は前記ディスプレイの第1の領域において表示され、
前記第2の画像は、前記第1の画像の表示と同時に前記ディスプレイの第2の領域において表示される、請求項8に記載の方法。 - 前記第1の画像は第1の時間において前記ディスプレイの第1の領域において表示され、
前記第2の画像は、前記第1の時間とは異なる第2の時間において前記ディスプレイの第2の領域において表示され、
前記第2の領域は前記第1の時間においてインアクティブであり、
前記第1の領域は前記第2の時間においてインアクティブである、請求項8に記載の方法。 - 第1の取込まれた画像の画素行を連続的に出力するための出力を有する第1の撮像センサと、
前記第1の撮像センサの前記出力に連結されたディスプレイコントローラとを含み、前記ディスプレイコントローラは、前記第1の取込まれた画像の最後の画素行が前記第1の撮像センサによって出力される前に、ディスプレイ装置において、前記第1の取込まれた画像の画素行を連続的に表示し始めるためのものである、装置。 - 前記第1の撮像センサの前記出力に連結された画素行バッファをさらに含み、前記画素行バッファは、前記第1の取込まれた画像の前記画素行のサブセットをバッファにバッファリングするための複数のエントリを有し、さらに、
前記画素行バッファに連結されたコンポジタを含み、前記コンポジタは、画素行の前記バッファリングされたサブセットを修正して、画素行の修正済みサブセットを生成するためのものであり、
前記ディスプレイコントローラは、前記画素行バッファに連結されており、前記ディスプレイコントローラは、前記画素行バッファから画素行の前記修正済みサブセットの各画素行に連続的にアクセスすることによって、前記第1の取込まれた画像の前記画素行を連続的に表示するためのものであり、かつ、前記アクセスされた画素行で、前記ディスプレイ装置の対応する行を駆動するためのものである、請求項11に記載の装置。 - 前記コンポジタはさらに、画素行の前記サブセットのうち1つ以上の画素行についての拡張現実オーバーレイ情報を受取るためのものであり、
前記コンポジタは、前記拡張現実オーバーレイ情報に基づいて画素行の前記バッファリングされたサブセットを修正するためのものである、請求項12に記載の装置。 - 前記コンポジタは、画素行の前記バッファリングされたサブセット上において1つ以上のフィルタリングプロセスを実行することによって、画素行の前記バッファリングされたサブセットを修正するためのものである、請求項12に記載の装置。
- 前記1つ以上のフィルタリングプロセスは、空間フィルタリングプロセスおよび色フィルタリングプロセスのうち少なくとも1つを含む、請求項14に記載の装置。
- 画素行バッファをさらに含み、前記第1の取込まれた画像の第1の画素行が前記画素行バッファにバッファリングされ、さらに、
前記画素行バッファに連結されたコンポジタを含み、前記コンポジタは、前記第1の画素行の位置に関連付けられた拡張現実オーバーレイ情報に基づいて前記画素行バッファにおいて前記第1の画素行を修正して、前記第1の画素行を表わす画素行を生成するためのものであり、
前記ディスプレイコントローラは、前記画素行バッファに連結されており、前記ディスプレイコントローラは、前記バッファから前記第1の画素行を表わす前記画素行にアクセ
スすることによって前記第1の画素行を表わす前記画素行を表示するためのものであり、かつ、前記アクセスされた画素行で前記ディスプレイ装置を駆動するためのものである、請求項11に記載の装置。 - 前記ディスプレイコントローラはさらに、第2の画素行を表わす画素行を、前記第1の取込まれた画像の第3の画素行が前記第1の撮像センサによって出力される前に、前記ディスプレイ装置において表示するためのものである、請求項11に記載の装置。
- 第2の取込まれた画像の画素行を連続的に出力するための出力を有する第2の撮像センサをさらに含み、
前記ディスプレイコントローラは、前記第2の撮像センサに連結されており、前記ディスプレイコントローラはさらに、前記第2の取込まれた画像の最後の画素行が前記第2の撮像センサによって出力される前に、前記ディスプレイ装置において、前記第2の取込まれた画像の画素行を連続的に表示し始めるためのものである、請求項11に記載の装置。 - 前記ディスプレイコントローラは、前記ディスプレイの第1の領域において前記第1の取込まれた画像を表示して、前記第1の取込まれた画像の表示と同時に、前記ディスプレイの第2の領域において前記第2の取込まれた画像を表示するためのものである、請求項18に記載の装置。
- 前記ディスプレイコントローラは、第1の時間において前記ディスプレイの第1の領域において前記第1の取込まれた画像を表示するためのものであり、
前記ディスプレイコントローラは、前記第1の時間とは異なる第2の時間において、前記ディスプレイの第2の領域において前記第2の取込まれた画像を表示するためのものであり、
前記第2の領域は前記第1の時間においてインアクティブであり、
前記第1の領域は前記第2の時間においてインアクティブである、請求項18に記載の装置。 - 前記ディスプレイと位置合わせされた接眼レンズをさらに含み、前記接眼レンズは第1のタイプの空間歪みをもたらし、
前記第1の撮像センサは、前記第1のタイプの空間歪みに対して相補的な第2のタイプの空間歪みをもたらすレンズを含む、請求項11に記載の装置。 - 請求項11に記載の装置を含む頭部装着型ディスプレイシステム。
- 装置であって、
第1のタイプの空間歪みをもたらすレンズを有する撮像センサと、
前記撮像センサに連結されたディスプレイ装置とを含み、前記ディスプレイ装置は、前記撮像センサによって取込まれるとともに前記第1のタイプの空間歪みを有する像を表示するためのものであり、前記装置はさらに、
前記ディスプレイと位置合わせされた接眼レンズを含み、前記接眼レンズは、前記第1のタイプの空間歪みを補償する第2のタイプの空間歪みをもたらす、装置。 - 前記第1のタイプの空間歪みはバレル歪みであり、前記第2のタイプの空間歪みはピンクッション歪みである、請求項23に記載の装置。
- 前記第1のタイプの空間歪みはピンクッション歪みであり、前記第2のタイプの空間歪みはバレル歪みである、請求項23に記載の装置。
- 請求項23に記載の装置を含む頭部装着型ディスプレイ。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562156815P | 2015-05-04 | 2015-05-04 | |
US62/156,815 | 2015-05-04 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550729A Division JP2018523142A (ja) | 2015-05-04 | 2016-05-03 | 取込まれた像のパススルー表示 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021060590A true JP2021060590A (ja) | 2021-04-15 |
Family
ID=56024392
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550729A Pending JP2018523142A (ja) | 2015-05-04 | 2016-05-03 | 取込まれた像のパススルー表示 |
JP2020201998A Pending JP2021060590A (ja) | 2015-05-04 | 2020-12-04 | 取込まれた像のパススルー表示 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550729A Pending JP2018523142A (ja) | 2015-05-04 | 2016-05-03 | 取込まれた像のパススルー表示 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11024082B2 (ja) |
EP (1) | EP3292542A1 (ja) |
JP (2) | JP2018523142A (ja) |
KR (1) | KR102534698B1 (ja) |
CN (1) | CN107431798A (ja) |
DE (1) | DE112016002043T5 (ja) |
GB (1) | GB2558345B (ja) |
WO (1) | WO2016179164A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023157774A1 (ja) * | 2022-02-21 | 2023-08-24 | 国立大学法人東海国立大学機構 | 電子式ゴーグル |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018523142A (ja) | 2015-05-04 | 2018-08-16 | グーグル エルエルシー | 取込まれた像のパススルー表示 |
US20170115489A1 (en) * | 2015-10-26 | 2017-04-27 | Xinda Hu | Head mounted display device with multiple segment display and optics |
CA3032812A1 (en) | 2016-08-04 | 2018-02-08 | Reification Inc. | Methods for simultaneous localization and mapping (slam) and related apparatus and systems |
CN108346398A (zh) * | 2017-01-24 | 2018-07-31 | 上海珏芯光电科技有限公司 | 显示驱动平板装置其驱动方法 |
CN110114711B (zh) | 2017-02-10 | 2022-03-29 | 金泰克斯公司 | 包括投影系统的车辆显示器 |
US20180239143A1 (en) * | 2017-02-20 | 2018-08-23 | Google Llc | Protecting a display from external light sources |
JP7317794B2 (ja) | 2017-07-12 | 2023-07-31 | ジェンテックス コーポレイション | 環境から情報を取得するシステムおよび方法 |
KR102473840B1 (ko) | 2017-11-21 | 2022-12-05 | 삼성전자주식회사 | 디스플레이 드라이버 및 모바일 전자 기기 |
US10559276B2 (en) | 2018-02-03 | 2020-02-11 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
EP3522150A3 (en) * | 2018-02-03 | 2020-01-01 | Facebook Technologies, LLC | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10706813B1 (en) | 2018-02-03 | 2020-07-07 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10827164B2 (en) * | 2018-03-01 | 2020-11-03 | Google Llc | Active LCD shutters for virtual and augmented reality low persistence |
KR102582961B1 (ko) * | 2018-03-28 | 2023-09-26 | 삼성전자주식회사 | 디스플레이를 보호하는 웨어러블 장치 및 그 방법 |
US10678325B2 (en) | 2018-05-22 | 2020-06-09 | Facebook Technologies, Llc | Apparatus, system, and method for accelerating positional tracking of head-mounted displays |
WO2019229906A1 (ja) * | 2018-05-30 | 2019-12-05 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像表示システム、画像生成方法およびコンピュータプログラム |
KR102558106B1 (ko) * | 2018-05-30 | 2023-07-21 | 엘지디스플레이 주식회사 | 디스플레이 패널, 디스플레이 장치 및 가상 현실/증강 현실 장치 |
US11354787B2 (en) * | 2018-11-05 | 2022-06-07 | Ultrahaptics IP Two Limited | Method and apparatus for correcting geometric and optical aberrations in augmented reality |
US10638165B1 (en) * | 2018-11-08 | 2020-04-28 | At&T Intellectual Property I, L.P. | Adaptive field of view prediction |
JP7242332B2 (ja) * | 2019-02-18 | 2023-03-20 | キヤノン株式会社 | 同期制御装置、同期制御方法、及びプログラム |
US11126001B2 (en) * | 2019-03-29 | 2021-09-21 | Sony Interactive Entertainment Inc. | Image generating apparatus, head-mounted display, content processing system and image displaying method |
US11500226B1 (en) * | 2019-09-26 | 2022-11-15 | Scott Phillip Muske | Viewing area management for smart glasses |
US11567323B2 (en) * | 2019-12-01 | 2023-01-31 | Vision Products, Llc | Partial electronic see-through head-mounted display |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
US11012677B1 (en) * | 2020-06-15 | 2021-05-18 | Microsoft Technology Licensing, Llc | Systems and methods for correcting rolling shutter artifacts |
US20230237730A1 (en) * | 2022-01-21 | 2023-07-27 | Meta Platforms Technologies, Llc | Memory structures to support changing view direction |
US11887513B2 (en) * | 2022-02-02 | 2024-01-30 | Google Llc | Case for smartglasses with calibration capabilities |
US20240107183A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Synchronization Circuitry for Reducing Latency Associated with Image Passthrough |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06509185A (ja) * | 1991-07-03 | 1994-10-13 | サン、マイクロシステムズ、インコーポレーテッド | 仮想イメージ表示装置 |
JP2007065899A (ja) * | 2005-08-30 | 2007-03-15 | Canon Inc | 表示装置、表示制御装置、及び制御方法 |
WO2013136458A1 (ja) * | 2012-03-14 | 2013-09-19 | 富士機械製造株式会社 | 画像補正処理装置 |
JP2014511606A (ja) * | 2011-02-25 | 2014-05-15 | フオトニス・ネザーランズ・ベー・フエー | リアルタイムの画像の取得および表示 |
JP2014093705A (ja) * | 2012-11-06 | 2014-05-19 | Seiko Epson Corp | 撮影装置、撮影装置の制御方法 |
CN204101815U (zh) * | 2014-09-28 | 2015-01-14 | 光场视界(北京)科技有限公司 | 一种基于光学和图像畸变互补偿的虚拟眼镜 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100636090B1 (ko) | 1999-06-11 | 2006-10-19 | 삼성전자주식회사 | 액정 프로젝션 시스템 |
JP2002354505A (ja) * | 2001-05-29 | 2002-12-06 | Vstone Kk | 立体視システム |
JP4912141B2 (ja) | 2006-12-26 | 2012-04-11 | キヤノン株式会社 | 撮像表示装置、撮像表示制御方法及びシステム |
JP4889036B2 (ja) | 2007-07-17 | 2012-02-29 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN102667912B (zh) * | 2009-11-21 | 2016-04-13 | 道格拉斯·彼得·马格雅利 | 头戴式显示装置 |
US8896668B2 (en) * | 2010-04-05 | 2014-11-25 | Qualcomm Incorporated | Combining data from multiple image sensors |
JP6003053B2 (ja) | 2011-12-14 | 2016-10-05 | 日立化成株式会社 | 半導体パッケージ用プリント配線板の保護膜用感光性樹脂組成物及び半導体パッケージ |
WO2013125138A1 (ja) | 2012-02-22 | 2013-08-29 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
US20140240469A1 (en) * | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
US9230473B2 (en) * | 2013-06-24 | 2016-01-05 | Microsoft Technology Licensing, Llc | Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences |
US9514571B2 (en) * | 2013-07-25 | 2016-12-06 | Microsoft Technology Licensing, Llc | Late stage reprojection |
JP2018523142A (ja) | 2015-05-04 | 2018-08-16 | グーグル エルエルシー | 取込まれた像のパススルー表示 |
-
2016
- 2016-05-03 JP JP2017550729A patent/JP2018523142A/ja active Pending
- 2016-05-03 CN CN201680019020.0A patent/CN107431798A/zh active Pending
- 2016-05-03 GB GB1715308.1A patent/GB2558345B/en active Active
- 2016-05-03 WO PCT/US2016/030556 patent/WO2016179164A1/en active Application Filing
- 2016-05-03 EP EP16723874.0A patent/EP3292542A1/en not_active Withdrawn
- 2016-05-03 DE DE112016002043.0T patent/DE112016002043T5/de not_active Ceased
- 2016-05-03 KR KR1020177027715A patent/KR102534698B1/ko active IP Right Grant
- 2016-05-03 US US15/145,362 patent/US11024082B2/en active Active
-
2020
- 2020-12-04 JP JP2020201998A patent/JP2021060590A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06509185A (ja) * | 1991-07-03 | 1994-10-13 | サン、マイクロシステムズ、インコーポレーテッド | 仮想イメージ表示装置 |
JP2007065899A (ja) * | 2005-08-30 | 2007-03-15 | Canon Inc | 表示装置、表示制御装置、及び制御方法 |
JP2014511606A (ja) * | 2011-02-25 | 2014-05-15 | フオトニス・ネザーランズ・ベー・フエー | リアルタイムの画像の取得および表示 |
WO2013136458A1 (ja) * | 2012-03-14 | 2013-09-19 | 富士機械製造株式会社 | 画像補正処理装置 |
JP2014093705A (ja) * | 2012-11-06 | 2014-05-19 | Seiko Epson Corp | 撮影装置、撮影装置の制御方法 |
CN204101815U (zh) * | 2014-09-28 | 2015-01-14 | 光场视界(北京)科技有限公司 | 一种基于光学和图像畸变互补偿的虚拟眼镜 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023157774A1 (ja) * | 2022-02-21 | 2023-08-24 | 国立大学法人東海国立大学機構 | 電子式ゴーグル |
Also Published As
Publication number | Publication date |
---|---|
EP3292542A1 (en) | 2018-03-14 |
JP2018523142A (ja) | 2018-08-16 |
US20160328882A1 (en) | 2016-11-10 |
KR20180002607A (ko) | 2018-01-08 |
US11024082B2 (en) | 2021-06-01 |
DE112016002043T5 (de) | 2018-04-19 |
CN107431798A (zh) | 2017-12-01 |
GB2558345B (en) | 2021-05-12 |
KR102534698B1 (ko) | 2023-05-19 |
GB201715308D0 (en) | 2017-11-08 |
WO2016179164A1 (en) | 2016-11-10 |
GB2558345A (en) | 2018-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021060590A (ja) | 取込まれた像のパススルー表示 | |
US11032466B2 (en) | Apparatus for editing image using depth map and method thereof | |
CN109565551B (zh) | 对齐于参考帧合成图像 | |
US10242454B2 (en) | System for depth data filtering based on amplitude energy values | |
CN102986233B (zh) | 图像摄像装置 | |
US9898866B2 (en) | Low latency stabilization for head-worn displays | |
CN103412616B (zh) | 装置照相机角度 | |
US10979612B2 (en) | Electronic device comprising plurality of cameras using rolling shutter mode | |
KR102114377B1 (ko) | 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치 | |
US9767612B2 (en) | Method, system and apparatus for removing a marker projected in a scene | |
US12032792B1 (en) | Method and apparatus for creating an adaptive Bayer pattern | |
US20110115883A1 (en) | Method And System For Adaptive Viewport For A Mobile Device Based On Viewing Angle | |
JP2019030007A (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
WO2016073557A1 (en) | Minimal-latency tracking and display for matching real and virtual worlds | |
JP2017045326A (ja) | 表示装置及びその制御方法、プログラム、並びに記憶媒体 | |
CN113890984B (zh) | 拍照方法、图像处理方法和电子设备 | |
US10778893B2 (en) | Detection device, display device and detection method | |
US20240340403A1 (en) | Head mount display, information processing apparatus, and information processing method | |
US20240098243A1 (en) | Predictive Perspective Correction | |
KR20240130490A (ko) | 이미지 안정화 방법 및 이를 수행하는 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220105 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220329 |