JP2019075784A - ライトフィールド表示装置及びそのライトフィールド画像の表示方法 - Google Patents
ライトフィールド表示装置及びそのライトフィールド画像の表示方法 Download PDFInfo
- Publication number
- JP2019075784A JP2019075784A JP2018192247A JP2018192247A JP2019075784A JP 2019075784 A JP2019075784 A JP 2019075784A JP 2018192247 A JP2018192247 A JP 2018192247A JP 2018192247 A JP2018192247 A JP 2018192247A JP 2019075784 A JP2019075784 A JP 2019075784A
- Authority
- JP
- Japan
- Prior art keywords
- depth value
- light field
- image
- range
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000007547 defect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000004907 flux Effects 0.000 description 5
- 230000000052 comparative effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Graphics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
110 レンズアレイ
120 ディスプレイ
130 プロセッサー
DI 奥行値を有する画像
DI’ グレースケール化画像
F1 ライトフィールド画像光束
HI、HI’ 観察画像
N ノイズ
P 投射目標
PI1、PI2、PI1’、PI2’、PI3、PI4、PI5、PI6 階層化画像
VI、VI’ ライトフィールド画像
Claims (23)
- ライトフィールド表示装置に用いられるライトフィールド画像の表示方法であって、
複数の奥行値を有する画像を提供するステップと、
互いに異なり且つ順に部分的に重なる複数の異なる拡張奥行値範囲に基づいて、前記画像中の前記複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成するステップと、
前記複数の階層化画像に基づいて、ライトフィールド画像を形成するステップと、
前記ライトフィールド画像に対応する信号を前記ライトフィールド表示装置のディスプレイに提供するステップとを含み、
前記複数の奥行値が前記画像の遠近程度を表し、且つ、前記複数の奥行値がそれぞれ前記複数の拡張奥行値範囲内にあることを特徴とする、ライトフィールド画像の表示方法。 - 前記ライトフィールド表示装置は奥行値範囲を有し、前記画像の前記複数の奥行値が前記奥行値範囲中にあり、
前記画像から前記複数の階層化画像を形成する方法は、
前記奥行値範囲を順に複数のサブ奥行値範囲に分けるステップと、
前記複数のサブ奥行値範囲をそれぞれ前記複数の異なる拡張奥行値範囲に修正するステップと、
各拡張奥行値範囲に基づいて、前記画像から対応する各階層化画像を形成するステップとを含み、
前記複数のサブ奥行値範囲は範囲長さ値を有し、前記範囲長さ値が前記複数のサブ奥行値範囲の上限と下限の差であり、
各拡張奥行値範囲がその対応する各サブ奥行値範囲以上であることを特徴とする請求項1に記載のライトフィールド画像の表示方法。 - 前記複数のサブ奥行値範囲を前記複数の異なる拡張奥行値範囲に修正する方法は、
前記複数のサブ奥行値範囲の数に基づいて、複数の範囲拡張値を決定するステップと、
前記複数の範囲拡張値をそれぞれ対応する前記複数のサブ奥行値範囲に加えて、前記複数の異なる拡張奥行値範囲を形成するステップとを含み、
前記複数の範囲拡張値が0以上であることを特徴とする請求項2に記載のライトフィールド画像の表示方法。 - 前記複数の異なる拡張奥行値範囲中の最も小さい範囲下限に対応する前記範囲拡張値は0であることを特徴とする、請求項3に記載のライトフィールド画像の表示方法。
- 前記複数の範囲拡張値が前記範囲長さ値の八分の一以下であることを特徴とする、請求項3に記載のライトフィールド画像の表示方法。
- 前記複数の範囲拡張値が前記奥行値範囲の全体長さ値の百二十八分の一以下であることを特徴とする、請求項3に記載のライトフィールド画像の表示方法。
- 前記複数の範囲拡張値を前記複数のサブ奥行値範囲に加えて、前記複数の異なる拡張奥行値範囲を形成する方法は、
前記複数の範囲拡張値をそれぞれ前記複数のサブ奥行値範囲の上限及び下限に加えて、各拡張奥行値範囲を形成するステップと、
各拡張奥行値範囲がそれぞれ対応する各サブ奥行値範囲に取って代わるステップとを含むことを特徴とする、請求項3に記載のライトフィールド画像の表示方法。 - 前記階層化画像はそれぞれ階層化奥行値を有し、
前記階層化奥行値は前記階層化画像が反映する拡張奥行値範囲中にあり、且つ、前記階層化奥行値を前記階層化画像の奥行値と見なすことを特徴とする、請求項1に記載のライトフィールド画像の表示方法。 - 前記複数の階層化画像に基づいて前記ライトフィールド画像を形成するステップは、
前記複数の階層化画像及びそのそれぞれ対応する前記複数の階層化奥行値に基づいて、前記ライトフィールド画像を形成するステップを含むことを特徴とする、請求項8に記載のライトフィールド画像の表示方法。 - 前記階層化画像それぞれが有する前記階層化奥行値は、その対応する各拡張奥行値範囲の平均値又は中央値であることを特徴とする、請求項8に記載のライトフィールド画像の表示方法。
- ライトフィールド表示装置であって、
ディスプレイ、レンズアレイ及びプロセッサーを含み、
前記ディスプレイはライトフィールド画像を提供し、且つ前記ライトフィールド画像が投射目標まで伝達され、
前記レンズアレイは前記ディスプレイの一方側に配置されて、前記ライトフィールド画像を前記投射目標まで伝達し、前記レンズアレイが前記ディスプレイと前記投射目標との間に位置し、
前記プロセッサーは前記ディスプレイに電気的に接続され、前記プロセッサーは複数の異なる拡張奥行値範囲に基づいて、画像中の複数の奥行値に対応する複数の画素をそれぞれ取り出して、複数の階層化画像を形成し、且つ前記複数の階層化画像に基づいてライトフィールド画像を形成し、前記ライトフィールド画像に対応する信号を前記ディスプレイに提供し、
前記複数の奥行値はそれぞれ前記複数の拡張奥行値範囲内にあり、前記奥行値は前記画像の遠近程度を表し、前記複数の異なる拡張奥行値範囲は互いに異なり且つ順に部分的に重なることを特徴とする、ライトフィールド表示装置。 - 前記ライトフィールド表示装置は奥行値範囲を含み、且つ前記画像の前記複数の奥行値が前記奥行値範囲中にあり、
前記奥行値範囲は複数のサブ奥行値範囲を順に含み、前記複数のサブ奥行値範囲が範囲長さ値を有し、
前記範囲長さ値は前記複数のサブ奥行値範囲の上限と下限の差であることを特徴とする請求項11に記載のライトフィールド表示装置。 - 前記複数の異なる拡張奥行値範囲は前記複数のサブ奥行値範囲がそれぞれ修正されることで形成され、且つ、各拡張奥行値範囲がその対応する各サブ奥行値範囲以上であることを特徴とする、請求項12に記載のライトフィールド表示装置。
- 各階層化画像は前記プロセッサーが各拡張奥行値範囲に基づいて前記画像を修正することで形成されることを特徴とする、請求項13に記載のライトフィールド表示装置。
- 前記プロセッサーは前記複数のサブ奥行値範囲の数に基づいて複数の範囲拡張値を決定し、前記複数の範囲拡張値が0以上であることを特徴とする、請求項13に記載のライトフィールド表示装置。
- 前記複数の異なる拡張奥行値範囲は、前記複数の範囲拡張値がそれぞれ対応する前記複数のサブ奥行値範囲に加えられることで形成されることを特徴とする、請求項15に記載のライトフィールド表示装置。
- 前記複数の異なる拡張奥行値範囲中の最も小さい範囲下限に対応する前記範囲拡張値が0であることを特徴とする、請求項16に記載のライトフィールド表示装置。
- 前記複数の範囲拡張値が前記範囲長さ値の八分の一以下であることを特徴とする、請求項16に記載のライトフィールド表示装置。
- 前記範囲拡張値が前記奥行値範囲の全体長さ値の百二十八分の一であることを特徴とする、請求項16に記載のライトフィールド表示装置。
- 各拡張奥行値範囲は、前記複数の範囲拡張値がそれぞれ前記複数のサブ奥行値範囲の範囲上限と下限に加えられることで形成されることを特徴とする、請求項16に記載のライトフィールド表示装置。
- 前記階層化画像はそれぞれ階層化奥行値を有し、前記階層化奥行値がそれぞれ前記階層化画像の反映する拡張奥行値範囲中にあり、且つ前記階層化奥行値を前記階層化画像の奥行値と見なすことを特徴とする、請求項11に記載のライトフィールド表示装置。
- 前記ライトフィールド画像は、前記プロセッサーによって前記複数の階層化画像及びそのそれぞれ対応する前記複数の階層化奥行値に基づいて形成されることを特徴とする、請求項21に記載のライトフィールド表示装置。
- 前記階層化画像それぞれが有する前記階層化奥行値は、その対応する各拡張奥行値範囲の平均値又は中央値であることを特徴とする、請求項21に記載のライトフィールド表示装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710952001.X | 2017-10-13 | ||
CN201710952001.XA CN109672873B (zh) | 2017-10-13 | 2017-10-13 | 光场显示设备及其光场影像的显示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019075784A true JP2019075784A (ja) | 2019-05-16 |
JP7141300B2 JP7141300B2 (ja) | 2022-09-22 |
Family
ID=64048670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018192247A Active JP7141300B2 (ja) | 2017-10-13 | 2018-10-11 | ライトフィールド表示装置及びそのライトフィールド画像の表示方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10571706B2 (ja) |
EP (1) | EP3471411B1 (ja) |
JP (1) | JP7141300B2 (ja) |
CN (1) | CN109672873B (ja) |
TW (1) | TWI635323B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111427166B (zh) | 2020-03-31 | 2022-07-05 | 京东方科技集团股份有限公司 | 一种光场显示方法及系统、存储介质和显示面板 |
EP4207009A4 (en) * | 2020-12-24 | 2024-04-24 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100271467A1 (en) * | 2009-04-28 | 2010-10-28 | Microsoft Corporation | Light-field display |
JP2015521298A (ja) * | 2012-04-25 | 2015-07-27 | マイクロソフト コーポレーション | ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ |
US20160142615A1 (en) * | 2014-11-13 | 2016-05-19 | Lytro, Inc. | Robust layered light-field rendering |
US20170208317A1 (en) * | 2016-01-18 | 2017-07-20 | Beijing Zhigu Rui Tuo Tech Co., Ltd. | Light field display control method and apparatus, and light field display device |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104582978B (zh) * | 2012-04-25 | 2017-03-08 | 光学物理有限责任公司 | 用于投射一批合成图像的安全装置 |
TWI467237B (zh) * | 2012-08-03 | 2015-01-01 | Au Optronics Corp | 立體影像顯示器及立體影像顯示裝置 |
CN105359518B (zh) * | 2013-02-18 | 2017-03-08 | 株式会社匹突匹银行 | 图像处理装置和图像处理方法 |
US9519144B2 (en) | 2013-05-17 | 2016-12-13 | Nvidia Corporation | System, method, and computer program product to produce images for a near-eye light field display having a defect |
CN104361870B (zh) * | 2014-11-05 | 2017-07-28 | 深圳市华星光电技术有限公司 | 液晶面板及其像素单元设定方法 |
CN105791793A (zh) | 2014-12-17 | 2016-07-20 | 光宝电子(广州)有限公司 | 图像处理方法及其电子装置 |
TWI541761B (zh) * | 2014-12-17 | 2016-07-11 | 光寶電子(廣州)有限公司 | 影像處理方法及其電子裝置 |
CN105989574A (zh) * | 2015-02-25 | 2016-10-05 | 光宝科技股份有限公司 | 图像处理装置及图像景深处理方法 |
CN107024337B (zh) * | 2016-02-01 | 2019-09-24 | 京东方科技集团股份有限公司 | 测量方法及其测量系统 |
CN107018323B (zh) * | 2017-03-09 | 2019-07-12 | Oppo广东移动通信有限公司 | 控制方法、控制装置和电子装置 |
-
2017
- 2017-10-13 CN CN201710952001.XA patent/CN109672873B/zh active Active
- 2017-11-22 TW TW106140623A patent/TWI635323B/zh active
-
2018
- 2018-10-11 JP JP2018192247A patent/JP7141300B2/ja active Active
- 2018-10-11 EP EP18199814.7A patent/EP3471411B1/en active Active
- 2018-10-12 US US16/158,318 patent/US10571706B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100271467A1 (en) * | 2009-04-28 | 2010-10-28 | Microsoft Corporation | Light-field display |
JP2015521298A (ja) * | 2012-04-25 | 2015-07-27 | マイクロソフト コーポレーション | ヘッドマウントディスプレイに用いるための可動式ledアレイ及びマイクロレンズアレイに基づくライトフィールドプロジェクタ |
US20160142615A1 (en) * | 2014-11-13 | 2016-05-19 | Lytro, Inc. | Robust layered light-field rendering |
US20170208317A1 (en) * | 2016-01-18 | 2017-07-20 | Beijing Zhigu Rui Tuo Tech Co., Ltd. | Light field display control method and apparatus, and light field display device |
Also Published As
Publication number | Publication date |
---|---|
TW201915551A (zh) | 2019-04-16 |
TWI635323B (zh) | 2018-09-11 |
US20190113766A1 (en) | 2019-04-18 |
CN109672873B (zh) | 2021-06-29 |
EP3471411B1 (en) | 2023-11-22 |
JP7141300B2 (ja) | 2022-09-22 |
EP3471411A1 (en) | 2019-04-17 |
CN109672873A (zh) | 2019-04-23 |
US10571706B2 (en) | 2020-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112136324B (zh) | 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 | |
JP4861309B2 (ja) | 2.5dグラフィックスをレンダリングするためのゴースト・アーチファクト削減 | |
US8456485B2 (en) | Image processing apparatus and method, head mounted display, program, and recording medium | |
CN102474644B (zh) | 立体图像显示系统、视差转换装置、视差转换方法 | |
JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
US20130127861A1 (en) | Display apparatuses and methods for simulating an autostereoscopic display device | |
JP2008090617A (ja) | 立体画像生成装置、方法およびプログラム | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
JP6195076B2 (ja) | 別視点画像生成装置および別視点画像生成方法 | |
US9183670B2 (en) | Multi-sample resolving of re-projection of two-dimensional image | |
JPWO2012101719A1 (ja) | 3次元画像撮影装置及び3次元画像撮影方法 | |
US20140035918A1 (en) | Techniques for producing baseline stereo parameters for stereoscopic computer animation | |
KR102066058B1 (ko) | 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치 | |
JP2012244396A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
CN109991751B (zh) | 光场显示装置与方法 | |
US10075700B2 (en) | Device, method and computer program for 3D rendering | |
JP6245840B2 (ja) | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 | |
JP2010079505A (ja) | 画像生成装置及びプログラム | |
JP2015213299A (ja) | 画像処理装置および画像処理方法 | |
JP2019075784A (ja) | ライトフィールド表示装置及びそのライトフィールド画像の表示方法 | |
JPWO2013080544A1 (ja) | 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム | |
US9076249B2 (en) | Hole filling method for multi-view disparity maps | |
JP2015050482A (ja) | 画像処理装置、立体画像表示装置、画像処理方法およびプログラム | |
JP6076083B2 (ja) | 立体画像補正装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7141300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |