CN116095294B - 根据深度值渲染分辨率的三维光场图像编码方法及系统 - Google Patents
根据深度值渲染分辨率的三维光场图像编码方法及系统 Download PDFInfo
- Publication number
- CN116095294B CN116095294B CN202310372968.6A CN202310372968A CN116095294B CN 116095294 B CN116095294 B CN 116095294B CN 202310372968 A CN202310372968 A CN 202310372968A CN 116095294 B CN116095294 B CN 116095294B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- resolution
- light field
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了根据深度值渲染分辨率的三维光场图像编码方法及系统,包括:图像获取步骤,获取用于三维光场图像编码的视点图像阵列以及对应的深度图像;采样分层步骤,根据所述深度图像将所述视点图像阵列中的每张视点图像按照深度分布采样为指定数量个平面;分辨率计算重渲染步骤,按照深度‑分辨率拟合几何关系计算每张视点图像所有深度平面的目标分辨率,并重新渲染拼接,得到分辨率分布优化后的视点图像阵列;合成编码步骤,将优化后的所述视点图像阵列编码合成,得到三维光场图像。本发明能高效、准确地调整三维图像的分辨率分布,根据深度值渲染分辨率处理后,能够在三维光场显示器上显示出无重影三维效果,较好地满足了应用需求。
Description
技术领域
本发明涉及三维光场图像编码方法,尤其涉及根据深度值渲染分辨率的三维光场图像编码方法及系统。
背景技术
随着裸眼3D技术发展迅速,已成为显示行业的主流发展趋势,多视点裸眼立体显示在3D游戏、军事、医疗及3D游戏等领域有着广泛的发展前景,其中,三维图像的生成是裸眼3D技术中非常重要的一部分。
现有技术中常通过多视点合成算法合成三维图像,相关技术内容请参见公开号为CN110430419B、名称为“一种基于超分辨抗混叠的多视点裸眼三维图像合成方法”的中国专利公开文献,此类解决方案中,多视点合成算法根据要合成的三维图像视点数目及编号,从视点图中选取需要的像素合成三维图像的像素,形成三维图像。
具体地,多视点合成三维图像形成三维光场的简单原理如下:通过在显示器面板上加载多个视点的图像编码信息,利用控光元件对显示面板发出的带有不同视点信息的光线进行折射,让不同视点图像按编号顺序在空间中不同位置处成像,从而实现裸眼3D光场显示。在以往的多视点合成算法中,真实拍摄或虚拟生成的视点图像分辨率总是保持一致。实际上,显示器的显示信息承载量是有限的,二维显示器的显示内容深度不变,均为显示屏所在深度,所以其显示分辨率由显示屏的物理特性及加载的显示内容决定;对于三维光场显示器,增加了深度这一维度,对于不同的深度值,显示器的显示信息承载量不同,且深度值越大,显示信息承载量越小。上述因素导致在实际三维光场观看过程中,显示内容会随着显示深度的增大出现不同程度的重影及模糊现象,深度越大,重影及模糊现象越明显,显示效果越不好。
此外,图像的信息量体现在其分辨率值的大小,所以可通过调整三维图像的分辨率分布来实现根据深度值调整加载图像内容的信息量的目的,在求解最优化分布问题时,深度学习方法是近几年较流行的处理方法,但是对于图像阵列,网络输入数据量较为庞大,计算耗时较长。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种能高效、准确地调整三维图像的分辨率分布,能够在三维光场显示器上显示出无重影三维效果的三维光场图像编码方法及系统。
为解决上述技术问题,本发明采用如下技术方案。
根据深度值渲染分辨率的三维光场图像编码方法,其包括:图像获取步骤:获取用于三维光场图像编码的视点图像阵列以及对应的深度图像;采样分层步骤:根据所述深度图像将所述视点图像阵列中的每张视点图像按照深度分布采样为指定数量个平面;分辨率计算重渲染步骤:按照深度-分辨率拟合几何关系计算每张视点图像所有深度平面的目标分辨率,并重新渲染拼接,得到分辨率分布优化后的视点图像阵列;合成编码步骤:将优化后的所述视点图像阵列编码合成,得到三维光场图像。
优选地,所述采样分层步骤中,获取所述深度图像中各点的深度值,将深度范围分为255个区间,深度值在同一区间的图像区域采样为一个图像层,将每张视点图像按照深度分布采样为255个平面。
优选地,所述分辨率计算重渲染步骤中,所述深度-分辨率拟合几何关系用于表征某深度区间与深度值在该区间内的图像内容目标渲染分辨率之间的关系。
优选地,所述图像获取步骤中,所述视点图像阵列为场景实拍图像或软件渲染图像。
优选地,所述深度图像的获取方法包括软件直接渲染方式或图像算法计算方式。
优选地,所述分辨率计算重渲染步骤中,按照深度-分辨率拟合几何关系的数学表达式为:(H,W)i=f(β,d,p)▪(H,W)input;
其中,(H,W)input表示原始视点图像分辨率,β为显示器控光单元的发散角,d为显示深度,p(pixel size)为显示面板上加载三维图像的子像素宽度,(H,W)i为视点图像划分为的第i层子图像的目标分辨率。
优选地,所述合成编码步骤中,根据显示器参数及视点数目,将优化后的所述视点图像阵列通过多视点编码合成算法合成为一张三维图像,用以在三维光场显示器上显示三维场景。
根据深度值渲染分辨率的三维光场图像编码系统,所述系统用于实现以上所述的三维光场图像编码方法。
本发明公开的根据深度值渲染分辨率的三维光场图像编码方法包括图像获取步骤、采样分层步骤、分辨率计算重渲染步骤以及合成编码步骤,具体通过真实拍摄或虚拟软件渲染的方法获取视点图像及对应深度图像阵列,将深度范围均匀分为255个区间,深度值所在同一区间内的视点图像像素点被提取为同一层图像,根据此方法可将每张视点图像采样为255层;接下来根据深度-分辨率几何关系公式计算每一层图像的目标分辨率值并重新渲染,将255层分辨率重渲染后的图像根据深度位置及标记拼接为新的视点图像,按上述步骤处理完所有视点图像后,将视点图像按多视点算法编码合成为一张三维图像,在三维光场显示器上显示得到无重影的三维显示效果。相比现有技术而言,本发明能高效、准确地调整三维图像的分辨率分布,根据深度值渲染分辨率处理后,能够在三维光场显示器上显示出无重影三维效果,较好地满足了应用需求。
附图说明
图1为本发明三维光场图像编码方法的流程图;
图2为本发明优选实施例中基于柱镜光栅阵列的三维光场显示设备结构示意图;
图3为系数M的计算原理示意图;
图4为经过本发明方法处理前的三维显示效果图;
图5为经过本发明方法处理后的三维显示效果图;
图6为经过本发明方法处理前的视点图像;
图7为经过本发明方法处理后的视点图像。
具体实施方式
下面结合附图和实施例对本发明作更加详细的描述。
本发明公开了根据深度值渲染分辨率的三维光场图像编码方法,请参见图1,其包括:
图像获取步骤:获取用于三维光场图像编码的视点图像阵列以及对应的深度图像;
采样分层步骤:根据所述深度图像将所述视点图像阵列中的每张视点图像按照深度分布采样为指定数量个平面;
分辨率计算重渲染步骤:按照深度-分辨率拟合几何关系计算每张视点图像所有深度平面的目标分辨率,并重新渲染拼接,得到分辨率分布优化后的视点图像阵列;
合成编码步骤:将优化后的所述视点图像阵列编码合成,得到三维光场图像。
上述三维光场图像编码方法包括:图像获取步骤(M1)、采样分层步骤(M2)、分辨率计算重渲染步骤(M3)以及合成编码步骤(M4),具体通过真实拍摄或虚拟软件渲染的方法获取视点图像及对应深度图像阵列,将深度范围均匀分为255个区间,深度值所在同一区间内的视点图像像素点被提取为同一层图像,根据此方法可将每张视点图像采样为255层;接下来根据深度-分辨率几何关系公式计算每一层图像的目标分辨率值并重新渲染,将255层分辨率重渲染后的图像根据深度位置及标记拼接为新的视点图像,按上述步骤处理完所有视点图像后,将视点图像按多视点算法编码合成为一张三维图像,在三维光场显示器上显示得到无重影的三维显示效果。相比现有技术而言,本发明能高效、准确地调整三维图像的分辨率分布,根据深度值渲染分辨率处理后,能够在三维光场显示器上显示出无重影三维效果,较好地满足了应用需求。
作为一种优选方式,所述采样分层步骤中,获取所述深度图像中各点的深度值,将深度范围分为255个区间,深度值在同一区间的图像区域采样为一个图像层,将每张视点图像按照深度分布采样为255个平面。
实际应用中,将所述图像获取(M1)中采集得到的每一视点图像都有其对应的深度图像,存储视点图像中所有像素点所在的深度值信息。通过深度图像可得到显示三维场景的深度范围,将该深度范围均匀分为255个区间。对于任一视点图像,深度值在同一区间内的像素点被提取为同一层子图像,根据此方法可将每张视点图像采样为255层。
本实施例的所述分辨率计算重渲染步骤中,所述深度-分辨率拟合几何关系用于表征某深度区间与深度值在该区间内的图像内容目标渲染分辨率之间的关系。具体如下:
分辨率计算重渲染步骤(M3)中:三维光场显示器可承载的显示信息量与显示深度相关,且随着显示深度的增大而减少。显示信息量与显示三维图像的分辨率值直接相关。根据三维显示器的硬件参数,通过理论推导可以得到深度-分辨率拟合几何关系数学表达式:(H,W)i=f(β,d,p)▪(H,W)input;其中,(H,W)input表示原始视点图像分辨率,β为显示器控光单元的发散角,d为显示深度,p(pixel size)为显示面板上加载三维图像的子像素宽度,(H,W)i为视点图像划分为的第i层子图像的目标分辨率。本发明按照深度-分辨率拟合几何关系计算每张视点图像255层子图像的目标分辨率,并按照计算结果重新渲染各层子图像分辨率,最后将255层子图像重新拼接得到处理后的视点图像。
在初始环节的所述图像获取步骤中,所述视点图像阵列为场景实拍图像或软件渲染图像。此外,所述深度图像的获取方法包括软件直接渲染方式或图像算法计算方式。
在所述图像获取步骤(M1)中,可通过真实拍摄方法或虚拟软件渲染得到用于合成三维图像的视点图像阵列及对应的深度图像阵列。真实拍摄可使用环形相机阵列对真实场景进行多角度采集,其中,RGB-D相机可在采集视点图像的同时获取对应的深度图像。虚拟软件包括Blender、Unity等,可在虚拟空间中搭建三维场景,使用虚拟相机阵列对该场景进行采集,渲染导出多视点图像阵列及深度图像阵列。除了软件渲染的方式,还可通过一些算法如MVS-Net生成深度图像。
作为一种优选方式,所述合成编码步骤(M4)中,根据显示器参数及视点数目,将优化后的所述视点图像阵列通过多视点编码合成算法合成为一张三维图像,用以在三维光场显示器上显示三维场景。实际应用中,本发明不针对任一特定多视点编码合成算法,具体算法的选择由具体光场显示器的特性决定。
在此基础上,本发明还涉及根据深度值渲染分辨率的三维光场图像编码系统,所述系统用于实现以上所述的三维光场图像编码方法。关于本发明的实际应用过程,请参见下述实施例一。
实施例一
本实施例通过柱透镜光栅三维显示设备显示96个视点为例进行说明,该三维显示设备尺寸为32英寸,屏幕的物理分辨率为7960×4320,基于柱镜光栅阵列的三维光场显示设备结构如图2所示。
图像获取步骤(M1)中:通过Blender软件中的虚拟相机拍摄得到三维场景96个方向的视点图像,原始分辨率值为960×540,及获取对应的深度图像。具体而言,三维场景的深度范围为0-17.8cm,直接将96个视点编码合成为三维图像在显示设备上显示,会观看到楼房顶部出现明显的重影现象,影响观看者观看体验,显示效果请参见图4。
采样分层步骤(M2)中:将视点图像的深度范围分为255个相等区间,每个区间为0.07cm,按照视点图像各点深度值所在深度区间将视点图像采样为255层子图像。
分辨率计算重渲染步骤(M3)中:取各层所在深度区间的中值为该层子图像的深度值,代入深度-分辨率拟合几何关系公式中计算得到该层图像的目标分辨率值。应用于该三维显示设备的深度-分辨率拟合几何关系表达式为:
其中,“[ ]”表示取整操作,(H,W)i为第i层图像层计算分辨率值,(H,W)input为输入视点图像原分辨率值,p(pixel size)为显示面板上加载三维图像的子像素宽度,di表示第i层深度均值,L为相机到显示屏零平面的距离,β为光束透过控光元件的发散角;
该公式的计算系数部分可分为两部分,即:,/>,系数M的计算原理如图3所示,计算LCD发光板上单个像素的宽度与其发出的光束经过透镜在空中传播di后构成体像素的光斑直径的比值,系数N为最佳观看点到显示深度的距离与最佳观看距离比值的平方,由主观实验结果拟合得到。
该实施例中子像素大小p=0.03mm,发散角β= 6.38°,最佳观看距离L=2m,代入各层深度值后可计算得到第1层、第2层...第255层子图像目标分辨率为960×480,944×531,...,480×270。
合成编码步骤(M4)中:根据计算结果重新渲染各层图像的分辨率,再按照深度位置信息拼接255层子图像,得到分辨率分布调整后的视点图像,处理前和处理后的视点图像见图6和图7,例如图7,处理后的图片虽然深度大的区域(如屋顶)相比之前模糊了,但在实际显示时大深度位置不会再出现重影问题,所以综合评估显示效果提升了;通过多视点算法将96张处理后的视点图像编码合成为一张三维图像,在三维显示设备上显示,可以看到之前的重影现象被很好地消除,显示效果见图5。
本发明公开的根据深度值渲染分辨率的三维光场图像编码方法及系统,其实现了三维光场图像分辨率分布的优化调整,通过获取视点图像及其对应的深度图像阵列后,将视点图根据深度值采样为255层,计算每层深度平面的目标分辨率值并将255层重新渲染拼接为分辨率处理后的视点图像,最近将处理后的视点图像阵列按照多视点算法编码合成为三维光场图像。最终,本发明三维光场图像编码方法能够高效、准确地调整三维光场图像的分辨率分布,解决了三维光场显示中由于不同深度下显示信息承载量有限出现的重影问题。
以上所述只是本发明较佳的实施例,并不用于限制本发明,凡在本发明的技术范围内所做的修改、等同替换或者改进等,均应包含在本发明所保护的范围内。
Claims (7)
1.一种根据深度值渲染分辨率的三维光场图像编码方法,其特征在于,包括:
图像获取步骤:获取用于三维光场图像编码的视点图像阵列以及对应的深度图像;
采样分层步骤:根据所述深度图像将所述视点图像阵列中的每张视点图像按照深度分布采样为指定数量个平面;
分辨率计算重渲染步骤:按照深度-分辨率拟合几何关系计算每张视点图像所有深度平面的目标分辨率,并重新渲染拼接,得到分辨率分布优化后的视点图像阵列;
合成编码步骤:将优化后的所述视点图像阵列编码合成,得到三维光场图像。
2.如权利要求1所述的根据深度值渲染分辨率的三维光场图像编码方法,其特征在于,所述采样分层步骤中,获取所述深度图像中各点的深度值,将深度范围分为255个区间,深度值在同一区间的图像区域采样为一个图像层,将每张视点图像按照深度分布采样为255个平面。
3.如权利要求1所述的根据深度值渲染分辨率的三维光场图像编码方法,其特征在于,所述分辨率计算重渲染步骤中,所述深度-分辨率拟合几何关系用于表征某深度区间与深度值在该区间内的图像内容目标渲染分辨率之间的关系。
4.如权利要求1所述的根据深度值渲染分辨率的三维光场图像编码方法,其特征在于,所述图像获取步骤中,所述视点图像阵列为场景实拍图像或软件渲染图像。
5.如权利要求1所述的根据深度值渲染分辨率的三维光场图像编码方法,其特征在于,所述深度图像的获取方法包括软件直接渲染方式或图像算法计算方式。
6.如权利要求1所述的根据深度值渲染分辨率的三维光场图像编码方法,其特征在于,所述分辨率计算重渲染步骤中,按照深度-分辨率拟合几何关系的数学表达式为:
(H,W)i=f(β,d,P)(H,W)input;
其中,(H,W)input表示原始视点图像分辨率,β为显示器控光单元的发散角,d为显示深度,p为显示面板上加载三维图像的子像素宽度,(H,W)i为视点图像划分为的第i层子图像的目标分辨率。
7.如权利要求1所述的根据深度值渲染分辨率的三维光场图像编码方法,其特征在于,所述合成编码步骤中,根据显示器参数及视点数目,将优化后的所述视点图像阵列通过多视点编码合成算法合成为一张三维图像,用以在三维光场显示器上显示三维场景。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310372968.6A CN116095294B (zh) | 2023-04-10 | 2023-04-10 | 根据深度值渲染分辨率的三维光场图像编码方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310372968.6A CN116095294B (zh) | 2023-04-10 | 2023-04-10 | 根据深度值渲染分辨率的三维光场图像编码方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116095294A CN116095294A (zh) | 2023-05-09 |
CN116095294B true CN116095294B (zh) | 2023-06-16 |
Family
ID=86199515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310372968.6A Active CN116095294B (zh) | 2023-04-10 | 2023-04-10 | 根据深度值渲染分辨率的三维光场图像编码方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116095294B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116503536B (zh) * | 2023-06-27 | 2024-04-05 | 深圳臻像科技有限公司 | 一种基于场景分层的光场渲染方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013128260A (ja) * | 2011-11-18 | 2013-06-27 | Sharp Corp | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
CN102609974B (zh) * | 2012-03-14 | 2014-04-09 | 浙江理工大学 | 一种基于深度图分割渲染的虚拟视点图像的生成方法 |
JP5670945B2 (ja) * | 2012-04-02 | 2015-02-18 | 株式会社東芝 | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 |
WO2016010246A1 (ko) * | 2014-07-16 | 2016-01-21 | 삼성전자주식회사 | 3d 영상 디스플레이 장치 및 방법 |
CN110246146B (zh) * | 2019-04-29 | 2021-07-30 | 北京邮电大学 | 基于多次深度图像渲染的全视差光场内容生成方法及装置 |
WO2023272510A1 (zh) * | 2021-06-29 | 2023-01-05 | Oppo广东移动通信有限公司 | 多平面图像的生成、数据处理、编码和解码方法、装置 |
-
2023
- 2023-04-10 CN CN202310372968.6A patent/CN116095294B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN116095294A (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
US9357206B2 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3D display | |
KR101612100B1 (ko) | 3차원 디스플레이에 대한 렌더링 개선 | |
US20160307368A1 (en) | Compression and interactive playback of light field pictures | |
US7643025B2 (en) | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates | |
US8189035B2 (en) | Method and apparatus for rendering virtual see-through scenes on single or tiled displays | |
CN110798673B (zh) | 基于深度卷积神经网络的自由视点视频生成及交互方法 | |
US20120182403A1 (en) | Stereoscopic imaging | |
RU2453922C2 (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) | |
CN106570938A (zh) | 基于opengl 的全景监控方法及系统 | |
US8094148B2 (en) | Texture processing apparatus, method and program | |
CN116095294B (zh) | 根据深度值渲染分辨率的三维光场图像编码方法及系统 | |
CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
WO2012140397A2 (en) | Three-dimensional display system | |
CA2540538C (en) | Stereoscopic imaging | |
DuVall et al. | Compositing light field video using multiplane images | |
CN115731336B (zh) | 图像渲染方法、图像渲染模型生成方法及相关装置 | |
CN115859662A (zh) | 一种裸眼光场3d显示仿真方法 | |
Katayama et al. | A method for converting three-dimensional models into auto-stereoscopic images based on integral photography | |
JP6768431B2 (ja) | 画像生成装置及びプログラム | |
CN109407329B (zh) | 一种空间光场显示方法及其装置 | |
Krasil’nikov et al. | Method of converting a 2D image into a stereoscopic 3D image | |
Li et al. | Digital three-dimensional reconstruction based on integral imaging | |
TW201514921A (zh) | 在3d空間中將3d幾何數據用於虛擬實境圖像的呈現和控制的方法 | |
Huang et al. | P‐4.15: Multi‐Viewpoint Glasses‐Free 3D Display Technology Based on Representation Fusion NeRF |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |