CN117097879B - 一种像素化的裸眼3d显示方法 - Google Patents

Abstract

本发明属于裸眼3D显示应用技术领域，尤其涉及一种像素化的裸眼3D显示方法，包括将多个釆集设备排列成图像采集阵列分别拍摄东西南北四个方位的多视角视差图像，对四个方位的视差图像的同一位置下的像素组合组成一个体像素，得到混合视差图像，选取四个振幅板，所述振幅板上分别呈现四个方向的混合视差图像，在视场调制板上设计复合透镜阵列，基于改进双线性插值和单应性变换生成新视点的视差图像，所述复合透镜阵列由非球面菲涅尔透镜和谐衍射透镜组合而成，并利用阻尼最小二乘法平衡像差，结合RAFT光流预测和U‑Net架构的矫正网络对光流进行矫正，运用全息功能屏对来自复合透镜阵列的光流进行再调制，实现均匀平滑的再现视差图像。

Description

一种像素化的裸眼3D显示方法

技术领域

本发明属于裸眼3D显示应用技术领域，尤其涉及一种像素化的裸眼3D显示方法。

背景技术

视觉是人类感知外界环境的重要手段，研宄表明人类与外界环境交互信息总量的70％以上由视觉系统获得。作为信息技术的显示技术是向视觉系统高效传达信息的重要技术手段，对人们生产、生活方式的促进具有重要的意义，因此显示技术一直以来是现代社会技术发展的重要方向之一。显示技术经历了从黑白到彩色、从标清到超清、从静态到高动态的重要发展，并且有效地带动了相关上下游产业的发展和创新，可大力促进整个国民经济的发展。因此，显示技术是国家综合实力的重要体现，是国家科技战略实施的重要方向。

在传统的3D显示技术中，人们往往需要佩戴3D眼镜，这增加了观察者的负担。现有的平视显示技术大部分呈现的是二维图像，难以与真实的三维物理世界很好地融合。传统的基于周期型透镜的光场3D显示，它的光场调控能力有限，且由于许多方案采用的不透明物理器件遮挡了后面的真实物理场景，难以实现增强现实的显示，无法拥有高自由度的立体视觉观看体验。

发明内容

本发明针对裸眼3D显示所存在的技术问题，提出一种设计合理、方法简单、理论性强且能够实现无需佩戴3D眼镜、带来高自由度的立体视觉观看体验的一种像素化的裸眼3D显示方法。

为了达到上述目的，本发明采用的技术方案为：一种像素化的裸眼3D显示方法，包括如下步骤：

S1、通过将多个釆集设备排列成图像采集阵列分别拍摄东西南北四个方位的多视角视差图像；

S2、对四个方位的视差图像的同一位置下的像素组合组成一个体像素，得到混合视差图像，混合视差图像的分辨率为单个视角下视差图像的视角数目的平方倍，所述体像素为混合视差图像的单位像素；

S3、选取四个振幅板，所述振幅板上分别呈现四个方向的混合视差图像；

S4、在视场调制板上设计复合透镜阵列，基于改进双线性插值和单应性变换生成新视点的视差图像，新视点的视差图像可表示为：

其中W()表示后项扭曲计算函数，V_m、V_m+1表示两个视点视差图像，x∈(0,1)，γ∈N，所述复合透镜阵列由非球面菲涅尔透镜和谐衍射透镜组合而成，并利用阻尼最小二乘法平衡像差，运用软件方法，结合RAFT光流预测和U-Net架构的矫正网络对光流进行矫正，所述矫正网络采用ResNet模块作为特征提取层；

S5、运用全息功能屏对来自复合透镜阵列的光流进行再调制，实现均匀平滑的再现视差图像，观看角度表示为：

其中，M×N个像素点，D是复合透镜的孔径，P表示复合透镜之间的间距，L是全息功能屏和复合透镜阵列之间的距离。

作为优选，所述S1步骤的采集设备的排列方式呈现阵列排布。

作为优选，所述S2步骤的混合编码处理，所有单个视角下的视差图像的同一位置下的像素分别组合组成一个体像素，所述体像素为混合视差图像的单位像素，得到的混合视差图像的分辨率为单个视角下视差图像的视角数目的平方倍。

作为优选，所述S3步骤的振幅板是液晶LCD面板，单个像素的尺寸为80μm。

作为优选，所述步骤S4的像差包括初级像差和高级像差。

作为优选，所述S4步骤的视点为观看图像的合适位置。

作为优选，所述S4步骤的矫正网络的具体操作为：

S411、将V_m、V_m+1输入RAFT光流预测，得到F_m、F_m+1光流；

S421、将F_m、F_m+1光流输入基于ResNet特征提取层的U-Net架构得到矫正后的F'_m、F'_m+1光流。

与现有技术相比，本发明的优点和积极效果在于：

1、本发明基于改进双线性插值和单应性变换生成新视点及其视差图像，提升了观看效果。

2、复合透镜阵列由非球面菲涅尔透镜和谐衍射透镜组合而成，并利用阻尼最小二乘法平衡像差，解决了由于透镜像差带来的再现3D图像模糊的问题。

3、结合RAFT光流预测和U-Net架构的矫正网络对光流进行矫正，矫正网络采用ResNet模块作为特征提取层，使视点匹配，并填充正确视点图像，提升观看质量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种像素化的裸眼3D显示方法的矫正网络的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。

实施例，考虑到在传统的3D显示技术中，人们往往需要佩戴3D眼镜，这增加了观察者的负担。现有的平视显示技术大部分呈现的是二维图像，难以与真实的三维物理世界很好地融合。传统的基于周期型透镜的光场3D显示，它的光场调控能力有限，且由于许多方案采用的不透明物理器件遮挡了后面的真实物理场景，难以实现增强现实的显示，无法拥有高自由度的立体视觉观看体验。大多数裸眼3D显示应用的是人眼的双目视差原理，即人眼在观察物体时左右眼观察到的物体在角度上有微小差别，另外，左右两眼观察到的视差图像在大脑融合产生立体感知。因而在3D显示中，立体图像的采集会模仿人眼获得视差图像的过程。拍摄3D电影常用的立体相机，不同于普通的相机，它有两个镜头拍摄画面，两个镜头同时拍摄来模仿人的左右两眼获取视差图像，再通过某种技术将拍摄到的左右视差图像分别被人的左右眼获取，视差图像在大脑融合产生立体感知。双目视差图像的采集技术经过多年的发展已经很成熟了，如今3D电影的拍摄都是用的这种拍摄技术。然而，为了获得更大的观察视角，更丰富的视差信息，本发明设计很多个观察视角，在每个观察视角内显示对应的视差图像。

具体操作为通过将多个釆集设备排列成图像采集阵列分别拍摄东西南北四个方位的多视角视差图像，采集设备的排列方式呈现阵列排布，接下来需要对这些视差图作混合编码处理，形成振幅板上的视差图像，具体操作为对四个方位的视差图像分别进行混合编码处理，将多个视角下的视差图像编码成单幅混合视差图像，所有单个视角下的视差图像的同一位置下的像素分别组合组成一个体像素，得到体像素为混合视差图像的单位像素，得到的混合视差图像的分辨率为单个视角下视差图像的视角数目的平方倍。

为了在封闭空间内，让人们体验到超重、失重或者身临其境的感觉，本发明选取四个振幅板，分别放置在四周，振幅板是液晶LCD面板，单个像素的尺寸为80μm，振幅板上分别呈现四个方向混合视差图像，由于透镜光栅存在畸变，视点实际上呈不均匀分布，这种分布和采集方案发生冲突，空间视点将会被填充错误的视差图像，导致视点图像偏移、透视关系错误等问题，影响最终观看质量，且视点位置有限。因此，本发明在视场调制板上设计复合透镜阵列，基于改进双线性插值和单应性变换生成新视点及其视差图像，提升观看效果，新视点的视差图像可表示为：

其中W()表示后项扭曲计算函数，Vm、Vm+1表示两个视点视差图像，x∈(0,1)，γ∈N，γ加大嵌入的空间，为了解决由于透镜像差带来的再现3D图像模糊的问题，复合透镜阵列由非球面菲涅尔透镜和谐衍射透镜组合而成，并利用阻尼最小二乘法平衡像差，像差包括初级像差和高级像差，运用软件方法，结合RAFT光流预测和U-Net架构的矫正网络对光流进行矫正，所述矫正网络采用ResNet模块作为特征提取层，使视点匹配，并填充正确视点图像，提升观看效果。矫正网络的具体操作如图1所示，首先将V_m、V_m+1输入RAFT光流预测，得到F_m、F_m+1光流，然后将F_m、F_m+1光流输入基于ResNet特征提取层的U-Net架构得到矫正后的F'_m、F'_m+1光流。全息功能屏对来自复合透镜阵列的光流进行再调制，每个像素通过透镜阵列后点亮了全息功能屏上的每一个点。而这些点将沿着不同的方向以一定的约束角发出不同强度不同波长的光束，就如同真实物体发出的光束一般，实现均匀平滑的再现视差图像，观看角度表示为：

其中，M×N个像素点，D是复合透镜的孔径，P表示复合透镜之间的间距，L是全息功能屏和复合透镜阵列之间的距离。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种像素化的裸眼3D显示方法，其特征在于，包括如下步骤：

S1、通过将多个釆集设备排列成图像采集阵列分别拍摄东西南北四个方位的多视角视差图像；

S2、对四个方位的视差图像的同一位置下的像素组合组成一个体像素，得到混合视差图像，混合视差图像的分辨率为单个视角下视差图像的视角数目的平方倍，所述体像素为混合视差图像的单位像素；

S3、选取四个振幅板，所述振幅板上分别呈现四个方向的混合视差图像；

S4、在视场调制板上设计复合透镜阵列，基于改进双线性插值和单应性变换生成新视点的视差图像，新视点的视差图像可表示为：

其中W()表示后项扭曲计算函数，V_m、V_m+1表示两个视点视差图像，x∈(0,1)，γ∈N，所述复合透镜阵列由非球面菲涅尔透镜和谐衍射透镜组合而成，并利用阻尼最小二乘法平衡像差，运用软件方法，结合RAFT光流预测和U-Net架构的矫正网络对光流进行矫正，所述矫正网络采用ResNet模块作为特征提取层；

S5、运用全息功能屏对来自复合透镜阵列的光流进行再调制，实现均匀平滑的再现视差图像，观看角度表示为：

其中，M×N个像素点，D是复合透镜的孔径，P表示复合透镜之间的间距，L是全息功能屏和复合透镜阵列之间的距离。

2.根据权利要求1所述的一种像素化的裸眼3D显示方法，其特征在于，所述S1步骤的采集设备的排列方式呈现阵列排布。

3.根据权利要求1所述的一种像素化的裸眼3D显示方法，其特征在于，所述S2步骤的混合编码处理，所有单个视角下的视差图像的同一位置下的像素分别组合组成一个体像素，所述体像素为混合视差图像的单位像素，得到的混合视差图像的分辨率为单个视角下视差图像的视角数目的平方倍。

4.根据权利要求1所述的一种像素化的裸眼3D显示方法，其特征在于，所述S3步骤的振幅板是液晶LCD面板，单个像素的尺寸为80μm。

5.根据权利要求1所述的一种像素化的裸眼3D显示方法，其特征在于，所述步骤S4的像差包括初级像差和高级像差。

6.根据权利要求1所述的一种像素化的裸眼3D显示方法，其特征在于，所述S4步骤的视点为观看图像的合适位置。

7.根据权利要求1所述的一种像素化的裸眼3D显示方法，其特征在于，所述S4步骤的矫正网络的具体操作为：

S411、将V_m、V_m+1输入RAFT光流预测，得到F_m、F_m+1光流；

S421、将F_m、F_m+1光流输入基于ResNet特征提取层的U-Net架构得到矫正后的F'_m、F'_m+1光流。