CN106898048B - 一种可适应复杂场景的无畸变集成成像三维显示方法 - Google Patents

Abstract

本发明提出了一种适用于复杂场景下无畸变集成成像三维显示方法，该方法首先利用Kinect获取三维场景的彩色图像和深度图像，并针对深度图像与彩色图像边界不一致问题，结合边缘信息进行干扰消除；然后，进一步针对深度图像的黑洞区域提出联合三边滤波进行填充，并将联合三边滤波器中的值域滤波器进行自适应处理消除深度图像的伪影效应；最后利用光场数学模型得到复杂场景的基元图像阵列，实现无畸变的三维集成成像显示。本发明不仅可以有效克服记录复杂场景时微透镜阵列的物理局限性，而且可以实现对复杂场景的无畸变集成成像三维显示。

Description

一种可适应复杂场景的无畸变集成成像三维显示方法

技术领域

本发明属于到计算机视觉技术领域，涉及一种可适应复杂场景的无畸变集成成像三维显示方法。

背景技术

集成成像技术作为下一代真三维立体显示技术的研究热点，拥有连续视角、全视差、无视觉疲劳且成像结构简单等优点。三维集成成像显示主要包括采集和重构两个过程。采集过程利用一组微透镜阵列对三维场景进行记录，微透镜阵列中每个微透镜从不同视角捕捉三维场景中的视差信息，生成一幅具有多视差信息的基元图像阵列。重构过程利用与采集时相同参数的微透镜阵列，根据光的可逆原理，将从基元图像阵列中透射出来的光线重新聚集，获得三维场景的重构图像。然而在传统光学采集过程中，因微透镜阵列的物理局限性，每个微透镜的低空间采样率和其微小尺寸也会产生一系列光学畸变，导致三维重构图像分辨率低，局部纹理信息失真等问题。

微软Kinect设备是近年来比较热门的一种有源深度传感器，其通过红外光源将光图像投射到三维空间中，利用红外摄像机接收反射光，经过内部处理后提取物体表面的几何变化计算深度信息。然而，基于Kinect获取的深度图像上存在着黑洞区域，这些区域的产生主要由于前景物体遮挡光路或者存在表面光滑或吸光材质的物体引起红外相机无法获取散斑图案所产生的。此外，还需克服深度图像还存在与彩色图像的边界不一致以及深度值连续的因素。

自Kinect问世以来，许多学者都对Kinect深度图像的修复技术进行了研究，2011年Matyunin等人利用帧间运动补偿和中值滤波对深度图像进行黑洞填充，但是没有考虑边界对齐并且当遇到大面积的黑洞区域时就会出现深度值修复错误的现象；2012年Loghman等人为了修正深度图像的边界对齐问题，将图像滤波与各向异性扩散上采样过程相结合，然而在上采样的过程中却没有能够克服深度值溢出边界的情况；同年Junyi Liu改善了Telea的快速行进算法，利用彩色图像作为引导信息进行黑洞填充，即将黑洞点周围的有效深度值插入黑洞点，但是该方法同样无法消除边界周围的干扰深度值，且修复后物体边缘存在伪影效应；Camplan在2012年利用高斯混合建模生成深度图像模型，然后利用自适应权重的联合双边滤波器交替迭代的修复深度图和更新深度图模型来获取降噪后的深度图像，但是对于大面积的黑洞区域无法完全修复。

发明内容

本发明采用Kinect获取高分辨率彩色图像和深度图像，利用光场数学模型合成复杂场景的基元图像阵列，最终实现无畸变集成成像的三维显示。

本发明采用的技术方案如下：

一种适用于复杂场景下无畸变集成成像三维显示方法，包括以下几个步骤：

步骤一，基于Kinect设备的深度图像和彩色图像的校准及裁剪。通过Kinect同步获取三维场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行对齐和裁剪。

步骤二，针对深度图像与彩色图像边界的干扰消除。通过对彩色图像和深度图像同时进行canny边缘检测，将两幅图像边缘之间非对齐的深度像素点全部置为黑洞(即将该点的灰度值设置为0)，得到一幅消除掉干扰后的深度图像。

步骤三，针对大面积黑洞区域的填充消除处理。在充分考虑了彩色图像中的空域信息，颜色信息以及结构相似度(SSIM)信息的基础上，提出了一个迭代联合三边滤波器。通过用这个滤波器对黑洞区域进行黑洞填充，来得到高质量的深度图像。

步骤四，针对黑洞填充后的深度图像中存在的伪影消除。将联合三边滤波器中的值域滤波器进行自适应处理，然后通过对深度图像进行滤波处理来消除伪影，得到具有连续深度变化且边缘平滑的深度图像。

步骤五，基于光场数学模型生成基元图像阵列。根据步骤一的彩色图像和步骤四得到的深度图像建立光场数学模型，并生成大景深复杂场景的基元图像阵列，此时的基本图像阵列因不受微透镜尺寸和采样率低的影响，其图像品质远优于实际通过微透镜阵列获得的基元图像阵列。

步骤六，根据逆光路原理，进行集成成像光学显示。将步骤五得到的基本图像阵列显示在高分辨率的显示屏中，透过前置微透镜阵列便可以呈现出具有连续视差的无畸变三维图像。

本发明不仅可以有效克服记录复杂场景时微透镜阵列的物理局限性，而且可以实现对复杂场景的无畸变三维集成成像显示。

附图说明

图1为本发明的整体流程示意图。

图2(a)为Kinect获得的原始彩色图像；(b)为Kinect获得的原始深度图像；

图3为干扰消除后的深度图像。

图4为黑洞填充后的深度图像。

图5为伪影消除后的深度图像。

图6为生成元素图像阵列的像素投影算法原理图。

图7为本发明方法生成的元素图像阵列。

图8为本发明方法生成的三维光学显示图像。

具体实施方式

以下结合本发明的技术方案与附图对本发明包含的6个步骤分别进行详细完整的描述。

步骤一，基于Kinect设备的深度图像和彩色图像的校准及裁剪。

通过Kinect同步获取目标场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行对齐和裁剪，如图2所示。

步骤二，针对深度图像与彩色图像边界像素漂移的干扰消除。

首先用canny检测算子分别对深度图像和彩色图像进行边缘检测，本发明设定深度图像中检测出的边缘附近一定存在着物体的真实的轮廓，而溢出物体轮廓的深度值即为本发明要消除的干扰深度值。在获得两幅图像的边缘检测图像后，首先在深度图像的边缘检测图像中从左上角至右下角进行逐像素遍历，判断该坐标点的像素是否大于0，如果大于0，说明该点是深度图像的边缘所在点，根据之前所述，该点的附近一定存在彩色图像中物体的真实的轮廓，然后在彩色图像的边缘检测图像中将之前遍历得到的深度图像边缘点坐标作为起始点，向该起始点的上下左右等八个方向逐像素递进一定的像素个数进行遍历，本发明中遍历的像素个数为8，如果遍历的过程中遇到了像素值大于0的点，则说明该点可能为彩色图像中物体的轮廓，而在深度图像中该点与起始点之间遍历过的像素值有可能是边界不对齐所产生的干扰深度值，则在深度图像中将这些遍历过的像素值均置为0。将整幅图像遍历之后，两幅图像的边缘之间的深度值都会变成黑洞点，干扰消除后的深度图像即为接下来将要进行黑洞填充修复的图像如图3所示。

步骤三，针对大面积黑洞区域的填充消除处理。

由原始深度图像可以看出，Kinect产生的深度图像中黑洞区域往往是大面积出现的，而本发明的干扰消除方法会使得这个问题更加明显，因此用传统的联合双边滤波器对深度图像进行黑洞填充很容易在黑洞区域插入错误的深度值，针对这种情况，本发明结合迭代的思想，将Kinect产生的彩色图像作为引导图像，设计了一个改进了的联合双三滤波器对图像进行黑洞填充。

本发明联合三边滤波器的公式如下：

其中k_p为归一化因子：

k_p＝f(||p-q||)g(||I_P-I_q||)t(S_p,S_q) (2)

(1)式中J_p是要通过滤波器进行加权平均后得到的插入黑洞点p处的深度值，Ω是p的邻域，q是Ω内的像素，I_q是深度图像中q点处的灰度值，f是空域滤波器，g是值域滤波器，t(S_p,S_q)是本发明新加入的权重因子，下文会详细介绍。本发明黑洞填充的中心思想就是通过对黑洞点邻域处的像素的深度值进行加权平均后插入到黑洞点处。

在本发明中，将空域滤波器设计为高斯函数：

式中p_x、p_y、q_x、q_y为p，q两像素在深度图像中的坐标值，邻域点距离中心点的距离决定了该点的空间权重，由(3)式可知该权重会随着p与q之间的欧氏距离的增加以指数方式衰减，标准差σ_d设为2。

(1)式的后两项权重因子以及迭代条件如(4)式所示，

(4)式中值域滤波器T(I_p-I_q)为

(5)式是一个梯度倒数加权平均滤波器。其原理是在一幅离散图像中，图像在一个区域内像素值的变化要比在区域之间的变化小，则在边缘两侧的梯度绝对值要比区域内部的梯度绝对值要高。对于一个梯度倒数加权平均滤波器，它把中心像素点与其滤波模板内的其他邻域像素之间的梯度绝对值的倒数定义为各邻域像素点的加权值，则在区域内部的邻域点加权值大，而边缘两侧的像素之间的加权值小。本发明为正确对黑洞区域插入深度值，充分考虑彩色图像中的颜色信息，将彩色图像的三个通道的像素信息都加入到计算中。

(4)式中SSIM(p,q)即结构相似度评价标准是联合三边滤波器的第三个权重因子，具体公式如下：

在(6)式中，u_p，u_q分别是以p和q为中心的图像块的像素均值，σ_p，σ_q分别是为以p和q为中心的图像块的标准差，σ_pq是以p和q为中心点图像块的协方差。为解决黑洞附近前景与背景颜色相似的问题，本发明引入结构相似度评价标准作为权重因子，并对其进行了改写，使其由原来对于两幅图像的结构相似度进行评价变为对一幅图像中的不同的两个块进行结构相似度评价，并将这两个块的相似度的评价结果作为两个块中心点的相似度，由于本发明是对彩色图像中的三个通道都进行了结构相似度系数的计算，因此计算后要对三个通道的结构相似度系数的和求均值。

本发明选用5×5的模板来计算模板中心像素的相似度，已知每个图像块中心点的像素值以及待测块与参考块之间的图像结构相似度系数，针对它们之间的像素颜色值相似，但结构相似度系数有较大差异的时候，将该系数作为权重因子就可以降低与模板中心点颜色相近但结构相似度低的像素的权重，更加真实的还原出深度图像。

在(4)式中后两项为迭代条件，分别确保滤波模板内有足够数量的有效深度值以及在有效深度值中存在和黑洞点处于同一区域的像素，只有当这两个条件都满足的时候，该点的滤波插值才会进行。其中Count代表滤波模板内据有非零深度值的像素的个数，C为阈值，只有当有效像素的个数大于C的时候，本次滤波插值才可能会进行，否则跳过当前滤波过程继续对图像进行遍历。本发明使用的是滤波模板为5×5的模版，C设置为5。H(SSIM(p,q),Th)是另外一个迭代条件。针对颜色相似的像素值在不同的区域存在比较小的结构相似度系数，本发明设定一个阈值Th，当不确定滤波模板中各个有效值像素是否与模板中心的黑洞点同处于同一区域时，则对它们进行判定，只有当所有的有效值像素中存在至少一个与模板中心像素的结构相似度系数大于Th的像素时，才会进行本次滤波。因此H(SSIM(p,q),Th)的意义为，在p的邻域像素中，存在像素q使得以q和p为中心图像块之间的结构相似度系数大于等于Th。经多次实验证明，当两个相邻的像素处在同一物体表面时，以它们为中心的图像块的结构相似度系数均大于0.9，因此本发明中将Th设为0.9，最后得到黑洞填充后的深度图像如图4所示。

步骤四，针对黑洞填充后的深度图像中存在的伪影消除。

在进行步骤三黑洞填充处理的时候，在少数边缘区域产生伪影效应。为了在消除伪影的同时保留深度图像中的边缘，本发明对联合三边滤波器中的值域滤波器进行了自适应处理：

由(7)式得知，值域滤波器的权重由R，G，B三个通道的高斯权重组成，每个通道的权重都会随着两点像素值I的差异的增加而指数衰减。为在通过滤波消除伪影后尽量不使图像模糊，本文对值域滤波器的衰减因数做了自适应处理。

当像素不处于过暗区域或过亮区域时，像素之间的像素值差异越大，权重应该衰减得越快，保证在该区域中只有与滤波模板中心像素值很接近的像素才会对滤波过程做出贡献。即当像素值从极限值0或255向中间值变化的时候，衰减因数σ应该越来越小，σ越小，权重衰减越快，这样才能更好的避免图像滤波后出现过平滑现象。根据这个原理，本文对彩色图像三个通道中颜色的不同范围取不同的衰减系数如公式(8)所示：

σ＝1,I∈[75,175]

σ＝2,I∈[50,75]or[175,200] (8)

σ＝3,I∈[25,50]or[200,225]

σ＝4,I∈[0,25]or[225,255]

最后得到伪影消除后的深度修复图像如图5所示。

步骤五，基于光场信息的基本元素图像阵列生成。

具体实施方案包含以下两个步骤：

(1)子图像的获取

子图像是指所有元素图像中同一位置的像素的集合，所以，可以根据子图像得到元素图像阵列。根据投影几何原理，子图像可以表示为：

I_θ(x,y)＝I(x+Vq_x,y+Vq_y) (9)

其中，I(x,y)是彩色图像在(x,y)点处的像素值，Vq_x和Vq_y是沿x轴和y轴方向的像素偏移值Δq，Δq依赖于深度信息和投影角度，可以根据式(10)计算得到：

Δq＝(z(x,y)-d_c)×tanθ (10)

其中，z(x,y)是修复的深度图像中点(x,y)的深度值，d_c是中心深度平面和零平面(z＝0)的距离，θ是投影角度，可以由式(11)求得：

其中，δ是元素图像中每个像素的大小，g是微透镜阵列与元素图像之间的距离。像素索引值i,j＝floor(-p/2δ)-1,floor(-p/2δ),...,floor(p/2δ)+1，floor(*)代表下取整运算。

(2)元素图像阵列的生成

根据生成元素图像阵列的像素投影算法原理图如图6所示，元素图像阵列可以通过公示(12)得到：

其中，s是微透镜的间隔，m和n代表第m行和第n列的微透镜的索引。结果如图7所示。

步骤六，根据光路可逆原理，进行集成成像光学显示。

将微透镜阵列紧贴在高分辨率显示屏上，根据显示屏以及微透镜阵列参数重新调整元素图像阵列并输如显示屏进行光学显示，通过记录相机或者人眼便可以观看具有连续视差的无畸变三维图像，如图8所示。

Claims (3)

1.一种适用于复杂场景下无畸变集成成像三维显示方法，其特征包括以下步骤：

步骤一，基于Kinect相机的深度图像和彩色图像的对齐及裁剪

通过Kinect相机同步获取目标场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行对齐和裁剪；

步骤二，针对深度图像与彩色图像边界的干扰消除

通过对彩色图像和深度图像同时进行canny边缘检测，将两幅图像边缘之间非对齐的深度像素点全部置为黑洞，即将该点的灰度值设置为0，得到一幅消除掉干扰深度值后的深度图像；

步骤三，针对大面积黑洞区域的填充消除处理

充分考虑彩色图像中的空域信息、颜色信息和结构相似度(SSIM)信息的基础上，提出了一个迭代联合三边滤波器，通过用这个滤波器对黑洞区域进行黑洞填充，来得到高质量的深度图像；针对大面积黑洞区域的填充消除处理的具体步骤如下：

通过对黑洞点邻域处的像素的深度值进行加权平均后插入到黑洞点处；将Kinect生成的彩色图像作为引导图像，设计了联合双三滤波器对图像进行黑洞填充，公式如下：

式中k_p为归一化因子，J_p是通过滤波器进行加权平均后插入黑洞点p处的深度值，Ω是p的邻域，q是Ω内的像素，I_q是深度图像中q点的灰度值，f(||p-q||)是空域滤波器，g(||I_P-I_q||)是值域滤波器，t(S_p,S_q)是新加入的结构相似度评价标准；

(1)式空域滤波器f(||p-q||)设为高斯函数：

式中p_x、p_y、q_x、q_y为p，q两像素在深度图像中的坐标值，邻域点距离中心点的距离决定了该点的空间权重，该权重随p与q之间的欧氏距离的增加以指数方式衰减，标准差σ_d设为2；

(1)式值域滤波器g(||I_P-I_q||)设为梯度倒数加权平均滤波器：

(1)式中结构相似度评价标准SSIM(p,q)作为权重因子判别图像中两个图像块之间的相似度，公式如下：

式中，u_p，u_q分别是以p和q为中心的图像块的像素均值，σ_p，σ_q分别是为以p和q为中心的图像块的标准差，σ_pq是以p和q为中心点图像块的协方差；

(1)式中迭代条件为

式中Count代表滤波模板内非零深度值的像素的个数，C为阈值，当有效像素个数大于C的时候，进行滤波；H(SSIM(p,q),Th)指在滤波模板内p邻域像素中，当存在像素q使得以p和q为中心的图像块之间的结构相似度系数大于阈值Th时，进行滤波；确保滤波模板内非零深度值的像素中存在与黑洞像素同一区域的像素，否则跳过当前滤波过程继续对图像进行遍历；

步骤四，针对黑洞填充后的深度图像中存在的伪影消除

将联合三边滤波器中的值域滤波器进行自适应处理，然后通过对深度图像进行滤波处理来消除伪影，得到具有连续深度变化且边缘平滑的深度图像；

步骤五，基于光场信息的基元图像阵列生成

根据步骤一的彩色图像和步骤四得到的修复深度图像建立模型得到大景深复杂场景的基元图像阵列，获得的基元图像阵列类似于通过微透镜阵列获得基元图像阵列；所述基于光场信息的基元图像阵列生成的具体实施方案包含以下两个步骤：

(1)子图像的获取

子图像是指所有元素图像中同一位置的像素的集合，根据投影几何原理表示为：

I_θ(x,y)＝I(x+Δq_x,y+Δq_y) (7)

式中I(x,y)是彩色图像在(x,y)点处的像素值，Δq_x和Δq_y是沿x轴和y轴方向的像素偏移值Δq，Δq依赖于深度信息和投影角度：

Δq＝(z(x,y)-d_c)×tanθ (8)

式中z(x,y)是修复的深度图像中点(x,y)的深度值，d_c是中心深度平面和零平面即z＝0的距离，θ是投影角度公式为：

式中δ是元素图像中每个像素的大小，g是微透镜阵列与元素图像之间的距离；像素索引值i,j＝floor(-p/2δ)-1,floor(-p/2δ),...,floor(p/2δ)+1，floor(*)代表下取整运算；

(2)元素图像阵列的生成

根据生成元素图像阵列的像素投影算法原理，元素图像阵列可以通过公式(10)得到：

式中s是微透镜的间隔，m和n代表第m行和第n列的微透镜的索引；

步骤六，根据逆光路原理，进行集成成像光学显示

将步骤三得到的基元图像阵列显示在高分辨率的显示屏中，透过显示屏前放置的微透镜阵列便呈现出具有连续视差的无畸变3D图像。

2.如权利要求1所述的一种适用于复杂场景下无畸变集成成像三维显示方法，其特征在于，所述的针对深度图像与彩色图像边界的干扰消除，具体步骤如下：

(1)采用canny检测算子分别对深度图像和彩色图像进行边缘检测，获得两幅图像的边缘检测图像；

(2)在深度图像的边缘检测图像中，沿基本几何方向如从左上角至右下角进行逐像素遍历，判断该坐标点的像素是否大于0，如果大于0，说明该点是深度图像的边缘点，其邻域一定存在彩色图像中物体的真实的轮廓；

(3)在对应彩色图像的边缘检测图像中将之前遍历得到的深度图像边缘点坐标设为起始点，沿该点的上下左右及对角线等八个方向逐像素递进行遍历，每个方向上像素遍历数目为8；遍历到像素值大于0的点，说明该点可能为彩色图像中轮廓点，在深度图像中对应点与起始点之间遍历过的像素值可能是边界像素漂移所产生的干扰点，则在深度图像中将这些遍历过的点的像素值置为0；

(4)对整幅图像进行遍历后，两幅图像中物体边缘之间的像素点都会变成黑洞点，得到干扰消除后的深度图像。

3.如权利要求1或2所述的一种适用于复杂场景下无畸变集成成像三维显示方法，其特征在于，所述的针对黑洞填充后的深度图像中存在的伪影消除步骤如下，

针对联合三边滤波器中的值域滤波器进行了自适应处理：

式中值域滤波器的权重由R，G，B三通道的高斯权重组成，每个通道的权重随着两点像素值I的差异的增加而指数衰减；当像素位于过明或过暗之外的区域时，像素之间的像素值差异越大，权重应该衰减得越快，确保只有该区域内距离滤波模板中心像素点很近的像素才会对滤波过程起作用；设定当像素值从极限值0和255向中间值变化的时候，衰减因数σ变小，权重衰减变快，避免图像滤波后出现过平滑现象。