CN102625127B - 一种适于3d电视虚拟视点生成的优化方法 - Google Patents

Abstract

本发明公开了一种适于3D电视虚拟视点生成的优化方法；它包括预处理深度图、三维图像变换、基于欧式距离和深度值的像素分配算法和逆三维图像变换四部分，步骤如下：首先获取参考视点图像及其深度图和获取辅助参考视点图像，对深度图进行闭运算预处理；对参考视点图像进行三维图像变换获取虚拟视点图像；利用基于欧式距离和深度值的像素分配算法解决虚拟视点图像中的遮挡和细纹空洞问题；利用逆三维图像变换解决虚拟视点图像大面积空洞问题。本发明与原有的DIBR技术相比，生成的虚拟视点图像质量明显提高。

Description

一种适于3D电视虚拟视点生成的优化方法

技术领域

本发明涉及一种适于3D电视虚拟视点生成的优化方法。

背景技术

相较于普通的二维电视，三维电视(3DTV)由于其提供了场景的深度信息而能够给用户带来身临其境的感受，同时由于其多角度的立体视觉使用户与电视场景信息更具交互性，被认为是继高清平板电视之后又一个新的电视发展方向。3D电视多角度立体效果的实现需要多个视点的视频图像流，基于深度图的虚拟视点绘制(DIBR)技术作为3D电视产生虚拟视点图像实现多视角立体感受的一项关键技术，其能够利用二维彩色图像和对应的深度图像完成对任意虚拟视点彩色图像的绘制。但是利用DIBR技术生成的虚拟视点图像质量不高，主要存在的问题有重叠、重采样和空洞问题。

发明内容

本发明的目的是为了克服上述现有技术的不足，提供一种优化的虚拟视点生成方法，解决DIBR技术过程中出现的重叠、重采样和空洞问题，提高生成的虚拟视点图像质量，保证后期的立体视觉效果。

为实现上述目的，本发明采用下述技术方案

一种适于3D电视虚拟视点生成的优化方法，该方法的优化步骤如下：

步骤1：利用摄像系统首先获取参考视点图像及其深度图，同时获取辅助参考视点图像；

步骤2：利用闭运算对参考视点图像的深度图进行预处理；

步骤3：对参考视点图像和经过闭运算处理后的深度图，进行三维图像变换，得到虚拟视点图像；

步骤4：对生成的虚拟视点图像利用基于欧式距离和深度值的像素分配算法解决虚拟视点图像中的重叠和细纹空洞问题，处理过程如下：

(a)设虚拟视点图像中的目标整像素点为O(i，j)，首先判断投影在O(i，j)上的像素点的个数，如果为1，则不进行任何处理；如果大于1，则比较对应的深度值，取深度值最大也就是最靠前的像素进行赋值；如果为0，则检测以O(i，j)为中心的2×2像素格内的非整像素点的个数；

(b)如果在2×2这个范围内的非整像素点的个数为零，那么判定O(i，j)为空洞点，不进行赋值；如果在2×2这个范围内非整像素点的个数不为零，则比较这些非整像素点的深度值，求出深度值最大的像素点；

(c)判断深度值最大的像素点是否唯一，如果深度值最大的像素点唯一，将此点的像素值赋给目标整像素点，并转入步骤(d)继续执行；如果深度值最大的像素点不唯一，就分别计算剩余非整数像素点到目标整像素点的欧氏距离，这些欧氏距离中，与目标整像素点距离最小的非整数像素点即为最佳匹配点，将该非整数像素点的值赋给目标整像素点，并转入步骤(d)继续执行；如果欧氏距离仍存在相等的情况，那么就将剩余非整数像素点的平均值赋给目标整像素点，并转入步骤(d)继续执行；无论以上哪种情况，都是将深度值最大的非整像素点赋值，这保证了虚拟视点观看者看到的是前景物体，不会出现重叠问题；

(d)继续寻找下一个目标整像素点，重复步骤(a)-(c)，直至整个目标整像素点处理完毕；

步骤5：经过步骤4的处理，虚拟视点图像的细纹空洞已经处理完毕，但仍存在由于遮挡造成的空洞，通过对生成的虚拟视点图像进行逆三维图像变换来填补大面积空洞，得到了高质量的虚拟视点图像。

所述步骤3中三维图像变换的过程如下：

(A)将参考视点图像上所有的像素点的深度图信息，投影到它们对应的三维空间中；

(B)将三维空间上的点，根据目标虚拟视点与参考视点之间的角度，投影到目标图像上，以上为一个二维转换为三维再重新转换为二维的过程；其中，三维图像变换公式为：

$Z_2{P}_2=Z_1{k}_{2}R{k_1}^{-1}{P}_1+k_{2}t$

其中，P为空间任意一个三维点；P₁＝(u₁，v₁，1)^T、P₂＝(u₂，v₂，1)^T为P点在两个视点图像上的投影；R为一个3×3的旋转矩阵，t为一个3×1的平移矩阵；k₁和k₂分别表示第一个和第二个摄像机的内参数矩阵；Z₁和Z₂分别表示两个摄像机坐标系的场景深度。

所述步骤5中，所述的逆三维图像变换包含如下步骤：

(A)利用三维图像变换公式进行变换，不同的是，这次是结合深度信息将生成的目标虚拟视点图像的空洞像素投影至辅助参考视点的图像平面，并且标记这些空洞像素的位置信息，然后与已知的辅助参考视点图像像素位置进行对照；

(B)利用相对位置的辅助参考视点图像像素信息对空洞进行填充。

所述欧氏距离的计算公式为：

$d=\mathrm{sqrt}\left(\underset{s=1}{\overset{s=n}{\mathrm{\Σ}}}{(x_{s1}-x_{s2})}^2\right),s=\mathrm{1,2},\·\·\·n$

其中，x_s1表示第一个点的第s维坐标，x_s2表示第二个点的第s维坐标；此时的图像坐标为二维坐标，即n＝2。

本发明的有益效果是，与原有的DIBR技术相比，本发明提出的优化方法所生成的虚拟视点图像质量明显提高，有效的消除了虚拟视点图像中的细纹空洞和由于遮挡产生的空洞，同时也解决了重叠问题。另外，相对于双视点融合生成虚拟视点技术来说，这种方法不需要传输辅助参考视点图像的深度信息，明显地减少了传输数据量。本发明的虚拟视点生成的优化方法主要适用于3D电视以及其他3D显示设备的虚拟视点生成，解决了3D电视传输多视点图像数据量大的问题。

附图说明

图1a是某图像原始深度图的部分截图；

图1b是图1a经过闭运算后的深度图；

图1c是图1a利用原始深度图生成虚拟视点图像；

图1d是图1b闭运算后生成的虚拟视点图像；

图2是本发明基于欧式距离和深度值的像素分配算法流程图；

图3a是未经过算法处理的图像；

图3b是图3a经过本发明的基于欧式距离和深度值的像素分配算法处理后的图像；

图4a是真实目标视点图像；

图4b是图4a利用本发明算法生成的虚拟目标视点效果图；

图5是摄像系统示意图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

一种适于3D电视虚拟视点生成的优化方法，包括预处理深度图、三维图像变换、基于欧式距离和深度值的像素分配算法和逆三维图像变换四部分，其特征如下：

所述的预处理深度图部分包含如下步骤：

由于空洞产生的直接原因是由于深度图的不连续，以往的预处理深度图的方法主要有中值滤波、高斯滤波等。这些方法虽然能够使空洞减小，但是由于改变了深度图，就会造成生成的虚拟视点几何失真。本发明只采用闭运算对深度图进行预处理，这样就能够在不改变前景和背景深度值的前提下，使较为粗糙的深度图边缘变的平滑，不会在三维图像变换的过程中引入几何失真的元素，从图1a和图1b可以看出，闭运算只会使原本粗糙的深度图边缘变得平滑，对前景和背景的深度值基本无影响。而空洞问题，我们通过后处理的方法解决。

所述的三维图像变换部分包含如下步骤：

三维图像变换首先将参考图像上所有的像素点，结合深度图信息，投影到它们对应的三维空间中，然后再将三维空间上的点，根据目标虚拟视点与参考视点之间的角度，投影到目标图像上，这也就是一个2D转换为3D再重新转换为2D的过程。公式如下：

$Z_2{P}_2=Z_1{k}_{2}R{k_1}^{-1}{P}_1+k_{2}t$

其中，P为空间任意一个三维点；P₁＝(u₁，v₁，1)^T、P₂＝(u₂，v₂，1)^T为P点在两个视点图像上的投影，u₁，v₁，u₂，v₂分别为P₁、P₂在视点图像上的坐标值；R为一个3×3的旋转矩阵，t为一个3×1的平移矩阵；k₁和k₂分别表示第一个和第二个摄像机的内参数矩阵；Z₁和Z₂分别表示两个摄像机坐标系的场景深度。经过三维图像变换后得到的虚拟视点效果图如图3a所示。三维图像变换是将参考视点投影至目标视点，是从已知到未知，本发明所说的逆三维图像变换是将目标视点投影至辅助视点，也就是从未知到已知的过程，用的基本公式和方法都是一样的。

所述的基于欧式距离和深度值的像素分配算法，算法流程如图2所示，包含如下步骤：

(1)依次对生成的虚拟视点图像进行像素点检索，设目标整像素点坐标为O(i，j)，其中i，j为图像像素坐标，取值范围分别为0到图像水平、垂直像素点个数最大值，首先判断投影在O(i，j)上的像素点的个数，如果为1，则不进行任何处理；如果大于1，比较对应的深度值，取深度值最大也就是最靠前的像素进行赋值；如果为0，检测以O(i，j)为中心的2×2像素格内的非整像素点(即因为没有投影到整像素点而无法显示造成细纹黑洞的像素)的个数；

(2)如果这个范围内的非整像素点的个数为零，那么O(i，j)仍为空洞点，不赋值(这样的情况一般发生在由于遮挡而产生的大范围空洞处)如果存在非整像素点，那么利用保留的深度信息，比较这些点的深度值，保留深度值最大的，也就是位置相对靠前的像素点进行下一步计算；

(3)如果深度值最大的像素点不唯一，就分别计算剩余非整数像素点到目标整像素点的欧氏距离，欧氏距离为像素点的真实距离，它的计算公式为：

$d=\mathrm{sqrt}\left(\underset{s=1}{\overset{s=n}{\mathrm{\Σ}}}{(x_{s1}-x_{s2})}^2\right),s=\mathrm{1,2},\·\·\·n$

其中，x_s1表示第一个点的第s维坐标，x_s2表示第二个点的第s维坐标；此时的图像坐标为二维坐标，即n＝2。得到剩余非整像素点的欧氏距离后进行比较，距离最小的就是我们筛选出的最匹配点，将它的值赋给目标整像素点。如果仍存在相等的情况，就将他们的平均值赋给目标整像素点，效果如图3b所示。

所述的逆三维图像变换算法包含如下步骤：

(1)在DIBR技术的3D warping过程中同时生成目标虚拟视点的深度图，由于深度图纹理简单，所以简单的水平填充就能够得到质量较高的深度图；

(2)结合新生成的深度信息，再次利用之前所说的三维图像变换公式，将空洞像素投影至辅助参考视点的图像平面，与已知的辅助参考视点图像像素进行对照；

(3)利用相对位置的辅助参考视点图像像素信息对空洞进行填充。通过对生成的虚拟视点图像进行逆三维图像变换来填补大面积空洞，得到了高质量的虚拟视点图像。生成效果如图4b所示，而图4a为目标视点的真实图像。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (3)

1.一种适于3D电视虚拟视点生成的优化方法，其特征是，该方法的优化步骤如下：

步骤1：利用摄像系统首先获取参考视点图像及其深度图，同时获取辅助参考视点图像；

步骤2：利用闭运算对参考视点图像的深度图进行预处理；

步骤3：对参考视点图像和经过闭运算处理后的深度图，进行三维图像变换，得到虚拟视点图像；所述三维图像变换的过程如下：

（A）将参考视点图像上所有的像素点的深度图信息，投影到它们对应的三维空间中；

（B）将三维空间上的点，根据目标虚拟视点与参考视点之间的角度，投影到目标图像上，以上为一个二维转换为三维再重新转换为二维的过程；其中，三维图像变换公式为： $Z_2{P}_2=Z_1{k}_{2}R{k}_1^{-1}{P}_1+k_{2}t$

其中，P为空间任意一个三维点；P₁=(u₁，v₁，1)^T、P₂=(u₂，v₂，1)^T为P点在两个视点图像上的投影；R为一个3×3的旋转矩阵，t为一个3×1的平移矩阵；k₁和k₂分别表示第一个和第二个摄像机的内参数矩阵；Z₁和Z₂分别表示两个摄像机坐标系的场景深度；

步骤4：对生成的虚拟视点图像利用基于欧式距离和深度值的像素分配算法解决虚拟视点图像中的重叠和细纹空洞问题，处理过程如下：（a）设虚拟视点图像中的目标整像素点为O(i,j)，首先判断投影在O(i,j)上的像素点的个数，如果为1，则不进行任何处理；如果大于1，则比较对应的深度值，取深度值最大也就是最靠前的像素进行赋值；如果为0，则检测以O(i,j)为中心的2×2像素格内的非整像素点的个数；

（b）如果在2×2这个范围内的非整像素点的个数为零，那么判定O(i,j)为空洞点，不进行赋值；如果在2×2这个范围内非整像素点的个数不为零，则比较这些非整像素点的深度值，求出深度值最大的像素点；

（c）判断深度值最大的像素点是否唯一，如果深度值最大的像素点唯一，将此点的像素值赋给目标整像素点，并转入步骤（d）继续执行；如果深度值最大的像素点不唯一，就分别计算剩余非整数像素点到目标整像素点的欧氏距离，这些欧氏距离中，与目标整像素点距离最小的非整数像素点即为最佳匹配点，将该非整数像素点的值赋给目标整像素点，并转入步骤（d）继续执行；如果欧氏距离仍存在相等的情况，那么就将剩余非整数像素点的平均值赋给目标整像素点，并转入步骤（d）继续执行；无论以上哪种情况，都是将深度值最大的非整像素点赋值，这保证了虚拟视点观看者看到的是前景物体，不会出现重叠问题；

（d）继续寻找下一个目标整像素点，重复步骤（a）-（c），直至整个目标整像素点处理完毕；

步骤5：经过步骤4的处理，虚拟视点图像的细纹空洞已经处理完毕，但仍存在由于遮挡造成的空洞，通过对生成的虚拟视点图像进行逆三维图像变换来填补大面积空洞，得到了高质量的虚拟视点图像。

2.如权利要求1所述的一种适于3D电视虚拟视点生成的优化方法，其特征是，所述步骤5中，所述的逆三维图像变换包含如下步骤：

（A）利用三维图像变换公式：进行变换，其中，P为空间任意一个三维点；P₁=(u₁，v₁，1)^T、P₂=(u₂，v₂，1)^T为P点在两个视点图像上的投影；R为一个3×3的旋转矩阵，t为一个3×1的平移矩阵；k₁和k₂分别表示第一个和第二个摄像机的内参数矩阵；Z₁和Z₂分别表示两个摄像机坐标系的场景深度；不同的是，这次是结合深度信息将生成的目标虚拟视点图像的空洞像素投影至辅助参考视点的图像平面，并且标记这些空洞像素的位置信息，然后与已知的辅助参考视点图像像素位置进行对照；

（B）利用相对位置的辅助参考视点图像像素信息对空洞进行填充。

3.如权利要求1所述的一种适于3D电视虚拟视点生成的优化方法，其特征是，所述欧氏距离的计算公式为：

$d=\mathrm{sqrt}\left(\underset{s=1}{\overset{s=n}{\mathrm{\Σ}}}{(x_{s1}-x_{s2})}^2\right),s=\mathrm{1,2},...n$

其中，x_s1表示第一个点的第s维坐标，x_s2表示第二个点的第s维坐标；此时的图像坐标为二维坐标，即n=2。