CN102436671B - 一种基于深度值非线性变换的虚拟视点绘制方法 - Google Patents

Abstract

本发明公开一种基于深度值非线性变换的虚拟视点绘制方法，首先采用自适应的基于边缘的预处理滤波器，由边缘保持滤波器和非对称的高斯平滑滤波器串联组成。用边缘滤波器迭代处理深度图，不仅能消除噪声信息，还能通过平滑物体内部的连续区域减少目标图像中物体内部出现空洞的可能性；采用非对称的高斯平滑滤波器处理深度图处理物体边缘，在平滑水平梯度的同时，避免在竖直方向产生几何形变；考虑了人眼视觉特性的因素后，将深度图像素点的灰度值与空间实际距离进行非线性映射，能够有效较少目标图像背景中所出现的空洞，增强用户的立体观赏效果。最后填补目标图像中出现的空洞，消除所有空洞。本发明实现简单，避免几何形变，计算复杂度低。

Description

一种基于深度值非线性变换的虚拟视点绘制方法

技术领域

本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于深度值非线性变换的虚拟视点绘制方法。

背景技术

虚拟视点绘制技术从一系列参考图像出发，进而生成新视点图像。其中基于深度图像的绘制（Depth Image Based Rendering, DIBR）是一种利用彩色图像及其对应的深度图像生成新视点图像的方法，在虚拟实现领域，医学图像处理领域和军事领域中均有着广泛的应用。DIBR技术的核心是三维图像变换（3D Image Warping）方程，其原理是根据参考图像中与各像素点对应的深度信息，将参考图像上的像素点映射到目标图像上。但是由于在映射的过程中，物体间的遮挡关系会发生一定的变化，所以不可避免的会在目标图像上会出现一些空洞。空洞的出现严重影响了用户的观看体验。如何减少，甚至消除这些空洞是DIBR技术亟需解决的关键问题。目前消除空洞主要有两种解决方案，第一种是对深度图进行预处理，从而减少目标图像中产生空洞的可能性。第二种是选择在目标图像中直接对空洞进行填补。近些年来，随着DIBR技术的进一步发展，出现了大量消除目标图像中空洞的技术。

经过对现有技术文献的检索，C. Fehn于2004年在《SPIE Stereoscopic Displays and Virtual Reality Systems （SPIE立体显示与虚拟实现系统）》上发表的“Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3DTV （DIBR                                                

立体电视系统压缩和传输的新方法）”中提出了利用DIBR技术生成虚拟视点的方法。该技术成功地将DIBR技术应用于立体电视系统。通过将三维图像变换方程（3D Image Warping Equation）与移轴算法（Shift Sensor Algorithm）相结合，可以根据用户的需要生成任意角度的虚拟视点。该技术选择利用高斯低通滤波器对整幅深度图进行预处理，并且采用线性插值算法对目标图像中的空洞进行填补。虽然能够在一定程度上减少空洞的产生，但是会导致目标图像中物体出现几何形变，严重影响用户的观看体验。

又经检索发现，Young Kyung Park等于2009年在《Signal Processing Elsevier （信号处理）》上发表的“Depth-image-based rendering for 3DTV service over T-DMB”（基于T-DMB立体电视服务的DIBR技术）中提出了将深度图的空间信息引入到预处理滤波器的方法。该方法使深度图依次通过两个不同的滤波器，从而完成整个预处理过程。第一个滤波器，在平滑深度图中连续区域的同时，消除深度图中的噪声信息；第二个滤波器，则通过在平滑模板中引入深度图的梯度信息，从而有效地平滑可能产生空洞的区域。但是由于两个滤波器都需要对深度图进行多次迭代处理，所以计算量大，时间复杂度偏高。

发明内容

本发明的目的在于克服现有技术中的上述不足，提出一种基于深度值非线性变换的虚拟视点绘制方法，该方法考虑人眼视觉特性，以非线性的方式建立深度图中像素点的深度值与实际深度距离的映射关系，从而有效地消除目标图像中的空洞，而且计算复杂度低，可广泛应用于虚拟实现领域，医学图像处理领域以及军事领域。

本发明是通过以下技术方案实现的，本发明首先建立基于深度图像物体边缘信息的滤波器，该滤波器由边缘保持滤波器和非对称的高斯平滑滤波器串联组成，其中采用边缘滤波器迭代处理深度图，不仅能够消除噪声信息，还能够通过平滑物体内部的连续区域，减少目标图像中物体内部出现空洞的可能性；采用非对称的高斯平滑滤波器处理深度图处理物体边缘，在平滑水平梯度的同时，避免在竖直方向产生几何形变。再考虑了人眼视觉特性的因素后，将深度图像素点的灰度值与空间实际距离进行非线性映射，能够有效较少目标图像背景中所出现的空洞，增强用户的立体观赏效果。最后，对目标图像中出现的空洞进行填补，从而消除目标图像中的所有空洞。

本发明具体包括以下步骤：

第一步：建立自适应的基于深度图像物体边缘信息的预处理滤波器。预处理滤波器能够消除深度图中的噪声信息，并且平滑可能产生空洞的区域。该预处理滤波器由两个子滤波器串联组成，分别称为边缘保持滤波器和非对称的高斯平滑滤波器。

所述建立自适应的基于深度图像物体边缘信息的滤波器，包括以下步骤：

1)      利用Sobel算子获取深度图中各像素点水平方向的梯度信息

采用水平方向的Sobel算子获取深度图水平方向的梯度信息，其模板 为

矩阵:

模板算子运算时采用类似卷积的方式，即把模板在深度图像上移动，并在每点计算相应的梯度值。对于点

而言，其水平方向梯度值

的计算公式如下：

其中

代表点

的灰度值，

为模板

的系数，其中

和 为整数，并且

，

。

利用各像素点水平方向的梯度信息构造边缘保持滤波器

所述边缘保持滤波器的模板公式如下：

其中

为像素点 所对应的模板系数。对于不同的点而言，其平滑区域内的模板是各不相同的。

为上一步中计算得到的点

的水平方向梯度值。

是根据实际经验所设定的自适应阈值，所有水平方向梯度值大于

的点组成物体边缘。通过观察上述公式，不难看出，当

时，

为减函数，随着

，

。而对于

的点，具有相同的最大权重

。

构造非对称的高斯平滑滤波器

选取的高斯平滑滤波器在水平方向和垂直方向具有不同的标准差和平滑尺寸。其模板公式如下所示：

其中，

和

分别代表了水平方向和垂直方向的高斯平滑滤波器，其标准差分别为

和

。为了避免在目标图像中产生几何形变，设定

和

的关系为

，平滑窗口大小分别为

和

。

第二步，利用预处理滤波器迭代处理深度图像

由于预处理滤波器由两个滤波器串联组成，首先用边缘保持滤波器迭代处理深度图，计算公式如下：

其中平滑区域是大小为

的矩形。

和

为整数。

代表的是迭代的次数，根据经验数据一般迭代次数为50次。

为第

次迭代完成后，点

的深度值。

为平滑区域内模板系数之和，在计算

的过程中起到了平均作用。每次迭代计算出的

都需要和上一次的迭代结果进行比较，取其中较大的作为本次平滑的结果。

接下来用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，计算公式如下：

其中平滑区域是大小为

的矩形。 和

为整数。

为经过该滤波器处理后，点

的深度值。

为该区域内模板系数之和，在计算

的过程中起到了平均作用。平滑过程中的平滑系数由水平和垂直高斯平滑滤波器的系数共同决定，最终得到经预处理滤波器处理后的深度图。

第三步，建立深度图中像素点灰度值与空间深度值的非线性映射关系。预处理后的深度图中点 的灰度值为

，其最大值

对应于最远的深度切面，而其最小值

则对应于最近的深度切面。

所述建立深度图中像素点与空间深度值的非线性映射关系，具体过程如下：

1) 获取灰度直方图的所有局部最小值点，记为

， ，在集合

中将这些局部最小值点升序排列，有

，

；

2)认为存在某个局部最小值点

(

)，则深度值处于

和

之间的像素点组成了整个图像的大部分背景；

3)选择使用指数函数，有 ，来非线性拟合深度图中的像素点的灰度值与空间深度值的映射关系。其中 对应深度图中像素点的灰度值，

则对应于空间深度值。

第四步，将参考图像中的像素点映射到目标图像中，可以采用三维图像变换（3D image warping）方程和移轴算法实现。

第五步，目标图像的空洞填补，可以采用基于空洞边缘信息的插值方式实现。

综上，本发明技术方案将自适应的基于边缘的预处理滤波器，深度图灰度值与空间距离的非线性映射和空洞填补技术三者结合起来，实现了对任意视角的虚拟绘制技术。整个图像拼接方法的实现过程简单，计算复杂度低，可应用于摄影测量、遥感图像处理、医学图像分析等重要领域。

附图说明

图1为本发明实施例流程框图；

图2为本发明实施例测试图像的灰度直方图；

图3 为本发明实施例深度图中点的灰度值与空间深度距离的非线性映射，线性映射和反比例映射示意图；

图4 为本发明实施例移轴算法下立体摄像机放置示意图；

图5为本发明实施例基于边缘信息的插值示意图；

图6为本发明实施例与现有技术所产生的目标图像对比图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例给出了本发明技术方案详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本发明实施例的虚拟视点绘制方法流程图，包括利用边缘滤波器对深度图的迭代处理，非对称的高斯平滑滤波器对深度图的处理，深度图中像素点的灰度值与空间深度距离的非线性映射，利用三维图像变换方程和移轴算法生成新视点图像，利用边缘信息填补空洞，最终生成的虚拟视点图像。

以微软亚洲研究院提供的大小为

的测试序列“Ballet”为例，介绍本发明如何利用参考图像和对应的深度图像绘制新视点。

第一步，建立自适应的基于深度图像物体边缘信息的预处理滤波器。常见深度图每个点

的深度信息由

位灰度值来表示，灰度级 代表最远的空间深度距离，而灰度级

则代表了最近的空间深度距离。预处理滤波器就是通过对深度图的处理，从而减少目标图像中空洞的数量。该滤波器由两个子滤波器串联组成，第一个滤波器，称为边缘保持滤波器。该滤波器将深度图的水平梯度信息引入平滑模板，在消除噪声信息的同时，平滑深度图中的连续区域，并且保持物体的边缘不被平滑。第二个滤波器为非对称的高斯平滑滤波器，平滑可能产生空洞的区域，以避免在目标图像中产生几何形变。所谓自适应是由于预处理滤波器的平滑效果与深度图每个像素点的水平梯度信息有关。

预处理滤波器的构造过程如下：

1)      利用Sobel算子获取深度图中各像素点水平方向的梯度信息

在利用DIBR技术生成虚拟视角的过程中，深度图中每点水平方向的梯度值决定了目标图像中产生空洞的大小。水平方向的梯度值越大，对应的目标图像中产生的空洞尺寸也就越大，二者之间呈正相关。Sobel算子是获取图像边缘信息时常用的微分算子。为获取水平方向的梯度信息，采用水平方向的Sobel算子，其模板

为 矩阵:

模板算子运算时采用类似卷积的方式，即把模板在深度图像上移动，并在每点计算相应的梯度值。对于点

而言，其水平方向梯度值

的计算公式如下：

其中 代表点 的灰度值，

为模板

的系数，其中

和

为整数，并且

，

。

利用各像素点水平方向的梯度信息构造边缘保持滤波器

在获取了点

的水平方向梯度值

之后，由于需要保证平滑深度图中的连续区域，并且保持物体边缘不被平滑。那么具有较大水平梯度值的点在平滑的过程中，需要被赋予较小的权重，相反水平梯度值较小，甚至为0的点则要被赋予较大的权重。边缘保持滤波器的模板公式如下：

其中

为像素点 所对应的模板系数。对于不同的点而言，其平滑区域内的模板是各不相同的。 为上一步中计算得到的点

的水平方向梯度值。

是根据实际经验所设定的自适应阈值，认为水平梯度值大于的

像素点组成了物体的边缘，通过设定组成物体边缘的像素点总数不超过所有像素点数目的5%来确定的

大小。通过观察上述公式，不难看出，当

时，

为减函数，随着

，

。而对于

的点，具有相同的最大权重

。因此，在利用边缘保持滤波器平滑深度图时，物体内部的连续区域会被平滑，以消除噪声信息，而边缘细节则会被保留。

构造非对称的高斯平滑滤波器

构造第二个滤波器高斯平滑滤波器，该滤波器只对物体边缘进行平滑，并且为了在目标图像中尽量减少几何形变，选取的高斯平滑滤波器在水平方向和垂直方向具有不同的标准差和平滑尺寸。标准差

越大，平滑效果也就越明显，其模板公式如下所示：

其中，

和

分别代表了水平方向和垂直方向的高斯平滑滤波器，其标准差分别为

和

。为了避免在目标图像中产生几何形变，设定

和

的关系为

，平滑窗口大小分别为

和

。

第二步，利用预处理滤波器迭代处理深度图像

由于预处理滤波器由两个滤波器串联组成，首先用边缘保持滤波器迭代处理深度图，计算公式如下：

其中平滑区域是大小为

的矩形。

和

为整数。

代表的是迭代的次数，根据经验数据一般迭代次数为50次。 为第

次迭代完成后，点

的深度值。

为平滑区域内模板系数之和，在计算

的过程中起到了平均作用。每次迭代计算出的 都需要和上一次的迭代结果进行比较，取其中较大的作为本次平滑的结果。

接下来对用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，计算公式如下：

其中平滑区域是大小为

的矩形。

和

为整数。

为经过该滤波器处理后，点 的深度值。 为该区域内模板系数之和，在计算

的过程中起到了平均作用。平滑过程中的平滑系数由水平和垂直高斯平滑滤波器的系数共同决定，最终得到经预处理滤波器处理后的深度图。

第三步，建立深度图中像素点灰度值与空间深度值的非线性映射关系。预处理后的深度图中点

的灰度值为

，其最大值

对应于最远的深度切面，而其最小值 则对应于最近的深度切面。考虑到人眼对背景的深度变化不敏感这一特性，建立深度图中像素点与空间深度值的非线性映射关系，具体过程如下：

1) 获取灰度直方图（图2所示）的所有局部最小值点，  记为

，

，在集合

中将这些局部最小值点升序排列，有 ，

；

获取灰度直方图所有局部最小值点的过程如下：对于每个灰度级

，在测试图像中对应的像素点的数目为

，

。如果有 和

，则

则为局部最小值点所对应的灰度值；

2) 灰度值位于

和

（

）之间的像素点，被认为具有相近的深度值并且代表了深度图中的一小块连续区域。那么由于在深度图中，背景上的像素点具有相近的灰度值，可以认为存在某个局部最小值点

，深度值处于

和 之间的像素点组成了整个图像的大部分背景；

3) 对于深度图中，

和

的灰度值分别对应最近和最远的深度切面，令

对应于零视差平面。用非线性函数拟合深度图中的像素点的灰度值与空间深度值的映射关系，一般选择使用指数函数，有

，其中

对应深度图中像素点的灰度值，

则对应于空间深度值。图3中的曲线代表了三种不同的映射关系，自上到下，依次为非线性映射（指数映射），线性映射和反比例映射。通过构建自适应的非线性映射关系，可以有效地减少背景中出现的空洞。

第四步，利用三维图像变换方程和移轴算法如图4所示，将参考图像中的像素点映射到目标图像中。参考图像位置对应于坐标原点，左右两边相距

的位置，对应虚拟视角图像。因此参考图像和目标图像分别对应于两个不同的摄像机坐标系，记为一号摄像机坐标系和二号摄像机坐标系。在假设世界坐标系和一号摄像机坐标系重合的条件下，存在一个适用于真实场景的三维图像变换方程：

其中， 和

分别对应参考图像和目标图像中的像素坐标， 和

分别是三维空间点在一号和二号摄像机坐标系下的深度值，

的矩阵

和

分别代表了一号和二号摄像机坐标系的内参矩阵，而

的矩阵

和

的矩阵 则分别代表了二号摄像机的旋转矩阵和平移矩阵。

在移轴算法下，二号摄像机的内参矩阵

可以由一号摄像机的内参矩阵

来表示，表示方式如下：

同样在移轴算法下，旋转矩阵

，

为

的单位矩阵，而平移矩阵

则对应于平移距离 为：

。

根据已知条件，设目标图像中的像素坐标为

，参考图像中的像素坐标为

，解三维图像变换方程，可得：

其中， 的大小为基线距离

的一半，对于左眼视角，

为负，对于右眼视角，

为正。

对应于三维空间点在一号摄像机坐标系下的空间深度值，而

则代表了零视差平面的空间深度值。通过上述公式，遍历参考图像中的所有像素点，可以快速地绘制出目标图像。

第五步，目标图像的空洞填补

第一步和第二步的处理能够有效减少目标图像中空洞的数量。但是不可避免的仍会出现一些空洞，这就需要进行插值处理从而填补空洞。这里采取基于空洞边缘信息的插值方式，如图5所示。

具体过程如下：

1)      对任意空洞像素点，其八邻域像素点的灰度值记为

,

。其中

和

，

和

，

和

，

和

处于同一方向，共有四个方向；

2)      计算每个方向上像素点灰度值两两相减的绝对值，即

， ，

，

，设其中最小值对应的方向为

；

3)      取方向

上对应的两个像素点灰度值的均值来填补空洞像素。

通过以上实施例可以看出，本发明将对深度图的预处理，深度图像灰度值的非线性映射和空洞填补三者有机地结合了起来。本发明的主要创新点在于预处理滤波器的设计以及深度图灰度值与空间实际深度的非线性映射。本发明的预处理滤波器由边缘保持滤波器和非对称的高斯平滑滤波器组成。其中边缘保持滤波器迭代处理深度图，能够在保护深度图像边缘信息的同时，除去噪声，并且平滑深度图中的连续区域，相比现有技术，可以有效地减少目标图像中物体内部所产生的空洞。同时，非对称的高斯平滑滤波器只对物体边缘进行平滑，与现有的技术中采用非对称的高斯滤波器平滑整个图像相比，不仅可以提高平滑效率，而且还可以避免在过度平滑的情况下所造成的深度图像的失真。本发明将两种滤波器相结合，在平滑水平方向梯度值的同时，避免了深度图像的失真，有效地减少了目标图像中空洞的产生，并且提高了平滑速率。

在第三步中，通过对深度图的灰度值直方图的分析，建立了其像素点灰度值与空间深度值的非线性映射关系。该非线性映射，与现有技术中的线性映射相比，不仅考虑了人眼的视觉特性，而且有效地减少背景中可能出现的空洞，突出前景图像，增强立体观赏效果。对比图6中的两幅图，左图为现有技术下未进行空洞填补的目标图像，而右图则为本发明技术下生成的目标图像。可以看出，相比于现有技术，本发明能够有效地减少目标图像中空洞的产生，并且避免了几何形变的产生。

以上实施例详细显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (9)

1.一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于包括以下步骤：

第一步，建立自适应的基于深度图像物体边缘信息的预处理滤波器：该预处理滤波器由边缘保持滤波器和非对称的高斯平滑滤波器串联组成，首先用Sobel算子获取深度图中各像素点水平方向的梯度信息，然后利用各像素点水平方向的梯度信息构造边缘保持滤波器，再构造非对称的高斯平滑滤波器；

第二步，利用预处理滤波器迭代处理深度图像：首先用边缘保持滤波器迭代处理深度图，接下来用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，得到处理后的深度图；

第三步，建立深度图中像素点灰度值与空间深度值的非线性映射关系：预处理后的深度图中点的灰度值，其最大值对应于最远的深度切面，而其最小值则对应于最近的深度切面；

第四步，将参考图像中的像素点映射到目标图像中；

第五步，目标图像的空洞填补；

所述建立深度图中像素点与空间深度值的非线性映射关系，具体过程如下：

1)获取灰度直方图的所有局部最小值点，记为V_d，1≤d≤n，在集合V中将这些局部最小值点升序排列，有V=[V₁,V₂,…,V_n]，V₁≤V₂≤…≤V_n；

2)认为存在某个局部最小值点V_s，s≥1，则深度值处于V₁和V_s之间的像素点组成了整个图像的大部分背景；

3)令Vs对应于零视差平面，选择使用指数函数，有

来非线性拟合深度图中的像素点的灰度值与空间深度值的映射关系，其中z对应深度图中像素点的灰度值，f(z)则对应于空间深度值。

2.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述利用Sobel算子获取深度图中各像素点水平方向的梯度信息，具体为：采用水平方向的Sobel算子获取深度图水平方向的梯度信息，其模板G_x为3×3矩阵：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

模板算子运算时采用类似卷积的方式，即把模板在深度图像上移动，并在每点计算相应的梯度值，对于点(x,y)而言，其水平方向梯度值

的计算公式如下：

$\▿P(x,y)=\left|\underset{m=-1}{\overset{1}{\mathrm{\Σ}}}\underset{a=-1}{\overset{1}{\mathrm{\Σ}}}{G}_x(m,a)P(x+m,y+a)\right|$

其中P(x,y)代表点(x,y)的灰度值，G_x(m,a)为模板G_x的系数，其中m和a为整数，并且-1≤m≤1，-1≤a≤1。

3.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述利用各像素点水平方向的梯度信息构造边缘保持滤波器，其中边缘保持滤波器的模板公式如下：

其中ω(x,y)为像素点(x,y)所对应的模板系数；

为上一步中计算得到的点(x,y)的水平方向梯度值；T是根据实际经验所设定的自适应阈值，所有水平方向梯度值大于T的点组成物体边缘；当

时，ω(x,y)为减函数，随着T→∞，ω(x,y)→0，而对于

的点，具有相同的最大权重1。

4.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述构造非对称的高斯平滑滤波器，具体为：选取的高斯平滑滤波器在水平方向和垂直方向具有不同的标准差和平滑尺寸，其模板公式如下所示：

$g(x,{\mathrm{\σ}}_{\mathrm{\μ}})=\frac{1}{\sqrt{{2\mathrm{\π\σ}}_{\mathrm{\μ}}^2}}\exp (-\frac{x^2}{{\mathrm{\σ}}_{\mathrm{\μ}}^2}),$ 其中 $-\frac{D}{2}\≤x\≤\frac{D}{2}$

$g(y,{\mathrm{\σ}}_v)=\frac{1}{\sqrt{{2\mathrm{\π\σ}}_v^2}}\exp (-\frac{y^2}{{\mathrm{\σ}}_v^2}),$ 其中 $-\frac{3D}{2}\≤y\≤\frac{3D}{2}$

其中，g(x,σ_μ)和g(y,σ_v)分别代表了水平方向和垂直方向的高斯平滑滤波器，其标准差分别为σ_μ和σ_v，为避免在目标图像中产生几何形变，设定σ_μ和σ_v的关系为σ_μ=9σ_v，平滑窗口大小分别为D和3D。

5.如权利要求3所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述用边缘保持滤波器迭代处理深度图，计算公式如下：

$M=\underset{v=-\frac{D}{2}}{\overset{v=\frac{D}{2}}{\mathrm{\Σ}}}\underset{\mathrm{\μ}=-\frac{D}{2}}{\overset{\mathrm{\μ}=\frac{D}{2}}{\mathrm{\Σ}}}\mathrm{\ω}(x-\mathrm{\μ},y-v)$

$P_{i+1}(x,y)=\frac{1}{M}\underset{v=-\frac{D}{2}}{\overset{v=\frac{D}{2}}{\mathrm{\Σ}}}\underset{\mathrm{\μ}=-\frac{D}{2}}{\overset{\mathrm{\μ}=\frac{D}{2}}{\mathrm{\Σ}}}{P}_i(x-\mathrm{\μ},y-v)\mathrm{\ω}(x-\mathrm{\μ},y-v)$

P_i+1(x,y)=max(P_i+1(x,y),P_i(x,y))

其中平滑区域是大小为D×D的矩形，μ和v为整数，i代表的是迭代的次数，P_i(x,y)为第i次迭代完成后，点(x,y)的深度值；M为平滑区域内模板系数之和，在计算P_i+1(x,y)的过程中起到了平均作用，每次迭代计算出的P_i+1(x,y)都和上一次的迭代结果进行比较，取其中较大的作为本次平滑的结果。

6.如权利要求5所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述边缘保持滤波器对深度图的迭代平滑次数i为50次。

7.如权利要求4所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，计算公式如下：

$N=\underset{v=-\frac{3D}{2}}{\overset{v=\frac{3D}{2}}{\mathrm{\Σ}}}\underset{\mathrm{\μ}=-\frac{D}{2}}{\overset{\mathrm{\μ}=\frac{D}{2}}{\mathrm{\Σ}}}g(\mathrm{\μ},{\mathrm{\σ}}_{\mathrm{\μ}})g(v,{\mathrm{\σ}}_v)$

$\hat{P}(x,y)=\frac{1}{N}\underset{v=-\frac{3D}{2}}{\overset{v=\frac{3D}{2}}{\mathrm{\Σ}}}\underset{\mathrm{\μ}=-\frac{D}{2}}{\overset{\mathrm{\μ}=\frac{D}{2}}{\mathrm{\Σ}}}P(x-\mathrm{\μ},y-v)g(\mathrm{\μ},{\mathrm{\σ}}_{\mathrm{\μ}})g(v,{\mathrm{\σ}}_v)$

其中平滑区域是大小为D×3D的矩形，μ和v为整数，

为经过该滤波器处理后，点(x,y)的深度值，N为该区域内模板系数之和，在计算

的过程中起到了平均作用；平滑过程中的平滑系数由水平和垂直高斯平滑滤波器的系数共同决定，最终得到经预处理滤波器处理后的深度图。

8.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述获取灰度直方图所有局部最小值点的过程如下：对于每个灰度级j，在测试图像中对应的像素点的数目为N_j，0≤j≤255；如果有N_j≤N_j-1和N_j≤N_j+1，则j则为局部最小值点所对应的灰度值。

9.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述将参考图像中的像素点映射到目标图像中是指利用三维图像变换方程和移轴算法实现；所述目标图像的空洞填补采取基于空洞边缘信息的插值方式实现。

Images