CN102436671A - 一种基于深度值非线性变换的虚拟视点绘制方法 - Google Patents

一种基于深度值非线性变换的虚拟视点绘制方法 Download PDF

Info

Publication number
CN102436671A
CN102436671A CN2011102344734A CN201110234473A CN102436671A CN 102436671 A CN102436671 A CN 102436671A CN 2011102344734 A CN2011102344734 A CN 2011102344734A CN 201110234473 A CN201110234473 A CN 201110234473A CN 102436671 A CN102436671 A CN 102436671A
Authority
CN
China
Prior art keywords
depth
filter
pixel
depth map
depth value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102344734A
Other languages
English (en)
Other versions
CN102436671B (zh
Inventor
周军
王震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201110234473.4A priority Critical patent/CN102436671B/zh
Publication of CN102436671A publication Critical patent/CN102436671A/zh
Application granted granted Critical
Publication of CN102436671B publication Critical patent/CN102436671B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开一种基于深度值非线性变换的虚拟视点绘制方法，首先采用自适应的基于边缘的预处理滤波器，由边缘保持滤波器和非对称的高斯平滑滤波器串联组成。用边缘滤波器迭代处理深度图，不仅能消除噪声信息，还能通过平滑物体内部的连续区域减少目标图像中物体内部出现空洞的可能性；采用非对称的高斯平滑滤波器处理深度图处理物体边缘，在平滑水平梯度的同时，避免在竖直方向产生几何形变；考虑了人眼视觉特性的因素后，将深度图像素点的灰度值与空间实际距离进行非线性映射，能够有效较少目标图像背景中所出现的空洞，增强用户的立体观赏效果。最后填补目标图像中出现的空洞，消除所有空洞。本发明实现简单，避免几何形变，计算复杂度低。

Description

一种基于深度值非线性变换的虚拟视点绘制方法
技术领域
本发明涉及的是一种视频图像处理技术领域的方法，具体是一种基于深度值非线性变换的虚拟视点绘制方法。
背景技术
虚拟视点绘制技术从一系列参考图像出发，进而生成新视点图像。其中基于深度图像的绘制（Depth Image Based Rendering, DIBR）是一种利用彩色图像及其对应的深度图像生成新视点图像的方法，在虚拟实现领域，医学图像处理领域和军事领域中均有着广泛的应用。DIBR技术的核心是三维图像变换（3D Image Warping）方程，其原理是根据参考图像中与各像素点对应的深度信息，将参考图像上的像素点映射到目标图像上。但是由于在映射的过程中，物体间的遮挡关系会发生一定的变化，所以不可避免的会在目标图像上会出现一些空洞。空洞的出现严重影响了用户的观看体验。如何减少，甚至消除这些空洞是DIBR技术亟需解决的关键问题。目前消除空洞主要有两种解决方案，第一种是对深度图进行预处理，从而减少目标图像中产生空洞的可能性。第二种是选择在目标图像中直接对空洞进行填补。近些年来，随着DIBR技术的进一步发展，出现了大量消除目标图像中空洞的技术。
经过对现有技术文献的检索，C. Fehn于2004年在《SPIE Stereoscopic Displays and Virtual Reality Systems （SPIE立体显示与虚拟实现系统）》上发表的“Depth-image-based rendering (DIBR), compression and transmission for a new approach on 3DTV （DIBR                                                
Figure 2011102344734100002DEST_PATH_IMAGE001
立体电视系统压缩和传输的新方法）”中提出了利用DIBR技术生成虚拟视点的方法。该技术成功地将DIBR技术应用于立体电视系统。通过将三维图像变换方程（3D Image Warping Equation）与移轴算法（Shift Sensor Algorithm）相结合，可以根据用户的需要生成任意角度的虚拟视点。该技术选择利用高斯低通滤波器对整幅深度图进行预处理，并且采用线性插值算法对目标图像中的空洞进行填补。虽然能够在一定程度上减少空洞的产生，但是会导致目标图像中物体出现几何形变，严重影响用户的观看体验。
又经检索发现，Young Kyung Park等于2009年在《Signal Processing Elsevier （信号处理）》上发表的“Depth-image-based rendering for 3DTV service over T-DMB”（基于T-DMB立体电视服务的DIBR技术）中提出了将深度图的空间信息引入到预处理滤波器的方法。该方法使深度图依次通过两个不同的滤波器，从而完成整个预处理过程。第一个滤波器，在平滑深度图中连续区域的同时，消除深度图中的噪声信息；第二个滤波器，则通过在平滑模板中引入深度图的梯度信息，从而有效地平滑可能产生空洞的区域。但是由于两个滤波器都需要对深度图进行多次迭代处理，所以计算量大，时间复杂度偏高。
发明内容
本发明的目的在于克服现有技术中的上述不足，提出一种基于深度值非线性变换的虚拟视点绘制方法，该方法考虑人眼视觉特性，以非线性的方式建立深度图中像素点的深度值与实际深度距离的映射关系，从而有效地消除目标图像中的空洞，而且计算复杂度低，可广泛应用于虚拟实现领域，医学图像处理领域以及军事领域。
本发明是通过以下技术方案实现的，本发明首先建立基于深度图像物体边缘信息的滤波器，该滤波器由边缘保持滤波器和非对称的高斯平滑滤波器串联组成，其中采用边缘滤波器迭代处理深度图，不仅能够消除噪声信息，还能够通过平滑物体内部的连续区域，减少目标图像中物体内部出现空洞的可能性；采用非对称的高斯平滑滤波器处理深度图处理物体边缘，在平滑水平梯度的同时，避免在竖直方向产生几何形变。再考虑了人眼视觉特性的因素后，将深度图像素点的灰度值与空间实际距离进行非线性映射，能够有效较少目标图像背景中所出现的空洞，增强用户的立体观赏效果。最后，对目标图像中出现的空洞进行填补，从而消除目标图像中的所有空洞。
本发明具体包括以下步骤：
第一步：建立自适应的基于深度图像物体边缘信息的预处理滤波器。预处理滤波器能够消除深度图中的噪声信息，并且平滑可能产生空洞的区域。该预处理滤波器由两个子滤波器串联组成，分别称为边缘保持滤波器和非对称的高斯平滑滤波器。
所述建立自适应的基于深度图像物体边缘信息的滤波器，包括以下步骤：
1)      利用Sobel算子获取深度图中各像素点水平方向的梯度信息
采用水平方向的Sobel算子获取深度图水平方向的梯度信息，其模板
Figure 640174DEST_PATH_IMAGE002
为
Figure 2011102344734100002DEST_PATH_IMAGE003
矩阵:
Figure 463905DEST_PATH_IMAGE004
模板算子运算时采用类似卷积的方式，即把模板在深度图像上移动，并在每点计算相应的梯度值。对于点
Figure 2011102344734100002DEST_PATH_IMAGE005
而言，其水平方向梯度值
Figure 307227DEST_PATH_IMAGE006
的计算公式如下：
Figure 2011102344734100002DEST_PATH_IMAGE007
其中
Figure 465676DEST_PATH_IMAGE008
代表点
Figure 2048DEST_PATH_IMAGE005
的灰度值，
Figure 2011102344734100002DEST_PATH_IMAGE009
为模板
Figure 929552DEST_PATH_IMAGE002
的系数，其中
Figure 68410DEST_PATH_IMAGE010
和
Figure 2011102344734100002DEST_PATH_IMAGE011
为整数，并且
Figure 464887DEST_PATH_IMAGE012
，
Figure 2011102344734100002DEST_PATH_IMAGE013
。
利用各像素点水平方向的梯度信息构造边缘保持滤波器
所述边缘保持滤波器的模板公式如下：
Figure 42499DEST_PATH_IMAGE014
其中
Figure 2011102344734100002DEST_PATH_IMAGE015
为像素点
Figure 575243DEST_PATH_IMAGE005
所对应的模板系数。对于不同的点而言，其平滑区域内的模板是各不相同的。
Figure 885001DEST_PATH_IMAGE006
为上一步中计算得到的点 的水平方向梯度值。
Figure 71449DEST_PATH_IMAGE016
是根据实际经验所设定的自适应阈值，所有水平方向梯度值大于
Figure 724278DEST_PATH_IMAGE016
的点组成物体边缘。通过观察上述公式，不难看出，当 时，
Figure 204938DEST_PATH_IMAGE015
为减函数，随着
Figure 825275DEST_PATH_IMAGE018
，
Figure 2011102344734100002DEST_PATH_IMAGE019
。而对于
Figure 229843DEST_PATH_IMAGE020
的点，具有相同的最大权重
Figure 924130DEST_PATH_IMAGE022
。
构造非对称的高斯平滑滤波器
选取的高斯平滑滤波器在水平方向和垂直方向具有不同的标准差和平滑尺寸。其模板公式如下所示：
Figure 2011102344734100002DEST_PATH_IMAGE023
其中，
Figure 903587DEST_PATH_IMAGE024
和
Figure 2011102344734100002DEST_PATH_IMAGE025
分别代表了水平方向和垂直方向的高斯平滑滤波器，其标准差分别为
Figure 496373DEST_PATH_IMAGE026
和
Figure 2011102344734100002DEST_PATH_IMAGE027
。为了避免在目标图像中产生几何形变，设定
Figure 953900DEST_PATH_IMAGE026
和
Figure 768272DEST_PATH_IMAGE027
的关系为
Figure 590734DEST_PATH_IMAGE028
，平滑窗口大小分别为
Figure 2011102344734100002DEST_PATH_IMAGE029
和
Figure 670817DEST_PATH_IMAGE030
。
第二步，利用预处理滤波器迭代处理深度图像
由于预处理滤波器由两个滤波器串联组成，首先用边缘保持滤波器迭代处理深度图，计算公式如下：
Figure 932034DEST_PATH_IMAGE032
Figure 2011102344734100002DEST_PATH_IMAGE033
其中平滑区域是大小为
Figure 600913DEST_PATH_IMAGE034
的矩形。 和
Figure 407326DEST_PATH_IMAGE036
为整数。
Figure 223972DEST_PATH_IMAGE038
代表的是迭代的次数，根据经验数据一般迭代次数为50次。
Figure 2011102344734100002DEST_PATH_IMAGE039
为第
Figure 960984DEST_PATH_IMAGE038
次迭代完成后，点 的深度值。
Figure 727263DEST_PATH_IMAGE040
为平滑区域内模板系数之和，在计算
Figure 2011102344734100002DEST_PATH_IMAGE041
的过程中起到了平均作用。每次迭代计算出的 都需要和上一次的迭代结果进行比较，取其中较大的作为本次平滑的结果。
接下来用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，计算公式如下：
Figure 306329DEST_PATH_IMAGE042
Figure 2011102344734100002DEST_PATH_IMAGE043
其中平滑区域是大小为 的矩形。
Figure 98015DEST_PATH_IMAGE035
和
Figure 889254DEST_PATH_IMAGE036
为整数。
Figure 2011102344734100002DEST_PATH_IMAGE045
为经过该滤波器处理后，点 的深度值。
Figure 279095DEST_PATH_IMAGE046
为该区域内模板系数之和，在计算
Figure 50742DEST_PATH_IMAGE045
的过程中起到了平均作用。平滑过程中的平滑系数由水平和垂直高斯平滑滤波器的系数共同决定，最终得到经预处理滤波器处理后的深度图。
第三步，建立深度图中像素点灰度值与空间深度值的非线性映射关系。预处理后的深度图中点 的灰度值为
Figure 946203DEST_PATH_IMAGE045
，其最大值
Figure 2011102344734100002DEST_PATH_IMAGE047
对应于最远的深度切面，而其最小值
Figure 111736DEST_PATH_IMAGE048
则对应于最近的深度切面。
所述建立深度图中像素点与空间深度值的非线性映射关系，具体过程如下：
1) 获取灰度直方图的所有局部最小值点，记为
Figure 2011102344734100002DEST_PATH_IMAGE049
， ，在集合
Figure 2011102344734100002DEST_PATH_IMAGE051
中将这些局部最小值点升序排列，有
Figure 554536DEST_PATH_IMAGE052
， ；
2)认为存在某个局部最小值点 (
Figure 2011102344734100002DEST_PATH_IMAGE055
)，则深度值处于
Figure 323089DEST_PATH_IMAGE056
和
Figure 436538DEST_PATH_IMAGE054
之间的像素点组成了整个图像的大部分背景；
3)选择使用指数函数，有
Figure 2011102344734100002DEST_PATH_IMAGE057
，来非线性拟合深度图中的像素点的灰度值与空间深度值的映射关系。其中
Figure 174818DEST_PATH_IMAGE058
对应深度图中像素点的灰度值，
Figure 2011102344734100002DEST_PATH_IMAGE059
则对应于空间深度值。
第四步，将参考图像中的像素点映射到目标图像中，可以采用三维图像变换（3D image warping）方程和移轴算法实现。
第五步，目标图像的空洞填补，可以采用基于空洞边缘信息的插值方式实现。
综上，本发明技术方案将自适应的基于边缘的预处理滤波器，深度图灰度值与空间距离的非线性映射和空洞填补技术三者结合起来，实现了对任意视角的虚拟绘制技术。整个图像拼接方法的实现过程简单，计算复杂度低，可应用于摄影测量、遥感图像处理、医学图像分析等重要领域。
附图说明
图1为本发明实施例流程框图；
图2为本发明实施例测试图像的灰度直方图；
图3 为本发明实施例深度图中点的灰度值与空间深度距离的非线性映射，线性映射和反比例映射示意图；
图4 为本发明实施例移轴算法下立体摄像机放置示意图；
图5为本发明实施例基于边缘信息的插值示意图；
图6为本发明实施例与现有技术所产生的目标图像对比图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例给出了本发明技术方案详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1所示，本发明实施例的虚拟视点绘制方法流程图，包括利用边缘滤波器对深度图的迭代处理，非对称的高斯平滑滤波器对深度图的处理，深度图中像素点的灰度值与空间深度距离的非线性映射，利用三维图像变换方程和移轴算法生成新视点图像，利用边缘信息填补空洞，最终生成的虚拟视点图像。
以微软亚洲研究院提供的大小为
Figure 461443DEST_PATH_IMAGE060
的测试序列“Ballet”为例，介绍本发明如何利用参考图像和对应的深度图像绘制新视点。
第一步，建立自适应的基于深度图像物体边缘信息的预处理滤波器。常见深度图每个点
Figure 522940DEST_PATH_IMAGE005
的深度信息由
Figure 2011102344734100002DEST_PATH_IMAGE061
位灰度值来表示，灰度级
Figure 620340DEST_PATH_IMAGE062
代表最远的空间深度距离，而灰度级
Figure 2011102344734100002DEST_PATH_IMAGE063
则代表了最近的空间深度距离。预处理滤波器就是通过对深度图的处理，从而减少目标图像中空洞的数量。该滤波器由两个子滤波器串联组成，第一个滤波器，称为边缘保持滤波器。该滤波器将深度图的水平梯度信息引入平滑模板，在消除噪声信息的同时，平滑深度图中的连续区域，并且保持物体的边缘不被平滑。第二个滤波器为非对称的高斯平滑滤波器，平滑可能产生空洞的区域，以避免在目标图像中产生几何形变。所谓自适应是由于预处理滤波器的平滑效果与深度图每个像素点的水平梯度信息有关。
预处理滤波器的构造过程如下：
1)      利用Sobel算子获取深度图中各像素点水平方向的梯度信息
在利用DIBR技术生成虚拟视角的过程中，深度图中每点水平方向的梯度值决定了目标图像中产生空洞的大小。水平方向的梯度值越大，对应的目标图像中产生的空洞尺寸也就越大，二者之间呈正相关。Sobel算子是获取图像边缘信息时常用的微分算子。为获取水平方向的梯度信息，采用水平方向的Sobel算子，其模板
Figure 32867DEST_PATH_IMAGE002
为
Figure 123183DEST_PATH_IMAGE003
矩阵:
Figure 304765DEST_PATH_IMAGE004
模板算子运算时采用类似卷积的方式，即把模板在深度图像上移动，并在每点计算相应的梯度值。对于点
Figure 307487DEST_PATH_IMAGE005
而言，其水平方向梯度值
Figure 207310DEST_PATH_IMAGE006
的计算公式如下：
Figure 835738DEST_PATH_IMAGE007
其中 代表点
Figure 497980DEST_PATH_IMAGE005
的灰度值，
Figure 686430DEST_PATH_IMAGE009
为模板 的系数，其中
Figure 9144DEST_PATH_IMAGE010
和
Figure 806198DEST_PATH_IMAGE011
为整数，并且
Figure 415034DEST_PATH_IMAGE012
，
Figure 401576DEST_PATH_IMAGE013
。
利用各像素点水平方向的梯度信息构造边缘保持滤波器
在获取了点
Figure 412257DEST_PATH_IMAGE005
的水平方向梯度值
Figure 380213DEST_PATH_IMAGE006
之后，由于需要保证平滑深度图中的连续区域，并且保持物体边缘不被平滑。那么具有较大水平梯度值的点在平滑的过程中，需要被赋予较小的权重，相反水平梯度值较小，甚至为0的点则要被赋予较大的权重。边缘保持滤波器的模板公式如下：
Figure 538662DEST_PATH_IMAGE014
其中
Figure 250266DEST_PATH_IMAGE015
为像素点
Figure 928503DEST_PATH_IMAGE005
所对应的模板系数。对于不同的点而言，其平滑区域内的模板是各不相同的。
Figure 67361DEST_PATH_IMAGE006
为上一步中计算得到的点
Figure 650789DEST_PATH_IMAGE005
的水平方向梯度值。
Figure 962821DEST_PATH_IMAGE016
是根据实际经验所设定的自适应阈值，认为水平梯度值大于的 像素点组成了物体的边缘，通过设定组成物体边缘的像素点总数不超过所有像素点数目的5%来确定的 大小。通过观察上述公式，不难看出，当
Figure 141627DEST_PATH_IMAGE017
时，
Figure 195034DEST_PATH_IMAGE015
为减函数，随着
Figure 97131DEST_PATH_IMAGE018
，
Figure 577791DEST_PATH_IMAGE019
。而对于
Figure 683281DEST_PATH_IMAGE020
的点，具有相同的最大权重
Figure 540379DEST_PATH_IMAGE022
。因此，在利用边缘保持滤波器平滑深度图时，物体内部的连续区域会被平滑，以消除噪声信息，而边缘细节则会被保留。
构造非对称的高斯平滑滤波器
构造第二个滤波器高斯平滑滤波器，该滤波器只对物体边缘进行平滑，并且为了在目标图像中尽量减少几何形变，选取的高斯平滑滤波器在水平方向和垂直方向具有不同的标准差和平滑尺寸。标准差
Figure 234665DEST_PATH_IMAGE064
越大，平滑效果也就越明显，其模板公式如下所示：
Figure 948543DEST_PATH_IMAGE023
其中，
Figure 993860DEST_PATH_IMAGE024
和 分别代表了水平方向和垂直方向的高斯平滑滤波器，其标准差分别为
Figure 750911DEST_PATH_IMAGE026
和 。为了避免在目标图像中产生几何形变，设定
Figure 168303DEST_PATH_IMAGE026
和 的关系为
Figure 770503DEST_PATH_IMAGE028
，平滑窗口大小分别为
Figure 842495DEST_PATH_IMAGE029
和
Figure 596824DEST_PATH_IMAGE030
。
第二步，利用预处理滤波器迭代处理深度图像
由于预处理滤波器由两个滤波器串联组成，首先用边缘保持滤波器迭代处理深度图，计算公式如下：
Figure 349383DEST_PATH_IMAGE033
其中平滑区域是大小为
Figure 138478DEST_PATH_IMAGE034
的矩形。
Figure 679181DEST_PATH_IMAGE035
和
Figure 384969DEST_PATH_IMAGE036
为整数。
Figure 720135DEST_PATH_IMAGE038
代表的是迭代的次数，根据经验数据一般迭代次数为50次。
Figure 449057DEST_PATH_IMAGE039
为第 次迭代完成后，点 的深度值。
Figure 407283DEST_PATH_IMAGE040
为平滑区域内模板系数之和，在计算
Figure 623500DEST_PATH_IMAGE041
的过程中起到了平均作用。每次迭代计算出的
Figure 506006DEST_PATH_IMAGE041
都需要和上一次的迭代结果进行比较，取其中较大的作为本次平滑的结果。
接下来对用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，计算公式如下：
Figure 671539DEST_PATH_IMAGE042
其中平滑区域是大小为
Figure 114339DEST_PATH_IMAGE044
的矩形。
Figure 534956DEST_PATH_IMAGE035
和 为整数。
Figure 668445DEST_PATH_IMAGE045
为经过该滤波器处理后，点
Figure 593676DEST_PATH_IMAGE005
的深度值。
Figure 817984DEST_PATH_IMAGE046
为该区域内模板系数之和，在计算
Figure 207377DEST_PATH_IMAGE045
的过程中起到了平均作用。平滑过程中的平滑系数由水平和垂直高斯平滑滤波器的系数共同决定，最终得到经预处理滤波器处理后的深度图。
第三步，建立深度图中像素点灰度值与空间深度值的非线性映射关系。预处理后的深度图中点
Figure 491727DEST_PATH_IMAGE005
的灰度值为
Figure 717304DEST_PATH_IMAGE045
，其最大值
Figure 479723DEST_PATH_IMAGE047
对应于最远的深度切面，而其最小值
Figure 661306DEST_PATH_IMAGE048
则对应于最近的深度切面。考虑到人眼对背景的深度变化不敏感这一特性，建立深度图中像素点与空间深度值的非线性映射关系，具体过程如下：
1) 获取灰度直方图（图2所示）的所有局部最小值点，  记为
Figure 178875DEST_PATH_IMAGE049
，
Figure 78698DEST_PATH_IMAGE050
，在集合
Figure 457858DEST_PATH_IMAGE051
中将这些局部最小值点升序排列，有
Figure 493947DEST_PATH_IMAGE052
，
Figure 120100DEST_PATH_IMAGE053
；
获取灰度直方图所有局部最小值点的过程如下：对于每个灰度级
Figure 2011102344734100002DEST_PATH_IMAGE065
，在测试图像中对应的像素点的数目为
Figure 569536DEST_PATH_IMAGE066
，
Figure 2011102344734100002DEST_PATH_IMAGE067
。如果有
Figure 486808DEST_PATH_IMAGE068
和
Figure 2011102344734100002DEST_PATH_IMAGE069
，则
Figure 705299DEST_PATH_IMAGE065
则为局部最小值点所对应的灰度值；
2) 灰度值位于
Figure 502354DEST_PATH_IMAGE049
和
Figure 924239DEST_PATH_IMAGE070
（
Figure DEST_PATH_IMAGE071
）之间的像素点，被认为具有相近的深度值并且代表了深度图中的一小块连续区域。那么由于在深度图中，背景上的像素点具有相近的灰度值，可以认为存在某个局部最小值点
Figure 97732DEST_PATH_IMAGE054
，深度值处于
Figure 170730DEST_PATH_IMAGE056
和 之间的像素点组成了整个图像的大部分背景；
3) 对于深度图中，
Figure 234818DEST_PATH_IMAGE062
和
Figure 493892DEST_PATH_IMAGE063
的灰度值分别对应最近和最远的深度切面，令
Figure 624659DEST_PATH_IMAGE054
对应于零视差平面。用非线性函数拟合深度图中的像素点的灰度值与空间深度值的映射关系，一般选择使用指数函数，有
Figure 825833DEST_PATH_IMAGE057
，其中
Figure 409261DEST_PATH_IMAGE058
对应深度图中像素点的灰度值，
Figure 658977DEST_PATH_IMAGE059
则对应于空间深度值。图3中的曲线代表了三种不同的映射关系，自上到下，依次为非线性映射（指数映射），线性映射和反比例映射。通过构建自适应的非线性映射关系，可以有效地减少背景中出现的空洞。
第四步，利用三维图像变换方程和移轴算法如图4所示，将参考图像中的像素点映射到目标图像中。参考图像位置对应于坐标原点，左右两边相距
Figure 469019DEST_PATH_IMAGE072
的位置，对应虚拟视角图像。因此参考图像和目标图像分别对应于两个不同的摄像机坐标系，记为一号摄像机坐标系和二号摄像机坐标系。在假设世界坐标系和一号摄像机坐标系重合的条件下，存在一个适用于真实场景的三维图像变换方程：
Figure DEST_PATH_IMAGE073
其中，
Figure 841094DEST_PATH_IMAGE074
和
Figure DEST_PATH_IMAGE075
分别对应参考图像和目标图像中的像素坐标，
Figure 911818DEST_PATH_IMAGE076
和
Figure DEST_PATH_IMAGE077
分别是三维空间点在一号和二号摄像机坐标系下的深度值， 的矩阵
Figure 618054DEST_PATH_IMAGE078
和
Figure DEST_PATH_IMAGE079
分别代表了一号和二号摄像机坐标系的内参矩阵，而
Figure 161031DEST_PATH_IMAGE003
的矩阵
Figure 266522DEST_PATH_IMAGE080
和
Figure DEST_PATH_IMAGE081
的矩阵
Figure DEST_PATH_IMAGE083
则分别代表了二号摄像机的旋转矩阵和平移矩阵。
在移轴算法下，二号摄像机的内参矩阵
Figure 185936DEST_PATH_IMAGE079
可以由一号摄像机的内参矩阵
Figure 880222DEST_PATH_IMAGE078
来表示，表示方式如下：
同样在移轴算法下，旋转矩阵
Figure DEST_PATH_IMAGE085
，
Figure 390149DEST_PATH_IMAGE086
为
Figure 847676DEST_PATH_IMAGE003
的单位矩阵，而平移矩阵 则对应于平移距离 为： 。
根据已知条件，设目标图像中的像素坐标为
Figure DEST_PATH_IMAGE089
，参考图像中的像素坐标为
Figure 626910DEST_PATH_IMAGE090
，解三维图像变换方程，可得：
Figure DEST_PATH_IMAGE091
其中，
Figure 560231DEST_PATH_IMAGE087
的大小为基线距离
Figure 42159DEST_PATH_IMAGE092
的一半，对于左眼视角，
Figure 301102DEST_PATH_IMAGE087
为负，对于右眼视角，
Figure 852169DEST_PATH_IMAGE087
为正。
Figure 854760DEST_PATH_IMAGE076
对应于三维空间点在一号摄像机坐标系下的空间深度值，而
Figure DEST_PATH_IMAGE093
则代表了零视差平面的空间深度值。通过上述公式，遍历参考图像中的所有像素点，可以快速地绘制出目标图像。
第五步，目标图像的空洞填补
第一步和第二步的处理能够有效减少目标图像中空洞的数量。但是不可避免的仍会出现一些空洞，这就需要进行插值处理从而填补空洞。这里采取基于空洞边缘信息的插值方式，如图5所示。
具体过程如下：
1)      对任意空洞像素点，其八邻域像素点的灰度值记为
Figure 191194DEST_PATH_IMAGE094
,
Figure DEST_PATH_IMAGE095
。其中 和
Figure DEST_PATH_IMAGE097
，
Figure 659402DEST_PATH_IMAGE098
和
Figure DEST_PATH_IMAGE099
，
Figure 13154DEST_PATH_IMAGE100
和
Figure DEST_PATH_IMAGE101
， 和
Figure DEST_PATH_IMAGE103
处于同一方向，共有四个方向；
2)      计算每个方向上像素点灰度值两两相减的绝对值，即 ，
Figure DEST_PATH_IMAGE105
，
Figure 330500DEST_PATH_IMAGE106
，
Figure DEST_PATH_IMAGE107
，设其中最小值对应的方向为
Figure 737211DEST_PATH_IMAGE108
；
3)      取方向
Figure 48237DEST_PATH_IMAGE108
上对应的两个像素点灰度值的均值来填补空洞像素。
通过以上实施例可以看出，本发明将对深度图的预处理，深度图像灰度值的非线性映射和空洞填补三者有机地结合了起来。本发明的主要创新点在于预处理滤波器的设计以及深度图灰度值与空间实际深度的非线性映射。本发明的预处理滤波器由边缘保持滤波器和非对称的高斯平滑滤波器组成。其中边缘保持滤波器迭代处理深度图，能够在保护深度图像边缘信息的同时，除去噪声，并且平滑深度图中的连续区域，相比现有技术，可以有效地减少目标图像中物体内部所产生的空洞。同时，非对称的高斯平滑滤波器只对物体边缘进行平滑，与现有的技术中采用非对称的高斯滤波器平滑整个图像相比，不仅可以提高平滑效率，而且还可以避免在过度平滑的情况下所造成的深度图像的失真。本发明将两种滤波器相结合，在平滑水平方向梯度值的同时，避免了深度图像的失真，有效地减少了目标图像中空洞的产生，并且提高了平滑速率。
在第三步中，通过对深度图的灰度值直方图的分析，建立了其像素点灰度值与空间深度值的非线性映射关系。该非线性映射，与现有技术中的线性映射相比，不仅考虑了人眼的视觉特性，而且有效地减少背景中可能出现的空洞，突出前景图像，增强立体观赏效果。对比图6中的两幅图，左图为现有技术下未进行空洞填补的目标图像，而右图则为本发明技术下生成的目标图像。可以看出，相比于现有技术，本发明能够有效地减少目标图像中空洞的产生，并且避免了几何形变的产生。
以上实施例详细显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于包括以下步骤：
第一步，建立自适应的基于深度图像物体边缘信息的预处理滤波器：该预处理滤波器由边缘保持滤波器和非对称的高斯平滑滤波器串联组成，首先用Sobel算子获取深度图中各像素点水平方向的梯度信息，然后利用各像素点水平方向的梯度信息构造边缘保持滤波器，再构造非对称的高斯平滑滤波器；
第二步，利用预处理滤波器迭代处理深度图像：首先用边缘保持滤波器迭代处理深度图，接下来用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，得到处理后的深度图；
第三步，建立深度图中像素点灰度值与空间深度值的非线性映射关系：预处理后的深度图中点的灰度值，其最大值对应于最远的深度切面，而其最小值则对应于最近的深度切面；
第四步，将参考图像中的像素点映射到目标图像中；
第五步，目标图像的空洞填补。
2.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述利用Sobel算子获取深度图中各像素点水平方向的梯度信息，具体为：采用水平方向的Sobel算子获取深度图水平方向的梯度信息，其模板 
Figure 2011102344734100001DEST_PATH_IMAGE001
为
Figure 548414DEST_PATH_IMAGE002
矩阵：
Figure 671222DEST_PATH_IMAGE003
模板算子运算时采用类似卷积的方式，即把模板在深度图像上移动，并在每点计算相应的梯度值，对于点而言，其水平方向梯度值
Figure 529773DEST_PATH_IMAGE005
的计算公式如下：
Figure 431870DEST_PATH_IMAGE006
其中代表点
Figure 470551DEST_PATH_IMAGE004
的灰度值，
Figure 875118DEST_PATH_IMAGE008
为模板
Figure 834984DEST_PATH_IMAGE001
的系数，其中
Figure 548862DEST_PATH_IMAGE009
和
Figure 328599DEST_PATH_IMAGE010
为整数，并且
Figure 723809DEST_PATH_IMAGE011
，。
3.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述利用各像素点水平方向的梯度信息构造边缘保持滤波器，其中边缘保持滤波器的模板公式如下：
Figure 173693DEST_PATH_IMAGE013
其中为像素点
Figure 701943DEST_PATH_IMAGE004
所对应的模板系数；
Figure 370822DEST_PATH_IMAGE005
为上一步中计算得到的点的水平方向梯度值；
Figure 931564DEST_PATH_IMAGE015
是根据实际经验所设定的自适应阈值，所有水平方向梯度值大于
Figure 934155DEST_PATH_IMAGE015
的点组成物体边缘；当
Figure 519857DEST_PATH_IMAGE016
时，
Figure 684122DEST_PATH_IMAGE014
为减函数，随着
Figure 925748DEST_PATH_IMAGE017
，
Figure 279500DEST_PATH_IMAGE018
，而对于
Figure 2011102344734100001DEST_PATH_IMAGE019
的点，具有相同的最大权重。
4.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述构造非对称的高斯平滑滤波器，具体为：选取的高斯平滑滤波器在水平方向和垂直方向具有不同的标准差和平滑尺寸，其模板公式如下所示：
Figure 719709DEST_PATH_IMAGE022
其中，
Figure 2011102344734100001DEST_PATH_IMAGE023
和
Figure 133504DEST_PATH_IMAGE024
分别代表了水平方向和垂直方向的高斯平滑滤波器，其标准差分别为
Figure 2011102344734100001DEST_PATH_IMAGE025
和
Figure 659163DEST_PATH_IMAGE026
，为避免在目标图像中产生几何形变，设定
Figure 3556DEST_PATH_IMAGE025
和的关系为，平滑窗口大小分别为和
Figure 2011102344734100001DEST_PATH_IMAGE029
。
5.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于， 所述用边缘保持滤波器迭代处理深度图，计算公式如下：
Figure 833606DEST_PATH_IMAGE030
Figure 2011102344734100001DEST_PATH_IMAGE031
Figure 529161DEST_PATH_IMAGE032
其中平滑区域是大小为
Figure 2011102344734100001DEST_PATH_IMAGE033
的矩形，和
Figure 2011102344734100001DEST_PATH_IMAGE035
为整数，代表的是迭代的次数，
Figure 699559DEST_PATH_IMAGE038
为第
Figure 137494DEST_PATH_IMAGE037
次迭代完成后，点
Figure 823690DEST_PATH_IMAGE004
的深度值；
Figure 2011102344734100001DEST_PATH_IMAGE039
为平滑区域内模板系数之和，在计算的过程中起到了平均作用，每次迭代计算出的
Figure 206447DEST_PATH_IMAGE040
都和上一次的迭代结果进行比较，取其中较大的作为本次平滑的结果。
6. 如权利要求5所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述边缘保持滤波器对深度图的迭代平滑次数为50次。
7.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述用非对称的高斯平滑滤波器处理深度图像中物体的边缘区域，计算公式如下：
Figure 2011102344734100001DEST_PATH_IMAGE041
其中平滑区域是大小为
Figure 2011102344734100001DEST_PATH_IMAGE043
的矩形，
Figure 558428DEST_PATH_IMAGE034
和
Figure 577200DEST_PATH_IMAGE035
为整数，
Figure 802776DEST_PATH_IMAGE044
为经过该滤波器处理后，点的深度值，为该区域内模板系数之和，在计算
Figure 74674DEST_PATH_IMAGE044
的过程中起到了平均作用；平滑过程中的平滑系数由水平和垂直高斯平滑滤波器的系数共同决定，最终得到经预处理滤波器处理后的深度图。
8.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述建立深度图中像素点与空间深度值的非线性映射关系，具体过程如下：
1) 获取灰度直方图的所有局部最小值点，记为
Figure 529926DEST_PATH_IMAGE046
，
Figure 2011102344734100001DEST_PATH_IMAGE047
，在集合
Figure 965500DEST_PATH_IMAGE048
中将这些局部最小值点升序排列，有
Figure 2011102344734100001DEST_PATH_IMAGE049
，
Figure 531611DEST_PATH_IMAGE050
；
2)认为存在某个局部最小值点
Figure 2011102344734100001DEST_PATH_IMAGE051
，
Figure 895596DEST_PATH_IMAGE052
，则深度值处于
Figure 2011102344734100001DEST_PATH_IMAGE053
和
Figure 334799DEST_PATH_IMAGE051
之间的像素点组成了整个图像的大部分背景；
3)选择使用指数函数，有
Figure 456339DEST_PATH_IMAGE054
，来非线性拟合深度图中的像素点的灰度值与空间深度值的映射关系，其中
Figure 2011102344734100001DEST_PATH_IMAGE055
对应深度图中像素点的灰度值，
Figure 888457DEST_PATH_IMAGE056
则对应于空间深度值。
9.如权利要求8所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述获取灰度直方图所有局部最小值点的过程如下：对于每个灰度级
Figure 2011102344734100001DEST_PATH_IMAGE057
，在测试图像中对应的像素点的数目为
Figure 44632DEST_PATH_IMAGE058
，
Figure 2011102344734100001DEST_PATH_IMAGE059
；如果有
Figure 654736DEST_PATH_IMAGE060
和
Figure 2011102344734100001DEST_PATH_IMAGE061
，则
Figure 325889DEST_PATH_IMAGE057
则为局部最小值点所对应的灰度值。
10.如权利要求1所述的一种基于深度值非线性变换的虚拟视点绘制方法，其特征在于，所述将参考图像中的像素点映射到目标图像中是指利用三维图像变换方程和移轴算法实现；所述目标图像的空洞填补采取基于空洞边缘信息的插值方式实现。
CN201110234473.4A 2011-08-16 2011-08-16 一种基于深度值非线性变换的虚拟视点绘制方法 Expired - Fee Related CN102436671B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110234473.4A CN102436671B (zh) 2011-08-16 2011-08-16 一种基于深度值非线性变换的虚拟视点绘制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110234473.4A CN102436671B (zh) 2011-08-16 2011-08-16 一种基于深度值非线性变换的虚拟视点绘制方法

Publications (2)

Publication Number Publication Date
CN102436671A true CN102436671A (zh) 2012-05-02
CN102436671B CN102436671B (zh) 2014-04-30

Family

ID=45984710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110234473.4A Expired - Fee Related CN102436671B (zh) 2011-08-16 2011-08-16 一种基于深度值非线性变换的虚拟视点绘制方法

Country Status (1)

Country Link
CN (1) CN102436671B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768761A (zh) * 2012-06-06 2012-11-07 清华大学 一种基于透视变换的立体视频绘制方法
CN103067705A (zh) * 2012-12-19 2013-04-24 宁波大学 一种多视点深度视频预处理方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像系统的深度图获取方法
CN104778673A (zh) * 2015-04-23 2015-07-15 上海师范大学 一种改进的高斯混合模型深度图像增强算法
CN108021923A (zh) * 2017-12-07 2018-05-11 维森软件技术（上海）有限公司 一种用于深度神经网络的图像特征提取方法
CN108076291A (zh) * 2017-12-28 2018-05-25 北京安云世纪科技有限公司 一种图像数据的虚化处理方法、装置和移动终端
CN108828938A (zh) * 2018-05-28 2018-11-16 浙江工业大学 基于反比例函数增强型指数趋近律和快速终端滑模面的四旋翼飞行器有限时间控制方法
CN110460831A (zh) * 2019-08-22 2019-11-15 京东方科技集团股份有限公司 显示方法、装置、设备及计算机可读存储介质
CN114500850A (zh) * 2022-02-22 2022-05-13 锐芯微电子股份有限公司 图像处理方法及装置、系统、可读存储介质
WO2022155950A1 (zh) * 2021-01-25 2022-07-28 京东方科技集团股份有限公司 虚拟视点合成方法、电子设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135194A1 (en) * 2009-12-09 2011-06-09 StereoD, LLC Pulling keys from color segmented images
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110135194A1 (en) * 2009-12-09 2011-06-09 StereoD, LLC Pulling keys from color segmented images
CN102129708A (zh) * 2010-12-10 2011-07-20 北京邮电大学 增强现实环境中快速多层次虚实遮挡处理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HE XI 等: "Stereoscopic Image Generation Based on Weighted Iteration of Depth Image", 《ICSP 2010 PROCEEDINGS》, 28 October 2010 (2010-10-28), pages 928 - 931, XP031816518 *
LIANG ZHANG 等: "Stereoscopic Image Generation Based on Depth Images for 3D TV", 《IEEE TRANSACTIONS ON BROADCASTING》, vol. 51, no. 2, 30 June 2005 (2005-06-30), pages 191 - 199 *
LIANG ZHANG 等: "Stereoscopic Image Generation Based on Depth images", 《2004 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》, 27 October 2004 (2004-10-27), pages 2993 - 2996, XP010786426, DOI: doi:10.1109/ICIP.2004.1421742 *
WAN-YU CHEN 等: "Efficient Depth Image Based Rendering with Edge Dependent Depth Filter and Interpolation", 《ICME 2005 PROCEEDINGS》, 6 July 2005 (2005-07-06), pages 1314 - 1317, XP010843908, DOI: doi:10.1109/ICME.2005.1521671 *
刘占伟等: "基于DIBR和图像融合的任意视点绘制", 《中国图象图形学报》, vol. 12, no. 10, 31 October 2007 (2007-10-31), pages 1696 - 1700 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102768761B (zh) * 2012-06-06 2015-01-14 清华大学 一种基于透视变换的立体视频绘制方法
CN102768761A (zh) * 2012-06-06 2012-11-07 清华大学 一种基于透视变换的立体视频绘制方法
CN103067705A (zh) * 2012-12-19 2013-04-24 宁波大学 一种多视点深度视频预处理方法
CN103067705B (zh) * 2012-12-19 2016-06-08 宁波大学 一种多视点深度视频预处理方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN103581648B (zh) * 2013-10-18 2015-08-26 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN104065947A (zh) * 2014-06-18 2014-09-24 长春理工大学 一种集成成像系统的深度图获取方法
CN104065947B (zh) * 2014-06-18 2016-06-01 长春理工大学 一种集成成像系统的深度图获取方法
CN104778673A (zh) * 2015-04-23 2015-07-15 上海师范大学 一种改进的高斯混合模型深度图像增强算法
CN108021923B (zh) * 2017-12-07 2020-10-23 上海为森车载传感技术有限公司 一种用于深度神经网络的图像特征提取方法
CN108021923A (zh) * 2017-12-07 2018-05-11 维森软件技术（上海）有限公司 一种用于深度神经网络的图像特征提取方法
CN108076291A (zh) * 2017-12-28 2018-05-25 北京安云世纪科技有限公司 一种图像数据的虚化处理方法、装置和移动终端
CN108828938A (zh) * 2018-05-28 2018-11-16 浙江工业大学 基于反比例函数增强型指数趋近律和快速终端滑模面的四旋翼飞行器有限时间控制方法
CN108828938B (zh) * 2018-05-28 2021-06-18 浙江工业大学 基于反比例函数增强型指数趋近律和快速终端滑模面的四旋翼飞行器有限时间控制方法
CN110460831A (zh) * 2019-08-22 2019-11-15 京东方科技集团股份有限公司 显示方法、装置、设备及计算机可读存储介质
CN110460831B (zh) * 2019-08-22 2021-12-03 京东方科技集团股份有限公司 显示方法、装置、设备及计算机可读存储介质
US11263767B2 (en) 2019-08-22 2022-03-01 Beijing Boe Optoelectronics Technology Co., Ltd. Method for processing image in virtual reality display device and related virtual reality display device
WO2022155950A1 (zh) * 2021-01-25 2022-07-28 京东方科技集团股份有限公司 虚拟视点合成方法、电子设备和计算机可读介质
CN115176459A (zh) * 2021-01-25 2022-10-11 京东方科技集团股份有限公司 虚拟视点合成方法、电子设备和计算机可读介质
EP4149110A4 (en) * 2021-01-25 2023-08-09 BOE Technology Group Co., Ltd. VIRTUAL VIEWPOINT SYNTHESIS PROCESS, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIA
CN114500850A (zh) * 2022-02-22 2022-05-13 锐芯微电子股份有限公司 图像处理方法及装置、系统、可读存储介质
CN114500850B (zh) * 2022-02-22 2024-01-19 锐芯微电子股份有限公司 图像处理方法及装置、系统、可读存储介质

Also Published As

Publication number Publication date
CN102436671B (zh) 2014-04-30

Similar Documents

Publication Publication Date Title
CN102436671A (zh) 一种基于深度值非线性变换的虚拟视点绘制方法
CN108027984B (zh) 用于在3d重建中检测和组合结构特征的方法和系统
CN105654492B (zh) 基于消费级摄像头的鲁棒实时三维重建方法
EP2774124B1 (en) Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
EP3311361B1 (en) Method and apparatus for determining a depth map for an image
Klose et al. Sampling based scene-space video processing
JP2021535466A (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
CN103456038A (zh) 一种井下环境三维场景重建方法
CN102625127A (zh) 一种适于3d电视虚拟视点生成的优化方法
CN102972038A (zh) 图像处理装置、图像处理方法、程序、集成电路
Kumari et al. A survey on stereo matching techniques for 3D vision in image processing
TW201327474A (zh) 視差估計深度產生方法
Xu et al. Depth-aided exemplar-based hole filling for DIBR view synthesis
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
Devernay et al. Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis
CN104581123B (zh) 立体影像显示系统与显示方法
Schmeing et al. Depth image based rendering
Lu et al. Depth-based view synthesis using pixel-level image inpainting
CN103945206A (zh) 一种基于相似帧比较的立体图像合成系统
Gong Real-time joint disparity and disparity flow estimation on programmable graphics hardware
CN110738719A (zh) 一种基于视距分层优化的Web3D模型渲染方法
Narayan et al. Optimized color models for high-quality 3d scanning
CN107610070A (zh) 基于三摄像采集的自由立体匹配方法
CN102447932B (zh) 自由视点视频中视点的重建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140430