CN103024421B - 自由视点电视中的虚拟视点合成方法 - Google Patents

Abstract

本发明提出一种新的基于深度图渲染技术的虚拟视点合成的方法。首先，通过3D图像变换获得虚拟视点深度图像，对该深度图像进行优化处理；然后根据优化处理得到的深度图进行逆向3D图像变换，获得虚拟视点彩色图像；最后通过基于深度信息的图像修复算法进行空洞填充。通过逆向3D图像变换，可以避免虚拟视点彩色图像上出现裂纹，提高虚拟视点图像的质量；另外，针对虚拟视点图像中的非遮挡空洞区域，采用本发明提出的图像修复的方法进行填充，可以保证渲染出的图像产生最佳的显示效果。

Description

自由视点电视中的虚拟视点合成方法

技术领域

本发明涉及一种基于深度图像的虚拟视点合成方法，属于视频、多媒体信号处理技术领域。

背景技术

继彩色电视、高清电视之后，三维立体电视成为多媒体领域的研究热点。它的最大的优势主要体现在，它可以为观看者提供一种生动逼真的视觉体验。而自由视点电视是立体电视更进一步的产物，凭借强大的互动性，它可以让观看者自由选择观看角度，并且可以随着观看者位置的变化进行流畅的视点转换，从而使观看者达到身临其境的感觉。

自由视点电视需要多个视频同时在播放端播放。假设多个视频源同时从视频采集端发出，这无疑对网络负荷、编解码效率都提出了很大的挑战；另外，高额的视频采集成本也大大降低了自由视点视频的实用性与可行性。因此，虚拟视点合成成为自由视点电视中的关键技术。该技术只要求在视频采集端采集若干视频，通过视点合成在播放端产生其他视点的视频，从而大大地降低网络负荷，节省成本。其中，基于深度图像的视点合成是一种典型的方法。它可以利用一路视频的彩色图像与深度图像，合成任意视点的视频信息。

在传统的基于深度图像的视点合成方法中，主要分为三个基本步骤：参考视点深度图像的平滑处理、通过3D图像变换获得虚拟视点深度图像与彩色图像、空洞填充。这类方法得到的虚拟视点彩色图像中会出现一些小的裂纹和大片的空洞区域。这两类缺陷即便经过图像后处理，比如邻域赋值、线性插值，也会让图像留下被处理过的痕迹，影响视觉效果。

发明内容

为解决传统的基于深度图像的视点合成方法中，图像后处理所带来的不连贯的视觉效果，本发明提出一种新的基于深度图的视点合成方法。首先，通过3D图像变换获得虚拟视点深度图像，对该深度图像进行优化处理；然后根据优化处理得到的深度图进行逆向3D图像变换，获得虚拟视点彩色图像；最后通过加入深度信息的基于样本的图像修复算法进行空洞填充。本方法中，通过逆向3D图像变换，可以避免虚拟视点彩色图像上出现裂纹，提高虚拟视点图像的质量；另外，针对虚拟视点图像中的非遮挡空洞区域，本发明对传统的基于样本的图像修复算法中优先级的计算以及搜索匹配块的匹配原则进行改进，提高了空洞修复的准确性，从而使渲染出的图像产生最佳的显示效果。

本发明采用的技术方案为：

一种基于深度图的视点合成方法，其具体步骤如下：

（1）3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的深度图投影到虚拟视点上，获得虚拟视点深度图像；

（2）虚拟视点深度图像的优化处理：通过形态学图像处理，优化虚拟视点深度图像；

（3）逆向3D图像变换：根据优化后的虚拟视点深度图像，进行逆向3D图像变换，对于虚拟视点图像中的所有像素，找到其在参考视点图像中的对应点，并进行像素彩色信息的赋值，从而获得虚拟视点彩色图像；

（4）空洞填充：利用图像修复技术对上述步骤得到的虚拟视点彩色图像中的空洞进行填充。

所述步骤（1）的具体步骤为：

a.根据参考视点的深度信息，实现从参考视点平面到三维空间，再从三维空间到虚拟视点平面的坐标变换；

b.根据坐标变换的结果，将参考视点深度图中的像素点投影到虚拟视点平面内，从而获得虚拟视点深度图像。

所述步骤（2）的具体实现步骤如下：

a.对虚拟视点深度图像进行一次膨胀处理，消除深度图像中的裂纹；

b.再对膨胀处理后的深度图像进行两次腐蚀处理，消除由膨胀处理带来的边缘像素的不准确性。

所述步骤（3）的具体实现步骤如下：

a.根据步骤（2）中得到的虚拟视点深度图像，实现从虚拟视点平面到三维空间，再从三维空间到参考视点平面的坐标变换；

b.根据坐标变换结果，将参考视点平面内像素的彩色信息复制到虚拟视点平面内，从而获取虚拟视点彩色图像。

所述步骤（4）的具体实现步骤如下：

a.检测空洞区域的边缘，计算边缘上各像素的优先级，决定修复顺序；

b.以边缘像素为中心，获取特定尺寸的样本块，以样本块为单位，根据其中的颜色信息和深度信息，从源图像中搜索最佳匹配块；

c.找到最佳匹配块之后，将最佳匹配块中的像素信息复制到样本块中的空洞处，实现填充。

所述步骤（4）的子步骤a中，计算边缘上各像素修复优先级的公式为：

P(p)＝C(p)^β·D(p)

其中,C(p)为置信度项，D(p)为数据项，C(p)中的分子表示样本块中非空洞像素的数量，分母|Ψ_p|表示样本块中总的像素数量；D(p)中，n_p分别表示空洞边缘上p点处的等照度线的方向与法向量；α为归一化因子，值为255，β为权重因子，它的值大于1。

所述步骤（4）的子步骤b中，搜索匹配块的过程为：首先按照公式 $\mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)=\underset{p\&Element;{\mathrm{\&Psi;}}_p\&cap;\mathrm{\&Phi;}}{\mathrm{\&Sigma;}}({(R_{\hat{p}}\left(p\right)-R_q\left(p\right))}^2+{(G_{\hat{p}}\left(p\right)-G_q\left(p\right))}^2+{(B_{\hat{q}}\left(p\right)-B_q\left(p\right))}^2),$ 以误差平方和（SSD）计算样本块中非空洞像素与匹配块中的相应位置的像素之间的彩色信息R、G、B的差异，然后根据公式 $\mathrm{De}=|\underset{p_0\&Element;{\mathrm{\&psi;}}_h}{\mathrm{\&Sigma;}}\mathrm{depth}\left(p_0\right)-\underset{q_0\&Element;{\mathrm{\&psi;}}_m}{\mathrm{\&Sigma;}}\mathrm{depth}\left(q_0\right)|,$ 计算样本块中空洞处像素与匹配块中的相应位置的像素之间的深度信息的差值De，并将该差值与门限值th进行比较，根据比较结果，按照公式 $E=\left\{\begin{array}{cc}\mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)*\mathrm{De},& \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)\&NotEqual;0\mathrm{andDe}>\mathrm{th}\\ Q,& \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)=0\mathrm{andDe}>\mathrm{th}\\ \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q),& \mathrm{De}<\mathrm{th}\end{array}\right.$ 进一步修正匹配块的匹配程度，最终根据公式确定最佳匹配块Ψ_{q_best}。

附图说明

图1：本发明的流程图。

图2：参考视点的彩色图像及深度图像。

图3：优化之前的虚拟视点深度图像。

图4：膨胀处理之后的虚拟视点深度图像。

图5：腐蚀处理之后的虚拟视点深度图像。

图6：带空洞的虚拟视点彩色图像及其mask图。

图7：作为空洞标示的二值图。

图8：图像修复示意图。

图9：修复之后的虚拟视点彩色图像。

具体实施方式

该发明采用了由微软公司提供的测试视频序列“Breakdancer”进行实验。该视频序列采集了一个场景的8个视点的视频，并提供了相应的深度信息以及各摄像机的内、外部参数。实验中，我们选取4号视点作为参考视点，3号视点作为虚拟视点。

图1所示为本发明的流程图，根据流程图，我们对其具体实施方式进行介绍。

（1）3D图像变换。所谓的3D图像变换，就是根据摄像机投影原理，将参考视点中的像素点投影到虚拟视点平面内。这一过程主要分为两个部分，首先是将参考视点中的像素投影到三维空间中，然后再由三维空间投影到虚拟视点平面内。图2为参考视点的彩色图像与深度图像。假设摄像机i的内参矩阵为A_i，外参矩阵中的平移矩阵与旋转矩阵分别为R_i、t_i,映射方程可以表示为：

sm＝A_i[R_i|t_i]M    （1）

其中s为一标量，m＝[u,v,1]^T为图像像素点在图像坐标系下的齐次坐标，M＝[X,Y,Z,1]^T为相应空间点在世界坐标系下的齐次坐标。

利用方程（1），可以实现参考视点到三维空间的映射以及三维空间到虚拟视点的映射。图3为通过传统的3D图像变换获得的虚拟视点深度图像。

（2）虚拟视点深度图像的优化处理。从图3可以看出，通过步骤（1）获得的虚拟视点深度图像上，存在大量小的裂纹。为了优化深度图像，我们首先对图像进行膨胀处理，消除小的裂纹，但与此同时，前景、背景交界处像素的膨胀会导致两部分像素的混淆，如图4所示。为了纠正这种错误，我们再对图像进行两次腐蚀处理。最终优化后的深度图像如图5所示。

（3）逆向3D图像变换。所谓逆向3D图像变换，就是传统的3D图像变换的逆过程。先将虚拟视点中的像素投影到三维空间中，映射方程如等式（2）所示，再由三维空间映射到参考视点平面内，映射方程如等式（3）所示。这样，虚拟视点中的所有像素，在参考视点平面内都会找到其对应点，然后进行赋值渲染，获得虚拟视点彩色图像。

$M=\left(\begin{array}{c}{X}_{2w}\\ Y_{2w}\\ Z_{2w}\end{array}\right)=C_v+\mathrm{\&lambda;}{R_v}^{-1}{K_v}^{-1}{d}_v---\left(2\right)$

$\mathrm{\&lambda;}{d}_o=\left[K_o\right|0_3]\left[\begin{array}{cc}{R}_o& t_o\\ 0_3^T& 1\end{array}\right]M---\left(3\right)$

其中， $\mathrm{\&lambda;}=\frac{Z_{2w}-C_{2z}}{r3},$ $\left(\begin{array}{c}r1\\ r2\\ r3\end{array}\right)={R_v}^{-1}{K_v}^{-1}{d}_v,$ $C_v=\left(\begin{array}{c}{C}_{2x}\\ C_{2y}\\ C_{2z}\end{array}\right)=-{R_v}^{-1}\&CenterDot;t_v.$

在等式（2）与等式（3）中，K_v，R_v，t_v分别代表虚拟视点摄像机的内参矩阵、旋转矩阵与平移矩阵；K_o，R_o，t_o分别代表参考视点摄像机的内参矩阵、旋转矩阵与平移矩阵。d_v，d_o，M分别代表虚拟视点中某像素的图像坐标、参考视点中相应像素的图像坐标以及该像素在空间中的三维坐标。C_v代表虚拟视点摄像机的相机中心在世界坐标系中的位置。

（4）空洞填充。补洞是虚拟视点合成技术中的关键技术。本发明选用了改进的基于样本的图像修复技术进行补洞。图8为图像修复示意图。图中，Φ为源图像区域，Ω为空洞区域，即待修复区域，δΩ表示二者的边界。p为边界上的一点，ψ_p表示以点p为中心的样本块。

图6为待修复的彩色图像及其mask图。首先，我们通过mask图获得图7所示的二值图，将其作为空洞区域的标志图。图中非空洞区域用0表示，空洞区域用1表示。根据该图，我们进行空洞区域的边缘检测。

检测出边缘上的所有像素点后，我们再进行优先级的计算，以决定修复顺序。传统的优先级的计算公式如（4）所示。

P(p)＝C(p)·D(p)    （4）

其中，C(p)为置信度项，D(p)为数据项，定义如下：

$C\left(p\right)=\frac{\underset{q\&Element;{\mathrm{\&Psi;}}_p\&cap;\mathrm{\&Phi;}}{\mathrm{\&Sigma;}}C\left(q\right)}{\left|{\mathrm{\&Psi;}}_p\right|}---\left(5\right)$

$D\left(p\right)=\frac{|{\&dtri;I}_p^{\&perp;}\&CenterDot;n_p|}{\mathrm{\&alpha;}}---\left(6\right)$

C(p)中的分子表示样本块中非空洞像素的数量，分母|Ψ_p|表示样本块中总的像素数量。D(p)中，n_p分别表示空洞边缘上p点处的等照度线的方向与法向量。α为归一化因子，值为255。通过C(p)与D(p)，基于样本的图像修复技术可以在保持图像的线性结构的情况下进行纹理的填充。

大量的实验表明，基于样本的图像修复结果与修复顺序有很大的关系，并且实验中往往会出现填充过程沿着某一个方向连续进行的情况，难以保持图像纹理方向的延伸与视觉的连续性。鉴于这一缺陷，本发明将优先级的计算公式进行了修改，如等式（7）所示。

P(p)＝C(p)^β·D(p)    （7）

β为权重因子，它的值大于1，由于C(p)是小于1的，所以C(p)^β小于C(p)，从而在减少C(p)的权重的同时提高D(p)的影响力，以保持图像的线性结构。

待修复顺序确定之后，我们以优先级最高的块作为样本块，从源图像中搜索最佳匹配块。在传统的基于样本的图像修复中，搜索匹配块的原则如等式（8），（9）所示，仅仅以像素的彩色信息的误差平方和（SSD）作为匹配原则。这是因为传统的图像修复技术主要用于平面图像，不需要考虑深度信息。但是在虚拟视点合成过程中，空洞的产生是由于参考视点中被遮挡的区域在虚拟视点中暴露出来，所以用背景信息填充空洞才能实现准确的修复。鉴于这一考虑，本发明在原始算法的搜索匹配块的匹配原则中加入深度信息，如等式（10）、（11）所示。

${\mathrm{\&Psi;}}_{q\_\mathrm{best}}=\arg \underset{{\mathrm{\&Psi;}}_q\&Element;\mathrm{\&Phi;}}{\min }E=\arg \underset{{\mathrm{\&Psi;}}_q\&Element;\mathrm{\&Phi;}}{\min }\mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)---\left(8\right)$

$\mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)=\underset{p\&Element;{\mathrm{\&Psi;}}_p\&cap;\mathrm{\&Phi;}}{\mathrm{\&Sigma;}}({(R_{\hat{p}}\left(p\right)-R_q\left(p\right))}^2+{(G_{\hat{p}}\left(p\right)-G_q\left(p\right))}^2+{(B_{\hat{q}}\left(p\right)-B_q\left(p\right))}^2)---\left(9\right)$

$E=\left\{\begin{array}{cc}\mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)*\mathrm{De},& \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)\&NotEqual;0\mathrm{andDe}>\mathrm{th}\\ Q,& \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)=0\mathrm{andDe}>\mathrm{th}\\ \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q),& \mathrm{De}<\mathrm{th}\end{array}\right.---\left(10\right)$

$\mathrm{De}=|\underset{p_0\&Element;{\mathrm{\&psi;}}_h}{\mathrm{\&Sigma;}}\mathrm{depth}\left(p_0\right)-\underset{q_0\&Element;{\mathrm{\&psi;}}_m}{\mathrm{\&Sigma;}}\mathrm{depth}\left(q_0\right)|---\left(11\right)$

等式（9）定义了误差平方和（SSD）的计算方法，对于两个像素块中的每一对像素点，先计算它们之间R、G、B分量差值的平方之和；再将所有像素点对的计算结果相加，即为两个像素块的误差平方和（SSD）。

在匹配过程中，首先以误差平方和（SSD）计算样本块中非空洞像素与匹配块中的相应位置的像素之间的彩色信息的差异，初步计算二者的匹配程度；然后通过计算样本块中空洞处像素与匹配块中的相应位置的像素之间的深度信息的差值（De），并将其与门限值（th）进行比较，根据比较结果进一步修正匹配块的匹配程度，最终确定最佳匹配块Ψ_{q_best}。

找到最佳匹配块之后，利用最佳匹配块中的像素对样本块中的空洞像素点进行填充。然后再进行置信度的更新，公式如下所示：

$C\left(p\right)=C\left(\hat{p}\right)\&ForAll;p\&Element;{\mathrm{\&Psi;}}_{\hat{p}}\&cap;\mathrm{\&Omega;}---\left(12\right)$

重复以上过程，直至修复完成。修复后的虚拟视点彩色图像如图9所示。

Claims (4)

1.一种基于深度图的视点合成方法，其具体步骤如下：

(1)3D图像变换：根据摄像机投影原理，通过3D图像变换，将参考视点的深度图投影到虚拟视点上，获得虚拟视点深度图像；

(2)虚拟视点深度图像的优化处理：通过形态学图像处理，优化虚拟视点深度图像；

(3)逆向3D图像变换：根据优化后的虚拟视点深度图像，进行逆向3D图像变换，对于虚拟视点图像中的所有像素，找到其在参考视点图像中的对应点，并进行像素彩色信息的赋值，从而获得虚拟视点彩色图像；

(4)空洞填充：利用图像修复技术对上述步骤得到的虚拟视点彩色图像中的空洞进行填充；

所述步骤(4)的具体实现步骤如下：

a.检测空洞区域的边缘，计算边缘上各像素的优先级，决定修复顺序；

b.以边缘像素为中心，获取特定尺寸的样本块，以样本块为单位，根据其中的颜色信息和深度信息，从源图像中搜索最佳匹配块；

c.找到最佳匹配块之后，将最佳匹配块中的像素信息复制到样本块中的空洞处，实现填充。

所述步骤(4)的子步骤a中，计算边缘上各像素修复优先级的公式为：

P(p)＝C(p)^β·D(p)

其中,C(p)为置信度项，D(p)为数据项，C(p)中的分子表示样本块中非空洞像素的数量，分母|Ψ_p|表示样本块中总的像素数量；D(p)中，n_p分别表示空洞边缘上p点处的等照度线的方向与法向量；α为归一化因子，值为255，β为权重因子，它的值大于1。

所述步骤(4)的子步骤b中，搜索匹配块的过程为：首先按照公式 $\mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)=\underset{p\&Element;{\mathrm{\&Psi;}}_p\&cap;\mathrm{\&Phi;}}{\mathrm{\&Sigma;}}({(R_{\hat{p}}\left(p\right)-R_q\left(p\right))}^2+{(G_{\hat{p}}\left(p\right)-G_q\left(p\right))}^2+{(B_{\hat{p}}\left(p\right)-B_q\left(p\right))}^2),$ 以误差平方和(SSD)计算样本块中非空洞像素与匹配块中的相应位置的像素之间的彩色信息R、G、B的差异，然后根据公式计算样本块中空洞处像素与匹配块中的相应位置的像素之间的深度信息的差值De，并将该差值与门限值th进行比较，根据比较结果，按照公式 $E=\left\{\begin{array}{cccc}\mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)*\mathrm{De},& \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)\&NotEqual;0& \mathrm{and}& \mathrm{De}>\mathrm{th}\\ Q,& \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q)=0& \mathrm{and}& \mathrm{De}>\mathrm{th}\\ \mathrm{SSD}({\mathrm{\&Psi;}}_{\hat{p}},{\mathrm{\&Psi;}}_q),& & & \mathrm{De}<\mathrm{th}\end{array}\right.$ 进一步修正匹配块的匹配程度，最终根据公式确定最佳匹配块Ψ_{q_best}。

2.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤(1)的具体步骤为：

a.根据参考视点的深度信息，实现从参考视点平面到三维空间，再从三维空间到虚拟视点平面的坐标变换；

b.根据坐标变换的结果，将参考视点深度图中的像素点投影到虚拟视点平面内，从而获得虚拟视点深度图像。

3.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤(2)的具体实现步骤如下：

a.对虚拟视点深度图像进行一次膨胀处理，消除深度图像中的裂纹；

b.再对膨胀处理后的深度图像进行两次腐蚀处理，消除由膨胀处理带来的边缘像素的不准确性。

4.根据权利要求1所述的基于深度图的视点合成方法，其特征在于，所述步骤(3)的具体实现步骤如下：

a.根据步骤(2)中得到的虚拟视点深度图像，实现从虚拟视点平面到三维空间，再从三维空间到参考视点平面的坐标变换；

b.根据坐标变换结果，将参考视点平面内像素的彩色信息复制到虚拟视点平面内，从而获取虚拟视点彩色图像。