CN104751508A - 3d立体影视制作中新视图的全自动快速生成及补全方法 - Google Patents

Abstract

本发明公开了一种3D立体影视制作中新视图的全自动快速生成及补全方法。对于原视图图像及其深度图，根据原视图的摄像机参数进行三维反投影和表面三角网格化，将网格化的图像表面结构根据新视图的摄像机参数进行三维空间投影渲染，生成新视图的图像及其深度图；利用有向漫水填充法将新视图图像和深度图中非空洞区域颜色和深度扩展填补至空洞区域，直到空洞区域所有像素的颜色和深度均被补全完整。本发明方法能够高效快速地合成3D立体新视角的视图图像和深度，并且对新视图中的由于遮挡产生的空洞区域实现全自动的快速修补，得到真实感的新视图合成结果。

Description

3D立体影视制作中新视图的全自动快速生成及补全方法

技术领域

本发明涉及一种3D立体影视的处理方法，特别是涉及图像合成技术领域的一种3D立体影视制作中新视图的全自动快速生成及补全方法。

背景技术

随着3D电影的日益普及，3D立体影视逐渐视成为影视行业的主流媒体格式。虽然市面上的立体摄像机可以用来直接拍摄生成3D立体视频，但3D实拍技术的成本高、周期长且立体效果调节难度大。因此，当今普遍的3D电影制作方案是采用后期2D转制3D的方法，该方法成本相对较低，而且立体效果可控性更强。因此，如何有效的将2D影视转换成3D立体影视成为3D立体影视制作领域的研究热点。

影视3D转3D的主要技术流程包括图层分割、深度图创建和新视图合成，其中最关键的技术为新视图合成，包括新视图的生成及补全两个步骤。传统的2D转3D技术中，新视图的生成采用基于水平偏移的深度置换方法，新视图的补全是采用简单的颜色扩散填充结合人工交互修补的方法。水平偏移生成的新视图并不符合真实世界的立体几何投影关系，会造成视觉欺骗；并且，简单的颜色扩散填充方法并不能生成很好的补全效果，同样会造成一定程度的视觉欺骗。

由此，传统的新视图合成技术自动化程度低，交互修补需要大量的人工操作，很难满足3D影视制作(尤其是3D电影)对于高质量和高效率低成本的行业要求。

发明内容

为了克服现有技术的不足，本发明提供了一种3D立体影视制作中新视图的全自动快速生成及补全方法，旨在利用原视图图像及其对应的深度图全自动地生成新视图的图像和深度图。该技术可以快速自动化地完成图像2D转3D立体过程中的立体视图合成，满足3D电影制作对于高质量和高效率低成本的行业要求；此外，该技术还可以用来完成电视节目或网络视频2D转3D立体过程中的新视图视频序列的快速自动合成。

本发明所采用的技术方案是包括以下步骤：

a、对于原视图图像及其深度图，根据原视图的摄像机参数进行三维反投影和表面三角网格化，将网格化的图像表面结构根据新视图的摄像机参数进行三维空间投影渲染，生成新视图的图像及其深度图；

b、利用有向漫水填充法将新视图图像和深度图中非空洞区域颜色和深度扩展填补至空洞区域，直到空洞区域所有像素的颜色和深度均被补全完整。

所述步骤a具体包括：

a1、原视图图像记为I_o，原视图图像的深度图记为D_o，原视图的摄像机参数记为C_o＝K_o[R_o|T_o]，

其中，K_o为原视图摄像机的内参矩阵，R_o为原视图摄像机的旋转矩阵，T_o为原视图摄像机的平移向量，将原视图图像I_o中的每个2D像素点x根据摄像机参数和深度采用以下公式反投影至3D空间坐标，并将原视图图像I_o中所有2D像素点经反投影后所得的3D点集合记为P：

$P\left(x\right)=R_o^T(K_o^{-1}{D}_o\left(x\right){\left[\begin{array}{cc}x& 1\end{array}\right]}^T-T_o)$

其中，P(x)表示x反投影所得的3D点，D_o(x)表示x的深度值；T表示矩阵的转置，[x 1]为2D像素点x的齐次坐标；

a2、原视图图像I_o中2D像素点进行Delaunay三角化，再根据三角化的网格结构拓扑关系对3D点集合P进行三角网格化，形成原视图图像的3D表面网格结构S；然后，将原视图图像的深度图D_o中的深度最大值记为D_max，最小值记为D_min，对于深度差大于0.05(D_max-D_min)的相邻2D像素点对，将其拓扑连接的三角网格从S中除去；

a3、将新视图的摄像机参数记为C_n＝K_n[R_n|T_n]，其中K_n为新视图摄像机的内参矩阵，R_n为原视图摄像机的旋转矩阵，T_n为原视图摄像机的平移向量；

将原视图图像I_o根据原视图图像坐标映射至3D表面网格结构S的表面，然后将包含图像映射的S从C_n所在的摄像机视角进行三维空间投影渲染，将渲染的图像作为新视图图像I_n，渲染的深度图作为新视图深度图D_n。

所述的步骤b具体包括：

b1、新视图图像I_n中的空洞区域记为Ω，将空洞区域Ω的区域外边界像素点b利用摄像机参数和新视图深度图D_n中的深度值采用以下公式投影至原视图中：

$B_o=R_o{R}_n^T(K_n^{-1}{D}_n\left(b\right){\left[\begin{array}{cc}b& 1\end{array}\right]}^T-T_n)+T_o$

$b_{n\→o}^h~K_o{B}_o$

其中，B_o表示区域外边界像素点b从新视图投影至原视图摄像机坐标系下的3D点坐标，表示区域外边界像素点b从新视图投影至原视图的投影点位置，D_n(b)表示区域外边界像素点b的深度值；

然后，统计以为中心的7×7像素窗口内的深度值的最大值d_max和最小值d_min，因所有外边界的像素点并不都是漫水填充种子像素点，再采用以下公式计算出区域外边界像素点b为漫水填充种子像素点的概率：

$p\left(b\right)=\left\{\begin{array}{cc}(d_{\max }-z\left(B_o\right))/(d_{\max }-d_{\min })& d_{\max }-d_{\min }>0.05(D_{\max }-D_{\min })\\ 1& d_{\max }-d_{\min }\≤0.05(D_{\max }-D_{\min })\end{array}\right.$

其中，z(B_o)表示3D点B_o的z轴坐标；

b2、为空洞区域Ω所有的区域外边界像素点集合建立采用以下公式的能量方程来求解每个像素点是否为种子点，利用图切割方法最小化能量方程，以求得每个区域外边界像素点是否为种子点，所有为种子点的区域外边界像素点集合记为Δ，能量方程定义如下：

$E(\∂\mathrm{\Ω})=\underset{b\∈\∂\mathrm{\Ω}}{\mathrm{\Σ}}(E_d\left(b\right)+\underset{c\∈N\left(b\right)\∩\∂\mathrm{\Ω}}{\mathrm{\Σ}}{E}_s(b,c))$

其中，b表示区域外边界像素点，c为b的相邻外边界像素点，N(b)为b的所有相邻像素点，E_d(b)为像素点b的数据项，E_s(b,c)为邻域像素点对(b,c)的平滑项；

b3、利用有向漫水填充法将种子像素点的颜色和深度扩展填补至I_n和D_n的空洞区域。

所述步骤b2能量方程中的像素点b的数据项E_d(b)采用以下公式定义：

其中，b表示区域外边界像素点，p(b)为区域外边界像素点b为漫水填充种子像素点的概率。

所述步骤b2能量方程中的邻域像素点对(b,c)的平滑项E_s(b,c)采用以下公式定义：

其中，b表示区域外边界像素点，c为b的相邻外边界像素点，λ为平滑项权重。

所述的步骤b3具体如下：

b3.1)将种子像素点集合Δ向空洞区域Ω膨胀一个像素宽度；

b3.2)对膨胀的每个空洞区域像素点p，利用其8邻域中种子点的颜色和深度来分别填补新视图图像I_n中像素点p位置的颜色和新视图深度图D_n中像素点p位置的深度；

如果8邻域中存在至少两个种子点，则比较每个种子点指向点p的向量与点p位置的空洞区域边界法向的一致性，选择方向最一致的种子点，利用其颜色和深度来填补I_n和D_n中像素点p位置的颜色和深度；

b3.3)清空所有为种子点的区域外边界像素点集合Δ中的种子点，将膨胀的空洞区域像素点置入该像素点集合Δ中形成新的种子点集合；

b3.4)重复步骤b3.1)-b3.3)，直到空洞区域Ω中所有像素点的颜色和深度均被填补完整。

对于本发明方法的步骤a和步骤b中使用的摄像机模型、3D空间反投影和多帧之间投影采用了Richard Hartley的著作《Multiple View Geometry inComputer Vision》中提出的透视摄像机模型内外参数形式。

对于本发明方法的步骤a使用了Shewchuk等人提出的Delaunay三角化法：Jonathan Richard Shewchuk:Delaunay Refinement Algorithms for Triangular MeshGeneration.Computational Geometry:Theory and Applications,May 2002,22(1-3):21-74。

对于本发明方法的步骤b使用了Delong等人提出的图切割优化方法：A.Delong,A.Osokin,H.N.Isack,and Y.Boykov:Fast Approximate EnergyMinimization with Label Costs.International Journal of Computer Vision,2012,96(1):1-27。

与现有技术相比，本发明的有益效果是：

1)能够实现全自动的新视图图像及深度图合成，合成的新视图图像符合真实视角的三维投影影像；

2)能够实现全自动的新视图图像及深度图空洞补全，处理效率高，无需任何人工交互辅助；

附图说明

图1为本发明方法的流程示意图。

图2为本发明实施例输入的原视图图像和深度图。

图3为实施例对图2的输入数据执行步骤a1-a2产生的3D表面网格结构。

图4为实施例对图2的输入数据执行步骤a产生的带空洞区域的新视图图像和深度图。

图5为实施例对图4新视图图像中的空洞区域外边界的每个像素点判定是否为种子像素点的结果局部图，其中黑色表示种子像素点，白色表示非种子像素点。

图6为实施例对图4的结果执行步骤b产生的完整补全后的新视图图像和深度图。

图7为实施例图2的原视图图像和图6的新视图图像合成的双目立体效果图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1所示，本发明实施例过程如下：

a、对于原视图图像及其深度图，根据原视图的摄像机参数进行三维反投影和表面三角网格化，将网格化的图像表面结构根据新视图的摄像机参数进行三维空间投影渲染，生成新视图的图像及其深度图。

a1、实施采用图2所示的原视图图像记为I_o，原视图图像的深度图记为D_o，原视图的摄像机参数记为C_o＝K_o[R_o|T_o]，

其中，K_o为原视图摄像机的内参矩阵，R_o为原视图摄像机的旋转矩阵，T_o为原视图摄像机的平移向量，将原视图图像I_o中的每个2D像素点x根据摄像机参数和深度采用以下公式反投影至3D空间坐标，并将原视图图像I_o中所有2D像素点经反投影后所得的3D点集合记为P，对于2D像素点x的反投影计算公式如下：

$P\left(x\right)=R_o^T(K_o^{-1}{D}_o\left(x\right){\left[\begin{array}{cc}x& 1\end{array}\right]}^T-T_o)$

其中，P(x)表示x反投影所得的3D点，D_o(x)表示x的深度值；T表示矩阵的转置，[x 1]为2D像素点x的齐次坐标；

a2、原视图图像I_o中2D像素点进行Delaunay三角化，再根据三角化的网格结构拓扑关系对3D点集合P进行三角网格化，形成原视图图像的3D表面网格结构S；然后，将原视图图像的深度图D_o中的深度最大值记为D_max，最小值记为D_min，对于深度差大于0.05(D_max-D_min)的相邻2D像素点对，将其拓扑连接的三角网格从S中除去，得到的3D表面网格结构S如图3所示；

a3、将新视图的摄像机参数记为C_n＝K_n[R_n|T_n]，其中K_n为新视图摄像机的内参矩阵，R_n为原视图摄像机的旋转矩阵，T_n为原视图摄像机的平移向量；

将原视图图像I_o根据原视图图像坐标映射至3D表面网格结构S的表面，然后将包含图像映射的S从C_n所在的摄像机视角进行三维空间投影渲染，将渲染的图像作为新视图图像I_n，渲染的深度图作为新视图深度图D_n，得到的新视图图像I_n和新视图深度图D_n分别如图4所示。

b、利用有向漫水填充法将新视图图像和深度图中非空洞区域颜色和深度扩展填补至空洞区域，直到空洞区域所有像素的颜色和深度均被补全完整。

b1、新视图图像I_n中的空洞区域记为Ω，将空洞区域Ω的区域外边界像素点b利用摄像机参数和新视图深度图D_n中的深度值采用以下公式投影至原视图中，区域外边界像素点b的投影计算公式如下：

$B_o=R_o{R}_n^T(K_n^{-1}{D}_n\left(b\right){\left[\begin{array}{cc}b& 1\end{array}\right]}^T-T_n)+T_o$

$b_{n\→o}^h~K_o{B}_o$

其中，B_o表示区域外边界像素点b从新视图投影至原视图摄像机坐标系下的3D点坐标，表示区域外边界像素点b从新视图投影至原视图的投影点位置，D_n(b)表示区域外边界像素点b的深度值；

然后，统计以为中心的7×7像素窗口内的深度值的最大值d_max和最小值d_min，因所有外边界的像素点并不都是漫水填充种子像素点，再采用以下公式计算出区域外边界像素点b为漫水填充种子像素点的概率：

$p\left(b\right)=\left\{\begin{array}{cc}(d_{\max }-z\left(B_o\right))/(d_{\max }-d_{\min })& d_{\max }-d_{\min }>0.05(D_{\max }-D_{\min })\\ 1& d_{\max }-d_{\min }\≤0.05(D_{\max }-D_{\min })\end{array}\right.$

其中，z(B_o)表示3D点B_o的z轴坐标；

b2、为空洞区域Ω所有的区域外边界像素点集合建立采用以下公式的能量方程来求解每个像素点是否为种子点，利用图切割方法最小化能量方程，以求得每个区域外边界像素点是否为种子点，所有为种子点的区域外边界像素点集合记为Δ，能量方程定义如下：

$E(\∂\mathrm{\Ω})=\underset{b\∈\∂\mathrm{\Ω}}{\mathrm{\Σ}}(E_d\left(b\right)+\underset{c\∈N\left(b\right)\∩\∂\mathrm{\Ω}}{\mathrm{\Σ}}{E}_s(b,c))$

其中，b表示区域外边界像素点，c为b的相邻外边界像素点，N(b)为b的所有相邻像素点，E_d(b)为像素点b的数据项，E_s(b,c)为邻域像素点对(b,c)的平滑项；

上述像素点b的数据项E_d(b)采用以下公式定义：

其中，b表示区域外边界像素点，p(b)为区域外边界像素点b为漫水填充种子像素点的概率。

上述邻域像素点对(b,c)的平滑项E_s(b,c)采用以下公式定义：

其中，b表示区域外边界像素点，c为b的相邻外边界像素点，λ为平滑项权重，实施例其值取100。

上述方法将外边界中深度较远的背景像素点判定为种子像素点，较近的前景像素点则为非种子像素点。利用获得的区域外边界像素种子点判定结果如图5所示，其中黑色表示种子像素点，白色表示非种子像素点。

b3、利用有向漫水填充法将种子像素点的颜色和深度扩展填补至I_n和D_n的空洞区域。

b3.1)将种子像素点集合Δ向空洞区域Ω膨胀一个像素宽度；

b3.2)对膨胀的每个空洞区域像素点p，利用其8邻域中种子点的颜色和深度来分别填补新视图图像I_n中像素点p位置的颜色和新视图深度图D_n中像素点p位置的深度；

如果8邻域中存在至少两个种子点，则比较每个种子点指向点p的向量与点p位置的空洞区域边界法向的一致性，选择方向最一致的种子点，利用其颜色和深度来填补I_n和D_n中像素点p位置的颜色和深度；

b3.3)清空所有为种子点的区域外边界像素点集合Δ中的种子点，将膨胀的空洞区域像素点置入该像素点集合Δ中形成新的种子点集合；

b3.4)重复步骤b3.1)-b3.3)，直到空洞区域Ω中所有像素点的颜色和深度均被填补完整，得到如图6所示的完整补全后的新视图图像和深度图。

有向漫水填充法使得新视图颜色和深度均来自种子像素点，非种子像素点的颜色和深度则不参与扩散填补，最终得到如图7所示的原视图图像和新视图图像合成后的双目立体效果。

由此可见，本发明实现了高效快速地合成3D立体新视角的视图图像和深度，并且对新视图中的由于遮挡产生的空洞区域实现全自动的快速修补，得到真实感的新视图合成结果。在CPU为Intel Core i7-4770，主频3.4GHz的台式机上，对于分辨率为1287×855的图像，新视图的生成及补全耗时仅为8秒，可见具有突出显著的技术效果。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (6)

1.一种3D立体影视制作中新视图的全自动快速生成及补全方法，其特征在于包括以下步骤：

a、对于原视图图像及其深度图，根据原视图的摄像机参数进行三维反投影和表面三角网格化，将网格化的图像表面结构根据新视图的摄像机参数进行三维空间投影渲染，生成新视图的图像及其深度图；

b、利用有向漫水填充法将新视图图像和深度图中非空洞区域颜色和深度扩展填补至空洞区域，直到空洞区域所有像素的颜色和深度均被补全完整。

2.根据权利要求1所述的一种3D立体影视制作中新视图的全自动快速生成及补全方法，其特征在于所述步骤a具体包括：

a1、原视图图像记为I_o，原视图图像的深度图记为D_o，原视图的摄像机参数记为C_o＝K_o[R_o|T_o]，

其中，K_o为原视图摄像机的内参矩阵，R_o为原视图摄像机的旋转矩阵，T_o为原视图摄像机的平移向量，将原视图图像I_o中的每个2D像素点x根据摄像机参数和深度采用以下公式反投影至3D空间坐标，并将原视图图像I_o中所有2D像素点经反投影后所得的3D点集合记为P：

$P\left(x\right)=R_o^T(K_o^{-1}{D}_o\left(x\right){\left[\begin{array}{cc}x& 1\end{array}\right]}^T-T_o)$

其中，P(x)表示x反投影所得的3D点，D_o(x)表示x的深度值；T表示矩阵的转置，[x 1]为2D像素点x的齐次坐标；

a2、原视图图像I_o中2D像素点进行Delaunay三角化，再根据三角化的网格结构拓扑关系对3D点集合P进行三角网格化，形成原视图图像的3D表面网格结构S；然后，将原视图图像的深度图D_o中的深度最大值记为D_max，最小值记为D_min，对于深度差大于0.05(D_max-D_min)的相邻2D像素点对，将其拓扑连接的三角网格从S中除去；

a3、将新视图的摄像机参数记为C_n＝K_n[R_n|T_n]，其中K_n为新视图摄像机的内参矩阵，R_n为原视图摄像机的旋转矩阵，T_n为原视图摄像机的平移向量；

将原视图图像I_o根据原视图图像坐标映射至3D表面网格结构S的表面，然后将包含图像映射的S从C_n所在的摄像机视角进行三维空间投影渲染，将渲染的图像作为新视图图像I_n，渲染的深度图作为新视图深度图D_n。

3.根据权利要求1所述的一种3D立体影视制作中新视图的全自动快速生成及补全方法，其特征在于所述的步骤b具体包括：

b1、新视图图像I_n中的空洞区域记为Ω，将空洞区域Ω的区域外边界像素点b利用摄像机参数和新视图深度图D_n中的深度值采用以下公式投影至原视图中：

$B_o=R_o{R}_n^T(K_o^{-1}{D}_o\left(b\right){\left[\begin{array}{cc}b& 1\end{array}\right]}^T-T_n)+T_o$

$b_{n\→o}^h~K_o{B}_o$

其中，B_o表示区域外边界像素点b从新视图投影至原视图摄像机坐标系下的3D点坐标，表示区域外边界像素点b从新视图投影至原视图的投影点位置，D_n(b)表示区域外边界像素点b的深度值；

然后，统计以为中心的7×7像素窗口内的深度值的最大值d_max和最小值d_min，因所有外边界的像素点并不都是漫水填充种子像素点，再采用以下公式计算出区域外边界像素点b为漫水填充种子像素点的概率：

$p\left(b\right)=\left\{\begin{array}{cc}(d_{\max }-z\left(B_o\right))/(d_{\max }-d_{\min })& d_{\max }-d_{\min }>0.05(D_{\max }-D_{\min })\\ 1& d_{\max }-d_{\min }\≤0.05(D_{\max }-D_{\min })\end{array}\right.$

其中，z(B_o)表示3D点B_o的z轴坐标；

b2、为空洞区域Ω所有的区域外边界像素点集合建立采用以下公式的能量方程来求解每个像素点是否为种子点，利用图切割方法最小化能量方程，以求得每个区域外边界像素点是否为种子点，所有为种子点的区域外边界像素点集合记为Δ，能量方程定义如下：

$E(\∂\mathrm{\Ω})=\underset{b\∈\∂\mathrm{\Ω}}{\mathrm{\Σ}}(E_d\left(b\right)+\underset{c\∈N\left(b\right)\∩\∂\mathrm{\Ω}}{\mathrm{\Σ}}{E}_s(b,c))$

其中，b表示区域外边界像素点，c为b的相邻外边界像素点，N(b)为b的所有相邻像素点，E_d(b)为像素点b的数据项，E_s(b,c)为邻域像素点对(b,c)的平滑项；

b3、利用有向漫水填充法将种子像素点的颜色和深度扩展填补至I_n和D_n的空洞区域。

4.根据权利要求3所述的一种3D立体影视制作中新视图的全自动快速生成及补全方法，其特征在于：所述步骤b2能量方程中的像素点b的数据项E_d(b)采用以下公式定义：

其中，b表示区域外边界像素点，p(b)为区域外边界像素点b为漫水填充种子像素点的概率。

5.根据权利要求3所述的一种3D立体影视制作中新视图的全自动快速生成及补全方法，其特征在于：所述步骤b2能量方程中的邻域像素点对(b,c)的平滑项E_s(b,c)采用以下公式定义：

其中，b表示区域外边界像素点，c为b的相邻外边界像素点，λ为平滑项权重。

6.根据权利要求3所述的一种3D立体影视制作中新视图的全自动快速生成及补全方法，其特征在于所述的步骤b3具体如下：

b3.1)将种子像素点集合Δ向空洞区域Ω膨胀一个像素宽度；

b3.2)对膨胀的每个空洞区域像素点p，利用其8邻域中种子点的颜色和深度来分别填补新视图图像I_n中像素点p位置的颜色和新视图深度图D_n中像素点p位置的深度；

如果8邻域中存在至少两个种子点，则比较每个种子点指向点p的向量与点p位置的空洞区域边界法向的一致性，选择方向最一致的种子点，利用其颜色和深度来填补I_n和D_n中像素点p位置的颜色和深度；

b3.3)清空所有为种子点的区域外边界像素点集合Δ中的种子点，将膨胀的空洞区域像素点置入该像素点集合Δ中形成新的种子点集合；

b3.4)重复步骤b3.1)-b3.3)，直到空洞区域Ω中所有像素点的颜色和深度均被填补完整。