CN104270624B - 一种分区域的3d视频映射方法 - Google Patents

Abstract

一种分区域的3D视频映射方法，属于3D视频合成技术领域，通过区分不同区域的像素进行不同处理、避免无效信息的映射和重复映射。我们随机选择一个视点作为主视点，根据主视点的深度图分析区域特征以划分区域，分别为边界无效应区域（BNER）、边界单效应区域（BSER）、双效应区域（DER）、前景单效应区域（FSER）、前景无效应区域（FNER）；对主视点，除了无效应区域（包括BNER和FNER）的所有区域都映射至虚拟视点，而对非主视点，只将其单效应区（包括BSER和FSER）映射到虚拟视点；而后对3D映射过程中产生的“裂缝”采用周围像素进行内插填补。

Description

一种分区域的3D视频映射方法

技术领域

本发明属于3D视频合成技术领域，具体涉及一种分区域的3D视频映射方法。

背景技术

在3D视频中，视点合成是一项很重要的技术，目前大多数采用DIBR(Depth-image-based Rendering，即基于深度图像的绘制)技术来合成虚拟视点。DIBR的核心是利用深度信息和摄像机参数把像素从已知的原始视点映射到未知的合成视点。DIBR主要有两种方法：单视点方法和多视点方法。单视点DIBR一般包括两个步骤：(1)3D映射；(2)空洞填补。多视点DIBR方法还包括一个额外步骤：视点融合，即将各个原始视点合成的虚拟视点融合为一个最终的视点，一般来说有两种融合方法：(1)使用一个线性权重函数混合两个视点；(2)选择一个映射的视点作为主视点，另一个映射的视点作为辅助视点来填补空洞。

单视点方法是使用一个原始视点和对应的深度信息得到合成视点，方法简单，计算复杂度低；但是这种方法有一个缺点，由于原始视点遮挡部分背景信息的缺失，会产生很大的空洞，影响视觉质量；多视点方法是使用左右视点作为原始视点合成中间视点，因此遮挡的信息可以用两个视点的信息相互补充，能产生较好质量的合成视点，但是因为多视点方法对每个视点的公共区域重复进行3D映射，且在多个视点中进行有用信息的选择性融合，造成计算复杂度增加，影响DIBR的实时实现。

在实用的3D视频中，多视点解码必须结合实时性虚拟视点合成。由于多视点方法的数据量较大，对DIBR技术的实时性是一个很大的挑战。同时，3D映射是DIBR中一个计算量最大的环节，对多个原始视点的重复3D映射将给DIBR造成很大的负担。

发明内容

本发明的目的是提供一种对3D视频快速解码方法，能够有效地提高现有的DIBR方法的速度，提高实时性。

本发明是这样实现的，其特征是包括下列步骤：

第一步：摄取3D视频两个相邻视点的纹理图和深度图，即摄像机获取的两个视点分别记为视点V₁和视点V₃，用视点V₁和视点V₃来合成中间的虚拟视点V₂。

对于3D映射后产生的空洞，应用分类处理：首先，对于尺寸小于等于两个像素的空洞，称为“裂缝”，将利用同一视点中相邻像素进行插值来填补；而对于尺寸大于两个像素的空洞，称为“非遮挡空洞”，则使用另外一个视点的信息来填补，因此需区分开“非遮挡空洞”和“裂缝”，通过计算一个阈值ΔZ_max来区分二者：

$\mathrm{\Δ}{Z}_{\max }=\frac{510}{L\·\mathrm{fx}\·(\frac{1}{z_{\mathrm{near}}}-\frac{1}{z_{\mathrm{far}}})}---\left(1\right)$

如果深度差值大于ΔZ_max，则会产生“非遮挡空洞”，否则是“裂缝”，其中，z_near和z_far是自然场景与摄像机之间的距离范围，也可称为深度范围，L是两个视点摄相机之间的距离，即基线长度，f_x是照相机焦距；

第二步：从视点V₁或者视点V₃中任选取一个视点为主视点，检测主视点深度图中的边界。

首先计算主视点深度图中每两个相邻像素之间的深度值之差ΔZ，然后根据ΔZ_max利用下式进行边界检测，

$F(x,y)=\left\{\begin{array}{c}1,{\mathrm{\ΔZ}}_L=d(x,y)-d(x-1,y)\≥{\mathrm{\ΔZ}}_{\max }\\ -1,\mathrm{\Δ}{Z}_R=d(x+1,y)-d(x,y)\≤-\mathrm{\Δ}{Z}_{\max }\\ 0,\mathrm{otherwise}\end{array}\right.---\left(2\right)$

d(x，y)代表(x，y)处的深度值，即：如果f(x，y)＝１，则认为(x，y)和(x-1，y)之间有一个左边界，(x，y)属于前景，(x-1，y)属于背景，此时将会在虚拟视点V₂中发生“遮挡”；如果F(x，y)＝-1，认为(x+1，y)和(x，y)之间有一个右边界，(x，y)属于前景，(x+1，y)属于背景，此时会在虚拟视点V₂中引起“非遮挡空洞”；如果F(x，y)等于0，则相邻像素之间没有边界。

第三步：对主视点执行区域分割，并逐区域进行3D映射。

对不同区域采用不同的处理方法以节省计算量，首先考虑背景为平面且与成像平面T平行的情况，其分区域方法如图4所示，稍后再进行一般情况的分区域。区域划分规则：本发明只考虑1D模型，即两个视点的照相机平行放置，成像平面T仅有水平视差没有垂直视差。根据深度图所描述的实际场景信息对成像平面T进行区域划分，如附图2所示，本图是对实际场景和摄像机分布的俯视图，视点V₁和视点V₃代表原始视点，虚拟视点V₂代表需要使用视点V₁和视点V₃来合成的虚拟视点，区域MN和AR分别表示前景和背景。视点V₁和视点V₃之间的基线长度为L，f_x是摄像机的焦距长度，T代表成像平面，根据虚拟视点V₂的需求，将视点V₁和视点V₃分为以下区域类型：

(1)边界无效应区域(BNER)：超出虚拟视点V₂视觉范围的区域。

(2)边界单效应区域(BSER)：合成虚拟视点V₂时，只能从一个原始视点看到的区域。

(3)双效应区域(DER)：在两个原始视点中都可以看到的区域。

(4)前景单效应区域(FSER)：区域只能被单视点看见，因此属于单效应区域。这种区域的信息是填补虚拟视点V₂中非遮挡空洞的关键信息。

(5)前景无效应区域(FNER)：绘制竞争发生的区域，遮挡空洞会在这里出现。

假设视点V₁被选为主视点，如果视点V₃被选为主视点，方法类似。3D映射过程按照虚拟视点V₂所需的区域“从左到右”顺序进行，可分为六个步骤：

1)求取区域AB在视点V₁中的长度并跳过此区域不做3D映射：

由于区域AB超出了虚拟视点V₂的视觉范围，所以不需要将其在视点V₁中的对应区域a₁b₁映射到虚拟视点V₂中。设代表区域a₁b₁的长度，同理H_AB代表A、B两点间距离，Z_A和Z_B分别代表A点、B点的物理深度值，

$\frac{H_{a_1{b}_1}}{H_{\mathrm{AB}}}=\frac{f_x}{Z_B}---\left(3\right)$

由于虚拟视点V₂位于视点V₁和视点V₃的中点处，所以H_AB等于L/2。由于背景是一个平面，Z_A和Z_B具有相同的长度，所以可表示为：

$H_{a_1{b}_1}=\frac{H_{\mathrm{AB}}\·f_x}{Z_B}=\frac{L\·f_x}{2Z_B}=\frac{L\·f_x}{2Z_A}=D_A---\left(4\right)$

其中，D_A代表A点在视点V₁和虚拟视点V₂间的视差，可以通过a₁点的深度值计算得到：

$D_A=\frac{L}{2}\·f_x\·(\frac{d_{a_1}}{255}\·(\frac{1}{z_{\mathrm{near}}}-\frac{1}{z_{\mathrm{far}}})+\frac{1}{z_{\mathrm{far}}})---\left(5\right)$

2)首先利用公式(8)计算左边界区域EF在视点V₁中的长度然后由视点V₁中左边界点f₁的坐标减去来确定“e₁”点的位置，最后将视点V₁中的区域“b₁e₁”映射到虚拟视点V₂的“b₂e₂”区域，因此

$H_{\mathrm{EF}}=\frac{L}{2}\·\frac{Z_F-Z_M}{Z_M}---\left(6\right)$

$\frac{H_{e_1{f}_1}}{H_{\mathrm{EF}}}=\frac{f_x}{Z_F}---\left(7\right)$

对比(6)(7)两式可得，

$H_{e_1{f}_1}=D_M-D_F---\left(8\right)$

其中，D_M、D_F的求取方法同上述D_A；

3)求取区域MN在视点V₁中的对应区域“m₁n₁”，将“m₁n₁”映射到虚拟视点V₂中：

现在需要从视点V₁的区域“m₁n₁”绘制虚拟视点V₂的“e₂h₂”区域。由于M对应左边界，N对应一个右边界，可以很容易地根据M和N在视点V₁中的坐标位置确定区域“m₁n₁”。然后根据3D映射将此区域映射到虚拟视点V₂中的“e₂h₂”区域；

4)计算区域HI在视点V₃中的长度并将视点V₃中区域“h₃i₃”映射到虚拟视点V₂中：

因为虚拟视点V₂需要的HI区域在视点V₁中被遮挡，因此需要从视点V₃中寻找对应的区域“h₃i₃”，并将其映射到虚拟视点V₂的“h₂i₂”。由三角形相似性得：

$H_{\mathrm{HI}}=\frac{L}{2}\·\frac{Z_I-Z_N}{Z_N}---\left(9\right)$

因此可得，

$H_{h_3{i}_3}=D_N-D_I---\left(10\right)$

根据上式计算区域长度，并通过将视点V₁中的边界点“i₁”映射到视点V₃中来寻找对应点“i₃”，利用点“i₃”的坐标减去来确定“h₃”的位置，最后将区域“h₃i₃”映射到虚拟视点V₂的区域“h₂i₂”中。D_N、D_I的求取方法同上述D_A；

5)将视点V₁的区域“i₁j₁”映射到虚拟视点V₂中：

利用主视点V₁的区域“i₁j₁”绘制虚拟视点V₂的“i₂j₂”区域。因为在视点V₁中“i₁j₁”紧邻“m₁n₁”，而且j₁点是视点V₁成像平面T的终点，因此，可通过将区域“m₁j₁”作为一整个区域映射到虚拟视点V₂中来完成对区域“i₁j₁”的映射，而不再需要确定“i₁j₁”的大小；

6)计算视点V₃中区域“j₃k₃”的长度将区域“j₃k₃”从视点V₃映射到虚拟视点V₂中：

最后，对于虚拟视点V₂需要的区域“j₂k₂”，由于在主视点V₁中不可得，因此需要从视点V₃的相应区域来得到。对此，需要首先确定视点V₃中“j₃”点位置，通过将点“j₁”映射到视点V₃中来得到“j₃”点，其次，由于Z_J＝Z_K，可以计算区域长度

$H_{j_3{k}_3}=H_{j_3{r}_3}-H_{k_3{r}_3}=\frac{L\·f_x}{Z_J}-\frac{L\·f_x}{2Z_K}=\frac{L\·f_x}{{2Z}_J}=D_J---\left(11\right)$

综上所述，根据虚拟视点V₂所需区域“从左至右”的顺序，通过分区域映射得到了虚拟视点V₂，3D映射过程结束。

一般情况的区域分割：迭代求解法。当背景为非平面时，每个区域的大小将会改变，例如视点V₁中的边界无效区BNER将会从AB变为AB_n，因此目的变为找到主视点V₁中的区域a₁b_n1的长度并跳过区域a₁b_n1，从b_n1开始映射。对此，提出一种迭代求解b_n1位置的方法。

首先假设A_i是点A经过第i次迭代所得点，在视点V₁的成像平面T中与A点位于同一位置；然后设点B_i和A_i具有相同的物理深度、但与A_i水平方向距离为L/2。

迭代初始条件：i＝0、迭代过程按照以下步骤重复执行：

1)在视点V₁中，使用确定c_i1在深度图中的位置，c_i1对应场景中的C_i点，此时可得C_i点的深度值及其视差，即视点V₁和虚拟视点V₂间视差；

2)将C_i点的深度值和视差赋给B_i点以计算区域A_iB_i的大小，因此可得：

$H_{a_{i1}{b}_{i1}}=D_{B_i}(i=\mathrm{1,2},...,n)---\left(12\right)$

当遇到以下两种情况之一时，迭代过程停止：

1)当B_i和B_i-1的深度值之差的绝对值小于ΔZ_max/2时，此时这个深度值之差不会造成映射后的虚拟视点V₂中出现大于一个采样精度的改变，即认为C_i点收敛于B_n；

2)最大的迭代次数小于5次。

在仿真过程中发现，一般经过一到两次迭代，C_i点即可收敛于B_n。通过类似的迭代算法可以得到：

$H_{e_{i1}{f}_1}=D_M-D_{E_i}(i=\mathrm{1,2},...,n)---\left(13\right)$

$H_{k_{i3}{r}_3}=\frac{H_{\mathrm{KR}}\·f_x}{Z_{K_i}}=\frac{L\·f_x}{2Z_{K_i}}=D_{K_i}(i=\mathrm{1,2},...,n)---\left(14\right)$

$H_{J_{n3}{r}_3}=\frac{H_{\mathrm{JR}}\·f_x}{Z_{\mathrm{Jn}}}=\frac{L\·f_x}{2Z_{\mathrm{Jn}}}=2D_{{\mathrm{KJ}}_n}---\left(15\right)$

因此，

$H_{j_{n3}{k}_{n3}}=H_{j_{n3}{r}_3}-H_{k_{n3}{r}_3}=2D_{J_n}-D_{K_n}---\left(16\right)$

最后，区域HI在非平坦背景中将变化为区域H_nI，因此需要计算视点V₃中对应的区域由于H_nI由区域H_nH和区域HI组成，可以通过式(10)计算。

设在视点V₃中点Q_i是点H第i次迭代所得的点，在成像平面T中与点H在同一位置，因此等于点H_i和点Q_i具有相同的物理深度。由于已知，Q₀的物理深度可由得到，可得：

$\frac{H_0{Q}_0}{V_2{V}_3}=\frac{Z_I-Z_{H_0}}{Z_{H_0}}=\frac{H_0{Q}_0}{L/2}---\left(17\right)$

$\frac{H_0{Q}_0}{H_{h_{03}{q}_{03}}}=\frac{Z_{H_0}}{f_x}---\left(18\right)$

结合以上两式，得

$H_{h_{03}{h}_3}=H_{h_{03}{q}_{03}}=\frac{L\·f_x}{2}(\frac{1}{Z_{H_0}}-\frac{1}{Z_I})=D_{H_0}-D_I---\left(19\right)$

所以的初始值设为下一个迭代过程将H_i点的深度值和对应的视差作为变量：

$H_{h_{i3}{h}_3}=H_{h_{i3}{q}_{i3}}=D_{H_i-D_I}(i=\mathrm{1,2},...,n)---\left(20\right)$

区域的大小可以通过下式计算得到：

$H_{h_{n3}{i}_3}=H_{h_{n3}{h}_3}+H_{h_3{i}_3}=D_{H_n}-D_N-{2D}_I---\left(21\right)$

至此，在3D映射前计算区域大小所必需的未知点，例如B_n、E_n、H_n和K_n可以根据提出的迭代方法计算获得，然后计算区域的大小并进行分区域映射。

本发明的优点及积极效果是：

1)本方法基于分区域映射思想，充分利用了不同区域的信息做3D映射，减少了不必要区域的映射,避免了双效应区域的重复映射，因此提高了映射速度；

2)在不降低合成质量的前提下极大地提高了3D映射的速度，降低了合成端DIBR的时间复杂度，提高了实时性，特别适合于对计算量敏感的应用中。

附图说明

图1是合成虚拟视点的基本流程框图；

图2是本发明中的区域划分俯视图；

图3是本发明的步骤流程图；

图4是本发明的基于区域的绘制图；

图5是3D映射中产生的空洞示意图；

图6是一般情况下的区域分割示意图；

图7是迭代求解B_n位置示意图；

图8是迭代求解H_n位置示意图；

图9是本发明方案的恢复效果图；

具体实施方式

对本发明提出的分区域3D视频映射方案，做了初步的测试实验。采用标准测试序列作为输入，即Philips的Mobile序列，取了前100帧做测试，序列分辨率720*540。使用了三种不同的模式：整像素、半像素，四分之一像素。使用dell工作站做仿真，工作站参数为：Intel(R),Xeon(R)Quad-Core CPU，2.8GHz，4.00GB-DDR3内存。软件平台为Visual studio 2008，用C++语言编程实现了本方案。

本实例是这样实现的，其过程包括下列步骤：

第一步：摄取3D视频两个相邻视点的纹理图和对应的深度图，然后计算阈值ΔZ_max＝20。

第二步：选取视点V₁或者视点V₃作为主视点，检测主视点深度图中的边界。

即：(1)如果F(x，y)＝1，则认为(x，y)和(x-1，y)之间有一个左边界，(x，y)属于前景，(x-1，y)属于背景，此时将会在虚拟视点V₂中发生“遮挡”；

(2)如果F(x，y)＝-1，认为(x+1，y)和(x，y)之间有一个右边界，(x，y)属于前景，(x+1，y)属于背景，此时会在虚拟视点V₂中引起“非遮挡空洞”；

(3)如果F(x，y)等于0，则相邻像素之间没有边界。

第三步：对主视点执行区域分割，并逐区域进行3D映射：

首先考虑背景为平面且与成像平面T平行的情况，其分区域方法如图4所示。假设视点V₁被选为主视点，3D映射过程按照虚拟视点V₂所需的区域“从左到右”顺序进行，可分为六个步骤：

1)求取区域AB在视点V₁中的长度并跳过此区域不做3D映射：

设代表区域a₁b₁的长度，同理H_AB代表A、B两点间距离，Z_A和Z_B分别代表A点、B点的物理深度值。H_AB等于L/2。由于背景是一个平面，Z_A和Z_B具有相同的长度，所以为：

其中，D_A代表A点在视点V₁和虚拟视点V₂间的视差，可以通过a₁点的深度值计算得到；

2)首先计算左边界区域EF在视点V₁中的长度然后由视点V₁中左边界点f₁的坐标减去来确定“e₁”点的位置，最后将视点V₁中的区域“b₁e₁”映射到虚拟视点V₂的“b₂e₂”区域，因此其中，D_M、D_F的求取方法同上述D_A；

3)求取区域MN在视点V₁中的对应区域“m₁n₁”，将“m₁n₁”映射到虚拟视点V₂中。

由于M对应左边界，N对应一个右边界，可以很容易地根据M和N在视点V₁中的坐标位置确定区域“m₁n₁”。然后根据3D映射将此区域映射到虚拟视点V₂中的“e₂h₂”区域。

4)计算区域HI在视点V₃中的长度并将视点V₃中区域“h₃i₃”映射到虚拟视点V₂中。 $H_{h_3{i}_3}=D_N-D_I;$

计算出区域长度，将通过将视点V₁中的边界点“i₁”映射到视点V₃中来寻找对应点“i₃”，利用点“i₃”的坐标减去来确定“h₃”的位置，最后将区域“h₃i₃”映射到虚拟视点V₂的区域“h₂i₂”中。D_N、D_I的求取方法同上述D_A；

5)将视点V_!的区域“i₁j₁”映射到虚拟视点V₂中：

利用主视点V₁的区域“i₁j₁”绘制虚拟视点V₂的“i₂j₂”区域。通过将区域“m₁j₁”作为一整个区域映射到虚拟视点V₂中来完成对区域“i₁j₁”的映射，而不再需要确定“i₁j₁”的大小；

6)计算视点V₃中区域“j₃k₃”的长度将区域“j₃k₃”从视点V₃映射到虚拟视点V₂中：

最后，对于虚拟视点V₂需要的区域“j₂k₂”，通过将点“j₁”映射到视点V₃中来得到“j₃”点，其次，由于Z_J＝Z_K，可以计算区域长度

综上所述，根据虚拟视点V₂所需区域“从左至右”的顺序，通过分区域映射得到了虚拟视点V₂，3D映射过程结束。

一般情况的区域分割：迭代求解法。当背景为非平面时，每个区域的大小将会改变，例如视点V₁中的边界无效区BNER将会从AB变为AB_n，因此的目的变为找到主视点V₁中的区域a₁b_n1的长度并跳过区域a₁b_n1，从b_n1开始映射。对此，提出一种迭代求解b_n1位置的方法。

首先假设A_i是点A经过第i次迭代所得点，在视点V₁的成像平面T中与A点位于同一位置；然后设点B_i和A_i具有相同的物理深度、但与A_i水平方向距离为L/2。

迭代初始条件：i＝0、迭代过程按照以下步骤重复执行：

1)在视点V₁中，使用确定c_i1在深度图中的位置，c_i1对应场景中的C_i点，此时可得C_i点的深度值及其视差，即视点V₁和虚拟视点V₂间视差；

2)将C_i点的深度值和视差赋给B_i点，计算区域A_iB_i的大小，因此可得：

$H_{a_{i1}{b}_{i1}}=D_{B_i}(i=\mathrm{1,2},...,n)---\left(12\right)$

当遇到以下两种情况之一时，迭代过程停止：

1)当B_i和B_i-1的深度值之差的绝对值小于ΔZ_max/2时，此时这个深度值之差不会造成映射后的虚拟视点V₂中出现大于一个采样精度的改变，即认为C_i点收敛于B_n；

2)最大的迭代次数小于5次。

在仿真过程中发现，一般经过一到两次迭代，C_i点即可收敛于B_n。通过类似的迭代算法可以得到：

$H_{e_{i1}{f}_1}=D_M-D_{E_i}(i=\mathrm{1,2},...,n)---\left(13\right)$

$H_{k_{i3}{r}_3}=\frac{H_{\mathrm{KR}}\·f_x}{Z_{K_i}}=\frac{L\·f_x}{2Z_{K_i}}=D_{K_i}(i=\mathrm{1,2},...n)---\left(14\right)$

$H_{J_{n3}{r}_3}=\frac{H_{\mathrm{JR}}\·f_x}{Z_{\mathrm{Jn}}}=\frac{L\·f_x}{2Z_{\mathrm{Jn}}}=2D_{{\mathrm{KJ}}_n}---\left(15\right)$

因此，

$H_{j_{n3}{k}_{n3}}=H_{j_{n3}{r}_3}-H_{k_{n3}{r}_3}=2D_{J_n}-D_{K_n}---\left(16\right)$

最后，区域HI在非平坦背景中将变化为区域H_nI，因此需要计算视点V₃中对应的区域由于H_nI由区域H_nH和区域HI组成，可以通过式(10)计算。

设在视点V₃中点Q_i是点H第i次迭代所得的点，在成像平面T中与点H在同一位置，因此等于点H_i和点Q_i具有相同的物理深度。由于已知，Q₀的物理深度可由得到，可得：

$\frac{H_0{Q}_0}{V_2{V}_3}=\frac{Z_I-Z_{H_0}}{Z_{H_0}}=\frac{H_0{Q}_0}{L/2}---\left(17\right)$

$\frac{H_0{Q}_0}{H_{h_{03}{q}_{03}}}=\frac{Z_{H_0}}{f_x}---\left(18\right)$

结合以上两式，得

$H_{h_{03}{h}_3}=H_{h_{03}{q}_{03}}=\frac{L\·f_x}{2}(\frac{1}{Z_{H_0}}-\frac{1}{Z_I})=D_{H_0}-D_I---\left(19\right)$

所以的初始值设为下一个迭代过程将H_i点的深度值和对应的视差作为变量：

$H_{h_{i3}{h}_3}=H_{h_{i3}{q}_{i3}}=D_{H_i}-D_I(i=\mathrm{1,2},...,n)---\left(20\right)$

区域的大小可以通过下式计算得到：

$H_{h_{n3}{i}_3}=H_{h_{n3}{h}_3}+H_{h_3{i}_3}=D_{H_n}-D_N-2D_I---\left(21\right)$

至此，在3D映射前计算区域大小所必需的未知点，例如B_n、E_n、H_n和K_n可以根据提出的迭代方法计算获得，然后计算区域的大小并进行分区域映射。

对于3D映射过程中产生的裂缝利用周围像素插值填补，而对于非遮挡空洞则利用另外一个原始视点的信息进行填补。

对读入的每一帧循环执行以上步骤，得最终实验结果，结果如下表1、2、3所示：其中表1表明本文方法能极大提高DIBR的绘制速度；表2和表3所示，峰值信噪比和结构相似度表明了绘制结果的可靠性；实际效果图参照附图9。

表1不同方法所需时间的对比图

表2不同方法PSNR(峰值信噪比)的对比图

表3不同方法SSIM(平均结构相似度指数度量)的对比图

Claims (1)

1.一种分区域的3D视频映射方法，其特征在于具体操作方法为：

第一步：摄取3D视频两个相邻视点的纹理图和深度图，摄取的两个视点分别记为视点V₁和视点V₃，假设用视点V₁和视点V₃来合成中间的虚拟视点V₂：

对于3D映射后产生的空洞，应用分类处理：首先，对于尺寸小于等于两个像素的空洞，称为“裂缝”，将利用同一视点中相邻像素进行插值来填补；而对于尺寸大于两个像素的空洞，称为“非遮挡空洞”，则使用另外一个视点的信息来填补，因此需区分开“非遮挡空洞”和“裂缝”，通过计算一个阈值ΔZ_max来区分二者：

${\mathrm{\ΔZ}}_{\max }=\frac{510}{L\·f_x\·(\frac{1}{z_{near}}-\frac{1}{z_{far}})}---\left(1\right)$

如果深度差值大于ΔZ_max，则会产生“非遮挡空洞”，否则是“裂缝”，其中，z_near和z_far是自然场景与摄像机之间的距离范围，也可称为深度范围，L是两个视点摄相机之间的距离，即基线长度，f_x是照相机焦距；

第二步：从视点V₁或者视点V₃中任选取一个视点为主视点，检测主视点深度图中的边界：

首先计算主视点深度图中每两个相邻像素之间的深度值之差ΔZ，然后根据ΔZ_max进行边界检测，

$F(x,y)=\left\{\begin{array}{c}1,{\mathrm{\ΔZ}}_L=d(x,y)-d(x-1,y)\≥{\mathrm{\ΔZ}}_{\max }\\ -1,{\mathrm{\ΔZ}}_R=d(x+1,y)-d(x,y)\≤-{\mathrm{\ΔZ}}_{\max }-\\ 0,otherwise\end{array}\right.---\left(2\right)$

d(x，y)代表(x，y)处的深度值，即：如果F(x，y)＝1，则认为相邻像素(x，y)和(x-1，y)之间有一个左边界，(x，y)属于前景，(x一1，y)属于背景，此时将会在虚拟视点V₂中发生“遮挡”；如果F(x，y)＝-1，认为(x+1，y)和(x，y)之间有一个右边界，(x，y)属于前景，(x+1，y)属于背景，此时会在虚拟视点V₂中引起“非遮挡空洞”；如果F(x，y)等于0，则相邻像素之间没有边界；

第三步：对主视点执行区域分割，并逐区域进行3D映射：

对不同区域采用不同的处理方法以节省计算量，首先考虑背景为平面且与成像平面T平行的情况，稍后再进行一般情况的分区域；假设视点V₁被选为主视点，如果视点V₃被选为主视点，方法类似；3D映射过程按照虚拟视点V₂所需的区域“从左到右”顺序进行，可分为六个步骤：

1)求取区域AB在视点V₁中的长度并跳过此区域不做3D映射：

由于区域AB超出了虚拟视点V₂的视觉范围，所以不需要将其在视点V₁中的对应区域a₁b₁映射到虚拟视点V₂中，设代表区域a₁b₁的长度，同理H_AB代表A、B两点间距离，Z_A和Z_B分别代表A点、B点的物理深度值，

$\frac{H_{a_1{b}_1}}{H_{AB}}=\frac{f_x}{Z_B}---\left(3\right)$

由于虚拟视点V₂位于视点V₁和视点V₃的中点处，所以H_AB等于L/2，由于背景是一个平面，Z_A和Z_B具有相同的长度，所以可表示为：

$H_{a_1{b}_1}=\frac{H_{AB}\·f_x}{Z_B}=\frac{L\·f_x}{2Z_B}=\frac{L\·f_x}{2Z_A}=D_A---\left(4\right)$

其中，D_A代表A点在视点V₁和虚拟视点V₂间的视差，可以通过a₁点的深度值计算得到：

$D_A=\frac{L}{2}\·f_x\·(\frac{d_{a_1}}{255}\·(\frac{1}{z_{near}}-\frac{1}{z_{far}})+\frac{1}{z_{far}})---\left(5\right)$

2)首先利用公式(8)计算左边界区域EF在视点V₁中的长度然后由视点V₁中左边界点f₁的坐标减去来确定“e₁”点的位置，最后将视点V₁中的区域“b₁e₁”映射到虚拟视点V₂的“b₂e₂”区域，因为

$H_{EF}=\frac{L}{2}\·\frac{Z_F-Z_M}{Z_M}---\left(6\right)$

$\frac{H_{e_1{f}_1}}{H_{EF}}=\frac{f_x}{Z_F}---\left(7\right)$

对比(6)(7)两式可得，

$H_{e_1{f}_1}=D_M-D_F---\left(8\right)$

其中，D_M、D_F的求取方法同上述D_A；

3)求取区域MN在视点V₁中的对应区域“m₁n₁”，将“m₁n₁”映射到虚拟视点V₂中：

现在需要从视点V₁的区域“m₁n₁”绘制虚拟视点V₂的“e₂h₂”区域，由于M对应左边界，N对应一个右边界，可以很容易地根据M和N在视点V₁中的坐标位置确定区域“m₁n₁”，然后根据3D映射将此区域映射到虚拟视点V₂中的“e₂h₂”区域；

4)计算区域HI在视点V₃中的长度并将视点V₃中区域“h₃i₃”映射到虚拟视点V₂中：

因为虚拟视点V₂需要的HI区域在视点V₁中被遮挡，因此需要从视点V₃中寻找对应的区域“h₃i₃”，并将其映射到虚拟视点V₂的“h₂i₂”，由三角形相似性得：

$H_{HI}=\frac{L}{2}\·\frac{Z_I-Z_N}{Z_N}---\left(9\right)$

因此可得，

$H_{h_3{i}_3}=D_N-D_I---\left(10\right)$

根据上式计算区域长度并通过将视点V₁中的边界点“i₁”映射到视点V₃中来寻找对应点“i₃”，利用点“i₃”的坐标减去来确定“h₃”的位置，最后将区域“h₃i₃”映射到虚拟视点V₂的区域“h₂i₂”中，D_N、D_I的求取方法同上述D_A；

5)将视点V₁的区域“i₁j₁”映射到虚拟视点V₂中：

利用主视点V₁的区域“i₁j₁”绘制虚拟视点V₂的“i₂j₂”区域；因为在视点V₁中“i₁j₁”紧邻“m₁n₁”，而且j₁点是视点V₁成像平面T的终点，因此，可通过将区域“m₁j₁”作为一整个区域映射到虚拟视点V₂中来完成对区域“i₁j₁”的映射，而不再需要确定“i₁j₁”的大小；

6)计算视点V₃中区域“j₃k₃”的长度H_j3k₃，将区域“j₃k₃”从视点V₃映射到虚拟视点V₂中：

最后，对于虚拟视点V₂需要的区域“j₂k₂”，由于在主视点V₁中不可得，因此需要从视点V₃的相应区域来得到；对此，需要首先确定视点V₃中“j₃”点位置，通过将点“j₁”映射到视点V₃中来得到“j₃”点，其次，由于Z_J＝Z_K，可以通过下式来计算区域长度

$H_{j_3{k}_3}=H_{j_3{r}_3}-H_{k_3{r}_3}=\frac{L\·f_x}{Z_J}-\frac{L\·f_x}{2Z_K}=\frac{L\·f_x}{2Z_J}=D_J---\left(11\right)$

综上所述，根据虚拟视点V₂所需区域“从左至右”的顺序，通过分区域映射得到了虚拟视点V₂，3D映射过程结束；

一般情况的区域分割：迭代求解法：当背景为非平面时，每个区域的大小将会改变，当视点V₁中的边界无效区BNER将会从AB变为AB_n时，目的变为找到主视点V₁中的区域a₁b_n1的长度，并跳过区域a₁b_n1，从b_n1开始映射，对此，提出一种迭代求解b_n1位置的方法：

首先假设A_i是点A经过第i次迭代所得点，在视点V₁的成像平面T中与A点位于同一位置；然后设点B_i和A_i具有相同的物理深度、但与A_i水平方向距离为L/2；

迭代初始条件：i＝0、如公式(4)所示，迭代过程按照以下步骤重复执行：

1)在视点V₁中，使用确定c_i1在深度图中的位置，c_i1对应场景中的C_i点，此时可得C_i点的深度值及其视差，即视点V₁和虚拟视点V₂间视差；

2)将C_i点的深度值和视差赋给B_i点，通过式(4)计算区域A_iB_i的大小，因此可得：

$H_{a_{i_1}{b}_{i_1}}=D_{B_i},i=1,2,...,n---\left(12\right)$

当遇到以下两种情况之一时，迭代过程停止：

1)当B_i和B_i-1的深度值之差的绝对值小于ΔZ_max/2时，此时这个深度值之差不会造成映射后的虚拟视点V₂中出现大于一个采样精度的改变，即认为C_i点收敛于B_n；

2)最大的迭代次数小于5次；

在仿真过程中发现，一般经过一到两次迭代，C_i点即可收敛于B_n，通过类似的迭代算法可以得到：

$H_{e_{i_1}{f}_1}=D_M-D_{E_i},i=1,2,...,n---\left(13\right)$

$H_{k_{i_3}{r}_3}=\frac{H_{KR}\·f_x}{Z_{K_i}}=\frac{L\·f_x}{2Z_{K_i}}=D_{K_i},i=1,2,...,n---\left(14\right)$

$H_{J_{n_3}{r}_3}=\frac{H_{JR}\·f_x}{Z_{J_n}}=\frac{L\·f_x}{2Z_{J_n}}=2D_{{\mathrm{KJ}}_n}---\left(15\right)$

因此，

$H_{j_{n_3}{k}_{n_3}}=H_{j_{n_3}{r}_3}-H_{k_{n_3}{r}_3}=2D_{J_n}-D_{K_n}---\left(16\right)$

最后，区域HI在非平坦背景中将变化为区域H_nI，因此需要计算视点V₃中对应的区域由于H_nI由区域H_nH和区域HI组成，可以通过式(10)计算；

设在视点V₃中点Q_i是点H第i次迭代所得的点，在成像平面T中与点H在同一位置，因此等于点H_i和点Q_i具有相同的物理深度，由于已知，Q₀的物理深度可由得到，可得：

$\frac{H_0{Q}_0}{V_2{V}_3}=\frac{Z_I-Z_{H_0}}{Z_{H_0}}=\frac{H_0{Q}_0}{L/2}---\left(17\right)$

$\frac{H_0{Q}_0}{H_{h_{03}{q}_{03}}}=\frac{Z_{H_0}}{f_x}---\left(18\right)$

结合以上两式，得

$H_{h_{03}{h}_3}=H_{h_{03}{q}_{03}}=\frac{L\·f_x}{2}(\frac{1}{Z_{H_0}}-\frac{1}{Z_I})=D_{H_0}-D_I---\left(19\right)$

所以的初始值设为下一个迭代过程将H_i点的深度值和对应的视差作为变量：

$H_{h_{i_3}{h}_3}=H_{h_{i_3}{q}_{i_3}}=D_{H_i}-D_I,i=1,2,...,n---\left(20\right)$

区域的大小可以通过下式计算得到：

$H_{h_{n_3}{i}_3}=H_{h_{n_3}{h}_3}+H_{h_3{i}_3}=D_{H_n}-D_N-2D_I---\left(21\right)$

至此，在3D映射前计算区域大小所必需的未知点，点B_n、E_n、H_n和K_n可以根据提出的迭代方法计算获得，然后计算区域的大小并进行分区域映射。