CN101222647A - 多视角视频图像的场景全局深度估计方法 - Google Patents

Abstract

本发明涉及视频信号处理技术。本发明提供一种汇聚相机系统下多视角视频图像的场景全局深度估计方法。多视角视频图像的场景全局深度估计方法，包括以下步骤：a.将汇聚点的深度值作为深度初始估计值；b.参考深度初始估计值确定全局深度估计的深度搜索范围与搜索步长；c.计算目标视图的像素点通过反投影和重投影在参考视图中的对应像素点，并得到目标视图在参考相机系统中的合成视图；d.在深度搜索范围内以所述搜索步长进行搜索，把使得合成视图与参考视图的误差最小的深度值作为目标视图的场景全局深度值。本发明的有益效果是，能有效地对汇聚相机系统下多视角视频图像进行全局深度信息的估计，快速有效地直接获取深度信息。

Description

多视角视频图像的场景全局深度估计方法

技术领域

本发明涉及视频信号处理技术，具体涉及一种汇聚相机系统下多视角视频图像的全局深度估计方法。

背景技术

多视角视频(Multi-view video)是指不同方位的多个摄像机对同一场景拍摄得到的视频信号，它是立体电视(3DTV)和任意视角视频系统(FVV，Free Viewpoint Video System)等新型应用的基础。利用多视角视频和图像合成技术可以产生摄像机覆盖范围内的任意视角的视频信息，观察者可根据自己的喜好自由地切换观察视角，从而得到具有交互功能的高质量的视频观看体验。由于多视角视频数据随摄像机数目的增加而成倍增加，所以高效压缩编码多视角视频中的海量数据已成为目前视频处理领域的一个研究热点。国际标准组织MPEG早在2002年就开始3D音视频(3DAV)方面的探索研究，并发展为多视角视频编码(MVC，Multi-view Video Coding)的研究，2006年MVC成为最新标准H.264/AVC的扩展部分。

多视角视频压缩编码中，除了利用传统的单视频序列中的运动补偿技术消除时间冗余外，还要考虑利用各视角图像之间的相关性，从而进一步提高压缩效率。目前，H.264中关于利用不同视角图像间的相关性进行编码的提案主要分为两类：一、基于视差补偿的视图预测编码方法(DCVP，Disparity Compensated View Prediction)：在编码和解码端分别进行像素的视差估计，在编码端利用视差进行视图插值得到预测信息，对预测残差进行编码(ISO/IEC JTC1/SC29/WG11，Doc.JVT-T119，2006)，该方法适用于相机视角密集、视角之间旋转不大的情形，如平行相机系统。二、视图合成预测编码(VSP，View SynthesisPrediction)：在编码端进行块的深度信息估计，然后进行视图合成得到预测块，对深度信息和预测残差进行编码(ISO/IEC JTC1/SC29/WG11，Doc.JVT-T123，2006)，该方法适用于视角之间存在较大旋转、视图存在较大投影变形的情形，如视角稀疏的汇聚相机系统。

2007年4月JVT最新会议提案(ISO/IEC JTC1/SC29/WG11，Doc.JVT-W100，2007)提出了MVD(Multi-view video plus depth)概念，即视频加深度的多视角视频编码。由于MVD能够满足先进三维视频或任意视角视频应用的本质需求，能够在解码端生成一定范围内的连续的任意视角的视图，而不是数量有限的离散的视图，所以视频加深度的MVD方案已经被JVT采纳，被确定为今后的发展方向。

所以，如何从不同视角的两幅或多幅视图获取场景的深度信息成为了今后多视角视频编码的重要问题之一。

迄今，已有很多与深度估计相关的研究和估计算法。常用的深度估计方法是，先利用基于特征或块匹配的方法估计两幅图像之间的水平视差，然后再根据深度与视差成反比的关系计算出深度信息。但上述深度估计方法只适合平行相机系统，应用范围有限。如是适用于其它相机系统，则还需先对图像对进行校正，处理过程复杂。而在多视角视频的实际应用中，摄像机系统通常以圆弧方式排列，形成汇聚相机系统。汇聚相机系统可以获得场景中多个角度的不同信息，各视图之间存在较大的投影变形，利用未考虑块变形的视差估计方法无法快速有效地直接获取深度信息。

在基于视差补偿的DCVP编码方法中，JVT会议提案(IS0/IEC JTC1/SC29/WG11，Doc.JVT-T136，2006)提出了全局视差补偿的概念，采用了2000年3月公开的专利号为US6043838的美国专利，发明名称为“基于偏移估计的立体视频编码技术(View OffsetEstimation for Stereoscopic Video Coding)。该方案让一个视角图像沿着水平x和垂直y方向移动，取使得两个视角图像的重叠区域的绝对差最小的x和y的值为全局视差向量。不同视角的图像先经过全局视差补偿后，视差向量主要分布在零附近，这减小了视差的搜索范围、降低了视差估计的计算量和复杂度，从而提高了编码效率。类似地，在基于深度信息的VSP和采用MVD格式的编码方法中，为了减少深度信息的编码比特开销、提高深度搜索的速度和效率，应该先进行场景全局深度估计和补偿的处理(ISO/IEC JTC1/SC29/WG11，Doc.JVT-W133，2007)。另外，深度估计中搜索范围和步长的确定对估计性能至关重要(ISO/IEC JTC1/SC29/WG11，Doc.JVT-W059，2007)，全局深度估计值可以为深度估计中的搜索范围和搜索步长的确定提供重要信息。因此，场景全局深度信息的估计也成为基于MVD框架的多视角视频编码中的一个重要问题，但目前尚未有相关的解决方法。

发明内容

本发明所要解决的技术问题是，提供一种汇聚相机系统下多视角视频图像的场景全局深度估计方法。

本发明为解决上述技术问题所采用的技术方案是，多视角视频图像的场景全局深度估计方法，包括以下步骤：

a、利用汇聚相机系统中各相机的外部参数计算汇聚点，将汇聚点的深度值作为深度初始估计值；

b、参考深度初始估计值确定全局深度估计的深度搜索范围与搜索步长；

c、利用相机的内外部参数和给定的深度值，计算目标视图的像素点通过反投影和重投影在参考视图中的对应像素点，并得到目标视图在参考相机系统中的合成视图；

d、在所述深度搜索范围内以所述搜索步长进行搜索，把使得合成视图与参考视图的误差最小的深度值作为目标视图的场景全局深度值。

本发明定义目标视图是当前需要进行深度估计的视图，其对应的相机为目标相机，而其它视图为所述的参考视图，对应的相机为参考相机；所述的合成视图是指目标视图先反投影到三维场景、再重投影到参考相机中的视图。

具体的，求解以下线性方程，得到相机系统汇聚点的深度值z_i ⁰：

$R_i[\mathrm{0,0},z_i^0]+t_i=R_1[\mathrm{0,0},z_1^0]+t_1$

$R_i[\mathrm{0,0},z_i^0]+t_i=R_2[\mathrm{0,0},z_2^0]+t_2$

------

$R_i[\mathrm{0,0},z_i^0]+t_i=R_m[\mathrm{0,0},z_m^0]+t_m$

其中，m为汇聚相机系统中的相机总数；R_i(i∈1，---，m)为目标相机坐标系相对于世界坐标系的三维旋转矩阵；t_i(i∈1，---，m)为目标相机坐标系相对于世界坐标系的平移向量。用线性最小二乘法求解方程组(5)，可求得目标相机中汇聚点的深度值z_i ⁰，以z_i ⁰作为场景深度的初始估计值。深度初始值通过一个简单的线性方程组的求解得到，计算简单快速。

具体的，步骤c所述合成视图Synyhesized_I_x所采用以下公式得到：

$\mathrm{Synthesize\; d}\_I_x\left(P_x\right)=\mathrm{Synthesize\; d}\_I_x\left(f_x(z,P)\right)=I_i\left(P\right)\∀P\∈I_i$

目标视图I_i中的像素点P在给定深度Z下，通过反投影和重投影，对应于参考相机系统中的合成视图Synthedized_I_x中的像素点P_x；函数f_x为所述另一相机坐标系的投影函数；x∈1，---，m且x≠i；i∈1，---，m。

进一步的，

$f_x(z_j,P_i)=\frac{z_j{\mathrm{BP}}_i+\mathrm{Ct}}{z_j{b}_3^T{P}_i+c_3^{T}t},$

其 $C=A_x{R}_x^{-1},$ $B=A_x{R}_x^{-1}{R}_i{A}_i^{-1}=C{R}_i{A}_i^{-1},$ t＝t_i-t_x，R_i(i∈1，---，m)为目标相机坐标系相对于世界坐标系的三维旋转矩阵；t_i(i∈1，---，m)为目标相机坐标系相对于世界坐标系的平移向量；m为汇聚相机系统中的相机总数；A_i为目标相机的内部参数矩阵；R_x(x∈1，---，m且x≠i)参考相机坐标系相对于世界坐标系的三维旋转矩阵；t_x(x∈1，---，m且x≠i)为参考相机坐标系相对于世界坐标系的平移向量；A_x为参考相机的内部参数矩阵；b₃和c₃分别是矩阵B和C的第三行向量。

具体的，全局深度值Z_G通过以下公式求得：

$\underset{\underset{x\≠i}{x=1,\·\·\·,m}}{\mathrm{\Σ}}\underset{P\∈I_i}{\mathrm{\Σ}}\left|\right|I_i\left(P\right)-I_x\left(f_x(z_G,P)\right)\left|\right|=$

$\underset{z_j\∈\{z_{\min },z_{\min }+z_{\mathrm{step},\·\·\·,z_{\max }}\}}{\min }\underset{\underset{x\≠i}{x=1,\·\·\·,m}}{\mathrm{\Σ}}\underset{P\∈I_i}{\mathrm{\Σ}}\left|\right|I_i\left(P\right)-I_x(f_x(z_j,P)\left|\right|$

其中，搜索范围为[z_min，z_max]，Z_step为搜索步长。深度初始值为全局深度估计中的搜索范围和搜索步长的确定提供了非常重要和有效的参考信息，可以减小深度估计的搜索范围并确定合理的搜索步长，从而提高估计效率。

本发明的有益效果是，能有效地对汇聚相机系统下多视角视频图像进行全局深度信息的估计，快速有效地直接获取深度信息。

附图说明

图1是多视角视频图像中的坐标系示意图；

图2是汇聚相机系统示意图；

图3是本发明的基于深度的视图合成示意图；

图4是本发明的全局深度估计示意图；

图5是本发明的系统流程图。

具体实施方式

为了更好地描述本发明的内容，首先对多视角视频中的坐标系统以及各坐标之间的关系进行说明：

在多视角视频中通常需要三个类型的坐标系来描述场景及其图像位置信息，它们分别为世界坐标系o-xyz、相机坐标系o_i-x_iy_iz_i和像素坐标系u_iv_i。

相机坐标系以相机中心为原点、光轴为z轴，xy平面与图像平面平行；像素坐标系以图像左上角为坐标原点，水平和垂直坐标为u、v，uv平面为图像平面。汇聚相机系统中相机的个数为m，系统中的任一相机c_i(i∈1，---，m)的相机坐标系o_i-x_iy_iz_i相对于世界坐标系o-xyz的位置用三维旋转矩阵R_i和平移向量t_i表示，R_i与t_i又称为相机的外部参数。图1示出了2个相机的相机坐标系o₁-x₁y₁z₁、o₂-x₂y₂z₂，以及对应的像素坐标u₁v₁、u₂v₂。

设相机c_i(i∈1，---，m)的假设场景中一点在世界坐标系下的坐标用向量p＝[x，y，z]表示，该点在相机坐标系o_i-x_iy_iz_i中的坐标则用向量P_i＝[x_i，y_i，z_i]表示。根据空间几何和坐标变换，相机坐标系中的向量P_i与世界坐标系下向量P有如下关系：

p＝R₁p₁+t₁

p＝R₂p₂+t₂

            (1)

------

p＝R_mp_m+t_m

根据计算机视觉透视投影原理，相机坐标系下的坐标P_i(i∈1，---，m)与其在图像平面的齐次像素坐标P_i＝[u_i，v_i，1](i∈1，---，m)满足以下关系：

z₁P₁＝A₁p₁

z₂P₂＝A₂p₂

                (2)

------

z_mP_m＝A_mp_m

其中，A_i(i∈1，---，m)是相机c_i(i∈1，---，m)的内部参数矩阵，主要包括相机焦距、中心和变形参数等；Z_i(i∈1，---，m)为场景点的向量P在相机c_i坐标系统中Z轴的坐标。

为了实现全局深度估计，本发明首先利用相机参数求得汇聚系统的汇聚点，并把该点作为场景深度的深度初始估计值；利用所述的深度初始估计值，确定全局深度估计的搜索范围和搜索步长；再利用视图合成技术求使得合成视图与实际视图之间的绝对差最小的深度值作为场景的全局深度值。

图2所示为，m个相机组成的一个汇聚系统。需要估计深度的视图称为目标视图，对应的相机系统称为目标相机系统。其它的视图为参考视图。这样多视角视频就包含1个目标视图(当前需要估计深度的视图)和m-1个参考视图。全局深度值估计的具体方法如下：

1、深度初始值估计

多视角视频的一个主要目标是在多个角度拍摄同一场景的信息，相机通常呈圆弧形放置，并且相机光轴汇聚于一点，即所谓的汇聚系统。实际应用中，虽然相机可能不严格汇聚于一点，但总可以找到一个与各相机光轴距离最近的一个点，这个点被认为汇聚点。汇聚点通常都是场景所在的位置，可以认为是场景的一个缩影点，所以通过求得汇聚点的位置就可以求得场景深度的一个初始估计。该估计值为后续的场景全局深度的估计提供了良好的初始值，而且为全局深度估计的搜索范围和搜索步长的确定提供了重要的参考信息，从而可以减小计算量、提高估计效率。

设汇聚点在世界坐标系中的坐标为M_c＝[x_c，y_c，z_c]，该点位于每个相机的光轴上，所以该点在以光轴为Z轴的相机坐标系中可以表示为：

$M_1=[\mathrm{0,0},z_1^0]$

$M_2=[\mathrm{0,0},z_2^0]$

                 (3)

-----

$M_m=[\mathrm{0,0},z_m^0]$

其中z_i ⁰(i∈1，---，m)是汇聚点在相机c_i的坐标系中的深度，m为相机个数。根据世界坐标与相机坐标的关系可得到：

M_c＝R₁M₁+t₁

M_c＝R₂M₂+t₂

               (4)

------

M_c＝R_mM_m+t_m

消去M_c得到

$R_i[\mathrm{0,0},z_i^0]+t_i=R_2[\mathrm{0,0},z_2^0]+t_2$

$R_i[\mathrm{0,0},z_i^0]+t_i=R_3[\mathrm{0,0},z_3^0]+t_3$

(5)

------

$R_i[\mathrm{0,0},z_i^0]+t_i=R_m[\mathrm{0,0},z_m^0]+t_m$

式(5)是关于深度z₁ ⁰，z₂ ⁰，---z_m ⁰的3(m-1)个线性方程。用线性最小二乘法求解方程组(5)，可求得汇聚点在各相机坐标系中的深度值z_i ⁰，z_i ⁰为深度初始估计值。

2、基于深度的视图合成

深度值给定，目标视图中的像素点则可根据目标相机的内外部参数(A_i、R_i、t_i)把该像素点反投影到场景中，再把场景点投影到参考相机的视角中生成合成视图。

考虑两个视图的情形，设视图I₁为目标视图，视图I₂为参考视图。视图I₁中的像素点P₁在其相机c₁坐标系下的深度值为Z₁，该点在视图I₂中的对应像素点为P₂′，在其相机c₂坐标系下的深度值为Z₂，根据公式(1)(2)可推导得到

$z_1{R}_1{A}_1^{-1}{P}_1+t_1=z_2{R}_2{A}_2^{-1}{P}_2^{\′}+t_2---\left(6\right)$

由式(6)得到：

$A_2{R}_2^{-1}(z_1{R}_1{A}_1^{-1}{P}_1+t_1-t_2)=z_2{P}_2^{\′}---\left(7\right)$

为方便描述，记：

$C=A_2{R}_2^{-1},B=A_2{R}_2^{-1}{R}_1{A}_1^{-1}={\mathrm{CR}}_1{A}_1^{-1},t=t_1-t_2$

则(7)式变为：

$z_1{\mathrm{BP}}_1+\mathrm{Ct}=z_2{P}_2^{\′}---\left(8\right)$

其中B，C是三维矩阵，t是两个相机之间的平移向量。由于P₁，P₂′是齐次坐标，可消去(8)中的Z₂，得到像素点P₁在视图2中的像素齐次坐标为：

$P_2^{\′}=\frac{z_2{P}_2^{\′}}{z_2}=\frac{z_1{\mathrm{BP}}_1+\mathrm{Ct}}{z_1{b}_3^T{P}_1+c_3^{T}t}\widehat{=}{f}_2(z_1,P_1)---\left(9\right)$

其中b₃和c₃分别是矩阵B和C的第三行向量。

由式(9)可得出：在相机c₁与c₂内外部参数已知的情况下，视图I₂的像素点值是关于视图I₁中的像素点值及其深度值的函数。利用公式(9)进行视图I₁在参考视图I₂中的视图合成。

视图I₁中的像素点P₁，在给定的深度Z下通过反投影和重投影得到其在相机c₂的视角中的合成视图Synthesized_I₂的像素点P₂， $P_2\widehat{=}{f}_2(z,P_1),$ 如图3所示(图中将合成视图Synthesized_I₂简写为S_I₂)，假设同一场景点在不同视图中具有相同的亮度色度值，则

Synthesized_I₂(P₂)＝Synthesized_I₂(f₂(z，P₁))＝I₁(P₁)    (10)

上述说明是以两个相机组成的汇聚相机系统为例，同样可以进一步得出由m个相机组成的汇聚相机系统可以适用于上述原理，合成视图Synthesized_I_x的像素点P_x的亮度色度取值是由目标相机坐标系的视图I_i的对应像素点P决定的，在参考相机视角下的合成视图Synthesized_I_x可由下式得到：

$\mathrm{Synthesize\; d}\_I_x\left(P_x\right)=\mathrm{Synthesize\; d}\_I_x\left(f_x(z,P)\right)=I_i\left(P\right)\∀P\∈I_i---\left(11\right)$

函数f_x为在深度值Z下把目标视图I_i(i∈1，---，m)中的像素点P(x∈1，---，m且x≠i)投影到合成视图Synthesized_I_x的像素点P_x的投影函数。

3、全局深度值估计

目标视图I_i在不同的深度值下在同一个参考相机的视角中有不同的合成视图，理论上在真实深度值下形成的合成视图与实际视图才会重合，本发明正是利用此原理求得全局深度值。

如图4所示，在深度Z下，合成视图Synthesized_I₂与视图I₂之间的误差为：

$\underset{P_1\∈I_1}{\mathrm{\Σ}}\left|\right|\mathrm{Synthesised}\_I_2\left(f(z,P_1)\right)-I_2\left(f(z,P_1)\right)\left|\right|=$

                   (12)

$\underset{P_1\∈I_1}{\mathrm{\Σ}}\left|\right|I_1\left(P_1\right)-I_2\left(f(z,P_1)\right)\left|\right|$

其中，||·||是可以取绝对值，也可以取平方和。

为了提高基于深度信息的视图合成预测编码的编码效率，以深度初始估计值z₁ ⁰为中心在一定的搜索范围内，以一定的步长，搜索合成视图与参考视图之间的绝对差最小的深度值作为场景的全局深度值Z_G(G∈j)，即场景全局深度的求解可转化为求解以下问题：

$\underset{P_1\∈I_1}{\mathrm{\Σ}}\left|\right|I_1\left(P_1\right)-I_2\left(f_2(z_G,P_1)\right)\left|\right|=$

                    (13)

$\underset{z_j\∈\{z_{\min },z_{\min }+z_{\mathrm{step}},...,z_{\max }\}}{\min }\underset{P_1\∈I_1}{\mathrm{\Σ}}\left|\right|I_1\left(P_1\right)-I_2(f_2(z_j,P_1)\left|\right|$

其中[Z_min，Z_max]为搜索区间，Z_step为搜索步长，Z_i为搜索深度，j为深度搜索个数，j＝1，2，---N，z_j＝z_min+j·z_step，z_max＝z_min+N·z_step。

通过式(13)得到视图I₁的相机坐标系下的场景全局深度估计值Z_G。同理，m个相机组成的汇聚系统中，搜索合成视图Synthesized_I_x与参考视图I_x之间的绝对差最小的深度值作为场景的全局深度值Z_G：

$\underset{\underset{x\≠i}{x=1,\·\·\·,m}}{\mathrm{\Σ}}\underset{P\∈I_i}{\mathrm{\Σ}}\left|\right|I_i\left(P\right)-I_x\left(f_x(z_G,P)\right)\left|\right|=$

                 (14)

$\underset{z_j\∈\{z_{\min },z_{\min }+z_{\mathrm{step}},...,z_{\max }\}}{\min }\underset{\underset{x\≠i}{x=1,\·\·\·,m}}{\mathrm{\Σ}}\underset{P\∈I_i}{\mathrm{\Σ}}\left|\right|I_i\left(P\right)-I_x(f_x(z_j,P)\left|\right|$

其中j＝1，2，---N；i∈1，…，m。

本发明由于通过求汇聚点的方法从式(5)线性方程组已经得到场景深度的一个初始估计值，所以式(13)与式(14)中搜索区间可以设在初始估计值为中心的局部范围内，避免大范围的搜索，减小了计算量；搜索步长的确定也以初始估计值为参照，通常可以设为初始估计值的某一比例值。

实施例

在本实施例中，为方便描述，以2个相机组成的汇聚相机系统为例。利用两个相机的内部参数A_i(i∈1，2)外部参数R_i，t_i(i∈1，2)和在各相机系统下形成的视图I₁与I₂进行全局深度估计。以视图I₁为目标视图，以视图I₂为参考视图，求视图I₁的全局深度值的步骤如图5所示：

步骤1：计算两个相机c₁与c₂的光轴汇聚点，得到相机坐标下的场景初始深度值。

根据式(5)得到关于汇聚点在两相机坐标系下的深度值z₁ ⁰和z₂ ⁰的线性方程：

$R_1[\mathrm{0,0},z_1^0]+t_1=R_2[\mathrm{0,0},z_2^0]+t_2$

通过线性方程求解方法得到场景初始深度值z₁ ⁰。

步骤2：根据初始深度值z₁ ⁰，确定视图I₁的深度搜索范围和搜索步长。

由于步骤1得到的初始深度值通常是场景深度的在数量级上的大概估计值，所以搜索区间以初始估计值为中心的±50％范围，搜索步长可确定为初始估计值的1％，即

$[z_{\min },z_{\max }]=[\frac{z_1^0}{2},\frac{3z_1^0}{2}]$

$z_{\mathrm{step}}=\frac{z_1^0}{100}$

步骤3：在搜索范围内，对每个给定的深度，求场景在视图I₂中的合成视图Synthesized_I₂。

给定视图I₁的深度Z_j＝Z_min+j·Z_step，j＝1，---，100，100为深度搜索个数。根据式(9)，计算视图I₁中的像素点P₁在给定的深度值Z_j下在相机c₂坐标系中对应像素点P₂，并把P₁的亮度色度值作为视图I₂的合成视图Synthesized_I₂的像素P₂的亮度色度值，得到合成视图Synthesized_I₂，即：

$P_2\widehat{=}{f}_2(z_j,P_1)$

Synthesized_I₂(P₂)＝Synthesized_I₂(f₂(z_j，P₁))＝I₁(P₁)

$\underset{P_2\∈I_2}{\mathrm{\Σ}}\mathrm{Synthesized}\_I_2\left(P_2\right)=\underset{P_1\∈I_1}{\mathrm{\Σ}}\mathrm{Synthesized}\_I_2\left(f_2(z_j,P_1)\right)=\underset{P_1\∈I_1}{\mathrm{\Σ}}{I}_1\left(P_1\right)$

步骤4：计算深度值Z_i下的合成视图Synthesized_I₂和视图I₂的误差绝对和。

$\mathrm{SAD}\left(i\right)=\underset{P_1\∈I_1}{\mathrm{\Σ}}\left|\right|I_1\left(P_1\right)-I_2\left(f_2(z_j,P_1)\right)\left|\right|$

式中对视图I₁中的所有像素点求和，并且使用像素点的所有亮度、色度分量。

步骤5：取使得合成视图Synthesized_I₂和视图I₂的绝对差最小的深度值，作为全局深度估计值。

SAD_min＝SAD(k)＝minSAD(j)

令Z_G＝Z_min+k·Z_step

则Z_G为视图I₁的场景全局深度值。同理，也可求得视图I₂的场景全局深度值。

Claims (7)

1.多视角视频图像的场景全局深度估计方法，其特征在于，包括以下步骤：

a、利用汇聚相机系统中各相机的外部参数计算汇聚点，将汇聚点的深度值作为深度初始估计值；

b、参考深度初始估计值确定全局深度估计的深度搜索范围与搜索步长；

c、利用相机的内外部参数和给定的深度值，计算目标视图的像素点通过反投影和重投影在参考视图中的对应像素点，并得到目标视图在参考相机系统中的合成视图；

d、在所述深度搜索范围内以所述搜索步长进行搜索，把使得合成视图与参考视图的误差最小的深度值作为目标视图的场景全局深度值。

2.如权利要求1所述多视角视频图像的场景全局深度估计方法，其特征在于，所述相机内部参数包括相机焦距、中心和变形参数，所述相机外部参数包括相机坐标系相对于世界坐标系的三维旋转矩阵和平移向量。

3.如权利要求1所述多视角视频图像的场景全局深度估计方法，其特征在于，步骤a所述相机系统汇聚点的深度值，通过以下线性方程求得：

$R_i[\mathrm{0,0},z_i^0]+t_i=R_1[\mathrm{0,0},z_1^0]+t_1$

$R_i[\mathrm{0,0},z_i^0]{+t}_i=R_2[\mathrm{0,0},z_2^0]+t_2$

......

$R_i[\mathrm{0,0},z_i^0]+t_i=R_m[\mathrm{0,0},z_m^0]+t_m$

其中，m为汇聚相机系统中的相机总数；R_i(i∈1，…，m)为目标相机C_i坐标系相对于世界坐标系的三维旋转矩阵；t_i(i∈1，…，m)为目标相机C_i坐标系相对于世界坐标系的平移向量；z_i ⁰(i∈1，…，m)为汇聚点在目标相机C_i坐标系的深度值。

4.如权利要求1所述多视角视频图像的场景全局深度估计方法，其特征在于，步骤c所述合成视图由以下公式得到：

Synthesize d_I_x(P_x)＝Synthesize d_I_x(f_x(z，P))＝I_i(P) $\∀P\∈I_i$

函数f_x为在深度值z下把目标视图I_i(i∈1，…，m)中的像素点P(x∈1，…，m且x≠i)投影到合成视图Synthesized_I_x的像素点P_x的投影函数。

5.如权利要求4所述多视角视频图像的场景全局深度估计方法，其特征在于，函数f_x具体表示为：

$P_x=f_x(z,P)=\frac{\mathrm{zBP}+\mathrm{Ct}}{{\mathrm{zb}}_3^{T}P+c_3^{T}t},$

$C=A_x{R}_x^{-1},$ $B=A_x{R}_x^{-1}{R}_i{A}_i^{-1}=C{R}_i{A}_i^{-1},$ t＝t_i-t_x，R_i(i∈1，…，m)为目标相机坐标系相对于世界坐标系的三维旋转矩阵；t_i(i∈1，…，m)为目标相机坐标系相对于世界坐标系的平移向量；m为汇聚相机系统中的相机总数；A_i为目标相机的内部参数矩阵；Rx(x∈1，…，m且x≠i)参考相机坐标系相对于世界坐标系的三维旋转矩阵；t_x(x∈1，…，m且x≠i)为参考相机坐标系相对于世界坐标系的平移向量；A_x为参考相机的内部参数矩阵；b₃和C₃分别是矩阵B和C的第三行向量。

6.如权利要求4所述多视角视频图像的场景全局深度估计方法，其特征在于，步骤d中全局深度值通过以下公式求得：

$\underset{x\≠i}{\underset{x=1,\·\·\·,m}{\mathrm{\Σ}}}\underset{P\∈I_i}{\mathrm{\Σ}}\left|\right|I_i\left(P\right)-I_x(f_x(z_G,P)\left|\right|=$

$\underset{z_j\∈\{z_{\min },z_{\min }+z_{\mathrm{step}},\·\·\·,z_{\max }\}}{\min }\underset{x\≠i}{\underset{x=1,\·\·\·,m}{\mathrm{\Σ}}}\underset{P\∈I_i}{\mathrm{\Σ}}\left|\right|I_i\left(P\right)-I_x(f_x(z_j,P)\left|\right|$

其中，z_G为目标视图I_i的全局深度值，I_x为参考视图，[z_min，z_max]为搜索范围，z_step为搜索步长，搜索深度z_j＝z_min+j·z_step。

7.如权利要求1或6所述多视角视频图像的场景全局深度估计方法，其特征在于，所述搜索范围是以深度初始估计值为中心并根据所述深度初始估计值确定的局部范围；所述搜索步长为深度初始估计值的比例值。

Images