CN101312539B - 用于三维电视的分级图像深度提取方法 - Google Patents

Abstract

本发明公开了一种用于三维电视的分级图像深度提取方法。包括以下步骤：(1)利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列；(2)对图像的边缘点进行特征匹配，得到边缘点的深度值；(3)根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；(4)对每个块边界进行滤波以去除块效应，使块边界过渡平滑。本发明利用的特征匹配和区域匹配相结合的方法，避免了单独适用两种匹配而导致的不足，得到一个精确而高密度的视差场；同时分级块大小的匹配，可以很好地实现在处理速度和精确度上的折衷。

Description

用于三维电视的分级图像深度提取方法

技术领域

本发明涉及一种用于三维电视的分级图像深度提取方法。

背景技术

立体视频和多视点视频可以应用在包括自由视点视频/电视(FVV/FTV)、三维电视(3DTV)等场合，它的提出体现了下一代多媒体应用网络化、交互性和真实感的发展方向。但多视点视频的数据量随着相机数目的增加而成倍地增加，要实现大量数据的有效压缩，在目前广泛采用的主要有两类压缩方法。一类是多视点视频编码(Multi-view Video Coding，MVC)，它利用各个视点之间相关性来进行压缩，但是当视点数目增加时，所需要传输的数据量就会随之显著增加。另一类是采用二维视频加深度信息的方法来对多视点视频进行压缩编码。

相对于MVC，利用深度信息进行立体或多视点视频压缩编码的优点是所需要传输的数据量不会随着视点数目的增加而显著增加，而在解码器端，可根据深度信息来恢复出多个视点的视频。因此采用这种方法，可以显著节省网络带宽。

深度信息有两种获取方式。第一种是采用特殊的摄像机，通过红外线扫描等方式，在拍摄的同时直接测量出深度信息，如ATTEST组织采用的摄像机Zcam。该摄像机由一个传统的摄像机，加上一个高速脉冲红外线光源组成，摄像机在拍摄的同时发射出红外线脉冲，通过测量红外线来回的时间获取每个像素的深度信息。另一种方式是通过立体或多路视频恢复出深度信息。深度值的精确度直接影响解码器端立体或多视点视频恢复的精确度，从而影响立体视频的观赏效果和立体视觉效果。因此在第二种方式中，采用适当的算法以精确地恢复出深度信息非常重要。

理想情况下的深度值Z可以由公式(1)得到：

$Z=\frac{\mathrm{bf}}{d}---\left(1\right)$

其中，b为相机间距，f为相机焦距，d为视差。b和f都是可以确定的，因此可以看出，恢复深度信息的要点和难点就是从立体视频或多视点视频中，精确地为每一幅图像中每一个像素在另外几个视点的图像中寻找到匹配点，计算出视差，从而恢复深度信息。

双目立体视觉的视差原理如图1。图中的模型采用最简单的双摄像机平行光轴成像，I_L和I_R分别表示左右像平面，O_L和O_R是左右摄像机的光心，b是左右摄像机光心之间的距离，称为体视基线。P(x，y，z)为三维空间中的一点，P_L，P_R分别表示P(x，y，z)在左右像平面上的投影点。投影线P_OL和P_OR所确定的平面称为核心平面，它与左右像平面的交线称为核心线或极线(Epipolar line)。由于两个摄像机的光轴与像平面垂直，Y轴互相平行，将右边图像的平面坐标系平移到左像平面，这样左右两个摄像机坐标系完全重合，则P_R在左平面坐标系上成为P′_R。视差即为P_L和P′_R之间的距离，即：

d＝|P_L-P′_R|                  (2)

立体匹配的主要任务，就是将同一个空间物理点在不同图像中的映像点对应起来。它主要考虑三个问题：基元选择，匹配准则和算法结构。

在匹配基元选择上，常见的匹配基元有点状特征、线状特征和区域特征等。点状特征定位准确，检测和描述容易，精确度高；但它在图像中数目多，包含的信息量少，因此在匹配时需要较强的约束准则和匹配策略。而在一般应用时，由于点在图像中的数目非常多，因此往往并不是对每个点都进行匹配，而是选择特征点进行匹配，如边缘点或角点，这类匹配称为特征匹配。特征匹配并不直接利用灰度值进行匹配，而是利用灰度的梯度等特征进行比配，因此抗干扰性好；但是由于特征在图像上的稀疏性决定了特征匹配只能得到稀疏的视差场，并且匹配精度收到特征提取精度的影响。而线状特征和区域特征含有更丰富的图像信息，在图像中数目较少，易于实现快速匹配；但是它们的定位精度较差。

在匹配中要遵循一定的匹配准则。唯一性约束要求一幅图像上的每个特征点最多只能与另一幅图像上的一个特征点对应。连续性约束要求物体表面上各点的视差是连续的，因此深度场也是连续的，但在物体边界两侧的两个点，视差是突变的。相容性约束要求物体表面上的一点或者一块区域在两幅或多幅图像上的投影点在灰度、灰度梯度和几何形状上相似。极线约束规定一幅图像上的任一点，在另一幅图像上的对应点只可能唯一该点的外极线上。顺序一致性约束要求两幅或多幅图像对应极线上的对应点之间的排列顺序是不变的。

匹配的算法结构是立体匹配中最重要的部分，它与基元的选择相对应，主要分为基于特征的匹配和基于区域的匹配。

采用基于特征的匹配时，主要分三个步骤：

第一步，找出图像中的特征点，如图像中的边缘点、角点等灰度不连续点。常用的边缘点检测算子有Roberts、Sobel、Previtt、LOG等。角点提取算子有Beaudet、Dreschler、Nagel、Kichen、Rosenfeld、Zuniga、Hrarik等。

第二步，相似性检验。设左图中任一边缘像素为P_L(x，y)，该像素在右图中的候选匹配边缘像素为P_R(s_n，t_n)，n＝0，1，…，P_R(s_n，t_n)要满足：

(1)搜索范围：为避免误选，将极线约束的条件从一条极线放宽为核心带，可能匹配点的坐标(s_n，t_n)应满足：

{(s_n，t_n)|x-H_max≤s_n≤x+H_max，y-V_max≤t_n≤y+V_max}       (3)

其中，H_max是最大水平视差，V_max为核心带高度，x，y为P_L(x，y)的坐标。

(2)图像间对应边缘像素应该有相似的边缘差分值：

|g_L(x，y)-g_R(s_n，t_n)|＜ε               (4)

其中，g_L(x，y)和g_R(s_n，t_n)分别是左右图像中边缘点的差分值，ε是确定图像间对应边缘像素差分值相似程度的阈值。

(3)图像间对应边缘像素应该有相似的边缘梯度方向值：

|θ_L(x，y)-θ_R(s_n，t_n)|＜δ                 (5)

其中，θ_L(x，y)和θ_R(s_n，t_n)分别是左右图像中边缘点的梯度方向值，δ是确定图像间对应边缘像素梯度方向值相似程度的阈值。

以上是从左边图像到右边图像的初始匹配。在完成了上述步骤后，再以同样的过程进行从右图到左图的初始匹配。

第三步，兼容性检验。经过初始匹配后，每个边缘像素在另一幅图像对应一个候选的匹配像素集合，存在匹配的多义性和模糊性。因此要根据视差连续性约束，进行兼容性检验。

定义视差之差为D和支持函数S分别为：

D(d_ab，d_cd)＝|d_ab-d_cd|，P_Lc(，)∈W_a，P_Rd(，)∈W_b，P_Rd(，)∈SP_Lc(，) (6)

S(d_ab，d_cd)＝[D(d_ab，d_cd)+1]^-1                                      (7)

其中，P_La(x，y)表示左图中一个边缘像素a，W_a表示以a为中心的邻域，P_Lc(x，y)表示左图中一个边缘像素c，它在a的邻域W_a中，SP_Lc(x，y)是c的候选匹配集。P_Lb(x，y)表示右图中一个边缘像素b，且P_Lb(s_n，t_n)∈SP_La(x，y)，即b是a的一个候选匹配像素，W_b表示以b为中心的邻域，P_Rd(x，y)表示左图中一个边缘像素d，它在b的邻域W_b中，并且d是c的一个候选匹配像素。d_ab表示点a，b之间的视差，d_cd表示点c，d之间的视差。

当与匹配像素对相邻的像素，经过匹配后的视差与其视差保持连续时，D(，)＝0，S(，)＝1；反之，S(，)＜1。

在此基础上定义评价检验函数：

$V^k(P_{\mathrm{La}},P_{\mathrm{Rb}})=\underset{P_{\mathrm{Lc}}\∈W_a,P_{\mathrm{Rd}}\∈{\mathrm{SP}}_{\mathrm{Lc}}}{\mathrm{\Σ}}[\max C(P_{\mathrm{La}},P_{\mathrm{Rb}},P_{\mathrm{Lc}},P_{\mathrm{Rd}})\×S(d_{\mathrm{ab}},d_{\mathrm{cd}})]$

$+\underset{P_{\mathrm{Rd}}\∈W_b,P_{\mathrm{Lc}}\∈{\mathrm{SP}}_{\mathrm{Rd}}}{\mathrm{\Σ}}[\max C(P_{\mathrm{La}},P_{\mathrm{Rb}},P_{\mathrm{Lc}},P_{\mathrm{Rd}})\×S(d_{\mathrm{ab}},d_{\mathrm{cd}})]---\left(8\right)$

其中，k为迭代次数，S为支持函数，C(P_La，P_Rb，P_Lc，P_Rd)为兼容检验加权系数：

对每个边缘像素进行兼容性检验，当满足：

V^k(P_La，P_Rb)＞V^k(P_La，P_Ri)， $\∀P_{\mathrm{Ri}},P_{\mathrm{Ri}}\∈{\mathrm{SP}}_{\mathrm{La}}$ P_Ri∈SP_La

和V^k(P_La，P_Rb)＞V^k(P_Lj，P_Rb)， $\∀P_{\mathrm{Lj}},P_{\mathrm{Lj}}\∈{\mathrm{SP}}_{\mathrm{Rb}}$ P_Lj∈SP_Rb                                           (10)

时，则像素对(P_La，P_Rb)为唯一兼容匹配，从而可以得到视差d_ab。其中，P_Ri是a的匹配像素集中的任意一点，而P_Lj是b的匹配像素集中的任意一点。

区域匹配直接利用像素灰度值，使用一定的约束条件来寻找立体图像对中像素点的对应关系进行匹配。其基本思想是假设两幅图像对应点的小邻域内具有相似的灰度分布。把一幅图像中某一像素的灰度邻域作为模板，在另一幅图像中搜索具有相同或类似灰度值分布的对应点邻域，从而实现两幅图像的匹配。

设I_l和I_r为两幅立体图像对，P_l和P_r分别为两幅图像中的像素点，(2W+1)为匹配区域的宽度，R(P_l)是I_r中与P_l相关的搜索区域，Ψ(u，v)是两个像素值u，v的相关函数。对于I_l中的每个像素P_l＝[i，j]有，计算相关值：

$C\left(d\right)=\underset{k-W}{\overset{W}{\mathrm{\Σ}}}\underset{l=-W}{\overset{W}{\mathrm{\Σ}}}\mathrm{\ψ}(I_l(i+k,j+l),I_r(i+k-d_1,j+l-d_2))---\left(11\right)$

其中，d₁，d₂为视差矢量为d的x，y分量，W表示匹配区域的大小。P_l的视差就是在R(P_l)中使C(d)最大的矢量d。

欧洲出版号WO2007020570公开了一个根据单路视频运动矢量获取深度信息的方法。该方法利用图像内物体的运动特征从单路视频获得深度信息，首先从视频中获得运动矢量的信息，然后根据是物体运动的越快，则深度越小的原则，计算出深度值，但是该方法只适用于静态场景。

中国公开号1153362公开了一种从二维运动图像获得深度信息以产生三维图像的方法。首先选取适当的帧以计算深度信息或间断计算，并用深度信息进行图象处理，通过块匹配等方式取出屏上目标的运动信息。随后，计算三维目标的真实运动。由于取景器图像是空间投影，可根据大量代表点的运动通过逆变换获得目标的初始三维运动，得到目标的三维坐标，从而获得目标的深度信息。但是该方法无法恢复出每个像素精确的深度信息，并且计算复杂，不适合三维电视中实时深度提取。

中国公开号101051386公开了一种从多幅深度图像的匹配方法，首先判断边界点、噪声点和孤立点，去掉噪声较大的点后，在不同深度图像的重叠区域选择参考点，并搜索参考点的对应点。然后采用迭代方法，逐步优化整体配准精确度，在每次迭代过程中，首先为每个参考点在对应点缓冲区中搜索最近点作为对应点；然后使用伪逆矩阵最小化所述的对应点之间的误差，如此多次迭代，直到误差小于所要求的阈值为止。但该方法只对特征点进行匹配，获得一个稀疏的深度场。

本发明提出的用于三维电视的分级图像深度提取方法，利用双路视频，采用特征匹配与区域匹配相结合的方法，克服了以上原有几种方法的缺点，可以快速精确地获得高密度的动态场景的深度场。

发明内容

本发明的目的是克服现有技术的不足，提供一种用于三维电视的分级图像深度提取方法。

它包括如下步骤：

1)利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列；

2)对图像的边缘点进行特征匹配，得到边缘点的深度值；

3)根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；

4)对每个块边界进行滤波以去除块效应，使块边界过渡平滑。

所述的对图像的边缘点进行特征匹配，得到边缘点的深度值步骤：

(a)利用边缘点检测Sobel算法分别提取出左右图像中边缘像素点；

(b)对边缘点采用特征匹配的方法在左右图像中寻找出所有边缘匹配点对；

(c)根据匹配边缘点对在左右两幅图像的像素坐标，计算出视差；

(d)根据匹配边缘点对的视差值计算边缘点的深度值。

所述的根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度步骤：

(e)根据边缘点的深度值，将图像分成几个不同深度层次的区域；

(f)在左右图像之间对每个区域，根据边缘点匹配的结果进行亮度值校正；

(g)将每个区域分成若干个16×16块，在区域内部16×16块匹配中，确定搜索区域；

(h)对每个16×16块，以差值的平方和为匹配准则，进行基于块的区域匹配；

(i)当16×16块匹配中得到的差值平方和大于某个阈值1时，将16×16块分割成16个4×4块，对每个4×4块进行块匹配；

(j)当4×4块匹配中得到的差值平方和大于某个阈值2时，将4×4块进一步分割成4个2×2块，对每个2×2块进行块匹配；

(k)对于区域边缘非完整块进行块匹配和深度值加权。

本发明适用于三维电视中通过两路视频提取高密度的深度场。在深度提取中，单独使用特征匹配只能形成一个稀疏的视差场，而只使用区域匹配会导致匹配的抗干扰性和精确度下降，而本专利中利用的特征匹配和区域匹配相结合的立体匹配方法可以有效地避免单独使用两种匹配而导致的不足，得到一个精确而高密度的视差场。同时分级块大小的匹配，可以很好地实现在处理速度和精确度上的折衷。

附图说明

图1是双目立体视觉的视差原理图；

图2是立体视频获取中相机的摆放位置图；

图3是利用Sobel算子检测边缘点时相邻像素点的加权系数图；

图4是对于左边图像的块，在右边图像中块匹配的搜索范围图；

图5是对区域边界的未匹配点，通过将周围像素加权平均以计算深度值时，周围像素的加权系数分配图；

图6是块边界滤波时6种相邻块的组合的示意图；

图7是两个16×16块相邻时滤波方法和滤波顺序的示意图；

图8是16×16块与4×4块相邻时滤波方法和滤波顺序的示意图；

图9是两个4×4块相邻时滤波方法和滤波顺序的示意图；

图10是4×4块与2×2块相邻时滤波方法和滤波顺序的示意图。

具体实施方法

用于三维电视的分级图像深度提取方法包括如下步骤：

1)利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列；

相机的摆放位置如图2。左右相机平行放置，它们的光轴Z_l和Z_r相互平行，相机间距为b，即左右相机的光心O_l和O_r之间的距离为b。相机的焦距相等，都为f。

2)对图像的边缘点进行特征匹配，得到边缘点的深度值；

3)根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；

4)对每个块边界进行滤波以去除块效应，使块边界过渡平滑。

所述的对图像的边缘点进行特征匹配，得到边缘点的深度值步骤：

(a)利用边缘点检测Sobel算法分别提取出左右图像中边缘像素点；

用边缘点检测Sobel算法提取出相邻像素灰度变换的大小和方向。Sobel算子是一种一阶微分算子。对于数字图像的每个像素点，相邻像素点灰度的加权和可以用来表示相邻像素灰度的变化，加权系数如图3。通过式(13)来计算出相邻像素的灰度变化：

g(i，j)＝[f(i-1，j-1)+2f(i-1，j)+f(i-1，j+1)]

                                                    (15)

-[f(i+1，j-1)+2f(i+1，j)+f(i+1，j+1)]

当某像素点的g(i，j)大于一定阈值时，将这个点确定为图像中的边缘点。

(b)对边缘点采用特征匹配的方法在左右图像中寻找出所有边缘匹配点对；

当用Sobel算子寻找到图像中所有的边缘点之后，用背景技术中介绍的特征匹配的方法，对左边图像中的每个边缘点在右边图像中寻找到匹配点，然后再对右边图像中的每个边缘点，在左边图像中寻找到匹配点，从而得到匹配的边缘点对。

(c)根据匹配边缘点对在左右两幅图像的像素坐标，计算出视差；

(d)根据匹配边缘点对的视差值计算边缘点的深度值。

所述的根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度步骤：

(e)根据边缘点的深度值，将图像分成几个不同深度层次的区域；

经过特征匹配后，可以得到一个稀疏的物体轮廓的深度场。根据边缘点的深度值，将图像分成几个不同深度层次的区域。在每个区域内，采用基于块的区域匹配(或称块匹配)。

(f)在左右图像之间对每个区域，根据边缘点匹配的结果进行亮度值校正；

立体视频采用两个摄像机分别拍摄左右两路视频，由于摄像机之间的位置，以及它们的内、外部参数的影响，会造成左右两个视频之间在角度、对比度和亮度上有差异。而区域匹配直接利用区域内所有像素的灰度值进行匹配，所以这种方法对于图像的亮度和对比度的变化比较敏感。因此，在进行区域匹配之前首先要对区域内像素的灰度值进行校正，以增加匹配的精确度。

在本设计中利用区域边缘像素的灰度值来进行校正。在之前的特征匹配中，已经对区域的每个边缘像素点进行了匹配。而由于特征匹配是利用像素的梯度等特征值进行匹配，而不是直接利用像素的灰度值进行匹配，因此特征匹配的抗干扰性较好，受到左右图像之间亮度和对比度变化的影响很小。

对某个区域R内部，利用区域边缘像素进行校正的方法是：

①计算出该区域R在左右图像中边缘匹配像素对灰度之差的均值Δp：

$\mathrm{\Δ}\stackrel{\‾}{p}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(P_{\mathrm{li}}^s-P_{\mathrm{ri}}^s)---\left(14\right)$

其中P_li ^s和P_ri ^s为左右图像中的一个匹配边缘像素对，n为该区域R的所有边缘像素的总数。

②左边图像像素的灰度值不变，对右边图像中的区域R进行灰度校正。对于右边图像区域内的每个非边缘像素P_r，其校正后的灰度值P′_r为：

P′_r＝P_r+Δp                 (15)

对区域内的非边缘像素进行了灰度校正后，开始对区域内进行基于块的立体匹配。

(g)将每个区域分成若干个16×16块，在区域内部16×16块匹配中，确定搜索区域；

对于左边图像某一个区域R，首先将该区域分割成若干16×16块，对于左边图像的每个16×16块，用类似运动估计的方法进行匹配，在右边图像中找到匹配块。

设该区域R的边缘点视差的平均值为d＝[d₁，d₂]，d由式(16)得到：

$\stackrel{\‾}{d}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{d}_i^s---\left(16\right)$

其中，d_i ^s为该区域某个边缘匹配像素对的视差。

对于左边图像中的每个16×16块，其搜索区域的中心为该16×16的坐标平移矢量d之后的16×16块，而搜索窗口W的宽度为-min{16，4d₁}~+min(16，4d₁}，高度为-min{8，4d₂}~+min{8，4d₂}，搜索区域S为W∩R。如图4中，对于左边图像I_l某区域R中的一个16×16块A，在右边图像I_r中的搜索范围为右边图中的阴影区域。

(h)对每个16×16块，以差值的平方和为匹配准则，进行基于块的区域匹配；

在确定了左图中一个16×16块的搜索区域后，在右图的该搜索区域范围S内，寻找与左图中16×16块的灰度分布最相似的16×16块。匹配准则采用差值的平方和(Sum of Squared Difference，SSD)：

${\mathrm{SSD}}_{16}=\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}{(P_{l,i,j}-P_{r,i+d_1,j+d_2})}^2---\left(17\right)$

其中，P_l，P_r分别为左右两幅图像中的像素。最佳匹配的16×16块就是在搜索区域中使得SSD₁₆最小视差矢量d＝[d₁，d₂]所指向的16×16块，即：

$d=\arg \underset{d\∈S}{\min }\left\{{\mathrm{SSD}}_{16}\left(d\right)\right\}---\left(18\right)$

当这个最小的SSD₁₆小于或等于一个预设的阈值ε₁时，匹配结束，得到该16×16块的视差矢量为该d＝[d₁，d₂]，然后通过公式(1)来计算出该16×16块的深度值，再开始对下一个16×16块进行匹配。

否则，当这个最小的SSD₁₆大于ε₁时，进入步骤i。

(i)当16×16块匹配中得到的差值平方和大于某个阈值1时，将16×16块分割成16个4×4块，对每个4×4块进行块匹配；

将该16×16块分割成16个4×4块，对每个4×4块进行匹配，匹配准则仍然采用16×16块匹配中使用的差值的平方和SSD：

${\mathrm{SSD}}_4=\underset{i=0}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{3}{\mathrm{\Σ}}}{(P_{l,i,j}-P_{r,i+d_1,j+d_2})}^2---\left(19\right)$

最佳匹配的4×4块就是在搜索区域中使得SSD₄最小视差矢量d＝[d₁，d₂]所指向的4×4块，即：

$d=\arg \underset{d\∈S}{\min }\left\{{\mathrm{SSD}}_4\left(d\right)\right\}---\left(20\right)$

当SSD₄小于或等于阈值ε₂时，该4×4块的匹配结束，同样得到一个视差矢量d，并计算出该4×4块的深度值。否则，当SSD4仍然大于阈值ε₂时，进入步骤j。

(j)当4×4块匹配中得到的差值平方和大于某个阈值2时，将4×4块进一步分割成4个2×2块，对每个2×2块进行块匹配；

将该4×4块分割成4个2×2块，对每个2×2块进行匹配，匹配准则仍然采用上述差值的平方和SSD：

${\mathrm{SSD}}_2=\underset{i=0}{\overset{1}{\mathrm{\Σ}}}\underset{j=0}{\overset{1}{\mathrm{\Σ}}}{(P_{l,i,j}-P_{r,i+d_1,j+d_2})}^2---\left(21\right)$

最佳匹配的2×2块就是在搜索区域中使得SSD₂最小视差矢量d＝[d₁，d₂]所指向的2×2块，即：

$d=\arg \underset{d\∈S}{\min }\left\{{\mathrm{SSD}}_2\left(d\right)\right\}---\left(22\right)$

得到该2×2块的视差矢量d，并根据视差d计算出该2×2块的深度值。

(k)对于区域边缘非完整块进行块匹配和深度值加权。

经过分级匹配之后，为区域内每个完整的16×16块都找到了相应的匹配块，得到它们的视差矢量和深度值。但是当区域的边界非规则时，区域的边缘会出现非完整的16×16块，即一个16×16块的一部分属于当前区域，而它的另外部分属于其它的区域。对于这些块，采用下列过程匹配：

①判断是否存在完整的4×4块在区域R内部。若存在，则对这些4×4块按照步骤i的方法进行匹配，并计算出该4×4块的深度值；

②对于剩下的像素，再判断是否存在完整的2×2块在区域R内部。若存在，则对这些2×2块按照步骤j的方法进行匹配，并计算出该2×2块的深度值；

③若经过2×2块匹配后，仍然有未匹配的点，对于这些点，通过将周围像素的深度值加权平均来得到它的深度值。如图5中，若p是待计算的像素，它的深度值由相邻像素{a_i，i＝0…7}的深度值经过加权平均后得到。其中，a₁，a₃，a₄，a₆与p直接相邻，其加权系数为2，而a₀，a₂，a₅，a₇与p对角相邻，加权系数为1。则p的深度为：

其中，加权系数w_i的取值为：

$w_i=\left\{\begin{array}{cc}2,& i=\mathrm{1,3,4,6}\\ 1,& i=0,2,5,7\end{array}\right.---\left(24\right)$

经过上述过程，区域边界上非完整块的所有像素也都得到了深度值，从而区域R内的所有像素都得到了相应的深度值。

所述的对每个块边界进行滤波以去除块效应，使块边界过渡平滑：

在区域R内的大部分像素都是以块为整体进行匹配和深度值计算的，因此在每个块内深度值相同，而在块的边界深度值有可能是突变的。而根据连续性约束要求，由于物体表面一般来说是平滑的，因此物体表面上各点的视差和深度值也应该是连续的，所以还要采用一定的块边界滤波方法去除块效应，使块边界深度过度平滑。

滤波之前，每个块内像素深度的初始值即为其所属块的深度值。滤波的方法根据不同的相邻块大小(如图6)而略有差别，一共有6种相邻块的组合，除此之外，还有16×16块，4×4块和2×2块处于区域R边缘的3种情况。采用如下的滤波步骤：

①两个16×16相邻块滤波

当两个16×16块相邻时，首先对垂直边界(即水平相邻的两个16×16块的边界)进行滤波，即图7中的过程①。垂直边界滤波时，将处于同一行的每16个点(即p_li，i＝0…7，p₁₇以及p_ri，i＝0…7)的深度值同时进行滤波，滤波的方法如式(25)(26)：

$Z_{p_{\mathrm{li}}}^{\′}=\frac{Z_{p_{r7}}-Z_{p_{l7}}}{15}\·(7-i)+Z_{p_{l7}},i=0...7---\left(25\right)$

$Z_{p_{\mathrm{ri}}}^{\′}=\frac{Z_{p_{r7}}-Z_{p_{l7}}}{15}\·(8+i)+Z_{p_{l7}},i=0...7---\left(26\right)$

对所有的垂直边界滤波完成后，再进行水平边界(即上下相邻的两个16×16块)滤波，即图7中的过程②。水平边界滤波的方法与垂直边界滤波方法相同，将处于同一列的16个点(即p_ui，i＝0…7，p₁₇以及p_di，i＝0…7)的深度值同时进行滤波，滤波的方法如式(27)(28)：

$Z_{p_{\mathrm{ui}}}^{\′\′}=\frac{Z_{p_{d7}}^{\′}-Z_{p_{u7}}^{\′}}{15}\·(7-i)+Z_{p_{u7}}^{\′},i=0...7---\left(27\right)$

$Z_{p_{\mathrm{di}}}^{\′\′}=\frac{Z_{p_{d7}}^{\′}-Z_{p_{u7}}^{\′}}{15}\·(8+i)+Z_{p_{u7}}^{\′},i=0...7---\left(28\right)$

待所有两个16×16块相邻的情况都滤波完成以后，进入第②步。

②16×16块与4×4块相邻情况的滤波

当16×16块与4×4块相邻时，同样也是首先对垂直边界进行滤波，即图8中的过程①。垂直边界滤波时，将16×16块中处于同一行的每8个点(即p_li，i＝0…7)与4×4块中处于相同行的2个点(p_ri，i＝0，1)的深度值同时进行滤波，滤波的方法如式(29)(30)：

$Z_{p_{\mathrm{li}}}^{\′}=\frac{Z_{p_{r1}}-Z_{p_{l7}}}{14}\·(7-i)+Z_{p_{l7}},i=0...7---\left(29\right)$

$Z_{p_{\mathrm{ri}}}^{\′}=\left\{\begin{array}{cc}\frac{Z_{p_{l7}}+Z_{p_{r1}}}{2},& i=0\\ Z_{p_{r1}},& i=1\end{array}\right.---\left(30\right)$

对所有的垂直边界滤波完成后，再进行水平边界滤波，即图8中的过程②，如式(31)(32)：

$Z_{p_{\mathrm{ui}}}^{\′\′}=\frac{Z_{p_{d1}}^{\′}-Z_{p_{u7}}^{\′}}{14}\·(7-i)+Z_{p_{u7}}^{\′},i=0...7---\left(31\right)$

$Z_{p_{\mathrm{di}}}^{\′\′}=\left\{\begin{array}{cc}\frac{Z_{p_{u7}}^{\′}+Z_{p_{d1}}^{\′}}{2},& i=0\\ Z_{p_{d1}}^{\′},& i=1\end{array}\right.---\left(32\right)$

待所有16×16块与4×4块相邻的情况都滤波完成以后，进入第③步。

③16×16块与2×2块相邻情况，以及16×16块处于区域R边缘情况的滤波

当16×16块与2×2块相邻时，只对16×16块的像素滤波，而2×2块的像素不进行滤波。滤波时同样也是首先对垂直边界进行滤波。垂直边界滤波时，将16×16块中处于同一行的每8个点(即p_li，i＝0…7)的深度值同时进行滤波，滤波的方法如式(33)：

$Z_{p_{\mathrm{li}}}^{\′}=\frac{Z_{p_{r0}}-Z_{p_{l7}}}{14}\·(7-i)+Z_{p_{l7}},i=0...7---\left(33\right)$

对所有的垂直边界滤波完成后，再进行水平边界滤波，如式(34)：

$Z_{p_{\mathrm{ui}}}^{\′\′}=\frac{Z_{p_{d0}}^{\′}-Z_{p_{u7}}^{\′}}{14}\·(7-i)+Z_{p_{u7}}^{\′},i=0...7---\left(34\right)$

对于16×16块处于区域R边缘的情况，也采用式(33)(34)的滤波方法，但式中的

和

由边缘像素的深度值代替。待所有16×16块与2×2块相邻的情况，以及16×16块处于区域R边缘的情况都滤波完成以后，进入第④步。

④两个4×4相邻块滤波

当两个4×4块相邻时，同样也是首先对垂直边界进行滤波，即图9中的过程①。垂直边界滤波时，将4×4块中处于同一行的每4个点(即p_li，i＝0，1与p_ri，i＝0，1)的深度值同时进行滤波，滤波的方法如式(35)(36)：

$Z_{p_{\mathrm{li}}}^{\′}=\frac{Z_{p_{r1}}-Z_{p_{l1}}}{3}\·(1-i)+Z_{p_{l1}},i=0,1---\left(35\right)$

$Z_{p_{\mathrm{li}}}^{\′}=\frac{Z_{p_{r1}}-Z_{p_{l1}}}{3}\·(2+i)+Z_{p_{l1}},i=\mathrm{0,1}---\left(36\right)$

对所有的垂直边界滤波完成后，再进行水平边界滤波，即图9中的过程②，如式(37)(38)：

$Z_{p_{\mathrm{li}}}^{\′\′}=\frac{Z_{p_{r1}}^{\′}-Z_{p_{l1}}^{\′}}{3}\·(1-i)+Z_{p_{l1}}^{\′},i=\mathrm{0,1}---\left(37\right)$

$Z_{p_{\mathrm{li}}}^{\′\′}=\frac{Z_{p_{r1}}^{\′}-Z_{p_{l1}}^{\′}}{3}\·(2+i)+Z_{p_{l1}}^{\′},i=\mathrm{0,1}---\left(38\right)$

待所有两个4×4块相邻的情况都滤波完成以后，进入第⑤步。

⑤4×4块与2×2块相邻，以及4×4块处于区域R边缘情况的滤波

当4×4块与2×2块相邻时，只对4×4块的像素滤波，而2×2块的像素不进行滤波(如图10)。垂直边界先进行滤波，然后再对水平边界滤波。滤波时，只对4×4块边缘像素(即图10中的p_l0和p_u0)滤波，如式(39)(40)：

$Z_{p_{l0}}^{\′}=\frac{Z_{p_{r0}}+Z_{p_{l1}}}{2}---\left(39\right)$

$Z_{p_{u0}}^{\′\′}=\frac{Z_{p_{d0}}^{\′}+Z_{p_{u1}}^{\′}}{2}---\left(40\right)$

对于4×4块处于区域R边缘的情况，也采用式(39)(40)的滤波方法，但式中的

和

由边缘像素的深度值代替。待所有4×4块与2×2块相邻的情况，以及4×4块处于区域R边缘的情况都滤波完成以后，进入第⑥步。

⑥两个2×2相邻块的情况

对于两个2×2块相邻的情况，不采用块边界滤波。

经过滤波后，可以得到图像的一个完整的高密度的深度场。在编码端，只需要对左边视频或者右边视频中的一路视频，以及该深度场进行编码和传输。而在解码端可以根据单路视频和该深度场来恢复出另一路视频，甚至可以内插出多个视点的视频。

Claims (1)

1.一种用于三维电视的分级图像深度提取方法，其特征在于包括如下步骤：

1)利用两个平行放置的摄像机分别拍摄得到左、右两个视频序列；

2)对图像的边缘点进行特征匹配，得到边缘点的深度值；

3)根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度；

4)对每个块边界进行滤波以去除块效应，使块边界过渡平滑；

所述的对图像的边缘点进行特征匹配，得到边缘点的深度值步骤包括：

(a)利用边缘点检测Sobel算法分别提取出左右图像中边缘像素点；

(b)对边缘点采用特征匹配的方法在左右图像中寻找出所有边缘匹配点对；

(c)根据匹配边缘点对在左右两幅图像的像素坐标，计算出视差；

(d)根据匹配边缘点对的视差值计算边缘点的深度值；

所述的根据边缘点的深度值，将图像分成几个不同深度层次的区域，在每个区域内，采用基于块的分级块大小的区域匹配，并计算每个块的深度步骤包括：

(e)根据边缘点的深度值，将图像分成几个不同深度层次的区域；

(f)在左右图像之间对每个区域，根据边缘点匹配的结果进行亮度值校正；

(g)将每个区域分成若干个16×16块，在区域内部16×16块匹配中，确定搜索区域；

(h)对每个16×16块，以差值的平方和为匹配准则，进行基于块的区域匹配；

(i)当16×16块匹配中得到的差值平方和大于某个阈值时，将16×16块分割成16个4×4块，对每个4×4块进行块匹配；

(j)当4×4块匹配中得到的差值平方和大于某个阈值时，将4×4块进一步分割成4个2×2块，对每个2×2块进行块匹配；

(k)对于区域边缘非完整块进行块匹配和深度值加权。

Images