CN103248906A - 一种双目立体视频序列的深度图获取方法与系统 - Google Patents

Abstract

本发明公开了一种双目立体视频序列的深度图获取方法和系统，方法包括：对两幅图像的第一幅图像进行聚类，区域生长将聚类转化为连通的区域，记录各个区域的平均五维坐标和区域间的相邻信息；接收操作者输入的用于标记第一幅图像的前景和背景的人工标记，计算区域连接权值及标记权值；将区域连接权值和标记权值作为输入，调用GrpahCut算法对第一幅图像进行前景与背景的分割；以两幅图像中的第二幅图像作为参考图像，根据分割结果，基于局部自适应权值立体匹配算法计算前景的视差图，基于Rank变换立体匹配算法计算背景的视差图，然后将视差图转换为深度图。系统为执行上述方法的系统。本发明具有结果准确，复杂度低的有益效果。

Description

一种双目立体视频序列的深度图获取方法与系统

技术领域

本发明属于计算机图像处理领域，特别涉及一种双目立体视频序列的深度图获取方法与系统。

背景技术

随着当前社会的飞速发展，人文娱乐欣赏需求也日益增多，对于电视电影观看的要求，不仅仅是高清彩色，观影者需要更加真实的三维效果，立体视频相关研究和应用成为当前热点问题，立体视频相关的技术问题也认为亟待解决的问题。

立体视频分为传统的双目立体视频和多视点视频，双目立体视频是由两路视频序列组成，虽然能给人们带来立体效果，但效果比较呆板，必须佩戴相应的眼睛才能观看，并且视点单一，与真实生活当中的立体感受相距甚远。而多视点视频则可以适应裸眼现实的需求，可以满足人们裸眼观看视频的需求，同时，由于多视点视频的原因，可以使得人们从不同角度观看到的视频序列对不相同，进而观测到的场景角度也不相同，后者更接近真实的三维感受。

尽管多视点视频具备双目立体视频多不具备的优势，但是多视点视频的采集难度也更大，如何获取高质量的多视点视频成为一个关键研究问题。目前可以从2d视频直接转换为多视点视频，但是由于信息严重缺失，得到的多视点视频序列的深度感极差。而相对来说双目视频的采集比较简单，信息量也相对充裕，双目转多目成为一个有效的途径。

双目立体视频转多目的基本思路：首先通过双目视频获取深度信息，然后根据获取的深度图采用虚拟视点合成的方法得到多路视频序列。其中最关键的就是如何得到准确的深度信息。现阶段的主要方法就是立体匹配，通过搜索同一时刻左右两路视频对应图像间的像素点的偏移（视差）来获取深度信息，深度是与视差成反比的关系。

立体匹配算法主要分为两类，全局立体匹配算法和局部立体匹配算法，两种算法有一个共同的问题就是，对于遮挡等天然信息缺失的情况，很难解决。

发明内容

本发明所要解决的技术问题是，提供一种双目立体视频序列的深度图获取方法与系统，在保证准确性的同时降低获取过程的复杂度。

本发明的技术方案通过以下技术手段予以解决：

如图1所示，一种双目立体视频序列的深度图获取方法，包括以下步骤：

S100）预处理步骤：读入同一时间点的两幅图像，对其中的第一幅图像进行聚类处理；然后采用区域生长的方式将各个聚类转化为连通的区域，记录各个区域的平均五维坐标和区域间的相邻信息。

由于同一时间点的两幅图像具有很强的相关性，对图像的分割操作，只需左右两幅图像之一进行处理即可，另一幅图作为后续立体匹配算法的参考图，本步骤中的第一图像可以是左图也可以是右图。

S200）前景提取步骤：包括：S210)权值计算步骤：接收操作者输入的用于标记第一幅图像的前景和背景的人工标记，计算代表区域之间连通性的区域连接权值以及各区域与人工标记间相关性的标记权值；S220)图像分割步骤：将所述区域连接权值和标记权值作为输入，调用GrpahCut算法对第一幅图像进行前景部分与背景部分的分割。

S300）深度图获取步骤：以所述两幅图像中的第二幅图像作为参考图像，根据前景提取步骤的分割结果，基于局部自适应权值立体匹配算法计算前景部分的视差图，基于Rank变换立体匹配算法计算背景部分的视差图，然后将前景部分的视差图和背景部分的视差图转换为深度图。

优选地，还包括：S400）后处理步骤：对前景部分的像素点，采用以下步骤进行深度值校正：选取深度图校正窗口，并根据预处理步骤的处理结果，以将校正窗口中所有与待校正像素属于同一区域的像素点的平均深度值更新待校正像素点的深度值。

优选地，所述预处理步骤中所述聚类处理包括以下步骤：

S110）对待处理的图像进行去噪处理；

S120）采用K-means聚类算法，根据五维空间坐标的相似程度对所述第一幅图像进行聚类，将像素点归于与其五维空间距离最小的聚类中心所属的类别。

优选地，所述步骤S210）包括以下步骤：

S211）根据步骤S100)获得的区域间的相邻信息，对于不相邻的区域，设其区域连接权值为0，对于任意相邻的区域a与区域b，其区域连接权值

其中， $D_{\mathrm{ab}}=\sqrt{{(R_a-R_b)}^2{+(G_a-G_b)}^2{(B_a-B_b)}^2},$ (R_a，G_a，B_a)和(R_b，G_b，B_b)分别为区域a和区域b的各像素在RGB颜色空间各分量的平均值；

S212)接收操作者输入的的前景标记点s和背景标记点t；

S213)对于图像的每个区域k，计算其前景标记权值foreW_ks和背景标记权值backW_kt，其中：

foreD_ks为区域k和前景标记点s的最小五维空间距离；

backD_kt为区域k和背景标记点t的最小五维空间距离。

优选地，所述步骤S400）包括以下步骤：

S401）读取当前像素点；

S402）判断当前像素点是否属于前景部分，若不是，则返回步骤S401)进行下一像素点的处理，否则进行下一步骤；

S403）选取以当前像素点为中心的矩阵作为深度图校正窗口，根据预处理步骤处理结果，将校正窗口中与当前像素点不属于同一区域的像素点定义为无效像素点，其余像素点定义为有效像素点；

S404）更新当前像素点的深度值为深度图校正窗口中所有有效像素点的深度值的平均值；

S405）检查所有像素点是否校正完毕，若否，则进入下一像素点处理；若是，则结束校正。

一种双目立体视频序列的深度图获取系统，其特征在于，包括：

预处理模块（201），包括聚类模块和区域生长模块，所述聚类模块用于读入同一时间点的两幅图像，对其中的第一幅图像进行聚类处理；所述区域生长模块用于采用区域生长的方式将各个聚类转化为连通的区域，记录各个区域的平均五维坐标和区域间的相邻信息；

前景提取模块（202）：包括权值计算模块和图像分割模块，所述权值计算模块用于接收操作者输入的用于标记第一幅图像的前景和背景的人工标记，计算代表区域之间连通性的区域连接权值以及各区域与人工标记间相关性的标记权值；所述图像分割模块用于将所述区域连接权值和标记权值作为输入，调用GrpahCut算法对第一幅图像进行前景部分与背景部分的分割；

深度获取模块（203）：用于以所述两幅图像中的第二幅图像作为参考图像，根据前景提取步骤的分割结果，基于局部自适应权值立体匹配算法计算前景部分的视差图，基于Rank变换立体匹配算法计算背景部分的视差图，然后将前景部分的视差图和背景部分的视差图转换为深度图。

优选地，还包括：后处理模块（204）：用于对前景部分的像素点，采用以下步骤进行深度值校正：选取深度图校正窗口，并根据预处理步骤的处理结果，以将校正窗口中所有与待校正像素属于同一区域的像素点的平均深度值更新待校正像素点的深度值。

优选地，所述聚类模块包括：去噪处理模块：用于对待处理的图像进行去噪处理；K-means模块：用于采用K-means聚类算法，根据五维空间坐标的相似程度对所述第一幅图像进行聚类，将像素点归于与其五维空间距离最小的聚类中心所属的类别。

优选地，所述权值计算模块包括：

区域连接权值计算模块：用于根据预处理模块获得的区域间的相邻信息，对于不相邻的区域，设其区域连接权值为0，对于任意相邻的区域a与区域b，其区域连接权值

其中， $D_{\mathrm{ab}}=\sqrt{{(R_a-R_b)}^2{+(G_a-G_b)}^2{(B_a-B_b)}^2},$ (R_a，G_a，B_a)和(R_b，G_b，B_b)分别为区域a和区域b的各像素在RGB颜色空间各分量的平均值；

标记输入模块：用于接收操作者输入的的前景标记点s和背景标记点t；

标记权值计算模块：用于对于图像的每个区域k，计算其前景标记权值foreW_ks和背景标记权值backW_kt，其中：

foreD_ks为区域k和前景标记点s的最小五维空间距离；

backD_kt为区域k和背景标记点t的最小五维空间距离。

优选地，所述后处理模块包括：

读取模块：用于读取当前像素点；

判断模块：用于判断当前像素点是否属于前景部分，若不是，则读取模块进行下一像素点的处理，否则进行下一模块进行处理；

有效像素选取模块：用于选取以当前像素点为中心的矩阵作为深度图校正窗口，根据预处理步骤处理结果，将校正窗口中与当前像素点不属于同一区域的像素点定义为无效像素点，其余像素点定义为有效像素点；

深度值更新模块：用于更新当前像素点的深度值为深度图校正窗口中所有有效像素点的深度值的平均值；

终止判断模块：用于检查所有像素点是否校正完毕，若否，则进入下一像素点处理；若是，则结束校正。

与现有技术相比，本发明首先对前/背景进行分割，然后基于局部自适应权值立体匹配算法计算前景部分的深度值，以保证对观看者影响较大的前景部分的深度信息更加准确，而基于快速的RANK变换立体匹配算法计算背景部分的深度值，以降低算法的复杂度。而且，在进行前/背景分割时，首先利用聚类和区域生长形成图像分区，然后与用户进行交互，利用用户对图像进行前/背景的人工标记，通过区域连通性和各区域与人工标记件的相关性实现准确的前/背景分割，从而保证了后续深度值计算获得良好的效果。

优选方案中，进一步对利用预处理步骤的聚类与区域生长结果，对前景部分像素点的深度值进行了进一步的校正，能够使得前景部分的深度值更加接近图像的客观深度。

优选方案中，在聚类前对图像进行去噪处理，可减弱噪声对聚类算法的影响，并采用K-means算法（K-均值聚类算法）利用像素的五维空间距离进行聚类，保证了聚类的效果。

附图说明

图1是本发明设计的技术方案流程图。

图2是本发明设计的技术方案模块结构示意图。

图3是预处理模块的流程图。

图4是前景提取模块的流程图。

图5是深度图获取模块的流程图。

图6是后处理模块的流程图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

本实施例是一种双目立体视频序列的深度图获取方法与系统，图2为所述系统的模块结构图，该系统主要包括以下四个模块：

预处理模块201；

前景提取模块202；

深度图获取模块203；以及

后处理模块204。

预处理模块用于读入左右路图片，并对右图作去噪处理，然后利用聚类算法将图像中的相似像素点进行聚类并合并为区域，记录区域信息，本实施方法中采用K-Means算法进行聚类处理。

预处理模块的流程框图参见图3，具体包括：

读入图片步骤301：读入当前时间点的左右两幅图像。

图像去噪步骤302：目的是减弱图像噪声对聚类算法的影响。本例中采用高斯滤波算法对图像进行去噪处理。同一时刻的左右两幅图像具有很强的空间相关性，对于图像分割操作，只需对右图进行处理即可，左图作为后续立体匹配算法的参考图像（左图亦可，后续将右图作为参考图像）

下面步骤303-306进行的是图像聚类处理，本例中采用K-means聚类算法，基本计算依据是图像的五维坐标(x,y,r,g,b)，其中(x,y)是像素位置坐标，(r,g,b)像素点在RGB色彩空间的分量值，根据五维坐标的相似程度进行聚类操作，设定相似度变量D(x,y,r,g,b)。

设置初始聚类中心步骤303：本例将图像分成若干个固定长宽的矩形方块，计算每个矩形方块中所有像素点的五维空间坐标平均值作为初始聚类中心。为叙述方便用C(x,y,r,g,b)表示聚类中心的位置及色彩空间值。X_C和Y_C分别表示聚类中心的横纵坐标，R_C，G_C和B_C分别表示聚类中心的红、绿、蓝三个颜色分量值，后文中其他公式对于五维空间坐标均采用类似的符号，后文不予赘述。

将像素点按照五维空间坐标聚类的步骤304：依次处理图像中的每个像素点。对于当前像素点，计算该点与其搜索范围内的各个聚类中心的五维空间距离，其中最小的空间距离值对应的聚类中心所属的类别即为该像素点所属于的类别。假设当前像素点为P(x,y,r,g,b)，相应的聚类中心像素为C(x,y,r,g,b)具体计算方式如下：

颜色空间距离；

$D_{\mathrm{pc}\_\mathrm{color}}=\sqrt{{(R_p-R_c)}^2+{(G_p-G_c)}^2+{(B_p-B_c)}^2}$

位置空间距离：

$D_{\mathrm{pc}\_\mathrm{position}}=\sqrt{{(X_p-X_c)}^2+{(Y_p-Y_c)}^2}$

该像素点与聚类中心的五维空间距离：

$D(x,y,r,g,b)=\sqrt{{D_{\mathrm{pc}\_\mathrm{color}}}^2+{D_{\mathrm{pc}\_\mathrm{position}}}^2}$

通过计算该像素与不同聚类中心的五维空间距离，选取最小空间距离minD(x,y,r,g,b)的聚类中心，即为最相似结果，便将该相似点归于相应的聚类中心一类。

更新聚类中心步骤305：统计各类别包括的所有像素点，计算这些像素点的五维空间坐标平均值，作为新的聚类中心，统计循环执行次数tter_num。

判断聚类是否结束的步骤306：具体方法如下：计算图像中像素点距离聚类中心的最小五维空间距离minD(x,y,r,g,b)之和sumD：

sumD=∑minD(x,y,r,g,b)

当前循环计算得到的距高和为sumD_current，前一次循环计算得到的距离和是sumD_prevtous，聚类结束的条件为下面两式有一个成立；

sumD_prevtous-surmD_current≤T

tter_num＞max_tter

其中T为给定的阈值(这个参数是根据图像内容确定的，优选设定为(1.2～2)倍的sumD_prevtous/tter_num)；tter_num为当前循环执行次数，max_tter为与设定的最大循环执行次数(通常设定为5～10次)。若聚类结束条件不成立，则返回步骤304继续循环；若聚类结束条件成立，则进入区域生长步骤307。

区域生长步骤307：首先采用四邻域的区域增长算法将各个聚类转化为连通的区域，统计每个区域中的像素点个数。若某个区域像素点个数大于给定上限阈值，则设置两个或多个聚类中心，再次调用K-means聚类算法，将该区域分割为两个或多个子区域；若某个区域像素点个数小于给定下限阈值，则将该区域合并至五维空间中最近的邻域。

最后，记录各个区域的平均五维坐标和区域问的相邻信息(即：表示区域是否相邻的信息)。

前景提取模块，用于接收操作者输入的用于标记第一幅图像的前景和背景的人工标记，根据输入的人工标记，对各个区域计算权值，包括代表区域之间连通性的区域连接权值以及区域与人工标记间相关性的标记权值；还用于将计算好的权值作为输入，调用GrpahCut算法对当前图像进行前景部分与背景部分的分割，提取前景区域。前景提取模块的流程图参见图4，具体包括：

区域连接权值计算步骤401：根据步骤307判断，对于空间上不相邻的区域，不考虑其连接权值，即连接权值设为O，对于空间上相邻的区域，考虑颜色上相关度信息，按照如下公式计算连接权值(以相邻的区域a与区域b为例)：

计算像素颜色差异值：

$D_{\mathrm{ab}}=\sqrt{{(R_a-R_b)}^2{+(G_a-G_b)}^2{(B_a-B_b)}^2}$

区域a，b之间的连接权值：

其中(R_a，G_a，B_a)和(R_b，G_b，B_b)分别为区域a和b的各像素在RGB颜色空间各分量的平均值；

人工标记输入步骤402：接收操作者输入的人工标记。本例中给出的标记方法为，操作者用鼠标左键在前景物体上做标记，用鼠标右键在背景物体上做标记。若前景标记点或背景标记点的个数大于预先设定的聚类阈值cluster_num，则利用K-means算法将其聚类为cluster_num个类别，取每个类别的聚类中心作为最终的标记点；为了保证人工干预信息的有效性，若标记点的个数小于或等于聚类阈值cluster_num，则不进行聚类。

标记权值计算步骤403：对于图像中的每个区域，计算其对于前景标记s和背景标记k的权值。

计算前景标记权值就是计算当前区域k和前景标记点s的五位空间距离，具体计算方法如下所示：

计算色彩空间距离：

$D_{\mathrm{ks}\_\mathrm{color}}=\sqrt{{(R_k-R_s)}^2+{(G_k-G_s)}^2+{(B_k-B_s)}^2}$

计算位置空间距离： $D_{\mathrm{ks}\_\mathrm{position}}=\sqrt{{(X_k-X_s)}^2+{(Y_k-Y_s)}^2}$

当前区域和前景标记点的五位空间距离：

$D_{\mathrm{ks}}=\sqrt{{D_{\mathrm{ks}\_\mathrm{color}}}^2+{D_{\mathrm{ks}\_\mathrm{position}}}^2}$

foreD_ks=minD_ks

${\mathrm{foreW}}_{\mathrm{ks}}=\frac{1}{{\mathrm{foreD}}_{\mathrm{ks}}}$

其中，(X_k，Y_k，R_k，G_k，Ｂ_k)和(X_s，Y_s，R_s，G_s，B_s)分别为区域k和前景标记点s的五维空间坐标；D_{ks_color}为区域k和前景标记点s的颜色空间距离；D_{ks_position}为区域k和前景标记点s的位置距离；D_ks为区域k和前景标记点s的五维空间距离；foreD_ks为区域k和前景标记的最小五维空间距离；foreW_ks为区域k的前景标记权值。

背景标记权值的计算公式与前景标记权值计算方式类似，当前区域k和背景标记点t计算方法如下：

$D_{\mathrm{kt}\_\mathrm{color}}=\sqrt{{(R_k-R_t)}^2+{(G_k-G_t)}^2{(B_k-B_t)}^2}$

$D_{\mathrm{kt}\_\mathrm{position}}=\sqrt{{(X_k-X_t)}^2+{(Y_k-Y_t)}^2}$

$D_{\mathrm{kt}}=\sqrt{{D_{\mathrm{kt}\_\mathrm{color}}}^2+{D_{\mathrm{kt}\_\mathrm{position}}}^2}$

backD_ks＝minD_ks

${\mathrm{backW}}_{\mathrm{ks}}=\frac{1}{{\mathrm{backD}}_{\mathrm{ks}}}$

其中，(X_k，Ｙ_k，R_k，Ｇ_k，B_k)和(X_t，Y_t，Ｒ_t，Ｇ_t，Ｂ_t)分别为区域k和背景标记点t的五维空间坐标；D_{kt_color}为区域k和背景标记点t的颜色空间距离；D_{kt_position}为区域k和背景标记点t的位置距离；D_kt为区域k和背景标记点t的五维空间距离；backD_kt为区域k和背景标记的最小五维空间距离；backW_kt为区域k的背景标记权值。

GrapchCut分割步骤404：将区域连接权值和标记权值作为输入参数，调用GraphCut算法得到区域分割结果。

区域分割结果是否满足要求的判断步骤405：本例中，由操作者判断区域分割结果是否较为准确的分离出图像的前景和背景，即观察分割结果。若分割结果不能满足要求，则返回步骤402重新添加人工标记，进行区域分割操作；若分割结果能够满足要求，则进入步骤501进行后续立体匹配获取深度图阶段。

深度图获取模块，根据区域分割的结果，对前景部分和背景部分采用不同的立体匹配算法处理，获得视差图，再转化为深度图，深度图和视差图是成反比的关系，通过立体匹配得到视差图则可以转化为深度图，后文部分将详细说明通过立体匹配算法获取视差图的过程。

为了叙述方便，本例中，用P_L表示读入的左图，P_R表示读入的右图，P_L(i,j)表示左图第i行，第j列的像素，P_R(i,j)表示左图第i行，第j列的像素。对于左图当前像素点P_L(i,j)，设定其视差搜索范围（DSR=20），即搜索区域为右图同一水平线的像素点集P_R(i,j-d)，其中d∈[0,DSR]。依次对d∈[0,DSR]范围内的每个参考点P_R(i,j-d)，计算其与P_L(i,j)的匹配代价Cost_d，选取匹配代价Cost_d最小的参考点作为最佳匹配点，则该点对应的视差则是当前像素点P_L(i,j)的视差值，即为d。具体步骤如图5所示：

匹配方法选择步骤501：判断当前像素是属于前景部分还是背景部分，根据上一模块的前景提取模块的结果，若像素属于前景部分则进入步骤502，否则进入步骤505；

若判定像素属于前景区域，应采用较准确的立体匹配算法，即自适应权值匹配算法，计算方法如下文步骤502～504：

自适应支持窗口确定步骤502：以当前像素点P_L(i,j)为中心，选取大小为W×W的支持窗口（目标窗口），参数W选择范围为27～37的奇数，根据窗口内各像素与当前像素P_L(i,j)的亮度和彩色信息以及距离信息，计算其与P_L(i,j)的相关程度，作为权值。目标窗口内像素点P_L(i+m,j+n)的权值记为Ω_L(p,q)，其中q表示像素点P_L(i+m,j+n)。

权值的计算步骤503：对原图像进行中值滤波以去除噪声干扰。滤波窗口大小选择5×5或3×3（基本单位是像素点）。说明：计算权值Ω_L(p,q)需同时考虑色彩差异和距离信息。色彩相似度越大权值越大，距离越近权值越大。为了降低噪声信号的影响，计算权值时所采用的颜色信息均以对原图像进行中值滤波后的图像为参考，中值滤波只用于权值计算时，匹配过程中仍应该对原图像进行处理。

色彩相似度计算： $D_{\mathrm{Colour}}=\sqrt{{(R_p-R_q)}^2+{(G_p-G_q)}^2+{(B_p-B_q)}^2},$ 其中RGB代表像素的彩色分量。

距离计算：其中X、Y分别代表像素的横和纵坐标。

权值计算：Ω_L(p,q)=exp[-(D_Colour/γ_C+D_Distance/γ_D)]，其中γ_C∈(6,12)，γ_D∈(18,28)

匹配代价的计算需要同时考虑目标窗口和参考窗口（以P_R(i,j-d)为中心的支持窗口），为了得到更准确的权值，需要同时考虑目标窗口内各像素的权值和参考窗口内各像素的权值，二者需要根据自己窗口内的不同信息分别计算，得到Ω_L(p_L,q_L)和Ω_R(p_R,q_R)。

对于支持窗口内的像素点，若其不在前景区域则要去除掉，采用的方法是对权值乘以前景区域的标记值1，若为背景像素点则标记值为0，通过权值相乘可以去掉，背景像素点作为支持窗口内像素的情况，使得结果更加精确。

综上，最终的权值计算公式为：

Ω(q_L,q_R)＝Ω_L(p_L,q_L)×Ω_R(p_R,q_R)×P_Segment

其中Ω_L(p_L,q_L)和Ω_R(p_R,q_R)目标窗口和参考窗口的权值矩阵，P_Segment是表示当前窗口中各像素是属于前景或者背景的矩阵，对应像素为前景则在矩阵P_Segment中对应位置的值为1，背景则对应0；

绝对误差（AD）计算步骤504：计算公式如下：

Cost_AD(p,q)=|R_p-R_q|+|G_p-G_q|+|B_p-B_q|；

其中RGB代表像素的彩色分量。而匹配代价积累的计算公式如下：

${\mathrm{Cost}}_{\mathrm{SAD}}\left(d\right)=\frac{\underset{m=-W/2}{\overset{W/2}{\mathrm{\Σ}}}\underset{n=-W/2}{\overset{W/2}{\mathrm{\Σ}}}\mathrm{\Ω}(q_L(i+m,j+n),q_R(i+m,j-d+n))\×{\mathrm{Cost}}_{\mathrm{AD}}(q_L(i+m,j+n),q_R(i+m,j-d+n))}{\underset{m=-W/2}{\overset{W/2}{\mathrm{\Σ}}}\underset{n=-W/2}{\overset{W/2}{\mathrm{\Σ}}}\mathrm{\Ω}(q_L(i+m,j+n),q_R(i+m,j-d+n))}$

其中：

Ω(q_L(i+m,j+n),q_R(i+m,j-d+n))

=Ω_L(p_L(i,j),q_L(i+m,j+n))×Ω_R(q_R(i,j-d),q_R(i+m,j-d+n))×P_Segment(i+m,j+n)

当前像素点为背景像素点，采用基于Rank变换立体匹配算法处理，计算步骤下述步骤505～507：

步骤505：以当前像素点P_L(i,j)为中心，选取大小为X×Y的支持窗口（目标窗口），其中X和Y的选择范围为17～25的奇数，二者可以不相等。

步骤506：先计算亮度差Diff，即支持窗口内各像素的亮度值减去中心像素的亮度值，将差值分为5个等级，得到Rank矩阵，计算方法如下：

$\mathrm{Rank}=\left\{\begin{array}{cc}-2& \mathrm{Diff}<-v\\ -1& -v\&le;\mathrm{Diff}<-u\\ 0& -u\&le;\mathrm{Diff}<u\\ 1& u\&le;\mathrm{Diff}<v\\ 2& \mathrm{Diff}>v\end{array}\right.$

其中u和v为阈值参数，u=2,3,4，v=8,9,10

分别计算目标窗口和参考窗口的Rank矩阵，得到RankL(i,j)和RankR(i,j-d)，二者均为WinX×WinY大小的矩阵。

计算 $\mathrm{RankCost}(m,n)=\left\{\begin{array}{cc}0& \mathrm{RankL}(m,n)=\mathrm{RankR}(m,n)\\ 1& \mathrm{RankL}(m,n)\&NotEqual;\mathrm{RankR}(m,n)\end{array}\right.,$ 其中m，n是累加计算中使用的变量，

步骤507：匹配代价Cost_RT(d)计算：

${\mathrm{Cost}}_{\mathrm{RT}}\left(d\right)={\mathrm{\&Sigma;}}_{m=-X/2}^{X/2}{\mathrm{\&Sigma;}}_{n=Y/2}^Y\mathrm{RankCost}(m,n)$

步骤508：根据步骤504或者步骤507获取的匹配代价，选取最小匹配代价对应的视差值，作为该像素点的视差值；

步骤509：判断当前图像所有像素点是否处理完毕，处理完毕则进入步骤510，否则会到501进行下一像素点的处理；

步骤510：将得到的视差图转化为深度图；

后处理模块，用于根据前景提取模块202提取的前景信息以及深度图获取模块203获得的初始深度图信息，对前景部分的视差图进一步校正处理，得到更可靠的前景信息，使得整幅图像的深度信息更为可靠。具体步骤如下：

为叙述方便，假设获取的深度图用Depth表示，Depth(i,j)表示深度图第i行，第j列的深度值。对深度图的各像素点依次进行处理。

步骤601：读取当前像素点；

步骤602：判断当前像素点是否属于前景区域，不是则回到步骤601进行下一像素点的处理，否则进入步骤603选择相应的深度图校正窗口；

步骤603：选取深度图校正窗口，通常为以当前深度点为中心的矩阵，假设大小为N×N,N为7～15的奇数，根据预处理模块聚类结果判断校正窗口中的像素点与当前像素点是否属于同一类别，若不是则去除该支持像素点（即定义为无效像素点），以一个大小为N×N的矩阵记录该信息，属于同一类别的支持像素点（即定义为有效像素点），在矩阵中对应位置值为1，否则为0；

步骤604：根据603中确定的校正窗口的所有有效像素点对当前像素点进行校正处理，当前像素点的深度值为所有有效支持像素的深度值得平均值，通过将像素点的深度值与位置值相乘的方式可剔除无效像素点参与平均值计算。

步骤605：检查所有像素点是否处理完毕，否则进入下一像素点处理。处理完毕则结束整个技术方案。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种双目立体视频序列的深度图获取方法，其特征在于，包括以下步骤：

S100）预处理步骤：读入同一时间点的两幅图像，对其中的第一幅图像进行聚类处理；然后采用区域生长的方式将各个聚类转化为连通的区域，记录各个区域的平均五维坐标和区域间的相邻信息；

S200）前景提取步骤：包括：S210)权值计算步骤：接收操作者输入的用于标记第一幅图像的前景和背景的人工标记，计算代表区域之间连通性的区域连接权值以及各区域与人工标记间相关性的标记权值；S220)图像分割步骤：将所述区域连接权值和标记权值作为输入，调用GrpahCut算法对第一幅图像进行前景部分与背景部分的分割；

S300）深度图获取步骤：以所述两幅图像中的第二幅图像作为参考图像，根据前景提取步骤的分割结果，基于局部自适应权值立体匹配算法计算前景部分的视差图，基于Rank变换立体匹配算法计算背景部分的视差图，然后将前景部分的视差图和背景部分的视差图转换为深度图。

2.根据权利要求1所述的双目立体视频序列的深度图获取方法，其特征在于，还包括：

S400）后处理步骤：对前景部分的像素点，采用以下步骤进行深度值校正：选取深度图校正窗口，并根据预处理步骤的处理结果，以将校正窗口中所有与待校正像素属于同一区域的像素点的平均深度值更新待校正像素点的深度值。

3.根据权利要求1或2所述的双目立体视频序列的深度图获取方法，其特征在于，所述预处理步骤中所述聚类处理包括以下步骤：

S110）对待处理的图像进行去噪处理；

S120）采用K-means聚类算法，根据五维空间坐标的相似程度对所述第一幅图像进行聚类，将像素点归于与其五维空间距离最小的聚类中心所属的类别。

4.根据权利要求1或2所述的双目立体视频序列的深度图获取方法，其特征在于，所述步骤S210）包括以下步骤：

S211）根据步骤S100)获得的区域间的相邻信息，对于不相邻的区域，设其区域连接权值为0，对于任意相邻的区域a与区域b，其区域连接权值

其中， $D_{\mathrm{ab}}=\sqrt{{(R_a-R_b)}^2{+(G_a-G_b)}^2{(B_a-B_b)}^2},$ (R_a，G_a，B_a)和(R_b，G_b，B_b)分别为区域a和区域b的各像素在RGB颜色空间各分量的平均值；

S212)接收操作者输入的的前景标记点s和背景标记点t；

S213)对于图像的每个区域k，计算其前景标记权值foreW_ks和背景标记权值backW_kt，其中：

foreD_ks为区域k和前景标记点s的最小五维空间距离；

backD_kt为区域k和背景标记点t的最小五维空间距离。

5.根据权利要求2所述的双目立体视频序列的深度图获取方法，其特征在于，所述步骤S400）包括以下步骤：

S401）读取当前像素点；

S402）判断当前像素点是否属于前景部分，若不是，则返回步骤S401)进行下一像素点的处理，否则进行下一步骤；

S403）选取以当前像素点为中心的矩阵作为深度图校正窗口，根据预处理步骤处理结果，将校正窗口中与当前像素点不属于同一区域的像素点定义为无效像素点，其余像素点定义为有效像素点；

S404）更新当前像素点的深度值为深度图校正窗口中所有有效像素点的深度值的平均值；

S405）检查所有像素点是否校正完毕，若否，则进入下一像素点处理；若是，则结束校正。

6.一种双目立体视频序列的深度图获取系统，其特征在于，包括：

预处理模块（201），包括聚类模块和区域生长模块，所述聚类模块用于读入同一时间点的两幅图像，对其中的第一幅图像进行聚类处理；所述区域生长模块用于采用区域生长的方式将各个聚类转化为连通的区域，记录各个区域的平均五维坐标和区域间的相邻信息；

前景提取模块（202）：包权值计算模块和图像分割模块，所述权值计算模块用于接收操作者输入的用于标记第一幅图像的前景和背景的人工标记，计算代表区域之间连通性的区域连接权值以及各区域与人工标记间相关性的标记权值；所述图像分割模块用于将所述区域连接权值和标记权值作为输入，调用GrpahCut算法对第一幅图像进行前景部分与背景部分的分割；

深度获取模块（203）：用于以所述两幅图像中的第二幅图像作为参考图像，根据前景提取步骤的分割结果，基于局部自适应权值立体匹配算法计算前景部分的视差图，基于Rank变换立体匹配算法计算背景部分的视差图，然后将前景部分的视差图和背景部分的视差图转换为深度图。

7.根据权利要求6所述的双目立体视频序列的深度图获取系统，其特征在于，还包括：

后处理模块（204）：用于对前景部分的像素点，采用以下步骤进行深度值校正：选取深度图校正窗口，并根据预处理步骤的处理结果，以将校正窗口中所有与待校正像素属于同一区域的像素点的平均深度值更新待校正像素点的深度值。

8.根据权利要求6或7所述的双目立体视频序列的深度图获取系统，其特征在于，所述聚类模块包括：

去噪处理模块：用于对待处理的图像进行去噪处理；

K-means模块：用于采用K-means聚类算法，根据五维空间坐标的相似程度对所述第一幅图像进行聚类，将像素点归于与其五维空间距离最小的聚类中心所属的类别。

9.根据权利要求6或7所述的双目立体视频序列的深度图获取系统，其特征在于，所述权值计算模块包括：

区域连接权值计算模块：用于根据预处理模块获得的区域间的相邻信息，对于不相邻的区域，设其区域连接权值为0，对于任意相邻的区域a与区域b，其区域连接权值

其中， $D_{\mathrm{ab}}=\sqrt{{(R_a-R_b)}^2{+(G_a-G_b)}^2{(B_a-B_b)}^2},$ (R_a，G_a，B_a)和(R_b，G_b，B_b)分别为区域a和区域b的各像素在RGB颜色空间各分量的平均值；

标记输入模块：用于接收操作者输入的的前景标记点s和背景标记点t；

标记权值计算模块：用于对于图像的每个区域k，计算其前景标记权值foreW_ks和背景标记权值backW_kt，其中：

foreD_ks为区域k和前景标记点s的最小五维空间距离；

backD_kt为区域k和背景标记点t的最小五维空间距离。

10.根据权利要求7所述的双目立体视频序列的深度图获取系统，其特征在于，所述后处理模块包括：

读取模块：用于读取当前像素点；

判断模块：用于判断当前像素点是否属于前景部分，若不是，则读取模块进行下一像素点的处理，否则进行下一模块进行处理；

有效像素选取模块：用于选取以当前像素点为中心的矩阵作为深度图校正窗口，根据预处理步骤处理结果，将校正窗口中与当前像素点不属于同一区域的像素点定义为无效像素点，其余像素点定义为有效像素点；

深度值更新模块：用于更新当前像素点的深度值为深度图校正窗口中所有有效像素点的深度值的平均值；

终止判断模块：用于检查所有像素点是否校正完毕，若否，则进入下一像素点处理；若是，则结束校正。

Images