CN102802020A - 监测双目立体视频视差信息的方法和装置 - Google Patents

Abstract

本发明提出一种监测双目立体视频视差信息的方法和装置，其中该方法包括以下步骤：获取双目立体视频的第一视频帧对；对第一视频帧对进行颜色校正以获得第二视频帧对；对第二视频帧对进行局部立体匹配以获得初始视差图；对初始视差图进行时间一致性修正以获得最终视差图；以及对最终视差图进行直方图统计以获得视差分布信息。根据本发明实施例的方法，根据颜色校正、局部立体匹配和时间一致性修正等改进措施，可以实现从未经几何校正的双目立体视频中获取稳定、准确的视差图和视差分布信息。

Description

监测双目立体视频视差信息的方法和装置

技术领域

本发明涉及计算机图像处理领域，特别涉及一种监测双目立体视频视差信息的方法和装置。

背景技术

在双目立体采集过程中，立体视频流的视差信息是评估最终立体视频显示质量的关键指标，视差信息反映了物体的深度信息，可以用来描述场景的远近，另外不同的视差分布还会形成不同的观看效果。

视频的立体匹配算法一般分为计算匹配代价、聚合匹配代价、计算视差和优化视差图四个步骤，可以根据视差计算方式的不同分为局部匹配算法和全局匹配算法。其中，全局匹配算法的目标是找到一个函数使全局能量函数最小，可利用整个图像的信息获取视差图，但是复杂度高、计算量大，很难做到实时性。局部匹配算法采用WTA（Winner-Take-All）策略选取每个像素点的匹配代价最小的目标像素点作为匹配点，速度快，对于精度要求不高的实时监测中经常采用。

但是，目前的局部匹配算法存在以下问题：首先，因为孤立地考虑当前帧的颜色信息，对于实际拍摄内容的处理存在较多的误匹配现象，获取的视差序列不够稳定和连贯，不符合监测的要求，其次，随着输入视频分辨率的增加，算法的复杂度也会迅速增加，难以满足实时的要求。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为达到上述目的，本发明一方面的实施例提出一种监测双目立体视频视差信息的方法，包括以下步骤：S1：获取所述双目立体视频的第一视频帧对；S2：对所述第一视频帧对进行颜色校正以获得第二视频帧对；S3：对所述第二视频帧对进行局部立体匹配以获得初始视差图；S4：对所述初始视差图进行时间一致性修正以获得最终视差图；以及S5：对所述最终视差图进行直方图统计以获得视差分布信息。

根据本发明实施例的方法，根据颜色校正、局部立体匹配和时间一致性修正等改进措施，可以实现从未经几何校正的双目立体视频中获取稳定、准确的视差图和视差分布信息，同时可以方便设计程序以便于方便实现视差信息的实时监测。

本发明的一个实施例中，所述步骤S2具体包括：S21：确定所述第一视频帧对的公共区域；S22：分别对所述第一视频帧对的左视图和右视图在所述公共区域中的各个颜色分量进行直方图分布统计；S23：根据所述直方图分布分别计算所述左视图和所述右视图的累计直方图；S24：根据所述累计直方图建立直方图匹配函数；以及S25：根据所述直方图匹配函数对所述第一视频帧对进行颜色校正以获得第二视频帧对。

在本发明的一个实施例中，在所述步骤S2之后还包括：对所述第二视频帧对进行边缘检测以获得梯度图对，其中，所述边缘检测包括sobel滤波。

本发明的一个实施例，所述步骤S3具体包括：S31：根据所述公共区域确定搜索范围，其中，所述搜索范围为矩形区域；S32：根据所述梯度图对计算所述公共区域中基准图的每个像素点在参考图的所述搜索范围中的多个像素点灰度差绝对值之和SAD；S33：根据所述多个SAD确定最小SAD，并计算所述最小SAD所对应的所述参考图像素点和所述基准图的像素点的横向距离差以获得初始视差值；S34：判断所述SAD是否符合约束条件；S35：如果否，则将所述像素点的初始视差值赋值为0；S36：将不在所述公共区域中的所述基准图的像素点的初始视差值赋值为0；以及S37：根据所述基准图的每个像素点的初始视差值获得所述初始视差图。

在本发明的一个实施例中，如果所述左视图为基准图，所述右视图为参考图，则所述左视图的待匹配像素点p(x,y)在所述右视图中的搜索范围为(x-ndisp,y±a)和(x,y±a)四点所确定的矩形区域；如果所述右视图为基准图，所述左视图为参考图，则所述右视图的待匹配像素点q(x,y)在所述左视图中的搜索范围为(x+ndisp,y±a)和(x,y±a)四点所确定的矩形区域，ndisp表示所述公共区域的宽度值，a表示预设值。

在本发明的一个实施例中，所述约束条件包括局部极小值抑制约束条件和双向匹配约束条件。

在本发明的一个实施例中，所述步骤S4具体包括：S41：获取所述基准图的运动区域和静止区域；S42：对所述静止区域的像素点的初始视差值按照以下公式进行所述时间一致性修正以获得所述最终视差图， $D(p,k)=\mathrm{\βD}(p,k-1)+(1-\mathrm{\β})\hat{D}(p,k),$ p∈静止区域其中，

表示第k帧中像素点p未加入时间一致性约束时的初始视差值，D(p,k-1)表示k-1帧中像素点p加入时间一致性约束后的初始视差值，β为时间一致性约束因子；以及S43：对所述最终视差图进行中值滤波。

为达到上述目的，本发明的实施例另一方面提出一种监测双目立体视频的视差信息的装置，包括：获取模块，用于获取所述双目立体视频的第一视频帧对；颜色校正模块，用于对所述第一视频帧对进行颜色校正以获得第二视频帧对；立体匹配模块，用于对所述第二视频帧对进行局部立体匹配以获得初始视差图；修正模块，用于对所述初始视差图进行时间一致性修正以获得最终视差图；以及统计模块，用于对所述最终视差图进行直方图统计以获得视差分布信息。

根据本发明实施例的监测双目立体视频的视差信息的装置，根据颜色校正、局部立体匹配和时间一致性修正等改进措施，可以实现从未经几何校正的双目立体视频中获取稳定、准确的视差图和视差分布信息，可以实现视差信息的实时监测。

在本发明的一个实施例中，所述颜色校正模块包括：确定单元，用于确定所述第一视频帧对的公共区域；统计单元，用于分别对所述第一视频帧对的左视图和右视图在所述公共区域中的各个颜色分量进行直方图分布统计；计算单元，用于根据所述直方图分布分别计算所述左视图和所述右视图的累计直方图；建立单元，用于根据所述累计直方图建立直方图匹配函数；以及获取单元，用于根据所述直方图匹配函数对所述第一视频帧对进行颜色校正以获得第二视频帧对。

在本发明的一个实施例中，所述监测双目立体视频视差信息的装置还包括：滤波模块，用于对所述第二视频帧对进行边缘检测以获得梯度图对，其中，所述边缘检测包括sobel滤波。

在本发明的一个实施例中，所述立体匹配模块具体包括：确定单元，用于根据所述公共区域确定搜索范围，其中，所述搜索范围为矩形区域；第一计算单元，用于根据所述梯度图对计算所述公共区域中基准图的每个像素点在参考图的所述搜索范围中的多个像素点灰度差绝对值之和SAD；第二计算单元，用于根据所述多个SAD确定最小SAD，并计算所述最小SAD所对应的所述参考图像素点和所述基准图的像素点的横向距离差以获得初始视差值；判断单元，用于判断所述SAD是否符合约束条件；第一赋值单元，当不符合约束条件时，将所述像素点的初始视差值赋值为0；第二赋值单元，将不在所述公共区域中的所述基准图的像素点的初始视差值赋值为0；以及获取单元，用于根据所述基准图的每个像素点的初始视差值获得所述初始视差图。

在本发明的一个实施例中，如果所述左视图为基准图，所述右视图为参考图，则所述左视图的待匹配像素点p(x,y)在所述右视图中的搜索范围为(x-ndisp,y±a)和(x,y±a)四点所确定的矩形区域；如果所述右视图为基准图，所述左视图为参考图，则所述右视图的待匹配像素点q(x,y)在所述左视图中的搜索范围为(x+ndisp,y±a)和(x,y±a)四点所确定的矩形区域，ndisp表示所述公共区域的宽度值，a表示预设值。

在本发明的一个实施例中，所述约束条件包括局部极小值抑制约束条件和双向匹配约束条件。

在本发明的一个实施例中，所述修正模块具体包括：获取单元，用于获取所述基准图的运动区域和静止区域；修正单元，用于对所述静止区域的像素点的初始视差值按照以下公式进行所述时间一致性修正以获得所述最终视差图， $D(p,k)=\mathrm{\βD}(p,k-1)+(1-\mathrm{\β})\hat{D}(p,k),$ p∈静止区域其中，表示第k帧中像素点p未加入时间一致性约束时的初始视差值，D(p,k-1)表示k-1帧中像素点p加入时间一致性约束后的初始视差值，β为时间一致性约束因子；以及滤波单元，用于对所述最终视差图进行中值滤波。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的监测双目立体视频视差信息的方法的流程图；

图2为本发明实施例的对第一视频帧对进行颜色校正以获得第二视频帧对的流程图；

图3为本发明实施例的立体匹配搜索范围的示意图；

图4为本发明实施例的实时监测双目立体视频视差信息的装置的框架图；

图5为本发明实施例的颜色校正模块的框架图；以及

图6为本发明实施例的立体匹配模块的框架图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

在本发明的描述中，需要理解的是，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为本发明实施例的监测双目立体视频视差信息的方法的流程图。如图1所示，根据本发明实施例的监测双目立体视频视差信息的方法，包括以下步骤：

步骤S101，获取双目立体视频的第一视频帧对。

具体地，可以从输入的双目立体视频中提取一对视频帧作为第一视频帧对，其中，第一视频帧对为同一时刻两个双目相机所拍摄到的一对视频帧。

步骤S102，对第一视频帧对进行颜色校正以获得第二视频帧对。

图2为本发明实施例的对第一视频帧对进行颜色校正以获得第二视频帧对的流程图，具体地，如图2所示，步骤S102包括以下步骤：

步骤S211，确定第一视频帧对的公共区域。更具体地，由于双目拍摄系统中左右相机位置不同，两个相机所能拍摄到的场景范围不同，其中，公共区域是指两个相机中公共的拍摄内容，反映到立体视频帧对中是指左右视图可以在另一视图中找到对应点的区域，可以通过人机交互模式对实际场景进行估计以给定视差搜索范围ndisp，则左视图的公共区域为与左边界距离大于ndisp的像素点，右视图的公共区域为与右边界距离大于ndisp的像素点。

步骤S212，分别对第一视频帧对的左视图和右视图在公共区域中的各个颜色分量进行直方图分布统计。更具体地，设H_l，u(i)和H_r，u(i)分别表示左右视图中u颜色分量等于i的像素点占总像素点个数的比例，I_l，u(x,y)和I_r，u(x,y)分别表示左右视图中位于(x,y)位置的像素点u的颜色分量值，对左右视图中各颜色的所有取值进行概率统计，可得到直方图统计结果，具体统计方法如下公式所示，

$\left\{\begin{array}{c}{H}_{l,u}\left(i\right)=\frac{1}{(w-\mathrm{ndisp})*h}\underset{x=\mathrm{ndisp}}{\overset{w-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{h-1}{\mathrm{\Σ}}}\mathrm{\σ}(I_{l,u}(x,y),i)i=\mathrm{0,1},\·\·\·,255\\ H_{r,u}\left(i\right)=\frac{1}{(w-\mathrm{ndisp})*h}\underset{x^{\′}=0}{\overset{w-1-\mathrm{ndisp}}{\mathrm{\Σ}}}\underset{y^{\′}=0}{\overset{h-1}{\mathrm{\Σ}}}\mathrm{\σ}(I_{r,u}(x^{\′},y^{\′}),i),i=\mathrm{0,1},\·\·\·,255\end{array}\right.$

其中，w和h分别表示视图的宽度和高度，ndisp为给定的视差搜索范围，函数σ(a,b)的定义如下，

$\mathrm{\σ}(a,b)=\left\{\begin{array}{c}1,a=b\\ 0,a\≠b\end{array}\right..$

步骤S213，根据直方图分布分别计算左视图和右视图的累计直方图。更具体地，设C_l，u(i)和C_r，u(i)分别表示左视图和右视图中u颜色分量值小于等于i的像素点比例，则累计直方图计算结果如下，

$\left\{\begin{array}{c}{C}_{l,u}\left(i\right)=\underset{j=0}{\overset{i}{\mathrm{\Σ}}}{H}_{l,u}\left(j\right),i=\mathrm{0,1},\·\·\·,255\\ C_{r,u}\left(i\right)=\underset{j=0}{\overset{i}{\mathrm{\Σ}}}{H}_{r,u}\left(j\right),i=\mathrm{0,1},\·\·\·,255\end{array}\right..$

步骤S214，根据累计直方图建立直方图匹配函数。更具体地，对于颜色校正的目的是使得左视图和右视图的累计直方图具有相似的分布，如果待校正的对象是右视图，则校正的目标是右视图的累计直方图与左视图的累计直方图具有相似的分布。其中，如果待校正的对象是右视图，设匹配函数S_u(i)，S_u(i)表示右视图中u颜色分量值为i的像素点对应的u颜色分量值，其中，

S_u(i)=j,C_l,u(j)<C_r，u(i)<C_l,u(j+1)。

步骤S215，根据直方图匹配函数对第一视频帧对进行颜色校正以获得第二视频帧对。更具体地，设待校正的对象是右视图，则根据匹配函数S_u(i)对右视图中的所有像素点进行颜色校正的变换公式如下，

I_r，u(x,y)=s_u(I_r，u(x,y))，

其中，I_r，u(x,y)表示右视图中位于(x,y)位置的像素点的u颜色分量值。

在本发明的一个实施例中，步骤S102之后还包括步骤：对第二视频帧对进行边缘检测以获得梯度图对，其中，边缘检测包括sobel滤波，还可以采用其他边缘滤波方法。

步骤S103，对第二视频帧对进行局部立体匹配以获得初始视差图。

具体地，首先，根据公共区域确定搜索范围，其中，搜索范围为矩形区域。

在本发明的一个实施例中，如果左视图为基准图，右视图为参考图，则左视图的待匹配像素点p(x,y)在右视图中的搜索范围为(x-ndisp,y±a)和(x,y±a)四点所确定的矩形区域；如果右视图为基准图，左视图为参考图，则右视图的待匹配像素点q(x,y)在左视图中的搜索范围为(x+ndisp,y±a)和(x,y±a)四点所确定的矩形区域，ndisp表示公共区域的宽度值，a表示预设值。具体地，对于已经进行几何校正的立体视频帧对，左视图中的待匹配点p(x,y)在右视图中的搜索区域是由(x-ndisp,y)和(x,y)两点决定的线段，但在实际应用中，由于采集到的视频未经过严格校正，因此匹配点并不一定位于同一水平线上，根据对极几何原理，匹配点对中的一点应位于另一点所决定的对极线上，考虑拍摄中摄像机是不断运动的，难以随时获取准确的参数去计算对极线，而摄像机组的姿态是比较理想的，对极线不会有太大的歪斜，因此将搜索范围由线段简单扩大为由(x+ndisp,y±a)和(x,y±a)四点所确定的矩形区域四点决定的矩形区域，其中a由人工设定，以增强算法的鲁棒性。

然后，根据梯度图对计算公共区域中基准图的每个像素点在参考图的搜索范围中的多个像素点灰度差绝对值之和SAD。下面结合图3以左视图为基准图，右视图为参考图说明SAD的计算过程，对于本领域的普通技术人员而言，可以很容易的计算以右视图为基准图，左视图为参考图的SAD。以左视图为基准图，右视图为参考图，对于左视图公共区域中的每一点p(x,y)，对右视图中相应的搜索范围中每一点q(x′,y′)按照以下公式计算SAD，

$\mathrm{SAD}(p,q)=\underset{u=-n}{\overset{u=n}{\mathrm{\&Sigma;}}}\underset{v=-n}{\overset{v=n}{\mathrm{\&Sigma;}}}|G_l(x+u,y+v)-G_r(x^{\&prime;}+u,y^{\&prime;}+v)|,$ x-ndisp≤x'≤x，y-a≤y'≤y+a

其中，(2n+1)*(2n+1)为匹配窗口的大小，n为人为设定的半窗长度，G_l(x,y)和G_r(x,y)分别表示用于匹配的左右视图中位于(x,y)的梯度值，ndisp和a分别表示人为设定的横向和纵向搜索范围。

之后，根据多个SAD确定最小SAD，并计算最小SAD所对应的参考图像素点和基准图的像素点的横向距离差以获得初始视差值。在本发明的实施例中，将取得匹配代价值最小的q*作为p的对应点，设q*的坐标为(x*,y*)，则p点以左视图为基准图进行匹配得到的最优视差值为dis_l(p)=x-x*，对于左视图中不在公共区域中的像素点p,其最优视差值dis_l(p)=0。类似地，可以以右视图为基准图，左视图为参考图进行匹配，记p点以右视图为基准图进行匹配得到的最优视差值为dis_r(p)。则左视图中像素点p的初始视差图

为， $\hat{D}\left(p\right)={\mathrm{dis}}_l\left(p\right).$

再后，判断SAD是否符合约束条件。其中，约束条件包括局部极小值抑制约束条件和双向匹配约束条件。

具体地，局部极小值抑制约束条件按照以下公式表示，

$\mathrm{SAD}(p,d)>\mathrm{SAD}(p,\mathrm{dis})*(1+\frac{\mathrm{\&alpha;}}{100}),$ $\&ForAll;d<\mathrm{dis}-1$ 或d>dis+1

其中，SAD(p,d)表示左视图的像素点p(x,y)与右视图中的像素点p′(x-d,y)的SAD值，dis表示SAD最小值对应的视差值，为像素点与SAD最小值对应的对应点的横向距离差值，α为视差唯一性百分比。

双向匹配约束条件按照以下公式表示，

dis_l(p)=dis_r(p)

其中dis_l(p)表示左视图的p(x,y)点以左视图为基准图进行匹配得到的最优视差值，dis_r(p)表示左视图的p(x,y)点以右视图为基准图进行匹配得到的最优视差值。

如果SAD不符合上述两个约束条件，则将像素点的初始视差值赋值为0，并且将不在公共区域中的基准图的像素点的初始视差值赋值为0。最后，根据基准图的每个像素点的初始视差值获得初始视差图。由此，通过采用局部极小值抑制约束条件和双向匹配约束条件可以去除视图中纹理单一或纹理重复区域容易出现的误匹配现象，保证了匹配的唯一性和可靠性。

步骤S104，对初始视差图进行时间一致性修正以获得最终视差图。

具体地，首先，获取基准图的运动区域和静止区域。然后，对静止区域的像素点的视差值按照以下公式进行时间一致性修正以获得最终视差图，

$D(p,k)=\mathrm{\&beta;D}(p,k-1)+(1-\mathrm{\&beta;})\hat{D}(p,k),$ p∈静止区域

其中，

表示第k帧中像素点p未加入时间一致性约束时的初始视差值，D(p,k-1)表示k-1帧中像素点p加入时间一致性约束后的初始视差值，β为时间一致性约束因子，最后，对最终视差图进行中值滤波，其中中值滤波可以平滑边缘和噪声。

步骤S105，对最终视差图进行直方图统计以获得视差分布信息。

具体地，设F(i)表示最终视差图中视差值等于i的像素点占总像素点个数的比例，D(x,y)表示最终视差图中位于(x,y)的像素点的视差值，对视差值的所有取值进行概率统计，可得到视差分布信息，

$F\left(i\right)=\frac{1}{(w-\mathrm{ndisp})*h}\underset{x=\mathrm{ndisp}}{\overset{w-1}{\mathrm{\&Sigma;}}}\underset{y=0}{\overset{h-1}{\mathrm{\&Sigma;}}}\mathrm{\&sigma;}(D(x,y),i),$ i=0,1,…,ndisp

根据本发明实施例的监测双目立体视频视差信息的方法，采用颜色校正、局部立体匹配、时间一致性修正等改进措施，可以实现从未经几何校正的双目立体视频中获取稳定、准确的视差图和视差分布信息，同时可以方便设计程序以便于方便实现视差信息的实时监测。

为了实现上述实施例，本发明还提出一种监测双目立体视频视差信息的装置。图4为本发明实施例的监测双目立体视频视差信息的装置的框架图，如图4所示，根据本发明实施例的监测双目立体视频视差信息的装置，包括：获取模块401、颜色校正模块402、立体匹配模块403、修正模块404和统计模块405。

具体地，获取模块401用于获取双目立体视频的第一视频帧对。其中，获取模块301可以从输入的双目立体视频中提取一对视频帧作为第一视频帧对，其中，第一视频帧对为同一时刻两个双目相机所拍摄到的一对视频帧。

颜色校正模块402用于对第一视频帧对进行颜色校正以获得第二视频帧对。图5为本发明实施例的颜色校正模块的框架图。

在本发明的一个实施例中，如图5所示，颜色校正模块402包括：确定单元501、统计单元502、计算单元503、建立单元504和获取单元505。更具体地，确定单元501用于确定第一视频帧对的公共区域。统计单元502用于分别对第一视频帧对的左视图和右视图在公共区域中的各个颜色分量进行直方图分布统计。计算单元503用于根据直方图分布分别计算左视图和右视图的累计直方图。建立单元504用于根据累计直方图建立直方图匹配函数。获取单元505用于根据直方图匹配函数对第一视频帧对进行颜色校正以获得第二视频帧对。

立体匹配模块403用于对第二视频帧对进行局部立体匹配以获得初始视差图。图6为本发明实施例的立体匹配模块的框架图。

在本发明的一个实施例中，如图6所示，立体匹配模块403包括：确定单元601、第一计算单元602、第二计算单元603、判断单元604、第一赋值单元605、第二赋值单元606和获取单元607。更具体地，确定单元601用于根据公共区域确定搜索范围，其中，搜索范围为矩形区域，在本发明的一个实施例中，如果左视图为基准图，右视图为参考图，则左视图的待匹配像素点p(x,y)在右视图中的搜索范围为(x-ndisp,y±a)和(x,y±a)四点所确定的矩形区域；如果右视图为基准图，左视图为参考图，则右视图的待匹配像素点q(x,y)在左视图中的搜索范围为(x+ndisp,y±a)和(x,y±a)四点所确定的矩形区域，ndisp表示公共区域的宽度值，a表示预设值。第一计算单元602用于根据梯度图对计算公共区域中基准图的每个像素点在参考图的搜索范围中的多个像素点灰度差绝对值之和SAD。第二计算单元603用于根据多个SAD确定最小SAD，并计算最小SAD所对应的参考图像素点和基准图的像素点的横向距离差以获得初始视差值。判断单元604用于判断SAD是否符合约束条件，其中，约束条件包括局部极小值抑制约束条件和双向匹配约束条件。第一赋值单元605用于当不符合约束条件时，将像素点的初始视差值赋值为0。第二赋值单元606用于将不在公共区域中的基准图的像素点的初始视差值赋值为0。获取单元607用于根据基准图的每个像素点的初始视差值获得初始视差图，由此，通过采用局部极小值抑制约束条件和双向匹配约束条件可以去除视图中纹理单一或纹理重复区域容易出现的误匹配现象，保证了匹配的唯一性和可靠性。

修正模块404用于对初始视差图进行时间一致性修正以获得最终视差图。在本发明的实施例中，修正模块304（图中未示出）包括：获取单元、修正单元和滤波单元。更具体地，获取单元用于获取基准图的运动区域和静止区域。修正单元用于对静止区域的像素点的初始视差值按照以下公式进行时间一致性修正以获得最终视差图，

$D(p,k)=\mathrm{\&beta;D}(p,k-1)+(1-\mathrm{\&beta;})\hat{D}(p,k),$ p∈静止区域

其中，表示第k帧中像素点p未加入时间一致性约束时的初始视差值，D(p,k-1)表示k-1帧中像素点p加入时间一致性约束后的初始视差值，β为时间一致性约束因子。滤波单元用于对最终视差图进行中值滤波。

统计模块305用于对最终视差图进行直方图统计以获得视差分布信息。

根据本发明实施例的监测双目立体视频视差信息的装置，采用颜色校正、局部立体匹配、时间一致性修正等改进措施，可以实现从未经几何校正的双目立体视频中获取稳定、准确的视差图和视差分布信息，同时可以方便设计程序以便于方便实现视差信息的实时监测。

在本发明的一个实施例中，监测双目立体视频视差信息的装置还包括滤波单元（图中未示出），滤波单元用于对第二视频帧对进行边缘检测以获得梯度图对，其中，边缘检测包括sobel滤波，还可以采用其他边缘滤波方法。

应当理解，本发明的装置实施例中的各个模块和单元的具体操作过程可与方法实施例中的描述相同，此处不再详细描述。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (14)

1.一种监测双目立体视频视差信息的方法，其特征在于，包括以下步骤：

S1：获取所述双目立体视频的第一视频帧对；

S2：对所述第一视频帧对进行颜色校正以获得第二视频帧对；

S3：对所述第二视频帧对进行局部立体匹配以获得初始视差图；

S4：对所述初始视差图进行时间一致性修正以获得最终视差图；以及

S5：对所述最终视差图进行直方图统计以获得视差分布信息。

2.根据权利要求1所述的监测双目立体视频视差信息的方法，其特征在于，所述步骤S2具体包括：

S21：确定所述第一视频帧对的公共区域；

S22：分别对所述第一视频帧对的左视图和右视图在所述公共区域中的各个颜色分量进行直方图分布统计；

S23：根据所述直方图分布分别计算所述左视图和所述右视图的累计直方图；

S24：根据所述累计直方图建立直方图匹配函数；以及

S25：根据所述直方图匹配函数对所述第一视频帧对进行颜色校正以获得第二视频帧对。

3.根据权利要求2所述的监测双目立体视频视差信息的方法，其特征在于，在所述步骤S2之后还包括：

对所述第二视频帧对进行边缘检测以获得梯度图对，其中，所述边缘检测包括sobel滤波。

4.根据权利要求3所述的监测双目立体视频视差信息的方法，其特征在于，所述步骤S3具体包括：

S31：根据所述公共区域确定搜索范围，其中，所述搜索范围为矩形区域；

S32：根据所述梯度图对计算所述公共区域中基准图的每个像素点在参考图的所述搜索范围中的多个像素点灰度差绝对值之和SAD；

S33：根据所述多个SAD确定最小SAD，并计算所述最小SAD所对应的所述参考图像素点和所述基准图的像素点的横向距离差以获得初始视差值；

S34：判断所述SAD是否符合约束条件；

S35：如果否，则将所述像素点的初始视差值赋值为0；

S36：将不在所述公共区域中的所述基准图的像素点的初始视差值赋值为0；以及

S37：根据所述基准图的每个像素点的初始视差值获得所述初始视差图。

5.根据权利要求4所述的监测双目立体视频视差信息的方法，其特征在于，如果所述左视图为基准图，所述右视图为参考图，则所述左视图的待匹配像素点p(x,y)在所述右视图中的搜索范围为(x-ndisp,y±a)和(x,y±a)四点所确定的矩形区域；如果所述右视图为基准图，所述左视图为参考图，则所述右视图的待匹配像素点q(x,y)在所述左视图中的搜索范围为(x+ndisp,y±a)和(x,y±a)四点所确定的矩形区域，ndisp表示所述公共区域的宽度值，a表示预设值。

6.根据权利要求4所述的监测双目立体视频视差信息的方法，其特征在于，所述约束条件包括局部极小值抑制约束条件和双向匹配约束条件。

7.根据权利要求4所述的方法，其特征在于，所述步骤S4具体包括：

S41：获取所述基准图的运动区域和静止区域；

S42：对所述静止区域的像素点的初始视差值按照以下公式进行所述时间一致性修正以获得所述最终视差图，

$D(p,k)=\mathrm{\&beta;D}(p,k-1)+(1-\mathrm{\&beta;})\hat{D}(p,k),$ p∈静止区域

其中，

表示第k帧中像素点p未加入时间一致性约束时的初始视差值，D(p,k-1)表示k-1帧中像素点p加入时间一致性约束后的初始视差值，β为时间一致性约束因子；以及

S43：对所述最终视差图进行中值滤波。

8.一种监测双目立体视频视差信息的装置，其特征在于，包括：

获取模块，用于获取所述双目立体视频的第一视频帧对；

颜色校正模块，用于对所述第一视频帧对进行颜色校正以获得第二视频帧对；

立体匹配模块，用于对所述第二视频帧对进行局部立体匹配以获得初始视差图；

修正模块，用于对所述初始视差图进行时间一致性修正以获得最终视差图；以及

统计模块，用于对所述最终视差图进行直方图统计以获得视差分布信息。

9.根据权利要求8所述的监测双目立体视频视差信息的装置，其特征在于，所述颜色校正模块具体包括：

确定单元，用于确定所述第一视频帧对的公共区域；

统计单元，用于分别对所述第一视频帧对的左视图和右视图在所述公共区域中的各个颜色分量进行直方图分布统计；

计算单元，用于根据所述直方图分布分别计算所述左视图和所述右视图的累计直方图；

建立单元，用于根据所述累计直方图建立直方图匹配函数；以及

获取单元，用于根据所述直方图匹配函数对所述第一视频帧对进行颜色校正以获得第二视频帧对。

10.根据权利要求9所述的监测双目立体视频视差信息的装置，其特征在于，还包括：

滤波模块，用于对所述第二视频帧对进行边缘检测以获得梯度图对，其中，所述边缘检测包括sobel滤波。

11.根据权利要求10所述的监测双目立体视频视差信息的装置，其特征在于，所述立体匹配模块具体包括：

确定单元，用于根据所述公共区域确定搜索范围，其中，所述搜索范围为矩形区域；

第一计算单元，用于根据所述梯度图对计算所述公共区域中基准图的每个像素点在参考图的所述搜索范围中的多个像素点灰度差绝对值之和SAD；

第二计算单元，用于根据所述多个SAD确定最小SAD，并计算所述最小SAD所对应的所述参考图像素点和所述基准图的像素点的横向距离差以获得初始视差值；

判断单元，用于判断所述SAD是否符合约束条件；

第一赋值单元，当不符合约束条件时，将所述像素点的初始视差值赋值为0；

第二赋值单元，将不在所述公共区域中的所述基准图的像素点的初始视差值赋值为0；以及

获取单元，用于根据所述基准图的每个像素点的初始视差值获得所述初始视差图。

12.根据权利要求11所述的监测双目立体视频视差信息的装置，其特征在于，如果所述左视图为基准图，所述右视图为参考图，则所述左视图的待匹配像素点p(x,y)在所述右视图中的搜索范围为(x-ndisp,y±a)和(x,y±a)四点所确定的矩形区域；如果所述右视图为基准图，所述左视图为参考图，则所述右视图的待匹配像素点q(x,y)在所述左视图中的搜索范围为(x+ndisp,y±a)和(x,y±a)四点所确定的矩形区域，ndisp表示所述公共区域的宽度值，a表示预设值。

13.根据权利要求11所述的监测双目立体视频视差信息的装置，其特征在于，所述约束条件包括局部极小值抑制约束条件和双向匹配约束条件。

14.根据权利要求11所述的监测双目立体视频视差信息的装置，其特征在于，所述修正模块具体包括：

获取单元，用于获取所述基准图的运动区域和静止区域；

修正单元，用于对所述静止区域的像素点的初始视差值按照以下公式进行所述时间一致性修正以获得所述最终视差图，

$D(p,k)=\mathrm{\&beta;D}(p,k-1)+(1-\mathrm{\&beta;})\hat{D}(p,k),$ p∈静止区域

其中，

表示第k帧中像素点p未加入时间一致性约束时的初始视差值，D(p,k-1)表示k-1帧中像素点p加入时间一致性约束后的初始视差值，β为时间一致性约束因子；以及

滤波单元，用于对所述最终视差图进行中值滤波。

Images