CN102663737A - 一种针对富含几何信息的视频信号的消逝点检测方法 - Google Patents

Abstract

一种针对富含几何信息的视频信号的消逝点检测方法，首先对边缘图像进行hough变换检测到的直线长度进行筛选，然后按倾角进行分组，再按照所包含直线数量在这些直线组中选取若干组直线组，并且在每一组直线中选取一条长度较长且倾角接近该组直线均值的直线作为该组直线的显著直线，最后对选出来的直线两两求交点，在这些交点中找出最优交点作为待检测的消逝点，本发明在保证消逝点检测准确性的基础上，相对于已有消逝点检测算法，减少了计算量，更易于实时硬件实现。

Description

一种针对富含几何信息的视频信号的消逝点检测方法

技术领域

本发明属于视频图像处理及模式识别技术领域，特别涉及一种针对富含几何信息的视频信号的消逝点检测方法，应用在2D转3D技术中，针对富含几何信息的视频信号的易于硬件实现的消逝点检测方法。

背景技术

在大多数生活中的真实场景图像中都存在着透视变形，在透视变形作用下，空间中平行的一组直线在图像平面上会汇聚到一点，该点称为消逝点或灭点，被认为是视野内深度最远的点，这些直线称为消逝线。消失点检测是三维场景解释中的重要一步，可以提供重要的三维空间的信息(如场景深度、物体尺寸等)。

对于3D立体显示，主要原理在于分别给左右眼有一定不同信息的视频信号，通过大脑的合成使人有立体的感觉。这样就需要两路视频信号，除了直接拍摄两路并存的3D视频外，我们还可以将已有的单路2D信号通过一定的计算得出两路视频，即3D视频，也就是2D转3D技术。在2D转3D的过程中，首先需要从已有2D视频中提取出物体的深度信息，再结合深度信息和已有一路视频生成另一路视频。在提取深度信息的过程中，场景的几何信息是非常重要的一个信息。而消逝点的寻找时确定场景几何信息的重要步骤，因此，在2D转3D算法中，消逝点的寻找被广泛应用。

此外，消逝点检测被应用于机器人的自动导航、三维结构恢复以及相机标定等方面。

在以往的算法中，T.Tuytelaars提出了旨在减少累积步骤中的计算复杂度的方法，使用霍夫变换将直线的参数映射到一个有界的霍夫空间，于是将消逝点的寻找计算控制在了平面范围内。C.Rother将所有图像平面中检测到的直线的两两交点作为消逝点的候选点，并给出了一些判断标准，在该算法中，直接对所有检测出的直线进行两两求交点需要大量数学计算，不利于硬件实时实现。舒远提出了根据空间中平行的直线在图像中的倾角比较接近这一特性求取消逝点，在他的算法中，通过对用同一组直线找到一个待定的消逝点，共三个比较重要的组中选出三个消逝点，最后的消逝点就是这三个点的重心。但上述消逝点检测算法大都比较繁琐或者在准确度上不够。这样就会导致2D图像深度信息赋值的不精确，从而影响2D图像生成3D图像时的显示效果。

发明内容

为了克服上述现有技术的缺陷和不足，本发明的目的在于提供一种针对富含几何信息的视频信号的消逝点检测方法，相对于已有的消逝点寻找方法，本发明在确保精确地检测出消逝点的同时，大幅度地降低了运算量，更利于实现。

为了达到上述目的，本发明的技术方案是这样实现的：

一种针对富含几何信息的视频信号的消逝点检测方法，包括以下步骤：

步骤一、提取边缘信息

对输入图像进行亮度提取，得到图像的亮度信息，然后得到灰度图，并对产生的灰度图进行滤波，去除图像中的噪声，得到滤波后的灰度图，对滤波后的灰度图用Sobel算子求取图像的边缘；

首先对图像进行亮色分离，提取图像的亮度信息，得到原始图像的灰度图；接着用Sobel算子求取图像的边缘，得到滤波后灰度图的边缘图像；该算子包含两组3x3的矩阵，分别为横向及纵向：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

$G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果很好。

步骤二、提取直线并进行筛选

对边缘图像进行hough变换检测边缘图像中的直线，对于检测出的直线，首先进行筛选，筛选时引入一个与输入图像宽度有关的阈值，阈值1，当图像的宽度为I时，阈值1为K1*I，其中，I以像素为单位，K1的取值范围为0.1-0.4，K1的值可以根据实际情况进行调节，则长度大于这个阈值的直线被保留；

步骤三、直线分组并筛选

接着对这些直线以倾角为基准进行分组，15～30度一组，相邻倾角的直线分为同一组，引入一个与全部直线数量有关的阈值，阈值2，例如全部直线数量为M时，，阈值2为K2*M，K2的取值范围是5-20％，可以根据实际情况进行调节，选定阈值后，将包含直线数量在阈值2以上的直线组进行保留；

步骤四、每组直线选出一个最显著直线

对于留下的直线组，在每个直线组中根据直线长度和倾角选出一个最显著直线，以其代表本组直线的几何信息，显著直线的选择方式：对该组所有直线的斜率求均值，接着将本组直线中斜率接近均值的一部分进行统计，参与该部分计算的具体直线量作为一个阈值进行引入，记为阈值3，当该组直线数量为N，则阈值3为K3*N，其中，K3的取值范围为20-40％，然后考虑两方面因素选出最显著直线：(1)直线长度较长的直线，长度在本组直线中的排名可以占到前30％，(2)斜率与平均斜率的差小于5度角；

步骤五、计算待定消逝点并选出最终消逝点

最后对这些选出来的直线两两求交点，在这些交点中选出最优交点即为最后的消逝点，具体为：对于上一步得到的n条显著直线进行两两求交点，得到待定消逝点，对每一个待定消逝点进行分别计算，首先计算当前待定消逝点与每条直线的距离d₁～d_n，若直线长度为l₁～l_n，当前点为a，则计算

$\mathrm{vote}\left(a\right)=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{d}_l\×l_l$

当计算完所有点的vote值时，选择vote值最小的为最终消逝点。

本发明首先对边缘图像进行hough变换检测到的直线长度进行筛选，然后按倾角进行分组，再按照所包含直线数量在这些直线组中选取若干组直线组，并且在每一组直线中选取一条长度较长且倾角接近该组直线均值的直线作为该组直线的显著直线，最后对选出来的直线两两求交点，在这些交点中找出最优交点作为待检测的消逝点。优点为：在保证准确寻找消逝点的基础上，减少了计算量，降低了硬件消耗，有利于实时实现。

附图说明

图1是本发明消逝点检测方法的整体流程图。

图2是提取直线并进行筛选及直线分组并筛选模块示意图。

图3是每组直线选出一个显著直线模块示意图。

图4是计算待定消逝点，并选出最终消逝点模块示意图。

具体实施方式

下面结合附图对本发明进一步详细说明。

如图1，本发明的算法主要为以下几步：1.提取边缘信息，2.提取直线并进行筛选，3.直线分组并筛选，4.每组直线选出一个最显著直线，5.计算待定消逝点并选出最终消逝点。

一种针对富含几何信息的视频信号的消逝点检测方法，包括以下步骤：

步骤一、提取边缘信息

对输入图像进行亮度提取，得到图像的亮度信息，然后得到灰度图，并对产生的灰度图进行滤波，去除图像中的噪声，得到滤波后的灰度图，对滤波后的灰度图用Sobel算子求取图像的边缘；

首先对图像进行亮色分离，提取图像的亮度信息，得到原始图像的灰度图，接着用Sobel算子求取图像的边缘，得到滤波后灰度图的边缘图像，该算子包含两组3x3的矩阵，分别为横向及纵向：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

$G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值；Sobel算子对于像素的位置的影响做了加权，可以降低边缘模糊程度，因此效果很好。

步骤二、提取直线并进行筛选

如图2，对边缘图像进行hough变换检测边缘图像中的直线，对于检测出的直线，首先进行筛选，筛选时引入一个与输入图像宽度有关的阈值，阈值1，当图像的宽度为I时，阈值1为K1*I，其中，I以像素为单位，K1的取值为0.1-0.4，则长度大于这个阈值的直线被保留，进行下一步计算；

步骤三、直线分组并筛选

如图2，接着对这些直线以15～30度的倾角为基准进行分组，相邻倾角的直线分为同一组，以15～30度为基准既能保留足够的几何信息，又能充分的减少计算量；分组后得到若干组直线；然后对这些直线组通过其包含直线的数量进行筛选，直线组所包含的直线数量可以代表其几何信息的强弱，因此，保留直线较多的组，既是保留了几何信息较多的直线组，同时，为了减少运算量放弃几何信息较少的直线组，引入一个与全部直线数量有关的阈值，阈值2，例如全部直线数量为M时，阈值2为K2*M，K2的取值是5％-20％，可以根据实际情况进行调节，选定阈值后，将包含直线数量在这个阈值以上的直线组进行保留；

步骤四、每组直线选出一个最显著直线

如图3，对于留下的直线组，在每个直线组中根据直线长度和倾角选出一个最显著直线，以其代表本组直线的几何信息，显著直线的选择方式：逐个直线组进行计算，对该组所有直线的斜率求均值，接着将本组直线中斜率接近均值的一部分进行统计，参与该部分计算的具体直线量作为一个阈值进行引入，记为阈值3，当该组直线数量为N，则阈值3为K3*N，其中，K3的取值范围为20-40％，K3值太大会导致过多的计算量，K3值较小则不能准确提取所需信息，然后考虑两方面因素选出最显著直线：(1)直线长度较长的直线，长度在本组直线中占到前30％(2)斜率与平均斜率的差值在5度角以内。

步骤五、计算待定消逝点并选出最终消逝点

如图4，最后对这些选出来的直线两两求交点，在这些交点中选出最优交点即为最后的消逝点，具体为：对于上一步得到的n条显著直线进行两两求交点，得到待定消逝点，对每一个待定消逝点进行分别计算，首先计算当前待定消逝点与每条直线的距离d₁～d_n，若直线长度为l₁～l_n，当前点为a，则计算判决标准：

$\mathrm{vote}\left(a\right)=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{d}_l\×l_l$

当计算完所有点的vote值时，选择vote值最小的为最终消逝点。

Claims (2)

1.一种针对富含几何信息的视频信号的消逝点检测方法，其特征在于，包括以下步骤：

步骤一、提取边缘信息

对输入图像进行亮度提取，得到图像的亮度信息，然后得到灰度图，并对产生的灰度图进行滤波，去除图像中的噪声，得到滤波后的灰度图，对滤波后的灰度图用Sobel算子求取图像的边缘；

步骤二、提取直线并进行筛选

对边缘图像进行hough变换检测边缘图像中的直线，对于检测出的直线，首先进行筛选，筛选时引入一个与输入图像宽度有关的阈值当图像的宽度为I时，阈值为K1*I，其中，I以像素为单位，K1的取值范围为0.1-0.4，则长度大于这个阈值的直线被保留；

步骤三、直线分组并筛选

接着对这些直线以15～30度的倾角为基准进行分组，相邻倾角的直线分为同一组，引入一个与全部直线数量有关的阈值，例如全部直线数量为M时，该阈值为K2*M，K2的取值范围是5-20％，选定阈值后，将包含直线数量在这个阈值以上的直线组进行保留；

步骤四、每组直线选出一个最显著直线

对于留下的直线组，在每个直线组中根据直线长度和倾角选出一个最显著直线，以其代表本组直线的几何信息，显著直线的选择方式：对该组所有直线的斜率求均值，接着将本组直线中斜率接近均值的一部分进行统计，参与该部分计算的具体直线量作为一个阈值进行引入，当该组直线数量为N，则阈值为K3*N，其中，K3的取值范围为20-40％，然后考虑两方面因素选出最显著直线：(1)直线长度较长的直线，条件为长度在本组直线排名中可以占到前30％，(2)斜率与平均斜率的差值在5度角以内；

步骤五、计算待定消逝点并选出最终消逝点

最后对这些选出来的直线两两求交点，在这些交点中选出最优交点即为最后的消逝点，具体为：对于上一步得到的n条显著直线进行两两求交点，得到待定消逝点，对每一个待定消逝点进行分别计算，首先计算当前待定消逝点与每条直线的距离d₁～d_n，若直线长度为l₁～l_n，当前点为a，则计算

$\mathrm{vote}\left(a\right)=\underset{l=1}{\overset{n}{\mathrm{\Σ}}}{d}_l\×l_l$

当计算完所有点的vote值时，选择vote值最小的为最终消逝点。

2.根据权利要求1所述的方法，其特征在于，所述的用Sobel算子求取图像的边缘方法为，首先对图像进行亮色分离，提取图像的亮度信息，得到原始图像的灰度图，接着用Sobel算子求取图像的边缘，得到滤波后灰度图的边缘图像，该算子包含两组3x3的矩阵，分别为横向及纵向：

$G_x=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ $G_y=\left[\begin{array}{ccc}1& 2& 1\\ 0& 0& 0\\ -1& -2& -1\end{array}\right]$

将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。

Images