CN102034242B - 消逝点检测的平面图像立体转换深度生成方法和装置 - Google Patents

Abstract

本发明提出一种消逝点检测的平面图像立体转换深度生成方法和装置，其中，该方法包括以下步骤：对平面图像进行滤波；对图像提取特征向量；在图像上选择多个直线作为参考直线，且在参考直线附近选择多个直线与参考直线组成匹配直线对；根据特征向量对匹配直线对上的像素点进行相似度匹配，得到相似度矩阵；根据相似度矩阵计算匹配直线对的仿射变换参数；根据仿射变换参数和匹配直线对的位置计算消逝点的位置；对消逝点进行聚类；和对图像进行深度赋值。该方法采用了图像中的自相似特点，通过匹配这些相似点检测并获取到消逝点，并且根据消逝点的位置，同时结合图像的结构特点从而得到图像的深度信息。

Description

消逝点检测的平面图像立体转换深度生成方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种消逝点检测的平面图像立体转换深度生成方法和装置。

背景技术

到目前为止，只利用单幅图片进行二维转三维的单目深度线索有以下一些方式：汇聚与调节、遮挡、相对尺寸、相对密度、海拔、空间透视或大气分散、运动透视、纹理梯度、线性透视、亮度、散焦、阴影、对称样式和统计样式等等。一般而言，针对不同场景，各种单目线索所包含的深度信息是不同的，因此，针对不同的场景需要采用其中一种或几种线索。

对于含有透视几何信息的图像，针对这类场景，提出了检测场景消逝线和消逝点的技术。该技术包含以下两种方法，其中之一是基于图像的方法，另一种是基于特征的方法。前一种方法依赖图片中物体的位置与其在图片中的特性之间的关系。后一种方法依赖数学模型分析，比如说概率分布分析模型或几何映射分析模型。如果有一个正确的数学模型，那么可以描述出消逝点的位置公式。然而，基于特征的方法需要进行复杂的数学计算，这是一个冗长乏味的工作。

而在基于图像的方法中，大多数需要通过特定技术来检测场景中的直线，这些直线是在针孔相机模型下，平行直线从三维空间投射到二维空间中所形成的一簇或多簇直线，这些直线往往会汇聚到一个点或几个点，这些点就是能够反映场景三维结构信息的消逝点。但是，当图像分辨率很低，噪声干扰很大，图像较模糊时，可能不易检测出场景中的特征直线，也就无法通过特征直线来得到消逝点。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

本发明是针对分辨率低，噪声干扰大，较模糊的图像通过现有技术不易检测出场景的特征直线，从而无法通过特征直线得到消逝点的缺陷而提出的一种消逝点检测的平面图像立体转换深度生成方法。

为达到上述目的，本发明一方面提出一种消逝点检测的平面图像立体转换深度生成方法，包括以下步骤：对平面图像进行滤波以得到滤波后的图像；为所述滤波后的图像的像素点提取特征向量；在所述滤波后的图像上沿竖直或水平方向选择多个直线作为参考直线，且在所述参考直线附近选择多个匹配直线与对应参考直线组成匹配直线对；根据所述特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵；根据所述相似度矩阵计算所述匹配直线对的仿射变换参数；根据所述仿射变换参数和所述匹配直线对的位置坐标计算消逝点的位置坐标；对所述消逝点进行聚类以得到最终的一个或者多个消逝点；和根据所述最终的一个或者多个消逝点对所述滤波后的图像进行深度赋值。

在本发明的一个实施例中，所述对平面图像进行滤波采用高斯-拉普拉斯滤波，其中，所述高斯-拉普拉斯滤波用于检测所述平面图像的边缘和消除所述平面图像的噪声。

在本发明的一个实施例中，所述为滤波后的图像的像素点提取特征向量，进一步包括：在所述滤波后的图像中以所述像素点为中心选择适当区域围成的矩阵为所述像素点的特征矩阵；对所述特征矩阵演变成行数为1的特征向量，且以所述特征向量作为所述像素点的特征向量。

在本发明的一个实施例中，所述根据特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵，进一步包括：以所述参考直线上第一个像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；当所述参考直线上第一个像素点与对应的匹配直线上的所有像素点匹配完成，以所述参考直线上第一个像素点的后续像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；直至所述参考直线上没有所述后续像素点为止，得到所述相似度矩阵。

在本发明的一个实施例中，所述对匹配直线对上的所述像素点进行相似度匹配，其中，所述相似度匹配的计算采用如下公式：

$\mathrm{Sim}(p_1,p_2)=\frac{\⟨v_1,v_2\⟩}{{\left|v_1\right|}^2+{\left|v_2\right|}^2+K\sqrt{{\left|v_1\right|}^2+{\left|v_2\right|}^2}}{|}_{0+},$

其中，K＝kmax(|v|)，|v|为特征向量|v₁|和特征向量|v₂|的2范数，p₁和p₂分别为所述参考直线上的任意像素点和所述匹配直线上的任意像素点，v₁和v₂分别为所述p₁和所述p₂的特征向量。

在本发明的一个实施例中，采用能量函数计算所述匹配直线对的仿射变换参数，其中，所述能量函数为：

$E=\underset{i}{\mathrm{\Σ}}|i-C|\·\mathrm{Sim}(i,a\·i+b),$

其中，C＝∑_ii·Sim(i，a·i+b)，Sim(i，a·i+b)为所述相似度矩阵在坐标(i，a·i+b)处的线性插值。

在本发明的一个实施例中，所述计算消逝点的位置坐标采用如下公式：

$x_v=x_R+\frac{x-x_R}{1-a_{[x_R,x]}},$

$y_v=\frac{b_{[x_R,x]}}{1-a_{[x_R,x]}},$

其中，x_R为所述参考直线的水平坐标，x为与所述参考直线对应的匹配直线的水平坐标，

为所述匹配直线对之间的所述仿射变换参数。

在本发明的一个实施例中，根据K均值法对所述消逝点进行聚类。

在本发明的一个实施例中，所述根据最终的一个或者多个消逝点对所述滤波后的图像进行深度赋值，进一步包括：确定所述最终的一个或者多个消逝点与所述滤波后的图像相对位置；如果所述最终的一个或者多个消逝点在所述滤波后的图像的同侧，由所述最终的一个或者多个消逝点对应的参考直线对所述滤波后的图像赋以渐变的深度值；如果所述最终的多个消逝点在所述滤波后的图像的异侧，则一个部分像素点或所有像素点距离相机最远的直线的位置通过如下公式确定：

$\frac{a}{c}=\frac{b}{d},$

e＝a+b，

其中，a和b分别为异侧的两个消逝点距所述滤波后图像对应边缘的距离，c和d分别为所述部分像素点或所有像素点距离相机最远的直线距离所述两个消逝点的距离，e为所述两个消逝点之间的距离；分别从所述两个消逝点向所述部分像素点或所有像素点距离相机最远的直线方向赋以渐变的深度值。

本发明的另一方面提出了一种消逝点检测的平面图像立体转换深度生成装置，包括：滤波模块，所述滤波模块用于对平面图像进行滤波以得到滤波后的图像；提取模块，所述提取模块用于为所述滤波后的图像的像素点提取特征向量；矩阵计算模块，所述矩阵计算模块用于在所述滤波后的图像上沿竖直或水平方向选择多个直线作为参考直线，且在所述参考直线附近选择多个匹配直线与对应参考直线组成匹配直线对；根据所述特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵；仿射变换参数计算模块，所述仿射变换参数计算模块用于根据所述相似度矩阵计算所述匹配直线对的仿射变换参数；消逝点获取模块，所述消逝点获取模块用于根据所述仿射变换参数和所述匹配直线对的位置坐标计算消逝点的位置坐标；对所述消逝点进行聚类以得到最终的一个或者多个消逝点；和赋值模块，所述赋值模块用于根据所述最终的一个或者多个消逝点对所述滤波后的图像进行深度赋值。

通过本发明提出的消逝点检测的平面图像立体转换深度生成方法和装置，其中，该方法采用了图像中的自相似特点，通过匹配这些相似点检测并获取到消逝点，并且根据消逝点的位置，同时结合图像的结构特点从而得到图像的深度信息。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的立体转换深度生成方法的流程图；

图2为本发明实施例的匹配直线对与仿射变换系数的关系坐标图；

图3为本发明实施例的消逝点在图像两侧的示意图；以及

图4为本发明实施例的立体转换深度生成装置的结构图。

具体实施方式

下面详细描述本发明的全部实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明主要应用于含有透视几何信息的平面图像中，并且能够针对低分辨率、噪声大和比较模糊的图像简单有效的检测出该图像的消逝点，并且能够通过消逝点的位置对该图像进行深度赋值。

为此，本发明提出了一种消逝点检测的平面图像立体转换深度生成方法，以下就结合附图对本发明实施例的方法作详细的描述。

如图1所示，示出了本发明实施例的立体转换深度生成方法的流程图。在本发明的具体实施例中，该方法包括以下步骤：

步骤S101，对平面图像进行滤波以得到滤波后的图像。

具体地，在本发明的一些实施例中，采用高斯-拉普拉斯滤波方法对平面图像进行滤波，通过对该图像进行滤波，能够保证滤波后的图像能同时保持局部性和原有信息，并且能够使该图像在后续的处理过程中不受光照和噪声的影响。另外，经过实验计算，选取5×5的滤波窗口最为合适，选取5×5的窗口滤波能够保该证滤波后的图像有一定的局部性。此外，选用高斯滤波器对该图像进行滤波的好处在于既能利用拉普拉斯的功能来检测出图像中的边缘，也能利用高斯滤波器的功能来平滑图像中的噪声。

步骤S102，为所述滤波后的图像的像素点提取特征向量。

具体地，在本发明的一些实施例中，从滤波后的图像中为每个像素点各选取一个1×15的向量作为该像素点的特征向量。进一步结合具体实例说明该特征向量的选取方法，在本发明的一个实施例中，滤波后的图像高为M，宽为N，首先将图像扩充至(N+2)×(M+1)，对图像进行扩充是为了保证以边缘像素点为中心的拉伸窗口具有完整性。接着，对于图像中的任一像素点，以该像素点为中心，作一个大小为5×3的窗口，则将该窗口所围成的矩阵作为该像素点的特征矩阵，为了便于计算，将该5×3矩阵拉伸为大小为1×15的向量，以此向量作为该像素点的特征向量。而选取该特征向量的目的在于可以将每个像素点的邻域信息考虑进来。但是，本领域的技术人员知道，该实施例的拉伸窗口为5×3的特征矩阵，只是为了更加清楚地描述本发明提出的方法，然而，该拉伸窗口的大小并不局限于5×3的拉伸窗口，例如：6×4的窗口或者4×2的窗口等，任何基于本发明思想的拉伸窗口，都应属于本发明的保护范围。

步骤S103，在所述滤波后的图像上沿竖直或水平方向选择多个直线作为参考直线，且在所述参考直线附近选择多个匹配直线与对应参考直线组成匹配直线对。

具体地，在本发明的一个实施例中，以竖直方向选取参考直线进行描述，当然，本领域的技术人员也可以以水平方向的直线进行说明，但是基于的思想是等同的，都应列为本发明的保护范围。滤波后图像的宽度为N，首先，从该图像的第1列开始，每隔10个像素点作一条竖直的直线，一直做到小于等于N列为止，然后舍弃所作直线的第一列和最后一列，选取其他所有列作为本发明实施例中的参考直线。接着在每条直线附近选取4条直线与对应的参考直线进行相似度匹配，这4条直线的选取方法为：对于每一条参考直线，这4条直线与之水平坐标之差为[-7，-4，4，7]。对于所有的参考直线，都以此方法选取参考直线和与之进行匹配的直线，该匹配直线的选取方法既能保证参考直线能覆盖整个图像平面，又能保证在合适的距离内有多条直线与参考直线进行匹配。但是，本领域的技术人员知道，在上述实施例中，只是为了说明选取方法的步骤，而选取参考直线的个数和与之匹配直线的个数并不局限于本实施例的选取个数，针对不同大小的图像，可以根据需要进行适当的条数选择，然后，无论选择多少参考直线和与之匹配的匹配直线，这些基于本发明思想的选取方法都应列为本发明的保护范围。

步骤S104，根据所述特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵。

具体地，以参考直线上第一个像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；当参考直线上第一个像素点与对应的匹配直线上的所有像素点匹配完成，再以参考直线上第一个像素点的后续像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；和继续进行相似度匹配直至参考直线上没有后续像素点为止，输出相似度矩阵。在本发明的具体实施例中，针对一对匹配直线对，从参考直线的第一行的像素点开始，与匹配直线的所有像素点进行相似度计算，依次进行下去直至参考直线上没有剩余的像素点为止，从而得到匹配直线对上所有像素点之间的相似度关系，其中，相似度度量公式如下：

$\mathrm{Sim}(p_1,p_2)=\frac{\⟨v_1,v_2\⟩}{{\left|v_1\right|}^2+{\left|v_2\right|}^2+K\sqrt{{\left|v_1\right|}^2+{\left|v_2\right|}^2}}{|}_{0+}$

其中，K＝kmax(|v|)，|v|为特征向量|v₁|和特征向量|v₂|的2范数，p₁和p₂分别为参考直线上的任意像素点和匹配直线上的任意像素点，v₁和v₂分别为p₁和p₂的特征向量。根据公式可知，Sim(p₁，p₂)为[0，1]之间的数，其值越接近1，则两个像素点之间的相似度越大，反之，则相似度越小。对于所有像素点直线的相似度关系，组成一个完整的相似度矩阵。

步骤S105，根据所述相似度矩阵计算所述匹配直线对的仿射变换参数。

在计算两条直线(匹配直线对)之间的仿射变换参数(a，b)之前，首先介绍该仿射变换参数(a，b)的作用和由来。如图2所示，为本发明实施例的匹配直线对与仿射变换系数的关系坐标图。在本发明的具体实施例中，直线201和直线202分别为参考直线和与之进行匹配的一条直线，每条虚线与直线201和直线202相交，而相交的点为直线201和直线202相似度高的匹配点对，通过相似度矩阵可知，这样的相似度高的匹配点对会有很多，当然其中会有部分匹配错误的点，对于错误的匹配点，采用使能量函数最大化的方法能够减小这些错误点对得到仿射变换参数的影响。在步骤S104中已经得出了两条直线之间相似度矩阵Sim，以下以步骤S102的具体实施例所用到的图像为进行详细描述，在本发明的一个实施例中，该矩阵的大小为M×M，现在的目标在于从相似度矩阵Sim的所有值中，选择M个点，使穿过这M个点的直线的参数(a，b)能最好的描述两条直线(匹配直线对)之间的仿射变换关系。采用下式使能量函数最大化的方法来选取这M个点：

$E=\underset{i}{\mathrm{\Σ}}|i-C|\·\mathrm{Sim}(i,a\·i+b),$

其中，C＝∑_ii·Sim(i，a·i+b)，Sim(i，a·i+b)为相似度矩阵Sim在坐标(i，a·i+b)处的线性插值。在本发明的一个实施例中，采用分层搜索的方法来寻找参数(a，b)使能量函数E去的最大值，具体步骤为：首先给定参数(a，b)的初始值为(1，0)，并限定(a，b)的取值范围为([0.75，1.25]，[-5，5])；接着，对所有(a，b)进行遍历，计算出所有能量函数值，找出其中使能量函数值最大的16个参数(a_N，b_N)(N＝1，2，…，16)，针对这16个参数中的每个参数，以该参数为中心，在长宽均为10的窗口中遍历像素点，得到一个使能量函数值最大的参数，以此类推，最终得到16个参数(a′_N，b′_N)(N＝1，2，…，16)，之后，在这16个参数(a′_N，b′_N)(N＝1，2，…，16)中选取其中使能量函数最大的4个参数(a_N′，b_N′)(N′＝1，2，3，4)，以该4个参数中的每个参数为中心，在长宽均为5的窗口中再次遍历像素点，得到一个使能量函数值最大的参数，对于这4个参数，最终得到4个参数(a′_N′，b′_N′)(N′＝1，2，…，16)，再从中选择使得能量函数值最大的参数(a_f，b_f)，而(a_f，b_f)为所求的仿射变换参数。在本发明的实施例中，a、b、a_N、b_N、a′_N、b′_N、a_N′、b_N′、a′_N′、b′_N′、a_f和b_f等这些符号只是为了更清楚的描述本发明的实施例中，并不局限于对本发明的限制。

步骤S106，根据所述仿射变换参数和所述匹配直线对的位置坐标计算消逝点的位置坐标。

具体地，如图2所示，在本发明的具体实施例中，在经过步骤S105得到描述两直线(匹配直线对)之间的仿射变换参数(a_f，b_f)后，可以通过直线上像素点之间的坐标和该仿射变换参数(a_f，b_f)根据以下公式计算得到消逝点的坐标(x_v，y_v)。

$x_v=x_R+\frac{x-x_R}{1-a_f},$

$y_v=\frac{b_f}{1-a_f},$

如图2所示，x_R为参考直线的水平坐标，x为与参考直线对应的匹配直线的水平坐标，a_f和b_f为两条直线(匹配直线对)之间的仿射变换参数(a_f，b_f)的横坐标与纵坐标值。

步骤S107，对所述消逝点进行聚类以得到最终的一个或多个消逝点。

具体地，在本发明的具体实施例中，采用K均值法对步骤S106中得到的消逝点进行聚类，得到参考直线的最终的一个或者多个消逝点。

步骤S108，根据所述最终的一个或多个消逝点对所述滤波后的图像进行深度赋值。

具体地，由于多个消逝点可能分布在图像的同侧或者两侧，所以对于消逝点分布在图像的同侧或者两侧采用不同的方法进行处理，更为具体地，在本发明的具体实施例中，在不考虑消逝点在图像平面内的情况下，包括如下两种情况：

【a】当消逝点存在于图像的同侧时，如：左侧或右侧时。在本发明的具体实施例中，以参考直线为竖直方向进行说明，可以直接由消逝点所在的竖直直线向图像赋以渐变的深度值。

【b】当消逝点存在于图像两侧时，如图3所示，为本发明实施例的消逝点在图像两侧的示意图。在本发明的具体实施例中，以参考直线为竖直方向的情况进行说明，左侧消逝点301距离图像304左边缘的水平距离为a，右侧消逝点302距离图像304右边缘的水平距离为b，在图3中，令两个消逝点之间的距离为e，所以有e＝a+b，通过观察，对于消逝点同时存在于左右两侧的场景，在图像平面内存在一条沿竖直方向直线，并且该直线的上部分或所有像素点距离相机最远，如图3所示的虚线303所示，通过对大量类似场景进行观察和分析，在本发明的具体实施例中，确定该直线位置的公式如下：

$\frac{a}{c}=\frac{b}{d},$

e＝a+b，

在公式中，c和d分别为该直线303距离左侧消逝点301和右侧消逝点302的距离。在得到离相机最远的直线303后，便可以分别从左侧消逝点301和右侧消逝点302向该直线303方向赋以渐变的深度值，依次完成对图像304的深度赋值。

在本发明的一些实施例中，还提出了一种消逝点检测的平面图像立体转换深度生成装置，如图4所示，为本发明实施例的立体转换深度生成装置的结构图。该消逝点检测的平面图像立体转换深度生成装置400包括滤波模块410、提取模块420、矩阵计算模块430、仿射变换参数计算模块440、消逝点获取模块450和赋值模块460。其中，所述滤波模块410用于对平面图像进行滤波以得到滤波后的图像，所述提取模块420用于为所述滤波后的图像的像素点提取特征向量，所述矩阵计算模块430用于在所述滤波后的图像上沿竖直或水平方向选择多个直线作为参考直线，且在所述参考直线附近选择多个匹配直线与对应参考直线组成匹配直线对；根据所述特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵，所述仿射变换参数计算模块440用于根据所述相似度矩阵计算所述匹配直线对的仿射变换参数，所述消逝点获取模块450用于根据所述仿射变换参数和所述匹配直线对的位置坐标计算消逝点的位置坐标；对所述消逝点进行聚类以得到最终的一个或者多个消逝点，所述赋值模块460用于根据所述最终的一个或者多个消逝点对所述滤波后的图像进行深度赋值。

具体地，在本发明的一些实施例中，矩阵计算模块430包括选择模块431和计算模块432，其中，选择模块431用于在所述滤波后的图像上沿竖直或水平方向选择多个直线作为参考直线，且在所述参考直线附近选择多个匹配直线与对应参考直线组成匹配直线对，计算模块432用于根据所述特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵。

在本发明的一些实施例中，消逝点获取模块450包括消逝点获取模块451和聚类模块452。其中，消逝点获取模块451用于根据所述仿射变换参数和所述匹配直线对的位置坐标计算消逝点的位置坐标，聚类模块452用于对所述消逝点进行聚类以得到最终的一个或者多个消逝点。

在本发明的具体实施例中，相似度匹配的计算采用如下公式：

$\mathrm{Sim}(p_1,p_2)=\frac{\⟨v_1,v_2\⟩}{{\left|v_1\right|}^2+{\left|v_2\right|}^2+K\sqrt{{\left|v_1\right|}^2+{\left|v_2\right|}^2}}{|}_{0+}$

在该公式中，K＝kmax(|v|)，|v|为特征向量|v₁|和特征向量|v₂|的2范数，p₁和p₂分别为参考直线上的任意像素点和匹配直线上的任意像素点，v₁和v₂分别为p₁和p₂的特征向量。根据公式可知，Sim(p₁，p₂)为[0，1]之间的数，其值越接近1，则两个像素点之间的相似度越大，反之，则相似度越小。对于所有像素点直线的相似度关系，组成一个完整的相似度矩阵。

在本发明的具体实施例中，采用下式使能量函数最大化的方法来选取仿射变换参数：

$E=\underset{i}{\mathrm{\Σ}}|i-C|\·\mathrm{Sim}(i,a\·i+b),$

在该公式中，C＝∑_ii·Sim(i，a·i+b)，Sim(i，a·i+b)为相似度矩阵Sim在坐标(i，a·i+b)处的线性插值。在本发明的一个实施例中，采用分层搜索的方法来寻找参数(a，b)使能量函数E去的最大值，具体步骤为：首先给定参数(a，b)的初始值为(1，0)，并限定(a，b)的取值范围为([0.75，1.25]，[-5，5])；接着，对所有(a，b)进行遍历，计算出所有能量函数值，找出其中使能量函数值最大的16个参数(a_N，b_N)(N＝1，2，…，16)，针对这16个参数中的每个参数，以该参数为中心，在长宽均为10的窗口中遍历像素点，得到一个使能量函数值最大的参数，以此类推，最终得到16个参数(a′_N，b′_N)(N＝1，2，…，16)，之后，在这16个参数(a′_N，b′_N)(N＝1，2，…，16)中选取其中使能量函数最大的4个参数(a_N′，b_N′)(N′＝1，2，3，4)，以该4个参数中的每个参数为中心，在长宽均为5的窗口中再次遍历像素点，得到一个使能量函数值最大的参数，对于这4个参数，最终得到4个参数(a′_N′，b′_N′)(N′＝1，2，…，16)，再从中选择使得能量函数值最大的参数(a_f，b_f)，而(a_f，b_f)为所求的仿射变换参数，通过仿射变换参数得到消逝点，最终通过消逝点对图像进行深度赋值。

本发明提出的消逝点检测的平面图像立体转换深度生成方法，采用了图像中的自相似特点，通过匹配这些相似点检测并获取到消逝点，并且根据消逝点的位置，同时结合图像的结构特点从而得到图像的深度信息，因此，对于平面图像，尤其对于含有透视几何信息的平面图像，通过本发明提出的方法和装置能够很好的检测出图像的消逝点，从而对图像进行深度转换。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (6)

1.一种消逝点检测的平面图像立体转换深度生成方法，其特征在于，包括以下步骤：

对平面图像进行滤波以得到滤波后的图像；

对所述滤波后的图像的像素点提取特征向量；

在所述滤波后的图像上沿竖直或水平方向选择多个直线作为参考直线，且在所述参考直线附近选择多个匹配直线与对应参考直线组成匹配直线对；

根据所述特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵，包括：以所述参考直线上第一个像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；当所述参考直线上第一个像素点与对应的匹配直线上的所有像素点匹配完成，以所述参考直线上第一个像素点的后续像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；和继续进行相似度匹配直至所述参考直线上没有所述后续像素点为止，得到所述相似度矩阵；

根据所述相似度矩阵计算所述匹配直线对的仿射变换参数，其中，采用能量函数计算所述匹配直线对的仿射变换参数，其中，所述能量函数为：

$E=\underset{i}{\mathrm{\Σ}}|i-C|\·\mathrm{Sim}(i,a\·i+b),$

其中，C=∑_ii·Sim(i,a·i+b)，Sim(i,a·i+b)为所述相似度矩阵在坐标(i,a·i+b)处的线性插值，采用分层搜索的方法来寻找参数(a,b)使能量函数E取得最大值，具体步骤为：设定参数(a,b)的初始值为(1,0)，其中，(a,b)的取值范围为([0.75,1.25],[-5,5])，对所有所述(a,b)进行遍历以得到使能量函数值最大的16个参数(a_N,b_N)，其中，N=1,2,...,16，根据每个参数，以该参数为中心，在长宽均为10的窗口中遍历像素点，得到16个参数(a'_N,b'_N)，其中，N=1,2,...,16，在所述(a'_N,b'_N)，其中，N=1,2,...,16中选取其中使能量函数最大的4个参数(a_N',b_N')，其中，N'=1,2,3,4，并以该4个参数中的每个参数为中心，在长宽均为5的窗口中再次遍历像素点，得到4个参数(a'_N',b'_N')，其中，N'=1,2,3,4，从中选择使得能量函数值最大的参数(a_f,b_f)为所述仿射变换参数；

根据所述仿射变换参数和所述匹配直线对的位置坐标计算消逝点的位置坐标；

对所述消逝点进行聚类以得到最终的一个或多个消逝点；和

根据所述最终的一个或多个消逝点对所述滤波后的图像进行深度赋值。

2.如权利要求1所述的消逝点检测的平面图像立体转换深度生成方法，其特征在于，所述对平面图像进行滤波以得到滤波后的图像进一步包括：

所述对平面图像进行滤波采用高斯-拉普拉斯滤波，其中，所述高斯-拉普拉斯滤波用于检测所述平面图像的边缘和消除所述平面图像的噪声。

3.如权利要求1所述的消逝点检测的平面图像立体转换深度生成方法，其特征在于，所述对滤波后的图像的像素点提取特征向量，进一步包括：

在所述滤波后的图像中以所述像素点为中心选择适当区域围成的矩阵为所述像素点的特征矩阵；和

将所述特征矩阵演变成行数为1的特征向量，且以所述特征向量作为所述像素点的特征向量。

4.如权利要求1所述的消逝点检测的平面图像立体转换深度生成方法，其特征在于，所述计算消逝点的位置坐标采用如下公式：

$x_v=x_R+\frac{x-x_R}{1-a_{[x_R,x]}},$

$y_v\text{=}\frac{b_{[x_R,x]}}{1-a_{[x_R,x]}},$

其中，x_R为所述参考直线的水平坐标，x为与所述参考直线对应的匹配直线的水平坐标，

为所述匹配直线对之间的所述仿射变换参数。

5.如权利要求1所述的消逝点检测的平面图像立体转换深度生成方法，其特征在于，根据K均值法对所述消逝点进行聚类。

6.一种消逝点检测的平面图像立体转换深度生成装置，其特征在于，包括：

滤波模块，所述滤波模块用于对平面图像进行滤波以得到滤波后的图像；

提取模块，所述提取模块用于为所述滤波后的图像的像素点提取特征向量；

矩阵计算模块，所述矩阵计算模块用于在所述滤波后的图像上沿竖直或水平方向选择多个直线作为参考直线，且在所述参考直线附近选择多个匹配直线与对应参考直线组成匹配直线对；根据所述特征向量对所述匹配直线对上的所述像素点进行相似度匹配，以得到相似度矩阵，包括：以所述参考直线上第一个像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；当所述参考直线上第一个像素点与对应的匹配直线上的所有像素点匹配完成，以所述参考直线上第一个像素点的后续像素点为匹配点，与对应的匹配直线上的所有像素点进行相似度匹配；和继续进行相似度匹配直至所述参考直线上没有所述后续像素点为止，得到所述相似度矩阵；

仿射变换参数计算模块，所述仿射变换参数计算模块用于根据所述相似度矩阵计算所述匹配直线对的仿射变换参数，其中，采用能量函数计算所述匹配直线对的仿射变换参数，其中，所述能量函数为：

$E=\underset{i}{\mathrm{\Σ}}|i-C|\·\mathrm{Sim}(i,a\·i+b),$

其中，C=∑_ii·Sim(i,a·i+b)，Sim(i,a·i+b)为所述相似度矩阵在坐标(i,a·i+b)处的线性插值，采用分层搜索的方法来寻找参数(a,b)使能量函数E取得最大值，具体步骤为：设定参数(a,b)的初始值为(1,0)，其中，(a,b)的取值范围为([0.75,1.25],[-5,5])，对所有所述(a,b)进行遍历以得到使能量函数值最大的16个参数(a_N,b_N)，其中，N=1,2,...,16，根据每个参数，以该参数为中心，在长宽均为10的窗口中遍历像素点，得到16个参数(a'_N,b'_N)，其中，N=1,2,...,16，在所述(a'_N,b'_N)，其中，N=1,2,...,16中选取其中使能量函数最大的4个参数(a_N',b_N')，其中，N'=1,2,3,4，并以该4个参数中的每个参数为中心，在长宽均为5的窗口中再次遍历像素点，得到4个参数(a'_N',b'_N')，其中，N'=1,2,3,4，从中选择使得能量函数值最大的参数(a_f,b_f)为所述仿射变换参数；

消逝点获取模块，所述消逝点获取模块用于根据所述仿射变换参数和所述匹配直线对的位置坐标计算消逝点的位置坐标；对所述消逝点进行聚类以得到最终的一个或者多个消逝点；和

赋值模块，所述赋值模块用于根据所述最终的一个或者多个消逝点对所述滤波后的图像进行深度赋值。

Images