CN103714530A - 一种灭点检测及图像矫正方法 - Google Patents

Abstract

一种灭点检测及图像矫正方法，包括步骤S1：在图像空间中检测直线，将直线转化为对偶空间中的点表示；S2：将至少一方向上灭点的对偶点进行初步分类及再次聚类；S3：分别对每一分类的对偶点采用随机抽样一致算法进行拟合，得到至少一直线，进而得到灭点；S4：根据灭点对图像进行扭正处理。本发明提出的灭点检测及图像矫正方法可快速准确地检测出图像中的灭点，进而找到图像获取设备与场景的位置关系，利用灭点计算图像变换的单应性矩阵，对图像进行视角矫正。

Description

一种灭点检测及图像矫正方法

【技术领域】

本发明涉及数字图像处理和计算机视觉等技术领域，特别涉及一种灭点检测及图像矫正方法。

【背景技术】

3D空间中的一组平行线经过摄像机/照相机等图像获取设备的投影变换后，在2D成像平面上形成一系列的线束，这些线束的交点称为灭点，灭点广泛的用于单幅图像的场景解析之中。灭点在基于单幅图像的三维重建、多幅图像的三维重建、图像获取设备的内外参数估计和标定等方面都具有至关重要的作用：一旦准确求出灭点，在此基础上就可以估计图像获取设备的的内外参数，进而获得图像获取设备参数矩阵的表达式，即得到摄像机与场景的角度关系，进而得到图像扭正的单应性矩阵，实现图像的视角扭正。

在计算机视觉领域中，如何快速准确的检测出灭点是一件非常重要的事情。现有技术对灭点的检测主要有3个步骤：1、直线检测，即找出图像中各个方向上的线条；2、计算所有直线的交点；3、对所有直线的交点聚类，去掉伪灭点，最终得到真正的灭点。通常情况下，因为一幅图像中有太多的直线交点，从中找到灭点，实现第2步和第3步具有较高难度。

现有的一种灭点检测方法是用哈夫变换（Hough tansform）或别的直线检测方法检测图像中的直线，然后求取各个直线的汇聚点，默认为灭点；由于场景中直线的无序性和噪声的影响，将会出现多个交点，从多个交点中找出想要的灭点是件困难度的事情，常常会出现灭点检测错误的问题。

另外，现有一些灭点检测方法需要依赖3D空间中直线的附加特征，如正交性、共面性和等距特征；还有一些灭点检测方法依赖于摄像机标定的参数结果。而现有技术对直线交点的计算和聚类方法具有不稳定性，具有较差的鲁棒性。

【发明内容】

基于此，本发明提出一种灭点检测及图像矫正方法，包括步骤S1：在图像空间中检测直线，将直线转化为对偶空间中的点表示；S2：将至少一方向上灭点的对偶点进行初步分类及再次聚类；S3：分别对每一分类的对偶点采用随机抽样一致算法进行拟合，得到至少一直线，进而得到灭点；S4：根据灭点对图像进行扭正处理。

上述步骤S1包括S11：读取图像，对图像进行预处理操作，提取图像中的主要直线；S12：求解直线方程，将直线转化为对偶空间中的点表示。

上述步骤S2包括S21：使用随机抽样一致算法对对偶点进行初步分类；S22：将分类初始结果作为模糊聚类算法的输入进行再次聚类，得到最终聚类结果。

上述步骤S4包括S41：根据灭点计算图像获取设备的内参矩阵和旋转矩阵；S42：根据上述图像获取设备的内参矩阵和旋转矩阵计算矫正平面的单应性矩阵，对图像进行扭正处理。

上述步骤S11包括S111：读取图像，用I(x,y)表示，把图像转化成灰度图，读取图像的长、宽参数；S112：利用直线分割算法得到图像中明显的直线极坐标方程表示r_i＝xcosθ_i+ysinθ_i，i＝1,2...n。

上述步骤S12是得到对偶点，将每一直线转换为图像空间中的对偶点

${\left[\begin{array}{cc}-\frac{\cos {\mathrm{\θ}}_i}{r_i}& -\frac{\sin {\mathrm{\θ}}_i}{r_i}\end{array}\right]}^T,$ i＝1,2...n。

上述步骤S21包括S211：根据图像的特点决定分类数量，对应灭点数设置至少一灭点分类；对应杂乱的对偶点或噪声设置一杂乱点分类；S212：对所有的对偶点p_i(x_i,y_i),i＝1,2...n采用随机抽样一致进行直线拟合得到直线，记录下内点，作为第一灭点类；S213、对剩余的外点做第二次随机抽样一致拟合，将内点作为第二灭点类；S214、循环进行步骤S212和S213，直到分出所有灭点分类和杂乱点分类。

上述步骤S22包括步骤S221：用步骤S21得到的至少一类样本点，分配模糊聚类算法中的隶属度函数权值和聚类中心；步骤S222：利用模糊聚类算法进行迭代聚类，得到最终的聚类结果，其中一类是杂乱点，其他至少一类为灭点。

上述步骤S3包括S31：采用随机抽样一致算法在上述至少一灭点分类的点中分别拟合得到至少一直线，至少一直线满足a_1,2,3x+b_1,2,3y+c_1,2,3＝0；S32：将上述至少一直线的系数(a1,2,3,b1,2,3,c1,2,3)^T分别作为灭点。

上述步骤S41包括步骤S411：世界坐标系中相对于图像获取设备坐标系的x,y,z三个方向的旋转向量分别为r₁,r₂,r₃，则旋转矩阵为R＝(r₁,r₂,r₃)，将无穷远点投影到图像获取设备的成像平面上得到图像获取设备坐标和世界坐标的旋转矩阵：

$\left(\begin{array}{c}{a}_1\\ b_1\\ c_1\end{array}\right)~\left(\begin{array}{cc}M& 0\end{array}\right)\left(\begin{array}{cccc}{r}_1& r_2& r_3& T\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right)=M{r}_1$ $r_{\mathrm{1,2,3}}~M^{-1}\left(\begin{array}{c}{a}_{\mathrm{1,2,3}}\\ b_{\mathrm{1,2,3}}\\ c_{\mathrm{1,2,3}}\end{array}\right);$

S412：根据r₁与r₂正交则有r1·r2=0，计算

$\left(\begin{array}{ccc}\frac{a_1-c_1{C}_x}{f}& \frac{b_1-c_1{C}_y}{f}& c_1\end{array}\right)\left(\begin{array}{c}\frac{a_2-c_2{C}_x}{f}\\ \frac{b_2-c_2{C}_y}{f}\\ c_2\\ \end{array}\right)=0,$

得到图像获取设备的焦距

$f=\sqrt{-(\frac{a_1}{c_1}-C_x)(\frac{a_2}{c_2}-C_x)-(\frac{b_1}{c_1}-C_y)(\frac{b_2}{c_2}-C_y)}$

及内参矩阵 $M=\left[\begin{array}{ccc}f& 0& C_x\\ 0& f& C_y\\ 0& 0& 1\end{array}\right];$

其中c1，c2≠0，

W为图像的宽，H为图像的高。上述步骤S42包括S421：计算单应性矩阵H＝MR^TM^-1；S422：利用单应性矩阵H对图像进行变换得到扭正后的图像 $\left(\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right)=H\left(\begin{array}{c}u\\ v\\ 1\end{array}\right).$

本发明提出的灭点检测及图像矫正方法，可快速准确地检测出图像中的灭点，进而找到图像获取设备与场景的位置关系，利用灭点计算图像变换的单应性矩阵，对图像进行视角矫正。

【附图说明】

图1为本发明一实施例的基本流程示意图；

图2为本发明一实施例的详细流程示意图

图3为本发明一实施例原始的建筑物图像示意图；

图4为本发明一实施例对图像直线检测后的效果图；

图5为本发明一实施例直线在对偶空间中的表现示意图；

图6为本发明一实施例采用随机抽样一致性初始分类的结果示意图；

图7为本发明一实施例对偶点的模糊聚类结果示意图；

图8为本发明一实施例聚类的最终结果示意图；

图9为本发明一实施例拟合出的灭点直线示意图；

图10为本发明一实施例对图像扭正后的效果图。

【具体实施方式】

本发明提出将图像空间中的直线转换为对偶空间中的点，将求灭点转化为在对偶空间中求直线，有效避免了现有技术中求直线交点导致灭点检测错误的问题；还改进了灭点聚类的方法，使聚类效果有明显的改进。

首先根据点线对偶性原理，即图像空间中的直线和对偶空间中的点具有等价互换性。在提取图像中的直线特征之后，将直线转换为对偶空间中的点。在对偶空间中，同属于一个灭点的对偶点将会分布在一条直线上，通过拟合出明显的直线来求灭点。这种方法省去了在图像空间中求直线交点这个棘手问题，简化了灭点检测的方法。

其次，根据图像的特征，一副图像中最多会出现3个灭点，如何找到这些灭点需要有效的聚类方法。本发明在分析和实验了随机抽样一致性（RANSAC）和模糊聚类（Gustafson-Kessel）两种聚类方法的基础上，利用两者的优点，将两种方法结合起来，有效的聚类出1到3个灭点。

参见图1示出的本发明一实施例的基本流程示意图，本发明一实施例包括步骤：

S1：在图像空间中检测直线，将直线转化为对偶空间中的点表示；

S2：将至少一方向上灭点的对偶点进行初步分类及再次聚类；

S3：分别对每一分类的对偶点采用随机抽样一致算法进行拟合，得到至少一直线，进而得到灭点；

S4：根据灭点对图像进行扭正处理。

基于上述实施例，本发明提出一实施例将图像空间中的直线转换为对偶空间中的点，将求灭点转化为在对偶空间中求直线。参见图2示出的本发明一实施例的详细流程示意图，上述步骤S1包括：

S11：读取图像，对图像进行预处理操作，提取图像中的主要直线，具体来说是使用直线分割技术对图像中的直线提取出来，并将直线转换到对偶空间中；对于二维图像I(u,v),使用直线分割（Line segment）的方法检测直线，得到图像中的直线表达：

r_i＝xcosθ_i+ysinθ_i，i＝1,2...n    （1）

S12：求解直线方程，将直线转化为对偶空间中的点表示，具体来说是根据对偶性原理，将每一直线转换为图像空间中的对偶点

${\left[\begin{array}{cc}-\frac{\cos {\mathrm{\θ}}_i}{r_i}& -\frac{\sin {\mathrm{\θ}}_i}{r_i}\end{array}\right]}^T,$ i＝1,2...n    （2）

为了避免r＝0的情况，我们将移动原始图像，使其中的直线不经过原点。

本发明进一步提出，在上述实施例基础上，步骤S2包括

S21：使用随机抽样一致算法对对偶点进行初步分类；

S22：将分类初始结果作为GK聚类算法的输入进行再次聚类，得到最终分类结果。

其中，由上述（2）式中的对偶点形成了至少一条直线，根据图像的特点一般为1到3条直线，对每一类中的对偶点拟合直线，直线的系数就是灭点。具体来说S21包括：

S211：根据图像的特点决定分类数量，对应灭点数设置至少一灭点分类；对应杂乱的对偶点或噪声设置一杂乱点分类；以建筑物图像为例，根据图像的特点可知建筑物图像一般有3个灭点，故将分类的数量设为4，其中3类对应灭点，称为灭点分类，第4类对应杂乱的对偶点或者噪声，称为杂乱点分类。

S212：对所有的对偶点p_i(x_i,y₁),i＝1,2...n采用随机抽样一致进行直线拟合得到直线，记录下内点；输出当前的内点集合，作为作为第一灭点类；

S213、在原集合中移除步骤S212中记录的内点，对剩余的外点做第二次随机抽样一致拟合，将内点作为第二灭点类；

S214、循环进行步骤S212和S213，直到分出所有4类，即3个灭点分类和1个杂乱点分类。

而上述步骤S22：将分类初始结果作为模糊聚类算法的输入进行再次聚类，得到最终分类结果；具体来说是将步骤S21得到的多个分类作为初值带入模糊聚类算法（GK），更新模糊聚类算法的中心值和隶属度函数，进行聚类。具体包括：

步骤S221：用步骤S21得到的至少一类样本点，分配模糊聚类算法中的隶属度函数权值和聚类中心；

步骤S222：利用进行迭代聚类，得到最终的聚类结果，其中最后一类是杂乱点，其他至少一类为灭点。

其中模糊聚类算法的步骤包括：

S2221：计算聚类原型（均值）；

S2222：计算聚类的协方差矩阵；

S2223：计算样本点到聚类中心的距离；

S2224：更新隶属度函数。

基于上述实施例，本发明提出，步骤S3包括：

S31：采用随机抽样一致算法在上述至少一灭点分类的点中分别拟合得到至少一直线，上述至少一直线满足a_1,2,3x+b_1,2,3y+c_1,2,3＝0；例如对于经过步骤S2得到的聚类结果，将样本点根据直线特征分为3类，使用随机抽样一致分别在每一类中拟合出1条直线，得到3条直线，假设这3条直线的方程为

a_1,2,3x+b_1,2,3y+c_1,2,3＝0；（3）

S32：将上述至少一直线的系数(a1,2,3,b1,2,3,c1,2,3)^T分别作为3个方向上的灭点。

本发明提出，上述步骤S4包括：

步骤S411：世界坐标系中相对于图像获取设备坐标系的x,y,z三个方向的旋转向量分别为r₁,r₂,r₃，则旋转矩阵为R＝(r₁,r₂,r₃)，将无穷远点投影到图像获取设备的成像平面上得到图像获取设备坐标和世界坐标的旋转矩阵。具体来说，设图像获取设备为针孔相机，其模型为：

$\left(\begin{array}{c}u\\ v\\ 1\end{array}\right)~M\left[\begin{array}{cc}R& T\end{array}\right]\left(\begin{array}{c}X\\ 1\end{array}\right)---\left(4\right)$

使矩阵R的列向量为r1,r2,r3。则三个方向上的灭点可以表示为：

$\left(\begin{array}{c}{a}_1\\ b_1\\ c_1\end{array}\right)~\left(\begin{array}{cc}M& 0\end{array}\right)\left(\begin{array}{cccc}{r}_1& r_2& r_3& T\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right)=M{r}_1---\left(5\right)$

进而得到：

$r_{\mathrm{1,2,3}}~M^{-1}\left(\begin{array}{c}{a}_{\mathrm{1,2,3}}\\ b_{\mathrm{1,2,3}}\\ c_{\mathrm{1,2,3}}\end{array}\right)---\left(6\right)$

至此，可以得到图像获取设备的的旋转矩阵。如果图像中仅有2个方向上的灭点，则第三个可以由r3=r1×r2得到。

S412：设图像获取设备的的内参数模型是：

$M=\left[\begin{array}{ccc}f& 0& C_x\\ 0& f& C_y\\ 0& 0& 1\end{array}\right]$

$M^{-1}=\left[\begin{array}{ccc}1/f& 0& -C_x/f\\ 0& 1/f& -C_y/f\\ 0& 0& 1\end{array}\right]---\left(7\right)$

由于r1·r2=0，可以得到如下等式：

$\left(\begin{array}{ccc}\frac{a_1-c_1{C}_x}{f}& \frac{b_1-c_1{C}_y}{f}& c_1\end{array}\right)\left(\begin{array}{c}\frac{a_2-c_2{C}_x}{f}\\ \frac{b_2-c_2{C}_y}{f}\\ c_2\\ \end{array}\right)=0---\left(8\right)$

可以得到图像获取设备的焦距

$f=\sqrt{-(\frac{a_1}{c_1}-C_x)(\frac{a_2}{c_2}-C_x)-(\frac{b_1}{c_1}-C_y)(\frac{b_2}{c_2}-C_y)}---\left(9\right)$

其中，c1，c2≠0，灭点不能在无穷远处，也就是照相时图像获取设备要与场景有一定的角度。当只有一副图像时，可设Cx=W/2,Cy=H/2，W和H分别为图像的宽和高。经过上述步骤得到图像获取设备的内参矩阵 $M=\left[\begin{array}{ccc}f& 0& C_x\\ 0& f& C_y\\ 0& 0& 1\end{array}\right].$

基于上述实施例，本发明提出步骤S42包括：

S421：计算单应性矩阵，即根据图像的平面之间的投影关系，可得图像扭正的单应性矩阵为：

H＝MR^TM^-1    （10）

S422：利用单应性矩阵H对图像进行变换得到扭正后的图像，实现图像视角的扭正，验证灭点的正确性：

$\left(\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right)=H\left(\begin{array}{c}u\\ v\\ 1\end{array}\right).$

本发明相对于现有技术提出了：1、灭点求法的创新，避免了在图像空间中求直线交点、需要排除伪灭点等复杂问题。将灭点的求法转换为在对偶空间中拟合直线的问题，该方法简单有效，降低了灭点计算的复杂性。2、灭点聚类方法的创新。如果只用随机抽样一致算法分类对偶点，随机抽样一致算法的距离阈值选择需要手动，不同的图像都要手动的调节阈值，大大降低了分类的效果。而模糊聚类算法不用手动调节距离阈值，但是类别的中心选择确实随机的，由于随机选择分类中心，会导致最终的分类结果可能会不理想。本发明结合这两种算法的特点，采用随机抽样一致算法做初步的分类，得到各个类的中心值，分配每个样本的隶属度函数的权值。将其结果作为模糊聚类算法的输入，再由模糊聚类算法进行迭代，最终可以将不同方向上的灭点的对偶点分开。3、基于灭点的图像纠正方法，不依赖任何外在约束条件，对于单幅图像就可以得到其灭点，通过灭点来纠正图像的视角。纠正后的图像有广泛的应用，如图像匹配。

以下给出本发明的一个具体示例，对如图3所示的原始的建筑物图像进行灭点检测及图像矫正。

首先进行步骤S111，读入大小为640×480的原图像，把图转化为灰度图，读取图像的长宽参数，存入数组；

步骤S112，利用直线分割算法对图像进行直线检测，得到n条直线：r₁＝xcosθ_i+ysinθ_i，i＝1,2...n；对图像直线检测后的效果如图4所示。

进行步骤S12，对于检测出的直线，将其转化为对偶空间中就会形成对偶点： ${\left[\begin{array}{cc}-\frac{\cos {\mathrm{\θ}}_i}{r_i}& -\frac{\sin {\mathrm{\θ}}_i}{r_i}\end{array}\right]}^T$ i＝1,2...n。当直线经过原点时，会出现r=0的情况，对偶变换就会失去意义，为了避免这种情况，将图像中所有直线的坐标移动到一个合适的位置，使直线不通过原点，在计算灭点的时候再做相反的移动。如图5所示的直线在对偶空间中的表现示意图，图4中直线在对偶空间中表现的是点。

进行步骤S211，用随机抽样一致（RANSAC）的方法对对偶点进行初步的分类，假设分为4类，前3类是灭点，最后1类是杂点。

进行步骤S212至S214，对于所有的样本点p_i(x_i,y_i),i＝1,2...n，先拟合出含有内点最多的一条直线，将内点作为第1类；去掉第一条直线的内点，在剩余的样本点中继续拟合直线，将内点作为第2类，如此循环，得到初始的分类结果。将分类后的样本点以不同的颜色打印出来，如图6所示的采用随机抽样一致性初始分类的结果示意图。

进行步骤S221和S222，将随机抽样一致方法的分类结果作为初值，使用模糊聚类算法继续聚类。以初始分类的结果，分配每个样本的隶属度函数的权值，将分配后的新的隶属度函数赋给模糊聚类算法。聚类结果如图7所示的对偶点的模糊聚类结果示意图。图8给出了最终的聚类结果示意图。

进行步骤S31和S32，使用随机抽样一致方法对每一类样本做直线拟合，得到三条直线，那么灭点就是直线方程的系数。三个灭点就是(3.519079661680993e+02-3.582032881151920e+03)、(-3.172918395695845e+023.642104923545954e+02)、(1.124286082791063e+033.928696427555567e+02)。图9给出了3类点拟合出的灭点直线示意图。

进行步骤S411和S412，根据灭点求出焦距和旋转矩阵。由公式

$\left(\begin{array}{c}{a}_1\\ b_1\\ c_1\end{array}\right)~\left(\begin{array}{cc}M& 0\end{array}\right)\left(\begin{array}{cccc}{r}_1& r_2& r_3& T\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right)=M{r}_1---\left(5\right)$

$r_{\mathrm{1,2,3}}~M^{-1}\left(\begin{array}{c}{a}_{\mathrm{1,2,3}}\\ b_{\mathrm{1,2,3}}\\ c_{\mathrm{1,2,3}}\end{array}\right)---\left(6\right)$

可以得到摄像机坐标和世界坐标的旋转矩阵，R1为图像2中左边平面方向上的灭点和垂直方向上的灭点组成的旋转矩阵，R2为图像2中右边平面方向上的灭点与垂直方向上的灭点组成的旋转矩阵。

$R_1(r_1,r_2,r_3)=\left[\begin{array}{ccc}-0.6576& 0.0061& 0.7533\\ 0.1284& -0.9844& 0.1201\\ 0.7423& 0.1757& 0.6466\end{array}\right]$

$R_2(r_1,r_2{r}_3)=\left[\begin{array}{ccc}0.7281& -0.0067& -0.6855\\ 0.1349& 0.9818& 0.1337\\ 0.6721& -0.1898& 0.7157\end{array}\right]$

由公式

$f=\sqrt{-(\frac{a_1}{c_1}-C_x)(\frac{a_2}{c_2}-C_x)-(\frac{b_1}{c_1}-C_y)(\frac{b_2}{c_2}-C_y)}---\left(9\right)$

可以得到f＝716.8142；而内参矩阵为

$M=\left[\begin{array}{ccc}716.8142& 0& 320\\ 0& 716.8142& 240\\ 0& 0& 1\end{array}\right]$

进行步骤S421，根据内参和旋转矩阵，计算单应性矩阵

H＝MR^TM^-1  （10）

进行步骤S422，利用单应性矩阵H对图像进行变换得到扭正后的图像效果如图10所示。其中图10（a）扭正结果的单应性矩阵为：

$H=\left[\begin{array}{ccc}-0.3160& 0.1873& 789.3885\\ 0.2625& -0.9417& 424.6896\\ 0.0011& 0.0002& 0.2623\end{array}\right]$

图10（b）扭正结果的单应性矩阵为：

$H=\left[\begin{array}{ccc}0.4226& 0.1885& 552.6232\\ -0.2323& 1.0238& -138.2238\\ -0.0009& 0.0002& 0.9667\end{array}\right]$

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序控制相关的硬件来完成的，上述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种灭点检测及图像矫正方法，包括步骤：

S1：在图像空间中检测直线，将直线转化为对偶空间中的点表示；

S2：将至少一方向上灭点的对偶点进行初步分类及再次聚类；

S3：分别对每一分类的对偶点采用随机抽样一致算法进行拟合，得到至少一直线，进而得到灭点；

S4：根据灭点对图像进行扭正处理。

2.如权利要求1所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S1包括：

S11：读取图像，对图像进行预处理操作，提取图像中的主要直线；

S12：求解直线方程，将直线转化为对偶空间中的点表示。

3.如权利要求1所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S2包括：

S21：使用随机抽样一致算法对对偶点进行初步分类；

S22：将分类初始结果作为模糊聚类算法的输入进行再次聚类，得到最终聚类结果。

4.根据权利要求1所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S3包括：

S31：采用随机抽样一致算法在所述至少一灭点分类的点中分别拟合得到至少一直线，所述至少一直线满足a_1,2,3x+b_1,2,3y+c_1,2，3＝0；

S32：将所述至少一直线的系数(a1,2,3,b1,2,3,c1,2,3)^T分别作为灭点。

5.如权利要求1至4任意一项所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S4包括：

S41：根据灭点计算图像获取设备的内参矩阵和旋转矩阵；

S42：根据所述图像获取设备的内参矩阵和旋转矩阵计算矫正平面的单应性矩阵，对图像进行扭正处理。

6.根据权利要求2所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S11包括：

S111：读取图像，用I(x,y)表示，把图像转化成灰度图，读取图像的长、宽参数；

S112：利用直线分割算法得到图像中明显的直线，极坐标方程表示r_i＝xcosθ_i+ysinθ_i，i＝1,2...n。

7.根据权利要求2所述的一种灭点检测及图像矫正方法，其特征在于：

所述步骤S12是得到对偶点，将每一直线转换为图像空间中的对偶点

${\left[\begin{array}{cc}-\frac{\cos {\mathrm{\θ}}_i}{r_i}& -\frac{\sin {\mathrm{\θ}}_i}{r_i}\end{array}\right]}^T,$ i＝1,2...n。

8.根据权利要求3所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S21包括：

S211：根据图像的特点决定分类数量，对应灭点数设置至少一灭点分类；对应杂乱的对偶点或噪声设置一杂乱点分类；

S212：对所有的对偶点p_i(x_i,y_i),i＝1,2...n采用随机抽样一致进行直线拟合得到直线，记录下内点，作为第一灭点类；

S213、对剩余的外点做第二次随机抽样一致拟合，将内点作为第二灭点类；

S214、循环进行步骤S212和S213，直到分出所有灭点分类和杂乱点分类。

9.根据权利要求3所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S22包括：

步骤S221：用步骤S21得到的至少一类样本点，分配模糊聚类算法中的隶属度函数权值和聚类中心；

步骤S222：利用模糊聚类算法进行迭代聚类，得到最终的聚类结果，其中一类是杂乱点，其他至少一类为灭点。

10.根据权利要求5所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S41包括：

步骤S411：世界坐标系中相对于图像获取设备坐标系的x,y,z三个方向的旋转向量分别为r₁,r₂,r₃，则旋转矩阵为R＝(r₁,r₂,r₃)，将无穷远点投影到图像获取设备的成像平面上得到图像获取设备坐标和世界坐标的旋转矩阵：

$\left(\begin{array}{c}{a}_1\\ b_1\\ c_1\end{array}\right)~\left(\begin{array}{cc}M& 0\end{array}\right)\left(\begin{array}{cccc}{r}_1& r_2& r_3& T\\ 0& 0& 0& 1\end{array}\right)\left(\begin{array}{c}1\\ 0\\ 0\\ 0\end{array}\right)=M{r}_1$ $r_{\mathrm{1,2,3}}~M^{-1}\left(\begin{array}{c}{a}_{\mathrm{1,2,3}}\\ b_{\mathrm{1,2,3}}\\ c_{\mathrm{1,2,3}}\end{array}\right);$

S412：根据r₁与r₂正交则有r1·r2=0，计算

$\left(\begin{array}{ccc}\frac{a_1-c_1{C}_x}{f}& \frac{b_1-c_1{C}_y}{f}& c_1\end{array}\right)\left(\begin{array}{c}\frac{a_2-c_2{C}_x}{f}\\ \frac{b_2-c_2{C}_y}{f}\\ c_2\\ \end{array}\right)=0,$

得到图像获取设备的焦距

$f=\sqrt{-(\frac{a_1}{c_1}-C_x)(\frac{a_2}{c_2}-C_x)-(\frac{b_1}{c_1}-C_y)(\frac{b_2}{c_2}-C_y)}$

及内参矩阵 $M=\left[\begin{array}{ccc}f& 0& C_x\\ 0& f& C_y\\ 0& 0& 1\end{array}\right];$

其中c1，c2≠0，

W为图像的宽，H为图像的高。

11.根据权利要求10所述的一种灭点检测及图像矫正方法，其特征在于，所述步骤S42包括：

S421：计算单应性矩阵H＝MR^TM^-1；

S422：利用单应性矩阵H对图像进行变换得到扭正后的图像 $\left(\begin{array}{c}{u}^{\′}\\ v^{\′}\\ 1\end{array}\right)=H\left(\begin{array}{c}u\\ v\\ 1\end{array}\right).$

Images