CN112802045B - 一种同步检测图像中平行直线和平行曲线特征的方法 - Google Patents

Abstract

本发明提供一种同步检测图像中平行直线和平行曲线特征的方法，其包括如下步骤：将输入图像转化为灰度图像，获取边缘图像的链条集合；将链条集合分解为直线边缘链条集合和平滑曲线边缘链条集合；并分别构建平行直线模型和平行曲线模型：根据模型分别对直线边缘链条集合和平滑曲线边缘链条集合进行处理和判断，获取到平行直线对集合和平行曲线对集合。本发明能检测图像中存在的平行结构，并能适用于多种环境场景，具有较好的灵活性和移植性，可为后续不同类型的图像检测任务提供特征依据。

Description

一种同步检测图像中平行直线和平行曲线特征的方法

技术领域

本发明涉及视觉特征提取和视觉感知技术领域，具体涉及一种同步检测图像中平行直线和平行曲线特征的方法。

背景技术

在计算机视觉特征提取过程中，如何提取到被检测物体的有效特征一直是众多计算机视觉任务的重要环节。平行性作为格式塔组织原则的重要组成部分，是人类视觉感知周围世界三维结构信息的重要基本特征。与纷繁的线段相比，平行线含有更为丰富的语义信息，是对图像中人造场景或物体进行高级描述的基础，也是人类估计景深等信息的关键要素，可为识别具有丰富平行结构的物体提供良好的线索支持。因此平行线的检测工作在计算机视觉中起着至关重要的作用，如：消失点的检测、车道线检测、文本定位、遥感道路检测等。

目前平行线的检测方法主要有针对于平行直线的检测、针对于平行曲线的检测、利用平行结构进行平行直线和平行曲线的共同提取。平行直线的检测主要分为两类，一类是通过将直线边缘从笛卡尔坐标系转换到极坐标系中进行表示，利用投票的原则进行平行直线组的提取，如专利CN111141208A所提出的方法以及文献《基于Hough变换的平行直线检测改进算法研究》所提出的方法，缺点在于易受噪声干扰且需大量的计算时间以及内存需求。另一类是通过对边缘像素点拟合获取直线边缘轮廓，计算直线斜率进行平行线组的判断。如专利CN106251332B所提出的方法，缺点在于对边缘像素拟合需很大的计算成本，且对拟合后的直线边缘进行斜率的求取会存在一定误差，结果依赖于斜率判定的参数选择。平行曲线的检测是主要是通过选择合适的曲线对，利用一系列判断准则进行曲线的提取，如文献《Harbor Detection in Polarimetric SAR Images Based on the Characteristicsof Parallel Curves》所提出的方法，缺点在于两方面，一方面在提取合适的曲线对时，通过设置一个搜索窗口进行合适曲线对的搜索，这种方式依赖于搜索窗口大小的阈值设定，会出现漏检误检的情况并需要大量的计算时间；另一方面在于忽略了曲线对之间的几何关系。利用平行结构进行平行直线和平行曲线的共同提取，主要是通过建立平行结构模型进行平行性判定，如文献《基于边缘检测的SAR图像平行线特征提取算法》所提出的方法，缺点在于由于依赖于点对之间的距离信息，在复杂场景中需要较大的计算成本进行平行结构筛选，而且真实环境中的平行关系大多为近似平行，因此参数的选取很大程度影响了最终的检测结果。综上所述，想要检测图像中平行线特征存在如下的不足之处：

(1)检测窗口的大小依赖于阈值的设置，对于不同检测场景需用不同尺寸大小的检测窗口进行检测；

(2)依赖坐标变换的平行直线检测方法其时间复杂度和空间复杂度都很高，并且在检测过程中只能确定直线对方向，而无直线对的长度信息，即无法确认直线对的平行有效性。

依赖点对之间的距离信息进行平行直线以及平行曲线判断的算法时间复杂度和空间复杂度都很高，且只能对规则平行结构进行提取，对于现实生活中的类平行结构很难成功提取。

发明内容

本发明的目的主要是公开一种同步检测图像中平行直线和平行曲线特征的方法，它能检测图像中存在的平行结构，并能适用于多种环境场景，具有较好的灵活性和移植性，可为后续不同类型的图像检测任务提供特征依据。

本发明的一个方式的同步检测图像中平行直线和平行曲线特征的方法，其包括以下步骤：

步骤1：将输入图像转化为灰度图像，获取边缘图像的链条集合E＝{e₁,e₂,...,e_m}；

步骤2：将链条集合E＝{e₁,e₂,...,e_m}分解为直线边缘链条集合L＝{L₁,L₂,...,L_l}和平滑曲线边缘链条集合C＝{C₁,C₂,...,C_C}；

对每一条提取的连续边缘链条从其第h个像素点开始依次对边缘像素点局部进行角点检测和主方向估计，将边缘链条在角点处断开，并获取边缘链条方向编码数据，接着对光滑的边缘链条进行全局处理，从而将光滑的边缘链条分为两类，即直线边缘链条和平滑曲线边缘链条；

步骤3：对直线边缘链条集合L＝{L₁,L₂,...,L_l}进行处理和判断，获取平行直线对集合PL；

构建平行直线模型：

在笛卡尔坐标中，将满足如下准则的一对直线L₁、L₂定义为平行直线：

其中，

为L₁的角度，

为L₂的角度，λ_θ为角度差阈值；

为斜率相似性准则；

为空间重叠性准则；

根据构建的平行直线模型对直线边缘链条集合L＝{L₁,L₂,...,L_l}进行平行性判断；获得直线边缘链条的角度信息，利用该信息判断两边缘链条的斜率差异是否小于所设阈值λ_θ，若小于所设阈值λ_θ，则进一步判断这两直线边缘链条在空间上相互投影是否具有重叠部分，若存在，则说明两直线边缘链条是平行的；

步骤4：对平滑曲线边缘链条集合C＝{C₁,C₂,...,C_C}进行处理和判断，获取平行曲线对集合PC；

构建平行曲线模型：

在笛卡尔坐标系中，将满足如下准则的一对曲线C₁与曲线C₂定义为平行曲线：

对于一对曲线C₁与C₂，在曲线C₁上任意两点p₁、p₂，在曲线C₂上总存在与其切线方向相同的对应点q₁、q₂，那么应当满足如下准则：

其中，p₁p₂为p₁、p₂的连接线，q₁q₂为q₁、q₂的连接线，||p₁p₂-q₁q₂||₂为直线p₁p₂到直线q₁q₂的距离；

为直线p₁p₂的角度，

为直线q₁q₂的角度，

为角度差阈值；向量v₁为直线p₁p₂所对应的弧段中心指向直线p₁p₂中心所形成的向量，向量v₂为直线q₁q₂所对应的弧段中心指向直线q₁q₂中心所形成的向量，θ_v1v2为向量v₁与向量v₂的夹角；min||p₁p₂-q₁q₂||₂为最近邻准则、

为余弦相似性准则、θ_v1v2＜90°为凹凸一致性准则；

根据构建的平行曲线模型对平滑曲线边缘链条集合C＝{C₁,C₂,...,C_C}进行平行性判断；首先获得最近邻的曲线边缘链条对，然后分别对曲线边缘链条进行多边形化，由此获得对应弧线段的直线编码；将两曲线的直线编码数据分别进行相似性匹配，并对相似性较高的两直线段所对应的曲线段进行凹凸一致性的判断，若具有一致的凹凸性，则说明两直线段所对应的曲线段平行。

进一步地，所述步骤1具体步骤如下：

步骤1.1：将输入图像转化为灰度图像；

步骤1.2：对灰度图像进行平滑处理；

步骤1.3：获取平滑灰度图像的梯度幅值图以及其边缘方向图；

步骤1.4：获取锚点图像；

步骤1.5：通过智能路由进行锚点连接，绘制最终的边缘图像，获取边缘图像的链条集合E＝{e₁,e₂,...,e_m}。

进一步地，所述步骤2具体步骤如下：

步骤2.1：确定角点检测和主方向判断标准；

角点检测：对于边缘上任意像素(x_j,y_j)选择其左右相邻的h-1个边缘像素点组成一个小邻域边缘像素数据；获取邻域像素的协方差矩阵，计算协方差矩阵S₁的特征值λ_s11、λ_s12(λ_s11＞λ_s12)，若最小特征值λ_s12小于所设阈值Th₁，则说明该边缘像素点邻域能拟合为直线段；若最小特征值λ_s12大于所设阈值Th₁，则说明该边缘邻域像素点不能拟合为直线段，其中，(x_j,y_j)即为要检测的角点，将边缘链条在此处断开；

主方向：

其中，θ_j为第j个像素邻域的主方向，λ_s11、λ_s12(λ_s11＞λ_s12)为第j个像素邻域协方差矩阵的特征值，x_j为第j个像素邻域中第i个像素横坐标，

为第j个像素邻域中2h-1个像素横坐标均值，y_j为第j个像素邻域中第i个像素纵坐标，

为第j个像素邻域中2h-1个像素纵坐标均值，n为小邻域边缘像素点数，X_s为n个像素的零均值化横坐标矩阵，X_s ^T为n个像素的零均值化横坐标转置矩阵，Y_s为n个像素的零均值化纵坐标矩阵，Y_s ^T为n个像素的零均值化纵坐标转置矩阵；

已知该邻域像素曲率与其两个特征值的乘积成正比关系：

κ_sj ²∝λ_s11λ_s12

其中，κ_sj为第j个像素邻域的曲率，因此曲率近似表示为：

κ_sj＝λ_s11λ_s12

步骤2.2：根据步骤2.1对所有边缘链条e₁,e₂,...,e_m进行角点检测，并依次计算每个像素邻域方向角度，将边缘链条在角点处断开，获得一系列光滑的边缘链条方向编码数据集SE＝{se₁,se₂,...,se_n}，其中，se_i＝(x_i,y_i,θ_i,k_si)；

步骤2.3：对每一条边缘链条整体进行直线边缘和曲线边缘的判断，将光滑的边缘链条分别输入直线边缘链条集合L以及曲线边缘链条集合C；

步骤2.4：将曲线边缘链条集合C中的光滑曲线边缘链条进行曲率变化统计，若有一组连续的曲线边缘像素曲率出现突变，且从曲线起始点到曲率突变点之间的边缘长度大于20～30像素，那么将根据步骤2.3判断这段曲线边缘像素是否能够拟合为直线边缘链条，若满足将该段曲线边缘像素补充到直线边缘链条集合L；

步骤2.5：遍历所有的光滑边缘链条，根据步骤2.3进行分类，并根据步骤2.4对直线边缘链条进行补充，获得最终的直线边缘链条集合L和平滑曲线边缘链条集合C。

进一步地，所述步骤3具体步骤如下：

步骤3.1：构建平行直线模型：

在笛卡尔坐标中，将满足如下准则的一对直线L₁、L₂定义为平行直线：

其中，

为L₁的角度，

为L₂的角度，λ_θ为角度差阈值；

为斜率相似性准则；

为空间重叠性准则；

步骤3.2：根据步骤3.1构建的平行直线模型，首先对输入的直线边缘链条集合L进行斜率相似性判断；

步骤3.3：根据步骤3.1的平行直线模型，满足斜率相似性准则的直线对进一步判断是否满足空间重叠性准则；两条斜率相似的直线之间夹角若满足∠k₄k₁k₂＜90°与∠k₃k₂k₁＜90°，则说明两直线在空间上相互投影具有重叠部分，即两直线的平行是有效的，输入平行直线集合PL；

步骤3.4：遍历直线边缘链条集合L提取满足上述步骤3.2与3.3的直线对，获得最终的平行直线对集合PL。

进一步地，所述步骤4具体步骤如下：

步骤4.1：构建平行曲线模型：

在笛卡尔坐标系中，将满足如下准则的一对曲线C₁与曲线C₂定义为平行曲线：

对于一对曲线C₁与C₂，在曲线C₁上任意两点p₁、p₂，在曲线C₂上总存在与其切线方向相同的对应点q₁、q₂，那么应当满足如下准则：

其中，p₁p₂为p₁、p₂的连接线，q₁q₂为q₁、q₂的连接线，||p₁p₂-q₁q₂||₂为直线p₁p₂到直线q₁q₂的距离；

为直线p₁p₂的角度，

为直线q₁q₂的角度，

为角度差阈值；向量v₁为直线p₁p₂所对应的弧段中心指向直线p₁p₂中心所形成的向量，向量v₂为直线q₁q₂所对应的弧段中心指向直线q₁q₂中心所形成的向量，θ_v1v2为向量v₁与向量v₂的夹角；min||p₁p₂-q₁q₂||₂为最近邻准则、

为余弦相似性准则、θ_v1v2＜90°为凹凸一致性准则；

步骤4.2：对每条曲线边缘链条进行顺序标号；按照曲线的存储顺序，分别将每个曲线所对应像素点赋值为当前曲线的顺序标号；

步骤4.3：选取每条曲线边缘链条上的局部曲率最大点；利用步骤2.3获得曲线边缘链条的曲率编码数据，曲率大于相邻曲线边缘像点曲率的点即为所需的局部曲率最大点；

步骤4.4：获取最近邻曲线边缘链条对；

步骤4.5：分别对最近邻曲线边缘链条对进行曲线多边形化，获得对应的直线编码数据；

步骤4.6：将曲线多边形化后的最近邻曲线对进行余弦相似性度量；

步骤4.7：对满足余弦相似的曲线段进行凹凸一致性的判断；

步骤4.8：曲线边缘链条段的匹配与融合,获得最终的平行曲线对，并将该曲线对输入平行曲线对集合PC；

步骤4.9：对所有最近邻平滑曲线对进行上述步骤检测，获得最终的平行曲线对集合PC。

进一步地，所述步骤2中h取值5。

进一步地，所述步骤2中阈值Th₁取值0.25。

本发明的有益效果如下：

1、利用PCA算法将边缘链条分解为直线边缘链条以及平滑曲线边缘链条，通过这样的方式将平行线检测问题转换为平行直线检测问题以及平行曲线检测问题，可同步进行；

2、定义平行直线模型，利用斜率相似性以及空间重叠性原则对直线对的平行性进行判断，解决了判断平行有效性问题；

3、定义平行曲线模型，利用近似法线方向生长的方式进行最邻近曲线的获取，无需进行检测窗口的设定，使算法具有通用性。此外，通过曲线多边形化将平行曲线的检测问题转换为匹配问题，降低了算法的空间复杂度和时间复杂度。

附图说明

图1是本发明一种同步检测图像中平行直线和平行曲线特征的方法不同Th₁取值下的角点检测结果图；

图2是本发明不同Th₂取值下的直线曲线的分类结果图；

图3是本发明斜率相似的两直线空间关系图；

图4是本发明平行直线模型示意图；

图5是本发明平行曲线模型示意图；

图6是本发明曲线近似法线方向生长算法示意图；

图7是本发明曲线多边形化示意图；

图8是本发明判断曲线段余弦相似性示意图；

图9是本发明判断曲线段凹凸一致性示意图；

图10是本发明具体实施例示意图；

图11是本发明的流程图。

具体实施方式

下面根据附图1-11对本发明的具体实施方法进行详细的说明。

本发明主要通过将边缘链条分解为直线边缘链条和曲线边缘链条，将平行线检测问题分解为平行直线检测问题以及平行曲线检测问题，最终获取图像中的平行特征，流程如图11所示。

步骤1，输入RGB图像，使用EDrawing算法得到边缘图像。

步骤1.1：将输入RGB图像转化为灰度图像。根据输入图像每个像素所对应的R、G、B三通道值，由公式可得当前像素灰度值g_n：

g_n＝0.299×R+0.587×G+0.114×B

其中,n为输入图像像素个数。

遍历所有像素值即可将输入RGB图像转化为灰度图像。

步骤1.2：使用大小为5×5，标准差为σ＝1的高斯核对灰度图像进行平滑处理。

步骤1.3：同时获取平滑灰度图像的梯度幅值图以及其边缘方向图。基于平滑的图像，使用Sobel算子分别计算像素的水平梯度以及垂直梯度。第n个像素点的梯度G_n：

G_n＝|G_nx|+|G_ny|

其中，G_nx为第n个像素点的水平梯度，G_ny为第n个像素点的垂直梯度。遍历所有图像像素进行上述操作即可获取图像梯度幅值图。

与此同时，比较每个像素点处的水平梯度G_nx以及垂直梯度G_ny。若满足|G_nx|≥|G_ny|，则认为该像素点的边缘方向为垂直方向，若满足|G_nx|＜|G_ny|，则认为该像素点的边缘方向为水平方向，如此便可获取图像的边缘方向图。

步骤1.4：获取锚点图像。对于输入图像的任意像素(x_n,y_n)，根据图像的边缘方向图可知当前检测像素点的边缘方向，当像素(x_n,y_n)的边缘为水平方向时，若满足：

其中，G[x_n,y_n]为(x_n,y_n)的梯度幅值，G[x_n,y_n-1]为(x_n,y_n-1)的梯度幅值，G[x_n,y_n+1]为坐标(x_n,y_n+1)处像素点的梯度幅值，Th_anchor为锚点阈值。那么该像素(x_n,y_n)为锚点。当像素(x_n,y_n)边缘为垂直方向时，若满足：

其中，G[x_n-1,y_n]为(x_n-1,y_n)的梯度幅值，G[x_n+1,y_n]为(x_n+1,y_n)的梯度幅值，Th_anchor为锚点阈值。那么该像素(x_n,y_n)为锚点。

对输入图像的所有像素进行上述操作即可获取锚点图像。

步骤1.5：通过智能路由进行锚点连接，绘制最终的边缘图像。首先初始化边缘链条集合E＝{e₁,e₂,...,e_m}＝0，对任意锚点(x_n,y_n)的8邻域像素点进行搜索，若假设像素边缘方向为水平方向，即初始搜索路径为水平方向，若G[x_n,y_n]＞0且e[x_n,y_n]≠1，则对6个水平邻域搜索，先搜索(x_n-1,y_n-1)，(x_n-1,y_n)和(x_n-1,y_n+1)，判断G[x_n-1,y_n-1]、G[x_n-1,y_n]与G[x_n-1,y_n+1]中的最大值，选择具有最大梯度幅值的邻域像素点，若该像素点不属于边缘像素，则将其加入边缘像素集合，并作为新的搜索起点重复进行上述操作。若无符合条件的目标，则搜索(x_n+1,y_n-1)，(x_n+1,y_n)和(x_n+1,y_n+1)，重复上述操作。若当前像素边缘方向为垂直方向，则对6个垂直邻域搜索，先搜索(x_n-1,y_n+1)，(x_n,y_n+1)和(x_n+1,y_n+1)，判断G[x_n+1,y_n+1]、G[x_n-1,y_n]与G[x_n-1,y_n+1]中的最大值，选择具有最大梯度幅值的邻域像素点作为新的搜索起点，直到无符合条件的目标，则搜索(x_n-1,y_n+1)，(x_n,y_n+1)和(x_n+1,y_n+1)并重复上述操作。重复上述操作即可获得一系列边缘链条E。

步骤2：输入由步骤1获取的边缘链条集合E＝{e₁,e₂,...,e_m}，将其分解为直线边缘链条集合L＝{L₁,L₂,...,L_l}以及平滑曲线边缘链条C＝{C₁,C₂,...,C_C}。对每一条提取的连续边缘链条从其第5个像素点开始依次对边缘像素点局部使用PCA算法进行角点检测和主方向估计，将边缘链条在角点处断开，并获取边缘链条方向编码数据。接着对光滑的边缘链条使用PCA和多边形化融合方法进行全局处理，从而将光滑的边缘链条分为两类，即直线边缘链条和平滑曲线边缘链条，具体步骤如下：

步骤2.1：角点检测。输入由步骤1获取的边缘链条集合E＝{e₁,e₂,...,e_m}，对于任意边缘e_m，从其第5个像素点开始依次对边缘像素点进行判断，若满足条件则将当前检测像素存储至新的光滑边缘链条集合se_i中，直到不满足条件则将原边缘e_m在此点处断开，并把当前边缘链条集合se_i存入集合SE中。继续对边缘像素点进行上述操作，直到到达当前边缘e_m倒数第5个像素点时检测结束，并将当前边缘链条集合存入集合SE中。具体判断步骤如下所示。对于边缘上任意像素(x_j,y_j)将进行如下判断，选择其左右相邻的4个边缘像素点(x_j-4,y_j-4)、(x_j-3,y_j-3)、(x_j-2,y_j-2)、(x_j-1,y_j-1)、(x_j+1,y_j+1)、(x_j+2,y_j+2)、(x_j+3,y_j+3)、(x_j+4,y_j+4)组成一个小邻域边缘像素数据。这9个像素的零均值化横坐标矩阵为

其中，

零均值化纵坐标矩阵为

其中，

获取邻域像素的协方差矩阵

计算协方差矩阵S₁的特征值λ_s11、λ_s12(λ_s11＞λ_s12)，若最小特征值λ_s12大于所设阈值Th₁，则说明该边缘邻域像素点不能拟合为直线段，其中，(x_j,y_j)即为要检测的角点，将边缘链条在此处断开。图1为选择不同阈值Th₁时角点的检测结果，当Th₁＝0.25时角点检测结果最佳，因此本发明Th₁取值0.25。

若最小特征值λ_s12小于所设阈值Th₁＝0.25，则说明该边缘像素点邻域能拟合为直线段，其方向可计算为：

其中，θ_j为第j个像素邻域的主方向，λ_s11、λ_s12(λ_s11＞λ_s12)为第j个像素邻域协方差矩阵的特征值，x_j为第j个像素邻域中第i个像素横坐标，

为第j个像素邻域中9个像素横坐标均值，y_j为第j个像素邻域中第i个像素纵坐标，

为第j个像素邻域中9个像素纵坐标均值，n为小邻域边缘像素点数，X_s为n个像素的零均值化横坐标矩阵，X_s ^T为n个像素的零均值化横坐标转置矩阵，Y_s为n个像素的零均值化纵坐标矩阵，Y_s ^T为n个像素的零均值化纵坐标转置矩阵。

已知该邻域像素曲率与其两个特征值的乘积成正比关系：

κ_sj ²∝λ_s11λ_s12

其中，κ_sj为第j个像素邻域的曲率，因此曲率可近似表示为：

κ_sj＝λ_s11λ_s12

步骤2.2：根据步骤2.1对所有边缘链条e₁,e₂,...,e_m进行角点检测，并依次计算每个像素邻域方向角度，那么该像素即可包含位置及方向信息，由(x_j,y_j,θ_j,k_sj)表示，将边缘链条在角点处断开，便可获得一系列光滑的边缘链条方向编码数据集SE＝{se₁,se₂,...,se_n}，其中，se_i＝(x_i,y_i,θ_i,k_si)。

步骤2.3：对于每条光滑的边缘链条se，其边缘像素坐标可表示为(x_i,y_i),i＝1,2,...,m,其中，x_i为第i个像素横坐标，y_i为第i个像素纵坐标，m为该边缘链条的像素总数。对每一条边缘链条se整体使用PCA算法进行直线边缘和曲线边缘的判断，将光滑的边缘链条分别输入直线边缘链条集合L以及曲线边缘链条集合C，具体判断步骤如下。对于每条光滑边缘均获取其零均值化横坐标矩阵

其中，

为所有像素横坐标均值。获取零均值化纵坐标矩阵

其中，

为所有像素纵坐标均值。获取该边缘链条的像素协方差矩阵

计算其协方差矩阵S₂的特征值λ_s21、λ_s22。图2为在不同阈值Th₂时对原图(a)的曲线与直线分类的检测结果，当0.2＜Th₂＜0.35时曲线与直线分类结果最符合实际情况，本发明选择阈值Th₂取值为0.25。

若最小特征值λ_s22小于所设阈值Th₂＝0.25，则说明该边缘链条可近似拟合为直线，即该边缘链条被检测为直线边缘链条，输入直线边缘链条集合L，其方向角可计算为：

其中,θ_k为第k条光滑边缘链条的主方向，λ_s21、λ_s22(λ_s21＞λ_s22)为第k条光滑边缘链条协方差矩阵的特征值，x_i为第k条光滑边缘链条中第i个像素横坐标，

为第k条光滑边缘链条所有像素横坐标均值，y_i为第k条光滑边缘链条中第i个像素纵坐标，

为第k条光滑边缘链条所有像素纵坐标均值。

若最小特征值大于所设阈值Th₂＝0.25，则说明该边缘链条不可近似拟合为直线，即该边缘链条将被检测为平滑曲线边缘链条，将其输入曲线边缘链条集合C；

步骤2.4：将光滑的曲线边缘链条C进行曲率变化统计，若有一组连续的曲线边缘像素曲率出现突变，且从曲线起始点到曲率突变点之间的边缘长度大于20～30像素，那么将根据步骤2.3判断这段曲线边缘像素是否可拟合为直线边缘链条，若满足将该段曲线边缘像素补充到直线边缘链条集合L。

步骤2.5：遍历所有的光滑边缘链条，根据步骤2.3进行分类，并根据步骤2.4对直线边缘链条进行补充，获得最终的直线边缘链条集合L和平滑曲线边缘链条集合C。

步骤3：对直线边缘链条进行处理，即将直线边缘链条集合L放入定义的平行直线模型进行平行性判断。通过步骤2.3获得直线边缘链条的角度信息，利用该信息判断两边缘链条的斜率差异是否小于所设阈值，若小于所设阈值则进一步判断这两直线边缘链条在空间上相互投影是否具有重叠部分，若存在则说明两直线边缘链条是平行的。具体步骤如下：

步骤3.1：定义平行直线模型。平行直线模型具体如下：

图3所示是斜率相似的两直线之间的空间关系。情形a与情形b为L₁、L₂在空间中相互垂直投影无重叠部分，情形c、d、e为L₁、L₂在空间中相互垂直投影具有重叠部分。分别用k₁、k₂表示的L₁端点，k₃、k₄表示的L₂端点。当L₁、L₂之间夹角满足∠k₄k₁k₂＜90°与∠k₃k₂k₁＜90°时，其中，∠k₄k₁k₂为端点k₄、k₁、k₂组成的角度且k₁为顶点，∠k₃k₂k₁为端点k₃、k₂、k₁组成的角度且k₂为顶点。说明L₁，L₂在空间中相互垂直投影具有重叠部分，即满足空间重叠性准则。

结合图3可得平行直线的模型建立，如图4所示。对于图像中的一条线段L，在其两侧可能存在两条线段L+、L-。在笛卡尔坐标中，我们将满足如下准则的一对直线L₁、L₂定义为平行直线：

其中，

为L₁的角度，

为L₂的角度，λ_θ为角度差阈值；

为斜率相似性准则。

为空间重叠性准则；

步骤3.2：根据步骤3.1定义的平行直线模型，首先对输入的直线边缘链条集合L进行斜率相似性判断。通过步骤2.3可计算直线角度，将直线对进行角度对比。由于现实场景中会存在大量近似平行结构，设置角度阈值λ_θ＝5°。若两直线的角度差异小于λ_θ则认为是满足直线平行的必要条件。

步骤3.3：根据步骤3.1的平行直线模型，满足斜率相似性准则的直线对进一步判断是否满足空间重叠性准则。两条斜率相似的直线之间夹角若满足∠k₄k₁k₂＜90°与∠k₃k₂k₁＜90°，则说明两直线在空间上相互投影具有重叠部分，即两直线的平行是有效的，输入平行直线集合PL。

步骤3.4：遍历直线边缘链条集合L提取满足上述步骤3.2与3.3的直线对，获得最终的平行直线对集合PL。

步骤4：对平滑曲线边缘链条进行处理，即将平滑曲线边缘链条集合C放入定义的平行曲线模型进行平行性判断。首先获得最近邻的曲线边缘链条对，然后分别对曲线边缘链条进行多边形化，由此可获得对应弧线段的直线编码。将两曲线的直线编码数据分别进行相似性匹配，并对相似性较高的两直线段所对应的曲线段进行凹凸一致性的判断，若具有一致的凹凸性，则说明两直线段所对应的曲线段平行。如此遍历便可获得最终的平行曲线边缘链条。具体步骤如下：

步骤4.1：定义平行曲线模型。平行曲线模型具体如下：

图5所示是建立的平行曲线模型示意图。对于图像中的一条平滑曲线段C，在其两侧可能存在两条线段C+、C-。在笛卡尔坐标系中，对于一对曲线C₁与C₂，在曲线C₁上任意两点p₁、p₂，在曲线C₂上总存在与其切线方向相同的对应点q₁、q₂，那么应当满足如下准则：

其中，p₁p₂为p₁、p₂的连接线，q₁q₂为q₁、q₂的连接线，||p₁p₂-q₁q₂||₂为直线p₁p₂到直线q₁q₂的距离；

为直线p₁p₂的角度，

为直线q₁q₂的角度，

为角度差阈值；向量v₁为直线p₁p₂所对应的弧段中心指向直线p₁p₂中心所形成的向量，向量v₂为直线q₁q₂所对应的弧段中心指向直线q₁q₂中心所形成的向量，θ_v1v2为向量v₁与向量v₂的夹角；min||p₁p₂-q₁q₂||₂为最近邻准则、

为余弦相似性准则、θ_v1v2＜90°为凹凸一致性准则；

若满足上述准则，我们称曲线C₁与曲线C₂为一对平滑曲线段。

步骤4.2：对每条曲线边缘链条进行顺序标号。按照曲线的存储顺序，分别将每个曲线所对应像素点赋值为当前曲线的顺序标号。

步骤4.3：选取每条曲线边缘链条上的局部曲率最大点。利用步骤2.3可获得曲线边缘链条的曲率编码数据，曲率大于相邻曲线边缘像点曲率的点即为所需的局部曲率最大点。

步骤4.4：获取最近邻曲线边缘链条对。如图6所示的曲线边缘链条C₀、C₁、C₂、C₃，当前检测曲线边缘链条为C₀，由步骤4.2获得C₀的局部曲率最大点，由步骤2.3可得局部曲率最大点处的切线方向数据。在C₀的每个局部曲率最大点处选择与其切线方向近似垂直的像素方向进行生长，在与其他曲线相交或与图像边界相交便停止生长。图中所示按照近似垂直的像素方向生长将与曲线C₁、C₂相交，其中与曲线C₁相交1次，与曲线C₂相交4次。因此C₂即为要找寻的与曲线C₀最邻近的曲线。

步骤4.5：分别对最近邻曲线边缘链条对进行曲线多边形化，如图7所示。对于任意曲线C，设曲线C的起点为C_start，终点为C_end。将起点C_start与终点C_end连接，连线由

表示，C_mid1为到

距离最大点，其距离为h₁。若h₁＞h_th，其中，h_th＝5为所设距离阈值，那么C_mid1将原曲线分割为两个曲线段

和

对于

上像素点到C_start与C_mid1连线的最远距离为h₂，若满足0＜h₂＜h_th，那么可作为曲线

的近似，将

表示为曲线段c₁，对应的直线编码用l₁表示。对于

由于

与

存在交点C_mid2，那么C_mid2将

分为两个曲线段

和

上像素点到C_mid1与C_mid2连线的最远距离h₃若满足0＜h₃＜h_th，将

表示为曲线段c₂，对应的直线编码用l₂表示。同上述操作，

可表示为曲线段c₃，对应的直线编码用l₃表示。综合上述步骤可将曲线C分解为曲线段{c₁,c₂,c₃}，其对应的直线编码为{l₁,l₂,l₃}。将所有曲线段按上述步骤进行操作即可获得对应的直线编码数据。

步骤4.6：将曲线多边形化后的最近邻曲线对进行余弦相似性度量。选择像素点数较少的曲线边缘链条作为模板，依次选择像素点数较少的曲线边缘链条的直线编码数据与像素点数较多的曲线边缘链条的直线编码数据分别进行余弦相似性度量，如图8所示。曲线段

对应的直线编码分别为虚线

若

与

之间的夹角

满足

其中，

那么说明

与

余弦相似，即

满足平行必要条件之一，否则不满足。

步骤4.7：对满足余弦相似的曲线段进一步进行凹凸一致性的判断，如图9所示。曲线段

对应的直线编码分别为虚线

由步骤4.6得

与

余弦相似，那么其对应的曲线段

满足平行的必要条件。曲线段

的空间位置关系主要由图9所示，情形a为满足凹凸一致性原则的情况，情形b、c为不满足凹凸一致性原则的情况。图中p₁为曲线段

上的中心点，其坐标可表示为

其中，

为p₁的横坐标，

为p₁的纵坐标，相对应的直线

上的中心点坐标p₁′可表示为

其中，

为p₁′的横坐标，

为p₁′的纵坐标，p₁与p₁′连接形成向量v₁。p₂为曲线段

上的中心点，其坐标可表示为

其中，

为p₂的横坐标，

为p₂的纵坐标，相对应的直线

上的中心点坐标p′₂可表示为

其中，

为p′₂的横坐标，

为p′₂的纵坐标，p₂与p′₂连接形成向量v₂。计算向量v₁与向量v₂之间的夹角θ_v1v2，在情形a时，θ_v1v2＜90°；在情形b、c时，θ_v1v2＞90°。综上所述，当向量v₁与向量v₂之间的夹角θ_v1v2满足θ_v1v2＜90°时说明曲线

与

满足凹凸一致性准则，即曲线

与

满足平行的必要条件，否则不满足。

若两曲线段满足凹凸一致性准则，那么两曲线段可判断为平行关系，将匹配编号存入数组M＝{m₁,m₂,...,m_n}中，其中，

表示曲线对C₁、C₂中匹配的曲线段，n表示最近邻曲线对数。

步骤4.8：曲线边缘链条段的匹配与融合。将两条曲线边缘链条按照直线编码的顺序，以像素点较少的曲线边缘链条作为模板，依次根据步骤4.6以及步骤4.7与像素点较多的曲线边缘链条进行判断，记录满足条件的曲线边缘链条的直线编码

对于曲线C₁将其对应的曲线线段

进行连接，对于曲线C₂将其对应的曲线线段

进行连接，获得最终的平行曲线对，并将该曲线对输入平行曲线对集合PC。

步骤4.9：对所有最近邻平滑曲线对进行上述步骤检测，获得最终的平行曲线对集合PC。

图10为按照具体实施方式所提的步骤，同步检测遥感道路图像中的平行直线和平行曲线特征。以遥感道路图像为例，首先根据步骤一获取遥感道路边缘图像，如图10(a)所示；然后根据步骤二将遥感道路边缘线条分解为直线边缘链条以及曲线边缘链条，分别如图10(b)、10(c)所示；接着根据步骤三对直线边缘链条进行处理，获得平行直线特征，如图10(d)所示，根据步骤四对曲线边缘链条进行处理，获得平行曲线特征，如图10(e)所示。图10(f)为最终遥感道路图像的平行线特征图。

本发明通过分析图像中的边缘信息，找出图像中所包含的平行特征，主要应用于包含平行特征的物体识别、重建和机器人导航领域，如遥感道路识别、复杂环境文字识别、人造场景消失点检测和基于直线的SLAM导航等。

以上所述的实施例仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (7)

1.一种同步检测图像中平行直线和平行曲线特征的方法，其特征在于，其包括以下步骤：

步骤1：将输入图像转化为灰度图像，获取边缘图像的链条集合E＝{e₁,e₂,...,e_m}；

步骤2：将链条集合E＝{e₁,e₂,...,e_m}分解为直线边缘链条集合L＝{L₁,L₂,...,L_l}和平滑曲线边缘链条集合C＝{C₁,C₂,...,C_C}；

对每一条提取的连续边缘链条从其第h个像素点开始依次对边缘像素点局部进行角点检测和主方向估计，将边缘链条在角点处断开，并获取边缘链条方向编码数据，接着对光滑的边缘链条进行全局处理，从而将光滑的边缘链条分为两类，即直线边缘链条和平滑曲线边缘链条；

步骤3：对直线边缘链条集合L＝{L₁,L₂,...,L_l}进行处理和判断，获取平行直线对集合PL；

构建平行直线模型：

在笛卡尔坐标中，将满足如下准则的一对直线L₁、L₂定义为平行直线：

其中，

为L₁的角度，

为L₂的角度，λ_θ为角度差阈值；

为斜率相似性准则；k₁、k₂表示L₁端点，k₃、k₄表示L₂端点，∠k₄k₁k₂为端点k₄、k₁、k₂组成的角度且k₁为顶点，∠k₃k₂k₁为端点k₃、k₂、k₁组成的角度且k₂为顶点，

为空间重叠性准则，当L₁、L₂之间夹角满足∠k₄k₁k₂＜90°与∠k₃k₂k₁＜90°时，说明L₁、L₂在空间中相互垂直投影具有重叠部分，即满足空间重叠性准则；

根据构建的平行直线模型对直线边缘链条集合L＝{L₁,L₂,...,L_l}进行平行性判断；获得直线边缘链条的角度信息，利用该信息判断两边缘链条的斜率差异是否小于所设角度差阈值λ_θ，若小于所设角度差阈值λ_θ，则进一步判断这两直线边缘链条在空间上相互投影是否具有重叠部分，若存在，则说明两直线边缘链条是平行的；

步骤4：对平滑曲线边缘链条集合C＝{C₁,C₂,...,C_C}进行处理和判断，获取平行曲线对集合PC；

构建平行曲线模型：

在笛卡尔坐标系中，将满足如下准则的一对曲线C₁与曲线C₂定义为平行曲线：

对于一对曲线C₁与C₂，在曲线C₁上任意两点p₁、p₂，在曲线C₂上总存在与其切线方向相同的对应点q₁、q₂，那么应当满足如下准则：

其中，p₁p₂为p₁、p₂的连接线，q₁q₂为q₁、q₂的连接线，||p₁p₂-q₁q₂||₂为直线p₁p₂到直线q₁q₂的距离；

为直线p₁p₂的角度，

为直线q₁q₂的角度，

为角度差阈值；向量v₁为直线p₁p₂所对应的弧段中心指向直线p₁p₂中心所形成的向量，向量v₂为直线q₁q₂所对应的弧段中心指向直线q₁q₂中心所形成的向量，θ_v1v2为向量v₁与向量v₂的夹角；min||p₁p₂-q₁q₂||₂为最近邻准则、

为余弦相似性准则、θ_v1v2＜90°为凹凸一致性准则；

根据构建的平行曲线模型对平滑曲线边缘链条集合C＝{C₁,C₂,...,C_C}进行平行性判断；首先获得最近邻的曲线边缘链条对，然后分别对曲线边缘链条进行多边形化，由此获得对应弧线段的直线编码；将两曲线的直线编码数据分别进行相似性匹配，并对相似性较高的两直线段所对应的曲线段进行凹凸一致性的判断，若具有一致的凹凸性，则说明两直线段所对应的曲线段平行。

2.根据权利要求1所述的同步检测图像中平行直线和平行曲线特征的方法，其特征在于，所述步骤1具体步骤如下：

步骤1.1：将输入图像转化为灰度图像；

步骤1.2：对灰度图像进行平滑处理；

步骤1.3：获取平滑灰度图像的梯度幅值图以及其边缘方向图；

步骤1.4：获取锚点图像；

步骤1.5：通过智能路由进行锚点连接，绘制最终的边缘图像，获取边缘图像的链条集合E＝{e₁,e₂,...,e_m}。

3.根据权利要求1所述的同步检测图像中平行直线和平行曲线特征的方法，其特征在于，所述步骤2具体步骤如下：

步骤2.1：确定角点检测和主方向判断标准；

角点检测：对于边缘上任意像素(x_j,y_j)选择其左右相邻的h-1个边缘像素点组成一个小邻域边缘像素数据；获取邻域像素的协方差矩阵，计算协方差矩阵S₁的特征值λ_s11、λ_s12(λ_s11＞λ_s12)，若最小特征值λ_s12小于所设阈值Th₁，则说明该边缘像素点邻域能拟合为直线段；若最小特征值λ_s12大于所设阈值Th₁，则说明该边缘邻域像素点不能拟合为直线段，其中，(x_j,y_j)即为要检测的角点，将边缘链条在此处断开；

主方向：

或

θ_j∈(0,180]

其中，θ_j为第j个像素邻域的主方向，λ_s11、λ_s12(λ_s11＞λ_s12)为第j个像素邻域协方差矩阵的特征值，x_j为第j个像素邻域中第i个像素横坐标，

为第j个像素邻域中2h-1个像素横坐标均值，y_j为第j个像素邻域中第i个像素纵坐标，

为第j个像素邻域中2h-1个像素纵坐标均值，n为小邻域边缘像素点数，X_s为n个像素的零均值化横坐标矩阵，X_s ^T为n个像素的零均值化横坐标转置矩阵，Y_s为n个像素的零均值化纵坐标矩阵，Y_s ^T为n个像素的零均值化纵坐标转置矩阵；

已知该邻域像素曲率与其两个特征值的乘积成正比关系：

κ_sj ²∝λ_s11λ_s12

其中，κ_sj为第j个像素邻域的曲率，因此曲率近似表示为：

κ_sj＝λ_s11λ_s12

步骤2.2：根据步骤2.1对所有边缘链条e₁,e₂,...,e_m进行角点检测，并依次计算每个像素邻域方向角度，将边缘链条在角点处断开，获得一系列光滑的边缘链条方向编码数据集SE＝{se₁,se₂,...,se_n}，其中，se_i＝(x_i,y_i,θ_i,k_si)；

步骤2.3：对每一条边缘链条整体进行直线边缘和曲线边缘的判断，将光滑的边缘链条分别输入直线边缘链条集合L以及曲线边缘链条集合C；

步骤2.4：将曲线边缘链条集合C中的光滑曲线边缘链条进行曲率变化统计，若有一组连续的曲线边缘像素曲率出现突变，且从曲线起始点到曲率突变点之间的边缘长度大于20～30像素，那么将根据步骤2.3判断这段曲线边缘像素是否能够拟合为直线边缘链条，若满足将该段曲线边缘像素补充到直线边缘链条集合L；

步骤2.5：遍历所有的光滑边缘链条，根据步骤2.3进行分类，并根据步骤2.4对直线边缘链条进行补充，获得最终的直线边缘链条集合L和平滑曲线边缘链条集合C。

4.根据权利要求1所述的同步检测图像中平行直线和平行曲线特征的方法，其特征在于，所述步骤3具体步骤如下：

步骤3.1：构建平行直线模型：

在笛卡尔坐标中，将满足如下准则的一对直线L₁、L₂定义为平行直线：

其中，

为L₁的角度，

为L₂的角度，λ_θ为角度差阈值；

为斜率相似性准则；

为空间重叠性准则；

步骤3.2：根据步骤3.1构建的平行直线模型，首先对输入的直线边缘链条集合L进行斜率相似性判断；

步骤3.3：根据步骤3.1的平行直线模型，满足斜率相似性准则的直线对进一步判断是否满足空间重叠性准则；两条斜率相似的直线之间夹角若满足∠k₄k₁k₂＜90°与∠k₃k₂k₁＜90°，则说明两直线在空间上相互投影具有重叠部分，即两直线的平行是有效的，输入平行直线集合PL；

步骤3.4：遍历直线边缘链条集合L提取满足上述步骤3.2与3.3的直线对，获得最终的平行直线对集合PL。

5.根据权利要求1所述的同步检测图像中平行直线和平行曲线特征的方法，其特征在于，所述步骤4具体步骤如下：

步骤4.1：构建平行曲线模型：

在笛卡尔坐标系中，将满足如下准则的一对曲线C₁与曲线C₂定义为平行曲线：

对于一对曲线C₁与C₂，在曲线C₁上任意两点p₁、p₂，在曲线C₂上总存在与其切线方向相同的对应点q₁、q₂，那么应当满足如下准则：

其中，p₁p₂为p₁、p₂的连接线，q₁q₂为q₁、q₂的连接线，||p₁p₂-q₁q₂||₂为直线p₁p₂到直线q₁q₂的距离；

为直线p₁p₂的角度，

为直线q₁q₂的角度，

为角度差阈值；向量v₁为直线p₁p₂所对应的弧段中心指向直线p₁p₂中心所形成的向量，向量v₂为直线q₁q₂所对应的弧段中心指向直线q₁q₂中心所形成的向量，θ_v1v2为向量v₁与向量v₂的夹角；min||p₁p₂-q₁q₂||₂为最近邻准则、

为余弦相似性准则、θ_v1v2＜90°为凹凸一致性准则；

步骤4.2：对每条曲线边缘链条进行顺序标号；按照曲线的存储顺序，分别将每个曲线所对应像素点赋值为当前曲线的顺序标号；

步骤4.3：选取每条曲线边缘链条上的局部曲率最大点；利用步骤2.3获得曲线边缘链条的曲率编码数据，曲率大于相邻曲线边缘像点曲率的点即为所需的局部曲率最大点；

步骤4.4：获取最近邻曲线边缘链条对；

步骤4.5：分别对最近邻曲线边缘链条对进行曲线多边形化，获得对应的直线编码数据；

步骤4.6：将曲线多边形化后的最近邻曲线对进行余弦相似性度量；

步骤4.7：对满足余弦相似的曲线段进行凹凸一致性的判断；

步骤4.8：曲线边缘链条段的匹配与融合,获得最终的平行曲线对，并将该曲线对输入平行曲线对集合PC；

步骤4.9：对所有最近邻平滑曲线对进行上述步骤检测，获得最终的平行曲线对集合PC。

6.根据权利要求3所述的同步检测图像中平行直线和平行曲线特征的方法，其特征在于，所述步骤2中h取值5。

7.根据权利要求3所述的同步检测图像中平行直线和平行曲线特征的方法，其特征在于，所述步骤2中阈值Th₁取值0.25。

Images