CN109919958A - 一种基于多尺度图像空间的多重约束线段提取方法 - Google Patents

Abstract

本发明公开了一种基于多尺度图像空间的多重约束线段提取方法，其步骤包括：1)对一选取的目标图像，构建该目标图像的多尺度图像空间模型，然后对该尺度图像空间模型中每层图像进行线段提取，并存储到该层对应的内存向量空间；2)将步骤1)提取的线段反投影映射到该目标图像，得到投影线段；然后将所提取线段及其投影线段构成一线段集合；3)基于几何约束，对该线段集合进行优化并提纯；4)对步骤3)处理后的线段集合进行基于灰度约束的二次优化；5)对二次优化后的线段集合进行提纯并更新。本发明现了对提取线段的合并和提纯，有效地消除了部分冗余线段。

Description

一种基于多尺度图像空间的多重约束线段提取方法

技术领域

本发明涉及一种基于多尺度图像空间的线段提取方法，具体是一种基于多尺度图像空间的多重约束线段提取方法。属于计算机视觉、人工智能图像处理和摄影测量与遥感领域。

背景技术

线段是图像几何信息的重要组成部分，在计算机视觉、人工智能图像处理和摄影测量与遥感领域以及机器人视觉导航定位等领域中起着较为重要的作用。线段表达的图像结构信息比较丰富、受图像噪声的影响较小、精度较高、抗遮挡能力强；在以纹理缺失或者纹理不均匀的场景下，线段特征比点特征更容易提取。线段作为一种丰富的结构信息，能够直观表达结构化场景的边缘轮廓，在工程应用中，可以取得较好的实际应用效果。

但是，目前常规的研究主要聚焦于线段提取过程中的效率和准确度上，没有考虑到提取出的线段的长度，导致线段的后续匹配、重建处理中容易出现误处理且定位精度差。Canny算子边缘检测提取算法需要大量的决策设计参数，容易出现假阳性(误检)和假阴性(漏检)问题；PPHT(Progressive Probabilistic Hough Transform)算法容易出现假阴性和漏检必要的断线；LSD(Line Segment Detector)受线段相交、局部遮挡、图像模糊、图像噪声以及灰度畸变等影响而存在较严重的线段分段断裂问题；Akinlar等人提出了边缘检测算子Edge Drawing，并根据Edge Drawing提出了EDLines线段提取算法，但是没有有效解决提取出的线段的分段断裂效应，假阴性严重，容易漏检关键的线段特征。

发明内容

针对上述问题，本发明的目的在于提供一种基于多尺度图像空间的多重约束线段提取方法，本发明在依据模糊处理的思想来降低灰度畸变对特征提取的影响的前提下，通过融合在不同图像尺度空间提取的线段特征，获得长度更长的线特征。

本发明的步骤包括：1)利用高斯模糊方法对原始图像构建多尺度图像空间模型，对每个尺度的图像(即该尺度图像空间模型中每层图像)进行线段提取，并存储到对应于每个尺度而开辟的内存向量空间；2)将降尺度图像空间中提取的线段反投影映射到原始图像空间，得到投影线段和从原始图像中提取的所有线段向量集合；3)基于几何约束，对步骤2)得到的线段向量集合进行优化并提纯；4)对几何约束优化与提纯后的线段集合进行基于灰度约束的二次优化；5)对二次优化集合进行提纯并更新集合；6)设置线段长度阈值剔除二次优化集合中的无效短线段，得到最终的线段特征集合。

所述步骤1)利用高斯模糊方法对原始图像构建多尺度图像空间模型，对每个尺度的图像进行线段提取，并存储到对应于每个尺度而开辟的内存向量空间，包括以下步骤：①根据图像实际分辨率的大小，设置高斯滤波核函数的标准差因子并设置最大降采样次数，将原始图像上提取的线段作为基准线段用于后续优化提纯，并将其直接存储到优化集合中；②根据设置的尺度空间因子(高斯滤波核函数的标准差因子)，对图像进行降采样分层，得到低分辨率图像(降采样一次可以得到一个低分辨率图像，该图像称为一层)；③对该层的图像采用传统算法(LSD、EDLines)提取线特征，并存储线特征到LineVec存储空间中；④在不改变尺度空间因子情况下，重复②-③，直到达到最大降采样次数。

所述步骤2)将降尺度图像空间中提取的线段反投影映射到原始图像空间，得到投影线段和从原始图像中提取的所有线段向量集合，包括以下步骤：①新开辟一个内存向量空间，将原始图像上提取的线段直接存储到向量空间中；②将其他不同尺度图像中提取的线段全部反投影映射到原始图像上，然后再存储到上述开辟的向量空间中。

所述步骤3)基于几何约束，对步骤2得到的线段向量集合进行优化并提纯，包括以下步骤：①对得到的所有线段之间的几何关系进行描述，分类出四种需要考虑的约束关系：水平距离、垂直距离、相交、延长线相交；②根据线段间的几何水平、垂直距离约束关系、角度约束关系，通过设置对应的水平阈值、垂直距离阈值以及角度阈值，以原始图像提取的线段为基准线段，对其余线段进行几何关系比较，实现优化提纯并更新线段向量集合。

所述步骤4)对几何优化约束与提纯后的线段集合进行基于灰度约束的二次优化，包括以下步骤：①将线段集合中在同一直线、方向一致且距离小于20个像素的线段组合并为一条虚拟线段；②以构成虚拟线段的两条原始线段中点以及连接两条原始线段的中间点为三个中心像素，开辟3个3×3像素大小的灰度匹配窗口；③根据灰度匹配窗口间的灰度信息，采用归一化互相关(NCC)算法对虚拟线段进行判断并对线段集合进行二次优化。

所述步骤5)对二次优化集合进行提纯并更新集合，包括以下步骤：①根据之前设定的几何距离约束关系对二次优化线段集合中的线段进行二次提纯并更新集合；②根据之前设定的几何角度约束关系对集合中的线段进行二次提纯并更新集合。

所述步骤6)设置线段长度阈值剔除二次优化集合中的无效短线段，得到最终的线段特征集合，包括以下步骤：①设置线段长度阈值；②剔除二次优化集合中的无效短线段，得到最终的线段特征集合。

与现有技术相比，本发明的积极效果为：

1、相对于常规的线段提取方法，本发明可以缓解线段提取中的分段断裂效应；

2、本发明在线段优化的过程中，根据线段间的距离、角度以及图像灰度关系，实现了对提取线段的合并和提纯，有效地消除了部分冗余线段。

附图说明

图1为本发明的线段优化流程图；

图2为传统的LSD线段提取算法流程图；

图3为多尺度图像空间的线段提取与存储图；反映的是经典线特征检测器对每个尺度图像提取线段并存储特征的过程，如果在第一层图像中提取出m₁条线特征；第二层图像中提取出m₂条线特征；以此递推，第N层图像中提取出m_N条线特征；

图4为线段间的四种几何约束关系图；

(a)水平距离约束关系，(b)垂直距离约束关系，(c)延长线相交的角度约束关系，(d)非延长线相交的角度约束关系；

图5是基于端点投影变换的线段合并优化方法示意图；图像坐标系的原点O位于图像左上角，l₁为原始影像上提取的基准线段，l₂为多尺度图像空间提取的存在误差的线段；

(a)基准线段斜率大于0，(b)基准线段斜率小于等于0；

图6为基于NCC测度的线段间灰度约束关系示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

本发明的基于多尺度图像空间的多重约束线段提取方法，包括以下步骤：

1、利用高斯模糊对原始图像构建多尺度图像空间模型，对每个尺度的图像进行线段提取，并存储到对应于每个尺度而开辟的内存向量空间，包括以下步骤：

1)根据图像实际分辨率的大小，设置高斯滤波核函数的标准差因子(尺度空间因子)为σ，设置最大降采样次数t_max，并开辟N个线段向量空间LineVec⁽ⁱ⁾(N＝t_max+1，i＝1,2,…,N)；

2)根据设置的尺度空间因子σ(σ一般设为0.5)，对图像进行降采样；

式中，G(x,y,σ)是Gaussian核函数，I(x,y)表示图像I，*表示对图像像素(x,y)进行卷积操作,J(x,y,σ)为采样后的低分辨率图像；

3)对上一步降采样产生的图像层采用传统算法(LSD、EDLines)提取线段特征，并存储线段到已开辟的LineVec^(k)＝{}(k表示第k个尺度图像对应的线段向量空间，k最大为N)，并存储线段两端点的坐标信息和线段长度信息到线段类中，如下公式；

其中，上标k表示第k个线段向量空间，下标i表示该图像中的第i条线段。表示该条线段的起始坐标，表示该条线段的终止坐标，length⁽ⁱ⁾表示该条线段长度。

本文方法的线段提取与存储模型如图3所示。

4)在不改变尺度空间因子的前提下，重复步骤2)—步骤3)，降采样后的图像J继续向向下采样直到达到最大降采样次数t_max；得到N张图像，形成一个以原始图像为基础，降采样t_max次，从而形成的N层图像的多尺度图像空间模型。

假设第一层提取出m₁条线特征；第二层图像中提取出m₂条线特征；以此递推，第N层图像中提取出m_N条线特征，则可以得到的多尺度图像空间线段向量的表达如下式所示：

2、将降尺度图像空间中提取的线段反投影映射到原始图像空间，得到投影线段和从原始图像中提取的所有线段的向量集合，包括以下步骤：

1)新开辟一个内存向量空间用于后续第一次优化提纯，将原始图像上提取的线段特征直接存储到向量中；

2)将其他不同尺度图像提取的线特征全部反投影映射到原始图像上，得到降尺度图像空间投影映射后的所有线段，然后再全部存储到向量中；

对于图像降采样后提取的线特征，在已知缩放尺度因子σ情况下，依据每张图像被降采样的次数t(t＝k-1)，按比例得到投影线段如式(6)所示。

根据

可得原始图像和降尺度图像投影映射后的所有线段向量集合SumLineVec(该线段向量集合的维度为dim＝m₁+m₂+…+m_N)，如式(8)所示：

其中，

3、基于几何约束，对得到的线段优化合并与提纯，并更新线段向量集合包括以下步骤：

1)对原始图像与降尺度图像中投影映射后得到的线段之间的约束关系进行描述判定，归为图4中所示的水平距离约束关系、垂直距离约束关系、角度约束关系(延长线相交)、角度约束关系(非延长线相交)四大约束关系之一；

图4(a)～4(d)描述了线段之间的四种约束关系

2)根据线段间的几何距离约束关系和几何角度约束关系对应的已定义阈值对线段特征进行优化提纯并更新集合；满足约束判定条件则对被判定线段进行优化合并，反之，剔除之。

定义l₁为原始图像上提取的线段并作为基准线段，对应的起始坐标点为(x₁ ⁽¹⁾,y₁ ⁽¹⁾)、(x2⁽¹⁾,y2⁽¹⁾)，长度为length⁽¹⁾，l₂为其他尺度空间上提取并投影映射后的线段作为被判定线段，对应的起始坐标点为(x₁ ⁽²⁾,y₁ ⁽²⁾)、(x₂ ⁽²⁾,y₂ ⁽²⁾)，长度为length⁽²⁾，线段则两线段中点之间的距离为两线段端点到彼此线段距离的平均值为D₂＝(d₁+d₂+d₃+d₄)/4两线段之间的夹角为θ。

a)进行水平距离约束关系判断：

当D₁＞(length⁽¹⁾+length⁽²⁾)/2时，则l₂与l₁独立不相关，保留l₂并存储l₂为下次判断过程中的基准线段之一；当D₁≤(length⁽¹⁾+length⁽²⁾)/2时，则l₂与l₁相关，继续对l₂做垂直距离约束关系判断。

b)进行垂直距离约束关系判断：

取垂直距离约束阈值ξ_d＝1(pixel)。当l₁和l₂两线段端点到彼此线段距离的平均值D₂≤ξ_d，则表明l₂与l₁强相关，优化合并l₂与l₁，并更新当ξ_d＜D₂≤3ξ_d，判定l₂为冗余或无效特征，剔除l₂并更新当D₂＞3ξ_d，l₂与l₁独立不相关，保留存储l₂为下次判断过程中的基准线段之一，更新

c)采用提出的一种基于端点投影变换的线段合并方法来优化垂直距离约束关系判定为强相关的线段。

建立图像坐标系，如图5所示，其中，坐标系的原点O位于图像的左上角，基准线段l₁两端点为p₁＝(x₁,y₁)和p₃＝(x₃,y₃)；存在误差的线段l₂(即需要被优化的线段)两端点为p₂＝(x₂,y₂)和p₄＝(x₄,y₄)，其对应的齐次坐标为p＝(x,y,1)。将含误差线段投影到基准线段上，得到误差线段两端点在基准线段上的投影坐标值和该端点投影公式(9)所示。

已知基准线段两端点图像坐标，可以得到基准线段所在的直线方程Au+Bv+C＝0，即可得到方程参数A、B、C，从而得到误差线段端点的投影坐标值p^*＝(x^*,y^*)。该线段合并方法由于基准线段的斜率kRatio正负不同，存在两种端点变换情况，最终得到合并线段的端点p_first＝(u_first,v_first)和p_last＝(u_last,v_last)，如公式(10)所示。

d)进行角度几何约束判断

取角度约束阈值ξ_θ＝10°。当l₂与l₁的关系为角度约束关系(延长线相交)时，因为线段有首末端点，并非无限长直线，说明线段l₁和l₂之间不存在交叠关系，l₁与l₂无需做角度几何约束关系判断，而做垂直距离几何关系判断；如果l₂与l₁非延长线上相交(如图4(d))，先完成距离约束关系判断后，再做角度约束关系判断，消除伪直线并更新当l₂与l₁之间的夹角θ＜ξ_θ，认为l₂为误提取的伪直线，剔除l₂；否则，保留之。其中，夹角θ的计算如公式(11)所示。

4、对几何约束优化与提纯后的线段集合进行基于灰度约束的二次优化，包括以下步骤：

新开辟一个内存向量空间如果两线段满足灰度约束优化条件，则更新并将合并后的线段存储到中；否则，直接将不需二次优化的线段存储至

1)从中搜索在同一直线、方向一致且距离小于20个像素的线段组，并合并为一条虚拟线段；

2)以构成虚拟线段的两条原始线段中点以及连接两条原始线段的中间点为三个中心像素，开辟3个3×3像素大小的灰度匹配窗口；

以虚拟线段上AB段1/2位置处(线段l₁的中点)；BC段1/2处和CD段1/2处(线段l₂中点)位置上的点为中心像素，开辟3×3像素大小的灰度匹配窗口G₁、G₂和G₃，如图6所示。

3)采用NCC算法对虚拟线段进行判断并对线段集合进行二次优化并更新线段集合。

根据经验决策设定灰度约束阈值ψ＝0.8，设虚拟线段之间的灰度归一化互相关指数为Ncc。该虚拟线段三个匹配窗口之间灰度的Ncc≥ψ，则说明该虚拟线段灰度相似性高，该虚拟线段是可进一步合并优化的特征线，故合并l₁与l₂，得到二次优化的真实线段，更新并将合并后的线段存储到中；如果Ncc＜ψ，则该虚拟线段并非真实可合并的特征线段，故保留原l₁与l₂，存储原l₁与l₂到中并释放虚拟线段。Ncc的具体表达式如(12)所示

式中，G_p和G_q表示虚拟线段上p和q位置处的灰度窗口，N表示开辟的灰度窗口大小，本发明取值为3。

5、对优化集合进行提纯并更新集合，包括以下步骤：

1)对中的线段再次进行几何距离关系的约束(3—2)—a)和3—2)—b))的提纯优化原理进行提纯并更新

由集合中的线段进行几何约束关系的提纯；

以几何约束条件为提纯准则，当线段间几何距离满足剔除条件，则认为存在冗余线段，剔除之，并更新集合

2)对中的线段进行几何角度关系的约束(3—2)—d))的提纯优化原理进行提纯并更新

当线段间角度距离满足剔除条件，则认为存在伪直线，剔除之，并更新

6、设置线段长度阈值剔除二次优化集合中的无效短线段，得到最终的线段特征集合，包括以下步骤：

1)设置线段长度阈值δ＝10(pixel)；

2)剔除二次优化集合中的无效短线段，得到最终的线段特征集合

以上所述仅为本发明的较佳实施例，并不用以限制本发明，本领域的技术人员应可理解，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内，保护范围以权利要求书所界定者为准。

Claims (10)

1.一种基于多尺度图像空间的多重约束线段提取方法，其步骤包括：

1)对一选取的目标图像，构建该目标图像的多尺度图像空间模型，然后对该尺度图像空间模型中每层图像进行线段提取，并存储到该层对应的内存向量空间；

2)将步骤1)提取的线段反投影映射到该目标图像，得到投影线段；然后将所提取线段及其投影线段构成一线段集合；

3)基于几何约束，对该线段集合进行优化并提纯；

4)对步骤3)处理后的线段集合进行基于灰度约束的二次优化；

5)对二次优化后的线段集合进行提纯并更新。

2.如权利要求1所述的方法，其特征在于，构建该目标图像的多尺度图像空间模型，对每个尺度的图像进行线段提取的方法为：①根据设置的尺度空间因子对该目标图像进行降采样分层，得到一层低分辨率图像；②从当前层低分辨率图像中提取线特征，并存储到当前层对应的内存向量空间；③在不改变尺度空间因子情况下，重复①-②，直到达到设置的最大降采样次数。

3.如权利要求1所述的方法，其特征在于，所述基于几何约束，对该线段集合进行优化并提纯的方法为：根据线段间的水平、垂直距离约束关系、角度约束关系，设置对应的水平、垂直距离以及角度阈值，以步骤1)所提取的线段为基准线段，对该线段集合中的其余线段进行几何关系比较，实现优化提纯并更新线段集合。

4.如权利要求1或3所述的方法，其特征在于，所述基于几何约束，对该线段集合进行优化并提纯的方法为：选取一基准线段l₁，其对应的起始坐标点为(x₁ ⁽¹⁾，y₁ ⁽¹⁾)、(x₂ ⁽¹⁾，y₂ ⁽¹⁾)，长度为length⁽¹⁾，l₂为一投影线段，其对应的起始坐标点为(x₁ ⁽²⁾，y₁ ⁽²⁾)、(x₂ ⁽²⁾，y₂ ⁽²⁾)，长度为length⁽²⁾，线段l₁中点与线段l₂中点之间的距离为两线段端点到彼此线段距离的平均值为D₂＝(d₁+d₂+d₃+d₄)/4，两线段之间的夹角为θ；开辟一个内存向量空间用于存储该线段集合；

a)对l₁、l₂进行水平距离约束关系判断：当D₁＞(length⁽¹⁾+length⁽²⁾)/2时，则判定l₂与l₁独立不相关，保留l₂并存储l₂为下次判断过程中的基准线段之一；当D₁≤(length⁽¹⁾+length⁽²⁾)/2时，则l₂与l₁相关，继续对l₂做垂直距离约束关系判断；

b)对l₁、l₂进行垂直距离约束关系判断：取垂直距离约束阈值ξ_d，当l₁和l₂两线段端点到彼此线段距离的平均值D₂≤ξ_d，则l₂与l₁强相关，优化合并l₂与l₁，并更新当ξ_d＜D₂≤3ξ_d，判定l₂为冗余或无效特征，剔除l₂并更新当D₂＞3ξ_d，l₂与l₁独立不相关，保留存储l₂为下次判断过程中的基准线段之一，更新

c)对l₁、l₂进行角度几何约束判断：取角度约束阈值ξ_θ，当l₂与l₁的关系为通过延长线相交时，则l₁与l₂进行步骤a)的水平距离几何关系、b)的垂直距离几何关系判断即可完成该两条线段间的约束优化；如果l₂与l₁非延长线上相交，则先对l₁、l₂进行步骤a)的水平距离几何关系、b)的垂直距离约束关系判断后，再做角度约束关系判断，即当l₂与l₁之间的夹角θ＜ξ_θ，判定l₂为误提取的伪直线，则剔除l₂；否则保留。

5.如权利要求4所述的方法，其特征在于，两线段之间的夹角

6.如权利要求1所述的方法，其特征在于，所述二次优化的方法为：①将所述线段集合中在同一直线、方向一致且距离小于设定阈值的线段组合并为一条虚拟线段；②以构成该虚拟线段的两条线段中点以及连接该两条线段的中间点为三个中心像素，开辟3个3×3像素大小的灰度匹配窗口；③根据灰度匹配窗口间的灰度信息，采用归一化互相关算法对该虚拟线段进行判断并对线段集合进行二次优化。

7.如权利要求1或6所述的方法，其特征在于，基于灰度约束的二次优化方法为：开辟一个内存向量空间用于存储该线段集合；开辟一个内存向量空间

71)从中搜索在同一直线、方向一致且距离小于设定距离阈值的线段组，并合并为一条虚拟线段；

72)以构成虚拟线段的两条线段中点以及连接该两条线段的中间点为三个中心像素，开辟3个3×3像素大小的灰度匹配窗口；

73)采用NCC算法对虚拟线段进行判断并对线段集合进行二次优化并更新线段集合；即首先设定灰度约束阈值ψ，设虚拟线段之间的灰度归一化互相关指数为Ncc；如果该虚拟线段三个匹配窗口之间灰度的Ncc≥ψ，则合并l₁与l₂，得到二次优化的真实线段，更新并将合并后的线段存储到中；如果Ncc＜ψ，则保留原l₁与l₂，存储原l₁与l₂到中并释放虚拟线段。

8.如权利要求1所述的方法，其特征在于，对二次优化后的线段集合进行提纯并更新的方法为：①根据设定的几何距离约束关系对二次优化线段集合中的线段进行二次提纯并更新；②根据设定的几何角度约束关系对线段集合中的线段进行二次提纯并更新集合。

9.如权利要求1所述的方法，其特征在于，步骤5)之后，根据设定的线段长度阈值，剔除该线段集合中线段长度小于该线段长度阈值的线段，得到最终的线段特征集合。

10.如权利要求9所述的方法，其特征在于，该线段长度阈值δ＝10(pixel)。