CN104599280A - 一种道路裂缝交叉点提取方法及系统 - Google Patents

Abstract

本发明提供一种道路裂缝交叉点提取方法及系统，包括对采集所得包含有裂缝的原始道路影像进行图像预处理，得到预处理后的裂缝图像；根据预处理后的裂缝图像粗选裂缝中心线的候选点，通过张量投票补充候选点，进行相关矩阵结构分析获取候选点具备的结构信息，通过张量投票迭代增强交叉点结构，基于最终所得清晰的球张量显著性图提取交叉点并输出结果。本发明主要特点是准确。即使路面裂缝图像有很强的噪声，有油渍和光照不均的情况，也能获得较好的检测结果。这是因为在张量投票过程中能够增强裂缝的结构信息，抑制离散的噪声点；而且由于张量投票具有外插的功能，本发明还适用于不连续的裂缝。

Description

一种道路裂缝交叉点提取方法及系统

技术领域

本方法属于图像处理与识别技术领域，特别涉及一种道路裂缝交叉点提取方法及系统，能够在路面影像采集过程中实时自动的判断出路面裂缝交叉点的位置。

背景技术

近年来，随着我国公路建设的飞速发展和小型汽车的普及，我国的道路病害也日益增多，尤其是道路裂缝病害。路面裂缝病害如果得不到及时治理，会对车辆的行驶安全产生潜在的威胁，也会极大地缩短道路的服务寿命，给国家造成极大的经济损失。我们迫切需要定期检查路面状况，在出现病害的早期就采取相应的维护措施。裂缝交叉点作为裂缝上的一种特征点，其数量和面积大小能够表征裂缝的类型和严重程度，可以作为一种新的路面质量评价因子，给路面维护工作的实施提供参考依据。

从早期的人工目测、丈量，到半自动化的路面裂缝识别系统，再到后来不断提出和改进的识别方法，对路面进行质量评价的基本依据是路面裂缝的提取与分类。Subirats,P等基于连续小波变换的方法：首先采用多尺度的2D连续小波变化生成复系数图像，然后搜索最大系数并通过尺度分析其传播过程，最后经过后处理得到一幅关于裂缝的二值图。Haiyan Guan等人提出了一种迭代张量投票的方法：在对激光扫描的高密度点云进行了预处理提取路面点之后，生成地理参考特征图，再对地理参考特征图进行迭代张量投票，增强了裂缝的结构，最后对投票结果进行细化得到裂缝。该方法适用于低对比度、低信噪比和不连续的裂缝。李清泉等人首先用灰度校正方法消除了由辅助照明系统采集的影像中的带状条纹，增强了降质的图像，再基于多尺度空间模型进行影像分割，最后根据裂缝矢量特征提取几何参数。该方法并未直接提取出裂缝，但是将裂缝分类的过程参数化，为后续的裂缝分类提供基础数据。闫茂德等人基于数学形态学的原理，通过多结构中值滤波方法增强路面灰度图像，并利用形态学边缘检测方法检测出裂缝边缘，最后利用改进的腐蚀算子细化裂缝并提取骨架，计算裂缝的长度和宽度。马常霞等提出一种基于非下采用contourlet变换(NSCT)和图像形态学的路面裂缝检测方法，该方法与直方图增强、小波变换等相比，能更有效地增强弱对比度的细小裂缝，克服噪声点和光照条件等干扰的问题。

综上所述，目前的路面质量评价方法具有如下特点：

1)专注于裂缝提取的准确性与稳健性。虽然通过各种方法提取出了较为精确的裂缝，但是衡量路面质量并不是提取出裂缝即可，而是要通过裂缝的类型和严重程度来进行评价。因而，即使检测裂缝的方法做到了实时与全自动，仍需要通过人工判断裂缝类型来为最终的维护工作提供依据。

2)在获取裂缝图像时，由于仪器设备和外部环境的影响，会使得获得的图像光照不均，出现随机噪声，路面上的油渍和一些不规则物体等与裂缝具有相同的高幅值负信号，因而在检测裂缝时会产生干扰，所以在提取裂缝之前，要采用特殊的预处理进行灰度校正或者对图像进行增强。如果预处理的效果不好，会导致后续的裂缝检测结果可靠性差，漏检灰度不明显的裂缝。

3)为了提取出裂缝，很多方法都会进行基于数学形态学的细化和提取骨架，这就需要对图像上的像素进行遍历从而影响方法的效率。实际上，评价路面质量不需要得到非常精确的裂缝，因为提取裂缝不是最终目的，如何进行快速的检测得到评估报告才是关键。

发明内容

为了充分利用不断发展和提高的影像获取和激光扫描技术，使其更有效的服务于交通行业，本发明公开了一种道路裂缝交叉点自动提取技术方案。

本发明的技术方案包括一种道路裂缝交叉点提取方法，包括以下步骤，

步骤一、对采集所得包含有裂缝的原始道路影像进行图像预处理，得到预处理后的裂缝图像；

步骤二、根据预处理后的裂缝图像粗选裂缝中心线的候选点，包括标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到裂缝中心线的候选点；所述ε是比例因子，ε∈(0,1]；

步骤三、通过张量投票补充候选点，包括对步骤二粗选得到的候选点首先进行张量编码，然后进行一次张量投票过程，对投票结果进行张量分解，得到棒张量显著性图和球张量显著性图；在棒张量显著性图上，根据棒张量显著性图的灰度，标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到得到步骤二中漏取的点，将这些点与步骤二粗选得到的候选点取并集；

步骤四、进行相关矩阵结构分析获取步骤三求得的候选点具备的结构信息，包括对预处理后的裂缝图像上的每个像素，根据下式计算该点在其局部窗口内的相关矩阵M′，并求相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂，根据相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂组合二阶张量，做为步骤三所得候选点具备的结构信息；

$M^{\′}=\frac{1}{m_w}\underset{j=1}{\overset{m_w}{\mathrm{\Σ}}}\left(\left(g_j\right){\left(g_j\right)}^{\′}\right)=\frac{1}{n^2}\underset{j=1}{\overset{n^2}{\mathrm{\Σ}}}\left[\begin{array}{cc}{g_{\mathrm{jx}}}^2& g_{\mathrm{jx}}{g}_{\mathrm{jy}}\\ g_{\mathrm{jx}}{g}_{\mathrm{jy}}& {g_{\mathrm{jy}}}^2\end{array}\right]$

其中，n是局部窗口的大小，m_w＝n×n是局部窗口内的像素数， $g_j=\left(\begin{array}{c}{g}_{\mathrm{jx}}\\ g_{\mathrm{jy}}\end{array}\right)$ 是预处理后的裂缝图像上局部窗口内第j个像素的梯度向量，(g_j)′是g_j的转置，g_jx、g_jy分别表示预处理后的裂缝图像上局部窗口内第j个像素在x方向和y方向的梯度；

步骤五、通过张量投票增强交叉点结构，将步骤三所得候选点具备的结构信息通过张量投票过程传递出去，同时所有的候选点在该张量投票过程中收集来自周围的其他候选点的投票来增强结构信息，对投票结果进行张量分解，得到球张量显著性图和棒张量显著性图；

步骤六，当本次执行步骤五所得球张量显著性图中结果不够明显时，根据本次执行步骤五所得的球张量显著性图返回步骤五中进行下一次增强，在明显时进入步骤七；

步骤七、根据最终所得球张量显著性图提取交叉点并输出结果。

而且，步骤二和步骤三中，

所述标记灰度值小于局部窗口内灰度均值ε倍的点，实现方式如下，

对于图像I，根据下式标记灰度值小于局部窗口内灰度均值ε倍的点，

$I_i<\mathrm{\&epsiv;}\&times;\left(\frac{1}{m}\right)\&times;\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{I}_j$

其中，I_i表示图像I中第i个像素的灰度值，I_j表示以图像I中第i个像素为中心的局部窗口内第j个像素的灰度值，m为以图像I中第i个像素为中心的局部窗口内的像素的数量；

所述对标记的点再进行零交叉检验，实现方式如下，

对于图像I，从标记的点中选择满足下式的点作为裂缝中心线候选点。设经过预处理的裂缝图像记为图像I，

I(x，y)＜τ∩(I_x(x-1)×I_x(x+1)＜0∪I_y(y-1)×I_y(y+1)＜0)

其中，I(x,y)表示图像I第x行第y列的像素的灰度，I_x(x-1)为图像I的第x‐1行第y列的像素的x方向梯度，I_x(x+1)为图像I的第x+1行第y列的像素的x方向梯度，I_y(y-1)为图像I的第x行第y‐1列的像素的y方向梯度，I_y(y+1)为图像I的第x行第y+1列的像素的y方向梯度，τ表示灰度阈值。

而且，步骤三中，张量编码按下式进行，

$S=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中，I_x、I_y分别表示经过预处理的裂缝图像在x方向和y方向的梯度，S是相应的二阶张量。

而且，步骤三和步骤五中的张量分解和步骤四中的组合二阶张量，根据下式进行，

$S=({\mathrm{\&lambda;}}_1-{\mathrm{\&lambda;}}_2){\stackrel{\&RightArrow;}{e}}_1{\stackrel{\&RightArrow;}{e}}_1^T+{\mathrm{\&lambda;}}_2({\stackrel{\&RightArrow;}{e}}_1{\stackrel{\&RightArrow;}{e}}_1^T+{\stackrel{\&RightArrow;}{e}}_2{\stackrel{\&RightArrow;}{e}}_2^T)$

其中，λ₁、λ₂为二阶张量S的特征值，为二阶张量S的特征向量。

而且，步骤三和步骤五中，张量投票过程包括两步，张量投票的过程分为两步，第一步为稀疏投票，以编码所得张量作为稀疏投票的输入，从含有张量的投票者处只向含有张量的接受者处投票；第二步为稠密投票，以稀疏投票后的结果作为稠密投票的输入，从含有张量的投票者处向所有位置投票。

而且，投票时将张量分解为棒张量成分和球张量成分，设原点O处有一个指向y轴正方向的单位棒张量N，

棒张量按照下式进行投票，

$V_{\mathrm{stick}}=\mathrm{DF}\left[\begin{array}{c}-\sin \left(2\mathrm{\&theta;}\right)\\ \cos \left(2\mathrm{\&theta;}\right)\end{array}\right]\left[\begin{array}{cc}-\sin \left(2\mathrm{\&theta;}\right)& \cos \left(2\mathrm{\&theta;}\right)\end{array}\right]$

其中，V_stick为P点获得的来自单位棒张量N投出的张量，θ为线段OP与x轴正方向之间的夹角，DF为显著性衰减函数；

球张量按照下式进行投票，

其中，表示将张量C_stick旋转到的方向上的旋转矩阵，而为V_stick最大的特征值对应的特征向量，θ‘表示0°～360°范围内每个单位棒张量N′与y轴正方向之间的角度。

本发明还相应提供一种道路裂缝交叉点提取系统，包括以下模块，

预处理模块，用于对采集所得包含有裂缝的原始道路影像进行图像预处理，得到预处理后的裂缝图像；

粗选模块，用于根据预处理后的裂缝图像粗选裂缝中心线的候选点，包括标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到裂缝中心线的候选点；所述ε是比例因子，ε∈(0,1]；

粗选补充模块，用于通过张量投票补充候选点，包括对粗选模块所得候选点首先进行张量编码，然后进行一次张量投票过程，对投票结果进行张量分解，得到棒张量显著性图和球张量显著性图；在棒张量显著性图上，根据棒张量显著性图的灰度，标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到得到粗选模块漏取的点，将这些点与粗选模块所得候选点取并集；

结构分析模块，用于进行相关矩阵结构分析获取粗选补充模块所得候选点具备的结构信息，包括对预处理后的裂缝图像上的每个像素，根据下式计算该点在其局部窗口内的相关矩阵M′，并求相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂，根据相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂组合二阶张量，做为粗选补充模块所得候选点具备的结构信息；

$M^{\&prime;}=\frac{1}{m_w}\underset{j=1}{\overset{m_w}{\mathrm{\&Sigma;}}}\left(\left(g_j\right){\left(g_j\right)}^{\&prime;}\right)=\frac{1}{n^2}\underset{j=1}{\overset{n^2}{\mathrm{\&Sigma;}}}\left[\begin{array}{cc}{g_{\mathrm{jx}}}^2& g_{\mathrm{jx}}{g}_{\mathrm{jy}}\\ g_{\mathrm{jx}}{g}_{\mathrm{jy}}& {g_{\mathrm{jy}}}^2\end{array}\right]$

其中，n是局部窗口的大小，m_w＝n×n是局部窗口内的像素数， $g_j=\left(\begin{array}{c}{g}_{\mathrm{jx}}\\ g_{\mathrm{jy}}\end{array}\right)$ 是预处理后的裂缝图像上局部窗口内第j个像素的梯度向量，(g_j)′是g_j的转置，g_jx、g_jy分别表示预处理后的裂缝图像上局部窗口内第j个像素在x方向和y方向的梯度；

结构增强模块，用于通过张量投票增强交叉点结构，将粗选补充模块所得候选点具备的结构信息通过张量投票过程传递出去，同时所有的候选点在该张量投票过程中收集来自周围的其他候选点的投票来增强结构信息，对投票结果进行张量分解，得到球张量显著性图和棒张量显著性图；

迭代判断模块，用于当结构增强模块本次执行工作所得球张量显著性图中结果不够明显时，根据本次执行工作所得的球张量显著性图命令结构增强模块进行下一次增强，在明显时命令输出模块工作；

输出模块，用于根据最终所得球张量显著性图提取交叉点并输出结果。

本发明主要特点是准确，即使路面裂缝图像有很强的噪声，有油渍和光照不均的情况，也能获得较好的检测结果。这是因为在张量投票过程中能够增强裂缝的结构信息，抑制离散的噪声点；而且由于张量投票方法具有外插的功能，该技术方案还适用于不连续的裂缝。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例的单位棒张量投票示意图。

具体实施方式

下面将结合附图和本发明实施例，对本发明的技术方案做具体说明。

本发明技术方案所提供道路裂缝交叉点提取方法可采用计算机软件技术实现自动运行流程。如图1所示，实施例利用采集的道路影像数据进行处理的具体实现过程如下：

步骤一、图像预处理，包括对采集所得包含有裂缝的原始道路影像进行图像预处理，得到预处理后的裂缝图像。由于采集图像的设备和外界环境(如光照等)的影响，获取的包含有裂缝的原始道路影像具有很强的噪声。

为了达到更好的提取效果，可以通过各种预处理手段减弱噪声从而增强裂缝，具体实施时，本领域技术人员可自行设定具体预处理方式。本实施例仅利用高斯滤波作为预处理的方法，但若使用中值滤波等其他图像预处理方法，也属于本发明专利范畴。

步骤二、粗选裂缝中心线的候选点。

由于裂缝灰度明显低于背景灰度，所以裂缝上的点的灰度会低于其邻域内的灰度均值。读取经过预处理的裂缝图像后，设经过预处理的裂缝图像记为图像I，根据公式(1)标记灰度值小于局部窗口内灰度均值ε倍的点。

$I_i<\mathrm{\&epsiv;}<\left(\frac{1}{m}\right)\&times;\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{I}_j---\left(1\right)$

其中，I_i表示图像I中第i个像素的灰度值，I_j表示以图像I中第i个像素为中心的局部窗口内第j个像素的灰度值，m为以图像I中第i个像素为中心的局部窗口内的像素的数量(默认值为400)，ε∈(0,1]是比例因子，ε＝1时，灰度要求最宽松，得到的候选点数量最少；ε越小要求越严格，得到的候选点数量越少。具体实施时，本领域技术人员可自行设置经验值。

上述方法得到的点有很多是非裂缝上的点，只是其灰度满足了(1)式的条件。裂缝上的点不仅满足(1)式，而且还具有梯度过零点的特征。所以，为了减少候选点的数量和提高候选点的准确性，需要对标记的点再进行零交叉检验，选择满足公式(2)的点作为裂缝中心线的候选点。设经过预处理的裂缝图像记为图像I，

I(x，y)＜τ∩(I_x(x-1)×I_x(x+1)＜0∪I_y(y-1)×I_y(y+1)＜0)   (2)

其中，I(x,y)表示图像I第x行第y列的像素的灰度，I_x(x-1)为图像I的第x-1行第y列的像素的x方向梯度，I_x(x+1)为图像I的第x+1行第y列的像素的x方向梯度，I_y(y-1)为图像I的第x行第y-1列的像素的y方向梯度，I_y(y+1)为图像I的第x行第y+1列的像素的y方向梯度，τ表示灰度阈值，τ越大得到的候选点越多，τ越小得到的候选点越少。具体实施时可通过灰度直方图统计得到，一般是如果灰度图像的直方图有双峰和明显的谷，那么选择两峰之间的谷作为阈值。

步骤三、通过张量投票补充候选点。

步骤二得到的候选点会因为裂缝与背景灰度对比不明显等原因导致数量非常有限，甚至会出现丢失一些关键的候选点的情况。其中有些裂缝片段有很少的候选点或者几乎没有，使得之后在此基础上提取的交叉点的结果也变得不准确。由于本发明宁愿检测出多的非交叉点也不愿漏检一个交叉点，所以需要利用张量投票具有外插的功能，重拾在步骤二中丢失的候选点。

二阶张量S是一个二阶对称矩阵，如公式(3)，根据数学上求取矩阵特征值特征向量的方法()求S的特征值λ₁、λ₂和特征向量那么S可以通过这些分量的组合得到，如公式(4)，右端第一项统称为棒张量，对应的系数λ₁-λ₂表明该点为曲线元素的可能性，第二项统称为球张量，对应的系数λ₂表明该点为点元素的可能性。

$S=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]---\left(3\right)$

$S=({\mathrm{\&lambda;}}_1-{\mathrm{\&lambda;}}_2){\stackrel{\&RightArrow;}{e}}_1{\stackrel{\&RightArrow;}{e}}_1^T+{\mathrm{\&lambda;}}_2({\stackrel{\&RightArrow;}{e}}_1{\stackrel{\&RightArrow;}{e}}_1^T+{\stackrel{\&RightArrow;}{e}}_2{\stackrel{\&RightArrow;}{e}}_2^T)---\left(4\right)$

其中，I_x、I_y分别表示经过预处理的裂缝图像在x方向和y方向的梯度。

如图2所示，在原点O处有一个指向y轴正方向的单位棒张量N，在其邻域范围内对其他各个点进行投票，P点收到的来自O点的N投出的票数的大小满足显著性衰减函数DF(s,k,σ)：

$\mathrm{DF}(s,k,\mathrm{\&sigma;})=e^{-\frac{s^2+c{k}^2}{{\mathrm{\&sigma;}}^2}}---\left(5\right)$

其中，e为数学中使用的自然对数的底数，s为OP的弧长，k为弧线的曲率，控制了曲率的退化程度，σ称为投票尺度，根据公式(6)决定投票区域的大小，其值可以自行选取，不过σ越大，得到的投票域的大小Wsize就越大。

将DF(s,k,σ)简化记为DF，根据公式(7)，计算得到P点获得的来自单位棒张量N投出的张量C_stick。单位球张量可以看成在0°～360°范围内每个角度θ‘都有一个单位棒张量N‘，所以单位球张量投出的张量V_ball可以根据公式(8)计算得到。

$V_{\mathrm{stick}}=\mathrm{DF}\left[\begin{array}{c}-\sin \left(2\mathrm{\&theta;}\right)\\ \cos \left(2\mathrm{\&theta;}\right)\end{array}\right]\left[\begin{array}{cc}-\sin \left(2\mathrm{\&theta;}\right)& \cos \left(2\mathrm{\&theta;}\right)\end{array}\right]---\left(7\right)$

其中，θ为线段OP与x轴正方向之间的夹角。

其中，表示将张量C_stick旋转到的方向上的旋转矩阵，而为V_stick最大的特征值对应的特征向量，θ‘表示0°～360°范围内每个单位棒张量N′与y轴正方向之间的角度。

在输入数据转化为张量后，选票张量的信息通过投票过程传递到周围；而周围的每一点又收集来自邻域的票数，选票的收集即张量的简单相加。张量投票的过程分为两步：1)稀疏投票：编码的张量作为稀疏投票的输入，从含有张量的投票者处只向含有张量的接受者处投票；2)稠密投票：以稀疏投票后的结果作为稠密投票的输入，从含有张量的投票者处向所有位置投票。由于棒张量和球张量的投票计算方式不同，所以投票时要将张量分解为棒张量成分和球张量成分，棒张量按照(7)式进行投票，而球张量按照(8)式进行投票。

对步骤二粗选得到的候选点首先进行(3)式的张量编码，然后进行一次张量投票，将投票的结果按(4)式进行张量分解，得到棒张量显著性图和球张量显著性图。在棒张量显著性图上，以棒张量显著性图为图像I，根据棒张量显著性图的灰度，选择满足(1)式和(2)式条件的点，能得到步骤二中漏取的点，将这些点与步骤二粗选得到的候选点取并集可以弥补步骤二的缺点，裂缝上的候选点几乎都被提取出来。

步骤四、相关矩阵结构分析。

对预处理后的裂缝图像上的每个像素，根据公式(9)计算该点在其局部窗口内的相关矩阵M′，并求该矩阵的特征值l₁，l₂和特征向量α₁，α₂，以特征值l₁，l₂和特征向量α₁，α₂为特征值λ₁、λ₂和特征向量根据公式(4)组合成二阶张量，即为步骤三求得的候选点具备的结构信息。通过由特征值l₂构成的图，可见l₂能够排除孤立噪声而选择具有线性结构的点。

$M^{\&prime;}=\frac{1}{m_w}\underset{j=1}{\overset{m_w}{\mathrm{\&Sigma;}}}\left(\left(g_j\right){\left(g_j\right)}^{\&prime;}\right)=\frac{1}{n^2}\underset{j=1}{\overset{n^2}{\mathrm{\&Sigma;}}}\left[\begin{array}{cc}{g_{\mathrm{jx}}}^2& g_{\mathrm{jx}}{g}_{\mathrm{jy}}\\ g_{\mathrm{jx}}{g}_{\mathrm{jy}}& {g_{\mathrm{jy}}}^2\end{array}\right]---\left(9\right)$

其中，n是局部窗口的大小(默认值为3)m_w＝n×n是局部窗口内的像素数，该处的局部窗口与步骤二中的局部窗口尺寸不需要一致， $g_j=\left(\begin{array}{c}{g}_{\mathrm{jx}}\\ g_{\mathrm{jy}}\end{array}\right)$ 是预处理后的裂缝图像上局部窗口内第j个像素的梯度向量，(g_j)是g_j的转置，g_jx、g_jy分别表示预处理后的裂缝图像上局部窗口内第j个像素在x方向和y方向的梯度。

步骤五、通过张量投票增强交叉点结构。

将步骤三求得的候选点具备的结构信息(步骤四求得的特征值和特征向量根据公式(4)组合成的二阶张量)通过步骤三中一样的张量投票过程传递出去，同时所有的点在该投票过程中收集来自周围的其他点的投票来增强其结构信息(收集的过程即是张量的简单相加)。投票结束后，对投票结果按(4)式进行张量分解，得到球张量显著性图和棒张量显著性图。

步骤六，当本次执行步骤五所得球张量显著性图结构不够清晰时，根据本次执行步骤五所得的球张量显著性图返回步骤五中进行下一次增强，在明显时进入步骤七；

步骤五所得球张量显著性图中结构有可能不够明显，而张量投票的主要功能就是增强结构信息，所以为了得到更清晰的结果，可以进行多次步骤五中所述的张量投票过程。具体实施时，本领域技术人员可自行设定结构是否明显的判断方法。建议采用的判断方法之一是对比前后两次张量投票的显著性差异，如果候选点的球张量显著性与上一次张量投票后的球张量显著性的差很小(小于预设的差值阈值，可由用户自行预设)时，就可以终止迭代过程；方法二是设置一定的灰度阈值threshold，当候选点的球张量显著性的灰度大于灰度阈值threshold时，就说明此时的显著性图中结构足够明显，能够被人眼所感知到，灰度阈值threshold可由用户自行决定。实施例判断结构是否明显采用方法一，规定每次投票的输入采取上一次投票结果的球张量显著性图。

步骤七、提取交叉点并输出结果。

由于裂缝表现为线状结构特征，而交叉点表现为球状结构特征，所以具体实施时在步骤六最终所得结构清晰的球张量显著性图上，可采用高亮显示的点作为交叉点所在位置。通过阈值处理保留显著性较强的点并将其显示在原始灰度图像上，供交通部门决策使用，也可以统计提取出的交叉点的数量和交叉点的面积作为输出结果，交通部门直接根据该结果判断路面是否损害严重，从而制定决策。

通过步骤二、三，可以完整提取交叉点候选点，后续步骤则确定交叉点。

本发明实施例还相应提供一种道路裂缝交叉点提取系统，包括以下模块，

预处理模块，用于对采集所得包含有裂缝的原始道路影像进行图像预处理，得到预处理后的裂缝图像；

粗选模块，用于根据预处理后的裂缝图像粗选裂缝中心线的候选点，包括标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到裂缝中心线的候选点；所述ε是比例因子，ε∈(0,1]；

粗选补充模块，用于通过张量投票补充候选点，包括对粗选模块所得候选点首先进行张量编码，然后进行一次张量投票过程，对投票结果进行张量分解，得到棒张量显著性图和球张量显著性图；在棒张量显著性图上，根据棒张量显著性图的灰度，标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到得到粗选模块漏取的点，将这些点与粗选模块所得候选点取并集；

结构分析模块，用于进行相关矩阵结构分析获取粗选补充模块所得候选点具备的结构信息，包括对预处理后的裂缝图像上的每个像素，根据下式计算该点在其局部窗口内的相关矩阵M′，并求相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂，根据相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂组合二阶张量，做为粗选补充模块所得候选点具备的结构信息；

$M^{\&prime;}=\frac{1}{m_w}\underset{j=1}{\overset{m_w}{\mathrm{\&Sigma;}}}\left(\left(g_j\right){\left(g_j\right)}^{\&prime;}\right)=\frac{1}{n^2}\underset{j=1}{\overset{n^2}{\mathrm{\&Sigma;}}}\left[\begin{array}{cc}{g_{\mathrm{jx}}}^2& g_{\mathrm{jx}}{g}_{\mathrm{jy}}\\ g_{\mathrm{jx}}{g}_{\mathrm{jy}}& {g_{\mathrm{jy}}}^2\end{array}\right]$

其中，n是局部窗口的大小，m_w＝n×n是局部窗口内的像素数， $g_j=\left(\begin{array}{c}{g}_{\mathrm{jx}}\\ g_{\mathrm{jy}}\end{array}\right)$ 是预处理后的裂缝图像上局部窗口内第j个像素的梯度向量，(g_j)′是g_j的转置，g_jx、g_jy分别表示预处理后的裂缝图像上局部窗口内第j个像素在x方向和y方向的梯度；

结构增强模块，用于通过张量投票增强交叉点结构，将粗选补充模块所得候选点具备的结构信息通过张量投票过程传递出去，同时所有的候选点在该张量投票过程中收集来自周围的其他候选点的投票来增强结构信息，对投票结果进行张量分解，得到球张量显著性图和棒张量显著性图；

迭代判断模块，用于当结构增强模块本次执行工作所得球张量显著性图中结果不够明显时，根据本次执行工作所得的球张量显著性图命令结构增强模块进行下一次增强，在明显时命令输出模块工作；

输出模块，用于根据最终所得球张量显著性图提取交叉点并输出结果。

各模块具体实现可参见方法说明，本发明不予赘述。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种道路裂缝交叉点提取方法，其特征在于：包括以下步骤，

步骤一、对采集所得包含有裂缝的原始道路影像进行图像预处理，得到预处理后的裂缝图像；

步骤二、根据预处理后的裂缝图像粗选裂缝中心线的候选点，包括标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到裂缝中心线的候选点；所述ε是比例因子，ε∈(0，1]；

步骤三、通过张量投票补充候选点，包括对步骤二粗选得到的候选点首先进行张量编码，然后进行一次张量投票过程，对投票结果进行张量分解，得到棒张量显著性图和球张量显著性图；在棒张量显著性图上，根据棒张量显著性图的灰度，标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到得到步骤二中漏取的点，将这些点与步骤二粗选得到的候选点取并集；

步骤四、进行相关矩阵结构分析获取步骤三求得的候选点具备的结构信息，包括对预处理后的裂缝图像上的每个像素，根据下式计算该点在其局部窗口内的相关矩阵M′，并求相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂，根据相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂组合二阶张量，做为步骤三所得候选点具备的结构信息；

$M^{\&prime;}=\frac{1}{m_w}\underset{j=1}{\overset{m_w}{\mathrm{\&Sigma;}}}\left(\left(g_j\right){\left(g_j\right)}^{\&prime;}\right)=\frac{1}{n^2}\underset{j=1}{\overset{n^2}{\mathrm{\&Sigma;}}}\left[\begin{array}{cc}{g_{\mathrm{jx}}}^2& g_{\mathrm{jx}}{g}_{\mathrm{jy}}\\ g_{\mathrm{jx}}{g}_{\mathrm{jy}}& {g_{\mathrm{jy}}}^2\end{array}\right]$

其中，n是局部窗口的大小，m_w＝n×n是局部窗口内的像素数， $g_j=\left(\begin{array}{c}{g}_{\mathrm{jx}}\\ g_{\mathrm{jy}}\end{array}\right)$ 是预处理后的裂缝图像上局部窗口内第j个像素的梯度向量，(g_j)′是g_j的转置，g_jx、g_jy分别表示预处理后的裂缝图像上局部窗口内第j个像素在x方向和y方向的梯度；

步骤五、通过张量投票增强交叉点结构，将步骤三所得候选点具备的结构信息通过张量投票过程传递出去，同时所有的候选点在该张量投票过程中收集来自周围的其他候选点的投票来增强结构信息，对投票结果进行张量分解，得到球张量显著性图和棒张量显著性图；

步骤六，当本次执行步骤五所得球张量显著性图中结果不够明显时，根据本次执行步骤五所得的球张量显著性图返回步骤五中进行下一次增强，在明显时进入步骤七；

步骤七、根据最终所得球张量显著性图提取交叉点并输出结果。

2.根据权利要求1所述道路裂缝交叉点提取方法，其特征在于：步骤二和步骤三中，

所述标记灰度值小于局部窗口内灰度均值ε倍的点，实现方式如下，

对于图像I，根据下式标记灰度值小于局部窗口内灰度均值ε倍的点，

$I_i<\mathrm{\&epsiv;}\&times;\left(\frac{1}{m}\right)\&times;\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{I}_j$

其中，I_i表示图像I中第i个像素的灰度值，I_j表示以图像I中第i个像素为中心的局部窗口内第j个像素的灰度值，m为以图像I中第i个像素为中心的局部窗口内的像素的数量；

所述对标记的点再进行零交叉检验，实现方式如下，

对于图像I，从标记的点中选择满足下式的点作为裂缝中心线候选点。设经过预处理的裂缝图像记为图像I，

$I(x,y)<\mathrm{\&tau;}\&cap;(I_x(x-1)\&times;(x+1)<0\&cup;I_y(y-1)\&times;I_y(y+1)<0)$

其中，I(x，y)表示图像I第x行第y列的像素的灰度，I_x(x-1)为图像I的第x-1行第y列的像素的x方向梯度，I_x(x+1)为图像I的第x+1行第y列的像素的x方向梯度，I_y(y-1)为图像I的第x行第y-1列的像素的y方向梯度，I_y(y+1)为图像I的第x行第y+1列的像素的y方向梯度，τ表示灰度阈值。

3.根据权利要求1所述道路裂缝交叉点提取方法，其特征在于：步骤三中，张量编码按下式进行，

$S=\left[\begin{array}{cc}{I}_x^2& I_x{I}_y\\ I_x{I}_y& I_y^2\end{array}\right]$

其中，I_x、I_y分别表示经过预处理的裂缝图像在x方向和y方向的梯度，S是相应的二阶张量。

4.根据权利要求3所述道路裂缝交叉点提取方法，其特征在于：步骤三和步骤五中的张量分解和步骤四中的组合二阶张量，根据下式进行，

$S=({\mathrm{\&lambda;}}_1-{\mathrm{\&lambda;}}_2){\stackrel{\&RightArrow;}{e}}_1{{\stackrel{\&RightArrow;}{e}}_1}^T+{\mathrm{\&lambda;}}_2({\stackrel{\&RightArrow;}{e}}_1{{\stackrel{\&RightArrow;}{e}}_1}^T+{\stackrel{\&RightArrow;}{e}}_2{{\stackrel{\&RightArrow;}{e}}_2}^T)$

其中，λ₁、λ₂为二阶张量S的特征值，为二阶张量S的特征向量。

5.根据权利要求4所述道路裂缝交叉点提取方法，其特征在于：步骤三和步骤五中，张量投票过程包括两步，张量投票的过程分为两步，第一步为稀疏投票，以编码所得张量作为稀疏投票的输入，从含有张量的投票者处只向含有张量的接受者处投票；第二步为稠密投票，以稀疏投票后的结果作为稠密投票的输入，从含有张量的投票者处向所有位置投票。

6.根据权利要求5所述道路裂缝交叉点提取方法，其特征在于：投票时将张量分解为棒张量成分和球张量成分，设原点O处有一个指向y轴正方向的单位棒张量N，棒张量按照下式进行投票，

$V_{\mathrm{stick}}=\mathrm{DF}\left[\begin{array}{c}-\sin \left(2\mathrm{\&theta;}\right)\\ \cos \left(2\mathrm{\&theta;}\right)\end{array}\right][-\sin \left(2\mathrm{\&theta;}\right)\cos \left(2\mathrm{\&theta;}\right)]$

其中，V_stick为P点获得的来自单位棒张量N投出的张量，θ为线段OP与x轴正方向之间的夹角，DF为显著性衰减函数；

球张量按照下式进行投票，

$V_{\mathrm{ball}}={\&Integral;}_0^{2\mathrm{\&pi;}}R{V}_{\mathrm{stick}}{R}^{T}d{\mathrm{\&theta;}}^{\&prime;}$

其中， $R=\left(\begin{array}{c}-\sin \left(2{\mathrm{\&theta;}}^{\&prime;}\right)\\ \cos \left(2{\mathrm{\&theta;}}^{\&prime;}\right)\end{array}\right)$ 表示将V_stick旋转到的方向上的旋转矩阵，而为V_stick最大的特征值对应的特征向量，θ‘表示0°～360°范围内每个单位棒张量N′与y轴正方向之间的角度。

7.一种道路裂缝交叉点提取系统，其特征在于：包括以下模块，

预处理模块，用于对采集所得包含有裂缝的原始道路影像进行图像预处理，得到预处理后的裂缝图像；

粗选模块，用于根据预处理后的裂缝图像粗选裂缝中心线的候选点，包括标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到裂缝中心线的候选点；所述ε是比例因子，ε∈(0，1]；

粗选补充模块，用于通过张量投票补充候选点，包括对粗选模块所得候选点首先进行张量编码，然后进行一次张量投票过程，对投票结果进行张量分解，得到棒张量显著性图和球张量显著性图；在棒张量显著性图上，根据棒张量显著性图的灰度，标记灰度值小于局部窗口内灰度均值ε倍的点，然后对标记的点再进行零交叉检验得到得到粗选模块漏取的点，将这些点与粗选模块所得候选点取并集；

结构分析模块，用于进行相关矩阵结构分析获取粗选补充模块所得候选点具备的结构信息，包括对预处理后的裂缝图像上的每个像素，根据下式计算该点在其局部窗口内的相关矩阵M′，并求相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂，根据相关矩阵M′的特征值l₁、l₂和特征向量α₁、α₂组合二阶张量，做为粗选补充模块所得候选点具备的结构信息；

$M^{\&prime;}=\frac{1}{m_w}\underset{j=1}{\overset{m_w}{\mathrm{\&Sigma;}}}\left(\left(g_j\right){\left(g_j\right)}^{\&prime;}\right)=\frac{1}{n^2}\underset{j=1}{\overset{n^2}{\mathrm{\&Sigma;}}}\left[\begin{array}{cc}{g_{\mathrm{jx}}}^2& g_{\mathrm{jx}}{g}_{\mathrm{jy}}\\ g_{\mathrm{jx}}{g}_{\mathrm{jy}}& {g_{\mathrm{jy}}}^2\end{array}\right]$

其中，n是局部窗口的大小，m_w＝n×n是局部窗口内的像素数， $g_j=\left(\begin{array}{c}{g}_{\mathrm{jx}}\\ g_{\mathrm{jy}}\end{array}\right)$ 是预处理后的裂缝图像上局部窗口内第j个像素的梯度向量，(g_j)′是g_j的转置，g_jx、g_jy分别表示预处理后的裂缝图像上局部窗口内第j个像素在x方向和y方向的梯度；

结构增强模块，用于通过张量投票增强交叉点结构，将粗选补充模块所得候选点具备的结构信息通过张量投票过程传递出去，同时所有的候选点在该张量投票过程中收集来自周围的其他候选点的投票来增强结构信息，对投票结果进行张量分解，得到球张量显著性图和棒张量显著性图；

迭代判断模块，用于当结构增强模块本次执行工作所得球张量显著性图中结果不够明显时，根据本次执行工作所得的球张量显著性图命令结构增强模块进行下一次增强，在明显时命令输出模块工作；

输出模块，用于根据最终所得球张量显著性图提取交叉点并输出结果。