CN115909079A - 结合深度特征和自注意力模型的裂缝检测方法及相关设备 - Google Patents

结合深度特征和自注意力模型的裂缝检测方法及相关设备 Download PDF

Info

Publication number
CN115909079A
CN115909079A CN202310026415.5A CN202310026415A CN115909079A CN 115909079 A CN115909079 A CN 115909079A CN 202310026415 A CN202310026415 A CN 202310026415A CN 115909079 A CN115909079 A CN 115909079A
Authority
CN
China
Prior art keywords
self
superpixel
attention model
node
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310026415.5A
Other languages
English (en)
Other versions
CN115909079B (zh
Inventor
李清泉
熊思婷
张德津
汪驰升
张博琛
吴林锋
黄俊宇
闫李月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Shenzhen University
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen, Shenzhen University filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Priority to CN202310026415.5A priority Critical patent/CN115909079B/zh
Publication of CN115909079A publication Critical patent/CN115909079A/zh
Application granted granted Critical
Publication of CN115909079B publication Critical patent/CN115909079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了结合深度特征和自注意力模型的裂缝检测方法及相关设备，所述方法包括：获取原始道路图像，基于训练好的深度卷积前馈网络提取原始道路图像中的边缘特征和方向特征，以获得超度量轮廓图；以超度量轮廓图的根节点为起点，遍历整个超度量轮廓图，基于图像灰度信息和纹理信息对超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；构建基于超像素的自注意力模型，基于超像素的自注意力模型根据超像素分割结果将不同的超像素标记裂缝和非裂缝。本发明基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过基于超像素的自注意力模型来实现道路裂缝的检测。

Description

结合深度特征和自注意力模型的裂缝检测方法及相关设备
技术领域
本发明涉及测绘科学与技术领域，尤其涉及一种结合深度特征和自注意力模型的裂缝检测方法、系统、终端及计算机可读存储介质。
背景技术
随着城市化的发展，公路、铁路、桥梁、隧道等基础设施已大量建成，随之而来的是基础设施的养护问题。得益于传感器技术、机器人技术、计算机信息处理技术等方面的发展，各种智能检测设备应用于基础设施的检测和维护中，大大减少了人力成本。
高效地数据采集背后需要有智能检测算法的支持，例如道路智能检测车能够快速、动态地采集路面结构光、视觉图像等数据，其中道路裂缝检测是数据信息提取的一项重要工作。
目前道路裂缝检测方法包括传统的图像处理方法、基于机器学习和基于深度学习的方法三大类。基于传统图像处理和机器学习的方法依赖手工设计的滤波器和处理流程；基于深度学习的图像分割方法严重依赖训练样本。虽然深度学习领域发展多种迁移学习方法，但迁移效果并不理想，往往在一种环境和任务下训练好的模型难以迁移到另一种环境和任务中。传统图像处理方法通常基于一定的流程设计，底层方法的迁移性强，但上层与语义有关的分割根据任务的不同而不同。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种结合深度特征和自注意力模型的裂缝检测方法、系统、终端及计算机可读存储介质，旨在解决现有技术中道路裂缝检测方法依赖手工设计的滤波器和处理流程、适用性和移植性弱的问题。
为实现上述目的，本发明提供一种结合深度特征和自注意力模型的裂缝检测方法，所述结合深度特征和自注意力模型的裂缝检测方法包括如下步骤：
获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，之前还包括：
预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，具体包括：
获取所述原始道路图像，所述原始道路图像是拍摄的任意道路的道路图像；
将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；
根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果，具体包括：
以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树；
对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差，将父节点分割出子节点后计算子节点分割特征的均方根误差，父节点和子节点的差异用表示：
；（1）
；（2）
；（3）
其中，表示父节点像素数，表示父节点包含分割块的数量，、和分别为每个分割块的像素数、灰度平均值和方差，为第个分割块的标签，为标记为的所有灰度和纹理函数，分别为将父节点的R个分割块作为一个整体的灰度均值和方差，为将所有分割块标记为同一类的标签，为标记为时整个分割块的灰度和纹理函数；
其中，的计算如下：
；（4）
其中，为标记为的所有节点分块内不同颜色通道的亮度均值，、和分别为标记为的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，、、和为归一化参数，根据各特征值的分布进行归一化得到；
对每个子节点判断相邻节点的相似性，计算得到和之间的相似性，如果存在相似的节点，则将合并成一个子节点，相似性计算如下：
；（5）
；（6）
；（7）
其中，为与相邻的分块，为分块的亮度或纹理值，为分块的相邻分块的亮度或纹理值，为通道数，为直方图亮度或纹理的直方图分布，和为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，为节点的亮度特征，为节点的纹理特征；
使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述结合深度特征和自注意力模型的裂缝检测方法还包括：
将亮度特征与纹理特征进行归一化后进行比较，以亮度特征与纹理特征之中的最大值作为特征差异。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝，具体包括：
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中；
采用C×1×1的卷积核对输入的三通道图像进行升维处理，处理后按照超像素掩膜进行池化处理，将图像嵌入为N×C的矩阵，每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息；
其中，C为通道数，N为超像素个数；
使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述公开数据集包括自然图像数据集和裂缝数据集。
此外，为实现上述目的，本发明还提供一种结合深度特征和自注意力模型的裂缝检测系统，其中，所述结合深度特征和自注意力模型的裂缝检测系统包括：
特征提取模块，用于获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
优化校准模块，用于以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
裂缝检测模块，用于构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被所述处理器执行时实现如上所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被处理器执行时实现如上所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
本发明中，获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。本发明基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过基于超像素的自注意力模型来实现道路裂缝的检测。
附图说明
图1是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例的流程图；
图2是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中整个执行过程的流程示意图；
图3是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中深度卷积边缘和方向特征提取方法的示意图；
图4是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中深度卷积边缘和方向特征提取结果的示意图；
图5是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中超度量轮廓图的多尺度优化示意图；
图6是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中基于超像素自注意力分割提取道路裂缝示意图；
图7是本发明结合深度特征和自注意力模型的裂缝检测系统的较佳实施例的原理示意图；
图8为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的结合深度特征和自注意力模型的裂缝检测方法，如图1和图2所示，所述结合深度特征和自注意力模型的裂缝检测方法包括以下步骤：
步骤S10、获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图。
具体地，在所述步骤S10之前还包括：预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。获取所述原始道路图像（指拍摄的任意道路的道路图像），所述原始道路图像是拍摄的任意道路的道路图像；将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树。
利用空洞卷积和侧向输出组织深度卷积前馈网络，结合空洞卷积的大范围感受野和侧向输出模式能够保持浅层高分辨率特征的优势，从原始道路图像中提取边缘特征（轮廓特征）和方向特征，深度卷积前馈网络架构如图3所示，在VGG（Visual Geometry GroupNetwork，神经网络）的基础上修改五层卷积层的卷积核为空洞卷积，侧向输出五层卷积层的方向性边缘特征，利用前四层、后四层卷积层输出结果合成高分辨率和低分辨率特征。
利用公开数据集BSDS500（如图2所示，包括自然图像数据集和裂缝数据集）可以对边缘和方向提取的深度卷积前馈网络进行训练。BSDS500数据集中包含分割和边缘的训练数据，通常认为边缘和方向提取任务在高级图像处理任务中的迁移性是较高的，因此用该数据集训练可以将自然图像的低层次知识迁移到裂缝提取的高级任务中。图4展示了利用VGG作为深度卷积前馈模型和BSDS500作为训练数据集的预测结果，包括五层卷积层输出的特征（late_side0-4），高分辨率（y_fine）和低分辨率（y_coarse）的合成特征图，以及八个方位向上的边缘显著性（orientation0-7）。基于提取的边缘和方向特征可以获得图像的超度量轮廓图，它是以整幅输入图像为根节点的树型结构，即图像分割树。
步骤S20、以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果。
具体地，以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树，综合考虑图像灰度信息和纹理信息对对分割树进行优化。对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差，如公式（1）所示，将父节点分割出子节点后计算子节点分割特征的均方根误差，如公式（2）所示，父节点和子节点的差异用表示，如公式（3）所示：
；（1）
；（2）
；（3）
其中，表示父节点像素数，表示父节点包含分割块的数量，、和分别为每个分割块的像素数、灰度平均值和方差，为第个分割块的标签，为标记为的所有灰度和纹理函数，分别为将父节点的R个分割块作为一个整体的灰度均值和方差，为将所有分割块标记为同一类的标签，为标记为时整个分割块的灰度和纹理函数。
其中，的计算如下：
；（4）
其中，为标记为的所有节点分块内不同颜色通道的亮度均值，、和分别为标记为的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，、、和为归一化参数，根据各特征值的分布进行归一化得到。
同时，对每个子节点判断相邻节点的相似性，根据公式（5）-（7）计算得到和之间的相似性，如果存在相似的节点，则将合并成一个子节点，相似性计算如（5）-（7）所示；然后再利用判断其是否需要再次分割。
；（5）
；（6）
；（7）
其中，为与相邻的分块，为分块的亮度或纹理值，为分块的相邻分块的亮度或纹理值，为通道数，例如颜色为LAB三通道，纹理为纹理滤波通道，为直方图亮度或纹理的直方图分布，和为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，为节点的亮度特征，为节点的纹理特征；将亮度特征与纹理特征进行归一化后进行比较，以亮度特征与纹理特征之中的最大值作为特征差异。最后，使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
如图5中的（a）所示为判断其是否需要向下一尺度分割的示意图，例如，对于节点，对其计算，若大于阈值，则分割进入下一层节点，，，对这三个节点计算相似性，根据公式（5）-（7）判断相邻节点的相似性，若小于阈值，则表示两节点相似，如图5中的（b）所示，相似性高则进行组合，接着对层的每一个节点重复上述操作，如果超过一定阈值，则停止该节点向下一尺度的分割，如图5中的（c）所示，向子节点的分割进程结束于该节点。对于整个超度量轮廓图的分割树，统计值显示，从根节点到叶子节点是递降的。可以通过统计所有尺度下节点处的的变化，将其拟合为半变异函数，该函数存在阶台值，即变化率最剧烈的位置，得到其下降的阶台值，将其作为阈值。
超度量轮廓图在某些位置和真实图像对比可能存在少量像素的偏移，偏移来源于：（1）多尺度的轮廓特征组合；（2）算法本身在梯度不明显处产生的偏移。在该步骤中，通过遍历每一个分割块轮廓处的浅层边缘特征，即图2中第一层卷积层输出的边缘特征图，搜索缓冲区内的边缘响应来使提取的边缘纠正到正确的空间位置处，从而实现优化后的轮廓校准。
步骤S30、构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
具体地，经过步骤S20处理可以生成优化后的超像素分割结果，在这一次的超像素分割结果中，裂缝和背景都有可能被分为不同的超像素；步骤S30构建基于超像素的自注意力模型，学习超像素之间的关联性，从而将不同的超像素标记为两类：裂缝和非裂缝。
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中，如图6所示为超像素嵌入方法；本发明采用C×1×1的卷积核（C为通道数）对输入的三通道图像进行升维处理，处理后按照超像素掩膜（如图6中黑色图像所示）进行池化处理，将图像嵌入为N×C的矩阵（N为超像素个数），每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息，从而实现分割的目的。同时，需要从训练样本数据集中抽取小样本数据生成超像素分割，作为掩膜加入数据嵌入层中，该自注意力模型用上一步获得的超像素结果和验证数据进行训练，利用训练好的自注意力模型进行预测。即使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
本发明基于深度卷积特征和超像素自注意力分割进行道路裂缝检测，利用深度卷积前馈网络训练公开数据集得到关于边缘和方向性的知识，从而迁移到道路裂缝提取的高级任务中，基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过超像素自注意力分割方法来实现道路裂缝的检测，结合深度卷积边缘方向特征和传统图像分割判别准则的多层次分割方法，从而自适应的获取道路裂缝检测结果。
进一步地，如图7所示，基于上述结合深度特征和自注意力模型的裂缝检测方法，本发明还相应提供了一种结合深度特征和自注意力模型的裂缝检测系统，其中，所述结合深度特征和自注意力模型的裂缝检测系统包括：
特征提取模块51，用于获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
优化校准模块52，用于以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
裂缝检测模块53，用于构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
进一步地，如图8所示，基于上述结合深度特征和自注意力模型的裂缝检测方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图8仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有结合深度特征和自注意力模型的裂缝检测程序40，该结合深度特征和自注意力模型的裂缝检测程序40可被处理器10所执行，从而实现本申请中结合深度特征和自注意力模型的裂缝检测方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述结合深度特征和自注意力模型的裂缝检测方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中结合深度特征和自注意力模型的裂缝检测程序40时实现以下步骤：
获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，之前还包括：
预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。
其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，具体包括：
获取所述原始道路图像，所述原始道路图像是拍摄的任意道路的道路图像；
将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；
根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树。
其中，所述以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果，具体包括：
以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树；
对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差，将父节点分割出子节点后计算子节点分割特征的均方根误差，父节点和子节点的差异用表示：
；（1）
；（2）
；（3）
其中，表示父节点像素数，表示父节点包含分割块的数量，、和分别为每个分割块的像素数、灰度平均值和方差，为第个分割块的标签，为标记为的所有灰度和纹理函数，分别为将父节点的R个分割块作为一个整体的灰度均值和方差，为将所有分割块标记为同一类的标签，为标记为时整个分割块的灰度和纹理函数；
其中，的计算如下：
；（4）
其中，为标记为的所有节点分块内不同颜色通道的亮度均值，、和分别为标记为的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，、、和为归一化参数，根据各特征值的分布进行归一化得到；
对每个子节点判断相邻节点的相似性，计算得到和之间的相似性，如果存在相似的节点，则将合并成一个子节点，相似性计算如下：
；（5）
；（6）
；（7）
其中，为与相邻的分块，为分块的亮度或纹理值，为分块的相邻分块的亮度或纹理值，为通道数，为直方图亮度或纹理的直方图分布，和为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，为节点的亮度特征，为节点的纹理特征；
使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
其中，所述结合深度特征和自注意力模型的裂缝检测方法还包括：
将亮度特征与纹理特征进行归一化后进行比较，以亮度特征与纹理特征之中的最大值作为特征差异。
其中，所述构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝，具体包括：
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中；
采用C×1×1的卷积核对输入的三通道图像进行升维处理，处理后按照超像素掩膜进行池化处理，将图像嵌入为N×C的矩阵，每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息；
其中，C为通道数，N为超像素个数；
使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
其中，所述公开数据集包括自然图像数据集和裂缝数据集。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被处理器执行时实现如上所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
综上所述，本发明提供一种结合深度特征和自注意力模型的裂缝检测方法及相关设备，所述方法包括：获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。本发明基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过基于超像素的自注意力模型来实现道路裂缝的检测。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述结合深度特征和自注意力模型的裂缝检测方法包括：
获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
2.根据权利要求1所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，之前还包括：
预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。
3.根据权利要求1所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，具体包括：
获取所述原始道路图像，所述原始道路图像是拍摄的任意道路的道路图像；
将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；
根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树。
4.根据权利要求3所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果，具体包括：
以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树；
对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差，将父节点分割出子节点后计算子节点分割特征的均方根误差，父节点和子节点的差异用表示：
；（1）
；（2）
；（3）
其中，表示父节点像素数，表示父节点包含分割块的数量，、和分别为每个分割块的像素数、灰度平均值和方差，为第个分割块的标签，为标记为的所有灰度和纹理函数，分别为将父节点的R个分割块作为一个整体的灰度均值和方差，为将所有分割块标记为同一类的标签，为标记为时整个分割块的灰度和纹理函数；
其中，的计算如下：
；（4）
其中，为标记为的所有节点分块内不同颜色通道的亮度均值，、和分别为标记为的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，、、和为归一化参数，根据各特征值的分布进行归一化得到；
对每个子节点判断相邻节点的相似性，计算得到和之间的相似性，如果存在相似的节点，则将合并成一个子节点，相似性计算如下：
；（5）
；（6）
；（7）
其中，为与相邻的分块，为分块的亮度或纹理值，为分块的相邻分块的亮度或纹理值，为通道数，为直方图亮度或纹理的直方图分布，和为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，为节点的亮度特征，为节点的纹理特征；
使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
5.根据权利要求4所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述结合深度特征和自注意力模型的裂缝检测方法还包括：
将亮度特征与纹理特征进行归一化后进行比较，以亮度特征与纹理特征之中的最大值作为特征差异。
6.根据权利要求4所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝，具体包括：
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中；
采用C×1×1的卷积核对输入的三通道图像进行升维处理，处理后按照超像素掩膜进行池化处理，将图像嵌入为N×C的矩阵，每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息；
其中，C为通道数，N为超像素个数；
使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
7.根据权利要求2所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述公开数据集包括自然图像数据集和裂缝数据集。
8.一种结合深度特征和自注意力模型的裂缝检测系统，其特征在于，所述结合深度特征和自注意力模型的裂缝检测系统包括：
特征提取模块，用于获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
优化校准模块，用于以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
裂缝检测模块，用于构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被所述处理器执行时实现如权利要求1-7任一项所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被处理器执行时实现如权利要求1-7任一项所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
CN202310026415.5A 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备 Active CN115909079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310026415.5A CN115909079B (zh) 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310026415.5A CN115909079B (zh) 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN115909079A true CN115909079A (zh) 2023-04-04
CN115909079B CN115909079B (zh) 2023-06-09

Family

ID=86472915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310026415.5A Active CN115909079B (zh) 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN115909079B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452613A (zh) * 2023-06-14 2023-07-18 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 一种地质调查中裂缝轮廓提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161282A (zh) * 2019-12-30 2020-05-15 西南交通大学 基于深度种子的图像多层次分割的目标尺度选择方法
CN114022770A (zh) * 2021-11-11 2022-02-08 中山大学 基于改进自注意力机制与迁移学习的山体裂缝检测方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN115147439A (zh) * 2022-07-11 2022-10-04 南京工业大学 基于深度学习与注意力机制的混凝土裂缝分割方法及系统
CN115239733A (zh) * 2022-09-23 2022-10-25 深圳大学 裂缝检测方法、装置、终端设备以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161282A (zh) * 2019-12-30 2020-05-15 西南交通大学 基于深度种子的图像多层次分割的目标尺度选择方法
US20220309674A1 (en) * 2021-03-26 2022-09-29 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on u-net
CN114022770A (zh) * 2021-11-11 2022-02-08 中山大学 基于改进自注意力机制与迁移学习的山体裂缝检测方法
CN115147439A (zh) * 2022-07-11 2022-10-04 南京工业大学 基于深度学习与注意力机制的混凝土裂缝分割方法及系统
CN115239733A (zh) * 2022-09-23 2022-10-25 深圳大学 裂缝检测方法、装置、终端设备以及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹攀等: ""基于图像分层树的图像语义分割方法"", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452613A (zh) * 2023-06-14 2023-07-18 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 一种地质调查中裂缝轮廓提取方法
CN116452613B (zh) * 2023-06-14 2023-08-29 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 一种地质调查中裂缝轮廓提取方法

Also Published As

Publication number Publication date
CN115909079B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110929607B (zh) 一种城市建筑物施工进度的遥感识别方法和系统
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN110796026A (zh) 一种基于全局特征拼接的行人重识别方法
CN103258203A (zh) 遥感影像的道路中线自动提取方法
US20230358533A1 (en) Instance segmentation imaging system
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
WO2021077947A1 (zh) 图像处理方法、装置、设备及存储介质
CN112052845A (zh) 图像识别方法、装置、设备及存储介质
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN115909079B (zh) 结合深度特征和自注意力模型的裂缝检测方法及相关设备
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN105631849B (zh) 多边形目标的变化检测方法及装置
CN111476226B (zh) 一种文本定位方法、装置及模型训练方法
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
Ai et al. Geometry preserving active polygon-incorporated sign detection algorithm
CN111435537B (zh) 模型训练方法、装置及基于拼接图的位姿优化方法、装置
Song et al. Automated rock segmentation for mars exploration rover imagery
CN113706551A (zh) 一种图像分割方法、装置、设备及存储介质
Yin et al. Towards perspective-free pavement distress detection via deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant