CN115909079B - 结合深度特征和自注意力模型的裂缝检测方法及相关设备 - Google Patents

结合深度特征和自注意力模型的裂缝检测方法及相关设备 Download PDF

Info

Publication number
CN115909079B
CN115909079B CN202310026415.5A CN202310026415A CN115909079B CN 115909079 B CN115909079 B CN 115909079B CN 202310026415 A CN202310026415 A CN 202310026415A CN 115909079 B CN115909079 B CN 115909079B
Authority
CN
China
Prior art keywords
self
features
profile
node
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310026415.5A
Other languages
English (en)
Other versions
CN115909079A (zh
Inventor
李清泉
熊思婷
张德津
汪驰升
张博琛
吴林锋
黄俊宇
闫李月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Shenzhen University
Original Assignee
Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen, Shenzhen University filed Critical Guangdong Provincial Laboratory Of Artificial Intelligence And Digital Economy Shenzhen
Priority to CN202310026415.5A priority Critical patent/CN115909079B/zh
Publication of CN115909079A publication Critical patent/CN115909079A/zh
Application granted granted Critical
Publication of CN115909079B publication Critical patent/CN115909079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了结合深度特征和自注意力模型的裂缝检测方法及相关设备，所述方法包括：获取原始道路图像，基于训练好的深度卷积前馈网络提取原始道路图像中的边缘特征和方向特征，以获得超度量轮廓图；以超度量轮廓图的根节点为起点，遍历整个超度量轮廓图，基于图像灰度信息和纹理信息对超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；构建基于超像素的自注意力模型，基于超像素的自注意力模型根据超像素分割结果将不同的超像素标记裂缝和非裂缝。本发明基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过基于超像素的自注意力模型来实现道路裂缝的检测。

Description

结合深度特征和自注意力模型的裂缝检测方法及相关设备
技术领域
本发明涉及测绘科学与技术领域，尤其涉及一种结合深度特征和自注意力模型的裂缝检测方法、系统、终端及计算机可读存储介质。
背景技术
随着城市化的发展，公路、铁路、桥梁、隧道等基础设施已大量建成，随之而来的是基础设施的养护问题。得益于传感器技术、机器人技术、计算机信息处理技术等方面的发展，各种智能检测设备应用于基础设施的检测和维护中，大大减少了人力成本。
高效地数据采集背后需要有智能检测算法的支持，例如道路智能检测车能够快速、动态地采集路面结构光、视觉图像等数据，其中道路裂缝检测是数据信息提取的一项重要工作。
目前道路裂缝检测方法包括传统的图像处理方法、基于机器学习和基于深度学习的方法三大类。基于传统图像处理和机器学习的方法依赖手工设计的滤波器和处理流程；基于深度学习的图像分割方法严重依赖训练样本。虽然深度学习领域发展多种迁移学习方法，但迁移效果并不理想，往往在一种环境和任务下训练好的模型难以迁移到另一种环境和任务中。传统图像处理方法通常基于一定的流程设计，底层方法的迁移性强，但上层与语义有关的分割根据任务的不同而不同。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种结合深度特征和自注意力模型的裂缝检测方法、系统、终端及计算机可读存储介质，旨在解决现有技术中道路裂缝检测方法依赖手工设计的滤波器和处理流程、适用性和移植性弱的问题。
为实现上述目的，本发明提供一种结合深度特征和自注意力模型的裂缝检测方法，所述结合深度特征和自注意力模型的裂缝检测方法包括如下步骤：
获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，之前还包括：
预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，具体包括：
获取所述原始道路图像，所述原始道路图像是拍摄的任意道路的道路图像；
将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；
根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果，具体包括：
以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树；
对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差
Figure 360546DEST_PATH_IMAGE001
，将父节点分割出子节点后计算子节点分割特征的均方根误差
Figure 746528DEST_PATH_IMAGE002
，父节点和子节点的差异用
Figure 995107DEST_PATH_IMAGE003
表示：
Figure 859158DEST_PATH_IMAGE004
；（1）
Figure 640907DEST_PATH_IMAGE005
；（2）
Figure 728948DEST_PATH_IMAGE006
；（3）
其中，
Figure 464823DEST_PATH_IMAGE007
表示父节点像素数，
Figure 132565DEST_PATH_IMAGE008
表示父节点包含分割块的数量，
Figure 270285DEST_PATH_IMAGE009
、
Figure 732491DEST_PATH_IMAGE010
和
Figure 955662DEST_PATH_IMAGE011
分别为每个分割块的像素数、灰度平均值和方差，
Figure 161515DEST_PATH_IMAGE012
为第
Figure 888163DEST_PATH_IMAGE013
个分割块的标签，
Figure 285384DEST_PATH_IMAGE014
为标记为
Figure 995851DEST_PATH_IMAGE012
的所有灰度和纹理函数，
Figure 739816DEST_PATH_IMAGE015
分别为将父节点的R个分割块作为一个整体的灰度均值和方差，
Figure 648866DEST_PATH_IMAGE016
为将所有分割块标记为同一类的标签，
Figure 452874DEST_PATH_IMAGE017
为标记为
Figure 385058DEST_PATH_IMAGE016
时整个分割块的灰度和纹理函数；
其中，
Figure 932714DEST_PATH_IMAGE018
的计算如下：
Figure 899533DEST_PATH_IMAGE019
；（4）
其中，
Figure 140021DEST_PATH_IMAGE020
为标记为
Figure 356239DEST_PATH_IMAGE021
的所有节点分块内不同颜色通道的亮度均值，
Figure 206121DEST_PATH_IMAGE022
、
Figure 761867DEST_PATH_IMAGE023
和
Figure 173257DEST_PATH_IMAGE024
分别为标记为
Figure 80033DEST_PATH_IMAGE021
的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，
Figure 969492DEST_PATH_IMAGE025
、
Figure 707641DEST_PATH_IMAGE026
、
Figure 289932DEST_PATH_IMAGE027
和
Figure 418425DEST_PATH_IMAGE028
为归一化参数，根据各特征值的分布进行归一化得到；
对每个子节点判断相邻节点的相似性，计算得到
Figure 111574DEST_PATH_IMAGE029
和
Figure 146307DEST_PATH_IMAGE030
之间的相似性
Figure 696237DEST_PATH_IMAGE031
，如果存在相似的节点，则将合并成一个子节点，相似性计算如下：
Figure 577606DEST_PATH_IMAGE032
；（5）
Figure 74446DEST_PATH_IMAGE033
；（6）
Figure 459291DEST_PATH_IMAGE034
；（7）
其中，
Figure 117805DEST_PATH_IMAGE035
为与
Figure 283207DEST_PATH_IMAGE036
相邻的分块，
Figure 318160DEST_PATH_IMAGE037
为分块
Figure 88669DEST_PATH_IMAGE036
的亮度或纹理值，
Figure 918085DEST_PATH_IMAGE038
为分块
Figure 7002DEST_PATH_IMAGE036
的相邻分块
Figure 845645DEST_PATH_IMAGE035
的亮度或纹理值，
Figure 205082DEST_PATH_IMAGE013
为通道数，
Figure 470978DEST_PATH_IMAGE039
为直方图亮度或纹理的直方图分布，
Figure 345393DEST_PATH_IMAGE040
和
Figure 987727DEST_PATH_IMAGE041
为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，
Figure 467250DEST_PATH_IMAGE042
为节点的亮度特征，
Figure 638468DEST_PATH_IMAGE043
为节点的纹理特征；
使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述结合深度特征和自注意力模型的裂缝检测方法还包括：
将亮度特征
Figure 203442DEST_PATH_IMAGE042
与纹理特征
Figure 882423DEST_PATH_IMAGE043
进行归一化后进行比较，以亮度特征
Figure 13190DEST_PATH_IMAGE042
与纹理特征
Figure 620889DEST_PATH_IMAGE043
之中的最大值作为特征差异。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝，具体包括：
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中；
采用C×1×1的卷积核对输入的三通道图像进行升维处理，处理后按照超像素掩膜进行池化处理，将图像嵌入为N×C的矩阵，每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息；
其中，C为通道数，N为超像素个数；
使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
可选地，所述的结合深度特征和自注意力模型的裂缝检测方法，其中，所述公开数据集包括自然图像数据集和裂缝数据集。
此外，为实现上述目的，本发明还提供一种结合深度特征和自注意力模型的裂缝检测系统，其中，所述结合深度特征和自注意力模型的裂缝检测系统包括：
特征提取模块，用于获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
优化校准模块，用于以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
裂缝检测模块，用于构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被所述处理器执行时实现如上所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被处理器执行时实现如上所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
本发明中，获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。本发明基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过基于超像素的自注意力模型来实现道路裂缝的检测。
附图说明
图1是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例的流程图；
图2是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中整个执行过程的流程示意图；
图3是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中深度卷积边缘和方向特征提取方法的示意图；
图4是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中深度卷积边缘和方向特征提取结果的示意图；
图5是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中超度量轮廓图的多尺度优化示意图；
图6是本发明结合深度特征和自注意力模型的裂缝检测方法的较佳实施例中基于超像素自注意力分割提取道路裂缝示意图；
图7是本发明结合深度特征和自注意力模型的裂缝检测系统的较佳实施例的原理示意图；
图8为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的结合深度特征和自注意力模型的裂缝检测方法，如图1和图2所示，所述结合深度特征和自注意力模型的裂缝检测方法包括以下步骤：
步骤S10、获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图。
具体地，在所述步骤S10之前还包括：预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。获取所述原始道路图像（指拍摄的任意道路的道路图像），所述原始道路图像是拍摄的任意道路的道路图像；将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树。
利用空洞卷积和侧向输出组织深度卷积前馈网络，结合空洞卷积的大范围感受野和侧向输出模式能够保持浅层高分辨率特征的优势，从原始道路图像中提取边缘特征（轮廓特征）和方向特征，深度卷积前馈网络架构如图3所示，在VGG（Visual Geometry GroupNetwork，神经网络）的基础上修改五层卷积层的卷积核为空洞卷积，侧向输出五层卷积层的方向性边缘特征，利用前四层、后四层卷积层输出结果合成高分辨率和低分辨率特征。
利用公开数据集BSDS500（如图2所示，包括自然图像数据集和裂缝数据集）可以对边缘和方向提取的深度卷积前馈网络进行训练。BSDS500数据集中包含分割和边缘的训练数据，通常认为边缘和方向提取任务在高级图像处理任务中的迁移性是较高的，因此用该数据集训练可以将自然图像的低层次知识迁移到裂缝提取的高级任务中。图4展示了利用VGG作为深度卷积前馈模型和BSDS500作为训练数据集的预测结果，包括五层卷积层输出的特征（late_side0-4），高分辨率（y_fine）和低分辨率（y_coarse）的合成特征图，以及八个方位向上的边缘显著性（orientation0-7）。基于提取的边缘和方向特征可以获得图像的超度量轮廓图，它是以整幅输入图像为根节点的树型结构，即图像分割树。
步骤S20、以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果。
具体地，以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树，综合考虑图像灰度信息和纹理信息对对分割树进行优化。对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差
Figure 673158DEST_PATH_IMAGE001
，如公式（1）所示，将父节点分割出子节点后计算子节点分割特征的均方根误差
Figure 391716DEST_PATH_IMAGE002
，如公式（2）所示，父节点和子节点的差异用
Figure 580251DEST_PATH_IMAGE003
表示，如公式（3）所示：
Figure 358852DEST_PATH_IMAGE004
；（1）
Figure 898417DEST_PATH_IMAGE005
；（2）
Figure 217403DEST_PATH_IMAGE006
；（3）
其中，
Figure 526025DEST_PATH_IMAGE007
表示父节点像素数，
Figure 974061DEST_PATH_IMAGE008
表示父节点包含分割块的数量，
Figure 469765DEST_PATH_IMAGE009
、
Figure 795704DEST_PATH_IMAGE010
和
Figure 958832DEST_PATH_IMAGE011
分别为每个分割块的像素数、灰度平均值和方差，
Figure 875972DEST_PATH_IMAGE012
为第
Figure 390130DEST_PATH_IMAGE013
个分割块的标签，
Figure 254181DEST_PATH_IMAGE014
为标记为
Figure 6236DEST_PATH_IMAGE012
的所有灰度和纹理函数，
Figure 563120DEST_PATH_IMAGE015
分别为将父节点的R个分割块作为一个整体的灰度均值和方差，
Figure 815108DEST_PATH_IMAGE016
为将所有分割块标记为同一类的标签，
Figure 482850DEST_PATH_IMAGE017
为标记为
Figure 151728DEST_PATH_IMAGE016
时整个分割块的灰度和纹理函数。
其中，
Figure 879513DEST_PATH_IMAGE018
的计算如下：
Figure 102684DEST_PATH_IMAGE019
；（4）
其中，
Figure 42958DEST_PATH_IMAGE020
为标记为
Figure 35185DEST_PATH_IMAGE021
的所有节点分块内不同颜色通道的亮度均值，
Figure 933871DEST_PATH_IMAGE022
、
Figure 175496DEST_PATH_IMAGE023
和
Figure 185040DEST_PATH_IMAGE024
分别为标记为
Figure 717260DEST_PATH_IMAGE021
的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，
Figure 724530DEST_PATH_IMAGE025
、
Figure 391135DEST_PATH_IMAGE026
、
Figure 640588DEST_PATH_IMAGE027
和
Figure 872986DEST_PATH_IMAGE028
为归一化参数，根据各特征值的分布进行归一化得到。
同时，对每个子节点判断相邻节点的相似性，根据公式（5）-（7）计算得到
Figure 51158DEST_PATH_IMAGE029
和
Figure 532955DEST_PATH_IMAGE030
之间的相似性
Figure 884302DEST_PATH_IMAGE031
，如果存在相似的节点，则将合并成一个子节点，相似性计算如（5）-（7）所示；然后再利用
Figure 705627DEST_PATH_IMAGE044
判断其是否需要再次分割。
Figure 851438DEST_PATH_IMAGE032
；（5）
Figure 262608DEST_PATH_IMAGE033
；（6）
Figure 152067DEST_PATH_IMAGE034
；（7）
其中，
Figure 93478DEST_PATH_IMAGE035
为与
Figure 410190DEST_PATH_IMAGE036
相邻的分块，
Figure 601000DEST_PATH_IMAGE037
为分块
Figure 294149DEST_PATH_IMAGE036
的亮度或纹理值，
Figure 824488DEST_PATH_IMAGE038
为分块
Figure 577680DEST_PATH_IMAGE036
的相邻分块
Figure 459049DEST_PATH_IMAGE035
的亮度或纹理值，
Figure 487047DEST_PATH_IMAGE013
为通道数，例如颜色为LAB三通道，纹理为纹理滤波通道，
Figure 636007DEST_PATH_IMAGE039
为直方图亮度或纹理的直方图分布，
Figure 560100DEST_PATH_IMAGE040
和
Figure 663186DEST_PATH_IMAGE041
为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，
Figure 698138DEST_PATH_IMAGE042
为节点的亮度特征，
Figure 203068DEST_PATH_IMAGE043
为节点的纹理特征；将亮度特征
Figure 298063DEST_PATH_IMAGE042
与纹理特征
Figure 950762DEST_PATH_IMAGE043
进行归一化后进行比较，以亮度特征
Figure 523825DEST_PATH_IMAGE042
与纹理特征
Figure 148842DEST_PATH_IMAGE043
之中的最大值作为特征差异。最后，使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
如图5中的（a）所示为判断其是否需要向下一尺度分割的示意图，例如，对于节点
Figure 647694DEST_PATH_IMAGE045
，对其计算
Figure 725371DEST_PATH_IMAGE044
，若大于阈值
Figure 367705DEST_PATH_IMAGE046
，则分割进入下一层节点
Figure 643966DEST_PATH_IMAGE047
，
Figure 80763DEST_PATH_IMAGE048
，
Figure 380158DEST_PATH_IMAGE049
，对这三个节点计算相似性，根据公式（5）-（7）判断相邻节点的相似性，若
Figure 295024DEST_PATH_IMAGE050
小于阈值
Figure 894633DEST_PATH_IMAGE051
，则表示两节点相似，如图5中的（b）所示，
Figure 502332DEST_PATH_IMAGE052
相似性高则进行组合，接着对
Figure 351339DEST_PATH_IMAGE053
层的每一个节点重复上述操作，如果
Figure 568431DEST_PATH_IMAGE044
超过一定阈值
Figure 22546DEST_PATH_IMAGE046
，则停止该节点向下一尺度的分割，如图5中的（c）所示，向子节点
Figure 535567DEST_PATH_IMAGE047
的分割进程结束于该节点。对于整个超度量轮廓图的分割树，
Figure 75133DEST_PATH_IMAGE044
统计值显示，从根节点到叶子节点是递降的。可以通过统计所有尺度下节点处的
Figure 597381DEST_PATH_IMAGE044
的变化，将其拟合为半变异函数，该函数存在阶台值，即变化率最剧烈的位置，得到其下降的阶台值，将其作为阈值
Figure 906003DEST_PATH_IMAGE046
。
超度量轮廓图在某些位置和真实图像对比可能存在少量像素的偏移，偏移来源于：（1）多尺度的轮廓特征组合；（2）算法本身在梯度不明显处产生的偏移。在该步骤中，通过遍历每一个分割块轮廓处的浅层边缘特征，即图2中第一层卷积层输出的边缘特征图，搜索缓冲区内的边缘响应来使提取的边缘纠正到正确的空间位置处，从而实现优化后的轮廓校准。
步骤S30、构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
具体地，经过步骤S20处理可以生成优化后的超像素分割结果，在这一次的超像素分割结果中，裂缝和背景都有可能被分为不同的超像素；步骤S30构建基于超像素的自注意力模型，学习超像素之间的关联性，从而将不同的超像素标记为两类：裂缝和非裂缝。
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中，如图6所示为超像素嵌入方法；本发明采用C×1×1的卷积核（C为通道数）对输入的三通道图像进行升维处理，处理后按照超像素掩膜（如图6中黑色图像所示）进行池化处理，将图像嵌入为N×C的矩阵（N为超像素个数），每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息，从而实现分割的目的。同时，需要从训练样本数据集中抽取小样本数据生成超像素分割，作为掩膜加入数据嵌入层中，该自注意力模型用上一步获得的超像素结果和验证数据进行训练，利用训练好的自注意力模型进行预测。即使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
本发明基于深度卷积特征和超像素自注意力分割进行道路裂缝检测，利用深度卷积前馈网络训练公开数据集得到关于边缘和方向性的知识，从而迁移到道路裂缝提取的高级任务中，基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过超像素自注意力分割方法来实现道路裂缝的检测，结合深度卷积边缘方向特征和传统图像分割判别准则的多层次分割方法，从而自适应的获取道路裂缝检测结果。
进一步地，如图7所示，基于上述结合深度特征和自注意力模型的裂缝检测方法，本发明还相应提供了一种结合深度特征和自注意力模型的裂缝检测系统，其中，所述结合深度特征和自注意力模型的裂缝检测系统包括：
特征提取模块51，用于获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
优化校准模块52，用于以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
裂缝检测模块53，用于构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
进一步地，如图8所示，基于上述结合深度特征和自注意力模型的裂缝检测方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图8仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（SecureDigital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有结合深度特征和自注意力模型的裂缝检测程序40，该结合深度特征和自注意力模型的裂缝检测程序40可被处理器10所执行，从而实现本申请中结合深度特征和自注意力模型的裂缝检测方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述结合深度特征和自注意力模型的裂缝检测方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中结合深度特征和自注意力模型的裂缝检测程序40时实现以下步骤：
获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，之前还包括：
预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。
其中，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，具体包括：
获取所述原始道路图像，所述原始道路图像是拍摄的任意道路的道路图像；
将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；
根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树。
其中，所述以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果，具体包括：
以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树；
对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差
Figure 652242DEST_PATH_IMAGE001
，将父节点分割出子节点后计算子节点分割特征的均方根误差
Figure 413525DEST_PATH_IMAGE002
，父节点和子节点的差异用
Figure 739464DEST_PATH_IMAGE003
表示：
Figure 129688DEST_PATH_IMAGE004
；（1）
Figure 250091DEST_PATH_IMAGE005
；（2）
Figure 764249DEST_PATH_IMAGE006
；（3）
其中，
Figure 628300DEST_PATH_IMAGE007
表示父节点像素数，
Figure 442672DEST_PATH_IMAGE008
表示父节点包含分割块的数量，
Figure 999555DEST_PATH_IMAGE009
、
Figure 469851DEST_PATH_IMAGE010
和
Figure 872014DEST_PATH_IMAGE011
分别为每个分割块的像素数、灰度平均值和方差，
Figure 9734DEST_PATH_IMAGE012
为第
Figure 534256DEST_PATH_IMAGE013
个分割块的标签，
Figure 990383DEST_PATH_IMAGE014
为标记为
Figure 196236DEST_PATH_IMAGE012
的所有灰度和纹理函数，
Figure 188463DEST_PATH_IMAGE015
分别为将父节点的R个分割块作为一个整体的灰度均值和方差，
Figure 821570DEST_PATH_IMAGE016
为将所有分割块标记为同一类的标签，
Figure 532037DEST_PATH_IMAGE017
为标记为
Figure 541581DEST_PATH_IMAGE016
时整个分割块的灰度和纹理函数；
其中，
Figure 185052DEST_PATH_IMAGE018
的计算如下：
Figure 254639DEST_PATH_IMAGE019
；（4）
其中，
Figure 921244DEST_PATH_IMAGE020
为标记为
Figure 233014DEST_PATH_IMAGE021
的所有节点分块内不同颜色通道的亮度均值，
Figure 199833DEST_PATH_IMAGE022
、
Figure 174743DEST_PATH_IMAGE023
和
Figure 859802DEST_PATH_IMAGE024
分别为标记为
Figure 7886DEST_PATH_IMAGE021
的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，
Figure 829212DEST_PATH_IMAGE025
、
Figure 975022DEST_PATH_IMAGE026
、
Figure 881799DEST_PATH_IMAGE027
和
Figure 36836DEST_PATH_IMAGE028
为归一化参数，根据各特征值的分布进行归一化得到；
对每个子节点判断相邻节点的相似性，计算得到
Figure 414466DEST_PATH_IMAGE029
和
Figure 793495DEST_PATH_IMAGE030
之间的相似性
Figure 390829DEST_PATH_IMAGE031
，如果存在相似的节点，则将合并成一个子节点，相似性计算如下：
Figure 880716DEST_PATH_IMAGE032
；（5）
Figure 676634DEST_PATH_IMAGE033
；（6）
Figure 429826DEST_PATH_IMAGE034
；（7）
其中，
Figure 45615DEST_PATH_IMAGE035
为与
Figure 542456DEST_PATH_IMAGE036
相邻的分块，
Figure 697275DEST_PATH_IMAGE037
为分块
Figure 621368DEST_PATH_IMAGE036
的亮度或纹理值，
Figure 990033DEST_PATH_IMAGE038
为分块
Figure 759406DEST_PATH_IMAGE036
的相邻分块
Figure 264336DEST_PATH_IMAGE035
的亮度或纹理值，
Figure 359331DEST_PATH_IMAGE013
为通道数，
Figure 949713DEST_PATH_IMAGE039
为直方图亮度或纹理的直方图分布，
Figure 788356DEST_PATH_IMAGE040
和
Figure 911907DEST_PATH_IMAGE041
为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，
Figure 177803DEST_PATH_IMAGE042
为节点的亮度特征，
Figure 255481DEST_PATH_IMAGE043
为节点的纹理特征；
使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
其中，所述结合深度特征和自注意力模型的裂缝检测方法还包括：
将亮度特征
Figure 632236DEST_PATH_IMAGE042
与纹理特征
Figure 111758DEST_PATH_IMAGE043
进行归一化后进行比较，以亮度特征
Figure 345294DEST_PATH_IMAGE042
与纹理特征
Figure 910267DEST_PATH_IMAGE043
之中的最大值作为特征差异。
其中，所述构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝，具体包括：
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中；
采用C×1×1的卷积核对输入的三通道图像进行升维处理，处理后按照超像素掩膜进行池化处理，将图像嵌入为N×C的矩阵，每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息；
其中，C为通道数，N为超像素个数；
使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
其中，所述公开数据集包括自然图像数据集和裂缝数据集。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被处理器执行时实现如上所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
综上所述，本发明提供一种结合深度特征和自注意力模型的裂缝检测方法及相关设备，所述方法包括：获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。本发明基于训练好的深度卷积前馈网络预测得到边缘和方向信息可以获得超度量轮廓图，对超度量轮廓图进行优化和轮廓校准，最后通过基于超像素的自注意力模型来实现道路裂缝的检测。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述结合深度特征和自注意力模型的裂缝检测方法包括：
获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝；
所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，具体包括：
获取所述原始道路图像，所述原始道路图像是拍摄的任意道路的道路图像；
将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；
根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树；
所述以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果，具体包括：
以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树；
对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差MSEparent，将父节点分割出子节点后计算子节点分割特征的均方根误差MSEchild，父节点和子节点的差异用ΔMSE表示：
Figure FDA0004178146970000011
Figure FDA0004178146970000012
ΔMSE＝|MSEparent-MSEchild|； (3)
其中，N表示父节点像素数，R表示父节点包含分割块的数量，Ni、μi和ωi分别为每个分割块的像素数、灰度平均值和方差，Li为第i个分割块的标签，g(Li)为标记为Li的所有灰度和纹理函数，ω，μ分别为将父节点的R个分割块作为一个整体的灰度均值和方差，Lp为将所有分割块标记为同一类的标签，g(Lp)为标记为Lp时整个分割块的灰度和纹理函数；
其中，g(Ω)(Ω∈{Li，Lp})的计算如下：
g(Ω)＝αG(Ω)+βE(Ω)+γH(Ω)+δC(Ω)； (4)
其中，G(Ω)为标记为Ω的所有节点分块内不同颜色通道的亮度均值，E(Ω)、H(Ω)和C(Ω)分别为标记为Ω的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，α、β、γ和δ为归一化参数，根据各特征值的分布进行归一化得到；
对每个子节点判断相邻节点的相似性，计算得到x和y之间的相似性f(x，y)，如果存在相似的节点，则将合并成一个子节点，相似性计算如下：
Figure FDA0004178146970000021
Figure FDA0004178146970000022
f(x，y)＝argmax(flab(x，y)，ftexture(x，y))； (7)
其中，y为与x相邻的分块，
Figure FDA0004178146970000023
为分块x的亮度或纹理值，
Figure FDA0004178146970000024
为分块x的相邻分块y的亮度或纹理值，i为通道数，j为直方图亮度或纹理的直方图分布，λlab和λtexture为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，flab(x，y)为节点的亮度特征，ftexture(x，y)为节点的纹理特征；
使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
2.根据权利要求1所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，之前还包括：
预先通过公开数据集对所述深度卷积前馈网络进行训练，所述训练包括分割训练和边缘训练，所述训练用于将自然图像的低层次知识迁移到裂缝提取的高级任务中。
3.根据权利要求1所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述结合深度特征和自注意力模型的裂缝检测方法还包括：
将亮度特征flab(x，y)与纹理特征ftexture(x，y)进行归一化后进行比较，以亮度特征flab(x，y)与纹理特征ftexture(x，y)之中的最大值作为特征差异。
4.根据权利要求1所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝，具体包括：
基于超像素的自注意力模型接收相同大小的一维向量，将所述超像素分割结果嵌入为等长的一维向量输入自注意力模型中；
采用C×1×1的卷积核对输入的三通道图像进行升维处理，处理后按照超像素掩膜进行池化处理，将图像嵌入为N×C的矩阵，每一行看作一词向量，将矩阵输入基于超像素的自注意力模型进行训练，获取超像素之间的全局上下文信息；
其中，C为通道数，N为超像素个数；
使用训练好的基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝。
5.根据权利要求2所述的结合深度特征和自注意力模型的裂缝检测方法，其特征在于，所述公开数据集包括自然图像数据集和裂缝数据集。
6.一种结合深度特征和自注意力模型的裂缝检测系统，其特征在于，所述结合深度特征和自注意力模型的裂缝检测系统包括：
特征提取模块，用于获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图；
优化校准模块，用于以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果；
裂缝检测模块，用于构建基于超像素的自注意力模型，基于超像素的自注意力模型根据所述超像素分割结果将不同的超像素标记裂缝和非裂缝；
所述获取原始道路图像，基于训练好的深度卷积前馈网络提取所述原始道路图像中的边缘特征和方向特征，根据所述边缘特征和所述方向特征获得超度量轮廓图，具体包括：
获取所述原始道路图像，所述原始道路图像是拍摄的任意道路的道路图像；
将所述原始道路图像输入至训练好的所述深度卷积前馈网络中，所述深度卷积前馈网络提取所述原始道路图像中的边缘特征、方向特征和浅层边缘特征；
根据所述边缘特征和所述方向特征获得超度量轮廓图，所述超度量轮廓图是以整幅所述原始道路图像为根节点的树型结构，并将所述超度量轮廓图定义为图像分割树；
所述以所述超度量轮廓图的根节点为起点，遍历整个所述超度量轮廓图，基于图像灰度信息和纹理信息对所述超度量轮廓图进行多尺度优化，并进行轮廓校准后生成超像素分割结果，具体包括：
以所述超度量轮廓图的根节点为起点，遍历整个所述图像分割树；
对于每个节点判断是否需要向下一尺度分割，将父节点作为整个分割块计算父节点分割特征的均方根误差MSEparent，将父节点分割出子节点后计算子节点分割特征的均方根误差MSEchild，父节点和子节点的差异用ΔMSE表示：
Figure FDA0004178146970000041
Figure FDA0004178146970000042
ΔMSE＝|MSEparent-MSEchild|； (3)
其中，N表示父节点像素数，R表示父节点包含分割块的数量，Ni、μi和ωi分别为每个分割块的像素数、灰度平均值和方差，Li为第i个分割块的标签，g(Li)为标记为Li的所有灰度和纹理函数，ω，μ分别为将父节点的R个分割块作为一个整体的灰度均值和方差，Lp为将所有分割块标记为同一类的标签，g(Lp)为标记为Lp时整个分割块的灰度和纹理函数；
其中，g(Ω)(Ω∈{Li，Lp})的计算如下：
g(Ω)＝αG(Ω)+βE(Ω)+γH(Ω)+δC(Ω)； (4)
其中，G(Ω)为标记为Ω的所有节点分块内不同颜色通道的亮度均值，E(Ω)、H(Ω)和C(Ω)分别为标记为Ω的所有节点分块内的利用共生矩阵计算的能量、均一性和对比度，a、β、γ和δ为归一化参数，根据各特征值的分布进行归一化得到；
对每个子节点判断相邻节点的相似性，计算得到x和y之间的相似性f(x，y)，如果存在相似的节点，则将合并成一个子节点，相似性计算如下：
Figure FDA0004178146970000043
Figure FDA0004178146970000051
f(x，y)＝argmax(flab(x，y)，ftexture(x，y))； (7)
其中，y为与x相邻的分块，
Figure FDA0004178146970000052
为分块x的亮度或纹理值，
Figure FDA0004178146970000053
为分块x的相邻分块y的亮度或纹理值，i为通道数，j为直方图亮度或纹理的直方图分布，λlab和λtexture为分别将颜色亮度和纹理值的分布进行归一化所用到的参数，flab(x，y)为节点的亮度特征，ftexture(x，y)为节点的纹理特征；
使用所述浅层边缘特征和多尺度优化后的所述超度量轮廓图进行轮廓校准生成所述超像素分割结果。
7.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被所述处理器执行时实现如权利要求1-5任一项所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有结合深度特征和自注意力模型的裂缝检测程序，所述结合深度特征和自注意力模型的裂缝检测程序被处理器执行时实现如权利要求1-5任一项所述的结合深度特征和自注意力模型的裂缝检测方法的步骤。
CN202310026415.5A 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备 Active CN115909079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310026415.5A CN115909079B (zh) 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310026415.5A CN115909079B (zh) 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN115909079A CN115909079A (zh) 2023-04-04
CN115909079B true CN115909079B (zh) 2023-06-09

Family

ID=86472915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310026415.5A Active CN115909079B (zh) 2023-01-09 2023-01-09 结合深度特征和自注意力模型的裂缝检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN115909079B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452613B (zh) * 2023-06-14 2023-08-29 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 一种地质调查中裂缝轮廓提取方法
CN117635615B (zh) * 2024-01-26 2024-06-25 深圳市常丰激光刀模有限公司 基于深度学习实现冲孔模具的缺陷检测方法及系统
CN117975175B (zh) * 2024-04-02 2024-06-25 西安亚大塑料制品有限公司 一种基于机器视觉的塑料管道外观缺陷检测方法
CN118334351B (zh) * 2024-06-12 2024-08-30 广东工业大学 一种基于深度学习的指针仪表读数识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239733A (zh) * 2022-09-23 2022-10-25 深圳大学 裂缝检测方法、装置、终端设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161282B (zh) * 2019-12-30 2021-10-29 西南交通大学 基于深度种子的图像多层次分割的目标尺度选择方法
US11580646B2 (en) * 2021-03-26 2023-02-14 Nanjing University Of Posts And Telecommunications Medical image segmentation method based on U-Net
CN114022770A (zh) * 2021-11-11 2022-02-08 中山大学 基于改进自注意力机制与迁移学习的山体裂缝检测方法
CN115147439B (zh) * 2022-07-11 2023-12-29 南京工业大学 基于深度学习与注意力机制的混凝土裂缝分割方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115239733A (zh) * 2022-09-23 2022-10-25 深圳大学 裂缝检测方法、装置、终端设备以及存储介质

Also Published As

Publication number Publication date
CN115909079A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN115909079B (zh) 结合深度特征和自注意力模型的裂缝检测方法及相关设备
KR102379287B1 (ko) 차도선을 검출하기 위한 방법, 장치 및 매체
CN107239731B (zh) 一种基于Faster R-CNN的手势检测和识别方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
US20230358533A1 (en) Instance segmentation imaging system
CN104077447B (zh) 基于纸质平面数据的城市三维空间矢量建模方法
CN110796026A (zh) 一种基于全局特征拼接的行人重识别方法
WO2021077947A1 (zh) 图像处理方法、装置、设备及存储介质
US12086989B2 (en) Medical image segmentation method based on U-network
CN113052106B (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
CN115049841A (zh) 基于深度无监督多步对抗域自适应的高分辨sar图像地物要素提取方法
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN113706551A (zh) 一种图像分割方法、装置、设备及存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
Babaali et al. A new approach for road extraction using data augmentation and semantic segmentation
CN114708591B (zh) 基于单字连接的文档图像中文字符检测方法
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN113989269B (zh) 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法
CN112580424B (zh) 一种复杂车路环境的偏振特征多尺度池化分类算法
JP7528715B2 (ja) 書体設定装置、書体設定方法及びコンピュータプログラム
CN114140468A (zh) 三维点云的语义确定方法和装置
Lan et al. Crack detection based on attention mechanism with YOLOv5
CN113628206A (zh) 一种车牌检测方法、装置、介质
CN113780066A (zh) 行人重识别方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant