CN115526846A - 基于联合检测的裂缝检测方法、装置和计算机设备 - Google Patents

基于联合检测的裂缝检测方法、装置和计算机设备 Download PDF

Info

Publication number
CN115526846A
CN115526846A CN202211136220.8A CN202211136220A CN115526846A CN 115526846 A CN115526846 A CN 115526846A CN 202211136220 A CN202211136220 A CN 202211136220A CN 115526846 A CN115526846 A CN 115526846A
Authority
CN
China
Prior art keywords
crack
detection
network
target
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211136220.8A
Other languages
English (en)
Inventor
樊健生
刘宇飞
李保罗
李法雄
刘诚
齐玉
胡跃军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weixin Technology Co ltd
Tsinghua University
Original Assignee
Beijing Weixin Technology Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weixin Technology Co ltd, Tsinghua University filed Critical Beijing Weixin Technology Co ltd
Priority to CN202211136220.8A priority Critical patent/CN115526846A/zh
Publication of CN115526846A publication Critical patent/CN115526846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于联合检测的裂缝检测方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取待检测对象的目标图像；将目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果；第一检测结果为目标图像中各检测区域对应的裂缝识别结果；裂缝识别结果包括包含裂缝和不包含裂缝；第二检测结果为包含类别预测置信度和位置信息的裂缝预测框；将裂缝识别结果为包含裂缝的检测区域确定为候选检测区域；根据各候选检测区域与各裂缝预测框的重叠面积，在各候选检测区域中确定包含裂缝的目标检测区域。采用本方法能够提高裂缝检测的精确度。

Description

基于联合检测的裂缝检测方法、装置和计算机设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种基于联合检测的裂缝检测方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
裂缝检测，如沥青路面、桥梁、其它建筑等工程结构表面的裂缝检测，是工程结构预防性维护的关键环节。例如，沥青路面裂缝不仅会影响驾驶安全性和舒适性，还会由于渗水引发铺装层稳定性变差以及其他二次病害。因而对沥青路面早期裂缝及时进行养护和修补，可以延长沥青路面的使用寿命。因此，对沥青路面等工程结构表面进行定期检测和评估，为裂缝等病害进行及时养护和修补提供决策依据，对维护工程结构表面健康有着重要意义。
随着深度学习技术的发展，出现了目标检测算法，可用于对沥青路面等工程结构表面进行裂缝检测，然而裂缝检测的精确度不高，不利于裂缝率的计算。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高裂缝检测精确度的基于联合检测的裂缝检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种基于联合检测的裂缝检测方法。所述方法包括：
获取待检测对象的目标图像；
将所述目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果；所述第一检测结果为所述目标图像中各检测区域对应的裂缝识别结果；所述裂缝识别结果包括包含裂缝和不包含裂缝；所述第二检测结果为包含类别预测置信度和位置信息的裂缝预测框；
将所述裂缝识别结果为包含裂缝的所述检测区域确定为候选检测区域；
根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定包含裂缝的目标检测区域。
在其中一个实施例中，所述根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定目标检测区域，包括：
针对每个所述候选检测区域，计算所述候选检测区域和各所述裂缝预测框的重叠面积，并在各所述重叠面积中，存在至少一个所述重叠面积大于预设阈值的情况下，将所述候选检测区域确定为包含裂缝的目标检测区域。
在其中一个实施例中，所述检测区域为预设尺寸的网格区域，各所述网格区域组成所述目标图像；所述方法还包括：
确定所述目标检测区域的数量、以及所述目标图像包含的所述网格区域的总数量，并计算所述数量与所述总数量的比值，将所述比值确定为所述待检测对象的总裂缝率。
在其中一个实施例中，所述第二检测结果还包含所述裂缝预测框对应的裂缝类别；所述根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定包含裂缝的目标检测区域之后，还包括：
针对每个所述目标检测区域，在各所述裂缝预测框中确定与所述目标检测区域的重叠面积最大的目标裂缝预测框，并将所述目标裂缝预测框对应的裂缝类别，确定为所述目标检测区域对应的裂缝类别。
在其中一个实施例中，所述裂缝联合检测网络包括骨干网络、与所述骨干网络分别连接的第一颈部网络和第二颈部网络、以及与所述第一颈部网络连接的第一头部网络，与所述第二颈部网络连接的第二头部网络；所述将所述目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果，包括：
将所述目标图像输入至所述骨干网络进行特征提取，并将提取的特征信息分别输入至所述第一颈部网络和所述第二颈部网络，通过所述第一颈部网络进行第一处理，得到第一特征图，并通过所述第二颈部网络进行第二处理，得到第二特征图；其中，所述第一特征图的每个像素点与一个所述检测区域对应；
将所述第一特征图输入至所述第一头部网络，通过所述第一头部网络对所述第一特征图的每个像素点进行第一裂缝类别预测，得到所述第一检测结果；
将所述第二特征图输入至所述第二头部网络进行第二裂缝类别预测，得到所述第二检测结果。
在其中一个实施例中，所述裂缝联合检测网络的训练过程包括：
获取样本对象的样本图像、以及所述样本图像对应的标注数据；所述标注数据包括第一类型标注数据和第二类型标注数据，所述第一类型标注数据为所述样本图像包含的多个样本检测区域对应的裂缝标注结果，所述裂缝标注结果包括包含裂缝和不包含裂缝；所述第二类型标注数据为包含裂缝类别信息和位置信息的标注框；
将所述样本图像和所述标注数据，输入至初始的裂缝联合检测网络进行联合训练，得到训练后的裂缝联合检测网络。
第二方面，本申请还提供了一种基于联合检测的裂缝检测装置。所述装置包括：
第一获取模块，用于获取待检测对象的目标图像；
检测模块，用于将所述目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果；所述第一检测结果为所述目标图像中各检测区域对应的裂缝识别结果；所述裂缝识别结果包括包含裂缝和不包含裂缝；所述第二检测结果为包含类别预测置信度和位置信息的裂缝预测框；
第一确定模块，用于将所述裂缝识别结果为包含裂缝的所述检测区域确定为候选检测区域；
第二确定模块，用于根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定包含裂缝的目标检测区域。
在其中一个实施例中，所述第二确定模块具体用于：
针对每个所述候选检测区域，计算所述候选检测区域和各所述裂缝预测框的重叠面积，并在各所述重叠面积中，存在至少一个所述重叠面积大于预设阈值的情况下，将所述候选检测区域确定为包含裂缝的目标检测区域。
在其中一个实施例中，所述检测区域为预设尺寸的网格区域，各所述网格区域组成所述目标图像；所述装置还包括：
计算模块，用于确定所述目标检测区域的数量、以及所述目标图像包含的所述网格区域的总数量，并计算所述数量与所述总数量的比值，将所述比值确定为所述待检测对象的总裂缝率。
在其中一个实施例中，所述第二检测结果还包含所述裂缝预测框对应的裂缝类别；所述装置还包括：
第三确定模块，用于针对每个所述目标检测区域，在各所述裂缝预测框中确定与所述目标检测区域的重叠面积最大的目标裂缝预测框，并将所述目标裂缝预测框对应的裂缝类别，确定为所述目标检测区域对应的裂缝类别。
在其中一个实施例中，所述裂缝联合检测网络包括骨干网络、与所述骨干网络分别连接的第一颈部网络和第二颈部网络、以及与所述第一颈部网络连接的第一头部网络，与所述第二颈部网络连接的第二头部网络；所述检测模块具体用于：
将所述目标图像输入至所述骨干网络进行特征提取，并将提取的特征信息分别输入至所述第一颈部网络和所述第二颈部网络，通过所述第一颈部网络进行第一处理，得到第一特征图，并通过所述第二颈部网络进行第二处理，得到第二特征图；其中，所述第一特征图的每个像素点与一个所述检测区域对应；将所述第一特征图输入至所述第一头部网络，通过所述第一头部网络对所述第一特征图的每个像素点进行第一裂缝类别预测，得到所述第一检测结果；将所述第二特征图输入至所述第二头部网络进行第二裂缝类别预测，得到所述第二检测结果。
在其中一个实施例中，所述装置还包括：
第二获取模块，用于获取样本对象的样本图像、以及所述样本图像对应的标注数据；所述标注数据包括第一类型标注数据和第二类型标注数据，所述第一类型标注数据为所述样本图像包含的多个样本检测区域对应的裂缝标注结果，所述裂缝标注结果包括包含裂缝和不包含裂缝；所述第二类型标注数据为包含裂缝类别信息和位置信息的标注框；
训练模块，用于将所述样本图像和所述标注数据，输入至初始的裂缝联合检测网络进行联合训练，得到训练后的裂缝联合检测网络。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的方法的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面所述的方法的步骤。
上述基于联合检测的裂缝检测方法、装置、计算机设备、存储介质和计算机程序产品，通过预先训练的裂缝联合检测网络对待检测对象的目标图像进行裂缝检测，可以得到两种检测结果。其中，第一检测结果为目标图像各检测区域对应的裂缝识别结果，第二检测结果为包含类别预测置信度和位置信息的裂缝预测框。然后，通过将裂缝识别结果为包含裂缝的检测区域确定为候选检测区域，并根据各候选检测区域与各裂缝预测框的重叠面积，在各候选检测区域中确定出目标检测区域，即检测出目标图像中的目标检测区域包含裂缝。本方法中，通过裂缝联合检测网络对目标图像进行检测得到基于多个检测区域的第一检测结果、和基于预测框的第二检测结果，并基于候选检测区域和裂缝预测框的重叠面积，对两种检测结果进行匹配，保留两种检测结果均表明有较大概率包含裂缝的目标检测区域，可以提高目标检测区域包含裂缝的检测准确度或置信度，同时，由于各目标检测区域互不重叠，可以避免同一裂缝(或同一部分裂缝)被多个目标检测区域重复检出的情况，由此可以提高裂缝检测的精确度，且基于目标检测区域更有利于裂缝率的计算，可以提高裂缝率的计算准确度。
附图说明
图1为一个实施例中基于联合检测的裂缝检测方法的流程示意图；
图2a为一个示例中目标图像的示意图；
图2b为一个示例中第一检测结果的示意图；
图2c为一个示例中第二检测结果的示意图；
图2d为一个示例中第一检测结果和第二检测结果的对比示意图；
图2e为一个示例中目标检测区域的示意图；
图3为一个实施例中得到第一检测结果和第二检测结果的流程示意图；
图4为一个示例中裂缝联合检测网络的结构示意图；
图5为一个实施例中裂缝联合检测网络的训练过程的流程示意图；
图6为一个实施例中基于联合检测的裂缝检测装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
首先，在具体介绍本申请实施例的技术方案之前，先对本申请实施例基于的技术背景或者技术演进脉络进行介绍。对沥青路面等工程结构表面进行定期裂缝检测和评估，以便及时养护和修补，对维护工程结构表面健康有着重要意义。随着深度学习技术的发展，出现了目标检测算法，可用于对沥青路面等工程结构表面进行裂缝检测。然而，由于裂缝具有拓扑形态结构，相比于常见的目标检测对象(如人、动物、车辆等)具有明显差异，例如裂缝具有更典型的线状特征，裂缝之间的重叠遮挡表现为裂缝的连通性等，因而目前使用目标检测算法对裂缝进行检测的精确度不高。基于该背景，申请人通过长期的研发以及实验验证，提出本申请的基于联合检测的裂缝检测方法，可以提高裂缝检测的精确度，同时可以提高裂缝率的计算准确度和计算效率。另外，需要说明的是，本申请技术问题的发现以及下述实施例介绍的技术方案，申请人均付出了大量的创造性劳动。
在一个实施例中，如图1所示，提供了一种基于联合检测的裂缝检测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：
步骤101，获取待检测对象的目标图像。
其中，待检测对象指需要进行裂缝检测的对象，可以是沥青路、混凝土路、桥梁、其它建筑等工程结构。待检测对象的目标图像一般为对前述工程结构的表面进行采集得到的图像。图像视角可以为俯视视角，若为其它视角的图像，则可以采用相关算法对图像进行处理，得到俯视视角的图像。
在实施中，终端可以通过摄像装置(如摄像头、或安装有摄像部件的检测设备等)对待检测对象进行图像拍摄，得到目标图像。在一个示例中，目标图像如图2a所示，其为对沥青路面进行拍摄得到的数字图像，该图像中包含a、b、c、d四条裂缝。
步骤102，将目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果。
其中，第一检测结果为目标图像中各检测区域对应的裂缝识别结果，裂缝识别结果包括包含裂缝和不包含裂缝。检测区域为目标图像中用于裂缝检测的单位区域，各单位区域为独立区域，即各单位区域互不重叠。各检测区域对应的裂缝识别结果，即表示该检测区域包含裂缝或不包含裂缝。第二检测结果为包含类别预测置信度和位置信息的裂缝预测框。
在实施中，终端可以采用预先训练的裂缝联合检测网络，对目标图像进行裂缝检测。裂缝联合检测网络可以对输入的目标图像进行处理后，输出两种检测结果(基于检测区域的第一检测结果和基于预测框的第二检测结果)。在一个示例中，检测区域可以是网格区域，采用裂缝联合检测网络对如图2a所示的目标图像进行检测后，可以得到如图2b所示的第一检测结果和如图2c所示的第二检测结果。在如图2b所示的第一检测结果中，虚线标注的检测区域(如第一行第一列的网格n0101等)表示裂缝识别结果为不包含裂缝的区域，实线标注的检测区域(如第4行第8列的网格n0408、第10行第12列的网格n1012等)表示裂缝识别结果为包含裂缝的区域。在如图2c所示的第二检测结果包含5个裂缝预测框，分别为Box1至Box5，可知裂缝预测框Box1将裂缝a和b作为一条裂缝而被误检出，因此裂缝a同时被初始预测框Box1和Box2检测出，裂缝b同时被初始预测框Box1和Box3检测出，即存在同一裂缝被多个预测框重复检出的情况。
步骤103，将裂缝识别结果为包含裂缝的检测区域确定为候选检测区域。
在实施中，终端可以根据第一检测结果中各对象检测区域对应的裂缝识别结果，筛选出裂缝识别结果为包含裂缝的对象检测区域，作为候选检测区域。如图2b所示的第一检测结果中，可以筛选出实线标注的、裂缝识别结果为包含裂缝的候选检测区域(如第4行第8列的网格n0408、第10行第12列的网格n1012等)。
步骤104，根据各候选检测区域与各裂缝预测框的重叠面积，在各候选检测区域中确定包含裂缝的目标检测区域。
在实施中，终端可以根据各候选检测区域的位置信息，以及各裂缝预测框的位置信息，计算各候选检测区域与各裂缝预测框的重叠面积，并基于计算出的重叠面积，在各候选检测区域中确定出包含裂缝的目标检测区域。若候选检测区域与裂缝预测框重叠，则说明该两种检测结果均表明该重叠区域有较大概率包含裂缝，则根据是否有重叠，或根据重叠面积的大小确定出的目标检测区域，其包含裂缝的可能性较大，即可以更准确的检测出包含裂缝的目标检测区域，并且，由于各目标检测区域互不重叠，可以避免同一裂缝(或同一部分裂缝，如一条裂缝较长时，可能多个相邻检测区域均包含该裂缝，但每个检测区域检测出的为该裂缝的不同部分)被多个目标检测区域重复检出的情况，由此可以提高裂缝检测的精确度，基于目标检测区域进行裂缝率计算，可以提高裂缝率的计算准确度。在一个示例中，如图2d所示的第一检测结果和第二检测结果对比图，可知候选检测区域n0408与裂缝预测框Box1和Box2均有面积重叠，则可将检测区域n0408确定为目标检测区域，而候选检测区域n1012、n1112、以及n1809与各裂缝预测框均无面积重叠，则可以将候选检测区域n1012、n1112、以及n1809作为离群网格过滤掉，不作为最终的目标检测区域。由此，可以得到如图2e所示的目标检测区域(实线标注出的区域)。
上述基于联合检测的裂缝检测方法中，通过预先训练的裂缝联合检测网络对待检测对象的目标图像进行裂缝检测，可以得到两种检测结果。其中，第一检测结果为目标图像各检测区域对应的裂缝识别结果，第二检测结果为包含类别预测置信度和位置信息的裂缝预测框。然后，通过将裂缝识别结果为包含裂缝的检测区域确定为候选检测区域，并根据各候选检测区域与各裂缝预测框的重叠面积，在各候选检测区域中确定出目标检测区域，即检测出目标图像中的目标检测区域包含裂缝。本方法中，通过裂缝联合检测网络对目标图像进行检测得到基于多个检测区域的第一检测结果、和基于预测框的第二检测结果，并基于候选检测区域和裂缝预测框的重叠面积，对两种检测结果进行匹配，保留两种检测结果均表明有较大概率包含裂缝的目标检测区域，可以提高目标检测区域包含裂缝的检测准确度或置信度，同时，由于各目标检测区域互不重叠，可以避免同一裂缝(或同一部分裂缝)被多个目标检测区域重复检出的情况，由此可以提高裂缝检测的精确度。并且，基于目标检测区域更有利于裂缝率的计算，可以提高裂缝率的计算准确度。
在一个实施例中，步骤104中确定目标检测区域的过程具体包括如下步骤：针对每个候选检测区域，计算候选检测区域和各裂缝预测框的重叠面积，并在各重叠面积中，存在至少一个重叠面积大于预设阈值的情况下，将候选检测区域确定为包含裂缝的目标检测区域。
在实施中，终端在确定出裂缝识别结果为包含裂缝的各候选检测区域后，可以针对每个候选检测区域，根据该候选检测区域的位置信息和各裂缝预测框的位置信息，计算该候选检测区域与每个裂缝预测框的重叠面积，由此可以得到重叠面积集合，即该重叠面积集合中的每个数值对应一个裂缝预测框与该候选检测区域的重叠面积，重叠面积集合中的数值数量与裂缝预测框的数量相同。若重叠面积集合中存在一个数值大于预设阈值，即前述计算得到的重叠面积中，存在至少一个重叠面积大于预设阈值的情况下，则将该候选检测区域确定为包含裂缝的目标检测区域。预设阈值可以根据情况设置，例如可以设为0，即存在任意一个裂缝预测框与该候选检测区域重叠，即将该候选检测区域确定为目标检测区域，也可以设为其它数值，在此不在限定。可以理解的，若该候选检测区域与各裂缝预测框的重叠面积均小于或等于预设阈值，则可以认为该候选检测区域不包含裂缝，可以将该候选检测区域作为过滤区域，即可以在第一检测结果中裂缝识别结果为包含裂缝的各检测区域中，将过滤区域去除，剩下的检测区域即为包含裂缝的目标检测区域。
在另一种实现方式中，针对每个候选检测区域计算出该候选检测区域和各裂缝预测框的重叠面积之后，可以进一步计算各重叠面积与该候选检测区域的比值，得到重叠面积比(可记为IoA)。然后，可以将重叠面积比与预设阈值进行比较，若存在至少一个重叠面积比大于预设阈值，或将重叠面积比进行大小排序，将最大的重叠面积比与预设阈值进行比较，若该最大重叠面积比大于预设阈值，则将该候选检测区域确定为目标检测区域。
本实施例中，通过计算候选检测区域与各裂缝预测框的重叠面积，若至少一个重叠面积大于预设阈值，则将该候选检测区域作为目标检测区域。也即，通过基于预测框的第二检测结果，对基于检测区域的第一检测结果进行纠正，将与各裂缝预测框的重叠面积均不符合要求(小于或等于预设阈值)的检测区域去除(或称为过滤掉离群检测区域)，由此，可以提高基于检测区域的裂缝检测准确度。并且，与裂缝预测框不同的是，各目标检测区域互不重叠，可以避免多个目标检测区域重复检出同一裂缝(或同一部分裂缝)的情况，从而可以提高裂缝检测的精确度。
在一个实施例中，检测区域为预设尺寸的网格区域，各网格区域组成目标图像。该方法还包括如下步骤：确定目标检测区域的数量、以及目标图像包含的网格区域的总数量，并计算数量与总数量的比值，将比值确定为待检测对象的总裂缝率。
在实施中，各检测区域为目标图像中的一个网格区域。例如，可以将目标图像进行网格划分，得到多个网格区域，一个网格区域即为一个检测区域。每个网格区域的尺寸为预设尺寸，具体尺寸可以根据情况预先设置，例如可以根据。例如，可以通过设置预设尺寸，使得每个网格区域对应的待检测对象的实际尺寸为100mm*100mm，也即，若待检测对象为沥青路面，目标图像为沥青路面的图像，则每个网格区域对应沥青路面的实际尺寸为100mm*100mm。
在确定出目标检测区域后，终端还可以进一步计算目标检测区域的数量(可记为n)和目标图像包含的网格区域的总数量(可记为N)的比值，将该比值确定为待检测对象的总裂缝率(可记为r)。总裂缝率r的计算公式可表示为：
Figure BDA0003852219100000111
本实施例中，通过裂缝联合检测网络进行裂缝检测得到的第一检测结果中，包含各网格区域对应的裂缝识别结果，基于各识别结果为包含裂缝的网格区域(候选检测区域)与各裂缝预测框的重叠面积，对各网格区域进行过滤或筛选，得到目标网格区域(目标检测区域)，由此，可以提高基于网格(检测区域)的裂缝检测准确度，从而可以根据目标网格区域的数量n和网格区域的总数量N计算裂缝率r，可以提高裂缝率的计算准确度和计算效率。
在一个实施例中，第二检测结果还包含裂缝预测框对应的裂缝类别。步骤104确定出目标检测区域之后还包括如下步骤：针对每个目标检测区域，在各裂缝预测框中确定与目标检测区域的重叠面积最大的目标裂缝预测框，并将目标裂缝预测框对应的裂缝类别，确定为目标检测区域对应的裂缝类别。
在实施中，可以预先设置多个裂缝类别，并基于标注有裂缝类别的样本数据对裂缝联合检测网络进行训练，使得第二检测结果中将包含裂缝预测框的类别预测置信度、裂缝类别和位置信息。具体裂缝类别可以根据工程要求设置，例如可以包括纵向裂缝(如图2a中所示的纵向裂缝c)、横向裂缝(如图2a中所示的横向裂缝a和b)、龟裂裂缝(如图2a中所示的龟裂裂缝d)等。具体的，将目标图像输入至裂缝联合检测网络后，可以得到基于检测区域的第一检测结果，并且可以得到多个裂缝预测框，以及每个裂缝预测框对应的各裂缝类别的类别预测置信度，例如得到裂缝预测框Box1的各类别的类别预测置信度分别为：类别为横向裂缝的类别预测置信度为0.6，类别为纵向裂缝的类别预测置信度为0.3，类别为龟裂裂缝的类别预测置信度为0.1，则终端可以将类别预测置信度最大的裂缝类别以及对应的类别预测置信度，作为第二检测结果输出，即输出的第二检测结果中将包含裂缝预测框Box1的位置信息、裂缝预测框Box1对应的类别预测置信度为0.6、以及裂缝预测框Box1对应的裂缝类别为横向裂缝。
终端在确定出各目标检测区域后，可以针对每个目标检测区域，计算各裂缝预测框与该目标检测区域的重叠面积，并将重叠面积最大的裂缝预测框作为目标裂缝预测框。然后，终端可以将目标裂缝预测框对应的裂缝类别，确定为该目标检测区域对应的裂缝类别。
可以理解的，终端可以在确定目标检测区域的过程中，同时确定出该目标检测区域的裂缝类别。具体的，终端可以在计算候选检测区域和各裂缝预测框的重叠面积后，在各重叠面积中确定出最大重叠面积，进而将该最大重叠面积与预设阈值进行比较，若大于预设阈值，则将该候选检测区域确定为目标检测区域，并将该最大重叠面积对应的裂缝预测框的裂缝类别，作为该目标检测区域对应的裂缝类别。
可以理解的，若重叠面积最大的目标裂缝预测框的数量不止一个，即多个目标裂缝预测框与该目标检测区域的重叠面积相同且最大，则可以根据各目标裂缝预测框的裂缝类别的优先权等级，确定出优先权等级最高的裂缝类别作为该目标检测区域对应的裂缝类别。优先权等级可以预先设置，例如可以设龟裂的优先权等级最高，横向裂缝的优先权等级次之，纵向裂缝的优先权等级最低。例如，若同时确定出两个目标裂缝预测框i和j，且目标裂缝预测框i的裂缝类别为龟裂裂缝，目标裂缝预测框j的裂缝类别为纵向裂缝，由于龟裂裂缝的优先权等级高于纵向裂缝，则可以将龟裂裂缝作为该目标检测区域对应的裂缝类别。
进一步的，各检测区域可以为网格区域，在确定出各目标网格区域(目标检测区域)对应的裂缝类别后，还可以计算各裂缝类别下的目标网格区域的数量，然后，可以分别计算各裂缝类别下的目标网格区域的数量与目标图像包含的网格区域的总数量的比值，作为待检测对象的各裂缝类别的子裂缝率。
本实施例中，可以将与目标检测区域的重叠面积最大的裂缝预测框的裂缝类别，作为目标检测区域对应的裂缝类别，即认为目标检测区域包含类别为该裂缝类别的裂缝。由此，可以结合基于检测区域的检测结果和基于预测框的检测结果各自的优势，得到检测精确度更高的检测结果(包含裂缝的目标检测区域及裂缝类别)，并且基于该检测结果可以便利高效的计算待检测对象的各裂缝类别的子裂缝率。
在一个实施例中，裂缝联合检测网络包括骨干网络、与骨干网络分别连接的第一颈部网络和第二颈部网络、以及与第一颈部网络连接的第一头部网络，与第二颈部网络连接的第二头部网络。如图3所示，步骤102中得到第一检测结果和第二检测结果的过程具体包括如下步骤：
步骤301，将目标图像输入至骨干网络进行特征提取，并将提取的特征信息分别输入至第一颈部网络和第二颈部网络，通过第一颈部网络进行第一处理，得到第一特征图，并通过第二颈部网络进行第二处理，得到第二特征图。
其中，第一特征图的每个像素点与一个检测区域对应。
在实施中，预先构建并训练的裂缝联合检测网络可以包括骨干网络、与骨干网络分别连接的第一颈部网络和第二颈部网络、以及与第一颈部网络连接的第一头部网络，与第二颈部网络连接的第二头部网络。如图4所示的裂缝联合检测网络的结构示意图，包括骨干网络backbone，第一颈部网络neck1和第二颈部网络neck2，以及第一头部网络head1和第二头部网络head2。其中，骨干网络backbone可以采用VGG、ResNet、DensNet、DarkNet等骨干网络，neck1和neck2可采用FPN+PAN等结构。
终端可以将目标图像输入至骨干网络backbone进行特征提取，并将提取的特征信息分别输入至第一颈部网络neck1和第二颈部网络neck2进行下一步处理。具体的，通过第一颈部网络neck1进行第一处理，如通过卷积操作等，对backbone输出的特征信息进行进一步特征提取和降维处理，以将目标图像中的每个检测区域下采样至一个像素点，各像素点即组成第一特征图。其中，第一特征图与目标图像包含的检测区域的数量一致，第一特征图的每个像素点与一个检测区域对应。可以根据像素点在特征图中的位置信息，和检测区域在目标图像中的位置信息，将特征图中的像素点与检测区域进行一一对应。
将backbone提取的特征信息输入至第二颈部网络neck2后，可以通过第二颈部网络neck2进行第二处理，如特征组合、进一步特征提取等，得到第二特征图。具体处理过程可以采用目标检测算法(如你只需看一次算法(You Only Look Once，YOLO-v5)中颈部网络(neck网络)的处理过程，在此不再赘述。
步骤302，将第一特征图输入至第一头部网络，通过第一头部网络对第一特征图的每个像素点进行第一裂缝类别预测，得到第一检测结果。
在实施中，终端可以将第一特征图输入至第一头部网络head1，通过第一头部网络head1对第一特征图的每个像素点进行第一裂缝类别预测，得到第一检测结果。具体的，head1可以将neck1输出的第一特征图中各像素点对应的通道数卷积为类别数(如类别为裂缝或为非裂缝)，作为该像素点对应的检测区域的裂缝识别结果，由此得到第一检测结果。
步骤303，将第二特征图输入至第二头部网络进行第二裂缝类别预测，得到第二检测结果。
在实施中，终端可以将neck2输出的第二特征图输入至第二头部网络head2进行第二裂缝类别预测，得到包含位置信息和类别预测置信度的裂缝预测框，作为第二检测结果。具体处理过程可以采用目标检测算法(如YOLO-v5)中头部网络(head网络)的处理过程，在此不再赘述。
本实施例中，通过将目标图像输入至裂缝联合检测网络，通过裂缝联合检测网络的骨干网络进行特征提取，并将提取的特征信息输入至第一颈部网络，通过第一颈部网络进行第一处理，得到第一特征图，然后将第一特征图输入至第一头部网络，通过第一头部网络对第一特征图中每个像素点进行裂缝类别预测，可以同时得到各像素点对应的裂缝识别结果，由于像素点与检测区域对应，即可同时得到各检测区域对应的裂缝识别结果，作为基于检测区域的第一检测结果。同时，将提取的特征信息输入至第二颈部网络，通过第二颈部网络进行第二处理，并将处理结果输入至第二头部网络，以得到基于预测框的第二检测结果。由此，可以利用同一骨干网络提取的特征信息进行之后两个分支的处理，避免各分支分别采用各自的骨干网络，从而可以提高裂缝检测的效率，节省计算资源，并且基于两种检测结果进行下一步匹配处理得到目标检测区域，可以提高裂缝检测的精确度。
在一个实施例中，如图5所示，裂缝联合检测网络的训练过程包括如下步骤：
步骤501，获取样本对象的样本图像、以及样本图像对应的标注数据。
其中，标注数据包括第一类型标注数据和第二类型标注数据，第一类型标注数据为样本图像包含的多个样本检测区域对应的裂缝标注结果，裂缝标注结果包括包含裂缝和不包含裂缝。第二类型标注数据为包含裂缝类别信息和位置信息的标注框。
在实施中，可以通过采集设备采集样本对象的样本图像。样本对象可以与待检测对象的类别相同，例如，若待检测对象为沥青路面，则可以采集沥青路面的图像，作为样本图像。样本图像的拍摄视角可以为俯视视角，若为其它视角的图像，则可以采用相关算法对图像进行处理，得到俯视视角的样本图像。
然后，可以对采集的样本图像进行第一类型数据标注和第二类型数据标注，得到两种类型的标注数据。其中，第一类型标注数据为样本图像包含的多个样本检测区域对应的裂缝标注结果，裂缝标注结果包括包含裂缝(如标注标识为1)和不包含裂缝(如标注标识为0)。例如，可以将样本图像进行网格划分，得到多个网格区域(如得到20*20个网格区域)，使得每个网格区域对应的样本对象(如沥青路面)的实际尺寸满足预设尺寸，如每个网格区域对应的样本对象的实际尺寸满足100mm*100mm。可以理解的，考虑到裂缝联合检测网络对图像特征下采样的倍率约束(如设置下采样32倍)和网格区域对应的实际尺寸的约束，可以对样本图像的尺寸进行约束或调整。
例如，可以约束样本图像的尺寸(像素)为640*640，且每32*32的图像尺寸满足样本对象的实际尺寸要求(如100mm*100mm)，即对输入的尺寸为640*640的样本图像进行特征下采样32倍后，可以得到20*20维度的特征图，即特征图包含400个像素点，每个像素点对应样本图像中32*32的局部图像区域，则每个局部图像区域(检测区域，或网格区域)满足样本对象的实际尺寸要求。若采集的图像的尺寸为2048*2048，且两个像素的间距为约1毫米的地面样本距离(GSD)，则可以将该图像的尺寸调整为640*640后，作为一个样本图像。
第二类型标注数据为包含裂缝类别信息和位置信息的标注框，即可以对样本图像包含的裂缝进行标框标注，每个标注框包含裂缝类别信息(如横向裂缝、纵向裂缝或龟裂裂缝)和位置信息，然后可以基于聚类算法和遗传算法得到自适应锚框，一并作为第二类型标注数据。
步骤502，将样本图像和标注数据，输入至初始的裂缝联合检测网络进行联合训练，得到训练后的裂缝联合检测网络。
在实施中，终端可以将样本图像和两类标注数据输入至初始的裂缝联合检测网络进行联合训练。其中，初始的裂缝联合检测网络的结构可以如图4所示，包括骨干网络backbone、与骨干网络backbone分别连接的第一颈部网络neck1和第二颈部网络neck2、以及与第一颈部网络neck1连接的第一头部网络head1，与第二颈部网络neck2连接的第二头部网络head2。
在训练过程中，可以基于第一头部网络head1的第一预测结果(各样本检测区域对应的裂缝预测结果)与第一类型标注数据中各样本检测区域对应的裂缝标注结果，计算第一损失值，具体可以采用交叉熵和焦点损失函数，并基于第二头部网络head2的第二预测结果和第二类型标注数据计算第二损失值，然后以第一损失值和第二损失值的和值最小为优化目标，联合训练裂缝联合检测网络，当达到训练结束条件时，如迭代次数达到预设次数，或损失值(和值)小于预设阈值，即得到训练后的裂缝联合检测网络。
本实施例中，通过对样本图像进行两种类型的标注，并将标注数据和样本图像用于裂缝联合检测网络的联合训练，且裂缝联合检测网络的两种检测结果共用一个骨干网络，可以提高裂缝联合检测网络的训练效率和训练效果，从而提高两种检测结果的裂缝检测准确度和检测效率，进而基于两种检测结果进一步处理得到目标检测区域，可以进一步提高裂缝检测精确度。
在一个实施例中，还提供了一种基于检测区域的裂缝检测方法，包括如下步骤：
步骤1，获取待检测对象的目标图像。
步骤2，将所述目标图像输入至预训练的基于检测区域的裂缝检测网络，得到目标图像中各检测区域对应的裂缝识别结果。裂缝识别结果包括包含裂缝和不包含裂缝。
其中，检测区域可以是网格区域。裂缝检测网络可以包括骨干网络backbone、与骨干网络连接的颈部网络neck、以及与颈部网络连接的头部网络head。骨干网络backbone可以采用VGG、ResNet、DensNet、DarkNet等结构的骨干网络，颈部网络neck可以采用FPN+PAN等结构的网络。目标图像输入至骨干网络backbone进行特征提取后，再将特征信息输入至颈部网络neck进行处理，已将个检测区域(网格)下采样至一个像素点，各像素点即组成特征图，也即，特征图包含的像素点与检测区域(网格)的数量一致，每个像素点对应一个检测区域。然后，头部网络head将neck输出的特征图中每个像素点的通道数卷积为类别数。例如，对于一张2048*2048像素约1毫米GSD的目标图像，可以将该图像的尺寸调整到640*640，然后输入至裂缝检测网络，通过骨干网络backbone和颈部网络neck处理后，neck将输出维度为20*20的特征图，即对输入的图像下采样32倍，得到包含400个像素点的特征图，每个像素点对应的检测区域(网格)尺寸为32*32，其对应于待检测对象的实际尺寸约为100mm*100mm，符合公路技术状况评定标准的要求，同时便于后续裂缝率的计算。然后，头部网络head再将该特征图的每个像素点的通道数卷积为类别数，每个通道代表不同类别的概率，类别可以包括裂缝和非裂缝两个类别。用于训练裂缝检测网络的样本数据还可以进一步标注裂缝的类别，如横向裂缝、纵向裂缝、龟裂裂缝等，由此训练后的裂缝检测网络还可以进一步识别出包含裂缝的检测区域对应的裂缝类别。
步骤3，将裂缝识别结果为包含裂缝的检测区域确定为目标检测区域。
进一步的，基于检测区域的裂缝检测网络的训练过程包括如下步骤：
步骤1，获取样本对象的样本图像。
步骤2，对样本图像中各样本检测区域进行裂缝标注，得到标注数据。
具体的，检测区域可以为网格，可以将样本图像划分为多个网格(如将640*640的图像，划分为20*20个网格)，然后对每个网格进行标注，如包含裂缝则标注为1，不包含裂缝则标注为0。进一步的，若包含裂缝，且为横向裂缝，可以标注为101，若为纵向裂缝，可以标注为102，若为龟裂裂缝，可标注为103。
可选的，可以采用在线数据增强算法，对样本图像进一步扩充，一并作为样本图像，以保证样本图像的丰富性和多样性。其中，若数据增强算法涉及几何变换操作时，需要注意保持网格的位置和大小符合标准网格划分。所谓标准网格划分，即对于一张图像，将其划分为n行m列的网格，每个网格对应的实际尺寸约为100mm*100mm。例如在mosaic(一种数据增强方法)中，裁剪拼接四张图像，每张图像均需要沿着标准网格的边缘裁剪再进行拼接，以保证数据增强后的图像依旧符合标准网格划分。
步骤3，将样本图像和标注数据输入至初始的裂缝检测网络进行训练，得到训练后的基于检测区域的裂缝检测网络。
具体的，可以将样本图像输入至初始的裂缝检测网络进行处理，其中每个检测区域(网格)在颈部网络neck输出的特征图上都被下采样至一个像素点，然后通过头部网络head对各像素点进行裂缝预测，得到各样本检测区域对应的裂缝识别结果，然后根据裂缝识别结果和标注数据计算损失值，并根据损失值更新裂缝检测网络的参数(权重等)，使得损失值最小，得到基于检测区域的裂缝检测网络。
可选的，可以采用交叉熵损失函数(BCEWithLogitsLoss)来训练网络，同时可采用焦点损失函数(focalloss)进一步处理正负样本不均衡的问题。交叉熵损失函数的公式如下所示：
Figure BDA0003852219100000181
其中，颈部网络neck输出的特征图的尺寸为S1×S2，pi(c)表示特征图中像素点i的裂缝类别为类别c的概率，*表示对应的预测值。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于联合检测的裂缝检测方法的基于联合检测的裂缝检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于联合检测的裂缝检测装置实施例中的具体限定可以参见上文中对于基于联合检测的裂缝检测方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种基于联合检测的裂缝检测装置600，包括：第一获取模块601、检测模块602、第一确定模块603和第二确定模块604，其中：
第一获取模块601，用于获取待检测对象的目标图像。
检测模块602，用于将目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果；第一检测结果为目标图像中各检测区域对应的裂缝识别结果；裂缝识别结果包括包含裂缝和不包含裂缝；第二检测结果为包含类别预测置信度和位置信息的裂缝预测框。
第一确定模块603，用于将裂缝识别结果为包含裂缝的检测区域确定为候选检测区域。
第二确定模块604，用于根据各候选检测区域与各裂缝预测框的重叠面积，在各候选检测区域中确定包含裂缝的目标检测区域。
在其中一个实施例中，第二确定模块604具体用于：针对每个候选检测区域，计算候选检测区域和各裂缝预测框的重叠面积，并在各重叠面积中，存在至少一个重叠面积大于预设阈值的情况下，将候选检测区域确定为包含裂缝的目标检测区域。
在其中一个实施例中，检测区域为预设尺寸的网格区域，各网格区域组成目标图像。该装置还包括计算模块，用于确定目标检测区域的数量、以及目标图像包含的网格区域的总数量，并计算数量与总数量的比值，将比值确定为待检测对象的总裂缝率。
在其中一个实施例中，第二检测结果还包含裂缝预测框对应的裂缝类别。该装置还包括第三确定模块，用于针对每个目标检测区域，在各裂缝预测框中确定与目标检测区域的重叠面积最大的目标裂缝预测框，并将目标裂缝预测框对应的裂缝类别，确定为目标检测区域对应的裂缝类别。
在其中一个实施例中，裂缝联合检测网络包括骨干网络、与骨干网络分别连接的第一颈部网络和第二颈部网络、以及与第一颈部网络连接的第一头部网络，与第二颈部网络连接的第二头部网络。检测模块602具体用于：将目标图像输入至骨干网络进行特征提取，并将提取的特征信息分别输入至第一颈部网络和第二颈部网络，通过第一颈部网络进行第一处理，得到第一特征图，并通过第二颈部网络进行第二处理，得到第二特征图；其中，第一特征图的每个像素点与一个检测区域对应；将第一特征图输入至第一头部网络，通过第一头部网络对第一特征图的每个像素点进行第一裂缝类别预测，得到第一检测结果；将第二特征图输入至第二头部网络进行第二裂缝类别预测，得到第二检测结果。
在其中一个实施例中，该装置还包括第二获取模块和训练模块，其中：
第二获取模块，用于获取样本对象的样本图像、以及样本图像对应的标注数据；标注数据包括第一类型标注数据和第二类型标注数据，第一类型标注数据为样本图像包含的多个样本检测区域对应的裂缝标注结果，裂缝标注结果包括包含裂缝和不包含裂缝；第二类型标注数据为包含裂缝类别信息和位置信息的标注框。
训练模块，用于将样本图像和标注数据，输入至初始的裂缝联合检测网络进行联合训练，得到训练后的裂缝联合检测网络。
上述基于联合检测的裂缝检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于联合检测的裂缝检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于联合检测的裂缝检测方法，其特征在于，所述方法包括：
获取待检测对象的目标图像；
将所述目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果；所述第一检测结果为所述目标图像中各检测区域对应的裂缝识别结果；所述裂缝识别结果包括包含裂缝和不包含裂缝；所述第二检测结果为包含类别预测置信度和位置信息的裂缝预测框；
将所述裂缝识别结果为包含裂缝的所述检测区域确定为候选检测区域；
根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定包含裂缝的目标检测区域。
2.根据权利要求1所述的方法，其特征在于，所述根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定目标检测区域，包括：
针对每个所述候选检测区域，计算所述候选检测区域和各所述裂缝预测框的重叠面积，并在各所述重叠面积中，存在至少一个所述重叠面积大于预设阈值的情况下，将所述候选检测区域确定为包含裂缝的目标检测区域。
3.根据权利要求1所述的方法，其特征在于，所述检测区域为预设尺寸的网格区域，各所述网格区域组成所述目标图像；所述方法还包括：
确定所述目标检测区域的数量、以及所述目标图像包含的所述网格区域的总数量，并计算所述数量与所述总数量的比值，将所述比值确定为所述待检测对象的总裂缝率。
4.根据权利要求1所述的方法，其特征在于，所述第二检测结果还包含所述裂缝预测框对应的裂缝类别；所述根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定包含裂缝的目标检测区域之后，还包括：
针对每个所述目标检测区域，在各所述裂缝预测框中确定与所述目标检测区域的重叠面积最大的目标裂缝预测框，并将所述目标裂缝预测框对应的裂缝类别，确定为所述目标检测区域对应的裂缝类别。
5.根据权利要求1所述的方法，其特征在于，所述裂缝联合检测网络包括骨干网络、与所述骨干网络分别连接的第一颈部网络和第二颈部网络、以及与所述第一颈部网络连接的第一头部网络，与所述第二颈部网络连接的第二头部网络；所述将所述目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果，包括：
将所述目标图像输入至所述骨干网络进行特征提取，并将提取的特征信息分别输入至所述第一颈部网络和所述第二颈部网络，通过所述第一颈部网络进行第一处理，得到第一特征图，并通过所述第二颈部网络进行第二处理，得到第二特征图；其中，所述第一特征图的每个像素点与一个所述检测区域对应；
将所述第一特征图输入至所述第一头部网络，通过所述第一头部网络对所述第一特征图的每个像素点进行第一裂缝类别预测，得到所述第一检测结果；
将所述第二特征图输入至所述第二头部网络进行第二裂缝类别预测，得到所述第二检测结果。
6.根据权利要求1所述的方法，其特征在于，所述裂缝联合检测网络的训练过程包括：
获取样本对象的样本图像、以及所述样本图像对应的标注数据；所述标注数据包括第一类型标注数据和第二类型标注数据，所述第一类型标注数据为所述样本图像包含的多个样本检测区域对应的裂缝标注结果，所述裂缝标注结果包括包含裂缝和不包含裂缝；所述第二类型标注数据为包含裂缝类别信息和位置信息的标注框；
将所述样本图像和所述标注数据，输入至初始的裂缝联合检测网络进行联合训练，得到训练后的裂缝联合检测网络。
7.一种基于联合检测的裂缝检测装置，其特征在于，所述装置包括：
第一获取模块，用于获取待检测对象的目标图像；
检测模块，用于将所述目标图像输入至预训练的裂缝联合检测网络，得到第一检测结果和第二检测结果；所述第一检测结果为所述目标图像中各检测区域对应的裂缝识别结果；所述裂缝识别结果包括包含裂缝和不包含裂缝；所述第二检测结果为包含类别预测置信度和位置信息的裂缝预测框；
第一确定模块，用于将所述裂缝识别结果为包含裂缝的所述检测区域确定为候选检测区域；
第二确定模块，用于根据各所述候选检测区域与各所述裂缝预测框的重叠面积，在各所述候选检测区域中确定包含裂缝的目标检测区域。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202211136220.8A 2022-09-19 2022-09-19 基于联合检测的裂缝检测方法、装置和计算机设备 Pending CN115526846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211136220.8A CN115526846A (zh) 2022-09-19 2022-09-19 基于联合检测的裂缝检测方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211136220.8A CN115526846A (zh) 2022-09-19 2022-09-19 基于联合检测的裂缝检测方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN115526846A true CN115526846A (zh) 2022-12-27

Family

ID=84697592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211136220.8A Pending CN115526846A (zh) 2022-09-19 2022-09-19 基于联合检测的裂缝检测方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN115526846A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503344A (zh) * 2023-04-21 2023-07-28 南京邮电大学 一种基于深度学习的裂纹实例分割方法
CN117237601A (zh) * 2023-09-08 2023-12-15 中公高科养护科技股份有限公司 一种水泥路面病害识别方法、介质及系统
CN117557881A (zh) * 2024-01-12 2024-02-13 城云科技（中国）有限公司 基于特征图对齐和图文匹配的道路裂缝检测方法及应用

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503344A (zh) * 2023-04-21 2023-07-28 南京邮电大学 一种基于深度学习的裂纹实例分割方法
CN117237601A (zh) * 2023-09-08 2023-12-15 中公高科养护科技股份有限公司 一种水泥路面病害识别方法、介质及系统
CN117557881A (zh) * 2024-01-12 2024-02-13 城云科技（中国）有限公司 基于特征图对齐和图文匹配的道路裂缝检测方法及应用
CN117557881B (zh) * 2024-01-12 2024-04-05 城云科技（中国）有限公司 基于特征图对齐和图文匹配的道路裂缝检测方法及应用

Similar Documents

Publication Publication Date Title
CN115526846A (zh) 基于联合检测的裂缝检测方法、装置和计算机设备
US20210319561A1 (en) Image segmentation method and system for pavement disease based on deep learning
Ma et al. A real-time crack detection algorithm for pavement based on CNN with multiple feature layers
Zhou et al. Automatic sewer defect detection and severity quantification based on pixel-level semantic segmentation
CN110390666A (zh) 道路损伤检测方法、装置、计算机设备及存储介质
Hoang Image Processing‐Based Spall Object Detection Using Gabor Filter, Texture Analysis, and Adaptive Moment Estimation (Adam) Optimized Logistic Regression Models
CN109886159B (zh) 一种非限定条件下的人脸检测方法
Çelik et al. A sigmoid‐optimized encoder–decoder network for crack segmentation with copy‐edit‐paste transfer learning
CN109886330A (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN115605878A (zh) 使用基于自注意力的神经网络处理图像
CN113947766B (zh) 一种基于卷积神经网络的实时车牌检测方法
CN110516559B (zh) 适用于精准监控的目标跟踪方法及装置、计算机设备
CN114049568B (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
Miao et al. Deep learning‐based evaluation for mechanical property degradation of seismically damaged RC columns
CN115984273B (zh) 道路病害检测方法、装置、计算机设备及可读存储介质
CN115797781A (zh) 农作物识别方法、装置、计算机设备和存储介质
CN108847031A (zh) 交通行为监控方法、装置、计算机设备和存储介质
CN112183312A (zh) 基于智慧城市的城市管理事件处理方法
Zhai et al. Automatic pavement crack detection using multimodal features fusion deep neural network
WO2024183287A1 (zh) 表格通用识别方法、装置、设备和介质
Yoo et al. A new drought monitoring approach using three-dimensional drought properties based on a dynamic drought detection technique algorithm
Li et al. Automatic crack detection on concrete and asphalt surfaces using semantic segmentation network with hierarchical Transformer
Wang et al. Instance segmentation of soft‐story buildings from street‐view images with semiautomatic annotation
Ji et al. A transformer-based deep learning method for automatic pixel-level crack detection and feature quantification
CN109583584B (zh) 可使具有全连接层的cnn接受不定形状输入的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination