CN117274817B - 裂缝自动化识别方法、装置、终端设备及存储介质 - Google Patents

裂缝自动化识别方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN117274817B
CN117274817B CN202311518200.1A CN202311518200A CN117274817B CN 117274817 B CN117274817 B CN 117274817B CN 202311518200 A CN202311518200 A CN 202311518200A CN 117274817 B CN117274817 B CN 117274817B
Authority
CN
China
Prior art keywords
image
network
crack
virtual
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311518200.1A
Other languages
English (en)
Other versions
CN117274817A (zh
Inventor
梅柳
盛昊
高驭旻
龙武剑
李利孝
罗启灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202311518200.1A priority Critical patent/CN117274817B/zh
Publication of CN117274817A publication Critical patent/CN117274817A/zh
Application granted granted Critical
Publication of CN117274817B publication Critical patent/CN117274817B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于工程结构表面裂缝检测技术领域，公开了一种裂缝自动化识别方法、装置、终端设备及存储介质，其中，方法包括：利用已训练的图像生成模型，获得虚拟图像数据集，所述已训练的图像生成模型基于预处理后的真实图像数据集训练得到，根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建目标图像数据集，标注所述目标图像数据集，得到已标注的目标图像数据集，根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型。本发明能够在存在裂缝状干扰项的情况下，实现深度学习模型对裂缝图像的精确识别。

Description

裂缝自动化识别方法、装置、终端设备及存储介质
技术领域
本发明属于工程结构表面裂缝检测技术领域，尤其涉及一种裂缝自动化识别方法、装置、终端设备及存储介质。
背景技术
随着社会经济的快速发展，我国建设了大量公共基础设施，例如公路、大坝、桥梁等大量民生工程。这些工程结构在长时间的使用之后，都会不可避免地出现裂缝、坑槽等缺陷，需要及时进行缺陷检测和修复，从而避免安全事故的发生。
目前，针对工程结构表面存在的裂缝，大多数裂缝检测仍然依靠人工进行巡视检查，裂缝检测效率较低，且容易漏检。近年来，深度学习技术兴起，出现了基于深度学习的裂缝识别技术，能够实现自动化裂缝识别，但是在实际的工程应用中，检测精确度较低。
发明内容
本申请实施例提供了一种裂缝自动化识别方法、装置、终端设备及存储介质，能够利用生成对抗网络扩展有限的裂缝图像数据集，得到扩展图像数据集，并基于扩展数据集训练深度学习模型，在存在裂缝状干扰项的情况下，实现深度学习模型对裂缝图像的精确识别。
第一方面，本申请实施例提供了一种裂缝自动化识别方法，包括：
利用已训练的图像生成模型，获得虚拟图像数据集，所述已训练的图像生成模型基于预处理后的真实图像数据集训练得到；
根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建目标图像数据集；
标注所述目标图像数据集，得到已标注的目标图像数据集；
根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型。
第二方面，本申请实施例提供了一种裂缝自动化识别装置，包括：
虚拟图像获取模块，用于利用已训练的图像生成模型，获得虚拟图像数据集，所述已训练的图像生成模型基于预处理后的真实图像数据集训练得到；
目标图像构建模块，用于根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建目标图像数据集；
图像标注模块，用于标注所述目标图像数据集，得到已标注的目标图像数据集；
模型训练模块，用于根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的裂缝自动化识别方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述的裂缝自动化识别方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面所述的裂缝自动化识别方法的步骤。
本发明第一方面提供的裂缝自动化识别方法，通过利用已训练的图像生成模型，获得虚拟图像数据集，根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建目标图像数据集，标注所述目标图像数据集，得到已标注的目标图像数据集，根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型，能够在存在裂缝状干扰项的情况下，实现深度学习模型对裂缝图像的精确识别。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的裂缝自动化识别方法的第一种流程示意图；
图2是本发明实施例提供的一种真实裂缝图像示意图；
图3是本发明实施例提供的一种真实人工痕迹图像示意图；
图4是本发明实施例提供的一种真实污渍图像示意图；
图5是本发明实施例提供的一种真实接缝图像示意图；
图6是本发明实施例提供的一种虚拟裂缝图像示意图；
图7是本发明实施例提供的一种虚拟人工痕迹图像示意图；
图8是本发明实施例提供的一种虚拟污渍图像示意图；
图9是本发明实施例提供的一种虚拟接缝图像示意图；
图10是本发明实施例提供的一种裂缝原始图像示意图；
图11是本发明实施例提供的一种裂缝掩码图像示意图；
图12是本发明实施例提供的一种裂缝标注图像示意图；
图13是本发明实施例提供的一种污渍原始图像示意图；
图14是本发明实施例提供的一种污渍掩码图像示意图；
图15是本发明实施例提供的一种污渍标注图像示意图；
图16是本发明实施例提供的一种接缝原始图像示意图；
图17是本发明实施例提供的一种接缝掩码图像示意图；
图18是本发明实施例提供的一种接缝标注图像示意图；
图19是本发明实施例提供的一种藤蔓原始图像示意图；
图20是本发明实施例提供的一种藤蔓掩码图像示意图；
图21是本发明实施例提供的一种藤蔓标注图像示意图；
图22是本发明实施例提供的一种人工痕迹原始图像示意图；
图23是本发明实施例提供的一种人工痕迹掩码图像示意图；
图24是本发明实施例提供的一种人工痕迹标注图像示意图；
图25是本发明实施例提供的一种裂缝图像识别模型的召回率和精确率的柱状示意图；
图26是本发明实施例提供的一种裂缝图像识别模型的F1分数的柱状示意图；
图27是本发明实施例提供的一种裂缝图像识别模型的召回率曲线示意图；
图28是本发明实施例提供的一种裂缝图像识别模型的精确率曲线示意图；
图29是本发明实施例提供的一种裂缝图像识别模型的F1指数曲线示意图；
图30是本发明实施例提供的裂缝自动化识别方法的第二种流程示意图；
图31是本发明实施例提供的一种StyleGAN2-ADA模型的结构示意图；
图32是本发明实施例提供的一种映射网络的结构示意图；
图33是本发明实施例提供的一种基于Mask-RCNN的裂缝图像识别模型的结构示意图；
图34是本发明实施例提供的一种残差网络残差块的结构示意图；
图35是本发明实施例提供的一种区域建议网络的锚的结构示意图；
图36是本发明实施例提供的一种交并比的结构示意图；
图37是本发明实施例提供的一种生成候选目标区域的结构示意图；
图38是本发明实施例提供的一种感兴趣区域对齐运算的示意图；
图39是本发明实施例提供的一种裂缝图像识别模型的总损失函数曲线示意图；
图40是本发明实施例提供的裂缝自动化识别方法的第三种流程示意图；
图41是本发明实施例提供的一种待识别的原始图像示意图；
图42是本发明实施例提供的一种输入336张真实图像训练后的识别结果示意图；
图43是本发明实施例提供的一种输入336张真实图像和168张虚拟图像训练后的识别结果示意图；
图44是本发明实施例提供的一种输入336张真实图像和336张虚拟图像训练后的识别结果示意图；
图45是本发明实施例提供的一种输入336张真实图像和504张虚拟图像训练后的识别结果示意图；
图46是本发明实施例提供的一种输入336张真实图像和672张虚拟图像训练后的识别结果示意图；
图47是本发明实施例提供的裂缝自动化识别装置的结构示意图；
图48是本发明实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请实施例提供的裂缝自动化识别方法，由终端设备的处理器在运行具有相应功能的计算机程序时执行，通过利用已训练的图像生成模型，获得虚拟图像数据集，根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建目标图像数据集，标注所述目标图像数据集，得到已标注的目标图像数据集，根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型，能够在存在裂缝状干扰项的情况下，实现深度学习模型对裂缝图像的精确识别。
在应用中，终端设备可以是平板电脑（Tablet Personal Computer，Tablet PC）、笔记本电脑（Laptop）、个人计算机（Personal Computer，PC）、（云）服务器（Server）等能够实现数据处理功能的计算设备，本申请实施例对终端设备的具体类型不作任何限制。
如图1所示，在一个实施例中，本申请实施例提供的裂缝自动化识别方法，包括如下步骤S101至步骤S104：
步骤S101、利用已训练的图像生成模型，获得虚拟图像数据集，进入步骤S102。
在应用中，将预处理后的真实图像数据集输入到已训练的图像生成模型中，图像生成模型输出虚拟图像数据集。图2至图5分别示例性地示出了真实裂缝图像、真实人工痕迹图像、真实污渍图像、真实接缝图像，图6至图9分别示例性地示出了图像生成模型生成的虚拟裂缝图像、虚拟人工痕迹图像、虚拟污渍图像、虚拟接缝图像。
步骤S102、根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建目标图像数据集，进入步骤S103。
在应用中，可以根据实际应用需要，汇集不同数量的真实图像和虚拟图像，构建目标图像数据集，例如，利用100张真实图像和100张虚拟图像构建目标图像数据集，或利用200张真实图像和400张虚拟图像构建目标图像数据集等。
在应用中，表1展示了目标图像数据集的工况类型，即采用不同数量的真实图像和虚拟图像的构成目标图像数据集，其中，同一对照组之内，不改变真实图像数量，只改变虚拟图像数量；不同对照组之间，改变真实图像数量。
表1
在应用中，可以根据实际需要，将目标图像数据集，按照一定比例划分为训练集和验证集，例如，7:3、8:2、9:1等比例。
步骤S103、标注所述目标图像数据集，得到已标注的目标图像数据集，进入步骤S104。
在一个实施例中，所述已标注的目标图像数据集包括原始图像、掩码图像和含有不同目标类别的标记图像；
所述目标类别包括裂缝、污渍、接缝、藤蔓和人工痕迹。
在应用中，可以利用图像标注软件（例如，labelme软件），对目标图像数据集内的图像进行标注，得到已标注的目标图像数据集。
在应用中，已标注的目标图像数据集可以包括原始图像、掩码图像和标记图像，标注的目标类别可以包括裂缝、污渍、接缝、藤蔓和人工痕迹。图10至图12分别示例性地示出了裂缝原始图像示意图、裂缝掩码图像示意图、裂缝标注图像示意图；图13至图15分别示例性地示出了污渍原始图像示意图、污渍掩码图像示意图、污渍标注图像示意图；图16至图18分别示例性地示出了接缝原始图像示意图、接缝掩码图像示意图、接缝标注图像示意图；图19至图21分别示例性地示出了藤蔓原始图像示意图、藤蔓掩码图像示意图、藤蔓标注图像示意图；图22至图24分别示例性地示出了人工痕迹原始图像示意图、人工痕迹掩码图像示意图、人工痕迹标注图像示意图。
步骤S104、根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型。
在应用中，可以随机化裂缝图像识别模型的初始权重，也可以将其它领域训练完成的网络参数权重作为裂缝图像识别模型的初始权重，从而提高模型训练的收敛速度，节约计算时间和计算资源，提高模型鲁棒性。
在应用中，可以选用不同数量的真实图像和虚拟图像用于模型训练，得到不同工况下的裂缝图像识别模型，其中，工况的具体内容可以参照步骤S102中的相关描述，在此不再赘述。不同工况下裂缝图像识别模型的性能可以用召回率、精确率、F1分数（或称F1指数）等统计量进行评估。图25示例性地示出了一种裂缝图像识别模型的召回率和精确率的柱状示意图，横坐标为工况，纵坐标为召回率或精确率，其中，每组工况下的左侧柱状表示召回率，右侧柱状表示精确率；图26示例性地示出了一种裂缝图像识别模型的F1分数的柱状示意图；图27、图28、图29分别示例性地示出了一种裂缝图像识别模型的召回率曲线示意图、精确率曲线示意图、F1指数曲线示意图，其中，图27、图28和图29对应的裂缝图像识别模型采用的真实图像数量为336，采用的虚拟图像数量为对应横坐标的数值乘以42。
如图30所示，在一个实施例中，步骤S101之前，包括如下步骤S201至步骤S204：
步骤S201、获取未处理的真实图像数据集，进入步骤S202。
在应用中，可以通过任意具有图像采集功能的图像采集设备来采集真实图像数据集，例如，高清摄像机、无人机等，也可以从终端设备的本地存储空间中获取，或者，与终端设备通信的任意其他设备（例如，远程服务器）的存储空间中获取，例如，从远程服务器的开放图像数据库中获取需要的真实图像数据集。所需获取的真实图像数据集的大小可以根据实际需要确定，例如，100张图像、200张图像等。
步骤S202、去除所述未处理的真实图像数据集中的模糊图像和与裂缝无关的图像，得到预处理后的真实图像数据集，进入步骤S203。
在应用中，去除获取的未处理真实图像数据集中的模糊图像，保留与裂缝相关的污渍、接缝、藤蔓和人工痕迹等真实图像，同时去除与裂缝无关的图像，得到预处理后的真实图像数据集。
步骤S203、建立基于风格迁移生成对抗网络的图像生成模型，所述风格迁移生成对抗网络带有自适应增强功能，进入步骤S204。
在一个实施例中，所述图像生成模型包括生成器网络和判别器网络；
所述生成器网络用于生成虚拟图像；
所述判别器网络用于判别输入图像为真实图像或虚拟图像。
在应用中，可以建立基于带有自适应增强功能的风格迁移生成对抗网络（StyleGenerative Adversarial Network 2-Adaptive Discriminator Augmentation，StyleGAN2-ADA）的图像生成模型。StyleGAN2-ADA模型包括生成器网络和判别器网络，其中，生成器网络用于生成虚拟图像，判别器网络用于判别输入图像为真实图像或为虚拟图像。如图31所示，示例性地示出了一种StyleGAN2-ADA模型的结构示意图。
步骤S204、根据所述预处理后的真实图像数据集，训练所述图像生成模型，得到已训练的图像生成模型。
在一个实施例中，所述图像生成模型的目标函数表达式为：
所述图像生成模型收敛时，目标函数满足纳什平衡条件，表达式为：
其中，表示真实样本分布，/>表示虚拟样本分布。
在应用中，根据预处理后的真实图像数据集，训练基于StyleGAN2-ADA的图像生成模型，直到目标函数满足纳什平衡条件时停止训练，得到已训练的图像生成模型。
在应用中，图像生成模型的训练过程可以包括：初始化生成器网络和判别器网络，输入真实图像获得随机向量，并输入映射网络进行特征解耦，如图32所示，示例性地示出了一种映射网络的结构示意图；固定生成器网络参数，只改变判别器网络参数，当输入真实图像时，让判别器网络给出高分，当输入虚拟图像时，让判别器网络给出低分，从而判别出输入图像是否为虚拟图像；固定判别器网络参数，只改变生成器网络参数，将生成器网络生成的虚拟图像输入到判别器网络中，不断改变生成器网络参数，让判别器网络对虚拟图像的打分足够高，从而产生真实程度足够高的虚拟图像；重复地交替改变判别器网络和生成器网络的参数，训练模型，直至达到纳什平衡，得到已训练的图像生成模型。
在一个实施例中，步骤S204之前，包括：
建立基于掩码和区域卷积神经网络的裂缝图像识别模型。
在应用中，基于掩码和区域卷积神经网络（Mask-Region Convolutional NeuralNetwork，Mask-RCNN）的裂缝图像识别模型包括残差网络（Residual Network，ResNet）、特征金字塔网络（Feature Pyramid Network，FPN）、区域建议网络（Region ProposalNetwork，RPN）、感兴趣区域对齐层（Region Of Interest Align，ROIAlign）、全连接层和掩码（Mask）分支网络。如图33所示，示意性地示出了一种基于Mask-RCNN的裂缝图像识别模型的结构示意图。
其中，残差网络用于实现深层次的特征提取，得到多层次的特征图；特征金字塔网络用于融合所述多层次的特征图，得到融合后的特征图；区域建议网络用于扫描所述融合后的特征图，得到候选目标区域；感兴趣区域对齐层用于统一所述候选目标区域的大小，将所述候选目标区域和所述融合后的特征图特征进行对应；全连接层用于对所述候选目标区域的每一个像素进行分类和回归；掩码分支网络用于对所述候选目标区域进行全卷积网络操作，得到目标掩码。
在应用中，残差网络采用了跳跃连接，引入了残差块结构，可以将神经网络的层数加深，同时避免出现梯度爆炸和梯度弥散问题。如图34所示，示例性地示出了一种残差网络残差块的结构示意图，残差网络的残差块可以用以下公式表达：
其中，x是每个残差块的输入，F(x)是残差运算结果，H(x)是残差块的输出。该公式可以看成是一个恒等映射x加上一个残差F(x)。对于深层单元，满足以下公式：
其中XL表示深层单元层的输入的残差网络输出，表示Xi表示浅层单元层的残差块输入。利用链式规则，可以计算出反向过程的梯度如下：
其中，是损失函数的梯度，括号里的1表示跳跃连接的恒等映射，括号里的表示经过多个权重层的梯度，只有当所述经过多个权重层的梯度等于-1时，整体梯度才为0，概率非常小，因此残差网络在模型学习过程中会更容易收敛。同时，由于残差/>随着网络层数的加深而逐渐变小并趋于0，残差网络的映射形式趋向于恒等映射，因此残差网络可以实现多层网络的训练，而不会导致训练效果变差。
在应用中，特征金字塔网络将残差网络中每一层卷积输出的特征图进行提取，并对提取的特征图进行上采样（Up-Sampling），将上采样后的特征图与另一层卷积输出的同等大小的特征图进行相加，将相加结果作为下一层网络的输入，用于预测物体的类别和位置。在裂缝检测应用中，特征金字塔网络通过增加特征图的计算量，能够有效排除裂缝无关项的干扰，增强裂缝图像识别模型对裂缝的识别精确度。
在应用中，区域建议网络利用滑动窗口扫描卷积神经网络生成的特征图，找到候选目标区域。其中，RPN扫描的区域称为锚（anchor），如图35所示，示例性地示出了一种区域建议网络的锚的结构示意图，共有9种尺寸的锚，锚的像素面积为128*128、256*256及512*512中的其中一种，长宽比为1:1、1:2及2:1中的其中一种。
在应用中，由于存在与目标区域不相交的锚，需要对锚进行筛选，选出用于训练的锚。为了实现锚的筛选，引入了交并比（IntersectionOverUnion，IOU）作为评估函数，表达公式如下：
其中，IOU表示锚和目标区域的交集与锚和目标区域的并集之间的比值，S1表示除了锚和目标区域的交集以外的锚区域，S2表示锚和目标区域的交集，S3表示除了锚和目标区域的交集以外的目标区域，如图36所示，示例性地示出了一种交并比的结构示意图。当IOU的数值大于或者等于一定数值（例如，0.7等）时，判断目标区域为待测目标，确定所用锚为正样本，当有多个锚的IOU数值满足预设条件时，保留IOU值最高的锚；当IOU小于一定数值（例如，0.3等）时，判断目标区域为背景，确定所用锚为负样本，并丢弃其余的锚，从而提高训练效率。如图37所示，示例性地示出了一种生成候选目标区域的结构示意图，其中，k表示选用的锚的个数（例如，9种），2k表示选用k种锚时，分类层输出的2*k种分类结果，每个锚的分类结果为是目标区域或不是目标区域；4k表示选用k种锚时，回归层输出的4*k种回归结果，每个锚的回归结果为锚边框左上角的横坐标、锚边框左上角的纵坐标、锚边框右下角的横坐标和锚边框右下角的纵坐标。
在应用中，感兴趣区域对齐层将候选目标区域进行映射，得到映射特征图，并对映射特征图划分为预设大小（例如，2*2、3*3等）的池化（Pooling）区域，再将每一个池化区域划分为预设大小（例如，2*2、3*3等）的采样区域；对于任一采样区域，选取距离采样区域的中心最近的四个相邻真实像素点的像素值，进行双线性插值，得到采样区域的像素值；重复进行多次双线性插值，得到每一个采样区域的像素值；对于一个池化区域内的多个采样区域的像素值坐标进行最大池化，选出多个采样区域的像素值中的最大值，得到池化区域的像素值。感兴趣区域对齐层在统一候选目标区域的大小，将候选目标区域和融合后的特征图进行对应时，没有进行取整操作，从而提高了计算的精确度。图38示例性地示出了一种感兴趣区域对齐运算的示意图。
在应用中，掩码分支网络可以是一个全卷积网络，输入为感兴趣区域对齐网络统一大小后的特征图，能够对输入特征图进行反卷积，将输入特征图恢复到原始输入图像的大小，从而预测每个特征图中保留的原始输入图像空间信息，实现像素级的分类。
在应用中，基于Mask-RCNN的裂缝图像识别模型的损失函数为：
其中，表示总损失函数，/>表示分类损失函数，/>表示回归损失函数，表示分割损失函数。其中，分类损失函数包括区域推荐网络的分类损失和全连接层的分类损失，回归损失函数包括区域推荐网络的回归损失和全连接层的回归损失，分割损失函数为掩码分支网络的分割损失。图39示例性地示出了一种裂缝图像识别模型的总损失函数曲线示意图，其中，横坐标表示迭代次数（epoch），纵坐标为总损失（loss）数值，圆形标记的曲线为训练集的损失函数曲线，三角形标记的曲线为验证集的损失函数曲线。
如图40所示，在一个实施例中，步骤S104之后，包括如下步骤S301至步骤S302：
S301、获取待识别裂缝图像，进入步骤S302。
在应用中，获取待识别裂缝图像的具体步骤可以参照步骤S201中的相关描述，在此不再赘述。
S302、将所述待识别裂缝图像输入到所述已训练的裂缝图像识别模型，得到所述待识别裂缝图像的识别结果。
在应用中，将获取的待识别裂缝图像输入到已训练的裂缝图像识别模型中，裂缝图像识别模型对待识别裂缝图像中的裂缝进行自动识别，并输出待识别裂缝图像的识别结果。
在应用中，针对同一待识别裂缝图像，在不同工况下的裂缝图像识别模型可以输出不同精确度的识别结果，其中，工况的具体内容可以参照步骤S102中的相关描述。图41至图46分别示例性地示出了待识别的原始图像示意图、输入336张真实图像训练后的识别结果示意图、输入336张真实图像和168张虚拟图像训练后的识别结果示意图、输入336张真实图像和336张虚拟图像训练后的识别结果示意图、输入336张真实图像和504张虚拟图像训练后的识别结果示意图、输入336张真实图像和672张虚拟图像训练后的识别结果示意图。
本申请实施例还提供了一种裂缝自动化识别装置，用于执行上述裂缝自动化识别方法实施例中的步骤。该装置可以是图像数据处理设备中的虚拟装置（virtualappliance），由图像数据处理设备的处理器运行，也可以是图像数据处理设备本身。
如图47所示，本申请实施例提供的裂缝自动化识别装置100，包括：
虚拟图像获取模块101，用于利用已训练的图像生成模型，获得虚拟图像数据集，所述已训练的图像生成模型基于预处理后的真实图像数据集训练得到，进入目标图像构建模块102；
目标图像构建模块102，用于根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建目标图像数据集，进入图像标注模块103；
图像标注模块103，用于标注所述目标图像数据集，得到已标注的目标图像数据集，进入模型训练模块104；
模型训练模块104，用于根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型；
在应用中，裂缝自动化识别装置100还可以包括裂缝图像识别模块，用于根据已训练的裂缝图像识别模型，识别待识别图像。
在应用中，上述装置中的各单元可以为软件程序模块，也可以通过处理器中集成的不同逻辑电路或与处理器连接的独立物理部件实现，还可以通过多个分布式处理器实现。
如图48所示，本申请实施例还提供一种终端设备200，包括：至少一个处理器201（图中仅示出一个处理器）、存储器202以及存储在存储器202中并可在至少一个处理器201上运行的计算机程序203，处理器201执行计算机程序203时实现上述各个裂缝自动化识别方法实施例中的步骤。
在应用中，终端设备可包括，但不仅限于，处理器以及存储器。本领域技术人员可以理解，图48仅仅是终端设备的举例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，还可以包括输入输出设备、网络接入设备等。
在应用中，处理器可以是中央处理模块（Central Processing Unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在应用中，存储器在一些实施例中可以是终端设备的内部存储模块，例如，终端设备的硬盘或内存。所述存储器在另一些实施例中也可以是终端设备的外部存储设备，例如终端设备上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器还可以既包括终端设备的内部存储模块也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序（BootLoader）、数据以及其他程序等，例如所述计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个裂缝自动化识别方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时可实现上述各个裂缝自动化识别方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/测试设备的任何实体或装置、记录介质、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random AccessMemory，RAM）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种裂缝自动化识别方法，其特征在于，包括：
获取未处理的真实图像数据集；
去除所述未处理的真实图像数据集中的模糊图像和与裂缝无关的图像，得到预处理后的真实图像数据集，所述预处理后的真实图像数据集包括真实裂缝图像、真实人工痕迹图像、真实污渍图像、真实接缝图像；
建立基于风格迁移生成对抗网络的图像生成模型，所述风格迁移生成对抗网络带有自适应增强功能；
根据所述预处理后的真实图像数据集，训练所述图像生成模型，得到已训练的图像生成模型；
利用已训练的图像生成模型，获得虚拟图像数据集，所述虚拟图像数据集包括虚拟裂缝图像、虚拟人工痕迹图像、虚拟污渍图像、虚拟接缝图像；
根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建多个工况类型的目标图像数据集，所述目标图像数据集包括不同数量的真实图像和虚拟图像，所述多个工况类型的目标图像数据集分别包括不同数量的真实图像和虚拟图像；
标注所述目标图像数据集，得到已标注的目标图像数据集，所述已标注的目标图像数据集包括裂缝原始图像、污渍原始图像、接缝原始图像、藤蔓原始图像、人工痕迹原始图像、裂缝掩码图像、污渍掩码图像、接缝掩码图像、藤蔓掩码图像、人工痕迹掩码图像、裂缝标注图像、污渍标注图像、接缝标注图像、藤蔓标注图像、人工痕迹标注图像；
建立基于掩码和区域卷积神经网络的裂缝图像识别模型；
根据多个工况类型的所述已标注的目标图像数据集，训练裂缝图像识别模型，得到不同工况下的已训练的裂缝图像识别模型；
其中，所述图像生成模型包括生成器网络和判别器网络；
所述生成器网络用于生成虚拟图像；
所述判别器网络用于判别输入图像为真实图像或虚拟图像；
所述根据所述预处理后的真实图像数据集，训练所述图像生成模型，得到已训练的图像生成模型，包括：
初始化所述生成器网络和所述判别器网络；
固定所述生成器网络的参数，只改变所述判别器网络的参数，当输入真实图像时，通过所述判别器网络给出高分，当输入虚拟图像时，通过所述判别器网络给出低分，以判别输入图像是否为虚拟图像；
固定所述判别器网络的参数，只改变所述判别器网络的参数，将所述生成器网络生成的虚拟图像输入所述判别器网络，不断改变所述生成器网络的参数，通过所述判别器网络对虚拟图像打高分，产生真实程度高的虚拟图像；
重复地交替改变所述判别器网络和所述生成器网络的参数，训练所述图像生成模型，直到所述图像生成模型的目标函数满足纳什平衡条件时停止训练，得到已训练的图像生成模型；
所述基于掩码和区域卷积神经网络的裂缝图像识别模型包括残差网络、特征金字塔网络、区域建议网络、感兴趣区域对齐层、全连接层和掩码分支网络；
所述残差网络采用跳跃连接且引入残差块结构，用于将所述区域卷积神经网络的层数加深，实现深层次的特征提取，得到多层次的特征图，避免出现梯度爆炸和梯度弥散问题；
所述残差网络的残差块的表达式为：
x是每个残差块的输入，F(x)是残差运算结果，H(x)是残差块的输出；
所述特征金字塔网络用于将所述残差网络中每一层卷积输出的特征图进行提取，并对提取的特征图进行上采样，将上采样后的特征图与另一层卷积输出的同等大小的特征图进行相加，将相加结果作为下一层网络的输入，用于预测物体的类别和位置，以融合所述多层次的特征图，得到融合后的特征图；
所述区域建议网络用于利用滑动窗口扫描所述融合后的特征图，得到候选目标区域；
所述感兴趣区域对齐层用于将所述候选目标区域进行映射，得到映射特征图，并对所述映射特征图划分为第一预设大小的池化区域，将每一个池化区域划分为第二预设大小的采样区域，对于任一采样区域，选取距离采样区域的中心最近的四个相邻真实像素点的像素值，进行双线性插值，得到采样区域的像素值，重复进行多次双线性插值，得到每一个采样区域的像素值，对于一个池化区域内的多个采样区域的像素值坐标进行最大池化，选出多个采样区域的像素值中的最大值，得到池化区域的像素值，以统一所述候选目标区域的大小，将所述候选目标区域和所述融合后的特征图特征进行对应；
所述全连接层用于对所述候选目标区域的每一个像素进行分类和回归；
所述掩码分支网络是一个全卷积网络，输入为所述感兴趣区域对齐层统一大小后的特征图，用于对所述候选目标区域进行全卷积网络操作，对输入的特征图进行反卷积，将输入的特征图恢复到原始输入图像的大小，预测每个输入的特征图中保留的原始输入图像的空间信息，实现像素级的分类，得到目标掩码；
所述基于掩码和区域卷积神经网络的裂缝图像识别模型的损失函数为：
表示总损失函数，/>表示分类损失函数，/>表示回归损失函数，/>表示分割损失函数，所述分类损失函数包括所述区域建议网络的分类损失和所述全连接层的分类损失，所述回归损失函数包括所述区域建议网络的回归损失和所述全连接层的回归损失，所述分割损失函数为所述掩码分支网络的分割损失。
2.如权利要求1所述的裂缝自动化识别方法，其特征在于，所述图像生成模型的目标函数表达式为：
所述图像生成模型收敛时，目标函数满足纳什平衡条件，表达式为：
其中，表示真实样本分布，/>表示虚拟样本分布。
3.如权利要求1或2所述的裂缝自动化识别方法，其特征在于，所述根据所述已标注的目标图像数据集，训练裂缝图像识别模型，得到已训练的裂缝图像识别模型之后，包括：
获取待识别裂缝图像；
将所述待识别裂缝图像输入到所述已训练的裂缝图像识别模型，得到所述待识别裂缝图像的识别结果。
4.一种裂缝自动化识别装置，其特征在于，包括：
虚拟图像获取模块，用于：
获取未处理的真实图像数据集；
去除所述未处理的真实图像数据集中的模糊图像和与裂缝无关的图像，得到预处理后的真实图像数据集，所述预处理后的真实图像数据集包括真实裂缝图像、真实人工痕迹图像、真实污渍图像、真实接缝图像；
建立基于风格迁移生成对抗网络的图像生成模型，所述风格迁移生成对抗网络带有自适应增强功能；
根据所述预处理后的真实图像数据集，训练所述图像生成模型，得到已训练的图像生成模型；
利用已训练的图像生成模型，获得虚拟图像数据集，所述已训练的图像生成模型基于预处理后的真实图像数据集训练得到，所述虚拟图像数据集包括虚拟裂缝图像、虚拟人工痕迹图像、虚拟污渍图像、虚拟接缝图像；
目标图像构建模块，用于根据所述预处理后的真实图像数据集和所述虚拟图像数据集，构建多个工况类型的目标图像数据集，所述目标图像数据集包括不同数量的真实图像和虚拟图像，所述多个工况类型的目标图像数据集分别包括不同数量的真实图像和虚拟图像；
图像标注模块，用于标注所述目标图像数据集，得到已标注的目标图像数据集，所述已标注的目标图像数据集包括裂缝原始图像、污渍原始图像、接缝原始图像、藤蔓原始图像、人工痕迹原始图像、裂缝掩码图像、污渍掩码图像、接缝掩码图像、藤蔓掩码图像、人工痕迹掩码图像、裂缝标注图像、污渍标注图像、接缝标注图像、藤蔓标注图像、人工痕迹标注图像；
模型训练模块，用于：
建立基于掩码和区域卷积神经网络的裂缝图像识别模型；
根据多个工况类型的所述已标注的目标图像数据集，训练裂缝图像识别模型，得到不同工况下的已训练的裂缝图像识别模型；
其中，所述图像生成模型包括生成器网络和判别器网络；
所述生成器网络用于生成虚拟图像；
所述判别器网络用于判别输入图像为真实图像或虚拟图像；
所述根据所述预处理后的真实图像数据集，训练所述图像生成模型，得到已训练的图像生成模型，包括：
初始化所述生成器网络和所述判别器网络；
固定所述生成器网络的参数，只改变所述判别器网络的参数，当输入真实图像时，通过所述判别器网络给出高分，当输入虚拟图像时，通过所述判别器网络给出低分，以判别输入图像是否为虚拟图像；
固定所述判别器网络的参数，只改变所述判别器网络的参数，将所述生成器网络生成的虚拟图像输入所述判别器网络，不断改变所述生成器网络的参数，通过所述判别器网络对虚拟图像打高分，产生真实程度高的虚拟图像；
重复地交替改变所述判别器网络和所述生成器网络的参数，训练所述图像生成模型，直到所述图像生成模型的目标函数满足纳什平衡条件时停止训练，得到已训练的图像生成模型；
所述基于掩码和区域卷积神经网络的裂缝图像识别模型包括残差网络、特征金字塔网络、区域建议网络、感兴趣区域对齐层、全连接层和掩码分支网络；
所述残差网络采用跳跃连接且引入残差块结构，用于将所述区域卷积神经网络的层数加深，实现深层次的特征提取，得到多层次的特征图，避免出现梯度爆炸和梯度弥散问题；
所述残差网络的残差块的表达式为：
x是每个残差块的输入，F(x)是残差运算结果，H(x)是残差块的输出；
所述特征金字塔网络用于将所述残差网络中每一层卷积输出的特征图进行提取，并对提取的特征图进行上采样，将上采样后的特征图与另一层卷积输出的同等大小的特征图进行相加，将相加结果作为下一层网络的输入，用于预测物体的类别和位置，以融合所述多层次的特征图，得到融合后的特征图；
所述区域建议网络用于利用滑动窗口扫描所述融合后的特征图，得到候选目标区域；
所述感兴趣区域对齐层用于将所述候选目标区域进行映射，得到映射特征图，并对所述映射特征图划分为第一预设大小的池化区域，将每一个池化区域划分为第二预设大小的采样区域，对于任一采样区域，选取距离采样区域的中心最近的四个相邻真实像素点的像素值，进行双线性插值，得到采样区域的像素值，重复进行多次双线性插值，得到每一个采样区域的像素值，对于一个池化区域内的多个采样区域的像素值坐标进行最大池化，选出多个采样区域的像素值中的最大值，得到池化区域的像素值，以统一所述候选目标区域的大小，将所述候选目标区域和所述融合后的特征图特征进行对应；
所述全连接层用于对所述候选目标区域的每一个像素进行分类和回归；
所述掩码分支网络是一个全卷积网络，输入为所述感兴趣区域对齐层统一大小后的特征图，用于对所述候选目标区域进行全卷积网络操作，对输入的特征图进行反卷积，将输入的特征图恢复到原始输入图像的大小，预测每个输入的特征图中保留的原始输入图像的空间信息，实现像素级的分类，得到目标掩码；
所述基于掩码和区域卷积神经网络的裂缝图像识别模型的损失函数为：
表示总损失函数，/>表示分类损失函数，/>表示回归损失函数，/>表示分割损失函数，所述分类损失函数包括所述区域建议网络的分类损失和所述全连接层的分类损失，所述回归损失函数包括所述区域建议网络的回归损失和所述全连接层的回归损失，所述分割损失函数为所述掩码分支网络的分割损失。
5.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述的方法的步骤。
6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至3任一项所述的方法的步骤。
CN202311518200.1A 2023-11-15 2023-11-15 裂缝自动化识别方法、装置、终端设备及存储介质 Active CN117274817B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311518200.1A CN117274817B (zh) 2023-11-15 2023-11-15 裂缝自动化识别方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311518200.1A CN117274817B (zh) 2023-11-15 2023-11-15 裂缝自动化识别方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN117274817A CN117274817A (zh) 2023-12-22
CN117274817B true CN117274817B (zh) 2024-03-12

Family

ID=89210791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311518200.1A Active CN117274817B (zh) 2023-11-15 2023-11-15 裂缝自动化识别方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN117274817B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223087A (zh) * 2020-01-15 2020-06-02 东南大学 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN113392849A (zh) * 2021-06-30 2021-09-14 哈尔滨理工大学 一种基于r-cnn的复杂路面裂缝识别方法
CN113822880A (zh) * 2021-11-22 2021-12-21 中南大学 一种基于深度学习的裂缝识别方法
CN115456096A (zh) * 2022-09-21 2022-12-09 广州大学 一种基于生成对抗网络的隐私保护方法及系统
CN115578326A (zh) * 2022-09-23 2023-01-06 中路交科科技股份有限公司 一种道路病害识别方法、系统、设备及存储介质
CN116645592A (zh) * 2023-07-25 2023-08-25 苏州大学 一种基于图像处理的裂缝检测方法和存储介质
CN116895008A (zh) * 2023-07-17 2023-10-17 中国长江三峡集团有限公司 裂缝识别模型确定和裂缝识别方法、装置、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11377945B2 (en) * 2020-04-29 2022-07-05 Saudi Arabian Oil Company Method for automated crack detection and analysis using ultrasound images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111223087A (zh) * 2020-01-15 2020-06-02 东南大学 一种基于生成对抗网络的桥梁裂缝自动检测方法
CN113392849A (zh) * 2021-06-30 2021-09-14 哈尔滨理工大学 一种基于r-cnn的复杂路面裂缝识别方法
CN113822880A (zh) * 2021-11-22 2021-12-21 中南大学 一种基于深度学习的裂缝识别方法
CN115456096A (zh) * 2022-09-21 2022-12-09 广州大学 一种基于生成对抗网络的隐私保护方法及系统
CN115578326A (zh) * 2022-09-23 2023-01-06 中路交科科技股份有限公司 一种道路病害识别方法、系统、设备及存储介质
CN116895008A (zh) * 2023-07-17 2023-10-17 中国长江三峡集团有限公司 裂缝识别模型确定和裂缝识别方法、装置、设备及介质
CN116645592A (zh) * 2023-07-25 2023-08-25 苏州大学 一种基于图像处理的裂缝检测方法和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统;金侠挺 等;自动化学报(第12期);第110-125页 *

Also Published As

Publication number Publication date
CN117274817A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN109544555B (zh) 基于生成式对抗网络的细小裂缝分割方法
CN109086668B (zh) 基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法
CN109389129B (zh) 一种图像处理方法、电子设备及存储介质
CN109583345B (zh) 道路识别方法、装置、计算机装置及计算机可读存储介质
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN111222395A (zh) 目标检测方法、装置与电子设备
Li et al. Automatic bridge crack identification from concrete surface using ResNeXt with postprocessing
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN109118504B (zh) 一种基于神经网络的图像边缘检测方法、装置及其设备
CN112801047B (zh) 缺陷检测方法、装置、电子设备及可读存储介质
CN114565644B (zh) 三维运动目标检测方法、装置和设备
CN114332473B (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113223068A (zh) 一种基于深度全局特征的多模态图像配准方法及系统
Chen et al. ASF-Net: Adaptive screening feature network for building footprint extraction from remote-sensing images
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN113223614A (zh) 一种染色体核型分析方法、系统、终端设备和存储介质
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
Sun et al. IRDCLNet: Instance segmentation of ship images based on interference reduction and dynamic contour learning in foggy scenes
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
Akhyar et al. A beneficial dual transformation approach for deep learning networks used in steel surface defect detection
CN118115835A (zh) 导光板缺陷小样本数据扩充方法、系统、设备及存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
Chen et al. Edge Enhanced GCIFFNet: A Multiclass Semantic Segmentation Network Based on Edge Enhancement and Multiscale Attention Mechanism
CN117274817B (zh) 裂缝自动化识别方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant