CN114120209A - 管道缺陷检测方法、系统、设备及存储介质 - Google Patents

管道缺陷检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114120209A
CN114120209A CN202210097457.3A CN202210097457A CN114120209A CN 114120209 A CN114120209 A CN 114120209A CN 202210097457 A CN202210097457 A CN 202210097457A CN 114120209 A CN114120209 A CN 114120209A
Authority
CN
China
Prior art keywords
processed
video
defect
detection
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210097457.3A
Other languages
English (en)
Other versions
CN114120209B (zh
Inventor
乔宇
刘熠
王亚立
代毅
梁桂新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bomingwei Technology Co ltd
Original Assignee
Shenzhen Bomingwei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bomingwei Technology Co ltd filed Critical Shenzhen Bomingwei Technology Co ltd
Priority to CN202210097457.3A priority Critical patent/CN114120209B/zh
Publication of CN114120209A publication Critical patent/CN114120209A/zh
Application granted granted Critical
Publication of CN114120209B publication Critical patent/CN114120209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种管道缺陷检测方法、系统、设备及存储介质，所述管道缺陷检测方法包括：获取待处理视频，所述待处理视频为包含管道图像的视频；根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数；将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得；将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果。本申请解决了缺陷检测的准确率低的技术问题。

Description

管道缺陷检测方法、系统、设备及存储介质
技术领域
本申请涉及缺陷检测技术领域，尤其涉及一种管道缺陷检测方法、系统、设备及存储介质。
背景技术
目前，人工智能在工业物联网领域的应用越来越广泛，在工业缺陷检测中，可通过检测模型对管道采集设备所采集到的数据进行检测，然而管道采集设备所采集到的数据往往是视频数据，而在现有模型检测中，通常是对图片数据进行检测，且基于图片数据的管道视频进行检测，还需要人工对单帧的检测结果进行分析，而人工分析检测容易发生对缺陷误检漏检的情况，进而导致缺陷检测的准确性较低。
发明内容
本申请的主要目的在于提供一种管道缺陷检测方法、系统、设备及存储介质，旨在解决现有技术中的缺陷检测准确率低的技术问题。
为实现上述目的，本申请提供一种管道缺陷检测方法，所述管道缺陷检测方法包括：
获取待处理视频，所述待处理视频为包含管道图像的视频；
根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数；
将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得；
将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果。
本申请还提供一种管道缺陷检测系统，所述管道缺陷检测系统为虚拟系统，所述管道缺陷检测系统包括：
第一获取模块，用于获取待处理视频，所述待处理视频为包含管道图像的视频；
第二获取模块，用于根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数；
检测模块，用于将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得；
后处理模块，用于将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果。
本申请还提供一种管道缺陷检测设备，所述管道缺陷检测设备为实体设备，所述管道缺陷检测设备包括：存储器、处理器以及存储在所述存储器上的管道缺陷检测程序，所述管道缺陷检测程序被所述处理器执行实现如上述的管道缺陷检测方法的步骤。
本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储管道缺陷检测程序，所述管道缺陷检测程序被处理器执行实现如上述的管道缺陷检测方法的步骤。
本申请提供了一种管道缺陷检测方法、系统、设备及存储介质，本申请首先获取待处理视频，所述待处理视频为包含管道图像的视频，进而根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数，进一步地，将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得，进一步地，将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果，实现了根据不同监督层次的数据训练集训练得到缺陷检测模型，使得缺陷检测模型既能够提取到监督信息较强的表征特征，又能够保证模型在信息冗余的待处理视频中具有较高的鲁棒性，进而通过缺陷检测模型能够更有针对性地检测出待处理视频中可能存在的缺陷，进而在时序上对待处理视频片段的检测结果进行后处理操作，以减少检测结果的冗余性，降低误检率，进而生成视频级的目标检测结果，从而确保最终目标检测结果的有效性和缺陷识别的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域默认技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请管道缺陷检测方法第一实施例的流程示意图；
图2为本申请缺陷检测中多任务学习的结构示意图；
图3为本申请管道缺陷检测方法第二实施例的流程示意图；
图4为本申请管道缺陷检测方法第三实施例的流程示意图；
图5为本申请实施例方案涉及的硬件运行环境的管道缺陷检测设备结构示意图；
图6为本申请管道缺陷检测系统的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种管道缺陷检测方法，在本申请管道缺陷检测方法的第一实施例中，参照图1，所述管道缺陷检测方法包括：
步骤S10，获取待处理视频，所述待处理视频为包含管道图像的视频；
在本实施例中，需要说明的是，所述待处理视频为采集通道环境的视频，所述待处理视频的采集方法包括CCTV（closed circuit television inspection，闭路电视）检测机器人采集管道待处理视频以及潜望镜QV采集管道待处理视频等视频采集方法。
步骤S20，根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数；
在本实施例中，具体地，将所述待处理视频进行时序分割，获得所述X个待处理视频片段，其中，所述时序分割为按照时间顺序将待处理视频进行片段划分的方法，每一所述待处理视频片段包括相邻的N帧图片，其中，N为大于1的整数，优选地，N为大于1小于5的整数，最优地，将待处理视频片段包含的相邻帧数设置为3帧。
步骤S30，将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得；
在本实施例中，需要说明的是，所述缺陷检测模型包括骨架网络和多任务学习模块，其中，所述骨架网络包括Mask-RCNN、YOLO (You Only Look Once)、Faster-RCNN(Convolutional Neural Networks，卷积神经网络)、CornerNet、MobileNet、SSD(SingleShot Multi Box Detector)等骨架网络的一种或多种，优选地，选取Mask-RCNN作为所述缺陷检测模型对应的骨架网络，进一步地，在本申请中，设计相互关联的多个任务进行多任务联合学习，所述多个任务包括多标签缺陷分类任务，此外，所述多任务学习模块至少包括环境二分类任务和异常二分类任务中的一种或多种。
具体地，预先构建不同监督层次的数据训练集，其中，所述不同监督层次的数据训练集包括实例分割数据集和缺陷标注待处理视频，进而利用监督信息高的实例分割图片数据集对骨架网络进行预训练，需要说明的是，所述实例分割图片数据集为标注有中国标准下16类常见管道缺陷的图片数据，进而将缺陷标注视频进行时序划分，并将多个待训练视频片段输入训练好的骨架网络，以及结合多任务学习对模型进行迭代训练，获得所述缺陷检测模型，进一步地，通过已训练好的缺陷检测模型中的骨架网络，分别对各所述待处理视频片段进行特征提取，获得各所述待处理视频片段的全局特征以及局部特征，将所述全局特征以及局部特征进行多任务联合学习，获得不同任务对应的检测结果，并将不同任务的检测结果作为所述各所述待处理视频片段的检测结果。
其中，将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的片段检测结果，包括：
步骤S31，将各所述待处理视频片段分别输入所述骨架网络，获得特征提取结果，其中，所述特征提取结果包括全局特征和局部特征；
在本实施例中，具体地，分别将各所述待处理视频片段输入所述骨架网络中，以通过所述骨架网络对各所述待处理视频片段进行预设次数的卷积和池化交替处理，获得所述特征提取结果。
步骤S32，将所述特征提取结果输入所述多任务学习模块，以进行多任务联合学习，获得所述待处理视频片段的检测结果。
在本实施例中，具体地，将所述特征提取结果输入所述多任务学习模块，进而基于所述多任务学习模块，对所述特征提取结果进行多任务联合学习，获得各所述待处理视频片段对应的不同任务的检测结果。
其中，所述多任务联合学习包括：
步骤S321，将所述局部特征进行特征拼接，并将特征拼接结果输入多标签缺陷分类器，获得多标签缺陷分类结果。
在本实施例中，需要说明的是，所述检测结果包括多标签缺陷分类结果，具体地，多标签缺陷分类结果为包括多个缺陷类别的分类结果，具体地，将所述局部特征进行特征拼接，进而将所述特征拼接结果输入多标签缺陷分类器，获得多标签缺陷分类结果，从而实现多标签缺陷分类任务。
进一步地，所述多任务联合学习还包括以下任务至少一种：
步骤S322，将所述全局特征进行特征拼接，并进行时序信息融合，以将第一特征融合结果输入环境分类器，获得环境分类结果；
在本申请中，需要说明的是，所述环境分类器为划分内管道内部和外部的二分类器。具体地，将所述全局特征进行特征拼接，进而将拼接结果按照时序信息进行特征融合，以得到多维度的第一特征融合结果，进而将所述第一特征融合结果输入环境分类器，获得环境分类结果。
步骤S323，将所述全局特征和所述局部特征进行特征融合，并将第二特征融合结果输入异常分类器，获得异常分类结果。
在本实施例中，需要说明的是，所述异常分类器为分类异常标签与正常标签的二分类器。具体地，将所述全局特征和所述局部特征进行特征融合，从而学习待处理视频的更多细节的特征，进而将第二特征融合结果输入异常分类器，获得异常分类结果。
进一步地，可参照图2，图2为本申请缺陷检测中多任务学习的结构示意图，将骨架网络生成的全局特征进行拼接，以进行时序信息融合，用于环境二分类任务，获得所述环境分类结果，另外地，将全局特征和局部特征进行特征拼接，并利用Non-local 网络进行特征融合，用于异常二分类任务，以粗粒度地筛选出可能存在缺陷的画面，获得所述异常分类结果，此外，还将骨架网络生成的局部特征进行拼接，用于多标签缺陷分类任务，以进行更加精细化的缺陷检测，获得多标签缺陷分类结果，在本申请中，进行多任务关联学习过程中，可通过局部特征以及多标签缺陷分类器进行多标签缺陷分类任务学习，进一步地，优选地，可将环境二分类任务和异常二分类任务的一种或多种任务，结合多标签缺陷分类任务进行多任务学习，最优地，将多标签缺陷分类任务、环境二分类任务和异常二分类任务三者进行多任务关联学习，形成各所述待处理视频片段的检测结果，从而使得根据检测结果，筛选出位于管道内部处于异常状态的多标签缺陷分类结果，从而提高缺陷检测识别的准确性。
步骤S40，将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果。
在本实施例中，需要说明的是，所述检测结果包括时序信息、不同缺陷类别标签和各缺陷类别标签的置信度等信息，其中，缺陷类别包括破裂、变形、腐蚀、错口、起伏、脱节、接口材料脱落、支管暗接、异物入侵和渗漏等结构性缺陷，以及沉积、结垢、障碍物、树根、残墙坝根、坝头和浮渣等功能性缺陷，所述时序后处理是基于时序信息的后处理方法，其中，所述后处理方法包括NMS（Non-Maximum Suppression,非极大值抑制）、Soft NMS和SofterNMS等后处理方法，在本申请中，优选地，选取NMS后处理算法，在目标检测中所述NMS后处理为提取置信度高的目标缺陷检测结果，而抑制置信度低的误检结果的。
进一步需要说明的是，所述缺陷类别标签为待处理视频片段中缺陷的标识，所述缺陷类别标签可以用向量数组进行表示，例如，假设所述检测结果为(120,[CK，TJ，AJ],[0.5,0.4,0.28]),其中，120表示时序信息，[CK，TJ，AJ]表示3种不同的缺陷类别,[0.5,0.4,0.28]表示3种不同的缺陷类别分别对应的置信度。
具体地，在各所述待处理视频片段的检测结果中选取符合第一筛选条件的待处理视频片段的检测结果，其中，所述第一筛选条件为基于检测结果选取处于管道内部的异常的多标签缺陷分类结果的条件，进而对于每一所述检测结果对应缺陷类别标签的置信度，保留置信度超过预设置信度阈值对应的各目标缺陷类别标签，进而基于每一检测结果中各目标缺陷类别标签，按照预设时序后处理模块对各所述检测结果进行冗余筛选，获得所述待处理视频的目标缺陷检测结果，从而减少检测结果的冗余性，提高模型检测的精度，从而使得基于所述目标缺陷检测结果，获得待处理视频中存在的缺陷等级、缺陷分类等信息，另外地，由于待处理视频的目标缺陷检测结果中包括时序信息，进而基于所述时序信息和检测机构的运动信息，计算得到所述目标缺陷检测结果中各个缺陷在管道中的物理距离位置，提高技术的实用性及结果显示的直观性。
进一步地，参考表1，表1为不同任务结合进行预测的召回率以及准确率，如下：
Figure 349357DEST_PATH_IMAGE001
表1
其中，表1中的实例分割为基于实例分割数据集训练骨架网络，task1为环境二分类任务，task2为异常二分类任务，task3为多标签缺陷分类任务，NMS为时序后处理，从表中可以得出：通过本申请中骨架网络以及多任务学习模块（多标签缺陷分类任务、环境二分类任务和异常二分类任务）进行预测，并将预测结果进行后处理，得到模型的召回率最低以及预测准确率最高。
本申请实施例提供了一种管道缺陷检测方法，本申请实施例首先获取待处理视频，所述待处理视频为包含管道图像的视频，进而根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数，进一步地，将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得，进一步地，将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果，实现了根据不同监督层次的数据训练集训练得到缺陷检测模型，使得缺陷检测模型既能够提取到监督信息较强的表征特征，又能够保证模型在信息冗余的待处理视频中具有较高的鲁棒性，进而通过缺陷检测模型能够更有针对性地检测出待处理视频中可能存在的缺陷，进而在时序上对待处理视频片段的检测结果进行后处理操作，以减少检测结果的冗余性，降低误检率，进而生成视频级的目标检测结果，从而确保最终目标检测结果的有效性和缺陷识别的准确性。
进一步地，参照图3，基于本申请中第一实施例，在本申请的另一实施例中，所述异常检测结果包括各缺陷类别标签和各缺陷类别标签的置信度，所述对各所述异常检测结果进行时序后处理，生成所述待处理视频的目标缺陷检测结果的步骤包括：
步骤A10，对所述X个待处理视频片段的检测结果进行筛选，获得符合第一筛选条件的待处理视频片段的检测结果；
在本实施例中，具体地，对各所述待处理视频片段的检测结果进行异常筛选，保留处于管道内部且存在缺陷异常的各检测结果。
步骤A20，基于所述检测结果对应缺陷类别标签的置信度，选取置信度超过第一阈值对应的Y个目标缺陷类别标签，其中，Y为大于1的整数；
在本实施例中，需要说明的是，所述第一阈值为筛选置信度临界点阈值具体地，对于每一所述符合第一筛选条件的检测结果均执行以下步骤：
基于所述检测结果对应各缺陷类别标签的置信度，保留置信度超过第一阈值对应的Y个目标缺陷类别标签，其中，Y为大于1的整数，从而实现保留置信度较高的缺陷类别，例如，第一阈值为0.3,所述检测结果为(120,[CK，TJ，AJ],[0.5,0.4,0.28])，保留大于0.3的置信度，进而获得筛选后的检测结果为(120,[CK，TJ],[0.5,0.4])。
步骤A30，将所述Y个目标缺陷类别标签的置信度进行累加处理，获得所述检测结果的累加置信度；
在本实施例中，具体地，分别将每一所述检测结果的Y个目标缺陷类别标签的置信度进行累加处理，获得各所述检测结果的累加置信度，例如，所述检测结果为(120,[CK，TJ],[0.5,0.4])，累加后的检测结果为(120,[CK，TJ],0.9)。
步骤A40，将各所述检测结果按照所述累加置信度进行排序，获得检测结果排序序列；
步骤A50，基于预设的时序后处理模块，对所述检测结果排序序列中的各检测结果进行冗余筛选，获得所述待处理视频的目标检测结果。
在本实施例中，具体地，将各所述检测结果按照所述累加置信度的大小进行排序，获得各所述检测结果对应的检测结果排序序列，进而基于预设时序后处理算法，在时序上对所述检测结果排序序列中的各异常检测结果进行冗余筛选。
其中，所述基于预设的时序后处理模块，对所述检测结果排序序列中的各检测结果进行冗余筛选，获得所述待处理视频的目标检测结果，包括：
步骤A51，基于所述检测结果排序序列，确定所述累加置信度最大的检测结果；
步骤A52，分别将所述累加置信度最大的检测结果和所述检测结果排序序列中其余各检测结果进行比较；
步骤A53，若比较结果中的检测结果对应的时序信息处于预设时间阈值内，且累加置信度最大的各目标缺陷类别标签包含累加置信度小的各目标缺陷类别标签，则删除所述累加置信度小的检测结果，直至筛选完全部比较结果，获得所述待处理视频的目标缺陷检测结果；
步骤A54，重复执行以上步骤，直至筛选完全部比较结果，获得所述待处理视频的目标检测结果。
在本实施例中，需要说明的是，预设时间阈值为大于等于2的整数，优选地，将所述预设时间阈值设置为10。
具体地，首先在所述检测结果排序序列中确定累加置信度最大的检测结果，进而按照检测结果排序序列，分别将所述累加置信度最大的检测结果和其余各检测结果依次进行两两比较，若比较结果中的两个检测结果对应的时序信息处于预设时间阈值内，且所述累加置信度最大的检测结果的各缺陷类别标签包含累加置信度小的检测结果的各缺陷类别标签，则删除累加置信度小的检测结果，另外地，若比较结果中的两个检测结果对应的时序信息不处于预设时间阈值内，或者所述累加置信度最大的检测结果的各目标缺陷类别标签未包含累加置信度小的检测结果的各目标缺陷类别标签，则保留累加置信度小的检测结果，重复执行以上步骤，直至筛选完全部比较结果，获得所述待处理视频的目标缺陷检测结果，从而实现在时序上对检测结果进行后处理操作，减少检测结果的冗余性。
例如，检测结果包括：P1(120,[CK，TJ],0.9)、P2(123,[CK，TJ，AJ],1.2)以及P3(130,[CK，AJ],0.8)，所述检测结果排序序列为P2、P1、P3,假设所述预设时间阈值为±5，将累加置信度最大的检测结果P2按照所述检测结果排序序列中的顺序依次和P1、P3进行比较，当比较结果（P2,P1）的时序信息落在预设时间阈值内，并且累加置信度大的检测结果P2在目标缺陷类别上包含检测结果P1的目标缺陷类别，也即P2的[CK，TJ，AJ]包括了P1的[CK，TJ]，则删除检测结果P1，而比较结果（P2,P3）的时序信息不在预设时间阈值内，则保留异常检测结果P3，或者当累加置信度大的检测结果在目标缺陷类别上未包含另一个检测结果的目标缺陷类别时，也保留该累加置信度小的检测结果。
进一步地，参照图4，基于本申请中第一实施例，在本申请的另一实施例中，所述管道缺陷检测方法还包括：
步骤B10，构建不同监督层次的数据训练集，其中，所述不同监督层次的数据训练集包括实例分割数据集和缺陷标注视频；
在本实施例中，需要说明的是，所述缺陷标注视频为对待训练视频进行单帧标注缺陷的视频，其中，所述单帧标注缺陷包括标注缺陷类别以及缺陷位置等，进一步地，所述实例分割数据集为根据不同管道缺陷类别进行标注缺陷的数据集，其中，所述实例分割数据集通常包括标注有中国标准下16类常见管道缺陷类别的图片数据，例如，破裂、变形、腐蚀、错口、起伏、脱节、接口材料脱落、支管暗接、异物入侵和渗漏等结构性缺陷，以及沉积、结垢、障碍物、树根、残墙坝根、坝头和浮渣等功能性缺陷。
步骤B20，基于所述实例分割数据集，对待训练骨架网络进行预训练，获得所述缺陷检测模型的骨架网络；
在本实施例中，具体地，将所述实例分割数据集输入所述待训练骨架网络进行预训练，以不断优化所述待训练骨架网络，获得所述骨架网络，从而实现了基于小规模的监督信息较强的实例分割数据集对骨架网络进行训练，以保证骨架网络可以提取到较强语义信息的表征特征。
步骤B30，将所述缺陷标注视频进行时序分割，获得各待训练视频片段，并基于所述骨架网络，对各所述待训练视频片段进行特征提取，获得各所述待训练视频片段的训练特征提取结果；
在本实施例中，具体地，将所述缺陷标注视频按照时间进行时序分割，获得包括预设相邻帧数的各待训练视频片段，其中，所述预设相邻帧数为大于1的整数，优选地，预设相邻帧数设置为3帧，进而将各待训练视频片段输入训练结束的骨架网络中，以通过所述骨架网络对各所述待训练视频片段进行特征提取，获得各所述待训练视频片段的训练特征提取结果，从而实现了通过大规模监督层次较低的待处理视频，对模型进行训练，从而提升模型的泛化性，确保在信息冗余的待处理视频中具有较高的鲁棒性。
步骤B40，分别对各所述待训练特征提取结果进行多任务学习训练，获得所述缺陷检测模型。
在本实施例中，需要说明的是，所述待训练特征提取结果包括全局特征和局部特征。
具体地，分别对各所述待训练特征提取结果进行多任务关联学习训练，获得所述缺陷标注待处理视频对应的缺陷检测结果，进而基于所述缺陷检测结果与所述缺陷标注视频的真实缺陷标注标签，计算模型损失，以不断调整优化不同任务的loss权重，从而获得所述缺陷检测模型。
本申请实施例公开了一种管道缺陷检测方法，也即，构建不同监督层次的数据训练集，其中，所述不同监督层次的数据训练集包括实例分割数据集和缺陷标注视频，进而基于所述实例分割数据集，对待训练骨架网络进行预训练，获得所述缺陷检测模型的骨架网络，进一步地，将所述缺陷标注视频进行时序分割，获得各待训练视频片段，并基于所述骨架网络，对各所述待训练视频片段进行特征提取，获得各所述待训练视频片段的训练特征提取结果，进而分别对各所述待训练特征提取结果进行多任务学习训练，获得所述缺陷检测模型，实现了通过小规模地标注了监督信息强的实例分割数据集对骨架网络进行预训练，保证骨架网络可以提取到很强语义信息的表征特征，进而在训练好的骨架网络基础上，通过标注成本更低的待处理视频进行大规模的模型训练，提升模型的泛化性，还结合多任务学习训练，提升模型检测的准确性，从而使得通过不同监督层次的数据训练集训练得到的缺陷检测模型进行缺陷检测，更有针对性地检测出待处理视频中可能存在的缺陷，从而提高缺陷检测的准确性。
参照图5，图5是本申请实施例方案涉及的硬件运行环境的管道缺陷检测设备结构示意图。
如图5所示，该管道缺陷检测设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该管道缺陷检测设备还可以包括矩形用户接口、网络接口、相机、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏（Display）、输入子模块比如键盘（Keyboard），可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口（如WIFI接口）。
本领域技术人员可以理解，图5中示出的管道缺陷检测设备结构并不构成对管道缺陷检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图5所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及管道缺陷检测程序。操作系统是管理和控制管道缺陷检测设备硬件和软件资源的程序，支持管道缺陷检测程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与管道缺陷检测系统中其它硬件和软件之间通信。
在图5所示的管道缺陷检测设备中，处理器1001用于执行存储器1005中存储的管道缺陷检测程序，实现上述任一项所述的管道缺陷检测方法的步骤。
本申请管道缺陷检测设备具体实施方式与上述管道缺陷检测方法各实施例基本相同，在此不再赘述。
此外，请参照图6，图6是本申请管道缺陷检测系统的功能模块示意图，本申请还提供一种管道缺陷检测系统，所述管道缺陷检测系统包括：
第一获取模块，用于获取待处理视频，所述待处理视频为包含管道图像的视频；
第二获取模块，用于根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数；
检测模块，用于将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得；
后处理模块，用于将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果。
可选地，所述多任务检测模块还用于：
基于所述骨架网络，对各所述待处理视频片段进行特征提取，获得特征提取结果，其中，所述特征提取结果包括全局特征和局部特征；
通过所述多任务学习模块对所述特征提取结果进行多任务联合学习，获得各所述待处理视频片段的检测结果。
可选地，所述多任务检测模块还用于：
将所述全局特征进行特征拼接，获得环境分类结果，并将各所述全局特征和各所述局部特征进行特征融合，获得异常分类结果，以及基于各所述局部特征，生成多标签缺陷分类结果；
基于所述环境分类结果、所述异常分类结果以及所述多标签缺陷分类结果，形成各所述待处理视频片段的检测结果。
可选地，所述后处理模块还用于：
对各所述待处理视频片段的片段检测结果进行异常筛选，获得各异常检测结果；
基于每一所述异常检测结果的各缺陷类别标签的置信度，选取置信度超过预设置信度阈值对应的各目标缺陷类别标签；
将各所述目标缺陷类别标签的置信度进行累加处理，获得各所述异常检测结果的累加置信度；
将各所述异常检测结果按照所述目标累计置信度进行排序，获得检测结果排序序列；
基于预设时序后处理算法，对所述检测结果排序序列中的各异常检测结果进行冗余筛选，获得所述待处理视频的目标缺陷检测结果。
可选地，所述后处理模块还用于：
基于所述检测结果排序序列，确定所述累加置信度最大的异常检测结果；
分别将所述累加置信度最大的异常检测结果和所述检测结果排序序列中其余各异常检测结果进行比较；
若比较结果中的异常检测结果对应的时序信息处于预设时间阈值内，且累加置信度最大的各缺陷类别标签包含累加置信度小的各缺陷类别标签，则删除所述累加置信度小的异常检测结果，直至筛选完全部比较结果，获得所述待处理视频的目标缺陷检测结果。
可选地，所述管道缺陷检测系统还用于：
构建不同监督层次的数据训练集，其中，所述不同监督层次的数据训练集包括实例分割数据集和缺陷标注待处理视频；
基于所述实例分割数据集，对待训练骨架网络进行预训练，获得所述缺陷检测模型的骨架网络；
将所述缺陷标注待处理视频进行时序分割，获得各待训练视频片段，并基于所述骨架网络，对各所述待训练视频片段进行特征提取，获得各所述待训练视频片段的训练特征提取结果；
分别对各所述待训练特征提取结果进行多任务学习训练，获得所述缺陷检测模型。
本申请管道缺陷检测系统的具体实施方式与上述管道缺陷检测方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，且所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的管道缺陷检测方法的步骤。
本申请计算机可读存储介质具体实施方式与上述管道缺陷检测方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (12)

1.一种管道缺陷检测方法，其特征在于，包括：
获取待处理视频，所述待处理视频为包含管道图像的视频；
根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数；
将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得；
将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果。
2.如权利要求1所述的方法，其特征在于，根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数，包括：
将所述待处理视频按时序分割成X个待处理视频片段，其中，每个待处理视频片段包含相邻的N帧图片，N为大于1的整数。
3.如权利要求1所述的方法，其特征在于，所述缺陷检测模型包括：骨架网络和多任务学习模块，
将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的片段检测结果，包括：
将各所述待处理视频片段分别输入所述骨架网络，获得特征提取结果，其中，所述特征提取结果包括全局特征和局部特征；
将所述特征提取结果输入所述多任务学习模块，以进行多任务联合学习，获得所述待处理视频片段的检测结果。
4.如权利要求3所述的方法，其特征在于，所述多任务联合学习包括：
将所述局部特征进行特征拼接，并将特征拼接结果输入多标签缺陷分类器，获得多标签缺陷分类结果。
5.如权利要求3所述的方法，其特征在于，所述多任务联合学习还包括以下任务至少一种：
将所述全局特征进行特征拼接，并进行时序信息融合，以将第一特征结果输入环境分类器，获得环境分类结果；
将所述全局特征和所述局部特征进行特征融合，并将第二特征融合结果输入异常分类器，获得异常分类结果。
6.如权利要求1所述的方法，其特征在于，所述待处理视频片段的检测结果还包括：各缺陷类别标签和各缺陷类别标签的置信度。
7.如权利要求6所述的方法，其特征在于，将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果，包括：
对所述X个待处理视频片段的检测结果进行筛选，获得符合第一筛选条件的待处理视频片段的检测结果；
基于所述检测结果对应缺陷类别标签的置信度，选取置信度超过第一阈值对应的Y个目标缺陷类别标签，其中，Y为大于1的整数；
将所述Y个目标缺陷类别标签的置信度进行累加处理，获得所述检测结果的累加置信度；
将各所述检测结果按照所述累加置信度进行排序，获得检测结果排序序列；
基于预设的时序后处理模块，对所述检测结果排序序列中的各检测结果进行冗余筛选，获得所述待处理视频的目标检测结果。
8.如权利要求7所述的方法，其特征在于，所述基于预设的时序后处理模块，对所述检测结果排序序列中的各检测结果进行冗余筛选，获得所述待处理视频的目标检测结果，包括：
基于所述检测结果排序序列，确定所述累加置信度最大的检测结果；
分别将所述累加置信度最大的检测结果和所述检测结果排序序列中其余各检测结果进行比较；
若比较结果中的检测结果对应的时序信息处于预设时间阈值内，且累加置信度最大的各目标缺陷类别标签包含累加置信度小的各目标缺陷类别标签，则删除所述累加置信度小的检测结果；
重复执行以上步骤，直至筛选完全部比较结果，获得所述待处理视频的目标检测结果。
9.如权利要求1所述的方法，其特征在于，所述已训练的缺陷检测模型训练步骤包括：
构建不同监督层次的数据训练集，其中，所述不同监督层次的数据训练集包括实例分割数据集和缺陷标注视频；
基于所述实例分割数据集，对待训练骨架网络进行预训练，获得所述缺陷检测模型的骨架网络；
将所述缺陷标注视频进行时序分割，获得各待训练视频片段，并基于所述骨架网络，对各所述待训练视频片段进行特征提取，获得各所述待训练视频片段的训练特征提取结果；
分别对各所述待训练特征提取结果进行多任务学习训练，获得所述缺陷检测模型。
10.一种管道缺陷检测系统，其特征在于，所述管道缺陷检测系统包括：
第一获取模块，用于获取待处理视频，所述待处理视频为包含管道图像的视频；
第二获取模块，用于根据所述待处理视频获取X个待处理视频片段，其中，X为大于1的整数；
检测模块，用于将所述X个待处理视频片段输入已训练的缺陷检测模型，获得所述X个待处理视频片段的检测结果，其中，所述缺陷检测模型为基于不同监督层次的数据训练集进行迭代训练获得；
后处理模块，用于将所述X个待处理视频片段的检测结果进行时序后处理，得到所述待处理视频的目标检测结果。
11.一种管道缺陷检测设备，其特征在于，所述管道缺陷检测设备包括：存储器、处理器以及存储在存储器上的管道缺陷检测程序，
所述管道缺陷检测程序被所述处理器执行实现如权利要求1至9中任一项所述管道缺陷检测方法的步骤。
12.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有管道缺陷检测程序，所述管道缺陷检测程序被处理器执行实现如权利要求1至9中任一项所述管道缺陷检测方法的步骤。
CN202210097457.3A 2022-01-27 2022-01-27 管道缺陷检测方法、系统、设备及存储介质 Active CN114120209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210097457.3A CN114120209B (zh) 2022-01-27 2022-01-27 管道缺陷检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210097457.3A CN114120209B (zh) 2022-01-27 2022-01-27 管道缺陷检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114120209A true CN114120209A (zh) 2022-03-01
CN114120209B CN114120209B (zh) 2022-05-20

Family

ID=80361866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210097457.3A Active CN114120209B (zh) 2022-01-27 2022-01-27 管道缺陷检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114120209B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419523A (zh) * 2022-03-29 2022-04-29 深圳市勘察研究院有限公司 基于视频深度特征识别和子空间聚类的管道缺陷检测方法
CN116630242A (zh) * 2023-04-28 2023-08-22 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置
CN117035419A (zh) * 2023-08-16 2023-11-10 浙江蓝城萧立建设管理有限公司 企业项目实施智能管理系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180299392A1 (en) * 2017-04-18 2018-10-18 Saudi Arabian Oil Company Apparatus, system and method for inspecting composite structures using quantitative infra-red thermography
CN109447949A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的绝缘端子缺陷识别方法
US20190228519A1 (en) * 2018-01-25 2019-07-25 International Business Machines Corporation Anomaly detection using image-based physical characterization
CN110852318A (zh) * 2019-10-21 2020-02-28 武汉众智鸿图科技有限公司 一种排水管道缺陷精准定位方法及系统
CN110930377A (zh) * 2019-11-18 2020-03-27 福州大学 一种基于多任务学习的排水管道异常类型自动检测方法
CN111161243A (zh) * 2019-12-30 2020-05-15 华南理工大学 基于样本增强的工业产品表面缺陷检测方法
CN111553265A (zh) * 2020-04-27 2020-08-18 河北天元地理信息科技工程有限公司 一种排水管道内部缺陷的检测方法及系统
CN113763363A (zh) * 2021-09-09 2021-12-07 华南理工大学 一种排水管道破裂缺陷检测及等级评定方法
CN113962951A (zh) * 2021-10-15 2022-01-21 杭州研极微电子有限公司 检测分割模型的训练方法及装置、目标检测方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180299392A1 (en) * 2017-04-18 2018-10-18 Saudi Arabian Oil Company Apparatus, system and method for inspecting composite structures using quantitative infra-red thermography
US20190228519A1 (en) * 2018-01-25 2019-07-25 International Business Machines Corporation Anomaly detection using image-based physical characterization
CN109447949A (zh) * 2018-09-29 2019-03-08 南京理工大学 基于巡检机器人的绝缘端子缺陷识别方法
CN110852318A (zh) * 2019-10-21 2020-02-28 武汉众智鸿图科技有限公司 一种排水管道缺陷精准定位方法及系统
CN110930377A (zh) * 2019-11-18 2020-03-27 福州大学 一种基于多任务学习的排水管道异常类型自动检测方法
CN111161243A (zh) * 2019-12-30 2020-05-15 华南理工大学 基于样本增强的工业产品表面缺陷检测方法
CN111553265A (zh) * 2020-04-27 2020-08-18 河北天元地理信息科技工程有限公司 一种排水管道内部缺陷的检测方法及系统
CN113763363A (zh) * 2021-09-09 2021-12-07 华南理工大学 一种排水管道破裂缺陷检测及等级评定方法
CN113962951A (zh) * 2021-10-15 2022-01-21 杭州研极微电子有限公司 检测分割模型的训练方法及装置、目标检测方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419523A (zh) * 2022-03-29 2022-04-29 深圳市勘察研究院有限公司 基于视频深度特征识别和子空间聚类的管道缺陷检测方法
CN114419523B (zh) * 2022-03-29 2022-07-08 深圳市勘察研究院有限公司 基于视频深度特征识别和子空间聚类的管道缺陷检测方法
CN116630242A (zh) * 2023-04-28 2023-08-22 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置
CN116630242B (zh) * 2023-04-28 2024-01-12 广东励图空间信息技术有限公司 一种基于实例分割的管道缺陷评估方法及装置
CN117035419A (zh) * 2023-08-16 2023-11-10 浙江蓝城萧立建设管理有限公司 企业项目实施智能管理系统及方法
CN117035419B (zh) * 2023-08-16 2024-02-13 浙江蓝城萧立建设管理有限公司 企业项目实施智能管理系统及方法

Also Published As

Publication number Publication date
CN114120209B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN114120209B (zh) 管道缺陷检测方法、系统、设备及存储介质
Stivaktakis et al. Deep learning for multilabel land cover scene categorization using data augmentation
CN109284670B (zh) 一种基于多尺度注意力机制的行人检测方法及装置
US20180114071A1 (en) Method for analysing media content
CN109086873B (zh) 递归神经网络的训练方法、识别方法、装置及处理设备
CN110096938B (zh) 一种视频中的动作行为的处理方法和装置
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
US20230042187A1 (en) Behavior recognition method and system, electronic device and computer-readable storage medium
CN111401293B (zh) 一种基于Head轻量化Mask Scoring R-CNN的手势识别方法
CN111160469A (zh) 一种目标检测系统的主动学习方法
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN112906794A (zh) 一种目标检测方法、装置、存储介质及终端
CN114445768A (zh) 目标识别方法、装置、电子设备及存储介质
CN113420673A (zh) 垃圾分类方法、装置、设备及存储介质
CN114170570A (zh) 一种适用于拥挤场景下的行人检测方法及系统
CN114943840A (zh) 机器学习模型的训练方法、图像的处理方法和电子设备
CN116092183A (zh) 手势识别方法及装置、电子设备、存储介质
CN112633100B (zh) 行为识别方法、装置、电子设备和存储介质
CN110728700A (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
Hashemi et al. Runtime monitoring for out-of-distribution detection in object detection neural networks
Nandashri et al. An efficient tracking of multi object visual motion using Hungarian method
CN113052019A (zh) 目标跟踪方法及装置、智能设备和计算机存储介质
CN116824291A (zh) 一种遥感图像学习方法、装置以及设备
CN115713806A (zh) 基于视频分类的跌倒行为识别方法及电子设备
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant