CN114419523A - 基于视频深度特征识别和子空间聚类的管道缺陷检测方法 - Google Patents

基于视频深度特征识别和子空间聚类的管道缺陷检测方法 Download PDF

Info

Publication number
CN114419523A
CN114419523A CN202210314945.5A CN202210314945A CN114419523A CN 114419523 A CN114419523 A CN 114419523A CN 202210314945 A CN202210314945 A CN 202210314945A CN 114419523 A CN114419523 A CN 114419523A
Authority
CN
China
Prior art keywords
defect
frame
pipeline
clustering
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210314945.5A
Other languages
English (en)
Other versions
CN114419523B (zh
Inventor
叶绍泽
邱世聪
银霞
刘玉贤
吕兵
方门福
胡朝辉
王春苗
戴星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Investigation and Research Institute Co ltd
Original Assignee
Shenzhen Investigation and Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Investigation and Research Institute Co ltd filed Critical Shenzhen Investigation and Research Institute Co ltd
Priority to CN202210314945.5A priority Critical patent/CN114419523B/zh
Publication of CN114419523A publication Critical patent/CN114419523A/zh
Application granted granted Critical
Publication of CN114419523B publication Critical patent/CN114419523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，涉及管道检测技术领域，该方法包括以下步骤：S10、管道缺陷检测视频中的图像分类，通过缺陷分类器得到所有帧图像的缺陷类型识别结果
Figure 405804DEST_PATH_IMAGE001
、缺陷帧特征
Figure 730475DEST_PATH_IMAGE002
以及16类缺陷和1类无缺陷计算分值
Figure 520577DEST_PATH_IMAGE003
；S20、子空间聚类算法，对缺陷帧特征
Figure 9327DEST_PATH_IMAGE002
进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果
Figure 152863DEST_PATH_IMAGE004
；S30、关键帧图像的获取，挑选出每个聚类中的关键值
Figure 472986DEST_PATH_IMAGE005
最高的缺陷帧作为关键帧特征；本发明的有益效果是：能够准确的挑选出每个聚类中关键值最高的缺陷帧，准确率高。

Description

基于视频深度特征识别和子空间聚类的管道缺陷检测方法
技术领域
本发明涉及管道检测技术领域，更具体的说，本发明涉及一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法。
背景技术
传统的管道缺陷识别方法采用人工实时检测，或采用传统的典型缺陷检测算法Haar特征+Adaboost算法、Hog特征+Svm算法、DPM算法等进行缺陷检测。人工检测工作量大，采用传统算法也存在一些问题：传统的缺陷检测算法使用滑动窗口选择候选区域时没有针对性，同时，使用滑动窗口遍历一张图片时，所有的窗口都要分别进行一次计算，时间复杂度高，窗口冗余。这严重影响了后面的特征提取以及分类的效率。窗口的大小需要手工设定，需要设置不同的尺度以致鲁棒性不高。此外，在进行特征提取时，由于缺陷形态特征的多样性，光照强度以及背景变化的影响使得特征提取没有很好地鲁棒性，这也直接影响了分类的准确率。
发明内容
为了克服现有技术的不足，本发明提供一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法。
本发明解决其技术问题所采用的技术方案是：一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其改进之处在于，该方法包括以下步骤：
S10、管道缺陷检测视频中的图像分类，将管道缺陷检测视频中所有帧图像先经过缺陷分类器，通过缺陷分类器得到所有帧图像的缺陷类型识别结果
Figure 955176DEST_PATH_IMAGE001
、缺陷帧特征
Figure 865363DEST_PATH_IMAGE002
以及16类缺陷和1类无缺陷计算分值
Figure 525015DEST_PATH_IMAGE003
；
S20、子空间聚类算法，将缺陷分类器提取的缺陷帧特征
Figure 405115DEST_PATH_IMAGE004
通过子空间聚类算法，根据缺陷类型识别结果
Figure 528929DEST_PATH_IMAGE005
，对缺陷帧特征
Figure 219804DEST_PATH_IMAGE002
进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果
Figure 101173DEST_PATH_IMAGE006
；
S30、关键帧图像的获取，根据缺陷帧特征聚类结果
Figure 925909DEST_PATH_IMAGE006
对每个聚类中的缺陷帧特征
Figure 841913DEST_PATH_IMAGE002
计算关键值
Figure 218536DEST_PATH_IMAGE007
，挑选出每个聚类中的关键值
Figure 852780DEST_PATH_IMAGE007
最高的缺陷帧作为关键帧特征，并将关键帧特征转换为关键帧图像作为样本存档。
进一步的，步骤S10中，对管道缺陷检测视频中每一帧图像进行缺陷类型识别，管道缺陷分为16类缺陷，其中6类为常见缺陷类型，其余10类为不常见缺陷类型。
进一步的，步骤S10中，在缺陷分类器中引入欠采样代表性算法BalanceCascade，并根据管道缺陷类分布特性进行优化，以提高缺陷分类的准确性。
进一步的，根据管道缺陷类分布特性进行优化包括以下的步骤：
S101、在原BalanceCascade算法基础上，在挑选子集部分对其算法进行优化，即根据2.5：2.5：5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本，训练出一个MobileNet基分类器；
S102、使用MobileNet基分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除，保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
进一步的，步骤S20包括以下的步骤：
S201、将缺陷帧特征
Figure 950049DEST_PATH_IMAGE008
根据时间顺序，将每个帧特征记为
Figure 658242DEST_PATH_IMAGE009
；
S202、将时间顺序反应在特征表示系数
Figure 18816DEST_PATH_IMAGE010
中，使相邻域具有相似性，即
Figure 937094DEST_PATH_IMAGE011
；
S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果，目标函数如下：
Figure 962687DEST_PATH_IMAGE012
；
Figure 853283DEST_PATH_IMAGE013
；
其中，
Figure 447075DEST_PATH_IMAGE014
为下三角矩阵，对角线上元素为-1，第二对角线上元素为1；第一项是用最小二乘法测量误差
Figure 462436DEST_PATH_IMAGE015
，即
Figure 104770DEST_PATH_IMAGE016
；第二项用
Figure 912189DEST_PATH_IMAGE017
控制低秩性；第三项用
Figure 614565DEST_PATH_IMAGE018
控制稀疏度；第四项用
Figure 366490DEST_PATH_IMAGE019
控制平滑度，参数
Figure 874831DEST_PATH_IMAGE020
决定正则化强度。
进一步的，步骤S30包括以下的步骤：
S301、在每个管道缺陷检测视频中，在缺陷类型聚类计算完成后，为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录；
S302、挑选关键帧时，将缺陷帧特征
Figure 740019DEST_PATH_IMAGE021
转换为缺陷类帧图像F，根据一个聚类中每一个帧图像的图像清晰度计算值
Figure 285401DEST_PATH_IMAGE022
与缺陷类型识别得到的16类缺陷和1类无缺陷得分
Figure 399988DEST_PATH_IMAGE023
，选取相加得到的帧关键值
Figure 407012DEST_PATH_IMAGE024
最高的帧图像作为该聚类的关键帧。
进一步的，步骤S302中，包括以下的步骤：
S3021、设输入的帧图像F在RGB色彩空间中描述，将帧图像F变换至色彩空间
Figure 923444DEST_PATH_IMAGE025
，转换公式为：
Figure 967624DEST_PATH_IMAGE026
；
其中，x、y和m、n分别表示
Figure 179293DEST_PATH_IMAGE027
在RGB空间中点（x，y）和（m、n）处的分量值；
Figure 29438DEST_PATH_IMAGE029
表示变换算法，将图像从RGB颜色空间中的（m,n）分量转换到新颜色空间
Figure 603639DEST_PATH_IMAGE027
中的（x、y）分量，其具体流程如下：
Figure 5670DEST_PATH_IMAGE030
；
其中，
Figure 298111DEST_PATH_IMAGE031
为变换系数，且确定的
Figure 686367DEST_PATH_IMAGE032
可由不同的R、G、B线性表示，
Figure 380654DEST_PATH_IMAGE025
其中一维
Figure 438739DEST_PATH_IMAGE033
分量表述图像的亮度分量；
S3022、使用
Figure 15214DEST_PATH_IMAGE032
作为梯度计算相邻像素梯度值
Figure 66216DEST_PATH_IMAGE034
：
Figure 615009DEST_PATH_IMAGE035
；
S3023、为了能够在不同色彩空间下分辨出细节边缘像素的色彩属性，以三刺激值方差描述色差评价参数
Figure 234209DEST_PATH_IMAGE036
：
Figure 235663DEST_PATH_IMAGE037
；
其中
Figure 106667DEST_PATH_IMAGE038
、
Figure 306704DEST_PATH_IMAGE039
和
Figure 34489DEST_PATH_IMAGE040
分别代表RGB颜色空间中相应的红、绿和蓝色的x, y分量。
S3024、为使计算图像清晰度时，评价函数对图像有较强的鲁棒性，加入
Figure 444610DEST_PATH_IMAGE041
作为参考像素（x，y）点的对数放大系数：
Figure 243939DEST_PATH_IMAGE042
；
S3025、得到最终的图像清晰度计算值
Figure 501745DEST_PATH_IMAGE043
的公式为：
Figure 338114DEST_PATH_IMAGE044
；
聚类算法中每一帧的关键值
Figure 314160DEST_PATH_IMAGE024
的计算公式为：
Figure 651601DEST_PATH_IMAGE045
；
其中，
Figure 685285DEST_PATH_IMAGE046
为图像清晰度，
Figure 20451DEST_PATH_IMAGE047
为缺陷识别得到的16类缺陷和1类无缺陷得分的系数。
进一步的，所述色彩空间
Figure 280531DEST_PATH_IMAGE048
为HSI色彩空间或YCbCr色彩空间。
本发明的有益效果是：只需要在缺陷类型聚类完成后为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录，节约了存储成本；通过关键帧算法，能够准确的挑选出每个聚类中关键值最高的缺陷帧，准确率高，算法优化合理。
附图说明
图1为本发明的基于视频深度特征识别和子空间聚类的管道缺陷检测方法的流程示意图。
图2为本发明的基于视频深度特征识别和子空间聚类的管道缺陷检测方法的具体实施例图。
图3为原MobileNet结构与修改部分的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
参照图1、图2所示，本发明揭示了一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，在本实施例中，该方法包括以下步骤：
S10、管道缺陷检测视频中的图像分类，将管道缺陷检测视频中所有帧图像先经过缺陷分类器，通过缺陷分类器得到所有帧图像的缺陷类型识别结果
Figure 359346DEST_PATH_IMAGE049
、缺陷帧特征
Figure 263848DEST_PATH_IMAGE050
以及16类缺陷和1类无缺陷计算分值
Figure 566653DEST_PATH_IMAGE051
；
具体的，结合图2、图3所示，步骤S10中，对管道缺陷检测视频中每一帧图像进行缺陷类型识别，并根据行业标准管道缺陷分为16类缺陷，其中6类为常见缺陷类型，其余10类为不常见缺陷类型。
本发明缺陷类型识别任务使用监督学习，采用Google提出的一种小巧而高效的CNN模型MobileNet。在MobileNet中，首先是一个3x3的标准卷积，随后就是堆积深度级可分离卷积（Depthwise separable convolution），并且中间在Depthwise convolution会通过strides=2进行down sampling。然后采用Average Pooling将Feature变成1x1，根据预测类别大小加上全连接层，最后是一个softmax层。其中单独计算Depthwiseconvolution和Pointwise convolution，整个网络有28层（这里Avg Pool和Softmax不计算在内）。
由于最初用于处理1000类的图像分类任务，我们需要将最后一个FC全连接层修改为17个神经元，详情如图3所示。
因管道缺陷类型中的10类不常见缺陷类型比较罕见，训练样本相对较少，而数据集中不同类样本数量差别很大，会对学习过程造成困扰。
步骤S10中，在缺陷分类器中引入欠采样代表性算法BalanceCascade，并根据管道缺陷类分布特性进行优化，以提高缺陷分类的准确性，解决缺陷类不平衡问题。
由于所有管道缺陷类型可分为结构性和功能性两大类，在本实施例中，根据管道缺陷类分布特性进行优化包括以下的步骤：
S101、在原BalanceCascade算法基础上，在挑选子集部分对其算法进行优化，即根据2.5：2.5：5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本，训练出一个MobileNet基分类器；
S102、使用MobileNet基分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除，保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
S20、子空间聚类算法，将缺陷分类器提取的缺陷帧特征
Figure 251712DEST_PATH_IMAGE052
通过子空间聚类算法，根据缺陷类型识别结果
Figure 55589DEST_PATH_IMAGE049
，对缺陷帧特征
Figure 142494DEST_PATH_IMAGE050
进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果
Figure 881780DEST_PATH_IMAGE053
；
在本实施例中，由于视频中一个缺陷可能存在几十甚至上百帧，这将导致存储内存浪费等问题。为解决该问题，本发明引入子空间聚类思想，把相邻时间内属于同一中缺陷类型的帧特征聚合成一类，以便后面挑选关键帧。
本实施例中，所述的步骤S20包括以下的步骤：
S201、将缺陷帧特征
Figure 726239DEST_PATH_IMAGE054
根据时间顺序，将每个帧特征记为
Figure 146856DEST_PATH_IMAGE055
；
S202、将时间顺序反应在特征表示系数
Figure 885005DEST_PATH_IMAGE056
中，使相邻域具有相似性，即
Figure 919826DEST_PATH_IMAGE057
；
S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果，目标函数如下：
Figure 579477DEST_PATH_IMAGE058
；
Figure 600523DEST_PATH_IMAGE059
；
其中，
Figure 662020DEST_PATH_IMAGE060
为下三角矩阵，对角线上元素为-1，第二对角线上元素为1；第一项是用最小二乘法测量误差
Figure 352895DEST_PATH_IMAGE015
，即
Figure 296581DEST_PATH_IMAGE061
；第二项用
Figure 59000DEST_PATH_IMAGE062
控制低秩性；第三项用
Figure 896375DEST_PATH_IMAGE063
控制稀疏度；第四项用
Figure 882786DEST_PATH_IMAGE064
控制平滑度，参数
Figure 189133DEST_PATH_IMAGE065
决定正则化强度。
S30、关键帧图像的获取，根据缺陷帧特征聚类结果
Figure 489665DEST_PATH_IMAGE066
对每个聚类中的缺陷帧特征
Figure 322491DEST_PATH_IMAGE050
计算关键值
Figure 870016DEST_PATH_IMAGE067
，挑选出每个聚类中的关键值
Figure 725977DEST_PATH_IMAGE067
最高的缺陷帧作为关键帧特征，并将关键帧特征转换为关键帧图像作为样本存档。
在本实施例中，步骤S30包括以下的步骤：
S301、在每个管道缺陷检测视频中，在缺陷类型聚类计算完成后，为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录；节约存储成本；
S302、挑选关键帧时，将缺陷帧特征
Figure 626937DEST_PATH_IMAGE050
转换为缺陷类帧图像F，根据一个聚类中每一个帧图像的图像清晰度计算值
Figure 455215DEST_PATH_IMAGE068
与缺陷类型识别得到的16类缺陷和1类无缺陷得分
Figure 986691DEST_PATH_IMAGE069
，选取相加得到的帧关键值
Figure 392264DEST_PATH_IMAGE070
最高的帧图像作为该聚类的关键帧。
更为具体的，步骤S302中，包括以下的步骤：
S3021、设输入的帧图像F在RGB色彩空间中描述，将帧图像F变换至色彩空间
Figure 955970DEST_PATH_IMAGE071
，转换公式为：
Figure 701072DEST_PATH_IMAGE072
；
其中，x、y和m、n分别表示
Figure 465766DEST_PATH_IMAGE073
在RGB空间中点（x，y）和（m、n）处的分量值；
Figure 968422DEST_PATH_IMAGE075
表示变换算法，将图像从RGB颜色空间中的（m,n）分量转换到新颜色空间
Figure 414447DEST_PATH_IMAGE073
中的（x、y）分量，其具体流程如下：
Figure 76373DEST_PATH_IMAGE076
；
其中，
Figure 949651DEST_PATH_IMAGE077
为变换系数，且确定的
Figure 454450DEST_PATH_IMAGE078
可由不同的R、G、B线性表示，
Figure 500904DEST_PATH_IMAGE079
其中一维
Figure 955019DEST_PATH_IMAGE080
分量表述图像的亮度分量；
并且，本实施例中，所述色彩空间
Figure 936881DEST_PATH_IMAGE079
为HSI色彩空间、YCbCr色彩空间中的任意一种；
S3022、使用
Figure 742026DEST_PATH_IMAGE080
作为梯度计算相邻像素梯度值
Figure 326591DEST_PATH_IMAGE081
：
Figure 87743DEST_PATH_IMAGE082
；
S3023、为了能够在不同色彩空间下分辨出细节边缘像素的色彩属性，以三刺激值方差描述色差评价参数
Figure 302823DEST_PATH_IMAGE083
：
Figure 657581DEST_PATH_IMAGE084
；
S3024、为使计算图像清晰度时，评价函数对图像有较强的鲁棒性，加入
Figure 655624DEST_PATH_IMAGE085
作为参考像素（x，y）点的对数放大系数：
Figure 84332DEST_PATH_IMAGE086
；
S3025、得到最终的图像清晰度计算值
Figure 798210DEST_PATH_IMAGE087
的公式为：
Figure 312368DEST_PATH_IMAGE088
；
关键值
Figure 363369DEST_PATH_IMAGE070
计算公式为：
Figure 974479DEST_PATH_IMAGE089
；
其中，
Figure 203466DEST_PATH_IMAGE090
为图像清晰度，
Figure 204920DEST_PATH_IMAGE091
为缺陷识别得到的16类缺陷和1类无缺陷得分的系数。
基于上述的实施例，本发明提供的一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，该方法具有以下的优点，其一，通过引入子空间聚类思想，把相邻时间内属于同一中缺陷类型的帧特征聚合成一类，以便后面挑选关键帧，有效的克服了现有技术视频中一个缺陷可能存在几十甚至上百帧，导致存储内存浪费的问题；其二、只需要在缺陷类型聚类完成后为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录，节约了存储成本；其三、通过关键帧算法，能够准确的挑选出每个聚类中关键值最高的缺陷帧，准确率高，算法优化合理。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (8)

1.一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，该方法包括以下步骤：
S10、管道缺陷检测视频中的图像分类，将管道缺陷检测视频中所有帧图像先经过缺陷分类器，通过缺陷分类器得到所有帧图像的缺陷类型识别结果
Figure 34291DEST_PATH_IMAGE001
、缺陷帧特征
Figure 191603DEST_PATH_IMAGE002
以及16类缺陷和1类无缺陷计算分值
Figure 985246DEST_PATH_IMAGE003
；
S20、子空间聚类算法，将缺陷分类器提取的缺陷帧特征
Figure 823889DEST_PATH_IMAGE004
通过子空间聚类算法，根据缺陷类型识别结果
Figure 776802DEST_PATH_IMAGE005
，对缺陷帧特征
Figure 229649DEST_PATH_IMAGE002
进行聚类计算，得到关于时间序列的缺陷帧特征聚类结果
Figure 572906DEST_PATH_IMAGE006
；
S30、关键帧图像的获取，根据缺陷帧特征聚类结果
Figure 543136DEST_PATH_IMAGE007
对每个聚类中的缺陷帧特征
Figure 288238DEST_PATH_IMAGE002
计算关键值
Figure 662718DEST_PATH_IMAGE008
，挑选出每个聚类中的关键值
Figure 555588DEST_PATH_IMAGE008
最高的缺陷帧作为关键帧特征，并将关键帧特征转换为关键帧图像作为样本存档。
2.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S10中，对管道缺陷检测视频中每一帧图像进行缺陷类型识别，管道缺陷分为16类缺陷，其中6类为常见缺陷类型，其余10类为不常见缺陷类型。
3.根据权利要求2所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S10中，在缺陷分类器中引入欠采样代表性算法BalanceCascade，并根据管道缺陷类分布特性进行优化，以提高缺陷分类的准确性。
4.根据权利要求3所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，根据管道缺陷类分布特性进行优化包括以下的步骤：
S101、在原BalanceCascade算法基础上，在挑选子集部分对其算法进行优化，即根据2.5：2.5：5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本，训练出一个MobileNet基分类器；
S102、使用MobileNet基分类器对全体多数类进行预测，通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除，保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
5.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S20包括以下的步骤：
S201、将缺陷帧特征
Figure 736034DEST_PATH_IMAGE009
根据时间顺序，将每个帧特征记为
Figure 788172DEST_PATH_IMAGE010
；
S202、将时间顺序反应在特征表示系数
Figure 458188DEST_PATH_IMAGE011
中，使相邻域具有相似性，即
Figure 776037DEST_PATH_IMAGE012
；
S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果，目标函数如下：
Figure 697856DEST_PATH_IMAGE013
；
Figure 417551DEST_PATH_IMAGE014
；
其中，
Figure 258468DEST_PATH_IMAGE015
为下三角矩阵，对角线上元素为-1，第二对角线上元素为1；第一项是用最小二乘法测量误差
Figure 329192DEST_PATH_IMAGE016
，即
Figure 38391DEST_PATH_IMAGE017
；第二项用
Figure 674909DEST_PATH_IMAGE018
控制低秩性；第三项用
Figure 889989DEST_PATH_IMAGE019
控制稀疏度；第四项用
Figure 588955DEST_PATH_IMAGE020
控制平滑度，参数
Figure 242790DEST_PATH_IMAGE021
决定正则化强度。
6.根据权利要求2所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S30包括以下的步骤：
S301、在每个管道缺陷检测视频中，在缺陷类型聚类计算完成后，为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录；
S302、挑选关键帧时，将缺陷帧特征
Figure 671498DEST_PATH_IMAGE022
转换为缺陷类帧图像F，根据一个聚类中每一个帧图像的图像清晰度计算值
Figure 978851DEST_PATH_IMAGE023
与缺陷类型识别得到的16类缺陷和1类无缺陷得分
Figure 820905DEST_PATH_IMAGE024
,选取相加得到的帧关键值
Figure 622639DEST_PATH_IMAGE025
最高的帧图像作为该聚类的关键帧。
7.根据权利要求6所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，步骤S302中，包括以下的步骤：
S3021、设输入的帧图像F在RGB色彩空间中描述，将帧图像F变换至色彩空间
Figure 702590DEST_PATH_IMAGE026
，转换公式为：
Figure 525053DEST_PATH_IMAGE027
；
其中，x、y和m、n分别表示
Figure 447878DEST_PATH_IMAGE028
在RGB空间中点（x，y）和（m、n）处的分量值；
Figure 177937DEST_PATH_IMAGE030
表示变换算法，将图像从RGB颜色空间中的（m,n）分量转换到新颜色空间
Figure 581237DEST_PATH_IMAGE026
中的（x、y）分量，其具体流程如下：
Figure 246704DEST_PATH_IMAGE031
；
其中，
Figure 532192DEST_PATH_IMAGE032
为变换系数，且确定的
Figure 269204DEST_PATH_IMAGE033
可由不同的R、G、B线性表示，
Figure 713961DEST_PATH_IMAGE026
其中一维
Figure 612646DEST_PATH_IMAGE034
分量表述图像的亮度分量；
S3022、使用
Figure 385430DEST_PATH_IMAGE033
作为梯度计算相邻像素梯度值
Figure 598237DEST_PATH_IMAGE035
：
Figure 710550DEST_PATH_IMAGE036
；
S3023、为了能够在不同色彩空间下分辨出细节边缘像素的色彩属性，以三刺激值方差描述色差评价参数
Figure 842454DEST_PATH_IMAGE037
：
Figure 227167DEST_PATH_IMAGE038
；
S3024、为使计算图像清晰度时，评价函数对图像有较强的鲁棒性，加入
Figure 305982DEST_PATH_IMAGE039
作为参考像素（x，y）点的对数放大系数：
Figure 600697DEST_PATH_IMAGE040
；
S3025、得到最终的图像清晰度计算值
Figure 513289DEST_PATH_IMAGE041
的公式为：
Figure 463928DEST_PATH_IMAGE042
；
聚类算法中每一帧的关键值
Figure 143171DEST_PATH_IMAGE043
的计算公式为：
Figure 230076DEST_PATH_IMAGE044
；
其中，
Figure 562837DEST_PATH_IMAGE045
为图像清晰度，
Figure 797509DEST_PATH_IMAGE046
为缺陷识别得到的16类缺陷和1类无缺陷得分的系数。
8.根据权利要求7所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法，其特征在于，所述色彩空间
Figure 218126DEST_PATH_IMAGE047
为HSI色彩空间或YCbCr色彩空间。
CN202210314945.5A 2022-03-29 2022-03-29 基于视频深度特征识别和子空间聚类的管道缺陷检测方法 Active CN114419523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210314945.5A CN114419523B (zh) 2022-03-29 2022-03-29 基于视频深度特征识别和子空间聚类的管道缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210314945.5A CN114419523B (zh) 2022-03-29 2022-03-29 基于视频深度特征识别和子空间聚类的管道缺陷检测方法

Publications (2)

Publication Number Publication Date
CN114419523A true CN114419523A (zh) 2022-04-29
CN114419523B CN114419523B (zh) 2022-07-08

Family

ID=81263903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210314945.5A Active CN114419523B (zh) 2022-03-29 2022-03-29 基于视频深度特征识别和子空间聚类的管道缺陷检测方法

Country Status (1)

Country Link
CN (1) CN114419523B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553416A (zh) * 2020-04-28 2020-08-18 江苏理工学院 一种低秩稀疏空间子空间聚类方法
CN111797707A (zh) * 2020-06-12 2020-10-20 武汉大学 一种基于聚类的镜头关键帧提取方法
CN112070044A (zh) * 2020-09-15 2020-12-11 北京深睿博联科技有限责任公司 一种视频物体分类方法及装置
CN113139507A (zh) * 2021-05-12 2021-07-20 保定金迪地下管线探测工程有限公司 一种排水管道缺陷照片自动截取方法及其系统
CN113221710A (zh) * 2021-04-30 2021-08-06 深圳市水务工程检测有限公司 基于神经网络的排水管道缺陷识别方法、装置、设备及介质
CN114120209A (zh) * 2022-01-27 2022-03-01 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备及存储介质
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553416A (zh) * 2020-04-28 2020-08-18 江苏理工学院 一种低秩稀疏空间子空间聚类方法
CN111797707A (zh) * 2020-06-12 2020-10-20 武汉大学 一种基于聚类的镜头关键帧提取方法
CN112070044A (zh) * 2020-09-15 2020-12-11 北京深睿博联科技有限责任公司 一种视频物体分类方法及装置
CN113221710A (zh) * 2021-04-30 2021-08-06 深圳市水务工程检测有限公司 基于神经网络的排水管道缺陷识别方法、装置、设备及介质
CN113139507A (zh) * 2021-05-12 2021-07-20 保定金迪地下管线探测工程有限公司 一种排水管道缺陷照片自动截取方法及其系统
CN114120209A (zh) * 2022-01-27 2022-03-01 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备及存储介质
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭惠楠等: "基于色彩相关性的彩色图像清晰度评价算法", 《红外与激光工程》 *
郭惠楠等: "基于色彩相关性的彩色图像清晰度评价算法", 《红外与激光工程》, vol. 42, no. 11, 30 November 2013 (2013-11-30), pages 3132 - 3136 *

Also Published As

Publication number Publication date
CN114419523B (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
CN110414538B (zh) 缺陷分类方法、缺陷分类训练方法及其装置
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN111784633A (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN109255326B (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN113554629A (zh) 基于人工智能的带钢红锈缺陷检测方法
CN111986125A (zh) 一种用于多目标任务实例分割的方法
CN109598681B (zh) 一种对称唐卡修复后图像的无参考质量评价方法
CN114170418B (zh) 一种以图搜图的汽车线束连接器多特征融合图像检索方法
CN113096085A (zh) 基于两阶段卷积神经网络的集装箱表面损伤检测方法
CN115272350A (zh) 一种计算机pcb主板生产质量检测方法
CN115830585A (zh) 一种基于图像增强的港口集装箱号识别方法
CN109145770B (zh) 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法
CN117593264A (zh) 一种改进的联合YOLOv5和知识蒸馏的汽车发动机缸孔内壁检测方法
CN113052234A (zh) 一种基于图像特征和深度学习技术的玉石分类方法
CN114419523B (zh) 基于视频深度特征识别和子空间聚类的管道缺陷检测方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
WO2023173949A1 (zh) 一种古籍识别方法、装置、存储介质及设备
CN116519710A (zh) 一种用于复合绝缘子表面污秽状态的检测方法及系统
CN115546141A (zh) 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统
CN115690410A (zh) 一种基于特征聚类的语义分割方法及系统
CN115937095A (zh) 融合图像处理算法和深度学习的印刷缺陷检测方法及系统
CN115170956A (zh) 基于多尺度熵率超像素的后验概率高光谱图像分类方法
CN115439405A (zh) 一种钢板表面缺陷的分类方法
CN114926661A (zh) 一种纺织品表面颜色数据处理、识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant