CN114419523A - 基于视频深度特征识别和子空间聚类的管道缺陷检测方法 - Google Patents
基于视频深度特征识别和子空间聚类的管道缺陷检测方法 Download PDFInfo
- Publication number
- CN114419523A CN114419523A CN202210314945.5A CN202210314945A CN114419523A CN 114419523 A CN114419523 A CN 114419523A CN 202210314945 A CN202210314945 A CN 202210314945A CN 114419523 A CN114419523 A CN 114419523A
- Authority
- CN
- China
- Prior art keywords
- defect
- frame
- pipeline
- clustering
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
技术领域
本发明涉及管道检测技术领域,更具体的说,本发明涉及一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法。
背景技术
传统的管道缺陷识别方法采用人工实时检测,或采用传统的典型缺陷检测算法Haar特征+Adaboost算法、Hog特征+Svm算法、DPM算法等进行缺陷检测。人工检测工作量大,采用传统算法也存在一些问题:传统的缺陷检测算法使用滑动窗口选择候选区域时没有针对性,同时,使用滑动窗口遍历一张图片时,所有的窗口都要分别进行一次计算,时间复杂度高,窗口冗余。这严重影响了后面的特征提取以及分类的效率。窗口的大小需要手工设定,需要设置不同的尺度以致鲁棒性不高。此外,在进行特征提取时,由于缺陷形态特征的多样性,光照强度以及背景变化的影响使得特征提取没有很好地鲁棒性,这也直接影响了分类的准确率。
发明内容
为了克服现有技术的不足,本发明提供一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法。
本发明解决其技术问题所采用的技术方案是:一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法,其改进之处在于,该方法包括以下步骤:
进一步的,步骤S10中,对管道缺陷检测视频中每一帧图像进行缺陷类型识别,管道缺陷分为16类缺陷,其中6类为常见缺陷类型,其余10类为不常见缺陷类型。
进一步的,步骤S10中,在缺陷分类器中引入欠采样代表性算法BalanceCascade,并根据管道缺陷类分布特性进行优化,以提高缺陷分类的准确性。
进一步的,根据管道缺陷类分布特性进行优化包括以下的步骤:
S101、在原BalanceCascade算法基础上,在挑选子集部分对其算法进行优化,即根据2.5:2.5:5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本,训练出一个MobileNet基分类器;
S102、使用MobileNet基分类器对全体多数类进行预测,通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除,保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
进一步的,步骤S20包括以下的步骤:
S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果,目标函数如下:
进一步的,步骤S30包括以下的步骤:
S301、在每个管道缺陷检测视频中,在缺陷类型聚类计算完成后,为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录;
S302、挑选关键帧时,将缺陷帧特征转换为缺陷类帧图像F,根据一个聚类中每一个帧图像的图像清晰度计算值与缺陷类型识别得到的16类缺陷和1类无缺陷得分,选取相加得到的帧关键值最高的帧图像作为该聚类的关键帧。
进一步的,步骤S302中,包括以下的步骤:
本发明的有益效果是:只需要在缺陷类型聚类完成后为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录,节约了存储成本;通过关键帧算法,能够准确的挑选出每个聚类中关键值最高的缺陷帧,准确率高,算法优化合理。
附图说明
图1为本发明的基于视频深度特征识别和子空间聚类的管道缺陷检测方法的流程示意图。
图2为本发明的基于视频深度特征识别和子空间聚类的管道缺陷检测方法的具体实施例图。
图3为原MobileNet结构与修改部分的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述,以充分地理解本发明的目的、特征和效果。显然,所描述的实施例只是本发明的一部分实施例,而不是全部实施例,基于本发明的实施例,本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例,均属于本发明保护的范围。另外,专利中涉及到的所有联接/连接关系,并非单指构件直接相接,而是指可根据具体实施情况,通过添加或减少联接辅件,来组成更优的联接结构。本发明创造中的各个技术特征,在不互相矛盾冲突的前提下可以交互组合。
参照图1、图2所示,本发明揭示了一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法,在本实施例中,该方法包括以下步骤:
具体的,结合图2、图3所示,步骤S10中,对管道缺陷检测视频中每一帧图像进行缺陷类型识别,并根据行业标准管道缺陷分为16类缺陷,其中6类为常见缺陷类型,其余10类为不常见缺陷类型。
本发明缺陷类型识别任务使用监督学习,采用Google提出的一种小巧而高效的CNN模型MobileNet。在MobileNet中,首先是一个3x3的标准卷积,随后就是堆积深度级可分离卷积(Depthwise separable convolution),并且中间在Depthwise convolution会通过strides=2进行down sampling。然后采用Average Pooling将Feature变成1x1,根据预测类别大小加上全连接层,最后是一个softmax层。其中单独计算Depthwiseconvolution和Pointwise convolution,整个网络有28层(这里Avg Pool和Softmax不计算在内)。
由于最初用于处理1000类的图像分类任务,我们需要将最后一个FC全连接层修改为17个神经元,详情如图3所示。
因管道缺陷类型中的10类不常见缺陷类型比较罕见,训练样本相对较少,而数据集中不同类样本数量差别很大,会对学习过程造成困扰。
步骤S10中,在缺陷分类器中引入欠采样代表性算法BalanceCascade,并根据管道缺陷类分布特性进行优化,以提高缺陷分类的准确性,解决缺陷类不平衡问题。
由于所有管道缺陷类型可分为结构性和功能性两大类,在本实施例中,根据管道缺陷类分布特性进行优化包括以下的步骤:
S101、在原BalanceCascade算法基础上,在挑选子集部分对其算法进行优化,即根据2.5:2.5:5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本,训练出一个MobileNet基分类器;
S102、使用MobileNet基分类器对全体多数类进行预测,通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除,保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
在本实施例中,由于视频中一个缺陷可能存在几十甚至上百帧,这将导致存储内存浪费等问题。为解决该问题,本发明引入子空间聚类思想,把相邻时间内属于同一中缺陷类型的帧特征聚合成一类,以便后面挑选关键帧。
本实施例中,所述的步骤S20包括以下的步骤:
S203、使用空间序列低秩稀疏子空间聚类为序列数据带来更好的聚类效果,目标函数如下:
在本实施例中,步骤S30包括以下的步骤:
S301、在每个管道缺陷检测视频中,在缺陷类型聚类计算完成后,为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录;节约存储成本;
S302、挑选关键帧时,将缺陷帧特征转换为缺陷类帧图像F,根据一个聚类中每一个帧图像的图像清晰度计算值与缺陷类型识别得到的16类缺陷和1类无缺陷得分,选取相加得到的帧关键值最高的帧图像作为该聚类的关键帧。
更为具体的,步骤S302中,包括以下的步骤:
基于上述的实施例,本发明提供的一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法,该方法具有以下的优点,其一,通过引入子空间聚类思想,把相邻时间内属于同一中缺陷类型的帧特征聚合成一类,以便后面挑选关键帧,有效的克服了现有技术视频中一个缺陷可能存在几十甚至上百帧,导致存储内存浪费的问题;其二、只需要在缺陷类型聚类完成后为每个聚类中挑选一张该缺陷类型的关键图像进行存储记录,节约了存储成本;其三、通过关键帧算法,能够准确的挑选出每个聚类中关键值最高的缺陷帧,准确率高,算法优化合理。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种基于视频深度特征识别和子空间聚类的管道缺陷检测方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法,其特征在于,步骤S10中,对管道缺陷检测视频中每一帧图像进行缺陷类型识别,管道缺陷分为16类缺陷,其中6类为常见缺陷类型,其余10类为不常见缺陷类型。
3.根据权利要求2所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法,其特征在于,步骤S10中,在缺陷分类器中引入欠采样代表性算法BalanceCascade,并根据管道缺陷类分布特性进行优化,以提高缺陷分类的准确性。
4.根据权利要求3所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法,其特征在于,根据管道缺陷类分布特性进行优化包括以下的步骤:
S101、在原BalanceCascade算法基础上,在挑选子集部分对其算法进行优化,即根据2.5:2.5:5的比例从6类常见缺陷类型中挑选出与10类罕见缺陷类型数量相等的未训练类样本、仅功能性结构性判断正确样本、判断完全错误样本,训练出一个MobileNet基分类器;
S102、使用MobileNet基分类器对全体多数类进行预测,通过控制分类阈值来控制假正例率,将常见缺陷类型中判断正确的类所有样本删除,保留仅功能性、结构性判断正确类样本和判断完全错误类样本。
7.根据权利要求6所述的基于视频深度特征识别和子空间聚类的管道缺陷检测方法,其特征在于,步骤S302中,包括以下的步骤:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210314945.5A CN114419523B (zh) | 2022-03-29 | 2022-03-29 | 基于视频深度特征识别和子空间聚类的管道缺陷检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210314945.5A CN114419523B (zh) | 2022-03-29 | 2022-03-29 | 基于视频深度特征识别和子空间聚类的管道缺陷检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114419523A true CN114419523A (zh) | 2022-04-29 |
CN114419523B CN114419523B (zh) | 2022-07-08 |
Family
ID=81263903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210314945.5A Active CN114419523B (zh) | 2022-03-29 | 2022-03-29 | 基于视频深度特征识别和子空间聚类的管道缺陷检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114419523B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553416A (zh) * | 2020-04-28 | 2020-08-18 | 江苏理工学院 | 一种低秩稀疏空间子空间聚类方法 |
CN111797707A (zh) * | 2020-06-12 | 2020-10-20 | 武汉大学 | 一种基于聚类的镜头关键帧提取方法 |
CN112070044A (zh) * | 2020-09-15 | 2020-12-11 | 北京深睿博联科技有限责任公司 | 一种视频物体分类方法及装置 |
CN113139507A (zh) * | 2021-05-12 | 2021-07-20 | 保定金迪地下管线探测工程有限公司 | 一种排水管道缺陷照片自动截取方法及其系统 |
CN113221710A (zh) * | 2021-04-30 | 2021-08-06 | 深圳市水务工程检测有限公司 | 基于神经网络的排水管道缺陷识别方法、装置、设备及介质 |
CN114120209A (zh) * | 2022-01-27 | 2022-03-01 | 深圳市博铭维技术股份有限公司 | 管道缺陷检测方法、系统、设备及存储介质 |
CN114140625A (zh) * | 2022-01-30 | 2022-03-04 | 深圳市博铭维技术股份有限公司 | 管道缺陷检测方法、系统、设备与计算机可读存储介质 |
-
2022
- 2022-03-29 CN CN202210314945.5A patent/CN114419523B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111553416A (zh) * | 2020-04-28 | 2020-08-18 | 江苏理工学院 | 一种低秩稀疏空间子空间聚类方法 |
CN111797707A (zh) * | 2020-06-12 | 2020-10-20 | 武汉大学 | 一种基于聚类的镜头关键帧提取方法 |
CN112070044A (zh) * | 2020-09-15 | 2020-12-11 | 北京深睿博联科技有限责任公司 | 一种视频物体分类方法及装置 |
CN113221710A (zh) * | 2021-04-30 | 2021-08-06 | 深圳市水务工程检测有限公司 | 基于神经网络的排水管道缺陷识别方法、装置、设备及介质 |
CN113139507A (zh) * | 2021-05-12 | 2021-07-20 | 保定金迪地下管线探测工程有限公司 | 一种排水管道缺陷照片自动截取方法及其系统 |
CN114120209A (zh) * | 2022-01-27 | 2022-03-01 | 深圳市博铭维技术股份有限公司 | 管道缺陷检测方法、系统、设备及存储介质 |
CN114140625A (zh) * | 2022-01-30 | 2022-03-04 | 深圳市博铭维技术股份有限公司 | 管道缺陷检测方法、系统、设备与计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
郭惠楠等: "基于色彩相关性的彩色图像清晰度评价算法", 《红外与激光工程》 * |
郭惠楠等: "基于色彩相关性的彩色图像清晰度评价算法", 《红外与激光工程》, vol. 42, no. 11, 30 November 2013 (2013-11-30), pages 3132 - 3136 * |
Also Published As
Publication number | Publication date |
---|---|
CN114419523B (zh) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414538B (zh) | 缺陷分类方法、缺陷分类训练方法及其装置 | |
CN109255344B (zh) | 一种基于机器视觉的数显式仪表定位与读数识别方法 | |
CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
CN109255326B (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
CN113554629A (zh) | 基于人工智能的带钢红锈缺陷检测方法 | |
CN111784633A (zh) | 一种面向电力巡检视频的绝缘子缺损自动检测算法 | |
CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
CN109598681B (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
CN114170418B (zh) | 一种以图搜图的汽车线束连接器多特征融合图像检索方法 | |
CN113096085A (zh) | 基于两阶段卷积神经网络的集装箱表面损伤检测方法 | |
CN115272350A (zh) | 一种计算机pcb主板生产质量检测方法 | |
CN115830585A (zh) | 一种基于图像增强的港口集装箱号识别方法 | |
CN109145770B (zh) | 一种基于多尺度特征融合网络与定位模型相结合的麦蜘蛛自动计数方法 | |
CN117593264A (zh) | 一种改进的联合YOLOv5和知识蒸馏的汽车发动机缸孔内壁检测方法 | |
CN113052234A (zh) | 一种基于图像特征和深度学习技术的玉石分类方法 | |
CN114419523B (zh) | 基于视频深度特征识别和子空间聚类的管道缺陷检测方法 | |
CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 | |
WO2023173949A1 (zh) | 一种古籍识别方法、装置、存储介质及设备 | |
CN116519710A (zh) | 一种用于复合绝缘子表面污秽状态的检测方法及系统 | |
CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 | |
CN115690410A (zh) | 一种基于特征聚类的语义分割方法及系统 | |
CN115937095A (zh) | 融合图像处理算法和深度学习的印刷缺陷检测方法及系统 | |
CN115439405A (zh) | 一种钢板表面缺陷的分类方法 | |
CN114926661A (zh) | 一种纺织品表面颜色数据处理、识别方法及系统 | |
CN111754459B (zh) | 基于统计深度特征的染色伪造图像检测方法及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |