CN113192018B - 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 - Google Patents
基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 Download PDFInfo
- Publication number
- CN113192018B CN113192018B CN202110440898.4A CN202110440898A CN113192018B CN 113192018 B CN113192018 B CN 113192018B CN 202110440898 A CN202110440898 A CN 202110440898A CN 113192018 B CN113192018 B CN 113192018B
- Authority
- CN
- China
- Prior art keywords
- layer
- image
- model
- video
- wall surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 23
- 230000011218 segmentation Effects 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims abstract description 34
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 5
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 2
- 238000003062 neural network model Methods 0.000 claims 2
- 238000010845 search algorithm Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 230000006872 improvement Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000011425 standardization method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000010248 power generation Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法涉及锅炉设备自动化缺陷检测领域。本发明通过使用改进的Fast‑SCNN训练识别水冷壁表面缺陷的缺陷检测模型，使用该检测模型结合选择性搜索算法，运用一定的视频材料处理手段对视频形式的水冷壁表面资料进行缺陷的检测识别工作。该方法可以有效对水冷壁表面获取的视频文件进行缺陷的检测和识别，具有较高的识别准确率，是实现锅炉水冷壁表面缺陷检测自动化的有效手段途径，帮助解决了人工检测缺陷周期长、耗费多、效率低下等问题。
Description
技术领域
本发明涉及锅炉设备自动化缺陷检测领域，尤其涉及一种基于改进的快速分割卷积神经网络(Fast-SCNN)的水冷壁表面缺陷视频识别方法，实现水冷壁表面缺陷视频资源的自动化检测。
背景技术
随着经济社会的发展，国民对于用电的需求日益提高。在诸多的发电方式中，火力发电占据着不可撼动的地位，并且在未来相当长的一段时间内都会是我国的主要电力来源。在火电厂的非计划停工中，一大半都是由于锅炉事故导致的。而在引发锅炉事故的诸多诱因中，水冷壁的破损缺陷是最主要的原因。因此，想要有效预防锅炉事故的发生，减少生命财产安全的损失，对锅炉的水冷壁进行定期的检测和维修，是十分必要的。目前对水冷壁的检测手段仍然多以人工检测为主，很明显这种方法是效率低下且不安全的。
近年来，深度学习方法和理论不断被研究和发展，随着卷积神经网络(CNN)在机器视觉领域的应用，一些更为复杂的检测手法被运用到缺陷检测的工作中。快速分割卷积神经网络(Fast-SCNN)能够提取到图像中的更为深度的层次信息，对于缺陷的捕捉和理解有着出色的表现，可以更加有效地提取局部特征。相较于传统的识别分类模型，Fast-SCNN对缺陷图像的识别效果更佳。
选择性搜索(Selective Search)算法是进行目标检测的主流方法。对于某输入图像，由于其对象尺度形状等因素的不确定性，导致直接套用预训练好的模型进行识别效率低下。通过遍历图像得到小尺寸的区域，然后一次次合并得到大尺寸，将每个区域对应的局部图像进行检测，能有效克服尺度、位置、形变等带来的输入异构问题，提升检测效果。
本文提出了一种视频文件的缺陷检测方法，将视频文件逐帧提取，拼接融合成全局图像后利用选择性搜索算法遍历图像使用改进的快速分割卷积神经网络进行全局缺陷检测，是一种有着较高效率和准确率的视频缺陷检测方法。
发明内容
本发明提出了一种基于改进的快速分割卷积神经网络以及选择性搜索算法的水冷壁表面缺陷视频识别方法，通过对需要检测缺陷的视频文件进行逐帧提取、根据视频的基本情况进行帧与帧之间的拼合操作，生成一张全局图像。使用选择性搜索方法在全局图像上用改进的Fast-SCNN模型进行缺陷检测以及标记工作，将处理后的长图像按其拼接规则分割成独立的视频帧，再将视频帧处理成与原视频时长、尺寸等相同的视频。实验结果表明，基于选择性搜索算法的水冷壁表面缺陷视频识别方法可以有效、准确地处理视频材料。因此，本发明能够实现对水冷壁表面获取的视频材料进行缺陷检测和标注，实现水冷壁表面缺陷的自动化检测，提高检测效率。
本发明的实施方案如下：
(1)将原始视频文件逐帧提取，分解为统一大小的帧图像。
(2)根据视频进行帧拼接，将全部的帧拼接为一个长图像。
(3)使用选择性搜索方法，结合改进的快速分割卷积神经网络训练的缺陷识别模型，进行长图像的全局缺陷检测，检测到缺陷则做标记，未检测到则检测下一个窗口，直至遍历整个图像。
(4)将长图像按其拼接的规则分割为视频尺寸的帧图像。
(5)将帧图像还原为视频，即为缺陷检测的结果视频。
说明如下：
(1)Fast-SCNN的改进与应用：
相较于传统的缺陷检测方法，使用深度学习的方法进行缺陷的判断、检测有着准确性更高、判断更为迅速等优点，因此我们使用深度学习的方法来学习并检测锅炉水冷壁表面的缺陷。本次发明使用Fast-SCNN作为深度学习的主要手段，并作出了改进。使用了改进的Fast-SCNN网络作为识别缺陷的核心算法，引入了多级跳跃连接与注意力机制改进网络以实现高精度端到端的缺陷分割，使用已知的缺陷样本训练网络模型，即使用Fast-SCNN学习已知的锅炉水冷壁表面缺陷的特征，学习次数达到一定规模后，训练的模型对于缺陷的判断准确度达到一定的水平，从而可以广泛识别水冷壁表面的缺陷并标注出来，具有高效、准确等特点，此时该模型可以广泛用于对锅炉水冷壁表面缺陷的识别判断。
(2)视频的帧处理方法：
视频是由一帧一帧固定大小的静态图像构成的，每个视频都有帧率、尺寸大小等基本参数。帧率是衡量帧在显示器上出现的速率的量度，单位是每秒显示帧数。一般来说，24帧就是每秒显示24张图像，60帧就是每秒显示60张图像，以此类推。在帧规律的基础上，我们可以将视频的每一帧提取出来，帧与帧之间的像素相同部分进行拼接，形成一定规模、相同尺寸大小的帧集合。此外，逐帧提取视频文件还有利于按原始帧率将视频还原，帮助我们高效生成简洁准确的视频检测结果。
附图说明
图1为本发明改进的快速分割卷积神经网络结构图；
图2为本发明提供的基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法的流程图；
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提出的基于快速分割卷积神经的水冷壁表面缺陷视频识别方法进行详细描述。
图1为改进的快速分割卷积神经网络结构图。
本发明提出的改进的Fast-SCNN，整体网络结构如图1所示，包括输入和输出层、进行卷积计算的卷积层、减少参数数量的池化层、以及综合特征数据的全连接层。
Fast-SCNN包括学习下采样模块、精细化全局特征提取模块、特征融合模块以及标准分类器四个部分组成。下采样学习模块包括三个卷积层，第一层因为输入图片是三通道的原因，采用普通卷积计算，其他两层都是深度可分离卷积；全局特征提取模块使用MobileNetV2中的高效瓶颈残差块，将其中卷积都换成深度可分离卷积层，最后加入一个金字塔池化模块聚合基于不同区域的上下文信息，具体为卷积下采样后，多级池化提取图像由浅到深的多层特征，学习浅层高分辨率信息，简单补充多级池化所带来的空间信息的损失，同时网络中卷积为深度可分离卷积，进一步减小模型的规模及减少推理计算时间。
输入层的主要作用，是将输入到网络中的数据进行预处理操作。预处理的主要方法包括0均值标准化法和min-max标准化法，本发明使用的方法是min-max标准化法，转换公式：
其中max和min分别表示输入样本数值的最大值和最小值。
卷积层是卷积神经网络的关键组成部分，作用是提取输入到网络中的图像的特征，是整个卷积神经网络的核心。卷积核是一种可以学习参数集合的滤波器，卷积核按照固定的步长在检测图像上移动，完成相关计算，最终合成特征图，卷积的计算公式为：
其中为输入像素，/>为过滤器尺寸，/>为调整参数。
池化层的作用是减少网络层输出的结果数量，减少神经元个数，对之前操作得到的特征进行降采样，减少网络中的参数数量，从而提升网络的训练速度，节省计算资源。池化层可以保证操作后信息的有效性，因此经过池化层处理的图像，在后续的操作过程中，依旧可以进行卷积处理。全连接层通常用于整合之前各层次提取的特征，对计算后输出的特征进行压缩和分类，可以实现无信息损失的维度变换。该层次中的所有节点都与前一层的全部神经元节点连接，这种连接方式可以综合网络之前提取的全部特征。由于我们希望全连接层最终的输出结果服从概率分布，因此需要进行Softmax归一化处理。Softmax的输入层和输出层维度相同，假设全连接层的输出为x1…xn，则对Softmax的计算可以表示为：
原始网络结构的不足之处在于，Fast-SCNN多次卷积下采样操作与金字塔池化生成的语义特征丢失了图像小型物体的浅层特征，导致该网络不能检测小于一定尺寸的缺陷，同时该网络在金字塔池化后上采样4倍，扩大了对1/8图像特征学习的误差，从而影响网络对缺陷边缘像素标签的预测。最后，该网络在上采样后直接与第二分支特征进行融合，未对上采样的特征进行通道重要性区分，在一定程度上降低了该网络对缺陷的分割精度，从而最终影响对缺陷的检测。
针对原始Fast-SCNN的不足，本发明提出如图1所示的改进Fast-SCNN，其改进由以下几个方面组成：
1)增加卷积下采样的次数为16倍下采样，对于一幅图像尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的分辨率图像。这一步骤促进网络学习到缺陷图更高层的语义特征，使网络对低分辨率缺陷具有更好的识别能力；
2)在网络进行池化后，网络上采样的倍数由4倍改为2倍，采用的上采样方式为双线性插值方式，该上采样是通过在图像的两个维度上分别进行一次插值，从而达到特征的缩放，减少计算带来的误差；
3)借鉴对称式的下采样与上采样思想，但也考虑到网络的检测时间，仅将4倍下采样、8倍下采样、16倍下采样后的特征分别与经过卷积神经网络特征提取后得到的特征信息融合，减少网络对浅层细节信息的丢失；
4)高层语义是经过特征提取后得到的特征信息，在高层语义特征上采样之后、融合下采样信息之前增加一层全链接网络，增加注意力机制使网络具有区分缺陷通道信息的能力。
基于以上对网络结构的改进，增强了网络对图像特征提取的能力，避免了在下采样时小型缺陷的信息丢失造成对小型缺陷的未分割，从而显著提高了对缺陷检测的性能。
最终网络结构由输入层、输出层、6个卷积层、2个全连接层组成：输入层大小为256*256，对应待检测图片的尺寸；第1层为卷积层，卷积核大小为2*2，设有32个卷积核，由6个特征图构成，每个特征图的大小28*28；第2层到第3层为卷积池化层，卷积核大小为4*4，卷积核个数分别为128、256，采用2*2最大池化；第4层至第5层为金字塔池化层，卷积核大小为4*4,将卷积层特征映射分成16份；第6层为卷积层，卷积核大小为3*3，总共256个卷积核；第7层至第8层为全连接层，对应的神经元个数分别为512和1024个；最后一层为输出层，对应缺陷种类及其概率，选择其中最大值作为结果。
图2为本发明提供的基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法的流程图。
根据以下步骤，将本发明提出的基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法应用于水冷壁表面视频的缺陷检测中。
根据流程图，第一步首先将采集到的视频逐帧提取，通过计算像素差进行帧合并。
由于我们获取的视频为固定移动速率拍摄获取的水冷壁表面缺陷视频，因此，提取的帧与帧之间的像素差是可以计算的，计算公式如下：
根据计算得到的帧与帧之间的像素差，我们可以截取每一帧相较于前一阵不同的位置，将其拼接至完整的全局图像中。按这种方式处理完全部的原始视频帧后，即可得到由原始视频形成的全局图像。
第二步使用采集到的缺陷数据作为数据集，使用改进过的Fast-SCNN训练缺陷识别模型。
第三步将第一步得到的全局图像作为缺陷识别模型的输入，结合选择性搜索算法达到缺陷识别。
通过使用选择性搜索算法，对输入的图像进行全局扫描操作，遍历图像中的每个位置，将图像分割成多个的小块，然后使用贪心策略计算每两个相邻的区域的相似度，每次合并最相似的两块直至最终只剩下一块完整的图片，在计算过程中保存每次产生的图像块包括合并的图像块，就能得到图像的分层表示。相似度的计算分为四种，分别是颜色相似度、纹理相似度、尺寸相似度和交叠相似度，区域合并如果简单采用一种相似度很容易错误合并，本发明使用四种相似度的加权和。
首先计算颜色相似度，将RGB色彩空间转为HSV空间，然后对每个通道下的矩阵以25个区域计算直方图，一共75个区间。接着进行归一化(除以区域尺寸)，进行公式(6)的计算：
其中ri表示第i个区域，表示第i个区域第k个区间的值，n为8310个区间。如果两个区域的颜色相似，直方图的波峰和波谷的位置应该相同则S大，相似度高，否则如果波峰波谷错开并且每次都去最小值，那么S小，相似度低。
计算纹理相似度采用方差为1的高斯分布在8个方向做梯度统计，一般方法中是在4个方向做统计，本发明创新性拓展到8个方向，然后将统计结果(尺寸与区域大小一致)以10个区域的大小计算直方图。直方图区间数为8310(使用RGB色彩空间)。计算如公式(7)所示：
其中ti表示第i个区域，表示第i个区域第k个区间的值，n为8310个区间。和颜色相似度的计算方式类似，只是每个通道上每个像素点的值不是HSV空间的对应的值了，而是通过确定半径R和邻域像素点个数P来确定。
如果仅仅是通过颜色和纹理特征合并的话，很容易使得合并后的区域不断吞并周围的区域，后果就是多尺度只应用在了那个局部，而不是全局的多尺度。因此我们提出给小的区域更多的权重，这样保证在图像每个位置都是多尺度的在合并。尺寸相似度计算公式如公式(8)所示，size(ri)表示第i个区域的像素面积，其中size(im)为原始图像的像素个数。
最后计算交叠相似度，不仅要考虑每个区域特征的吻合程度，区域的吻合度也是重要的，吻合度的意思是合并后的区域要尽量规范，不能合并后出现断崖的区域，这样明显不符合常识，体现出来就是区域的外接矩形的重合面积要大。因此区域的合适度距离定义如公式(9)所示：
其中size(BBij)表示区域i、j最小外接矩阵面积，size(ri)表示第i个区域的像素面积，size(im)为原始图像的像素个数，如果两个区域交叠程度高的话，分子部分就会很小，Sfill(ri，rj)也就是交叠相似度就会大。
得到上述四种相似度之后，最终选择性搜索的相似性度量计算公式如公式(10)所示，ai为每种相似度的加权权值，在计算中我们取0.25：
S(ri，rj)＝a1Scolour(ri，rj)+a2Stexture(ri，rj)+a3Ssize(ri，rj)+a4Sfill(ri，rj)
通过上述的步骤我们能够得到很多很多的区域，但是显然不是每个区域作为目标的可能性都是相同的，我们得到了区域的很多建议，将各个区域组合成一个特征向量，然后改进的Fast-SCNN就可以分类出哪个区域是真正我们想要的目标。
第四步分解全局图像，用帧合成视频。
按之前计算的像素差以及帧的尺寸大小，从长图像的左侧起始位置起，每间隔一个固定像素差的距离，截取一个新视频的帧图像，直到将全部的全局长图分解完毕。原则上，分解得到的帧集合与原始帧集合的数量相同。
将这些帧元素按照原始视频的帧率，制作成为一个新的视频，此视频即为输入待检测视频的缺陷检测结果。原则上该视频的尺寸、长度等均与原视频相同，为原视频的缺陷标记版本。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (3)
1.一种基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法，其特征在于：
模型采用视频数据中提取的图片数据进行训练，具体包括模型的构建、样本的采集、图片样本的生成、模型的训练四部分；模型的构建是构建整个快速分割卷积神经网络的结构，包括有输入层、输出层、卷积层、池化层和全连接层；样本的采集是采集水冷壁表面原始视频数据，为下一步图片样本的生成和模型的训练准备数据；图片样本的生成是对原始视频进行处理，视频样本尺寸固定、帧率已知、移动速度固定，将视频按照每秒24帧的帧率逐帧分解为图片，将图片经过固定像素间隔的计算进行裁剪，拼接为一个完整的全局长图像；模型的训练是将生成的图片样本数据输入预先构建好的快速分割卷积神经网络模型进行训练，通过调整模型各节点的参数使其对缺陷具有识别能力，最终得到训练好的神经网络模型；
模型识别部分流程包括视频数据生成图片数据、图像输入训练好的模型、模型输出识别结果、还原视频数据四部分；视频数据生成图片数据是将采集的待检测的水冷壁表面视频数据，按照每秒24帧的帧率逐帧分解为图片，将图片经过固定像素间隔的计算进行裁剪，拼接为一个完整的全局长图像；图像输入训练好的模型是将视频生成的全局长图像输入之前训练好的卷积神经网络识别模型；模型输出结果是训练好的检测模型在输入待检测图像之后，模型采用选择性搜索方法进行检测，输出对应全局长图像的缺陷检测结果；还原视频数据是得到全局图像缺陷检测结果，根据视频数据生成图片数据时同样的固定像素间隔将其分割为不同的图片，将图片按照每秒24张的帧率的拼接回同样尺寸、帧率、时长的视频文件，视频内容即包含标注缺陷位置信息。
2.根据权利要求1所述的一种基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法，其特征在于：
快速分割卷积神经网络由输入层、输出层、6个卷积层、2个全连接层组成：输入层大小为256*256，对应待检测图片的尺寸；第1层为卷积层，卷积核大小为2*2，设有32个卷积核，由6个特征图构成，每个特征图的大小28*28；第2层到第3层为卷积池化层，卷积核大小为4*4，卷积核个数分别为128、256，采用2*2最大池化；第4层至第5层为金字塔池化层，卷积核大小为4*4,将卷积层特征映射分成16份；第6层为卷积层，卷积核大小为3*3，总共256个卷积核；第7层至第8层为全连接层，对应的神经元个数分别为512和1024个；最后一层为输出层，对应缺陷种类及其概率，选择其中最大值作为结果。
3.根据权利要求1所述的一种基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法，其特征在于：
对于输入到系统中的待检测对象，通过使用选择性搜索算法，对输入的图像进行全局扫描操作，遍历图像中的每个位置，将图像分割成多个的小块；使用贪心策略计算每两个相邻的区域的相似度，每次合并最相似的两块直至最终只剩下一块完整的图片；在计算过程中保存每次产生的图像块包括合并的图像块，得到图像的分层表示；将全局图像划分为部分区域进行局部检测，将每个区域作为样本输入到训练好的神经网络模型进行检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110440898.4A CN113192018B (zh) | 2021-04-23 | 2021-04-23 | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110440898.4A CN113192018B (zh) | 2021-04-23 | 2021-04-23 | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113192018A CN113192018A (zh) | 2021-07-30 |
| CN113192018B true CN113192018B (zh) | 2023-11-24 |
Family
ID=76978288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110440898.4A Active CN113192018B (zh) | 2021-04-23 | 2021-04-23 | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192018B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114252507A (zh) * | 2021-12-20 | 2022-03-29 | 济宁鲁科检测器材有限公司 | 基于卷积神经网络的磁粉探伤缺陷识别系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 |
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111767875A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
| CN112132784A (zh) * | 2020-08-22 | 2020-12-25 | 安徽大学 | 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 |
-
2021
- 2021-04-23 CN CN202110440898.4A patent/CN113192018B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| KR20190119261A (ko) * | 2018-04-12 | 2019-10-22 | 가천대학교 산학협력단 | 멀티 스케일 이미지와 멀티 스케일 확장된 컨볼루션 기반의 완전 컨볼루션 뉴럴 네트워크를 이용한 시맨틱 이미지 세그먼테이션 장치 및 그 방법 |
| CN111091130A (zh) * | 2019-12-13 | 2020-05-01 | 南京邮电大学 | 基于轻量级卷积神经网络的实时图像语义分割方法及系统 |
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111767875A (zh) * | 2020-07-06 | 2020-10-13 | 中兴飞流信息科技有限公司 | 一种基于实例分割的隧道烟雾检测方法 |
| CN112132784A (zh) * | 2020-08-22 | 2020-12-25 | 安徽大学 | 一种基于小样本深度卷积神经网络用于工业磁瓦缺陷图像分类和分割的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于改进Fast-SCNN的塑瓶气泡缺陷实时分割算法;付磊;任德均;吴华运;郜明;邱吕;胡云起;;计算机应用(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113192018A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322495B (zh) | 一种基于弱监督深度学习的场景文本分割方法 | |
| CN113052210B (zh) | 一种基于卷积神经网络的快速低光照目标检测方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN114677346B (zh) | 基于记忆信息的端到端的半监督图像表面缺陷的检测方法 | |
| CN110599502B (zh) | 一种基于深度学习的皮肤病变分割方法 | |
| CN113888547A (zh) | 基于gan网络的无监督域自适应遥感道路语义分割方法 | |
| CN115424017B (zh) | 一种建筑物内外轮廓分割方法、装置及存储介质 | |
| CN114841972A (zh) | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 | |
| CN111353544A (zh) | 一种基于改进的Mixed Pooling-YOLOV3目标检测方法 | |
| CN115546768A (zh) | 基于多尺度机制和注意力机制的路面标线识别方法及系统 | |
| CN112766056A (zh) | 一种基于深度神经网络的弱光环境车道线检测方法、装置 | |
| CN115100652A (zh) | 基于高分遥感图像的电子地图自动化生成方法 | |
| CN114283285A (zh) | 交叉一致性自训练遥感图像语义分割网络训练方法及装置 | |
| CN112819837A (zh) | 一种基于多源异构遥感影像的语义分割方法 | |
| CN115424059A (zh) | 一种基于像素级对比学习的遥感土地利用分类方法 | |
| CN116485767A (zh) | 基于图像分类与分割的路面裂缝图像检测方法及系统 | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN113326846B (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
| CN113192018B (zh) | 基于快速分割卷积神经网络的水冷壁表面缺陷视频识别方法 | |
| CN114943888A (zh) | 基于多尺度信息融合的海面小目标检测方法、电子设备及计算机可读介质 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN116824352A (zh) | 一种基于语义分割与图像异常检测的水面漂浮物识别方法 | |
| CN112365508A (zh) | 基于视觉注意与残差网络的sar遥感图像水域分割方法 | |
| CN116052110A (zh) | 一种路面标线缺损智能定位方法及系统 | |
| CN112036246B (zh) | 遥感影像分类模型的构建方法，遥感影像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |