CN114078106A - 基于改进Faster R-CNN的疵点检测方法 - Google Patents

基于改进Faster R-CNN的疵点检测方法 Download PDF

Info

Publication number
CN114078106A
CN114078106A CN202010781797.9A CN202010781797A CN114078106A CN 114078106 A CN114078106 A CN 114078106A CN 202010781797 A CN202010781797 A CN 202010781797A CN 114078106 A CN114078106 A CN 114078106A
Authority
CN
China
Prior art keywords
detection
defect
cnn
network
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010781797.9A
Other languages
English (en)
Inventor
郑飂默
安萌
王诗宇
李备备
姜志超
辛丽
刘信君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Zhongke Cnc Technology Co ltd
Original Assignee
Shenyang Zhongke Cnc Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Zhongke Cnc Technology Co ltd filed Critical Shenyang Zhongke Cnc Technology Co ltd
Priority to CN202010781797.9A priority Critical patent/CN114078106A/zh
Publication of CN114078106A publication Critical patent/CN114078106A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Abstract

本发明涉及基于改进Faster R‑CNN的疵点检测方法，包括：对原始疵点图像进行图像预处理，获得二值化图像；对二值化图像进行疵点检测，在原始模型中引入特征金字塔网络模型适应小目标检测；对Softmax分类器进行正则化来减小类内间距增大类间间距，不断更新网络参数提高网络收敛能力；采用Soft‑NMS算法代替传统的非极大值抑制算法，避免疵点漏检、误检情况。本发明方法弥补了Faster R‑CNN模型在小目标场景中检测不准确、检测精度不高的问题。实验结果表明，改进后的模型收敛速度更快，能更准确的识别小目标疵点和较密集疵点，对面料疵点具有更佳的检测效果。

Description

基于改进Faster R-CNN的疵点检测方法
技术领域
本发明涉及计算机视觉目标检测领域，具体涉及一种基于改进Faster R-CNN的疵点检测方法。
背景技术
服装行业作为一条大的产业链也是重要的民生支柱产业，其产品在生产过程中，由于设备及工艺的影响，表面往往会出现各种缺陷，我国虽是一个纺织品生产大国，但目前掌握的有关疵点检测方面的知识却相当落后。传统的人工视觉检测方法易忽略面料的细节特点，导致识别定位的精度不高、效率低下，因此越来越多的工厂开始利用机器来代替人工进行质检。利用机器视觉代替人工视觉，避免大部分因人工检测所造成的误差，也相应提高了检测精度和效率。
近年来，基于深度学习的方法在视觉系统、语音检测和文档分析等领域中得到越来越广泛的应用，相比于人工提取特征，深度学习技术能够利用多层神经网络对图像进行处理，进而获得图像局部信息和深层信息。目前在深度学习目标检测算法中，Faster R-CNN算法性能优越，能同时兼顾实时性、准确性和鲁棒性。继R-CNN和Fast R-CNN之后，为了进一步优化性能、减少检测网络运行时间，Ross Girshick等人在2016年提出了新的目标检测方法Faster R-CNN。Faster R-CNN由区域生成网络(Region Proposal Networks，RPN)和FastR-CNN两部分构成，共享卷积层的存在使得目标候选区域的检测时间大大缩短，提高了目标检测的效率。但是，Faster R-CNN算法依然存在一定的不足之处，原始的Faster R-CNN中RPN网络的输入仅有一种尺度的特征图，这在大目标检测中非常有效，而对于小目标检测来说，容易忽略细节化的浅层特征，无法适用于小目标场景检测；其次对于多类别进行检测时模型的收敛能力较为一般，小目标检测时检测精度不高。除此之外，Faster R-CNN使用传统的NMS算法，它是一种传统的贪心算法，很大概率会漏检目标，对检测精度产生影响。
发明内容
针对Faster R-CNN在面料疵点检测过程中存在的缺点与不足，本发明从FasterR-CNN自身模型和方法入手，引入多尺度特征金字塔网络进行特征提取，以适应小目标场景检测。同时对Softmax分类器进行正则化，减小类内间距，增大类间间距，不断更新网络参数提高网络收敛能力。最后采用Soft-NMS算法代替传统的非极大值抑制算法，去除多余检测框，避免漏检误检问题，提高模型的检测精度。
本发明为实现上述目的所采用的技术方案是：基于改进Faster R-CNN的疵点检测方法，包括以下步骤：
步骤1：对原始疵点图像进行预处理获取二值图像，建立图像集合：训练集、验证集、测试集；
步骤2：建立Faster R-CNN网络模型：引入特征金字塔网络模型适应小目标检测，对Softmax分类器进行正则化用于减小类内间距增大类间间距，采用Soft-NMS算法去除多余框；将二值图像输入该模型迭代训练优化模型参数；
步骤3：将测试集图像输入优化后的Faster R-CNN网络模型，获取疵点检测分类结果。
所述步骤2包括：
步骤2-1：将二值图像输入共享卷积层获取特征图；
步骤2-2：利用多尺度金字塔网络FPN处理特征图，获取当前二值图像的多尺度特征图；
步骤2-3：将多尺度特征图输入RPN网络，所述RPN网络包括卷积层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于生成疵点候选区域并提取；
步骤2-4：将多尺度金字塔网络FPN输出的多尺度特征图、RPN网络输出的疵点候选区域均输入Fast R-CNN网络，所述Fast R-CNN网络包括：ROI Pooling层、全连接层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于将RPN网络提取的疵点候选区域映射到多尺度特征图中，精确检测出不同尺度的疵点并以锚框显示。
所述共享卷积层采用VGG16网络。
所述步骤2-3具体包括：
a.利用卷积层进一步提取特征；
b.分成两路处理：一条进行正则化Softmax分类处理，获取不同尺度特征图的疵点识别；一条进行边界回归处理获取不同尺度的疵点边界检测框；
c.采用Soft-NMS算法模块去除多余检测框，并将多尺度特征图的疵点位置以检测框显示在图像上。
所述步骤2-4具体包括：
a.ROI Pooling层将RPN网络提取的候选区域映射到FPN输出的多尺度特征图中，并对每个区域池化变换成统一尺寸输出；
b.全连接层将整合卷积层或者池化层中具有类别区分性的局部信息；
c.然后再分成两路分别同时对两种特征图进行如下处理：一条进行Softmax分类处理进一步获取不同尺度特征图的疵点识别；一条进行边界回归处理进一步获取不同尺度的疵点边界检测框；
d.最后，采用Soft-NMS算法去除多余的检测框，精确输出多尺度特征图的疵点位置以检测框显示在图像上。
所述采用Softmax分类时需要对分类器进行正则化，使用L2范式约束；
计算约束后的损失函数，当损失函数值迭代收敛时，当前分类器为最优：
Figure BDA0002620520130000031
Figure BDA0002620520130000032
其中，W是权重参数，f为约束函数，X是输入的疵点特征，y表示真实值，i、j表示类别，C为类别总数，b代表偏移，
Figure BDA0002620520130000041
是正确类别对应的线性得分函数；通过L2范数的约束，将最后一层特征约束在同一球面内，减少类内间距，增大类间间距。
所述采用Soft-NMS算法去除多余检测框进行优化使用的重置函数式如下：
Figure BDA0002620520130000042
选择高斯函数作为衰减函数f，则当IoU(M,bi)≥Nt时：
Figure BDA0002620520130000043
其中，Si′表示重置后的检测框的得分，Si表示第i个检测框的得分，M表示得分最高的检测框，bi表示待检测框，IoU(M,bi)表示检测框M和bi的重合度，σ为超参数，D为最终检测框集合。
所述图像集合分为训练集、验证集、测试集；将训练集二值图像输入建立的FasterR-CNN网络模型迭代训练优化模型参数，用验证集二值图像检验该模型。
本发明具有以下优点及有益效果：
1.引入多尺度特征金字塔网络进行特征提取，适应小目标场景检测，改善了RPN网络仅输入同一尺度特征图的情况，克服了因忽略细节化的浅层特征而导致目标检测精度不高的问题。改进后的模型对于面料中的小目标疵点检测精度有了很大提高。
2.在目标检测阶段，采用Soft-NMS算法代替传统的非极大值抑制算法，能有效去除冗余的检测框，避免发生目标漏检，误删检测框的情况，提高了模型的泛化能力，同时没有增加算法的复杂性能。
3.在模型训练阶段，对Softmax分类器进行正则化，减小类内间距，增大类间间距，不断更新网络参数提高了模型的收敛能力，避免了在疵点图像视角或模糊情况下，出现分类性能下降，目标检测不匹配和检测精度不高的现象。
4.此外，本方法不止适用于面料的缺陷检测，也同样适用于其他小目标场景以及其他材料工件的缺陷检测。
附图说明
图1为疵点检测流程图；
图2为本发明改进后的Faster R-CNN结构图；
图3为原始的Faster R-CNN结构图；
图4为RPN网络的处理过程图；
图5为RPN融合FPN后的结构图；
图6为模型训练的损失函数曲线图；
图7为使用改进后的Faster R-CNN模型进行疵点检测的效果图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
如图1所示为本发明进行面料疵点检测的总体流程，主要包括以下过程：
1：图像采集：收集足够的疵点图像作为实验数据集；人工标记类别：对二值化图像分别人工标记疵点位置，并对疵点所处区域的大小或程度进行等级划分作为该当前疵点图像的疵点分类结果。
2：图像预处理：对实验中的疵点数据集进行预处理，获取二值化图像；具体为：对疵点图像进行灰度处理，避免因光照或面料图像自身颜色带来的干扰；再对灰度图像进行二值化处理，便于提取图像中的信息，增加识别效率。这里使用二值化函数cvThreshold()，其中阈值类型参数使用截断类型(THRESH_TRUNC)，即当前像素点的灰度值大于阈值时，设置为该阈值，否则不改变。
3：训练集、测试集：将经过处理后的疵点图像按照比例划分为训练集、验证集(这里将验证集归到训练模块)和测试集。其中训练集用于分类模型的训练，验证集用来调整模型参数，测试集用于该模型的测试；
4：分类模型训练、分类效果：将改进后的Faster R-CNN模型用于训练集进行训练，在模型训练完成后通过验证集来调整模型参数，最终获取优化改进的Faster R-CNN模型；
5：模型分类：将训练好的Faster R-CNN模型用于测试集进行测试、分类；
6：评估与判决：计算损失函数评估优化改进的Faster R-CNN模型最终的检测结果。
如图2所示，为本发明改进后的Faster R-CNN结构图，基于改进Faster R-CNN的疵点检测方法主要包括以下步骤：1：将经过预处理后的图像送入改进后的Faster R-CNN模型进行检测；
训练集数据输入共享卷积层；使用共享卷积层对输入的图像进行特征图提取，该共享卷积层包含了conv，relu，pooling三种层，本文采用VGG16作为特征提取的模块，就VGG16而言，有13个conv层，13个relu层，4个pooling层。经过共享卷积层，原始M*N大小的图像输出为固定尺寸(M/16)*(N/16)，因为有4个pooling层，这样经过共享卷积层生成的特征图都能和原图对应起来；
2：其中，采用多尺度特征金字塔网络进行特征提取，包括：自下而上的路径、自上而下的路径和横向路径：
(1)自下而上：即CNN网络的前馈计算，特征图在前馈过程中经过某些层尺寸会发生变化，有些层尺寸不变，将特征图尺寸不变的层定义为一个stage，选择每个阶段的最后一层输出作为分类和回归参考特征图。
(2)自上而下：即上采样，将高层特征图进行上采样，然后把该特征横向连接至前一层特征，加强高层特征，充分利用底层定位细节信息。
(3)横向路径：即将上采样的结果和自下而上生成的相同大小的特征图进行融合。融合后采用3*3的卷积核对每个融合结果进行卷积，消除上采样的混叠效应。
3：将共享卷积层生成的特征图输入到多尺度特征金字塔网络FPN中进行特征提取(提取一些低级的特征如边缘、线条和角等层级特征)，FPN对特征图经过多次上采样并融合特征到最后一层，对每一层融合后的特征图做独立预测，最后生成多种尺度的特征图作为RPN网络和Fast R-CNN的输入；
4：其中，对二值化图像进行疵点检测，在原始模型中引入特征金字塔网络模型适应小目标检测。具体为：以Faster R-CNN网络模型为基础，对卷积神经网络进行优化，对共享卷积层输出的特征图使用多尺度特征金字塔网络在不同特征层进行独立预测，用RPN对特征金字塔网络中每一个尺度的特征图进行提取，更好的增加细节化的浅层特征，提取丰富的疵点信息。具体地，特征图进入RPN网络中(Region Proposal Network)区域生成网络，经过卷积层以及anchor机制，针对每一个尺度的特征图进行候选区域提取，然后将候选区域分成两条路线，一条进行Softmax分类，一条进行边界回归；RPN主要作用是生成候选区域并提取，即这里的softmax只是个二分类问题：判别锚框里有目标的为positive anchor，没有目标的为negative anchor。RPN卷积层在共享卷积层基础上继续迭代提取更复杂的特征。
5：使用Softmax分类时需要对分类器进行正则化，使用L2范式约束，将最后一层的特征约束在同一球面内，减少类内间距，增大类间间距，提高网络收敛能力和检测精度；边框回归的作用是对检测框进行修正和调整，最后获得精确地候选区域；
其中，加入正则化的损失函数泛化能力更强、分类效果更好，表现在loss曲线图上是趋势更明显(没有太多上下震荡)，最后逼近的值越小(损失越小，分类效果越明显。
对Softmax分类器正则化，使用L2范式约束，提高网络收敛能力和检测精度，具体为：对Softmax进行优化，引入L2范式对Softmax分类器进行约束，约束后的损失函数如式(1)：
Figure BDA0002620520130000081
Figure BDA0002620520130000082
损失函数L的值随着输入的X变化而变化，这里在第(2)个公式中对f(x)进行了约束，通过寻找最佳的α值来确定f(x)的约束值,即也限制了权重W的大小。
其中，W是权重参数，称为权值，f为约束函数，X是输入的特征，即前面网络(全连接层或其他网络)输出的参数，y表示真实值，i、j表示类别，C为类别总数，b代表偏移，
Figure BDA0002620520130000084
是正确类别对应的线性得分函数。通过L2范数的约束，将最后一层特征约束在同一球面内，减少类内间距，增大类间间距，提高了Softmax分类器的分类准确性，有利于面料疵点的精确检测。
6：使用Soft-NMS算法代替传统的NMS算法去除多余的检测框，同时避免目标漏检，解决误删检测框的问题；
其中，对NMS算法优化，采用Soft-NMS算法去除多余检测框，避免漏检误检问题，具体为：使用Soft-NMS算法代替传统的NMS算法去除多余的检测框，同时避免目标漏检，解决误删检测框的问题，Soft-NMS的重置函数式(2)如下：
Figure BDA0002620520130000083
其中，Si′表示重置后的检测框的得分，Si表示第i个检测框的得分，检测框的得分就是置信度，就是softmax分类器输出的类别的概率(0-1之间)，M表示得分最高的检测框，bi表示待检测框，IoU(M,bi)表示检测框M和bi的重合度，Nt为预设阈值，其中f(x)一般有线性函数和高斯函数两种类型，考虑到函数衰减程度问题，本文选用高斯函数进行重置，如式(3)：
Figure BDA0002620520130000091
其中σ为超参数，D为最终检测框集合。经过上式，Soft-NMS并没有对重合度较高的检测框直接删除，而是通过重合度对检测框的置信度进行衰减，降低检测框的得分，从而避免相邻比较近的疵点漏检、误检(原始的nms算法则将大于预设阈值的检测框直接删掉，这是二者的区别)。Soft-NMS后得到的结果并非一定是全局最优解，但比NMS更泛化，能有效避免面料疵点丢失，且算法的复杂度并未提高。
7：pooling层的输入有两部分：FPN网络生成的多尺度的特征图和RPN网络输出的候选区域。经过pooling层将尺寸不同的目标候选区域输出为固定尺寸，然后进入全连接层，用于整合前面所提取的特征；
8：利用正则化的Softmax分类器计算候选区域的类别，同时进行边界回归获得检测框最终的精确位置；
9：最后再次使用Soft-NMS算法去除冗余检测框，避免目标漏检，解决误删检测框的问题。
如图3所示，为原始的Faster R-CNN结构图，在众多的目标检测算法中，Faster R-CNN算法性能优越，能同时兼顾实时性、准确性和鲁棒性。相比R-CNN和Faster R-CNN算法，Faster R-CNN使用RPN网络生成候选区域，提高了检测精度和检测速度，真正实现了端到端的目标检测框架。图4为RPN网络的处理过程，RPN的核心是anchor机制，即给出一个固定大小的基准窗，按照倍数和长宽比例得到不同大小的边界框。如图通过3*3的卷积核在卷积特征图上滑动，针对每个滑动窗口产生9个不同的anchor，然后经过两个并行的1*1卷积层，即图中的分类层和回归层，分别对anchor进行分类和区域修正，最后将这些候选区域送入Fast R-CNN做进一步检测。
如图5所示，为RPN融合FPN后的结构图，FPN的思想是将特征图经过多次上采样并融合特征到最后一层，对每一层融合后的特征图做独立预测。对于卷积神经网络来说，深层包含丰富的特征语义信息，浅层能提供丰富的细节信息，而深层和浅层网络的特征映射图尺寸不同，因此需要构建不同尺度的特征金字塔对特征图进行特征提取。原本RPN网络的输入仅有一种尺度的特征图，现将FPN嵌在RPN网络中，用RPN对特征金字塔网络中每一个尺度的特征图进行提取，生成不同尺度的特征并融合作为RPN网络的输入，这样提取到的候选区域包便含丰富的疵点信息。
如图6所示，为模型训练的损失函数曲线图，本发明方法中的验证集只用来调整学习率等参数，此时不需要计算验证集上的损失函数。实验中设置的迭代次数为15000次，通过观察可以发现：改进后的模型在训练中的损失函数曲线收敛速度和程度均有提高。改进前的模型在迭代9000次左右开始趋于平稳，改进后的模型在迭代3000次后就开始收敛，且损失约为0.05。实验表明，改进后的模型收敛速度更快，训练结果较为理想。
图7为使用改进后的Faster R-CNN模型进行疵点检测的效果图，图中检测框框出的为面料上的疵点并给出了该检测框的置信度(softmax分类后输出的类别得分，即概率)，从图中可以看出，对于小目标的疵点，改进后的模型能进行准确的检测与定位，而且检测效果较好。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰应视为本发明的保护范围。

Claims (8)

1.基于改进Faster R-CNN的疵点检测方法，其特征在于，包括以下步骤：
步骤1：对原始疵点图像进行预处理获取二值图像，建立图像集合：训练集、验证集、测试集；
步骤2：建立Faster R-CNN网络模型：引入特征金字塔网络模型适应小目标检测，对Softmax分类器进行正则化用于减小类内间距增大类间间距，采用Soft-NMS算法去除多余框；将二值图像输入该模型迭代训练优化模型参数；
步骤3：将测试集图像输入优化后的Faster R-CNN网络模型，获取疵点检测分类结果。
2.根据权利要求1所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述步骤2包括：
步骤2-1：将二值图像输入共享卷积层获取特征图；
步骤2-2：利用多尺度金字塔网络FPN处理特征图，获取当前二值图像的多尺度特征图；
步骤2-3：将多尺度特征图输入RPN网络，所述RPN网络包括卷积层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于生成疵点候选区域并提取；
步骤2-4：将多尺度金字塔网络FPN输出的多尺度特征图、RPN网络输出的疵点候选区域均输入Fast R-CNN网络，所述Fast R-CNN网络包括：ROI Pooling层、全连接层、边框回归模块、Softmax分类器、Soft-NMS算法模块，用于将RPN网络提取的疵点候选区域映射到多尺度特征图中，精确检测出不同尺度的疵点并以锚框显示。
3.根据权利要求2所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述共享卷积层采用VGG16网络。
4.根据权利要求2所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述步骤2-3具体包括：
a.利用卷积层进一步提取特征；
b.分成两路处理：一条进行正则化Softmax分类处理，获取不同尺度特征图的疵点识别；一条进行边界回归处理获取不同尺度的疵点边界检测框；
c.采用Soft-NMS算法模块去除多余检测框，并将多尺度特征图的疵点位置以检测框显示在图像上。
5.根据权利要求2所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述步骤2-4具体包括：
a.ROI Pooling层将RPN网络提取的候选区域映射到FPN输出的多尺度特征图中，并对每个区域池化变换成统一尺寸输出；
b.全连接层将整合卷积层或者池化层中具有类别区分性的局部信息；
c.然后再分成两路分别同时对两种特征图进行如下处理：一条进行Softmax分类处理进一步获取不同尺度特征图的疵点识别；一条进行边界回归处理进一步获取不同尺度的疵点边界检测框；
d.最后，采用Soft-NMS算法去除多余的检测框，精确输出多尺度特征图的疵点位置以检测框显示在图像上。
6.根据权利要求4或5所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述采用Softmax分类时需要对分类器进行正则化，使用L2范式约束；
计算约束后的损失函数，当损失函数值迭代收敛时，当前分类器为最优：
Figure FDA0002620520120000021
Figure FDA0002620520120000022
其中，W是权重参数，f为约束函数，X是输入的疵点特征，y表示真实值，i、j表示类别，C为类别总数，b代表偏移，
Figure FDA0002620520120000023
是正确类别对应的线性得分函数；通过L2范数的约束。将最后一层特征约束在同一球面内，减少类内间距，增大类间间距。
7.根据权利要求4或5所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述采用Soft-NMS算法去除多余检测框进行优化使用的重置函数式如下：
Figure FDA0002620520120000031
选择高斯函数作为衰减函数f，则当IoU(M,bi)≥Nt时：
Figure FDA0002620520120000032
其中，Si′表示重置后的检测框的得分，Si表示第i个检测框的得分，M表示得分最高的检测框，bi表示待检测框，
Figure FDA0002620520120000033
表示检测框M和bi的重合度，σ为超参数，D为最终检测框集合。
8.根据权利要求1所述的基于改进Faster R-CNN的疵点检测方法，其特征在于，所述图像集合分为训练集、验证集、测试集；将训练集二值图像输入建立的Faster R-CNN网络模型迭代训练优化模型参数，用验证集二值图像检验该模型。
CN202010781797.9A 2020-08-06 2020-08-06 基于改进Faster R-CNN的疵点检测方法 Pending CN114078106A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010781797.9A CN114078106A (zh) 2020-08-06 2020-08-06 基于改进Faster R-CNN的疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010781797.9A CN114078106A (zh) 2020-08-06 2020-08-06 基于改进Faster R-CNN的疵点检测方法

Publications (1)

Publication Number Publication Date
CN114078106A true CN114078106A (zh) 2022-02-22

Family

ID=80279597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010781797.9A Pending CN114078106A (zh) 2020-08-06 2020-08-06 基于改进Faster R-CNN的疵点检测方法

Country Status (1)

Country Link
CN (1) CN114078106A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527059A (zh) * 2022-08-16 2022-12-27 贵州博睿科讯科技发展有限公司 一种基于ai识别技术的涉路施工元素检测系统及方法
CN117437465A (zh) * 2023-10-23 2024-01-23 长讯通信服务有限公司 基于不平衡数据的改进soft-NMS目标检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115527059A (zh) * 2022-08-16 2022-12-27 贵州博睿科讯科技发展有限公司 一种基于ai识别技术的涉路施工元素检测系统及方法
CN115527059B (zh) * 2022-08-16 2024-04-09 贵州博睿科讯科技发展有限公司 一种基于ai识别技术的涉路施工元素检测系统及方法
CN117437465A (zh) * 2023-10-23 2024-01-23 长讯通信服务有限公司 基于不平衡数据的改进soft-NMS目标检测方法

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN110175982B (zh) 一种基于目标检测的缺陷检测方法
CN108961235A (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN110310262A (zh) 一种用于检测轮胎缺陷的方法、装置及系统
CN112287807A (zh) 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
Zhou et al. Exploring faster RCNN for fabric defect detection
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN112183639B (zh) 一种矿物图像识别与分类方法
CN112819796A (zh) 烟丝异物识别方法及设备
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法
Inoue et al. Crack detection as a weakly-supervised problem: towards achieving less annotation-intensive crack detectors
CN114758255A (zh) 一种基于yolov5算法的无人机检测方法
CN113469950A (zh) 一种基于深度学习的复合绝缘子异常发热缺陷的诊断方法
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113496480A (zh) 一种焊缝图像缺陷的检测方法
CN117437647A (zh) 基于深度学习和计算机视觉的甲骨文字检测方法
CN116994161A (zh) 一种基于改进YOLOv5的绝缘子缺陷检测方法
CN116363655A (zh) 一种财务票据识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination