CN112257849A - 基于深度学习的智能检测方法、系统、装置及其应用 - Google Patents

基于深度学习的智能检测方法、系统、装置及其应用 Download PDF

Info

Publication number
CN112257849A
CN112257849A CN202011143741.7A CN202011143741A CN112257849A CN 112257849 A CN112257849 A CN 112257849A CN 202011143741 A CN202011143741 A CN 202011143741A CN 112257849 A CN112257849 A CN 112257849A
Authority
CN
China
Prior art keywords
sample
detection
image
target object
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011143741.7A
Other languages
English (en)
Inventor
刘太豪
韩璐
宋海亮
宋佳
张艺铭
李汪
李军霆
汪永祥
黄镜月
陈君祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Petroleum University
Original Assignee
Southwest Petroleum University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Petroleum University filed Critical Southwest Petroleum University
Priority to CN202011143741.7A priority Critical patent/CN112257849A/zh
Publication of CN112257849A publication Critical patent/CN112257849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的智能检测方法、系统、装置及其应用，其中所述智能检测方法通过检测模型对目标物进行检测，所述检测模型基于改进的mask R‑CNN构建。本发明特别适用于受电弓滑板的检测，其在检测出目标物缺陷上的准确度高，并且不仅能检测出其细微缺陷，还能根据缺陷的情况进行分析、标注和准确地分类。

Description

基于深度学习的智能检测方法、系统、装置及其应用
技术领域
本发明涉及深度学习的技术领域。
背景技术
近年来随着高铁技术的快速发展，我国的高铁总里程已位居全球首位，成为了全世界高速铁路发展的领头羊。但是大里程面临着大消耗，随着总里程的不断增加，我国在高铁的维修及检测上面投入了大量的人力物力，尤其是针对其中弓网系统的维护和检修。弓网系统中，受电弓是通过滑板材料牵引机车从接触网取得电能的电气设备，是其关键组成部分。传统方式通过人工检测对受电弓及其滑板材料进行监控，不仅费时费力、危险系数高，且检测精度受现场环境的制约明显、检测精度低。
发明内容
本发明的目的在于提出一种基于深度学习的、可对目标物如电力部件进行自动检测的方法，其可以对目标物进行实时监测，便于维修人员及时、快速、准确地识别出安全隐患，保障系统的正常运行，并极大地降低人力成本，提高工作效率。
本发明的目的还在于提出一种可应用上述检测方法的系统，其能自适应地构建特征描述，具有极高的灵敏度和泛化能力，对缺陷的检测准确性高。
本发明的目的还在于提出一种基于深度学习的智能检测装置，其能自动地、实时地检测被监控目标物的质量情况，并做出反馈。
本发明的目的还至于提出上述方法、系统和/或装置的应用。
本发明首先提出了如下的技术方案：
基于深度学习的智能检测方法，其通过检测模型对目标物进行检测，所述检测模型基于改进的maskR-CNN构建。
根据本发明的一些优选实施方式，所述检测模型含有改进的特征金字塔网络。
根据本发明的一些优选实施方式，所述改进的特征金字塔网络包括如下的卷积求和过滤部分：
Px(i,j)＝Pdx(i,j)-avg(Ptx)，
Figure BDA0002739008240000021
Px＝C(Pdx,Ptx)×K，
其中，下标x表示特征金字塔中的第x层；avg(Ptx)表示样本图像的像素平均值；Px(i,j)、Pdx(i,j)和Ptx(i,j)分别表示输出图像、瑕疵图像和样本图像的i行j列的像素值，且满足m>i，j>n，m×n为数字图像的分辨率；C(Pdx,Ptx)表示对Ptx和Pdx的特征图进行叠加，×运算表示卷积，K表示卷积核。
根据本发明的一些优选实施方式，所述检测模型包括基于目标物样本是否具有缺陷进行的首次分类的部分，基于目标物样本特征进行的缺陷标注和二次分类的部分，及所述二次分类后进行的回归运算部分；其中所述缺陷标注和二次分类部分包括：
通过改进的特征金字塔网络获得目标物样本像素图的特征图及其感兴趣区域；
通过ROIAlign对感兴趣区域与所述特征图进行特征对齐；
对经过所述特征对齐的特征图进行mask标注及特征分类。
根据本发明的一些优选实施方式，所述检测模型的损失函数设置如下：
L＝Lcls+Lbox+Lmask，
其中，L表示总损失函数，Lcls表示所述首次分类部分的损失函数，Lbox表示所述回归运算部分的损失函数，Lmask表示所述缺陷标注和二次分类部分的损失函数；
其中，所述Lmask为改进的平均二值交叉熵损失函数，其含有1个以上的调节参数。
根据本发明的一些优选实施方式，所述损失函数设置如下：
Figure BDA0002739008240000031
其中，y表示根据样本是否含有目标物设定的标签，y’表示经过Sigmoid激活函数的预测输出，α、γ表示所述调节参数；优选的，α＝0.25，γ＝2。
根据本发明的一些优选实施方式，所述检测模型的构建包括：
S11：对目标物进行取样，所取样本含有目标物和/或其所处环境；
S12：将所取样本按照其是否具有缺陷分类为完美样本和不完美样本；
S13：根据缺陷类型，对不完美样本进行标注，并随机分为训练样本和测试样本；
S14：将标注好的训练样本输入检测模型中，对其进行训练；
S15：通过所述测试样本对训练后的检测模型进行测试和/或调整。
本发明进一步提出了一种智能检测系统，其用于运行上述任一种检测模型。
本发明进一步提出了一种智能检测装置，其包括相互电连接和/或无线信号连接的所述的智能检测系统、相机、显示器及报警器。
本发明进一步提出了上述任一种智能检测方法和/或所述的智能检测系统和/或所述智能检测装置的应用，其为在受电弓滑板检测中的应用。
本发明具有以下有益效果：
本发明可在列车停靠站时，实时监测受电弓碳滑板的磨损程度，以便维修人员可以及时发现存在安全隐患的受电弓碳滑板，保障整个铁路系统的正常运行，以及提高检测效率。
本发明通过自动化系统检测代替人工检测，显著提高了检测效率，同时提高了检测精度，不仅可保证整体的工作进度和一致性，通过可以更清楚地检测出目标物上的细微缺陷。
本发明的改进型Mask R-CNN在检测目标物受电弓碳滑板的缺陷上的平均准确度达到93％以上。相比于传统机器学习只能大致检测出磨损、裂纹，本发明不仅能检测出磨损，还能根据磨损的情况进行分析、标注和准确分类，不管是在准确度还是检测效率上都有大大的提升，便于及时指导工作人员更换受电弓碳滑板以防止重大安全事故的发生。
相对于传统的铁路检测车或者是固定的光学传感器来获取铁路检测样本，本发明的方法可通过便携式系统或装置完成检测，不仅更简单易操作，而且更为高效。
本发明的检测模型可以有效克服如受电弓碳滑板的目标物上的缺陷形状多样带来的困难，并且可在训练数据驱动下自适应地构建特征描述，具有更高的灵敏度和泛化能力。
附图说明
图1为具体实施方式所述本发明的检测模型构建流程示意图。
图2为具体实施方式所述ROI Align处理过程示意图。
图3为实施例1所述图像样本。
图4为实施例1所述检测后图像样本。
图5为实施例1所述视频样本。
图6为实施例1所述检测中的视频样本。
图7为具体实施方式所述所述现有技术中的FPN结构示意图。
图8为实施例3所述智能检测装置。
图9为实施例4所述的带有磨损缺陷的样本图像。
图10为实施例4所述的样本图像的磨损区域识别图。
图11为实施例4所述的另一样本图像。
图12为图11所示样本的特征图。
图13为图11所示样本的ROI示意图。
图14为图11所示样本的特征对齐后标注图。
图15为图14经回归操作后获得的图像。
具体实施方式
以下结合实施例和附图对本发明进行详细描述，但需要理解的是，所述实施例和附图仅用于对本发明进行示例性的描述，而并不能对本发明的保护范围构成任何限制。所有包含在本发明的发明宗旨范围内的合理的变换和组合均落入本发明的保护范围。
通过如附图1所示的流程对一种具体的目标物受电弓碳滑板进行检测，其包括：
S1根据如下的过程建立检测模型：
S11：对不同型号、种类、所处环境等的受电弓碳滑板进行取样，所取样本含有目标物受电弓碳滑板和/或其所处环境。
其中，样本可使用图像或视频。
如通过如下参数的尼康D750相机拍摄得到：
传感器类型：CMOS；
传感器尺寸全画幅：35.9*24mm；
最大像素数：2493万；
有效像素：2432万；
最高分辨率：6016×4016；
图像分辨率：
FX(36×24)影像区域：(L)6016×4016，(M)4512×3008，(S)3008×2008；
1.2×(30×20)影像区域：(L)5008×3336，(M)3752×2504，(S)2504×1664；
DX(24×16)影像区域：(L)3936×2624，(M)2944×1968，(S)1968×1312；
动画即时取景中拍摄的FX格式照片：(L)6016×3376，(M)4512×2528，(S)3008×1688；
动画即时取景中拍摄的DX格式照片：(L)3936×2224，(M)2944×1664，(S)1968×1112
相机镜头：尼科尔AF-S24-70MMF/2.8GED；
镜头结构(组/片)：11组15片，其中含3个ED镜片、3个非球面镜片和1个纳米结晶涂层；
带有35mm(135)格式的摄像角度：84°-34°20’；
运用Nikon DX格式的摄像角度：61°-22°50’；
最小f/stop：22；
最近对焦距离(微距设定)：0.38m(于全部焦距)；
最大复制比率(微距设定)：1/3.7；
滤光镜尺寸：77mm
直径x长度(从镜头卡口伸出的延伸段)：约83x 133mm。
S12：将所取样本按照其缺陷情况进行分类。
具体的，所取样本的类型可设定为：无缺陷的完美样本和有缺陷的不完美样本。
其中不完美样本包括具有裂缝和/或磨损的样本。根据缺陷类型其可进一步分为：仅有裂缝的碳滑板样本，仅有磨损的碳滑板样本，及即有磨损又有裂缝的碳滑板样本。
S13根据缺陷类型，对全部不完美样本进行标注，并将包括标注样本在内的全部取样样本随机分为训练样本和测试样本。
其中，具体的标注过程可如：
将全部样本文件导入VIA中，选择VIA的多边形标注工具，对图像中的裂缝及磨损进行标注，其中裂缝打上标签break，磨损打上标签wear。标注完成后，将其生成的“.json”文件另外保存即可。
S14：将标注好的训练样本输入待训练的检测模型中，对其进行训练。
具体的，所述检测模型基于改进后的Mask R-CNN构建，其在特征提取部分使用改进的特征金字塔(NFPN)网络，并通过区域建议网络(RPN)根据得到的特征图获得感兴趣区域(ROI),其中感兴趣区域(ROI)由通过步骤S13中标注的样本在像素级别上的缺陷特征分析得出，此处进行一次Loss值运算，可在区域建议网络(RPN)区分待检测图像中是否存在检测目标，再经ROI Align进行特征对齐，通过掩膜(Mask)掩盖对完成ROI Align的特征图进行缺陷分类，此处再进行一次Loss值计算，以判断由神经网络得出的图像是否与之前VIA标注的图像存在偏差，如果Loss值大于设定值，则进行下一步的回归运算，直到Loss值与设定值相等。
其工作过程如下：
基于输入的样本中是否存在待检测目标物，对样本进行首次分类，如，若图像中存在受电弓碳滑板，将其标注为有用样本；若不存在，将其标注为无用样本。
对其中有用样本进行图像像素分析。
将经像素分析后的样本输入检测模型，通过改进的特征金字塔网络获得像素分析后的样本的特征图，基于有用特征，对样本进行二次分类、回归及掩膜(mask)标注。
将完成回归操作的特征图反复通过检测模型，训练模型的识别效率，至其准确性能通过测试样本检测。
其中，所述二次分类、回归及掩膜标注的过程进一步包括：
通过特征金字塔检测获得碳滑板的特征图；
由特征图得到碳滑板感兴趣区域；
通过ROI Align对感兴趣区域与特征图进行特征对齐；
对处理后的特征图进行mask标注、损坏类型分类及检测结果回归运算。
其中，通过ROI Align进行特征对齐的过程如附图2所示，包括：
将图像划分为多个最小单元格，每个最小单元格的中心为采样点且单元格与像素点不重合。
设置采样点N的坐标为浮点数，通过分布于其周围的其它点的坐标，经双线性插值获得采样点的坐标，如图中箭头方向所示。具体如：
以采样点附近的、位于像素交汇处的任一点D为原点建立平面直角坐标系，获得同样位于采样点周围的、像素交汇处的A、C、F点。
在x轴方向上，对A(x1,y2)和C(x2,y2)点之间做线性插值得到位于A、C之间的B点的坐标，同理可得位于D、F之间的E点坐标。
类似的，在y轴上对C点和F点进行线性插值，对A点和D点进行线性插值。最终得到N点坐标。
具体可得到如式(1)所示的x轴方向的线性插值结果：
Figure BDA0002739008240000071
Figure BDA0002739008240000072
如式(2)所示的y轴方向上的线性插值结果：
Figure BDA0002739008240000073
及如式(3)所示的总插值结果N(x,y)：
Figure BDA0002739008240000081
通过上述双线性插值过程，可获得坐标为浮点数的像素点上的图像数值。
其后，对每个单元格内的四个采样点进行最大池化(Max Pooling)，得到最终的ROI Align结果。
通过ROI Align，而非一般Faster R-CNN中的ROI Pooling，可克服由ROI Pooling造成的特征图与原始图像不对准的问题，改善系统的检测精度。
进一步的，上述过程中的特征金字塔检测使用改进的FPN实现。其在一般FPN的结构上，进一步引入如下的卷积求和过滤部分：
Px(i,j)＝Pdx(i,j)-avg(Ptx)，
Figure BDA0002739008240000082
Px＝C(Pdx,Ptx)×K，
其中，下标x表示特征金字塔中的第x层，avg(Ptx)表示样本图像的像素平均值，Px(i,j)、Pdx(i,j)和Ptx(i,j)分别表示输出图像、瑕疵图像和样本图像的i行j列的像素值，且满足m>i，j>n,其中m×n为数字图像的分辨率。C(Pdx,Ptx)表示对Ptx和Pdx的特征图进行叠加，×运算表示卷积，K表示卷积核，优选其为1×1的卷积核，Px表示输出图像。
通过上述过程，可将样本图像像素平均值Pdx(i,j)与瑕疵图像像素平均值avg(Ptx)相减，有效去除部分平均像素中的多余无用像素，使特征提取过程速度变快。同时，Ptx和Pdx特征相加不改变特征图的维数，但可以增强每一维特征中的语义信息，加强目标识别能力；K卷积核可排除特征图空间深度上的问题，并解决由特征图相加引起的无用特征增加和有益语义信息强度减弱的问题。
一般FPN的基础结构如图7所示，其包括：
可依次得到相对于原始图像逐渐缩小2、4、8、16、32倍的5个特征图F1-F5的多个卷积层；
对5个特征图分别进行上采样的上采样层；
对上采样分别进行1×1卷积的采样后卷积层，其输出通道全部设置为256；
将采样后卷积图像与上采样的特征图进行加和的加和层；
对加和后图像通过3×3卷积核进行再次卷积的后卷积层；
输出后卷积层图像作为预测图像的输出层。
其中，输出特征图来自输入特征图的第k层，w，h为输入的第k0层特征图的长宽：
Figure BDA0002739008240000091
在上述传统FPN结构中，特征图从上到下的语义信息由强变弱，语义信息越强对目标的分割能力越强，因此对目标的分割能力也由强变弱。在本发明的目标物受电弓碳滑板的检测中，受样本采集时的环境影响，受电弓碳滑板图像背景多为列车顶或地面，易会出现高噪点，模糊不清的瑕疵图片。而从安全性角度而言，受电弓碳滑板的任何磨损情况和裂缝条数都需要被精确检测到。因此，传统的FPN方法会导致输出特征中出现过多相似的无用特征点，增大检测难度，降低检测速率，同时出现碳滑板磨损误检现象以及过拟合现象，无法满足本发明的需求。
相对于传统FPN网络的上，下采样结构，本发明的改进型结构为单向传播，传播过程中不仅保留了语义信息弱像素高的特征图以检测大目标，同时增强了像素低的特征图的语义信息，并且通过多次过滤，剩余有益特征，减轻了网络的检测负担，提升了检测速度。
所述检测模型的损失函数设置如下：
L＝Lcls+Lbox+Lmask
其中，L表示模型的总损失值；Lcls表示分类部分的的目标损失值；Lbox表示回归部分的目标损失值；Lmask表示标注部分的目标损失值，其损失函数优选为平均二值交叉熵损失函数(average binary cross-entropy loss)。
根据本发明的优选实施方式，训练完成的模型需要满足：总损失值最小，且各部分损失值均小于或等于其设定阈值，即Lcls小于或等于分类部分设定的损失阈值，Lbox小于或等于回归部分设定的损失阈值，Lmask小于或等于标注部分的损失阈值。
传统方法在获得损失函数值时，并不考虑正负样本在训练时的权重影响，而在训练网络时，由于总的数据集中易测目标占的权重过大等情况，会造成类间不平衡。另一方面，传统方法使用的二分类交叉熵损失在大量简单样本的迭代过程中比较缓慢且有可能无法优化至最优。
相对于传统方法，本发明的总损失函数优选为Sigmoid结合Focal Loss函数，并在交叉熵函数的基础上进行改进加入参数α，γ调节正负样本比例。以不仅克服类间竞争问题，同时解决目标检测中正负样本比例严重失衡的问题，其中正样本为包含检测目标的样本，负样本为不包含检测目标的样本。该损失函数降低了大量简单负样本在训练中所占的权重，使简单的样本数量上的极大优势不再耽误训练过程，使模型最终快速收敛。
其具体设置如下：
Figure BDA0002739008240000101
其中，y表示按样本中是否含有目标物做出的标签，1表示正样本，0表示负样本，y’表示经过Sigmoid激活函数的预测输出，α表示本发明设置的平衡因子，γ表示本发明设置的简单样本的调节因子，α，γ的取值可根据经验设定。
在一种优选中，α＝0.25，γ＝2，在该优选下，可获得最快的模型收敛速度。
在上述损失函数下，优化平衡因子以及调节因子，对模型进行优化，并通过测试集对其进行测试。
S2：通过训练完成的检测模型对受电弓碳滑板进行检测。
其中，检测内容包括识别出待检测样本为无缺陷样本还是缺陷样本，并识别出其中缺陷样本在不同位置处的缺陷的类型。
实施例1
通过本发明的智能检测系统对样本进行检测。
具体的，将样本输入系统中用于输入、输出文件的存储模块，其后向存储模块中写入权重文件，通过系统中用于运行检测模型的检测模块对其进行检测。
系统如：配置为Windons10，CPU酷睿I7-8700K，GPU英伟达GTX1070-8G，内存为16G的笔记本电脑，其软件环境包括Pycharm2017，Tensorflow3-GPU，keras，VGG ImageAnnotator，Python3.7和Nvdia CUDA10。
通过具体实施方式所述的训练完成的检测模型对受电弓滑板进行检测。检测过程为：
将如附图3所示的多组待检测列车受电弓图像样本输入至本发明的系统中。
向系统中载入由针对待检测物进行预训练的检测模型训练得到的权重文件，该权重文件可如“.h5”文件。
选择其中任一待检测样本图像，通过系统中的检测模型对其进行检测，获得如附图4所示的检测情况。
将包含检测情况的检测后样本进行手动或自动存储即可。如本系统中，在图像识别完成后，系统自动在根目录下生成一个output文件夹用于存储处理后的图像资料，图像的默认保存格式为.jpg格式，也可以更换其他格式。
或，检测过程为：
将如附图5所示的多组待检测列车受电弓视频样本输入至本发明的系统中，样本格式可为MP4等。
选择其中任一待检测样本视频，进行播放，根据人为或自动选择，由系统对其进行立即检测或稍后检测，获得如附图6所示的检测情况，其中阴影部分为系统识别出的有磨损的部分。
将包含检测情况的检测后样本进行手动或自动存储即可。如本系统中，在视频播放时，系统即自动在后台生成格式为AVI的检测视频，并在完成播放后，将检测后视频储存在与检测后图像样本相同的文件夹中。
实施例2
将收集到的关于受电弓碳滑板的图像样本数据集分为一类和二类，其中第一类数据集大部分是安装在受电弓上的碳滑板，第二类为拆卸下来的受电弓碳滑板，两类数据集中样本数量均为600张。通过本发明的改进的Mask R-CNN的检测模型、及未改进的Mask R-CNN与传统的Faster R-CNN对样本进行处理。
得到如下表1及表2所示的结果。
表1不同数据集下的样本对比
Figure BDA0002739008240000121
表2不同模型下的准确率
Figure BDA0002739008240000122
其中，表1表示不同种类的数据集的AP和mAP对比。可以看出，相对于改进前的MaskR-CNN，改进后的Mask R-CNN的mAP值最大提升了6.64％，AP值最大提升了3.72％，相对于Faster R-CNN，其mAP最大提升11.56％，AP值最大提升10.29％。
表2表示不同种类样本在不同处理方法下的准确率，可以看出，改进后的Mask R-CNN的准确率均与改进前持平或上升，但漏检误检率有了明显的下降。
其中，准确率设定为在所有的判断中有多少判断正确的，其判断包括把正的样本判断为正(1)，把负的样本判断为负(0)，可具体通过下式获得：
Acc＝(TP+TN)/(TP+TN+FN+FP)。
误检率设定为相对于虚假目标的总量里有多少被误识为真实目标，可具体通过下式获得：
FALSE RATE＝FP/(FP+TN)。
漏检率设定为负样本数目与样本总数之比，可具体通过下式获得：
MISS RATE＝FN/(TP+FN)。
以上各式中：
TP表示把正的样本判断为正的数目；
FN表示把正的样本错判为负的数目；
FP表示把负的样本错判为正的数目；
TN表示把负的样本判断为负的数目。
实施例3
通过如附图8所示智能检测装置对受电弓进行检测和监控，该系统包括：
对目标物受电弓滑板1，进行拍摄的相机2，计算机系统硬盘3，磨损标注软件4，特征提取模块5，回归运算模块6，计算机系统7，显示器8，蜂鸣报警器9。
其中，部件2将拍摄的图像通过数据线，连接到部件3计算机系统硬盘，使用磨损标注软件4，对计算机系统硬盘内的图片进行标注，将标注的好的图片输入神经网络，首先进入特征提取模块5，进行特征提取，然后进入回馈运算模块6计算LOSS值，并进行回归运算，整个部件3，4，5，6包含在计算机系统7中，最后由计算机系统将处理好的图像通过显示器8进行展示，如果计算机系统7检测出图像中包含磨损的受电弓，蜂鸣报警器9将进行蜂鸣报警。
实施例4
导入Python模块Keras，Tensorflow-gpu和numpy，通过Keras以及Tensorflow构建神经网络框架，通过numpy计算图像的矩阵方程式。
将摄像机拍到的图像通过VIA标注，标注内容包括break(裂缝)和wear(磨损)两类，其后导入检测模型的卷积层，并将不符合神经网络设定尺寸大小的图像进行填充，如附图11中上下黑边所示。
通过NFPN特征金字塔网络输入多个样本图像，如附图9、附图11所示，由检测模型的NFPN层首先进行特征提取，如对附图11所示的样本，可得到如附图12所示的特征图。
经过上述NFPN特征金字塔网络处理，图像被输入区域建议网络(RPN)中分为两类，第一类是图像中无检测目标只有背景，第二类是既有检测目标又有背景，将第一类样本作为负样本0，第二类样本作为正样本1。
将附图9所示的带有磨损的样本图像进行背景去除和大致的缺陷面积标注，得到如附图10所示磨损区域图，由此完成在附图9所示的样本图像上的缺陷标注。将附图10作为特征图，用于在神经网络中后续的图像特征分析。
基于所得特征图，通过检测模型的特征图获得样本图像的ROI，如附图13所示。
通过Python内部运算遍历全部样本图像，按上述步骤将全部图像输入神经网络，依次进行像素的分析，并将总的缺陷类别以像素级别的特征图形式导入检测模型的特征提取层，训练模型识别含有缺陷的图像的特征。
为使其后图像识别更准确，更快速，将上述得到的特征图像输入特征对齐层(ROIAlign)，输入ROI Align可以重新定义特征图的长宽，本系统将长宽设为256×256通过检测模型的特征采样点对图像进行ROI Align对齐及标注，得到如附图14所示的图像，其后对所得图像进行回归操作，得到如附图15所示的回归后缺陷标注图，完成检测过程。
在神经网络的训练过程中，本发明的Loss值分为如附图1最后所示Lmask，Lcls和Lbox，在本实施例中，其设定的损失阈值分别为Lmask＝0.33,Lcls＝0.33,Lbox＝0.33，本实施例将网络训练200次，每一次100个循环，最终达到设定值，完成模型训练。将完成训练的模型进行保存，其后对用户提供的待检测图片进行检测识别即可。
以上实施例仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例。凡属于本发明思路下的技术方案均属于本发明的保护范围。应该指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.基于深度学习的智能检测方法，其特征在于：通过检测模型对目标物进行检测，所述检测模型基于改进的mask R-CNN构建。
2.根据权利要求1所述的智能检测方法，其特征在于：所述检测模型含有改进的特征金字塔网络。
3.根据权利要求2所述的智能检测方法，其特征在于：所述改进的特征金字塔网络包括如下的卷积求和过滤部分：
Px(i,j)＝Pdx(i,j)-avg(Ptx)，
Figure FDA0002739008230000011
Px＝C(Pdx,Ptx)×K，
其中，下标x表示特征金字塔中的第x层；avg(Ptx)表示样本图像的像素平均值；Px(i,j)、Pdx(i,j)和Ptx(i,j)分别表示输出图像、瑕疵图像和样本图像的i行j列的像素值，且满足m>i，j>n，m×n为数字图像的分辨率；C(Pdx,Ptx)表示对Ptx和Pdx的特征图进行叠加，×运算表示卷积，K表示卷积核。
4.根据权利要求3所述的智能检测方法，其特征在于：所述检测模型包括基于目标物样本是否具有缺陷进行的首次分类的部分，基于目标物样本特征进行的缺陷标注和二次分类的部分，及所述二次分类后进行的回归运算部分；其中所述缺陷标注和二次分类部分包括：
通过改进的特征金字塔网络获得目标物样本像素图的特征图及其感兴趣区域；
通过ROIAlign对感兴趣区域与所述特征图进行特征对齐；
对经过所述特征对齐的特征图进行mask标注及特征分类。
5.根据权利要求4所述的智能检测方法，其特征在于：所述检测模型的损失函数设置如下：
L＝Lcls+Lbox+Lmask，
其中，L表示总损失函数，Lcls表示所述首次分类部分的损失函数，Lbox表示所述回归运算部分的损失函数，Lmask表示所述缺陷标注和二次分类部分的损失函数；
其中，所述Lmask为改进的平均二值交叉熵损失函数，其含有1个以上的调节参数。
6.根据权利要求5所述的智能检测方法，其特征在于：所述损失函数设置如下：
Figure FDA0002739008230000021
其中，y表示根据样本是否含有目标物设定的标签，y’表示经过Sigmoid激活函数的预测输出，α、γ表示所述调节参数；优选的，α＝0.25，γ＝2。
7.根据权利要求1所述的智能检测方法，其特征在于：所述检测模型的构建包括：
S11：对目标物进行取样，所取样本含有目标物和/或其所处环境；
S12：将所取样本按照其是否具有缺陷分类为完美样本和不完美样本；
S13：根据缺陷类型，对不完美样本进行标注，并随机分为训练样本和测试样本；
S14：将标注好的训练样本输入检测模型中，对其进行训练；
S15：通过所述测试样本对训练后的检测模型进行测试和/或调整。
8.智能检测系统，其用于运行权利要求1-7中任一项所述的检测模型。
9.智能检测装置，其包括相互电连接和/或无线信号连接的权利要求8所述的智能检测系统、相机、显示器及报警器。
10.权利要求1-7中任一项所述的智能检测方法和/或权利要求8所述的智能检测系统和/或权利要求9所述的智能检测装置在受电弓滑板检测中的应用。
CN202011143741.7A 2020-10-23 2020-10-23 基于深度学习的智能检测方法、系统、装置及其应用 Pending CN112257849A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011143741.7A CN112257849A (zh) 2020-10-23 2020-10-23 基于深度学习的智能检测方法、系统、装置及其应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011143741.7A CN112257849A (zh) 2020-10-23 2020-10-23 基于深度学习的智能检测方法、系统、装置及其应用

Publications (1)

Publication Number Publication Date
CN112257849A true CN112257849A (zh) 2021-01-22

Family

ID=74264796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011143741.7A Pending CN112257849A (zh) 2020-10-23 2020-10-23 基于深度学习的智能检测方法、系统、装置及其应用

Country Status (1)

Country Link
CN (1) CN112257849A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677334A (zh) * 2022-03-04 2022-06-28 山东钢铁股份有限公司 一种异型坯表面质量控制方法、系统和装置
CN114782437A (zh) * 2022-06-20 2022-07-22 西南石油大学 一种基于人工智能的电脑主板质量检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992318A (zh) * 2019-11-19 2020-04-10 上海交通大学 一种基于深度学习的特种金属瑕疵检测系统
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111415330A (zh) * 2020-02-27 2020-07-14 苏州杰锐思智能科技股份有限公司 基于深度学习的铜箔外观缺陷检测方法
US20200292462A1 (en) * 2019-03-15 2020-09-17 Inventec (Pudong) Technology Corporation Surface defect detection system and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200292462A1 (en) * 2019-03-15 2020-09-17 Inventec (Pudong) Technology Corporation Surface defect detection system and method thereof
CN110992318A (zh) * 2019-11-19 2020-04-10 上海交通大学 一种基于深度学习的特种金属瑕疵检测系统
CN111179229A (zh) * 2019-12-17 2020-05-19 中信重工机械股份有限公司 一种基于深度学习的工业ct缺陷检测方法
CN111415330A (zh) * 2020-02-27 2020-07-14 苏州杰锐思智能科技股份有限公司 基于深度学习的铜箔外观缺陷检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
YAN HUANLAN 等: "Improved Mask R-CNN for Lung Nodule Segmentation", 《2019 10TH INTERNATIONAL CONFERENCE ON INFORMATION TECHNOLOGY IN MEDICINE AND EDUCATION》 *
ZHENCHAO JIN 等: "SAFNet: A Semi-Anchor-Free Network With Enhanced Feature Pyramid for Object Detection", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
任之俊 等: "基于改进特征金字塔的Mask R-CNN目标检测方法", 《激光与光电子学进展》 *
许玉格 等: "基于深度学习的纹理布匹瑕疵检测方法", 《自动化学报》 *
金颖 等: "基于LabVIEW和 Mask R-CNN的柱塞式制动主缸内槽表面缺陷检测", 《现代制造工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677334A (zh) * 2022-03-04 2022-06-28 山东钢铁股份有限公司 一种异型坯表面质量控制方法、系统和装置
CN114782437A (zh) * 2022-06-20 2022-07-22 西南石油大学 一种基于人工智能的电脑主板质量检测方法及系统
CN114782437B (zh) * 2022-06-20 2022-09-02 西南石油大学 一种基于人工智能的电脑主板质量检测方法及系统

Similar Documents

Publication Publication Date Title
CN111179229B (zh) 一种基于深度学习的工业ct缺陷检测方法
CN111415329B (zh) 一种基于深度学习的工件表面缺陷检测方法
CN108711148B (zh) 一种基于深度学习的轮胎缺陷智能检测方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN104766097B (zh) 基于bp神经网络和支持向量机的铝板表面缺陷分类方法
CN104881662A (zh) 一种单幅图像行人检测方法
CN112257849A (zh) 基于深度学习的智能检测方法、系统、装置及其应用
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN109191421A (zh) 柱形锂电池圆周面凹坑视觉检测方法
CN111080691A (zh) 一种光伏组件红外热斑检测方法、装置
CN110503070A (zh) 基于航拍图像目标检测处理技术的交通自动化监测方法
CN113947731A (zh) 一种基于接触网安全巡检的异物识别方法及系统
CN112881412B (zh) 一种废钢产品中非金属异物检测方法
CN114973032A (zh) 一种基于深度卷积神经网络的光伏板热斑检测方法及装置
CN114972312A (zh) 基于YOLOv4-Tiny改进的绝缘子缺陷检测方法
CN110599459A (zh) 基于深度学习的地下管网风险评估云系统
CN115456955A (zh) 一种球笼防尘罩内部毛刺缺陷检测方法
CN113298797A (zh) 太阳能电池表面缺陷检测方法
CN113870202A (zh) 一种基于深度学习技术的远端芯片缺陷检测系统
CN115526852A (zh) 基于目标检测的选区激光熔融过程中熔池与飞溅监测方法及应用
CN108508023A (zh) 一种铁路接触网中接触端部顶紧螺栓的缺陷检测系统
Han et al. SSGD: A smartphone screen glass dataset for defect detection
CN113962929A (zh) 光伏电池组件缺陷检测方法、系统及光伏电池组件生产线
CN116052110B (zh) 一种路面标线缺损智能定位方法及系统
CN116486231A (zh) 一种基于改进YOLOv5的混凝土裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Han Lu

Inventor after: Liu Taihao

Inventor after: Song Hailiang

Inventor after: Song Jia

Inventor before: Liu Taihao

Inventor before: Chen Junxiang

Inventor before: Han Lu

Inventor before: Song Hailiang

Inventor before: Song Jia

Inventor before: Zhang Yiming

Inventor before: Li Wang

Inventor before: Li Junting

Inventor before: Wang Yongxiang

Inventor before: Huang Jingyue

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122