CN111832608A - 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法 - Google Patents

一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法 Download PDF

Info

Publication number
CN111832608A
CN111832608A CN202010482476.9A CN202010482476A CN111832608A CN 111832608 A CN111832608 A CN 111832608A CN 202010482476 A CN202010482476 A CN 202010482476A CN 111832608 A CN111832608 A CN 111832608A
Authority
CN
China
Prior art keywords
model
yolov3
abrasive
layer
ferrographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010482476.9A
Other languages
English (en)
Other versions
CN111832608B (zh
Inventor
张子杨
魏海军
焦鹏翔
王坤
苟子晗
曹辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202010482476.9A priority Critical patent/CN111832608B/zh
Publication of CN111832608A publication Critical patent/CN111832608A/zh
Application granted granted Critical
Publication of CN111832608B publication Critical patent/CN111832608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法。本发明提供的铁谱图像多磨粒识别方法，首先对yolov3模型主干网络进行改进，包括添加空间金字塔池化模块，将原始yolov3模型的IOU损失函数更换为GIOU损失函数，拓展yolo层尺度等，通过对yolov3主干网络的改进，有效克服了铁谱磨粒识别过程中，相似磨粒的识别率低、小颗粒磨粒的漏检率高等问题。本发明提供的铁谱图像多磨粒识别方法还通过融合模型的BN层与卷积层，简化网络结构，限制添加模块带来的额外计算量，保障yolov3模型最低检测速度的实时性。通过本发明提供的铁谱图像多磨粒识别方法，只需将多磨粒图片输入训练好的模块，即可得到智能化的识别结果，无需更多人工操作，实现了智能化识别。

Description

一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
技术领域
本发明涉及铁谱分析技术领域，具体涉及一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法。
背景技术
当代生产要求机械设备具有较高的可靠性，对于大规模连续工作的机械设备，若发生故障造成设备停机会引起重大的经济亏损。大量研究数据表明，机械设备的故障多数是由于磨损造成的。20世纪70年代开始发展铁谱诊断技术，通过提取机械系统中的润滑油，定量和定性分析油液中的磨损颗粒(磨粒)，达到对设备磨损状态监测与故障诊断，即分析磨粒的尺寸、形态、颜色、粒度分布和磨粒浓度，可以判断出设备的磨损状态、故障原因和位置。但传统铁谱磨粒图像的分析需要手动操作，且要求操作人员具有相当的专业知识，操作繁琐、耗费时间，过度依赖人工经验，分析结果主观。
铁谱磨粒的智能化识别是铁谱分析技术的重点研发方向。西安交通大学提出了面向在线铁谱图像磨粒识别的局部自适应阈值分割方法(公开号：CN108389216A)和一种多纹理特征融合的磨粒类型自动识别方法(公开号：CN108305259B)，重庆邮电大学发明了一种基于先验点阵的铁谱图像分割方法(公开号：CN110473231A)，这些发明建立在传统的计算机图像处理方法，即机器学习上，在背景简单的单磨粒识别上能够取得较好效果，但需要事先选取和测量大量人工参数，且很难识别复杂背景下的多目标磨粒。广州机械科学研究院有限公司开发了一种基于图像识别的自动铁谱分析系统(公开号：CN110672609A)，其所用的识别模型Mask RCNN属于近年来在计算机图像视觉领域发展迅速的卷积神经网络，即深度学习方法，可以在复杂背景下分割出多目标磨粒，但其模型为两阶段目标检测算法，且未对模型优化剪枝，计算时间较长，达不到实时性要求，与整个铁谱分析系统的融合性较差。
近年来，卷积神经网络(Convolution Neural Network，CNN)结合深度学习在世界计算机图像识别挑战赛中屡次夺冠，成功应用于多种模式的分类，在目标检测方面，表现日益突出。深度学习的检测方法主要分两大类：两阶段检测和单阶段检测。两阶段检测基于候选区域推荐生成目标检测的感兴趣区域，然后再利用CNN进行分类，这类算法拥有较高的检测精度，但由于网络繁冗导致算法耗费的计算时间较长。单阶段检测直接将整张图作为网络的输入，在输出层回归边界框(bounding box)的位置和所属类别，将目标检测当作回归任务来处理，极大地减少了参数计算，提高了网络训练速度，实现了端到端的目标检测。单阶段检测算法以YOLO(You Only Look Once)家族为代表，主要包括yolo，yolov2，yolov3等。
YOLO算法核心思想是，将一幅图像分成S×S的网格单元，如果某个目标(object)的中心落在这个网格中，则这个网格将负责预测该目标。每个网格要预测B个边界框(bounding box)，每个边界框除了要回归自身的位置、坐标及尺寸之外，还要附带预测一个置信度(confidence)值，计算公式为：
Figure BDA0002517889010000022
其中，Pr(Object)表示边界框包含目标的概率，IOU(Intersection over Union，交并比)表示预测的边界框(pred)和真实的边界框(truth)的交集和并集的比值。置信度包含两个信息：边界框中含有目标的置信度以及边界框的准确度，若网格中有目标则Pr(Object)＝1，没有目标则Pr(Object)＝0。每个网格还要预测一个类别信息，记为C类，概率记为Pr(Classi)。最终，对每个边界框的特定类别置信度采用条件概率计算，公式为：
Figure BDA0002517889010000021
其中，Pr(Classi|Object)为条件概率，表示边界框中包含目标时的类别概率。
通过条件概率计算公式得到S×S×(B×5+C)列的输出张量，设置阈值过滤低分的边界框，并对保留的边界框进行非极大值抑制处理，去掉重叠的边界框后得到最终的检测结果，完成目标检测。
由于YOLO算法提取的特征参数较少，所以重叠目标和小目标的检测精度较差，随后提出的yolov3在保证检测速度上提高了检测精度，拥有较好的综合性能。
发明内容
为了提高铁谱磨粒中相似磨粒的识别率，降低小颗粒磨粒的漏检率，保障检测速度的实时性，实现了复杂背景下多目标磨粒的识别，本发明提出了一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法。
本发明提出基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法，包括以下步骤：
S1、改进yolov3模型，建立yolov3_mod模型和yolov3_5l模型；
S2、对铁谱磨粒图片进行旋转、剪裁和数据增广得到磨粒数据集，并从磨粒数据集中随机分选出训练集和测试集；
S3、对磨粒数据集进行标注分类，整理成VOC数据集格式；
S4、利用K-means算法对磨粒数据集进行先验框维度聚类，得到磨粒数据集的先验框数据；
S5、选择yolov3_mod模型或yolov3_5l模型，将先验框数据输入所选模型的配置文件中，进行模型训练；
S6、完成训练后，对所选模型进行测试集精度验证，计算总平均准确率；
S7、当总平均准确率达到预期，使用所选模型进行待检磨粒图片检测；当总平均准确率低于预期，调整所选模型超参数，重新进行模型训练，直到总平均准确率达到预期。
优选地，所述yolov3_mod模型为大尺度yolo层检测，yolov3_5l模型为全尺度yolo层检测。
优选地，步骤S1中对yolov3模型的改进包含以下过程：
S11、增加空间金字塔池化模块；
使用多个卷积核对不同尺度的磨粒特征图进行最大池化，将池化后的特征图维度扩充，得到新的特征图组合，然后通过增加三层卷积，丰富特征图的语义信息，并最终将特征图送入yolo检测层；
S12、采用GIOU损失函数替换yolov3模型中的IOU损失函数；
设定A和B为两个任意预测框，C是能够将A、B包围的最小封闭矩形，广义交并比GIOU计算公式为：
Figure BDA0002517889010000041
其中，交并比IOU表达公式为：
Figure BDA0002517889010000042
GIOU损失函数表示为：
lossGIOU＝1-GIOU (2)
S13、拓展yolo检测层尺度；
通过增加第三yolo层检测的输入尺寸形成大尺寸的yolo层检测，建立所述yolov3_mod模型；
通过增加两个大尺寸检测的yolo层达到全尺度特征图的覆盖，形成全尺度yolo层检测，建立yolov3_5l模型；
S14、在yolov3_mod模型或yolov3_5l模型中，融合卷积层和批量归一化层；
设定在一个累积批量中，第i个样本内神经元的输出为yi，则卷积层的输出yi和批量归一化层的输出BNi表示为：
Figure BDA0002517889010000043
Figure BDA0002517889010000044
公式3中，w表示权重，x表示输入神经元，j代表第j个神经元，m为总神经元数量，b表示偏置；公式4中，μ表示均值，σ2表示方差，ζ为0.0005，γ和β为可学习的系数；
卷积层和批量归一化层的输出运算属于线性计算，将批量归一化层融入卷积层不会产生误差和偏移，融合后的卷积层输出yi_new表示为：
Figure BDA0002517889010000045
其中，
Figure BDA0002517889010000051
优选地，步骤S2中磨粒数据集分辨率为416×416ppi；从磨粒数据集中随机分选出80％为训练集，20％为测试集。
优选地，步骤S3中磨粒数据集的标注类型包含：球形磨粒、切削磨粒、疲劳剥块、层状磨粒、严重滑动。
优选地，步骤S4中具体包含以下过程：
根据K-means算法，将磨粒数据集分为K组，随机选取K个初始点作为聚类质心，通过计算各样本与质心之间的IOU距离，将每一个样本点分配给距离最近的聚类质心，每个聚类质心以及分配的样本点组成一个聚类，各聚类的质心根据聚类中现有的样本点被重新计算，重复以上过程直至质心不再改变，以最终确定各样本所属类别和质心；
yolov3_mod模型的质心数K＝9，yolov3_5l模型的质心数K＝15；IOU表达公式如下：
Figure BDA0002517889010000052
样本与质心之间的IOU距离d：
d(box,centroid)＝1-IOU(box,centroid) (7)
公式6中，area(candidate bound)表示网格产生的候选边界框的面积，area(ground truth bound)表示真实边界框的面积，box表示边界框，centroid表示聚类质心。
优选地，步骤S5中具体包含以下过程：
S51、根据检测工作要求选择yolov3_mod模型或yolov3_5l模型；
S52、将磨粒数据集的先验框数据输入所选模型，设置所选模型的超参数；
S53、通过GIOU损失函数评价所选模型训练过程，当GIOU损失函数趋向小于0.1的稳定值时结束所选模型训练；
S54、训练结束后，所选模型自动存储最好的权重文件即best权重，选择best权重进行测试集精度验证实验。
优选地，当磨粒图片检测要求快速检测时，选用yolov3_mod模型；当磨粒图片检测要求高检测精度时，选用yolov3_5l模型。
优选地，yolov3_mod模型或yolov3_5l模型默认超参数设置为：累积批量64、分割量16、学习率0.001、动量参数0.9、权重正则衰减0.0005、迭代次数20000。
优选地，步骤S6中具体包含以下过程：
S61、训练结束后的yolov3_mod模型或yolov3_5l模型，通过精度验证实验预测测试集的样本为正样本或负样本；
属于指定磨粒类型的样本为正样本，不属于指定磨粒类型的样本为负样本；TP表示正样本被识别为正样本的数量，FP表示负样本被识别为正样本的数量，FN表示正样本被识别为负样本的数量；
精度验证完成后，统计测试集预测的准确率precision和召回率recall，计算公式如下：
Figure BDA0002517889010000061
Figure BDA0002517889010000062
准确率precision表示预测为正的样本中真实正样本所占比例；召回率recall表示正样本被正确预测的比例；
S62、计算各类样本的平均准确率AP，所述平均准确率为precision-recall曲线围成的面积；对各类样本的AP求平均值即得所选模型的总平均准确率(mAP)。
与现有技术相比，本发明提出的铁谱图像多磨粒识别方法具有以下优点或有益效果：
1)本发明基于深度学习的铁谱磨粒图像识别，能够实现复杂背景下多目标磨粒的识别；
2)本发明通过对yolov3主干网络进行改进，有效克服了铁谱磨粒识别过程中，相似磨粒的识别率低、小颗粒磨粒的漏检率高等问题；
3)本发明采用的铁谱磨粒检测方法属于单阶段检测，且通过融合模型的BN层与卷积层，简化网络结构，限制网络模块带来的额外计算量，保障网络模块最低检测速度的实时性；
4)yolov3_mod模型精度比yolov3_5l模型略低，但拥有更快的检测速度；而yolov3_5l模型检测速度稍慢，但有着较高的精度，实际应用时可根据需求进行精度、速度的取舍；
5)用训练好的网络模块进行铁谱磨粒识别，只需将图片输入进yolov3_mod模型或yolov3_5l模型，即可得到智能化的识别结果，无需更多人工操作，甚至不需要铁谱磨粒分析技术的专业知识，解放了人工，实现了智能化识别。
附图说明
图1为本发明基于yolov3算法的铁谱图像多磨粒识别方法流程图；
图2为本发明中空间金字塔池化模块结构示意图；
图3为本发明中yolov3_mod模型和yolov3_5l模型的结构示意图；
图4为本发明中批量归一化层和卷积层融合过程示意图；
图5a是球形磨粒spherical的precision-recall曲线图；
图5b是切削磨粒cutting的precision-recall曲线图；
图5c是疲劳剥块chunky的precision-recall曲线图；
图5d是层状磨粒laminar的precision-recall曲线图；
图5e是严重滑动sliding的precision-recall曲线图；
图6a是yolov3_5l模型对切削磨粒识别结果；
图6b是yolov3_5l模型对层状磨粒识别结果；
图6c是yolov3_5l模型对球形磨粒识别结果；
图7a是yolov3_mod模型对切削磨粒识别结果；
图7b是yolov3_mod模型对层状磨粒识别结果；
图7c是yolov3_mod模型对球形磨粒识别结果；
图8a是yolov3模型对切削磨粒识别结果；
图8b是yolov3模型对层状磨粒识别结果；
图8c是yolov3模型对球形磨粒识别结果。
具体实施方式
以下结合附图，通过详细说明较佳的具体实施例，对本发明做详细介绍。
本发明提出的一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法，如图1所示，包含以下步骤：
S1、本发明中提出的铁谱图像多磨粒识别方法对yolov3主干网络进行了改进，建立yolov3_mod模型和yolov3_5l模型，具体步骤如下：
S11、添加空间金字塔池化模块(Spatial Pyramid Pooling Module，SPPModule)。
磨粒的采集环境处于微米级光学显微镜下，而且受到背景、曝光、焦距等一系列因素影响，同一类型、甚至同一个磨粒，在不同的磨粒图片中会呈现出不同尺寸的形状特征。神经网络提取到大量尺寸不一致的同一类别磨粒特征，必然会造成网络的震荡，难以收敛，影响模型训练效果。
本发明添加的空间金字塔池化模块使用多个卷积核对不同尺度的磨粒特征进行最大池化(Max pool)，再将池化后的特征图维度扩充(concatenate)，最终得到新的特征图组合，以达到多尺度特征提取统一大小的特征向量，解决磨粒尺寸的特征不一致，并在之后增加三层卷积(convolution layer)，丰富特征图的语义信息，最后送入yolo检测层(detection region of yolo layers)。SPP Module结构示意图如图2所示。
S12、将原始yolov3模型的IOU损失函数更换为GIOU损失函数。
原始yolov3模型的边界框损失函数存在两个问题。其一是当预测框和真实框没有重叠时，IOU始终为0无法优化，即损失函数失去了可导的性质；其二是IOU无法辨别不同的对齐方式，空间分布完全不同的预测框与真实框，IOU值却可以相同。对此，本发明采用GIOU损失函数替换IOU损失函数，以解决上述两个问题。
设定现在有两个任意的预测框A和B，C是能够将A、B包围的最小封闭矩形，用A和B的IOU值减去C中未包含A、B的面积占C总面积的比例，即为广义交并比GIOU，计算公式如下：
Figure BDA0002517889010000081
其中，交并比IOU表达公式为：
Figure BDA0002517889010000091
GIOU损失函数表示为：
lossGIOU＝1-GIOU (2)
S13、拓展yolo层尺度。
随着神经网络深度的加深，特征提取的能力也随之得到增强，这对相似磨粒的识别大有裨益，但过多的下采样层会导致密集磨粒和小颗粒磨粒特征消失，网络学习不到正确的特征，降低检测率，甚至导致错检、漏检。原始yolov3中通过下采样送入yolo检测层的尺寸分别为13×13ppi、26×26ppi、52×52ppi，本发明从两个不同角度出发，增加送入yolo层检测的特征图尺寸，提高了磨粒识别的准确率，具体方法如下：
1)建立大尺度yolo层检测，命名为yolov3_mod模型；增加97层网络的上采样(upsample)步伐(stride)，提高特征图尺寸，再与11层浅层网络的特征图张量连接(concat)，得到一个较大尺寸(104×104ppi)的yolo检测层，即增加第三yolo层检测的输入尺寸。
2)建立全尺度yolo层检测，命名为yolov3_5l模型；在第三yolo层后，追加两个大尺寸(104×104ppi，208×208ppi)检测的yolo层，即第四yolo层和第五yolo层，将原始的3个yolo层增加至5层，以达到全尺度特征图的覆盖。具体的，在102层卷积输出后，通过route连接到上取样层，再与11层网络张量连接送入第四yolo层检测，并将其后的121层网络与第四层网络张量连接送入第五yolo层检测，完成全尺度yolo层检测。改进的yolov3_mod模型、yolov3_5l模型以及原始yolov3模型结构如图3所示。
本发明对改进的yolov3_mod模型、yolov3_5l模型和原始yolo3模型最终的磨粒识别效果进行对比，图6a、图6b及图6c分别为yolov3_5l模型对切削磨粒(cutting)、层状磨粒(laminar)、球形磨粒(spherical)识别结果；图7a、图7b及图7c分别为yolov3_mod模型对相应的切削磨粒(cutting)、层状磨粒(laminar)、球形磨粒(spherical)识别结果；图8a、图8b及图8c分别为原始yolo3模型对相应的切削磨粒(cutting)、层状磨粒(laminar)、球形磨粒(spherical)识别结果。
原始yolov3模型对密集磨粒和小目标磨粒的漏检较多，对相似磨粒的错检率也较高，例如，图8a显示，原始yolo3模型漏检了一个切削磨粒(cutting)；图8b显示，漏检了一个层状磨粒(laminar)；而在图8c中，原始yolo3模型至少漏检了8个球形磨粒(spherical)，并且错检了两个球形磨粒，将两个球形磨粒(spherical)错检成了疲劳剥块(chunky)。
改进后的yolo模型不仅有效检测出了密集磨粒和小颗粒磨粒，提高了相似磨粒的检测效果，而且定位更加精确，例如，图7a显示，yolov3_mod模型漏检了一个切削磨粒(cutting)；图7b中，yolov3_mod模型完美识别出所有层状磨粒(laminar)；而在图7c中，yolov3_mod模型仅漏检了2个球形磨粒(spherical)。又如，图6a显示，yolov3_5l模型完美识别出所有切削磨粒(cutting)；图6b中，yolov3_5l模型错检了一个层状磨粒(laminar)，将其错检成了疲劳剥块(chunky)；在图6c中，yolov3_5l模型完美识别出所有球形磨粒(spherical)。
S14、在yolov3_mod模型或yolov3_5l模型中，融合卷积层和批量归一化(BatchNormalization，BN)层。
神经网络通过BN层将每层网络的输入归一化，使其分布在一定的均值与方差范围内，有效解决了训练过程中梯度消失和梯度爆炸的问题，提高了yolov3_mod模型或yolov3_5l模型稳定性，但BN层同时也增加了网络中的层数，加大了网络前向推断的计算量，影响了yolov3_mod模型或yolov3_5l模型的综合性能。
假设在一个累积批量(Batch)中的第i个样本内，神经元的输出为yi，则卷积层的输出yi和BN层的输出BNi可分别表示为：
Figure BDA0002517889010000101
Figure BDA0002517889010000102
公式3中，w表示权重，x表示输入神经元，j代表第j个神经元，m为总神经元数量，b表示偏置；公式4中，μ表示均值，σ2表示方差，ζ代表一个很小的正数，取0.0005，γ和β为可学习的系数。
由于在推理过程中，BN层参数除卷积层的输入yi外，其余固定不变，即卷积层和BN层的运算都是线性计算，将BN融入卷积层不会产生任何误差和偏移。融合BN后的卷积层输出公式如下：
Figure BDA0002517889010000111
其中，
Figure BDA0002517889010000112
卷积层与BN层的融合过程如图4所示。
融合BN层和卷积层能降低了网络计算量，简化网络结构，缓解了添加SPP Module、采用GIOU损失函数及拓展yolo层尺度带来的模型冗余，提升yolov3_mod模型和yolov3_5l模型检测速度。实验结果表明，相较于融合前，融合后的yolov3_mod模型和yolov3_5l模型推理总时间提升8％左右，如表1所示。
表格1模型融合前后推理时间对比
Figure BDA0002517889010000113
S2、对原始的高分辨率铁谱磨粒图片进行旋转、剪裁和数据增广后，得到分辨率为416×416ppi的磨粒数据集，并从磨粒数据集中随机分选出80％为训练集，20％为测试集。
S3、对磨粒数据集进行标注分类，整理成VOC数据集格式。
磨粒数据集的标注类型，根据实际需求进行，常见有球形磨粒(spherical)、切削磨粒(cutting)、疲劳剥块(chunky)、层状磨粒(laminar)、严重滑动(sliding)等，本发明对此不做限制。
所述VOC数据集格式，是PASCAL VOC挑战赛的一种固定的数据格式。PASCAL VOC挑战赛，全称Pattern Analysis Statical Modeling and Computational Learning VisualObject Classes Challenge，是视觉对象的分类识别和检测的一个基准测试，提供检测算法和学习性能的标准图像注释数据集和标准的评估系统。
S4、利用K-means(K均值聚类)算法对磨粒数据集进行先验框维度聚类，得到磨粒数据集的先验框数据。
磨粒数据集的先验框维度聚类指，将VOC数据集格式类型的磨粒数据集中的训练集边界框数据，通过K-means维度聚类，找到代表性的最优解，得到当前质心下的边界框尺寸数据(w，h)，即先验框数据，w表示边界框宽，h表示边界框高。先验框维度聚类可以加速所选模型收敛，提高训练过程中的稳定性。理论上，采用所选yolov3_mod模型或yolov3_5l模型默认的先验框数据也可完成模型的训练，但由于原始yolo模型使用的VOC数据集分类众多，且样本尺寸较大导致先验框值过大，不适合用于特定的磨粒数据集。本发明使用默认先验框数据训练yolov3_mod模型或yolov3_5l模型时，曾多次发生数据的剧烈震荡，引起梯度爆炸，最终导致模型训练失败。
K-means算法一般用于非监督学习中的聚类。K为常数，表示聚类的类别数，选择任意K个初始点作为聚类中心(即质心)，通过计算各样本与质心之间的欧式距离(即相似度)，将每一个样本点归类，然后返回重新计算各类的质心，重复以上过程直至质心不再改变，以最终确定各样本所属类别和质心。本发明中，针对yolov3_mod模型和yolov3_5l模型的质心分别为K＝9和K＝15。
传统的K-means算法采用的是欧式距离，在聚类时易出现局部最优解，且边界框尺寸也会引起误差，为了提高IOU的分数，将边界框大小无关化，本发明采用IOU距离作相似度，IOU表达公式如下：
Figure BDA0002517889010000121
样本与质心之间的IOU距离d：
d(box,centroid)＝1-IOU(box,centroid) (7)
公式6中，area(candidate bound)表示网格产生的候选边界框的面积，area(ground truth bound)表示真实边界框的面积，box表示边界框，centroid表示聚类质心。根据本发明实施例使用的磨粒数据集，符合磨粒数据集特点的先验框数据，分别为(28,74)、(31,41)、(40,48)、(50,86)、(58,60)、(70,152)、(78,92)、(127,164)、(214,262)和(24,41)、(26,81)、(33,42)、(39,30)、(39,52)、(40,76)、(49,44)、(53,88)、(58,60)、(68,152)、(74,87)、(94,110)、(114,158)、(152,170)、(215,262)。
S5、将步骤S4得到的先验框数据输入所选yolov3_mod模型或yolov3_5l模型的配置文件后，进行模型训练，具体方法如下：
S51、在开始训练前，将磨粒数据集的先验框数据输入所选yolov3_mod模型或yolov3_5l模型，设置模型的超参数。
本发明中yolov3_mod模型和yolov3_5l模型自带默认的超参数设置，可根据实际需求自行调整，本发明对此不做限制。默认的参考设置：Batch(累积批量)为64、Subdivisions(分割量)为16、Learning rate(学习率)为0.001、Momentum(动量参数)为0.9、Decay(权重正则衰减)为0.0005、Epochs(迭代次数)为20000。
S52、通过GIOU损失函数评价所选yolov3_mod模型或yolov3_5l模型训练过程，当GIOU损失函数趋向小于0.1的稳定值时结束所选模型训练。
GIOU损失函数是模型训练过程中的重要评价指标，原则上需要无限趋向于0，实际训练时GIOU损失函数最终趋向稳定即可。本发明对GIOU损失函数趋向的稳定值不做限制，但为保证磨粒的识别精度，强烈建议损失函数最终稳定在0.1以下。
S53、所选yolov3_mod模型或yolov3_5l模型完成训练后，会自动存储最好的权重文件，即best权重，选择best权重文件进行下一步精度验证实验。
S6、所选yolov3_mod模型或yolov3_5l模型训练完成后进行测试集上的精度验证，计算所选模型总平均准确率；具体方法如下：
S61、训练结束后，所选模型通过精度验证实验预测测试集的样本为正样本或负样本；
选定磨粒类型，属于指定磨粒类型的样本为正样本，不属于指定磨粒类型的样本为负样本；TP表示正样本被识别为正样本的数量，FP表示负样本被识别为正样本的数量，FN表示正样本被识别为负样本的数量；
测试集精度验证完成后，统计所选模型预测的准确率precision和召回率recall，计算公式如下：
Figure BDA0002517889010000141
Figure BDA0002517889010000142
准确率precision表示预测为正的样本中真实正样本所占比例；召回率recall表示正样本被正确预测的比例。
S62、计算平均精确率(Average Precision，AP)，即各类样本的准确率均值，可以由precision-recall曲线所围成的面积表示；对各类样本的AP求平均值即为所选模型的总平均准确率(mAP)。
图5a至图5e分别为球形磨粒spherical、切削磨粒cutting、疲劳剥块chunky、层状磨粒laminar、严重滑动sliding的precision-recall曲线图。从图5a至图5e可以看出，原始的yolo模型对于形态和颜色特征明显的球形磨粒和切削磨粒的识别率较高，但对严重滑动、层状磨粒和疲劳剥块等相似磨粒的识别率较低。改进后的yolov3_mod模型和yolov3_5l模型有效提高了相似磨粒的识别率。
根据本发明实施例使用的磨粒数据集，统计了原始的yolov3模型与添加SPP的yolov3模型(yolov3 with SPP)、采用GIOU的yolov3模型(yolov3 with GIOU)，以及yolov3_mod模型、yolov3_5l模型的准确率和检测速度(Frames Per Second，FPS)，如表2所示。
表格2各模型检测结果
Figure BDA0002517889010000143
表2测试的硬件环境为：CPU为Intel(R)Xeon(R)CPU E5410@2.33GHz，显卡Teslak80，内存16G，Ubuntu18.04操作系统，CUDA10.1，cudnn7.6.2。从表2可以看出，在原始yolov3模型中添加SPP Module模块和采用GIOU损失函数分别提升了近2％的mAP，且基本不影响检测速度。最终的改进模型yolov3_mod和yolov3_5l两模型对相似磨粒的识别率分别提高了8％和14％，mAP提高了5％和10％，充分证明了yolov3_mod模型、yolov3_5l模型的有效性。
S7、根据总平均准确率，判断所选模型的智能化识别能力。
当总平均准确率mAP达到预期，则所选模型可推广使用，进行铁谱磨粒的智能化识别。此时，无需对待检测识别的铁谱磨粒图片进行任何处理，直接将图片输入所选模型即可得到磨粒的智能化识别结果，如图6a、图6b、图6c，以及图7a、图7b、图7c所示。
当总平均准确率mAP较低，尚不满足实际需求，可调整所选模型的超参数设置，重新训练模型。本发明对具体调整过程不做限制，仅给出以下参考建议：
1)检查磨粒数据集，确保数据集标注的正确性；
2)模型预设20000轮训练，本发明对迭代次数Epochs不做限制，但建议最低迭代次数设置不低于步骤S3中磨粒类别的4倍；
3)在训练过程中，若发现损失函数下降过快或急剧震荡，可将学习率调小，如调至原来的0.1倍；若发现损失函数下降过慢或稳定在较高值附近，可将学习率调大，如调至原来的2-5倍；
4)在硬件条件允许下，可将累积批量和分割量适当调大，如Batch＝128，Subdivisions＝32；
5)动量参数和权重正则衰减参数，不建议调整。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (10)

1.一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法，其特征在于，包括以下过程：
S1、改进yolov3模型，建立yolov3_mod模型和yolov3_5l模型；
S2、对铁谱磨粒图片进行旋转、剪裁和数据增广得到磨粒数据集，并从磨粒数据集中随机分选出训练集和测试集；
S3、对磨粒数据集进行标注分类，整理成VOC数据集格式；
S4、利用K-means算法对磨粒数据集进行先验框维度聚类，得到磨粒数据集的先验框数据；
S5、选择yolov3_mod模型或yolov3_5l模型，将先验框数据输入所选模型的配置文件中，进行模型训练；
S6、完成训练后，对所选模型进行测试集精度验证，计算总平均准确率；
S7、当总平均准确率达到预期，使用所选模型进行待检磨粒图片检测；
当总平均准确率低于预期，调整所选模型超参数，重新进行模型训练，直到总平均准确率达到预期。
2.如权利要求1所述铁谱图像多磨粒识别方法，其特征在于，所述yolov3_mod模型为大尺度yolo层检测，yolov3_5l模型为全尺度yolo层检测。
3.如权利要求2所述铁谱图像多磨粒识别方法，其特征在于，步骤S1中对yolov3模型的改进包含以下过程：
S11、增加空间金字塔池化模块；
使用多个卷积核对不同尺度的磨粒特征图进行最大池化，将池化后的特征图维度扩充，得到新的特征图组合，然后通过增加三层卷积，丰富特征图的语义信息，并最终将特征图送入yolo检测层；
S12、采用GIOU损失函数替换yolov3模型中的IOU损失函数；
设定A和B为两个任意预测框，C是能够将A、B包围的最小封闭矩形，广义交并比GIOU计算公式为：
Figure FDA0002517889000000021
其中，交并比IOU表达公式为：
Figure FDA0002517889000000022
GIOU损失函数表示为：
lossGIOU＝1-GIOU (2)
S13、拓展yolo检测层尺度；
通过增加第三yolo层检测的输入尺寸形成大尺寸的yolo层检测，建立所述yolov3_mod模型；
通过增加两个大尺寸检测的yolo层达到全尺度特征图的覆盖，形成全尺度yolo层检测，建立yolov3_5l模型；
S14、在yolov3_mod模型或yolov3_5l模型中，融合卷积层和批量归一化层；
设定在一个累积批量中，第i个样本内神经元的输出为yi，则卷积层的输出yi和批量归一化层的输出BNi表示为：
Figure FDA0002517889000000023
Figure FDA0002517889000000024
公式3中，w表示权重，x表示输入神经元，j代表第j个神经元，m为总神经元数量，b表示偏置；公式4中，μ表示均值，σ2表示方差，ζ为0.0005，γ和β为可学习的系数；
卷积层和批量归一化层的输出运算属于线性计算，将批量归一化层融入卷积层不会产生误差和偏移，融合后的卷积层输出yi_new表示为：
Figure FDA0002517889000000025
其中，
Figure FDA0002517889000000031
4.如权利要求1所述铁谱图像多磨粒识别方法，其特征在于，步骤S2中磨粒数据集分辨率为416×416ppi；从磨粒数据集中随机分选出80％为训练集，20％为测试集。
5.如权利要求1所述铁谱图像多磨粒识别方法，其特征在于，步骤S3中磨粒数据集的标注类型包含：球形磨粒、切削磨粒、疲劳剥块、层状磨粒、严重滑动。
6.如权利要求1所述铁谱图像多磨粒识别方法，其特征在于，步骤S4中具体包含以下过程：
根据K-means算法，将磨粒数据集分为K组，随机选取K个初始点作为聚类质心，通过计算各样本与质心之间的IOU距离，将每一个样本点分配给距离最近的聚类质心，每个聚类质心以及分配的样本点组成一个聚类，各聚类的质心根据聚类中现有的样本点被重新计算，重复以上过程直至质心不再改变，以最终确定各样本所属类别和质心；
yolov3_mod模型的质心数K＝9，yolov3_5l模型的质心数K＝15；IOU表达公式如下：
Figure FDA0002517889000000032
样本与质心之间的IOU距离d：
d(box,centroid)＝1-IOU(box,centroid) (7)
公式6中，area(candidate bound)表示网格产生的候选边界框的面积，area(groundtruth bound)表示真实边界框的面积，box表示边界框，centroid表示聚类质心。
7.如权利要求1所述铁谱图像多磨粒识别方法，其特征在于，步骤S5中具体包含以下过程：
S51、根据检测工作要求选择yolov3_mod模型或yolov3_5l模型；
S52、将磨粒数据集的先验框数据输入所选模型，设置所选模型的超参数；
S53、通过GIOU损失函数评价所选模型训练过程，当GIOU损失函数趋向小于0.1的稳定值时结束所选模型训练；
S54、训练结束后，所选模型自动存储最好的权重文件即best权重，选择best权重进行测试集精度验证实验。
8.如权利要求7所述铁谱图像多磨粒识别方法，其特征在于，步骤S51中，当磨粒图片检测要求快速检测时，选用yolov3_mod模型；当磨粒图片检测要求高检测精度时，选用yolov3_5l模型。
9.如权利要求7所述铁谱图像多磨粒识别方法，其特征在于，步骤S52中，yolov3_mod模型或yolov3_5l模型默认超参数设置为：累积批量64、分割量16、学习率0.001、动量参数0.9、权重正则衰减0.0005、迭代次数20000。
10.如权利要求1所述铁谱图像多磨粒识别方法，其特征在于，步骤S6中具体包含以下过程：
S61、训练结束后的yolov3_mod模型或yolov3_5l模型，通过精度验证实验预测测试集的样本为正样本或负样本；
属于指定磨粒类型的样本为正样本，不属于指定磨粒类型的样本为负样本；TP表示正样本被识别为正样本的数量，FP表示负样本被识别为正样本的数量，FN表示正样本被识别为负样本的数量；
精度验证完成后，统计测试集预测的准确率precision和召回率recall，计算公式如下：
Figure FDA0002517889000000041
Figure FDA0002517889000000042
准确率precision表示预测为正的样本中真实正样本所占比例；召回率recall表示正样本被正确预测的比例；
S62、计算各类样本的平均准确率AP，所述平均准确率为precision-recall曲线围成的面积；对各类样本的AP求平均值即得所选模型的总平均准确率(mAP)。
CN202010482476.9A 2020-05-29 2020-05-29 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法 Active CN111832608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010482476.9A CN111832608B (zh) 2020-05-29 2020-05-29 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010482476.9A CN111832608B (zh) 2020-05-29 2020-05-29 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法

Publications (2)

Publication Number Publication Date
CN111832608A true CN111832608A (zh) 2020-10-27
CN111832608B CN111832608B (zh) 2023-09-12

Family

ID=72913795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482476.9A Active CN111832608B (zh) 2020-05-29 2020-05-29 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法

Country Status (1)

Country Link
CN (1) CN111832608B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529836A (zh) * 2020-10-30 2021-03-19 广州优飞信息科技有限公司 高压线路缺陷检测方法、装置、存储介质及电子设备
CN112819038A (zh) * 2021-01-12 2021-05-18 东风汽车有限公司 一种基于大数据的铁屑来源工位和品质的识别方法
CN113160142A (zh) * 2021-03-24 2021-07-23 浙江工业大学 一种融合先验边界的脑肿瘤分割方法
CN113298053A (zh) * 2021-07-26 2021-08-24 季华实验室 多目标无人机追踪识别方法、装置、电子设备及存储介质
CN113516643A (zh) * 2021-07-13 2021-10-19 重庆大学 Octa图像中视网膜血管分叉点和交叉点的检测方法
CN114862751A (zh) * 2022-01-21 2022-08-05 西北工业大学 一种用于快速识别全息图像中铝燃烧颗粒的目标检测方法
CN114897816A (zh) * 2022-05-09 2022-08-12 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN114913092A (zh) * 2022-05-20 2022-08-16 西安交通大学 一种在线铁谱反射光图像增强方法及系统
CN115655998A (zh) * 2022-11-21 2023-01-31 昆山书豪仪器科技有限公司 一种磨粒检测方法、装置、设备、介质和产品
CN117036916A (zh) * 2023-08-02 2023-11-10 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置
CN117100240A (zh) * 2023-10-23 2023-11-24 广州逆熵电子科技有限公司 一种基于机器视觉的全自动血压模拟测试方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110018524A (zh) * 2019-01-28 2019-07-16 同济大学 一种基于视觉-属性的x射线安检违禁品识别方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN111062282A (zh) * 2019-12-05 2020-04-24 武汉科技大学 基于改进yolov3模型的变电站指针式仪表识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110018524A (zh) * 2019-01-28 2019-07-16 同济大学 一种基于视觉-属性的x射线安检违禁品识别方法
CN111062282A (zh) * 2019-12-05 2020-04-24 武汉科技大学 基于改进yolov3模型的变电站指针式仪表识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安超;魏海军;刘?;梁麒立;汪璐璐;: "基于Mask R-CNN的铁谱磨粒智能分割与识别", 润滑与密封, no. 03 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112529836A (zh) * 2020-10-30 2021-03-19 广州优飞信息科技有限公司 高压线路缺陷检测方法、装置、存储介质及电子设备
CN112819038A (zh) * 2021-01-12 2021-05-18 东风汽车有限公司 一种基于大数据的铁屑来源工位和品质的识别方法
CN113160142A (zh) * 2021-03-24 2021-07-23 浙江工业大学 一种融合先验边界的脑肿瘤分割方法
CN113516643A (zh) * 2021-07-13 2021-10-19 重庆大学 Octa图像中视网膜血管分叉点和交叉点的检测方法
CN113298053A (zh) * 2021-07-26 2021-08-24 季华实验室 多目标无人机追踪识别方法、装置、电子设备及存储介质
CN114862751B (zh) * 2022-01-21 2024-03-22 西北工业大学 一种用于快速识别全息图像中铝燃烧颗粒的目标检测方法
CN114862751A (zh) * 2022-01-21 2022-08-05 西北工业大学 一种用于快速识别全息图像中铝燃烧颗粒的目标检测方法
CN114897816A (zh) * 2022-05-09 2022-08-12 安徽工业大学 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法
CN114913092A (zh) * 2022-05-20 2022-08-16 西安交通大学 一种在线铁谱反射光图像增强方法及系统
CN115655998A (zh) * 2022-11-21 2023-01-31 昆山书豪仪器科技有限公司 一种磨粒检测方法、装置、设备、介质和产品
CN117036916A (zh) * 2023-08-02 2023-11-10 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置
CN117036916B (zh) * 2023-08-02 2024-04-05 中国航空发动机研究院 基于轻量级卷积神经网络模型的磨粒类型识别方法及装置
CN117100240A (zh) * 2023-10-23 2023-11-24 广州逆熵电子科技有限公司 一种基于机器视觉的全自动血压模拟测试方法及装置
CN117100240B (zh) * 2023-10-23 2024-03-29 广州逆熵电子科技有限公司 一种基于机器视觉的全自动血压模拟测试方法及装置

Also Published As

Publication number Publication date
CN111832608B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
CN111832608A (zh) 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN112418117B (zh) 一种基于无人机图像的小目标检测方法
CN111181939B (zh) 一种基于集成学习的网络入侵检测方法及装置
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN106897738B (zh) 一种基于半监督学习的行人检测方法
US7236623B2 (en) Analyte recognition for urinalysis diagnostic system
CN111079602A (zh) 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN108090508A (zh) 一种分类训练方法、装置及存储介质
CN112101278A (zh) 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN108090470A (zh) 一种人脸对齐方法及装置
CN108846826A (zh) 物体检测方法、装置、图像处理设备及存储介质
JP2009545045A (ja) パターン分類方法
CN112507996A (zh) 一种主样本注意力机制的人脸检测方法
CN108416364A (zh) 分包融合集成学习数据分类方法
CN111079620A (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN113484875B (zh) 一种基于混合高斯排序的激光雷达点云目标分级识别方法
CN114694178A (zh) 基于Faster-RCNN算法的电力作业中安全帽监测方法及系统
CN112036384B (zh) 精子头部形态识别方法、装置及设备
CN108375729B (zh) 基于Fisher判别的电机SOM聚类退化状态评估方法
US20150242676A1 (en) Method for the Supervised Classification of Cells Included in Microscopy Images
CN113221956A (zh) 基于改进的多尺度深度模型的目标识别方法及装置
CN112183237A (zh) 基于颜色空间自适应阈值分割的白细胞自动分类方法
Zeren et al. Comparison of SSD and faster R-CNN algorithms to detect the airports with data set which obtained from unmanned aerial vehicles and satellite images
CN110097067B (zh) 一种基于层进式特征变换的弱监督细粒度图像分类方法
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant