CN116883410A - 一种磨斑自动化检测与评价的方法、系统以及设备 - Google Patents

一种磨斑自动化检测与评价的方法、系统以及设备 Download PDF

Info

Publication number
CN116883410A
CN116883410A CN202311152484.7A CN202311152484A CN116883410A CN 116883410 A CN116883410 A CN 116883410A CN 202311152484 A CN202311152484 A CN 202311152484A CN 116883410 A CN116883410 A CN 116883410A
Authority
CN
China
Prior art keywords
image
time
speckle
images
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311152484.7A
Other languages
English (en)
Other versions
CN116883410B (zh
Inventor
邱建忠
邬君
邱森森
黄鹏程
赵炳彦
孔冠力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Ailu Intelligent Technology Co ltd
Original Assignee
Sichuan Ailu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Ailu Intelligent Technology Co ltd filed Critical Sichuan Ailu Intelligent Technology Co ltd
Priority to CN202311152484.7A priority Critical patent/CN116883410B/zh
Publication of CN116883410A publication Critical patent/CN116883410A/zh
Application granted granted Critical
Publication of CN116883410B publication Critical patent/CN116883410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)

Abstract

本发明为解决现有技术中磨斑检测时缺少对其生命周期的全程把控，也未实现分析的自动化与智能化的问题，提供一种磨斑自动化检测与评价的方法、系统以及设备，属于检测技术领域。该方法包括以下步骤：训练空间流识别模型M1和时间流识别模型M2；获取实时图像;将实时图像导入空间流识别模型M1识别磨斑图像；获取帧差图像；将帧差图像导入时间流识别模型M2预测预估发展周期P’;预估发展周期P’与实际发展周期P进行比较，评价设备或者工件的运行工况。本发明通过图像模型识别技术自动完成磨斑识别和发展周期预测，实现磨斑产生的全周期把控和动态监测，并由此完成设备或者工件的运行工况评价，自动化与智能化程度较高。

Description

一种磨斑自动化检测与评价的方法、系统以及设备
技术领域
本发明涉及检测技术领域，尤其涉及一种磨斑自动化检测与评价的方法、系统以及设备。
背景技术
在设备正常使用、工件摩擦磨损检测等场景中，设备或者工件的不同部位之间直接接触的现象非常普遍。由此，直接接触带来的摩擦磨损则是不可避免的问题。因此，对设备或者工件的摩擦磨损检测，以评估设备的使用寿命或者工件的质量等在产品设计开发中是非常有必要的。
目前，一方面，常规的检测分析技术手段为相关人员手动对摩擦磨损产生的痕迹（比如磨斑）进行测量，如测量磨斑面积尺寸、磨痕深度等；另一方面，对磨斑数据的分析也都停留在静态点上，缺少对其生命周期的全程把控，也未实现分析的自动化与智能化。
发明内容
本发明为解决现有技术中磨斑检测时缺少对其生命周期的全程把控，也未实现分析的自动化与智能化的问题，提供一种磨斑自动化检测与评价的方法、系统以及设备。本发明通过图像模型识别技术自动完成磨斑识别和发展周期预测，实现磨斑产生的全周期把控和动态监测，并由此完成设备或者工件的运行工况评价，自动化与智能化程度较高。
本发明采用的技术方案是：
一种磨斑自动化检测与评价的方法，所述方法包括以下步骤：
步骤S1，训练得到空间流识别模型M1和时间流识别模型M2；
步骤S2，获取连续拍摄时刻下设备或者工件上待测接触摩擦部位的实时图像;
步骤S3,将所述实时图像逐一导入所述空间流识别模型M1，由所述空间流识别模型M1识别所述实时图像中是否包含磨斑图像；
若所述空间流识别模型M1识别出所述实时图像中包含所述磨斑图像，则于所述实时图像上自动圈定出磨斑轮廓；其中，以首次识别到所述磨斑图像对应的所述实时图像的拍摄时刻为统计起点；
步骤S4，选取T时刻的所述实时图像以及T+∆t时刻的所述实时图像，并将T+∆t时刻的所述实时图像与T时刻的所述实时图像相减，得到帧差图像；其中，至少T+∆t时刻的所述实时图像含有所述磨斑图像，T+∆t时刻与所述统计起点的差值即为T+∆t时刻磨斑的实际发展周期P；其中，∆t为拍摄时刻的增量；
步骤S5，将所述帧差图像导入所述时间流识别模型M2，由所述时间流识别模型M2预测产生大致与T+∆t时刻的所述实时图像上所述磨斑图像相同时需要的时长，所述时长即为T+∆t时刻磨斑的预估发展周期P’;
步骤S6，将所述预估发展周期P’与所述实际发展周期P进行比较，基于比较结果评价设备或者工件的运行工况。
进一步地，所述方法还包括以下步骤：
步骤S7，基于所述步骤S6种得到的设备或者工件的运行工况评价结果，分析设备或者工件在实际运行工况下与标准运行工况下的偏离程度；
若所述预估发展周期P’小于所述实际发展周期P，则表明实际运行工况可能与标准运行工况不符，磨损加剧。
进一步地，所述步骤S1中，训练空间流识别模型M1的具体过程包括：
步骤S1a，收集不同设备或者工件、不同运行工况、不同运行时间以及不同接触摩擦部位下含有磨斑图像的第一历史图像；
步骤S1b，对收集的所述第一历史图像进行数据标注处理，标注的数据包括磨斑在所述第一历史图像中的像素位置、尺寸大小、磨痕深度、发展周期，并记录在与所述第一历史图像同名的XML格式的配置文件中；
步骤S1c，将完成数据标注的所述第一历史图像按照第一预设比例分为训练集、测试集与验证集，采用机器深度学习的方式训练得到多个识别模型，保留识别率最高的识别模型；
步骤S1d，将所述第一历史图像送入卷积神经网络进行卷积计算，在计算过程中调取与所述第一历史图像同名的XML格式的所述配置文件；
步骤S1e，将所述步骤S1c中得到的识别率最高的识别模型与所述步骤S1d中得到的卷积计算结果进行融合，得到用于磨斑检测的所述空间流识别模型M1。
进一步地，所述步骤S1中，训练时间流识别模型M2的具体过程包括：
步骤S1a’，收集对同一个设备或者工件在标准运行工况下拍摄的同一接触摩擦部位的含有磨斑图像的第二历史图像，并将所述第二历史图像按照拍摄时刻先后顺序排列，相邻两张所述第二历史图像具有相同的拍摄时刻间隔；
步骤S1b’，任意选取两张所述第二历史图像，按照拍摄时刻在后的所述第二历史图像减去拍摄时刻在先的所述第二历史图像的原则，将两张选取的所述第二历史图像相减，得到具有帧差值的帧差历史图像；
步骤S1c’，重复所述步骤S1b’，得到具有不同帧差值的一系列所述帧差历史图像；
步骤S1d’，将所述帧差历史图像按照帧差值进行分类，得到多组所述帧差图像，同组内的所述帧差历史图像具有相同的帧差值；
步骤S1e’，将多组所述帧差历史图像按照第二预设比例分为训练集、测试集与验证集，采用机器深度学习的方式训练得到多个识别模型，保留识别率最高的识别模型；
步骤S1f’， 将所述帧差历史图像送入卷积神经网络进行卷积计算；
步骤S1g’，将所述步骤S1e’中得到的别率最高的识别模型与所述步骤S1f’中得到的卷积计算结果进行融合，得到用于磨斑发展周期预测的所述时间流识别模型M2。
进一步地，所述实时图像通过扫描电子显微镜或者双目相机获得。
进一步地，每张所述实时图像的拍摄角度和高度相同，像素大小也相同。
基于同样的发明构思，本发明还提供一种磨斑自动化检测与评价的系统，以实施前述的磨斑自动化检测与评价的方法，所述系统包括：
磨斑识别模型训练模块，所述磨斑识别模型训练模块用于训练得到空间流识别模型M1和时间流识别模型M2；
磨斑图像获取模块，所述磨斑图像获取模块用于获取连续时刻下设备或者工件上待测接触摩擦部位的实时图像；
数据交互模块，所述数据交互模块与所述磨斑识别模型训练模块和所述磨斑图像获取模块机通讯连接，实现所述数据交互模块、所述磨斑识别模型训练模块以及所述磨斑图像获取模块机之间数据交互，完成利用所述空间流识别模型M1进行磨斑识别和实际发展周期P的计算，完成利用所述时间流识别模型M2进行预估发展周期P’的预测，以及完成设备或者工件的运行工况评价。
进一步地，所述系统还包括：
磨斑图像处理模块，所述磨斑图像处理模块亦与所述数据交互模块通讯连接，实现所述磨斑图像处理模块、所述数据交互模块、所述磨斑识别模型训练模块以及所述磨斑图像获取模块机之间数据交互；所述磨斑图像处理模块用于对所述实时图像进行数据增广处理和/或数据增强处理。
基于同样的发明构思，本发明还提供一种磨斑自动化检测与评价的设备，所述设备包括：
支架；
扫描电子显微镜或者双目相机，所述扫描电子显微镜或所述者双目相机设于所述支架上，对设备或工件上的待测接触摩擦部位进行拍摄；
外部壳体，所述外部壳体将所述支架，以及所述扫描电子显微镜或所述者双目相机罩入其中，以提供密闭的检测环境；
计算机，所述计算机与所述扫描电子显微镜或所述者双目相机通讯连接；所述计算机包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的磨斑自动化检测与评价的方法。
进一步地，所述设备还包括：
辅助光源，所述辅助光源设置于所述支架上，邻近所述扫描电子显微镜或所述者双目相机。
本发明的有益效果是：
本发明为解决现有技术中磨斑检测时缺少对其生命周期的全程把控，也未实现分析的自动化与智能化的问题，提供一种磨斑自动化检测与评价的方法、系统以及设备，通过图像模型识别技术自动完成磨斑识别和发展周期预测，实现磨斑产生的全周期把控和动态监测，并由此完成设备或者工件的运行工况评价，自动化与智能化程度较高。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或有现技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为实施例中磨斑自动化检测与评价的方法的流程示意图。
图2为第5天早上8：00拍摄的一张实时图像①。
图3为第8天早上8：00拍摄的一张实时图像②。
图4为帧差图像。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。
下面结合附图对发明的实施例进行详细说明。
本实施例中提供一种磨斑自动化检测与评价的方法，其流程如附图1中所示。所述方法包括以下步骤：
步骤S1，训练得到空间流识别模型M1和时间流识别模型M2。
步骤S2，获取连续拍摄时刻下设备或者工件上待测接触摩擦部位的实时图像。
步骤S3,将所述实时图像逐一导入所述空间流识别模型M1，由所述空间流识别模型M1识别所述实时图像中是否包含磨斑图像。
若所述空间流识别模型M1识别出所述实时图像中包含所述磨斑图像，则于所述实时图像上自动圈定出磨斑轮廓。其中，以首次识别到所述磨斑图像对应的所述实时图像的拍摄时刻为统计起点。
步骤S4，选取 T时刻的所述实时图像以及T+∆t时刻的所述实时图像，并将T+∆t时刻的所述实时图像与T时刻的所述实时图像相减，得到帧差图像。其中，至少T+∆t时刻的所述实时图像含有所述磨斑图像，T+∆t时刻与所述统计起点的差值即为T+∆t时刻磨斑的实际发展周期P。其中，∆t为拍摄时刻的增量，∆t越小，越有利于提高后续识别的精度和评价结果的准确性。
步骤S5，将所述帧差图像导入所述时间流识别模型M2，由所述时间流识别模型M2预测产生大致与T+∆t时刻的所述实时图像上所述磨斑图像相同时需要的时长，所述时长即为T+∆t时刻磨斑的预估发展周期P’。
步骤S6，将所述预估发展周期P’与所述实际发展周期P进行比较，基于比较结果评价设备或者工件的运行工况。比如，通过所述预估发展周期P’与所述实际发展周期P进行比较，判断设备或者工件是否超负载长时间运转？是否在非标准使用环境下长时间使用等？
进一步地，所述方法还包括以下步骤：
步骤S7，基于所述步骤S6种得到的设备或者工件的运行工况评价结果，分析设备或者工件在实际运行工况下与标准运行工况下的偏离程度。
若所述预估发展周期P’小于所述实际发展周期P，则表明实际运行工况可能与标准运行工况不符，磨损加剧。
本实施例中，通过图像模型识别技术自动完成磨斑识别和发展周期预测，实现磨斑产生的全周期把控和动态监测，并由此完成设备或者工件的运行工况评价，自动化与智能化程度较高。
进一步地，所述步骤S1中，训练空间流识别模型M1的具体过程包括：
步骤S1a，收集不同设备或者工件、不同运行工况、不同运行时间以及不同接触摩擦部位下含有磨斑图像的第一历史图像。收集的所述第一历史图像的数量越多，越有利于提高训练时模型的识别精度。
如果所述第一历史图像的质量不高，可以通过增加/减少噪声、旋转以及改变灰度等方式方法，实现图像数据的增强。
步骤S1b，对收集的所述第一历史图像进行数据标注处理，标注的数据包括磨斑在所述第一历史图像中的像素位置、尺寸大小、磨痕深度、发展周期，并记录在与所述第一历史图像同名的XML格式的配置文件中。
步骤S1c，将完成数据标注的所述第一历史图像按照第一预设比例（比如8:1:1）分为训练集、测试集与验证集，采用机器深度学习的方式训练得到多个识别模型，保留识别率最高的识别模型。
步骤S1d，将所述第一历史图像送入卷积神经网络进行卷积计算，在计算过程中调取与所述第一历史图像同名的XML格式的所述配置文件。
步骤S1e，将所述步骤S1c中得到的识别率最高的识别模型与所述步骤S1d中得到的卷积计算结果进行融合，得到用于磨斑检测的所述空间流识别模型M1。
进一步地，所述步骤S1中，训练时间流识别模型M2的具体过程包括：
步骤S1a’，收集对同一个设备或者工件在标准运行工况下拍摄的同一接触摩擦部位的含有磨斑图像的第二历史图像，并将所述第二历史图像按照拍摄时刻先后顺序排列，相邻两张所述第二历史图像具有相同的拍摄时刻间隔；收集的所述第二历史图像的数量越多，越有利于提高训练时模型的识别精度。
如果所述第二历史图像的质量不高，可以通过增加/减少噪声、旋转以及改变灰度等方式方法，实现图像数据的增强。
步骤S1b’，任意选取两张所述第二历史图像，按照拍摄时刻在后的所述第二历史图像减去拍摄时刻在先的所述第二历史图像的原则，将两张选取的所述第二历史图像相减，得到具有帧差值的帧差历史图像。
步骤S1c’，重复所述步骤S1b’，得到具有不同帧差值的一系列所述帧差历史图像。
步骤S1d’，将所述帧差历史图像按照帧差值进行分类，得到多组所述帧差图像，同组内的所述帧差历史图像具有相同的帧差值。
步骤S1e’，将多组所述帧差历史图像按照第二预设比例（比如8:1:1）分为训练集、测试集与验证集，采用机器深度学习的方式训练得到多个识别模型，保留识别率最高的识别模型。
步骤S1f’， 将所述帧差历史图像送入卷积神经网络进行卷积计算。
步骤S1g’，将所述步骤S1e’中得到的别率最高的识别模型与所述步骤S1f’中得到的卷积计算结果进行融合，得到用于磨斑发展周期预测的所述时间流识别模型M2。
本实施例中，通过机器深度学习的方式获得用于磨斑检测的所述空间流识别模型M1以及用于磨斑发展周期预测的所述时间流识别模型M2，智能化程度高。
进一步地，所述实时图像通过扫描电子显微镜或者高精度的双目相机获得。扫描电子显微镜或者高精度的双目相机获得的实时图像的质量较高，能够显示出磨斑的尺寸大小、磨痕深度等参数信息并能被识别出，有利于提高识别结果的准确性。
进一步地，每张所述实时图像的拍摄角度和高度相同，像素大小也相同。大小不同的实时图像直接导入识别模型后，在识别结果上可能会存在一定的误差，而保证实时图像的拍摄角度、高度和像素大小相同后，识别结果的准确性可大大提升。同时，上述操作也可减少了图形处理量，即是为了保证识别结果具有较高的准确性，需要将大小不同的实时图像进行相应的裁切转换，此期间需要付出大量的精力，数据处理量也较大，对系统/设备要求也较高。
同时，本实施例中还提供一种磨斑自动化检测与评价的系统，以实施前述的磨斑自动化检测与评价的方法，所述系统包括磨斑识别模型训练模块、磨斑图像获取模块、数据交互模块和磨斑图像处理模块。
所述磨斑识别模型训练模块用于训练得到空间流识别模型M1和时间流识别模型M2；所述磨斑图像获取模块用于获取连续时刻下设备或者工件上待测接触摩擦部位的实时图像；所述磨斑图像处理模块用于对所述实时图像进行数据增广处理和/或数据增强处理；所述数据交互模块与所述磨斑识别模型训练模块、所述磨斑图像获取模块机和所述磨斑图像处理模块通讯连接，实现所述数据交互模块、所述磨斑识别模型训练模块以及所述磨斑图像获取模块机之间数据交互，完成利用所述空间流识别模型M1进行磨斑识别和实际发展周期P的计算，完成利用所述时间流识别模型M2进行预估发展周期P’的预测，以及完成设备或者工件的运行工况评价。
其中，磨斑数据增广主要是将后期验证成功了的用于实际检验检测的实时图像进行保留，进而增加模型优化再训练时的数据集数量，已达到磨斑数据集增加的目的。模板数据增强主要是在某一张历史图像或者实时图像上通过增加/减少噪声、旋转以及改变灰度等方式方法，实现磨斑数据的增强，以达到增加磨斑数据集的目的。
同时，本实施例中还提供一种磨斑自动化检测与评价的设备，所述设备包括支架、扫描电子显微镜或者双目相机、外部壳体、计算机和辅助光源。
所述支架能够实现支撑工作，包括对其他部件支撑以及待测工件等的支撑；所述扫描电子显微镜或所述者双目相机设于所述支架上，对设备或工件上的待测接触摩擦部位进行拍摄；所述外部壳体将所述支架，以及所述扫描电子显微镜或所述者双目相机罩入其中，以提供密闭的检测环境；所述计算机与所述扫描电子显微镜或所述者双目相机通讯连接；所述计算机包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述的磨斑自动化检测与评价的方法；所述辅助光源设置于所述支架上，邻近所述扫描电子显微镜或所述者双目相机，以在外部壳体内部光亮度不足时进行补充。
为了更好理解本发明，以下以一个更为具体的示例进行说明。
为了评价某金属零件的运行工况，将该金属零件固定在上述设备的支架上，采用高精度的双目相机进行拍摄，同时调节好拍摄高度和角度，以及辅助光源的亮度。
第一张实时图像拍摄时刻为早上8：00，随后固定拍摄时刻间隔为1h（即每间隔1h将技术零件按照相同的固定位置和方向固定于支架上进行拍摄），得到多张实时图像。将该实时图像导入空间流识别模型M1，由空间流识别模型M1识别实时图像中是否包含磨斑图像。经过识别后，第3天早上8：00拍摄的实时图像上出现磨斑图像，将此时拍摄时刻为统计起点。
选取第5天早上8：00拍摄的一张实时图像①（附图2）以及第8天早上8：00拍摄的一张实时图像②（附图3）。实时图像②中磨斑的实际发展周期P为120h。
将实时图像②减去实时图像①，得到帧差图像（附图4）。将帧差图像导入时间流识别模型M2，由时间流识别模型M2预测产生大致与第8天早上8：00拍摄的一张实时图像②上磨斑图像相同时需要的时长，得到磨斑的预估发展周期P’为100h。
此时，磨斑的预估发展周期P’（100h）小于磨斑的实际发展周期P（120h），实际运行工况可能与标准运行工况不符，金属零件磨损加剧，需要引起注意。

Claims (10)

1.一种磨斑自动化检测与评价的方法，其特征在于，所述方法包括以下步骤：
步骤S1，训练得到空间流识别模型M1和时间流识别模型M2；
步骤S2，获取连续拍摄时刻下设备或者工件上待测接触摩擦部位的实时图像;
步骤S3,将所述实时图像逐一导入所述空间流识别模型M1，由所述空间流识别模型M1识别所述实时图像中是否包含磨斑图像；
若所述空间流识别模型M1识别出所述实时图像中包含所述磨斑图像，则于所述实时图像上自动圈定出磨斑轮廓；其中，以首次识别到所述磨斑图像对应的所述实时图像的拍摄时刻为统计起点；
步骤S4，选取 T时刻的所述实时图像以及T+∆t时刻的所述实时图像，并将T+∆t时刻的所述实时图像与T时刻的所述实时图像相减，得到帧差图像；其中，至少T+∆t时刻的所述实时图像含有所述磨斑图像，T+∆t时刻与所述统计起点的差值即为T+∆t时刻磨斑的实际发展周期P；其中，∆t为拍摄时刻的增量；
步骤S5，将所述帧差图像导入所述时间流识别模型M2，由所述时间流识别模型M2预测产生大致与T+∆t时刻的所述实时图像上所述磨斑图像相同时需要的时长，所述时长即为T+∆t时刻磨斑的预估发展周期P’;
步骤S6，将所述预估发展周期P’与所述实际发展周期P进行比较，基于比较结果评价设备或者工件的运行工况。
2.根据权利要求1所述的磨斑自动化检测与评价的方法，其特征在于，所述方法还包括以下步骤：
步骤S7，基于所述步骤S6种得到的设备或者工件的运行工况评价结果，分析设备或者工件在实际运行工况下与标准运行工况下的偏离程度；
若所述预估发展周期P’小于所述实际发展周期P，则表明实际运行工况可能与标准运行工况不符，磨损加剧。
3.根据权利要求1或2所述的磨斑自动化检测与评价的方法，其特征在于，所述步骤S1中，训练空间流识别模型M1的具体过程包括：
步骤S1a，收集不同设备或者工件、不同运行工况、不同运行时间以及不同接触摩擦部位下含有磨斑图像的第一历史图像；
步骤S1b，对收集的所述第一历史图像进行数据标注处理，标注的数据包括磨斑在所述第一历史图像中的像素位置、尺寸大小、磨痕深度、发展周期，并记录在与所述第一历史图像同名的XML格式的配置文件中；
步骤S1c，将完成数据标注的所述第一历史图像按照第一预设比例分为训练集、测试集与验证集，采用机器深度学习的方式训练得到多个识别模型，保留识别率最高的识别模型；
步骤S1d，将所述第一历史图像送入卷积神经网络进行卷积计算，在计算过程中调取与所述第一历史图像同名的XML格式的所述配置文件；
步骤S1e，将所述步骤S1c中得到的识别率最高的识别模型与所述步骤S1d中得到的卷积计算结果进行融合，得到用于磨斑检测的所述空间流识别模型M1。
4.根据权利要求3所述的磨斑自动化检测与评价的方法，其特征在于，所述步骤S1中，训练时间流识别模型M2的具体过程包括：
步骤S1a’，收集对同一个设备或者工件在标准运行工况下拍摄的同一接触摩擦部位的含有磨斑图像的第二历史图像，并将所述第二历史图像按照拍摄时刻先后顺序排列，相邻两张所述第二历史图像具有相同的拍摄时刻间隔；
步骤S1b’，任意选取两张所述第二历史图像，按照拍摄时刻在后的所述第二历史图像减去拍摄时刻在先的所述第二历史图像的原则，将两张选取的所述第二历史图像相减，得到具有帧差值的帧差历史图像；
步骤S1c’，重复所述步骤S1b’，得到具有不同帧差值的一系列所述帧差历史图像；
步骤S1d’，将所述帧差历史图像按照帧差值进行分类，得到多组所述帧差图像，同组内的所述帧差历史图像具有相同的帧差值；
步骤S1e’，将多组所述帧差历史图像按照第二预设比例分为训练集、测试集与验证集，采用机器深度学习的方式训练得到多个识别模型，保留识别率最高的识别模型；
步骤S1f’， 将所述帧差历史图像送入卷积神经网络进行卷积计算；
步骤S1g’，将所述步骤S1e’中得到的别率最高的识别模型与所述步骤S1f’中得到的卷积计算结果进行融合，得到用于磨斑发展周期预测的所述时间流识别模型M2。
5.根据权利要求1、2和4中任意一项所述的磨斑自动化检测与评价的方法，其特征在于，所述实时图像通过扫描电子显微镜或者双目相机获得。
6.根据权利要求1、2和4中任意一项所述的磨斑自动化检测与评价的方法，其特征在于，每张所述实时图像的拍摄角度和高度相同，像素大小也相同。
7.一种磨斑自动化检测与评价的系统，以实施权利要求1~6中任意一项所述的磨斑自动化检测与评价的方法，其特征在于，所述系统包括：
磨斑识别模型训练模块，所述磨斑识别模型训练模块用于训练得到空间流识别模型M1和时间流识别模型M2；
磨斑图像获取模块，所述磨斑图像获取模块用于获取连续时刻下设备或者工件上待测接触摩擦部位的实时图像；
数据交互模块，所述数据交互模块与所述磨斑识别模型训练模块和所述磨斑图像获取模块机通讯连接，实现所述数据交互模块、所述磨斑识别模型训练模块以及所述磨斑图像获取模块机之间数据交互，完成利用所述空间流识别模型M1进行磨斑识别和实际发展周期P的计算，完成利用所述时间流识别模型M2进行预估发展周期P’的预测，以及完成设备或者工件的运行工况评价。
8.根据权利要求7所述的磨斑自动化检测与评价的系统，其特征在于，所述系统还包括：
磨斑图像处理模块，所述磨斑图像处理模块亦与所述数据交互模块通讯连接，实现所述磨斑图像处理模块、所述数据交互模块、所述磨斑识别模型训练模块以及所述磨斑图像获取模块机之间数据交互；所述磨斑图像处理模块用于对所述实时图像进行数据增广处理和/或数据增强处理。
9.一种磨斑自动化检测与评价的设备，其特征在于，所述设备包括：
支架；
扫描电子显微镜或者双目相机，所述扫描电子显微镜或所述者双目相机设于所述支架上，对设备或工件上的待测接触摩擦部位进行拍摄；
外部壳体，所述外部壳体将所述支架，以及所述扫描电子显微镜或所述者双目相机罩入其中，以提供密闭的检测环境；
计算机，所述计算机与所述扫描电子显微镜或所述者双目相机通讯连接；所述计算机包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1~6中任意一项所述的磨斑自动化检测与评价的方法。
10.根据权利要求9所述的磨斑自动化检测与评价的设备，其特征在于，所述设备还包括：
辅助光源，所述辅助光源设置于所述支架上，邻近所述扫描电子显微镜或所述者双目相机。
CN202311152484.7A 2023-09-08 2023-09-08 一种磨斑自动化检测与评价的方法、系统以及设备 Active CN116883410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311152484.7A CN116883410B (zh) 2023-09-08 2023-09-08 一种磨斑自动化检测与评价的方法、系统以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311152484.7A CN116883410B (zh) 2023-09-08 2023-09-08 一种磨斑自动化检测与评价的方法、系统以及设备

Publications (2)

Publication Number Publication Date
CN116883410A true CN116883410A (zh) 2023-10-13
CN116883410B CN116883410B (zh) 2023-11-17

Family

ID=88259127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311152484.7A Active CN116883410B (zh) 2023-09-08 2023-09-08 一种磨斑自动化检测与评价的方法、系统以及设备

Country Status (1)

Country Link
CN (1) CN116883410B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201163481Y (zh) * 2008-01-18 2008-12-10 黄武昌 彩票中奖号码轴式新循环走势图记录装置
US20140169763A1 (en) * 2012-12-14 2014-06-19 Tektronix, Inc. System for detecting structured artifacts in video sequences
CN107186547A (zh) * 2017-05-25 2017-09-22 重庆大学 基于切削功率的数控车削批量加工刀具磨损在线监测方法
CN110246122A (zh) * 2019-05-20 2019-09-17 江苏理工学院 基于机器视觉的小型轴承质量检测方法、装置及系统
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN210652445U (zh) * 2019-10-18 2020-06-02 韩忠强 初中历史教学用挂图式黑板
CN112525923A (zh) * 2020-11-19 2021-03-19 苏州众智诺成信息科技有限公司 一种共享果汁平台管道内壁检测方法、系统及可读存储介质
CN113096067A (zh) * 2021-03-04 2021-07-09 深圳市道通科技股份有限公司 一种确定工件表面磨损的方法及系统
CN114598111A (zh) * 2020-12-02 2022-06-07 安德烈·斯蒂尔股份两合公司 确定马达系统和/或蓄电池组的状态信息的方法和系统
CN114800041A (zh) * 2022-05-06 2022-07-29 嘉兴南湖学院 一种刀具状态监测方法及其监测装置
CN115294614A (zh) * 2022-08-16 2022-11-04 北京集创北方科技股份有限公司 指纹识别防伪方法、装置和电子设备
CN115988175A (zh) * 2022-12-05 2023-04-18 广东便捷神科技股份有限公司 一种基于机器视觉的售货机料道监控系统
CN116615592A (zh) * 2020-12-15 2023-08-18 卡特彼勒公司 用于磨损评估和零件更换时间优化的系统和方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201163481Y (zh) * 2008-01-18 2008-12-10 黄武昌 彩票中奖号码轴式新循环走势图记录装置
US20140169763A1 (en) * 2012-12-14 2014-06-19 Tektronix, Inc. System for detecting structured artifacts in video sequences
CN107186547A (zh) * 2017-05-25 2017-09-22 重庆大学 基于切削功率的数控车削批量加工刀具磨损在线监测方法
CN110321891A (zh) * 2019-03-21 2019-10-11 长沙理工大学 一种联合深度神经网络与聚类算法的大输液药液异物目标检测方法
CN110246122A (zh) * 2019-05-20 2019-09-17 江苏理工学院 基于机器视觉的小型轴承质量检测方法、装置及系统
CN210652445U (zh) * 2019-10-18 2020-06-02 韩忠强 初中历史教学用挂图式黑板
CN112525923A (zh) * 2020-11-19 2021-03-19 苏州众智诺成信息科技有限公司 一种共享果汁平台管道内壁检测方法、系统及可读存储介质
CN114598111A (zh) * 2020-12-02 2022-06-07 安德烈·斯蒂尔股份两合公司 确定马达系统和/或蓄电池组的状态信息的方法和系统
CN116615592A (zh) * 2020-12-15 2023-08-18 卡特彼勒公司 用于磨损评估和零件更换时间优化的系统和方法
CN113096067A (zh) * 2021-03-04 2021-07-09 深圳市道通科技股份有限公司 一种确定工件表面磨损的方法及系统
CN114800041A (zh) * 2022-05-06 2022-07-29 嘉兴南湖学院 一种刀具状态监测方法及其监测装置
CN115294614A (zh) * 2022-08-16 2022-11-04 北京集创北方科技股份有限公司 指纹识别防伪方法、装置和电子设备
CN115988175A (zh) * 2022-12-05 2023-04-18 广东便捷神科技股份有限公司 一种基于机器视觉的售货机料道监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李梦琳: ""高气泡干扰在线铁谱视频图像磨粒分割与分类方法研究"", 《中国优秀硕士毕业论文信息科技 工程科技Ⅱ辑》, no. 02, pages 1 - 55 *

Also Published As

Publication number Publication date
CN116883410B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN1782661B (zh) 在视觉系统中用于自动恢复视频工具的系统和方法
CN101456159B (zh) 火花识别对刀方法及磨削加工自动化系统
CN116593479B (zh) 电池盖板外观质量检测方法、装置、设备及存储介质
CN108627520A (zh) 一种非均质固体材料外观质量的在线检测系统和方法
CN110458794B (zh) 用于轨道列车的配件质量检测方法及装置
CN109541254B (zh) 一种高温熔融流体流速检测装置
CN114913619A (zh) 一种智能移动巡检方法和系统
CN103196918A (zh) 一种汽车空调控制面板的按键装配检测方法
US11521120B2 (en) Inspection apparatus and machine learning method
US11682112B2 (en) Inspection device and machine learning method
CN116883410B (zh) 一种磨斑自动化检测与评价的方法、系统以及设备
CN117237925B (zh) 一种基于计算机视觉的智慧道路病害巡检方法及系统
CN112700562A (zh) 一种机房巡检数据处理方法、装置、系统和存储介质
CN115993366B (zh) 基于传感设备的加工件表面检测方法及系统
CN114154571B (zh) 一种针对图像的智能化的辅助标注方法及系统
CN113727022B (zh) 巡检图像的采集方法及装置、电子设备、存储介质
JP2024508331A (ja) マシンビジョンによる検出方法、その検出装置及びその検出システム
CN107562050B (zh) 一种机器人识别环境的方法及系统
CN104748863A (zh) 红外分析区域设置装置和红外分析区域设置方法
CN113393216B (zh) 一种实验室数字化系统
JP7484569B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN110765991A (zh) 一种基于视觉的高速旋转电机熔断器实时检测系统
Gedeon et al. Applying machine vision in electrical component manufacturing
CN115499582A (zh) 表面灰尘检测设备的对焦方法、装置、设备及存储介质
CN114813736A (zh) 一种测试系统、方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant