CN112508891A - 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法 - Google Patents

基于手机的ai智能识别缺陷的磁粉探伤系统及其方法 Download PDF

Info

Publication number
CN112508891A
CN112508891A CN202011355355.4A CN202011355355A CN112508891A CN 112508891 A CN112508891 A CN 112508891A CN 202011355355 A CN202011355355 A CN 202011355355A CN 112508891 A CN112508891 A CN 112508891A
Authority
CN
China
Prior art keywords
image
mobile phone
module
cell
magnetic particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011355355.4A
Other languages
English (en)
Other versions
CN112508891B (zh
Inventor
贾晓东
宋策
景奇东
胡肖峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jining Luke Testing Equipment Co ltd
Original Assignee
Jining Luke Testing Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jining Luke Testing Equipment Co ltd filed Critical Jining Luke Testing Equipment Co ltd
Priority to CN202011355355.4A priority Critical patent/CN112508891B/zh
Publication of CN112508891A publication Critical patent/CN112508891A/zh
Application granted granted Critical
Publication of CN112508891B publication Critical patent/CN112508891B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/72—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables
    • G01N27/82—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws
    • G01N27/83—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields
    • G01N27/84—Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating magnetic variables for investigating the presence of flaws by investigating stray magnetic fields by applying magnetic powder or magnetic ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Electrochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开一种基于手机的AI智能识别缺陷的磁粉探伤系统及其方法，属于器材无损检测技术领域。包括探伤仪设备，探伤仪设备通过无线传输模块连接有手机APP，所述手机APP连接有无线网关，无线网关连接有云端服务器，云端服务器与手机APP连接实现数据通讯，所述探伤仪设备内设有主机控制模块，主机控制模块连接有核心数据处理模块，核心数据处理模块连接有摄像头模块，核心处理模块通过无线传输模块连接云端服务器和手机APP端，将传统的磁粉检测技术充分地与图像处理、AI智能识别技术融合到一起，提高工件识别率和判别精确度。解决了现有技术中存在的问题。

Description

基于手机的AI智能识别缺陷的磁粉探伤系统及其方法
技术领域
本发明涉及一种基于手机的AI智能识别缺陷的磁粉探伤系统及其方法，属于器材无损检测技术领域。
背景技术
目前，公知的磁粉检测设备构造是由检测设备和手机APP组成，将检测设备拍摄到的视频投影到手机，手机手动点击拍照或者录屏，将数据保存到手机本地文件夹。并不能将视频或者图片上传到服务器，导致软件不能实现数据库自动学习功能，所以现有的探伤仪器的识别过程都是由人工来判断。增加审核人员工作量，容易造成检测人员的误判和漏判。
磁粉检测是无损检测五大常规方法之一，是铁磁性材料表面缺陷检测中用得最多、最成熟的方法，磁粉探伤技术自诞生以来已经有八十余年的历史。随着磁化技术的不断完善与成熟，以及计算机的快速普及使用，使得磁粉探伤应用技术也得到了不断地发展与进步，在检测灵敏度与精度等方面得到了显著的提升。但是由于设备APP之间没有涉及到网络数据库模式，所以现行使用的大部分磁粉探伤设备始终沿用检测结果由现场操作人员对磁化零件采用人工观察的方法进行零件缺陷有无的识别判断。这一过程存在着如下缺点：工作力度大，检测速度慢，工作效率低，对操作人员而言工作内容单调重复，导致漏检率高,荧光磁粉探伤工作现场紫外光较强对长时间工作的人员容易造成比较严重的身体伤害,并且不利于信息管理。所以对零件缺陷有无的判断急需要进行智能化改进。
近几年随着图像处理技术的发展，出现了用数码相机对工件进行拍照，然后采用图像处理的技术对照片进行处理和进行缺陷有无的判别，但是效果大多不太好，目前市场上尚无成熟的产品推出。
一般磁粉检测缺陷自动识别系统主要由以下部分组成：图像采集，图像预处理、特征提取、缺陷识别、数据存储。用摄像头对现场图像采集后通过图像平滑，锐化，增强等方法对图像进行预处理，改善原始图像质量以便后期特征提取进行缺陷的识别，这样实际上并没有将传统的磁粉检测技术充分地与图像处理技术融合到一起，并且也没有把专业的磁粉探伤工作人员在工作中所运用的经验和背景知识融入到智能判别系统中，这就是目前一般系统的缺陷。
由此可以看出目前的磁粉检测自动识别系统基本是基于图像处理的传统技术进行的，而这难以适应磁粉检测领域工艺的复杂性，对伪裂纹和非相关显示的识别很困难，也很难适应工件的多样性，工作环境的复杂性以及对检测精度的要求。
发明内容
针对现有技术的不足，本发明的目的在于提供一种基于手机的AI智能识别缺陷的磁粉探伤系统及其方法，解决了现有技术中出现的问题。
本发明所述的基于手机的AI智能识别缺陷的磁粉探伤系统，包括探伤仪设备，其特征在于：所述的探伤仪设备通过无线传输模块连接有手机APP，所述手机APP连接有无线网关，无线网关连接有云端服务器，云端服务器与手机APP连接实现数据通讯，所述探伤仪设备内设有主机控制模块，主机控制模块连接有核心数据处理模块，核心数据处理模块连接有摄像头模块，核心处理模块通过无线传输模块连接云端服务器和手机APP端，探伤仪设备通过摄像头模块对待测工件进行图像采集，经图像采集、图像预处理、图像特征提取和AI智能识别后识别待测工件是否存在缺陷，磁粉检测缺陷自动上传到云端服务器，存储到云端服务器缺陷识别库，实现数据库自动学习功能。
所述的主机控制模块还连接有升降压模块，升降压模块连接有励磁线圈模块。
所述的无线网关内设有核心处理器，核心处理器通过射频电路连接天线，无线网关启动后发射信号，手机APP端搜索无线信号，连接实现手机APP端和无线网关连接，手机APP通过无线连接摄像头模块，获取摄像头模块拍摄的画面，成像到手机组件。
本发明所述的基于手机的AI智能识别缺陷的磁粉探伤方法，包括以下步骤：
步骤1：手机终端连接无线网关；
步骤2：通过网关信号连接探伤仪设备检测摄像头模块；
步骤3：图像获取，探伤仪设备采集待测工件的图像，并投影到手机APP；
步骤4：图像采集，手机终端获取到探伤仪设备回传的拍照指令或者手动点击拍照后截取手机屏幕；
步骤5：图像上传，经过上述图像处理后将图片上传到云端服务器，云端做进一步处理增加准确性；
步骤6：缺陷识别，通过AI智能识别将提取的特征与数据库中的数据进行比较，给出特征的置信度，并根据得出的置信度进行求和得出待测工件的置信度，当待测工件的置信度大于设定的阈值时，认定待测工件的缺陷存在；
步骤7：当认定图片存在缺陷后自动存储到数据库，并将结果反馈给手机APP；
所述的步骤1中手机终端首先连接无线网关的网路，加载成像网络地址，完成连接后手机播放器成像设备摄像头画面。
所述的在步骤5中还包括图像预处理，对采集的待测工件的图像进行预处理，分成背景部分和工件部分，并减弱背景的影响，以及光照、图像采集过程中产生的噪声非相关因素的影响。
所述的步骤5中电脑端程序接收到图像后，调起图像处理，具体如下：对图像进行滤波处理后进行灰度值拉伸然后对图像进行区域分割，提取特征值；对分割处理后的图像区域逐个进行局部二值化操作，对二值化后的图像进行过滤，滤除由于喷洒磁粉而在工件表面形成的磁粉斑点，保留可以磁痕区域作为对比区域；然后对可疑伤痕使用索贝尔算子进行边缘检测并提取其梯度特征，包括可疑伤痕的边界长度、梯度均值、梯度最大值、梯度最小值及梯度差；
所述的步骤6中索贝尔算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，分别得出横向及纵向的亮度差分近似值，其公式如下:
Figure BDA0002802450420000031
其中：A代表原始图像，Gx及Gy分别代表横向及纵向边缘检测的图像；
图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小。
Figure BDA0002802450420000032
然后可用以下公式计算梯度方向，
Figure BDA0002802450420000033
如果角度θ等于零，即代表图像该处拥有纵向边缘，左方较右方暗，将上述步骤中提取的伤痕特征形成特征向量，使用BP神经网络分析对特征向量做出识别，判定可疑伤痕区域中疑似伤痕的真伪。
本发明与现有技术相比，具有如下有益效果：
本发明所述的基于手机的AI智能识别缺陷的磁粉探伤系统及其方法，利用手机APP实现了工件的图像采集，并对采集的图像进行探伤缺陷识别，将传统的磁粉检测技术充分地与图像处理技术融合到一起，提高工件识别率和判别精确度。解决了现有技术中存在的问题。
附图说明
图1为本发明实施例系统的连接框图；
图2为本发明实施例中探伤仪设备的电路连接框图；
图3为本发明实施例系统中无线网关的电路连接图；
图4为本发明实施例中方法的流程图；
具体实施方式
下面结合附图和实施例对本发明作进一步的说明：
实施例1：
如图1-3所示，本发明所述的一种基于手机的AI智能识别缺陷的磁粉探伤系统，包括探伤仪设备，探伤仪设备通过无线传输模块连接有手机APP，所述手机APP连接有无线网关，无线网关连接有云端服务器，云端服务器与手机APP连接实现数据通讯，所述探伤仪设备内设有主机控制模块，主机控制模块连接有核心数据处理模块，核心数据处理模块连接有摄像头模块，核心处理模块通过无线传输模块连接云端服务器和手机APP端，探伤仪设备通过摄像头模块对待测工件进行图像采集，经图像采集、图像预处理、图像特征提取和缺陷识别后识别待测工件是否存在缺陷，磁粉检测缺陷自动上传到云端服务器，存储到云端服务器缺陷识别库，实现数据库自动学习功能。
主机控制模块还连接有升降压模块，升降压模块连接有励磁线圈模块。
无线网关内设有核心处理器，核心处理器通过射频电路连接天线，无线网关启动后发射信号，手机APP端搜索无线信号，连接实现手机APP端和无线网关连接，手机APP通过无线连接摄像头模块，获取摄像头模块拍摄的画面，成像到手机组件。
本实施例的工作原理为：
主机控制模块采用STM32F103C8T6型单片机，内部的核心数据处理模块用于处理摄像头模块的数据，包括对图像的预处理，对采集的待测工件的图像进行预处理，包括图片的压缩和分辨率修改。
无线网关启动后发射无线信号，手机APP和硬件设备通过自带功能连接无线网，实现与无线网关的网络连接。即无线网关扮演网络中转站角色。硬件数据发送到网关设备，网关收到数据后传输给手机APP。从而实现手机网关和硬件的互联。
在手机连接到网关发送wifi后，就可以实现手机和服务器数据的网络传递，当数据上传成功后，服务器回传手机APP上传状态。
如图3所示，SY8088为无线网关电源。电源方案为稳压电路5V到3.3V的电源方案。
DDR2是由JEDEC(电子设备工程联合委员会)进行开发的新生代内存技术标准，DDR2内存拥有两倍以上一代DDR内存预读取能力(即：4bit数据读预取)。换句话说，DDR2内存每个时钟能够以4倍外部总线的速度读/写数据，并且能够以内部控制总线4倍的速度运行。
SPL是php标准库(Standard PHP Library)的简写。他是从php5.0版本开始内置的组件和接口。提供了重载，迭代器，数据结构等的实现。
MT7688是一款低成本、低功耗高性能的嵌入式wifi模块，是一体化的wifi解决方案。该模块适用于很多场合，比如有线转无线，无线摄像头等。
USB camera用于对工件进行摄像，然后在手机成像。
USART是通用同步异步收发器，是STM32上基于串口通讯协议来实现与外部通信的一个外设，因为串口通讯协议的简单，便捷，所以在如今大多数的产品中都带支持串口通信，通过串口通信我们可以实现与单片机的通信，能够监控到我们MCU的收发数据，在进行产品的调试与开发时起着至关重要的作用。
RTC主要为各种电子系统提供时间基准。通常把集成于芯片内部的RTC称为片内RTC，在芯片外扩展的RTC称为外部RTC。
实施例2：
如图1所示，本发明所述的一种基于手机的AI智能识别缺陷的磁粉探伤方法，包括以下步骤：
步骤1：手机终端连接无线网关；
步骤2：通过网关信号连接探伤仪设备检测摄像头模块；
步骤3：图像获取，探伤仪设备采集待测工件的图像，并投影到手机APP；
步骤4：图像采集，手机终端获取到探伤仪设备回传的拍照指令或者手动点击拍照后截取手机屏幕；
步骤5：图像预处理，对采集的待测工件的图像进行预处理，包括图片的压缩和分辨率修改；
步骤6：图像上传，经过上述图像处理后将图片上传到云端服务器，云端做进一步处理增加准确性；
步骤7：当图片上传成功后，电脑端通过AI智能识别后认定图片存在缺陷后自动存储到数据库，并将结果反馈给手机APP；
步骤1中手机终端首先连接无线网关的网路，加载成像网络地址，完成连接后手机播放器成像设备摄像头画面。
在步骤5中还包括图像预处理，对采集的待测工件的图像进行预处理，分成背景部分和工件部分，并减弱背景的影响，以及光照、图像采集过程中产生的噪声非相关因素的影响。
步骤5中电脑端程序接收到图像后，调起图像处理，具体如下：对图像进行滤波处理后进行灰度值拉伸然后对图像进行区域分割，提取特征值；对分割处理后的图像区域逐个进行局部二值化操作，对二值化后的图像进行过滤，滤除由于喷洒磁粉而在工件表面形成的磁粉斑点，保留可以磁痕区域作为对比区域；然后对可疑伤痕使用索贝尔算子进行边缘检测并提取其梯度特征，包括可疑伤痕的边界长度、梯度均值、梯度最大值、梯度最小值及梯度差；
步骤5中索贝尔算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，分别得出横向及纵向的亮度差分近似值，其公式如下:
Figure BDA0002802450420000061
其中：A代表原始图像，Gx及Gy分别代表横向及纵向边缘检测的图像；
图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小。
Figure BDA0002802450420000062
然后可用以下公式计算梯度方向，
Figure BDA0002802450420000063
如果角度θ等于零，即代表图像该处拥有纵向边缘，左方较右方暗，将上述步骤中提取的伤痕梯度特征形成特征向量，使用BP神经网络分析对特征向量做出识别，判定可疑伤痕区域中疑似伤痕的真伪。
本实施例工作原理为：步骤5中手机APP获取到图片后，如果需要上传到服务器，应先进行图片压缩，避免图片过大造成上传时间过长。图片压缩方法为：
1.判断图片比例值，是否处于以下区间内；
[1,0.5625)即图片处于[1:1～9:16)比例范围内
[0.5625,0.5)即图片处于[9:16～1:2)比例范围内
[0.5,0)即图片处于[1:2～1:∞)比例范围内
2.判断图片最长边是否过边界值；
[1,0.5625)边界值为：1664*n(n＝1),4990*n(n＝2),1280*pow(2,n-1)(n≥3)
[0.5625,0.5)边界值为：1280*pow(2,n-1)(n≥1)
[0.5,0)边界值为：1280*pow(2,n-1)(n≥1)
3.计算压缩图片实际边长值，以第2步计算结果为准，超过某个边界值则：width/pow(2,n-1)，height/pow(2,n-1)
4.计算压缩图片的实际文件大小，以第2、3步结果为准，图片比例越大则文件越大。
size＝(newW*newH)/(width*height)*m；
[1,0.5625)则width&height对应1664，4990，1280*n(n≥3),m对应150，300，300；
[0.5625,0.5)则width＝1440，height＝2560,m＝200；
[0.5,0)则width＝1280，height＝1280/scale，m＝500；注：scale为比例值
5.判断第4步的size是否过小
[1,0.5625)则最小size对应60，60，100
[0.5625,0.5)则最小size都为100
[0.5,0)则最小size都为100
6.将前面求到的值压缩图片width,height,size传入压缩流程，压缩图片直到满足以上数值。
步骤6中图片上传使用的OKHttp开源框架，云端通过索贝尔算子做进一步处理增加准确性，套用公式如下：
Gx＝(-1)*f(x-1,y-1)+0*f(x,y-1)+1*f(x-1,y+1)+(-2)*f(x-1,y)+0*f(x,y)+2*f(x+1,y)+(-1)*f(x-1,y+1)+0*f(x,y+1)+1*f(x+1,y+1)
Gy＝(1)*f(x-1,y-1)+2*f(x,y-1)+1*f(x+1,y-1)+0*f(x-1,y)+0*f(x,y)+0*f(x+1,y)+(-1)*f(x-1,y+1)+(-2)*f(x,y+1)+(-1)*f(x+1,y+1)
其中f(x,y)表示图像(x,y)点的灰度值。
图像的每一个像素的横向及纵向灰度值通过以下公式的结合，来计算该点的灰度值。
Figure BDA0002802450420000081
通常，为了提高效率使用不开平方的近似值：
|G|＝|Gx|+|Gy|
其中x,y表示图像中的坐标点。
步骤7电脑端智能识别的过程为：将伤痕特征向量保存并上传BP神经网络分析，如果分析结果为图片存在缺陷，则将图片上传到服务器图片缺陷库，如果不存在缺陷则自动忽略。
使用BP神经网络分析对特征向量识别时，将提取的特征值组合成特征向量，用于识别器模块的输入向量。然后将特征向量输入进BP神经网络识别器，BP神经网络识别器分为多个分模块，用于各分割图像的缺陷识别。
识别器对是否为缺陷图像进行设别，识别为真则输出到结果，识别为假则直接过滤掉。当识别结果中超过1/5的识别器结果为真时，则判定该帧图像为缺陷图像，进而保存并报警。
机器学习识别器使用训练后的BP神经网络进行构建，BP神经网络使用经典的三层网络：输入层，选取分割图特征值数据，作为输入层的输入数据。根据上述可知影响识别结果的特征值为6项参数，因此输入层的节点数为6，输入向量＝(x1+x2+x3+…+x6),然后进行统一的变换处理，以使输入的目标值在区间[0,1]中，对数据进行归一化处理，公式如下：
Figure BDA0002802450420000082
隐含层个数由经验公式推导，即
Figure BDA0002802450420000083
其中n1为隐含层个数，n为输入层个数，m为输出层个数，a为[1,10]之间的常数，即隐含层个数最大为12，
传递函数应用的是非线性函数logsig()。其中
Figure BDA0002802450420000084
计算出0到1之间的输出。本实例选用多输入多隐含的神经元与单输出的BP神经网络。其中，BP神经网络输入节点由xi表示，而隐含层节点由yj表示，输出节点由ol表示，wij为输入节点和隐藏节点网络权值，Tj为隐藏层节点和输出节点网络权值。
隐含层，对于隐含层节点的个数的设置，在本实例中，先设置10个节点，再进行不断的训练，通过误差分析来逐步增减隐含层的神经元数目，直至得到满意的性能，计算公式如下：
Figure BDA0002802450420000091
wij表示节点i和节点j之间的权值，首先随机化权值的大小，取(-1，1)之间的随机数，通过训练调整权值的大小。
输出层，输出层节点数为标签个数，神经元的传递函数用非线性变换函数Sigmoid函数，计算公式如下：
Figure BDA0002802450420000092
通过函数S(x)的计算，得出输出节点的值，数值为[0,1]之间的数，通过概率的大小对识别结果进行判断。数值越大，缺陷概率就越大。根据置信度和设定的阈值对比来确定在测图像是否为缺陷图像，当各分识别器中有1/5存在判断为真的缺陷图像时，就判断此帧图像为缺陷图像；最后将图像集合发送给客户端进行保存和报警。
采用以上结合附图描述的本发明的实施例的基于手机的AI智能识别缺陷的磁粉探伤系统及其方法，利用手机APP实现了工件的图像采集，并对采集的图像进行探伤缺陷识别，将传统的磁粉检测技术充分地与图像处理技术融合到一起，提高工件识别率和判别精确度。但本发明不局限于所描述的实施方式，在不脱离本发明的原理和精神的情况下这些对实施方式进行的变化、修改、替换和变形仍落入本发明的保护范围内。

Claims (8)

1.一种基于手机的AI智能识别缺陷的磁粉探伤系统，其特征在于：所述的探伤仪设备通过无线传输模块连接有手机APP，所述手机APP连接无线网关，无线网关连接有云端服务器，云端服务器与手机APP连接实现数据通讯，所述探伤仪设备内设有主机控制模块，主机控制模块连接有核心数据处理模块，核心数据处理模块连接有摄像头模块，核心处理模块通过无线传输模块连接云端服务器和手机APP端，探伤仪设备通过摄像头模块对待测工件进行图像采集，经图像采集、图像预处理、图像特征提取和AI智能识别后识别待测工件是否存在缺陷，磁粉检测缺陷图自动上传到云端服务器，存储到云端服务器缺陷识别库，实现数据库自动学习功能。
2.根据权利要求1所述的基于手机的AI智能识别缺陷的磁粉探伤系统，其特征在于：所述的主机控制模块还连接有升降压模块，升降压模块连接有励磁线圈模块。
3.根据权利要求1所述的基于手机的AI智能识别缺陷的磁粉探伤系统，其特征在于：所述的无线网关内设有核心处理器，核心处理器通过射频电路连接天线，无线网关启动后发射信号，手机APP端搜索无线信号，连接实现手机APP端和无线网关连接，手机APP通过无线连接摄像头模块，获取摄像头模块拍摄的画面，成像到手机组件。
4.一种基于手机的AI智能识别缺陷的磁粉探伤方法，其所述的方法包括以下步骤：
步骤1：手机终端连接无线网关；
步骤2：通过网关信号连接探伤仪设备检测摄像头模块；
步骤3：图像获取，探伤仪设备采集待测工件的图像，并投影到手机APP；
步骤4：图像采集，手机终端获取到探伤仪设备回传的拍照指令或者手动点击拍照后截取手机屏幕；
步骤5：图像上传，经过上述图像处理后将图片上传到云端服务器，云端做进一步处理增加准确性；
步骤6：缺陷识别，通过AI智能识别将提取的特征与数据库中的数据进行比较，给出特征的置信度，并根据得出的置信度进行求和得出待测工件的置信度，当待测工件的置信度大于设定的阈值时，认定待测工件的缺陷存在；
步骤7：当认定图片存在缺陷后自动存储到数据库，并将结果反馈给手机APP。
5.根据权利要求1所述的基于手机的AI智能识别缺陷的磁粉探伤方法，其特征在于：所述的步骤1中手机终端首先连接无线网关的网路，加载成像网络地址，完成连接后手机播放器成像设备摄像头画面。
6.根据权利要求1所述的基于手机的AI智能识别缺陷的磁粉探伤方法，其特征在于：所述的在步骤5中还包括图像预处理，对采集的待测工件的图像进行预处理，分成背景部分和工件部分，并减弱背景的影响，以及光照、图像采集过程中产生的噪声非相关因素的影响。
7.根据权利要求1所述的基于手机的AI智能识别缺陷的磁粉探伤方法，其特征在于：所述的步骤5中电脑端程序接收到图像后，调起图像处理，具体如下：对图像进行滤波处理后进行灰度值拉伸然后对图像进行区域分割，提取特征值；对分割处理后的图像区域逐个进行局部二值化操作，对二值化后的图像进行过滤，滤除由于喷洒磁粉而在工件表面形成的磁粉斑点，保留可以磁痕区域作为对比区域；然后对可疑伤痕使用索贝尔算子进行边缘检测并提取其梯度特征，包括可疑伤痕的边界长度、梯度均值、梯度最大值、梯度最小值及梯度差。
8.根据权利要求7所述的基于手机的AI智能识别缺陷的磁粉探伤方法，其特征在于：所述的步骤5中索贝尔算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，分别得出横向及纵向的亮度差分近似值，其公式如下:
Figure FDA0002802450410000021
其中：A代表原始图像，Gx及Gy分别代表横向及纵向边缘检测的图像；
图像的每一个像素的横向及纵向梯度近似值可用以下的公式结合，来计算梯度的大小。
Figure FDA0002802450410000022
然后用以下公式计算梯度方向，
Figure FDA0002802450410000023
角度θ等于零时，即代表图像该处拥有纵向边缘，左方较右方暗，将上述步骤中提取的伤痕梯度特征形成特征向量，使用BP神经网络分析对特征向量做出识别，判定可疑伤痕区域中疑似伤痕的真伪。
CN202011355355.4A 2020-11-27 2020-11-27 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法 Active CN112508891B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011355355.4A CN112508891B (zh) 2020-11-27 2020-11-27 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011355355.4A CN112508891B (zh) 2020-11-27 2020-11-27 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法

Publications (2)

Publication Number Publication Date
CN112508891A true CN112508891A (zh) 2021-03-16
CN112508891B CN112508891B (zh) 2022-07-22

Family

ID=74966682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011355355.4A Active CN112508891B (zh) 2020-11-27 2020-11-27 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法

Country Status (1)

Country Link
CN (1) CN112508891B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114252507A (zh) * 2021-12-20 2022-03-29 济宁鲁科检测器材有限公司 基于卷积神经网络的磁粉探伤缺陷识别系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852768A (zh) * 2010-05-05 2010-10-06 电子科技大学 磁粉探伤环境下基于复合特征的工件伤痕识别方法
CN102590330A (zh) * 2011-12-29 2012-07-18 南京理工大学常熟研究院有限公司 基于图像处理的磁粉探伤缺陷智能识别检测系统
CN103308593A (zh) * 2012-03-07 2013-09-18 常州市西牧电气设备有限公司 一种磁粉焊接探伤的缺陷智能识别检测系统
CN103984951A (zh) * 2014-04-25 2014-08-13 西南科技大学 一种磁粉检测缺陷自动识别方法及系统
CN109900794A (zh) * 2019-04-18 2019-06-18 深圳市神视检验有限公司 探伤系统、方法及计算机可读存储介质
CN111652853A (zh) * 2020-05-11 2020-09-11 西南科技大学 一种基于深度卷积神经网络的磁粉探伤检测方法
CN111751442A (zh) * 2020-07-07 2020-10-09 盐城工学院 一种全自动磁粉探伤设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101852768A (zh) * 2010-05-05 2010-10-06 电子科技大学 磁粉探伤环境下基于复合特征的工件伤痕识别方法
CN102590330A (zh) * 2011-12-29 2012-07-18 南京理工大学常熟研究院有限公司 基于图像处理的磁粉探伤缺陷智能识别检测系统
CN103308593A (zh) * 2012-03-07 2013-09-18 常州市西牧电气设备有限公司 一种磁粉焊接探伤的缺陷智能识别检测系统
CN103984951A (zh) * 2014-04-25 2014-08-13 西南科技大学 一种磁粉检测缺陷自动识别方法及系统
CN109900794A (zh) * 2019-04-18 2019-06-18 深圳市神视检验有限公司 探伤系统、方法及计算机可读存储介质
CN111652853A (zh) * 2020-05-11 2020-09-11 西南科技大学 一种基于深度卷积神经网络的磁粉探伤检测方法
CN111751442A (zh) * 2020-07-07 2020-10-09 盐城工学院 一种全自动磁粉探伤设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张静 等: "荧光磁粉探伤智能图像识别技术研究", 《西南科技大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114252507A (zh) * 2021-12-20 2022-03-29 济宁鲁科检测器材有限公司 基于卷积神经网络的磁粉探伤缺陷识别系统及方法

Also Published As

Publication number Publication date
CN112508891B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN104596929B (zh) 确定空气质量的方法及设备
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN110726724A (zh) 缺陷检测方法、系统和装置
CN108780508A (zh) 用于归一化图像的系统和方法
CN110675328A (zh) 基于条件生成对抗网络的低照度图像增强方法及装置
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
WO2023160312A1 (zh) 基于自监督学习的行人重识别方法、装置、设备及存储介质
CN111160202A (zh) 基于ar设备的身份核验方法、装置、设备及存储介质
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN110008919A (zh) 基于视觉的四旋翼无人机人脸识别系统
CN113256570A (zh) 基于人工智能的视觉信息处理方法、装置、设备及介质
CN112508891B (zh) 基于手机的ai智能识别缺陷的磁粉探伤系统及其方法
CN110599514B (zh) 图像分割的方法、装置、电子设备及存储介质
CN114119489A (zh) 一种电连接器多余物及缩针倒针缺陷自动化检测方法
CN102496032A (zh) 一种电气设备x射线数字图片处理算法支持系统
CN115690747B (zh) 车辆盲区检测模型测试方法、装置、电子设备及存储介质
CN110210401B (zh) 一种弱光下的目标智能检测方法
CN113269730B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109211607A (zh) 一种采样方法、装置、设备、系统及可读存储介质
CN111669575B (zh) 图像处理效果的测试方法、系统、电子设备、介质及终端
CN112183383A (zh) 一种复杂化环境下测量人脸图像的信息处理方法和装置
CN116843683B (zh) 设备成像清晰度评估方法、系统和装置
CN113237423B (zh) 物品体积测量设备
Paithane et al. Performance Analysis of Face Detection system using HOG and QualHOG Features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant