CN110689520A - 一种基于ai的磁芯产品缺陷检测系统及方法 - Google Patents
一种基于ai的磁芯产品缺陷检测系统及方法 Download PDFInfo
- Publication number
- CN110689520A CN110689520A CN201910792197.XA CN201910792197A CN110689520A CN 110689520 A CN110689520 A CN 110689520A CN 201910792197 A CN201910792197 A CN 201910792197A CN 110689520 A CN110689520 A CN 110689520A
- Authority
- CN
- China
- Prior art keywords
- model
- magnetic core
- module
- inclusion
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 230000007547 defect Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000007797 corrosion Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000012552 review Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 abstract description 2
- 238000002054 transplantation Methods 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于AI的磁芯产品缺陷检测系统及方法，包括相机图像获取和预处理模块、预训练的基于Inception_v3的SSD模型、综合筛选模块和模型运算调度模块，相机图像获取和预处理模块获取图像并预处理供模型运算调度模块进行后续操作；所述预训练模型对图像进行目标检测和分类，输出候选框、分类结果、置信分数；所述的综合筛选模块根据SSD模型的检测结果进行进一步判断产品是否合格；所述的模型运算调度模块分配各进程同步使用SSD模型模型进行计算。本发明具有移植简单、检测速度快、可检出缺陷广、准确率高的特点。
Description
技术领域
本发明属于人工智能技术领域，具体涉及一种基于AI的磁芯产品缺陷检测系统及方法。
背景技术
物体识别被广泛应用于当下的智能监控设备中，比如较为成熟的人脸识别、车牌识别等。但是相对于固定特征的人脸、数字等图像，对于零件的瑕疵识别就存在瑕疵类型不固定、瑕疵大小不固定、零件位置形态不固定、拍摄情况不固定等多重问题。另外，对于零件合格检测，要求运算速度极快，单GPU的图像算法难以达到流水线的速度要求。基于人工智能的多GPU图像检测算法很好的克服了这一问题。
近年来，人工智能在图形图像领域有突出成果，随着R-CNN（region with CNNfeatures）的提出，其开始广泛应用于现下机器视觉系统，包括物体识别、自动分割、无人驾驶等领域。SSD沿用了YOLO中直接回归 bbox和分类概率的方法，同时又参考了Faster R-CNN大量使用anchor来提升识别准确度的方法。通过把这两种结构相结合，SSD保持了很高的识别速度和较高的识别精度。
另外，网络的深度很大程度上决定了模型的性能，更多的网络层数，为提取更复杂的特征模式创造了可能，从而使得模型更加优秀。但是，常见网络在加深后会出现网络退化问题，即随着深度增加网络准确度趋于饱和或退化，Inception网络在基础上化解了这一问题。其通过堆叠1x1，3x3，5x5的卷积层和3x3的池化层，一方面增加了网络的宽度，另一方面增加了网络对尺度的适应性。进一步的，使用改进的Inception_v3替代普通的Inception网络。基于Inception_v3的SSD，在此基础上进一步学习VGG用2个3x3的卷积替代inception模块中的5x5卷积，并将3x3拆分成两个一维卷积（1x3，3x1）。较常用的基于VGG16模型准确率更高，能更好地使用于瑕疵种类繁多的磁芯质量检测。
综上，对于不同角度磁芯上的不同瑕疵，使用专门训练后的SSD模型对相机拍摄的预处理图像进行物体识别，相对于传统物体识别方法具有适用范围广、准确率高等优势，同时对检测各种潜在的可能瑕疵都有非常好的表现。即使对于一些特殊的瑕疵，也只需要对模型特殊训练即可，而无需重新设计整体方案。在识别的基础上，使用聚类分析对识别结果进一步评分以区分出合格、不合格、重检三种情况。通过对GPU算力的调度，使得多个模型可以同时进行计算，从而提高计算速度，以流水线作业速度，做到及时识别及时反馈。
发明内容
本发明的目的是针对传统图形学方法难以对磁芯瑕疵检测的复杂情况提出普适高效算法的问题，提出一种基于AI的磁芯产品缺陷检测系统及方法。本发明充分利用Inception网络在特征提取上的优势，并辅以多尺度运算提供候选区域以缩短计算时间，以Inception_v3替换传统VGG16网络增加网络深度提高网络准确率，最后对于检测到的目标采用聚类分进一步分析磁芯瑕疵情况。
本发明通过以下技术方案加以实现：
所述的一种基于AI的磁芯产品缺陷检测系统，其特征在于包括：
相机图像获取和预处理模块：用于获取视频中的图像并转码供模型运算调度模块进行后续操作；
预训练的基于Inception_v3的SSD模型：用于对图像进行目标检测和分类，输出候选框、分类结果、置信分数；
综合筛选模块：根据预训练的基于Inception_v3的SSD模型的检测结果进行进一步判断产品是否合格；
模型运算调度模块：用于分配各进程同步使用预训练的基于Inception_v3的SSD模型进行计算。
所述相机图像获取和预处理模块通过前端相机传输回的图片，调用GPU运算，进行二值化、腐蚀膨胀的预处理。
所述预训练的基于Inception_v3的SSD模型，采用基于Inception_v3的SSD模型，使用人工标记后缩放大小为300x300的磁芯图像进行训练。
所述的综合筛选模块通过人工标记获得的数据，经聚类分类，得到磁芯上可能出现异物或瑕疵的大小及检测置信度的可能范围区，根据范围区的划定结合识别置信度，评分各识别候选框；对于瑕疵分数大于阈值的磁芯，判定不合格；对于瑕疵分数小于阈值的磁芯，判定重检；对于同一画面中出现大于或小于一个的磁芯，将涉及磁芯重检。
所述模型运算调度模块，将预训练的基于Inception_v3的SSD模型分别运行于子进程当中，根据GPU当前空闲情况分配进程进行运算模型。
所述的一种基于AI的磁芯产品缺陷检测方法，其特征在于包括如下步骤：
1）获取前端相机的图像；
2）将步骤1）获得的图像进行预处理；
3）选择子进程中预训练的基于Inception_v3的SSD模型进行检测识别；
4）将识别结果结合聚类分析进一步筛选并给合格、不合格、重检的判断。
步骤1）中图像获取的方法为，通过相机图像获取和预处理模块先获取前端相机传输回的图片，再调用GPU运算，进行二值化、腐蚀膨胀的预处理。
步骤2）中预处理是指利用预训练的基于Inception_v3的SSD模型对图像进行目标检测和分类，输出候选框、分类结果、置信分数。
本发明主要用于解决当前传统图形学算法对磁芯瑕疵识别检测困难的问题，并具有移植简单、检测速度快、可检出缺陷广、准确率高的特点。由于本发明所述的技术中采用合理的GPU分配方法调度模型运算，大大提升了人工智能算法的速度，使得可以快速得出单个图像的检测结果。基于上述原因，按照本发明所述系统，可以在基于SSD模型的预测下，有效识别生产磁芯中的不良品。
附图说明
图1为本发明的流程图；
图2为SSD的结构图；
图3为Inception_v3对卷积模块改进的示意图。
具体实施方式
以下结合说明书附图对本发明做进一步详细描述，并给出具体实施方式。
如图1所示，本发明的基于AI的磁芯产品缺陷检测方法，采用的系统包括相机图像获取和预处理模块、预训练的基于Inception_v3的SSD模型、综合筛选模块和模型运算调度模块。前端相机获取的图像通过网络传输到所述的相机图像获取和预处理模块，该相机图像获取和预处理模块预处理的图像由模型运算调度模块选择子进程中预训练的基于Inception_v3的SSD模型进行检测识别，并将结果反馈给综合筛选模块结合事先进行的聚类分析结果进一步筛选并给出合格、不合格、重检的结论。
上述的相机图像获取和预处理模块，包括从前端相机传输回的图片，调用GPU运算，进行二值化、腐蚀膨胀的预处理，输入模型运算调度模块。
上述的模型运算调度模块接受到数据后查询当前子进程状况，若当前有空闲子进程则将该图片送模型进行检测，否则丢弃该图片，并将所摄芯片归入待检。
上述的预训练的基于Inception_v3的SSD模型，使用人工标记后缩放大小为300x300分辨率的磁芯图像进行训练。
如图2所示，SSD通过同时使用多个卷积层的输出来做分类和位置回归。SSD将多维度的卷积层都连接到了最后的检测、分类层做回归，其中的Conv节点（卷积节点）包括Conv7、Conv6_2、Conv9_2和Conv11_2，并启用了Faster R-CNN中的anchor结构，同时使用多个层级上的anchor来进行回归，从而使整个结构的准确度更高。
基于上述的Inception_v3的SSD网络，特别的对于进行的卷积和池化操作，使用更低的3x3卷积代替原有的5x5卷积，同时拆分高纬度卷积为两个一维卷积（如将nxn的卷积拆为1xn和nx1），以加速计算。图3是构建的Inception_v3对卷积模块改进的网络图。
上述的综合筛选模块通过人工标记获得的数据，经聚类分类，得到磁芯上可能出现异物或瑕疵的大小及检测置信度的可能范围区，根据范围区的划定结合识别置信度，评分各识别候选框。这一操作是为了弥补高速的SSD网络，对较小区域的不确定性而设立的。对于瑕疵分数大于阈值的磁芯，判定不合格；对于瑕疵分数小于阈值的磁芯，判定重检。对于同一画面中出现大于或小于一个的磁芯，将涉及磁芯重检。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种基于AI的磁芯产品缺陷检测系统，其特征在于包括：
相机图像获取和预处理模块：用于获取视频中的图像并转码供模型运算调度模块进行后续操作；
预训练的基于Inception_v3的SSD模型：用于对图像进行目标检测和分类，输出候选框、分类结果、置信分数；
综合筛选模块：根据预训练的基于Inception_v3的SSD模型的检测结果进行进一步判断产品是否合格；
模型运算调度模块：用于分配各进程同步使用预训练的基于Inception_v3的SSD模型进行计算。
2.如权利要求1所述的一种基于AI的磁芯产品缺陷检测系统，其特征在于所述相机图像获取和预处理模块通过前端相机传输回的图片，调用GPU运算，进行二值化、腐蚀膨胀的预处理。
3.如权利要求1所述的一种基于AI的磁芯产品缺陷检测系统，其特征在于所述预训练的基于Inception_v3的SSD模型，采用基于Inception_v3的SSD模型，使用人工标记后缩放大小为300x300的磁芯图像进行训练。
4.如权利要求1所述的一种基于AI的磁芯产品缺陷检测系统，其特征在于所述的综合筛选模块通过人工标记获得的数据，经聚类分类，得到磁芯上可能出现异物或瑕疵的大小及检测置信度的可能范围区，根据范围区的划定结合识别置信度，评分各识别候选框；对于瑕疵分数大于阈值的磁芯，判定不合格；对于瑕疵分数小于阈值的磁芯，判定重检；对于同一画面中出现大于或小于一个的磁芯，将涉及磁芯重检。
5.如权利要求1所述的一种基于AI的磁芯产品缺陷检测系统，其特征在于所述模型运算调度模块，将预训练的基于Inception_v3的SSD模型分别运行于子进程当中，根据GPU当前空闲情况分配进程进行运算模型。
6.一种基于AI的磁芯产品缺陷检测方法，其特征在于包括以下步骤：
1）获取前端相机的图像；
2）将步骤1）获得的图像进行预处理；
3）选择子进程中预训练的基于Inception_v3的SSD模型进行检测识别；
4）将识别结果结合聚类分析进一步筛选并给合格、不合格、重检的判断。
7.如权利要求6所述的一种基于AI的磁芯产品缺陷检测方法，其特征在于步骤1）中图像获取的方法为，通过相机图像获取和预处理模块先获取前端相机传输回的图片，再调用GPU运算，进行二值化、腐蚀膨胀的预处理。
8.如权利要求6所述的一种基于AI的磁芯产品缺陷检测方法，其特征在于步骤2）中预处理是指利用预训练的基于Inception_v3的SSD模型对图像进行目标检测和分类，输出候选框、分类结果、置信分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910792197.XA CN110689520A (zh) | 2019-08-26 | 2019-08-26 | 一种基于ai的磁芯产品缺陷检测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910792197.XA CN110689520A (zh) | 2019-08-26 | 2019-08-26 | 一种基于ai的磁芯产品缺陷检测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110689520A true CN110689520A (zh) | 2020-01-14 |
Family
ID=69108701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910792197.XA Pending CN110689520A (zh) | 2019-08-26 | 2019-08-26 | 一种基于ai的磁芯产品缺陷检测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110689520A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082434A (zh) * | 2022-07-21 | 2022-09-20 | 浙江华是科技股份有限公司 | 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109507192A (zh) * | 2018-11-02 | 2019-03-22 | 江苏理工学院 | 一种基于机器视觉的磁芯表面缺陷检测方法 |
| CN109550712A (zh) * | 2018-12-29 | 2019-04-02 | 杭州慧知连科技有限公司 | 一种化纤丝尾丝外观缺陷检测系统及方法 |
| CN109993094A (zh) * | 2019-03-26 | 2019-07-09 | 苏州富莱智能科技有限公司 | 基于机器视觉的材料缺陷智能检测系统及方法 |
-
2019
- 2019-08-26 CN CN201910792197.XA patent/CN110689520A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109507192A (zh) * | 2018-11-02 | 2019-03-22 | 江苏理工学院 | 一种基于机器视觉的磁芯表面缺陷检测方法 |
| CN109550712A (zh) * | 2018-12-29 | 2019-04-02 | 杭州慧知连科技有限公司 | 一种化纤丝尾丝外观缺陷检测系统及方法 |
| CN109993094A (zh) * | 2019-03-26 | 2019-07-09 | 苏州富莱智能科技有限公司 | 基于机器视觉的材料缺陷智能检测系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孙晖 等: "基于改进SSD模型的热镀锌板表面缺陷在线检测系统", 《电子技术设计与应用》 * |
| 王晨 等: "磁芯表面细小裂纹缺陷自动检测系统的研究", 《机械制造》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082434A (zh) * | 2022-07-21 | 2022-09-20 | 浙江华是科技股份有限公司 | 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 |
| CN115082434B (zh) * | 2022-07-21 | 2022-12-09 | 浙江华是科技股份有限公司 | 一种基于多源特征的磁芯缺陷检测模型训练方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230339B (zh) | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 | |
| CN107437245B (zh) | 基于深度卷积神经网络的高速铁路接触网故障诊断方法 | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN105844621A (zh) | 一种印刷品质量检测方法 | |
| CN110610510A (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN111027539B (zh) | 一种基于空间位置信息的车牌字符分割方法 | |
| CN104992449A (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
| Wan et al. | Ceramic tile surface defect detection based on deep learning | |
| CN104992223A (zh) | 基于深度学习的密集人数估计方法 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN110490842A (zh) | 一种基于深度学习的带钢表面缺陷检测方法 | |
| CN111462140B (zh) | 一种基于区块拼接的实时图像实例分割方法 | |
| CN110599453A (zh) | 一种基于图像融合的面板缺陷检测方法、装置及设备终端 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN112613428B (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
| Zhao et al. | Research on detection method for the leakage of underwater pipeline by YOLOv3 | |
| CN116385430A (zh) | 一种机器视觉瑕疵检测方法、装置、介质及设备 | |
| CN112884741B (zh) | 一种基于图像相似性对比的印刷表观缺陷检测方法 | |
| CN114782410A (zh) | 一种基于轻量化模型的绝缘子缺陷检测方法及其系统 | |
| CN111104855A (zh) | 一种基于时序行为检测的工作流识别方法 | |
| CN110689520A (zh) | 一种基于ai的磁芯产品缺陷检测系统及方法 | |
| CN111597939A (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN113420839B (zh) | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 | |
| CN114821441A (zh) | 联合ads-b信息的基于深度学习的机场场面运动目标识别方法 | |
| CN114926456A (zh) | 一种半自动标注和改进深度学习的铁轨异物检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200114 |