CN113538360A - 一种塑料杯表面缺陷检测系统 - Google Patents

一种塑料杯表面缺陷检测系统 Download PDF

Info

Publication number
CN113538360A
CN113538360A CN202110783730.3A CN202110783730A CN113538360A CN 113538360 A CN113538360 A CN 113538360A CN 202110783730 A CN202110783730 A CN 202110783730A CN 113538360 A CN113538360 A CN 113538360A
Authority
CN
China
Prior art keywords
image
algorithm
feature
detection
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110783730.3A
Other languages
English (en)
Inventor
孙崐
郑凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110783730.3A priority Critical patent/CN113538360A/zh
Publication of CN113538360A publication Critical patent/CN113538360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开一种塑料杯表面缺陷检测系统。通过摄像头读取塑料杯图像，传输给ZYNQ的PL上(ZYNQ的PL部分为可编程逻辑器件)，进行图像缺陷分类，最后将结果显示在LCD屏上。图像缺陷检测算法采用BOW(视觉词袋)+SVM(支持向量机)的方式，在图像的特征提取上，本发明采用了FAST‑SUFT特征检测与描述算法，FAST算法检测速度快，检测的细节多，但并不涉及特征点的特征描述，这时利用SUFT算法生成特征描述符，两个算法可以互补，同时对FAST算法进行改进。在图像算法移植上，使用xilinx的HLS高层综合工具，方便移植到PL上。本发明实现了塑料杯表面缺陷的智能检测，具有良好的准确性和可靠性。

Description

一种塑料杯表面缺陷检测系统
技术领域
本发明涉及机器学习技术领域，主要涉及一种塑料杯表面缺陷检测系统。
背景技术
塑料作为一种与我们生活息息相关的高分子材料，因重量轻、密度小、耐磨性好、绝缘性好、化学性质稳定等众多优点，被广泛应用于建筑、工业、农业和生活的各个领域。其中塑料杯的使用十分广泛，在塑料杯的生产中会产生一些缺陷，及时的检测出有缺陷的塑料杯尤为的关键，这影响着塑料杯的销量和顾客对产品的满意度。
随着嵌入式技术的不断发展，处理速度和资源不断提高，嵌入式检测设备相比传统PC控制的大型设备具有价格低、体积小、功耗小的优势，结合机器视觉技术，可以有效的检测塑料杯表面缺陷。
发明内容
本发明的具体内容如下：
一种塑料杯表面缺陷检测系统，包括摄像头、ZYNQ开发板、LCD屏。通过摄像头读取塑料杯图像，传输给ZYNQ的PL上(ZYNQ的PL部分为可编程逻辑器件)，进行图像缺陷分类，最后将结果显示在LCD屏上。
在本发明中，图像缺陷检测算法采用BOW(视觉词袋)+SVM(支持向量机)的方式，在图像的特征提取上，采用了FAST-SUFT特征检测与描述算法，FAST算法检测速度快，检测的细节多，但并不涉及特征点的特征描述，这时利用SUFT算法生成特征描述符，两个算法可以互补，同时对FAST算法进行改进，加快识别速度。
在本发明中，为了进行硬件加速设计，使用xilinx的HLS高层综合工具，将图像缺陷检测算法移植到PL端。本发明实现了塑料杯表面缺陷的智能检测，具有良好的准确性和可靠性。
本发明的有益效果是，能够快速提取特征点和和描述符，同时将图像缺陷检测算法和ZYNQ完美融合。利用PL并行处理的特点实现算法，节省时间。利用ZYNQ的PS(ZYNQ的PS部分为双A9的ARM核)运行操作系统，管理进程调度和资源分配。相比与PC机，功耗低，可靠性高，体积小，成本低，能够准确的检测出缺陷类型的塑料杯。
附图说明
附图1为本发明的系统框架图。
附图2为本发明的FAST特征点提取图。
附图3为本发明的PC端算法流程图。
附图4为本发明的ZYNQ端算法流程图。
具体实施方式
本发明不受下列实施例的限制，可根据本发明的技术方案与实际情况来具体的确定实施方式。
结合附图1，具体说明塑料杯表面缺陷检测系统的实施方式。摄像头1通过I2c接口进行寄存器配置，8位的并行数据输出。图像采集IP核2负责将摄像头的图像信息传递给图像处理IP核3。图像处理模块IP核3是由图像缺陷检测算法生成，负责识别出缺陷种类，将结果通过AXI总线6传递给PS。PS控制图像显示IP核4将采集到的图像和识别结果通过LCD屏5显示。AXI总线6是一种高性能、高带宽、低延迟的片内总线，实现PS和PL信息传递。DDR39为linux操作系统和程序提供运行空间。UART8作为串口输出linux操作系统启动信息。SD7用于存储uboot、Linux内核、根文件系统、PL端比特流文件、BOW词典和SVM分类文件。ARM10作为CPU控制整个系统。
在图像缺陷检测算法中，视觉词袋BOW(Bag of Visual Words，BoVW)模型是一种有效的图像表示方法，将图像中的特征点看作视觉单词，则图像就看作由大量无序的单词组成的集合，主要分三个步骤：1.特征提取：提取数据集中每幅图像的特征点，然后提取特征描述符，形成特征数据；2.学习词袋：把处理好的特征数据全部合并，利用聚类把特征词分为若干类，此若干类的数目由自己设定，每一类相当于一个视觉词汇；3.利用视觉词袋量化图像特征：每一张图像由很多视觉词汇组成，我们利用统计的词频直方图，可以表示图像属于哪一类。
SVM是一种用于分类与回归分析的监督式学习的机器学习算法。通过SVM对每类图像的BOW词汇进行监督训练，把每张图片的BOW描述作为特征向量，将图片所属的类别作为label标签，进而得到用于图像分类的分类器。当把训练器训练好了之后，再对未知的图像进行分类时，先计算每张图片的bag of words，然后去跟训练好的词典去匹配词汇，最后就可以利用训练好的多类分类器对图片进行分类操作。
结合附图2，具体说明在FAST特征点提取上的算法改进。
在特征提取上采用了FAST-SURF，FAST算法检测速度快，检测的细节多，但并不涉及特征点的特征描述，这时利用SUFT算法生成特征描述符，两个算法可以互补。
FAST算法改进如下：
FAST算法以检测中心点p为圆心构造一个半径为3的圆，圆周上的像素点以顺时针方向依次编号为1～16，通过比较p点与圆周上点的灰度值大小来判断该点是否为特征点。
假设I(p)、I(x)分别为中心点p和圆周上的任意一点x的灰度值，d为给定阈值，N为满足公式(1)的圆周上像素点x的个数，一般取值为12。
Figure BDA0003157971750000021
对于改进算法，首先检测候选点p周围编号为1、5、9、13位置上的点(间隔90)，如果这4个像素点至少有3个满足公式(1)，则再判断其他点，如若不满足，则认该候选点不是特征点。
附图3是在PC端的图像分类算法训练的流程，目的是生成BOW词典和SVM分类文本，附图4是在ZYNQ端的图像分类算法实际测试的流程，需要在PC端生成的BOW词典和SVM分类文本。
结合附图3，具体说明在PC端的图像缺陷检测算法训练的流程。
步骤A1：输入训练样本数据集；
步骤A2：对样本进行FAST特征点检测；
步骤A3：对样本进行SURF确定特征方向、生成特征描述；
步骤A4：根据FAST-SURF对特征点的提取进行K-mean++特征聚类；
步骤A5：根据聚类结果构造BOW词典，得到训练图片BOW模型特征向量；
步骤A6：训练SVM多分类器；
步骤A7：输出SVM分类文本。
结合附图4，具体说明在ZYNQ端的图像缺陷检测算法实际测试的流程。
步骤B1：输入摄像头采集的图像；
步骤B2：对图像进行FAST特征点检测；
步骤B3：对图像进行SURF确定特征方向、生成特征描述；
步骤B4：根据FAST-SURF对特征点的提取进行K-mean++特征聚类；
步骤B5：根据步骤A5得到的BOW词典，得到测试图片BOW模型特征向量；
步骤B6：根据步骤A7获得的SVM分类文本，对BOW模型特征向量进行分类；
步骤B7：输出缺陷结果。
凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种塑料杯表面缺陷检测系统，实施方式如下：
摄像头1通过I2c接口进行寄存器配置，8位的并行数据输出。图像采集IP核2负责将摄像头的图像信息传递给图像处理IP核3。图像处理模块IP核3是由图像缺陷检测算法生成，负责识别出缺陷种类，将结果通过AXI总线6传递给PS。PS控制图像显示IP核4将采集到的图像和识别结果通过LCD屏5显示。AXI总线6是一种高性能、高带宽、低延迟的片内总线，实现PS和PL信息传递。DDR39为linux操作系统和程序提供运行空间。UART8作为串口输出linux操作系统启动信息。SD7用于存储uboot、Linux内核、根文件系统、PL端比特流文件、BOW词典和SVM分类文件。ARM10作为CPU控制整个系统。
2.根据权利要求1所述的一种塑料杯表面缺陷检测系统，其特征在于：图像缺陷检测算法采用BOW(视觉词袋)+SVM(支持向量机)的方式，在图像的特征提取上，采用了FAST-SUFT特征检测与描述算法，FAST算法检测速度快，检测的细节多，但并不涉及特征点的特征描述，这时利用SUFT算法生成特征描述符，两个算法可以互补，同时对FAST算法进行改进，加快识别速度。
CN202110783730.3A 2021-07-12 2021-07-12 一种塑料杯表面缺陷检测系统 Pending CN113538360A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110783730.3A CN113538360A (zh) 2021-07-12 2021-07-12 一种塑料杯表面缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110783730.3A CN113538360A (zh) 2021-07-12 2021-07-12 一种塑料杯表面缺陷检测系统

Publications (1)

Publication Number Publication Date
CN113538360A true CN113538360A (zh) 2021-10-22

Family

ID=78098509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110783730.3A Pending CN113538360A (zh) 2021-07-12 2021-07-12 一种塑料杯表面缺陷检测系统

Country Status (1)

Country Link
CN (1) CN113538360A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663401A (zh) * 2012-04-18 2012-09-12 哈尔滨工程大学 一种图像特征提取和描述方法
US20150220808A1 (en) * 2014-02-03 2015-08-06 Steven White Method for visual image detection
CN105847766A (zh) * 2016-05-30 2016-08-10 福州大学 一种基于Zynq-7000的运动目标检测与跟踪系统
US20190180094A1 (en) * 2017-12-13 2019-06-13 Abbyy Development Llc Document image marking generation for a training set
CN111311567A (zh) * 2020-02-12 2020-06-19 北京交通大学 对轨道线路图像进行扣件和钢轨病害识别的方法
CN111627007A (zh) * 2020-05-27 2020-09-04 电子科技大学 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663401A (zh) * 2012-04-18 2012-09-12 哈尔滨工程大学 一种图像特征提取和描述方法
US20150220808A1 (en) * 2014-02-03 2015-08-06 Steven White Method for visual image detection
CN105847766A (zh) * 2016-05-30 2016-08-10 福州大学 一种基于Zynq-7000的运动目标检测与跟踪系统
US20190180094A1 (en) * 2017-12-13 2019-06-13 Abbyy Development Llc Document image marking generation for a training set
CN111311567A (zh) * 2020-02-12 2020-06-19 北京交通大学 对轨道线路图像进行扣件和钢轨病害识别的方法
CN111627007A (zh) * 2020-05-27 2020-09-04 电子科技大学 一种基于自优化匹配网络图像拼接的航天器缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
产叶林 等: "基于FAST和SURF的特征点快速匹配算法", 《计算机工程与设计》, vol. 40, no. 12, 16 December 2019 (2019-12-16) *
李捷: "基于机器视觉的贴花陶瓷盘表面缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
李捷: "基于机器视觉的贴花陶瓷盘表面缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 August 2019 (2019-08-15), pages 31 - 32 *
魏新 等: "改进配准测度的SUFT红外图像快速配准算法", 《电光与控制》, vol. 19, no. 11, 31 October 2012 (2012-10-31) *

Similar Documents

Publication Publication Date Title
US20230087526A1 (en) Neural network training method, image classification system, and related device
CN105117740B (zh) 字体识别方法及装置
CN111950528B (zh) 图表识别模型训练方法以及装置
Schmitt et al. Object classification and localization using SURF descriptors
CN108009567B (zh) 一种结合图像颜色及hog和svm的粪便性状的自动辨别方法
CN111737479B (zh) 数据获取方法、装置、电子设备及存储介质
CN107392221B (zh) 分类模型的训练方法、分类ocr识别结果的方法及装置
TW202004528A (zh) 商品特定裝置、記錄媒體及學習方法
CN113128565B (zh) 面向预训练标注数据不可知的图像自动标注系统和装置
CN108647711B (zh) 基于引力模型的图像的多标签分类方法
CN110508510A (zh) 一种塑料泵缺陷检测方法、装置及系统
CN113723558A (zh) 基于注意力机制的遥感图像小样本舰船检测方法
TW202232437A (zh) 圖像分類與標示方法及系統
Singhal et al. Image classification using bag of visual words model with FAST and FREAK
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN113538360A (zh) 一种塑料杯表面缺陷检测系统
CN116630753A (zh) 一种基于对比学习的多尺度小样本目标检测方法
Bai et al. An incremental structured part model for object recognition
CN111599444A (zh) 智能舌诊检测方法、装置、智能终端和存储介质
Li et al. Out-of-distribution identification: Let detector tell which i am not sure
CN104680123A (zh) 对象识别装置、对象识别方法和程序
CN112418265A (zh) 一种标签检测方法、装置及存储介质
Venkateswara et al. Multiresolution Match Kernels for gesture video classification
CN112990245A (zh) 物品识别方法、装置、设备及存储介质
Peng et al. Defect detection in code characters with complex backgrounds based on BBE

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211022

RJ01 Rejection of invention patent application after publication