CN106997590A - 一种基于检测产品特性的图像处理与检测系统 - Google Patents

一种基于检测产品特性的图像处理与检测系统 Download PDF

Info

Publication number
CN106997590A
CN106997590A CN201710238000.9A CN201710238000A CN106997590A CN 106997590 A CN106997590 A CN 106997590A CN 201710238000 A CN201710238000 A CN 201710238000A CN 106997590 A CN106997590 A CN 106997590A
Authority
CN
China
Prior art keywords
image
module
detecting system
product performance
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710238000.9A
Other languages
English (en)
Inventor
程旗凯
俞兴
洪灵
陈源通
陈卸件
王京
余晓春
朱振
潘浩雷
张庆权
黄小健
陈艳丽
金璐
洪丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Seokho Robot Technology Co Ltd
Original Assignee
Zhejiang Seokho Robot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Seokho Robot Technology Co Ltd filed Critical Zhejiang Seokho Robot Technology Co Ltd
Priority to CN201710238000.9A priority Critical patent/CN106997590A/zh
Publication of CN106997590A publication Critical patent/CN106997590A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于检测产品特性的图像处理与检测系统,包括依次连接的图像预处理模块、图像分割模块、特征抽取模块、数据预处理模块、神经网络学习模块以及神经网络检测模块;本发明提供的基于检测产品特性的图像处理与检测系统,可以提高产品质量检测效率。

Description

一种基于检测产品特性的图像处理与检测系统
技术领域
本发明涉及工业机器人技术领域,更具体的说是涉及一种基于检测产品特性的图像处理与检测系统。
背景技术
现代工业中,许多产品(如电子与器件、五金器件零部件等)的生产在自动线上完成,各生产环节都涉及到产品的质量检测,一些企业投入大量人力,采用肉眼检测的方式来控制产品质量,但由于一些人为因素,产品质量难以保证。为提高检测效率和保证产品质量,采用机器视觉技术代替人的视觉进行产品质量的自动检测是解决问题的有效方法。
机器视觉由于可快速获取大量信息,且易于同设计信息和控制信息进行集成,因此在现代制造生产过程中,机器视觉被广泛的用于质量检测、生产控制等。相对于人眼视觉,机器视觉具有很大的优势和发展前景,因此近年来机器视觉得以迅速发展,其广泛应用于医疗、工业、农业、军事、交通等各个领域。
在我国,直到90年代中后期机器视觉技术才逐渐被人们认识和了解,目前,用在制造业中机器视觉仍存在产品质量检测效率低下的问题,因此难以推广。
发明内容
针对现有技术存在的不足,本发明的目的在于提供基于检测产品特性的图像处理与检测系统,可以提高产品质量检测效率。
为实现上述目的,本发明提供了如下技术方案:
一种基于检测产品特性的图像处理与检测系统,包括依次连接的图像预处理模块、图像分割模块、特征抽取模块、数据预处理模块、神经网络学习模块以及神经网络检测模块;
所述图像预处理模块用于修正原始图像的灰度级和平滑原始图像的噪声;
所述图像分割模块用于对修正处理和平滑处理后的图像进行分割;
所述特征抽取模块用于对分割后的图像的灰度进行度量,并产生相应的特征向量;
所述数据预处理模块用于将特征向量归一化到0至1之间,并输入至所述神经网络学习模块;
所述神经网络学习模块用于根据原始图像获取归一化后的特征向量,并生成相应的输入网络模式;
所述神经网络检测模块用于对输入网络模式进行识别和分类。
作为一种可实施方式,所述图像分割模块用于根据阈值分割法对修正处理和平滑处理后的图像进行分割;其中,图像分割模块先根据修正处理和平滑处理后的图像选取相应的灰度级阈值,再将修正处理和平滑处理后的图像中的每个像素灰度和灰度级阈值进行比较,并在像素灰度高于阈值时分配以最大灰度,在像素灰度低于阈值时分配以最小灰度,从而形成相应的二值图像。
作为一种可实施方式,所述特征抽取模块用于从二值图像和原始图像中抽取相关于灰度信息的特征,并生成相应的矩形区域,然后从矩形区域中提取背景光亮度值和矩形区域光斑的大小,产生相应的特征向量。
作为一种可实施方式,所述数据预处理模块用于根据S函数将特征向量归一化到0至1之间,并输入至所述神经网络学习模块;其中,S函数为f(x)=1/(1+e-x)。
作为一种可实施方式,所述神经网络学习模块用于根据原始图像获取归一化后的特征向量确定BP神经网络的最佳结构,其中,确定BP神经网络的最佳结构的方式为依次确定输入层节点数、输出层节点数以及隐含层节点数;再根据确定的输入层节点数、输出层节点数以及隐含层节点数生成相应的输入网络模式。
作为一种可实施方式,在所述BP神经网络的最佳结构中,特征向量为4维,输入层节点数为4个,隐含层节点数估算方法为
其中,NH为最佳隐含层节点数;NI为输入层节点数;NO为输出层节点数;NP为训练样本数。
作为一种可实施方式,在所述BP神经网络的最佳结构中,还根据反向传播法来产生新的权值和阈值,所述反向传播法为:
ΔW(k+1)=(1-mc)·α+mc·ΔW(k);
Δθ(k+1)=(1-mc)·d+mc·Δθ(k);
其中,ΔW为新的权值,Δθ为新的阈值,α、d分别为系数,k为训练次数,mc为动量因子。
作为一种可实施方式,mc为0.95。
本发明相比于现有技术的有益效果在于:
本发明提供了一种基于检测产品特性的图像处理与检测系统,包括图像预处理模块、图像分割模块、特征抽取模块、数据预处理模块、神经网络学习模块和神经网络检测模块,其中,预处理模块采用对环境光强差异下的灰度级修正以及噪声平滑处理,提高图像的灰度对比度,实现检测图像与模板图像的匹配;图像分割模块采用了阈值分割技术,通过对系统定义感兴趣区域AOI进行局部动态阈值分割,使质量检测区域更具有针对性;特征抽取模块通过产品质量缺陷种类定义相应算法提取图像特征向量,提高产品质量检测效率。
附图说明
图1为本发明提供的基于检测产品特性的图像处理与检测系统的框图。
图中:100、图像预处理模块;200、图像分割模块;300、特征抽取模块;400、数据预处理模块;500、神经网络学习模块;600、神经网络检测模块。
具体实施方式
以下结合附图,对本发明上述的和另外的技术特征和优点进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的部分实施例,而不是全部实施例。
参照图1,本发明提供了一种基于检测产品特性的图像处理与检测系统,包括依次连接的图像预处理模块100、图像分割模块200、特征抽取模块300、数据预处理模块400、神经网络学习模块500以及神经网络检测模块600。其中,预处理模块采用对环境光强差异下的灰度级修正以及噪声平滑处理,提高图像的灰度对比度,实现检测图像与模板图像的匹配;图像分割模块200采用了阈值分割技术,通过对系统定义感兴趣区域AOI进行局部动态阈值分割,使质量检测区域更具有针对性;特征抽取模块300通过产品质量缺陷种类定义相应算法提取图像特征向量,提高产品质量检测效率。
以下,对图像预处理模块100、图像分割模块200、特征抽取模块300、数据预处理模块400、神经网络学习模块500以及神经网络检测模块600逐个进行说明。
本发明提供的基于检测产品特性的图像处理与检测系统,采用的图像预处理灰度级修正、平滑噪声的方法对图像进行预处理。这一过程由图像预处理模块100实现。
本发明提供的基于检测产品特性的图像处理与检测系统,采用阈值分割法对图像进行分割,首先根据被检测产品的特征选取一个适当的灰度级门限(阈值),然后将产品图像中的每个像素灰度和它进行比较,超过门限的重新分配以最大灰度(255),低于门限的分配以最小灰度(0),这样就能组成一个新的二值图像,并成功地把对象从背景中显露出来。这一过程由图像分割模块200实现。
本发明提供的基于检测产品特性的图像处理与检测系统,在图像分割的基础上对图像灰度信息进行度量,产生一组特征,把这些特征组合在一起,就形成了特征向量,被检产品图像的二值图及原图包含的信息量通常很大,不能直接将其提供给BP神经网络来检测判断,因此必须从二值图及原图中抽取一些特征,系统定义将包含质量问题可能出现的范围的矩形区域称为感兴趣区域AOI(area of interest,AOI),提取背景光亮度值,AOI光斑的大小,AOI中的最大灰度值和AOI中光斑离背景光的距离4个特征构成BP神经网络的输入特征向量。这一过程由特征抽取模块300实现。
本发明提供的基于检测产品特性的图像处理与检测系统,特征提取模块获取的数据采用S函数f(x)=1/(1+e-x)进行归一化到0至1之间,以便输入神经网络处理。这一过程由数据预处理模块400实现。
本发明提供的基于检测产品特性的图像处理与检测系统,产品质量缺陷种类较多、真缺陷与假缺陷不易区别。因此特征选取需根据具体要求而定。如在玻璃生产中质检人员根据缺陷的种类和产品需要,常常将玻璃块(产品)分成两个阶段进行检查。第一个阶段是对单个玻璃缺陷的检测,其目标是发现玻璃的缺陷,包括:气泡、夹杂、光畸变、粘锡、划伤、线道。第二个阶段是在第一阶段检测的基础上对整块玻璃分级。因此单个缺陷的检测是分类分级的基础。质检员对单个缺陷的大小十分关注,通常以长径来表示。对气泡而言即为最大的轴向距离,对不规则的夹杂而言即为核心缺陷曲边上两点间的最大距离,而对线性缺陷则指线长度。检测时必须将长径计算出来。软件的神经网络学习首先要确定BP神经网络的最佳结构。其中,输入层节点数取决于输入特征向量的维数,本系统中输入特征向量为4维,所输入层节点数为4个。输出层节点数一般可等于模式类别数,也可用输出结点的编码表示各模式类别。由于产品的质量问题类型一般只有两种:合格与不合格。因此,可确定输出层单元数为1,其输出为0时表示产品合格,输出为1时表示产品不合格。隐含层节点数目一般与问题的要求、输入输出单元的多少及训练样本数都有直接的关系,本系统采用隐含层节点数估算方法为:
其中,NH为最佳隐含层节点数;NI为输入层节点数;NO为输出层节点数;NP为训练样本数。
本系统采用附加动量法,在每一个权值和阈值的变化上加上一项正比于前次变化量的值,并根据反向传播法来产生新的权值和阈值,可以避免BP神经网络在学习过程中陷于局部极小值,加快学习速度。
ΔW(k+1)=(1-mc)·α+mc·ΔW(k);
Δθ(k+1)=(1-mc)·d+mc·Δθ(k);
其中,k为训练次数;mc为动量因子,一般取0.95左右。
在给定精度要求MSE≤104下,BP神经网络对选取的28个样本经过503次学习收敛后,将得到的权值和阈值写入文件保存起来,这是网络的学习结果。
系统通过对被检测产品的图像进行处理来获取特征向量,此向量作为输入网络的新模式。这一过程由神经网络学习模块500实现。
本发明提供的基于检测产品特性的图像处理与检测系统,神经网络检测就是通过调用BP神经网络的学习结果来对输入网络的新模式进行识别和分类,即对产品图像特征进行检测,并输出检测结果,最后由执行机对被检测玻璃瓶作相应处理。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,应当理解,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围。特别指出,对于本领域技术人员来说,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.基于检测产品特性的图像处理与检测系统,其特征在于,包括依次连接的图像预处理模块(100)、图像分割模块(200)、特征抽取模块(300)、数据预处理模块(400)、神经网络学习模块(500)以及神经网络检测模块(600);
所述图像预处理模块(100)用于修正原始图像的灰度级和平滑原始图像的噪声;
所述图像分割模块(200)用于对修正处理和平滑处理后的图像进行分割;
所述特征抽取模块(300)用于对分割后的图像的灰度进行度量,并产生相应的特征向量;
所述数据预处理模块(400)用于将特征向量归一化到0至1之间,并输入至所述神经网络学习模块(500);
所述神经网络学习模块(500)用于根据原始图像获取归一化后的特征向量,并生成相应的输入网络模式;
所述神经网络检测模块(600)用于对输入网络模式进行识别和分类。
2.根据权利要求1所述的基于检测产品特性的图像处理与检测系统,其特征在于,所述图像分割模块(200)用于根据阈值分割法对修正处理和平滑处理后的图像进行分割;其中,图像分割模块(200)先根据修正处理和平滑处理后的图像选取相应的灰度级阈值,再将修正处理和平滑处理后的图像中的每个像素灰度和灰度级阈值进行比较,并在像素灰度高于阈值时分配以最大灰度,在像素灰度低于阈值时分配以最小灰度,从而形成相应的二值图像。
3.根据权利要求2所述的基于检测产品特性的图像处理与检测系统,其特征在于,所述特征抽取模块(300)用于从二值图像和原始图像中抽取相关于灰度信息的特征,并生成相应的矩形区域,然后从矩形区域中提取背景光亮度值和矩形区域光斑的大小,产生相应的特征向量。
4.根据权利要求1至3中任一项所述的基于检测产品特性的图像处理与检测系统,其特征在于,所述数据预处理模块(400)用于根据S函数将特征向量归一化到0至1之间,并输入至所述神经网络学习模块(500);其中,S函数为f(x)=1/(1+e-x)。
5.根据权利要求1至3中任一项所述的基于检测产品特性的图像处理与检测系统,其特征在于,所述神经网络学习模块(500)用于根据原始图像获取归一化后的特征向量确定BP神经网络的最佳结构,其中,确定BP神经网络的最佳结构的方式为依次确定输入层节点数、输出层节点数以及隐含层节点数;再根据确定的输入层节点数、输出层节点数以及隐含层节点数生成相应的输入网络模式。
6.根据权利要求5所述的基于检测产品特性的图像处理与检测系统,其特征在于,在所述BP神经网络的最佳结构中,特征向量为4维,输入层节点数为4个,隐含层节点数估算方法为
其中,NH为最佳隐含层节点数;NI为输入层节点数;NO为输出层节点数;NP为训练样本数。
7.根据权利要求6所述的基于检测产品特性的图像处理与检测系统,其特征在于,在所述BP神经网络的最佳结构中,还根据反向传播法来产生新的权值和阈值,所述反向传播法为:
ΔW(k+1)=(1-mc)·α+mc·ΔW(k);
Δθ(k+1)=(1-mc)·d+mc·Δθ(k);
其中,ΔW为新的权值,Δθ为新的阈值,α、d分别为系数,k为训练次数,mc为动量因子。
8.根据权利要求7所述的基于检测产品特性的图像处理与检测系统,其特征在于,mc为0.95。
CN201710238000.9A 2017-04-12 2017-04-12 一种基于检测产品特性的图像处理与检测系统 Pending CN106997590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710238000.9A CN106997590A (zh) 2017-04-12 2017-04-12 一种基于检测产品特性的图像处理与检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710238000.9A CN106997590A (zh) 2017-04-12 2017-04-12 一种基于检测产品特性的图像处理与检测系统

Publications (1)

Publication Number Publication Date
CN106997590A true CN106997590A (zh) 2017-08-01

Family

ID=59433943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710238000.9A Pending CN106997590A (zh) 2017-04-12 2017-04-12 一种基于检测产品特性的图像处理与检测系统

Country Status (1)

Country Link
CN (1) CN106997590A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392931A (zh) * 2017-08-08 2017-11-24 南京敏光视觉智能科技有限公司 条烟品牌分类装置及方法
CN107705293A (zh) * 2017-09-14 2018-02-16 广东工业大学 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法
CN111251296A (zh) * 2020-01-17 2020-06-09 温州职业技术学院 一种适用于码垛电机转子的视觉检测系统
CN112313718A (zh) * 2018-06-28 2021-02-02 3M创新有限公司 材料样品的基于图像的新颖性检测

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101424645A (zh) * 2008-11-20 2009-05-06 上海交通大学 基于机器视觉的焊球表面缺陷检测装置与方法
CN102393908A (zh) * 2011-06-29 2012-03-28 湖南大学 混合生产线上的基于机器视觉检测的三种瓶体识别方法
CN103324959A (zh) * 2013-07-01 2013-09-25 智美达(江苏)数字技术有限公司 播种质量检测方法和装置
CN105334219A (zh) * 2015-09-16 2016-02-17 湖南大学 一种残差分析动态阈值分割的瓶口缺陷检测方法
CN106023195A (zh) * 2016-05-18 2016-10-12 河南师范大学 基于自适应遗传算法的bp神经网络图像分割方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101424645A (zh) * 2008-11-20 2009-05-06 上海交通大学 基于机器视觉的焊球表面缺陷检测装置与方法
CN102393908A (zh) * 2011-06-29 2012-03-28 湖南大学 混合生产线上的基于机器视觉检测的三种瓶体识别方法
CN103324959A (zh) * 2013-07-01 2013-09-25 智美达(江苏)数字技术有限公司 播种质量检测方法和装置
CN105334219A (zh) * 2015-09-16 2016-02-17 湖南大学 一种残差分析动态阈值分割的瓶口缺陷检测方法
CN106023195A (zh) * 2016-05-18 2016-10-12 河南师范大学 基于自适应遗传算法的bp神经网络图像分割方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴盛金: "注塑制品表面缺陷分析及自动识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392931A (zh) * 2017-08-08 2017-11-24 南京敏光视觉智能科技有限公司 条烟品牌分类装置及方法
CN107705293A (zh) * 2017-09-14 2018-02-16 广东工业大学 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法
CN112313718A (zh) * 2018-06-28 2021-02-02 3M创新有限公司 材料样品的基于图像的新颖性检测
US11816946B2 (en) 2018-06-28 2023-11-14 3M Innovative Properties Company Image based novelty detection of material samples
CN111251296A (zh) * 2020-01-17 2020-06-09 温州职业技术学院 一种适用于码垛电机转子的视觉检测系统
CN111251296B (zh) * 2020-01-17 2021-05-18 温州职业技术学院 一种适用于码垛电机转子的视觉检测系统

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN107507153B (zh) 图像去噪方法和装置
CN106997590A (zh) 一种基于检测产品特性的图像处理与检测系统
CN111582359B (zh) 一种图像识别方法、装置、电子设备及介质
CN106650721A (zh) 一种基于卷积神经网络的工业字符识别方法
CN111539957B (zh) 一种用于目标检测的图像样本生成方法、系统及检测方法
CN110781976B (zh) 训练图像的扩充方法、训练方法及相关装置
CN111798404B (zh) 基于深度神经网络的虹膜图像质量评估方法及评估系统
CN206897873U (zh) 一种基于检测产品特性的图像处理与检测系统
CN113256624A (zh) 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质
CN110969046A (zh) 人脸识别方法、设备及计算机可读存储介质
CN111275684A (zh) 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN112381177A (zh) 一种基于深度学习的表盘数字字符识别方法及系统
CN107024480A (zh) 一种立体图像采集装置
CN102314598A (zh) 基于Retinex理论的复杂光照下的人眼检测方法
Turi et al. Classification of Ethiopian coffee beans using imaging techniques
CN117456230A (zh) 一种数据分类方法、系统及电子设备
CN117611571A (zh) 一种基于改进yolo模型的带钢表面缺陷检测方法
Sultana et al. Design and development of fpga based adaptive thresholder for image processing applications
Omarov et al. Machine learning based pattern recognition and classification framework development
Pangestu et al. Histogram equalization implementation in the preprocessing phase on optical character recognition
CN207181307U (zh) 一种立体图像采集装置
CN112287898B (zh) 一种图像的文本检测质量评价方法及系统
CN112489068A (zh) 一种基于卷积神经网络的医学图像分割的方法
CN113469224A (zh) 一种基于卷积神经网络与特征描述算子相融合的大米分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170801