CN103903009A - 一种基于机器视觉的工业品检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的工业品检测方法，本发明为：1）对每种类型的工业产品进行采样与统计，得出该类型工业产品自身色差分布的统计模型和纹理方差分布的统计模型；2）从色差分布的统计模型中提取工业产品的色差特征，从纹理方差分布的统计模型中提取工业产品的纹理特征，根据提取的色差特征和纹理特征建立特征空间；3）利用支持向量机SVM对该特征空间进行划分，得到最优超平面作为对待检测物品进行检测的决策分类器，即分类阈值；4）利用粒子滤波框架对待测物品的色差与纹理进行采样，得到待检样本的统计向量；然后将该统计向量输入所述决策分类器，得到待测物品的类别。本发明大大改善了现行工业化生产中检测工序。

Description

一种基于机器视觉的工业品检测方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于机器视觉的工业品检测方法，可以对生产线上的工业产品进行分类检测，可实现产品分类等功能。

背景技术

在现代工业生产过程中，产品质量检测是一道重要的工序，通常一个产品的质量首先通过工业制品的外观来进行初步判断，例如，产品色差，尺寸，外观。这种工业产品通常在流水线上生产，对生产的连续性与高速通过性有很高的要求。这类流水线的检测工作通常具有很高的重复性与智能性，目前在国内的绝大多数生产线上只能靠人工来识别。在现代化工业的今天，一个大型的工厂快速流水线的生产最末环节，往往需要数以百计的工人来执行产品检测这道工序。但是人工检测在给企业带来巨大的生产与人力成本的同时，却仍然无法保证人工检测的100%正确率。例如产品的色差与纹理检测，微小尺寸工业制品的外观检测，都无法通过人眼快速连续的进行可靠、准确的检测。

因此，完全自动化的工业品检测技术将是未来流水线工业生产的趋势。但是国内在工业产品质量自动检测方面的研究起步较晚，技术还不成熟。虽然最近几年来，各大高校以及研究所投入了大量的人力物力开展这方面的研究，但是国内对于工业产品质量自动检测技术的研究还处试验阶段，并没有可靠而稳定的产品推出。

此外机器视觉技术的快速发展已经使自动化检测实现成为可能，国内现有一些工业品检测系统，需要人工对产品的色差纹理合格的阈值进行人工设置。该类检测系统在一定程度上提高了生产效率，但由于阈值设置不一定合理，且该检测技术缺乏智能性与学习判断能力，因此检测的正确率依然无法达到要求。

发明内容

针对现有技术中存在的技术问题，本发明目的在于提供一种基于机器视觉的工业品检测方法，彻底改善现行工业化生产中检测工序，克服了现行检测技术需要人工设定阈值的弊端，可以彻底消除人为判断误差对检测结果的影响。同时创新性的检测过程中引入粒子滤波框架对工业产品表面进行采样。

本发明的技术方案为：

一种基于机器视觉的工业品检测方法，其步骤为：

1）对每种类型的工业产品进行采样与统计，得出该类型工业产品自身色差分布的统计模型和纹理方差分布的统计模型；

2）从色差分布的统计模型中提取工业产品的色差特征，从纹理方差分布的统计模型中提取工业产品的纹理特征，根据提取的色差特征和纹理特征建立特征空间；

3）利用支持向量机SVM对该特征空间进行划分，得到最优超平面；将该最优超平面作为对待检测物品进行检测的决策分类器，即分类阈值；

4）利用粒子滤波框架对待测物品的色差与纹理进行采样，得到待检样本的统计向量；然后将该统计向量输入所述决策分类器，得到待测物品的类别。

进一步的，所述支持向量机SVM为线性支持向量机；所述线性支持向量机将所提取的纹理特征与色差特征形成向量，并映射到一高维空间里，在该空间里建立有一最大间隔超平面；然后在分隔超平面的两边建有两个互相平行的超平面；通过求解分隔超平面使两个平行超平面的距离最大化，得到所述最优超平面。

进一步的，得到所述最优超平面的方法为：

31)将步骤2）所提取的纹理特征和色差特征随机均分拆成n个组；

32）训练其中某一组数据并用其他组数据测试，得到第一组参数；

33）选取另外一组数据训练，用其他组数据测试得到第二组参数；以此类推进行交叉验证，共得到n组参数，比较这n组数据的识别结果，选择一组最优的参数，即得到了所述最优超平面。

进一步的，所述利用粒子滤波框架对待测物品的色差与纹理进行采样的方法为：

41）从待检物品的图像色差与纹理特征结合随机抽取m个样本；

42）得到每一个样本的方差统计信息；

43）针对方差统计信息，如果有差异大于设定阈值的样本，对其临近区域加大采样权重，进行重新采样，每个样本被选中的概率正比于其权重，即进行重要性采样；

44）当样本的重采样的权值小于给定的门限值时，则重新进行重要性采样。

本发明基于机器视觉领域的技术进行工业产品检测分类，以下为本发明技术内容：

本发明的核心部分由学习过程与检测部分过程构成，其中学习过程采取一种色差检测与纹理分析结合的新型分类器训练方法；检测部分基于粒子滤波采样框架进行采样。对于发明核心的两种方法介绍如下：

一、色差检测与纹理分析结合的双特征分类器训练方法

本发明首先在工业产品检测技术中创新性的提出训练模块，首先通过大量工业产品样本对系统中的分类模块进行训练，对工业产品样本通过随机采样，从而进行色差检测，纹理判断，接着利用得到的原始数据（即提取样本的特征），然后利用支持向量机(SVM)训练得出正负样本的二分类阈值。对于每种类型的工业产品，通过大量采样，进行统计学习，得出每类工业产品自身色差分布的统计模型和纹理方差分布的统计模型。

1.色差判断与纹理判断

色差判断利用工业界通用的工业品色差检测方法，其工作原理为首先选择匹配的色彩空间，然后利用适合的色差计算公式计算色差。

颜色空间包括RGB颜色空间、XYZ颜色空间、LAB颜色空间3种。其中，RGB颜色空间是不均匀的，不能用来计算色差。XYZ颜色空间虽然消除了r、g、b出现负数的情况，但也是不均匀的颜色空间，不能用于色差的计算。LAB色彩模型是由L（明度）、A（颜色）、B（颜色）3个要素组成。其中，A表示从红色到绿色的范围，B表示从黄色到蓝色的范围。LAB颜色空间是一个均匀的颜色空间，符合人的视觉感受。当颜色的差异为人眼所识别并且这个差值又小于孟塞尔系统中相邻两级的色差值时，可反映观察人员对产品的实际感受。

故先将RGB颜色空间转换到XYZ颜色空间，我们主要利用如下两个公式进行转换：

RGB颜色空间到XYZ颜色空间转换公式为：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left(\begin{array}{ccc}0.430574& 0.341550& 0.178325\\ 0.222015& .0706655& 0.071330\\ 0.020183& 0.129553& 0.939180\end{array}\right)\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

其次，将XYZ颜色空间转换到LAB颜色空间，转换公式为:

$L=\left\{\begin{array}{cc}166\×{(Y/Y_N)}^{1/3}-16& Y/Y_N\≤0.008856\\ 903.3\×(Y/Y_N)& Y/Y_N\≤0.008856\end{array}\right.$

a=500×(f(X/X_N)-f(Y/Y_N))

b=200×(f(Y/Y_N)-f(Z/Z_N))

$f\left(t\right)=\left\{\begin{array}{cc}{t}^{1/3}& Y/Y_N>0.008856\\ 7.787\×t+16/116& Y/Y_N\≤0.008856\end{array}\right.$

在转换到LAB颜色空间后，可以得到LAB颜色空间的色差公式:在2001年的时候，国际照明委员会在LAB色差公式的基础上提出了CIEDE2000色差公式，很好地解决了对小色差的检测。故采用CIEDE2000色差公式如下：

${\mathrm{\ΔE}}_{00}=\sqrt{{\left(\frac{{\mathrm{\ΔL}}^{\′}}{K_L{S}_L}\right)}^2+{\left(\frac{{{\mathrm{\ΔC}}^{\′}}_{\mathrm{ab}}}{K_C{S}_C}\right)}^2+{\left(\frac{{{\mathrm{\ΔH}}^{\′}}_{\mathrm{ab}}}{K_H{S}_H}\right)}^2+K_T\left(\frac{{{\mathrm{\ΔC}}^{\′}}_{\mathrm{ab}}}{K_C{S}_C}\right)\left(\frac{{{\mathrm{\ΔH}}^{\′}}_{\mathrm{ab}}}{K_H{S}_H}\right)}$

其中ΔL'，ΔC'_ab，ΔH'_ab分别表示明度差、彩度差、和色相。S_L，S_C和S_H称为权重函数，允在LAB颜色空间中根据渔区的不同进行各自的调整，以校正该空间的均匀性。K_L，K_C和K_H是与使用条件相关的校正系数，他们是营销色差感觉的因素。

纹理判断的采样统计阶段，采用对工业产品表面纹理进行灰度方差统计方法，结合梯度向量模型，统计结果单峰性好、灵敏度高、清晰图像的梯度得出纹理方差的统计模型。具体方法为，将从两种工业产品获取的LAB颜色空间变换到灰度空间，在灰度空间在对两块工业产品图片进行随机采样，采样为方形面片。对采样自同一块工业产品的面片对进行方差计算与梯度特征计算提取。

2.支持向量机（SVM）分类器训练

现行大部分工业产品检测分类技术是由人工进行工业产品分类的阈值设定，这直接导致了人为主观误差与经验型误差在分类中的存在。我们在发明中引入支持向量机在前期进行检测前的样本训练，根据色差和纹理两个特征提取特征并形成特征空间，对特征空间划分的最优超平面是SVM的目标，该超平面就是最终对检测物品进行划分检测的决策分类器，即形成了一个分类阈值。

由于少数的支持向量决定了最终的SVM的分类结果，所以，可以利用这些支持向量来简化分类的过程，主要针对类别的支持向量进行研究而不必关心大量的样本信息，去除了大量的冗余，节省了大量的训练时间。SVM相对于其他分类识别算法简单可行，而且具有较好的鲁棒性。

大量的理论研究表明，SVM具有其他学习方法所没有的推广能力，它可以确定模型的界，使得分类的依据更具有说服力，因此，具有推广能力的SVM也具有很广泛的应用空间。

SVM数据分类模型的建立不需要过多的人为干预，实际经验表明越少人为干预，实验的结果越客观，所以，采用SVM建立模型可以有效、准确、客观的反映分类情况。

而具体到本发明中利用线性支持向量机将所提取的纹理与色差信息形成向量，并映射到一个高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面（即分隔超平面）的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。然后在这个新空间中求解最优线性分类问题。通过色差与纹理方差统计得出的结果进行求解。

由步骤一中得到原始数据的线性样本参数为{(x_i,y_i)|x_i∈R^m,y_i∈{+1,-1},i=1,2,3···,n}，其中x_i代表输入向量，y_i代表分类标记，R^m表示m维空间，所需求解的线性判别函数的一般形式为g(x)=wgx+b，分类面的方程为wx+b=0，所有最终使公式成立的样本，叫做支持向量。

由公理可知求解最优解需要满足α_i(y_i[(w·x)+b]-1)=0

在支持向量系数α_i不为0的时候，其他的支持向量才对最终的划分结果有所影响，于是w可以表示为

最优分类面的权系数向量是训练样本向量的线性组合。若α_i ^*是一个最优系数，求解问题的线性判别函数可以表示为：

$f\left(x\right)=\mathrm{sgn}\{\left(w^{*}x\right)+b^{*}\}=\mathrm{sgn}\{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{{\mathrm{\α}}_i}^{*}{y}_i\left(x_{i}x\right)+b^{*}\}$

b^*是分类阈值，可以由任意一个支持向量求得，对于给定的样本x，根据判别函数便可以求得分类。所有的的变量都加了星号，是一种结果。

本发明实际应用中需要较优的惩罚系数和核函数参数，因此在实际应用中我们还将原始数据（即通过色差与纹理采样得到的特征量）分成更多的组，在组与组之间进行反复训练与交叉测试。具体交叉校验的基本工作原理可以概括如下：

1.将原始输入数据准备就绪，然后将它们随机均分拆成m个组；

2.训练其中某一组数据并用其他组数据测试，此时得到第一组参数，即上述分类平面公式中的分类平面方程参数w，b；

3.然后再用另外一组数据训练，接着用其他组数据测试得到第二组参数。以此类推，总共得到m组参数，比较这nm组数据的识别结果；

4.选择结果中一组最优的参数对整个输入数据进行训练，这组参数也是交叉校验最后得到的参数，它也可以作为整个实验的最优参数；即在高维空间得到了最优超平面。

交叉校验过程不仅可以取得最优参数，而且能够全面考虑各种输入数据的不同属性特征，从而可以避免欠学习、过学习问题的产生。

通过以上支持向量机在工业产品大量样本训练中的应用，将待检测样品进行检测后便得到了最终的分类结果。

二、结合利用粒子滤波框架采样的样本检测

本发明中的训练分类器阶段，由于训练分类器精准的需要，要确保训练样本色差纹理分布相对均匀，我们采用了随机采样的方法便可获得可靠的采样结果。但是对于实际检测中，待测产品的分布状况层次不齐，如果继续使用随机采样势必会影响采样结果的准确性。

因此在本发明的检测阶段，我们引入粒子滤波框架这一重要的概率模型，它是利用粒子集来表示概率，可以用在任何形式的状态空间模型上。其核心思想是通过从后验概率中抽取的随机状态粒子来表示其分布情况，是一种顺序重要性采样法。以下是本发明的粒子滤波框架的核心采样流程：

1.从待检产品的图像色差与纹理特征结合随机抽取m个有限样本。

2.得到每一个样本的方差统计信息。

3.针对通过统计信息，如果有差异的样本，对其临近区域加大采样权重，进行重新采样，即进行重要性采样。

4.当样本的重采样的权值小于给定的门限值时，重复第3部。否则至第5部。

5.结束并输出统计信息。

利用以上的流程，本发明对样本的色差与纹理进行采样，获取待检样本的统计向量，对于粒子滤波框架而言，当遇到差别较大的区域，将会加重对其临域内的采样。以期获得更加准确可靠的采样数据。接着通过训练出的分类器对工业产品进行准确分类。

本发明的技术效果：

本发明解决了大规模工业生产中工业产品检测的难题，节省人工成本，简化了现有检测分类设备，将检测方式从设备硬件依赖向系统软件依赖进行转变，大幅度降低检测成本，方便技术推广与应用。从机器视觉领域创新性的引入训练机制，检测过程中结合粒子滤波框架，可以使得检测过程更加智能。检测准确性大幅度提高。

附图说明

下面结合附图，对本发明做出详细描述。

图1视觉训练与检测部分流程图。

图2基于机器视觉的工业产品分类系统流程图。

图3基于本发明的系统集成架构图。

图4两类不同工业产品色差统计图。

（a）工业制品1色差采样结果；样本数量200，样本大小20；

（b）工业制品1色差采样统计分布；样本数量200，样本大小20；

（c）工业制品2色差采样结果；样本数量200，样本大小20；

（d）工业制品2色差采样统计分布；样本数量200，样本大小20；

图5两类不同工业产品纹理方差分析图。

（a）工业制品1纹理采样结果；样本数量4000，样本大小40；

（b）工业制品1纹理采样统计分布；样本数量4000，样本大小40；

（c）工业制品2纹理采样结果；样本数量4000，样本大小40；

（d）工业制品2纹理采样统计分布；样本数量4000，样本大小40；

具体实施方式

本发明的主要内容主要集中在机器视觉的检测机制方面，我们采取了一种简单可靠的方式进行发明的系统实现。流程图如图2所示，系统集成方案如下（图3）：

1、图像获取模块

该模块由一个摄像头和光源构成，可以获取工业产品图像的输入，同时光源可以保证获取图像的清晰准确性。摄像头将获取的图像交由可以进行图像处理的计算机进行信息处理

2、图像处理模块

该模块是整个发明的重点，机器的技术提升大大提高了本发明的可靠性，如图1所示，本模块又可以分为模板训练，样本检测两个关键技术，模板训练我们采用随机采样获取大量样本的色差与纹理的采样结果（图4、图5），并通过支持向量机训练出不同工业产品的分类模板。

样本检测阶段我们直接将工业产品进行检测，系统会进行自动分类，并给你分类结果。样本检测阶段我同通过独特的粒子滤波框架进行扫描，大大提高了抽样的准确率。

3、反馈模块

由计算机发出信号，对流水线进行分类控制，实现工业产品的自动分类，可用于不良品检测或者工业产品流水线差异化分类等用途。

上述实例只是本发明的举例，尽管为说明目的公开了本发明的最佳实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换、变化和修改都是可能的。因此，本发明不应局限于最佳实施例和附图所公开的内容。

Claims (4)

1.一种基于机器视觉的工业品检测方法，其步骤为：

1）对每种类型的工业产品进行采样与统计，得出该类型工业产品自身色差分布的统计模型和纹理方差分布的统计模型；

2）从色差分布的统计模型中提取工业产品的色差特征，从纹理方差分布的统计模型中提取工业产品的纹理特征，根据提取的色差特征和纹理特征建立特征空间；

3）利用支持向量机SVM对该特征空间进行划分，得到最优超平面；将该最优超平面作为对待检测物品进行检测的决策分类器，即分类阈值；

4）利用粒子滤波框架对待测物品的色差与纹理进行采样，得到待检样本的统计向量；然后将该统计向量输入所述决策分类器，得到待测物品的类别。

2.如权利要求1所述的方法，其特征在于所述支持向量机SVM为线性支持向量机；所述线性支持向量机将所提取的纹理特征与色差特征形成向量，并映射到一高维空间里，在该空间里建立有一最大间隔超平面；然后在分隔超平面的两边建有两个互相平行的超平面；通过求解分隔超平面使两个平行超平面的距离最大化，得到所述最优超平面。

3.如权利要求1或2所述的方法，其特征在于得到所述最优超平面的方法为：

31)将步骤2）所提取的纹理特征和色差特征随机均分拆成n个组；

32）训练其中某一组数据并用其他组数据测试，得到第一组参数；

33）选取另外一组数据训练，用其他组数据测试得到第二组参数；以此类推进行交叉验证，共得到n组参数，比较这n组数据的识别结果，选择一组最优的参数，即得到了所述最优超平面。

4.如权利要求1所述的方法，其特征在于所述利用粒子滤波框架对待测物品的色差与纹理进行采样的方法为：

41）从待检物品的图像色差与纹理特征结合随机抽取m个样本；

42）得到每一个样本的方差统计信息；

43）针对方差统计信息，如果有差异大于设定阈值的样本，对其临近区域加大采样权重，进行重新采样，每个样本被选中的概率正比于其权重，即进行重要性采样；

44）当样本的重采样的权值小于给定的门限值时，则重新进行重要性采样。

Images