CN106504262A - 一种多特征融合的小瓷砖智能定位方法 - Google Patents

Abstract

本发明公开一种多特征融合的小瓷砖智能定位方法，包括以下步骤：步骤1，图像采集通过高速线阵CCD相机采集图像；步骤2，图像预处理，先灰度化图像，再进行滤波去噪处理，对滤波图采用边缘检测算法分割，再提取小瓷砖轮廓，得瓷砖轮廓图；步骤3，特征提取，基于步骤2的轮廓图中瓷砖轮廓的几何特性生成相应的基元特征；利用步骤2的滤波图与轮廓掩膜图进行逻辑与运算，再将运算结果图转入HSV颜色空间，并生成颜色特征；将基元特征与颜色特征生成组合特征；步骤4，图像目标判定；步骤5，瓷砖定位。本发明完成了在大FOV下小瓷砖的高精度定位，为视觉检测与机器人抓取提供精确的定位数据，且多分割单元可在多线程系统中并发运行，提高系统的实时性。

Description

一种多特征融合的小瓷砖智能定位方法

技术领域

本发明属于基于机器视觉的瓷砖定位分割技术领域，特别涉及一种多特征融合的小瓷砖智能定位方法。

背景技术

瓷砖通过在工厂的生产流水线上批量生产，烧制好的瓷砖从传送带上传至包装区域，此过程中通过工业机器人检测并定位到瓷砖的位置，进行抓取、搬运和装箱，这其中涉及到对于不同大小的瓷砖需要分析后分别包装，目前瓷砖检测的定位方法为两种：一种是通过人工借助测量工具与经验在线定位，另一种是借助特殊设计的机械结构安装传感器(即工业机器人)完成定位。人工检测受操作人员的经验、测量工具、疲劳度等因素的影响，不可避免带来定位误差。机械定位主要是机械结构无法适应多种规格的瓷砖类型，需要耗费较高的定位成本且适应性较差，尤其对于大视场(Field of View)下的小规格瓷砖，由于无法预估当前FOV下小瓷砖数量且运动位置存在不确定性，以上两种方法均无法满足小型瓷砖的定位需求。当前国内各大科研单位与院校对小瓷砖高精度定位方法研究还比较少，因此针对传统定位方法成本高、适应性差、精度低的问题，开发智能化的小瓷砖定位方法成为自动化检测必然趋势。

发明内容

本发明为解决上述问题，提供了一种多特征融合的小瓷砖智能定位方法，结合机器视觉的梯度分割、颜色空间、几何基元和ROI技术，完成了在大FOV下，任意放置角度、复杂环境当中小瓷砖的高精度定位，为视觉检测与机器人抓取提供精确的定位数据，而且多分割单元可在多线程系统中并发运行，大大提高系统的实时性。

为实现上述目的，本发明采用的技术方案为：

一种多特征融合的小瓷砖智能定位方法，包括以下步骤：

步骤1，图像采集

通过高速线阵CCD相机采集图像；

步骤2，图像预处理

先灰度化图像，再进行滤波去噪处理，对滤波图采用边缘检测算法分割，再提取小瓷砖轮廓，得瓷砖轮廓图；

步骤3，特征提取

基于步骤2的轮廓图中瓷砖轮廓的几何特性生成相应的基元特征，基元特征包括宽度、高度和完整度；

先将轮廓图转为轮廓掩膜图，利用步骤2的滤波图与轮廓掩膜图进行逻辑与运算得到运算结果图，运算结果图转入HSV颜色空间，并生成颜色特征，颜色特征包括色调和饱和度；

将基元特征与颜色特征组合成组合特征，组合特征包括长度、宽度、完整度、色调和饱和度；

步骤4，图像目标判定

将步骤3的组合特征与标准特征参数进行比较，若组合特征中任一参数不满足门限阈值则判定为步骤1采集的图像中不是定位瓷砖类型，若组合特征中所有参数均满足对应的门限阈值则判定采集的图像是定位瓷砖类型；

所述的标准特征参数是采用带有样本标准瓷砖的图像进行组合特征提取，再将组合特征参数在高斯训练模型中训练所生成，组合特征参数包括长度、宽度、完整度、色调和饱和度五个特征的阈值；

步骤5，瓷砖定位：

针对判定是定位瓷砖类型的图像，以瓷砖轮廓的外接矩形的角点为基准生成对应的ROI区域，将ROI区域分割成独立处理单元，ROI区域即包含整块瓷砖边界区域的图像；

计算瓷砖轮廓即独立处理单元的质心，该质心作为工业机器人抓取瓷砖的定位基准，将该质心数据传送至工业机器人系统中。

所述步骤2图像预处理具体为：

灰度化图像后，采用基于高斯核函数的双边滤波对采集图像进行滤波去噪处理，滤波公式如下：

其中，系数σ_s为空域高斯函数的标准差，σ_r为值域高斯函数的标准差，Ω表示卷积的定义域，f(x)与f(y)分别表示图像邻域的像素值；

小瓷砖分割采用Canny边缘检测算法，边缘检测成功后，采用8连通链码区域的Freeman链码对轮廓进行存储与表示。

所述步骤3特征提取具体为：

根据瓷砖自身的几何特性，即瓷砖轮廓基元与最小斜外接矩形的拟合，利用最小斜外接矩形作为其轮廓的几何基元，且生成相应的基元特征，分别为宽度、高度、完整度；

将滤波图与轮廓图像作逻辑“与”运算得到掩膜图像，将生成的掩膜图像转换到符合人类认知环境的HSV颜色空间，从中派生出两个颜色指标：色调分量与饱和度分量，生成用于瓷砖定位的颜色特征；

将颜色特征与基元特征一起构成定位的组合特征。

所述步骤4图像目标判定公式为：

其中，i＝{0,1,2,3,4,5}，分别代表组合特征中的高度、宽度、完整度、色调、饱和度5个特征信息，g(f_ti)是特征判别的结果函数，当函数值等于1时，判别其为定位目标，即为含有瓷砖的图像，否则判别其不是定位的目标，即不含有瓷砖的图像，f_ti.是判别目标的某一特征参数值，f_si为经过训练对应的标准参数最优值，T_i是判别容许的上下偏差，该值决定着对非定位目标的包容程度。

所述步骤4的标准特征参数获取步骤如下：

对样本进行先行的数据测试，得到样本群的各个组合特征特征对应的数据库，所述样本为去除复杂环境其他物体的干扰调节下采集的带有瓷砖的图像，样本群包括了多个样本；

单独对各个特征数据进行高斯建模，得到特定特征的高斯模型；所述高斯模型如下：

x_i，μ_i，σ_i，f(x_i)分别代表标记特征i的数据集，均值，标准差以及对应的概率密度；

去除特征数据落在对应高斯模型(μ-3σ，μ+3σ)以外的区域部分；

对处理后的数据进行均值化处理，得到训练模型的最优参数值作为标准特征参数。

所述步骤5计算瓷砖轮廓即处理单元的质心具体是：

设瓷砖提取的轮廓模型为v＝{Ci|Ci＝(xi,yi),i＝1,2…N}，N为轮廓点集总数，其质心的坐标为O(x0,y0)，计算方法如下式所示：

采用上述技术方案后，本发明具有以下优点：

1、将机器视觉多特征融合技术引入到瓷砖定位，其检测流程不受操作人员的经验、测量工具、疲劳度等因素的影响。

2、采用基于高斯核函数的双边滤波对采集图像进行滤波，保证了瓷砖轮廓的边缘。

3、可以完成在大FOV(视场)下，任意放置角度、复杂环境当中小瓷砖的高精度定位，定位精度可达0.2mm。

3、基于几何基元与颜色分量的组合特征大大提高了瓷砖定位的鲁棒性与准确性。

4、没有采用传统人工经验预估值，而是采用基于高斯函数的训练模型得到标准参数的最优值，准确度更高。

5、设计了门限阈值的组合特征判别公式，采用串联模块化程序设计，提前跳出终止判定，减少定位的时间。

6、使用ROI技术将定位瓷砖目标分离成为独立的分割单元，以其质心作为机器人定位抓取的位置依据。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的流程简图；

图2a是小瓷砖采集部分灰度滤波图；

图2b是小瓷砖轮廓提取效果图；

图3是小瓷砖ROI分割图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示的一种多特征融合的小瓷砖智能定位方法，包括以下步骤：

步骤1，图像采集

通过高速线阵CCD相机采集图像；

步骤2，图像预处理

先灰度化图像，再进行滤波去噪处理，对滤波图采用边缘检测算法分割，再提取小瓷砖轮廓，得瓷砖轮廓图；

步骤3，特征提取

基于步骤2的轮廓图中瓷砖轮廓的几何特性生成相应的基元特征，基元特征包括宽度、高度和完整度；

先将轮廓图转为轮廓掩膜图，利用步骤2的滤波图与轮廓掩膜图进行逻辑与运算得到运算结果图，运算结果图转入HSV颜色空间，并生成颜色特征，颜色特征包括色调和饱和度；

将基元特征与颜色特征组合成组合特征，组合特征包括长度、宽度、完整度、色调和饱和度；

步骤4，图像目标判定

将步骤3的组合特征与标准特征参数进行比较，若组合特征中任一参数不满足门限阈值则判定为步骤1采集的图像中不是定位瓷砖类型，即该图像对应的瓷砖为不需要定位的目标，若组合特征中所有参数均满足对应的门限阈值则判定采集的图像是定位瓷砖类型，即该图像对应的瓷砖为需要定位的目标；

所述的标准特征参数是采用带有样本标准瓷砖的图像进行组合特征提取，再将组合特征参数在高斯训练模型中训练所生成，组合特征参数包括长度、宽度、完整度、色调和饱和度五个特征的阈值；

步骤5，瓷砖定位：

针对判定是定位瓷砖类型的图像，以瓷砖轮廓的外接矩形的角点为基准生成对应的ROI区域，将ROI区域分割成独立处理单元，ROI区域即包含整块瓷砖边界区域的图像；

计算瓷砖轮廓即独立处理单元的质心，该质心作为工业机器人抓取瓷砖的定位基准，将该质心数据传送至工业机器人系统中。

本实施例的步骤2图像预处理具体为：

灰度化图像后，采用基于高斯核函数的双边滤波对采集图像进行滤波去噪处理，如图2a所示，滤波公式如下：

其中，系数σ_s为空域高斯函数的标准差，σ_r为值域高斯函数的标准差，Ω表示卷积的定义域，f(x)与f(y)分别表示图像邻域的像素值；为了获取高精度的瓷砖边缘，采用基于高斯核函数的双边滤波对采集图像进行滤波去噪处理，双边滤波通过在卷积的过程中采用组合空域函数和值域核函数来实现，相比其他常见的滤波算法，保边效果更好。

小瓷砖分割采用Canny边缘检测算法，边缘检测成功后，采用8连通链码区域的Freeman链码对轮廓进行存储与表示，小瓷砖轮廓提取效果图如图3所示。

所述步骤3特征提取具体为：

根据瓷砖自身的几何特性，即瓷砖轮廓基元与最小斜外接矩形的拟合，利用最小斜外接矩形作为其轮廓的几何基元，且生成相应的基元特征，分别为宽度、高度、完整度；斜外接矩形是随瓷砖的轮廓随动的基元包络线，因此可以保证在任意角度捕捉到瓷砖的目标，不受瓷砖摆放位置的影响。这里提取的宽度、高度、完整度信息是基于小瓷砖轮廓基元的几何特征，并不是直接从提取的边缘上获得；基元几何特征计算时间快，稳定性更高，因为其属于计算机图形学包络线的一种，对目标具有很好的描述特性，且会生成轮廓本身不具备的信息。

先将轮廓图转为轮廓掩膜图，轮廓掩膜图最大特征是可以控制任意形状的感兴趣区域，将与瓷砖目标无关的特征全部屏蔽，再将滤波图与轮廓掩膜图作逻辑“与”运算，的运算结果图，再将运算结果图转换到符合人类认知环境的HSV颜色空间，从中派生出两个颜色指标：色调分量与饱和度分量，生成用于瓷砖定位的颜色特征；忽略掉V(亮度分量)的原因在于亮度通道容易受外界环境光的影响，造成一定的特征波动，不具有稳定的描述特性；

将颜色特征与基元特征一起构成定位的组合特征。本发明关键在于同时使用HSV颜色空间的H(色调分量)与S(饱和度分量)，描述特性更加全面，H(色调分量)作为HSV颜色空间中最为重要和稳定的描述特征，可以区别不同颜色色谱之间的差别，对瓷砖描述非常重要，RGB颜色空间的最大的缺陷在于三个颜色特征耦合性太大，不独立，易造成描述特征混淆与干扰。

步骤4图像目标判定公式为：

其中，i＝{0,1,2,3,4,5}，分别代表组合特征中的高度、宽度、完整度、色调、饱和度5个特征信息，g(f_ti)是特征判别的结果函数，当函数值等于1时，判别其为定位目标，即为含有瓷砖的图像，否则判别其不是定位的目标，即不含有瓷砖的图像，f_ti.是判别目标的某一特征参数值，f_si为经过训练对应的标准参数最优值，T_i是判别容许的上下偏差，该值决定着对非定位目标的包容程度。

步骤4的标准特征参数获取步骤如下：

对样本进行先行的数据测试，得到样本群的各个组合特征特征对应的数据库，所述样本为去除复杂环境其他物体的干扰调节下采集的带有瓷砖的图像，样本群包括了多个样本；

单独对各个特征数据进行高斯建模，得到特定特征的高斯模型；所述高斯模型如下：

x_i，μ_i，σ_i，f(x_i)分别代表标记特征i的数据集，均值，标准差以及对应的概率密度；

去除特征数据落在对应高斯模型(μ-3σ，μ+3σ)以外的区域部分；

对处理后的数据进行均值化处理，得到训练模型的最优参数值作为标准特征参数。

所有的样本组合特征数据都是基于高斯模型的训练优化得到；高斯训练模型使各项特征数据更具有准确性与稳定性，且高斯模型可以剔除不好的学习训练样本点，消除了传统的人工经验阈值与平均求取阈值带来的干扰。

所述步骤5计算瓷砖轮廓即处理单元的质心具体是：

设瓷砖提取的轮廓模型为v＝{Ci|Ci＝(xi,yi),i＝1,2…N}，N为轮廓点集总数，其质心的坐标为O(x0,y0)，计算方法如下式所示：

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种多特征融合的小瓷砖智能定位方法，其特征在于：

步骤1，图像采集

通过高速线阵CCD相机采集图像；

步骤2，图像预处理

先灰度化图像，再进行滤波去噪处理，对滤波图采用边缘检测算法分割，再提取小瓷砖轮廓，得瓷砖轮廓图；

步骤3，特征提取

基于步骤2的轮廓图中瓷砖轮廓的几何特性生成相应的基元特征，基元特征包括宽度、高度和完整度；

先将轮廓图转为轮廓掩膜图，利用步骤2的滤波图与轮廓掩膜图进行逻辑与运算得到运算结果图，运算结果图转入HSV颜色空间，并生成颜色特征，颜色特征包括色调和饱和度；

将基元特征与颜色特征组合成组合特征，组合特征包括长度、宽度、完整度、色调和饱和度；

步骤4，图像目标判定

将步骤3的组合特征与标准特征参数进行比较，若组合特征中任一参数不满足门限阈值则判定为步骤1采集的图像中不是定位瓷砖类型，若组合特征中所有参数均满足对应的门限阈值则判定采集的图像是定位瓷砖类型；

所述的标准特征参数是采用带有样本标准瓷砖的图像进行组合特征提取，再将组合特征参数在高斯训练模型中训练所生成，组合特征参数包括长度、宽度、完整度、色调和饱和度五个特征的阈值；

步骤5，瓷砖定位：

针对判定是定位瓷砖类型的图像，以瓷砖轮廓的外接矩形的角点为基准生成对应的ROI区域，将ROI区域分割成独立处理单元，ROI区域即包含整块瓷砖边界区域的图像；

计算瓷砖轮廓即独立处理单元的质心，该质心作为工业机器人抓取瓷砖的定位基准，将该质心数据传送至工业机器人系统中。

2.如权利要求1所述的一种多特征融合的小瓷砖智能定位方法，其特征在于，所述步骤2图像预处理具体为：

灰度化图像后，采用基于高斯核函数的双边滤波对采集图像进行滤波去噪处理，滤波公式如下：

$f\left(x\right)={\mathrm{\η}}^{-1}\underset{\mathrm{\Ω}}{\∫}{w}_{{\mathrm{\δ}}_s}\left(y\right){\mathrm{\φ}}_{{\mathrm{\δ}}_r}(f\left(y\right)-f\left(x\right))dy;$

其中，系数σ_s为空域高斯函数的标准差，σ_r为值域高斯函数的标准差，Ω表示卷积的定义域，f(x)与f(y)分别表示图像邻域的像素值；

小瓷砖分割采用Canny边缘检测算法，边缘检测成功后，采用8连通链码区域的Freeman链码对轮廓进行存储与表示。

3.如权利要求1所述的一种多特征融合的小瓷砖智能定位方法，其特征在于，所述步骤3特征提取具体为：

根据瓷砖自身的几何特性，即瓷砖轮廓基元与最小斜外接矩形的拟合，利用最小斜外接矩形作为其轮廓的几何基元，且生成相应的基元特征，分别为宽度、高度、完整度；

将滤波图与轮廓图像作逻辑“与”运算得到掩膜图像，将生成的掩膜图像转换到符合人类认知环境的HSV颜色空间，从中派生出两个颜色指标：色调分量与饱和度分量，生成用于瓷砖定位的颜色特征；

将颜色特征与基元特征一起构成定位的组合特征。

4.如权利要求1所述的一种多特征融合的小瓷砖智能定位方法，其特征在于，所述步骤4图像目标判定公式为：

$g\left(f_{ti}\right)=\left\{\begin{array}{cc}1& if|f_{ti}-f_{si}|\≤T_i\\ 0& else\end{array}\right.$

其中，i＝{0,1,2,3,4,5}，分别代表组合特征中的高度、宽度、完整度、色调、饱和度5个特征信息，g(f_ti)是特征判别的结果函数，当函数值等于1时，判别其为定位目标，即为含有瓷砖的图像，否则判别其不是定位的目标，即不含有瓷砖的图像，f_ti.是判别目标的某一特征参数值，f_si为经过训练对应的标准参数最优值，T_i是判别容许的上下偏差，该值决定着对非定位目标的包容程度。

5.如权利要求1所述的一种多特征融合的小瓷砖智能定位方法，其特征在于，所述步骤4的标准特征参数获取步骤如下：

对样本进行先行的数据测试，得到样本群的各个组合特征特征对应的数据库，所述样本为去除复杂环境其他物体的干扰调节下采集的带有瓷砖的图像，样本群包括了多个样本；

单独对各个特征数据进行高斯建模，得到特定特征的高斯模型；所述高斯模型如下：

x_i，μ_i，σ_i，f(x_i)分别代表标记特征i的数据集，均值，标准差以及对应的概率密度；

去除特征数据落在对应高斯模型(μ-3σ，μ+3σ)以外的区域部分；

对处理后的数据进行均值化处理，得到训练模型的最优参数值作为标准特征参数。

6.如权利要求1所述的一种多特征融合的小瓷砖智能定位方法，其特征在于，所述步骤5计算瓷砖轮廓即处理单元的质心具体是：

设瓷砖提取的轮廓模型为v＝{Ci|Ci＝(xi,yi),i＝1,2…N}，N为轮廓点集总数，其质心的坐标为O(x0,y0)，计算方法如下式所示：

$x_0=\frac{\underset{i=1}{\overset{i=N}{\Σ}}{x}_i}{M}$

$y_0=\frac{\underset{i=1}{\overset{i=N}{\Σ}}{y}_i}{M}.$