CN109685781A - 一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法 - Google Patents

Abstract

本发明公开了一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，使用摄像头拍摄含有多目标的图像，并根据一定规则对图像进行多处理区域划分；根据划分区域对目标图像进行分割，保留需要处理的图像；对需要处理的进行基于种子区域增长的方法获取目标对象的所有像素点；计算目标对象的中心点坐标，获取目标位置，并计算新的处理区域。本发明能够基于一定的规则对目标图像的处理范围进行缩小，提高图像的扫描速度；基于种子区域增长的算法能够快速识别具有明显颜色特征的蜂胶软胶囊，避免了对已扫描区域的二次扫描，提高了多个目标识别的速度。

Description

一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别 方法

技术领域

本发明涉及图像分割和目标识别技术领域，特别是涉及一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法。

背景技术

蜂胶软胶囊检测是蜂胶生产制造过程中不可或缺的环节。目前国内蜂胶胶囊检测仍采用相对落后的人工视觉检测的方式。传统的人工视觉检测往往会存在一下弊端：长时间的观察操作，会使员工产生视觉疲劳，误检率大幅度提高；长时间的对光操作往往会对员工肉眼产生负担，造成眼疾等。为了解决上述问题，采用机器视觉检测代替人工检测变得刻不容缓。然后对于蜂胶软胶囊来说，蜂胶软胶囊属于小型颗粒，单次单颗检测的速率达不到工厂的生产速率，而单次多胶囊检测的情况下，目标识别占用程序大量时间，导致设备检测速度不理想。因此，本发明采用了基于一定规则的目标识别技术，实现快速识别多颗蜂胶软胶囊。

发明内容

为了解决上述存在的问题，本发明提供一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，基于一定的规则对目标图像的处理范围进行缩小，提高图像的扫描速度；基于种子区域增长的算法能够快速识别具有明显颜色特征的蜂胶软胶囊，避免了对已扫描区域的二次扫描，提高识别速度，为达此目的，本发明提供一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，利用机器视觉技术和图像识别算法进行胶囊外观轮廓的获取和缺陷识别，包括以下步骤，其特征在于：

步骤1：利用basler摄像头拍摄胶囊图像，对图像进行滤波、分割、形态学运算等一系列处理，达到背景为黑色，胶囊为白色的二值化图像；

步骤2：对步骤1得到的二值化图像使用轮廓树的定义进行轮廓识别，获取胶囊图像中的轮廓特性；

步骤3：对步骤2中获得胶囊轮廓的点集利用最小二乘拟合法拟合出最佳椭圆形，并对步骤2中获得的轮廓点集和拟合出的椭圆形进行hu矩的相似性比对，得到一个相似度

步骤4：将步骤3获得的相似度与厂家预设的相似值进行比较，当获得值<预设值时，判定该胶囊没有外观缺陷，当比较值>预设值时，则判定该胶囊存在外观缺陷。

本发明的进一步改进，所述检测对象为医疗保健品行业用透明明胶包装的椭球型胶囊，且该类胶囊的外型参数允许在-2mm～+2mm间浮动。

本发明的进一步改进，步骤2中的轮廓提取识别方法如下：

步骤2.1：针对步骤1所得的二值化图像进行逐像素点扫描，对查找到的首个像素值为1的像素点记为(j，i)，即表示像素点位于第i行，第j列的位置；

步骤2.2：以像素点(j，i)为中心，通过顺时针和逆时针两种方式，找到与像素点(j，i)相邻的8个点中不为0的两个边界点(j2,i2)和(j4,i4), 并标记像素点(j,i)为边缘点；

步骤2.3：令(j3，i3)＝(j4，i4),以像素点(j3，i3)为中心，重复步骤 2.2的操作，直到重新回到以像素点(j，i)为中心；

步骤2.4：对查找到的n个轮廓进行编号，取编号为2的最外层轮廓，即为椭球型胶囊的外观轮廓。

本发明的进一步改进，步骤3中的椭圆拟合方法如下：

步骤3.1：将轮廓点集中的每个点的xi,yi进行一定规则的相乘相加，得到一个参数矩阵ma结果矩阵RT；

步骤3.2：对矩阵Ma取逆，求得

步骤3.3：根据A、B、C、D、E的值计算出Xc、Xy、a、b、theta，得到所拟合椭圆的表达式子；

其中：A、B、C、D、E为椭圆方程通式x²+Axy+By²+Cx+Dy+E＝0 中的主要参数。

通过将最小二乘法拟合得到的目标函数对各个参数进行偏导得到需要解的方程组为(Xc，Xy)为椭圆的中心点坐标、a为长轴长度、b 为短轴长度、theta为偏转角。

本发明的进一步改进，步骤3中的hu矩匹配方法如下：

步骤3.4：分别计算步骤2取的轮廓A和步骤3拟合的最佳椭圆B的7 个hu矩：m1A、m2A、m3A、m4A、m5A、m6A、m7A、m1B、m2B、m3B、 m4B、m5B、m6B、m7B。

步骤3.5：计算获得两个轮廓的相似度I(A,B)，其中，

本发明提供了一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，使用摄像头拍摄含有多目标的图像，并根据一定规则对图像进行多处理区域划分；根据划分区域对目标图像进行分割，保留需要处理的图像；对需要处理的进行基于种子区域增长的方法获取目标对象的所有像素点；计算目标对象的中心点坐标，获取目标位置，并计算新的处理区域。本发明能够基于一定的规则对目标图像的处理范围进行缩小，提高图像的扫描速度；基于种子区域增长的算法能够快速识别具有明显颜色特征的蜂胶软胶囊，避免了对已扫描区域的二次扫描，提高识别速度。

附图说明

图1为本发明规则排列胶囊示意图；

图2为本发明最优扫描矩形示意图；

图3为本发明种子增长流程图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，基于一定的规则对目标图像的处理范围进行缩小，提高图像的扫描速度；基于种子区域增长的算法能够快速识别具有明显颜色特征的蜂胶软胶囊，避免了对已扫描区域的二次扫描，提高识别速度。

一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，具体包括以下步骤：

步骤1：采用basler工业相机对识别检测区域进行拍摄，获得图1所示的待处理检测图像。图像坐标系为x0y,x正方向朝右，y正方向朝下。图像宽高2448X2048像素，以每颗胶囊中心点为中心点，提取矩形区域作为图像检测识别的处理区域。对处理区域进行图像滤波、分割、形态学运算等一些列处理，得到纯黑为背景，纯白胶囊作为目标的二值化图像，如图2所示。

步骤2：对步骤1得到的二值化图像使用轮廓树的定义进行轮廓识别，获取胶囊图像中的轮廓特性。

轮廓检测程序的检测流程图如图3所示；

轮廓检测步骤：

(1)设定外部框架的边界值ND＝1；

(2)由于检测算法中定义图像上第一行，最后一行，第一列，最后一列像素构成图像的框架不属于沦落组，因此该算法从图像第二行，第二列的像素点开始判断。设第i行，第j列的像素点的值表示为f(i，j)。令i,j的初始值为2,开始检测。

(3)如果f(i，j)等于1，且f(i,j-1)等于0，则设定i2＝i,j2＝j-1,ND＝ND+1；如果f(i,j)大于等于1，且f(i,j+1)等于0，则设定i2＝I,j2＝j+1；如果为其他情况，则跳转到第(9)步。

(4)根据表1的判断依据来判断该点在轮廓树中所处的位置，即查找轮廓B的父轮廓，B’为上一次循环所查找的轮廓。如果该点是该轮廓中检测出来的第一个点，则根据左右响铃像素点的值来判断该点为外轮廓还是内轮廓点；

表1新轮廓B的父轮廓判断依据

(5)与第i行，第j列像素点相邻的像素点总共有8个，因为此时像素点(j2,i2)为像素点(j，i)的相邻点，所以从点(j2，i2)开始，顺时针依次判断，寻找第一个不为0的像素点(j1,i1)。如果点(j1，i1)不存在，则令f(i，j)＝-ND,跳转到第(9)步执行。如果点(j1,i1)存在，则令 i2＝i1,j2＝j1,i3＝i,j3＝j。

(6)以点(j3，i3)为中心像素点，点(j2，i2)为起点(不含点(j2， i2))，逆时针寻找第一个不为0的像素点(j4，i4)。

(7)如果f(i3，j3+1)等于0，则令f(i3，j3)＝-ND；如果f(i3，j3+1)不为0，且f(i3，j3)为1，则令f(i3，j3)＝ND；其他情况保持f(i3，j3)不变。

(8)如果点(j4，i4)与点(j，i)为同一点且点(j3，i3)与(j1，i1) 为同一点，则跳转到第(9)步执行，否则令i2＝i3,j2＝j3,i3＝i4,j3＝j4,跳转到第 (6)步继续执行。

(9)令j＝j+1,如果点(j,i)已经处于最后一列像素上，则令i＝i+1,j＝2。如果i>n,则退出程序，检测完成。如果f(i，j)不等于1，则令f(i，j)＝|f(i，j)|。跳转到到第(3)步继续执行。

步骤3:对步骤2中获得胶囊轮廓的点集利用最小二乘拟合法拟合出最佳椭圆形，并对步骤2中获得的轮廓点集和拟合出的椭圆形进行hu矩的相似性比对，得到一个相似度。

最佳椭圆的拟合步骤：

(1)通过步骤2的操作，获得了软胶囊外观轮廓的点集C。利用点集C 中的每个点(xi，yi)计算出x2y2、x1y3、x2y1、x1y2、x1y1、yyy4、yyy3、 yyy2、xxx2、xxx1、yyy1、x3y1、xxx3；

其中：x2y2+＝xi*xi*yi*yi；

x1y3+＝xi*yi*yi*yi；

x2y1+＝xi*xi*yi；

x1y2+＝xi*yi*yi；

x1y1+＝xi*yi；

yyy4+＝yi*yi*yi*yi；

yyy3+＝yi*yi*yi；

yyy2+＝yi*yi；

xxx2+＝xi*xi；

xxx1+＝xi；

yyy1+＝yi；

x3y1+＝xi*xi*xi*yi；

xxx3+＝xi*xi*xi；

(2)利用(1)计算得到的结果，获得矩阵Ma，T和X。

其中：

(3)计算Ma的逆矩阵Ma-1,根据最小二乘法拟合得到的要求解的方程组为Ma*X＝T，所以求得X＝Ma-1*T。

(4)根据计算出的X值，得到拟合椭圆的方程表达式为 x²+Axy+By²+Cx+Dy+E＝0,就算出拟合椭圆的重要参数：中心坐标(Xc， Yc)，半长轴a,半短轴b，长轴偏角v。

(5)根据点集C中每个点的横轴坐标xi，计算出每个拟合点的位置坐标(xi，ys)，得到拟合椭圆的点集D

Hu矩匹配的实现步骤：

(1)针对步骤2获得轮廓点集C计算p+q阶矩：mc10,mc00和mc01。

(2)利用标准矩计算图像重心x1c,y1c。

(3)计算点集C的p+q阶中心距：cμ00，cμ20，cμ02，cμ11，cμ 30，cμ12，cμ21，cμ03。

(4)计算点集C的7个不变hu矩：MC1，MC2，MC3，MC4，MC5， MC6，MC7

(5)针对步骤3获得拟合椭圆D计算p+q阶矩：md10,md00和md01。

(6)利用标准矩计算图像重心x2c,y2c。

(7)计算点集D的p+q阶中心距：dμ00，dμ20，dμ02，dμ11，d μ30，dμ12，dμ21，dμ03。

(8)计算点集D的7个不变hu矩：MD1，MD2，MD3，MD4，MD5，MD6，MD7

(9)计算点集C和点集D的相似度I。

其中：

x_c＝m₁₀/m₀₀

y_c＝m₀₁/m₀₀

M1＝n₂₀+n₀₂

M2＝(n₂₀-n₀₂)²+4n₁₁ ²²

M3＝(n₃₀-3n₁₂)²+(3n₂₁-n₀₃)²

M4＝(n₃₀+n₁₂)²+(n₂₁+n₀₃)²

M5＝(n₃₀-n₁₂)(n₃₀+n₁₂)((n₃₀+n₁₂)²-3(n₂₁+n₀₃)²)+(3n₂₁-n₀₃)(n₂₁+n₃₀)(3(n₃₀+n₁₂)²

-(n₂₁+n₀₃)²)

M6＝(n₂₀-n₀₂)((n₃₀+n₁₂)²-(n₂₁+n₀₃)²)+4n₁₁(n₁₂+n₃₀)(n₂₁+n₀₃)

M7＝(3n₂₁+n₀₃)(n₀₃+n₁₂)((n₃₀+n₁₂)²-3(n₂₁+n₀₃)²)+(n₃₀-3n₁₂)(n₂₁

+n₃₀)(3(n₃₀+n₁₂)²-(n₂₁+n₀₃)²)

步骤4：将步骤3获得的相似度I与厂家预设的相似值S进行比较，当 0＜I＜S时，判定该胶囊没有外观缺陷，当I＞S值时，则判定该软胶囊存在外观缺陷。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，利用机器视觉技术和图像识别算法进行胶囊外观轮廓的获取和缺陷识别，包括以下步骤，其特征在于：

步骤1：利用basler摄像头拍摄胶囊图像，对图像进行滤波、分割、形态学运算等一系列处理，达到背景为黑色，胶囊为白色的二值化图像；

步骤2：对步骤1得到的二值化图像使用轮廓树的定义进行轮廓识别，获取胶囊图像中的轮廓特性；

步骤3：对步骤2中获得胶囊轮廓的点集利用最小二乘拟合法拟合出最佳椭圆形，并对步骤2中获得的轮廓点集和拟合出的椭圆形进行hu矩的相似性比对，得到一个相似度

步骤4：将步骤3获得的相似度与厂家预设的相似值进行比较，当获得值<预设值时，判定该胶囊没有外观缺陷，当比较值>预设值时，则判定该胶囊存在外观缺陷。

2.根据权利要求1所述的一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，其特征在于：所述检测对象为医疗保健品行业用透明明胶包装的椭球型胶囊，且该类胶囊的外型参数允许在-2mm～+2mm间浮动。

3.根据权利要求1所述的一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，其特征在于：步骤2中的轮廓提取识别方法如下：

步骤2.1：针对步骤1所得的二值化图像进行逐像素点扫描，对查找到的首个像素值为1的像素点记为(j，i)，即表示像素点位于第i行，第j列的位置；

步骤2.2：以像素点(j，i)为中心，通过顺时针和逆时针两种方式，找到与像素点(j，i)相邻的8个点中不为0的两个边界点(j2,i2)和(j4,i4),并标记像素点(j,i)为边缘点；

步骤2.3：令(j3，i3)＝(j4，i4),以像素点(j3，i3)为中心，重复步骤2.2的操作，直到重新回到以像素点(j，i)为中心；

步骤2.4：对查找到的n个轮廓进行编号，取编号为2的最外层轮廓，即为椭球型胶囊的外观轮廓。

4.根据权利要求1所述的一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，其特征在于：步骤3中的椭圆拟合方法如下：

步骤3.1：将轮廓点集中的每个点的xi,yi进行一定规则的相乘相加，得到一个参数矩阵ma结果矩阵RT；

步骤3.2：对矩阵Ma取逆，求得

步骤3.3：根据A、B、C、D、E的值计算出Xc、Xy、a、b、theta，得到所拟合椭圆的表达式子；

其中：A、B、C、D、E为椭圆方程通式x²+Axy+By²+Cx+Dy+E＝0中的主要参数。

通过将最小二乘法拟合得到的目标函数对各个参数进行偏导得到需要解的方程组为(Xc，Xy)为椭圆的中心点坐标、a为长轴长度、b为短轴长度、theta为偏转角。

5.根据权利要求1所述的一种应用于蜂胶软胶囊的基于一定规则的多目标快速识别方法，其特征在于：

步骤3中的hu矩匹配方法如下：

步骤3.4：分别计算步骤2取的轮廓A和步骤3拟合的最佳椭圆B的7个hu矩：m1A、m2A、m3A、m4A、m5A、m6A、m7A、m1B、m2B、m3B、m4B、m5B、m6B、m7B。

步骤3.5：计算获得两个轮廓的相似度I(A,B)，其中，