CN109727231A - 一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法 - Google Patents

Abstract

一种基于机器视觉的用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，使用摄像头拍摄待检测胶囊，对获取的图像进行图像分割；对待测胶囊进行二值化处理并对获取的二值化图像进行边缘处理，获取胶囊的外部轮廓；利用最小二乘拟合法算出外部轮廓的最佳拟合椭圆；将胶囊的外部轮廓与最佳拟合椭圆进行hu矩的比较获得一个相似度；将获得的相似度与预设的相似值进行比较，若小于预设值，则判定该胶囊的外拐满足合格品要求，否则判定该胶囊外观上存在缺陷。本发明采用机器视觉技术进行软胶囊外观缺陷的提取和自对比，实现对椭球型软胶囊外观缺陷的检测。

Description

一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对 检测方法

技术领域

本发明涉及图像识别以及医疗保健胶囊外观缺陷识别技术领域，特别是涉及一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法。

背景技术

现阶段医疗保健备受人们的关注，医疗保健品也逐渐成为人类生活中不可或缺的重要组成部分。具有良好外观的医疗保健品能给使用者一种健康安全的心理暗示，提高使用者对医疗保健品的信任，促进医疗保健行业的快速发展。目前，各大医疗保健品企业，针对椭球型透明胶囊外观的检测，仍采用人眼观察的方法。传统的人眼观察法主要存在一下弊端：对放置于大面积放光背景板上的胶囊进行长时间的肉眼观察操作，会对员工的视觉系统造成极大的负担，可能会导致员工产生眼疾；长时间的观察操作，会使员工产生视觉疲劳，误检率大幅度提高；由于主观因素的存在，每名员工的判断依据存在一定的差异，导致胶囊成品的质量较低等。

为了解决上述问题，基于机器视觉的医药品检测设备应运而生。美国Mocon公司研发的VERICAP 4000胶囊缺陷检测设备利用机器视觉和传感器技术能够精确判断并剔除空壳以及识别出有缺损的胶囊，但由于其高昂的售价，并不适合国内的中小型企业。同时，目前所研发的胶囊外观检测多针对严格按照尺寸大小划分编号的硬胶囊，针对椭球型软胶囊外观检测的方法研究较少。由于填充物的含量的，以及切割软胶囊时的力，均会导致软胶囊的外观参数在标准值上产生所允许的不定量的变化，所以采用传统意义上的利用标准外观参数进行比对判断的方法往往会造成软胶囊外观缺陷检测的误检率大幅提高。本发明采用机器视觉技术进行软胶囊外观缺陷的提取和自对比，实现对椭球型软胶囊外观缺陷的检测。

发明内容

为了解决上述存在的问题，本发明提供一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，采用轮廓树的概念对椭球型软胶囊的外观进行提取，并利用hu矩不变性的特性将提取外观与拟合外观进行对比，从而判断软胶囊外观是否存在缺陷，为达此目的，本发明提供一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，利用机器视觉技术和图像识别算法进行胶囊外观轮廓的获取和缺陷识别，包括以下步骤，其特征在于：

步骤1：利用basler摄像头拍摄胶囊图像，对图像进行滤波、分割、形态学运算等一系列处理，达到背景为黑色，胶囊为白色的二值化图像；

步骤2：对步骤1得到的二值化图像使用轮廓树的定义进行轮廓识别，获取胶囊图像中的轮廓特性；

步骤3：对步骤2中获得胶囊轮廓的点集利用最小二乘拟合法拟合出最佳椭圆形，并对步骤2中获得的轮廓点集和拟合出的椭圆形进行hu矩的相似性比对，得到一个相似度步骤4：将步骤3获得的相似度与厂家预设的相似值进行比较，当获得值<预设值时，判定该胶囊没有外观缺陷，当比较值>预设值时，则判定该胶囊存在外观缺陷。

本发明的进一步改进，所述检测对象为医疗保健品行业用透明明胶包装的椭球型胶囊，且该类胶囊的外型参数允许在-2mm～+2mm间浮动。

本发明的进一步改进，步骤2中的轮廓提取识别方法如下：

步骤2.1：针对步骤1所得的二值化图像进行逐像素点扫描，对查找到的首个像素值为1的像素点记为(j，i)，即表示像素点位于第i行，第j列的位置。

步骤2.2：以像素点(j，i)为中心，通过顺时针和逆时针两种方式，找到与像素点(j，i)相邻的8个点中不为0的两个边界点(j2,i2)和(j4,i4),并标记像素点(j,i)为边缘点；

步骤2.3：令(j3，i3)＝(j4，i4),以像素点(j3，i3)为中心，重复步骤2.2的操作，直到重新回到以像素点(j，i)为中心；

步骤2.4：对查找到的n个轮廓进行编号，取编号为2的最外层轮廓，即为椭球型胶囊的外观轮廓。

本发明的进一步改进，步骤3中的椭圆拟合方法如下：

步骤3.1：将轮廓点集中的每个点的xi,yi进行一定规则的相乘相加，得到一个参数矩阵ma结果矩阵RT；

步骤3.2：对矩阵Ma取逆，求得

步骤3.3：根据A、B、C、D、E的值计算出Xc、Xy、a、b、theta，得到所拟合椭圆的表达式子

其中：A、B、C、D、E为椭圆方程通式x²+Axy+By²+Cx+Dy+E＝0中的主要参数；

通过将最小二乘法拟合得到的目标函数对各个参数进行偏导得到需要解的方程组为(Xc，Xy)为椭圆的中心点坐标、a为长轴长度、b为短轴长度、theta为偏转角。

本发明的进一步改进，步骤3中的hu矩匹配方法如下：

步骤3.4：分别计算步骤2取的轮廓A和步骤3拟合的最佳椭圆B的7个hu矩：m1A、m2A、m3A、m4A、m5A、m6A、m7A、m1B、m2B、m3B、m4B、m5B、m6B、m7B；

步骤3.5：计算获得两个轮廓的相似度I(A,B)，其中，

本发明提供了一种用于检测医疗保健品行业椭球型软胶囊的外观不规则缺陷的自比对检测方法，使用摄像头拍摄待检测胶囊，对获取的图像进行图像分割；对待测胶囊进行二值化处理并对获取的二值化图像进行边缘处理，获取胶囊的外部轮廓；利用最小二乘拟合法算出外部轮廓的最佳拟合椭圆；将胶囊的外部轮廓与最佳拟合椭圆进行hu矩的比较获得一个相似度；将获得的相似度与预设的相似值进行比较，若小于预设值，则判定该胶囊的外拐满足合格品要求，否则判定该胶囊外观上存在缺陷。本发明在进行实际的轮廓匹配判断前无需进行大量繁琐的标定工作，能有效提高工厂环境下的工作效率；基于自身轮廓的自对比检测，避免了由于广角拍摄下的胶囊图像产生的变形而导致的误判，并且能够适应医药保健品行业对椭球性胶囊外观没有定量衡量标准的情况。

附图说明

图1为本发明待检测处理图像；

图2为本发明处理胶囊的二值图；

图3为本发明轮廓提取流程图；

图4为本发明轮廓提取的效果图；

图5为本发明最佳椭圆拟合的效果图；

图6为本发明hu矩匹配流程图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提供一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，采用轮廓树的概念对椭球型软胶囊的外观进行提取，并利用hu矩不变性的特性将提取外观与拟合外观进行对比，从而判断软胶囊外观是否存在缺陷。

一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，具体包括以下步骤：

步骤1：采用basler工业相机对识别检测区域进行拍摄，获得图1所示的待处理检测图像。图像坐标系为x0y,x正方向朝右，y正方向朝下。图像宽高2448X2048像素，以每颗胶囊中心点为中心点，提取矩形区域作为图像检测识别的处理区域。对处理区域进行图像滤波、分割、形态学运算等一些列处理，得到纯黑为背景，纯白胶囊作为目标的二值化图像，如图2所示。

步骤2：对步骤1得到的二值化图像使用轮廓树的定义进行轮廓识别，获取胶囊图像中的轮廓特性。

轮廓检测程序的检测流程图如图3所示；

轮廓检测步骤：

(1)设定外部框架的边界值ND＝1；

(2)由于检测算法中定义图像上第一行，最后一行，第一列，最后一列像素构成图像的框架不属于沦落组，因此该算法从图像第二行，第二列的像素点开始判断。设第i行，第j列的像素点的值表示为f(i，j)。令i,j的初始值为2,开始检测。

(3)如果f(i，j)等于1，且f(i,j-1)等于0，则设定i2＝i,j2＝j-1,ND＝ND+1；如果f(i,j)大于等于1，且f(i,j+1)等于0，则设定i2＝I,j2＝j+1；如果为其他情况，则跳转到第(9)步。

(4)根据表1的判断依据来判断该点在轮廓树中所处的位置，即查找轮廓B的父轮廓，B’为上一次循环所查找的轮廓。如果该点是该轮廓中检测出来的第一个点，则根据左右响铃像素点的值来判断该点为外轮廓还是内轮廓点；

表一新轮廓B的父轮廓判断依据

(5)与第i行，第j列像素点相邻的像素点总共有8个，因为此时像素点(j2,i2)为像素点(j，i)的相邻点，所以从点(j2，i2)开始，顺时针依次判断，寻找第一个不为0的像素点(j1,i1)。如果点(j1，i1)不存在，则令f(i，j)＝-ND,跳转到第(9)步执行。如果点(j1,i1)存在，则令i2＝i1,j2＝j1,i3＝i,j3＝j。

(6)以点(j3，i3)为中心像素点，点(j2，i2)为起点(不含点(j2，i2))，逆时针寻找第一个不为0的像素点(j4，i4)。

(7)如果f(i3，j3+1)等于0，则令f(i3，j3)＝-ND；如果f(i3，j3+1)不为0，且f(i3，j3)为1，则令f(i3，j3)＝ND；其他情况保持f(i3，j3)不变。

(8)如果点(j4，i4)与点(j，i)为同一点且点(j3，i3)与(j1，i1)为同一点，则跳转到第(9)步执行，否则令i2＝i3,j2＝j3,i3＝i4,j3＝j4,跳转到第(6)步继续执行。

(9)令j＝j+1,如果点(j,i)已经处于最后一列像素上，则令i＝i+1,j＝2。如果i>n,则退出程序，检测完成。如果f(i，j)不等于1，则令f(i，j)＝|f(i，j)|。跳转到到第(3)步继续执行。

步骤3:对步骤2中获得胶囊轮廓的点集(如图4所示)利用最小二乘拟合法拟合出最佳椭圆形(如图5所示)，并对步骤2中获得的轮廓点集和拟合出的椭圆形进行hu矩的相似性比对，得到一个相似度。

最佳椭圆的拟合步骤：

(1)通过步骤2的操作，获得了软胶囊外观轮廓的点集C。利用点集C中的每个点(xi，yi)计算出x2y2、x1y3、x2y1、x1y2、x1y1、yyy4、yyy3、yyy2、xxx2、xxx1、yyy1、x3y1、xxx3；

其中：x2y2+＝xi*xi*yi*yi；

x1y3+＝xi*yi*yi*yi；

x2y1+＝xi*xi*yi；

x1y2+＝xi*yi*yi；

x1y1+＝xi*yi；

yyy4+＝yi*yi*yi*yi；

yyy3+＝yi*yi*yi；

yyy2+＝yi*yi；

xxx2+＝xi*xi；

xxx1+＝xi；

yyy1+＝yi；

x3y1+＝xi*xi*xi*yi；

xxx3+＝xi*xi*xi；

(2)利用(1)计算得到的结果，获得矩阵Ma，T和X。

其中：

(3)计算Ma的逆矩阵Ma-1,根据最小二乘法拟合得到的要求解的方程组为Ma*X＝T，所以求得X＝Ma-1*T。

(4)根据计算出的X值，得到拟合椭圆的方程表达式为x²+Axy+By²+Cx+Dy+E＝0,就算出拟合椭圆的重要参数：中心坐标(Xc，Yc)，半长轴a,半短轴b，长轴偏角v。

(5)根据点集C中每个点的横轴坐标xi，计算出每个拟合点的位置坐标(xi，ys)，得到如图5所示的拟合椭圆的点集D

Hu矩匹配的流程如图6所示。

Hu矩匹配的实现步骤：

(1)针对步骤2获得轮廓点集C计算p+q阶矩：mc10,mc00和mc01。

(2)利用标准矩计算图像重心x1c,y1c。

(3)计算点集C的p+q阶中心距：cμ00，cμ20，cμ02，cμ11，cμ30，cμ12，cμ21，cμ03。

(4)计算点集C的7个不变hu矩：MC1，MC2，MC3，MC4，MC5，MC6，MC7

(5)针对步骤3获得拟合椭圆D计算p+q阶矩：md10,md00和md01。

(6)利用标准矩计算图像重心x2c,y2c。

(7)计算点集D的p+q阶中心距：dμ00，dμ20，dμ02，dμ11，dμ30，dμ12，dμ21，dμ03。

(8)计算点集D的7个不变hu矩：MD1，MD2，MD3，MD4，MD5，MD6，MD7

(9)计算点集C和点集D的相似度I。

其中：

x_c＝m₁₀/m₀₀ y_c＝m₀₁/m₀₀

M1＝n₂₀+n₀₂

M2＝(n₂₀-n₀₂)²+4n₁₁ ²²

M3＝(n₃₀-3n₁₂)²+(3n₂₁-n₀₃)²

M4(n₂₀+n₁₂)²+(n₂₁+n₀₃)²

M6＝(n₂₀-n₀₂)((n₃₀+n₁₂)²-(n₂₁+n₀₃)²)+4n₁₁(n₁₂+n₃₀)(n₂₁+n₀₃)

步骤4：将步骤3获得的相似度I与厂家预设的相似值S进行比较，当0＜I＜S时，判定该胶囊没有外观缺陷，当I＞S值时，则判定该软胶囊存在外观缺陷。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (5)

1.一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，利用机器视觉技术和图像识别算法进行胶囊外观轮廓的获取和缺陷识别，包括以下步骤，其特征在于：

步骤1：利用basler摄像头拍摄胶囊图像，对图像进行滤波、分割、形态学运算等一系列处理，达到背景为黑色，胶囊为白色的二值化图像；

步骤2：对步骤1得到的二值化图像使用轮廓树的定义进行轮廓识别，获取胶囊图像中的轮廓特性；

步骤3：对步骤2中获得胶囊轮廓的点集利用最小二乘拟合法拟合出最佳椭圆形，并对步骤2中获得的轮廓点集和拟合出的椭圆形进行hu矩的相似性比对，得到一个相似度

步骤4：将步骤3获得的相似度与厂家预设的相似值进行比较，当获得值<预设值时，判定该胶囊没有外观缺陷，当比较值>预设值时，则判定该胶囊存在外观缺陷。

2.根据权利要求1所述的一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，其特征在于：所述检测对象为医疗保健品行业用透明明胶包装的椭球型胶囊，且该类胶囊的外型参数允许在-2mm～+2mm间浮动。

3.根据权利要求1所述的一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，其特征在于：步骤2中的轮廓提取识别方法如下：

步骤2.1：针对步骤1所得的二值化图像进行逐像素点扫描，对查找到的首个像素值为1的像素点记为(j，i)，即表示像素点位于第i行，第j列的位置。

步骤2.2：以像素点(j，i)为中心，通过顺时针和逆时针两种方式，找到与像素点(j，i)相邻的8个点中不为0的两个边界点(j2,i2)和(j4,i4),并标记像素点(j,i)为边缘点；

步骤2.3：令(j3，i3)＝(j4，i4),以像素点(j3，i3)为中心，重复步骤2.2的操作，直到重新回到以像素点(j，i)为中心；

步骤2.4：对查找到的n个轮廓进行编号，取编号为2的最外层轮廓，即为椭球型胶囊的外观轮廓。

4.根据权利要求1所述的一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，其特征在于：步骤3中的椭圆拟合方法如下：

步骤3.1：将轮廓点集中的每个点的xi,yi进行一定规则的相乘相加，得到一个参数矩阵ma结果矩阵RT；

步骤3.2：对矩阵Ma取逆，求得

步骤3.3：根据A、B、C、D、E的值计算出Xc、Xy、a、b、theta，得到所拟合椭圆的表达式子

其中：A、B、C、D、E为椭圆方程通式x²+Axy+By²+Cx+Dy+E＝0中的主要参数；

通过将最小二乘法拟合得到的目标函数对各个参数进行偏导得到需要解的方程组为(Xc，Xy)为椭圆的中心点坐标、a为长轴长度、b为短轴长度、theta为偏转角。

5.根据权利要求1所述的一种用于识别检测椭球型软胶囊的外观不规则缺陷的自比对检测方法，其特征在于：

步骤3中的hu矩匹配方法如下：

步骤3.4：分别计算步骤2取的轮廓A和步骤3拟合的最佳椭圆B的7个hu矩：m1A、m2A、m3A、m4A、m5A、m6A、m7A、m1B、m2B、m3B、m4B、m5B、m6B、m7B；

步骤3.5：计算获得两个轮廓的相似度I(A,B)，其中，