CN112116579B - 一种透明药瓶的缺陷检测方法和装置 - Google Patents

Abstract

一种透明药瓶的缺陷检测方法和装置，属于图像处理技术领域，具体包括：获取待检透明药瓶的X光图像；对所述X光图像进行去噪处理，对去噪后的的X光图像进行结构层提取和缺陷层提取，分别得到结构层图像和缺陷层图像，通过灰度级形态学重建算法对所述X光图像进行图像增强；对图像增强后的X光图像进行图像分割，分割出单个透明药瓶的X光图像，再对单个透明药瓶的X光图像进行液面线检测和缺陷检测，基于孔洞填充算法得到缺陷区域图像；对得到的缺陷区域图像进行分类识别。本发明的优点在于可以在渐变背景下，识别透明药瓶的微小缺陷。

Description

一种透明药瓶的缺陷检测方法和装置

技术领域

本发明属于图像处理技术领域，具体涉及一种透明药瓶的缺陷检测方法和装置。

背景技术

药瓶在我国使用量巨大。但是由于生产工艺以及生产环境等各方面的原因，生产出的药品有一定的不合格率。比如液面线不达标，药瓶内含有玻璃碎屑、铝屑、橡皮屑、毛发、纤维等异物。在我国药典规范中有明确规定，为了保证药瓶质量安全，规范各个医药行业的生产状况，生产的药瓶必须逐瓶检查，尤其是粒径大于50um的可见异物，必须实现有效检测。

目前对于透明药瓶的检测，最普遍与最传统的方法是人工目视检测法，通过人眼查看透明药瓶内部是否存在可见异物。但是目视法费时费力，劳动强度大，效率低，主观因素影响较大。

一般的全自动药瓶检测通过工业相机获取生产线上的药瓶X光图像，再结合药瓶检测的需求，可以定制化的对药瓶的各种缺陷进行检测。由于X光图像光照不均匀和背景噪声大，直接对采集到的药瓶图像进行特征提取和分类的准确率不高，所以需要一种有效地提取缺陷信息并进行检测的方法。

发明内容

本发明的目的是提供一种可以在渐变背景下，识别透明药瓶微小缺陷的方法。

为达到上述技术目的，本发明采用以下技术方案：

一种透明药瓶的缺陷检测方法，包括如下步骤：

(1)获取待检透明药瓶的X光图像；

(2)对所述X光图像进行去噪处理，对去噪后的的X光图像进行结构层提取和缺陷层提取，分别得到结构层图像和缺陷层图像，通过灰度级形态学重建算法对所述X光图像进行图像增强；

(3)对图像增强后的X光图像进行图像分割，分割出单个透明药瓶的图像，

(4)对上述单个透明药瓶的图像进行液面线检测和缺陷检测，基于孔洞填充算法得到缺陷区域图像；

(5)对得到的缺陷区域图像进行分类识别。

进一步的，所述步骤(2)中结构层提取的方法如下：

采用Sobel梯度算子对X光图像进行梯度图像提取，Sobel梯度算子记为S(x,y)，去噪后的X光图像为f(x,y)，梯度图像为f₁(x,y)，则：

f₁(x,y)＝S(x,y)*f(x,y)

其中*表示卷积运算；

对上述梯度图像进行区域块划分，划分后的图像记为f₂(x,y)，则：

f₂(x,y)＝∑_Ωf₁(x,y)

其中Ω表示区域块的范围；

采用Sobel梯度算子对划分后的X光图像进行梯度图像提取，再在划分后的X光图像的每个区域块内对每一个元素做平均，得到的图像记为f₃(x,y)，则：

将图像f₁(x,y)减去图像f₃(x,y)得到结构层图像，记为F(x,y)；

所述步骤(2)中缺陷提取的方法如下：

对去噪后的X光图像先进行形态学膨胀，再进行形态学腐蚀，得到形态学闭运算后的X光图像；

对去噪后的X光图像先进行形态学腐蚀，再进行形态学膨胀，得到形态学开运算后的X光图像；

将所得形态学闭运算后的X光图像减去所得形态学开运算后的X光图像，得到缺陷层图像。

进一步的，所述步骤(3)中图像分割的具体方法如下：

采用最大类间方差法对去噪后的X光图像进行二值化；

遍历整个二值化后的图像进行连通域标记，根据连通域的属性判断该连通域是否属于单个透明药瓶所在区域，判断条件为：

其中：连通域regionArea、连通域长度regionLength、连通域宽度regionWidth和该连通域与其最小外接矩形面积比值regionExtent；

若该连通域符合条件，则分割出单个透明药瓶的图像。

进一步的，所述步骤(4)中缺陷检测的具体方法如下：

对液面线进行边界追踪，得到液面线上方边界线的位置；

对所述边界线进行测地膨胀得到液面线区域，将所述单个透明药瓶的图像减去液面线区域，得到不含液面线的单个透明药瓶的图像；

基于形态学的孔洞填充算法，对所述不含液面线的单个透明药瓶的图像进行孔洞填充得到的图像减去上述单个透明药瓶的图像，取反后进行连通域标记，去除空白区域的连通域，剩余的连通域即为分割出的单个透明药瓶内的异物缺陷区域图像。

进一步的，所述步骤(5)中对缺陷区域图像分类识别的具体方法如下：

提取缺陷区域图像的特征，包括面积S，周长L，紧凑性C，重心坐标(x_c，y_c)，矩形度R_t，占空比R_q，Hu不变矩φ₁～φ₇，灰度均值μ_T，灰度方差var，灰度熵Ge，角二阶矩ASM，对比度Con，逆差分矩IDM，相关性Corr，熵Ent，同质性Homo；

用主成分分析方法对提取的缺陷区域图像进行特征降维；

采用引导聚集算法方法对降维后的数据进行分类，逐一判断待检透明药瓶是否存在缺陷。

一种透明药瓶的缺陷检测装置，包括：

图像获取模块：获取待检透明药瓶的X光图像；

图像增强模块：对所述X光图像进行去噪处理，对去噪后的的X光图像进行结构层提取和缺陷层提取，分别得到结构层图像和缺陷层图像，通过灰度级形态学重建算法对所述X光图像进行图像增强；

图像分割模块：对图像增强后的X光图像进行图像分割，分割出单个透明药瓶的图像；

缺陷获取模块：对上述单个透明药瓶的图像进行液面线检测和缺陷检测，基于孔洞填充算法得到缺陷区域图像；

缺陷识别模块：对得到的缺陷区域图像进行分类识别。

进一步的，所述图像增强模块中结构层提取的方法如下：

采用Sobel梯度算子对X光图像进行梯度图像提取，Sobel梯度算子记为S(x，y)，去噪后的X光图像为f(x，y)，梯度图像为f₁(x，y)，则：

f₁(x，y)＝S(x，y)*f(x，y)

其中*表示卷积运算；

对上述梯度图像进行区域块划分，划分后的图像记为f₂(x，y)，则：

f₂(x，y)＝∑_Ωf₁(x，y)

其中Ω表示区域块的范围；

采用Sobel梯度算子对划分后的X光图像进行梯度图像提取，再在划分后的X光图像的每个区域块内对每一个元素做平均，得到的图像记为f₃(x，y)，则：

将图像f₁(x，y)减去图像f₃(x，y)得到结构层图像，记为F(x，y)；

所述图像增强模块中缺陷提取的方法如下：

对去噪后的X光图像先进行形态学膨胀，再进行形态学腐蚀，得到形态学闭运算后的X光图像；

对去噪后的X光图像先进行形态学腐蚀，再进行形态学膨胀，得到形态学开运算后的X光图像；

将所得形态学闭运算后的X光图像减去所得形态学开运算后的X光图像，得到缺陷层图像。

进一步的，所述图像分割模块中图像分割的具体方法如下：

采用最大类间方差法对去噪后的X光图像进行二值化；

遍历整个二值化后的图像进行连通域标记，根据连通域的属性判断该连通域是否属于单个透明药瓶所在区域，判断条件为：

其中：连通域regionArea、连通域长度regionLength、连通域宽度regionWidth和该连通域与其最小外接矩形面积比值regionExtent；

若该连通域符合条件，则分割出单个透明药瓶的图像。

进一步的，所述缺陷获取模块中缺陷检测的具体方法如下：

对液面线进行边界追踪，得到液面线上方边界线的位置；

对所述边界线进行测地膨胀得到液面线区域，将所述单个透明药瓶的图像减去液面线区域，得到不含液面线的单个透明药瓶的图像；

基于形态学的孔洞填充算法，对所述不含液面线的单个透明药瓶的图像进行孔洞填充得到的图像减去上述单个透明药瓶的图像，取反后进行连通域标记，去除空白区域的连通域，剩余的连通域即为分割出的单个透明药瓶内的异物缺陷区域图像。

进一步的，所述缺陷识别模块中对缺陷区域图像分类识别的具体方法如下：

提取缺陷区域图像的特征，包括面积S，周长L，紧凑性C，重心坐标(x_c，y_c)，矩形度R_t，占空比R_q，Hu不变矩φ₁～φ₇，灰度均值μ_T，灰度方差var，灰度熵Ge，角二阶矩ASM，对比度Con，逆差分矩IDM，相关性Corr，熵Ent，同质性Homo；

用主成分分析方法对提取的缺陷区域图像进行特征降维；

采用引导聚集算法方法对降维后的数据进行分类，逐一判断待检透明药瓶是否存在缺陷。

有益效果

本发明优点在于图像增强抑制了药瓶内复杂的渐变背景，分别提取结构层和缺陷层显著增强了药瓶的结构和细化了微小的缺陷。同时缓解了图像中的对比度低、光照不均匀和噪声干扰的问题。

附图说明

图1为本发明的方法流程图；

图2为X光原始图像；

图3为形态学重建后的灰度图像；

图4为图像增强后的单个药瓶图像；

图5为二值化增强后的单个药瓶图像；

图6为去除液面线的单个药瓶图像；

图7为单个药瓶缺陷区域图像。

图8为本发明的装置模块图；

具体实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1所示，本发明提供了一种透明药瓶的缺陷检测方法，包括如下步骤：

(1)获取透明药瓶的X光图像，如图2所示，其中，映射关系为0-255之间的灰度值映射为红白蓝黑四种颜色交替变化。

(2)对X光图像进行图像增强。

其中图像增强的具体方法包含如下步骤：

(2.1)对X光图像进行自适应中值滤波，得到去噪后的X光图像，其中自适应中值滤波的具体方法包含如下步骤：

(2.1.1)在原始图像M(x,y)上操作每一个点时，先取其3x3的邻域点集合，判断该领域中灰度的中值是否等于最大值或最小值，若是则增大邻域范围，重新判断；

(2.1.2)判断该点的灰度值是否不等于邻域的最大值或最小值，若是则该点的灰度值等于邻域灰度中值；若不是，则不变；

(2.2)对滤波后的X光图像进行结构层提取，得到结构层图像。

其中结构层图像提取的具体方法包含如下步骤：

(2.2.1)构建Sobel梯度算子对X光图像进行梯度图像提取。Sobel梯度算子记为S(x,y)，设滤波后的X光图像为f(x,y)，梯度图像为f₁(x,y)，则：

f₁(x,y)＝(f(x,y)*Sx(x,y))²+(f(x,y)*Sx(x,y))²

记为f₁(x,y)＝S(x,y)*f(x,y)，其中*表示卷积运算；

(2.2.2)将X光图像划分成由3*3的区域块组成的图像，记为f₂(x,y)，则：

f₂(x,y)＝∑_Ωf₁(x,y)

其中Ω表示3*3的区域块；

(2.2.3)采用Sobel梯度算子对划分区域块之后的X光图像进行梯度图像提取，再在每个区域内对每一个元素做平均，得到的图像记为f₃(x,y)，则：

(2.2.4)将(2.2.1)所得图像f₁(x,y)减去(2.2.3)所得图像f₃(x,y)，得到结构层图像，记为F(x,y)。

(2.3)对X光图像进行缺陷层层提取，得到缺陷层图像；

其中缺陷层图像提取的具体方法包含如下步骤：

(2.3.1)对滤波后的X光图像进行形态学闭操作：先进行形态学膨胀操作，再进行形态学腐蚀操作；

(2.3.2)对滤波后的X光图像进行形态学开操作：先进行形态学腐蚀操作，再进行形态学膨胀操作；

其中，形态学腐蚀操作：

形态学膨胀操作：

其中f是处理前的原图像，在这里代表去噪后的X光图像，B是结构元素，D_b代表结构元素B的范围；

(2.3.3)将(2.3.1)所得图像减去与(2.3.2)所得图像，得到缺陷层图像。

(2.4)遍历结构层图像和缺陷层图像中的元素，将灰度值大于后15％的的设为255，小于的设为0。之后再对结构层图像和缺陷层图像进行直方图均衡化；

(2.5)以结构层图像为标记图像，以缺陷层图像为模板图像，以3×3的正方形为结构元，经过多次的测地膨胀，直至图像收敛，如图3所示，依据公式如下所示：

其中m为标记图像，n为模板图像；

(3)对图像增强后的X光图像进行图像分割，分割出单个药瓶的图像，如图4所示，其中对图像增强后的X光图像进行图像分割的具体方法包含如下步骤：

(3.1)采用最大类间方差法对去噪后的X光图像进行二值化；

(3.2)遍历整个二值化图像进行连通域标记，根据连通域的属性判断该连通域是否属于单个透明药瓶所在区域，当四个几何属性同时处于预先设定的属性值上下限常量区间内，此连通区域即为符合条件的连通区域。

其中：连通域regionArea、连通域长度regionLength、连通域宽度regionWidth和该连通域与其最小外接矩形面积比值regionExtent；LowerLimit和upperLimit指人为规定的上下限通常取标准图像的数值作为参考值，下限为标准*0.9，上限为标准*1.1；

(3.3)若该连通域符合条件，则分割出单个透明药瓶的图像。

(4)对上述单个透明药瓶的图像进行液面线检测和缺陷检测，得到缺陷区域图像；

其中对缺陷检测的具体方法包含如下步骤：

(4.1)对液面线进行边界追踪，得到液面线上方边界线的位置；

(4.2)对边界线进行测地膨胀得到液面线区域，再去除液面线区域，得到去除液面线区域的图像。

进一步，其中进行测地膨胀，去除液面线区域的的具体方法包括如下步骤：

(4.2.1)采用正方形的结构元。用(4.1)得到的边界线作为标记图像。使用(2.3)中的缺陷层经过二值化、取反后的图像作为模板图像，测地膨胀2次后可以得到液面线区域；

(4.2.2)使用上述单个透明药瓶的图像，如图5所示，去除液面线所在区域，得到不含液面线的单个药瓶图像，如图6所示。

(4.3)对所述不含液面线的单个透明药瓶的图像进行孔洞填充，再使用孔洞填充后的图像减去原图像，得到缺陷区域的图像，如图7所示；

其中，得到缺陷区域图像的具体方法包括如下步骤：

(4.3.1)在瓶盖位置下添加一条直线，使得缺陷处于密闭的瓶身区域内；

(4.3.2)使用基于形态学的空洞填充算法：

孔洞定义为由前景像素相连接的边界内的背景像素。令A表示为瓶身和人工添加直线所在的边界，A^c为A的补集。集合X_k表示被填充的孔洞，B为3×3大小的十字结构元，则：

当X_k＝X_k-1时，算法在第k步结束。此时X_k中包含了所有被填充的孔洞。X_k和A的并集包含被填充的孔洞和他们的边界；

(4.3.3)使用孔洞填充后的图像减去原图像，再取反后进行连通域标记。去除空白区域的连通域，剩余的连通域即为分割出瓶内的异物缺陷区域；

(5)对得到的缺陷区域图像进行分类识别。

其中，进行缺陷分类识别的具体方法包含如下步骤：

(5.1)提取图像的特征，包括面积S，周长L，紧凑性L，重心坐标(x_c，y_c)，矩形度R_t，占空比R_q，Hu不变矩φ₁～φ₇，灰度均值μ_T，灰度方差var，灰度熵Ge，角二阶矩ASM，对比度Con，逆差分矩IDM，相关性Corr，熵Ent，同质性Homo等；

(5.2)用主成分分析方法对提取的图像特征降维；

(5.3)采用Bagging(Bootstrap Aggregation，引导聚集算法)方法对降维后的数据进行分类，逐一判断待检透明药瓶是否存在缺陷。

此外，本发明还提供了一种透明药瓶的缺陷检测装置，如图8所示。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (6)

1.一种透明药瓶的缺陷检测方法，其特征在于，包括如下步骤：

(1)获取待检透明药瓶的X光图像；

(2)对所述X光图像进行去噪处理，对去噪后的的X光图像进行结构层提取和缺陷层提取，分别得到结构层图像和缺陷层图像，通过灰度级形态学重建算法对所述X光图像进行图像增强；其中图像增强的具体方法包含如下步骤：

(2.1)对X光图像进行自适应中值滤波，得到去噪后的X光图像，其中自适应中值滤波的具体方法包含如下步骤：

(2.1.1)在原始图像M(x,y)上操作每一个点时，先取其3x3的邻域点集合，判断该邻域中灰度的中值是否等于最大值或最小值，若是则增大邻域范围，重新判断；

(2.1.2)判断该点的灰度值是否不等于邻域的最大值或最小值，若是则该点的灰度值等于邻域灰度中值；若不是，则不变；

(2.2)对滤波后的X光图像进行结构层提取，得到结构层图像；

其中结构层图像提取的具体方法包含如下步骤：

(2.2.1)构建Sobel梯度算子对X光图像进行梯度图像提取；Sobel梯度算子记为S(x,y)，设滤波后的X光图像为f(x,y)，梯度图像为f₁(x,y)，则：

f₁(x,y)＝(f(x,y)*Sx(x,y))²+(f(x,y)*Sx(x,y))²

记为f₁(x,y)＝S(x,y)*f(x,y)，其中*表示卷积运算；

(2.2.2)将X光图像划分成由3*3的区域块组成的图像，记为f₂(x,y)，则：

f₂(x,y)＝∑_Ωf₁(x,y)

其中Ω表示3*3的区域块；

(2.2.3)采用Sobel梯度算子对划分区域块之后的X光图像进行梯度图像提取，再在每个区域内对每一个元素做平均，得到的图像记为f₃(x,y)，则：

(2.2.4)将(2.2.1)所得图像f₁(x,y)减去(2.2.3)所得图像f₃(x,y)，得到结构层图像，记为F(x,y)；

(2.3)对X光图像进行缺陷层层提取，得到缺陷层图像；

其中缺陷层图像提取的具体方法包含如下步骤：

(2.3.1)对滤波后的X光图像进行形态学闭操作：先进行形态学膨胀操作，再进行形态学腐蚀操作；

(2.3.2)对滤波后的X光图像进行形态学开操作：先进行形态学腐蚀操作，再进行形态学膨胀操作；

其中，形态学腐蚀操作：

形态学膨胀操作：

其中f是处理前的原图像，在这里代表去噪后的X光图像，B是结构元素，D_b代表结构元素B的范围；

(2.3.3)将(2.3.1)所得图像减去与(2.3.2)所得图像，得到缺陷层图像；

(2.4)遍历结构层图像和缺陷层图像中的元素，将灰度值大于后15％的的设为255，小于的设为0；之后再对结构层图像和缺陷层图像进行直方图均衡化；

(2.5)以结构层图像为标记图像，以缺陷层图像为模板图像，以3×3的正方形为结构元，经过多次的测地膨胀，直至图像收敛，依据公式如下所示：

其中m为标记图像，n为模板图像；

(3)对图像增强后的X光图像进行图像分割，分割出单个透明药瓶的图像，

(4)对上述单个透明药瓶的图像进行液面线检测和缺陷检测，基于孔洞填充算法得到缺陷区域图像；

(5)对得到的缺陷区域图像进行分类识别。

2.根据权利要求1所述透明药瓶的缺陷检测方法，其特征在于：所述步骤(2)中结构层提取的方法如下：

采用Sobel梯度算子对X光图像进行梯度图像提取，Sobel梯度算子记为S(x,y)，去噪后的X光图像为f(x,y)，梯度图像为f₁(x,y)，则：

f₁(x,y)＝S(x,y)*f(x,y)

其中*表示卷积运算；

对上述梯度图像进行区域块划分，划分后的图像记为f₂(x,y)，则：

f₂(x,y)＝∑_Ωf₁(x,y)

其中Ω表示区域块的范围；

采用Sobel梯度算子对划分后的X光图像进行梯度图像提取，再在划分后的X光图像的每个区域块内对每一个元素做平均，得到的图像记为f₃(x,y)，则：

将图像f₁(x,y)减去图像f₃(x,y)得到结构层图像，记为F(x,y)；

所述步骤(2)中缺陷提取的方法如下：

对去噪后的X光图像先进行形态学膨胀，再进行形态学腐蚀，得到形态学闭运算后的X光图像；

对去噪后的X光图像先进行形态学腐蚀，再进行形态学膨胀，得到形态学开运算后的X光图像；

将所得形态学闭运算后的X光图像减去所得形态学开运算后的X光图像，得到缺陷层图像。

3.根据权利要求1所述透明药瓶的缺陷检测方法，其特征在于：所述步骤(3)中图像分割的具体方法如下：

采用最大类间方差法对去噪后的X光图像进行二值化；

遍历整个二值化后的图像进行连通域标记，根据连通域的属性判断该连通域是否属于单个透明药瓶所在区域，判断条件为：

其中：连通域regionArea、连通域长度regionLength、连通域宽度regionWidth和该连通域与其最小外接矩形面积比值regionExtent；

若该连通域符合条件，则分割出单个透明药瓶的图像。

4.根据权利要求1所述透明药瓶的缺陷检测方法，其特征在于：所述步骤(4)中缺陷检测的具体方法如下：

对液面线进行边界追踪，得到液面线上方边界线的位置；

对所述边界线进行测地膨胀得到液面线区域，将所述单个透明药瓶的图像减去液面线区域，得到不含液面线的单个透明药瓶的图像；

基于形态学的孔洞填充算法，对所述不含液面线的单个透明药瓶的图像进行孔洞填充得到的图像减去上述单个透明药瓶的图像，取反后进行连通域标记，去除空白区域的连通域，剩余的连通域即为分割出的单个透明药瓶内的异物缺陷区域图像。

5.根据权利要求1所述透明药瓶的缺陷检测方法，其特征在于：所述步骤(5)中对缺陷区域图像分类识别的具体方法如下：

提取缺陷区域图像的特征，包括面积S，周长L，紧凑性C，重心坐标(x_c，y_c)，矩形度R_t，占空比R_q，Hu不变矩φ₁～φ₇，灰度均值μ_T，灰度方差var，灰度熵Ge，角二阶矩ASM，对比度Con，逆差分矩IDM，相关性Corr，熵Ent，同质性Homo；

用主成分分析方法对提取的缺陷区域图像进行特征降维；

采用引导聚集算法方法对降维后的数据进行分类，逐一判断待检透明药瓶是否存在缺陷。

6.一种透明药瓶的缺陷检测装置，实现如权利1-5中任一项所述的方法，其特征在于，包括：

图像获取模块：获取待检透明药瓶的X光图像；

图像增强模块：对所述X光图像进行去噪处理，对去噪后的的X光图像进行结构层提取和缺陷层提取，分别得到结构层图像和缺陷层图像，通过灰度级形态学重建算法对所述X光图像进行图像增强；

图像分割模块：对图像增强后的X光图像进行图像分割，分割出单个透明药瓶的图像；

缺陷获取模块：对上述单个透明药瓶的图像进行液面线检测和缺陷检测，基于孔洞填充算法得到缺陷区域图像；

缺陷识别模块：对得到的缺陷区域图像进行分类识别。