CN109143393A - 瓶装透明药液异物检测同步跟踪视觉补偿方法 - Google Patents

Abstract

本发明公开一种瓶装透明药液异物检测同步跟踪视觉补偿方法，具体包括以下步骤：S1、使用高速工业相机对待检测的当前液体药品获取多帧连续图像；S2、对所述图像感兴趣区域进行瓶壁与背景区分；S3、对所述区分后的图像进行形态学处理；S4、对所述形态学处理后的图像进行Sobel滤波，得到一个方向的梯度信息；S5、对所述Sobel滤波后图像进行霍夫变换，最终得出图像的补偿值；S6、对图像序列重复以上操作并得到每张图像的偏移量，并根据所述每张图的偏移量对所述图像序列的第一张图像对齐；最终得到补偿的新的处理区域。本发明能够提高异物分析的准确率，从软件上克服了机械上无法克服的问题，并提升了成像的效果，从而进一步保障了输液患者的生命安全。

Description

瓶装透明药液异物检测同步跟踪视觉补偿方法

技术领域

本发明涉及工业机器视觉检测领域，具体涉及一种瓶装透明药液异物检测同步跟踪视觉补偿方法。

背景技术

医用输液是我国药品中五大类重要制剂之一，市场需求量巨大。医用输液瓶对瓶内液体的洁净程度要求非常高，但由于生产工艺或生产环境等方面的原因，输液成品中可能混入玻璃屑、铝屑、橡皮屑、毛发、纤维或不溶药质等微小异物。这些异物粒径微小，可能随输液进入人体，导致血管堵塞，造成囊肿现象，严重危及病人的生命与健康。

根据中国药典规定，在输液瓶生产过程中，要对输液瓶内的注射剂逐瓶进行不溶物检查。然而，传统的检查方法是直接通过人工视觉方法进行检验，在一定的光照条件下，用人眼直接观察瓶装液体，发现是否存在异物。这种传统的方法劳动强度大，直接增加了大规模生产过程中的劳动成本，且灯检人员长时间工作时产生视觉疲劳和质量波动，是自动化生产线上的突出问题。

现有的比较成熟的大输液灯检机，大部分采用的是随动回摆法。该方法中，相机在旋转大圆盘的某段圆弧区间来回摆动。在进入拍照工位前，夹持装置带动输液瓶进行自转，输液瓶中的液体旋转，在到达拍照工位前停转，瓶中的液体由于惯性作用继续旋转。一组相机同步跟踪输液瓶，在大圆盘的某段圆弧区间继续进行公转，多个相机对对应的多个输液瓶进行连续拍照，相机与输液瓶的位置保持相对静止，即同步跟踪状态。拍照结束后该组相机回摆。回摆后的相机继续对下一组输液瓶进行跟踪拍摄。

实现这一回摆以及同步跟踪过程的，有两种方式。一是使用机械凸轮，用纯机械的方式让摆臂回摆并同步跟踪。但是由于机械加工中的不确定性，以及机械设计中的失误，使用这种方式往往偏差极大。二是使用电动伺服系统，使用电子凸轮，相比机械凸轮，表现较好。但是伺服系统涉及到控制问题，如果参数调整的不好，便会存在超调、阻尼振荡等问题，同样会造成微小视觉偏差。

已有的大输液灯检机，如果采用的是机械凸轮，由于其位移偏差太大，一般不会采集多帧图像。如果采用的是电动伺服系统，则采集多帧图像，但对于其中的微小视觉偏差，往往选择了忽略处理。但是在像素层面，这种微小偏差却是不可忽视的，会严重影响灯检机的漏检率和误检率。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术缺陷，本发明采用的技术方案在于，提供一种瓶装透明药液异物检测同步跟踪视觉补偿方法，具体包括以下步骤：

S1、使用高速工业相机对待检测的当前液体药品获取多帧连续图像；

S2、对所述图像感兴趣区域进行瓶壁与背景区分；

S3、对所述区分后的图像进行形态学处理；

S4、对所述形态学处理后的图像进行Sobel滤波，得到一个方向的梯度信息；

S5、对所述Sobel滤波后图像进行霍夫变换，最终得出图像的补偿值；

S6、对图像序列重复以上操作并得到每张图像的偏移量，并根据所述每张图的偏移量对所述图像序列的第一张图像对齐；最终得到补偿的新的处理区域。

较佳的，所述步骤S1中的所述工业相机获取的图像可形成灰度图。

较佳的，所述步骤S2中的所述图像感兴趣区域为一个图像的上半部分；并对这一区域进行二值化处理；所述感兴趣区域为一矩形区域。

较佳的，所述二值化处理为基于大津算法的二值化操作；所述大津算法计算的出阈值后，小于阈值的像素值置为0，大于阈值的像素值置为255。

较佳的，所述步骤S3中的所述形态学处理，包括图像膨胀与图像腐蚀操作。

较佳的，所述步骤S4中所述Sobel滤波使用Sobel算子得到图像梯度；由函数在两个正交方向上的一阶导数组成的二维向量：

较佳的，在S5中所述霍夫变换中，直线用下述方程表示：

ρ＝xcosθ+ysinθ

其中：ρ是直线到图像原点(左上角)的距离，θ则是与直线垂直的角度，x代表x坐标值，y代表y坐标值。

较佳的，使用所述霍夫变换得到多条直线后，根据每一条直线的置信度，选择置信度最高且大于150的一条直线作为结果。

较佳的，在所述S6中所述霍夫变换求得了可能性最大的一条直线后，计算该直线的左端点和右端点，取两个端点的Y坐标的平均数，即为该张图像的偏移量。

较佳的，对图像序列的每一幅图进行上述相同的操作，可以得到每一张图像的偏移量；根据每张图的偏移量，对图像序列的第一张图像对齐；最终得出图像的补偿值。

与现有技术比较本发明的有益效果在于：

1，本发明能够提高异物分析的准确率，从而上克服了机械上无法克服的问题，并提升了成像的效果，从而进一步保障了输液患者的生命安全；2，本发明的核心Sobel算子步骤，简单高效，适用性和针对性很高；3，本发明的检测直线步骤采用投票形式，且选择投票最高的结果。可适用于多种大输液灯检机设备可适用于多种多帧图像检测问题，解决了随动过程不稳定的问题；4，本发明算法速度快，效率高；在环境条件不变的情况下，稳定性高。5，本发明的补偿方法是为了后续异物检测算法的准确率，减少误检率。

附图说明

为了更清楚地说明本发明各实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本发明的现有技术大输液灯检机的左视图；

图2是本发明的现有技术大输液灯检机的右视；

图3是本发明的现有技术大输液灯检机的俯视图；

图4是本发明的流程图。

图中数字表示：

1.系统支架 2.主轴部分 3.转盘部分 4.输入部分 5.输出部分 6.动力输入部分7.跟随摆动部分 8.输送带系统

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

实施例1

如图1，2，3，4所示，一种瓶装透明药液异物检测同步跟踪视觉补偿方法，本方法可应用于大部分的采用随动回摆方式的大输液灯检机。在正常工作状态下，输液瓶从传送带系统8上，由输入部分4的搓瓶装置转移到转盘部分3上的机械手上，机械手夹持检测瓶随转盘部分3公转，在将要进入检测工位之前，机械手带动检测瓶自转，到达检测位置时停转。此时由于惯性作用，瓶体内液体仍在旋转。于此同时，摆臂在伺服控制器的控制下来到与待检测瓶对齐的位置，并与转盘保持同步跟踪状态，相机与检测瓶几乎相对静止。相机连续采集图像。

本发明，在相机连续采集图像后，计算机分析是否有异物以及异物类别前，对图像序列进行预处理，对含有位移偏差的图像序列进行视觉补偿。

具体的补偿方法包括以下步骤：

S1、使用高速工业相机对待检测的当前液体药品获取多帧连续图像；

1、伺服控制器向工业相机发射脉冲指令，工业相机根据指令采集图像，通过GigE接口回传给计算机，从而获取图像序列。所用的工业相机，采集的图像是Mono8类型的(单通道8位图)，采用的工业相机获取的图像可形成灰度图；

S2、对图像感兴趣区域进行瓶壁与背景区分；

划定一个图像上半部分的感兴趣区域；对这一区域进行二值化处理，使一边的输液瓶瓶壁与背景得到区分。一方面减少其他区域的干扰，一方面可以提高处理速度。

现有的大输液灯检机的相机放置时均旋转了90度，故采集的图像输液瓶也是旋转了90的度，因此，输液瓶一边的瓶壁必定出现在图像的上半部区域。图像是由一个一个像素组成的，算法的处理也是一个一个像素的处理。因此像素数量越少，处理速度越快；所以只取上半部作为感兴趣区域。

为保证算法的鲁棒性与准确性，在定义感兴趣区域时，以图象的左上角为起始点，宽度为源图像的宽度，高度为源图像高度的一半。

进行二值化的时候，使用大津算法得到二值化的阈值，然后遍历图像中所有像素的像素值，大于阈值的灰度值置为255(8位灰度图的最大值)，小于阈值的灰度值置为0。

通过二值化的手段。二值化过后，大部分背景的灰度值为0(纯黑)，大部分输液瓶瓶壁的灰度值为255(纯白)，因此背景和输液瓶瓶壁得到很好的区分。

S3、对二值化的图像进行形态学处理；

进行形态学滤波的时候，使用图像膨胀操作和图像腐蚀操作。

对于图像膨胀操作，使用3x3大小的卷积核，对图像膨胀2至5次。

对于图像腐蚀操作，使用3x3大小的卷积核，对图像膨胀2至5次。

对于二值化图像，腐蚀将当前的像素集合里白色(255)像素替换为黑色(0)像素。膨胀则是相反的操作，将当前的像素集合里黑色(0)像素替换为白色(255)像素。应用腐蚀后，物体的尺寸会变小，可以观察到一些非常细小的物体(可被认为是背景像素中的“噪音“)被完全移除了。相似的，膨胀后的物体更大，同时内部的一些”洞“被填满。

该发明的形态学处理操作，是对图像先腐蚀，再膨胀，称为开运算，是一种更高级的形态学滤波。应用开运算，可以移除场景中的比较小的物体(可被认为是背景像素中的“噪音“)，即达到了去噪的效果，并且可以让前景(输液瓶)的边界更圆润。

S4、使用Sobel算子，得到该方向的梯度信息；

沿一个方向使用Sobel算子，得到该方向的梯度信息，梯度变化最大的地方即为瓶壁。

Sobel滤波器，是具有方向性的滤波器，根据使用的核的不同它只改变图像的水平或垂直频率。

Sobel算子是一种经典的边缘检测线性滤波器，它基于一个简单的3x3核：

如果我们将图像视作二维函数，Sobel算子可被认为是图像在垂直和水平方向变化的测量。这种测量在数学中被称为梯度，它被定义为由函数在两个正交方向上的一阶导数组成的二维向量：

因此，Sobel算子通过在水平和垂直方向下进行像素差分给出图像梯度的近似。

沿一个方向使用：Sobel算子只能沿一个方向使用，对于我们的情况使用竖向的卷积核。

S5、利用Hough算法进行计算，最终得出图像的补偿值；

在霍夫变换中，直线用下述方程表示：

ρ＝xcosθ+ysinθ

公式中：ρ是直线到图像原点(左上角)的距离，θ则是与直线垂直的角度，x代表x坐标值，y代表y坐标值。

以1个像素作为最小半径单位，π/500作为最小角度单位，使用霍夫变换得到多条直线。得到直线后，根据每一条直线的置信度，选择置信度最高且大于150的一条直线作为结果。

S6、对图像序列重复以上操作并补偿。

对整个图像序列中的每一张图像做相同的操作，得到每一张图像的补偿值。在通过Hough变换求得了可能性最大的一条直线后。计算该直线的左端点和右端点，取两个端点的Y坐标的平均数，即为该张图像的偏移量。

Point pt1(cvRound(x0+1000*(-b)),cvRound(y0+1000*(a)))；

Point pt2(cvRound(x0-1000*(-b)),cvRound(y0-1000*(a)))；

其中pt1，pt2即为左右两端点，其y坐标分别为cvRound(y0+1000*(a))和cvRound(y0-1000*(a))，则两个端点的Y坐标(即该张图像的偏移量)为(cvRound(y0+1000*(a))+cvRound(y0-1000*(a)))/2。

对图像序列的每一幅图进行相同的操作，可以得到每一张图像的偏移量。根据每张图的偏移量，对图像序列的第一张图像对齐。从而提高后续异物检测算法的准确率，减少误检率。

在上一步中，图像序列中的每一张图像都得到了一个偏移量，从而对图像序列的第一张图像对齐；

dy[5]表示含有5个元素的数组则相应的对第i+1张图片的处理区域为

Roi[i]＝Rect(x,y+dy[i]-dy[0],width,height)

其中Rect函数及其参数如前所述，dy[i]表示dy[5]数组中的第i+1个元素，dy[0]表示dy[5]数组中的第1个元素。

比如，图像序列中由5张图，其偏移量为10010210199100。与第一张图的偏移量相减，得dy＝[0-2-110]。在后续处理的步骤中，对处理区域的Y坐标，加减相应的数值。新的处理区域，五张图各不相同，分别为(500,200),(500,198),(500,199),(500,201),(500,200)。

经实际测试，该算法对于3台1600x1200分辨率的灰度工业相机，5帧的图像序列，共15张图像，算法的处理时间在150ms以内，可以满足大部分的实时需求。

通过上述的到的多幅图像，并将多幅图像送至现有的图像处理系统进行检测异物。

本发明能够提高异物分析的准确率，从软件上克服了机械上无法克服的问题，并提升了成像的效果，从而进一步保障了输液患者的生命安全。

以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (10)

1.一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，具体包括以下步骤：

S1、使用高速工业相机对待检测的当前液体药品获取多帧连续图像；

S2、对所述图像感兴趣区域进行瓶壁与背景区分；

S3、对所述区分后的图像进行形态学处理；

S4、对所述形态学处理后的图像进行Sobel滤波，得到一个方向的梯度信息；

S5、对所述Sobel滤波后图像进行霍夫变换，最终得出图像的补偿值；

S6、对图像序列重复以上操作并得到每张图像的偏移量，并根据所述每张图的偏移量对所述图像序列的第一张图像对齐；最终得到补偿的新的处理区域。

2.如权利要求2所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，所述步骤S1中的所述工业相机获取的图像可形成灰度图。

3.如权利要求1所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，所述步骤S2中的所述图像感兴趣区域为一个图像的上半部分；并对这一区域进行二值化处理；所述感兴趣区域为一矩形区域。

4.如权利要求3所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，所述二值化处理为基于大津算法的二值化操作；所述大津算法计算的出阈值后，小于阈值的像素值置为0，大于阈值的像素值置为255。

5.如权利要求1所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，所述步骤S3中的所述形态学处理，包括图像膨胀操作和图像腐蚀操作。

6.如权利要求1所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，所述步骤S4中所述Sobel滤波使用Sobel算子得到图像梯度；由函数在两个正交方向上的一阶导数组成的二维向量：

。

7.如权利要求1所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，在所述S5中所述霍夫变换中，直线用下述方程表示：

ρ＝xcosθ+ysinθ

其中：ρ是直线到图像原点(左上角)的距离，θ则是与直线垂直的角度，x代表x坐标值，y代表y坐标值。

8.如权利要求1所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，使用所述霍夫变换得到多条直线，根据每一条直线的置信度，选择置信度最高且大于150的一条直线作为结果。

9.如权利要求1所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，在所述S6中所述霍夫变换求得了可能性最大的一条直线后，计算该直线的左端点和右端点，取两个端点的Y坐标的平均数，即为该张图像的偏移量。

10.如权利要求9所述的一种瓶装透明药液异物检测同步跟踪视觉补偿方法，其特征在于，对图像序列的每一幅图进行上述相同的操作，可以得到每一张图像的偏移量；根据每张图的偏移量，对图像序列的第一张图像对齐；最终得出图像的补偿值。