CN104835166A - 基于机器视觉检测平台的液体药瓶异物检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉检测平台的液体药瓶异物检测方法，包括步骤(1)：连续采集N帧序列液体药瓶图像，N为大于等于1的正整数；步骤(2)：对采集的每一帧序列液体药瓶图像都进行均值滤波和开窗处理；步骤(3)：获取每一帧序列液体药瓶图像的感兴趣的检测区域ROI；步骤(4)：创建基准模板，滤波和开窗处理后的液体药瓶图像与所述基准模板进行基于灰度特征的模板匹配；步骤(5)：对匹配后的相邻两帧图像帧间进行差分处理；帧间差分处理后的图像进行灰度阈值分割获得图像Imagethreshold_i，2≤i≤N；若图像Imagethreshold_i内均不存在异物，则药瓶内的液体合格；否则，根据异物特征来判断药瓶内液体是否合格。

Description

基于机器视觉检测平台的液体药瓶异物检测方法

技术领域

本发明属于机器视觉检测技术，涉及一种基于机器视觉检测平台的液体药瓶异物检测方法。

背景技术

水针制剂是非常常见的一种药品制剂，如今我国的医用注射液产量已居世界前列。但水针制剂的生产过程中,由于工艺水平的影响，水针制剂中往往无法避免地出现诸如包括玻璃屑、纤维、白点、色块及晶体析出等其它异物。这些杂质对药品的质量会产生很大的影响。由于机械平台会产生无法避免的机械振动，反映到采集到的药瓶图像就会有几个像素的平移或扭转。如果没有对图像进行精确的修正，会导致异物面积的增加，对于医药检测需要达到50微米的精度来说就是几个像素。在一般的设计中，通常采用帧间差分的方法来差除背景，凸显异物目标，但是在没有对图像进行精确的校正，会出现较高的误检率。同时由于光干扰的存在，以及溶于液体中的气泡运动的干扰，误检率会进一步增加。因此，急需一种能够解决图像的精确定位，同时去除各个工位之间的光干扰，以及液体内部的气泡的方法，来达到高精度的检测。

发明内容

本发明提出了一种基于机器视觉检测平台的液体药瓶异物检测方法，其的目的在于提出一个完整的检测液体药瓶异物的方法，克服目前技术中检测药瓶异物时，未对已经发生偏移的药瓶进行校正，未对光干扰区域进行排除，未对气泡干扰做出排除，导致的异物检测精度较低的误检率过高的问题。

为实现上述目的，本发明采用以下技术方案：

一种基于机器视觉检测平台的液体药瓶异物检测方法，包括：

步骤(1)：液体药瓶置于机器视觉检测平台上，连续采集N帧序列液体药瓶图像，其中，N为大于等于1的正整数；

步骤(2)：对采集的每一帧序列液体药瓶图像都进行均值滤波和开窗处理；

步骤(3)：获取每一帧序列液体药瓶图像的感兴趣的检测区域ROI；

步骤(4)：在感兴趣的检测区域ROI内创建基准模板，滤波和开窗处理后的液体药瓶图像与基准模板进行基于灰度特征的模板匹配；

步骤(5)：对模板匹配后的相邻两帧图像帧间进行差分处理，再进行灰度阈值分割获得第i帧图像Imagethreshold_i，其中，2≤i≤N，i为整数；

若所有图像Imagethreshold_i内都不存在异物，则药瓶内的液体合格；若任一图像Imagethreshold_i内存在异物，则根据药瓶内异物的特性来判断药瓶内液体是否合格，其判断准则为：

其中，Area_sum为异物的面积总和；Area_single为异物面积单个最大面积；Errorframes为存在异物的所有帧数；α、β分别为异物面积总和与单个异物面积的阈值，ξ为出现异物帧数的阈值。

所述感兴趣的检测区域ROI为采集到的液体药瓶图像去除光干扰、去除瓶顶部的液位运动部分和去除底部瓶座的支撑部分。

所述步骤(4)中创建基准模板和模板匹配，包括：

步骤(4.1)：依据药瓶的图像特征，在采集得到的药瓶图像中，选择灰度特征最为明显的瓶底区域作为模板搜索区域；并设定第一帧图像为基准模板；

步骤(4.2)：采用位移帧差法分别计算第i帧图像与第一帧图像匹配后的图像。

所述步骤(4.2)的具体过程为：

步骤(4.2.1)：计算第i帧图像在y方向和x方向移动的偏移量；

ymove_i＝-(ΣRowNew_k-ΣRowOld_k)/k        (2)

xmove_i＝-(ΣColumnNew_k-ΣColumnOld_k)/k        (3)

其中，RowNew_k为匹配后计算出的图像在y方向的像素偏差；RowOld_k为第一帧图像的模板图像的重心坐标y值；ColumnNew_k为匹配后计算出的图像在x方向的像素偏差；ColumnOld_k为第一帧图像的模板图像的重心坐标x值；k代表第一帧图像中建立的模板图像的个数；ymove_i和xmove_i分别是在y方向和x方向待校正图像所需移动的像素值；

步骤(4.2.2)：计算匹配的新图像的位移矩阵和旋转矩阵；

$\mathrm{HomMat}2D=\left[\begin{array}{ccc}1& 0& {\mathrm{xmove}}_i\\ 0& 1& {\mathrm{ymove}}_i\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]=\left[H_t\right]\left[H_r\right]---\left(4\right)$

其中[H_t]、[H_r]分别为平移矩阵与旋转矩阵；忽略图像的旋转，认为θ＝0；

步骤(4.2.3)：利用HomMat2D矩阵进行仿射变化，将匹配前的图像平移对应匹配后的新的图像的坐标为：

$\left[\begin{array}{c}\mathrm{row}\_\mathrm{new}\\ \mathrm{Column}\_\mathrm{new}\\ 1\end{array}\right]=\left[\begin{array}{c}\mathrm{row}\_\mathrm{old}\\ \mathrm{Column}\_\mathrm{old}\\ 1\end{array}\right]*\mathrm{HomMat}2D---\left(5\right)$

$\left[\begin{array}{c}{y}^{*}\\ x^{*}\\ 1\end{array}\right]=\left[\begin{array}{c}y\\ x\\ 1\end{array}\right]*\mathrm{HomMat}2D---\left(6\right)$

其中，row_new表示匹配前的图像在x方向的坐标；Column_new表示匹配前的图像在y方向的坐标；row_old表示匹配后的图像在x方向的坐标；Column_old表示匹配后的图像在y方向的坐标；HomMat2D为一个变换矩阵，[H_t]和[H_r]分别为平移矩阵与旋转矩阵；(x,y)为原始图像各个点的坐标，(x*,y*)为校正后的图像的每一个像素点的坐标，每一个对应的(x,y)与(x*,y*)灰度信息相同。

所述灰度阈值分割后的图像Imagethreshold_i的像素Imagethreshold_i(gray)满足条件：

(128+30)＜＝Imagethreshold_i(gray)＜＝255   (7)。

所述异物的形状特征，包括异物面积area、异物紧凑度compactness和椭圆度anisometry；

$\mathrm{compactness}=\frac{L^2}{4\mathrm{\πA}}---\left(8\right)$

$\mathrm{anisometry}=\frac{R_a}{R_b}---\left(9\right)$

其中，L为异物的周长，A为异物面积，R_a为异物长轴，R_b为异物短轴。

所述判断异物的条件为：

$\left\{\begin{array}{c}\mathrm{area}\≥a\\ \mathrm{compactness}\≥b\\ \mathrm{anisometry}\≥c\end{array}\right.---\left(10\right)$

其中，a,b,c分别为预设异物面积area、异物紧凑度compactness和椭圆度anisometry的阈值。

本发明的有益效果为：

(1)通过基于采集得到的药瓶图像特征，采用均值滤波去除高斯噪声，动态地创建多个匹配模板，利用位移帧差法，以最大匹配度，保证每帧图像高精度高速度的成功匹配；

(2)该方法与现有技术相比，首先是速度快，单瓶药液的所有图像总的处理时间在300ms以内；

(3)其检测具有亚像素级别精度，消除了由于机械平台的振动带来的像素偏差，大大提高检测准确性；对光干扰区域做了处理，允许一定区域的光线干扰。同时对气泡的形态学做了分析，剔除气泡的影响，显著增加检测可靠性；

(4)能够消除机械平台的微小振动，并将序列图像进行高精度匹配，检测出极为微小的异物；有效地弥补了平台的不足，降低硬件制造价格，适用于安瓿瓶、西林瓶、等水针医药制剂的异物高精度高速度检测。

附图说明

图1是本发明的基于机器视觉检测平台的液体药瓶异物检测方法流程图；

图2是本发明的基于灰度特征的模板匹配的流程图；

图3是本发明的基于机器视觉检测平台的液体药瓶异物检测系统结构示意图。

其中，1、进瓶传送带，2、进瓶螺杆，3、进瓶星轮，4、背光光源，5、CCD相机，6、回转大盘，7、遮光板8、出瓶星轮，9、出瓶螺杆，10、剔瓶机构。

具体实施方式

下面结合附图与实施例对本发明做进一步说明：

本实施例的基于机器视觉检测平台的液体药瓶异物检测系统，如图3所示，该基于机器视觉检测平台的液体药瓶异物检测系统的硬件平台，其工作原理为：进瓶螺杆2，进瓶星轮3，回转大盘6，出瓶星轮8，出瓶螺杆9以及相机的往复运动由PLC系统精确控制其运动速度，速度100瓶/分钟～300瓶/分钟可调。

液体药瓶从进瓶传送带1开始，依次由进瓶螺杆2运动到进瓶星轮3位置，该位置设有液位高度检测工位，然后液体药瓶药液运送到回转大盘6上的各个检测工位，回转大盘6上设定有三个检测工位，每个检测工位上各设有一个CCD相机5，在每个CCD相机5的外侧各设有一个遮光板7。在每个检测工位前，药瓶高速旋转，带动药液高速运动，然后到达急停检测工位，药瓶瓶身静止，药液由于惯性继续运动。回转大盘6上相机做往复运动，在检测拍照时刚好与回转大盘6同步运动，相对药瓶瓶身静止，拍摄获取药瓶内运动的药液图像。液体药瓶再经过出瓶星轮8和出瓶螺杆9，到达剔瓶机构10前的这段时间，采用本发明的基于机器视觉检测平台的液体药瓶异物检测方法，检测药液内是否含有异物，传送给PLC相应的控制信号，实现药液合格与否的甄选。

如图1所示，一种基于机器视觉检测平台的液体药瓶异物检测方法，包括以下步骤：

步骤(1)：液体药瓶置于机器视觉检测平台上，连续采集N帧序列液体药瓶图像；

Image＝[Image1,Image2,Image3,……,Image(N-2),Image(N-1),ImageN,]，N＝22，相机采集图像模式为：由PLC提供单次触发多帧采集；采集图像的时间区间为瓶身静止，瓶内药液及异物高速旋转。

步骤(2)：对采集的每一帧序列液体药瓶图像采用2*2的像素规格进行均值滤波；

针对不同相机工位，彼此工位之间有可能会存在光干扰的情况，在平台运转的同时，由于光干扰的表现形式与异物的形态相似，均为运动，但光干扰的运动区域有限，因此对于这些区域采用开窗处理，设定该区域为ROI_sub_i。

步骤(3)：获取每一帧序列液体药瓶图像的感兴趣的检测区域ROI；

通过图像的相减、合并、腐蚀、膨胀等操作，获得感兴趣的检测区域ROI，所述检测区域ROI为采集到的图像去除光干扰、去除瓶顶部的液位运动部分和去除底部瓶座的支撑部分。

步骤(4)：创建基准模板，滤波和开窗处理后的液体药瓶图像与所述基准模板进行基于灰度特征的模板匹配；如图2所示，具体过程包括：

步骤(4.1)：依据药瓶的图像特征，在采集得到的药瓶图像中，选择灰度特征最为明显的瓶底区域作为模板搜索区域；并设定第一帧图像为基准模板；

步骤(4.2)：采用位移帧差法分别计算第i帧图像与第一帧图像匹配后的图像。

所述步骤(4.2)的具体过程为：

步骤(4.2.1)：计算第i帧图像在y方向和x方向移动的偏移量；

ymove_i＝-(ΣRowNew_k-ΣRowOld_k)/k        (2)

xmove_i＝-(ΣColumnNew_k-ΣColumnOld_k)/k        (3)

其中，RowNew_k为匹配后计算出的图像在y方向的像素偏差；RowOld_k为第一帧图像的模板图像的重心坐标y值；ColumnNew_k为匹配后计算出的图像在x方向的像素偏差；ColumnOld_k为第一帧图像的模板图像的重心坐标x值；k代表第一帧图像中建立的模板图像的个数；ymove_i和xmove_i分别是在y方向和x方向待校正图像所需移动的像素值；

定义图像的误差值公式表达式为：

$\mathrm{error}[\mathrm{row},\mathrm{col}]=\frac{{\mathrm{\Σ}}_{u,v}\left|\mathrm{Image}\right[\mathrm{row}-u,\mathrm{col}-v]-\mathrm{TemplateID}[u,v\left]\right|}{\mathrm{area}\left(\mathrm{TemplateID}\right)}$

其中，TemplateID[u,v]为模板的重心点的坐标(u，v)点处对应的灰度值；Image[row-u，col-v]中的(row，col)为变量，代表当前坐标点的灰度值；area(TemplateID)为模板的总像素灰度值总和。当(row，col)取得某一确定的值时，能够使得图像的误差值error[row，col]最小且小于20，则认为此时的图像能完成匹配，返回(row，col)值。当error最小时，返回第一帧图像的最佳匹配对象的坐标Rowold_k,Columnold_k，k代表基准模板数目，其中，本实施例中k＝2，控制模板匹配的宽容度选择20。

步骤(4.2.2)：计算匹配的新图像的位移矩阵和旋转矩阵

$\mathrm{HomMat}2D=\left[\begin{array}{ccc}1& 0& {\mathrm{xmove}}_i\\ 0& 1& {\mathrm{ymove}}_i\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]=\left[H_t\right]\left[H_r\right]---\left(4\right)$

其中[H_t]、[H_r]分别为平移矩阵与旋转矩阵；忽略图像的旋转，认为θ＝0。

步骤(4.2.3)：利用HomMat2D矩阵进行仿射变化，将匹配前的图像平移对应匹配后的新的图像的坐标为：

$\left[\begin{array}{c}\mathrm{row}\_\mathrm{new}\\ \mathrm{Column}\_\mathrm{new}\\ 1\end{array}\right]=\left[\begin{array}{c}\mathrm{row}\_\mathrm{old}\\ \mathrm{Column}\_\mathrm{old}\\ 1\end{array}\right]*\mathrm{HomMat}2D---\left(5\right)$

$\left[\begin{array}{c}{y}^{*}\\ x^{*}\\ 1\end{array}\right]=\left[\begin{array}{c}y\\ x\\ 1\end{array}\right]*\mathrm{HomMat}2D---\left(6\right)$

其中，row_new表示匹配前的图像在x方向的坐标；Column_new表示匹配前的图像在y方向的坐标；row_old表示匹配后的图像在x方向的坐标；Column_old表示匹配后的图像在y方向的坐标；HomMat2D为一个变换矩阵，[H_t]和[H_r]分别为平移矩阵与旋转矩阵；(x,y)为原始图像各个点的坐标，(x*,y*)为校正后的图像的每一个像素点的坐标，每一个对应的(x,y)与(x*,y*)灰度信息相同；平移变换后的新图像为Image_i，此时两帧相邻的平移变换后的新图像保持高精度重合。

步骤(5)：对模板匹配后的相邻两帧图像帧间进行差分处理，再进行灰度阈值分割获得第i帧图像Imagethreshold_i，其中，2≤i≤N，i为整数；

若所有图像Imagethreshold_i内都不存在异物，则药瓶内的液体合格；若任一图像Imagethreshold_i内存在异物，则根据药瓶内异物的特性来判断药瓶内液体是否合格，其判断准则为：

其中，Area_sum为异物的面积总和；Area_single为异物面积单个最大面积；Errorframes为存在异物的所有帧数；α、β分别为异物面积总和与单个异物面积的阈值，ξ为出现异物帧数的阈值。

所述灰度阈值分割后的图像Imagethreshold_i的像素Imagethreshold_i(gray)满足条件：

(128+30)＜＝Imagethreshold_i(gray)＜＝255   (7)。

所述异物的形状特征，包括异物面积area、异物紧凑度compactness和椭圆度anisometry；

$\mathrm{compactness}=\frac{L^2}{4\mathrm{\πA}}---\left(8\right)$

$\mathrm{anisometry}=\frac{R_a}{R_b}---\left(9\right)$

其中，L为异物的周长，A为异物面积，R_a为异物长轴，R_b为异物短轴。

所述判断异物的条件为：

$\left\{\begin{array}{c}\mathrm{area}\≥a\\ \mathrm{compactness}\≥b\\ \mathrm{anisometry}\≥c\end{array}\right.---\left(10\right)$

其中，a,b,c分别为预设异物面积area、异物紧凑度compactness和椭圆度anisometry的阈值。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于机器视觉检测平台的液体药瓶异物检测方法，其特征在于，包括：

步骤(1)：液体药瓶置于机器视觉检测平台上，连续采集N帧序列液体药瓶图像，其中，N为大于等于1的正整数；

步骤(2)：对采集的每一帧序列液体药瓶图像都进行均值滤波和开窗处理；

步骤(3)：获取每一帧序列液体药瓶图像的感兴趣的检测区域ROI；

步骤(4)：在感兴趣的检测区域ROI内创建基准模板，滤波和开窗处理后的液体药瓶图像与基准模板进行基于灰度特征的模板匹配；

步骤(5)：对模板匹配后的相邻两帧图像帧间进行差分处理，再进行灰度阈值分割获得第i帧图像Imagethreshold_i，其中，2≤i≤N，i为整数；

若所有图像Imagethreshold_i内都不存在异物，则药瓶内的液体合格；若任一图像Imagethreshold_i内存在异物，则根据药瓶内异物的特性来判断药瓶内液体是否合格，其判断准则为：

其中，Area_sum为异物的面积总和；Area_single为异物面积单个最大面积；Errorframes为存在异物的所有帧数；α、β分别为异物面积总和与单个异物面积的阈值，ξ为出现异物帧数的阈值。

2.如权利要求1所述的一种基于机器视觉检测平台的液体药瓶异物检测方法，其特征在于，所述感兴趣的检测区域ROI为采集到的液体药瓶图像去除光干扰、去除瓶顶部的液位运动部分和去除底部瓶座的支撑部分。

3.如权利要求1所述的一种基于机器视觉检测平台的液体药瓶异物检测方法，其特征在于，所述步骤(4)中创建基准模板和模板匹配，包括：

步骤(4.1)：依据药瓶的图像特征，在采集得到的药瓶图像中，选择灰度特征最为明显的瓶底区域作为模板搜索区域；并设定第一帧图像为基准模板；

步骤(4.2)：采用位移帧差法分别计算第i帧图像与第一帧图像匹配后的图像。

4.如权利要求1所述的一种基于机器视觉检测平台的液体药瓶异物检测方法，其特征在于，所述步骤(4.2)的具体过程为：

步骤(4.2.1)：计算第i帧图像在y方向和x方向移动的偏移量；

ymove_i＝-(ΣRowNew_k-ΣRowOld_k)/k   (2)

xmove_i＝-(ΣColumnNew_k-ΣColumnOld_k)/k   (3)

其中，RowNew_k为匹配后计算出的图像在y方向的像素偏差；RowOld_k为第一帧图像的模板图像的重心坐标y值；ColumnNew_k为匹配后计算出的图像在x方向的像素偏差；ColumnOld_k为第一帧图像的模板图像的重心坐标x值；k代表第一帧图像中建立的模板图像的个数；ymove_i和xmove_i分别是在y方向和x方向待校正图像所需移动的像素值；

步骤(4.2.2)：计算匹配的新图像的位移矩阵和旋转矩阵；

$\mathrm{HomMat}2D=\left[\begin{array}{ccc}1& 0& {\mathrm{xmove}}_i\\ 0& 1& {\mathrm{ymove}}_i\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{ccc}\cos \mathrm{\θ}& \sin \mathrm{\θ}& 0\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}& 0\\ 0& 0& 1\end{array}\right]=\left[H_t\right]\left[H_r\right]---\left(4\right)$

其中[H_t]、[H_r]分别为平移矩阵与旋转矩阵；忽略图像的旋转，认为θ＝0；

步骤(4.2.3)：利用HomMat2D矩阵进行仿射变化，将匹配前的图像平移对应匹配后的新的图像的坐标为：

$\left[\begin{array}{c}\mathrm{row}\_\mathrm{new}\\ \mathrm{Column}\_\mathrm{new}\\ 1\end{array}\right]=\left[\begin{array}{c}\mathrm{row}\_\mathrm{old}\\ \mathrm{Column}\_\mathrm{old}\\ 1\end{array}\right]*\mathrm{HomMat}2D---\left(5\right)$

$\left[\begin{array}{c}{y}^{*}\\ x^{*}\\ 1\end{array}\right]=\left[\begin{array}{c}y\\ x\\ 1\end{array}\right]*\mathrm{HomMat}2D---\left(6\right)$

其中，row_new表示匹配前的图像在x方向的坐标；Column_new表示匹配前的图像在y方向的坐标；row_old表示匹配后的图像在x方向的坐标；Column_old表示匹配后的图像在y方向的坐标；HomMat2D为一个变换矩阵，[H_t]和[H_r]分别为平移矩阵与旋转矩阵；(x,y)为原始图像各个点的坐标，(x*,y*)为校正后的图像的每一个像素点的坐标，每一个对应的(x,y)与(x*,y*)灰度信息相同。

5.如权利要求1所述的一种基于机器视觉检测平台的液体药瓶异物检测方法，其特征在于，所述灰度阈值分割后的图像Imagethreshold_i的像素Imagethreshold_i(gray)满足条件：

(128+30)＜＝Imagethreshold_i(gray)＜＝255   (7)。

6.如权利要求1所述的一种基于机器视觉检测平台的液体药瓶异物检测方法，其特征在于，所述异物的形状特征，包括异物面积area、异物紧凑度compactness和椭圆度anisometry；

$\mathrm{compactness}=\frac{L^2}{4\mathrm{\πA}}---\left(8\right)$

$\mathrm{anisometry}=\frac{R_a}{R_b}---\left(9\right)$

其中，L为异物的周长，A为异物面积，R_a为异物长轴，R_b为异物短轴。

7.如权利要求1所述的一种基于机器视觉检测平台的液体药瓶异物检测方法，其特征在于，所述判断异物的条件为：

$\left\{\begin{array}{c}\mathrm{area}\≥a\\ \mathrm{compactness}\≥b\\ \mathrm{anisometry}\≥c\end{array}\right.---\left(10\right)$

其中，a,b,c分别为预设异物面积area、异物紧凑度compactness和椭圆度的阈值。