CN104819754A - 一种基于图像处理的药瓶液位检测方法 - Google Patents

Abstract

本发明公开了本发明一种基于图像处理的药瓶液位检测方法，采集一张典型的药瓶图像创建基准模板图像，建立匹配模板并创建匹配模板坐标系；将采集到的多张被检测药瓶的图像与匹配模板进行一一匹配，得到被检测药瓶的图像的位移矩阵，利用仿射变换得到被检测药瓶图像的修正图像；然后对修正图像做分割，得到获得检测区域，提取液位带形状；然后基于液位带的形状特征求取液位最低点，依据液位最低点与设置的液位最低点阈值α和最高点阈值β的关系对药瓶的合格性做出判断。本发明的方法检测速度快，单瓶药液的所有图像总的处理时间在100ms以内。其检测具有亚像素级别精度，消除了机械平台的振动带来的像素偏差，大大提高检测准确性。

Description

一种基于图像处理的药瓶液位检测方法

技术领域

本发明涉及机器视觉检测技术，尤其涉及一种基于图像处理的药瓶液位检测方法。

背景技术

水针制剂是非常常见的一种药品制剂，如今我国的医用注射液产量已居世界前列。在水针制剂的生产过程中,影响药瓶出厂质量的有两个方面的因素，一个方面的因素是由于药液液体内部存在微小可见异物，另外一个方面则是由于非药液质量引起的，譬如药液填充量，药瓶裂痕，药瓶的封装等。在机器检测药瓶质量的同时，药液的容量的检测工艺流程必不可少。传统检测液位方法一般都是基于光电传感器，或者激光传感器。通过采集光电信息然后对其编码反馈液位高度，系统较为复杂。而且由于流水线生产振动的影响，传统液位检测的抗干扰性存在比较大的问题。

如果针对液位工位没有采用造价相对较高的同步机构的话，采集到的药瓶图像就会产生较大的平移或扭转。若没有对图像进行修正，无法进行模板匹配，也就无法获得正确的检测区域，无法得到正确的液位高度。因此急需一种稳定可靠的方法，而且易于整合到检测平台的方法。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于图像处理的药瓶液位检测方法，使用该方法可以用于液位检测工位，综合液位检测工位的检测结果作为药品是否合格的判断依据。

为了实现上述目的，本发明采用如下技术方案：

一种基于图像处理的药瓶液位检测方法，采集一张典型的药瓶图像创建基准模板图像，建立亚像素精度的匹配模板并创建匹配模板坐标系；将采集到的多张被检测药瓶的图像与匹配模板进行一一匹配，得到不为空瓶的被检测药瓶的图像的位移矩阵，利用仿射变换得到被检测药瓶图像的修正图像；然后对修正图像做分割，得到分割后的图像ImageReduce，对分割后的图像ImageReduce做基于阈值的分割，获得检测区域ImageROI，提取液位带形状；然后基于液位带的形状特征求取液位最低点Columns_min，依据液位最低点Columns_min与设置的液位最低点阈值α和最高点阈值β的关系对药瓶的合格性做出判断。

所述匹配模板的创建方法为读取基准模板图像，采用基于灰度阈值分割，将药瓶图像中的瓶壁轮廓特征提取出来，创建亚像素精度的匹配模板。

被检测药瓶的图像与匹配模板进行匹配时，利用HALCON中的模板匹配函数find_shape_model进行匹配，并且设置匹配评分阈值minScore，0<minScore<1，被检测药瓶的图像一一与匹配模板进行匹配时得到匹配评分，匹配评分大于匹配评分阈值则匹配成功，匹配评分小于匹配评分阈值则继续进行下一帧图像的匹配，如果所有采集到的被检测药瓶的图像的匹配评分都小于匹配评分阈值则此被检测药瓶为空瓶。

所述匹配模板坐标系以匹配模板左上角的第一个像素为原点，向右为x轴的正方向，向下为y轴的正方向；所述位移矩阵由平移矩阵[H_t]_i和旋转矩阵[H_r]_i得到，其中i为第i帧被检测药瓶的图像，i为大于0的整数。

所述平移矩阵[H_t]_i为：

${\left[H_t\right]}_i=\left[\begin{array}{ccc}1& 0& {\mathrm{xmove}}_i\\ 0& 1& {\mathrm{ymove}}_i\\ 0& 0& 1\end{array}\right]$

其中，ymove_i＝-(Row2-Row1)；xmove_i＝-(Column2-Column1)；ymove_i为第i帧被检测药瓶的图像在y轴方向上的偏移量，xmovei为第i帧被检测药瓶的图像在x轴方向上的偏移量，θ为第i帧被检测药瓶的图像的旋转角度；

Row1为匹配模板中药瓶的重心的y方向的坐标，Row2为被检测药瓶的图像中药瓶的重心的y方向的坐标；

Column1为匹配模板中药瓶的重心的x方向的坐标；Column2为被检测药瓶的图像中药瓶的重心的x方向的坐标；

所述旋转矩阵[H_r]_i为：

${\left[H_r\right]}_i=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}& 0\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right]$

其中，θ＝-(Angle2-Angle1)；Angle1为匹配模板中药瓶的中轴线与X轴方向夹角，Angle2为被检测药瓶的图像中药瓶的中轴线与X轴方向夹角，逆时针方向为正；

所述位移矩阵为：

$\mathrm{HomMat}2D={\left[H_t\right]}_i{\left[H_r\right]}_i=\left[\begin{array}{ccc}1& 0& {\mathrm{xmove}}_i\\ 0& 1& {\mathrm{ymove}}_i\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}& 0\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right]$

其中HomMat2D为位移矩阵，利用位移矩阵HomMat2D进行仿射变换得到被检测药瓶图像的修正图像。

修正图像采用以下变换得到：

$\left[\begin{array}{c}{y}^{*}\\ x^{*}\\ 1\end{array}\right]=\left[\begin{array}{c}y\\ x\\ 1\end{array}\right]*\mathrm{HomMat}2D$

HomMat2D为位移矩阵，(x,y)为被检测药瓶图像的原始图像各个像素点的坐标，(x*,y*)为修正图像的每一个像素点的坐标，每一个对应的(x,y)与(x*,y*)灰度信息相同。

检测区域ImageROI获取时，设置液位带宽度的最大值m和最小值n，高度的最大值a和最小值b；液位带的高度height和宽度width满足 $\left\{\begin{array}{c}m\&le;\mathrm{width}\&le;n\\ a\&le;\mathrm{height}\&le;b\end{array}\right.$ 时为检测区域ImageROI，并得到液位最低点Columns_min，如果α≤Columns_min≤β，则该被检测药瓶为合格产品，否则为不合格产品。

本发明的有益效果：本发明的方法检测速度快，单瓶药液的所有图像总的处理时间在100ms以内。其检测具有亚像素级别精度，消除了机械平台的振动带来的像素偏差，大大提高检测准确性。本发明是一种能够消除机械平台的较大振动，并将序列图像进行匹配，精确地检测出药瓶的液位高度。有效地弥补了平台的不足，降低硬件制造价格，是一种新颖的检测方法，该方法适用于安瓿瓶、西林瓶、等水针医药制剂的液位高精度高速度检测，同样适用于透明瓶装溶液的检测领域。

附图说明

图1为本发明流程图；

图2为本发明实例的匹配模板图像；

图3为本发明对药瓶位置修正的实例，其中(a)为原始图像，(b)为修正图像；

图4为本发明检测液位实例。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

如图1所示，步骤1：创建基准模板图像

采集一张典型药瓶图像，基准模板图像要求清晰，具有普适性的特征要素，剔除原始图像中多余的像素信息，对模板图像进行适当剪裁，保证基准模板图像在与被检测瓶体进行模板匹配时，能够迅速找到，缩短匹配时间。

步骤2：读取基准模板图像，提取基准模板图像特征，创建匹配模板并建立匹配模板坐标系；如图2所示为本发明实例的匹配模板图像；匹配模板需要尽多的能够被找到，要求匹配模板的特征是每个被检测药瓶的图像都具备的。所以去除液位以下的瓶身信息、瓶顶的图像以及标志点。

采用基于灰度阈值分割，将药瓶图像中的瓶壁轮廓特征提取出来创建亚像素精度的匹配模板。创建好匹配模板后，对模板参数进行监视，检查参数的适用性。再获得模板的轮廓，用于后面的匹配。

匹配模板坐标系以匹配模板左上角的第一个像素为原点，向右为x轴的正方向，向下为y轴的正方向；

步骤3：采集被检测药瓶的图像，采用basler Ace640相机，30万像素，16mm、200万像素镜头，续采集3帧序列图像：Image＝[Image1,Image2,Image3]，相机采集图像模式为：由PLC提供单次触发多帧采集。

步骤4：基于形状特征的模板匹配。

首先将被检测药瓶的图像第一帧图像进行基于形状特征的匹配。

被检测药瓶的图像与匹配模板进行匹配时，利用HALCON中的模板匹配函数find_shape_model进行匹配，并且设置匹配评分阈值minScore，0<minScore<1，数值越大，代表匹配模板图像越多的能在被检测药瓶的图像上找到，或者说是相似度。用find_shape_model这个算子计算Score分值所落在区间，实验得出值均在0.5～0.9之间，为保险起见设定本实施例中minScore为0.3，即保证存在药瓶图像就能够实现匹配。被检测药瓶的图像一一与匹配模板进行匹配时得到匹配评分，匹配评分大于匹配评分阈值则匹配成功，匹配评分小于匹配评分阈值则继续进行下一帧图像的匹配，如果所有采集到的被检测药瓶的图像的匹配评分都小于匹配评分阈值则此被检测药瓶为空瓶。

步骤5：求解位移矩阵

平移矩阵[H_t]_i为：

${\left[H_t\right]}_i=\left[\begin{array}{ccc}1& 0& {\mathrm{xmove}}_i\\ 0& 1& {\mathrm{ymove}}_i\\ 0& 0& 1\end{array}\right]$

其中，ymove_i＝-(Row2-Row1)；xmove_i＝-(Column2-Column1)；ymove_i为第i帧被检测药瓶的图像在y轴方向上的偏移量，xmovei为第i帧被检测药瓶的图像在x轴方向上的偏移量，θ为第i帧被检测药瓶的图像的旋转角度；

Row1为匹配模板中药瓶的重心的y方向的坐标，Row2为被检测药瓶的图像中药瓶的重心的y方向的坐标；

Column1为匹配模板中药瓶的重心的x方向的坐标；Column2为被检测药瓶的图像中药瓶的重心的x方向的坐标；

所述旋转矩阵[H_r]_i为：

${\left[H_r\right]}_i=\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}& 0\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right]$

其中，θ＝-(Angle2-Angle1)；Angle1为匹配模板中药瓶的中轴线与X轴方向夹角，Angle2为被检测药瓶的图像中药瓶的中轴线与X轴方向夹角，逆时针方向为正。

计算位移矩阵 $\mathrm{HomMat}2D={\left[H_t\right]}_i{\left[H_r\right]}_i=\left[\begin{array}{ccc}1& 0& {\mathrm{xmove}}_i\\ 0& 1& {\mathrm{ymove}}_i\\ 0& 0& 1\end{array}\right]\&CenterDot;\left[\begin{array}{ccc}\cos \mathrm{\&theta;}& \sin \mathrm{\&theta;}& 0\\ -\sin \mathrm{\&theta;}& \cos \mathrm{\&theta;}& 0\\ 0& 0& 1\end{array}\right].$

步骤6：仿射变化

利用位移矩阵HomMat2D矩阵进行仿射变化，将图像平移对应新的修正图像的坐标为

$\left[\begin{array}{c}{y}^{*}\\ x^{*}\\ 1\end{array}\right]=\left[\begin{array}{c}y\\ x\\ 1\end{array}\right]*\mathrm{HomMat}2D$

(x,y)为被检测药瓶图像的原始图像各个像素点的坐标，(x*,y*)为修正图像的每一个像素点的坐标，每一个对应的(x,y)与(x*,y*)灰度信息相同。如图3(a)所示为平移前的原始图像，平移变换后的新图像为Image_i如图3所示的图(b)。

步骤7：生成检测区域ROI

对平移旋转修正后的修正图像作分割，得到ImageReduce，对分割后的图像做基于阈值的分割threshold()，获得ImageROI。

步骤8:基于液位形状特征，计算液位高度。

检测区域ImageROI获取时，设置液位带宽度的最大值m和最小值n，高度的最大值a和最小值b；液位带的高度height和宽度width满足

$\left\{\begin{array}{c}10m\&le;\mathrm{width}\&le;n=10000\\ 10a\&le;\mathrm{height}\&le;b=10000\end{array}\right.$

则认为该形状位液位带，为检测区域ImageROI，如图4中所示的abcd区域。再计算液位最低点Columns_min。

步骤8：依据统计信息对检测品的合格与否做出判断。

α＝400、β＝530分别为液位最低点与最高点。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于图像处理的药瓶液位检测方法，其特征是，采集一张典型的药瓶图像创建基准模板图像，建立亚像素精度的匹配模板并创建匹配模板坐标系；将采集到的多张被检测药瓶的图像与匹配模板进行一一匹配，得到不为空瓶的被检测药瓶的图像的位移矩阵，利用仿射变换得到被检测药瓶图像的修正图像；然后对修正图像做分割，得到分割后的图像ImageReduce，对分割后的图像ImageReduce做基于阈值的分割，获得检测区域ImageROI，提取液位带形状；然后基于液位带的形状特征求取液位最低点Columns_min，依据液位最低点Columns_min与设置的液位最低点阈值α和最高点阈值β的关系对药瓶的合格性做出判断。

2.如权利要求1所述一种基于图像处理的药瓶液位检测方法，其特征是，所述匹配模板的创建方法为读取基准模板图像，采用基于灰度阈值分割，将药瓶图像中的瓶壁轮廓特征提取出来，创建亚像素精度的匹配模板。

3.如权利要求1所述一种基于图像处理的药瓶液位检测方法，其特征是，被检测药瓶的图像与匹配模板进行匹配时，利用HALCON中的模板匹配函数find_shape_model进行匹配，并且设置匹配评分阈值minScore，0<minScore<1，被检测药瓶的图像一一与匹配模板进行匹配时得到匹配评分，匹配评分大于匹配评分阈值则匹配成功，匹配评分小于匹配评分阈值则继续进行下一帧图像的匹配，如果所有采集到的被检测药瓶的图像的匹配评分都小于匹配评分阈值则此被检测药瓶为空瓶。

4.如权利要求1所述一种基于图像处理的药瓶液位检测方法，其特征是，所述匹配模板坐标系以匹配模板左上角的第一个像素为原点，向右为x轴的正方向，向下为y轴的正方向；所述位移矩阵由平移矩阵[H_t]_i和旋转矩阵[H_r]_i得到，其中i为第i帧被检测药瓶的图像，i为大于0的整数。

5.如权利要求4所述一种基于图像处理的药瓶液位检测方法，其特征是，

所述平移矩阵[H_t]_i为：

其中，ymove_i＝-(Row2-Row1)；xmove_i＝-(Column2-Column1)；ymove_i为第i帧被检测药瓶的图像在y轴方向上的偏移量，xmove_i为第i帧被检测药瓶的图像在x轴方向上的偏移量，θ为第i帧被检测药瓶的图像的旋转角度；

Row1为匹配模板中药瓶的重心的y方向的坐标，Row2为被检测药瓶的图像中药瓶的重心的y方向的坐标；

Column1为匹配模板中药瓶的重心的x方向的坐标；Column2为被检测药瓶的图像中药瓶的重心的x方向的坐标；

所述旋转矩阵[H_r]_i为：

其中，θ＝-(Angle2-Angle1)；Angle1为匹配模板中药瓶的中轴线与X轴方向夹角，Angle2为被检测药瓶的图像中药瓶的中轴线与X轴方向夹角，逆时针方向为正；

所述位移矩阵为：

其中HomMat2D为位移矩阵，利用位移矩阵HomMat2D进行仿射变换得到被检测药瓶图像的修正图像。

6.如权利要求5所述一种基于图像处理的药瓶液位检测方法，其特征是，修正图像采用以下变换得到：

HomMat2D为位移矩阵，(x,y)为被检测药瓶图像的原始图像各个像素点的坐标，(x*,y*)为修正图像的每一个像素点的坐标，每一个对应的(x,y)与(x*,y*)灰度信息相同。

7.如权利要求1所述一种基于图像处理的药瓶液位检测方法，其特征是，检测区域ImageROI获取时，设置液位带宽度的最大值m和最小值n，高度的最大值a和最小值b；液位带的高度height和宽度width满足时为检测区域ImageROI，并得到液位最低点Columns_min，如果α≤Columns_min≤β，则该被检测药瓶为合格产品，否则为不合格产品 。