CN102024143A - 高速医药生产线上药液异物图像跟踪识别方法 - Google Patents

Abstract

本发明公开了一种高速医药生产线上药液异物图像跟踪识别方法，其特征在于，包括以下步骤：步骤1：获取多帧图像，搜寻目标，提取目标信息，初始化卡尔曼滤波器参数；步骤2：预测各个目标的下一位置；步骤3：更新卡尔曼滤波器参数；步骤4：判断当前对象是否可能是异物；步骤5：在最后一帧差分图像中，计算当前目标从初始位置到当前位置的位移矢量的幅值大小，并于当前目标的初始位移幅值大小和当前目标的平均直径进行比较，进而判断当前目标是否为异物。该高速医药生产线上药液异物图像跟踪识别方法通用性强、检测效果稳定、准确度高、自动化程度高、显著减小人工检测的劳动强度。

Description

高速医药生产线上药液异物图像跟踪识别方法

技术领域

本发明属于机器视觉跟踪与识别领域，涉及一种高速医药生产线上药液异物图像跟踪识别方法。

技术背景

由于我国有着巨大的医药市场，流向市场的任何液态医药产品都需要进行容器清洗、容器烘干灭菌、药液灌装、封装和质量检测五个过程，目前对于液态医药产品的流水线上的洗、烘、灌、封四个步骤基本上都已经实现了机械化和全自动化，大大提高了生产线的速度。但由于生产环境不洁或生产设备不够优良而造成内壁脱落或者在灌封过程中瓶口玻屑掉入瓶中等诸多因素，都使得医药产品在流向市场之前，对医药产品的质量检测至关重要。

目前多数还停留在人工检测阶段，检测方法为由培训过的工人在日光灯下观察药液中是否有可见异物，若有则将瓶子丢弃在专门盛装不合格品的大容器内，这种方法称为人工灯检。由于长时间的工作会使得人眼疲劳，影响检测效果，并且需要每个员工时刻保持高度责任心对自己的工作认真仔细，因此人工检测结果在很大程度上都和每个人的视力、责任心、甚至心情等众多主观因素有关，不能保证检测结果的客观准确。有些企业为保证检测质量，规定灯检工人每工作一小段时间便需休息一段时间，这样的做法虽然可以在一定程度上减少了主观因素对检测结果的影响，但大大降低了生产效率，使得最后的药液质量检测环节成为影响医药产品生产过程速度的瓶颈环节，也成为影响医药生产行业效益的一个重要因素。在我国，由于生产工艺原因，盛装药液的容器质量参差不齐，瓶壁厚度不均，密度分布也不均匀，因此，虽然德国、日本等发达国家已经有比较成熟的全自动灯检设备，但设备不仅价格高昂，而且由于国内外的容器标准等的不同会造成过高的次品率，使企业得不偿失。

因此开发适合我国国情的全自动灯检设备势在必行，即采用机器视觉的方法模拟人类眼睛进行检测，但在视觉方面由于以下几点难点使得现在市面上仍没有一台能够客观准确的检测出异物的全自动灯捡机：

(1)成像过程中的图像随机噪声以及其他众多干扰。在成像过程中的干扰主要包括以下几点：

a)由于生产环境不洁，空气中含有的微小悬浮物或灰尘颗粒等；

b)容器本身缺陷如玻璃瓶上的裂痕会造成强烈反光，对异物跟踪与识别造成严重干扰；

(2)瓶壁上的刻字、凹痕等会偶尔遮挡异物，造成识别错误。

(3)由于机械加工精度影响，在成像过程中装药液的瓶子会发生移动，增加检测识别的难度；

(4)不同产品所含有的异物种类、数量不同，即使同一类产品的不同个体也会含有多种异物并且数量不一、大小迥异，需要找寻一种通用有效的检测识别方法。

检测速度和检测精度的要求增加了检测难度。由于检测速度的要求，一方面限制了获取图像帧数，另一方面也限制了先进检测算法的应用。

发明内容

本发明的目的是提出一种高速医药生产线上药液异物图像跟踪识别方法，该高速医药生产线上药液异物图像跟踪识别方法通用性强、检测效果稳定、准确度高。

本发明的技术解决方案如下：

一种高速医药生产线上药液异物图像跟踪识别方法，其特征在于，包括以下步骤：

步骤1：获取多帧图像，搜寻目标，提取目标信息，初始化卡尔曼滤波器参数；

步骤2：预测各个目标的下一位置；

步骤3：更新卡尔曼滤波器参数；

步骤4：判断当前对象是否可能是异物；

步骤5：在最后一帧差分图像中，计算当前目标从初始位置到当前位置的位移矢量的幅值大小，并于当前目标的初始位移幅值大小和当前目标的平均直径进行比较，进而判断当前目标是否为异物。

步骤1的具体步骤为：

1)获取图像：从高速医药生产线上获取某一瓶体的多帧图像，取预处理和差分后的结果图像中的第一帧图像；

2)搜寻目标并提取目标信息：在经过步骤1)的处理后所获得的图像表现为大面积的黑色背景区域，只有少数分散区域由于异物或干扰的存在而呈现为白色连通域，因此运用搜寻连通域的方法搜索图像中的各个可疑目标，在搜寻到满足大于4个像素的面积条件的连通域后，以每一个连通域作为一个目标，所需要提取的目标信息包括检测到的各目标的质心坐标X_i0和Y_i0、每个目标的平均直径d即所检测到的连通域的平均直径以及初始位移矢量Si₀＝(s₀，θ₀)，s₀、θ₀分别是位移矢量的幅值大小和相位角，初始状态下设定s₀＝0、θ₀＝0，其中S_i0表示第i个目标的第0次位移即初始位移。

3)初始化卡尔曼滤波器：

在卡尔曼滤波器中定义状态方程为：X(k)＝[x，vx，y，vy]^T，

其中，vx＝x_k-x_k-1、vy＝y_k-y_k-1，分别表示目标的质心在x、y方向的运动速度；

状态转移矩阵为：其中Δt＝0.01，

由于在拍照过程中，无外界控制量输入，因此输入U＝0；输出量即需要预测和测量的值为目标的位置即坐标值，因此输出量为Z(k)＝[x，y]^T，因此输出矩阵为：

观测测量噪声协方差：过程激励噪声协方差：

初始状态下r＝0.1，q＝0.1，表示输出值和起始状态量都会作用于预测值，q、r分别为Q、R的对角元素，决定了噪声对输入输出的影响大小。

步骤2的具体步骤为：

建立更新方程：

时间更新方程为：

$\left\{\begin{array}{c}{\hat{X}}_k^{-}=A\widehat{X_{k-1}}+w_k\\ P_k^{-}=A{P}_{k-1}{A}^T+Q\end{array}\right.$

测量更新方程为：

$\left\{\begin{array}{c}{K}_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}\\ {\hat{X}}_k={\hat{X}}_k^{-}+K_k(Z_k-H{\hat{X}}_k^{-})\\ P_k=(I-K_{k}H)P_k^{-}\end{array}\right.$

其中表示对第k时刻状态的先验估计值，

表示第k-1时刻状态的后验估计值，表示k时刻先验估计误差的协方差，P_k为k时刻后验估计误差的协方差，w_k是过程激励噪声，其中有：

$\left\{\begin{array}{c}{P}_k=E\left[(X_k-{\hat{X}}_k){(X_k-{\hat{X}}_k)}^T\right]\\ P_k^{-}=E\left[(X_k-{\hat{X}}_k^{-}){(X_k-{\hat{X}}_k^{-})}^T\right]\end{array}\right.;$

根据上述方程计算估计每个目标在下一帧图像中的位置，得到预测值

用作下一次估计的先验估计值。

步骤3的具体步骤为：

首先在第二帧差分图像中各目标的预测位置附近搜寻目标，即取以各目标预测位置为中心的3*3区域为搜索区域，这时可能有两种情况：

I.若在预测位置附近搜索到目标，则计算当前目标的此次位移量与前一次位移量的偏差，记此次目标位移量为S_i1＝(s₁，θ₁)，则此次位移与前一次位移的幅值偏差Δ|S|和相角偏差Δθ分别为：

$\left\{\begin{array}{c}\mathrm{\Δ}\left|S\right|=|s_1-s_0|=\sqrt{{(x1-x0)}^2+{(y1-y0)}^2}\\ \mathrm{\Δ\θ}=|{\mathrm{\θ}}_1-{\mathrm{\θ}}_0|=\arctan [(y1-y0)/(x1-x0)]\end{array}\right.;$

其中x1、y1分别表示目标本次的质心坐标值；x0、y0分别表示目标上一次质心的坐标值；提取目标的坐标值，并更新输出量z1＝[x1，y1]，利用测量更新方程分别计算本次状态变量的后验估计值

和后验估计误差的协方差P₁，将计算得到的

代入时间更新方程计算下一次的估计值；设置q＝0.1，r＝0.1，表示当前模型参数合适，预测准确，为下一次预测作准备；

II.若在预测位置附近没有搜索到目标，则这时有两种可能：目标被遮挡或目标消失；a).当目标运动到瓶壁上的刻字或裂痕后面时，此时由于裂痕或刻字灰度值较高且所占区域较大，因此会遮挡住异物；此时在图像上的表现为连通区域的面积远远大于异物的可能面积；b).当异物由于旋转而远离镜头时，可能导致异物与背景区分不明显，此时就检测不到异物，表现在图像上为搜索区域均为背景区域因此搜索不到连通区域；

针对上述a)、b)两种情况，均设置r＝0、q＝1，即观测噪声协方差矩阵为0矩阵，同时过程激励噪声协方差矩阵各元素为1，即表明上一次的实际位置不影响此次结果，而只是将上一次的预测结果即设置为当前实际输出结果，并利用此结果作为校正下一次预测的输出值。

步骤4的具体步骤为：

首先判断目标的运动轨迹是否符合异物运动规律：药液中异物的运动规律为：a)运动方向基本始终如一，即第k次相角偏差Δθ_k≈0；b)：异物在两帧图像间的运动幅度基本一致；即Δs_k≈0且s_k＞d，s_k表示当前目标的第k次位移的幅值；

根据上述运动规律对判断后的异物分别进行处理；若符合异物运动规律，说明此目标可能是异物，需要继续跟踪以确定，因此进一步判断当前帧是否是最后一帧，若不是，则更新卡尔曼滤波器参数进行预测，重复步骤2、步骤3和步骤4，继续识别异物，若是最后一帧，说明此目标有极大可能是异物，进入步骤5；若不符合异物运动规律，即不满足前述的约束条件，说明此目标是干扰项，放弃此目标，继续处理下一个目标。

步骤5的具体步骤为：计算当前目标的最终位移矢量即从初始位置到当前位置的位移幅值偏差，即

Δs_n-1＝s_n-1-s₀，n为差分图像的总帧数；

判断Δs_n-1＞d是否成立，若成立说明当前目标是异物，否则说明当前目标不是异物；对所有的目标分别完成判断，异物检测过程完成。

步骤4中，采用约束条件判断异物的运动是否符合所述的运动规律，所述的约束条件为-3°＜Δθ_k＜3°，-2＜Δs_k＜2且s_k＞d，即容许运动方向角度有正负3°的偏差，而目标在每两帧之间的位移偏差量允许有正负2个像素的偏差。

本发明的技术路线为：

本发明的高速医药生产线上的药液异物跟踪与识别方法采用以下步骤：

(1)搜寻目标，提取目标信息，初始化卡尔曼滤波器参数。取预处理和差分后的结果图像中的第一帧图像，提取图像中的各个可疑目标的特征信息，初始化卡尔曼滤波器的参数。

(2)预测各个目标的下一位置。

(3)更新卡尔曼滤波器参数。在下一帧差分结果图像中，在步骤(2)中预测位置附近搜寻目标，提取各目标的质心坐标等特征信息，更新卡尔曼滤波器参数，预测各目标的下一位置。计算各个目标从上一个位置到当前位置的位移矢量的幅值和相位角的偏差，为下一步的利用轨迹判断作准备。

(4)根据步骤(3)中所计算的幅值和相位角的偏差值判断当前对象是否可能是异物。若符合异物运动规律(即运动方向统一，平均每帧图像间的位移幅度基本相等，并且从初始位置到最终位置的位移矢量的幅值要大于3倍的初始位移幅值)并且当前图像不是最后一帧，则更新卡尔曼滤波器参数，重复步骤(2)(3)(4)；若符合异物运动规律并且当前图像是最后一帧则进入步骤(5)。若不符合异物运动规律，则放弃此目标，继续对下一个目标进行上述操作。

(5)在最后一帧图像中，计算当前目标从初始位置到当前位置的位移矢量的幅值大小，并于当前目标的初始位移幅值大小和当前目标的平均直径进行比较，进而判断当前目标是否为异物。

所述的步骤(1)的具体流程为：

①搜寻目标并提取目标信息：运用搜寻连通域的方法搜索图像中的各个可疑目标。在此步骤中以连通域大小作为判断异物的初步标准。在搜寻到满足面积条件(大于4个像素)的连通域后，所需要提取的目标信息主要包括检测到的各目标的质心坐标X_i0和Y_i0、每个目标的平均直径d即所检测到的连通域的平均直径以及初始位移矢量S_i0＝(s₀，θ₀)(s₀、θ₀分别是位移矢量的幅值大小和相位角。初始状态下假设s₀＝0、θ₀＝0，其中S_i0表示第i个目标的第0次位移即初始位移)。

②利用上述参数初始化卡尔曼滤波器。

在卡尔曼滤波器中定义状态方程为：X(k)＝[x，vx，y，vy]^T

其中，vx x_k-x_k-1、vyy_k-y_k-1，分别表示目标的质心坐标在x、y方向的运动速度。

由于拍摄速度为110帧/秒，即在两帧间的相隔时间约为0.01秒，非常短暂，由此可假设异物在两帧间做匀速直线运动，因此状态转移矩阵为：

其中Δt＝0.01。由于在拍照过程中，无外界控制量输入，因此输入U＝0；输出量，即我们需要预测和测量的值为目标的位置即坐标值，因此Z(k)＝[x，y]^T。因此输出矩阵为：

观测测量噪声协方差：

过程激励噪声协方差：初始状态下r＝0.1，q＝0.1，表示输出值和起始状态量都会作用于预测值。

所述步骤(2)的具体流程为：

①建立更新方程：

根据卡尔曼滤波理论，可以得出：

时间更新方程：

$\left\{\begin{array}{c}{\hat{X}}_k^{-}=A\widehat{X_{k-1}}+w_k\\ P_k^{-}=A{P}_{k-1}{A}^T+Q\end{array}\right.$

测量更新方程：

$\left\{\begin{array}{c}{K}_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}\\ {\hat{X}}_k={\hat{X}}_k^{-}+K_k(Z_k-H{\hat{X}}_k^{-})\\ P_k=(I-K_{k}H)P_k^{-}\end{array}\right.$

其中w_k是过程激励噪声，P_k为过程噪声的协方差估计。

②根据上述方程计算估计每个目标在下一帧图像中的位置，得到预测值

并用做下一次估计的先验估计值。

所述步骤(3)的具体流程为：

①在第二帧图像中各目标的预测位置附近搜寻目标并提取目标信息：

a.若在预测位置附近搜索到目标，则提取目标的坐标值并更新卡尔曼滤波器中的状态变量和输出量，并设置q＝0.1，r＝0.1，为下一次预测作准备。

b.若在预测位置附近没有搜索到目标，则这是有两种可能：目标被遮挡或目标消失。

(i).当目标运动到瓶壁上的刻字或裂痕后面时，此时由于裂痕或刻字灰度值较高且所占区域较大，因此会遮挡住异物，此时在图像上的表现为连通区域的面积远远大于异物的可能面积；

(ii).当异物由于旋转而远离镜头时，可能导致异物与背景区分不明显，此时就检测不到异物，表现在图像上为搜索区域均为背景区域因此搜索不到连通区域。

针对上述(i)(ii)两种情况，均设置r＝0、q＝1，即观测噪声协方差矩阵为0矩阵，此种情况下，上一次的预测结果即设置为当前实际输出结果，并利用此结果作为校正下一次预测的输出值。

②计算当前目标的此次位移量与前一次位移量的偏差。记此次目标位移量为S_i1＝(s₁，θ₁)，则此次位移与前一次位移的幅值偏差和相角偏差分别为：

$\left\{\begin{array}{c}\mathrm{\Δ}\left|S\right|=|s_1-s_0|=\sqrt{{(x1-x0)}^2+{(y1-y0)}^2}\\ \mathrm{\Δ\θ}=|{\mathrm{\θ}}_1-{\mathrm{\θ}}_0|=\arctan [(y1-y0)/(x1-x0)]\end{array}\right.$

所述步骤(4)的具体流程为：

①判断目标的运动轨迹是否符合异物运动规律：药液中异物的运动规律为：

a)：运动方向基本始终如一，可能会有小的偏差，但不会太大，基本如一。即Δθ_k≈0。

b)：异物在两帧图像间的运动幅度基本一致。因其不受外界作用力的影响，因此基本能保持匀速直线运动，使异物在每两帧间的运动幅度基本相同且都远远大于异物自身大小。即Δs_k≈0且s_k＞d(s_k表示当前目标的第k次位移的幅值)。

为保证检测精确度并经过多次实验，本发明中采用的约束条件为-3°＜Δθ_k＜3°，-2＜Δs_k＜2且s_k＞d，即容许运动方向角度有正负3°的偏差，而目标在每两帧之间的位移偏差量允许有正负2个像素的偏差。对于空气中的灰尘颗粒在图像上形成的较小的离散干扰点，由于其随机性，没有任何运动规律，因此其位移相角偏移量Δθ_k＞3°或Δθ_k＜-3°，因此上述两个约束条件的第一个条件可以完全去除空气中的灰尘颗粒、图像噪声点等干扰点。对于瓶壁上的裂痕、文字甚至指纹等干扰项，由于在拍照过程中药液容器基本保持静止，使得这些干扰项的位移矢量的幅值都很小，远远小于这些特征项的平均直径，因此由第二个约束条件即可完全排除这些较大的干扰项。

②对判断后的异物分别进行处理。若符合异物运动规律，说明此目标可能是异物，需要继续跟踪以确定，因此，进一步判断当前帧是否是最后一帧，若不是，则更新卡尔曼滤波器参数进行预测，重复步骤(2)(3)(4)。若是最后一帧，说明此目标有极大可能是异物，进入步骤(5)。若不符合异物运动规律，说明此目标是干扰项，放弃此目标，继续处理下一个目标。

所述步骤(5)的具体流程为：计算当前目标的最终位移矢量即从初始位置到当前位置的位移幅值偏差Δs_n-1＞d(其中Δs_n-1＝s_n-1-s₀，假设共有n帧图像)。

有益效果：

与现有技术相比，本发明的优点在于：

(1)检测速度快。本发明中主要基于以下两点提高了检测速度：a).本发明中采用卡尔曼滤波对目标位置进行预测，然后在预测位置附近搜索目标，缩短了搜寻目标的范围，进而提升了检测速度；b).本发明通过跟踪修正检测，通过检测细化跟踪，两者相结合，淘汰了原来的传统的先精细检测后跟踪的做法，因此大大节省了异物检测所需时间。自动化程度高，避免了采用人工检测的巨大劳动强度。

(2)保证检测精度。本发明中，为保证检测精度主要有以下三点：a).首先找出并充分利用异物与干扰项不同的运动规律，即其运动方向的一致性和幅度的稳定性，如此即可以充分的区分异物和其他干扰；b).其次在应用卡尔曼滤波器进行预测时，不仅通过实际测量值来更新卡尔曼滤波器的参数，并且也将目标的运动性特征和卡尔曼滤波器的参数更新关联起来，使得卡尔曼滤波器具有更强的鲁棒性，可以更加精确的预测目标位置；c).最后，为保证能够检测出在成像上与干扰点相像的异物，本发明中容许目标运动方向和幅度有一定的小范围的波动，这样既可以不漏掉所有可能的异物又因容许范围较小而不会引入干扰。

(3)通用性强，可以适用于各类异物。由于本发明中所采用的方法是根据异物的运动轨迹的方向的一致性和幅值的稳定性而检测异物的，因此可以适用于所有的异物类型。如碳点和纤维两种异物的运动方向一般相反，纤维由于质量较轻，会随着旋转急停后的药液的旋窝向上运动或水平旋转；而碳点由于较重，会由于重力的作用而向瓶底运动，在本发明中由于在运动方向上只要求保证一致性，因此即使碳点和纤维的运动方向完全相反，采用本发明中的方法也能检测到。

附图说明

图1为本发明的总体流程示意图；

图2为获取的原始图像；

图3为异物运动规律总结实验图像；其中，4个分图分别是a：单目标、b：2个目标、c：多目标且瓶壁刻字干扰较大以及d：另一种多目标且非瓶壁干扰较大的情形。

图4为单帧图像中对目标进行跟踪识别的结果图像；

图5为最终形成的识别判断的目标轨迹曲线。

具体实施方式

以下将结合图和具体实施过程对本发明做进一步详细说明。

实施例1

如图1所示，本发明高速医药生产线上药液异物图像跟踪识别方法的具体流程为：

1、搜寻目标，提取目标信息，初始化卡尔曼滤波器参数。这一步主要是完成利用目标的初始信息值，来初始化卡尔曼滤波器参数。

首先运用搜寻连通域的方法搜索预处理和差分后的图像中的各个可疑目标。首先采用中值滤波的方法，进行图像预处理。对预处理后的前后相邻两帧图像进行差分处理。在图像获取过程中，由于传输原因或者空气中的微小悬浮微粒等，会在所获取的图像上形成随机离散分布的微小干扰点，与异物相比，这些干扰点的面积(1-2个像素)均远远小于异物，因此在此步骤中以连通域大小作为初步判断异物的标准，可以去除大部分差分后的干扰点。

在搜寻到满足面积条件(大于4个像素)的连通域后，由于在轨迹中最重要的信息是目标的位置，因此所需要提取的目标信息主要包括检测到的各目标的质心坐标x_i0和y_i0、每个目标的平均直径d，此处平均直径表示此目标区域内穿过质心的所有直线的最大直径与最小直径的平均值。即所检测到的连通域的平均直径以及初始位移矢量S_i0＝(s₀，θ₀)(s₀、θ₀分别是位移矢量的幅值大小和相位角；初始状态下设s₀＝0、θ₀＝0，其中S_i0表示第i个目标的第0次位移即初始位移)。

然后利用上述参数初始化卡尔曼滤波器。

在卡尔曼滤波器中定义状态方程为：X_k＝[x，vx，y，vy]^T

其中，vx＝x_k-x_k-1、vy＝y_k-y_k-1，分别表示目标的质心坐标在x、y方向的运动速度。k＝0时刻的初始取值为X₀＝[x₀，0，y₀，0]，即初始状态下，目标的运动速度为0。

图像获取时拍摄速度为110帧/秒，即在两帧间的相隔时间约为0.01秒，由于异物在图像获取过程中不受任何外力作用而两帧间相隔时间又非常短暂，因此可假设异物在两帧间做匀速直线运动，因此状态转移矩阵为：

其中Δt＝0.01。

由于在拍照过程中，无外界控制量输入，因此输入U＝0；输出量，即我们需要预测和测量的值为目标的位置即坐标值，输出量为Z_k＝[x，y]^T。输出矩阵为：

观测测量噪声协方差：

过程激励噪声协方差：

初始状态下r＝0.1，q＝0.1，表示输出值和起始状态量都会作用于预测值。

2、根据上述提取信息和初始化参数，利用卡尔曼滤波器预测目标的下一位置。首先需要建立模型方程。

根据卡尔曼滤波理论，可以得出：

时间更新方程：

$\left\{\begin{array}{c}{\hat{X}}_k^{-}=A\widehat{X_{k-1}}+w_k\\ P_k^{-}=A{P}_{k-1}{A}^T+Q\end{array}\right.$

测量更新方程：

$\left\{\begin{array}{c}{K}_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}\\ {\hat{X}}_k={\hat{X}}_k^{-}+K_k(Z_k-H{\hat{X}}_k^{-})\\ P_k=(I-K_{k}H)P_k^{-}\end{array}\right.$

其中

表示对第k时刻状态的先验估计值，

表示第k-1时刻状态的后验估计值，

表示k时刻先验估计误差的协方差，P_k为k时刻后验估计误差的协方差，w_k是过程激励噪声，其中有：

$\left\{\begin{array}{c}{P}_k=E\left[(X_k-{\hat{X}}_k){(X_k-{\hat{X}}_k)}^T\right]\\ P_k^{-}=E\left[(X_k-{\hat{X}}_k^{-}){(X_k-{\hat{X}}_k^{-})}^T\right]\end{array}\right.$

然后，根据上述方程计算估计每个目标在下一帧图像中的位置，得到预测值并用将

作为下一次估计的先验估计值。

3、这一步主要完成工作是利用目标的预测位置和检测到的实际位置，更新卡尔曼滤波器参数。

首先在第二帧图像中各目标的预测位置附近搜寻目标，根据图像实验结果，取以各目标预测位置为中心的3*3区域为搜索区域，这时可能有两种情况：

I.若在预测位置附近搜索到目标，则计算当前目标的此次位移量与前一次位移量的偏差。记此次目标位移量为S_i1＝(s₁，θ₁)，则此次位移与前一次位移的幅值偏差和相角偏差分别为：

$\left\{\begin{array}{c}\mathrm{\Δ}\left|S\right|=|s_1-s_0|=\sqrt{{(x1-x0)}^2+{(y1-y0)}^2}\\ \mathrm{\Δ\θ}=|{\mathrm{\θ}}_1-{\mathrm{\θ}}_0|=\arctan [(y1-y0)/(x1-x0)]\end{array}\right.$

(其中x1、y1分别表示目标本次的质心坐标值；x0、y0分别表示目标上一次质心的坐标值)。提取目标的坐标值，并更新卡尔曼滤波器中的状态变量和输出量，设置q＝0.1，r＝0.1，表示当前模型参数合适，预测准确，为下一次预测作准备。

II.若在预测位置附近没有搜索到目标，则这时有两种可能：目标被遮挡或目标消失。(a).当目标运动到瓶壁上的刻字或裂痕后面时，此时由于裂痕或刻字灰度值较高且所占区域较大，因此会遮挡住异物，如图2所示。此时在图像上的表现为连通区域的面积远远大于异物的可能面积；(b).当异物由于旋转而远离镜头时，可能导致异物与背景区分不明显，此时就检测不到异物，表现在图像上为搜索区域均为背景区域因此搜索不到连通区域。

针对上述(a)(b)两种情况，均设置r＝0、q＝1，即观测噪声协方差矩阵为0矩阵，同时过程激励噪声协方差矩阵各元素为1，即表明上一次的实际位置不影响此次结果，而只是将上一次的预测结果即设置为当前实际输出结果，并利用此结果作为校正下一次预测的输出值。

4、根据步骤(3)中所计算的幅值和相位角的偏差值判断当前对象是否可能是异物。首先判断目标的运动轨迹是否符合异物运动规律。经多次试验和观察，对各种情况进行对比分析，如图3所示，总结出药液中异物的运动规律为：a)运动方向基本始终如一。即Δθ_k≈0。b)：异物在两帧图像间的运动幅度基本一致。因其不受外界作用力的影响，因此基本能保持匀速直线运动，使异物在每两帧间的运动幅度基本相同且都远远大于异物自身大小。即Δs_k≈0且s_k＞d(s_k表示当前目标的第k次位移的幅值)，。

为保证检测精确度并经过多次实验，本发明中采用的约束条件为-3°＜Δθ_k＜3°，-2＜Δs_k＜2且s_k＞d，即容许运动方向角度有正负3°的偏差，而目标在每两帧之间的位移偏差量允许有正负2个像素的偏差。对于空气中的灰尘颗粒在图像上形成的较小的离散干扰点，由于其随机性，没有任何运动规律，因此其位移的相角偏移量Δθ_k＞3°或Δθ_k＜-3°，因此上述两个约束条件的第一个条件可以完全去除空气中的灰尘颗粒、图像噪声点等干扰点。对于瓶壁上的裂痕、文字甚至指纹等干扰项，由于在拍照过程中药液容器基本保持静止，使得这些干扰项的位移矢量的幅值都很小，远远小于这些特征项的平均直径，因此由第二个约束条件即可完全排除这些较大的干扰项。

经过异物运动规律判断后，对判断后的异物分别进行处理。若符合异物运动规律，说明此目标可能是异物，需要继续跟踪以确定，因此进一步判断当前帧是否是最后一帧，若不是，则更新卡尔曼滤波器参数进行预测，重复步骤(2)(3)(4)，继续识别异物，若是最后一帧，说明此目标有极大可能是异物，进入步骤(5)。若不符合异物运动规律，即不满足前述的约束条件，说明此目标是干扰项，放弃此目标，继续处理下一个目标。如图4所示，即为单帧图像中应用上述运动规律判断后识别的结果图像。

5、最终判断。计算当前目标的最终位移矢量即从初始位置到当前位置的位移幅值偏差，即

Δs_n-1＝s_n-1-s₀(假设共有n帧图像)

判断Δs_n-1＞d是否成立。若成立说明当前目标是异物，否则说明不是异物。本系统每次检测采集5帧图像进行实验，最终实验结果如图5所示。可见图中符合异物运动规律的并且满足本步骤最终位移幅值偏差判断的均被正确识别出而被标记为异物，即用红色表示出异物运动轨迹。而干扰由于不满异物运动规律也被正确识别，因此不被标记。

本发明方法最后通过knapp-kushner测试程序与企业灯检工人的检测进行对比，效果远远优于人工检测。这种方法也被欧洲药典和美国FDA承认，方法认为自动检测系统至少要与存在系统即人工检测系统有相同的检测效能，国外对全自动检测系统的性能评估多数采用此测试程序。操作方法为：由人工检测已经贴上标签的样品50次(总共5人，每人检测10次)，计算人工检测的FQA＝∑[检出异物次数/检测总次数]([f]表示对f取整)。一般企业规定若[检出次数/检测总次数]＞7，则为不合格品，因此，此处仅对[检出次数/检测总次数]＞7的值，即表格中的阴影中的数据进行求和；再由程序检测50次，计算FQB＝∑[检出次数/检测总次数]。按照knapp测试法的规定，若FQB/FQA＞1，则说明程序检测的效果要优于人工检测。本文采用25瓶样品进行实验，如表1为实验结果数据，计算FQA＝142，FQB＝153；则FQB/FQA＝119％。因此，本方法所达到的效果是优于人工检测的。

表1：knapp测试结果

Claims (7)

1.一种高速医药生产线上药液异物图像跟踪识别方法，其特征在于，包括以下步骤：

步骤1：获取多帧图像，搜寻目标，提取目标信息，初始化卡尔曼滤波器参数；

步骤2：预测各个目标的下一位置；

步骤3：更新卡尔曼滤波器参数；

步骤4：判断当前对象是否可能是异物；

步骤5：在最后一帧差分图像中，计算当前目标从初始位置到当前位置的位移矢量的幅值大小，并于当前目标的初始位移幅值大小和当前目标的平均直径进行比较，进而判断当前目标是否为异物。

2.根据权利要求1所述的高速医药生产线上药液异物图像跟踪识别方法，其特征在于，步骤1的具体步骤为：

1)获取图像：从高速医药生产线上获取某一瓶体的多帧图像，取预处理和差分后的结果图像中的第一帧图像；

2)搜寻目标并提取目标信息：在经过步骤1)的处理后所获得的图像表现为大面积的黑色背景区域，只有少数分散区域由于异物或干扰的存在而呈现为白色连通域，因此运用搜寻连通域的方法搜索图像中的各个可疑目标，在搜寻到满足大于4个像素的面积条件的连通域后，以每一个连通域作为一个目标，所需要提取的目标信息包括检测到的各目标的质心坐标X_i0和Y_i0、每个目标的平均直径d即所检测到的连通域的平均直径以及初始位移矢量Si₀＝(s₀，θ₀)，s₀、θ₀分别是位移矢量的幅值大小和相位角，初始状态下设定s₀＝0、θ₀＝0，其中S_i0表示第i个目标的第0次位移即初始位移。

3)初始化卡尔曼滤波器：

在卡尔曼滤波器中定义状态方程为：X(k)＝[x，vx，y，vy]^T，

其中，vx＝x_k-x_k-1、vy＝y_k-y_k-1，分别表示目标的质心在x、y方向的运动速度；

状态转移矩阵为：

其中Δt＝0.01，

由于在拍照过程中，无外界控制量输入，因此输入U＝0；输出量即需要预测和测量的值为目标的位置即坐标值，因此输出量为Z(k)＝[x，y]^T，因此输出矩阵为：

观测测量噪声协方差：

过程激励噪声协方差：

初始状态下r＝0.1，q＝0.1，表示输出值和起始状态量都会作用于预测值，q、r分别为Q、R的对角元素，决定了噪声对输入输出的影响大小。

3.根据权利要求2所述的高速医药生产线上药液异物图像跟踪识别方法，其特征在于，步骤2的具体步骤为：

1)建立更新方程：

时间更新方程为：

$\left\{\begin{array}{c}{\hat{X}}_k^{-}=A\widehat{X_{k-1}}+w_k\\ P_k^{-}=A{P}_{k-1}{A}^T+Q\end{array}\right.$

测量更新方程为：

$\left\{\begin{array}{c}{K}_k=P_k^{-}{H}^T{({\mathrm{HP}}_k^{-}{H}^T+R)}^{-1}\\ {\hat{X}}_k={\hat{X}}_k^{-}+K_k(Z_k-H{\hat{X}}_k^{-})\\ P_k=(I-K_{k}H)P_k^{-}\end{array}\right.$

其中表示对第k时刻状态的先验估计值，

表示第k-1时刻状态的后验估计值，

表示k时刻先验估计误差的协方差，P_k为k时刻后验估计误差的协方差，w_k是过程激励噪声，其中有：

$\left\{\begin{array}{c}{P}_k=E\left[(X_k-{\hat{X}}_k){(X_k-{\hat{X}}_k)}^T\right]\\ P_k^{-}=E\left[(X_k-{\hat{X}}_k^{-}){(X_k-{\hat{X}}_k^{-})}^T\right]\end{array}\right.;$

根据上述方程计算估计每个目标在下一帧图像中的位置，得到预测值

用作下一次估计的先验估计值。

4.根据权利要求3所述的高速医药生产线上药液异物图像跟踪识别方法，其特征在于，步骤3的具体步骤为：

首先在第二帧差分图像中各目标的预测位置附近搜寻目标，即取以各目标预测位置为中心的3*3区域为搜索区域，这时可能有两种情况：

I.若在预测位置附近搜索到目标，则计算当前目标的此次位移量与前一次位移量的偏差，记此次目标位移量为S_i1＝(s₁，θ₁)，则此次位移与前一次位移的幅值偏差Δ|S|和相角偏差Δθ分别为：

$\left\{\begin{array}{c}\mathrm{\Δ}\left|S\right|=|s_1-s_0|=\sqrt{{(x1-x0)}^2+{(y1-y0)}^2}\\ \mathrm{\Δ\θ}=|{\mathrm{\θ}}_1-{\mathrm{\θ}}_0|=\arctan [(y1-y0)/(x1-x0)]\end{array}\right.;$

其中x1、y1分别表示目标本次的质心坐标值；x0、y0分别表示目标上一次质心的坐标值；提取目标的坐标值，并更新输出量z1＝[x1，y1]，利用测量更新方程分别计算本次状态变量的后验估计值

和后验估计误差的协方差P₁，将计算得到的

代入时间更新方程计算下一次的估计值；设置q＝0.1，r＝0.1，表示当前模型参数合适，预测准确，为下一次预测作准备；

II.若在预测位置附近没有搜索到目标，则这时有两种可能：目标被遮挡或目标消失；a).当目标运动到瓶壁上的刻字或裂痕后面时，此时由于裂痕或刻字灰度值较高且所占区域较大，因此会遮挡住异物；此时在图像上的表现为连通区域的面积远远大于异物的可能面积；b).当异物由于旋转而远离镜头时，可能导致异物与背景区分不明显，此时就检测不到异物，表现在图像上为搜索区域均为背景区域因此搜索不到连通区域；

针对上述a)、b)两种情况，均设置r＝0、q＝1，即观测噪声协方差矩阵为0矩阵，同时过程激励噪声协方差矩阵各元素为1，即表明上一次的实际位置不影响此次结果，而只是将上一次的预测结果即设置为当前实际输出结果，并利用此结果作为校正下一次预测的输出值。

5.根据权利要求4所述的高速医药生产线上药液异物图像跟踪识别方法，其特征在于，步骤4的具体步骤为：

首先判断目标的运动轨迹是否符合异物运动规律：药液中异物的运动规律为：a)运动方向基本始终如一，即第k次相角偏差Δθ_k≈0；b)：异物在两帧图像间的运动幅度基本一致；即Δs_k≈0且s_k＞d，s_k表示当前目标的第k次位移的幅值；

根据上述运动规律对判断后的异物分别进行处理；若符合异物运动规律，说明此目标可能是异物，需要继续跟踪以确定，因此进一步判断当前帧是否是最后一帧，若不是，则更新卡尔曼滤波器参数进行预测，重复步骤2、步骤3和步骤4，继续识别异物，若是最后一帧，说明此目标有极大可能是异物，进入步骤5；若不符合异物运动规律，即不满足前述的约束条件，说明此目标是干扰项，放弃此目标，继续处理下一个目标。

6.根据权利要求5所述的高速医药生产线上药液异物图像跟踪识别方法，其特征在于，步骤5的具体步骤为：计算当前目标的最终位移矢量即从初始位置到当前位置的位移幅值偏差，即

Δs_n-1＝s_n-1-s₀，n为差分图像的总帧数；

判断Δs_n-1＞d是否成立，若成立说明当前目标是异物，否则说明当前目标不是异物；对所有的目标分别完成判断，异物检测过程完成。

7.根据权利要求5或6所述的高速医药生产线上药液异物图像跟踪识别方法，其特征在于，步骤4中，采用约束条件判断异物的运动是否符合所述的运动规律，所述的约束条件为-3°＜Δθ_k＜3°，-2＜Δs_k＜2且s_k＞d，即容许运动方向角度有正负3°的偏差，而目标在每两帧之间的位移偏差量允许有正负2个像素的偏差。

Images