CN106886784A - 一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪方法 - Google Patents

Abstract

本发明公开了一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪方法，该方法首先对图像进行预处理，利用第一帧图像中满足特定条件的连通域的数量确定需要跟踪的目标数量，并使用第一帧图像联通域中质心的坐标作为跟踪算法中前景目标的坐标初值；然后生成稀疏联合模型；最后对目标进行跟踪，利用粒子滤波框架，以联合稀疏模型的置信度和相似度为判别准则将目标从背景中分离，在目标跟踪过程中既考虑了最新的观察数据又考虑了原始的模板，所以能够解决目标外形变化和跟踪时漂移的问题。记录每个目标的运动轨迹并将其作为特征向量用以区分气泡、划痕和异物。该视觉检测方法高速、准确、稳定，满足高速生产线的实时在线检测需求。

Description

一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪 方法

技术领域

本发明属于图像识别领域，特别涉及一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪方法。

背景技术

2014年我国大输液产量用量居世界第一，约为130亿瓶，国内外大输液主要的包装材料有玻璃瓶、塑料瓶、塑料软袋。目前，我国玻璃瓶大输液约占市场份额的50％左右。在药品生产环节，由于生产工艺及封装技术的局限，药液中容易混入毛发、漂浮物(塑料、纤维)、玻璃屑等直径大于50微米的可见异物，这些异物严重影响输液者的用药安全和患者健康甚至生命安全。现阶段，国内250ml及以上的玻璃瓶大输液主要利用人工灯检或进口设备，人工灯检是采用“人工暗室观测”检测方法对注射液逐瓶肉眼检测，如图2所示，该方法劳动强度大、速度慢、效率低，靠人的主观思想判断药品是否合格，存在严重的漏检、误检等亟待解决的重大问题,难以满足国家药典对不溶性可见异物的规定。人工灯检还存不利于生产过程的自动化、有安全隐患和标准不同一的缺点，而进口设备的成本大，维护困难。因此，研制一套250ml及以上的医药大输液可见异物检测系统意义十分重大。

发明内容

本发明提供了一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪方法，其目的在于，实现对溶液中的异物进行多目标跟踪识别，并排除气泡、划痕、光照和形变在异物识别过程中的影响。

一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪方法，包括以下步骤：

步骤1：采集位于高速生产线上的大输液瓶的序列图像；

步骤2：对第一帧图像进行二值化，获取第一帧图像中待跟踪目标的位置和数量；

步骤3：依次以第一帧图像中的一个待跟踪目标的位置为基础，从第一帧图像中采集图像块，生成目标前景正字典和目标背景负字典；

步骤4：对目标前景正字典和目标背景负字典进行规范化处理后，提取目标的稀疏判别字典，构造待跟踪目标的稀疏判别分类器；并获得待跟踪目标的稀疏生成模型，且利用待跟踪目标的稀疏判别分类器和稀疏生成模型构造待跟踪目标的联合稀疏模型；

步骤5：以当前帧图像中待跟踪目标的位置为基础，从下一帧图像中采集图像块，获取所有候选目标图像块；

步骤6：计算每个候选目标图像块属于待跟踪目标的置信度，并计算候选目标图像块与待跟踪目标稀疏直方图的相似度；

步骤7：利用联合稀疏模型，从所有候选目标图像块中选取置信度和相似度乘积最大的图像块作为当前帧图像中的待跟踪目标；

步骤8：以当前帧图像中的待跟踪目标的位置，在当前帧中采集图像块，生成新的目标前景正字典和目标背景负字典，从而构建新的待跟踪目标的稀疏判别字典，返回步骤5，直到得到当前待跟踪目标在序列图像中的运动轨迹后，再返回步骤3，获取下一个待跟踪目标在序列图像中的运动轨迹。

进一步地，当所有被采集了图像块的图像帧数为2的倍数时，所述步骤8中构建的新的待跟踪目标的稀疏判别字典替代前一次被使用的待跟踪目标的稀疏判别字典，用于下一帧图像构建联合稀疏模型；否则，则使用前一次被使用的待跟踪目标的稀疏判别字典，构建下一帧图像的联合稀疏模型。

进一步地，所述联合稀疏模型的表达式如下：

其中，H_c为第c个候选目标图像块的置信度，ε_f是候选目标图像块x在当前目标前景正字典下的重构误差，ε_b是候选目标图像快x在当前目标背景负字典下的重构误差，

A₊为当前目标前景正字典矩阵，A_-为当前目标背景负字典矩阵，为当前目标前景正字典矩阵下得到的稀疏系数矩阵，为当前目标背景负字典下得到的稀疏系数矩阵

L_c为第c个候选目标图像块的相似度， 为第c个候选目标图像块的稀疏直方图中第j个系数，ψ^j为第一帧图像的目标模板稀疏直方图中第j个系数；J为每一个候选目标图像块对应的稀疏系数向量的维数；M为从每帧图像中采集的图像块数目；

σ表示图像块方差，取值范围为0-1之间。

进一步地，所述步骤2中对第一帧图像进行二值化，获取第一帧图像中待跟踪目标的位置和数量的具体步骤如下：

步骤2.1：对第一幅图像Image0进行二值化操作，得到二值图像Imagebinary0；

将待跟踪目标从背景图像中分割出来，T1为设定二值化分割阈值，Image(x,y)为图像中(x,y)位置像素的灰度值；

步骤2.2：对二值图像Imagebinary0进行连通域搜寻操作，根据异物的大小寻找与异物大小相差不超过10％的连通域Blob，并对Blob进行孔洞填充；

步骤2.3：粗定位待跟踪目标在图像中的位置place0和待跟踪目标的数目number；

步骤2.3.1：采用重心法计算出每个填充连通域Blob的中心O(x_o,y_o)，即为目标的圆心，N为Blob像素点总数：

其中，(x_i,y_i)表示连通域中像素点的坐标。

进一步地，所述待跟踪目标的联合稀疏模型的生成过程如下：

步骤4.1：根据前一帧图像中所获得的待跟踪目标的初始位置，计算目标的稀疏判别字典并用于构造待跟踪目标的稀疏判别分类器；

步骤4.1.1：将随机偏移量加到待跟踪目标的初始坐标，得到围绕初始坐标的随机坐标；以随机坐标为中心采集前景图像快，得到包含目标前景的图像块，将所有图像块的灰度值向量化，得到前一帧图像的正字典；

步骤4.1.2：以待跟踪目标的初始坐标为圆心，根据目标的运动速度估计目标在下一帧图像的可能运动范围R，以R为半径对背景采集图像块，得到包含目标背景的图像块，将所有图像块的灰度值向量化，得到前一帧图像的负字典；

步骤4.1.3：将两个字典分别规范化，并级联成一个判别字典，构造目标的稀疏判别分类器；

步骤4.2：提取目标的稀疏生成模型；

步骤4.2.1：用规范化的图像块来表示目标图像的局部外形灰度特征；

使用滑动窗口在待跟踪目标图像上获得M个图像块，将每个图像块都转化为一个向量，并通过计算得到每个图像块的稀疏系数；

步骤4.2.2：通过M个图像块得到的M个稀疏系数向量，将M个稀疏系数向量规范化，然后合并成一个稀疏矩阵B，通过该稀疏矩阵得到目标的稀疏直方图模型，即目标的稀疏生成模型；

稀疏矩阵B就是目标的稀疏直方图模型；

步骤4.3：利用步骤4.1获得的稀疏判别分类器和步骤4.2获得的稀疏生成模型共同构建联合稀疏模型。

有益效果

与现有技术相比，本发明的优点体现在以下几点：

(1)本发明采用了基于联合稀疏表示的方法，通过置信度和相似度的判断，来实现对目标的判别，使跟踪误差大幅减小；

(2)与传统目标跟踪的方法相比，本发明提出的跟踪方法受干扰程度更低，因为本方法加入了字典更新的步骤，当目标外表发生形变时能及时对判别字典进行更新；因此本方法几乎不受外形改变的干扰，稳定性更好，速度更快；

(3)与传统稀疏方法相比，本发明在跟踪过程中对稀疏正模板进行了更新，使跟踪的失误率大幅下降。

(4)与现有人工方法相比，该检测算法具有检测精度高、速度快、重复性好等优势，满足现有生产线实时在线检测、稳定可靠的需求。

附图说明

图1为本发明的流程图；

图2为应用本发明所述方法对图像中第一个目标进行跟踪的过程示意图，其中，(a)目标的第一幅图像，(b)目标的第二幅图像，(c)目标的第三幅图像，(d)目标的第四幅图像，(e)目标的第五幅图像，(f)目标的第六幅图像，(g)目标的第七幅图像，(h)目标的第八幅图像；

图3为应用本发明所述方法对图像中第二个目标进行跟踪的过程示意图，其中，(a)目标的第一幅图像，(b)目标的第二幅图像，(c)目标的第三幅图像，(d)目标的第四幅图像，(c)目标的第五幅图像，(e)目标的第六幅图像，(f)目标的第七幅图像，(h)目标的第八幅图像。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

在本实例中相机采用分辨率为1080*960的面阵千兆网CCD相机(Baumer TXG12)，镜头为6mm宽视角Computar镜头，光源为半径为6cm的穹顶漫反射光源(LTS-FM12030-WQ)；

如图1所示，一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪方法，包括以下步骤：

步骤1：采集位于高速生产线上的大输液瓶的序列图像，记作Image0-7；

步骤2：对第一幅图像Image0进行二值化操作，得到二值图像Image1；

将待跟踪目标从背景图像中分割出来，T1为设定二值化分割阈值，Image(x,y)为图像中(x,y)位置像素的灰度值；

步骤3：对二值图像Imagebinary0进行连通域搜寻操作，根据异物的大小寻找出面积合适的连通域Blob，并对Blob进行孔洞填充；

由于异物外形复杂，因此，简单的二值化操作无法保证连通域Blob实心，而本发明中需要采用重心法对异物位置进行粗定位，所以，为保证异物定位中心的准确性，需进行孔洞填充。

步骤4：粗定位待跟踪目标在图像中的位置place0和待跟踪目标的数目number；

步骤4.1：采用重心法计算出每个待跟踪目标的填充最大连通域Blob的中心O(x_o,y_o)，即为目标的圆心，M为Blob像素点总数；

步骤4.2：将获得的待跟踪目标的位置放入初始位置的数组中；

步骤4.3：根据得到的目标数目和目标位置初始化跟踪程序；

至此，待跟踪目标的位置和数目都已确定。

步骤5：提取跟踪目标的模板；

步骤5.1：根据第一个目标的起始位置，计算目标的稀疏判别字典；

步骤5.1.1：根据起始位置的坐标，将微小的随机偏移量加到目标的初始坐标，得到围绕初始坐标的一系列随机坐标。然后以这些随机坐标为中心采集前景图像快，得到一系列包含目标前景的图像块，将这些图像块向量化，得到第一帧图像的正字典。

步骤5.1.2：以目标的初始坐标为圆心，根据目标的运动速度估计目标在下一帧图像的可能运动范围R，然后以R为半径对背景采集图像块，得到一系列包含目标背景的图像块，将这些图像块向量化，得到第一帧图像的负字典。

步骤5.1.3：通过得到的正、负字典，将两个字典分别规范化，并级联成一个判别字典。

通过判别字典可以计算下一帧图像中候选目标图像块的置信度。

步骤5.2：提取目标的稀疏生成模型；

步骤5.2.1：用规范化的图像块来表示目标图像的局部外形灰度特征。使用滑动窗口在规范化的目标图像上获得M个图像块，将每个图像块都转化为一个向量，并通过计算得到每个图像块的稀疏系数。

步骤5.2.2：通过M个图像块得到的M个稀疏系数向量，将这M个稀疏系数向量规范化，然后级联成稀疏矩阵B，通过该稀疏矩阵得到目标的稀疏直方图模型，即目标的稀疏生成模型。

稀疏生成模型可用于计算下一帧图像中图像块的相似度。

步骤6：对目标进行搜索，第二帧图像以目标的初始坐标为圆心，进行图像块采样。

步骤7：候选目标图像块联合稀疏模型的获取

步骤7.1：置信度的测度，根据SDC的分类原理，目标的区域能够被正字典更好的重构，背景图像能被负字典更好的重构。因此，通过对每个候选目标图像块计算置信度来判断候选目标图像块属于目标的可信度。第c个候选目标图像块的置信度定义如下：

其中是候选图像块x在正字典下的重构误差，是候选目标图像快x在负字典下的重构误差。通过对每一个候选目标图像块进行稀疏分解，并计算对应的置信度，得到候选目标图像块的置信度数组H。

A₊为正字典矩阵，A_-为负字典矩阵，为正字典矩阵下得到的稀疏系数矩阵，为负字典下得到的稀疏系数矩阵。

步骤7.2：相似度的测度，根据直方图相似函数进行候选目标图像块与目标的稀疏直方图的相似度进行测度。直方图相似函数定义如下：

其中为第c个候选目标图像块的稀疏直方图，获得方法如步骤5.2。ψ为第一帧图像的目标模板稀疏直方图。通过对每一个候选目标图像块的相似度进行计算，得到候选目标图像块的相似度数组L。

步骤8：候选图像块的判别，利用联合稀疏模型的方法，通过获得的候选目标图像的相似度和置信度来判别候选图像是否属于跟踪目标。联合稀疏模型的计算函数如下：

其中为第c个候选目标图像块的置信度，为候选目标图像块的相似度，通过计算候选目标图像块的联合稀疏模型，得到候选目标图像块的联合系数模型数组G，通过搜索数组中的最大值，找到最大值对应的图像块，将该图像块作为跟踪的目标。

通过对候选目标图像块相似度和置信度的计算确定跟踪目标在第二帧图像中的位置。

步骤9：根据联合稀疏模型得到了目标在第二帧图像的候选目标图像块，然后采用重心法，计算目标的坐标，将其记录于位置数组P。

步骤10：目标字典的更新，判断图像帧数是否为2的倍数，如果是，则对联合稀疏模型中置信度计算的稀疏判别字典进行更新，方法如步骤5.1，得到新的判别字典，并将其替代老的字典进行置信度的计算。

步骤11：将第二帧图像中的目标位置作为初始位置，重复步骤6，得到目标在第三帧图像中的位置，并将其记录于位置数组P。然后重复步骤5到步骤11，得到目标在第四帧图像中的位置，以此类推，得到目标在八帧图像中的位置。通过联合稀疏模型得到该目标在序列图像中的运动轨迹，并将其记录于该目标的位置数组。

跟踪的过程如图2和图3所示；

步骤12：重复步骤5到步骤11计算第一帧图像中的另一个目标在八帧图像中的轨迹。最后通过轨迹判断目标是异物还是气泡。

由于异物与气泡的运动轨迹不同，因此通过目标的运动轨迹可判断该目标是异物还是气泡。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于模板更新的改进型联合稀疏表示大输液中异物跟踪方法，其特征在于，包括以下步骤：

步骤1：采集位于高速生产线上的大输液瓶的序列图像；

步骤2：对第一帧图像进行二值化，获取第一帧图像中待跟踪目标的位置和数量；

步骤3：依次以第一帧图像中的一个待跟踪目标的位置为基础，从第一帧图像中采集图像块，生成目标前景正字典和目标背景负字典；

步骤4：对目标前景正字典和目标背景负字典进行规范化处理后，提取目标的稀疏判别字典，构造待跟踪目标的稀疏判别分类器；并获得待跟踪目标的稀疏生成模型，且利用待跟踪目标的稀疏判别分类器和稀疏生成模型构造待跟踪目标的联合稀疏模型；

步骤5：以当前帧图像中待跟踪目标的位置为基础，从下一帧图像中采集图像块，获取所有候选目标图像块；

步骤6：计算每个候选目标图像块属于待跟踪目标的置信度，并计算候选目标图像块与待跟踪目标稀疏直方图的相似度；

步骤7：利用联合稀疏模型，从所有候选目标图像块中选取置信度和相似度乘积最大的图像块作为当前帧图像中的待跟踪目标；

步骤8：以当前帧图像中的待跟踪目标的位置，在当前帧中采集图像块，生成新的目标前景正字典和目标背景负字典，从而构建新的待跟踪目标的稀疏判别字典，返回步骤5，直到得到当前待跟踪目标在序列图像中的运动轨迹后，再返回步骤3，获取下一个待跟踪目标在序列图像中的运动轨迹。

2.根据权利要求1所述的方法，其特征在于，当所有被采集了图像块的图像帧数为2的倍数时，所述步骤8中构建的新的待跟踪目标的稀疏判别字典替代前一次被使用的待跟踪目标的稀疏判别字典，用于下一帧图像构建联合稀疏模型；否则，则使用前一次被使用的待跟踪目标的稀疏判别字典，构建下一帧图像的联合稀疏模型。

3.根据权利要求2所述的方法，其特征在于，所述联合稀疏模型的表达式如下：

$H_c{L}_c={\mathrm{\Σ}}_{j=1}^{J\×M}min({\mathrm{\φ}}_c^j,{\mathrm{\ψ}}^j)/\left(1+\exp \left(-\left({\mathrm{\ϵ}}_b-{\mathrm{\ϵ}}_f\right)/\mathrm{\σ}\right)\right)$

其中，H_c为第c个候选目标图像块的置信度，ε_f是候选目标图像块x在当前目标前景正字典下的重构误差，ε_b是候选目标图像快x在当前目标背景负字典下的重构误差，

A₊为当前目标前景正字典矩阵，A_-为当前目标背景负字典矩阵，为当前目标前景正字典矩阵下得到的稀疏系数矩阵，为当前目标背景负字典下得到的稀疏系数矩阵

L_c为第c个候选目标图像块的相似度， 为第c个候选目标图像块的稀疏直方图中第j个系数，ψ^j为第一帧图像的目标模板稀疏直方图中第j个系数；J为每一个候选目标图像块对应的稀疏系数向量的维数；M为从每帧图像中采集的图像块数目；

σ表示图像块方差，取值范围为0-1之间。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述步骤2中对第一帧图像进行二值化，获取第一帧图像中待跟踪目标的位置和数量的具体步骤如下：

步骤2.1：对第一幅图像Image0进行二值化操作，得到二值图像Imagebinary0；

将待跟踪目标从背景图像中分割出来，T1为设定二值化分割阈值，Image(x,y)为图像中(x,y)位置像素的灰度值；

$\mathrm{Im}agebinary0(x,y)=\left\{\begin{array}{c}255,\mathrm{Im}age(x,y)\&GreaterEqual;T1\\ 0,\mathrm{Im}age(x,y)<T1\end{array}\right.$

步骤2.2：对二值图像Imagebinary0进行连通域搜寻操作，根据异物的大小寻找与异物大小相差不超过10％的连通域Blob，并对Blob进行孔洞填充；

步骤2.3：粗定位待跟踪目标在图像中的位置place0和待跟踪目标的数目number；

步骤2.3.1：采用重心法计算出每个填充连通域Blob的中心O(x_o,y_o)，即为目标的圆心，N为Blob像素点总数：

$O(x_o,y_o)=(\underset{i=1}{\overset{N}{\&Sigma;}}{x}_i/N,\underset{j=1}{\overset{N}{\&Sigma;}}{y}_j/N),\&ForAll;(x_i,y_j)\&Element;Blob$

其中，(x_i,y_i)表示连通域中像素点的坐标。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述待跟踪目标的联合稀疏模型的生成过程如下：

步骤4.1：根据前一帧图像中所获得的待跟踪目标的初始位置，计算目标的稀疏判别字典并用于构造待跟踪目标的稀疏判别分类器；

步骤4.1.1：将随机偏移量加到待跟踪目标的初始坐标，得到围绕初始坐标的随机坐标；以随机坐标为中心采集前景图像快，得到包含目标前景的图像块，将所有图像块的灰度值向量化，得到前一帧图像的正字典；

步骤4.1.2：以待跟踪目标的初始坐标为圆心，根据目标的运动速度估计目标在下一帧图像的可能运动范围R，以R为半径对背景采集图像块，得到包含目标背景的图像块，将所有图像块的灰度值向量化，得到前一帧图像的负字典；

步骤4.1.3：将两个字典分别规范化，并级联成一个判别字典，构造目标的稀疏判别分类器；

步骤4.2：提取目标的稀疏生成模型；

步骤4.2.1：用规范化的图像块来表示目标图像的局部外形灰度特征；

使用滑动窗口在待跟踪目标图像上获得M个图像块，将每个图像块都转化为一个向量，并通过计算得到每个图像块的稀疏系数；

步骤4.2.2：通过M个图像块得到的M个稀疏系数向量，将M个稀疏系数向量规范化，然后合并成一个稀疏矩阵B，通过该稀疏矩阵得到目标的稀疏直方图模型，即目标的稀疏生成模型；

步骤4.3：利用步骤4.1获得的稀疏判别分类器和步骤4.2获得的稀疏生成模型共同构建联合稀疏模型。