CN115082476A - 用于医用药剂中可见异物的视觉检测方法 - Google Patents

Abstract

本发明涉及图像数据处理领域，具体涉及一种用于医用药剂中可见异物的视觉检测方法，包括：获取首帧模糊图像和连续帧图像；对首帧模糊图像进行超像素分割，利用超像素块得到异物的直线运动轨迹；获取第一和第二超像素块；根据第一超像素块中直线运动轨迹上像素点对应的垂线距离得到第一超像素块中异物的弧线运动轨迹；得到异物的运动轨迹，进而得到异物的相对运动速度；将异物的运动轨迹和相对运动速度代入多目标跟随算法中，得到连续帧图像对应的跟随图像；将跟随图像输入卷积神经网络中，输出异物的尺寸；根据异物的尺寸判断该医用药剂是否合格。上述方法用于检测医用药剂中的可见异物，可提高检测准确度。

Description

用于医用药剂中可见异物的视觉检测方法

技术领域

本发明涉及图像数据处理领域，具体涉及一种用于医用药剂中可见异物的视觉检测方法。

背景技术

液体类医用药剂是医药行业重要的产品之一。在液体类医用药剂的生产过程中，由于生产工艺以及封装技术的因素，液体类医用药剂中可能会有玻璃碎屑、橡皮屑及纤维等异物。如果这些含有异物的液体类医用药剂注入人体以后，会给人体带来严重持久的危害，甚至直接危及生命。因此，对液体类医用药剂中的异物进行检测是很有必要的。

目前，药企主要采用两种方法对液体类医用药剂中的异物进行检测。一种是人工灯检法：在灯检暗室中，视力符合药典标准要求的操作工对液体类医用药剂进行逐一目视检查。然而，现有的人工灯检法依赖操作工的视力，操作工视力不同，检测结果不同，检测的准确度无法保证。因此，为了克服传统的人工灯检法的缺陷，人们提出一种图像处理法用于检测液体类医用药剂中的异物：首先将液体类医用药剂放在旋瓶装置上旋转一定时间后迅速停止，采集旋转停止后的连续帧图像，然后利用多目标跟随算法对连续帧图像中的异物进行跟随，最后将连续帧图像对应的跟随图像输入神经网络中，获取液体类医用药剂中异物的尺寸。

但是，现有的图像处理法利用多目标跟随算法对连续帧图像中的异物进行跟随，而异物在液体类医用药剂中会随机翻滚，前后帧的异物特征相差较大，跟随的过程中很容易丢失异物目标，进而降低了异物检测的准确度。

发明内容

本发明提供一种用于医用药剂中可见异物的视觉检测方法，以解决现有的医用药剂中可见异物检测准确度低的问题。

为达到上述目的，本发明采用如下技术方案，一种用于医用药剂中可见异物的视觉检测方法，包括：

获取待检测医用药剂去噪后的首帧模糊图像和连续帧图像；

对待检测医用药剂去噪后的首帧模糊图像中是否存在模糊轨迹进行判断，获取存在异物的医用药剂去噪后的首帧模糊图像；

对存在异物的医用药剂去噪后的首帧模糊图像进行超像素分割，获取各个超像素块；

利用各超像素块中过质心的线段上的平均灰度梯度得到每个超像素块中异物的直线运动轨迹；

获取存在异物的医用药剂的中轴线，利用每个超像素块的质心到中轴线的垂直距离获取异物呈现弧线运动轨迹的第一超像素块和异物呈现直线运动轨迹的第二超像素块；

利用第一超像素块中异物的直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差，计算得到第一超像素块中异物的直线运动轨迹上该像素点对应的分量夹角；

利用第一超像素块中异物的直线运动轨迹上每个像素点对应的分量夹角，计算得到第一超像素块中异物的直线运动轨迹上该像素点对应的垂线距离；

根据第一超像素块中异物的直线运动轨迹上每个像素点对应的垂线距离，得到第一超像素块中异物的弧线运动轨迹；

将弧线运动轨迹作为第一超像素块中异物的运动轨迹，直线运动轨迹作为第二超像素块中异物的运动轨迹，得到每个超像素块中异物的运动轨迹；

根据每个超像素块中异物的运动轨迹计算得到每个超像素块中异物的相对运动速度；

将每个超像素块中异物的运动轨迹和相对运动速度代入多目标跟随算法中，对连续帧图像中的异物进行跟随，得到连续帧图像对应的跟随图像；

将连续帧图像对应的跟随图像输入卷积神经网络中，输出存在异物的医用药剂中异物的尺寸；

根据存在异物的医用药剂中异物的尺寸判断该医用药剂是否合格。

所述一种用于医用药剂中可见异物的视觉检测方法，所述存在异物的医用药剂去噪后的首帧模糊图像是按照如下方式获取：

对待检测医用药剂去噪后的首帧模糊图像进行判断：当待检测医用药剂去噪后的首帧模糊图像中存在模糊轨迹时，则判断待检测医用药剂中存在异物，该首帧模糊图像为存在异物的医用药剂去噪后的首帧模糊图像；当待检测医用药剂去噪后的首帧模糊图像中不存在模糊轨迹时，则判断待检测医用药剂中不存在异物。

所述一种用于医用药剂中可见异物的视觉检测方法，所述待检测医用药剂去噪后的首帧模糊图像和连续帧图像是按照如下方式获取：

获取待检测的医用药剂；

对医用药剂进行旋转并急停；

首先调慢相机的曝光时间，用于采集医用药剂急停后的首帧模糊图像；

然后将相机的曝光时间回调至正常，用于采集医用药剂急停后的第二帧至医用药剂完全静止时的连续帧图像；

利用传统帧差法获取连续帧图像中的异常像素点；

将位置不发生变化的异常像素点作为医用药剂的干扰像素点；

将首帧模糊图像和连续帧图像中的干扰像素点进行删除，获取待检测医用药剂去噪后的首帧模糊图像和连续帧图像。

所述一种用于医用药剂中可见异物的视觉检测方法，所述每个超像素块中异物的直线运动轨迹是按照如下方式得到：

将与存在异物的医用药剂背景像素点灰度值、干扰像素点灰度值不同的灰度值作为分割标准，对存在异物的医用药剂去噪后的首帧模糊图像进行超像素分割，获取各个超像素块；

对每个超像素块进行如下操作：

获取超像素块的质心，过质心作任意方向的直线，使得直线与超像素块的边缘交于两点，将两个交点之间的线段作为第一线段；

统计第一线段上像素点的数量；

利用第一线段上两两相邻像素点的灰度值差值、第一线段上像素点的数量，计算得到第一线段上的平均灰度梯度；

按照得到第一线段上的平均灰度梯度的方式得到所有线段上的平均灰度梯度；

将最小平均灰度梯度对应的线段作为每个超像素块中异物的直线运动轨迹。

所述一种用于医用药剂中可见异物的视觉检测方法，所述异物呈现弧线运动轨迹的第一超像素块和异物呈现直线运动轨迹的第二超像素块是按照如下方式获取：

获取存在异物的医用药剂的中轴线；

过每个超像素块的质心作中轴线的垂线，计算每个超像素块的质心到中轴线的垂直距离；

设置距离阈值，对每个超像素块的质心到中轴线的垂直距离进行判断：当超像素块的质心到中轴线的垂直距离大于等于距离阈值时，则该超像素块中的异物呈现弧线运动轨迹；当超像素块的质心到中轴线的垂直距离小于距离阈值时，则该超像素块中的异物呈现直线运动轨迹；

将异物呈现弧线运动轨迹的超像素块作为第一超像素块，异物呈现直线运动轨迹的超像素块作为第二超像素块。

所述一种用于医用药剂中可见异物的视觉检测方法，所述第一超像素块中异物的弧线运动轨迹是按照如下方式得到：

对第一超像素块进行如下操作：

将超像素块中异物的直线运动轨迹上任意端点到质心的轨迹作为第一直线运动轨迹，另一端点到质心的轨迹作为第二直线运动轨迹；

获取超像素块中异物的直线运动轨迹上与质心最邻近的两个像素点，分别作为第一像素点和第二像素点；

计算质心与第一像素点的灰度值差值的绝对值、质心与第二像素点的灰度值差值的绝对值；

将质心与第一像素点的灰度值差值的绝对值和质心与第二像素点的灰度值差值的绝对值进行作差，得到质心与其最邻近像素点的灰度梯度差；

按照得到质心与其最邻近像素点的灰度梯度差的方式得到第一直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差；

利用第一直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差、质心与其最邻近像素点的灰度梯度差，计算得到第一直线运动轨迹上该像素点对应的分量夹角；

利用第一直线运动轨迹上每个像素点对应的分量夹角，计算得到第一直线运动轨迹上每个像素点对应的垂线距离；

按照得到第一直线运动轨迹上每个像素点对应的垂线距离的方式，得到第二直线运动轨迹上每个像素点对应的垂线距离；

根据第一直线运动轨迹上每个像素点对应的垂线距离和第二直线运动轨迹上每个像素点对应的垂线距离，拟合得到超像素块中异物的弧线运动轨迹。

所述一种用于医用药剂中可见异物的视觉检测方法，所述每个超像素块中异物的相对运动速度是按照如下方式得到：

将弧线运动轨迹作为第一超像素块中异物的运动轨迹，直线运动轨迹作为第二超像素块中异物的运动轨迹；

计算第一超像素块中异物的运动轨迹长度和第二超像素块中异物的运动轨迹长度；

根据第一超像素块中异物的运动轨迹长度、第二超像素块中异物的运动轨迹长度、首帧模糊图像的相机曝光时间，计算得到每个超像素块中异物的相对运动速度。

本发明的有益效果是：本发明通过调整相机曝光时间，获取医用药剂的首帧模糊图像，根据首帧模糊图像中异物的位置和运动特征获取各异物的运动轨迹，通过对首帧模糊图像进行分析获取更多的异物信息，利用更多的异物信息对连续帧中的异物进行跟踪，更具有准确性，大大降低了跟随目标丢失的几率。本发明根据各异物的运动轨迹获取各异物在医用药剂中的相对运动速度，将各异物的运动轨迹和相对运动速度代入多目标跟随算法中，对连续帧图像中的异物进行跟随，相较于现有的多目标跟随算法，将运动轨迹和相对运动速度作为连续帧中异物的特征，异物的特征更加准确可靠，且前后帧的异物特征相差不大，可有效提高对异物检测的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于医用药剂中可见异物的视觉检测方法流程示意图；

图2为本发明实施例提供的一种医用药剂中可见异物的主运动轨迹示意图；

图3为本发明实施例提供的一种医用药剂中可见异物的弧线运动轨迹和直线运动轨迹关系示意图；

图4为本发明实施例提供的一种第一直线运动轨迹上每个像素点对应的垂线距离示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提出一种用于医用药剂中可见异物的视觉检测方法，用于提高医用药剂中可见异物检测的准确性。

医用药剂中规定的明显可见异物是指：金属屑、玻璃屑、长度超过2mm的纤维、最大粒径超过2mm的块状物以及静置一定时间后轻轻旋转时肉眼可见的烟雾状微粒沉积物、无法计数的微粒群或摇不散的沉淀，以及在规定时间内较难计数的蛋白质絮状物等，这些是绝对不允许检出的。微细可见异物是指：点状物、2mm以下的短纤维和块状物等微细可见异物等。这些都是根据医用药剂的分类规定的，并不是一概而论的。

灯检法是在合适的光源照射下检查注射液、眼用液体制剂和无菌原料中是否存在不得检出的明显可见异物或超出规定的微细可见异物。不反光的黑色背景用于检查无色和白色异物，不反光的白色背景用于检查有色异物。

在人工灯检法的基础上，利用机器视觉自动化检测医用药剂中可见异物的方法，弥补了人工检测的低效率、低准确度的不足。在医用药剂静止的情况下，可见异物淹没在医用药剂中，即使是人眼也很难识别出是否有异物存在，且二维视角观察静态的医用药剂，无法获取异物的完整形状、尺寸，因此一般需要晃动医用药剂，在连续的动态帧图像中对目标异物进行跟随，获取异物在动态下的多维尺寸。但异物在医用药剂中会随机翻滚，因此前后帧的异物特征相差较大，目标跟随算法的本质是多变量估计，在异物形状、运动状态不稳定的情况下极容易丢失目标。

本发明的一种用于医用药剂中可见异物的视觉检测方法的实施例，如图1所示，包括：

S101、获取待检测医用药剂去噪后的首帧模糊图像和连续帧图像。

机器检测医用药剂内异物的时候，若医用药剂本身未清理干净，或医用药剂身上有清洗不掉的划痕、标签胶水等，会干扰异物的检测结果，而我们旋转医用药剂的时候，医用药剂在运动状态下，就可以通过传统帧差法来找到不随着医用药剂运动的异常像素点，这些异常像素点就是医用药剂本身存在的干扰像素点。

获取待检测的医用药剂。在医用药剂静止的情况下，可见异物或漂浮、或沉淀在医用药剂中，无论是人眼还是机器视觉都很难识别所有的异物，因此传统方法用人眼检测医用药剂中是否存在异物时，都需要轻轻晃动医用药剂。而在机器视觉下，我们可以通过装置来旋转并急停医用药剂，医用药剂仍作离心旋转运动。

需要说明的是，当前对于动态物体的识别和获取基本通过目标跟随算法实现，而医用药剂中尽管可以通过差分得到运动的异物像素点，但异物在医用药剂中的运动是无序的，单帧静态图像得到的只是异物的某一个观测面，即一组二维数据无法得到准确的三维数据，如果要评估一个异物的完整样貌，需要追踪异物连续帧的多个观测面图像，得到多个截面的尺寸参数，才能评估出每个异物的大小、形状。但多个异物共存的情况下，进行多目标跟踪算法的本质是多变量的估计问题，而异物在一边随着医用药剂旋转、一边无序翻滚时，其每一帧的特征参数相差可能较大，因此不能保证目标跟随的准确性，自然无法准确的得到异物多观测面图像特征。

本实施例通过调整相机曝光时间来人为制造运动模糊，通过单帧图像中异物的运动模糊长度，获取不同异物在医用药剂中的相对运动速度，为目标跟随提供核心估计变量，本实施例相较于传统的目标跟随算法，可以降低由于前后帧异物外观变形导致的目标丢失几率，对异物的追踪更加准确，进而可以获取每个异物完整的连续帧多观测角度图像，来评估异物的大小和形状。

现有相机都可以通过设置相机的拍摄参数，比如缩小光圈、使用中性密度滤镜、调节曝光时间等手段来制造运动模糊，很多摄影师在拍摄城市车流、人物奔跑时都会专门采用这种手段来增强图像的动感。所以我们在医用药剂停止旋转后，对做离心运动的医用药剂图像采集分为两个阶段，第一阶段将首帧曝光时间调慢，用于采集医用药剂急停后的首帧模糊图像；第二阶段曝光时间回调至正常，用于采集医用药剂急停后的第二帧至医用药剂完全静止时的连续帧图像。

利用传统帧差法获取连续帧图像中的异常像素点。将位置不发生变化的异常像素点作为医用药剂的干扰像素点。

将首帧模糊图像和连续帧图像中的干扰像素点进行删除，获取待检测医用药剂去噪后的首帧模糊图像和连续帧图像。

S102、对待检测医用药剂去噪后的首帧模糊图像中是否存在模糊轨迹进行判断，获取存在异物的医用药剂去噪后的首帧模糊图像。

对待检测医用药剂去噪后的首帧模糊图像进行判断：当待检测医用药剂去噪后的首帧模糊图像中存在模糊轨迹时，则判断待检测医用药剂中存在异物，该首帧模糊图像为存在异物的医用药剂去噪后的首帧模糊图像；当待检测医用药剂去噪后的首帧模糊图像中不存在模糊轨迹时，则判断待检测医用药剂中不存在异物。

S103、对存在异物的医用药剂去噪后的首帧模糊图像进行超像素分割，获取各个超像素块。

由于曝光时间较慢，首帧模糊图像中运动状态的异物会与相机产生相对运动，形成运动模糊的虚影。医用药剂中的异物虚影的长度，与其在医用药剂中的运动速度有关。而异物的大小、密度、形状，以及其在医用药剂中的位置不同，运动的速度也不相同。因此我们在异物参数未知，且异物随机翻滚，无法通过目标跟踪来获取准确的异物运动速度时，可以通过运动模糊长度来映射不同异物的运动速度。

在排除医用药剂自带的灰尘及其他干扰元素后，以异常于医用药剂的干扰像素点灰度值和医用药剂背景的像素点灰度值作为分割标准，利用超像素分割将不同的异物分割开，获取各个超像素块。每个超像素块内为单个异物及其所形成的虚影像素点。

S104、利用各超像素块中过质心的线段上的平均灰度梯度得到每个超像素块中异物的直线运动轨迹。

需要说明的是，由于异物在医用药剂中的运动轨迹有主、次之分，即随着医用药剂的旋转为异物的主运动，在医用药剂中随机翻转为次运动，因此异物产生的运动模糊是多个方向的，我们需要从这些模糊方向中筛选出主运动方向。

异物发生多个方向的运动模糊时，在主运动方向上损失的高频信息最大，次方向上损失的高频信息较少，因此我们确定超像素块的质心，然后计算每个过质心的线段上像素点的平均灰度梯度，最小平均灰度梯度对应的线段的方向则为主运动方向。具体过程如下：

对每个超像素块进行如下操作：

获取超像素块的质心G，过质心G作任意方向的直线，使得直线与超像素块的边缘交于两点，将两个交点之间的线段作为第一线段。

统计第一线段上像素点的数量。

利用第一线段上两两相邻像素点的灰度值差值、第一线段上像素点的数量，计算得到第一线段上的平均灰度梯度：

式中，

表示第一线段上的平均灰度梯度，

表示第一线段上像素点的数量，

表示 第一线段上第i个像素点的灰度值，

表示第一线段上第i-1个像素点的灰度值。此处通过 计算第一线段上相邻两像素点的灰度值差值来表示第一线段上相邻两像素点之间的灰度 梯度，然后将第一线段上所有相邻两像素点之间的灰度梯度求和并平均来表示整个第一线 段的灰度梯度。整个第一线段的灰度梯度越大，说明第一线段的方向上损失的高频信息越 大，第一线段的方向越有可能为异物的主运动方向。

按照得到第一线段上的平均灰度梯度的方式得到所有线段上的平均灰度梯度。

将最小平均灰度梯度对应的线段的方向作为每个超像素块中异物的主运动方向，将最小平均灰度梯度对应的线段作为每个超像素块中异物的直线运动轨迹。

S105、获取存在异物的医用药剂的中轴线，利用每个超像素块的质心到中轴线的垂直距离获取异物呈现弧线运动轨迹的第一超像素块和异物呈现直线运动轨迹的第二超像素块。

根据S104得到的异物的主运动方向为直线方向，异物的主运动轨迹为直线运动轨迹。而在医用药剂旋转的时候，相机二维视角下采集的异物图像，其主运动轨迹并不一定是直线运动轨迹，若异物的位置在医用药剂的中间，则其主运动轨迹在侧面视角下偏向直线运动，若异物的位置在医用药剂的两侧，则异物在二维视角下会发生运动方向偏移，此时仅通过直线运动轨迹来评价异物运动方向是不合理的。如图2所示，处于不同位置的异物，其主运动轨迹并不相同，在医用药剂中间位置的异物，无论其是前景还是后景上的异物，其主运动轨迹几乎为直线运动轨迹。但在医用药剂边缘的异物，具有即将进行转向的趋势，因此其主运动轨迹也具有三维的特性，我们需要对靠近医用药剂边缘的超像素块进行特殊计算。

获取医用药剂的中轴线。然后以中轴线的中点为原点，中轴线为Y轴，过原点且垂直于中轴线的直线为X轴建立坐标系。

过每个超像素块的质心作中轴线的垂线，计算每个超像素块的质心到中轴线的垂直距离：

式中，

表示第v个超像素块的质心到中轴线的垂直距离，

表示第v个超像素块 的质心的横坐标，

表示第v个超像素块的质心对应的垂线与中轴线的交点的横坐标。此处 利用超像素块的质心及其对应的垂线与中轴线的交点的坐标信息来计算得到超像素块的 质心到中轴线的垂直距离，利用超像素块的质心到中轴线的垂直距离来表示超像素块中的 异物在医用药剂中的位置。超像素块的质心到中轴线的垂直距离越大，表明该超像素块中 的异物靠近医用药剂边缘的可能性越大。

根据医用药剂的宽度Q设定距离阈值

，本实施例给出经验值

=0.4Q。不同医用药 剂的宽度不同，具体阈值可根据具体实施方式具体设置。对每个超像素块的质心到中轴线 的垂直距离进行判断：当超像素块的质心到中轴线的垂直距离

时，则该超像素块中 的异物呈现弧线运动轨迹；当超像素块的质心到中轴线的垂直距离

时，则该超像素 块中的异物呈现直线运动轨迹。

将异物呈现弧线运动轨迹的超像素块作为第一超像素块，异物呈现直线运动轨迹的超像素块作为第二超像素块。

S106、利用第一超像素块中异物的直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差，计算得到第一超像素块中异物的直线运动轨迹上该像素点对应的分量夹角。

我们还可以根据医用药剂的旋转方向，以及异物的位置，得到异物是顺时针运动趋势还是逆时针运动趋势。异物在医用药剂边缘的运动轨迹是弧形的，可以确定通过S104得到的直线运动轨迹是由弧线运动轨迹上的模糊分量所组成的。S104得到的直线运动轨迹是最接近弧线运动轨迹的一条直线运动轨迹，即从一点到达另一个点，两点之间的连线为直线运动轨迹，而弧线运动轨迹可能有无数条，弧线运动轨迹为其中一条，我们通过S104得到的运动主方向来修正实际运动方向。

如图3所示，所得运动方向即为通过S104得到的主运动方向，表示的是过超像素块质心的最小平均灰度梯度线段所在的方向。实际运动方向是弧线运动轨迹所在的方向。所得运动方向对应的轨迹是直线运动轨迹，相当于异物运动模糊的虚影末端至当前位置的最短距离。而异物的弧线运动轨迹是连接两点的一条弧线。设想对直线运动轨迹上每一个像素点做垂线，每个像素点与弧线运动轨迹交于一点，则直线运动轨迹上的每个像素点对应一个弧线运动轨迹上的像素点。直线运动轨迹和弧线运动轨迹具有一定的联系：弧线运动轨迹上的模糊程度，与直线运动轨迹上的模糊程度之间具有关联关系，直线运动轨迹上的模糊程度受到弧线运动轨迹上的模糊分量的影响，直线运动轨迹的两端与弧线运动轨迹的关联度最高，越靠近中间越小。也就是说，直线运动轨迹上的像素点与其对应的弧线运动轨迹上的像素点之间的垂线距离越小，则代表弧线运动轨迹的模糊情况与直线运动轨迹上的模糊情况越靠近。我们只需要得到直线运动轨迹上每个像素点对应的弧线运动轨迹上像素点的分量夹角，就可以得到直线运动轨迹上的像素点与其对应的弧线运动轨迹上的像素点之间的垂线距离，也就可以还原弧线运动轨迹。

而在直线运动轨迹上的质心对应的弧线运动轨迹上像素点的分量夹角几乎为0，因该位置是异物进行离心运动时的最大离心距离，因此过质心的直线运动轨迹在弧线运动轨迹的最大离心距离处相切。此处的分量夹角为0，即此处直线运动轨迹与弧线运动轨迹上的两个对应像素点之间的关联性最小，因此我们对整段弧形运动轨迹拟合时，需要分为两部分进行，即从直线两个端点分别向着质心进行拟合。

对第一超像素块进行如下操作：

将超像素块中异物的直线运动轨迹上任意端点到质心的轨迹作为第一直线运动轨迹，另一端点到质心的轨迹作为第二直线运动轨迹。

获取超像素块中异物的直线运动轨迹上与质心最邻近的两个像素点，分别作为第一像素点和第二像素点。

计算质心与第一像素点的灰度值差值的绝对值、质心与第二像素点的灰度值差值的绝对值。

将质心与第一像素点的灰度值差值的绝对值和质心与第二像素点的灰度值差值的绝对值进行作差，得到质心与其最邻近像素点的灰度梯度差。

按照得到质心与其最邻近像素点的灰度梯度差的方式得到第一直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差。

利用第一直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差、质心与其最邻近像素点的灰度梯度差，计算得到第一直线运动轨迹上每个像素点对应的分量夹角：

式中，

表示第一直线运动轨迹上第a个像素点对应的分量夹角，

表示第一直线 运动轨迹上第a个像素点的灰度值，

表示第一直线运动轨迹上第a+1个像素点的灰度 值，

表示第一直线运动轨迹上第a-1个像素点的灰度值，

表示直线运动轨迹上质心的 灰度值，

表示直线运动轨迹上第一像素点的灰度值，

表示直线运动轨迹上第二像素点 的灰度值，

表示反余弦函数。此处通过计算直线运动轨迹上相邻两像素点的灰度值 差值来表示直线运动轨迹上相邻两像素点之间的灰度梯度。

表示 第一直线运动轨迹上第a个像素点与其最邻近像素点的灰度梯度差，

表示直线运动轨迹上质心与其最邻近像素点的灰度梯度差。因为弧线运动轨迹为运动模糊 轨迹，轨迹上相邻像素点之间的灰度梯度应该是极小的。但是直线运动轨迹上的质心对应 的弧线运动轨迹上像素点的分量夹角几乎为0，此时直线运动轨迹上的质心与其对应的弧 线运动轨迹上的像素点之间的垂线距离最大，关联性最低，因此直线运动轨迹上的质心与 其相邻像素点的灰度梯度受到弧线运动轨迹的影响最小，即为直线运动轨迹上的质心与其 前后相邻像素点的灰度梯度最大。那么将直线运动轨迹上的质心G与其相邻像素点的灰度 梯度作为度量标准，直线运动轨迹上任意像素点与其相邻像素点的灰度梯度相较于质心G 的比值，可以作为该像素点受到弧线运动轨迹模糊分量影响的模糊程度，对模糊程度进行 反余弦函数计算，得到模糊分量的角度。而模糊分量的角度即为第一直线运动轨迹上每个 像素点对应的分量夹角。

按照得到第一直线运动轨迹上每个像素点对应的分量夹角的方式得到第二直线运动轨迹上每个像素点对应的分量夹角。

至此，得到第一超像素块中异物的直线运动轨迹上每个像素点对应的分量夹角。

S107、利用第一超像素块中异物的直线运动轨迹上每个像素点对应的分量夹角，计算得到第一超像素块中异物的直线运动轨迹上该像素点对应的垂线距离。

利用第一直线运动轨迹上每个像素点对应的分量夹角，计算得到第一直线运动轨迹上每个像素点对应的垂线距离：

式中，

表示第一直线运动轨迹上第a个像素点对应的垂线距离，

表示第一直线 运动轨迹上第a个像素点对应的分量夹角，

表示正切函数，N表示第一直线运动轨迹上的 端点到第一直线运动轨迹上第a个像素点之间所包含的像素点数量。如图4所示，第一直线 运动轨迹上相邻像素点的距离为1，则

表示第一直线运动轨迹上第a个像素点的模糊 分量角度的对边，即为第一直线运动轨迹上第a个像素点对应的分量夹角的对边。同时第一 直线运动轨迹上每个像素点对应的垂线距离从端点处向着质心处单调递增，因此对第一直 线运动轨迹上的端点到第一直线运动轨迹上第a个像素点之间的对边进行累加求和，即可 得到第一直线运动轨迹上第a个像素点与其对应的弧线运动轨迹上像素点之间的距离。

按照得到第一直线运动轨迹上每个像素点对应的垂线距离的方式，得到第二直线运动轨迹上每个像素点对应的垂线距离。

至此，得到第一超像素块中异物的直线运动轨迹上每个像素点对应的垂线距离。

S108、根据第一超像素块中异物的直线运动轨迹上每个像素点对应的垂线距离，得到第一超像素块中异物的弧线运动轨迹。

根据第一直线运动轨迹上每个像素点对应的垂线距离和第二直线运动轨迹上每个像素点对应的垂线距离，得到弧线运动轨迹上的所有像素点；

将弧线运动轨迹上的所有像素点进行连接，拟合得到第一超像素块中异物的弧线运动轨迹。

S109、将弧线运动轨迹作为第一超像素块中异物的运动轨迹，直线运动轨迹作为第二超像素块中异物的运动轨迹，得到每个超像素块中异物的运动轨迹。

由于第一超像素块中异物呈现弧线运动趋势，第二超像素块中异物呈现直线运动趋势，因此将弧线运动轨迹作为第一超像素块中异物的运动轨迹，直线运动轨迹作为第二超像素块中异物的运动轨迹，得到每个超像素块中异物的运动轨迹。

S110、根据每个超像素块中异物的运动轨迹计算得到每个超像素块中异物的相对运动速度。

计算第一超像素块中异物的运动轨迹长度和第二超像素块中异物的运动轨迹长度：得到每个超像素块中异物的运动轨迹后，计算运动轨迹长度，运动轨迹越长则说明其在连续帧图像中的运动速度越大，运动轨迹越短则说明其在连续帧图像中的运动速度越小。

医用药剂中存在若干个异物，我们根据运动轨迹长度得到每个异物的相对运动速度：根据第一超像素块中异物的运动轨迹长度、第二超像素块中异物的运动轨迹长度、首帧模糊图像的相机曝光时间，计算得到每个超像素块中异物的相对运动速度。

S111、将每个超像素块中异物的运动轨迹和相对运动速度代入多目标跟随算法中，对连续帧图像中的异物进行跟随，得到连续帧图像对应的跟随图像。

在获取首帧模糊图像中每个异物的相对运动速度后，对动态模糊图像进行非盲去卷积，来消除动态模糊，然后将首帧模糊图像中的异物特征与相对运动速度代入多目标跟随算法，以运动轨迹、相对运动速度作为主要估计变量，即使后续连续帧图像中的异物再翻滚，也不会丢失目标，采集后续连续帧的跟随图像，获取每一个异物的多观测角度图像来评估该异物的长、宽、高三维尺寸，即获取多帧图像中的异物，使得医用药剂中异物的检测结果更加准确。

S112、将连续帧图像对应的跟随图像输入卷积神经网络中，输出存在异物的医用药剂中异物的尺寸。

将连续帧图像对应的跟随图像输入卷积神经网络中，输出医用药剂中异物的尺寸。现有技术利用卷积神经网络进行基于图像的三维重建，即根据多张二维图像重建三维物体，然后获取异物尺寸。该技术是现有技术，此处不再赘述。

S113、根据存在异物的医用药剂中异物的尺寸判断该医用药剂是否合格。

不同的医用药剂，对可见异物尺寸的规定不同，最后根据医用药剂中异物的尺寸判断该医用药剂是否合格。因此，得到医用药剂中异物的尺寸后，根据医用药剂对可见异物尺寸的规定，对医用药剂是否合格进行判断：当医用药剂中异物的尺寸属于可见异物尺寸时，则该医用药剂不合格。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于医用药剂中可见异物的视觉检测方法，其特征在于，包括：

获取待检测医用药剂去噪后的首帧模糊图像和连续帧图像；

对待检测医用药剂去噪后的首帧模糊图像中是否存在模糊轨迹进行判断，获取存在异物的医用药剂去噪后的首帧模糊图像；

对存在异物的医用药剂去噪后的首帧模糊图像进行超像素分割，获取各个超像素块；

利用各超像素块中过质心的线段上的平均灰度梯度得到每个超像素块中异物的直线运动轨迹；

获取存在异物的医用药剂的中轴线，利用每个超像素块的质心到中轴线的垂直距离获取异物呈现弧线运动轨迹的第一超像素块和异物呈现直线运动轨迹的第二超像素块；

利用第一超像素块中异物的直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差，计算得到第一超像素块中异物的直线运动轨迹上该像素点对应的分量夹角；

利用第一超像素块中异物的直线运动轨迹上每个像素点对应的分量夹角，计算得到第一超像素块中异物的直线运动轨迹上该像素点对应的垂线距离；

根据第一超像素块中异物的直线运动轨迹上每个像素点对应的垂线距离，得到第一超像素块中异物的弧线运动轨迹；

将弧线运动轨迹作为第一超像素块中异物的运动轨迹，直线运动轨迹作为第二超像素块中异物的运动轨迹，得到每个超像素块中异物的运动轨迹；

根据每个超像素块中异物的运动轨迹计算得到每个超像素块中异物的相对运动速度；

将每个超像素块中异物的运动轨迹和相对运动速度代入多目标跟随算法中，对连续帧图像中的异物进行跟随，得到连续帧图像对应的跟随图像；

将连续帧图像对应的跟随图像输入卷积神经网络中，输出存在异物的医用药剂中异物的尺寸；

根据存在异物的医用药剂中异物的尺寸判断该医用药剂是否合格。

2.根据权利要求1所述的一种用于医用药剂中可见异物的视觉检测方法，其特征在于，所述存在异物的医用药剂去噪后的首帧模糊图像是按照如下方式获取：

对待检测医用药剂去噪后的首帧模糊图像进行判断：当待检测医用药剂去噪后的首帧模糊图像中存在模糊轨迹时，则判断待检测医用药剂中存在异物，该首帧模糊图像为存在异物的医用药剂去噪后的首帧模糊图像；当待检测医用药剂去噪后的首帧模糊图像中不存在模糊轨迹时，则判断待检测医用药剂中不存在异物。

3.根据权利要求1所述的一种用于医用药剂中可见异物的视觉检测方法，其特征在于，所述待检测医用药剂去噪后的首帧模糊图像和连续帧图像是按照如下方式获取：

获取待检测的医用药剂；

对医用药剂进行旋转并急停；

首先调慢相机的曝光时间，用于采集医用药剂急停后的首帧模糊图像；

然后将相机的曝光时间回调至正常，用于采集医用药剂急停后的第二帧至医用药剂完全静止时的连续帧图像；

利用传统帧差法获取连续帧图像中的异常像素点；

将位置不发生变化的异常像素点作为医用药剂的干扰像素点；

将首帧模糊图像和连续帧图像中的干扰像素点进行删除，获取待检测医用药剂去噪后的首帧模糊图像和连续帧图像。

4.根据权利要求1所述的一种用于医用药剂中可见异物的视觉检测方法，其特征在于，所述每个超像素块中异物的直线运动轨迹是按照如下方式得到：

将与存在异物的医用药剂背景像素点灰度值、干扰像素点灰度值不同的灰度值作为分割标准，对存在异物的医用药剂去噪后的首帧模糊图像进行超像素分割，获取各个超像素块；

对每个超像素块进行如下操作：

获取超像素块的质心，过质心作任意方向的直线，使得直线与超像素块的边缘交于两点，将两个交点之间的线段作为第一线段；

统计第一线段上像素点的数量；

利用第一线段上两两相邻像素点的灰度值差值、第一线段上像素点的数量，计算得到第一线段上的平均灰度梯度；

按照得到第一线段上的平均灰度梯度的方式得到所有线段上的平均灰度梯度；

将最小平均灰度梯度对应的线段作为每个超像素块中异物的直线运动轨迹。

5.根据权利要求1所述的一种用于医用药剂中可见异物的视觉检测方法，其特征在于，所述异物呈现弧线运动轨迹的第一超像素块和异物呈现直线运动轨迹的第二超像素块是按照如下方式获取：

获取存在异物的医用药剂的中轴线；

过每个超像素块的质心作中轴线的垂线，计算每个超像素块的质心到中轴线的垂直距离；

设置距离阈值，对每个超像素块的质心到中轴线的垂直距离进行判断：当超像素块的质心到中轴线的垂直距离大于等于距离阈值时，则该超像素块中的异物呈现弧线运动轨迹；当超像素块的质心到中轴线的垂直距离小于距离阈值时，则该超像素块中的异物呈现直线运动轨迹；

将异物呈现弧线运动轨迹的超像素块作为第一超像素块，异物呈现直线运动轨迹的超像素块作为第二超像素块。

6.根据权利要求1所述的一种用于医用药剂中可见异物的视觉检测方法，其特征在于，所述第一超像素块中异物的弧线运动轨迹是按照如下方式得到：

对第一超像素块进行如下操作：

将超像素块中异物的直线运动轨迹上任意端点到质心的轨迹作为第一直线运动轨迹，另一端点到质心的轨迹作为第二直线运动轨迹；

获取超像素块中异物的直线运动轨迹上与质心最邻近的两个像素点，分别作为第一像素点和第二像素点；

计算质心与第一像素点的灰度值差值的绝对值、质心与第二像素点的灰度值差值的绝对值；

将质心与第一像素点的灰度值差值的绝对值和质心与第二像素点的灰度值差值的绝对值进行作差，得到质心与其最邻近像素点的灰度梯度差；

按照得到质心与其最邻近像素点的灰度梯度差的方式得到第一直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差；

利用第一直线运动轨迹上每个像素点与其最邻近像素点的灰度梯度差、质心与其最邻近像素点的灰度梯度差，计算得到第一直线运动轨迹上该像素点对应的分量夹角；

利用第一直线运动轨迹上每个像素点对应的分量夹角，计算得到第一直线运动轨迹上每个像素点对应的垂线距离；

按照得到第一直线运动轨迹上每个像素点对应的垂线距离的方式，得到第二直线运动轨迹上每个像素点对应的垂线距离；

根据第一直线运动轨迹上每个像素点对应的垂线距离和第二直线运动轨迹上每个像素点对应的垂线距离，拟合得到超像素块中异物的弧线运动轨迹。

7.根据权利要求1所述的一种用于医用药剂中可见异物的视觉检测方法，其特征在于，所述每个超像素块中异物的相对运动速度是按照如下方式得到：

将弧线运动轨迹作为第一超像素块中异物的运动轨迹，直线运动轨迹作为第二超像素块中异物的运动轨迹；

计算第一超像素块中异物的运动轨迹长度和第二超像素块中异物的运动轨迹长度；

根据第一超像素块中异物的运动轨迹长度、第二超像素块中异物的运动轨迹长度、首帧模糊图像的相机曝光时间，计算得到每个超像素块中异物的相对运动速度。

Images