CN103942792A - 医药检测机器人中基于序列图像时域特征的杂质检测方法 - Google Patents

Abstract

本发明公开了一种医药检测机器人中基于序列图像时域特征的杂质检测方法，根据序列图像像素的时域特征，将亮背景区域特征和暗背景区域特征映射到同一特征空间，消除亮背景与暗背景之间的差别，并通过神经网络对目标与背景进行分类，实现目标与背景的分割，根据异物特征运动轨迹，检测出异物。有效解决序列帧差法无法解决的亮背景、暗背景图像分割问题，异物检测漏检率、误检率更低；该发明方法相比现有序列差分方法，速度更快，且不受序列帧数目的影响，尤其在20帧以上的序列图像处理过程中，效果更明显；采用BP神经网络，通过样本学习的方法，自动建立分类标准，增强了复杂背景的适应能力，满足更多样本特征的有效提取。

Description

医药检测机器人中基于序列图像时域特征的杂质检测方法

技术领域

本发明涉及医药检测机器人中基于序列图像时域特征的杂质检测方法。

背景技术

医药视觉检测机器人主要是对安瓿、大输液、口服液等溶液中异物检测的设备，其中，图像处理是检测机器人最重要的组成部分，目前，常见异物检测算法中，异物区域与背景区域分离的主要流程为序列图像差分、叠加、叠加图像二值化处理，但是该种方法存在诸多不足之处，具体体现在以下两个方面：

（1）图像背景十分复杂，背景亮度变化大，包含暗背景和亮背景，序列图像差分处理后，亮背景差值远远大于暗背景差值，致使叠加图像固定阈值二值化处理后，亮背景与异物特征类似，分割效果不佳；

（2）序列图像采集过程中，常采用归一化方法消除背景亮度不均匀的影响，但是，在亮背景中出现的异物会被错误分割为亮背景，造成漏检。

发明内容

本发明提出了一种基于序列图像时域特征的异物检测方法，针对上述不足，根据序列图像像素的时域特征，将亮背景区域特征和暗背景区域特征映射到同一特征空间，消除亮背景与暗背景之间的差别，并通过神经网络对目标与背景进行分类，实现目标与背景的分割，根据异物特征运动轨迹，检测出异物。

一种医药检测机器人中基于序列图像时域特征的杂质检测方法，包括以下几个步骤：

步骤1：连续采集N帧图像作为单个样本序列图像，总共采集X个样本；

步骤2：从每个样本序列图像中提取原始特征向量，所述原始特征向量包括异物特征向量和背景特征向量，并分别对异物特征向量和背景特征向量进行升序排序后再归一化处理，建立异物特征样本数据库和背景特征样本数据库；

步骤3：利用异物特征样本数据库和背景特征样本数据库训练神经网络；

步骤4：从实时采集N帧序列图像中依次提取每个待测像素点的原始特征向量，对待测像素点的原始特征向量进行升序排序后，再进行归一化处理，并生成待测像素点的归一化特征向量；

步骤5：将所有待测像素点的有序特征向量输入到步骤3得到的神经网络中，输出每个待测像素点的灰度值，再基于得到的灰度值生成图像ImageR；

步骤6：对步骤5获得的图像ImageR进行二值化操作，二值化阈值为0.5，获得二值化图像ImageB，完成可见异物的目标分割，二值化图像中白色区域为被分割出来的异物区域，即为异物在图像中的运动轨迹，黑色区域为背景区域；

所述原始特征向量为，是指从序列图像中提取每帧图像在同一坐标点（x，y）的灰度值，表示第n帧图像中坐标点（x，y）的灰度值；

所述有序特征向量为，是指依据的大小按照从小到大的顺序进行排序得到的向量，其中， $O_N^{(x,y)}=\max (I_1^{(x,y)},I_2^{(x,y)},...I_{N-1}^{(x,y)},I_N^{(x,y)})$ 且 $O_n^{(x,y)}\∈(I_1^{(x,y)},I_2^{(x,y)},...I_{N-1}^{(x,y)},I_N^{(x,y)}),n=1,...,N;$

所述归一化特征向量为 $R^{(x,y)}=[r_1^{(x,y)},r_2^{(x,y)}...r_{N-1}^{(x,y)},r_N^{(x,y)}]$ ，其中 $r_n^{(x,y)}=\frac{O_n^{(x,y)}-O_1^{(x,y)}}{O_N^{(x,y)}-O_n^{(x,y)}},$ n=1,...,N；

所述异物特征向量是指原始特征向量中(x,y)为样本序列图像中出现异物的所有坐标点；

所述背景特征向量是指原始特征向量中(x,y)为样本序列图像中均为出现异物的所有坐标点。

所述神经网络为BP神经网络，输入层为N个节点，分别与特征向量的N个元素对应，隐含层包括5个节点，输出层为1个节点；

神经网络的训练过程如下：

若输入层的输入向量来自异物特征数据库，则输出节点为1，若输入层的输入向量来源于背景特征数据库，则输出节点为0，采用BP神经网络误差反向传递修正方法，对神经网络进行训练，得到训练后的输入层节点与隐含层节点之间的权值，隐含层节点与输出层节点之间的权值，其中，a为1..N的整数，b为1..5的整数。

所述采集N帧图像时，N的取值范围是16-30.

所述样本个数X为大于5000的正整数。

有益效果

与现有技术相比，本发明所具有的优点主要体现在以下几个方面：

（1）有效解决序列帧差法无法解决的亮背景、暗背景图像分割问题，异物检测漏检率、误检率更低；

（2）该发明方法相比现有序列差分方法，速度更快，且不受序列帧数目的影响，尤其在20帧以上的序列图像处理过程中，效果更明显。

（3）采用BP神经网络，通过样本学习的方法，自动建立分类标准，增强了复杂背景的适应能力，满足更多样本特征的有效提取。

附图说明

图1为本发明所述方法的流程图；

图2为利用本发明所述方法提取的多个像素点在序列图像中的原始特征向量曲线图，其中，图（a）为异物出现在第4帧的原始特征向量图，图（b）为从高亮背景处像素的原始特征向量，图（c）为异物出现在第1帧的原始特征向量图，图（d）和图（e）分别为背景处提取的两个像素点的原始特征向量图，图（f）为异物出现在第2帧的原始特征向量图；

图3为特征向量有序图，其中，图（a）～图（f）分别对应为图2中图（a）～图（f）的原始特征向量的有序图，排列顺序由低到高；

图4为本发明所采用的神经网络模型；

图5为采用图4所述的神经网络模型对图像处理完成后得到的可见异物分割示意图；

图6为序列图像中任意像素点的特征向量的排序与归一化过程示意图；

图7为采用序列帧差分法对图像进行异物分割的效果图；

图8为采用本发明所述方法对图像进行分割的效果图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

如图1所示，为本发明所述方法的流程图，一种医药检测机器人中基于序列图像时域特征的杂质检测方法，包括以下几个步骤：

步骤1：连续采集N帧图像作为单个样本序列图像，总共采集10000个样本；

步骤2：从每个样本序列图像中提取原始特征向量，所述原始特征向量包括异物特征向量和背景特征向量，并分别进行升序排序后再归一化处理，建立异物特征样本数据库和背景特征样本数据库；

步骤3：利用异物特征样本数据库和背景特征样本数据库训练神经网络，如图4所示，神经网络的输入节点总数为序列图像的总帧数，特别的，为提高序列帧图像（总帧数大于20帧）的处理速度，可以取排序后的前后5个数据点，共10个，作为神经网络的输入；

步骤4：从实时采集N帧序列图像中依次提取每个待测像素点的原始特征向量，如图2所示，图2的横坐标为图像帧，纵坐标为灰度值；其中，图（a）为异物出现在第4帧的原始特征向量图，图（b）为从高亮背景处像素的特征向量，图（c）为异物出现在第1帧的原始特征向量图，图（d）和图（e）分别为背景处提取的两个像素点的原始特征向量图，图（f）为异物出现在第2帧的原始特征向量图；对待测像素点的原始特征向量进行升序排序后，如图3所示，接着进行归一化处理，并生成待测像素点的归一化特征向量；

步骤5：将所有待测像素点的有序特征向量输入到步骤3得到的神经网络中，输出每个待测像素点的灰度值，再基于得到的灰度值生成图像ImageR，如图5所示；

如图6所示为序列图像中任意像素点的原始特征向量的排序与归一化过程示意图；序列帧图像中某一像素点的像素值依次为[16,25,120,……，11,28,32]，经排序后的像素值为[11,16,25,……，28,32,120]，归一化后像素值为[0.000,0.0459,0.1284,……，0.1560,0.1927,1.000]，上述归一化数据直接作为神经网络的[I(x,y,t₁),I(x,y,t₂),I(x,y,t₃),……，I(x,y,t_n-2),I(x,y,t_n-1),I(x,y,t_n)]的输入；

步骤6：对步骤5获得的图像ImageR进行二值化操作，获得二值化图像ImageB，二值化阈值为0.5，完成可见异物的目标分割，二值化图像中白色区域为被分割出来的异物区域，即为异物在图像中的运动轨迹，黑色区域为背景区域；

所述原始特征向量为，是指从序列图像中提取每帧图像在同一坐标点（x，y）的灰度值，表示第n帧图像中坐标点（x，y）的灰度值；

所述有序特征向量为，是指依据的大小按照从小到大的顺序进行排序，其中， $O_N^{(x,y)}=\max (I_1^{(x,y)},I_2^{(x,y)},...I_{N-1}^{(x,y)},I_N^{(x,y)})$ 且 $O_n^{(x,y)}\∈(I_1^{(x,y)},I_2^{(x,y)},...I_{N-1}^{(x,y)},I_N^{(x,y)}),n=1,...,N;$

所述归一化特征向量为 $R^{(x,y)}=[r_1^{(x,y)},r_2^{(x,y)}...r_{N-1}^{(x,y)},r_N^{(x,y)}]$ ，其中 $r_n^{(x,y)}=\frac{O_n^{(x,y)}-O_1^{(x,y)}}{O_N^{(x,y)}-O_n^{(x,y)}},$

所述异物特征向量是指原始特征向量中(x,y)为样本序列图像中出现异物的所有坐标点；

所述背景特征向量是指原始特征向量中(x,y)为样本序列图像中均为出现异物的所有坐标点。

所述神经网络为BP神经网络，输入层为N个节点，分别与特征向量的N个元素对应，隐含层包括5个节点，输出层为1个节点；

神经网络的训练过程如下：

若输入层的输入向量来自异物特征数据库，则输出节点为1，若输入层的输入向量来源于背景特征数据库，则输出节点为0，采用BP神经网络误差反向传递修正方法，对神经网络进行训练，得到训练后的输入层节点与隐含层节点之间的权值，隐含层节点与输出层节点之间的权值，其中，a为1..N的整数，b为1..5的整数。

在本实施例中，所述采集N帧图像时，N的取值16。

为了验证本发明方法的有效性和准确性，对同样的序列帧图像采用序列帧差分法和本发明方法进行异物检测，检测结果如图7和图8所示，图7为采用序列帧差分法对图像进行异物分割的效果图；图中能够清晰看到白色的异物特征；但是由于序列帧成像过程中机械的振动和光源的亮度变化；背景未被准确的分割；图8为采用本发明所述方法对图像进行分割的效果图。背景和异物被准确的分割，背景区域几乎被消除掉，异物特征明显。

Claims (4)

1.一种医药检测机器人中基于序列图像时域特征的杂质检测方法，其特征在于，包括以下几个步骤： 

步骤1：连续采集N帧图像作为单个样本序列图像，总共采集X个样本； 

步骤2：从每个样本序列图像中提取原始特征向量，所述原始特征向量包括异物特征向量和背景特征向量，并分别对异物特征向量和背景特征向量进行升序排序后再归一化处理，建立异物特征样本数据库和背景特征样本数据库； 

步骤3：利用异物特征样本数据库和背景特征样本数据库训练神经网络； 

步骤4：从实时采集N帧序列图像中依次提取每个待测像素点的原始特征向量，对待测像素点的原始特征向量进行升序排序后，再进行归一化处理，并生成待测像素点的归一化特征向量； 

步骤5：将所有待测像素点的有序特征向量输入到步骤3得到的神经网络中，输出每个待测像素点的灰度值，再基于得到的灰度值生成图像ImageR； 

步骤6：对步骤5获得的图像ImageR进行二值化操作，二值化阈值为0.5，获得二值化图像ImageB，完成可见异物的目标分割，二值化图像中白色区域为被分割出来的异物区域，即为异物在图像中的运动轨迹，黑色区域为背景区域； 

所述原始特征向量为，是指从序列图像中提取每帧图像在同一坐标点（x，y）的灰度值，表示第n帧图像中坐标点（x，y）的灰度值； 

所述有序特征向量为，是指依据的大小按照从小到大的顺序进行排序得到的向量，其中， 且

所述归一化特征向量为，其中n=1,...,N； 

所述异物特征向量是指原始特征向量中(x,y)为样本序列图像中出现异物的所有坐标点； 

所述背景特征向量是指原始特征向量中(x,y)为样本序列图像中均为出现异物的所有坐标点。 

2.根据权利要求1所述的医药检测机器人中基于序列图像时域特征的杂质检测方法，其特 征在于，所述神经网络为BP神经网络，输入层为N个节点，分别与特征向量的N个元素对应，隐含层包括5个节点，输出层为1个节点； 

神经网络的训练过程如下： 

若输入层的输入向量来自异物特征数据库，则输出节点为1，若输入层的输入向量来源于背景特征数据库，则输出节点为0，采用BP神经网络误差反向传递修正方法，对神经网络进行训练，得到训练后的输入层节点与隐含层节点之间的权值，隐含层节点与输出层节点之间的权值，其中，a为1..N的整数，b为1..5的整数。 

3.根据权利要求2所述的医药检测机器人中基于序列图像时域特征的杂质检测方法，其特征在于，所述采集N帧图像时，N的取值范围是16-30。 

4.根据权利要求1-3任一项所述的医药检测机器人中基于序列图像时域特征的杂质检测方法，其特征在于，所述样本个数X为大于5000的正整数。