CN106022347A - 一种改进的药液异物图像局部特征匹配方法 - Google Patents

Abstract

本发明公开了一种改进的药液异物图像局部特征匹配方法，利用改进的特征匹配算法寻找特征点，并利用特征点之间的汉明距离来进行序列图像中待检药品图像的匹配，计算帧间图像的偏差，并对位移的偏差进行补偿，弥补机械电气所造成的图像偏差，提高异物检测准确率；由于特征匹配算法的定位精确至亚像素级，补偿的精确度理论上也可达到亚像素级；本发明所述的方法实时性高，对480*1280分辨率图像的处理可达到80ms，远高于目前拥有的算法。相较于现有人工方法，该方法具有检测精度高、速度快、重复性好等优势，满足现有生产线实时在线检测的需求，稳定可靠。

Description

一种改进的药液异物图像局部特征匹配方法

技术领域

本发明属于图像识别领域，特别涉及一种改进的药液异物图像局部特征匹配方法。

背景技术

药品灌装质量检测是制药过程的一个重要环节，是药品质量安全的可靠保证。在灌装过程中，药液会出现玻璃碎屑、铝屑、橡皮屑、毛发、纤维等可见异物，当异物随药液注入人体血液后，可能导致循环障碍，或者因组织缺氧、静脉炎、水肿等严重后果。目前，医药生产企业对注射液的检测方式多为人工检测，要求工作人员在暗室中进行，配备简单的检测灯箱，在异物检测时手持待检测药品轻轻翻转，通过目视检测异物，此方法存在操作繁琐、检查速度慢，检查人员长时间检测后眼睛容易疲劳，影响检测结果，而且人工灯检易造成二次污染，存在效率低、可靠性差、质量安全得不到保障等诸多缺点，智能灯检机代替人工暗室检测药液异物已成为主流趋势。

智能灯检机主要采用序列图像的帧间差分算法来实现对药液中异物的识别与跟踪。但由于机器构件存在安装间隙或外力导致的抖动、机械电气系统的跟踪误差或伺服电机的不同步，CCD工业相机所拍取的序列图像会在水平方向和竖直方向产生偏差，因而导致在序列图像差分时产生许多错误的特征，造成图像提取运动异物失败，异物识别与检测无法正常完成，增加了错误剔除率。

发明内容

本发明提供了一种改进的药液异物图像局部特征匹配方法，其目的在于，通过改进的特征匹配算法来进行序列图像中待检药品图像的匹配，计算帧间图像的偏差，并对位移的偏差进行补偿，，能弥补机械电气所造成的图像偏差，提高异物检测准确率。

一种改进的药液异物图像局部特征匹配方法，包括以下步骤：

步骤1：连续采集P张生产线上同一药瓶的序列图像；

步骤2：利用AGAST算法检测序列图像每帧图像中的特征点；

步骤3：利用采样模板在步骤2所得的每个特征点周围确定n个采样点；

步骤4：利用每个特征点对应的采样点中任意两个采样点的灰度值进行比较，按设定的比较准则定义采样点对对应的二进制描述符值，获得每个特征点的1×C_n ²维的描述符；

由于智能灯检机在序列图像上只会产生水平方向和竖直方向的偏差，故省去了描述子旋转方向上的赋值，提高了算法的运算速度；

步骤5：以第一帧为参考帧，分别计算当前帧与参考帧两帧图像中任意两个特征点的描述符之间的汉明距离，以符合设定汉明距离阈值范围的汉明距离对应的特征点对作为两帧图像的匹配点对；

步骤6：利用每对匹配点对在对应图像中的像素坐标差值的平均值作为当前帧图像与参考帧图像之间的位移偏差；

步骤7：利用步骤6得到的位移偏差对当前帧图像进行位移偏差补偿，从而完成序列图像的匹配。

所述利用AGAST算法检测序列图像每帧图像中的特征点的具体过程如下：

步骤2.1：依次以图像中每个像素作为圆心P，半径为3像素，构建圆区域；

步骤2.2：在每个圆周上连续选取16个像素x；

步骤2.3：一个像素x关于它的核P的状态表示为S_P→x，被分配如下：

其中，S′_P→x表示像素x的前一个状态，I表示像素的灰度值，u表示状态仍然未知，t为设定的灰度阈值；

一个像素x关于它的核P的状态分别有“更暗”记作d、“相似”记作s、“更亮”记作b、“没有更亮”记作和“没有更暗”记作五种状态；

步骤2.4：统计图像中所有像素点的不同状态概率，从而获得图像中像素点五种状态的概率分布，采用逆向归纳法对概率分布构建最优二叉决策树，选出候选特征点；

步骤2.5：利用非极大值抑制的方法从候选特征点中选取最终特征点，用于步骤3的处理。

所述采样模板是指以步骤2所得的特征点为圆心，分别以δ，2δ，3δ，4δ，5δ为半径做同心圆，再以过圆心的水平轴为基线；分别顺时针，逆时针旋转60度，生成3根轴线；以轴线与同心圆形成的交点所在同心圆组中的位置形成的采样模板；

所述采样点是指将采样模板的圆心与特征点重合放置，特征点周围的像素与采样模板重合的点，且包含特征点本身。

利用每帧图像中所有特征点的维描述符构建每帧图像的描述符矩阵D，对每帧图像的描述符矩阵D进行降维处理，取描述符矩阵D的前256列，确定每帧图像中每个特征点的描述符为1×256维。

所述降维处理的具体步骤如下：

步骤A:计算描述符矩阵D的每一列的均值R_j；

步骤B:计算每一列均值R_j与0.5的差的绝对值S_j＝|R_j-0.5|；

步骤C:按S_j从小到大的顺序，对描述符矩阵D的各列进行排序；

步骤D:选取前256列作为每帧图像的最终的描述符矩阵。

所述利用每个特征点对应的采样点中任意两个采样点的灰度值进行比较，按设定的比较准则定义采样点对对应的二进制描述符值是指，根据以下公式确定采样点对的二进制描述符值

$\mathrm{\&tau;}(p;x,y)=\left\{\begin{array}{c}0,p\left(x\right)<p\left(y\right)\\ 1,p\left(x\right)\&GreaterEqual;p\left(y\right)\end{array}\right.$

其中，依次以每个采样点为基点，分别于其他采样点作对比，p(x)和p(y)分别表示基点与对比点的灰度值，不取重复点对。

有益效果

本发明提供了一种改进的药液异物图像局部特征匹配方法，利用改进的特征匹配算法寻找特征点，并利用特征点之间的汉明距离来进行序列图像中待检药品图像的匹配，计算帧间图像的偏差，并对位移的偏差进行补偿，弥补机械电气所造成的图像偏差，提高异物检测准确率；由于特征匹配算法的定位精确至亚像素级，补偿的精确度理论上也可达到亚像素级；本发明所述的方法实时性高，对480*1280分辨率图像的处理可达到80ms，远高于目前拥有的算法。相较于现有人工方法，该方法具有检测精度高、速度快、重复性好等优势，满足现有生产线实时在线检测的需求，稳定可靠。

附图说明

图1为待检测点与周围的像素及其编号；

图2为本发明所采用的采样模板示意图；

图3为本发明所述方法的流程图；

图4为利用本发明所述方法得到的匹配结果示意图；

图5为图4对应的匹配结果数据图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

如图3所示，一种改进的药液异物图像局部特征匹配方法，包括以下步骤：

步骤1：利用智能灯检机中的CCD工业相机连续采集装有药液的药瓶4-8张序列图像，其中CCD与药瓶同步运动，跟踪拍摄序列图像；

步骤2：对步骤1所采集的序列图像，以第一帧图像为参考帧，其他帧分别作为当前帧与参考帧进行匹配，利用AGAST(Adaptive and Generic Accelerated Segment Test，自适应通用加速分割检测)算法检测当前帧与参考帧特征点；

具体过程如下：

步骤2.1：依次以图像中每个像素作为圆心P，半径为3像素，构建圆区域；

步骤2.2：在每个圆周上连续选取16个像素x，依次编号为1-16，如图1所示；

步骤2.3：一个像素x关于它的核P的状态表示为S_P→x，被分配如下：

其中，S′_P→x表示像素x的前一个状态，I表示像素的灰度值，u表示状态仍然未知，t为设定的灰度阈值；

一个像素x关于它的核P的状态分别有“更暗”记作d、“相似”记作s、“更亮”记作b、“没有更亮”记作和“没有更暗”记作五种状态；

步骤2.4：统计图像中所有像素点的不同状态概率，从而获得图像中像素点五种状态的概率分布，采用逆向归纳法对概率分布构建最优二叉决策树，选出候选特征点；

步骤2.5：利用非极大值抑制的方法从候选特征点中选取最终特征点，用于步骤3的处理。

步骤3：利用新型采样模板在步骤2所得的特征点周围确定采样点，采样点个数为31，如图2所示；

所述采样模板是指以步骤2所得的特征点为圆心，分别以δ，2δ，3δ，4δ，5δ为半径做同心圆，再以过圆心的水平轴为基线；分别顺时针，逆时针旋转60度，生成3根轴线；以轴线与同心圆形成的交点所在同心圆组中的位置形成的采样模板；

所述采样点是指将采样模板的圆心与特征点重合放置，特征点周围的像素与采样模板重合的点，且包含特征点本身。

步骤4：利用每个特征点对应的采样点中任意两个采样点的灰度值进行比较，按设定的比较准则定义采样点对对应的二进制描述符值，获得每个特征点的维的描述符；

根据以下公式确定采样点对的二进制描述符值

$\mathrm{\&tau;}(p;x,y)=\left\{\begin{array}{c}0,p\left(x\right)<p\left(y\right)\\ 1,p\left(x\right)\&GreaterEqual;p\left(y\right)\end{array}\right.$

其中，依次以每个采样点为基点，分别于其他采样点作对比，p(x)和p(y)分别表示基点与对比点的灰度值，不取重复点对。

取不同点对判断其为1或0，共种不同点对，故二进制描述符有位1或0，生成一行维的描述符

步骤5：将利用步骤4所得的所有特征点的N个465维描述符构建成矩阵D，生成了一个N×465的描述符矩阵；

步骤6：对步骤5所得描述符矩阵进行降维处理，取前256列，形成N个特征点的最终描述符；

步骤A:计算描述符矩阵D的每一列的均值R_j；

步骤B:计算每一列均值R_j与0.5的差的绝对值S_j＝|R_j-0.5|；

步骤C:按S_j从小到大的顺序，对描述符矩阵D的各列进行排序；

步骤D:选取前256列作为每帧图像的最终的描述符矩阵。

步骤7：分别计算通过步骤6所得两帧图像最终描述符的每一个汉明距离，因此来进行两帧图像的匹配，取好的匹配点对为good matches，个数记为m；

步骤7.1：取两帧需要进行匹配的图像，将两帧图像的特征点分别记为1，2，…，N和1′，2′，…，M′；

步骤7.2：将两帧图像分别根据步骤6算出各自的描述符；

步骤7.3：分别对其中一帧图像第1个特征点描述符与另一帧图像所有特征点1′，2′，…，M′的描述符进行汉明距离的计算；

步骤7.4：重复上一步，直至计算出其中一帧图像所有N个特征点与另一帧图像所有M′个描述符的汉明距离；

步骤7.5：匹配点对汉明距离d中的最小距离记为dist_min＝3，最大距离记为dist_max＝134，利用公式dist<s*dist_max

选取满足公式的匹配点对为好的匹配点对，记为good matches，其中dist为当前描述子的计算距离，s为倍数阈值，这里取s＝0.3，则dist小于40.2时，取为good matches，个数记为m＝10。

步骤8：利用步骤7的good matches中第i对点对的当前帧图像点坐标P_2,i(x_2,i，y_2,i)减参考帧图像点坐标P_1,i(x_1,i，y_1,i)，得到位移偏差量Δx_i，Δy_i(单位均为像素数)；

a)将步骤7的good matches中的点对第1对点对的当前帧图像点坐标P_2,0(x_2,0，y_2,0)减参考帧图像点坐标P_1,0(x_1,0，y_1,0)，得到位移偏差量Δx₀，Δy₀(单位均为像素数)；

b)对10个good matches点对依次重复上一步，求得10个水平位移偏差量Δx_i，10个竖直位移偏差量Δy_i；

步骤9：将所有good matches的Δx和Δy求和再平均得和则与即为当前帧对于参考帧的位移偏差补偿量；

a)将步骤7所得10个good matches，分别通过步骤8得到的Δx₀，Δx₁，…，Δx₉，与Δy₀，Δy₁，…，Δy₉；

b)利用公式：

$\stackrel{\&OverBar;}{\mathrm{\&Delta;}x}=\frac{{\mathrm{\&Delta;x}}_0+{\mathrm{\&Delta;x}}_1+...+{\mathrm{\&Delta;x}}_9}{10}=6.75$

$\stackrel{\&OverBar;}{\mathrm{\&Delta;}y}=\frac{{\mathrm{\&Delta;y}}_0+{\mathrm{\&Delta;y}}_1+...+{\mathrm{\&Delta;y}}_9}{10}=-1.05$

求出水平位移偏差的补偿量为竖直位移偏差的补偿量为如图4和图5所示。

应用本发明所述的方法可以准确快速的找出序列图像中存在的位移偏差。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种改进的药液异物图像局部特征匹配方法，其特征在于，包括以下步骤：

步骤1：连续采集P张生产线上同一药瓶的序列图像；

步骤2：利用AGAST算法检测序列图像每帧图像中的特征点；

步骤3：利用采样模板在步骤2所得的每个特征点周围确定n个采样点；

步骤4：利用每个特征点对应的采样点中任意两个采样点的灰度值进行比较，按设定的比较准则定义采样点对对应的二进制描述符值，获得每个特征点的维的描述符；

步骤5：以第一帧为参考帧，分别计算当前帧与参考帧两帧图像中任意两个特征点的描述符之间的汉明距离，以符合设定汉明距离阈值范围的汉明距离对应的特征点对作为两帧图像的匹配点对；

步骤6：利用每对匹配点对在对应图像中的像素坐标差值的平均值作为当前帧图像与参考帧图像之间的位移偏差；

步骤7：利用步骤6得到的位移偏差对当前帧帧图像进行位移偏差补偿，从而完成序列图像的匹配。

2.根据权利要求1所述的方法，其特征在于，所述利用AGAST算法检测序列图像每帧图像中的特征点的具体过程如下：

步骤2.1：依次以图像中每个像素作为圆心P，半径为3像素，构建圆区域；

步骤2.2：在每个圆周上连续选取16个像素x，像素x的灰度值记作I_P→x；

步骤2.3：一个像素x关于它的核P的状态表示为S_P→x，被分配如下：

其中，S′_P→x表示像素x的前一个状态，I表示像素的灰度值，u表示状态仍然未知，t为设定的灰度阈值；

一个像素x关于它的核P的状态分别有“更暗”记作d、“相似”记作s、“更亮”记作b、“没有更亮”记作和“没有更暗”记作五种状态；

步骤2.4：统计图像中所有像素点的不同状态概率，从而获得图像中像素点五种状态的概率分布，采用逆向归纳法对概率分布构建最优二叉决策树，选出候选特征点；

步骤2.5：利用非极大值抑制的方法从候选特征点中选取最终特征点，用于步骤3的处理。

3.根据权利要求2所述的方法，其特征在于，所述采样模板是指以步骤2所得的特征点为圆心，分别以δ，2δ，3δ，4δ，5δ为半径做同心圆，再以过圆心的水平轴为基线；分别顺时针，逆时针旋转60度，生成3根轴线；以轴线与同心圆形成的交点所在同心圆组中的位置形成的采样模板；

所述采样点是指将采样模板的圆心与特征点重合放置，特征点周围的像素与采样模板重合的点，且包含特征点本身。

4.根据权利要求1-3任一项所述的方法，其特征在于，利用每帧图像中所有特征点的维描述符构建每帧图像的描述符矩阵D，对每帧图像的描述符矩阵D进行降维处理，取描述符矩阵D的前256列，确定每帧图像中每个特征点的描述符为1×256维。

5.根据权利要求4所述的方法，其特征在于，所述降维处理的具体步骤如下：

步骤A:计算描述符矩阵D的每一列的均值R_j；

步骤B:计算每一列均值R_j与0.5的差的绝对值S_j＝|R_j-0.5|；

步骤C:按S_j从小到大的顺序，对描述符矩阵D的各列进行排序；

步骤D:选取前256列作为每帧图像的最终的描述符矩阵。

6.根据权利要求5所述的方法，其特征在于，所述利用每个特征点对应的采样点中任意两个采样点的灰度值进行比较，按设定的比较准则定义采样点对对应的二进制描述符值是指，根据以下公式确定采样点对的二进制描述符值τ(p；x,y)：

$\mathrm{\&tau;}(p;x,y)=\left\{\begin{array}{c}0,p\left(x\right)<p\left(y\right)\\ 1,p\left(x\right)\&GreaterEqual;p\left(y\right)\end{array}\right.$

其中，依次以每个采样点为基点，分别与其他采样点作对比，p(x)和p(y)分别表示基点与对比点的灰度值。