CN106650580B - 基于图像处理的货架快速清点方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的货架快速清点方法。该方法首先通过SIFT特征匹配粗略定位到货架目标物体位置，再使用模板匹配精确获取货架上目标物体信息的方法，从而能够对图像中的货架同类物体进行计数。本发明与现有技术相比，不需要在物体上设置安装传感器，硬件要求低，且实时性、准确性得到保证；并且本发明不仅仅计算数量，更可以根据不同需求对不同种类的物体进行匹配计数，得到的数据更有分析利用的价值。

Description

基于图像处理的货架快速清点方法

技术领域

本发明属于物体识别技术领域，特别是一种基于图像处理的货架快速清点方法。

背景技术

SIFT特征是一种描述物体局部性特征，它通过建立尺度空间来寻找极值点，消除不稳定极值点，最终获取位置、尺度、旋转的不变量来表示物体外观上与影像的大小和旋转无关的兴趣点。因此SIFT特征点对于旋转、尺度缩放和亮度变化可以保持不变性，对于视角变化、仿射变换、噪声等也具有一定的稳定性。SIFT特征的提取过程大概可以归纳为四步：尺度空间极值检测、关键点定位、方向确定和关键点描述。

模板匹配为把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或者多幅图像在空间上对准，或者根据已知模式到另外一幅图中寻找相应模式的处理方法。在本发明中，所提的模板匹配为根据已知模式(即商标图案)在另一幅图中(摆放一定种类货物的货架正面图)寻找相应模式的一种方法。在货架上进行物体计数时，只采用模板匹配便可以完成整个流程，然而货物尺寸未知、位置未知，模板匹配的效率会极其低下。即使使用乱序匹配和粗精匹配等方式也不能达到理想的效果。

本发明通过将SIFT特征匹配和模板匹配的方法相结合，首先通过SIFT特征匹配，找到模板与目标图片的货架上物体SIFT 特征匹配点，粗略定位商标的位置，随后通过模板匹配，精确定位模板的位置。可以很大程度提升匹配效率。

发明内容

本发明的目的在于提供一种先通过SIFT特征匹配粗略定位到货架目标物体位置，再使用模板匹配精确获取货架上目标物体信息的方法，从而能够对图像中的货架同类物体进行计数。

实现本发明目的的技术解决方案为：一种基于图像处理的货架快速清点方法，步骤如下：

第一步，提取SIFT特征并匹配特征点。即通过对模板和目标图像中的货架物体进行SIFT特征提取操作获得模版和目标图像中物体的SIFT特征并进行匹配。

第二步，进行匹配点聚类。根据目标图像中匹配点的离散程度，使用K-means聚类方法将匹配点聚类。

第三步，对模板按比例进行缩放，进行模板和目标图像的匹配，以计算物体数目。通过聚类特征点大致得到模板与匹配图像中物体的对应位置，按比例对模板进行缩放，随后将模板在目标图像上的对应点进行模板匹配，若满足欧氏距离小于阈值则认为匹配成功，对物体进行计数。

本发明与现有技术相比，其显著优点：(1)不需要在物体上设置安装传感器，硬件要求低，只需要对物体集合进行照片采集即可进行计数，且实时性、准确性得到保证；(2)不仅仅计算数量，更可以根据不同需求对不同种类的物体进行匹配计数，得到的数据更有分析利用的价值；(3)目前暂无对货架类物体进行计数的专利提出。

附图说明

图1是本发明基于图像处理的货架快速清点方法的流程图。

图2是高斯差分金字塔示意图。

图3是SIFT匹配点聚类示意图。

图4是聚类后模版匹配示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

结合图1，本发明一种基于图像处理的货架快速清点方法，步骤如下：

第一步，对模版和目标图像进行SIFT特征提取，并匹配得到的特征点：

(1)对图像构造尺度空间得到高斯金字塔。首先得到对图像作高斯模糊的滤波器：

其中σ是正态分布的标准差，即尺度因子，m*m为模版大小，其中m＝(6σ+1)；(x,y)为滤波器上对应位置。构造尺度空间的方法如下：

L(x,y,σ)＝G(x,y,σ)*I(x,y)

其中*表示卷积运算，I(x,y)为滤波器进行滤波的图片。

(2)通过降采样的方法进一步获得图像的分层金字塔，得到的金字塔层数n为：

n＝log₂{min(M,N)}-t,t∈[0,log₂{min(M,N)}]

其中M,N为原图像长和宽，t为塔顶图像最小维数的对数值。

(3)构造高斯差分金字塔。高斯差分金字塔由之前得到的高斯金字塔层间相减得到，而得到之后的关键点需要与上下两组相邻像素以及本层相邻像素相比较。因此若要得到n的尺度的极值点，DoG金字塔每组需要n+3层。高斯金字塔的计算如下：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ)

(4)关键点定位及分配方向。我们最后得到的关键点由高斯差分金字塔中的极值点产生，通过组内相邻两组以及所在层附近像素值大小比较，极值点作为关键点。通过得来的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征。计算方向θ(x,y)和模值m(x,y)如下：

θ(x,y)＝tan^-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))

其中m(x,y)为梯度的模值，θ(x,y)为特征的方向。L为关键点所在的尺度空间值，其中梯度的模值中

的高斯分布，按照尺度采样的3σ原则，邻域窗口半径为

(5)关键点特征描述。最后对关键点邻域高斯图像梯度统计结果进行描述，所需计算的图像区域半径为：

其中d为分割区域数的开方，取d＝4，计算关键点邻域4*4的子区域。每个子区域计算8个方向的权重统计。

子区域像素的梯度大小w计算为：

其中(a,b)为关键点在高斯金字塔上的位置坐标，d＝4，(x′,y′)

计算如下：

其中θ为坐标轴旋转到关键点主方向的角度。最后依照像素的梯度大小在邻行、邻列和各个方向上的贡献得到权重，即4*4*8＝128维的SIFT特征。

第二步，对SIFT特征点进行K-means聚类：

(1)选定聚类数量及聚类初始聚类中心值。物体上只需匹配到两个及以上SIFT特征点，即可放缩模版进行匹配。根据所得到的SIFT特征点的数量确定聚类数量k：

k＝sn/3

其中sn为匹配得到的SIFT特征点数目。将k个聚类定义c₀,c₁,……,c_k-1，随机分配k个SIFT特征点作为初始聚类中心，定义其为μ₀,μ₁,……,μ_k-1。聚类与聚类中心相对应。

(2)将n个SIFT点(node₀,node₁,…,node_n-1)归类到离它们最近的中心点所代表的聚类中：

node_i∈c_j(i∈[0,n-1],j∈[0,k-1]),

当|node_i-μ_j|≤|node_i-μ_h|,(h∈[0,j]∪([j,k-1])),

(3)重新选定聚类中心：

其中N_i代表聚类c_i中的SIFT点数目。

(4)重复第二步，直到满足目标函数

取得最小值即终止，其中

为了满足效率，本发明认定目标函数达到既定阈值或者达到一定的迭代次数即终止，阈值为1，迭代次数上限为30。

第三步，对货架图片进行模版匹配：

如图3，首先选择第二步中得到的一个聚类中特征点最少的点集，认为点集中的点都是同一物体上。按照比例缩放模版图片，计算如下：

其中||a||为货架上同一物体上的两个特征点之间的距离，||b||为模版上对应特征点之间的距离，N₁为同一聚类中的点对个数。

将该模版图片放到聚类点作模版匹配，定义货架图片S大小为W*H：

其中，D为模版匹配距离，S^i,j为货架图片S中的子图，i和j满足1≤i≤W–m,1≤j≤H–n。S^i,j与模版图片T大小一致。若D小于给定阈值，则认为是匹配成功。若匹配成功，则认为该物体为目标货物，将其标记，如图4。计数加一，匹配结束后计得总数。

综上所述，本发明通过将图像的SIFT特征点进行聚类与模板匹配，能够快速有效识别与计数货架上同类物体。具有很好的实用性。

Claims (2)

1.一种基于图像处理的货架快速清点方法，其特征在于步骤如下：

第一步，采集一张当前超市货架图片作为目标图像，以及一张商品官方图片作为模板；对目标图像和模板进行SIFT特征提取操作，获得模板和目标图像的SIFT特征，用最近邻距离与次近邻距离相除取最小进行匹配；

第二步，根据目标图像中匹配点的离散程度，使用K-means聚类方法将匹配点聚类；

第三步，通过聚类特征点得到模板与匹配图像中物体的对应位置，按比例对模板进行缩放，随后将模板在目标图像上的对应点进行模板匹配，若满足欧氏距离小于阈值则认为匹配成功，对物体进行计数；

使用K-means聚类方法将匹配点聚类的具体步骤如下：

2.1对模版和目标图像进行SIFT特征提取，并匹配得到的特征点；

2.2对所得SIFT特征点进行K-means聚类，满足目标函数

达到既定阈值或者达到一定的迭代次数即终止，阈值为1，迭代次数上限为30，其中

node为特征点，μ为聚类中心；只使用最少点数的聚类作为基准，计算并缩放模版：

其中||a||为货架上同一物体上的两个特征点之间的距离，||b||为模版上对应特征点之间的距离，N₁为同一聚类中的点对个数；

2.3使用缩放的模版对含有SIFT特征点的货架物体图片进行匹配得到距离，若满足阈值条件则认为匹配成功，计数加一。

2.根据权利要求1所述的基于图像处理的货架快速清点方法，其特征在于：2.3中所述阈值条件为归一化欧式距离<＝0.6。

Images