CN106650580B - 基于图像处理的货架快速清点方法 - Google Patents
基于图像处理的货架快速清点方法 Download PDFInfo
- Publication number
- CN106650580B CN106650580B CN201610850907.6A CN201610850907A CN106650580B CN 106650580 B CN106650580 B CN 106650580B CN 201610850907 A CN201610850907 A CN 201610850907A CN 106650580 B CN106650580 B CN 106650580B
- Authority
- CN
- China
- Prior art keywords
- template
- matching
- points
- clustering
- goods shelf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
- G06M11/00—Counting of objects distributed at random, e.g. on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像处理的货架快速清点方法。该方法首先通过SIFT特征匹配粗略定位到货架目标物体位置,再使用模板匹配精确获取货架上目标物体信息的方法,从而能够对图像中的货架同类物体进行计数。本发明与现有技术相比,不需要在物体上设置安装传感器,硬件要求低,且实时性、准确性得到保证;并且本发明不仅仅计算数量,更可以根据不同需求对不同种类的物体进行匹配计数,得到的数据更有分析利用的价值。
Description
技术领域
本发明属于物体识别技术领域,特别是一种基于图像处理的货架快速清点方法。
背景技术
SIFT特征是一种描述物体局部性特征,它通过建立尺度空间来寻找极值点,消除不稳定极值点,最终获取位置、尺度、旋转的不变量来表示物体外观上与影像的大小和旋转无关的兴趣点。因此SIFT特征点对于旋转、尺度缩放和亮度变化可以保持不变性,对于视角变化、仿射变换、噪声等也具有一定的稳定性。SIFT特征的提取过程大概可以归纳为四步:尺度空间极值检测、关键点定位、方向确定和关键点描述。
模板匹配为把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或者多幅图像在空间上对准,或者根据已知模式到另外一幅图中寻找相应模式的处理方法。在本发明中,所提的模板匹配为根据已知模式(即商标图案)在另一幅图中(摆放一定种类货物的货架正面图)寻找相应模式的一种方法。在货架上进行物体计数时,只采用模板匹配便可以完成整个流程,然而货物尺寸未知、位置未知,模板匹配的效率会极其低下。即使使用乱序匹配和粗精匹配等方式也不能达到理想的效果。
本发明通过将SIFT特征匹配和模板匹配的方法相结合,首先通过SIFT特征匹配,找到模板与目标图片的货架上物体SIFT 特征匹配点,粗略定位商标的位置,随后通过模板匹配,精确定位模板的位置。可以很大程度提升匹配效率。
发明内容
本发明的目的在于提供一种先通过SIFT特征匹配粗略定位到货架目标物体位置,再使用模板匹配精确获取货架上目标物体信息的方法,从而能够对图像中的货架同类物体进行计数。
实现本发明目的的技术解决方案为:一种基于图像处理的货架快速清点方法,步骤如下:
第一步,提取SIFT特征并匹配特征点。即通过对模板和目标图像中的货架物体进行SIFT特征提取操作获得模版和目标图像中物体的SIFT特征并进行匹配。
第二步,进行匹配点聚类。根据目标图像中匹配点的离散程度,使用K-means聚类方法将匹配点聚类。
第三步,对模板按比例进行缩放,进行模板和目标图像的匹配,以计算物体数目。通过聚类特征点大致得到模板与匹配图像中物体的对应位置,按比例对模板进行缩放,随后将模板在目标图像上的对应点进行模板匹配,若满足欧氏距离小于阈值则认为匹配成功,对物体进行计数。
本发明与现有技术相比,其显著优点:(1)不需要在物体上设置安装传感器,硬件要求低,只需要对物体集合进行照片采集即可进行计数,且实时性、准确性得到保证;(2)不仅仅计算数量,更可以根据不同需求对不同种类的物体进行匹配计数,得到的数据更有分析利用的价值;(3)目前暂无对货架类物体进行计数的专利提出。
附图说明
图1是本发明基于图像处理的货架快速清点方法的流程图。
图2是高斯差分金字塔示意图。
图3是SIFT匹配点聚类示意图。
图4是聚类后模版匹配示意图。
具体实施方式
下面结合附图对本发明作进一步详细描述。
结合图1,本发明一种基于图像处理的货架快速清点方法,步骤如下:
第一步,对模版和目标图像进行SIFT特征提取,并匹配得到的特征点:
(1)对图像构造尺度空间得到高斯金字塔。首先得到对图像作高斯模糊的滤波器:
其中σ是正态分布的标准差,即尺度因子,m*m为模版大小,其中m=(6σ+1);(x,y)为滤波器上对应位置。构造尺度空间的方法如下:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中*表示卷积运算,I(x,y)为滤波器进行滤波的图片。
(2)通过降采样的方法进一步获得图像的分层金字塔,得到的金字塔层数n为:
n=log2{min(M,N)}-t,t∈[0,log2{min(M,N)}]
其中M,N为原图像长和宽,t为塔顶图像最小维数的对数值。
(3)构造高斯差分金字塔。高斯差分金字塔由之前得到的高斯金字塔层间相减得到,而得到之后的关键点需要与上下两组相邻像素以及本层相邻像素相比较。因此若要得到n的尺度的极值点,DoG金字塔每组需要n+3层。高斯金字塔的计算如下:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)
(4)关键点定位及分配方向。我们最后得到的关键点由高斯差分金字塔中的极值点产生,通过组内相邻两组以及所在层附近像素值大小比较,极值点作为关键点。通过得来的关键点,采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征。计算方向θ(x,y)和模值m(x,y)如下:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
(5)关键点特征描述。最后对关键点邻域高斯图像梯度统计结果进行描述,所需计算的图像区域半径为:
其中d为分割区域数的开方,取d=4,计算关键点邻域4*4的子区域。每个子区域计算8个方向的权重统计。
子区域像素的梯度大小w计算为:
其中(a,b)为关键点在高斯金字塔上的位置坐标,d=4,(x′,y′)
其中θ为坐标轴旋转到关键点主方向的角度。最后依照像素的梯度大小在邻行、邻列和各个方向上的贡献得到权重,即4*4*8=128维的SIFT特征。
第二步,对SIFT特征点进行K-means聚类:
(1)选定聚类数量及聚类初始聚类中心值。物体上只需匹配到两个及以上SIFT特征点,即可放缩模版进行匹配。根据所得到的SIFT特征点的数量确定聚类数量k:
k=sn/3
其中sn为匹配得到的SIFT特征点数目。将k个聚类定义c0,c1,……,ck-1,随机分配k个SIFT特征点作为初始聚类中心,定义其为μ0,μ1,……,μk-1。聚类与聚类中心相对应。
(2)将n个SIFT点(node0,node1,…,noden-1)归类到离它们最近的中心点所代表的聚类中:
nodei∈cj(i∈[0,n-1],j∈[0,k-1]),
当|nodei-μj|≤|nodei-μh|,(h∈[0,j]∪([j,k-1])),
(3)重新选定聚类中心:
其中Ni代表聚类ci中的SIFT点数目。
第三步,对货架图片进行模版匹配:
如图3,首先选择第二步中得到的一个聚类中特征点最少的点集,认为点集中的点都是同一物体上。按照比例缩放模版图片,计算如下:
其中||a||为货架上同一物体上的两个特征点之间的距离,||b||为模版上对应特征点之间的距离,N1为同一聚类中的点对个数。
将该模版图片放到聚类点作模版匹配,定义货架图片S大小为W*H:
其中,D为模版匹配距离,Si,j为货架图片S中的子图,i和j满足1≤i≤W–m,1≤j≤H–n。Si,j与模版图片T大小一致。若D小于给定阈值,则认为是匹配成功。若匹配成功,则认为该物体为目标货物,将其标记,如图4。计数加一,匹配结束后计得总数。
综上所述,本发明通过将图像的SIFT特征点进行聚类与模板匹配,能够快速有效识别与计数货架上同类物体。具有很好的实用性。
Claims (2)
1.一种基于图像处理的货架快速清点方法,其特征在于步骤如下:
第一步,采集一张当前超市货架图片作为目标图像,以及一张商品官方图片作为模板;对目标图像和模板进行SIFT特征提取操作,获得模板和目标图像的SIFT特征,用最近邻距离与次近邻距离相除取最小进行匹配;
第二步,根据目标图像中匹配点的离散程度,使用K-means聚类方法将匹配点聚类;
第三步,通过聚类特征点得到模板与匹配图像中物体的对应位置,按比例对模板进行缩放,随后将模板在目标图像上的对应点进行模板匹配,若满足欧氏距离小于阈值则认为匹配成功,对物体进行计数;
使用K-means聚类方法将匹配点聚类的具体步骤如下:
2.1对模版和目标图像进行SIFT特征提取,并匹配得到的特征点;
2.2对所得SIFT特征点进行K-means聚类,满足目标函数达到既定阈值或者达到一定的迭代次数即终止,阈值为1,迭代次数上限为30,其中node为特征点,μ为聚类中心;只使用最少点数的聚类作为基准,计算并缩放模版:
其中||a||为货架上同一物体上的两个特征点之间的距离,||b||为模版上对应特征点之间的距离,N1为同一聚类中的点对个数;
2.3使用缩放的模版对含有SIFT特征点的货架物体图片进行匹配得到距离,若满足阈值条件则认为匹配成功,计数加一。
2.根据权利要求1所述的基于图像处理的货架快速清点方法,其特征在于:2.3中所述阈值条件为归一化欧式距离<=0.6。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610850907.6A CN106650580B (zh) | 2016-09-23 | 2016-09-23 | 基于图像处理的货架快速清点方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610850907.6A CN106650580B (zh) | 2016-09-23 | 2016-09-23 | 基于图像处理的货架快速清点方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106650580A CN106650580A (zh) | 2017-05-10 |
CN106650580B true CN106650580B (zh) | 2020-04-17 |
Family
ID=58853770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610850907.6A Active CN106650580B (zh) | 2016-09-23 | 2016-09-23 | 基于图像处理的货架快速清点方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106650580B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107463945B (zh) * | 2017-07-12 | 2020-07-10 | 浙江大学 | 一种基于深度匹配网络的商品种类识别方法 |
CN107463946B (zh) * | 2017-07-12 | 2020-06-23 | 浙江大学 | 一种结合模板匹配与深度学习的商品种类检测方法 |
CN109145929A (zh) * | 2017-10-09 | 2019-01-04 | 苏州高科中维软件科技有限公司 | 一种基于sift尺度空间特征信息提取方法 |
CN108052949B (zh) * | 2017-12-08 | 2021-08-27 | 广东美的智能机器人有限公司 | 物品类别统计方法、系统、计算机设备和可读存储介质 |
CN109064705A (zh) * | 2018-07-10 | 2018-12-21 | 上海小蚁科技有限公司 | 物品点检的预警方法及装置、存储介质、计算设备 |
CN110110441A (zh) * | 2019-05-08 | 2019-08-09 | 中铁八局集团建筑工程有限公司 | 一种基于建筑信息构件模型的实物统计分析方法 |
CN110738268A (zh) * | 2019-10-18 | 2020-01-31 | 广东华南半导体光电研究院有限公司 | 一种基于sift和ddis的智能立体仓库货物自动识别方法 |
CN112598087B (zh) * | 2021-03-04 | 2021-06-08 | 白杨智慧医疗信息科技(北京)有限公司 | 器械清点方法、装置及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559504A (zh) * | 2013-11-04 | 2014-02-05 | 北京京东尚科信息技术有限公司 | 图像目标类别识别方法及装置 |
CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索系统 |
CN104036524A (zh) * | 2014-06-18 | 2014-09-10 | 哈尔滨工程大学 | 一种改进sift算法的快速目标跟踪方法 |
-
2016
- 2016-09-23 CN CN201610850907.6A patent/CN106650580B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559504A (zh) * | 2013-11-04 | 2014-02-05 | 北京京东尚科信息技术有限公司 | 图像目标类别识别方法及装置 |
CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索系统 |
CN104036524A (zh) * | 2014-06-18 | 2014-09-10 | 哈尔滨工程大学 | 一种改进sift算法的快速目标跟踪方法 |
Non-Patent Citations (1)
Title |
---|
Image Forgery Detection based on SIFT and k-means++;Elif Baykal等;《2016 39th International Conference on Telecommunications and Signal Processing (TSP)》;20160629;第474-477页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106650580A (zh) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650580B (zh) | 基于图像处理的货架快速清点方法 | |
Zamir et al. | Accurate image localization based on google maps street view | |
US9767604B2 (en) | Image analysis method by analyzing point cloud using hierarchical search tree | |
Jiao et al. | A configurable method for multi-style license plate recognition | |
EP2534612B1 (en) | Efficient scale-space extraction and description of interest points | |
CN106682700B (zh) | 基于关键点描述算子的分块快速匹配方法 | |
CN102509118B (zh) | 一种监控视频检索方法 | |
TWI590197B (zh) | 影像物體特徵描述方法及影像處理裝置 | |
CN105550381A (zh) | 一种基于改进sift特征的高效图像检索方法 | |
Liu et al. | Virtual line descriptor and semi-local matching method for reliable feature correspondence | |
CN103077512A (zh) | 基于主成分析的数字图像的特征提取与匹配方法及装置 | |
CN103353941B (zh) | 基于视角分类的自然标志物注册方法 | |
Li et al. | Image Matching Algorithm based on Feature-point and DAISY Descriptor. | |
Kalliatakis et al. | Image based monument recognition using graph based visual saliency | |
CN116415210A (zh) | 图像侵权检测方法、装置及存储介质 | |
CN116681740A (zh) | 一种基于多尺度Harris角点检测的图像配准方法 | |
Gawande et al. | Scale invariant mask r-cnn for pedestrian detection | |
KR20160148806A (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
KR101741761B1 (ko) | 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법 | |
Zaharieva et al. | On Ancient Coin Classification. | |
CN104156696B (zh) | 基于双方向图的快速局部不变特征描述子的构造方法 | |
Wu et al. | Tree crown detection and delineation in high resolution RS image: a texture approach discussion | |
CN113343955B (zh) | 一种基于深度金字塔的人脸识别智能尾箱应用方法 | |
Pan et al. | A new license plate extraction framework based on fast mean shift | |
Jiao et al. | A hybrid method for multi-sensor remote sensing image registration based on salience region |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |