CN107463946B - 一种结合模板匹配与深度学习的商品种类检测方法 - Google Patents
一种结合模板匹配与深度学习的商品种类检测方法 Download PDFInfo
- Publication number
- CN107463946B CN107463946B CN201710567509.8A CN201710567509A CN107463946B CN 107463946 B CN107463946 B CN 107463946B CN 201710567509 A CN201710567509 A CN 201710567509A CN 107463946 B CN107463946 B CN 107463946B
- Authority
- CN
- China
- Prior art keywords
- image
- shelf
- feature point
- commodity
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Abstract
本发明公开了一种结合模板匹配与深度学习的商品种类检测方法。该方法总体上分为三个过程:1)输入货架图像,使用待检测物体事先采集的模板图像与货架图像进行特征点匹配,迭代得到所有能与模板图像匹配上的特征点集;2)利用模板图像对匹配上的各个特征点集区域分别进行对齐、裁剪,得到单个商品图像;3)对单个商品图像,使用深度学习的分类网络对其进行分类,得到具体类别。本发明方法利用手机对超商货架拍照进行自动物品检测,克服了人工理货员对商品计数时耗时长、人力消耗大的困难,可用于后续自动化计数、商品展示面积统计等具体应用。
Description
技术领域
本发明涉及一种物体检测方法,尤其是涉及一种结合模板匹配与深度学习的商品种类检测方法。
背景技术
在日常生活中,超市、商店都会配备货架理货员,理货员除了整理货架商品之外,还需要不时地统计货架上商品的个数、某种商品在整个货架上的展示面积,提供给超市、供货商,作为调整货架商品摆放、评估商品销售速度、调整营销策略等用途时的重要参考数据。
目前,理货员一般都是对货架上的商品进行人工统计,人工统计一方面速度比较慢,超商需要安排更多的人力来做统计,另一方面可能会存在统计错误,在计数时数量数错或是将相似的商品误计数为同一类等。
针对这样的情况,自动化的货架图像物体检测方法能够代替传统的人工统计。物体检测是指在一幅图像中,找到所有属于待检测物体类别的物体,得到其位置、大小(用包围框描述),并得到其具体类别。对货架图像进行自动化的物体检测能够快速得到感兴趣商品类的数量、货架展示面积占比等统计结果,上传数据、生成报告,节省了人力成本、有一定的准确率保障,并且方便管理人员查看。
目前效果比较好的基于深度学习的物体检测方法主要有Faster R-CNN、SSD等,但在货架物体检测问题中,由于一张完整的货架照片中包含了许多层、许多物体,每个物体的实际所占像素点面积比较小,直接对整张图像使用这些物体检测方法的效果并不理想。
发明内容
针对超商货架上商品数量统计的问题,由货架理货员人工统计费时费力,为了节省人力成本并保证一定的正确率,本发明提供了一种结合模板匹配与深度学习的商品种类检测方法。
本发明的技术方案是包括以下步骤:
1)对每一种待检测商品,采集具有同一商标图案的不同商品正面照片作为模板图像,并在每个图像中标记出商标区域和有效图案区域,采集货架正面照片作为货架图像;
待检测商品是具有相同的商标图案的商品,不同商标的商品需要分别单独检测。
所述的模板图像需要将商标和主要设计图案显露出来;商标区域是商标所在的图像区域,有效图案区域是商品厂商设计的具有辨识度图案所在的图像区域。
商标区域和有效图案区域通过抠图方式制作成掩码(mask)。
2)将每一模板图像与货架图像进行特征点匹配,得到货架图像中所有能与模板图像匹配上的特征点集;
3)对于步骤2)获得的各个特征点集,根据特征点集对货架图像进行对齐变换和裁剪处理生成单个商品图像;
4)对步骤3)中生成的各个商品图像,使用深度学习的分类网络进行检测分类,获得单个商品图像中商品种类的检测结果;
5)根据货架图像的各商品图像进行处理,构建货架图像中的商品区域,将位于同一商品区域的商品图像合并为一组,同一商品区域对应同一商品对象;
6)综合同一商品区域的各个商品图像的分类结果,获得货架图像该商品区域所对应商品种类的检测结果。该区域是指同一组特征点集所在的货架图像中的同一区域。
本发明的步骤2)综合利用了特征点之间的相似性与特征点组成的商品之间的几何相似性,将每一种待检测的商品的模板图像与货架图像进行特征点匹配,迭代处理得到所有能与模板图像匹配上的特征点集。
所述步骤2)具体为:
2.1)采集模板图像商标区域内的SIFT特征点与货架图像的SIFT特征点,SIFT特征点具有两个向量,其中一个向量由位置、尺度、方向构成,另一向量由128维描述子构成,计算模板图像商标区域内的任一SIFT特征点与货架图像的任一SIFT特征点之间的两两相似度;
每个SIFT特征点包含以下信息:特征点位置(x坐标,y坐标)、尺度s、方向θ(θ∈(-π,π])、一个128维的特征描述向量。
采用以下方式计算两个SIFT特征点之间的相似度:每个SIFT特征点的128维标准化描述向量记为v(标准化向量即向量的二范数为1),货架图像上特征点总数记为M,模板图像商标区域内特征点总数记为N,则货架图像上的SIFT特征点i与模板图像商标区域内的SIFT特征点j之间的相似度度量A计算如下:
其中,vi表示货架图像上的某SIFT特征点i的标准化描述向量,vj表示模板图像商标区域内的某SIFT特征点j的标准化描述向量,vi·vj表示两向量点积,avg表示求平均值,std表示求标准差,M表示货架图像上特征点总数,N表示模板图像商标区域内特征点总数,avg{vp·vq|p=1,2,…M;q=1,2,…N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的平均值,std{vp·vq|p=1,2,…M;q=1,2,…N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的标准差;
2.2)根据相似度从大到小依次将SIFT特征点对加入到针对两图像之间新建的候选匹配特征点对列表L1中,候选匹配特征点对列表L1中的每一行均为一对相似度大的特征点,列表L1共两列,第一列为货架图像中的特征点,第二列为模板图像中的特征点,控制列表长度不超过阈值,并使得每个SIFT特征点不重复出现;
2.3)对候选匹配特征点对进行处理,将位于货架图像同一商品区域中的SIFT特征点归于同一特征点集,一商品区域对应了一近似商品对象,从而获得货架图像内与模板图像商标区域具有高几何相似度的近似商品对象。
具体实施中是通过随机初始化、增减特征点对的手段使得货架图像与模板图像商标区域内的特征点集合之间几何相似度增大的方式进行处理。
所述步骤2.3)具体为:
2.3.1)创建用于分辨货架图像与模板图像商标区域内的筛选后匹配特征点对列表L2,L2创建时为空,随机选择候选匹配特征点对列表L1中的任意两行的两对特征点加入到筛选后匹配特征点对列表L2中,作为初始的筛选后匹配特征点对列表L2,形成L2的随机初始化,筛选后匹配特征点对列表L2同样共2列,第一列为货架图像中的特征点,第二列为模板图像中的特征点;
2.3.2)为了综合考虑匹配上的货架图片中的特征点集合与模板图像商标区域内的特征点集合之间的几何相似度,定义L2第一列特征点集合与第二列特征点集合之间的几何相似度计算流程如下:
以筛选后匹配特征点对列表L2中的两对匹配特征点(即L2中的两行)共四个点为最小计算单元,四个特征点分别记为mi、mj、ni、nj,其中mi与mj是货架图像中的点,ni与nj是模板图像中的点,且mi与ni匹配,mj与nj匹配;每个特征点各自有位置(x坐标,y坐标)、尺度s、方向θ参数。
采用以下方式计算四个特征点之间的几何相似度:
第一步,计算:
第二步,计算
θ0=θn-θm (3)
其中,θ0表示与之间的角度,分别表示SIFT特征点ni、nj、mi、mj的方向参数,abs表示取绝对值,算得的Δθ表示货架图像中的点mi、mj构成的图形与模板图像中的点ni、nj构成的图形在角度上的差距;θm表示向量与x轴夹角,θm∈(-π,π],θn表示向量与x轴夹角,θn∈(-π,π];
第三步,计算mi、mj、ni、nj这四个点之间的几何相似度
其中,σθ和σs分别表示控制对两个特征点集之间的在尺度和方向上的容忍度,σθ,σs均是可设置的参数,具体实施可取0.2,Δθ与Δs分别由式(4)和(2)计算得到,exp表示以自然常数e为底的指数函数;
第四步,利用上述三步所得g(mi,mj,ni,nj),采用以下公式计算筛选后匹配特征点对列表L2第一列特征点集合与第二列特征点集合之间的几何相似度G(L2);筛选后匹配特征点对列表L2中所有匹配特征点对数(即行数)记为N,mi、mj分别为L2第一列(即货架图像上特征点)第i行、第j行的特征点,ni、nj分别为L2第二列(即模板图像商品区域内特征点)第i行、第j行的特征点:
由此,得到L2第一列特征点集合与第二列特征点集合之间的几何相似度;
2.3.3)在筛选后匹配特征点对列表L2随机初始化之后,考虑如下两种处理方式:
①在L1剩下的特征点对(即L1减L2)中,找出增加到L2中能够使得新的L2’所重新计算得到的几何相似度G(L2’)最大的一对特征点,并且G(L2’)大于原来的G(L2);
②当L2包含的特征点对数大于2时,在L2已有的特征点对中,找出从L2中移除后使得新的L2’所重新计算得到的几何相似度G(L2’)最大的一对特征点,且G(L2’)大于原来的G(L2);
若①、②均能够找到,则随机选择一种方式处理,增加或删除对应的一对特征点对,更新筛选后匹配特征点对列表L2,并进行下一步骤;
若①、②只有一种能够找到,则选择能够找到的那一种方式处理,增加或删除对应的一对特征点对,更新筛选后匹配特征点对列表L2,并进行下一步骤;
若①、②都不可选择,则直接结束循环,不进行下一步骤,此时的L2为货架图像与模板图像商标区域匹配上的特征点列表的一种情况;
2.3.4)然后重复步骤2.3.3)直到完成对筛选后匹配特征点对列表L2的迭代处理;
2.3.5)迭代处理后,若筛选后匹配特征点对列表L2内的特征点对数大于对数阈值,则保留当前迭代处理后的筛选后匹配特征点对列表L2作为结果,并将其中的货架图像上特征点从货架图像上去除,再更新L1,再重新随机初始化L2重复步骤2.3.1)~2.3.4)进行下一轮匹配(选择操作①、②的循环),如此迭代直至没有特征点对数大于对数阈值的L2匹配结果。
每一轮保存下的L2的第一列都是货架图像上能够与模板图像商标区域内特征点匹配上的特征点集,认为货架图像上的这些特征点集所在位置都存在着一个与模板图像品牌相同的商品。
如此保留的匹配点集Ω作为特征点集,认为每个匹配上的特征点集所在商品的商标与模板图像中商品的商标相同,每个特征点集所在的商品与模板图像中的商品相近,可能是同一种类的商品,需进行下一步判别。
所述步骤3)具体为:
3.1)根据货架图像与模板图像商标区域的筛选后匹配特征点对列表,求解变换矩阵,将货架图像对齐到与模板图像;
3.2)根据模板图像中的有效图案区域的位置和大小,裁剪获得对齐后的货架图像中货架图像中相同位置和大小的图像区域作为单个商品图像。
所述步骤3.1)具体为:根据货架图像与模板图像商标区域的筛选后匹配特征点对列表,求取匹配上的货架图像中特征点集的包围盒中心centershelf和模板图像商标区域中特征点集的包围盒中心centertmpl,将货架图像中特征点集的每个SIFT特征点坐标减去包围盒中心centershelf坐标,将模板图像商标区域中特征点集的每个SIFT特征点坐标减去包围盒中心centertmpl坐标,用RANSAC方法求得货架图像中的特征点集变换到模板图像商标区域中的特征点集的仿射矩阵A,然后利用仿射矩阵A将货架图像中每个像素点对齐到模板图像中的相对应位置。
后利用仿射矩阵A将货架图像对齐变换到与模板图像相对应位置具体按顺序分为三个步骤:
变换1:货架图像原左上角的像素点记为原点,将货架图像原点移动到centershelf,即所有货架图像上的像素点坐标减去centershelf;
变换2:用仿射矩阵A,对所有货架图像上的像素点进行变换,得到所有货架图像上的像素点在以centertmpl为原点的坐标系下的坐标;
变换3:将货架图像的原点移动回模板图像左上角的像素点,即所有货架图像上的像素点坐标加上centertmpl。
实际变换时利用矩阵乘法将三个变换组合成单个变换矩阵T,对货架图像每个像素完成变换,即完成与模板图像的对齐。
所述步骤4)具体为:将单张商品图像输入到已经过深度学习训练好的分类网络模型VGG-16中计算,输出分类结果。
分类网络模型是由同一种商标的不同类别商品拍摄的大量样本照片,再经过不同的裁剪、调整亮度、旋转和增加模糊处理后输入深度学习的分类网络训练后获得。具体实施可以是分类网络模型VGG-16。
所述步骤5)中具体为:
5.1)对于每个商品模板图像,利用在步骤3)中对货架图像进行对齐时用到的变换矩阵T,转变为逆矩阵T-1将模板图像的矩形有效图案区域的四个角进行变换,得到在货架图像上的坐标,求围成的四边形的包围盒,得到单个商品图像在货架图像上对应的包围盒;
5.2)根据变换得到的单个商品图像在货架图像上对应的包围盒与货架图像上其他单个商品图像对应的包围盒,采用以下公式计算每两个单个商品图像在货架图像上对应的包围盒之间的重叠大小overlap(A,B):
其中,A和B分别表示两个单个商品图像在货架图像上对应的包围盒,|A∩B|表示货架图像上同时在两个包围盒内的像素数量,|A∪B|表示货架图像上至少在其中一个包围盒内的像素数量;
若重叠大小overlap(A,B)大于重叠阈值,则认为两个单个商品图像属于货架图像中的同一商品区域,即它们包含的是货架图像中的同一个商品;否则认为两个单个商品图像不属于货架图像中的同一商品区域,即它们包含的是货架图像中的不同商品;最后将属于货架图像中的同一商品区域的所有单个商品图像合并为一组。
这是由于货架图像中的一个商品与多个模板图像经过对齐和裁剪,产生多个单个商品图像,变换回货架图像后基本会重叠在一起。
所述步骤6)根据属于同一商品区域的各个单个商品图像的分类结果,采用投票法对所有分类类别投票,以次数最多的分类类别为该商品区域对应的最终分类结果,如此处理得到整幅货架图像上每处商品区域的分类结果。
本发明输入货架图像,与待检测物体的模板图像进行特征点匹配,匹配上的区域根据匹配关系与模板图像大小进行对齐、裁剪,生成单个商品图像,利用深度学习的分类网络模型对单个商品图像分类,最后整合各个区域分类结果,同一位置的结果进行投票,得到整个货架图像的物体检测结果。
为了提高物体检测的准确率,本发明先通过特征点匹配的方法,将货架图像中与待检测物体模板图像图案相同的部分找到,并根据匹配关系与模板图像的大小,将可能是待检测物体的区域通过仿射变换与模板图像对齐,裁剪出来,再用深度学习中的分类网络进行分类,确定类别。特征点匹配使用的方法综合利用了特征点描述向量之间的相似度与两个物体特征点集之间的几何相似度。深度学习中针对图像分类问题有一些著名的网络模型,如VGG-net、深度残差网络(ResNet)等,有不错的分类效果。
本发明的有益效果是:
本发明方法可以利用手机对超商货架拍照进行自动物品检测,克服了人工理货员对商品计数时耗时长、人力消耗大的困难,可用于后续自动化计数、商品展示面积统计等具体应用。
本发明方法利用模板图像与货架图像进行特征点匹配,并根据匹配关系与模板图像有效区域的大小进行对齐、裁剪,得到单个商品图像后再用深度学习分类网络分类,最终得到货架图像上的物体检测结果,相较于直接对整幅图像应用深度学习的物体检测方法,具有更高的检出率,且需要的训练样本原始图像更少。经过测试,对324张货架图像检测潘婷3个系列与飘柔2个系列的洗发水,获得的检测准确率达到95%以上。
附图说明
图1为实施例输入的待检测商品模板图像及商标区域、图案有效区域掩码。
图2为实施例需要进行物体检测的货架图像。
图3为实施例货架图像局部与模板图像商标区域特征点通过特征向量相似度计算匹配上的特征点示意。
图4为货架图像局部与模板图像商标区域经过几何相似度约束筛选后的匹配上的特征点示意。
图5为实施例货架图像与模板图像特征点匹配结果。
图6为实施例货架图像中一个商品与一幅商品模板图像的对齐结果。
图7为实施例货架图像中一个商品与一幅商品模板图像的对齐后裁剪结果。
图8为实施例货架图像中匹配到的单个物体包围盒按照重叠大小合并后的结果。
图9为实施例货架图像最终的物体检测结果。
具体实施方式
下面结合附图和实施例对本发明方法作进一步说明。
本发明实施例如下:
1)对每一种待检测商品,准备模板图像,并人工抠图制作商标区域掩码(mask)与图案有效区域掩码(mask)。模板图像需要将商标和主要设计图案显露出来,商标区域是商标所在的图像区域,有效图案区域指包含商品正面商标、图案和文字的矩形区域,即有效图案区域包含了商标区域。图1所示从上到下为3种待检测商品(潘婷1、潘婷2、潘婷3),每一行从左到右分别是对应商品的模板图像、商标区域掩码、图案有效区域掩码。
2)输入货架图像,将货架图像的SIFT特征点与每一种待检测商品的模板图像商标区域内的SIFT特征点进行匹配,迭代得到所有能与模板图像匹配上的特征点集。
输入图2所示货架图像,首先用模板图像商标区域内的SIFT特征点与货架图像的所有SIFT特征点之间两两计算相似度,根据相似度从大到小依次将特征点对加入到两图像之间的候选匹配特征点对列表L1中,每一行为一对相似度大的特征点,共2列,第一列为货架图像中的特征点,第二列为模板图像中的特征点。
创建货架图像与模板图像商标区域内筛选后的匹配特征点对列表L2,L2创建时为空。随机选择L1中的两行,即两对特征点加入到L2中,作为L2的随机初始化。然后通过循环进行以下两种操作直到L2两列特征点之间几何相似度无法再增大,得到最终的筛选后的匹配特征点列表L2:①从L1剩下的特征点对中选择一对特征点加入L2,使得L2两列特征点集合之间的几何相似度增大②从L2中移除一对特征点,使得L2两列特征点集合之间的几何相似度增大。
由于该方法涉及随机选择,所以每次执行的过程与结果都不一定相同,以下举个简化的例子来说明该方法的流程。例如,如图3所示,为货架图像局部与模板图像潘婷1商标区域的特征点经过相似度计算、排序得到的匹配点列表L1的可视化展示,左侧为货架图像,右侧为模板图像,点a1与点a2匹配,点b1与点b2匹配,依此类推。可以看到,货架图像上的两瓶潘婷都与模板图像商标区域有匹配上的特征点。随机初始化L2阶段,随机选择了其中的两对特征点a1-a2、b1-b2加入到L2中,a1与b1分属于两瓶潘婷。接下的循环,第一轮选择将c1-c2加入到L2中使得L2两列特征点几何相似度增大,第二轮选择将a1-a2从L2中删除,因为移除a1-a2使得L2两列特征点几何相似度增大。至此,L2中包含的两对特征点b1-b2与c1-c2已经属于同一瓶潘婷。接下来的四轮循环,分别将d1-d2、f1-f2、h1-h2、i1-i2加入L2中。新一轮循环,由于没有增加或是移除一对特征点能使L2几何相似度增大的操作,因此循环结束,L2最终包含6对特征点:b1-b2、c1-c2、d1-d2、f1-f2、h1-h2、i1-i2。实际计算时特征点数目远多于该示例,实际这片局部图像与模板图像潘婷1商标区域内特征点匹配上的特征点如图4所示,可以看出特征点都在同一瓶潘婷内,效果较好,这正是由于加入了上述的几何相似度限制。
若L2内的特征点对数大于阈值,则保留匹配结果,从货架图像上去除匹配上的特征点,更新L1,再重新随机初始化L2、进行下一轮匹配(增加、移除特征点对以增大几何相似度的循环),如此迭代直至没有特征点对数大于阈值的L2匹配结果。每一轮保存下的L2的第一列都是货架图像上能够与模板图像商标区域内特征点匹配上的特征点集,认为货架图像上的这些特征点集所在位置都存在着一个与模板图像品牌相同的商品。
图5所示为货架图像与模板图像匹配上的所有特征点,每一轮匹配上的特征点集用不同的颜色表示,从上到下分别为用三种待检测商品(潘婷1、潘婷2、潘婷3)的模板图像商标区域内特征点进行匹配的结果。
3)对2)中所得货架图像与模板图像商标区域的筛选后匹配特征点对列表,用RANSAC方法分别求解每次匹配中货架图像中的特征点集变换到模板图像商标区域中的特征点集的仿射矩阵,并去除错误匹配。货架图像到模板图像的对齐按顺序分为三个步骤:
-变换1:货架图像原左上角的像素点记为原点,将货架图像原点移动到匹配上的货架图像中特征点集的包围盒中心;
-变换2:用仿射矩阵进行变换,对所有货架图像上的像素点坐标进行变换,得到在以模板图像商标区域中特征点集的包围盒中心为原点的坐标系下的坐标;
-变换3:变换后将货架图像的原点移动回模板图像左上角的像素点。
实际变换时利用矩阵乘法将三个变换组合成单个变换矩阵,对货架图像每个像素完成变换。货架图像中一个商品与待检测商品潘婷2的模板图像的对齐结果如图6所示。
再根据待检测商品的模板图像中的有效区域大小,裁剪对齐后的货架图像中相应区域内容,得到单个商品图像,如图7所示。
4)对3)中生成的单个物体图像,使用深度学习的分类网络对其进行分类。
预先离线完成分类网络模型VGG-16的训练,训练样本由待检测的商品拍摄一定数量的样本照片,再经过裁剪、调整亮度、旋转、增加模糊来扩充,每一种待检测商品为一类。对每张单个物体图像,经过训练好的分类网络模型计算,输出预测类别及分数。
5)根据货架图像的各单个商品图像进行处理,构建货架图像中的商品区域,将属于同一商品区域的单个商品图像合并为一组。对于每个商品模板图像,利用在步骤3)中对货架图像进行对齐时用到的变换矩阵的逆矩阵,将模板图像的矩形有效图案区域的四个角进行变换,得到在货架图像上的坐标,求它们围成的四边形的包围盒,得到单个商品图像在货架图像上对应的包围盒。然后计算单个商品图像在货架图像上对应的包围盒与货架图像上其他单个商品图像对应的包围盒之间的重叠,若大于阈值,则认为两个单个商品图像属于货架图像中的同一商品区域;否则认为两个单个商品图像不属于货架图像中的同一商品区域。最后将属于货架图像中的同一商品区域的所有单个商品图像合并为一组,单个商品图像按对应的包围盒重叠大小合并后的结果如图8所示,其中不同商品区域用不同颜色表示。
6)每个商品所有区域对应的单个物体图像经过步骤4)后都得到了预测分类类别与分数,用所有分类结果投票,票数最多的类别作为该区域的最终类别,最终类别下分数最高的单个物体图像对应货架图像中的包围盒为该物体在货架图像中的位置。依次处理每个商品区域,得到整幅货架图像上的所有检测结果位置与类别。图9所示即为一张货架图像上所有检测到的潘婷2产品。
本实施例经过对324张货架图像检测潘婷3个系列与飘柔2个系列的洗发水,获得的检测召回率与精度达到95%以上。
Claims (8)
1.一种结合模板匹配与深度学习的商品种类检测方法,其特征在于包含以下步骤:
1)对每一种待检测商品,采集具有同一商标图案的不同商品正面照片作为模板图像,并在每个图像中标记出商标区域和有效图案区域,采集货架正面照片作为货架图像;
2)将每一模板图像与货架图像进行特征点匹配,得到货架图像中所有能与模板图像匹配上的特征点集;
3)对于步骤2)获得的各个特征点集,根据特征点集对货架图像进行对齐变换和裁剪处理生成单个商品图像;
4)对步骤3)中生成的各个商品图像,使用深度学习的分类网络进行检测分类,获得单个商品图像中商品种类的检测结果;
5)根据货架图像的各商品图像进行处理,构建货架图像中的商品区域,将位于同一商品区域的商品图像合并为一组;
6)综合同一商品区域的各个商品图像的分类结果,获得货架图像该商品区域所对应商品种类的检测结果。
2.根据权利要求1所述的一种结合模板匹配与深度学习的商品种类检测方法,其特征在于:所述步骤2)具体为:
2.1)采集模板图像商标区域内的SIFT特征点与货架图像的SIFT特征点,计算模板图像商标区域内的任一SIFT特征点与货架图像的任一SIFT特征点之间的两两相似度;
采用以下方式计算两个SIFT特征点之间的相似度:每个SIFT特征点的128维标准化描述向量记为v,货架图像上特征点总数记为M,模板图像商标区域内特征点总数记为N,则货架图像上的SIFT特征点i与模板图像商标区域内的SIFT特征点j之间的相似度度量A计算如下:
其中,vi表示货架图像上的某SIFT特征点i的标准化描述向量,vj表示模板图像商标区域内的某SIFT特征点j的标准化描述向量,vi·vj表示两向量点积,avg表示求平均值,std表示求标准差,M表示货架图像上特征点总数,N表示模板图像商标区域内特征点总数,avg{vp·vq|p=1,2,...M;q=1,2,...N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的平均值,std{vp·vq|p=1,2,...M;q=1,2,...N}表示货架图像上的SIFT特征点与模板图像商标区域内的SIFT特征点的所有配对情况的标准化描述向量点积的标准差;
2.2)根据相似度从大到小依次将SIFT特征点对加入到候选匹配特征点对列表L1中,候选匹配特征点对列表L1中的每一行均为一对相似度大的特征点,列表L1共两列,第一列为货架图像中的特征点,第二列为模板图像中的特征点,并使得每个SIFT特征点不重复出现;
2.3)对候选匹配特征点对进行处理,将位于货架图像同一商品区域中的SIFT特征点归于同一特征点集。
3.根据权利要求2所述的一种结合模板匹配与深度学习的商品种类检测方法,其特征在于:所述步骤2.3)具体为:
2.3.1)创建用于分辨货架图像与模板图像商标区域内的筛选后匹配特征点对列表L2,随机选择候选匹配特征点对列表L1中的任意两行的两对特征点加入到筛选后匹配特征点对列表L2中,作为初始的筛选后匹配特征点对列表L2;
2.3.2)以筛选后匹配特征点对列表L2中的共四个点为最小计算单元,四个特征点分别记为mi、mj、ni、nj,其中mi与mj是货架图像中的点,ni与nj是模板图像中的点,且mi与ni匹配,mj与nj匹配;
采用以下方式计算四个特征点之间的几何相似度:
第一步,计算:
第二步,计算
θ0=θn-θm (3)
其中,θ0表示与之间的角度,分别表示SIFT特征点ni、nj、mi、mj的方向参数,abs表示取绝对值,算得的Δθ表示货架图像中的点mi、mj构成的图形与模板图像中的点ni、nj构成的图形在角度上的差距;θm表示向量与x轴夹角,θm∈(-π,π],θn表示向量与x轴夹角,θn∈(-π,π];
第三步,计算mi、mj、ni、nj这四个点之间的几何相似度
其中,σθ和σs分别表示控制对两个特征点集之间的在尺度和方向上的容忍度;exp表示以自然常数e为底的指数函数;
第四步,利用上述三步所得g(mi,mj,ni,nj),采用以下公式计算筛选后匹配特征点对列表L2第一列特征点集合与第二列特征点集合之间的几何相似度G(L2);筛选后匹配特征点对列表L2中所有匹配特征点对数记为N,mi、mj分别为L2第一列第i行、第j行的特征点,ni、nj分别为L2第二列的第i行、第j行的特征点:
由此,得到L2第一列特征点集合与第二列特征点集合之间的几何相似度;
2.3.3)在筛选后匹配特征点对列表L2随机初始化之后,考虑如下两种处理方式:
(1)在L1剩下的特征点对中,找出增加到L2中能够使得新的L2'所重新计算得到的几何相似度G(L2')最大的一对特征点,并且G(L2')大于原来的G(L2);
(2)当L2包含的特征点对数大于2时,在L2已有的特征点对中,找出从L2中移除后使得新的L2'所重新计算得到的几何相似度G(L2')最大的一对特征点,且G(L2')大于原来的G(L2);
若①、②均能够找到,则随机选择一种方式处理,增加或删除对应的一对特征点对,更新筛选后匹配特征点对列表L2,并进行下一步骤;
若①、②只有一种能够找到,则选择能够找到的那一种方式处理,增加或删除对应的一对特征点对,更新筛选后匹配特征点对列表L2,并进行下一步骤;
若①、②都不可选择,则直接结束循环,不进行下一步骤,此时的L2为货架图像与模板图像商标区域匹配上的特征点列表的一种情况;
2.3.4)然后重复步骤2.3.3)直到完成对筛选后匹配特征点对列表L2的迭代处理;
2.3.5)迭代处理后,若筛选后匹配特征点对列表L2内的特征点对数大于对数阈值,则保留当前迭代处理后的筛选后匹配特征点对列表L2作为结果,并将其中的货架图像上特征点从货架图像上去除,再更新L1,再重新随机初始化L2重复步骤2.3.1)~2.3.4)进行下一轮匹配,如此迭代直至没有特征点对数大于对数阈值的L2匹配结果。
4.根据权利要求1所述的一种结合模板匹配与深度学习的商品种类检测方法,其特征在于:所述步骤3)具体为:
3.1)根据货架图像与模板图像商标区域的筛选后匹配特征点对列表,求解变换矩阵,将货架图像对齐到与模板图像;
3.2)根据模板图像中的有效图案区域的位置和大小,裁剪获得对齐后的货架图像中货架图像中相同位置和大小的图像区域作为单个商品图像。
5.根据权利要求4所述的一种结合模板匹配与深度学习的商品种类检测方法,其特征在于:所述步骤3.1)具体为:根据货架图像与模板图像商标区域的筛选后匹配特征点对列表,求取匹配上的货架图像中特征点集的包围盒中心centershelf和模板图像商标区域中特征点集的包围盒中心centertmpl,将货架图像中特征点集的每个SIFT特征点坐标减去包围盒中心centershelf坐标,将模板图像商标区域中特征点集的每个SIFT特征点坐标减去包围盒中心centertmpl坐标,用RANSAC方法求得货架图像中的特征点集变换到模板图像商标区域中的特征点集的仿射矩阵A,然后利用仿射矩阵A将货架图像中每个像素点对齐到模板图像中的相对应位置。
6.根据权利要求1所述的一种结合模板匹配与深度学习的商品种类检测方法,其特征在于:所述步骤4)具体为:将单张商品图像输入到已经过深度学习训练好的分类网络模型VGG-16中计算,输出分类结果。
7.根据权利要求1所述的一种结合模板匹配与深度学习的商品种类检测方法,其特征在于:所述步骤5)中具体为:
5.1)对于每个商品模板图像,利用在步骤3)中对货架图像进行对齐时用到的变换矩阵T,转变为逆矩阵T-1将模板图像的矩形有效图案区域的四个角进行变换,得到在货架图像上的坐标,求围成的四边形的包围盒,得到单个商品图像在货架图像上对应的包围盒;
5.2)根据变换得到的单个商品图像在货架图像上对应的包围盒与货架图像上其他单个商品图像对应的包围盒,采用以下公式计算每两个单个商品图像在货架图像上对应的包围盒之间的重叠大小overlap(A,B):
其中,A和B分别表示两个单个商品图像在货架图像上对应的包围盒,|A∩B|表示货架图像上同时在两个包围盒内的像素数量,|A∪B|表示货架图像上至少在其中一个包围盒内的像素数量;
若重叠大小0verlap(A,B)大于重叠阈值,则认为两个单个商品图像属于货架图像中的同一商品区域,即它们包含的是货架图像中的同一个商品;否则认为两个单个商品图像不属于货架图像中的同一商品区域,即它们包含的是货架图像中的不同商品;最后将属于货架图像中的同一商品区域的所有单个商品图像合并为一组。
8.根据权利要求1所述的一种结合模板匹配与深度学习的商品种类检测方法,其特征在于:所述步骤6)根据属于同一商品区域的各个单个商品图像的分类结果,采用投票法对所有分类类别投票,以次数最多的分类类别为该商品区域对应的最终分类结果,如此处理得到整幅货架图像上每处商品区域的分类结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710567509.8A CN107463946B (zh) | 2017-07-12 | 2017-07-12 | 一种结合模板匹配与深度学习的商品种类检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710567509.8A CN107463946B (zh) | 2017-07-12 | 2017-07-12 | 一种结合模板匹配与深度学习的商品种类检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107463946A CN107463946A (zh) | 2017-12-12 |
CN107463946B true CN107463946B (zh) | 2020-06-23 |
Family
ID=60544190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710567509.8A Active CN107463946B (zh) | 2017-07-12 | 2017-07-12 | 一种结合模板匹配与深度学习的商品种类检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107463946B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108520194A (zh) * | 2017-12-18 | 2018-09-11 | 上海云拿智能科技有限公司 | 基于影像监测的货品感知系统及货品感知方法 |
CN108226395B (zh) * | 2017-12-28 | 2020-09-04 | 广东中联兴环保科技有限公司 | 工业园区大气环境突发性预警阈值确定方法及装置 |
CN108229430B (zh) * | 2018-01-30 | 2022-04-05 | 浙江大学 | 一种融合注意力图的商品分类方法 |
CN108236785B (zh) * | 2018-02-08 | 2022-11-11 | 腾讯科技(深圳)有限公司 | 一种获取对象信息的方法及装置 |
CN108596187B (zh) * | 2018-03-30 | 2023-07-04 | 青岛海尔智能技术研发有限公司 | 商品纯净度检测方法及展示柜 |
CN108513139B (zh) * | 2018-04-02 | 2020-05-29 | 腾讯科技(深圳)有限公司 | 视频直播中的虚拟对象识别方法、装置、存储介质和设备 |
CN108805823B (zh) * | 2018-04-12 | 2021-03-12 | 上海扩博智能技术有限公司 | 商品图像矫正方法、系统、设备及存储介质 |
CN108873904B (zh) * | 2018-07-04 | 2021-01-22 | 北京踏歌智行科技有限公司 | 矿用车辆无人驾驶停靠方法、设备及可读存储介质 |
TWI726229B (zh) * | 2018-08-13 | 2021-05-01 | 國立陽明交通大學 | 基於深度學習及電腦視覺技術之垃圾分類系統及方法 |
CN109472769A (zh) * | 2018-09-26 | 2019-03-15 | 成都数之联科技有限公司 | 一种不良图像缺陷检测方法和系统 |
CN109522933A (zh) * | 2018-10-19 | 2019-03-26 | 北京陌上花科技有限公司 | 用于货架的商品检测方法及装置 |
CN109784172A (zh) * | 2018-12-14 | 2019-05-21 | 上海扩博智能技术有限公司 | 商场中地堆商品占地面积估算方法、系统、设备及介质 |
CN109934184A (zh) * | 2019-03-19 | 2019-06-25 | 网易(杭州)网络有限公司 | 手势识别方法及装置、存储介质、处理器 |
CN110059746A (zh) * | 2019-04-18 | 2019-07-26 | 达闼科技(北京)有限公司 | 一种创建目标检测模型的方法、电子设备及存储介质 |
CN110110652B (zh) * | 2019-05-05 | 2021-10-22 | 达闼科技(北京)有限公司 | 一种目标检测方法、电子设备及存储介质 |
WO2021092883A1 (zh) * | 2019-11-15 | 2021-05-20 | 深圳市微蓝智能科技有限公司 | 物品管理方法、终端装置和物品管理设备及存储介质 |
CN110942034A (zh) * | 2019-11-28 | 2020-03-31 | 中国科学院自动化研究所 | 用于检测多类型深度网络生成图像的方法、系统、装置 |
CN112380973B (zh) * | 2020-11-12 | 2023-06-23 | 深兰科技(上海)有限公司 | 交通信号灯的识别方法和系统 |
CN113222705B (zh) * | 2021-05-21 | 2023-05-30 | 支付宝(杭州)信息技术有限公司 | 一种商品陈列优化方法、装置以及设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103745188A (zh) * | 2014-01-23 | 2014-04-23 | 惠州Tcl移动通信有限公司 | 通过图像识别提醒过期商品的方法和电子终端 |
WO2015052893A1 (ja) * | 2013-10-11 | 2015-04-16 | Dic株式会社 | Atr素子、液浸プローブ、及び、分光光度計 |
CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
WO2016107481A1 (zh) * | 2014-12-30 | 2016-07-07 | 同方威视技术股份有限公司 | 检查方法和系统 |
CN106570510A (zh) * | 2016-11-07 | 2017-04-19 | 南京航空航天大学 | 一种超市商品识别方法 |
CN106650580A (zh) * | 2016-09-23 | 2017-05-10 | 南京理工大学 | 基于图像处理的货架快速清点方法 |
CN106846122A (zh) * | 2017-02-20 | 2017-06-13 | 北京京东尚科信息技术有限公司 | 商品数据处理方法和装置 |
-
2017
- 2017-07-12 CN CN201710567509.8A patent/CN107463946B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015052893A1 (ja) * | 2013-10-11 | 2015-04-16 | Dic株式会社 | Atr素子、液浸プローブ、及び、分光光度計 |
CN103745188A (zh) * | 2014-01-23 | 2014-04-23 | 惠州Tcl移动通信有限公司 | 通过图像识别提醒过期商品的方法和电子终端 |
WO2016107481A1 (zh) * | 2014-12-30 | 2016-07-07 | 同方威视技术股份有限公司 | 检查方法和系统 |
CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
CN106650580A (zh) * | 2016-09-23 | 2017-05-10 | 南京理工大学 | 基于图像处理的货架快速清点方法 |
CN106570510A (zh) * | 2016-11-07 | 2017-04-19 | 南京航空航天大学 | 一种超市商品识别方法 |
CN106846122A (zh) * | 2017-02-20 | 2017-06-13 | 北京京东尚科信息技术有限公司 | 商品数据处理方法和装置 |
Non-Patent Citations (3)
Title |
---|
Multi-modal retrieval of trademark images using global similarity;S.Ravela等;《University of Massachusetts Amherst》;19991231;第1-17页 * |
基于图像处理旳超市商品识别方法的研究;郝腾;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150715;第I138-1044页 * |
基于深度神经网络的汽车车型识别;王茜等;《现代计算机》;20151231;第61-64页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107463946A (zh) | 2017-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107463946B (zh) | 一种结合模板匹配与深度学习的商品种类检测方法 | |
CN107463945B (zh) | 一种基于深度匹配网络的商品种类识别方法 | |
CN108549870B (zh) | 一种对物品陈列进行鉴别的方法及装置 | |
Hodaň et al. | On evaluation of 6D object pose estimation | |
WO2019165892A1 (zh) | 自动售货方法、装置和计算机可读存储介质 | |
Tang et al. | A textured object recognition pipeline for color and depth image data | |
Marder et al. | Using image analytics to monitor retail store shelves | |
CN108345912A (zh) | 一种基于rgbd信息与深度学习的商品快速结算系统 | |
Tonioni et al. | Product recognition in store shelves as a sub-graph isomorphism problem | |
US20170124424A1 (en) | Apparatus, method, and program for managing articles | |
JP2019046484A (ja) | 画像認識システム | |
JP2019045909A (ja) | 画像認識システム | |
CA3162655A1 (en) | Image processing based methods and apparatus for planogram compliance | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
CN111428743B (zh) | 商品识别方法、商品处理方法、装置及电子设备 | |
CN110991201A (zh) | 条码检测方法及相关装置 | |
CN112163600B (zh) | 一种基于机器视觉的商品识别方法 | |
CN114387595A (zh) | 基于货物拼接识别的自动货物识别方法及装置 | |
JP2021119475A (ja) | 絞込処理システム | |
US20230306717A1 (en) | Object recognition device, object recognition method, learning device, learning method, and recording medium | |
JP6975312B2 (ja) | 不正推定システム、不正推定方法、及びプログラム | |
CN110580299B (zh) | 生成对象的推荐语的配图的方法、系统、设备及存储介质 | |
CN115457458A (zh) | 一种非接触式智能盘点系统和方法 | |
JP2023156991A (ja) | 情報処理システム | |
CN113743382B (zh) | 一种货架陈列检测方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |