CN110321797A - 商品识别方法和装置 - Google Patents
商品识别方法和装置 Download PDFInfo
- Publication number
- CN110321797A CN110321797A CN201910466303.5A CN201910466303A CN110321797A CN 110321797 A CN110321797 A CN 110321797A CN 201910466303 A CN201910466303 A CN 201910466303A CN 110321797 A CN110321797 A CN 110321797A
- Authority
- CN
- China
- Prior art keywords
- commodity
- monitoring image
- characteristic
- samples pictures
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种商品识别方法和装置,所述方法包括:获取商品的监控图像;根据所述监控图像检测商品的位置;根据检测结果从所述监控图像中截取商品的样本图片;对所述样本图片进行识别,确定商品的类别。本申请的方案将检测与识别步骤进行分离,首先检测货架上的商品并定位位置,再将商品图像截取出来识别其对应的种类;将多分类的目标检测问题简化为二分类目标检测,降低了模型训练难度,同时降低了训练数据采集和标注的难度;提升了模型的泛化能力,因而在绝大多数情况下,不需要重新训练模型,可以实现快速添加新种类的商品。
Description
技术领域
本申请涉及计算机视觉技术领域,具体涉及一种商品识别方法和装置。
背景技术
随着深度学习的发展,利用计算机视觉技术,通过在商店架设摄像头,自动识别货柜上的商品数量和种类,能够极大的节约人力成本,降低货损率,提高店铺盘货效率。
由于深度学习在商品识别中的应用是最近两年才开始展开,目前大多数方案还是采用基于传统机器学习的方式来进行商品的检测识别,如特征点匹配、模板匹配、SVM(Support Vector Machine,支持向量机)等方法,很少采用深度学习的方法。传统机器学习的方法在精度上存在比较大的问题,很难与深度学习的方法进行抗衡。
相关技术中,目前的解决方案主要有两种技术路线:第一种是利用通用目标检测模型,同时检测商品在摄像头采集的图像中的位置和类别;第二种是通过改造货架或者简化问题,人为保证每张图像中只存在唯一的商品,然后利用通用的目标检索模型,提取该图像中商品的特征,最后通过特征比对找出与该商品最相似的商品种类,从而判断该商品所属的类别。
第一种方案,通用目标检测模型如果同时检测商品的位置和种类,那么模型能够处理的商品类别数目会受到极大的限制,且每次添加或者删除商品类别,都需要重新训练模型。
目前在公开文献中能够看到处理的类别数目最多的检测模型为ImageNet挑战赛中的检测模型,类别数目约为1000左右,且种类是固定的。
而实际需要检测的商品种类往往是动态的且数量极大。如果有新的商品加入进来,或者旧的商品需要去除,检测模型就需要重新训练,增加了商店更新商品种类的成本。而且,现有的检测模型很难处理上万种不同种类的商品,这会给模型训练以及检测精度带来难以预料的影响。
第二种方案,采用特定装置采集只包含单一商品的图片并进行识别,需要对现有货架或者店面进行大规模的改造,成本比较高。或者直接人工采集只包含单一商品的图片,这样就没有做到完全自动化,仍然需要大量的人力成本,或者将部分工作转嫁给消费者。
发明内容
为至少在一定程度上克服相关技术中存在的问题,本申请提供一种商品识别方法和装置。
根据本申请实施例的第一方面,提供一种商品识别方法,包括:
获取商品的监控图像;
根据所述监控图像检测商品的位置;
根据检测结果从所述监控图像中截取商品的样本图片;
对所述样本图片进行识别,确定商品的类别。
进一步地,在根据所述监控图像检测商品的位置之前,还包括:
对所述监控图像进行处理,检测是否满足触发条件。
进一步地,所述根据所述监控图像检测商品的位置,包括:
当满足触发条件时,根据所述监控图像检测商品的位置;
在不满足触发条件时,不进行处理。
进一步地,所述方法还包括:
当满足触发条件时,将所述监控图像发送到服务器,以使所述服务器根据所述监控图像检测商品的位置。
进一步地,所述检测是否满足触发条件,包括:
判断所述监控图像的画面场景是否发生变化;
如果发生变化,则满足触发条件。
进一步地,所述判断所述监控图像的画面场景是否发生变化,包括:
采用背景建模的方式判断所述监控图像的画面场景是否发生变化。
进一步地,所述判断所述监控图像的画面场景是否发生变化,包括:
通过检测是否有手出现在所述监控图像中判断所述监控图像的画面场景是否发生变化。
进一步地,所述根据所述监控图像检测商品的位置,包括:
将所述监控图像送入检测模型中进行处理,根据所述检测模型的输出结果确定商品的位置;
其中,所述检测模型是采用深度学习的方法训练的智能模型,用于区分输入图像的前景和背景。
进一步地,所述根据检测结果从所述监控图像中截取商品的样本图片,包括:
根据检测结果,从所述监控图像中依次截取出检测到的所有商品的样本图片。
进一步地,所述对所述样本图片进行识别,包括:
从所述样本图片中提取商品的特征数据;
根据商品的特征数据确定商品的类别。
进一步地,所述从所述样本图片中提取商品的特征数据,包括:
将所述样本图片送入识别模型中进行处理,获取商品的特征数据;
其中,所述识别模型是采用深度学习的方法训练的智能模型,用于提取输入图像的特征数据。
进一步地,所述根据商品的特征数据确定商品的类别,包括:
将所述特征数据与预先存储的模板特征进行比较,获取所述特征数据与不同的模板特征的相似度;
根据相似度确定商品的类别。
进一步地,所述方法还包括:
采集商品的多角度的图片;
将采集的不同角度的多张图片进行裁剪后送入识别模型提取特征;
提取后的特征经过编码索引加入注册库,作为该类别的商品的模板特征。
进一步地,所述将所述特征数据与预先存储的模板特征进行比较,包括:
将所述特征数据与存储在所述注册库中的模板特征进行比较。
进一步地,所述根据相似度确定商品的类别,包括:
将相似度最大的模板特征所对应的类别确定为商品的类别。
根据本申请实施例的第二方面,提供一种商品识别装置,包括:
获取模块,用于获取商品的监控图像;
检测模块,用于根据所述监控图像检测商品的位置;
截取模块,用于根据检测结果从所述监控图像中截取商品的样本图片;
识别模块,用于对所述样本图片进行识别,确定商品的类别。
根据本申请实施例的第三方面,提供一种商品识别系统,包括:
摄像装置,用于拍摄商品的监控图像;
主处理设备,用于根据所述监控图像检测商品的位置,并根据检测结果从所述监控图像中截取商品的样本图片,然后对所述样本图片进行识别,确定商品的类别。
进一步地,所述商品识别系统还包括:
边缘计算设备,对所述监控图像进行处理,检测是否满足触发条件,并在满足触发条件时向所述摄像装置发送指令,以使所述摄像装置将拍摄的监控图像发送给所述主处理设备。
本申请的实施例提供的技术方案具备以下有益效果:
本申请的方案将检测与识别步骤进行分离,首先检测货架上的商品并定位位置,再将商品图像截取出来识别其对应的种类;将多分类的目标检测问题简化为二分类目标检测,降低了模型训练难度,同时降低了训练数据采集和标注的难度;提升了模型的泛化能力,因而在绝大多数情况下,不需要重新训练模型,可以实现快速添加新种类的商品。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种商品识别方法的流程图。
图2是根据一示例性实施例示出的一种商品识别方法的处理流程图。
图3是根据一示例性实施例示出的一种商品识别方法的数据流程图。
图4是根据一示例性实施例示出的摄像头在货架上架设的位置示意图。
图5是根据一示例性实施例示出的摄像头在天花板上架设的位置示意图。
图6(a)~(c)是三种情况下注册照片的采集角度示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
图1是根据一示例性实施例示出的一种商品识别方法的流程图。该方法可以应用于零售货架的监控、盘点等场景,包括以下步骤:
步骤S1:获取商品的监控图像;
步骤S2:根据所述监控图像检测商品的位置;
步骤S3:根据检测结果从所述监控图像中截取商品的样本图片;
步骤S4:对所述样本图片进行识别,确定商品的类别。
为了解决现有技术中存在的问题,本申请首先采用深度学习的方法,训练商品的检测与识别模型,有效提升了最终结果的精度。
其次,采用检测模型与识别模型分开处理的思路,有效解决了商品种类自由添加或者删除的问题,且做到了全自动化处理。
在训练检测模型的时候,将所有不同种类的商品当作一个目标来进行训练,检测模型只需要区分在当前场景下的前景、背景,多目标检测分类问题被简化为一个二分类的问题,有效降低了训练的难度。
此时,检测器的训练样本就可以不局限于当前已有的商品种类,还可以从其它地方大量搜集其它数据作为训练样本。同时,由于所有商品被当成一个种类,也能有效的增加模型的泛化能力。当新添商品的时候,只要新添商品的形状与已有商品接近,检测器就能有效检测。从实际情况来看,绝大部分的商品都具有相似的外观,外观与其他商品差异非常大的情况很少见。
由于检测模型负责检测图片中的商品位置并进行裁剪,训练识别模型的时候,就可以专心搜集不同种类的商品并根据检测框进行归一化,降低样本采集和训练难度。本申请采用特征挖掘的方式,专心训练具有鉴别力的特征,这样当新添商品的时候,其提取出来的特征也能有效的与其它种类商品进行区分,而不必再重新训练模型。
综上所述,本申请的方案将检测与识别步骤进行分离,首先检测货架上的商品并定位位置,再将商品图像截取出来识别其对应的种类,将检测与识别步骤进行分离,结合了两种模型优点,提升了系统整体的精度;将多分类的目标检测问题简化为二分类目标检测,降低了模型训练难度,同时降低了训练数据采集和标注的难度;提升了模型的泛化能力,因而在绝大多数情况下,不需要重新训练模型,可以实现快速添加新种类的商品。
此外,本申请的方案不需要对现存货架进行大规模改造,节省了大规模货架改造的成本;只需要按照使用需求在相应位置安装摄像头即可,也能够应用于已有的监控场景。
一些实施例中,在步骤S2根据所述监控图像检测商品的位置之前,还包括:
对所述监控图像进行处理,检测是否满足触发条件。
一些实施例中,所述步骤S2,根据所述监控图像检测商品的位置,包括:
当满足触发条件时,根据所述监控图像检测商品的位置;
在不满足触发条件时,不进行处理。
本申请的方案采用触发器模式,只有当满足触发条件时才进行商品检测识别,不满足触发条件时不做处理;这样就不需要对每帧图像进行商品检测识别,极大地减少了计算资源的占用,提高了系统运行的效率。
一些实施例中,所述方法还包括:
当满足触发条件时,将所述监控图像发送到服务器,以使所述服务器根据所述监控图像检测商品的位置。
本申请的方案可以采用云平台的模式进行统一部署,只有触发器在本地的计算设备上运行,满足触发条件后将监控图像上传到云端服务器,商品的检测和识别均通过云端服务器进行处理;这样能够降低运维成本,同时节省了带宽,提高了系统运行的效率。
一些实施例中,所述检测是否满足触发条件,包括:
判断所述监控图像的画面场景是否发生变化;
如果发生变化,则满足触发条件。
所述判断所述监控图像的画面场景是否发生变化,本申请的实施例给出两种情况,在一些实施例中,可以采用如下方式:
采用背景建模的方式判断所述监控图像的画面场景是否发生变化;
在其它的一些实施例中,也可以采用如下方式:
通过检测是否有手出现在所述监控图像中判断所述监控图像的画面场景是否发生变化。
需要说明的是,触发方式并不局限于上述的两种情况,还有其他的方法可以实现。
一些实施例中,所述步骤S2,根据所述监控图像检测商品的位置,包括:
将所述监控图像送入检测模型中进行处理,根据所述检测模型的输出结果确定商品的位置;
其中,所述检测模型是采用深度学习的方法训练的智能模型,用于区分输入图像的前景和背景。
一些实施例中,所述步骤S3,根据检测结果从所述监控图像中截取商品的样本图片,包括:
根据检测结果,从所述监控图像中依次截取出检测到的所有商品的样本图片。
一些实施例中,所述步骤S4中,对所述样本图片进行识别,包括:
从所述样本图片中提取商品的特征数据;
根据商品的特征数据确定商品的类别。
一些实施例中,所述从所述样本图片中提取商品的特征数据,包括:
将所述样本图片送入识别模型中进行处理,获取商品的特征数据;
其中,所述识别模型是采用深度学习的方法训练的智能模型,用于提取输入图像的特征数据。
一些实施例中,所述根据商品的特征数据确定商品的类别,包括:
将所述特征数据与预先存储的模板特征进行比较,获取所述特征数据与不同的模板特征的相似度;
根据相似度确定商品的类别。
一些实施例中,所述方法还包括:
采集商品的多角度的图片;
将采集的不同角度的多张图片进行裁剪后送入识别模型提取特征;
提取后的特征经过编码索引加入注册库,作为该类别的商品的模板特征。
一些实施例中,所述将所述特征数据与预先存储的模板特征进行比较,包括:
将所述特征数据与存储在所述注册库中的模板特征进行比较。
本申请的方法采用注册库检索的方案,注册库采用多张注册照的模式,有效提高了对多姿态、低质量、较大程度遮挡的商品的识别精度。
一些实施例中,所述根据相似度确定商品的类别,包括:
将相似度最大的模板特征所对应的类别确定为商品的类别。
需要说明的是,如果相似度的最大值也仍然小于设定的阈值,则判定该商品不属于注册库中的任何一个类别。
为进一步详述本申请的技术方案,结合具体的应用场景,对本申请的方案进行拓展说明。
参照图2和图3,本申请提供一种基于检测识别两步法的监控场景下大规模商品识别的技术,该方案能够准确地检测商品位置并识别商品的种类,并且不需要对货架进行大规模改造。该方案的实施步骤主要包括:
第一步:按照安装标准架设固定机位的摄像头。
参照图4,如果需要监控货架上每层商品的变化情况,可以按照图中所示位置在每层货架上架设摄像头,摄像头的视场应当覆盖该层所有货品。
参照图5,如果是监控货架整体的商品变化情况,进行商品错放监控、缺货监控或者货架盘点,则需按照图中所示位置在天花板上或者货架对面架设相应的摄像头,摄像头视场覆盖整个货架。
需要注意的是,根据本发明实际应用场合的不同,摄像头架设位置并不局限于上述两种情况,只要摄像头的视场覆盖对应监控区域即可。
第二步:将摄像头拍摄到的图片实时送入触发器中,检测是否满足触发条件。
第三步:如果满足触发条件,该图片将被送入检测模型中进行商品位置检测。
所有的摄像头接入店内的边缘计算设备上,边缘计算设备用于检测每个摄像头的视场内是否发生变化。最简单的方式是采用背景建模,判断场景是否发生变化。也可以采用其它方法进行判断,比如监控货架上每层商品的变化情况,可以通过检测是否有手进入摄像头的视场来判断是否发生变化。
当发生变化的时候,边缘计算设备产生一个触发消息,此时摄像头会将采集到的图像通过网络传输给服务器,由服务器对监控图像进行处理,识别当前图片中的所有商品的位置、种类和数量。
由于触发器所使用的方法非常简单,因此边缘计算设备可以高效地实时处理所有摄像头传回来的数据。当然,触发方式并不局限于本发明提到的触发方法。
第四步:根据检测结果,将检测到的所有商品的样本图片从监控图像中依次截取出来,并送入识别模型提取具有鉴别力的特征;
摄像头拍摄到的监控图像发送到服务器后,服务器将监控图像送入商品检测模型,自动检测商品并提取只包含单个商品的样本图片。本实施例采用的商品检测模型的基础网络为resnet-50,采用EAST的方式同时输出商品的矩形框位置及旋转角度。需要说明的是,在实际使用的时候,商品检测模型并不局限于使用本实施例所采用的方法。
本实施例中,线下采集了实际货架照片60万张,标注货架位置与商品形状的外接多边形框,挑选样本涵盖了各类商品,用于训练端到端的检测模型。但是该检测模型并没有同时输出商品的种类,而是将所有商品当作一种种类进行输出,这样就将多分类的目标检测问题简化为二分类目标检测。采用这样的方式,能够极大地提高检测模型的泛化能力,最大程度避免了新添商品时候需要重新训练检测模型的问题。
截取样本图片后,将样本图片送入识别模型,利用深度学习模型自动提取特征。本实施例使用的识别模型的基础网络同样为resnet-50,但是识别模型并不局限于本发明所使用的方法。
本实施例中,在线下搭建了多相机图片采集装置(该装置也可用于商品注册入库),采集了4.6万SKU(Stock Keeping Unit,库存量单位)商品的多角度白底图片以及视频用于训练特征提取器,保证模型得到更有鉴别力的特征。当新添商品的时候,即使该商品不在这4.6万SKU中,该商品识别模型也不需要重新训练。
第五步:将提取到的特征与保存在注册库中的模板特征进行比较,根据相似度判定特征对应的商品的所属类别。
将第四步自动提取到的特征与注册库中的模板特征进行比较,根据相似度大小确定商品所属类别,如果相似度的最大值也仍然小于某个确定的阈值,则说明该商品不属于注册库中的任何一个类别。
实施第五步的前提是,需要建立一个注册库。注册库的建立方法是:
采集商品的多角度的图片;
将拍摄的不同角度的多张商品图片,进行裁剪后送入识别模型提取特征;
提取后的特征经过编码索引加入注册库,作为该新添商品的模板。
其中,采集商品图片的方式有两种:
第一种是将商品放在图片采集装置上,该装置能够自动旋转,并由一个或者多个固定机位的相机对商品进行不同角度的拍摄。
参照图6(a)~(c),第二种是手动进行采集,对于商品的每一个面,存在Y轴和Z轴的夹角俯仰角(pitch)、X轴和Z轴的夹角摇摆角(yaw)、X轴和Y轴的夹角旋转角(roll)三个空间角度。其中平面以平面中心垂直于平面的线向外的方向(为图中所示的Z轴)为俯仰角和摇摆角的0度,俯仰角按照45度为间隔,摇摆角按照45度为间隔进行采集,共采集9张样本。弧面以弧面中心(完整圆柱面在摇摆角方向不存在中心)和对应圆弧的圆心连线向外的方向(为图中所示的Z轴)为俯仰角和摇摆角的0度,俯仰角按照45度为间隔,摇摆角按照30度为间隔,这样对于一个完整的圆柱面就需要采集36张样本。
本申请的方案可以应用于只有少量运营人员的店铺,提供监控场景下的自动商品识别与盘点,能够提升店铺的运营效率。该方案能够辅助店铺管理人员进行标准化的店铺管理运营,提升盘货效率,有效解决货架缺货补货等问题,降低货损。
本申请的实施例还提供一种商品识别装置,包括:
获取模块,用于获取商品的监控图像;
检测模块,用于根据所述监控图像检测商品的位置;
截取模块,用于根据检测结果从所述监控图像中截取商品的样本图片;
识别模块,用于对所述样本图片进行识别,确定商品的类别。
关于上述实施例中的装置,其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述,此处不再详细阐述说明。
本申请的实施例还提供一种商品识别系统,包括:
摄像装置,用于拍摄商品的监控图像;
主处理设备,用于根据所述监控图像检测商品的位置,并根据检测结果从所述监控图像中截取商品的样本图片,然后对所述样本图片进行识别,确定商品的类别。
一些实施例中,所述商品识别系统还包括:
边缘计算设备,对所述监控图像进行处理,检测是否满足触发条件,并在满足触发条件时向所述摄像装置发送指令,以使所述摄像装置将拍摄的监控图像发送给所述主处理设备。
可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是,在本申请的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本申请的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (18)
1.一种商品识别方法,其特征在于,包括:
获取商品的监控图像;
根据所述监控图像检测商品的位置;
根据检测结果从所述监控图像中截取商品的样本图片;
对所述样本图片进行识别,确定商品的类别。
2.根据权利要求1所述的方法,其特征在于,在根据所述监控图像检测商品的位置之前,还包括:
对所述监控图像进行处理,检测是否满足触发条件。
3.根据权利要求2所述的方法,其特征在于,所述根据所述监控图像检测商品的位置,包括:
当满足触发条件时,根据所述监控图像检测商品的位置;
在不满足触发条件时,不进行处理。
4.根据权利要求3所述的方法,其特征在于,还包括:
当满足触发条件时,将所述监控图像发送到服务器,以使所述服务器根据所述监控图像检测商品的位置。
5.根据权利要求2所述的方法,其特征在于,所述检测是否满足触发条件,包括:
判断所述监控图像的画面场景是否发生变化;
如果发生变化,则满足触发条件。
6.根据权利要求5所述的方法,其特征在于,所述判断所述监控图像的画面场景是否发生变化,包括:
采用背景建模的方式判断所述监控图像的画面场景是否发生变化。
7.根据权利要求5所述的方法,其特征在于,所述判断所述监控图像的画面场景是否发生变化,包括:
通过检测是否有手出现在所述监控图像中判断所述监控图像的画面场景是否发生变化。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述根据所述监控图像检测商品的位置,包括:
将所述监控图像送入检测模型中进行处理,根据所述检测模型的输出结果确定商品的位置;
其中,所述检测模型是采用深度学习的方法训练的智能模型,用于区分输入图像的前景和背景。
9.根据权利要求1-7任一项所述的方法,其特征在于,所述根据检测结果从所述监控图像中截取商品的样本图片,包括:
根据检测结果,从所述监控图像中依次截取出检测到的所有商品的样本图片。
10.根据权利要求9所述的方法,其特征在于,所述对所述样本图片进行识别,包括:
从所述样本图片中提取商品的特征数据;
根据商品的特征数据确定商品的类别。
11.根据权利要求10所述的方法,其特征在于,所述从所述样本图片中提取商品的特征数据,包括:
将所述样本图片送入识别模型中进行处理,获取商品的特征数据;
其中,所述识别模型是采用深度学习的方法训练的智能模型,用于提取输入图像的特征数据。
12.根据权利要求10所述的方法,其特征在于,所述根据商品的特征数据确定商品的类别,包括:
将所述特征数据与预先存储的模板特征进行比较,获取所述特征数据与不同的模板特征的相似度;
根据相似度确定商品的类别。
13.根据权利要求12所述的方法,其特征在于,还包括:
采集商品的多角度的图片;
将采集的不同角度的多张图片进行裁剪后送入识别模型提取特征;
提取后的特征经过编码索引加入注册库,作为该类别的商品的模板特征。
14.根据权利要求13所述的方法,其特征在于,所述将所述特征数据与预先存储的模板特征进行比较,包括:
将所述特征数据与存储在所述注册库中的模板特征进行比较。
15.根据权利要求12-14任一项所述的方法,其特征在于,所述根据相似度确定商品的类别,包括:
将相似度最大的模板特征所对应的类别确定为商品的类别。
16.一种商品识别装置,其特征在于,包括:
获取模块,用于获取商品的监控图像;
检测模块,用于根据所述监控图像检测商品的位置;
截取模块,用于根据检测结果从所述监控图像中截取商品的样本图片;
识别模块,用于对所述样本图片进行识别,确定商品的类别。
17.一种商品识别系统,其特征在于,包括:
摄像装置,用于拍摄商品的监控图像;
主处理设备,用于根据所述监控图像检测商品的位置,并根据检测结果从所述监控图像中截取商品的样本图片,然后对所述样本图片进行识别,确定商品的类别。
18.根据权利要求17所述的系统,其特征在于,还包括:
边缘计算设备,对所述监控图像进行处理,检测是否满足触发条件,并在满足触发条件时向所述摄像装置发送指令,以使所述摄像装置将拍摄的监控图像发送给所述主处理设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910466303.5A CN110321797A (zh) | 2019-05-31 | 2019-05-31 | 商品识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910466303.5A CN110321797A (zh) | 2019-05-31 | 2019-05-31 | 商品识别方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110321797A true CN110321797A (zh) | 2019-10-11 |
Family
ID=68119278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910466303.5A Pending CN110321797A (zh) | 2019-05-31 | 2019-05-31 | 商品识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110321797A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738260A (zh) * | 2019-10-16 | 2020-01-31 | 名创优品(横琴)企业管理有限公司 | 一种零售门店太空箱摆放检测方法、装置和设备 |
CN111062786A (zh) * | 2019-12-25 | 2020-04-24 | 创新奇智(青岛)科技有限公司 | 一种基于建立商品外观特征映射表的模型更新方法 |
CN111291834A (zh) * | 2020-03-27 | 2020-06-16 | 华士磐典科技(上海)有限公司 | 一种快速生成货架数字陈列图的方法 |
CN111507253A (zh) * | 2020-04-16 | 2020-08-07 | 腾讯科技(深圳)有限公司 | 基于人工智能的陈列物品审核方法、装置 |
CN113095383A (zh) * | 2021-03-30 | 2021-07-09 | 广州图匠数据科技有限公司 | 一种辅助销售物料识别方法及装置 |
CN113124636A (zh) * | 2019-12-31 | 2021-07-16 | 海信集团有限公司 | 冰箱 |
CN113468914A (zh) * | 2020-03-30 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | 一种商品纯净度的确定方法、装置及设备 |
CN113674049A (zh) * | 2021-06-24 | 2021-11-19 | 杭州碑石数据技术有限公司 | 基于图片搜索的商品在架位置识别方法、系统和存储介质 |
CN113743382A (zh) * | 2021-11-04 | 2021-12-03 | 苏州万店掌软件技术有限公司 | 一种货架陈列检测方法、装置及系统 |
CN114373089A (zh) * | 2022-01-13 | 2022-04-19 | 上海汉时信息科技有限公司 | 货架商品自主聚类识别方法及装置 |
WO2023130450A1 (zh) * | 2022-01-10 | 2023-07-13 | 烟台创迹软件有限公司 | 标准图像取得方法、标准图像取得装置以及货架分配推测方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106980866A (zh) * | 2016-10-24 | 2017-07-25 | 商汤集团有限公司 | 一种鞋类检索方法 |
CN108492157A (zh) * | 2017-12-18 | 2018-09-04 | 上海云拿智能科技有限公司 | 无人售货系统及无人售货方法 |
CN108764313A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 基于深度学习的超市商品识别方法 |
CN108961287A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 智能货架触发方法、智能货架系统、存储介质及电子设备 |
CN109522967A (zh) * | 2018-11-28 | 2019-03-26 | 广州逗号智能零售有限公司 | 一种商品定位识别方法、装置、设备以及存储介质 |
CN109543527A (zh) * | 2018-10-19 | 2019-03-29 | 北京陌上花科技有限公司 | 用于无人货架的商品检测方法、装置以及零售终端 |
CN109635690A (zh) * | 2018-11-30 | 2019-04-16 | 任飞翔 | 基于视觉的商品识别检测方法及装置 |
US20190122168A1 (en) * | 2017-10-25 | 2019-04-25 | Toshiba Tec Kabushiki Kaisha | Merchandise management device and merchandise management method |
US10282852B1 (en) * | 2018-07-16 | 2019-05-07 | Accel Robotics Corporation | Autonomous store tracking system |
CN109784385A (zh) * | 2018-12-29 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种商品自动识别方法、系统、装置及存储介质 |
US20190156276A1 (en) * | 2017-08-07 | 2019-05-23 | Standard Cognition, Corp | Realtime inventory tracking using deep learning |
-
2019
- 2019-05-31 CN CN201910466303.5A patent/CN110321797A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106980866A (zh) * | 2016-10-24 | 2017-07-25 | 商汤集团有限公司 | 一种鞋类检索方法 |
US20190156276A1 (en) * | 2017-08-07 | 2019-05-23 | Standard Cognition, Corp | Realtime inventory tracking using deep learning |
US20190122168A1 (en) * | 2017-10-25 | 2019-04-25 | Toshiba Tec Kabushiki Kaisha | Merchandise management device and merchandise management method |
CN109711594A (zh) * | 2017-10-25 | 2019-05-03 | 东芝泰格有限公司 | 商品管理装置及商品管理方法 |
CN108492157A (zh) * | 2017-12-18 | 2018-09-04 | 上海云拿智能科技有限公司 | 无人售货系统及无人售货方法 |
CN108764313A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 基于深度学习的超市商品识别方法 |
CN108961287A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术(北京)有限公司 | 智能货架触发方法、智能货架系统、存储介质及电子设备 |
US10282852B1 (en) * | 2018-07-16 | 2019-05-07 | Accel Robotics Corporation | Autonomous store tracking system |
CN109543527A (zh) * | 2018-10-19 | 2019-03-29 | 北京陌上花科技有限公司 | 用于无人货架的商品检测方法、装置以及零售终端 |
CN109522967A (zh) * | 2018-11-28 | 2019-03-26 | 广州逗号智能零售有限公司 | 一种商品定位识别方法、装置、设备以及存储介质 |
CN109635690A (zh) * | 2018-11-30 | 2019-04-16 | 任飞翔 | 基于视觉的商品识别检测方法及装置 |
CN109784385A (zh) * | 2018-12-29 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种商品自动识别方法、系统、装置及存储介质 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110738260A (zh) * | 2019-10-16 | 2020-01-31 | 名创优品(横琴)企业管理有限公司 | 一种零售门店太空箱摆放检测方法、装置和设备 |
CN111062786A (zh) * | 2019-12-25 | 2020-04-24 | 创新奇智(青岛)科技有限公司 | 一种基于建立商品外观特征映射表的模型更新方法 |
CN113124636B (zh) * | 2019-12-31 | 2022-05-24 | 海信集团有限公司 | 冰箱 |
CN113124636A (zh) * | 2019-12-31 | 2021-07-16 | 海信集团有限公司 | 冰箱 |
CN111291834A (zh) * | 2020-03-27 | 2020-06-16 | 华士磐典科技(上海)有限公司 | 一种快速生成货架数字陈列图的方法 |
CN111291834B (zh) * | 2020-03-27 | 2022-06-10 | 华士磐典科技(上海)有限公司 | 一种快速生成货架数字陈列图的方法 |
CN113468914B (zh) * | 2020-03-30 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种商品纯净度的确定方法、装置及设备 |
CN113468914A (zh) * | 2020-03-30 | 2021-10-01 | 杭州海康威视数字技术股份有限公司 | 一种商品纯净度的确定方法、装置及设备 |
CN111507253A (zh) * | 2020-04-16 | 2020-08-07 | 腾讯科技(深圳)有限公司 | 基于人工智能的陈列物品审核方法、装置 |
CN113095383A (zh) * | 2021-03-30 | 2021-07-09 | 广州图匠数据科技有限公司 | 一种辅助销售物料识别方法及装置 |
CN113674049A (zh) * | 2021-06-24 | 2021-11-19 | 杭州碑石数据技术有限公司 | 基于图片搜索的商品在架位置识别方法、系统和存储介质 |
CN113743382B (zh) * | 2021-11-04 | 2022-01-25 | 苏州万店掌软件技术有限公司 | 一种货架陈列检测方法、装置及系统 |
CN113743382A (zh) * | 2021-11-04 | 2021-12-03 | 苏州万店掌软件技术有限公司 | 一种货架陈列检测方法、装置及系统 |
WO2023130450A1 (zh) * | 2022-01-10 | 2023-07-13 | 烟台创迹软件有限公司 | 标准图像取得方法、标准图像取得装置以及货架分配推测方法 |
CN114373089A (zh) * | 2022-01-13 | 2022-04-19 | 上海汉时信息科技有限公司 | 货架商品自主聚类识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321797A (zh) | 商品识别方法和装置 | |
CN106127780B (zh) | 一种曲面表面缺陷自动检测方法及其装置 | |
CN111415461A (zh) | 物品识别方法及系统、电子设备 | |
CN110222686B (zh) | 物体检测方法、装置、计算机设备和存储介质 | |
CN108345912A (zh) | 一种基于rgbd信息与深度学习的商品快速结算系统 | |
US10043105B2 (en) | Method and system to characterize video background changes as abandoned or removed objects | |
Marder et al. | Using image analytics to monitor retail store shelves | |
CN107918767B (zh) | 目标检测方法、装置、电子设备及计算机可读介质 | |
CN111626201A (zh) | 商品检测方法、装置及可读存储介质 | |
Somnugpong et al. | Content-based image retrieval using a combination of color correlograms and edge direction histogram | |
US20190147226A1 (en) | Method, system and apparatus for matching a person in a first image to a person in a second image | |
Hidayati et al. | Garment detectives: Discovering clothes and its genre in consumer photos | |
CN112184751A (zh) | 物体识别方法及系统、电子设备 | |
CN109492702A (zh) | 基于排序度量函数的行人重识别方法、系统、装置 | |
CN113065447A (zh) | 一种图像集中自动识别商品的方法和设备 | |
CN111126384A (zh) | 基于特征融合的商品分类系统及分类方法 | |
CN112668365A (zh) | 一种物料入库识别方法、装置、设备及存储介质 | |
Pereira et al. | Mirar: Mobile image recognition based augmented reality framework | |
Achakir et al. | An automated AI-based solution for out-of-stock detection in retail environments | |
CN114360057A (zh) | 数据处理方法及相关装置 | |
CN114299388A (zh) | 物品信息确定方法、陈列柜以及存储介质 | |
CN110738260A (zh) | 一种零售门店太空箱摆放检测方法、装置和设备 | |
CN111666786A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111461104B (zh) | 视觉识别方法、装置、设备及存储介质 | |
JP2015187770A (ja) | 画像認識装置、画像認識方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191011 |