CN110175590A - 一种商品识别方法及装置 - Google Patents
一种商品识别方法及装置 Download PDFInfo
- Publication number
- CN110175590A CN110175590A CN201910469641.4A CN201910469641A CN110175590A CN 110175590 A CN110175590 A CN 110175590A CN 201910469641 A CN201910469641 A CN 201910469641A CN 110175590 A CN110175590 A CN 110175590A
- Authority
- CN
- China
- Prior art keywords
- commodity
- image
- location information
- identification model
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本申请实施例公开了一种商品识别方法及装置,首先训练生成商品识别模型,具体为,获取原始图像,并获取原始图像中各个商品的位置信息以及各个商品的分类标签。然后,根据原始图像、原始图像中各个商品的位置信息以及各个商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。在实际应用时,拍摄货架图像,将其作为待识别图像,该待识别图像中包括该货架所承载的商品。将该待识别图像输入商品识别模型,获得待识别图像中各个商品的分类结果以及各个商品的位置信息,从而获得当前货架上所承载的商品的类别和数量。
Description
技术领域
本申请涉及图像识别技术领域,具体涉及一种商品识别方法及装置。
背景技术
随着电子支付技术、身份感知技术以及云计算技术的不断发展,无人零售在技术实现上具备很高的可行性。在无人零售项目中,急需解决的问题是如何准确判断用户从货架上取走商品的类别、数量以及商品的价格,以便实现自动为用户结算。
无人零售项目在最初阶段主要采用基于RFID标签的技术方案来解决上述问题。然而,基于RFID标签技术的方案存在以下几个问题,一是RFID标签造价成本较高,提升商品的成本;二是需要在大批量的商品上粘贴RFID标签且不容许粘贴出错,耗费大量人力;三是可能会出现被遮挡、被去除的可能,导致RFID阅读器无法感知物品,导致丢货风险较大等问题。
发明内容
有鉴于此,本申请实施例提供一种商品识别方法及装置,以实现更为有效地识别商品信息。
为解决上述问题,本申请实施例提供的技术方案如下:
在本申请实施例第一方面,提供了一种商品识别模型生成方法,该方法可以包括:
获取原始图像,所述原始图像至少包括一件商品;
获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签;
根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。
在一种可能的实现方式中,所述方法还包括:
获取待测试图像,将所述待测试图像输入所述商品识别模型,获得所述待测试图像中各个商品的分类结果以及各个所述商品的位置信息,所述待测试图像至少包括一件商品;
当所述商品识别模型所输出的所述待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率小于预设阈值时,获取所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签;
根据所述待测试图像、所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签对所述商品识别模型进行训练,直至所述商品识别模型所输出的待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率大于或等于预设阈值。
在一种可能的实现方式中,所述获取原始图像或待测试图像,包括:
利用鱼眼摄像机获取多种角度下的所述原始图像或所述待测试图像。
在一种可能的实现方式中,所述获取所述原始图像或所述待测试图像中各个所述商品的位置信息,包括:
利用矩形框对所述原始图像或待测试图像中的各个所述商品进行标注,将所述矩形框的位置信息确定为各个所述商品的位置信息;所述位置信息包括所述矩形框的原点坐标以及所述矩形框的长度和宽度。
在本申请实施例第二方面,提供了一种商品识别方法,所述方法包括:
获取待识别图像,所述待识别图像至少包括一件商品;
将所述待识别图像输入商品识别模型,获得所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息;所述商品识别模型是根据第一方面所述的商品识别模型生成方法训练获得的。
在一种可能的实现方式中,所述方法还包括:
根据各个所述商品的分类结果以及各个所述商品的位置信息获得同一类商品的数量。
在一种可能的实现方式中,所述待识别图像为一货架发生放取行为后的图像,所述货架承载有至少一种商品,所述方法还包括:
获取所述货架对应的商品信息,所述商品信息包括所述货架所承载的商品类别和数量;
根据所述商品信息、所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息确定所述货架发生放取行为时所对应的商品类别以及数量。
在一种可能的实现方式中,所述方法还包括:
根据所述货架发生放取行为时所对应的商品类别以及数量更新所述商品信息和/或购物清单。
在本申请实施例第三方面,提供了一种商品识别模型生成装置,所述装置包括:
第一获取单元,用于获取原始图像,所述原始图像至少包括一件商品;
第二获取单元,用于获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签;
生成单元,用于根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。
在一种可能的实现方式中,所述装置还包括:
第一获得单元,用于获取待测试图像,将所述待测试图像输入所述商品识别模型,获得所述待测试图像中各个商品的分类结果以及各个所述商品的位置信息,所述待测试图像至少包括一件商品;
第二获得单元,用于当所述商品识别模型所输出的所述待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率小于预设阈值时,获取所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签;
训练单元,用于根据所述待测试图像、所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签对所述商品识别模型进行训练,直至所述商品识别模型所输出的待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率大于或等于预设阈值。
在一种可能的实现方式中,所述第一获取单元,具体用于利用鱼眼摄像机获取多种角度下的所述原始图像或所述待测试图像;或,
所述第一获得单元,具体用于利用鱼眼摄像机获取多种角度下的所述原始图像或所述待测试图像。
在一种可能的实现方式中,所述第二获取单元,具体用于利用矩形框对所述原始图像或待测试图像中的各个所述商品进行标注,将所述矩形框的位置信息确定为各个所述商品的位置信息;所述位置信息包括所述矩形框的原点坐标以及所述矩形框的长度和宽度;或,
所述第二获得单元,具体用于利用矩形框对所述原始图像或待测试图像中的各个所述商品进行标注,将所述矩形框的位置信息确定为各个所述商品的位置信息;所述位置信息包括所述矩形框的原点坐标以及所述矩形框的长度和宽度。
在一种可能的实现方式中,所述初始深度学习模型为yolov3-tiny模型。
在本申请实施例第四方面,提供了一种商品识别装置,所述装置包括:
第三获取单元,用于获取待识别图像,所述待识别图像至少包括一件商品;
第四获取单元,用于将所述待识别图像输入商品识别模型,获得所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息;所述商品识别模型是根据第一方面所述的商品识别模型生成方法训练获得的。
在一种可能的实现方式中,所述装置还包括:
第五获取单元,用于根据各个所述商品的分类结果以及各个所述商品的位置信息获得同一类商品的数量。
在一种可能的实现方式中,所述待识别图像为一货架发生放取行为后的图像,所述货架承载有至少一种商品,所述装置还包括:
第六获取单元,用于获取所述货架对应的商品信息,所述商品信息包括所述货架所承载的商品类别和数量;
确定单元,用于根据所述商品信息、所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息确定所述货架发生放取行为时所对应的商品类别以及数量。
在一种可能的实现方式中,所述装置还包括:
更新单元,用于根据所述货架发生放取行为时所对应的商品类别以及数量更新所述商品信息和/或购物清单。
由此可见,本申请实施例具有如下有益效果:
本申请实施例首先训练生成商品识别模型,具体为,获取原始图像,并获取原始图像中各个商品的位置信息以及各个商品的分类标签。然后,根据原始图像、原始图像中各个商品的位置信息以及各个商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。在实际应用时,拍摄货架图像,将其作为待识别图像,该待识别图像中包括该货架所承载的商品。将该待识别图像输入商品识别模型,获得待识别图像中各个商品的分类结果以及各个商品的位置信息,从而获得当前货架上所承载的商品的类别和数量。即,通过本申请实施例提供的图像识别方法,可以快速识别当前货架所承载的商品类别和数量,以便根据预先存储的该货架的商品信息进行比对,从而可以获知该货架被拿取或放回的商品信息。
附图说明
图1为本申请实施例提供的一种商品识别模型训练方法的流程图;
图2为本申请实施例提供的一种标注商品位置示意图;
图3为本申请实施例提供的一种商品位置以及类别显示示意图;
图4为本申请实施例提供的一种商品识别方法的流程图;
图5为本申请实施例提供的一种商品识别模型训练装置的结构图;
图6为本申请实施例提供的一种商品识别装置结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
发明人在对传统的商品识别方法研究中发现,传统的商品识别主要基于RFID标签,具体为在每个商品设置RFID标签,在门禁前方设置一定结算区域并安装RFID读写器。顾客进入购物区后,先在货架上随意选购商品并放置在购物篮中,当选购结束后进入结算区域,此时RFID读写器读取购物篮中所有商品上的RFID标签信息,获取顾客的详细购物清单发送至后台结算系统,结算系统根据清单生成具体购物账单至顾客手机,当账单支付完成后门禁打开让顾客出店。然而,粘贴RFID标签成本较高,且容易被屏蔽和去除,增加货品丢失的风险,导致在结算时,无法准确识别用户拿取的商品。
基于此,本申请实施例提供了一种商品识别方法,首先训练商品识别模型,具体为,获取原始图像,并获取原始图像中各个商品的位置信息以及各个商品的分类标签。将原始图像中各个商品的位置信息以及各个商品的分类标签作为训练数据,对初始深度学习模型进行训练,生成商品识别模型。在实际应用时,获取待识别图像,并该待识别图像输入商品识别模型中,获取该待识别图像中各个商品的分类结果以及各个商品的位置信息。
为便于理解本申请实施例提供的方法,下面将先对商品识别模型的训练过程进行说明。
参见图1,该图为本申请实施例提供的一种商品识别模型生成的方法的流程图,如图1所示,该方法可以包括:
S101:获取原始图像,该原始图像至少包括一件商品。
本实施例中,可以获取原始图像,将其作为训练图像。其中,每张原始图像中可以包括各类商品。在具体实现时,可以获取大量的原始图像,以通过大量的原始图像包括所有需识别的商品。
在实际应用中,为获取大量的训练样本,可以利用普通摄像机采集不同角度以及不同光照强度下的原始图像,从而增加训练样本的多样性。可以理解的是,由于普通摄像机的视频流视野范围较小,为获取多角度的原始图像,需要部署较多摄像机,增加设备成本。而鱼眼相机具有较大视野范围,所拍摄的图像中能够包括更多商品,无需全方位部署,降低设备成本。
S102:获取原始图像中各个商品的位置信息以及各个商品的分类标签。
本实施例中,当获取原始图像后,还需获取原始图像中各个商品信息的位置信息以及各个商品的分类标签。其中,各个商品的位置信息是指该商品在图像中的位置信息。
需要说明的是,由于原始图像中包括多个商品,为使得初始深度学习模型可以获取每个商品的特征,需要提取每个商品在原始图像中的位置,从而使得初始深度学习模型可以获知原始图像中每个位置的商品的类别。
在具体实现时,本实施例提供了一种获取原始图像或待测试图像中各个商品的位置信息实现方式,具体为,利用矩形框对原始图像或待测试图像中的各个商品进行标注,将矩形框的位置信息确定为各个商品的位置信息;其中,位置信息包括矩形框的原点坐标以及矩形框的长度和宽度。
也就是,当获取原始图像后,可以对原始图像中的各个商品的位置进行标注,以获取该商品在原始图像中的位置。在具体实现时,可以通过人工标注方式对原始图像中的各个商品的位置进行标注;也可以利用标注工具对原始图像中的各个商品的位置进行标注。在实际应用中,为保证标注的准确性,当利用标注工具标注后,可以进行人工校正。
在具体实现时,可以利用labelImg或yolomark标注工具对原始图像中的各个商品的位置进行标注。具体实现时,选择待标注的原始图像,然后使用“Create RectBox”或者“Ctrl+N”开始画矩形框,单击结束画框,并选择所标注的商品的类别。如图2所示,针对原始图像中各个商品标注矩形框,当原始图像中各个商品的位置被标注完后,生成对应的XML文件,该文件记录每个商品的类别以及位置信息,该位置信息可以通过(x,y,w,h)标识,其中,x和y标识该矩形方框左上角顶点坐标,w标识矩形方框的宽、h标识矩形方框的高,如图3所示。其中,第一列为商品类别,第二列为x坐标,第三列为y坐标,第四列为矩形框的宽,第五列为矩形框的高。
S103:根据原始图像、原始图像中各个商品的位置信息以及各个商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。
本实施例中,当获取原始图像中各个商品的位置信息以及各个商品的分类标签后,将原始图像、原始图像中各个商品的位置信息以及各个商品的分类标签作为训练数据对初始深度学习模型进行训练,以生成商品识别模型。
在具体实现时,初始深度学习模型可以根据各个商品的位置信息从原始图像中提取该商品的子图像,从该子图像中学习该子图像中包括的商品的特征,进而获取该商品的特征以及商品的分类标签的关系,从而使得生成的商品识别模型可以识别输入数据中各个商品的类别。
其中,本申请中的初始深度学习模型可以为常见的卷积神经网络模型CNN、RCNN区域卷积神经网络模型等。在实际应用时,考虑到yolov3-tiny模型具有运行速度快,占内存少等优点,为提高图像识别的实时性,初始深度学习模型可以为yolov3-tiny模型。
在本申请实施例一种可能的实现方式中,当训练生成商品识别模型后,为验证该商品识别模型识别的准确性,在实际部署该商品识别模型之前,可以对该商品识别模型进行测试,具体可以包括以下步骤:
1)获取待测试图像,将待测试图像输入商品识别模型,获得待测试图像中各个商品的分类结果以及各个商品的位置信息,待测试图像至少包括一件商品。
本实施例中,首先获取待测图像,将该待测试图像作为输入数据输入至商品识别模型,该商品识别模型对输入数据进行识别处理,以输出待测试图像中各个商品的分类结果以及各个商品的位置信息。在具体实现时,可以利用鱼眼摄像机拍摄获取待测试图像。
2)当商品识别模型所输出的待测试图像中各个商品的分类结果以及各个商品的位置信息的准确率小于预设阈值时,获取待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签。
本实施例中,当获取商品识别模型所输出的待测试图像中各个商品的分类结果以及位置信息后,将商品识别模型所输出的识别结果与正确结果进行比对,获得该商品识别模型所输出的识别结果的准确率,如果该准确率小于预设阈值,获取该待测试图像中各个商品的实际位置信息以及各个商品的实际分类标签,以便将待测试图像作为训练数据重新训练商品识别模型。
在具体实现时,可以获取多组待测试图像,利用多组待测试图像对商品识别模型进行测试,以获取每组待测试图像的识别结果以及准确率。将多组识别结果对应的准确率的平均值作为该商品识别模型的准确率。如果该准确率小于预设阈值,则可以将多组测试图像作为训练数据重新对商品识别模型进行训练。
3)根据待测试图像、待测试图像中各个商品的实际位置信息以及各个商品的实际分类标签对商品识别模型进行训练,直至商品识别模型所输出的待测试图像中各个商品的分类结果以及位置信息的准确率大于或等于预设阈值。
本实施例中,将待测试图像、待测试图像中各个商品的实际位置信息以及各个商品的实际分类标签作为训练数据重新对商品识别模型进行训练,直至商品识别模型所输出的待测试图像中各个商品的分类结果以及各个商品的位置信息的准确率大于或等于预设阈值,从而获得最终的商品识别模型。
通过上述描述可知,首先训练生成商品识别模型,具体为,获取原始图像,并获取原始图像中各个商品的位置信息以及各个商品的分类标签。然后,根据原始图像、原始图像中各个商品的位置信息以及各个商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。在实际应用时,拍摄货架图像,将其作为待识别图像,该待识别图像中包括该货架所承载的商品。将该待识别图像输入商品识别模型,获得待识别图像中各个商品的分类结果以及各个商品的位置信息,从而获得当前货架上所承载的商品的类别和数量。即,通过本申请实施例提供的图像识别方法,可以快速识别当前货架所承载的商品类别和数量,以便根据预先存储的该货架的商品信息进行比对,从而可以获知该货架被拿取或放回的商品信息。
以上为本申请实施例提供的一种商品识别模型生成方法的具体实现方式,基于上述实施例中的商品识别模型,本申请实施例还提供了一种类商品识别的方法。
参见图4,该图为本申请实施例提供的一种商品识别方法的流程图,如图4所示,该方法可以包括:
S401:获取待识别图像,所述待识别图像至少包括一件商品。
本实施例中,当需要识别某图像中商品的类别以及商品的位置信息时,首先获取待识别图像,以便将待识别图像作为输入数据输入至商品识别模型中。其中,在获取待识别图像时,可以利用普通摄像机拍摄获取,也可以利用鱼眼摄像机拍摄获取,本实施例对于拍摄装置不进行限定。
S402:将待识别图像输入商品识别模型,获得待识别图像中各个商品的分类结果以及各个商品的位置信息。
本实施例中,将待识别图像输入商品识别模型,以使得商品识别模型输出对应的识别结果,该识别结果包括待识别图像中各个商品的分类结果以及各个商品的位置信息。在具体实现时,商品识别模型所输出的识别结果为商品的位置信息以及该位置信息对应的商品的类别,具体表现形式可以参见图3。其中,商品识别模型是根据上述的商品识别模型生成方法训练获得的。
可以理解的是,当获取待识别图像中各个商品的分类结果以及各个商品的位置信息后,可以获得同一类商品的数量。例如,识别结果为第一位置(x1y1w1h1)商品A;第二位置(x2y2w2h2)商品B;第三位置(x3y3w3h3)商品C;第四位置(x4y4w4h4)商品B;则该待识别图像中包括1个商品A、2个商品B和1个商品C。
另外,当待识别图像为一货架发生放取行为后的图像时,还可以根据该货架所对应的商品信息以及当前货架所承载的商品确定出放取行为发生时,发生数量变化的商品以及具体数量,具体为,获取货架对应的商品信息,该商品信息包括该货架所承载的商品类别和数量;根据商品信息、待识别图像中各个商品的分类结果以及各个商品的位置信息确定货架发生拿取行为时所对应的商品类别以及数量。其中,商品信息为货架未发生放取行为时,该货架所承载的商品类别和数量。
也就是,商品信息为货架未发生拿取行为时,该货架所承载的商品类别和数量,待识别图像所对应的识别结果为货架发生拿取行为后,当前货架所承载的商品类别和数量,二者经过比对计算,可以确定出该货架发生拿取行为时对应的商品类别以及数量。例如,商品信息包括2个商品A,3个商品B和1个商品C,待识别图像的识别结果为1个商品A、2个商品B和1个商品C,则可以确定用户从该货架中拿取1个商品A、1个商品B。再例如,商品信息包括2个商品A,3个商品B,待识别图像的识别结果为2个商品A、2个商品B和1个商品C,则可以确定用户从货架中拿取1个商品B、放回1个商品C。
在实际应用中,当确定该货架发生放取行为时所对应的商品类别和数量后,为保证商品信息以及用户购物清单的实时性,需要根据货架发生放取行为时所对应的商品类别以及数量对商品信息以及用户的购物清单进行更新,以便当下一时刻发生放取行为时,可以根据商品信息确定下一时刻货架发生放取行为时对应的商品类别和数量,以及根据用户的购物清单进行结算。例如,发生放取行为前商品信息包括2个商品A,3个商品B和1个商品C,发生放取行为后,确定出用户从该货架中拿取1个商品A、1个商品B,则更新后商品信息为1个商品A、2个商品B和1个商品C。同时,用户的购物清单为1个商品A和1个商品B。
通过上述描述可知,将该待识别图像输入商品识别模型,获得待识别图像中各个商品的分类结果以及各个商品的位置信息,从而获得当前货架上所承载的商品的类别和数量。即,通过本申请实施例提供的图像识别方法,可以快速识别当前货架所承载的商品信息,以便根据预先存储的该货架的商品信息进行比对,从而可以获知该货架被拿取或放回的商品信息。
基于上述方法实施例,本申请还提供了一种商品识别模型生成装置,下面将结合附图对该装置进行说明。
参见图5,该图为本申请实施例提供的一种商品识别模型生成装置结构图,如图5所示,该装置可以包括:
第一获取单元501,用于获取原始图像,所述原始图像至少包括一件商品;
第二获取单元502,用于获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签;
生成单元503,用于根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。
在一种可能的实现方式中,所述装置还包括:
第一获得单元,用于获取待测试图像,将所述待测试图像输入所述商品识别模型,获得所述待测试图像中各个商品的分类结果以及各个所述商品的位置信息,所述待测试图像至少包括一件商品;
第二获得单元,用于当所述商品识别模型所输出的所述待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率小于预设阈值时,获取所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签;
训练单元,用于根据所述待测试图像、所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签对所述商品识别模型进行训练,直至所述商品识别模型所输出的待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率大于或等于预设阈值。
在一种可能的实现方式中,所述第一获取单元,具体用于利用鱼眼摄像机获取多种角度下的所述原始图像或所述待测试图像;或,
所述第一获得单元,具体用于利用鱼眼摄像机获取多种角度下的所述原始图像或所述待测试图像。
在一种可能的实现方式中,所述第二获取单元,具体用于利用矩形框对所述原始图像或待测试图像中的各个所述商品进行标注,将所述矩形框的位置信息确定为各个所述商品的位置信息;所述位置信息包括所述矩形框的原点坐标以及所述矩形框的长度和宽度;或,
所述第二获得单元,具体用于利用矩形框对所述原始图像或待测试图像中的各个所述商品进行标注,将所述矩形框的位置信息确定为各个所述商品的位置信息;所述位置信息包括所述矩形框的原点坐标以及所述矩形框的长度和宽度。
在一种可能的实现方式中,所述初始深度学习模型为yolov3-tiny模型。
需要说明的是,本实施例中各个单元的实现可以参见上述方法实施例,本实施例在此不做限定。
参见图6,该图为本申请实施例提供的一种商品识别装置的结构图,如图6所示,该装置可以包括:
第三获取单元601,用于获取待识别图像,所述待识别图像至少包括一件商品;
第四获取单元602,用于将所述待识别图像输入商品识别模型,获得所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息;所述商品识别模型是根据所述的商品识别模型生成方法训练获得的。
在一种可能的实现方式中,所述装置还包括:
第五获取单元,用于根据各个所述商品的分类结果以及各个所述商品的位置信息获得同一类商品的数量。
在一种可能的实现方式中,所述待识别图像为一货架发生放取行为后的图像,所述货架承载有至少一种商品,所述装置还包括:
第六获取单元,用于获取所述货架对应的商品信息,所述商品信息包括所述货架所承载的商品类别和数量;
确定单元,用于根据所述商品信息、所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息确定所述货架发生放取行为时所对应的商品类别以及数量。
在一种可能的实现方式中,所述装置还包括:
更新单元,用于根据所述货架发生放取行为时所对应的商品类别以及数量更新所述商品信息和/或购物清单。
需要说明的是,本实施例中各个单元的实现可以参见上述方法实施例,本实施例在此不再赘述。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种商品识别模型生成方法,其特征在于,所述方法包括:
获取原始图像,所述原始图像至少包括一件商品;
获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签;
根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取待测试图像,将所述待测试图像输入所述商品识别模型,获得所述待测试图像中各个商品的分类结果以及各个所述商品的位置信息,所述待测试图像至少包括一件商品;
当所述商品识别模型所输出的所述待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率小于预设阈值时,获取所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签;
根据所述待测试图像、所述待测试图像中各个所述商品的实际位置信息以及各个所述商品的实际分类标签对所述商品识别模型进行训练,直至所述商品识别模型所输出的待测试图像中各个所述商品的分类结果以及各个所述商品的位置信息的准确率大于或等于预设阈值。
3.根据权利要求1或2所述的方法,其特征在于,所述获取原始图像或待测试图像,包括:
利用鱼眼摄像机获取多种角度下的所述原始图像或所述待测试图像。
4.根据权利要求1或2所述的方法,其特征在于,所述获取所述原始图像或所述待测试图像中各个所述商品的位置信息,包括:
利用矩形框对所述原始图像或待测试图像中的各个所述商品进行标注,将所述矩形框的位置信息确定为各个所述商品的位置信息;所述位置信息包括所述矩形框的原点坐标以及所述矩形框的长度和宽度。
5.一种商品识别方法,其特征在于,所述方法包括:
获取待识别图像,所述待识别图像至少包括一件商品;
将所述待识别图像输入商品识别模型,获得所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息;所述商品识别模型是根据权利要求1-4任一项所述的商品识别模型生成方法训练获得的。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据各个所述商品的分类结果以及各个所述商品的位置信息获得同一类商品的数量。
7.根据权利要求5或6所述的方法,其特征在于,所述待识别图像为一货架发生放取行为后的图像,所述货架承载有至少一种商品,所述方法还包括:
获取所述货架对应的商品信息,所述商品信息包括所述货架所承载的商品类别和数量;
根据所述商品信息、所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息确定所述货架发生放取行为时所对应的商品类别以及数量。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
根据所述货架发生放取行为时所对应的商品类别以及数量更新所述商品信息和/或购物清单。
9.一种商品识别模型生成装置,其特征在于,所述装置包括:
第一获取单元,用于获取原始图像,所述原始图像至少包括一件商品;
第二获取单元,用于获取所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签;
生成单元,用于根据所述原始图像、所述原始图像中各个所述商品的位置信息以及各个所述商品的分类标签对初始深度学习模型进行训练,生成商品识别模型。
10.一种商品识别装置,其特征在于,所述装置包括:
第三获取单元,用于获取待识别图像,所述待识别图像至少包括一件商品;
第四获取单元,用于将所述待识别图像输入商品识别模型,获得所述待识别图像中各个所述商品的分类结果以及各个所述商品的位置信息;所述商品识别模型是根据权利要求1-4任一项所述的商品识别模型生成方法训练获得的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910469641.4A CN110175590A (zh) | 2019-05-31 | 2019-05-31 | 一种商品识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910469641.4A CN110175590A (zh) | 2019-05-31 | 2019-05-31 | 一种商品识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110175590A true CN110175590A (zh) | 2019-08-27 |
Family
ID=67696188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910469641.4A Pending CN110175590A (zh) | 2019-05-31 | 2019-05-31 | 一种商品识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110175590A (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689005A (zh) * | 2019-09-05 | 2020-01-14 | 上海零眸智能科技有限公司 | 一种基于深度学习融合位置和形状信息的商品识别方法 |
CN110909776A (zh) * | 2019-11-11 | 2020-03-24 | 维沃移动通信有限公司 | 一种图像识别方法及电子设备 |
CN111144417A (zh) * | 2019-12-27 | 2020-05-12 | 创新奇智(重庆)科技有限公司 | 基于教师学生网络的智能货柜小目标检测方法及检测系统 |
CN111209911A (zh) * | 2020-01-07 | 2020-05-29 | 创新奇智(合肥)科技有限公司 | 基于语义分割网络的自定义标签识别系统及识别方法 |
CN111435437A (zh) * | 2019-12-26 | 2020-07-21 | 珠海大横琴科技发展有限公司 | 一种pcb行人重识别模型训练方法及pcb行人重识别方法 |
CN111445620A (zh) * | 2020-03-09 | 2020-07-24 | 广州中智融通金融科技有限公司 | 一种库房现金存储方法以及装置 |
CN111612000A (zh) * | 2020-05-26 | 2020-09-01 | 创新奇智(西安)科技有限公司 | 一种商品分类方法、装置、电子设备及存储介质 |
CN111612034A (zh) * | 2020-04-15 | 2020-09-01 | 中国科学院上海微系统与信息技术研究所 | 一种对象识别模型的确定方法、装置、电子设备及存储介质 |
CN111709371A (zh) * | 2020-06-17 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 基于人工智能的分类方法、装置、服务器和存储介质 |
CN111814862A (zh) * | 2020-06-30 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 果蔬识别方法及装置 |
CN112270664A (zh) * | 2020-04-16 | 2021-01-26 | 上海扩博智能技术有限公司 | 透明包装产品检测方法、系统、设备和存储介质 |
CN112990135A (zh) * | 2021-04-29 | 2021-06-18 | 北京每日优鲜电子商务有限公司 | 设备控制方法、装置、电子设备和计算机可读介质 |
CN113928266A (zh) * | 2020-07-10 | 2022-01-14 | 上海汽车集团股份有限公司 | 一种车辆电动尾门控制方法及设备 |
CN115249356A (zh) * | 2022-09-21 | 2022-10-28 | 浙江莲荷科技有限公司 | 识别方法、装置、设备及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509111A (zh) * | 2011-11-02 | 2012-06-20 | 大连理工大学 | 基于局部特征多级聚类及图像-类距离计算的商品图像自动分类算法 |
CN104991954A (zh) * | 2015-07-20 | 2015-10-21 | 河海大学 | 基于图像搜索的购物搜索系统及其实现方法 |
JP2017117025A (ja) * | 2015-12-22 | 2017-06-29 | キヤノン株式会社 | パターン識別方法及びその装置、そのプログラム |
CN108491799A (zh) * | 2018-03-23 | 2018-09-04 | 海深科技(宁波)有限公司 | 一种基于图像识别的智能售货柜商品管理方法及系统 |
CN108520194A (zh) * | 2017-12-18 | 2018-09-11 | 上海云拿智能科技有限公司 | 基于影像监测的货品感知系统及货品感知方法 |
CN108764313A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 基于深度学习的超市商品识别方法 |
CN109522967A (zh) * | 2018-11-28 | 2019-03-26 | 广州逗号智能零售有限公司 | 一种商品定位识别方法、装置、设备以及存储介质 |
CN109784385A (zh) * | 2018-12-29 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种商品自动识别方法、系统、装置及存储介质 |
-
2019
- 2019-05-31 CN CN201910469641.4A patent/CN110175590A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102509111A (zh) * | 2011-11-02 | 2012-06-20 | 大连理工大学 | 基于局部特征多级聚类及图像-类距离计算的商品图像自动分类算法 |
CN104991954A (zh) * | 2015-07-20 | 2015-10-21 | 河海大学 | 基于图像搜索的购物搜索系统及其实现方法 |
JP2017117025A (ja) * | 2015-12-22 | 2017-06-29 | キヤノン株式会社 | パターン識別方法及びその装置、そのプログラム |
CN108520194A (zh) * | 2017-12-18 | 2018-09-11 | 上海云拿智能科技有限公司 | 基于影像监测的货品感知系统及货品感知方法 |
CN108491799A (zh) * | 2018-03-23 | 2018-09-04 | 海深科技(宁波)有限公司 | 一种基于图像识别的智能售货柜商品管理方法及系统 |
CN108764313A (zh) * | 2018-05-17 | 2018-11-06 | 西安电子科技大学 | 基于深度学习的超市商品识别方法 |
CN109522967A (zh) * | 2018-11-28 | 2019-03-26 | 广州逗号智能零售有限公司 | 一种商品定位识别方法、装置、设备以及存储介质 |
CN109784385A (zh) * | 2018-12-29 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种商品自动识别方法、系统、装置及存储介质 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110689005A (zh) * | 2019-09-05 | 2020-01-14 | 上海零眸智能科技有限公司 | 一种基于深度学习融合位置和形状信息的商品识别方法 |
CN110909776A (zh) * | 2019-11-11 | 2020-03-24 | 维沃移动通信有限公司 | 一种图像识别方法及电子设备 |
CN111435437A (zh) * | 2019-12-26 | 2020-07-21 | 珠海大横琴科技发展有限公司 | 一种pcb行人重识别模型训练方法及pcb行人重识别方法 |
CN111144417A (zh) * | 2019-12-27 | 2020-05-12 | 创新奇智(重庆)科技有限公司 | 基于教师学生网络的智能货柜小目标检测方法及检测系统 |
CN111209911A (zh) * | 2020-01-07 | 2020-05-29 | 创新奇智(合肥)科技有限公司 | 基于语义分割网络的自定义标签识别系统及识别方法 |
CN111445620A (zh) * | 2020-03-09 | 2020-07-24 | 广州中智融通金融科技有限公司 | 一种库房现金存储方法以及装置 |
CN111612034A (zh) * | 2020-04-15 | 2020-09-01 | 中国科学院上海微系统与信息技术研究所 | 一种对象识别模型的确定方法、装置、电子设备及存储介质 |
CN111612034B (zh) * | 2020-04-15 | 2024-04-12 | 中国科学院上海微系统与信息技术研究所 | 一种对象识别模型的确定方法、装置、电子设备及存储介质 |
CN112270664A (zh) * | 2020-04-16 | 2021-01-26 | 上海扩博智能技术有限公司 | 透明包装产品检测方法、系统、设备和存储介质 |
CN111612000B (zh) * | 2020-05-26 | 2023-09-12 | 创新奇智(西安)科技有限公司 | 一种商品分类方法、装置、电子设备及存储介质 |
CN111612000A (zh) * | 2020-05-26 | 2020-09-01 | 创新奇智(西安)科技有限公司 | 一种商品分类方法、装置、电子设备及存储介质 |
CN111709371A (zh) * | 2020-06-17 | 2020-09-25 | 腾讯科技(深圳)有限公司 | 基于人工智能的分类方法、装置、服务器和存储介质 |
CN111709371B (zh) * | 2020-06-17 | 2023-12-22 | 腾讯科技(深圳)有限公司 | 基于人工智能的分类方法、装置、服务器和存储介质 |
CN111814862A (zh) * | 2020-06-30 | 2020-10-23 | 平安国际智慧城市科技股份有限公司 | 果蔬识别方法及装置 |
CN113928266A (zh) * | 2020-07-10 | 2022-01-14 | 上海汽车集团股份有限公司 | 一种车辆电动尾门控制方法及设备 |
CN112990135A (zh) * | 2021-04-29 | 2021-06-18 | 北京每日优鲜电子商务有限公司 | 设备控制方法、装置、电子设备和计算机可读介质 |
CN115249356A (zh) * | 2022-09-21 | 2022-10-28 | 浙江莲荷科技有限公司 | 识别方法、装置、设备及存储介质 |
CN115249356B (zh) * | 2022-09-21 | 2023-02-03 | 浙江莲荷科技有限公司 | 识别方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110175590A (zh) | 一种商品识别方法及装置 | |
CN107690657B (zh) | 根据影像发现商户 | |
CN108898109A (zh) | 物品关注度的确定方法、装置和系统 | |
CN109446883A (zh) | 商品状态识别方法、装置、电子设备及可读存储介质 | |
WO2019095884A1 (zh) | 一种基于图像识别技术的无人售货方法、装置、电子设备及计算机存储介质 | |
CN109919211A (zh) | 商品识别方法、装置、系统和计算机可读介质 | |
CN108345912A (zh) | 一种基于rgbd信息与深度学习的商品快速结算系统 | |
CN110197561A (zh) | 一种商品识别方法、装置及系统 | |
CN109977824B (zh) | 物品取放识别方法、装置及设备 | |
CN109271935A (zh) | 物品与电子标签的配对方法、装置及系统 | |
CN108537227A (zh) | 一种基于宽度学习和广角显微图像的商品离线鉴伪方法 | |
RU2695056C1 (ru) | Система и способ выявления факта потенциального мошенничества со стороны кассира, а также способ формирования выборки изображений товаров для обучения искусственной нейронной сети | |
US11354549B2 (en) | Method and system for region proposal based object recognition for estimating planogram compliance | |
US20190102654A1 (en) | Generation of Training Data for Image Classification | |
CN109635705A (zh) | 一种基于二维码和深度学习的商品识别方法及装置 | |
CN113468914B (zh) | 一种商品纯净度的确定方法、装置及设备 | |
CN108629318B (zh) | 一种基于图像识别技术的货架陈列识别方法、装置和系统 | |
CN108986125A (zh) | 物体边缘提取方法、装置及电子设备 | |
CN109858542A (zh) | 一种字符识别方法和装置 | |
US11748787B2 (en) | Analysis method and system for the item on the supermarket shelf | |
CN108648338A (zh) | 自动售货机的商品信息采集方法、装置和售货机 | |
CN110837824B (zh) | 用于售货装置中的商品识别方法、售货装置及存储介质 | |
US11715292B2 (en) | Methods and apparatus to perform image analyses in a computing environment | |
CN110288629A (zh) | 基于移动物体检测的目标检测自动标注方法及装置 | |
Chen et al. | Self-supervised multi-category counting networks for automatic check-out |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190827 |