CN108256580A - 基于深度学习的商品图像标注方法及其装置 - Google Patents
基于深度学习的商品图像标注方法及其装置 Download PDFInfo
- Publication number
- CN108256580A CN108256580A CN201810053083.9A CN201810053083A CN108256580A CN 108256580 A CN108256580 A CN 108256580A CN 201810053083 A CN201810053083 A CN 201810053083A CN 108256580 A CN108256580 A CN 108256580A
- Authority
- CN
- China
- Prior art keywords
- commodity
- image
- annotation
- camera
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的商品图像标注方法及其装置，该方法，包括以下步骤：步骤S10：对原始训练数据库采用深度学习方法训练神经网络模型，得到商品标注模型；步骤S20：通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置，得到批注数据库；步骤S30：将批注数据库加入原始训练数据库中，重复步骤S10，得到标注模型，采用标注模型对待批注商品图像进行批注。该装置包括：原始训练模块、初次批注模块和批注模块。该方法提高了所得模型对商品图像中商品种类和位置的准确辨识，减少了人工投入，提高识别效率。能更好地运营无人零售超市，扩充无人超市的商品种类，更有效的为顾客提供消费服务。
Description
技术领域
本发明涉及一种基于深度学习的商品图像标注方法及其装置，属于图像识别领域。
背景技术
当今深度学习技术掀起了AI(人工智能)的新浪潮。广泛用于医学、图像处理、语音识别、机器翻译等领域。深度学习的提出使得人工神经网络重新成为机器学习最重要的算法之一，在传统的人工神经网络训练中增加了一个预训练阶段，即用无监督学习对每一层网络进行一次专门的训练，然后才用有监督学习对整个网络进行总体训练，也就是说计算机通过深度神经网络，模拟人脑的机制来学习、判断、决策。通过深度学习方法，人工神经网络的效果一举赶上甚至显著超过了支持向量机等其他机器学习方法。近年来，在IBM、谷歌、微软、科大讯飞、百度等公司很多工业级图像和语音处理应用上取得了非常好的效果。
在深度学习的初始训练中，往往需要大量的数据，以提高对图像中物品的识别准确性。而这些用于初始训练的数据，往往需要经过人工识别，并对图像进行标注，才能保证后续训练过程中的准确性。在无人值守商铺运营中，为了更好的让机器识别出图像中所含商品的种类，需要建立含有大量商品图像的初始训练数据库。而这一过程需要大量的人力、时间去标注图像中的商品信息(商品信息包括商品的种类以及商品在图像中的位置)。这一繁琐的过程增加了无人值守商铺的使用成本，增加了无人值守店铺的推广。
发明内容
根据本发明的一个方面，提供了一种基于深度学习的商品图像标注方法，该方法能提高对商品图像的标注效率，减少人工的投入，降低成本。
包括以下步骤：
步骤S10：对原始训练数据库采用深度学习方法训练神经网络模型，得到商品标注模型；
步骤S20：通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置，得到批注数据库；
步骤S30：将批注数据库加入原始训练数据库中，重复步骤S10，得到标注模型，采用标注模型对待批注商品图像进行批注。
优选地，还包括以下步骤：
步骤S40：在原始待批注图像中增加i种商品的图像重复步骤S10，得到其他种类商品标注模型，其中i＝2～n；
步骤S50：i取i+1后，重复步骤S40，得到n个第i类商品批注模型，由n个第i类商品批注模型构建得到商品自动批注模型，用商品自动批注模型对待批注商品图像进行批注。
优选地，原始训练数据库的获取包括以下步骤：
步骤S11：通过商品图像采集装置获取商品的训练图像；
步骤S12：人工标注训练图像中的商品种类以及图中位置；
步骤S13：将训练图像、图中商品种类及图中位置一一对应的映射关系，存储在训练数据库中。
优选地，商品图像采集装置包括摄像头、底座和转盘，转盘转动安装于底座的顶面上，待批注商品设置于转盘上，摄像头拍摄转盘设置。
优选地，摄像头包括第一摄像头和第二摄像头，第一摄像头和第二摄像头成锐角分列于转台两侧。
根据本发明的又一个方面，提供了基于深度学习的商品图像标注装置，包括：
原始训练模块，用于对原始训练数据库采用深度学习方法训练神经网络模型，得到商品标注模型；
初次批注模块，用于通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置，得到批注数据库；
批注模块，用于将批注数据库加入原始训练数据库中，返回原始训练模块，得到标注模型，采用标注模型对待批注商品图像进行批注。
优选地，还包括：
增图模块，用于在原始待批注图像中增加i种商品的图像后，返回原始训练模块，得到其他种类商品标注模型，其中i＝2～n；
重复模块，用于i取i+1后，返回增图模块，得到n个第i类商品批注模型，由n个第i类商品批注模型构建得到商品自动批注模型，用商品自动批注模型对待批注商品图像进行批注。
优选地，原始训练模块包括：
图像获取模块，用于通过商品图像采集装置获取商品的训练图像；
人工标注模块，用于人工标注训练图像中的商品种类以及图中位置；
储存模块，用于将训练图像、图中商品种类及图中位置一一对应的映射关系，存储在训练数据库中。
优选地，商品图像采集装置包括摄像头、底座和转盘，转盘转动安装于底座的顶面上，待批注商品设置于转盘上，摄像头拍摄转盘设置。
优选地，摄像头包括第一摄像头和第二摄像头，第一摄像头和第二摄像头成锐角分列于转台两侧。
本发明能产生的有益效果包括：
1)本发明所提供的基于深度学习的商品图像标注方法，通过深度学习方法对神经网络进行训练，提高了所得模型对商品图像中商品种类和位置的准确辨识，减少了人工投入，提高识别效率。能更好地运营无人零售超市，扩充无人超市的商品种类，更有效的为顾客提供消费服务。
2)本发明所提供的基于深度学习的商品图像标注装置，能快速获取大量商品的批注模型，减少人工投入，提高识别效率，缩短识别所需时间。能更好地运营无人零售超市，扩充无人超市的商品种类，更有效的为顾客提供消费服务。
附图说明
图1为本发明提供的基于深度学习的商品图像标注方法流程示意框图；
图2为本发明优选实施例中提供的商品图像采集装置示意图；
图3为本发明提供的基于深度学习的商品图像标注装置示意图；
部件和附图标记列表：
具体实施方式
下面结合实施例详述本发明，但本发明并不局限于这些实施例。
参见图1，本发明提供的基于深度学习的商品图像标注方法，包括以下步骤：
步骤S10：对原始训练数据库采用深度学习方法训练神经网络模型，得到商品标注模型；
步骤S20：通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置，得到批注数据库；
步骤S30：将批注数据库加入原始训练数据库中，重复步骤S10，得到标注模型，采用标注模型对待批注商品图像进行批注。
利用已自动标注的大批量商品图像作为训练数据集，通过深度学习，能不断的将批注后所得结果返回训练阶段，作为训练数据库使用，通过学习初次商品标注模型所得结果，降低神经网络模型在后续识别过程中出错的可能。随着程序的进行，不断提高准确度。采用该方法能减少人工投入，提高批注效率。批注效率的提高有利于大面积推广无人值守的各类店铺。标注模型用于识别商品图像时，识别效果较高。原始训练数据库的获取可以为商业购买。
优选的，该方法还包括以下步骤：
步骤S40：在原始待批注图像中增加i种商品的图像重复步骤S10，得到其他种类商品标注模型，其中i＝2～n，n为自然整数；
步骤S50：i取i+1后，重复步骤S40，得到n个第i类商品批注模型，由n个第i类商品批注模型构建得到商品自动批注模型，用商品自动批注模型对待批注商品图像进行批注。
此处的i的取值可以根据所要处理的商品种类进行设定。通过多次循环构建能识别i中商品图像的数据库。将人工从标注商品图像中彻底解放出来。随着循环不断的进行，能提高模型结果的准确性。优选的i≤20。每次增加的商品种类较少，有利于防止批注结果差别较大问题的出现。
具体的，通过不断的增加一个个小批量的商品种类，利用上述的步骤，训练其他种类商品标注模型来自动标注大批量的商品图像，再不断的提升该其他种类商品标注模型的识别检测精度。这样不断的增加一个小批量的商品种类，结合训练的多个网络模型，达到全自动识别标注商品图像的目标。既提高了工作效率也降低成本。
优选的，原始训练数据库的获取包括以下步骤：
步骤S11：通过商品图像采集装置获取商品的训练图像；
步骤S12：人工标注训练图像中的商品种类以及图中位置；
步骤S13：将训练图像、图中商品种类及图中位置一一对应的映射关系，存储在训练数据库中。
具体的：人工标注i个(例如20类商品)的商品图像(标注信息包括商品的种类以及商品在图像中的位置)。此处商品的种类和品牌为一一对应关系。也可以根据需要批注同一种商品的多个品牌。由于不同品牌的同种商品存在外观上的较大差别，为了提高标注准确度，优选从铺货、标注到标注，同一种商品只采用同一品牌。
优选的，参见图2，商品图像采集装置包括摄像头、底座12和转盘11。底座12的底面固定设置于台面上。转盘11转动安装于底座12的顶面上。待拍摄的商品放置于转盘11表面上。摄像头朝向转盘11拍摄设置。
优选的，摄像头包括第一摄像头21和第二摄像头22，第一摄像头21和第二摄像头22成锐角分列于转台两侧。按此设置能保证对待批注商品图像的完整获得。使用时，转盘11每转动一个角度(例如45°)，第一、第二摄像头22、22分别抓拍一张图像。从而获得商品各个角度的清晰图像。例如每次拍摄后，转台转过45°，则转盘11旋转一周后，两个摄像头总共抓拍16张商品图像。
优选的，第一摄像头21和第二摄像头22与显示器相连接，获取多个图像后集齐后作为原始训练数据库或其他数据库均可。
使用时，打开软件，设置好商品图像采集系统中网络摄像头的IP及端口，连接摄像头，在软件页面显示出摄像头的实时图像；然后通过摄像头抓取商品图像采集系统转台上的商品图像，获取不同角度的商品图像；之后将每张商品图像通过预先训练的神经网络，标注出商品的种类以及位置信息，从而实现商品的自动标注。
参见图3，本发明的另一方面还提供了一种基于深度学习的商品图像标注方法装置，包括
原始训练模块100，用于对原始训练数据库采用深度学习方法训练神经网络模型，得到商品标注模型；
初次批注模块200，用于通过商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置，得到批注数据库；
批注模块300，用于将批注数据库加入原始训练数据库中，返回原始训练模块100，得到标注模型，采用标注模型对待批注商品图像进行批注。
优选地，还包括：
增图模块，用于在原始待批注图像中增加i种商品的图像后，返回原始训练模块100，得到其他种类商品标注模型，其中i＝2～n；
重复模块，用于i取i+1后，返回增图模块，得到n个第i类商品批注模型，由n个第i类商品批注模型构建得到商品自动批注模型，用商品自动批注模型对待批注商品图像进行批注。
优选地，原始训练模块100包括：
图像获取模块，用于通过商品图像采集装置获取商品的训练图像；
人工标注模块，用于人工标注训练图像中的商品种类以及图中位置；
储存模块，用于将训练图像、图中商品种类及图中位置一一对应的映射关系，存储在训练数据库中。
优选地，商品图像采集装置包括摄像头、底座12和转盘11，转盘11转动安装于底座12的顶面上，待批注商品设置于转盘11上，摄像头拍摄转盘11设置。
优选地，摄像头包括第一摄像头21和第二摄像头22，第一摄像头21和第二摄像头22成锐角分列于转台两侧。
不断的增加一个个不同种类的小批量商品，最终实现全自动识别标注商品图像的目的。
以上，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。
Claims (10)
1.一种基于深度学习的商品图像标注方法，其特征在于，包括以下步骤：
步骤S10：对原始训练数据库采用深度学习方法训练神经网络模型，得到商品标注模型；
步骤S20：通过所述商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置，得到批注数据库；
步骤S30：将所述批注数据库加入所述原始训练数据库中，重复步骤S10，得到标注模型，采用所述标注模型对待批注商品图像进行批注。
2.根据权利要求1所述的基于深度学习的商品图像标注方法，其特征在于，还包括以下步骤：
步骤S40：在所述原始待批注图像中增加i种商品的图像重复步骤S10，得到其他种类商品标注模型，其中i＝2～n；
步骤S50：i取i+1后，重复步骤S40，得到n个所述第i类商品批注模型，由n个所述第i类商品批注模型构建得到商品自动批注模型，用所述商品自动批注模型对所述待批注商品图像进行批注。
3.根据权利要求1所述的基于深度学习的商品图像标注方法，其特征在于，所述原始训练数据库的获取包括以下步骤：
步骤S11：通过商品图像采集装置获取所述商品的训练图像；
步骤S12：人工标注所述训练图像中的商品种类以及图中位置；
步骤S13：将所述训练图像、图中商品种类及图中位置一一对应的映射关系，存储在所述训练数据库中。
4.根据权利要求3所述的基于深度学习的商品图像标注方法，其特征在于，所述商品图像采集装置包括摄像头、底座和转盘，所述转盘转动安装于所述底座的顶面上，待批注商品设置于所述转盘上，所述摄像头拍摄所述转盘设置。
5.根据权利要求4所述的基于深度学习的商品图像标注方法，其特征在于，所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头成锐角分列于所述转台两侧。
6.一种基于深度学习的商品图像标注装置，其特征在于，包括：
原始训练模块，用于对原始训练数据库采用深度学习方法训练神经网络模型，得到商品标注模型；
初次批注模块，用于通过所述商品标注模型标注原始待批注图像中所含商品的种类和商品所处位置，得到批注数据库；
批注模块，用于将所述批注数据库加入所述原始训练数据库中，返回所述原始训练模块，得到标注模型，采用所述标注模型对待批注商品图像进行批注。
7.根据权利要求6所述的基于深度学习的商品图像标注装置，其特征在于，还包括：
增图模块，用于在所述原始待批注图像中增加i种商品的图像后，返回所述原始训练模块，得到其他种类商品标注模型，其中i＝2～n；
重复模块，用于i取i+1后，返回所述增图模块，得到n个所述第i类商品批注模型，由n个所述第i类商品批注模型构建得到商品自动批注模型，用所述商品自动批注模型对所述待批注商品图像进行批注。
8.根据权利要求6所述的基于深度学习的商品图像标注装置，其特征在于，所述原始训练模块包括：
图像获取模块，用于通过商品图像采集装置获取所述商品的训练图像；
人工标注模块，用于人工标注所述训练图像中的商品种类以及图中位置；
储存模块，用于将所述训练图像、图中商品种类及图中位置一一对应的映射关系，存储在所述训练数据库中。
9.根据权利要求8所述的基于深度学习的商品图像标注装置，其特征在于，所述商品图像采集装置包括摄像头、底座和转盘，所述转盘转动安装于所述底座的顶面上，待批注商品设置于所述转盘上，所述摄像头拍摄所述转盘设置。
10.根据权利要求9所述的基于深度学习的商品图像标注装置，其特征在于，所述摄像头包括第一摄像头和第二摄像头，所述第一摄像头和所述第二摄像头成锐角分列于所述转台两侧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810053083.9A CN108256580A (zh) | 2018-01-19 | 2018-01-19 | 基于深度学习的商品图像标注方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810053083.9A CN108256580A (zh) | 2018-01-19 | 2018-01-19 | 基于深度学习的商品图像标注方法及其装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108256580A true CN108256580A (zh) | 2018-07-06 |
Family
ID=62741466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810053083.9A Pending CN108256580A (zh) | 2018-01-19 | 2018-01-19 | 基于深度学习的商品图像标注方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108256580A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766916A (zh) * | 2018-12-17 | 2019-05-17 | 新绎健康科技有限公司 | 一种基于深度学习模型确定舌象样本库的方法和系统 |
| CN109784385A (zh) * | 2018-12-29 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种商品自动识别方法、系统、装置及存储介质 |
| CN110956159A (zh) * | 2019-12-16 | 2020-04-03 | 安徽信息工程学院 | 一种用于智能售货柜训练自动标定数据集的装置 |
| CN111368613A (zh) * | 2019-05-22 | 2020-07-03 | 深圳深知未来智能有限公司 | 一种智能无人售货柜的快速上新方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150170002A1 (en) * | 2013-05-31 | 2015-06-18 | Google Inc. | Object detection using deep neural networks |
| CN106529568A (zh) * | 2016-10-11 | 2017-03-22 | 浙江工业大学 | 一种基于bp神经网络的珍珠多分类方法 |
| CN106897661A (zh) * | 2017-01-05 | 2017-06-27 | 合肥华凌股份有限公司 | 一种食材图像的智能化识别方法、系统和家用电器 |
-
2018
- 2018-01-19 CN CN201810053083.9A patent/CN108256580A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150170002A1 (en) * | 2013-05-31 | 2015-06-18 | Google Inc. | Object detection using deep neural networks |
| CN106529568A (zh) * | 2016-10-11 | 2017-03-22 | 浙江工业大学 | 一种基于bp神经网络的珍珠多分类方法 |
| CN106897661A (zh) * | 2017-01-05 | 2017-06-27 | 合肥华凌股份有限公司 | 一种食材图像的智能化识别方法、系统和家用电器 |
Non-Patent Citations (1)
| Title |
|---|
| 胡晶晶: "基于神经节分化的增量式目标识别系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109766916A (zh) * | 2018-12-17 | 2019-05-17 | 新绎健康科技有限公司 | 一种基于深度学习模型确定舌象样本库的方法和系统 |
| CN109766916B (zh) * | 2018-12-17 | 2023-05-16 | 新绎健康科技有限公司 | 一种基于深度学习模型确定舌象样本库的方法和系统 |
| CN109784385A (zh) * | 2018-12-29 | 2019-05-21 | 广州海昇计算机科技有限公司 | 一种商品自动识别方法、系统、装置及存储介质 |
| CN111368613A (zh) * | 2019-05-22 | 2020-07-03 | 深圳深知未来智能有限公司 | 一种智能无人售货柜的快速上新方法 |
| CN111368613B (zh) * | 2019-05-22 | 2023-04-25 | 深圳深知未来智能有限公司 | 一种智能无人售货柜的快速上新方法 |
| CN110956159A (zh) * | 2019-12-16 | 2020-04-03 | 安徽信息工程学院 | 一种用于智能售货柜训练自动标定数据集的装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | RPC: A large-scale retail product checkout dataset | |
| CN108256580A (zh) | 基于深度学习的商品图像标注方法及其装置 | |
| Ma et al. | Rpt: Learning point set representation for siamese visual tracking | |
| Hare et al. | Efficient online structured output learning for keypoint-based object tracking | |
| CN110503077B (zh) | 一种基于视觉的实时人体动作分析方法 | |
| CN107679447A (zh) | 面部特征点检测方法、装置及存储介质 | |
| CN108918536A (zh) | 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质 | |
| CN108109055B (zh) | 一种基于图像渲染的跨场景服装检索方法 | |
| CN105095475B (zh) | 基于两级融合的不完整属性标记行人重识别方法与系统 | |
| WO2021082692A1 (zh) | 一种行人图片标注方法、装置、存储介质和智能设备 | |
| Wang et al. | Batch coherence-driven network for part-aware person re-identification | |
| Buoncompagni et al. | Saliency-based keypoint selection for fast object detection and matching | |
| CN108853953A (zh) | 一种形体训练方法、装置、系统、计算机设备及存储介质 | |
| CN109857878A (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| CN107330363B (zh) | 一种快速的互联网广告牌检测方法 | |
| Pondenkandath et al. | Identifying cross-depicted historical motifs | |
| Chen et al. | Self-supervised multi-category counting networks for automatic check-out | |
| AUGMENTED | Grayscale image enhancement for enhancing features detection in marker-less augmented reality technology | |
| CN111666954A (zh) | 一种显著区域的联合学习提取方法及系统 | |
| US20230196558A1 (en) | Medicine image recognition method, electronic device and readable storage medium | |
| Gustavsson et al. | Cloth manipulation based on category classification and landmark detection | |
| Güzel | Performance evaluation for feature extractors on street view images | |
| Vivek et al. | A Way to Mark Attentance using Face Recognition using PL | |
| Kerami et al. | Classification of X-ray images using grid approach | |
| Peng et al. | Combining texture and shape cues for object recognition with minimal supervision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180706 |