CN111160330A - 电子标签识别辅助提升图像识别准确度的训练方法 - Google Patents

电子标签识别辅助提升图像识别准确度的训练方法 Download PDF

Info

Publication number
CN111160330A
CN111160330A CN201911394326.6A CN201911394326A CN111160330A CN 111160330 A CN111160330 A CN 111160330A CN 201911394326 A CN201911394326 A CN 201911394326A CN 111160330 A CN111160330 A CN 111160330A
Authority
CN
China
Prior art keywords
detection model
training
electronic tag
image
training method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911394326.6A
Other languages
English (en)
Other versions
CN111160330B (zh
Inventor
徐坚强
胡注娇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Fine Electronics Co Ltd
East China University of Science and Technology
Original Assignee
Shanghai Fine Electronics Co Ltd
East China University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Fine Electronics Co Ltd, East China University of Science and Technology filed Critical Shanghai Fine Electronics Co Ltd
Priority to CN201911394326.6A priority Critical patent/CN111160330B/zh
Publication of CN111160330A publication Critical patent/CN111160330A/zh
Application granted granted Critical
Publication of CN111160330B publication Critical patent/CN111160330B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种电子标签识别辅助提升图像识别准确度的训练方法，包括步骤：对用于图像识别的检测模型进行初步训练和测试，所述检测模型的图像识别准确率达到第一合格阈值，进而得到中间检测模型；通过电子标签和所述中间检测模型同时对发生变化的待检测商品进行识别，在两者识别结果不一致时，使用所述通过电子标签识别到的信息以及商品发生变化前后的图像信息对所述中间检测模型进行更新，重复该过程且统计所述中间检测模型的识别准确率，直到该识别准确率达到第二合格阈值，进而得到优化的检测模型。所述优化的检测模型可封装为可调用的程序模块，在使用过程中不再需要设置电子标签，且所述检测模型在商品变化的场景中具有较好的可靠性。

Description

电子标签识别辅助提升图像识别准确度的训练方法
技术领域
本发明属于图像识别领域，具体为一种电子标签识别辅助提升图像识别准确度的训练方法。
背景技术
目前，无人零售行业异常火爆,其中涉及的关键技术是对零售商品的识别。在人工成本高昂的今天,商品自动识别技术是保障商品高效流通的重要技术之一，在无人零售场景下有很大的需求。
现有商品自动识别技术有条码识别技术、RFID(射频识别标签)、计算机图像识别技术等。
其中条码识别技术是现阶段最成熟的商品识别技术，但仍然存在诸多不足：
1)通常需要人工对准条码位置进行扫码识别，无法实现全自动化；
2)条码标签容易变形、损坏，影响识别准确率，用户体验不太好。
RFID解决了所述条码识别技术存在的技术问题，也是一种比较成熟的技术。但其缺陷是成本过高，涉及标签本身成本、贴标人力成本、贴标时间成本等，尤其是对于单品利润极低的部分零售商品而言，成本相对过高，难以应用。
计算机图像识别技术，涉及图像处理技术和深度学习技术，发展迅速。对于图像识别技术而言，不需要条码标签、RFID，通过商品本身的图像特征进行识别，兼具自动化程度高、成本低、准确率高的特点。
同时，基于神经网络的图像识别技术在应用中，人工参与度低，商品维护要求低，用户体验感好。但由于神经网络图像识别准确度的提升需要在模型训练方面投入巨大的人力物力，一旦商品品类发生变化就需要重新投入人力进行图像采集、标注、训练，所以在推广方面也会受到限制。
发明内容
为了克服现有RFID的成本高以及基于神经网络的图像识别技术在商品品类发生变化时对模型进行再训练的成本较高的缺陷，本发明提供了一种电子标签识别辅助提升图像识别准确度的训练方法。
本发明解决其技术问题所采用的技术方案是：一种电子标签识别辅助提升图像识别准确度的训练方法，包括步骤：
S1、采集图像，并进行预处理，用以构造训练集和测试集；
S2、将所述训练集输入SSD神经网络算法对检测模型进行训练，训练完成后得到并输出待验证的检测模型；
S3、通过所述测试集对所述待验证的检测模型进行测试并统计测试结果，若所述待验证的检测模型的识别准确率不低于第一合格阈值，将所述待验证的检测模型作为中间检测模型；否则，根据测试结果调整所述SSD神经网络算法的损失函数和卷积参数，并重复步骤S2，对所述待验证的检测模型进行再次训练；
S4、通过电子标签识别方式和所述中间检测模型的图像识别方式同时对发生变化的待检测商品进行识别；
S5、判断步骤S4中两种识别方式的结果是否一致，若不一致，则将变化前和变化后的图像信息及图像中发生变化的区域的信息、以及步骤S4中通过所述电子标签识别到的商品信息输入所述SSD神经网络算法，对所述中间检测模型进行更新，即通过所述电子标签识别的结果反馈到所述SSD神经网络算法，进而对所述中间检测模型进行优化训练；在该步骤中，默认所述电子标签识别的结果均为正确；
S6、统计所述中间检测模型的识别结果以及所述中间检测模型的训练次数，若该中间检测模型的识别准确率不低于第二合格阈值且所述中间检测模型的训练次数达到预定义的次数，则结束训练并得到优化的检测模型；否则，调整待检测商品的变化情况，并重复步骤S4以对所述中间检测模型进行优化训练。
根据一个优选实施例，所述图像包含商品的特征面，且包含该特征面的图像不少于3000张。
根据一个优选实施例，所述图像的分辨率为640×480。
根据一个优选实施例，所述预处理步骤包括对各个图像中的ROI进行标注。
根据一个优选实施例，所述第一合格阈值的范围为80％～92％。
根据一个优选实施例，所述第二合格阈值的范围为93％～99％。
根据一个优选实施例，所述电子标签为RFID标签。
根据一个优选实施例，所述预定义的次数不少于5000次。
与现有技术相比，本发明的有益效果是：
1、在训练阶段引入电子标签的反馈，以对所述检测模型进行优化训练，提升了检测模型的图像识别的准确率，尤其是在商品品类发生变化时，无需再次投入巨大的人力和物力进行训练。
2、完成对检测模型的优化训练后可封装为可调用程序模块，进而避免了单纯使用电子标签识别的成本过高的问题。
附图说明
图1为实施例的电子标签识别辅助提升图像识别准确度的训练方法的详细流程示意图。
图2为实施例的一种系统部署方案的示意图。
图号说明：10.图像识别系统，11.图像采集设备，20.电子标签识别系统，21.电子标签阅读器，30.硬件平台，40.各类商品，41.电子标签。
具体实施方式
以下结合附图和具体实施例对本发明进一步说明。
本发明中，SSD神经网络算法是指应用CNN(神经网络)的SSD(single shotmultibox detector)算法，这是本领域的常规技术，其中还涉及根据训练结果对所述损失函数以及卷积参数进行调整，均是本领域的常规技术手段，因此以下实施例中，不再对算法本身作详细介绍。
如图1所示，本实施例的电子标签识别辅助提升图像识别准确度的训练方法，包括步骤：
S1、采集图像，并进行预处理，用以构造训练集和测试集；其中，图像的背景与待识别商品相比应具有较大的色差，优选的，预处理过程包括：将各类待识别商品放置于商品放置柜中，并配置相应的光源，使用相机采集所述商品放置中各类商品的最大特征面的图像，所述最大特征面是指能够反映该商品的突出特征的一面或者多个面，图像采集过程中，调整所述各类商品的位置、在所述相机的拍摄视野中的位置等信息，每类商品的每个特征面至少采集3000张分辨率为640×480的图像，并对各个图像中的ROI(感兴趣区域)进行标注，这些图像及其对应的ROI标注数据一部分作为训练集，余下部分作为测试集；
S2、将所述训练集输入SSD神经网络算法对检测模型进行训练，包括识别商品的种类和数量，训练完成后得到并输出待验证的检测模型；
S3、通过所述测试集对所述待验证的检测模型进行测试并统计测试结果，若所述待验证的检测模型的识别准确率不低于第一合格阈值，该第一合格阈值的优选范围为80％～92％，将所述待验证的检测模型作为中间检测模型；否则，根据测试结果调整所述SSD神经网络算法的损失函数和卷积参数，并重复步骤S2，对所述待验证的检测模型进行再次训练；
S4、通过电子标签识别方式和所述中间检测模型的图像识别方式同时对发生变化的待检测商品进行识别，该步骤待检测商品的变化涉及多种情况，例如因发生消费，图像识别的视野中商品数量减少，商品的品类减少，商品的排布方式、排放位置等发生变化等；该步骤中，为所述待检测商品均设置电子标签，本实施例中优选为RFID，并设置相应的电子标签识别系统、电子标签阅读器以进行商品识别；
S5、判断步骤S4中两种识别方式的结果是否一致，若不一致，则将变化前和变化后的图像信息及图像中发生变化的区域的信息、以及步骤S4中通过所述电子标签识别到的商品信息输入所述SSD神经网络算法，对所述中间检测模型进行更新；
S6、统计所述中间检测模型的识别结果以及所述中间检测模型的训练次数，若该中间检测模型的识别准确率不低于第二合格阈值，且所述中间检测模型的训练次数达到预定义的次数，则结束训练并得到优化的检测模型；所述第二合格阈值的优选范围为93％～99％,所述预定义的次数至少为5000次；否则，调整待检测商品的变化情况，并重复步骤S4以对所述中间检测模型进行优化训练。
如图2所示，本实施例中，所述电子标签识别系统20以及基于所述SSD神经网络算法的图像识别系统10均可运行于嵌入式系统、通用计算平台或者云计算平台等，容易理解所述两个系统所部署的硬件平台30不受本发明的限制。并且，所述电子标签识别系统20以及图像识别系统10的构成均是现有常规技术，与现有技术的区别主要在于所述电子标签识别系统20涉及向所述图像识别系统10传递或者发送其识别到的商品信息的过程。其中，需配置与所述图像识别系统10相对应的图像采集设备11，例如相机，该图像采集设备11采集的数据发送至所述图像识别系统10；配置与所述电子标签识别系统20相对应的电子标签阅读器21，该阅读器21将读取到的电子标签41的信息发送至所述电子标签识别系统20。对于上述常规技术手段，此处不再赘述。
通过本发明的电子标签识别辅助提升图像识别准确度的训练方法进行训练，克服了使用电子标签进行商品识别的成本过高的缺陷；在商品品类发生变化等情景下，通过电子标签的反馈，对所述检测模型进行再次训练和优化，准确性和稳定性大幅提高，其中准确率能够达到平均为97％。完成优化训练后，可将所述优化的检测模型封装为可调用的程序模块，在后续的使用过程中则不再需要设置电子标签，进而降低商品识别成本，同时保证了识别准确率。
以上实施例详细介绍了本发明训练方法的原理，但不应视为对本发明的限制。容易理解，根据本发明的技术方案，本领域技术人员还可以做进一步改进，但任何简单修改或等同替换，都将落入本发明的权利要求书所要求的保护范围内。

Claims (8)

1.电子标签识别辅助提升图像识别准确度的训练方法，其特征在于包括步骤：
S1、采集图像，并进行预处理，用以构造训练集和测试集；
S2、将所述训练集输入SSD神经网络算法对检测模型进行训练，训练完成后得到并输出待验证的检测模型；
S3、通过所述测试集对所述待验证的检测模型进行测试并统计测试结果，若所述待验证的检测模型的识别准确率不低于第一合格阈值，将所述待验证的检测模型作为中间检测模型；否则，根据测试结果调整所述SSD神经网络算法的损失函数和卷积参数，并重复步骤S2，对所述待验证的检测模型进行再次训练；
S4、通过电子标签识别方式和所述中间检测模型的图像识别方式同时对发生变化的待检测商品进行识别；
S5、判断步骤S4中两种识别方式的结果是否一致，若不一致，则将变化前和变化后的图像信息及图像中发生变化的区域的信息、以及步骤S4中通过所述电子标签识别到的商品信息输入所述SSD神经网络算法，对所述中间检测模型进行更新，即通过所述电子标签识别的结果反馈到所述SSD神经网络算法，进而对所述中间检测模型进行优化训练；在该步骤中，默认所述电子标签识别的结果均为正确；
S6、统计所述中间检测模型的识别结果以及所述中间检测模型的训练次数，若该中间检测模型的识别准确率不低于第二合格阈值且所述中间检测模型的训练次数达到预定义的次数，则结束训练并得到优化的检测模型；否则，调整待检测商品的变化情况，并重复步骤S4以对所述中间检测模型进行优化训练。
2.根据权利要求1所述的训练方法，其特征在于，所述图像包含商品的特征面，且包含该特征面的图像不少于3000张。
3.根据权利要求1所述的训练方法，其特征在于，所述图像的分辨率为640×480。
4.根据权利要求1所述的训练方法，其特征在于，所述预处理步骤包括对各个图像中的ROI进行标注。
5.根据权利要求1所述的训练方法，其特征在于，所述第一合格阈值的范围为80％～92％。
6.根据权利要求1所述的训练方法，其特征在于，所述第二合格阈值的范围为93％～99％。
7.根据权利要求1所述的训练方法，其特征在于，所述电子标签为RFID标签。
8.根据权利要求1所述的训练方法，其特征在于，所述预定义的次数不少于5000次。
CN201911394326.6A 2019-12-30 2019-12-30 电子标签识别辅助提升图像识别准确度的训练方法 Active CN111160330B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911394326.6A CN111160330B (zh) 2019-12-30 2019-12-30 电子标签识别辅助提升图像识别准确度的训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911394326.6A CN111160330B (zh) 2019-12-30 2019-12-30 电子标签识别辅助提升图像识别准确度的训练方法

Publications (2)

Publication Number Publication Date
CN111160330A true CN111160330A (zh) 2020-05-15
CN111160330B CN111160330B (zh) 2020-12-08

Family

ID=70559080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911394326.6A Active CN111160330B (zh) 2019-12-30 2019-12-30 电子标签识别辅助提升图像识别准确度的训练方法

Country Status (1)

Country Link
CN (1) CN111160330B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612708A (zh) * 2022-02-23 2022-06-10 广州市玄武无线科技股份有限公司 商品识别方法、装置、终端设备及计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014209724A1 (en) * 2013-06-26 2014-12-31 Amazon Technologies, Inc. Detecting item interaction and movement
US20160328660A1 (en) * 2015-05-04 2016-11-10 Yi Sun Huang Machine Learning System, Method, and Program Product for Point of Sale Systems
CN108520193A (zh) * 2018-03-27 2018-09-11 康体佳智能科技（深圳）有限公司 基于神经网络的二维码识别系统及识别方法
CN108846401A (zh) * 2018-05-30 2018-11-20 京东方科技集团股份有限公司 商品检测终端、方法、系统以及计算机设备、可读介质
CN109635705A (zh) * 2018-12-05 2019-04-16 上海交通大学 一种基于二维码和深度学习的商品识别方法及装置
CN110414559A (zh) * 2019-06-26 2019-11-05 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014209724A1 (en) * 2013-06-26 2014-12-31 Amazon Technologies, Inc. Detecting item interaction and movement
US20160328660A1 (en) * 2015-05-04 2016-11-10 Yi Sun Huang Machine Learning System, Method, and Program Product for Point of Sale Systems
CN108520193A (zh) * 2018-03-27 2018-09-11 康体佳智能科技（深圳）有限公司 基于神经网络的二维码识别系统及识别方法
CN108846401A (zh) * 2018-05-30 2018-11-20 京东方科技集团股份有限公司 商品检测终端、方法、系统以及计算机设备、可读介质
CN109635705A (zh) * 2018-12-05 2019-04-16 上海交通大学 一种基于二维码和深度学习的商品识别方法及装置
CN110414559A (zh) * 2019-06-26 2019-11-05 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BING-FEI WU，ET AL: "《An intelligent self-checkout system for smart retail》", 《2016 INTERNATIONAL CONFERENCE ON SYSTEM SCIENCE AND ENGINEERING》 *
LIZHENG LIU，ET AL.: "《A Smart Unstaffed Retail Shop Based on Artificial Intelligence and IoT》", 《2018 IEEE 23RD INTERNATIONAL WORKSHOP ON COMPUTER AIDED MODELING AND DESIGN OF COMMUNICATION LINKS AND NETWORKS》 *
梅啟成，等: "《基于深度学习的商品识别方法研究》", 《机电工程技术》 *
顾鸿铭: "《从"Amazon Go"看人工智能时代无人超市实现方案》", 《热点透视》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612708A (zh) * 2022-02-23 2022-06-10 广州市玄武无线科技股份有限公司 商品识别方法、装置、终端设备及计算机可读介质
CN114612708B (zh) * 2022-02-23 2022-12-09 广州市玄武无线科技股份有限公司 商品识别方法、装置、终端设备及计算机可读介质

Also Published As

Publication number Publication date
CN111160330B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
US11763443B2 (en) Method for monitoring manufacture of assembly units
CN109034694B (zh) 基于智能制造的生产原料智能存储方法及系统
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
GB2593551A (en) Model-based machine-learning and inferencing
KR101059801B1 (ko) 자동 물류 시스템 및 그 제어방법
CN110865077B (zh) 用于rfid天线生产的外观缺陷视觉检测系统
US11488126B2 (en) Cashier fraud detecting system and method and product image selection generation for artificial neural network learning related applications
CN110610169B (zh) 图片标注方法和装置、存储介质及电子装置
CN115302963A (zh) 一种基于机器视觉的条形码印刷控制方法、系统及介质
CN111160330B (zh) 电子标签识别辅助提升图像识别准确度的训练方法
CN111582786A (zh) 基于机器学习的快递单号识别方法、装置和设备
CN114494823A (zh) 零售场景下的商品识别检测计数方法及系统
CN206897873U (zh) 一种基于检测产品特性的图像处理与检测系统
CN112836724A (zh) 物体缺陷识别模型训练方法、装置、电子设备和存储介质
CN110689005A (zh) 一种基于深度学习融合位置和形状信息的商品识别方法
Gregory et al. A computer vision pipeline for automatic large-scale inventory tracking
CN115937189A (zh) 一种产品检测方法、装置及系统
CN114612897A (zh) 一种智能果蔬称重打票方法、装置、电子设备及存储介质
US20180173989A1 (en) Process and system of identification of products in motion in a product line
CN109344799B (zh) 物品识别方法、装置及设备、存储介质、电子装置
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
CN110175483A (zh) 一种基于标签的识别方法
CN117273618B (zh) 基于rfid的家居产品物流仓储配送信息智能管理系统
CN117358615B (zh) 一种自动喷码印刷缺陷检测方法及系统
CN114239632B (zh) 一种线棒材标签的识别方法、系统、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant