CN108647553B - 模型训练用图像的快速扩充方法、系统、设备及存储介质 - Google Patents

模型训练用图像的快速扩充方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN108647553B
CN108647553B CN201810442643.XA CN201810442643A CN108647553B CN 108647553 B CN108647553 B CN 108647553B CN 201810442643 A CN201810442643 A CN 201810442643A CN 108647553 B CN108647553 B CN 108647553B
Authority
CN
China
Prior art keywords
commodity
bar code
image
images
price label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810442643.XA
Other languages
English (en)
Other versions
CN108647553A (zh
Inventor
杨聪
柯岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Clobotics Technology Co ltd
Original Assignee
Shanghai Clobotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Clobotics Technology Co ltd filed Critical Shanghai Clobotics Technology Co ltd
Priority to CN201810442643.XA priority Critical patent/CN108647553B/zh
Publication of CN108647553A publication Critical patent/CN108647553A/zh
Application granted granted Critical
Publication of CN108647553B publication Critical patent/CN108647553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1447—Methods for optical code recognition including a method step for retrieval of the optical code extracting optical codes from image or text carrying said optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G06K7/1482—Methods for optical code recognition the method including quality enhancement steps using fuzzy logic or natural solvers, such as neural networks, genetic algorithms and simulated annealing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了一种模型训练用图像的快速扩充方法、系统、设备及存储介质，包括采集若干张图像，通过预设的物体检测模型对每一图像上进行单元检测，识别图像上的多个商品区域；对每一图像上的价格标签进行单元检测，识别图像上的多个价格标签区域；识别出每一价格标签区域的条形码或条形码数列，读取条形码或条形码数列对应的商品信息，进而确定每一价格标签区域对应的商品信息；将商品区域的中心点与水平方向上距离最小的价格标签区域对应的商品信息相关联。本发明中商品图像自动采集车在商场中采集的货架上商品的图像，进而识别图像上的商品和条形码，并将条形码读出的商品信息与商品的图像一一对应，形成标注数据库，便于商品的管理。

Description

模型训练用图像的快速扩充方法、系统、设备及存储介质
技术领域
本发明涉及新零售，具体地，涉及一种模型训练用图像的快速扩充方法、系统、设备及存储介质。
背景技术
人工智能一浪接一浪地席卷全球，AI的其中一个重要分支——计算机视觉，也如雨后春笋，不断涌现出新的想法和应用。人脸识别已经逐渐渗透我们的日常生活，机器能够认准人脸，想必大家都有所耳闻；而另一类计算机视觉的应用，是进行商品识别。
当前新兴的一些无人零售店，背后就需要机器对商品进行自动识别，拍图购物、AR互动营销等场景，也运用了商品识别技术。基于深度神经网络的人工智能进行图像识别时，首先要有大量的数据。在无人零售店上应用时，需要对于每一商品进行识别，根据商品的特征辨识度，通常需要几十到几百张的有效图片，并对采集到的图片进行标准。因此有必要提供一种自动标注工具，实现图像的快速采集以及自动标注。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种模型训练用图像的快速扩充方法、系统、设备及存储介质。
根据本发明提供的模型训练用图像的快速扩充方法，包括如下步骤：
步骤S1：采集若干张图像，通过预设的物体检测模型对每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
步骤S2：通过预设的价签检测模型对每一所述图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；
步骤S3：识别出每一所述价格标签区域的条形码或条形码数列，读取所述条形码或条形码数列对应的商品信息，进而确定每一价格标签区域对应的商品信息；
步骤S4：将所述商品区域的中心点与水平方向上距离最小的所述价格标签区域对应的商品信息相关联。
优选地，所述图像采用商品图像自动采集车采集；
所述商品图像自动采集车包括车体、支架以及相机；所述支架设置在所述车体上且沿竖直方向延伸；所述车体带动所述支架移动；
所述相机通过安装件可拆卸的连接所述支架；多个所述相机沿所述支架的高度依次排列。
优选地，所述商品图像自动采集车的使用方法包括如下步骤：
步骤M1：根据目标商场中货架层数安装相对应数量的相机，并将每一所述相机的高度调整为与所述货架的一层高相一致；
步骤M2：使所述商品图像自动采集车根据设定路线移动；
步骤M3：当所述商品图像自动采集车移动至一货架前时，多个所述相机朝向所述货架的多层上的商品，对多层上的商品同时进行采集。
优选地，所述步骤S3包括如下步骤：
步骤S301：读取所述价格标签区域的条形码信息，当读取所述条形码信息失败时，触发步骤S302：
步骤S302：识别所述价格标签区域中多个数字顺次排列形成的条形码数字区域，通过OCR技术识别所述条形码数字区域的条形码数列；
步骤S303：判断所述条形码数列的位数是否与设定位数相一致，当一致时触发步骤S304，当不一致时，删除所述条形码数列对应的价格标签区域；
步骤S304：将所述条形码数列中的英文字母根据预设置的错误更正表更正为相对应的数字；
步骤S305：根据所述条形码信息或更正后的所述条形码数列查询预设值的图形码数据库查询出所述条形码信息或更正后的所述条形码数列对应的所述商品信息。
优选地，还包括如下步骤：
步骤S5：根据预设置的商品信息数据库对关联后商品区域与商品信息进行校验；
步骤S6：将校验后相关联的商品区域与商品信息存于标注数据库中；
所述商品信息数据库的建立包括如下步骤：
步骤N1：将一目标商品放在一转盘上，所述转盘带动所述目标商品以设定的转速转达；
步骤N2：通过相机以设定频率拍摄多张所述目标商品的图像；
步骤N3：重复执行步骤N1至步骤N2，实现多个目标商品的拍摄，将目标商品的图像与目标商品的商品信息相关联形成所述商品信息数据库。
优选地，所述步骤S1包括如下步骤：
步骤S101：将多张测试图像中的商品区域进行标记生成多张用于商品区域识别的训练图像，通过所述用于商品区域识别的训练图像训练物体检测模型；
步骤S102：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S103：对转正后的所述图像进行增强处理后输入所述商品识别模型进行识别。
优选地，所述步骤S2包括如下步骤：
步骤S201：在多张测试图像上标记出价格标签区域生成多张用于价格标签识别的训练图像；
步骤S202：在多张测试图像上标记出待排除价格标签区域生成多张用于价格标签排除的训练图像；
步骤S203：通过所述多张用于价格标签识别的训练图像和所述多张用于价格标签排除的训练图像训练价格标签识别模型；
步骤S204：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S205：将转正后的所述图像进行增强处理后输入所述价格标签识别模型进行识别。
根据本发明提供的模型训练用图像的快速扩充系统，用于所述的模型训练用图像的快速扩充方法，其特征在于，包括：
商品区域识别模块，用于采集若干张图像，通过预设的物体检测模型对每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
价格标签区域识别模块，用于通过预设的价签检测模型对每一所述图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；
商品信息读取模块，用于识别出每一所述价格标签区域的条形码或条形码数列，读取所述条形码或条形码数列对应的商品信息，进而确定每一价格标签区域的条形码对应的商品信息；
商品条形码关联模块，用于将所述商品区域的中心点与水平方向上距离最小的所述价格标签区域对应的商品信息相关联。
根据本发明提供的模型训练用图像的快速扩充设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述模型训练用图像的快速扩充方法的步骤。
根据本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述模型训练用图像的快速扩充方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明中商品图像自动采集车在商场中采集的货架上商品的图像，进而识别所述图像上的商品和条形码，并将所述条形码读出的商品信息与所述商品的图像一一对应，形成标注数据库，便于商品的管理；
2、本发明中图像自动采集车上的相机通过安装件可拆卸的连接所述支架，能够根据货架的层数安装相机的数量，实现图像自动采集车采集在一货架前行走单次即实现该货架上所有图像的采集；
3、本发明中通过预设值的错误更正表，对OCR技术识别错误的数字进行更正，提高了条形码数列的识别精度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中模型训练用图像的快速扩充方法的步骤流程图；
图2为本发明中商品图像自动采集车的结构示意图；
图3为本发明中商品图像自动采集车的使用方法的步骤流程图；
图4为本发明中商品信息查询的步骤流程图；
图5为本发明变形例中模型训练用图像的快速扩充方法的步骤流程图；
图6为本发明中商品信息数据库建立的步骤流程图；
图7为本发明中商品区域进行单元检测的步骤流程图；
图8为本发明中价格标签区域进行单元检测的步骤流程图；
图9为本发明中模型训练用图像的快速扩充系统的模块示意图；
图10为本发明中模型训练用图像的快速扩充设备的结构示意图；以及
图11为本发明中计算机可读存储介质的结构示意图。
图中：
1为车体；
2为支架；
3为相机。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明中模型训练用图像的快速扩充方法的步骤流程图；如图1所示，本发明提供的模型训练用图像的快速扩充方法，包括如下步骤：
步骤S1：采集若干张图像，通过预设的物体检测模型对每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
步骤S2：通过预设的价签检测模型对每一所述图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；
步骤S3：识别出每一所述价格标签区域的条形码或条形码数列，读取所述条形码或条形码数列对应的商品信息，进而确定每一价格标签区域对应的商品信息；
步骤S4：将所述商品区域的中心点与水平方向上距离最小的所述价格标签区域对应的商品信息相关联。
在步骤S1中，当识别出所述商品区域时，对每一所述商品区域标注一识别信心值，并将低于预设定的识别信心阈值的商品区域删除，在本实施例中，所述识别信心阈值可以为80％。
在步骤S2中，当识别出所述价格标签区域时，对每一所述价格标签区域标注一识别信心值，并将低于预设定的识别信心阈值的价格标签区域删除，在本实施例中，所述识别信心阈值可以为80％。
在步骤S2中，当所述商品区域与相关联的价格标签区域在水平方向上的距离大于预设定的阈值距离时，将该配对关联的商品区域、商品信息删除。
图2为本发明中商品图像自动采集车的结构示意图，如图2所示，所述图像采用商品图像自动采集车采集；
所述商品图像自动采集车包括车体1、支架2以及相机3；所述支架2设置在所述车体1上且沿竖直方向延伸；所述车体1带动所述支架2移动；
所述相机3通过安装件可拆卸的连接所述支架2；多个所述相机3沿所述支架2的高度依次排列。
在变形例中，所述图像通过手机、摄像头、装载摄像头的机器人或无人机等拍摄。该条形码标签上至少具有一条形码和价格、产品名称、产品型号等文字信息。所述价格标签区域便是该条形码标签在所述图像上的区域，所述商品区域便是商品在所述图像上的区域。
图3为本发明中商品图像自动采集车的使用方法的步骤流程图，所述商品图像自动采集车的使用方法包括如下步骤：
步骤M1：根据目标商场中货架层数安装相对应数量的相机，并将每一所述相机的高度调整为与所述货架的一层高相一致；
步骤M2：使所述商品图像自动采集车根据设定路线移动；
步骤M3：当所述商品图像自动采集车移动至一货架前时，多个所述相机朝向所述货架的多层上的商品，对多层上的商品同时进行采集。
即当使用本发明中的商品图像自动采集车时，商品图像自动采集车在一商城内转根据设定路线行走，即可实现对所有货架上的商品图像的采集。
图4为本发明中商品信息查询的步骤流程图，如图4所示，所述步骤S3包括如下步骤：
步骤S301：读取所述价格标签区域的条形码信息，当读取所述条形码信息失败时，触发步骤S302：
步骤S302：识别所述价格标签区域中多个数字顺次排列形成的条形码数字区域，通过OCR技术识别所述条形码数字区域的条形码数列；
步骤S303：判断所述条形码数列的位数是否与设定位数相一致，当一致时触发步骤S304，当不一致时，删除所述条形码数列对应的价格标签区域。
步骤S304：将所述条形码数列中的英文字母根据预设置的错误更正表更正为相对应的数字；
步骤S305：根据所述条形码信息或更正后的所述条形码数列查询预设值的图形码数据库查询出所述条形码信息或更正后的所述条形码数列对应的所述商品信息。
在本实施例中，通过深度学习的方法识别所述条形码数字区域。所述预设置的错误更正表至少包括将“i”更正为“1”，将“Z”更正为“2”，将“T”更正为“7”，将“q”更正为“9”。
在本实施例中，读取所述条形码信息时，采用ZBar算法。
图5为本发明变形例中模型训练用图像的快速扩充方法的步骤流程图，本领域技术人员可以理解为，该变形例为对上述实施例的变形例，该变形例与上述实施例的区别技术特征在于还包括如下步骤：
步骤S5：根据预设置的商品信息数据库对关联后商品区域与商品信息进行校验；
步骤S6：将校验后相关联的商品区域与商品信息存于标注数据库中；
图6为本发明中商品信息数据库建立的步骤流程图，所述商品信息数据库的建立包括如下步骤：
步骤N1：将一目标商品放在一转盘上，所述转盘带动所述目标商品以设定的转速转达；
步骤N2：通过相机以设定频率拍摄多张所述目标商品的图像；
步骤N3：重复执行步骤N1至步骤N2，实现多个目标商品的拍摄，将目标商品的图像与目标商品的商品信息相关联形成所述商品信息数据库。
即在该变形例中，对于多个目标商品进行单独采集形成校验用的商品信息数据库，从而由有人工参考该商品信息数据库对商品区域与商品信息。
图7为本发明中商品区域进行单元检测的步骤流程图，如图7所示，所述步骤S1包括如下步骤：
步骤S101：将多张测试图像中的商品区域进行标记生成多张用于商品区域识别的训练图像，通过所述用于商品区域识别的训练图像训练物体检测模型；
步骤S102：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S103：对转正后的所述图像进行增强处理后输入所述商品识别模型进行识别。
在本实施例中，所述标记为对商品区域的位置进行标记，具体为通过商品区域左上角的坐标(x,y)，宽度w和h标定商品区域在图片中的位置信息。所述目标基准线可以选取所述图像中货架上沿水平方向延伸的一条边。
在本实施例中，所述物体检测模型采用神经网络算法建立。
图8为本发明中价格标签区域进行单元检测的步骤流程图；所述步骤S2包括如下步骤：
步骤S201：在多张测试图像上标记出价格标签区域生成多张用于价格标签识别的训练图像；
步骤S202：在多张测试图像上标记出待排除价格标签区域生成多张用于价格标签排除的训练图像；
步骤S203：通过所述多张用于价格标签识别的训练图像和所述多张用于价格标签排除的训练图像训练价格标签识别模型；
步骤S204：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S205：将转正后的所述图像进行增强处理后输入所述价格标签识别模型进行识别。
在本实施例中，所述标记出价格标签区域为对价格标签区域的位置进行标记，所述标记出待排除价格标签区域为对待排除价格标签区域进行标记。所述目标基准线可以选取所述图像中货架上沿水平方向延伸的一条边。
在本实施例中，所述价格标签识别模型采用神经网络算法建立。
图9为本发明中模型训练用图像的快速扩充系统的模块示意图，本发明提供的模型训练用图像的快速扩充系统，用于所述的模型训练用图像的快速扩充方法，包括：
商品区域识别模块，用于采集若干张图像，通过预设的物体检测模型对每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
价格标签区域识别模块，用于通过预设的价签检测模型对每一所述图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；
商品信息读取模块，用于识别出每一所述价格标签区域的条形码或条形码数列，读取所述条形码或条形码数列对应的商品信息，进而确定每一价格标签区域的条形码对应的商品信息；
商品条形码关联模块，用于将所述商品区域的中心点与水平方向上距离最小的所述价格标签区域对应的商品信息相关联。
本发明实施例中还提供一种模型训练用图像的快速扩充设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的模型训练用图像的快速扩充方法的步骤。
如上，该实施例中本发明中商品图像自动采集车在商场中采集的货架上商品的图像，进而识别所述图像上的商品和条形码，并将所述条形码读出的商品信息与所述商品的图像一一对应，形成标注数据库，便于商品的管理。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图10是本发明的模型训练用图像的快速扩充设备的结构示意图。下面参照图10来描述根据本发明的这种实施方式的电子设备600。图10显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图10中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的模型训练用图像的快速扩充方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明中商品图像自动采集车在商场中采集的货架上商品的图像，进而识别所述图像上的商品和条形码，并将所述条形码读出的商品信息与所述商品的图像一一对应，形成标注数据库，便于商品的管理。
图11是本发明的计算机可读存储介质的结构示意图。参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本实施例中，本发明中商品图像自动采集车在商场中采集的货架上商品的图像，进而识别所述图像上的商品和条形码，并将所述条形码读出的商品信息与所述商品的图像一一对应，形成标注数据库，便于商品的管理；本发明中图像自动采集车上的相机通过安装件可拆卸的连接所述支架，能够根据货架的层数安装相机的数量，实现图像自动采集车采集在一货架前行走单次即实现该货架上所有图像的采集；本发明中通过预设值的错误更正表，对OCR技术识别错误的数字进行更正，提高了条形码数列的识别精度。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种模型训练用图像的快速扩充方法，其特征在于，包括如下步骤：
步骤S1：采集若干张图像，通过预设的物体检测模型对每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
步骤S2：通过预设的价签检测模型对每一所述图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；
步骤S3：识别出每一所述价格标签区域的条形码或条形码数列，读取所述条形码或条形码数列对应的商品信息，进而确定每一价格标签区域对应的商品信息；
步骤S4：将所述商品区域的中心点与水平方向上距离最小的所述价格标签区域对应的商品信息相关联；
所述步骤S2包括如下步骤：
步骤S201：在多张测试图像上标记出价格标签区域生成多张用于价格标签识别的训练图像；
步骤S202：在多张测试图像上标记出待排除价格标签区域生成多张用于价格标签排除的训练图像；
步骤S203：通过所述多张用于价格标签识别的训练图像和所述多张用于价格标签排除的训练图像训练价格标签识别模型；
步骤S204：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S205：将转正后的所述图像进行增强处理后输入所述价格标签识别模型进行识别。
2.根据权利要求1所述的模型训练用图像的快速扩充方法，其特征在于，所述图像采用商品图像自动采集车采集；
所述商品图像自动采集车包括车体、支架以及相机；所述支架设置在所述车体上且沿竖直方向延伸；所述车体带动所述支架移动；
所述相机通过安装件可拆卸的连接所述支架；多个所述相机沿所述支架的高度依次排列。
3.根据权利要求2所述的模型训练用图像的快速扩充方法，其特征在于，所述商品图像自动采集车的使用方法包括如下步骤：
步骤M1：根据目标商场中货架层数安装相对应数量的相机，并将每一所述相机的高度调整为与所述货架的一层高相一致；
步骤M2：使所述商品图像自动采集车根据设定路线移动；
步骤M3：当所述商品图像自动采集车移动至一货架前时，多个所述相机朝向所述货架的多层上的商品，对多层上的商品同时进行采集。
4.根据权利要求1所述的模型训练用图像的快速扩充方法，其特征在于，所述步骤S3包括如下步骤：
步骤S301：读取所述价格标签区域的条形码信息，当读取所述条形码信息失败时，触发步骤S302：
步骤S302：识别所述价格标签区域中多个数字顺次排列形成的条形码数字区域，通过OCR技术识别所述条形码数字区域的条形码数列；
步骤S303：判断所述条形码数列的位数是否与设定位数相一致，当一致时触发步骤S304，当不一致时，删除所述条形码数列对应的价格标签区域；
步骤S304：将所述条形码数列中的英文字母根据预设置的错误更正表更正为相对应的数字；
步骤S305：根据所述条形码信息或更正后的所述条形码数列查询预设值的图形码数据库查询出所述条形码信息或更正后的所述条形码数列对应的所述商品信息。
5.根据权利要求1所述的模型训练用图像的快速扩充方法，其特征在于，还包括如下步骤：
步骤S5：根据预设置的商品信息数据库对关联后商品区域与商品信息进行校验；
步骤S6：将校验后相关联的商品区域与商品信息存于标注数据库中；
所述商品信息数据库的建立包括如下步骤：
步骤N1：将一目标商品放在一转盘上，所述转盘带动所述目标商品以设定的转速转达；
步骤N2：通过相机以设定频率拍摄多张所述目标商品的图像；
步骤N3：重复执行步骤N1至步骤N2，实现多个目标商品的拍摄，将目标商品的图像与目标商品的商品信息相关联形成所述商品信息数据库。
6.根据权利要求1所述的模型训练用图像的快速扩充方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：将多张测试图像中的商品区域进行标记生成多张用于商品区域识别的训练图像，通过所述用于商品区域识别的训练图像训练物体检测模型；
步骤S102：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S103：对转正后的所述图像进行增强处理后输入所述商品识别模型进行识别。
7.一种模型训练用图像的快速扩充系统，用于实现权利要求1至6中任一项所述的模型训练用图像的快速扩充方法，其特征在于，包括：
商品区域识别模块，用于采集若干张图像，通过预设的物体检测模型对每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
价格标签区域识别模块，用于通过预设的价签检测模型对每一所述图像上的价格标签进行单元检测，识别所述图像上的多个价格标签区域；
商品信息读取模块，用于识别出每一所述价格标签区域的条形码或条形码数列，读取所述条形码或条形码数列对应的商品信息，进而确定每一价格标签区域的条形码对应的商品信息；
商品条形码关联模块，用于将所述商品区域的中心点与水平方向上距离最小的所述价格标签区域对应的商品信息相关联。
8.一种模型训练用图像的快速扩充设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6中任意一项所述模型训练用图像的快速扩充方法的步骤。
9.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至6中任意一项所述模型训练用图像的快速扩充方法的步骤。
CN201810442643.XA 2018-05-10 2018-05-10 模型训练用图像的快速扩充方法、系统、设备及存储介质 Active CN108647553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810442643.XA CN108647553B (zh) 2018-05-10 2018-05-10 模型训练用图像的快速扩充方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810442643.XA CN108647553B (zh) 2018-05-10 2018-05-10 模型训练用图像的快速扩充方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108647553A CN108647553A (zh) 2018-10-12
CN108647553B true CN108647553B (zh) 2022-01-25

Family

ID=63754224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810442643.XA Active CN108647553B (zh) 2018-05-10 2018-05-10 模型训练用图像的快速扩充方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108647553B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379538B (zh) * 2018-10-26 2021-06-22 创新先进技术有限公司 图像采集设备、系统及方法
CN111105180A (zh) * 2018-10-29 2020-05-05 阿里巴巴集团控股有限公司 商品数据的处理方法、装置、电子设备及理货车
CN111222377B (zh) * 2018-11-27 2023-09-08 杭州海康威视数字技术股份有限公司 一种商品信息确定方法、装置及电子设备
CN109583535B (zh) * 2018-11-29 2023-04-18 中国人民解放军国防科技大学 一种基于视觉的物流条形码检测方法、可读存储介质
CN111274845B (zh) * 2018-12-04 2023-09-05 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN109657681A (zh) * 2018-12-28 2019-04-19 北京旷视科技有限公司 图片的标注方法、装置、电子设备及计算机可读存储介质
CN109886105B (zh) * 2019-01-15 2021-12-14 广州图匠数据科技有限公司 基于多任务学习的价格牌识别方法、系统及存储介质
CN109781114A (zh) * 2019-02-15 2019-05-21 上海扩博智能技术有限公司 商场室内导航地图建立方法、系统、设备及存储介质
CN109902636A (zh) * 2019-03-05 2019-06-18 上海扩博智能技术有限公司 商品识别模型训练方法、系统、设备及存储介质
CN110189343B (zh) * 2019-04-16 2023-05-05 创新先进技术有限公司 图像标注方法、装置及系统
CN112149450A (zh) * 2019-06-26 2020-12-29 浙江汉朔电子科技有限公司 排面检查系统及方法
CN110348439B (zh) * 2019-07-02 2021-10-12 创新奇智(南京)科技有限公司 一种自动识别价签的方法、计算机可读介质及系统
CN110837824B (zh) * 2019-08-09 2022-12-16 达闼科技（北京）有限公司 用于售货装置中的商品识别方法、售货装置及存储介质
CN112395918B (zh) * 2019-08-16 2024-03-01 汉朔科技股份有限公司 货架物品识别方法、装置及系统
CN110705666A (zh) * 2019-10-22 2020-01-17 顺忠宝智能科技(深圳)有限公司 人工智能云计算展示架货架货物和标签监控与存储货物方法
CN111079749B (zh) * 2019-12-12 2023-12-22 创新奇智(重庆)科技有限公司 一种带姿态校正的端到端商品价签文字识别方法和系统
CN115131788A (zh) * 2021-03-24 2022-09-30 华为技术有限公司 一种标签信息获取方法、装置、计算设备及存储介质
CN113240376A (zh) * 2021-05-31 2021-08-10 中邮信息科技(北京)有限公司 物品信息确定方法、装置、电子设备及介质
CN113935774A (zh) * 2021-10-15 2022-01-14 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及计算机存储介质
CN114202761B (zh) * 2022-02-16 2022-06-21 广东数源智汇科技有限公司 一种基于图片信息聚类的信息批量提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149792A (zh) * 2006-09-21 2008-03-26 国际商业机器公司 使用移动盘存机器人来执行盘存的系统和方法
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN106315096A (zh) * 2016-08-30 2017-01-11 北京建筑大学 一种仓储系统的智能控制装置
CN107679573A (zh) * 2017-09-30 2018-02-09 深圳市锐曼智能装备有限公司 智慧货柜的物品识别系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101149792A (zh) * 2006-09-21 2008-03-26 国际商业机器公司 使用移动盘存机器人来执行盘存的系统和方法
CN102930264A (zh) * 2012-09-29 2013-02-13 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN106315096A (zh) * 2016-08-30 2017-01-11 北京建筑大学 一种仓储系统的智能控制装置
CN107679573A (zh) * 2017-09-30 2018-02-09 深圳市锐曼智能装备有限公司 智慧货柜的物品识别系统及其方法

Also Published As

Publication number Publication date
CN108647553A (zh) 2018-10-12

Similar Documents

Publication Publication Date Title
CN108647553B (zh) 模型训练用图像的快速扩充方法、系统、设备及存储介质
CN108416403B (zh) 商品与标签的自动关联方法、系统、设备及存储介质
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
US20200167568A1 (en) Image processing method, device, and storage medium
CN108846449B (zh) 一种智能设备，商品盘点方法、装置以及设备
US12020304B1 (en) Item and action determination
US10296814B1 (en) Automated and periodic updating of item images data store
CN110533723B (zh) 增强现实显示的方法、姿态信息的确定方法及装置
CN110874594A (zh) 基于语义分割网络的人体外表损伤检测方法及相关设备
CN109154993A (zh) 用于对物品定位、识别和计数的系统和方法
US11875570B1 (en) Updating agent position information
CN112508109B (zh) 一种图像识别模型的训练方法及装置
CN109977824B (zh) 物品取放识别方法、装置及设备
US20180293635A1 (en) System, image recognition method, and recording medium
CN109242060A (zh) 新上架产品快速查找方法、系统、设备及存储介质
CN109784172A (zh) 商场中地堆商品占地面积估算方法、系统、设备及介质
CN110795992A (zh) 训练数据的获取方法、商品识别方法及对应装置
CN108389230A (zh) 冰箱容量自动检测方法、系统、设备及存储介质
US20230123879A1 (en) Method and apparatus for positioning express parcel
US10713614B1 (en) Weight and vision based item tracking
CN112508078A (zh) 图像多任务多标签识别方法、系统、设备及介质
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111368860B (zh) 重定位方法及终端设备
CN108446693B (zh) 待识别目标的标记方法、系统、设备及存储介质
CN110413869B (zh) 用于推送信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant