CN108416403B - 商品与标签的自动关联方法、系统、设备及存储介质 - Google Patents

商品与标签的自动关联方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN108416403B
CN108416403B CN201810190303.2A CN201810190303A CN108416403B CN 108416403 B CN108416403 B CN 108416403B CN 201810190303 A CN201810190303 A CN 201810190303A CN 108416403 B CN108416403 B CN 108416403B
Authority
CN
China
Prior art keywords
commodity
price label
area
bar code
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810190303.2A
Other languages
English (en)
Other versions
CN108416403A (zh
Inventor
杨聪
柯岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Clobotics Technology Co ltd
Original Assignee
Shanghai Clobotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Clobotics Technology Co ltd filed Critical Shanghai Clobotics Technology Co ltd
Priority to CN201810190303.2A priority Critical patent/CN108416403B/zh
Publication of CN108416403A publication Critical patent/CN108416403A/zh
Priority to US16/155,196 priority patent/US10878372B2/en
Application granted granted Critical
Publication of CN108416403B publication Critical patent/CN108416403B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G06V30/2247—Characters composed of bars, e.g. CMC-7

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种商品与标签的自动关联方法、系统、设备及存储介质，包括如下步骤：步骤S1：采集若干张图像，在每一所述图像上进行单元检测，识别所述图像上的多个商品区域；步骤S2：对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；步骤S3：识别出每一所述价格标签区域的条形码，读取所述条形码对应的第一商品信息，确定每一价格标签区域的条形码对应的商品区域；步骤S4：将每一条形码的所述商品区域与所述第一商品信息相对应后存入数据库。本发明中通过在商场中采集的货架及商品的图像，识别所述图像上端商品和条形码，并将所述条形码读出的第一商品信息与所述商品的图像一一对应，形成数据库，便于商品的管理。

Description

商品与标签的自动关联方法、系统、设备及存储介质
技术领域
本发明涉及人工智能，具体地，涉及一种商品与标签的自动关联方法、系统、设备及存储介质。
背景技术
随着商业经济的快速发展，人民生活水平的提高，城市品牌形象的树立，在人民生活的聚集区，都会存在百货商场。
条形码是将宽度不等的多个黑条和空白，按照一定的编码规则排列，用以表达一组信息的图形标识符。常见的条形码是由反射率相差很大的黑条和白条排成的平行线图案。条形码可以标出物品的生产国、制造厂家、商品名称、生产日期、图书分类号、邮件起止地点、类别、日期等许多信息，因而在商品流通、图书管理、邮政管理、银行系统等许多领域都得到广泛的应用。
因此在商场中展示商品时，一般在实物商品的下侧贴上价格标签并通过条形码存储该商品的更多信息。但是在实际操作中，条形码通过人工的方式打印在价格标签上，经常出现价格标签上记载的文字信息与条形码上记录的信息不一致的问题，给商场的管理带来极大的不便。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种商品与标签的自动关联方法、系统、设备及存储介质。
根据本发明提供的商品与标签的自动关联方法，包括如下步骤：
步骤S1：采集若干张图像，在每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
步骤S2：对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
步骤S3：识别出每一所述价格标签区域的条形码，读取所述条形码对应的第一商品信息，确定每一价格标签区域的条形码对应的商品区域；
步骤S4：将每一条形码的所述商品区域与所述第一商品信息相对应后存入数据库。
优选地，还包括如下步骤：
-识别出每一所述价格标签区域的文字信息，生成第二商品信息，当一价格标签区域的所述第二商品信息与所述第一商品信息不一致时，发出报警信号。
优选地，所述步骤S3包括如下步骤：
步骤S301：在每一所述图像上，多个所述商品区域依次横向排列形成一商品区域行列，多个所述价格标签区域依次横向排列形成一价格标签区域行列，所述商品区域列的上侧或/和下侧至少排列一价格标签区域行列；
步骤S302：计算每一所述价格标签区域的中心点与相邻的所述商品区域的中心点的距离，确定距离每一所述价格标签区域的中心点最小的商品区域；
步骤S303：将所述价格标签区域作为目标价格标签区域与距离所述价格标签区域的中心点最小的商品区域相对应。
优选地，所述步骤S2包括如下步骤：
步骤S201：对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
步骤S202：当多个价格标签区域沿一设定的方向依次排列时，则将该沿一设定的方向依次排列的价格标签区域设定为价格标签区域集；
步骤S203：在所述图像上至少形成一价格标签区域集，并排除所述价格标签区域集之外的价格标签区域。
优选地，所述步骤S1包括如下步骤：
步骤S101：将多张测试图像中的商品区域进行标记生成多张用于商品区域识别的训练图像，通过所述训练图像训练商品识别模型；
步骤S102：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S103：对转正后的所述图像进行增强处理后输入所述商品识别模型进行识别。
优选地，所述步骤S3包括如下步骤：
所述步骤S2包括如下步骤：
步骤S201：在多张测试图像上标记出价格标签区域生成多张用于价格标签识别的训练图像；
步骤S202：在多张测试图像上标记出待排除价格标签区域生成多张用于价格标签排除的训练图像；
步骤S203：通过所述多张用于价格标签识别的训练图像和所述多张用于价格标签排除的训练图像训练价格标签识别模型；
步骤S204：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S205：将转正后的所述图像进行增强处理后输入所述价格标签识别模型进行识别。
优选地，所述步骤S3包括如下步骤：
步骤S301：在不同的场所采集一条形码对应目标商品的多个目标商品图像；
步骤S302：计算所述目标商品图像的描述子，根据多个所述目标商品图像的描述子确定出所述目标商品的特征识别标识；
步骤S303：重复步骤S301至步骤S302生成多个条形码对应目标商品的描述子，进而计算出目标商品特征识别模型；
步骤S304：在不同的场所采集一条形码对应的多个目标商品图像形成一组用于商品条形码关联的训练图像；
步骤S305：重复步骤304生成多个条形码对应的多组用于商品条形码关联的训练图像；
步骤S306：通过多组所述用于商品条形码关联的训练图像训练商品条形码关联模型；
步骤S307：依次通过所述目标商品特征识别模型、所述商品条形码关联模型进行确定每一价格标签区域的条形码对应的商品区域。
本发明提供的商品与标签的自动关联系统，用于实现所述的商品与标签的自动关联方法，包括：
商品区域识别模块，用于采集若干张图像，在每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
价格标签区域识别模块，用于对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
商品条形码关联模块，用于在多个所述价格标签区域中确定每一所述商品区域对应的目标价格标签区域，识别出所述价格标签区域的条形码，读取所述条形码对应的第一商品信息；
数据库模块，用于存储每一条形码的所述商品区域与所述第一商品信息的对应关系。
本发明提供的商品与标签的自动关联设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述商品与标签的自动关联方法的步骤。
本发明提供的计算机可读存储介质，用于存储程序，所述程序被执行时实现所述商品与标签的自动关联方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明中通过在商场中采集的货架及商品的图像，识别所述图像上的商品和条形码，并将所述条形码读出的第一商品信息与所述商品的图像一一对应，形成数据库，便于商品的管理；
2、本发明在识别出所述价格标签区域的文字信息，生成第二商品信息，当所述第二商品信息与图像上识别出的所述第一商品信息不一致时，发出报警信号，从而能够纠正价格标签上的标记错误；
3、本发明能够形成第一商品信息与所述商品的图像一一对应的数据库，从而获取一商品的图像时查询出该商品的商品信息，并进而打印出相对应的价格标签，提高了价格标签打印时的准确度。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中商品与标签的自动关联方法的步骤流程图；
图2为本发明中商品区域识别的步骤流程图；
图3为本发明中价格标签区域识别的步骤流程图；
图4为本发明变形例中价格标签区域识别的步骤流程图；
图5为本发明中商品区域与标价格标签区域的对应关系确定流程图；
图6为本发明变形例中商品区域与标价格标签区域的对应关系确定流程图；
图7为本发明中商品与标签的自动关联系统的模块示意图；
图8为本发明中商品与标签的自动关联设备的结构示意图；以及
图9为本发明中计算机可读存储介质的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
在本实施例中，图1示出了本发明中商品与标签的自动关联方法的步骤流程图，如图1所示，本发明提供的商品与标签的自动关联方法，包括如下步骤：
步骤S1：采集若干张图像，在每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
步骤S2：对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
步骤S3：识别出每一所述价格标签区域的条形码，读取所述条形码对应的第一商品信息，确定每一价格标签区域的条形码对应的商品区域；
步骤S4：将每一条形码的所述商品区域与所述第一商品信息相对应后存入数据库。
在本实施例中，所述图像通过手机、摄像头、装载摄像头的机器人或无人机等拍摄。每一所述图像为拍摄的商场中货架的图像，每一所述图像上具有多个在货架上依次排列的商品以及贴在所述商品下侧且贴在货架上的条形码标签。该条形码标签上至少具有一条形码和价格、产品名称、产品型号等文字信息。所述价格标签区域便是该条形码标签在所述图像上的区域，所述商品区域便是商品在所述图像上的区域。
本发明提供的商品与标签的自动关联方法，还包括如下步骤：
-识别出每一所述价格标签区域的文字信息，生成第二商品信息，当一价格标签区域的所述第二商品信息与所述第一商品信息不一致时，发出报警信号。
也就是条形码标签的文字信息与条形码读出的信息不一致，此时条形码标签上记载的文字信息具有错误或者条形码打印存在错误。
所述第一商品信息和所述第二商品信息至少包括如下任一种或任多种信息：
-商品价格；
-商品名称；
-商品产地信息；
-商品物流信息；
-商品库存数量；
-商品生产厂家。
所述第二商品信息与所述第一商品信息不一致时，是指相同类别的信息不一致，如条形码读出的商品名称与条形码标签上记载的文字信息中的商品名称不一致、条形码读出的商品价格与条形码标签上记载的商品价格不一致。
图2示出本发明中商品区域识别的步骤流程图，如图2所示，所述步骤S1包括如下步骤：
步骤S101：将多张测试图像中的商品区域进行标记生成多张用于商品区域识别的训练图像，通过所述训练图像训练商品识别模型；
步骤S102：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S103：对转正后的所述图像进行增强处理后输入所述商品识别模型进行识别。
所述标记为对商品区域的位置进行标记，具体为通过商品区域左上角的坐标(x,y)，宽度w和h标定商品区域在图片中的位置信息。所述目标基准线可以选取所述图像中货架上沿水平方向延伸的一条边。
图3为本发明中价格标签区域识别的步骤流程图，如图3所示，所述步骤S2包括如下步骤：
步骤S201：对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
步骤S202：当多个价格标签区域沿一设定的方向依次排列时，则将该沿一设定的方向依次排列的价格标签区域设定为价格标签区域集；
步骤S203：在所述图像上至少形成一价格标签区域集，并排除所述价格标签区域集之外的价格标签区域。
在本实施例中，因为所述图像为货架的图像，条形码标签一般都贴在货架的一水平板上，因此价格标签区域会沿水平方向依次排列，形成一价格标签区域集，而商品上的条形码一般在水平板的上侧或下侧，此外并不是所有商品的条形码都会朝向外侧，被拍照时拍到，而且商品的高度并不一致，因此导致商品上条形码的高度也不一致，因此商品上的条形码是不连续的，高度不一致的，因此可以将形码区域集之外不连续的，高度不一致的条形码去除。
图4为本发明中变形例中价格标签区域识别的步骤流程图，如图4所示，所述步骤S2包括如下步骤：
所述步骤S2包括如下步骤：
步骤S201：在多张测试图像上标记出价格标签区域生成多张用于价格标签识别的训练图像；
步骤S202：在多张测试图像上标记出待排除价格标签区域生成多张用于价格标签排除的训练图像；
步骤S203：通过所述多张用于价格标签识别的训练图像和所述多张用于价格标签排除的训练图像训练价格标签识别模型；
步骤S204：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S205：将转正后的所述图像进行增强处理后输入所述价格标签识别模型进行识别。
在本实施例中，所述标记出价格标签区域为对价格标签区域的位置进行标记，所述标记出待排除价格标签区域为对待排除价格标签区域进行标记。所述目标基准线可以选取所述图像中货架上沿水平方向延伸的一条边。
在变形例中，还可以如下步骤进行待排除条形码的排除，此时所述步骤S2包括如下步骤：
步骤S201：将多张测试图像中的价格标签区域分为价格标签区域和待排除价格标签区域生成多张用于条形码识别的训练图像；
步骤S202：通过所述多张用于条形码识别的训练图像建立条形码商品识别模型；
步骤S203：根据所述图像中的物体形状轮廓自动提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S204：将转正后的所述图像进行增强处理后输入所述价格标签识别模型进行识别。通过该变形例，可以直接通过一组训练图像实现对目标价格标签区域的识别和对待排除价格标签区域的排除的训练，从而能够节约所述条形码商品识别模型的训练时间。
图5为本发明中商品区域与标价格标签区域的对应关系确定流程图，如图5所示，所述步骤S3包括如下步骤：
步骤S301：在每一所述图像上，多个所述商品区域依次横向排列形成一商品区域行列，多个所述价格标签区域依次横向排列形成一价格标签区域行列，所述商品区域列的上侧或/和下侧至少排列一价格标签区域行列；
步骤S302：计算每一所述价格标签区域的中心点与相邻的所述商品区域的中心点的距离，确定距离每一所述价格标签区域的中心点最小的商品区域；
步骤S303：将所述价格标签区域作为目标价格标签区域与距离所述价格标签区域的中心点最小的商品区域相对应。
在本实施例中，一般条形码与对应的商品相靠近，因此可以通过计算该条形码相邻的几个商品的距离，距离所述条形码最近的商品，一般为该条形码对应的商品。此外还可以识别商品上的第三商品信息，如商品名称，与条形码上的第二商品信息中的商品信息相比对，仅一步确认条形码与商品的对应关系。在本实施例中，通过ORC识别算法识别条形码和商品区域的文字信息，以获得第三商品信息和第二商品信息。在本实施例中，识别出每一所述价格标签区域的条形码，具体可以采用图像识别的技术进行识别，也可以通过多种条形码的训练对象训练条形码识别模块，通过所述条形码识别模块识别出所述条形码。
图6为本发明变形例中商品区域与标价格标签区域的对应关系确定流程图，如图6所示，所述步骤S3包括如下步骤：
步骤S301：在不同的场所采集一条形码对应目标商品的多个目标商品图像；
步骤S302：计算所述目标商品图像的描述子，根据多个所述目标商品图像的描述子确定出所述目标商品的特征识别标识；
步骤S303：重复步骤S301至步骤S302生成多个条形码对应目标商品的描述子，进而计算出目标商品特征识别模型；
步骤S304：在不同的场所采集一条形码对应的多个目标商品图像形成一组用于商品条形码关联的训练图像；
步骤S305：重复步骤304生成多个条形码对应的多组用于商品条形码关联的训练图像；
步骤S306：通过多组所述用于商品条形码关联的训练图像训练商品条形码关联模型；
步骤S307：依次通过所述目标商品特征识别模型、所述商品条形码关联模型进行确定每一价格标签区域的条形码对应的商品区域。
在本实施例中，所述描述子具体为该目标商品图像的各颜色占比，当获得一目标商品的多个所述目标商品图像的各颜色占比时，由于每个目标商品的图像时确定的，但是由于目标商品图像的拍摄角度不同，导致多个目标商品图像的各颜色占比会有一些差距，但这个差距肯定远小于与价格标签上的目标商品摆放错误的造成差距，因此可以对多个所述目标商品图像的各颜色占比进行聚类确定目标商品的颜色识别标识，即该目标商品的各颜色占比变化区间。当然也可以采取其他分类算法确定目标商品的颜色识别标识。所述商品条形码关联模型采用卷积神经网络结构，在深度学习框架下进行训练得到。
图7为本发明中商品与标签的自动关联系统的模块示意图，如图7所示，本发明提供的商品与标签的自动关联系统，用于实现所述的商品与标签的自动关联方法，包括：
商品区域识别模块，用于采集若干张图像，在每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
价格标签区域识别模块，用于对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
商品条形码关联模块，用于在多个所述价格标签区域中确定每一所述商品区域对应的目标价格标签区域，识别出所述价格标签区域的条形码，读取所述条形码对应的第一商品信息；
数据库模块，用于存储每一条形码的所述商品区域与所述第一商品信息的对应关系。
本发明实施例中还提供一种商品与标签的自动关联设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的商品与标签的自动关联方法的步骤。
如上，该实施例中本发明通过在商场中采集的货架及商品的图像，识别所述图像上端商品和条形码，并将所述条形码读出的第一商品信息与所述商品的图像一一对应，形成数据库，便于商品的管理。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图8是本发明的商品与标签的自动关联设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例中还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的商品与标签的自动关联方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，本发明中通过在商场中采集的货架及商品的图像，识别所述图像上端商品和条形码，并将所述条形码读出的第一商品信息与所述商品的图像一一对应，形成数据库，便于商品的管理。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
在本实施例中，本发明中通过在商场中采集的货架及商品的图像，识别所述图像上端商品和条形码，并将所述条形码读出的第一商品信息与所述商品的图像一一对应，形成数据库，便于商品的管理；本发明在识别出所述价格标签区域的文字信息，生成第二商品信息，当所述第二商品信息与图像上识别出的所述第一商品信息不一致时，发出报警信号，从而能够纠正价格标签上的标记错误；本发明能够形成第一商品信息与所述商品的图像一一对应的数据库，从而获取一商品的图像时查询出该商品的商品信息，并进而打印出相对应的价格标签，提高了价格标签打印时的准确度。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种商品与标签的自动关联方法，其特征在于，包括如下步骤：
步骤S1：采集若干张图像，在每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
步骤S2：对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
步骤S3：识别出每一所述价格标签区域的条形码，读取所述条形码对应的第一商品信息，进而确定每一价格标签区域的条形码对应的商品区域；
步骤S4：将每一条形码的所述商品区域与所述第一商品信息相对应后存入数据库；
所述步骤S3包括如下步骤：
步骤S301：在不同的场所采集一条形码对应目标商品的多个目标商品图像；
步骤S302：计算所述目标商品图像的颜色分布图，根据多个所述目标商品图像的颜色分布图确定出所述目标商品的颜色识别标识；
步骤S303：重复步骤S301至步骤S302生成多个条形码对应目标商品的颜色识别标识，进而计算出目标商品颜色识别模型；
步骤S304：在不同的场所采集一条形码对应的多个目标商品图像形成一组用于商品条形码关联的训练图像；
步骤S305:重复步骤S304生成多个条形码对应的多组用于商品条形码关联的训练图像；
步骤S306：通过多组所述用于商品条形码关联的训练图像训练商品条形码关联模型；
步骤S307：依次通过所述目标商品颜色识别模型、所述商品条形码关联模型进行确定每一价格标签区域的条形码对应的商品区域。
2.根据权利要求1所述的商品与标签的自动关联方法，其特征在于，还包括如下步骤：
-识别出每一所述价格标签区域的文字信息，生成第二商品信息，当一价格标签区域的所述第二商品信息与所述第一商品信息不一致时，发出报警信号。
3.根据权利要求1所述的商品与标签的自动关联方法，其特征在于，所述步骤S3包括如下步骤：
步骤S301：在每一所述图像上，多个所述商品区域依次横向排列形成一商品区域行列，多个所述价格标签区域依次横向排列形成一价格标签区域行列，所述商品区域列的上侧或/和下侧至少排列一价格标签区域行列；
步骤S302：计算每一所述价格标签区域的中心点与相邻的所述商品区域的中心点的距离，确定距离每一所述价格标签区域的中心点最小的商品区域；
步骤S303：将所述价格标签区域作为目标价格标签区域与距离所述价格标签区域的中心点最小的商品区域相对应。
4.根据权利要求1所述的商品与标签的自动关联方法，其特征在于，所述步骤S2包括如下步骤：
步骤S201：对每一所述图像进行价格标签检测，识别所述图像上的多个价格标签区域；
步骤S202：当多个价格标签区域沿一设定的方向依次排列时，则将该沿一设定的方向依次排列的价格标签区域设定为价格标签区域集；
步骤S203：在所述图像上至少形成一价格标签区域集，并排除所述价格标签区域集之外的价格标签区域。
5.根据权利要求4所述的商品与标签的自动关联方法，其特征在于，所述步骤S1包括如下步骤：
步骤S101：将多张测试图像中的商品区域进行标记生成多张用于商品区域识别的训练图像，通过所述用于商品区域识别的训练图像训练商品识别模型；
步骤S102:在所述图像中提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S103：对转正后的所述图像进行锐化处理后输入所述商品识别模型进行识别。
6.根据权利要求1所述的商品与标签的自动关联方法，其特征在于，所述步骤S2包括如下步骤：
步骤S201：在多张测试图像上标记出价格标签区域生成多张用于价格标签识别的训练图像；
步骤S202：在多张测试图像上标记出待排除价格标签区域生成多张用于价格标签排除的训练图像；
步骤S203：通过所述多张用于价格标签识别的训练图像和所述多张用于价格标签排除的训练图像训练价格标签识别模型；
步骤S204:在所述图像中提取一目标基准线，转动所述图像使得所述目标基准线与一设定的基准线相平行；
步骤S205：将转正后的所述图像进行锐化处理后输入所述价格标签识别模型进行识别。
7.一种商品与标签的自动关联系统，用于实现权利要求1至6中任一项所述的商品与标签的自动关联方法，其特征在于，包括：
商品区域识别模块，用于采集若干张图像，在每一所述图像上进行单元检测，识别所述图像上的多个商品区域；
价格标签区域识别模块，识别出每一所述价格标签区域的条形码，读取所述条形码对应的第一商品信息，确定每一价格标签区域的条形码对应的商品区域；
商品条形码关联模块，用于在多个所述价格标签区域中确定每一所述商品区域对应的目标价格标签区域，识别出所述价格标签区域的条形码，读取所述条形码对应的第一商品信息；
数据库模块，用于存储每一条形码的所述商品区域与所述第一商品信息的对应关系。
8.一种商品与标签的自动关联设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6中任意一项所述商品与标签的自动关联方法的步骤。
9.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被执行时实现权利要求1至6中任意一项所述商品与标签的自动关联方法的步骤。
CN201810190303.2A 2018-03-08 2018-03-08 商品与标签的自动关联方法、系统、设备及存储介质 Active CN108416403B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810190303.2A CN108416403B (zh) 2018-03-08 2018-03-08 商品与标签的自动关联方法、系统、设备及存储介质
US16/155,196 US10878372B2 (en) 2018-03-08 2018-10-09 Method, system and device for association of commodities and price tags

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810190303.2A CN108416403B (zh) 2018-03-08 2018-03-08 商品与标签的自动关联方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN108416403A CN108416403A (zh) 2018-08-17
CN108416403B true CN108416403B (zh) 2021-05-04

Family

ID=63130395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810190303.2A Active CN108416403B (zh) 2018-03-08 2018-03-08 商品与标签的自动关联方法、系统、设备及存储介质

Country Status (2)

Country Link
US (1) US10878372B2 (zh)
CN (1) CN108416403B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242060A (zh) * 2018-08-30 2019-01-18 上海扩博智能技术有限公司 新上架产品快速查找方法、系统、设备及存储介质
CN109330284B (zh) * 2018-09-21 2020-08-11 京东方科技集团股份有限公司 一种货架系统
CN111274845B (zh) * 2018-12-04 2023-09-05 杭州海康威视数字技术股份有限公司 商店货架陈列情况的识别方法、装置、系统及电子设备
CN109784323B (zh) * 2019-01-21 2020-11-27 北京旷视科技有限公司 图像识别的方法、装置、电子设备和计算机存储介质
CN109781114A (zh) * 2019-02-15 2019-05-21 上海扩博智能技术有限公司 商场室内导航地图建立方法、系统、设备及存储介质
CN112149450A (zh) * 2019-06-26 2020-12-29 浙江汉朔电子科技有限公司 排面检查系统及方法
WO2021030924A1 (zh) * 2019-08-16 2021-02-25 浙江汉朔电子科技有限公司 货架物品识别方法、装置及系统
CN112800804A (zh) * 2019-10-28 2021-05-14 汉朔科技股份有限公司 基于价签的缺货检测方法及装置
CN111144438A (zh) * 2019-11-26 2020-05-12 苏州方正璞华信息技术有限公司 一种广告单中商品检测方法及装置
CN111178349A (zh) * 2019-12-17 2020-05-19 科大讯飞股份有限公司 一种图像识别方法、装置、设备及存储介质
CN111159314B (zh) * 2019-12-31 2023-06-02 合肥美的智能科技有限公司 电子标签的关联方法、装置、电子设备及存储介质
US10832400B1 (en) 2020-01-14 2020-11-10 Capital One Services, Llc Vehicle listing image detection and alert system
US10818042B1 (en) 2020-01-14 2020-10-27 Capital One Services, Llc Vehicle information photo overlay
CN111507253B (zh) * 2020-04-16 2023-06-30 腾讯科技（深圳）有限公司 基于人工智能的陈列物品审核方法、装置
CN111783627B (zh) * 2020-06-29 2023-10-27 杭州海康威视数字技术股份有限公司 商品存量确定方法、装置及设备
CN111931674B (zh) * 2020-08-18 2024-04-02 创新奇智(成都)科技有限公司 物品识别管理方法、装置、服务器及可读存储介质
CN112689110B (zh) * 2020-12-21 2022-10-14 湖南航天天麓新材料检测有限责任公司智能检测装备分公司 一种产品图像数据管理方法、装置、设备及存储介质
CN112581014B (zh) * 2020-12-25 2023-12-08 特赞（上海）信息科技有限公司 素材准备度的统计方法、装置、设备和存储介质
CN112613950B (zh) * 2020-12-28 2024-03-29 上海寻梦信息技术有限公司 品类识别模型训练方法、品类识别方法及相关设备
CN112862532B (zh) * 2021-02-10 2023-11-24 深兰智能科技研究院(宁波)有限公司 电子价签的显示控制方法及相关装置
CN113065492A (zh) * 2021-04-12 2021-07-02 北京滴普科技有限公司 云边协同自动点货方法、装置、系统及其存储介质
CN113269051A (zh) * 2021-04-30 2021-08-17 广州图匠数据科技有限公司 商品识别方法、智能终端以及存储装置
CN113591594A (zh) * 2021-07-06 2021-11-02 盒马(中国)有限公司 称重处理方法、装置及电子设备
CN113419659A (zh) * 2021-08-23 2021-09-21 深圳市信润富联数字科技有限公司 标签模板的构建方法、系统、程序产品及存储介质
CN115019314A (zh) * 2022-08-08 2022-09-06 浪潮电子信息产业股份有限公司 一种商品价格识别方法、装置、设备及存储介质
JP7213387B1 (ja) 2022-08-09 2023-01-26 株式会社セブン＆アイ・ホールディングス 照合装置、照合システム、照合プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5382779A (en) * 1993-05-07 1995-01-17 Digicomp Research Corporation Shelf price label verification apparatus and method
US6834807B2 (en) 2001-07-13 2004-12-28 Hand Held Products, Inc. Optical reader having a color imager
US7293712B2 (en) 2004-10-05 2007-11-13 Hand Held Products, Inc. System and method to automatically discriminate between a signature and a dataform
US7973396B2 (en) 2006-08-31 2011-07-05 Seiko Epson Corporation Electronic price tag device, pop device, management system for electronic price tag device, and method and program for controlling management system for electronic price tag device
CN102646363B (zh) * 2012-04-20 2014-10-08 李峰 文字防伪、条码组合标识结构及方法
CN102930264B (zh) * 2012-09-29 2015-10-28 李炳华 基于图像识别技术的商品陈列信息采集分析系统及方法
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN104036223A (zh) * 2014-06-10 2014-09-10 中国人民解放军理工大学 基于条形码的室内货物定位导航系统及方法
US9659204B2 (en) * 2014-06-13 2017-05-23 Conduent Business Services, Llc Image processing methods and systems for barcode and/or product label recognition
CN105550614B (zh) * 2016-01-20 2018-07-10 珠海东之旭科技有限公司 一种电子价格标签的绑定系统及其方法

Also Published As

Publication number Publication date
US10878372B2 (en) 2020-12-29
US20190279144A1 (en) 2019-09-12
CN108416403A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108416403B (zh) 商品与标签的自动关联方法、系统、设备及存储介质
CN108647553B (zh) 模型训练用图像的快速扩充方法、系统、设备及存储介质
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
US11288627B2 (en) Information processing apparatus, control method, and program
CN108364005A (zh) 价格标签的自动识别方法、系统、设备及存储介质
US20190197561A1 (en) Identifying products using a visual code
CN109784323B (zh) 图像识别的方法、装置、电子设备和计算机存储介质
CN112100425B (zh) 基于人工智能的标签标注方法、装置、电子设备及介质
CN112699775A (zh) 基于深度学习的证件识别方法、装置、设备及存储介质
CN109271935A (zh) 物品与电子标签的配对方法、装置及系统
US11875570B1 (en) Updating agent position information
CN109242060A (zh) 新上架产品快速查找方法、系统、设备及存储介质
CN111178357A (zh) 车牌识别方法、系统、设备和存储介质
CN108388931B (zh) 射频电子标签在无人零售领域的智能编码方案与结算系统
WO2021179138A1 (zh) 商超货架上商品的分析方法和系统
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
Shahin et al. Machine-based identification system via optical character recognition
CN112528903A (zh) 人脸图像获取方法、装置、电子设备及介质
CN108446693B (zh) 待识别目标的标记方法、系统、设备及存储介质
JP2023156991A (ja) 情報処理システム
CN109034067B (zh) 商品图像翻拍检测方法、系统、设备及存储介质
CN113474786A (zh) 电子签购单识别方法、装置及终端设备
JP7343115B1 (ja) 情報処理システム
US20230237558A1 (en) Object recognition systems and methods
US20230169452A1 (en) System Configuration for Learning and Recognizing Packaging Associated with a Product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant