CN114185912A - 一种具有校验功能的商超大屏幕电子标签自动更新方法 - Google Patents

一种具有校验功能的商超大屏幕电子标签自动更新方法 Download PDF

Info

Publication number
CN114185912A
CN114185912A CN202111607250.8A CN202111607250A CN114185912A CN 114185912 A CN114185912 A CN 114185912A CN 202111607250 A CN202111607250 A CN 202111607250A CN 114185912 A CN114185912 A CN 114185912A
Authority
CN
China
Prior art keywords
goods
shelf
label
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111607250.8A
Other languages
English (en)
Inventor
夏兴隆
黄海鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Etag Technology Corp
Original Assignee
Suzhou Etag Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Etag Technology Corp filed Critical Suzhou Etag Technology Corp
Priority to CN202111607250.8A priority Critical patent/CN114185912A/zh
Publication of CN114185912A publication Critical patent/CN114185912A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种具有校验功能的商超大屏幕电子标签自动更新方法，包括：构建得到电子标签数据表；采集货架图像；识别货品信息；摆放区处理；拼接标签图像；显示标签图像。本发明能够根据货架上商品的实时状态，自动调整大屏幕电子标签的显示图像，并且能够结合部分商品的重复价格标签实现对更新结果的自动验证。本发明大幅降低了人工调整和确认商品信息的时间，验证结果可靠性高，使用户可观察到的商品类型和价格标签显示一致，提高用户体验。

Description

一种具有校验功能的商超大屏幕电子标签自动更新方法
技术领域
本发明涉及商超大屏幕电子标签技术领域，具体而言涉及一种具有校验功能的商超大屏幕电子标签自动更新方法。
背景技术
随着电子标签的普及，在一些商超实体店中，已经将原始纸质价格标签全面替换成了更为便捷的电子标签，当商品价格需要调整时，只需要将调整后的商品价格图像发送给对应的电子标签单体，就可以实现全商超范围内的价格更新。电子标签的尺寸和应用范围也越发广泛，有针对单个商品的中小尺寸价格标签，也有针对多个商品的大尺寸价格标签，大尺寸价格标签通常包含10寸以上的大屏幕显示屏，能够显示更多更丰富的商品信息，也提升了用户的视觉体验，现有市场上不乏70寸以上的大屏幕显示标签。
目前大多数电子标签的更新是通过人工后台处理实现，也有少部分研究方案提出通过一些读取设备对商品识别后进行电子标签的自动更新。
2019年10月18日公开的申请号为201810299344.5的发明中公开了一种商品信息自动识别方法，能够结合商品自动识别的技术自动调整电子货架标签上的商品信息，大大提高了工作效率，同时避免了商品错发导致的信息不一致。但该申请是采用RFID读写器的方式去实现对商品信息的识别，并且只能对单个商品对应的电子标签进行更新，一旦电子标签对应多个商品且商品占据的位置区域发生变化时，则无法实现对价格标签的自动更新。
2021年08月24日公开的申请号为202011132012.1的发明中公开了一种对象信息处理方法及装置，通过扫描拍摄对象收纳装置的初始图像，再对初始图像进行拼接，生成拼接图像，最后对拼接图像进行识别，以确定对象收纳装置中所收纳的对象信息。但该发明是针对货架上的各类货品和标签是否摆放正确的问题，不涉及对电子标签的价格更新，更加不涉及对多个商品的价格标签的自动更新。
目前尚未出现对同时显示多个商品的大屏幕电子标签的价格标签自动更新方法。
发明内容
本发明针对现有技术中的不足，提供一种具有校验功能的商超大屏幕电子标签自动更新方法，能够根据货架上商品的实时状态，自动调整大屏幕电子标签的显示图像，并且能够结合部分商品的重复价格标签实现对更新结果的自动验证。本发明大幅降低了人工调整和确认商品信息的时间，验证结果可靠性高，使用户可观察到的商品类型和价格标签显示一致，提高用户体验。
为实现上述目的，本发明采用以下技术方案：
一种具有校验功能的商超大屏幕电子标签自动更新方法，所述自动更新方法包括以下步骤：
S1，构建得到电子标签数据表：结合商超实际地理信息构建商超三维模型图，商超三维模型图上包括货架Ai、单元货品区
Figure BDA0003431848520000021
过道和电子标签
Figure BDA0003431848520000022
构建得到电子标签数据表；所述电子标签数据表用于存储每个电子标签的编号、朝向、位置信息，以及每个电子标签对应的货架编号；i＝1，2，...，I，
Figure BDA0003431848520000023
I是货架总数；
Figure BDA0003431848520000024
是货架Ai上包含的单元货品区总数；
Figure BDA0003431848520000025
是货架Ai对应的电子标签总数；
S2，采集货架图像：结合电子标签朝向和过道位置，计算每个电子标签
Figure BDA0003431848520000026
的拍摄方向角范围；定期沿计算得到的拍摄方向角范围扫描拍摄得到每个电子标签
Figure BDA0003431848520000027
对应的货架图像；
S3，识别货品信息：整合货架图像上的单元货品区，生成若干个货品摆放区；识别置于每个整合后的货品摆放区上的货品类别并且进行货品摆放区标记和货品类别标记，构建电子标签和货品摆放区关系数据表；
S4，摆放区处理：根据货品摆放区出现频次，将只对应一个电子标签的货品摆放区定义为第一摆放区，将剩余货品摆放区定义为第二摆放区，根据图像占比面积确定每个第二摆放区的主标签；
S5，拼接标签图像：再次处理标记后的货架图像，调取每个货品摆放区对应的商品标签图像，根据货架图像上各个货品摆放区的位置关系拼接调取的商品标签图像，生成电子标签价格牌；其中，除主标签之外的第二摆放区的标签图像根据该第二摆放区在货架图像上的占比面积进行缩放；
S6，显示标签图像：将拼接后的电子标签价格牌发送至相应的电子标签进行显示。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1中，结合货架和过道位置信息计算得到电子标签的位置和每个电子标签的朝向。
进一步地，结合货架和过道位置信息计算得到电子标签的位置和每个电子标签的朝向的过程包括以下步骤：
S11，结合货架和过道位置信息计算得到每个货架Ai的过道视角
Figure BDA0003431848520000028
和过道面积
Figure BDA0003431848520000029
根据每个货架的过道视角
Figure BDA00034318485200000210
和过道面积
Figure BDA00034318485200000211
计算得到每个货架Ai的总视角
Figure BDA00034318485200000212
和总视角面积
Figure BDA00034318485200000213
S12，根据下述公式计算得到每个货架上的电子标签的位置和朝向：
Figure BDA00034318485200000214
st.P1：
Figure BDA00034318485200000215
P2：
Figure BDA00034318485200000216
P3：
Figure BDA0003431848520000031
式中，P1是电子标签的安装高度限制条件，
Figure BDA0003431848520000032
是货架Ai摆放商品后的最大理论高度和用户平视高度中的较大值；ΔHmax是货架Ai上的电子标签与商品之间的最大高度差，与电子标签的朝向相关；P2是电子标签的显示视角限制条件，
Figure BDA0003431848520000033
是电子标签
Figure BDA0003431848520000034
允许覆盖的货架Ai的最大角度范围，每个货架Ai的过道视角
Figure BDA0003431848520000035
均被其中一个电子标签
Figure BDA0003431848520000036
的最大角度范围所涵盖；P3是电子标签的显示覆盖面限制条件，
Figure BDA0003431848520000037
是电子标签
Figure BDA0003431848520000038
允许覆盖的货架Ai的最大视角面积，每个货架Ai的过道面积
Figure BDA0003431848520000039
均被其中一个电子标签
Figure BDA00034318485200000310
的最大视角面积所涵盖。
进一步地，步骤S3中，识别货品信息的过程包括以下子步骤：
S31，采集若干张商超所包含的商品图像样本，构建训练集，商品图像样本包含多个同类商品的堆叠图像样本，以及套装商品的全套图像样本和单品图像样本；
S32，基于神经网络构建商品识别模型，采用训练集对商品识别模型进行训练；
S33，以单元货品区为单位，对货架图像进行初步划分，对相邻单元货品区的图像进行相似度判断，将相似度高于相似度阈值的相邻单元货品区视为同一个货品摆放区；初步整合货架图像上的单元货品区，生成若干个货品摆放区，对每个货品摆放区进行标识；
S34，将每个货品摆放区的图像导入商品识别模型，对每个货品摆放区的商品类型进行识别。
进一步地，步骤S34中，当其中一个货品摆放区包含两种以上的商品时，将其所包含的商品类型与邻近货品摆放区的商品类型进行匹配，如果全部商品类型匹配成功，清除该货品摆放区，否则，根据匹配不成功的商品类型生成相应的货品摆放区；邻近货品摆放区是指同属于一个电子标签显示覆盖范围内的货品摆放区。
进一步地，步骤S5中，拼接标签图像的过程包括以下子步骤：
S51，针对每个电子标签读取当前采集周期其所包含的货品摆放区编号和每个货品摆放区上的商品类型，根据商品类型调取每个货品摆放区对应的商品标签图像数据；
S52，根据每个货品摆放区占据的单元货品区的位置信息生成标签模块，标签模板中包含若干个标签填充框，每个标签填充框对应一个货品摆放区；
S53，判断电子标签是否与除主标签之外的第二摆放区相对应，如果有，根据该第二摆放区在货架图像上的占比面积对相应的标签填充框在预设的图像尺寸范围内进行缩放；
S54，将调取的商品标签图像数据填充至相应的标签填充框，生成当前采集周期内的电子标签价格牌。
进一步地，所述自动更新方法包括以下步骤：
S7，采集标签图像：采集包含同一第二摆放区的多个电子标签的显示图像；
S8，对标签图像进行校验：结合第二摆放区和电子标签的对应关系，对多个电子标签上的第二摆放区的位置信息和占比信息进行校验。
进一步地，步骤S8中，对标签图像进行校验的过程包括以下子步骤：
S81，结合电子标签和货品摆放区关系数据表，采集包含同一第二摆放区a的电子标签的显示图像数据集合
Figure BDA0003431848520000041
以及原始采集的货架图像数据集合
Figure BDA0003431848520000042
S82，根据第二摆放区a占据的单元货品区的位置信息，从电子标签的显示图像数据集合
Figure BDA0003431848520000043
中提取得到相应的第二摆放区a的图像数据集合{a(m)}；
S83，判断图像数据集合{a(m)}中的商品标签图像数据是否完整，如果完整，转入步骤S84，否则，判断更新失败，结束流程；
S84，计算第二摆放区a在货架图像数据集合
Figure BDA0003431848520000044
中的每个货架图像上的占比面积，计算得到第二摆放区a的标签填充框的缩放比例集合
Figure BDA0003431848520000045
S84，根据缩放比例集合
Figure BDA0003431848520000046
对数据图像数据集合{a(m)}中的图像进行缩放，得到缩放后的验证集{b(m)}，
Figure BDA0003431848520000047
判断验证集{b(m)}中的图像尺寸是否一致，如果一致，转入步骤S85，否则，判断更新失败，结束流程；
S85，对验证集{b(m)}中的图像与第二摆放区a上相应商品的商品价格标签的相似度进行判断，如果相似度高于预设的相似度阈值，则判断更新成功，否则，判断更新失败。
本发明的有益效果是：
第一，本发明的具有校验功能的商超大屏幕电子标签自动更新方法，能够根据货架上商品的实时状态，自动调整大屏幕电子标签的显示图像；并且以用户的视觉范围为基准，使用户能够在任意角度获取到可视范围内的商品类型(包括错放商品)的价格信息，提高用户体验。本发明尤其适用于货架上只有数种商品且变动频繁的促销区价格牌更新。
第二，本发明的具有校验功能的商超大屏幕电子标签自动更新方法，能够结合部分商品的重复价格标签实现对更新结果的自动验证，验证结果可靠性高。
第三，本发明的具有校验功能的商超大屏幕电子标签自动更新方法，大幅降低了人工调整和确认商品信息的时间；另外，由于价格标签显示内容能够包含所有错放商品的价格信息，可以通过吸引用户购买的方式减少人工重新摆放的几率。
附图说明
图1是本发明的具有校验功能的商超大屏幕电子标签自动更新方法流程图。
图2是本发明的识别货品信息流程图。
图3是本发明的标签图像拼接流程图。
图4是本发明的标签图像校验流程图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
图1是本发明的具有校验功能的商超大屏幕电子标签自动更新方法流程图。参见图1，该自动更新方法包括以下步骤：
S1，构建得到电子标签数据表：结合商超实际地理信息构建商超三维模型图，商超三维模型图上包括货架Ai、单元货品区
Figure BDA0003431848520000051
过道和电子标签
Figure BDA0003431848520000052
构建得到电子标签数据表；所述电子标签数据表用于存储每个电子标签的编号、朝向、位置信息，以及每个电子标签对应的货架编号；i＝1，2，...，I，
Figure BDA0003431848520000053
I是货架总数；
Figure BDA0003431848520000054
是货架Ai上包含的单元货品区总数；
Figure BDA0003431848520000055
是货架Ai对应的电子标签总数。
S2，采集货架图像：结合电子标签朝向和过道位置，计算每个电子标签
Figure BDA0003431848520000056
的拍摄方向角范围；定期沿计算得到的拍摄方向角范围扫描拍摄得到每个电子标签
Figure BDA0003431848520000057
对应的货架图像。
S3，识别货品信息：整合货架图像上的单元货品区，生成若干个货品摆放区；识别置于每个整合后的货品摆放区上的货品类别并且进行货品摆放区标记和货品类别标记，构建电子标签和货品摆放区关系数据表。
S4，摆放区处理：根据货品摆放区出现频次，将只对应一个电子标签的货品摆放区定义为第一摆放区，将剩余货品摆放区定义为第二摆放区，根据图像占比面积确定每个第二摆放区的主标签。
S5，拼接标签图像：再次处理标记后的货架图像，调取每个货品摆放区对应的商品标签图像，根据货架图像上各个货品摆放区的位置关系拼接调取的商品标签图像，生成电子标签价格牌；其中，除主标签之外的第二摆放区的标签图像根据该第二摆放区在货架图像上的占比面积进行缩放。
S6，显示标签图像：将拼接后的电子标签价格牌发送至相应的电子标签进行显示。
下面结合附图对本实施例的优化技术方案做详细的阐述。
S1，构建得到电子标签数据表
由于大屏幕电子标签上通常会显示多个商品的价格信息，大屏幕电子标签的位置和朝向设置就显得至关重要。在本实施例中，电子标签的显示内容受用户的视觉范围影响，即，一方面，一个货架上的所有电子标签要能够显示完全该货架上的所有商品的价格，另一方面，每个电子标签的显示内容包含视野范围内用户从任意一个角度可以观察到的商品类型。相对于根据商品摆放位置一一对应地设置与商品数量相当的电子标签，极大地减少了用户查找价格需要花费的精力。综上所述，本实施例提出了一种电子标签位置和朝向的设置方法：步骤S1中，结合货架和过道位置信息计算得到电子标签的位置和每个电子标签的朝向。具体的，包括以下步骤：
S11，结合货架和过道位置信息计算得到每个货架Ai的过道视角
Figure BDA0003431848520000061
和过道面积
Figure BDA0003431848520000062
根据每个货架的过道视角
Figure BDA0003431848520000063
和过道面积
Figure BDA0003431848520000064
计算得到每个货架Ai的总视角
Figure BDA0003431848520000065
和总视角面积
Figure BDA0003431848520000066
S12，根据下述公式计算得到每个货架上的电子标签的位置和朝向：
Figure BDA0003431848520000067
st.P1：
Figure BDA0003431848520000068
P2：
Figure BDA0003431848520000069
P3：
Figure BDA00034318485200000610
式中，P1是电子标签的安装高度限制条件，
Figure BDA00034318485200000611
是货架Ai摆放商品后的最大理论高度和用户平视高度中的较大值和用户平视高度中的较大值；ΔHmax是货架Ai上的电子标签与商品之间的最大高度差，与电子标签的朝向相关；P2是电子标签的显示视角限制条件，
Figure BDA00034318485200000612
是电子标签
Figure BDA00034318485200000613
允许覆盖的货架Ai的最大角度范围，每个货架Ai的过道视角
Figure BDA00034318485200000614
均被其中一个电子标签
Figure BDA00034318485200000615
的最大角度范围所涵盖；P3是电子标签的显示覆盖面限制条件，
Figure BDA00034318485200000616
是电子标签
Figure BDA00034318485200000617
允许覆盖的货架Ai的最大视角面积，每个货架Ai的过道面积
Figure BDA00034318485200000618
均被其中一个电子标签
Figure BDA00034318485200000619
的最大视角面积所涵盖。
本实施例提出，P1是电子标签的安装高度限制条件。考虑到目前商超内货架上的商品最大理论高度通常不低于一个用户的平视高度，因此将电子标签悬置或者放置在该货架的最大理论高度之上，确保用户能够从任意一个角度观察到该货架上的至少一个标签的显示屏。如果存在货架上的商品最大理论高度低于用户的平视高度，则可以将用户的平视高度设置为电子标签的最低安装高度。此处的用户泛指商超主要针对的用户群体类型。ΔHmax是货架Ai上的电子标签与商品之间的最大高度差，与电子标签的朝向相关；例如，电子标签朝向平行于地面，则最大高度差可以较小，甚至取值为0；而如果电子标签朝向与地面呈一锐角，则需要留有一余裕距离，避免电子标签倾斜时某些视角方向上电子标签临近底边的图像被商品遮挡。
P2和P3分别是电子标签的显示视角限制条件和显示覆盖面限制条件。限制条件P2用于确保一个货架上的所有电子标签要能够显示完全该货架上的所有商品的价格，即货架Ai上的所有电子标签
Figure BDA0003431848520000071
允许覆盖的货架Ai的最大角度范围之和(去除重叠角度之后)，与每个货架Ai的总视角
Figure BDA0003431848520000072
重合。以四面台式货架为例，其总视角
Figure BDA0003431848520000073
为360°；而单面柜式货架，其总视角
Figure BDA0003431848520000074
为180°。P3是电子标签的显示覆盖面限制条件，
Figure BDA0003431848520000075
是电子标签
Figure BDA0003431848520000076
允许覆盖的货架Ai的最大视角面积，每个货架Ai的过道面积
Figure BDA0003431848520000077
均被其中一个电子标签
Figure BDA0003431848520000078
的最大视角面积所涵盖。结合P2中的每个货架Ai的过道视角
Figure BDA0003431848520000079
均被其中一个电子标签
Figure BDA00034318485200000710
的最大角度范围所涵盖，确保用户能够从任意角度实现原地获取商品价格的技术效果。
S2，采集货架图像：结合电子标签朝向和过道位置，计算每个电子标签
Figure BDA00034318485200000711
的拍摄方向角范围；定期沿计算得到的拍摄方向角范围扫描拍摄得到每个电子标签
Figure BDA00034318485200000712
对应的货架图像。
每个电子标签
Figure BDA00034318485200000713
的拍摄方向角范围可以和其允许覆盖的货架Ai的最大角度范围
Figure BDA00034318485200000714
一致，货架图像的采集可以通过安装在预设位置的摄像头实现，也可以同步结合人工巡视拍摄，如果需要结合人工巡视拍摄，人工巡视拍摄的图像可以再次进行校调，或间接计算其与固定点位拍摄图像之间的相关性，再做价格更新应用使用。在本实施例中，价格更新除了会在商品上架时执行，还可以体现在商超的日常运维中，例如某货架上的其中一个商品售罄了，也可以通过定期更新检查，来及时调整价格标签避免用户产生误解。
S3，识别货品信息：整合货架图像上的单元货品区，生成若干个货品摆放区；识别置于每个整合后的货品摆放区上的货品类别并且进行货品摆放区标记和货品类别标记，构建电子标签和货品摆放区关系数据表。
参见图2，步骤S3中，识别货品信息的过程包括以下子步骤：
S31，采集若干张商超所包含的商品图像样本，构建训练集，商品图像样本包含多个同类商品的堆叠图像样本，以及套装商品的全套图像样本和单品图像样本。对于后者，是考虑到套装商品的价格显示方式。
S32，基于神经网络构建商品识别模型，采用训练集对商品识别模型进行训练。商品识别模型可以采用现有技术中的图像识别技术，例如2020年10月02日公开的申请号为202010874612.9的发明中公开了一种商品识别管理方法，通过对目标商品的图像进行训练识别，得到商品的类别和型号信息。
S33，以单元货品区为单位，对货架图像进行初步划分，对相邻单元货品区的图像进行相似度判断，将相似度高于相似度阈值的相邻单元货品区视为同一个货品摆放区；初步整合货架图像上的单元货品区，生成若干个货品摆放区，对每个货品摆放区进行标识。
S34，将每个货品摆放区的图像导入商品识别模型，对每个货品摆放区的商品类型进行识别。
当其中一个货品摆放区包含两种以上的商品时，将其所包含的商品类型与邻近货品摆放区的商品类型进行匹配，如果全部商品类型匹配成功，清除该货品摆放区，否则，根据匹配不成功的商品类型生成相应的货品摆放区；邻近货品摆放区是指同属于一个电子标签显示覆盖范围内的货品摆放区。这是考虑到在商超环境中，由于是开放式的购物环境，因此会经常出现用户拿取商品后错放至另一个区域的情况。在现有技术中，对于这一情况，通常是通过人工巡查或者图像识别结合数据库校对等方式发现错放货品，再通知工作人员重新摆放商品的方式实现对商品的位置纠正。而在本实施例中，并不将其视为单纯的错放商品，而是将其视为次选商品在大屏幕电子标签中同时显示其价格信息，以此来增加用户购买该商品的几率，减轻工作人员的拣放工作量。
S4，摆放区处理：根据货品摆放区出现频次，将只对应一个电子标签的货品摆放区定义为第一摆放区，将剩余货品摆放区定义为第二摆放区，根据图像占比面积确定每个第二摆放区的主标签。
在本实施例中，第二摆放区上的商品除了对应错放的次选商品之外，还包含同一视角方向上因为占地区域较小从而不太容易吸引用户注意力的商品。这部分商品在视角方向A上因为角度问题占地区域较小且只能部分展示，但很可能在视角方向B上可以完整显示，这更符合用户购物时的视觉规律，则视觉方向B对应的电子标签为该商品所在的第二摆放区的主标签，同时显示该商品的其余电子标签为副标签。
S5，拼接标签图像：再次处理标记后的货架图像，调取每个货品摆放区对应的商品标签图像，根据货架图像上各个货品摆放区的位置关系拼接调取的商品标签图像，生成电子标签价格牌；其中，除主标签之外的第二摆放区的标签图像根据该第二摆放区在货架图像上的占比面积进行缩放。
参见图3，步骤S5中，拼接标签图像的过程包括以下子步骤：
S51，针对每个电子标签读取当前采集周期其所包含的货品摆放区编号和每个货品摆放区上的商品类型，根据商品类型调取每个货品摆放区对应的商品标签图像数据。
S52，根据每个货品摆放区占据的单元货品区的位置信息生成标签模块，标签模板中包含若干个标签填充框，每个标签填充框对应一个货品摆放区。
S53，判断电子标签是否与除主标签之外的第二摆放区相对应，如果有，根据该第二摆放区在货架图像上的占比面积对相应的标签填充框在预设的图像尺寸范围内进行缩放。
S54，将调取的商品标签图像数据填充至相应的标签填充框，生成当前采集周期内的电子标签价格牌。
在获取到电子标签和货品摆放区的对应关系后，就可以根据货品摆放区的位置关系实现对商品价格标签的拼接过程。本实施例的电子标签价格牌根据商品的位置关系拼接而成，能够正确引导客户了解商品信息；同时，电子标签价格牌中的商品标签图像与当前视角情况下用户的注意力相关，能够降低用户获取价格信息需要付出的精力，同时减少错判率。
在本实施例中，商品标签图像虽然会缩放，但是仍在人眼视觉合理范围内的缩放，而货架对应的电子标签的尺寸和数量可以结合该货架的商品类型和数量决定。
S6，显示标签图像：将拼接后的电子标签价格牌发送至相应的电子标签进行显示。
在本实施例中，设置第二摆放区的目的除了使用户能够完整快速地了解视线范围内所有商品的价格之外，还有另一个重要的意义，就是作为更新结果的校验标准。
目前对价格标签显示结果的校验仍然是通过人工来实现，商超环境下的商品类型众多，即使是经验丰富的工作人员也难以记清大部分商品的实时价格。如果更新较为频繁，则工作人员的工作量将会呈几何量级增长。对于多商品价格显示的大屏幕价格标签更是如此。
本实施例提出了一种新的自动校验方法：
S7，采集标签图像：采集包含同一第二摆放区的多个电子标签的显示图像。
S8，对标签图像进行校验：结合第二摆放区和电子标签的对应关系，对多个电子标签上的第二摆放区的位置信息和占比信息进行校验。
具体的，步骤S8中，对标签图像进行校验的过程包括以下子步骤：
S81，结合电子标签和货品摆放区关系数据表，采集包含同一第二摆放区a的电子标签的显示图像数据集合
Figure BDA0003431848520000091
以及原始采集的货架图像数据集合
Figure BDA0003431848520000092
S82，根据第二摆放区a占据的单元货品区的位置信息，从电子标签的显示图像数据集合
Figure BDA0003431848520000093
中提取得到相应的第二摆放区a的图像数据集合{a(m)}。
S83，判断图像数据集合{a(m)}中的商品标签图像数据是否完整，如果完整，转入步骤S84，否则，判断更新失败，结束流程。
S84，计算第二摆放区a在货架图像数据集合
Figure BDA0003431848520000094
中的每个货架图像上的占比面积，计算得到第二摆放区a的标签填充框的缩放比例集合
Figure BDA0003431848520000095
S84，根据缩放比例集合
Figure BDA0003431848520000096
对数据图像数据集合{a(m)}中的图像进行缩放，得到缩放后的验证集{b(m)}，
Figure BDA0003431848520000097
判断验证集{b(m)}中的图像尺寸是否一致，如果一致，转入步骤S85，否则，判断更新失败，结束流程。
S85，对验证集{b(m)}中的图像与第二摆放区a上相应商品的商品价格标签的相似度进行判断，如果相似度高于预设的相似度阈值，则判断更新成功，否则，判断更新失败。
以四边货台为例，假设位于东面的货台上摆放着若干个商品1，从南边和北边过道也能够观察到部分商品1，该四边货台包括三个电子标签，其中一个电子标签正对东边，而另外两个电子标签分别朝向西南和西北。经分析，朝向东的电子标签1为主标签，朝向西南和西北的电子标签2和3为副标签。电子标签1、2和3分别根据商品1在其对应的货架图像上的占比面积以及位置对商品1的商品价格图像进行了处理显示。在电子标签2中，商品1的价格图像较小且偏右显示，在电子标签3中，商品1的价格图像较小且偏左显示。
在验证过程中，分别采集了电子标签1、2和3的完整显示图像，根据电子标签模板从完整显示图像中的设定位置处截取出相应的摆放区价格图像，如果摆放区价格图像不完整，则说明当前电子标签更新失败，且很可能是未接收到更新后的图像数据；否则，通过再次对原始货架图像进行处理，计算得到缩放比例，对截取的摆放区价格图像进行缩放后再比较一致性，同时对原始货架图像的计算结果、缩放比例以及图像数据显示进行验证。此处的原始货架图像是指电子标签更新时的数据依据，而不单指商品上架时的图像，这是为了在商品售卖过程中电子标签更新时的验证工作。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，所述自动更新方法包括以下步骤：
S1，构建得到电子标签数据表：结合商超实际地理信息构建商超三维模型图，商超三维模型图上包括货架Ai、单元货品区
Figure FDA0003431848510000011
过道和电子标签
Figure FDA0003431848510000012
构建得到电子标签数据表；所述电子标签数据表用于存储每个电子标签的编号、朝向、位置信息，以及每个电子标签对应的货架编号；
Figure FDA0003431848510000013
I是货架总数；
Figure FDA0003431848510000014
是货架Ai上包含的单元货品区总数；
Figure FDA0003431848510000015
是货架Ai对应的电子标签总数；
S2，采集货架图像：结合电子标签朝向和过道位置，计算每个电子标签
Figure FDA0003431848510000016
的拍摄方向角范围；定期沿计算得到的拍摄方向角范围扫描拍摄得到每个电子标签
Figure FDA0003431848510000017
对应的货架图像；
S3，识别货品信息：整合货架图像上的单元货品区，生成若干个货品摆放区；识别置于每个整合后的货品摆放区上的货品类别并且进行货品摆放区标记和货品类别标记，构建电子标签和货品摆放区关系数据表；
S4，摆放区处理：根据货品摆放区出现频次，将只对应一个电子标签的货品摆放区定义为第一摆放区，将剩余货品摆放区定义为第二摆放区，根据图像占比面积确定每个第二摆放区的主标签；
S5，拼接标签图像：再次处理标记后的货架图像，调取每个货品摆放区对应的商品标签图像，根据货架图像上各个货品摆放区的位置关系拼接调取的商品标签图像，生成电子标签价格牌；其中，除主标签之外的第二摆放区的标签图像根据该第二摆放区在货架图像上的占比面积进行缩放；
S6，显示标签图像：将拼接后的电子标签价格牌发送至相应的电子标签进行显示。
2.根据权利要求1所述的具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，步骤S1中，结合货架和过道位置信息计算得到电子标签的位置和每个电子标签的朝向。
3.根据权利要求2所述的具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，结合货架和过道位置信息计算得到电子标签的位置和每个电子标签的朝向的过程包括以下步骤：
S11，结合货架和过道位置信息计算得到每个货架Ai的过道视角
Figure FDA0003431848510000018
和过道面积
Figure FDA0003431848510000019
根据每个货架的过道视角
Figure FDA00034318485100000110
和过道面积
Figure FDA00034318485100000111
计算得到每个货架Ai的总视角
Figure FDA00034318485100000112
和总视角面积
Figure FDA00034318485100000113
S12，根据下述公式计算得到每个货架上的电子标签的位置和朝向：
Figure FDA00034318485100000114
Figure FDA0003431848510000021
Figure FDA0003431848510000022
Figure FDA0003431848510000023
式中，P1是电子标签的安装高度限制条件，
Figure FDA0003431848510000024
是货架Ai摆放商品后的最大理论高度和用户平视高度中的较大值；ΔHmax是货架Ai上的电子标签与商品之间的最大高度差，与电子标签的朝向相关；P2是电子标签的显示视角限制条件，
Figure FDA0003431848510000025
是电子标签
Figure FDA0003431848510000026
允许覆盖的货架Ai的最大角度范围，每个货架Ai的过道视角
Figure FDA0003431848510000027
均被其中一个电子标签
Figure FDA0003431848510000028
的最大角度范围所涵盖；P3是电子标签的显示覆盖面限制条件，
Figure FDA0003431848510000029
是电子标签
Figure FDA00034318485100000210
允许覆盖的货架Ai的最大视角面积，每个货架Ai的过道面积
Figure FDA00034318485100000211
均被其中一个电子标签
Figure FDA00034318485100000212
的最大视角面积所涵盖。
4.根据权利要求1所述的具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，步骤S3中，识别货品信息的过程包括以下子步骤：
S31，采集若干张商超所包含的商品图像样本，构建训练集，商品图像样本包含多个同类商品的堆叠图像样本，以及套装商品的全套图像样本和单品图像样本；
S32，基于神经网络构建商品识别模型，采用训练集对商品识别模型进行训练；
S33，以单元货品区为单位，对货架图像进行初步划分，对相邻单元货品区的图像进行相似度判断，将相似度高于相似度阈值的相邻单元货品区视为同一个货品摆放区；初步整合货架图像上的单元货品区，生成若干个货品摆放区，对每个货品摆放区进行标识；
S34，将每个货品摆放区的图像导入商品识别模型，对每个货品摆放区的商品类型进行识别。
5.根据权利要求4所述的具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，步骤S34中，当其中一个货品摆放区包含两种以上的商品时，将其所包含的商品类型与邻近货品摆放区的商品类型进行匹配，如果全部商品类型匹配成功，清除该货品摆放区，否则，根据匹配不成功的商品类型生成相应的货品摆放区；邻近货品摆放区是指同属于一个电子标签显示覆盖范围内的货品摆放区。
6.根据权利要求1所述的具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，步骤S5中，拼接标签图像的过程包括以下子步骤：
S51，针对每个电子标签读取当前采集周期其所包含的货品摆放区编号和每个货品摆放区上的商品类型，根据商品类型调取每个货品摆放区对应的商品标签图像数据；
S52，根据每个货品摆放区占据的单元货品区的位置信息生成标签模块，标签模板中包含若干个标签填充框，每个标签填充框对应一个货品摆放区；
S53，判断电子标签是否与除主标签之外的第二摆放区相对应，如果有，根据该第二摆放区在货架图像上的占比面积对相应的标签填充框在预设的图像尺寸范围内进行缩放；
S54，将调取的商品标签图像数据填充至相应的标签填充框，生成当前采集周期内的电子标签价格牌。
7.根据权利要求1所述的具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，所述自动更新方法包括以下步骤：
S7，采集标签图像：采集包含同一第二摆放区的多个电子标签的显示图像；
S8，对标签图像进行校验：结合第二摆放区和电子标签的对应关系，对多个电子标签上的第二摆放区的位置信息和占比信息进行校验。
8.根据权利要求7所述的具有校验功能的商超大屏幕电子标签自动更新方法，其特征在于，步骤S8中，对标签图像进行校验的过程包括以下子步骤：
S81，结合电子标签和货品摆放区关系数据表，采集包含同一第二摆放区a的电子标签的显示图像数据集合
Figure FDA0003431848510000031
以及原始采集的货架图像数据集合
Figure FDA0003431848510000032
S82，根据第二摆放区a占据的单元货品区的位置信息，从电子标签的显示图像数据集合
Figure FDA0003431848510000033
中提取得到相应的第二摆放区a的图像数据集合{a(m)}；
S83，判断图像数据集合{a(m)}中的商品标签图像数据是否完整，如果完整，转入步骤S84，否则，判断更新失败，结束流程；
S84，计算第二摆放区a在货架图像数据集合
Figure FDA0003431848510000034
中的每个货架图像上的占比面积，计算得到第二摆放区a的标签填充框的缩放比例集合
Figure FDA0003431848510000035
S84，根据缩放比例集合
Figure FDA0003431848510000036
对数据图像数据集合{a(m)}中的图像进行缩放，得到缩放后的验证集{b(m)}，
Figure FDA0003431848510000037
判断验证集{b(m)}中的图像尺寸是否一致，如果一致，转入步骤S85，否则，判断更新失败，结束流程；
S85，对验证集{b(m)}中的图像与第二摆放区a上相应商品的商品价格标签的相似度进行判断，如果相似度高于预设的相似度阈值，则判断更新成功，否则，判断更新失败。
CN202111607250.8A 2021-12-24 2021-12-24 一种具有校验功能的商超大屏幕电子标签自动更新方法 Pending CN114185912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111607250.8A CN114185912A (zh) 2021-12-24 2021-12-24 一种具有校验功能的商超大屏幕电子标签自动更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111607250.8A CN114185912A (zh) 2021-12-24 2021-12-24 一种具有校验功能的商超大屏幕电子标签自动更新方法

Publications (1)

Publication Number Publication Date
CN114185912A true CN114185912A (zh) 2022-03-15

Family

ID=80545025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111607250.8A Pending CN114185912A (zh) 2021-12-24 2021-12-24 一种具有校验功能的商超大屏幕电子标签自动更新方法

Country Status (1)

Country Link
CN (1) CN114185912A (zh)

Similar Documents

Publication Publication Date Title
CN109146380B (zh) 一种基于相对位置的库存分析系统
CN108320404B (zh) 基于神经网络的商品识别方法、装置、自助收银台
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
CN107045641B (zh) 一种基于图像识别技术的货架识别方法
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN111222389B (zh) 商超货架上商品的分析方法和系统
CN108596137A (zh) 一种基于图像识别算法的商品扫描录入方法
CN111310706B (zh) 一种商品价签识别方法及装置、电子设备、存储介质
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
CN114282816A (zh) 一种生鲜区大屏幕电子标签自动管理系统
US8126198B2 (en) Method for auditing and maintaining an ordered inventory
Bobbit et al. Visual item verification for fraud prevention in retail self-checkout
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
US20240029104A1 (en) Information processing apparatus, information processing method, and program for identifying whether an advertisement is positioned in association with a product
CN113869343A (zh) 用于基于视觉的结账的被遮挡物品检测
CN110895747A (zh) 商品信息识别、显示、信息关联、结算方法及系统
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN111222388B (zh) 基于视觉识别的结算方法和系统
CN114185912A (zh) 一种具有校验功能的商超大屏幕电子标签自动更新方法
CN114282818A (zh) 一种最大化销售额的生鲜区电子标签管控方法
CN108557364B (zh) 一种自动盘库方法和装置
US20220383248A1 (en) Method for scene segmentation
US11580726B2 (en) Method of acquisition and interpretation of images used for commerce items
US20210374662A1 (en) Method for tracking and maintaining promotional states of slots in inventory structures within a store
US11966435B2 (en) Information processing apparatus, control method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination