CN114282816A - 一种生鲜区大屏幕电子标签自动管理系统 - Google Patents

Abstract

本发明公开了一种生鲜区大屏幕电子标签自动管理系统，包括基站、第一拍摄装置、区域管控装置和远端服务器；区域管控装置包括价格变化数据表、价格调整模块、趋势分析模块和多个生鲜商品的新鲜度评估模型；价格变化数据表用于存储生鲜商品类型、商品新鲜度等级和相应的价格数值；新鲜度评估模型对指定生鲜商品的整体新鲜度等级进行评估，将评估结果反馈至趋势分析模块；趋势分析模块计算得到其新鲜度变化趋势，根据新鲜度变化趋势生成补货指令或者价格调整指令。本发明大幅降低了人工调整和确认商品信息的时间，验证结果可靠性高，使用户可观察到的商品类型和价格标签显示一致，提高用户体验。

Description

一种生鲜区大屏幕电子标签自动管理系统

技术领域

本发明涉及生鲜区电子标签技术领域，具体而言涉及一种生鲜区大屏幕电子标签自动管理系统。

背景技术

采用电子纸的电子标签因为显示效果优异，便于更新价格等优势，在超市中得到普及，逐渐代替原始的纸质标签。当商品价格需要调整时，只需要将调整后的商品价格图像发送给对应的电子标签单体，就可以实现全商超范围内的价格更新。电子标签的尺寸多样，以超市为例，在商品种类繁多的百货区货架上有可能会选用4～6寸的电子标签，而在生鲜区则会选用10寸以上的大屏幕电子标签，通过将其悬挂在生鲜商品上方的方式提供顾客价格提示服务。

目前大多数电子标签的更新是通过人工后台处理实现，也有少部分研究方案提出通过一些读取设备对商品识别后进行电子标签的自动更新。2019年10月18日公开的申请号为201810299344.5的发明中公开了一种商品信息自动识别方法，能够结合商品自动识别的技术自动调整电子货架标签上的商品信息，大大提高了工作效率，同时避免了商品错发导致的信息不一致。但该申请是采用RFID读写器的方式去实现对商品信息的识别，并且只能对单个商品对应的电子标签进行更新，一旦电子标签对应多个商品且商品占据的位置区域发生变化时，则无法实现对价格标签的自动更新。目前尚未出现对同时显示多个商品的大屏幕电子标签的价格标签自动更新方法。

另外，生鲜区商品保质期短，很多生鲜商品在同一天内就会因为水分丢失等原因降低售卖几率，通常商家会采用降价促销等方式来提高售卖几率。目前针对这一现象，都是工作人员在查看生鲜区商品现状后通过人工的方式在后台更改，再将更改结果显示在电子标签上。

发明内容

本发明针对现有技术中的不足，提供一种生鲜区大屏幕电子标签自动管理系统，能够对生鲜区商品的新鲜度等级进行预估，并且根据预估结果给出补货或者降价促销的解决方案，根据用户预先设定的促销方案自动调整商品价格标签，大幅降低了人工调整和确认商品信息的时间。

为实现上述目的，本发明采用以下技术方案：

一种生鲜区大屏幕电子标签自动管理系统，用于对分布安装在生鲜区的电子标签的显示内容进行管理更新；所述自动管理系统包括基站、第一拍摄装置、区域管控装置和远端服务器；

所述远端服务器在本地生成每个生鲜区商品的价格标签，通过基站发送至相应的电子标签；所述电子标签采用电子纸显示屏，用于显示所属货架上至少一个生鲜区商品的价格标签；

所述第一拍摄装置安装在电子标签下方，与区域管控装置相连，第一拍摄装置拍摄电子标签对应的指定货品摆放区的生鲜商品图像，将拍摄结果发送至区域管控装置；

所述区域管控装置包括价格变化数据表、价格调整模块、趋势分析模块和多个生鲜商品的新鲜度评估模型；价格变化数据表用于存储生鲜商品类型、商品新鲜度等级和相应的价格数值；

所述新鲜度评估模型采用若干张呈堆叠状的同类生鲜商品样本图像训练得到，新鲜度评估模型接收第一拍摄装置拍摄的指定货品摆放区的生鲜商品图像，对指定生鲜商品的整体新鲜度等级进行评估，将评估结果反馈至趋势分析模块；

所述趋势分析模块对每个指定生鲜商品在一定时段范围内的整体新鲜度等级序列数据进行分析，计算得到其新鲜度变化趋势，根据新鲜度变化趋势生成补货指令或者价格调整指令；趋势分析模块采用神经网络构建，通过对不同外界因素条件下生鲜商品的整体新鲜度等级随时间变化的拟合曲线训练得到；该趋势分析模块的输入是自当前时刻起向前统计到的m个采样周期对应的生鲜商品的历史新鲜度等级数据，输出为自当前时刻起向后统计到的m个采样周期的预估新鲜度等级数据；

所述价格调整模块结合价格调整指令和价格变化数据表更新相应商品的价格标签。

为优化上述技术方案，采取的具体措施还包括：

进一步地，所述新鲜度评估模型包括依次连接的特征提取单元、第一特征融合单元、第二特征融合单元、自适应最大池化层、全局平均池化层和全连接层；

所述特征提取单元包括三个卷积模块，对导入的指定货品摆放区的生鲜商品图像进行逐层特征提取；所述第一特征融合单元用于将第二卷积模块和第三卷积模块的输出提取出来，进行不同尺寸的特征融合；所述第二特征融合单元用于将第一特征融合单元的输出与第一卷积模块的输出进行再次特征融合；所述第二特征融合单元融合后的特征分别经自适应最大池化层和全局平均池化层进行自适应最大池化和全局平均池化处理后，提取得到生鲜商品图像全局特征；所述全连接层用于对提取得到的生鲜商品图像全局特征进行分类处理，计算得到该生鲜商品图像全局特征属于每个新鲜度等级的概率，输出当前生鲜商品图像的新鲜度等级。

进一步地，所述新鲜度评估模型采用的训练样本的采集过程包括：

针对不同数量和不同新鲜度等级的指定生鲜商品，间隔搅拌，且在搅拌间隙分批次采集得到初始样本图像；

对每个批次的初始样本图像进行增强，采用缩放、旋转、变换、翻转多种方法以扩充数据集。

进一步地，所述远端服务器包括电子标签管理模块、商品管理模块、基站管理模块和价格更新模块；所述标签管理模块用于对电子标签进行管理；所述基站管理模块用于对基站进行管理；所述商品管理模块用于对生鲜区的商品类型、供货量和售卖量进行管理；所述价格更新模块用于接收或者生成所有商品的价格标签，将价格标签通过基站发送至电子标签进行显示；当一个电子标签对应多个商品时，价格更新模块还用于将多个商品的价格标签进行拼接，将拼接后的标签图像发送至电子标签进行显示。

进一步地，所述自动管理系统还包括分布在生鲜区的第二拍摄装置；

所述第二拍摄装置用于拍摄以每个电子标签对应的单元货品区为中心预设视野范围内的该单元货品区所属的货架图像；

所述价格更新模块包括货品识别单元、摆放区分析单元和标签图像拼接单元；

所述货品识别单元以单元货品区为单位，对货架图像进行初步划分，对相邻单元货品区的图像进行相似度判断，将相似度高于相似度阈值的相邻单元货品区视为同一个货品摆放区，初步整合货架图像上的单元货品区，生成若干个货品摆放区，对每个货品摆放区进行标识；再调用商品识别模型对每个货品摆放区的商品类型进行识别；

所述摆放区分析单元根据货品摆放区出现频次，将只对应一个电子标签的货品摆放区定义为第一摆放区，将剩余货品摆放区定义为第二摆放区，根据图像占比面积确定每个第二摆放区的主标签；

所述标签图像拼接单元调取每个货品摆放区对应的商品标签图像，根据货架图像上各个货品摆放区的位置关系拼接调取的商品标签图像，生成电子标签价格牌；其中，除主标签之外的第二摆放区的标签图像根据该第二摆放区在货架图像上的占比面积进行缩放。

进一步地，当其中一个货品摆放区包含两种以上的商品时，将其所包含的商品类型与邻近货品摆放区的商品类型进行匹配，如果全部商品类型匹配成功，清除该货品摆放区，否则，根据匹配不成功的商品类型生成相应的货品摆放区；邻近货品摆放区是指同属于一个电子标签显示覆盖范围内的货品摆放区。

进一步地，所述标签图像拼接单元包括商品标签调取组件、模板生成组件、判断组件、缩放组件和填充组件；

所述商品标签调取组件针对每个电子标签读取当前采集周期其所包含的货品摆放区编号和每个货品摆放区上的商品类型，根据商品类型调取每个货品摆放区对应的商品标签图像数据；

所述模板生成组件根据每个货品摆放区占据的单元货品区的位置信息生成标签模块，标签模板中包含若干个标签填充框，每个标签填充框对应一个货品摆放区；

所述判断组件用于判断电子标签是否与除主标签之外的第二摆放区相对应，如果有，调用缩放组件根据该第二摆放区在货架图像上的占比面积对相应的标签填充框在预设的图像尺寸范围内进行缩放；

所述填充组件将调取的商品标签图像数据填充至相应的标签填充框，生成当前采集周期内的电子标签价格牌。

进一步地，所述验证模块包括标签图像采集单元、验证信息调取单元、第一判断单元、缩放比例再计算单元、第二判断单元、第三判断单元和判断结果输出单元；

所述标签图像采集单元结合电子标签和货品摆放区关系数据表，采集包含同一第二摆放区a的电子标签的显示图像数据集合

所述验证信息调取单元调用前述电子标签对应的原始采集的货架图像数据集合

并根据第二摆放区a占据的单元货品区的位置信息，从电子标签的显示图像数据集合

由提取得到相应的第二摆放区a的图像数据集合{a^(m)}；m＝1，2，...，M；

所述第一判断单元判断图像数据集合{a^(m)}中的商品标签图像数据是否完整，如果完整，发送启动信号至缩放比例再计算单元，否则，调用判断结果输出单元输出更新失败结果；

所述缩放比例再计算单元计算第二摆放区a在货架图像数据集合

中的每个货架图像上的占比面积，计算得到第二摆放区a的标签填充框的缩放比例集合

所述第二判断单元根据缩放比例集合

对数据图像数据集合{a^(m)}中的图像进行缩放，得到缩放后的验证集{b^(m)}，

再判断验证集{b^(m)}中的图像尺寸是否一致，如果一致，发送启动信号至第三判断单元，否则，调用判断结果输出单元输出更新失败结果；

所述第三判断单元对验证集{b^(m)}中的图像与第二摆放区a上相应商品的商品价格标签的相似度进行判断，如果相似度高于预设的相似度阈值，调用判断结果输出单元输出更新成功结果，否则，调用判断结果输出单元输出更新失败结果。

本发明的有益效果是：

第一，本发明的生鲜区大屏幕电子标签自动管理系统，能够对生鲜区商品的新鲜度等级进行预估，并且根据预估结果给出补货或者降价促销的解决方案，根据用户预先设定的促销方案自动调整商品价格标签，大幅降低了人工调整和确认商品信息的时间。

第二，本发明的生鲜区大屏幕电子标签自动管理系统，能够根据货架上商品的实时状态，自动调整大屏幕电子标签的显示图像；以用户的视觉范围为基准，使用户能够在任意角度获取到近距离可视范围内的商品类型(包括错放商品)的价格信息，提高用户体验。另外，由于价格标签显示内容能够包含所有错放商品的价格信息，可以通过吸引用户购买的方式减少人工重新摆放的几率。

第三，本发明的生鲜区大屏幕电子标签自动管理系统，能够结合部分商品的重复价格标签实现对更新结果的自动验证，验证结果可靠性高。

附图说明

图1是本发明的生鲜区大屏幕电子标签自动管理系统结构图。

图2是本发明的新鲜度评估模型结构图。

图3是本发明的价格更新模块结构图。

图4是本发明的验证模块结构图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。

需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

图1是本发明的生鲜区大屏幕电子标签自动管理系统结构图。参见图1，该自动管理系统用于对分布安装在生鲜区的电子标签的显示内容进行管理更新，自动管理系统包括基站、第一拍摄装置、区域管控装置和远端服务器。

远端服务器在本地生成每个生鲜区商品的价格标签，通过基站发送至相应的电子标签；所述电子标签采用电子纸显示屏，用于显示所属货架上至少一个生鲜区商品的价格标签。

第一拍摄装置安装在电子标签下方，与区域管控装置相连，第一拍摄装置拍摄电子标签对应的指定货品摆放区的生鲜商品图像，将拍摄结果发送至区域管控装置。

区域管控装置包括价格变化数据表、价格调整模块、趋势分析模块和多个生鲜商品的新鲜度评估模型；价格变化数据表用于存储生鲜商品类型、商品新鲜度等级和相应的价格数值。

新鲜度评估模型采用若干张呈堆叠状的同类生鲜商品样本图像训练得到，新鲜度评估模型接收第一拍摄装置拍摄的指定货品摆放区的生鲜商品图像，对指定生鲜商品的整体新鲜度等级进行评估，将评估结果反馈至趋势分析模块。

趋势分析模块对每个指定生鲜商品在一定时段范围内的整体新鲜度等级序列数据进行分析，计算得到其新鲜度变化趋势，根据新鲜度变化趋势生成补货指令或者价格调整指令；所述趋势分析模块采用以单位时间为基准的整体新鲜度等级序列数据和销售序列数据训练得到。

价格调整模块结合价格调整指令和价格变化数据表更新相应商品的价格标签。

一、新鲜度判断

参见图2，新鲜度评估模型包括依次连接的特征提取单元、第一特征融合单元、第二特征融合单元、自适应最大池化层、全局平均池化层和全连接层。

特征提取单元包括三个卷积模块，对导入的指定货品摆放区的生鲜商品图像进行逐层特征提取；第一特征融合单元用于将第二卷积模块和第三卷积模块的输出提取出来，进行不同尺寸的特征融合；第二特征融合单元用于将第一特征融合单元的输出与第一卷积模块的输出进行再次特征融合；第二特征融合单元融合后的特征分别经自适应最大池化层和全局平均池化层进行自适应最大池化和全局平均池化处理后，提取得到生鲜商品图像全局特征；全连接层用于对提取得到的生鲜商品图像全局特征进行分类处理，计算得到该生鲜商品图像全局特征属于每个新鲜度等级的概率，输出当前生鲜商品图像的新鲜度等级。

第一特征融合单元用于融合第二卷积模块输出的中层特征值和第三卷积模块输出的深层特征值，得到第一融合特征，用以表征是生鲜商品的语义信息。第二特征融合单元用于融合第二卷积模块输出的中层特征值和第三卷积模块输出的深层特征值，得到第一融合特征。第一卷积模块则更侧重于提取生鲜商品的几何细节特征。再采用第二特征融合单元将第一融合特征(更侧重于生鲜商品的表皮语义特征)与第一卷积模块输出的浅层特征值(更侧重于生鲜商品的几何细节特征)进行再次特征融合，得到生鲜商品图像全局特征。另外，本实施例是针对生鲜商品的整体新鲜度进行判断，同时兼顾了评估结果的精准性和效率，并且只需要采用三层卷积网络即可执行，实现了生鲜区运算轻量级需求。

新鲜度评估模型采用的训练样本的采集过程包括：

针对不同数量和不同新鲜度等级的指定生鲜商品，间隔搅拌，且在搅拌间隙分批次采集得到初始样本图像；对每个批次的初始样本图像进行增强，采用缩放、旋转、变换、翻转多种方法以扩充数据集。例如，将某一生鲜商品的新鲜度等级划分成100％、80％、60％、40％和20％五个等级，针对五个新鲜度等级，分别设置200个、100个、50个和20个四种数量，总计20种原始生鲜商品样本。对这20种原始生鲜商品样本进行搅拌动作，在搅拌间隙进行图像采集，如此循环，采集得到初始样本图像数据。对初始样本图像数据进行增强后，再采用缩放、旋转、变换、翻转进行扩充，最终可得16400张不同分辨率的生鲜图像样本数据。在实际应用中，新鲜度等级和数量等级都是可以自行设定的，并不局限于前述这一种。

考虑到判断效率，本实施例提出对生鲜商品整体进行新鲜度判断，而非单个生鲜商品。在商超内，灯光等环境因素通常保持一致，即使因为人体遮挡等原因导致部分商品环境光降低，只需要对采集图像做相应的筛选就可以忽视光强对新鲜度判断的影响。在此基础上，生鲜商品的新鲜度变化与两个因素相关：随时间变化的水分流失量，顾客挑选导致剩余商品的生鲜度配比变化。对于前者，水分流失导致的新鲜度变化曲线相对平缓，对于后者，顾客会更倾向于挑选更为新鲜的商品，因此，顾客购买商品的行为会导致剩余商品的生鲜度发生突变。例如，将某一生鲜商品，如苹果，由于商超仓库通常会设置有保鲜区，我们默认刚放至货品摆放区的苹果是新鲜的(从整体角度判断，并非对苹果单个个体)，随着时间的流逝，苹果个体的水分会丢失，并且由于客户更倾向于选取新鲜度更高的水果，货品摆放区的苹果的整体新鲜度等级不断下降。

在得到生鲜商品实时新鲜度的基础上，固然可以根据其实时新鲜度执行价格标签调整或者生成补货请求，但更优选的，本实施例结合历史新鲜度等级数据，对生鲜商品的新鲜度进行预估，根据预估结果执行后续动作。本实施例采用基于注意力机制的GRU网络模型实现前述技术效果。该趋势分析模块的输入是自当前时刻起向前统计到的m个采样周期对应的生鲜商品的历史新鲜度等级数据，输出为自当前时刻起向后统计到的m个采样周期的预估新鲜度等级数据。优选的，该趋势分析模块采用一定时段范围内的生鲜商品的新鲜度等级序列数据和各个新鲜度等级条件下不同销售量导致的新鲜度变化样本数据训练得到。

本实施例的趋势分析模型基于以下根据历史数据分析得到的购物假设：同一新鲜度等级下的销售量趋于稳定，但与季节、价格水平和当前超市提供的同类商品数量等外界因素相关。当生鲜商品的整体新鲜度等级很高时，会激发用户的购物欲望，单位时间销售量较高，整体新鲜度等级随时间的变化曲线中包含较为频繁的突变；随着时间的流逝和商品的售卖，生鲜商品的整体新鲜度等级逐渐降低，用户的购物欲望也越来越低，单位时间销售量也会逐渐走低，整体新鲜度等级随时间的变化曲线中包含较少的突变，曲线会更加平缓。因此，当外界因素确定时，生鲜商品的整体新鲜度等级的变化曲线相对固定。本实施例通过采集m个采样周期对应的生鲜商品的历史新鲜度等级数据，同时对自当前时刻起向后统计到的m个采样周期的预估新鲜度等级数据进行预估。

示例性地，趋势分析模块可以采用神经网络构建，通过对不同外界因素条件下生鲜商品的整体新鲜度等级随时间变化的拟合曲线训练得到。

仍以苹果为例，趋势分析模块的训练过程为：在不同外界因素条件下，采集得到一定时长范围内苹果的整体新鲜度等级序列数据，以时间为横轴，以整体新鲜度等级为纵轴，拟合得到该时长范围内苹果的整体新鲜度等级曲线，作为一组样本数据。采用样本数据集对趋势分析模块进行训练，使趋势分析模块能够根据导入的m个采样周期内的苹果的历史新鲜度等级数据，对接下来m个采样周期的苹果的新鲜度变化曲线进行预估，根据预估结果执行价格标签调整或者生成补货请求。例如，当商品的新鲜度等级降到40％新鲜度等级时，查阅价格变化数据表中新鲜度等级40％对应的折扣价，对该商品的电子标签进行价格自动更新；或者在预估到短期内商品的新鲜度等级会迅速下降到40％新鲜度等级时，对商品进行补货，避免出现销售空挡，错过销售黄金时间。

优选的，本实施例还提及一种以最大化销售额为优化目标对商品价格进行管理的方法，具体的，结合历史数据得到不同外界因素条件下的生鲜商品的整体新鲜度等级和销售量的变化曲线，通过对预估的新鲜度等级变化曲线进行分析，判断得到商品的预估销售量变化曲线，根据预估结果自动执行相应的价格调整策略。例如，当商品的新鲜度等级降到40％新鲜度等级且在预估时间段内会一直维持新鲜度的缓慢下降时，说明在短期内销售量很难得到提升，此时查阅价格变化数据表中新鲜度等级40％对应的折扣价，对该商品的电子标签进行价格自动更新。反之，如果商品的新鲜度等级降到40％新鲜度等级但在预估时间段内新鲜度等级还会出现较大幅度的降低，说明即使新鲜度较低，但该商品的预估销售量仍然较大，客户对商品的心理接受度仍然较高，此时可以选择继续观望。本实施例能够减少人工干预，通过预估新鲜度等级反推商品销售量，以最大化销售额为优化目标对商品价格进行管理，同时减少了人工检查商品和人工更新价格标签(即使是更新电子标签)的工作量。价格变化数据表可以由远程服务器维护更新。

二、多商品价格标签显示

生鲜区由于商品种类繁多，通常会采用中等高度的货台结构且一个货台上会设置十几个甚至几十个单元货品区。商家针对每个商品设置一个10寸左右的电子标签，摆放在相应商品的正前方，由于指示价格。用户需要将商品和电子标签一一对应后，移动查看商品价格。为此，本实施例提出，在一个电子标签上同时显示多个商品价格。

在本实施例中，电子标签的显示内容受用户的视觉范围影响，即，每个生鲜区的电子标签要能够显示以对应商品为中心的用户一定视野范围内的其他商品的价格，相对于根据商品摆放位置一一对应地设置与商品数量相当的电子标签，极大地减少了用户查找价格需要花费的精力。

货架图像的采集可以通过分布在生鲜区的第二拍摄装置实现，也可以同步结合人工巡视拍摄，如果需要结合人工巡视拍摄，人工巡视拍摄的图像可以再次进行校调，或间接计算其与固定点位拍摄图像之间的相关性，再做价格更新应用使用。在本实施例中，价格更新除了会在商品上架时执行，还可以体现在商超的日常运维中，例如某货架上的其中一个商品售罄了，也可以通过定期更新来及时调整价格标签避免用户产生误解。

参见图3，价格更新模块包括货品识别单元、摆放区分析单元和标签图像拼接单元。

货品识别单元以单元货品区为单位，对货架图像进行初步划分，对相邻单元货品区的图像进行相似度判断，将相似度高于相似度阈值的相邻单元货品区视为同一个货品摆放区，初步整合货架图像上的单元货品区，生成若干个货品摆放区，对每个货品摆放区进行标识；再调用商品识别模型对每个货品摆放区的商品类型进行识别。

货品识别单元识别货品信息的过程包括以下子步骤：

采集若干张商超所包含的商品图像样本，构建训练集，商品图像样本包含多个同类商品的堆叠图像样本。基于神经网络构建商品识别模型，采用训练集对商品识别模型进行训练。商品识别模型可以采用现有技术中的图像识别技术，例如2020年10月02日公开的申请号为202010874612.9的发明中公开了一种商品识别管理方法，通过对目标商品的图像进行训练识别，得到商品的类别和型号信息。以单元货品区为单位，对货架图像进行初步划分，对相邻单元货品区的图像进行相似度判断，将相似度高于相似度阈值的相邻单元货品区视为同一个货品摆放区；初步整合货架图像上的单元货品区，生成若干个货品摆放区，对每个货品摆放区进行标识。将每个货品摆放区的图像导入商品识别模型，对每个货品摆放区的商品类型进行识别。

当其中一个货品摆放区包含两种以上的商品时，将其所包含的商品类型与邻近货品摆放区的商品类型进行匹配，如果全部商品类型匹配成功，清除该货品摆放区，否则，根据匹配不成功的商品类型生成相应的货品摆放区；邻近货品摆放区是指同属于一个电子标签显示覆盖范围内的货品摆放区。这是考虑到在商超环境中，由于是开放式的购物环境，因此会经常出现用户拿取商品后错放至另一个区域的情况。在现有技术中，对于这一情况，通常是通过人工巡查或者图像识别结合数据库校对等方式发现错放货品，再通知工作人员重新摆放商品的方式实现对商品的位置纠正。而在本实施例中，并不将其视为单纯的错放商品，而是将其视为次选商品在大屏幕电子标签中同时显示其价格信息，以此来增加用户购买该商品的几率，减轻工作人员的拣放工作量。

摆放区分析单元根据货品摆放区出现频次，将只对应一个电子标签的货品摆放区定义为第一摆放区，将剩余货品摆放区定义为第二摆放区，根据图像占比面积确定每个第二摆放区的主标签。

在本实施例中，第二摆放区上的商品除了对应错放的次选商品之外，还包含同一视角方向上因为占地区域较小从而不太容易吸引用户注意力的商品。这部分商品在视角方向A上因为角度问题占地区域较小且只能部分展示，但很可能在视角方向B上可以完整显示(例如某电子标签位于商品1的正前方，因此，以该电子标签朝向为视角中心采集货架图像时，商品1会占据较大的面积，使得该电子标签成为商品1的主标签)。当然在某些例子中，也可以通过后台绑定标签和商品的关系来指定商品的主标签；但前一个主标签的确认过程更符合用户购物时的视觉规律，尤其是当商品移位、商品重复摆放多个单元货品区或者标签位置偏移时，仍然能够实现电子标签价格显示的自我修正。结合多商品显示的特性，在确保商品价格显示完全的基础上，确保客户能够持续快速获得正确的价格信息。

标签图像拼接单元调取每个货品摆放区对应的商品标签图像，根据货架图像上各个货品摆放区的位置关系拼接调取的商品标签图像，生成电子标签价格牌；其中，除主标签之外的第二摆放区的标签图像根据该第二摆放区在货架图像上的占比面积进行缩放。

标签图像拼接单元包括商品标签调取组件、模板生成组件、判断组件、缩放组件和填充组件。商品标签调取组件针对每个电子标签读取当前采集周期其所包含的货品摆放区编号和每个货品摆放区上的商品类型，根据商品类型调取每个货品摆放区对应的商品标签图像数据；模板生成组件根据每个货品摆放区占据的单元货品区的位置信息生成标签模块，标签模板中包含若干个标签填充框，每个标签填充框对应一个货品摆放区；判断组件用于判断电子标签是否与除主标签之外的第二摆放区相对应，如果有，调用缩放组件根据该第二摆放区在货架图像上的占比面积对相应的标签填充框在预设的图像尺寸范围内进行缩放；填充组件将调取的商品标签图像数据填充至相应的标签填充框，生成当前采集周期内的电子标签价格牌。

在获取到电子标签和货品摆放区的对应关系后，就可以根据货品摆放区的位置关系实现对商品价格标签的拼接过程。本实施例的电子标签价格牌根据商品的位置关系拼接而成，能够正确引导客户了解商品信息；同时，电子标签价格牌中的商品标签图像与当前视角情况下用户的注意力相关，能够降低用户获取价格信息需要付出的精力，同时减少错判率。

在本实施例中，商品标签图像虽然会缩放，但是仍在人眼视觉合理范围内的缩放，而货架对应的电子标签的尺寸和数量可以结合该货架的商品类型和数量决定。

最后，标签图像拼接单元将拼接后的电子标签价格牌发送至相应的电子标签进行显示。

在本实施例中，设置第二摆放区的目的除了使用户能够完整快速地了解视线范围内所有商品的价格之外，还有另一个重要的意义，就是作为更新结果的校验标准。

目前对价格标签显示结果的校验仍然是通过人工来实现，生鲜区的商品类型众多，促销打折的几率也高，即使是经验丰富的工作人员也难以记清大部分商品的实时价格。如果更新较为频繁，则工作人员的工作量将会呈几何量级增长。对于多商品价格显示的大屏幕价格标签更是如此。为此，本实施例提出，对重复显示的第二摆放区的价格标签图像数据进行一致性验证，实现对整个电子标签显示结果的推估。

参见图4，远程服务器还包括验证模块；所述验证模块包括标签图像采集单元、验证信息调取单元、第一判断单元、缩放比例再计算单元、第二判断单元、第三判断单元和判断结果输出单元；

标签图像采集单元结合电子标签和货品摆放区关系数据表，采集包含同一第二摆放区a的电子标签的显示图像数据集合

采集方法包括直接拍摄电子标签的价格牌图像，或者请求电子标签通过基站反馈价格牌图像数据。

验证信息调取单元调用前述电子标签对应的原始采集的货架图像数据集合

并根据第二摆放区a占据的单元货品区的位置信息，从电子标签的显示图像数据集合

中提取得到相应的第二摆放区a的图像数据集合{a^(m)}；m＝1，2，...，M。

第一判断单元判断图像数据集合{a^(m)}中的商品标签图像数据是否完整，如果完整，发送启动信号至缩放比例再计算单元，否则，调用判断结果输出单元输出更新失败结果。

缩放比例再计算单元计算第二摆放区a在货架图像数据集合

中的每个货架图像上的占比面积，计算得到第二摆放区a的标签填充框的缩放比例集合

第二判断单元根据缩放比例集合

对数据图像数据集合{a^(m)}中的图像进行缩放，得到缩放后的验证集{b^(m)}，

判断验证集{b^(m)}中的图像尺寸是否一致，如果一致，发送启动信号至第三判断单元，否则，调用判断结果输出单元输出更新失败结果。

第三判断单元对验证集{b^(m)}中的图像与第二摆放区a上相应商品的商品价格标签的相似度进行判断，如果相似度高于预设的相似度阈值，则调用判断结果输出单元输出更新成功结果，否则，调用判断结果输出单元输出更新失败结果。

以四边货台为例，假设位于东面的货台上摆放着若干个商品1，从南边和北边过道也能够观察到部分商品1，该四边货台包括三个电子标签，其中一个电子标签正对东边，对应商品1，而另外两个电子标签分别朝向西南和西北，对应商品2和3。经分析，朝向东的电子标签1为主标签，朝向西南和西北的电子标签2和3为副标签。电子标签1、2和3分别根据商品1在其对应的货架图像上的占比面积以及位置对商品1的商品价格图像进行了处理显示。在电子标签2中，商品1的价格图像较小且偏右显示，在电子标签3中，商品1的价格图像较小且偏左显示。

在验证过程中，分别采集了电子标签1、2和3的完整显示图像，根据电子标签模板从完整显示图像中的设定位置处截取出相应的摆放区价格图像，如果摆放区价格图像不完整，则说明当前电子标签更新失败，且很可能是未接收到更新后的图像数据；否则，通过再次对原始货架图像进行处理，计算得到缩放比例，对截取的摆放区价格图像进行缩放后再比较一致性，同时对原始货架图像的计算结果、缩放比例以及图像数据显示进行验证。此处的原始货架图像是指电子标签更新时的数据依据，而不单指商品上架时的图像，这是为了在商品售卖过程中电子标签更新时的验证工作。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种生鲜区大屏幕电子标签自动管理系统，用于对分布安装在生鲜区的电子标签的显示内容进行管理更新；其特征在于，所述自动管理系统包括基站、第一拍摄装置、区域管控装置和远端服务器；

所述远端服务器在本地生成每个生鲜区商品的价格标签，通过基站发送至相应的电子标签；所述电子标签采用电子纸显示屏，用于显示所属货架上至少一个生鲜区商品的价格标签；

所述第一拍摄装置安装在电子标签下方，与区域管控装置相连，第一拍摄装置拍摄电子标签对应的指定货品摆放区的生鲜商品图像，将拍摄结果发送至区域管控装置；

所述区域管控装置包括价格变化数据表、价格调整模块、趋势分析模块和多个生鲜商品的新鲜度评估模型；价格变化数据表用于存储生鲜商品类型、商品新鲜度等级和相应的价格数值；

所述新鲜度评估模型采用若干张呈堆叠状的同类生鲜商品样本图像训练得到，新鲜度评估模型接收第一拍摄装置拍摄的指定货品摆放区的生鲜商品图像，对指定生鲜商品的整体新鲜度等级进行评估，将评估结果反馈至趋势分析模块；

所述趋势分析模块对每个指定生鲜商品在一定时段范围内的整体新鲜度等级序列数据进行分析，计算得到其新鲜度变化趋势，根据新鲜度变化趋势生成补货指令或者价格调整指令；趋势分析模块采用神经网络构建，通过对不同外界因素条件下生鲜商品的整体新鲜度等级随时间变化的拟合曲线训练得到；该趋势分析模块的输入是自当前时刻起向前统计到的m个采样周期对应的生鲜商品的历史新鲜度等级数据，输出为自当前时刻起向后统计到的m个采样周期的预估新鲜度等级数据；

所述价格调整模块结合价格调整指令和价格变化数据表更新相应商品的价格标签。

2.根据权利要求1所述的生鲜区大屏幕电子标签自动管理系统，其特征在于，所述新鲜度评估模型包括依次连接的特征提取单元、第一特征融合单元、第二特征融合单元、自适应最大池化层、全局平均池化层和全连接层；

所述特征提取单元包括三个卷积模块，对导入的指定货品摆放区的生鲜商品图像进行逐层特征提取；所述第一特征融合单元用于将第二卷积模块和第三卷积模块的输出提取出来，进行不同尺寸的特征融合；所述第二特征融合单元用于将第一特征融合单元的输出与第一卷积模块的输出进行再次特征融合；所述第二特征融合单元融合后的特征分别经自适应最大池化层和全局平均池化层进行自适应最大池化和全局平均池化处理后，提取得到生鲜商品图像全局特征；所述全连接层用于对提取得到的生鲜商品图像全局特征进行分类处理，计算得到该生鲜商品图像全局特征属于每个新鲜度等级的概率，输出当前生鲜商品图像的新鲜度等级。

3.根据权利要求1所述的生鲜区大屏幕电子标签自动管理系统，其特征在于，所述新鲜度评估模型采用的训练样本的采集过程包括：

针对不同数量和不同新鲜度等级的指定生鲜商品，间隔搅拌，且在搅拌间隙分批次采集得到初始样本图像；

对每个批次的初始样本图像进行增强，采用缩放、旋转、变换、翻转多种方法以扩充数据集。

4.根据权利要求1-3任一项中所述的生鲜区大屏幕电子标签自动管理系统，其特征在于，所述远端服务器包括电子标签管理模块、商品管理模块、基站管理模块和价格更新模块；所述标签管理模块用于对电子标签进行管理；所述基站管理模块用于对基站进行管理；所述商品管理模块用于对生鲜区的商品类型、供货量和售卖量进行管理；所述价格更新模块用于接收或者生成所有商品的价格标签，将价格标签通过基站发送至电子标签进行显示；当一个电子标签对应多个商品时，价格更新模块还用于将多个商品的价格标签进行拼接，将拼接后的标签图像发送至电子标签进行显示。

5.根据权利要求4所述的生鲜区大屏幕电子标签自动管理系统，其特征在于，所述自动管理系统还包括分布在生鲜区的第二拍摄装置；

所述第二拍摄装置用于拍摄以每个电子标签对应的单元货品区为中心预设视野范围内的该单元货品区所属的货架图像；

所述价格更新模块包括货品识别单元、摆放区分析单元和标签图像拼接单元；

所述货品识别单元以单元货品区为单位，对货架图像进行初步划分，对相邻单元货品区的图像进行相似度判断，将相似度高于相似度阈值的相邻单元货品区视为同一个货品摆放区，初步整合货架图像上的单元货品区，生成若干个货品摆放区，对每个货品摆放区进行标识；再调用商品识别模型对每个货品摆放区的商品类型进行识别；

所述摆放区分析单元根据货品摆放区出现频次，将只对应一个电子标签的货品摆放区定义为第一摆放区，将剩余货品摆放区定义为第二摆放区，根据图像占比面积确定每个第二摆放区的主标签；

所述标签图像拼接单元调取每个货品摆放区对应的商品标签图像，根据货架图像上各个货品摆放区的位置关系拼接调取的商品标签图像，生成电子标签价格牌；其中，除主标签之外的第二摆放区的标签图像根据该第二摆放区在货架图像上的占比面积进行缩放。

6.根据权利要求5所述的生鲜区大屏幕电子标签自动管理系统，其特征在于，当其中一个货品摆放区包含两种以上的商品时，将其所包含的商品类型与邻近货品摆放区的商品类型进行匹配，如果全部商品类型匹配成功，清除该货品摆放区，否则，根据匹配不成功的商品类型生成相应的货品摆放区；邻近货品摆放区是指同属于一个电子标签显示覆盖范围内的货品摆放区。

7.根据权利要求5所述的生鲜区大屏幕电子标签自动管理系统，其特征在于，所述标签图像拼接单元包括商品标签调取组件、模板生成组件、判断组件、缩放组件和填充组件；

所述商品标签调取组件针对每个电子标签读取当前采集周期其所包含的货品摆放区编号和每个货品摆放区上的商品类型，根据商品类型调取每个货品摆放区对应的商品标签图像数据；

所述模板生成组件根据每个货品摆放区占据的单元货品区的位置信息生成标签模块，标签模板中包含若干个标签填充框，每个标签填充框对应一个货品摆放区；

所述判断组件用于判断电子标签是否与除主标签之外的第二摆放区相对应，如果有，调用缩放组件根据该第二摆放区在货架图像上的占比面积对相应的标签填充框在预设的图像尺寸范围内进行缩放；

所述填充组件将调取的商品标签图像数据填充至相应的标签填充框，生成当前采集周期内的电子标签价格牌。

8.根据权利要求5所述的生鲜区大屏幕电子标签自动管理系统，其特征在于，所述远程服务器还包括验证模块；所述验证模块包括标签图像采集单元、验证信息调取单元、第一判断单元、缩放比例再计算单元、第二判断单元、第三判断单元和判断结果输出单元；

所述标签图像采集单元结合电子标签和货品摆放区关系数据表，采集包含同一第二摆放区a的电子标签的显示图像数据集合

所述验证信息调取单元调用前述电子标签对应的原始采集的货架图像数据集合

并根据第二摆放区a占据的单元货品区的位置信息，从电子标签的显示图像数据集合

中提取得到相应的第二摆放区a的图像数据集合{a^(m)}；m＝1，2，...，M；

所述第一判断单元判断图像数据集合{a^(m)}中的商品标签图像数据是否完整，如果完整，发送启动信号至缩放比例再计算单元，否则，调用判断结果输出单元输出更新失败结果；

所述缩放比例再计算单元计算第二摆放区a在货架图像数据集合

中的每个货架图像上的占比面积，计算得到第二摆放区a的标签填充框的缩放比例集合

所述第二判断单元根据缩放比例集合

对数据图像数据集合{a^(m)}中的图像进行缩放，得到缩放后的验证集{b^(m)}，

再判断验证集{b^(m)}中的图像尺寸是否一致，如果一致，发送启动信号至第三判断单元，否则，调用判断结果输出单元输出更新失败结果；

所述第三判断单元对验证集{b^(m)}中的图像与第二摆放区a上相应商品的商品价格标签的相似度进行判断，如果相似度高于预设的相似度阈值，调用判断结果输出单元输出更新成功结果，否则，调用判断结果输出单元输出更新失败结果。

Images