CN111860462B - 货架陈列反馈方法和装置 - Google Patents

Abstract

本申请实施例提供的货架陈列反馈方法和装置，应用于陈列系统中的后端设备，通过对接收到的由前端设备发送的各个货架对应的陈列图片中的物品进行识别分类，获得各个货架的识别结果，并将识别结果与各货架对应的预设陈列棚格图进行比对，从而获得差异量化结果，其中，差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置，将差异量化结果发送至前端设备，即可实现陈列系统的前端设备和后端设备的相互反馈，以对货架陈列进行监管，提高货架的空间利用率。

Description

货架陈列反馈方法和装置

技术领域

本申请涉及货品陈列技术领域，具体而言，涉及一种货架陈列反馈方法和装置。

背景技术

目前，成熟的现代零售超市，包括大型卖场(5000平米以上)、标准超市(1000-5000平米)、社区超市(200-1000平米)及便利超市(50-200平米)均通过商品陈列的规划方法对商品在货架上摆放的位置、面位进行管理，以使货架空间得到最优化利用，产生最大平米效益及优化库存的流转。

现有的陈列管理系统一般用于制作货品摆放示意图，以使线下的商场或超市能够按照该示意图进行货品摆放，但在线下商场或超市进行货品摆放后无法将摆放结果反馈至前端管理人员，前端管理人员也无法对最终的摆放结果进行审核。

发明内容

有鉴于此，本申请的目的在于提供货架陈列反馈方法和装置，实现前端和后端的互相反馈，以对货架陈列进行监管，提高货架的空间利用率。

第一方面，本申请实施例提供一种货架陈列反馈方法，应用于陈列系统中的后端设备，陈列系统还包括与后端设备通信连接的前端设备，方法包括：

接收前端设备发送的各个货架对应的陈列图片；

对各个陈列图片中的物品进行识别分类，获得各个货架的识别结果，其中，识别结果包括该陈列图片中货架的货架层数、各层货架的物品类别及数量；

将各个货架的识别结果与各货架对应的预设陈列棚格图进行比对，获得差异量化结果，其中，差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置；

将差异量化结果反馈至前端设备。

在可选的实施方式中，对各个陈列图片中的物品进行识别分类，获得各个货架的识别结果的步骤，包括：

判断每个货架所对应的陈列图片是否满足预设的图片上传标准；

若不满足预设的图片上传标准，则将图片不符的信息反馈至前端设备；

若满足预设的图片上传标准，则对相应陈列图片中的物品进行识别分类，获得识别结果。

在可选的实施方式中，判断每个货架所对应的陈列图片是否满足预设的图片上传标准，包括：

针对每个货架对应的陈列图片，计算该陈列图片的光线值、模糊度值及货架夹角值；

判断光线值是否大于最优光线阈值，其中，最优光线阈值通过计算F1分数获得；

若光线值不大于最优光线阈值，则判断模糊度值是否小于最优模糊度阈值，其中，最优模糊度阈值通过计算F1分数获得；

若模糊度值不小于最优模糊度值，则判断货架夹角值是否大于最优货架夹角阈值，其中，最优货架夹角阈值通过计算F1分数获得；

若货架夹角值不大于最优货架夹角阈值，则判定陈列图片满足预设标准。

在可选的实施方式中，判断每个货架所对应的陈列图片是否满足预设的图片上传标准，还包括：

针对每个货架对应的陈列图片，计算该陈列图片的光线值、模糊度值及货架夹角值；

判断各个陈列图片的光线值是否大于最优光线阈值，若光线值大于最优光线阈值，则判定对应的陈列图片未满足预设的图片上传标准，图片光线不足；或，判断各个陈列图片的模糊度值是否小于最优模糊度阈值，若模糊度值小于最优模糊度阈值，则判定对应的陈列图片未满足预设的图片上传标准，图片模糊；或，判断各个陈列图片的夹角值是否大于最优货架夹角阈值，若货架夹角值大于最优设货架夹角阈值，则判定对应的陈列图片未满足预设的图片上传标准，货架倾斜。

在可选的实施方式中，将各个货架的识别结果与各货架对应的预设陈列棚格图进行比对，包括：

通过修正算法对识别结果进行修正，获得修正后的目标识别结果；

将目标识别结果与各货架对应的预设陈列棚格图进行比对。

在可选的实施方式中，通过修正算法对识别结果进行修正，获得修正后的目标识别结果，包括：

基于每个货架对应的陈列图片，判断各货架对应的预设陈列棚格图中的货架层数与该货架对应的陈列图片的识别结果中的货架层数是否相同，若不相同，则去除识别结果中的顶层货架数据或底层货架数据；

根据预设的同一物品类别目录对识别结果进行修正，以将识别结果中被识别为不同物品类别的同一物品类别进行修正，获得修正后的目标识别结果，其中，同一物品类别目录中包括多个不同包装的同一物品或多个不同规格的同一物品。

在可选的实施方式中，方法还包括：

基于每个货架对应的陈列图片的目标识别结果及该货架的预设陈列棚格图，计算各货架对应的货架分数；

判断货架分数是否小于最优货架分数阈值，其中，最优货架分数阈值通过计算F1分数获得；

若不小于，则判定该货架的陈列合格，若小于，则判定该货架的陈列不合格。

在可选的实施方式中，基于每个货架对应的陈列图片的目标识别结果及该货架的预设陈列棚格图，计算各货架对应的货架分数，包括：

基于各陈列图片的目标识别结果及该货架的预设陈列棚格图，计算每个货架的物品上架率、物品整齐率及物品顺序率，其中，物品顺序率通过最长公共子序列算法计算获得；

针对每个货架，计算该货架的物品上架率、物品整齐率及物品顺序率的平均值，将平均值作为该货架对应的货架分数。

在可选的实施方式中，基于各陈列图片的目标识别结果，计算每个货架的物品上架率、物品整齐率及物品顺序率，包括：

针对每个货架，根据该货架对应的陈列图片的目标识别结果获得实际上架物品数量，根据该货架的预设陈列棚格图获得预期上架物品数量，根据实际上架物品数量及预期上架物品数量计算该货架的物品上架率；

根据目标识别结果获得该货架的每一层的第一物品整齐率，根据每一层的第一物品整齐率计算该货架的物品整齐率；

根据目标识别结果获得该货架的每一层的第一物品顺序率，根据每一层的第一物品顺序率计算该货架的物品顺序率。

第二方面，本申请实施例提供一种货架陈列反馈装置，应用于陈列系统中的后端设备，陈列系统还包括与后端设备通信连接的前端设备，装置包括：

图片接收模块，用于接收前端设备发送的各个货架对应的陈列图片；

分类识别模块，用于对各个陈列图片中的物品进行识别分类，获得各个货架的识别结果，其中，识别结果包括该陈列图片中货架的货架层数、各层货架的物品类别及数量；

差异量化模块，用于将各个货架的识别结果与各货架对应的预设陈列棚格图进行比对，获得差异量化结果，其中，差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置；

反馈模块，用于将差异量化结果反馈至前端设备。

本申请实施例提供的货架陈列反馈方法和装置，应用于陈列系统中的后端设备，通过对接收到的由前端设备发送的各个货架对应的陈列图片中的物品进行识别分类，获得各个货架的识别结果，并将识别结果与各货架对应的预设陈列棚格图进行比对，从而获得差异量化结果，其中，差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置，将差异量化结果发送至前端设备，即可实现陈列系统的前端设备和后端设备的相互反馈，以对货架陈列进行监管，提高货架的空间利用率。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的陈列系统的构架图；

图2为本申请实施例提供的货架陈列反馈方法的流程图之一；

图3为本申请实施例提供的步骤S12的子步骤流程图；

图4为本申请实施例提供的步骤S121的子步骤流程图之一；

图5为本申请实施例提供的计算陈列图片的货架夹角值的中间转换示意图；

图6为本申请实施例提供的步骤S13的子步骤流程图；

图7为本申请实施例提供的货架陈列反馈方法的流程图之二；

图8为本申请实施例提供的预设棚格图和目标识别结果的示意图；

图9为本申请实施例提供的货架陈列反馈装置的功能模块图。

主要元件符号说明：10-陈列系统；11-前端设备；12-后端设备；100-货架陈列反馈装置；101-图片接收模块；102-分类识别模块；103-差异量化模块；104-反馈模块。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

考虑到目前的货架陈列系统10无法在物品摆放后进行及时反馈，导致后端设备12无法对货架摆放进行管理。基于此，本申请实施例提供了一种货架陈列反馈方法和装置，下面对该方法及装置进行描述。

首先，请参照图1，图1为本申请实施例提供的陈列系统10的构架图。本申请提供的货架陈列方法应用于陈列系统10中的后端设备12，该陈列系统10还包括有与后端设备12连接的前端设备11。具体地，前端设备11用于将拍摄到的货架陈列图片发送至后端设备12，后端设备12对接收到的货架陈列图片进行识别分类，并根据分类结果及预设陈列棚格图判断货架是否有摆放错误的物品或是漏放的物品，后端设备12将摆放错误的物品或漏放的物品发送至前端设备11，便于前端设备11的工作人员及时调整。

请参照图2，图2为本申请实施例提供的货架陈列反馈方法的流程图之一。在本实施例中，货架陈列反馈方法应用于图1中的后端设备12，该方法包括：

步骤S11，接收前端设备11发送的各个货架对应的陈列图片。

步骤S12，对各个陈列图片中的物品进行识别分类，获得各个货架的识别结果。其中，识别结果包括该陈列图片中货架的货架层数、各层货架的物品类别及数量。

步骤S13，将各个货架的识别结果与各货架对应的预设陈列棚格图进行比对，获得差异量化结果。其中，差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置。

步骤S14，将差异量化结果反馈至前端设备11。

本申请实施例通过上述步骤实现了将货架陈列图反馈至后端设备12，便于后端设备12根据反馈的货架陈列图以及预设陈列棚格图进行比对，从而获得差异量化结果，将差异量化结果反馈至前端设备11，即可实现前端和后端的相互反馈，便于进行货架管理。

值得说明的是，上述步骤中所提到的货架陈列图片是指当货架陈列完毕后，用户通过前端设备11对每一个货架拍照获得的与各个货架对应的陈列图片；预设陈列棚格图是指每一个货架预期的物品摆放位置及摆放方式的示意图。

更进一步地，在本实施例中，步骤S12，对各个陈列图片中的物品进行识别分类，获得各个货架的识别结果，具体包括：通过图像处理技术(例如retech识别技术)识别陈列图片中的货架层数已经每一层摆放的物品种类，将相同类别的物品分为一类。例如，某一货架对应的陈列图片的识别结果可以包括：货架层数为3层，第一层摆放的物品分别为A、B、C，第二层摆放的物品分别为D、E、F，第三层摆放的物品为G，且还可以将每一层相同类别的物品分为一类(例如，用同一颜色的框将同一类物品框出)。

随后，后端设备12可以根据识别结果及预设陈列棚格图判断出位置摆放错误的物品或是漏放的物品。例如，若预设陈列棚格图中的第三层摆放的物品是G和H，而识别结果中第三层摆放的物品是G，则表示第三层漏放了物品H(即差异量化结果)，将该差异量化结果反馈至前端设备11，用户即可根据该差异量化结果进行快速调整，以满足要求。

值得说明的是，retech识别技术首先是通过OTSU(大津法)将输入图片进行二值化处理，由于货架层板颜色较浅，物品颜色较深，因此二值化处理之后，货架层板部分会被置为前景色，而物品部分会置为背景色。基于这个特点，再采用投影直方图的方式进行货架的多层分割，以识别获得各个货架的层数。

将货架的每一层提取出来以后，为了达到对每个物品分类识别的目的，还需要对单个物品区域进行框定，需要对同一层货架的物品进行列分割。具体方法可以为：将经过横向分割后的原始图像(即完成货架的层数识别之后的图像)先转换为灰度图像，将各个将像素点灰度值竖向相加，并对灰度值归一化处理，随后制作垂直方向灰度投影直方图。在不同种类的物品连接处极大概率会出现灰度值的波动，通过预设的灰度阈值识别出灰度投影直方图中的连续的波峰或波谷，作为物品区域划分的列分割线，每一条列分割线两侧的物品种类不同。

在通过上述的retech图像处理技术识别陈列图片时，可能由于图片光线不足、分辨率较低或货架倾斜角度过大等原因，导致该陈列图片无法被精准识别。因此，请结合参照图3，图3为本申请实施例提供的步骤S12的子步骤流程图。在本实施例中，步骤S12具体可以包括：

步骤S121，判断每个货架所对应的陈列图片是否满足预设的图片上传标准。

步骤S122，若不满足预设的图片上传标准，则将图片不符的信息反馈至前端设备11。

步骤S123，若满足预设的图片上传标准，则对相应陈列图片中的物品进行识别分类，获得识别结果。

在上述子步骤中，首先需要判断前端设备11发送的每个货架对应的陈列图片是否满足预设的图片上传标准(例如图片分辨率是否达到标准、图片模糊度是否达到标准等)，若陈列图片不满足标准，则将图片不符的信息反馈至前端设备11，从而可以对陈列图片及时调整，直到满足预设的图片上传标准，当陈列图片满足标准后，即可对该陈列图片进行识别分类，获得相应的识别结果。

具体地，在本实施例中，请参照图4，图4为本申请实施例提供的步骤S121的子步骤流程图之一。在本实施例中，步骤S121可以包括：

子步骤S1211，针对每个货架对应的陈列图片，计算该陈列图片的光线值、模糊度值及货架夹角值。

在具体的实施过程中，在计算陈列图片的光线值时，首先可以通过不同的公用工具包(例如JAVA的BufferedImage函数，python的Image/Numpy函数，C的openvc函数)将各分辨率图像识别为不同的矩阵，例如将200*200分辨率的图片识别为200*200的矩阵，矩阵内每个像素对应三个像素通道(R、G、B三通道)的原色值，每个通道的原色值的取值范围为0-255，200*200的像素最终形成200*200的矩阵，每个矩阵点包括三个元素表，每个元素表的取值范围为0-255。

随后再对矩阵数据中的RGB值进行灰度处理，处理公式为Gray＝(R*299+G*587+B*114+500)/1000，再计算每张陈列图片的像素点均值，该均值即为陈列图片的光线值，取值范围在0～1之间，像素均值越大代表图像越暗。

在计算陈列图片的模糊度值时，在对每个陈列图片的矩阵数据的RGB值进行灰度处理之后，通过拉普拉斯变换法将该陈列图片的模糊度转换为浮点型数值，该浮点型数值即为该陈列图片的模糊度值，浮点型数值越小，表示图像越模糊。

在计算陈列图片的货架夹角值时，在对每个陈列图片的矩阵数据的RGB值进行灰度处理之后，通过OTSU(大津法)算法按照图像的灰度特性，通过固定阈值二值分割图片并得到图片的背景与前景两个部分，再通过canny算子进行边缘检测，得到货架的多条边缘虚线，如图5中的(b)图所示，随后通过霍夫直线变换法将多条边缘虚线延长为直线，如图5中的(a)图所示，最后再计算图5的(a)图中最底部的线条与该图片底部边缘之间的夹角，该夹角即为该陈列图片的货架夹角值。

子步骤S1212，判断光线值是否大于最优光线阈值，其中，最优光线阈值通过计算F1分数获得。

在本步骤中，当通过子步骤S1211计算获得各个陈列图片的光线值、模糊度值及货架夹角值之后，判断各陈列图片的光线值是否大于最优光线阈值。其中，最优光线阈值通过计算F1分数获得。

具体地，在计算最优光线阈值时，首先准备大量的预设分辨率的图片，例如可以预先准备20000张200*200分辨率的照片，其中10000张为光线较亮，为合格图片，将其编号为1～10000，另外10000张的图片光线较暗，为不合格图片，将其编号为10001～20000。随后将每张图片都转换成矩阵数据，并对矩阵数据的RGB值进行灰度处理，分别计算这20000张图片中每张图片的灰度值。随后假设一个最佳光线阈值，将各图片的灰度值与该假设的最佳光线阈值进行比对，计算灰度值大于假设的最佳光线阈值的数量n1以及n1中包括的图片编号为1～10000的图片数量n2，再计算这20000张照片中灰度值小于等于假设的最佳光线阈值的数量n3，根据n1、n2、n3计算此次假设的最佳光线阈值对应的准确率、召回率及F1分数。

其中，

值得说明的是，基于业务场景可以调整准确率与召回率的权重，若业务场景中准确率比较重要，则可以将准确率与召回率权重设为c1/c2，其中c1>c2，若业务场景中召回率较为重要，则c1<c2。

使用相同的方法可以假设若干个最佳光线阈值，并分别计算每个最佳光线阈值的F1分数、准确率及召回率，并作出F1分数曲线，在F1的分数曲线中，随着假设的最佳光线阈值的增大，准确率随之升高，召回率与F1分数随之降低，在某一临界点时F1分数开始急速下降，该临界点即为最优光线阈值。

子步骤S1213，若光线值不大于最优光线阈值，则判断模糊度值是否小于最优模糊度阈值，其中，最优模糊度阈值通过计算F1分数获得。

在本步骤中，若陈列图片的光线值不大于最优光线阈值，则判定该陈列图片的光线值满足要求，随即可以继续该陈列图片的模糊度进行判断。

具体地，最优模糊度阈值的计算方式与最优光线阈值的计算方式基本相同，计算每张图片的模糊度值，并将其与假设的最佳模糊度阈值一一对比，计算模糊度值小于假设的最佳模糊度阈值的图片的数量m1以及m1中包括的预先被判断为非常模糊的图片数量m2，再计算20000张照片中模糊度值大于等于假设的最佳模糊度阈值的数量m3，根据m1、m2、m3计算此次假设的最佳模糊度阈值对应的准确率、召回率及F1分数。最后根据F1分数的曲线图确定最优模糊度阈值。

子步骤S1214，若模糊度值不小于最优模糊度值，则判断货架夹角值是否大于最优货架夹角阈值。其中，最优货架夹角阈值通过计算F1分数获得。

在本步骤中，当陈列图片的模糊度值不小于最优模糊度值，则判断该陈列图片的模糊度满足要求，可进一步判断陈列图片的最优货架夹角阈值。

具体地，计算陈列图片的最优货架夹角阈值与上述计算最优光线阈值及最优模糊度阈值的方法大致相同。首先预设20000张200*200的图片，其中10000张图片的货架倾斜度>30°，属于货架倾斜过多的图片，将其编号到1到10000，另外10000张图片的货架倾斜度<3°的照片，属于货架非倾斜图片，将其编号到101到20000，然后计算每张图片的货架夹角值，并将其与假设的最佳货架夹角阈值一一对比，计算货架夹角值大于假设的最佳货架夹角阈值的图片的数量p1以及p1中包括的预先被判断为货架倾斜过多的图片数量p2，再计算20000张照片中货架夹角值小于等于假设的最佳货架夹角阈值的数量p3，根据p1、p2、p3计算此次假设的最佳货架夹角阈值对应的准确率、召回率及F1分数。最后根据F1分数的曲线图确定最优货架夹角阈值。

子步骤S1215，若货架夹角值不大于最优货架夹角阈值，则判定陈列图片满足预设标准。

在本步骤中，若陈列图片的货架夹角值不大于最优货架夹角阈值，则判断该陈列图片满足所有的预设标准。

进一步地，在本实施例中，步骤S121还可以包括：

针对每个货架对应的陈列图片，计算该陈列图片的光线值、模糊度值及货架夹角值。

判断各个陈列图片的光线值是否大于最优光线阈值，若光线值大于最优光线阈值，则判定对应的陈列图片未满足预设的图片上传标准，图片光线不足；或，判断各个陈列图片的模糊度值是否小于最优模糊度阈值，若模糊度值小于最优模糊度阈值，则判定对应的陈列图片未满足预设的图片上传标准，图片模糊；或，判断各个陈列图片的夹角值是否大于最优货架夹角阈值，若货架夹角值大于最优设货架夹角阈值，则判定对应的陈列图片未满足预设的图片上传标准，货架倾斜。

在上述步骤中，当陈列图片的光线值、模糊度值及货架夹角值中的任意一个不满足要求时，均判定该陈列图片不满足预设上传标准。具体地，若光线值大于最优光线阈值，则表明图片光线不足，并将该光线不足的信息反馈至前端设备11；若模糊度值小于最优模糊度阈值，则表明该图片较为模糊，并将图片模糊的信息反馈至前端设备11；若货架夹角值大于最优设货架夹角阈值，则表明该图片中货架过于倾斜，并将货架倾斜的信息反馈至前端设备11。

进一步地，在使用retech图像识别技术对陈列图像进行处理时，可能会存在误识别的情况，这将影响到最终的识别结果和反馈结果，因此，在进行比对之前，还需要对识别结果进行修正，降低误差。具体请参照图6，图6为本申请实施例提供的步骤S13的子步骤流程图。在本实施例中，步骤S13包括：

步骤S131，通过修正算法对识别结果进行修正，获得修正后的目标识别结果。

进一步地，步骤S131，通过修正算法对识别结果进行修正，获得修正后的目标识别结果，包括：

基于每个货架对应的陈列图片，判断各货架对应的预设陈列棚格图中的货架层数与该货架对应的陈列图片的识别结果中的货架层数是否相同，若不相同，则去除识别结果中的顶层货架数据或底层货架数据；根据预设的同一物品类别目录对识别结果进行修正，以将识别结果中被识别为不同物品类别的同一物品类别进行修正，获得修正后的目标识别结果，其中，同一物品类别目录中包括多个不同包装的同一物品或多个不同规格的同一物品。

由于在真实陈列场景中，各个货架的顶层或者底层可能会存放一些杂货，这些物品并不是该货架真正陈列用于售卖的物品，因此不应该被识别出来，但图像识别技术无法处理该情况，所以需要对识别结果包括顶层或者底层的图片进行修正。

在具体的实施过程中，图像识别技术会识别出陈列图片中货架层数a1(可能包含顶层与底层的数据)及每一层的物品列表X1～Xn(其中，n＝a1)，即识别结果，后端设备12再根据预设陈列棚格图获取该货架真实的货架层数a2以及每层摆放的物品列表Y1～Yn(其中，n＝a2)。

比较a1和a2的大小，若a1和a2大小不同，则表明识别结果中包括该货架的顶层或底层，需要进行修正。进一步计算L1和Y1中的物品匹配度，若L1和Y1中摆放的物品完全不同(即匹配度为0)，则说明图片中包含顶层；若Ln内的物品与Yn内的物品完全不同(即匹配度为0)，则说明图片中包含底层。

当然，陈列图片中既可能包含顶层也可能包含底层，基于上述判断结果可以将识别结果中对应的顶层数据或底层数据去掉。

更进一步地，在某些陈列场景下也存在一些误识别情况，例如同一个物品可能有多种不同的包装，应当被识别为同一类物品，但retech识别技术却将其识别为不同的物品，此种情况也应当进行修正。

在具体的实施过程中，可以将同一个物品的不同包装存放该与该物品对应的目录中，当同一物品的不同包装被识别为不同的物品时，根据该物品对应的目录将识别结果修正为同一物品。

在本实施例的其他实施方式中，在retech进行识别时，由于同一物品在摆放时的面位朝向(即物品的正面的朝向)不同，也有可能导致retech识别错误。例如，当货架的某一层的前两个位置和第四个位置摆放着物品“紫薯面包”，而第三个位置摆放着“奶油面包”时，则第三个位置应当被认为是retech识别错误，此时需要对该识别结果进行修正，即用前后两个位置的识别结果替代错误识别的结果。

在另一种实施方式中，货架的一层可能会重叠放置多个同一物品，例如在货架的第一层的第一个及第二个位置重叠摆放了多个同一口味的“方便面”。在retech的识别结果中，若此处的识别结果为两种口味的“方便面”，则可以认为此处的retech识别错误，应当进行结果修正。修正方法可以是使用数量较多的识别结果替换数量较少的识别结果，例如，若重叠摆放了4个同一口味的方便面，而retech识别结果为其中三个为口味A，另外一个为口味B，则使用口味A的识别结果替代口味B的识别结果。

在本实施例的另一实施方式中，在retech识别过程中，还有可能因为两个并列放置的货架而导致识别错误。例如货架A的第二层的最后一个位置摆放的物品为“矿泉水”，货架A的最后一个位置和货架B的第一个位置相邻设置，在识别的过程中，若retech识别技术将货架B第一个位置摆放的物品识别为货架A的物品，则识别结果会指出货架B的第一个位置摆放的物品摆放错误，但实际上并没有摆放错误，此时则需要对此次识别结果进行修正。修正方法可以是直接将此处的识别结果删除。

在本实施例的另一实施方式中，若retech的识别结果中，在整个用于摆放饮品的货架的识别结果中识别出另一类(例如薯片)物品，则此时的识别结果需要进行修正，修正方法可以是直接将此处的识别结果替换为该货架摆放的其他物品对应的识别结果。

通过上述几种实施方式对retech识别技术的识别结果进行修正，降低了retech的误识别率，提升后续计算货架分数的准确性。

步骤S132，将目标识别结果与各货架对应的预设陈列棚格图进行比对。

基于上述步骤，在对识别结果进行修正之后，获得目标识别结果，将目标识别结果与预设陈列棚格图进行比对获得差异量化结果，可以提升差异量化结果的准确度。

在具体的实施过程中，后端设备12可以根据预设陈列棚格图及目标识别结果判定该货架中摆放的物品是否与预设陈列棚格图一致，在不一致时，输出差异量化结果，该差异量化结果包括了位置摆放错误的物品、漏放的物品等。

后端设备12将差异量化结果反馈至前端设备11，以使前端设备11的用户可以快速调整，提高货架的空间利用率。

进一步地，请参照图7，图7为本申请实施例提供的货架陈列反馈方法的流程图之二。在本实施例中，货架陈列反馈方法还包括：

步骤S21，基于每个货架对应的陈列图片的目标识别结果及该货架的预设陈列棚格图，计算各货架对应的货架分数。

在上述步骤中，后端设备12还可以基于陈列图片的目标识别结果以及预设陈列棚格图对每个货架进行打分，从而对各个门店进行分。具体地，可以通过各个货架的物品上架率、物品整齐率以及物品顺序率对该货架进行打分，并计算各个货架的物品上架率、物品整齐率以及物品顺序率的平均值，将该平均值作为该货架的货架分数，其中，物品顺序率通过LCS最长公共子序列算法计算获得。

具体地，LCS最长公共子序列是指：若某个数列分别是两个或多个已知数列的子序列，且是所有符合此条件序列中最长的，则称为已知序列的最长公共子序列。

在计算货架分数时，首先将陈列图片的目标识别结果与预设陈列棚格图进行比对，得出5种类型的物品，分别是：绿色标识区域(代表与预设陈列棚格图完全匹配的陈列商品)，黄色标识区域(代表与预设棚格图部分匹配的商品，即位置摆放错误的物品)，红色标识区域(代表错误陈列区域，即预设棚格图中不存在的物品)，粉色标识区域(代表无法识别区域)，黑色标识区域(代表该区域的商品售罄，即未摆放物品的区域)。

值得说明的是，上述各区域对应的颜色仅为对本实施例的举例说明，不构成对本实施例的限定。

具体地，物品上架率＝匹配的上架物品数/预期棚格图中的物品总数；物品整齐率＝货架的每一层的第一物品整齐率之和/总层数；物品顺序率＝货架的每一层的第一物品顺序率之和/总层数。

例如，请参照图8，图8为本申请实施例提供的预设棚格图和目标识别结果的示例图。以图8为例分别对本申请的物品上架率z1、物品整齐率z2和物品顺序率z3进行计算，其中，A、B、C、D、E、F、G、L、O、N均代表不同种类的物品。

首先，在图8中，预期货架物品总数27个，目标识别结果中与其匹配的上架物品数是23个，因此，

在图8中，预期陈列棚格图中的第一层的ABC各自商品应该放一起，实际的目标识别结果的第一层中的ABC的各自相同商品均放到一起，因此，第一层的第一物品整齐率为100％；预设陈列棚格图的第二层的DEF应该放一起，实际的目标识别结果中只有E物品被归类并放到一起，DF物品并没有完全归类，因此，第二层的第一物品整齐率为33％；而关于第三层，预设陈列棚格图中BELON各自对应的物品应该放一起，实际目标识别结果中BLO对应的物品均归类并放在一起，因此，第三层的第一物品整齐率为100％。基于上述计算结果，z2＝(100％+33％+100％)/3＝78％。

在图8中，关于货架第一层，预设陈列棚格图去重后的物品种类为：ABC，目标识别结果去重后的物品种类为：AXBXC，最长公共子序列：ABC，预设陈列棚格图中物品种类数量为3，所以3/3*100％＝100％；关于货架第二层，预设陈列棚格图去重后的物品种类为：DEF，目标识别结果去重后的物品种类为：FDEDF，最长公共子序列：DEF，预设陈列棚格图中物品种类数量为3，所以3/3*100％＝100％；关于货架第三层，预设陈列棚格图去重后的物品种类为：BELON，目标识别结果去重后的物品种类为：CBLOG，最长公共子序列：BLO，预设陈列棚格图中物品种类数量为5，所以3/5*100％＝60％。因此，z3＝(100％+100％+60％)/3＝87％。

因此，图8中货架的货架分数z＝(85％+78％+60％)/3＝83％，最终计算得到该货架的货架分数。

步骤S22，判断货架分数是否小于最优货架分数阈值，其中，最优货架分数阈值通过计算F1分数获得。

步骤S23，若不小于，则判定该货架的陈列合格。

步骤S24，若小于，则判定该货架的陈列不合格。

在上述步骤中，判断各个货架的货架分数是否小于最优货架分数阈值，如果小于，则货架陈列不合格，如果不小于，则货架陈列合格。

其中，最优货架分数阈值通过计算F1分数获得，具体计算方法为：预设准备20000张图片，其中10000张图片货架陈列合格，编号为1到10000，另外10000张图片的货架陈列不合格，编号为10001到20000。随后根据前述步骤提供的方法计算每张图片对应的货架分数，并将其与假设的最佳货架分数阈值一一对比，计算货架分数小于假设的最佳货架分数阈值的图片的数量q1以及q1中包括的预先被判断为陈列不合格的图片数量q2，再计算20000张照片中货架分数大于等于假设的最佳货架分数阈值的数量q3，根据q1、q2、q3计算此次假设的最佳货架分数阈值对应的准确率、召回率及F1分数。最后根据F1分数的曲线图确定最优货架分数阈值。

在本实施例中，还可以根据每个门店中陈列合格的货架数量和陈列不合格的货架数据计算该门店的货架陈列合格率，当货架陈列合格率小于预设值，则将该信息反馈至前端设备11，便于调整。

综上，本申请实施例提供的货架陈列反馈方法和装置，应用于陈列系统10中的后端设备12，通过对接收到的由前端设备11发送的各个货架对应的陈列图片中的物品进行识别分类，获得各个货架的识别结果，并将识别结果与各货架对应的预设陈列棚格图进行比对，从而获得差异量化结果，其中，差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置，将差异量化结果发送至前端设备11，即可实现陈列系统10的前端设备11和后端设备12的相互反馈，以对货架陈列进行监管，提高货架的空间利用率。

请参照图9，图9为本申请实施例提供的货架陈列反馈装置100的功能模块图。该装置应用于陈列系统10中的后端设备12，陈列系统10还包括与后端设备12通信连接的前端设备11，装置包括：

图片接收模块101，用于接收前端设备11发送的各个货架对应的陈列图片。

分类识别模块102，用于对各个陈列图片中的物品进行识别分类，获得各个货架的识别结果，其中，识别结果包括该陈列图片中货架的货架层数、各层货架的物品类别及数量。

差异量化模块103，用于将各个货架的识别结果与各货架对应的预设陈列棚格图进行比对，获得差异量化结果，其中，差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置。

反馈模块104，用于将差异量化结果反馈至前端设备11。

本申请实施例所提供的货架陈列反馈装置100可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种货架陈列反馈方法，其特征在于，应用于陈列系统中的后端设备，所述陈列系统还包括与所述后端设备通信连接的前端设备，所述方法包括：

接收所述前端设备发送的各个货架对应的陈列图片；

对各个所述陈列图片中的物品进行识别分类，获得各个货架的识别结果，其中，所述识别结果包括该陈列图片中货架的货架层数、各层货架的物品类别及数量；

基于各陈列图片的目标识别结果及该货架的预设陈列棚格图，计算每个货架的物品上架率、物品整齐率及物品顺序率，其中，所述物品顺序率通过最长公共子序列算法计算获得；所述目标识别结果通过对所述识别结果进行修正后获得；

针对每个货架，计算该货架的物品上架率、物品整齐率及物品顺序率的平均值，将所述平均值作为该货架对应的货架分数；

判断所述货架分数是否小于最优货架分数阈值，其中，所述最优货架分数阈值通过计算F1分数获得；若不小于，则判定该货架的陈列合格，若小于，则判定该货架的陈列不合格，获得差异量化结果，其中，所述差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置；

将所述差异量化结果反馈至所述前端设备。

2.根据权利要求1所述的方法，其特征在于，所述对各个所述陈列图片中的物品进行识别分类，获得各个货架的识别结果的步骤，包括：

判断每个货架所对应的陈列图片是否满足预设的图片上传标准；

若不满足预设的图片上传标准，则将图片不符的信息反馈至所述前端设备；

若满足预设的图片上传标准，则对相应陈列图片中的物品进行识别分类，获得识别结果。

3.根据权利要求2所述的方法，其特征在于，判断每个货架所对应的陈列图片是否满足预设的图片上传标准，包括：

针对每个货架对应的陈列图片，计算该陈列图片的光线值、模糊度值及货架夹角值；

判断所述光线值是否大于最优光线阈值，其中，所述最优光线阈值通过计算F1分数获得；

若所述光线值不大于所述最优光线阈值，则判断所述模糊度值是否小于最优模糊度阈值，其中，所述最优模糊度阈值通过计算F1分数获得；

若所述模糊度值不小于所述最优模糊度阈值，则判断所述货架夹角值是否大于最优货架夹角阈值，其中，所述最优货架夹角阈值通过计算F1分数获得；

若所述货架夹角值不大于所述最优货架夹角阈值，则判定所述陈列图片满足预设标准。

4.根据权利要求2所述的方法，其特征在于，判断每个货架所对应的陈列图片是否满足预设的图片上传标准，还包括：

针对每个货架对应的陈列图片，计算该陈列图片的光线值、模糊度值及货架夹角值；

判断各个陈列图片的光线值是否大于最优光线阈值，若所述光线值大于所述最优光线阈值，则判定对应的陈列图片未满足预设的图片上传标准，图片光线不足；或，

判断各个陈列图片的模糊度值是否小于最优模糊度阈值，若所述模糊度值小于所述最优模糊度阈值，则判定对应的陈列图片未满足预设的图片上传标准，图片模糊；或，

判断各个陈列图片的夹角值是否大于最优货架夹角阈值，若所述货架夹角值大于所述最优货架夹角阈值，则判定对应的陈列图片未满足预设的图片上传标准，货架倾斜。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过修正算法对所述识别结果进行修正，获得修正后的目标识别结果；

将所述目标识别结果与各货架对应的预设陈列棚格图进行比对。

6.根据权利要求5所述的方法，其特征在于，所述通过修正算法对所述识别结果进行修正，获得修正后的目标识别结果，包括：

基于每个货架对应的陈列图片，判断各货架对应的预设陈列棚格图中的货架层数与该货架对应的陈列图片的识别结果中的货架层数是否相同，若不相同，则去除所述识别结果中的顶层货架数据或底层货架数据；

根据预设的同一物品类别目录对所述识别结果进行修正，以将所述识别结果中被识别为不同物品类别的同一物品类别进行修正，获得修正后的目标识别结果，其中，所述同一物品类别目录中包括多个不同包装的同一物品或多个不同规格的同一物品。

7.根据权利要求1所述的方法，其特征在于，所述基于各陈列图片的目标识别结果及该货架的预设陈列棚格图，计算每个货架的物品上架率、物品整齐率及物品顺序率，包括：

针对每个货架，根据该货架对应的陈列图片的目标识别结果获得实际上架物品数量，根据该货架的所述预设陈列棚格图获得预期上架物品数量，根据所述实际上架物品数量及所述预期上架物品数量计算该货架的物品上架率；

根据所述目标识别结果获得该货架的每一层的第一物品整齐率，根据每一层的第一物品整齐率计算该货架的物品整齐率；

根据所述目标识别结果获得该货架的每一层的第一物品顺序率，根据每一层的第一物品顺序率计算该货架的物品顺序率。

8.一种货架陈列反馈装置，其特征在于，应用于陈列系统中的后端设备，所述陈列系统还包括与所述后端设备通信连接的前端设备，所述装置包括：

图片接收模块，用于接收所述前端设备发送的各个货架对应的陈列图片；

分类识别模块，用于对各个所述陈列图片中的物品进行识别分类，获得各个货架的识别结果，其中，所述识别结果包括该陈列图片中货架的货架层数、各层货架的物品类别及数量；

差异量化模块，用于基于各陈列图片的目标识别结果及该货架的预设陈列棚格图，计算每个货架的物品上架率、物品整齐率及物品顺序率，其中，所述物品顺序率通过最长公共子序列算法计算获得；所述目标识别结果通过对所述识别结果进行修正后获得；针对每个货架，计算该货架的物品上架率、物品整齐率及物品顺序率的平均值，将所述平均值作为该货架对应的货架分数；判断所述货架分数是否小于最优货架分数阈值，其中，所述最优货架分数阈值通过计算F1分数获得；若不小于，则判定该货架的陈列合格，若小于，则判定该货架的陈列不合格，获得差异量化结果，其中，所述差异量化结果包括摆放错误物品类别及位置或漏放的物品及位置；

反馈模块，用于将所述差异量化结果反馈至所述前端设备。