CN109977886B

CN109977886B - 货架空置率计算方法及装置、电子设备、存储介质

Info

Publication number: CN109977886B
Application number: CN201910249974.6A
Authority: CN
Inventors: 刘童; 张欢欢; 张治国
Original assignee: BOE Technology Group Co Ltd
Current assignee: BOE Technology Group Co Ltd
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2021-03-09
Anticipated expiration: 2039-03-29
Also published as: WO2020199776A1; CN109977886A

Abstract

本发明公开了一种货架空置率计算方法及装置，包括：利用拍摄单元采集货架图像；检测所述货架图像中的商品分区标志物信息；根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；根据所述商品区域与所述背景区域的比例，计算所述货架空置率。本发明还公开了一种电子设备和存储介质。

Description

货架空置率计算方法及装置、电子设备、存储介质

技术领域

本发明涉及图像处理技术领域，特别是指一种货架空置率计算方法及装置、电子设备、存储介质。

背景技术

常用的基于计算机视觉的方法，利用目标检测方法检测出货架图像中商品的类别和数量，从而判断货架上商品的数目。缺点是需要针对每种商品采集、标注训练样本，并进行模型训练，当商品种类繁多或者变化很快的时候，这种方案很难实现产品化。

超市需要根据货架上商品的情况来确定是否需要补货。现在超市最常用的方法是定期由工作人员巡视货架，当发现货架空置空间较多时进行补货，缺点是消耗人力，还不能及时发现缺货。如果安装摄像头拍摄货架，并采用商品检测实时检测货架上商品的类别和数量，虽然可以根据商品数量来判断缺货情况，但需要对每种商品采集、标注数据和训练模型，工作量太大。

发明内容

有鉴于此，本发明实施例的目的之一在于，提出一种货架空置率计算方法及装置、电子设备、存储介质，能够在一定程度上优化货架空置率的计算方法。

基于上述目的，本发明实施例的第一个方面，提供了一种货架空置率计算方法，包括：

利用拍摄单元采集货架图像；

检测所述货架图像中的商品分区标志物信息；

根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；

利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；

根据所述商品区域与所述背景区域的比例，计算所述货架空置率。

可选地，所述货架空置率计算方法，还包括：

若所述货架空置率大于预设空置率阈值，则向指定用户发送提示信息。

可选地，所述商品分区标志物信息包括价签背板信息和价签信息。

可选地，检测所述货架图像中的价签背板信息，包括：

对所述货架图像进行直线检测，得到直线检测结果；

基于价签背板的边缘特性和形状特性，去除所述直线检测结果中虚假的价签背板边缘直线，并连接断裂的价签背板边缘直线。

可选地，检测所述货架图像中的价签信息，包括：

获取价签模板图像；

提取所述价签模板图像和所述货架图像的第一图像特征；

根据所述价签模板图像和所述货架图像的第一图像特征，计算第一相关系数，并生成价签显著图；

对所述价签显著图进行自适应阈值分割，得到疑似价签区域的中心点集合；

根据所述疑似价签区域的中心点集合，确定所述货架图像中的疑似价签区域；

提取所述疑似价签区域与所述价签模板图像的第二图像特征；

根据所述疑似价签区域与所述价签模板图像的第二图像特征，计算第二相关系数；

确定所述第二相关系数大于预设系数阈值的疑似价签区域为价签。

可选地，所述商品落位区包括在所述货架图像中的靠近货架外侧的第一点和第二点以及对应的靠近货架里侧的第三点和第四点；所述货架图像的下边缘与货架的下边缘重合，所述货架图像的中心点与货架的中心点重合；

根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系、图像成像原理以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区，包括：

根据所述商品分区标志物信息，得到所述商品落位区的第一点和第二点在所述货架图像中的坐标；

根据所述拍摄单元与货架的水平位置关系以及所述拍摄单元的水平拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的横坐标，计算所述第三点和第四点的横坐标；

根据所述拍摄单元与货架的竖直位置关系以及所述拍摄单元的竖直拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的纵坐标，计算所述第三点和第四点的纵坐标。

可选地，所述货架空置率计算方法，还包括：

若所述商品落位区的第三点和第四点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一点和第二点的纵坐标，则将所述上一货架层的商品落位区的第一点和第二点的纵坐标替换为所述商品落位区的第三点和第四点的纵坐标；

根据所述商品落位区第一点的坐标以及对应的第三点的坐标，构建第一直线函数，并且，根据所述商品落位区第二点的坐标以及对应的第四点的坐标，构建第二直线函数；

将所述上一货架层的商品落位区的第一点的纵坐标代入所述第一直线函数，得到的横坐标替换为所述商品落位区的第三点的横坐标；

将所述上一货架层的商品落位区的第二点的纵坐标代入所述第二直线函数，得到的横坐标替换为所述商品落位区的第四点的横坐标。

本发明实施例的第二个方面，提供了一种货架空置率计算装置，包括：

采集模块，用于利用拍摄单元采集货架图像；

标志物检测模块，用于检测所述货架图像中的商品分区标志物信息；

落位区计算模块，用于根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；

空置率计算模块，用于利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；以及，根据所述商品区域与所述背景区域的比例，计算所述货架空置率。

可选地，所述货架空置率计算装置，还包括提示模块，若所述货架空置率大于预设空置率阈值，用于向指定用户发送提示信息。

可选地，所述标志物检测模块，用于：

对所述货架图像进行直线检测，得到直线检测结果；

可选地，所述标志物检测模块，用于：

获取价签模板图像；

提取所述价签模板图像和所述货架图像的第一图像特征；

所述落位区计算模块，用于：

可选地，所述落位区计算模块，用于：

若所述商品落位区的第三点和第四点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一点和第二点的纵坐标，则将所述上一货架层的商品落位区的第一点和第二点的纵坐标替换为所述商品落位区的第一点和第二点的纵坐标；

本发明实施例的第三个方面，提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述货架空置率计算方法。

本发明实施例的第四个方面，提供了一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现所述货架空置率计算方法的步骤。

从上面所述可以看出，本发明实施例提供的货架空置率计算方法，根据所述货架图像中的商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算得到商品落位区，结合商品变化区域和商品落位区，计算货架空置率，这样，通过确定商品落位区，确定货架图像中的实际放置商品的空间，再以此为基础计算货架空置率，避免将货架图像中非商品放置区计算在内，能够得到更为准确的货架空置率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。

图1为本发明实施例中货架空置率计算方法的流程示意图；

图2A为本发明实施例中货架与拍摄单元的位置关系侧视示意图；

图2B为本发明实施例中货架图像的示意图；

图2C为本发明实施例中单层货架图像的放大示意图；

图2D为本发明实施例中货架与拍摄单元的位置关系俯视示意图；

图3A为本发明实施例中检测价签的流程示意图；

图3B为本发明实施例中第一相关系数计算过程的流程示意图；

图3C为本发明实施例中确定价签的步骤的具体流程示意图；

图3D为本发明实施例中商品落位区计算的一个实施例的流程示意图；

图3E为本发明实施例中商品落位区计算的另一实施例的流程示意图；

图4为本发明实施例中所述货架空置率计算装置的结构示意图；

图5为本发明实施例中执行所述货架空置率计算方法的装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明实施例的第一个方面，提出了一种货架空置率计算方法，能够在一定程度上优化货架空置率的计算方法。

如图1所示，所述货架空置率计算方法，包括以下步骤：

步骤11：利用拍摄单元采集货架图像。

可选地，所述拍摄单元可以选用摄像头等可以采集图像的设备，所述货架图像为待分析货架空置情况的货架的图像。

可选地，所述拍摄单元与货架存在一定的位置关系，参考图2A所示。其中，矩形BHJC代表了货架的侧面，O点为拍摄单元所在位置，K为O点在地面的垂直投影，货架的高度为h，货架的深度为d，K到J的距离为m，拍摄单元与货架顶部的高度差为h₀。前述的参数均可通过预先的测量得到。

可选地，结合参照图2A和图2B所示，拍摄单元的安装要求为：

在竖直方向上，在拍摄单元所拍摄到的货架图像中，所述货架图像的下边缘与货架的下边缘重合，即货架与货架图像的水平方向平行，且货架下沿为拍摄单元的视角下限；

货架上沿在货架图像中，即拍摄单元的视角上限高于货架上沿；

在水平方向上，拍摄单元正对货架中点，即所述货架图像的中心点与货架的中心点重合。

通过这样的位置关系的预先设定，使得后续的计算过程能够简化，从而提高处理效率。

步骤12：检测所述货架图像中的商品分区标志物信息。

可选地，商品分区标志物主要是商品的价签，因为大多数货架每种陈列的商品都对应一个价签，所以可以基于价签在货架图像中的位置，来确定商品的分布范围。价签检测采用的方法可以结合边缘检测、模版匹配等方法。

可选地，所述商品分区标志物信息包括价签背板信息和价签信息。这样，基于价签背板信息和价签信息，得到商品分区信息，能够更好地实现商品分区。

价签背板为两层货架间放置价签的长方形区域，价签背板区域与货架其它区域有一定的区分度。价签背板检测的输入为货架图像，输出为价签背板的4个边缘线段信息。

作为一个实施例，检测所述货架图像中的价签背板信息，包括：

对所述货架图像进行直线检测，得到直线检测结果；可选地，这里的直线检测方法可以采用Canny算法、sobel算子，lapacian算子、霍夫变换算法等算法来实现；

通过检测价签背板信息，能够相应地把货架图像按层进行分隔，从而能够得到价签在货架图像中的纵坐标。

作为一个实施例，如图3A所示，检测所述货架图像中的价签信息，包括：

步骤121：获取价签模板图像，参考图2B所示。

这里，所述价签模板图像可以根据实际使用的商品价签的图样进行事先采集。所述价签模板图像可以将其中的具体文字以符号替代而得到。对于同一种类型价签，可由上到下提取货架上不同层的价签模板图像。

步骤122：提取所述价签模板图像和所述货架图像的第一图像特征。

较佳的，所述第一图像特征为包含亮度特征、颜色特征、方向特征和梯度特征的图像特征。

可选地，对于图像亮度而言，如果是灰度图像，则亮度与图像的灰度值有关，灰度值越高则图像越亮，因此，提取所述亮度特征的方法，包括：

若所述价签模板图像和所述货架图像为彩色图像，则计算红绿蓝(RGB)3个颜色通道的灰度均值并生成灰度图像，并将所述灰度图像进行归一化，即将图像像素值都除以图像像素最大值，得到亮度特征图像；

若所述价签模板图像和所述货架图像为灰度图像，则将所述灰度图像进行归一化，即可得到亮度特征。

可选地，提取所述颜色特征的方法，包括：

若所述价签模板图像和所述货架图像为彩色图像，对于像素点(x,y)，其中x为行值，y为列值，标记图像的红色通道在像素点(x,y)的像素值为r、绿色通道在像素点(x,y)的像素值为g、蓝色通道在像素点(x,y)的像素值为b，提取像素点(x,y)以下4个维度的颜色特征：

Y＝r+g-2(|r-g|+b)

对图像中所有像素点进行上述操作，生成对应的4个颜色特征图像，分别对上述4个颜色特征图像进行归一化，得到颜色特征。

若所述价签模板图像和所述货架图像为灰度图像，则不提取这些颜色特征。

可选地，提取所述方向特征的方法，包括：

采用伽柏(Gabor)小波变换分别提取所述价签模板图像和所述货架图像的0度、35度、90度、135度共4个方向的特征，并进行归一化，得到方向特征。

可选地，提取所述梯度特征的方法包括：

若所述价签模板图像和所述货架图像为彩色图像，则将图像灰度化为灰度图像；提取灰度图像的梯度幅值特征，并进行归一化，得到梯度特征；

若所述价签模板图像和所述货架图像为灰度图像，则直接提取灰度图像的梯度特征，并进行归一化，得到梯度特征。

具体地，图像函数f(x,y)在点(x,y)的梯度是一个具有大小和方向的矢量，设该矢量为Gx和Gy，Gx和Gy分别表示x方向和y方向的梯度，这个梯度的矢量可以表示为：

这个矢量的幅度为：

方向角为：

对于数字图像而言，相当于对二维离散函数求梯度，如下：

G(x,y)＝dx(i,j)+dy(i,j)；

dx(i,j)＝I(i+1,j)-I(i,j)；

dy(i,j)＝I(i,j+1)-I(i,j)；

在数字图像中，更多的使用差分来近似导数，最简单的梯度近似表达式如下：

G_x＝f(x，y)-f(x-1，y)

G_y＝f(x，y)-f(x，y-1)

梯度的方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，图像处理中把梯度的模简称为梯度，由图像梯度构成的图像称为梯度图像。

至此，计算得到亮度、颜色、方向和梯度共10个特征，各归一化特征组成的一个特征向量，用于后续计算相关系数。

需要说明的是，前述的包含亮度、颜色、方向和梯度各特征的第一图像特征并不是本发明唯一的实施例，实际上，可以根据需要调整第一图像特征中所包含的特征，例如增加其他特征或对其中的特征进行删减等等。

步骤123：根据所述价签模板图像和所述货架图像的第一图像特征，计算第一相关系数，并生成价签显著图。

可选地，如图3B所示，根据所述价签模板图像和所述货架图像的第一图像特征，计算第一相关系数，包括：

步骤1231：在所述货架图像上，将所述价签模板图像依据从上到下、从左到右的顺序按像素移动；

步骤1232：计算每次移动后所述价签模板图像与其所覆盖的所述货架图像之间的所述第一相关系数，即每移动一次，计算一次所述价签模板图像与其所覆盖的所述货架图像之间的第一相关系数。

根据前述的第一相关系数的计算方法，即价签模板图像每移动一次，计算一次所述价签模板图像与其所覆盖的所述货架图像之间的第一相关系数，这样，在每个位置分别计算得到一个第一相关系数，将所有第一相关系数组合起来，结合第一相关系数对应的所述价签模板图像的中心点所移动到货架图像上的位置，即生成价签显著图。所述价签显著图的某一位置的第一相关系数值越大，表征以该位置为中心点的价签所占区域为真实价签的可能性越大。

步骤124：对所述价签显著图进行自适应阈值分割，得到疑似价签区域的中心点集合。

步骤125：根据所述疑似价签区域的中心点集合，确定所述货架图像中的疑似价签区域。

这里，价签显著图是根据第一相关系数以及第一相关系数对应的所述价签模板图像的中心点所移动到货架图像上的位置而生成的，即价签显著图的点的平面坐标为第一相关系数对应的所述价签模板图像的中心点所移动到货架图像上的位置，这样，通过自适应阈值分割筛选得到的价签显著图上的点即为一些离散的点的集合，而以这些点为中心点且以价签模板图像的尺寸为大小的区域即为疑似价签区域。

可选地，对所述价签显著图进行自适应阈值分割，得到疑似价签区域的中心点集合，包括：

对所述价签显著图利用自适应阈值分割算法(如OTSU，亦称大津法或最大类间方差法)进行二值分割，其中前景区域为所述疑似价签区域的中心点集合。

步骤126：提取所述疑似价签区域与所述价签模板图像的第二图像特征。

需要说明的是，这里提取所述疑似价签区域的第二图像特征的步骤，也可以是提前对整个货架图像(其中含有疑似价签区域)处理得到的，并且可以预先进行处理(即在一开始就对货架图像提取第二图像特征，而不是在得到疑似价签区域以后再提取)，而不仅仅限于仅对疑似价签区域进行第二图像特征的提取。当然这两种第二图像特征提取方式均可应用于本发明，这里并不进行具体限定。

较佳的，所述第二图像特征为包含角二阶矩特征、对比度特征、反差分矩阵特征、相关性特征、熵特征的纹理特征。

可选地，提取所述纹理特征的方法包括：

根据图像生成灰度共生矩阵；

从所述灰度共生矩阵中提取角二阶矩特征、对比度特征、反差分矩阵特征、相关性特征、熵特征，并进行归一化，得到所述纹理特征。

具体地，灰度共生矩阵(GLCM)，指的是一种通过研究灰度的空间相关特性来描述纹理的常用方法。由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。

灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。灰度共生矩阵生成简要介绍如下：

取图像(N×N)中任意一点(x，y)及偏离它的另一点(x+a，y+b)，设该点对的灰度值为(g1，g2)。令点(x，y)在整个画面上移动，则会得到各种(g1，g2)值，设灰度值的级数为k，则(g1，g2)的组合共有k的平方种。对于整个画面，统计出每一种(g1，g2)值出现的次数，然后排列成一个方阵，再用(g1，g2)出现的总次数将它们归一化为出现的概率P(g1，g2)，这样的方阵称为灰度共生矩阵。距离差分值(a，b)取不同的数值组合，可以得到不同情况下的联合概率矩阵。(a，b)取值要根据纹理周期分布的特性来选择，对于较细的纹理，选取(1，0)、(1，1)、(2，0)等小的差分值。

当a＝1，b＝0时，像素对是水平的，即0度扫描；当a＝0，b＝1时，像素对是垂直的，即90度扫描；当a＝1，b＝1时，像素对是右对角线的，即45度扫描；当a＝-1，b＝1时，像素对是左对角线，即135度扫描。

这样，两个象素灰度级同时发生的概率，就将(x，y)的空间坐标转化为“灰度对”(g1，g2)的描述，形成了灰度共生矩阵。

实验中对灰度共生矩阵进行了如下的归一化：

直觉上来说，如果图像的是由具有相似灰度值的像素块构成，则灰度共生矩阵的对角元素会有比较大的值；如果图像像素灰度值在局部有变化，那么偏离对角线的元素会有比较大的值。

通常可以用一些标量来表征灰度共生矩阵的特征，令G表示灰度共生矩阵常用的特征有：

角二阶矩(angular second moment，ASM)：

也即每个矩阵元素的平方和。

如果灰度共生矩阵中的值集中在某一块(比如对连续灰度值图像，值集中在对角线；对结构化的图像，值集中在偏离对角线的位置)，则ASM有较大值，若G中的值分布较均匀(如噪声严重的图像)，则ASM有较小的值。

角二阶矩是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度，当图像纹理较细致、灰度分布均匀时，能量值较大，反之，较小。如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时，此时ASM值大。ASM值大表明一种较均一和规则变化的纹理模式。

对比度(contrast)：

直接反映了某个像素值及其邻域像素值的亮度的对比情况。如果偏离对角线的元素有较大值，即图像亮度值变化很快，则CON会有较大取值，这也符合对比度的定义。对比度反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。

反差分矩阵(inverse different moment，IDM)：

如果灰度共生矩阵对角元素有较大值，IDM就会取较大的值。因此连续灰度的图像会有较大IDM值。反差分矩阵反映图像纹理的同质性，度量图像纹理局部变化的多少。反差分矩阵反映了纹理的清晰程度和规则程度，纹理清晰、规律性较强、易于描述的，值较大；杂乱无章的，难于描述的，值较小。其值大则说明图像纹理的不同区域间缺少变化，局部非常均匀。

相关性(correlation)：

其中，

相关性反应了图像纹理的一致性，用来度量图像的灰度级在行或列方向上的相似程度，因此值的大小反应了局部灰度相关性，值越大，相关性也越大。如果图像中有水平方向纹理，则水平方向矩阵的COR大于其余矩阵的COR值。它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵像元值相差很大则相关值小。

熵(entropy)：

若灰度共生矩阵值分布均匀，也即图像近于随机或噪声很大，熵会有较大值。

熵是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均匀程度或复杂程度。

最后，可以用一个特征向量将以上特征综合在一起，综合后的特征向量就可以看做是对图像纹理的一种描述，可以进一步用来分类、识别、检索等。

需要说明的是，前述纹理特征所选择的具体特征可以根据需要进行调整、增删，并不局限于前述实施例中所提供的方案。

步骤127：根据所述疑似价签区域与所述价签模板图像的第二图像特征，计算第二相关系数。

步骤128：确定所述第二相关系数大于预设系数阈值的疑似价签区域为价签。

可选地，如图3C所示，所述确定所述第二相关系数大于预设系数阈值的疑似价签区域为价签，包括：

步骤1281：对疑似价签区域按其第一相关系数由大到小进行排序；

步骤1282：按照排列顺序，依次计算每个疑似价签区域与所述价签模板图像的第二图像特征之间的第二相关系数；

步骤1283：将所述第二相关系数大于预设系数阈值的疑似价签区域确定为价签，当所述第二相关系数小于所述预设系数阈值，则停止第二相关系数的计算。这样，可以节省计算时间，提高计算效率。

这里，需要说明的是，所述预设系数阈值可以根据需要进行设定，例如0.8，但在此并不做具体限定。

这样，通过提取价签模板和货架图像的第一图像特征，以计算第一相关系数，并生成价签显著图，再根据价签显著图得到的疑似价签区域，然后提取疑似价签区域与所述价签模板的第二图像特征并计算二者的第二相关系数，最后将第二相关系数大于预设系数阈值的疑似价签区域确定为价签，采用这样的价签检测方法，能够得到较为准确的货架图像上的价签位置，从而能够根据价签位置实现货架图像的分割，有利于后续的图像比对，以期计算出更准确的货架空置率。

需要说的是，所述商品分区标志物信息的计算方法并不局限于前述实施例中提供的方法，只要是能够得到商品分区标志物信息的其他方法，也能适用于本发明，在此不做限制。

步骤13：根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区(也可称为SKU(Stock Keeping Unit，库存量单位)落位区)为商品在货架上的放置区域在所述货架图像中所占据的区域，参考图2B和图2C所示。

可选地，所述商品落位区包括在所述货架图像中的靠近货架外侧的第一点和第二点以及对应的靠近货架里侧的第三点和第四点；以图2C中EMNF构成的商品落位区为例，第一点即F点，第二即N点，第三点即E点，第四点即M点。

作为一个实施例，根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系、图像成像原理以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区，包括：

步骤131：根据所述商品分区标志物信息，得到所述商品落位区的第一点和第二点在所述货架图像中的坐标；

步骤132：根据所述拍摄单元与货架的水平位置关系以及所述拍摄单元的水平拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的横坐标，计算所述第三点和第四点的横坐标；

步骤133：根据所述拍摄单元与货架的竖直位置关系以及所述拍摄单元的竖直拍摄视角，结合所述商品落位区的第一点和第二点在所述货架图像中的纵坐标，计算所述第三点和第四点的纵坐标。

具体地，图2B为货架图像的整体示例，图2C为单层货架图像的放大图，其中的四边形区域EFSR为该层货架与可能摆放的商品接触的表面，我们称为“层落位区”，相对于整个层的图像区域UFSV，它反应的是实际的商品在货架上占据的面积，因此以此为依据判断货架空置率更为准确。

由于一层货架可能被分割成多个商品的摆放区域，我们定义了SKU落位区，即每种商品的落位区域，亦即商品落位区，如图2C中所示的EFNM、MNQP和PQSR。

本发明的主要创新点之一在于，通过某种方式找到货架图像中货架前端不同商品的分界点F、N、Q、S(即在所述货架图像中的靠近货架外侧的点)后，通过几何关系和成像原理计算出它们对应的在货架后端的点E、M、P、R(即在所述货架图像中的靠近货架里侧的点)。

以下，以通过N点坐标(X_N,Y_N)计算M点坐标(X_M,Y_M)为例。

前述的商品分区标志物信息已经检测得知，因此，据此可以知道在所述货架图像中的靠近货架外侧的点的坐标，即N点的坐标(X_N,Y_N)。具体地，可以以价签的左上角的所在位置作为对应的在所述货架图像中的靠近货架外侧的点的坐标。

图2A为货架与拍摄单元的位置关系侧视图，其中矩形BHJC代表了货架的侧面，O点为摄像头所在位置，K为O点在地面的垂直投影，货架的高度h，货架的深度d，K到J的距离m，摄像头高于货架的高度h₀，都可以通过测量得到。∠AOJ为拍摄单元在垂直方向的视角范围且为系统已知参数，记为β_v。另外图中∠EOF记为δ，∠EOF记为θ，∠JOK记为γ。已知量还有图像的长宽分别为W和H，F点在图像中的纵坐标值Y_F＝Y_N。我们要求的量是M点在货架图像中的纵坐标值Y_M＝Y_E。

根据成像原理有：

根据几何关系有：

经过推导，可以得到：

至此，即可计算得到M点在货架图像中的纵坐标。

图2D为货架与拍摄单元的位置关系俯视图，其中矩形EFSR代表了货架的上表面，O点为拍摄单元所在位置，货架的宽度为q，货架的深度为d，拍摄单元到货架的垂直距离为m，这些参量都可以通过测量得到。∠AOJ为拍摄单元在垂直方向的视角范围且为系统已知参数，记为β_h。T为FS中点，且OT垂直于FS，另外图中∠AOF记为

∠EOF记为λ，∠EOT记为σ。已知量还有货架图像的长宽分别为W和H，N点在货架图像中的坐标值(X_N,Y_N)。我们要求的量是M点在图像中的横坐标值X_M。

根据成像原理有：

设NT长度为q，根据几何原理有：

经过推导，可以得到：

至此，即可计算得到M点在货架图像中的横坐标。

其他商品落位区的靠近货架里侧的点均可采用前述方法计算，在此不再赘述。

进一步地，所述货架空置率计算方法，还包括：

步骤134：若所述商品落位区的第三点和第四点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一点和第二点的纵坐标，即在货架图像上某一层的第三点和第四点被上一层的货架的图像所遮挡，致使在货架图像中看不到第三点和第四点，则将所述上一货架层的商品落位区的第一点和第二点的纵坐标替换为所述商品落位区的第三点和第四点的纵坐标；这里的上一货架层指的是当前计算的货架层的往上一层的货架层；

步骤134：根据所述商品落位区第一点的坐标以及对应的第三点的坐标，构建第一直线函数，并且，根据所述商品落位区第二点的坐标以及对应的第四点的坐标，构建第二直线函数；

步骤135：将所述上一货架层的商品落位区的第一点的纵坐标代入所述第一直线函数，得到的横坐标替换为所述商品落位区的第三点的横坐标；

步骤136：将所述上一货架层的商品落位区的第二点的纵坐标代入所述第二直线函数，得到的横坐标替换为所述商品落位区的第四点的横坐标。

这样，若商品落位区的靠近货架里侧的点被上一层货架所遮挡，则体现在图像中的落位区将不完整，使得需要对计算出的落位区进行修正，即，将纵坐标进行替换，并根据该替换后的纵坐标计算横坐标，从而得到修正的商品落位区，使后续计算得到的货架空置率更为准确。

步骤14：利用图像分割方法，将所述商品落位区分割为商品区域和背景区域。可选地，所述图像分割方法可以选用基于纹理、颜色、边缘等特征的图像分割方法，具体方法不做限定。

步骤15：根据所述商品区域与所述背景区域的比例，计算所述货架空置率。可选地，所述货架空置率可以是某一个商品落位区的空置率，也可以是整个货架的所有商品的空置率的平均值等，具体计算标准可以根据需要进行设定，在此不做具体限定。

可选地，所述货架空置率计算方法，还包括步骤16：若所述货架空置率大于预设空置率阈值，则向指定用户发送提示信息。这样，当货架空置率超过阈值时提醒用户，促使其及时补货。可选地，所述预设空置率阈值可根据需要进行设定，如50％，在此不做具体限定。

从上述实施例可以看出，本发明提供的货架空置率计算方法，根据所述货架图像中的商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算得到商品落位区，结合商品变化区域和商品落位区，计算货架空置率，这样，通过确定商品落位区，确定货架图像中的实际放置商品的空间，再以此为基础计算货架空置率，避免将货架图像中非商品放置区计算在内，能够得到更为准确的货架空置率。此外，本发明提供的货架空置率计算方法，基于成像原理和几何关系计算落位区，无需针对每种商品训练模型，大大降低了工作量，而且得到的货架空置率更能反应缺货程度的准确信息。

本发明实施例的第二个方面，提出了一种货架空置率计算装置，能够在一定程度上优化货架空置率的计算方法。

如图4所示，所述货架空置率计算装置，其特征在于，包括：

采集模块21，用于利用拍摄单元采集货架图像；

标志物检测模块22，用于检测所述货架图像中的商品分区标志物信息；

落位区计算模块23，用于根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区；所述商品落位区为商品在货架上的放置区域在所述货架图像中所占据的区域；

空置率计算模块24，用于利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；以及，根据所述商品区域与所述背景区域的比例，计算所述货架空置率。

可选地，所述货架空置率计算装置，还包括提示模块25，若所述货架空置率大于预设空置率阈值，用于向指定用户发送提示信息。这样，当货架空置率超过阈值时提醒用户，促使其及时补货。

可选地，所述标志物检测模块22，用于：

对所述货架图像进行直线检测，得到直线检测结果；

可选地，所述标志物检测模块22，用于：

获取价签模板图像；

提取所述价签模板图像和所述货架图像的第一图像特征；

所述落位区计算模块23，用于：

可选地，所述落位区计算模块23，用于：

需要说明的是，上述货架空置率计算装置的各实施例，与前述的货架空置率计算方法的实施例存在一定程度的对应关系，其效果也基本相同，在此不再赘述。

本发明实施例的第三个方面，提出了一种执行所述货架空置率计算方法的装置的一个实施例。如图5所示，为本发明提供的执行所述货架空置率计算方法的装置的一个实施例的硬件结构示意图。

如图5所示，所述装置包括：

一个或多个处理器31以及存储器32，图5中以一个处理器31为例。

所述执行所述货架空置率计算方法的装置还可以包括：输入装置33和输出装置34。

处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器32作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述货架空置率计算方法对应的程序指令/模块(例如，附图4所示的采集模块21、标志物检测模块22、落位区计算模块23和空置率计算模块24)。处理器31通过运行存储在存储器32中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的货架空置率计算方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据货架空置率计算装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可接收输入的数字或字符信息，以及产生与货架空置率计算装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器32中，当被所述一个或者多个处理器31执行时，执行上述任意方法实施例中的货架空置率计算方法。所述执行所述货架空置率计算方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。

本申请实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。

此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。

此外，上述方法步骤以及系统单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外先、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

公开的示例性实施例，但是应当注公开的示例性实施例，但是应当注意，在不背离权利要求限定的本公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本公开的元素可以以个体形式描述或要求，但是也可以设想多个，除非明确限制为单数。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”(“a”、“an”、“the”)旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims

1.一种货架空置率计算方法，其特征在于，包括：

利用拍摄单元采集货架图像；

检测所述货架图像中的商品分区标志物信息；

根据所述商品区域与所述背景区域的比例，计算所述货架空置率；

其中，所述商品落位区在所述货架图像中为四边形区域，该四边形区域的四个顶点分别为在所述货架图像中的靠近货架外侧的第一顶点和第二顶点以及对应的靠近货架里侧的第三顶点和第四顶点；所述货架图像的下边缘与货架的下边缘重合，所述货架图像的中心点与货架的中心点重合；

根据所述商品分区标志物信息，结合所述拍摄单元与货架的位置关系以及拍摄单元的拍摄视角，计算所述货架图像中的商品落位区，包括：

根据所述商品分区标志物信息，得到所述商品落位区的第一顶点和第二顶点在所述货架图像中的坐标；

根据所述拍摄单元与货架的水平位置关系以及所述拍摄单元的水平拍摄视角，结合所述商品落位区的第一顶点和第二顶点在所述货架图像中的横坐标，计算所述第三顶点和第四顶点的横坐标；

根据所述拍摄单元与货架的竖直位置关系以及所述拍摄单元的竖直拍摄视角，结合所述商品落位区的第一顶点和第二顶点在所述货架图像中的纵坐标，计算所述第三顶点和第四顶点的纵坐标。

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求1所述的方法，其特征在于，所述商品分区标志物信息包括价签背板信息和价签信息。

4.根据权利要求3所述的方法，其特征在于，检测所述货架图像中的价签背板信息，包括：

对所述货架图像进行直线检测，得到直线检测结果；

5.根据权利要求3所述的方法，其特征在于，检测所述货架图像中的价签信息，包括：

获取价签模板图像；

提取所述价签模板图像和所述货架图像的第一图像特征；

6.根据权利要求1所述的方法，其特征在于，还包括：

若所述商品落位区的第三顶点和第四顶点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一点和第二点的纵坐标，则将所述上一货架层的商品落位区的第一顶点和第二顶点的纵坐标替换为所述商品落位区的第三顶点和第四顶点的纵坐标；

根据所述商品落位区第一顶点的坐标以及对应的第三顶点的坐标，构建第一直线函数，并且，根据所述商品落位区第二顶点的坐标以及对应的第四顶点的坐标，构建第二直线函数；

将所述上一货架层的商品落位区的第一顶点的纵坐标代入所述第一直线函数，得到的横坐标替换为所述商品落位区的第三顶点的横坐标；

将所述上一货架层的商品落位区的第二顶点的纵坐标代入所述第二直线函数，得到的横坐标替换为所述商品落位区的第四顶点的横坐标。

7.一种货架空置率计算装置，其特征在于，包括：

采集模块，用于利用拍摄单元采集货架图像；

空置率计算模块，用于利用图像分割方法，将所述商品落位区分割为商品区域和背景区域；以及，根据所述商品区域与所述背景区域的比例，计算所述货架空置率；

所述落位区计算模块，用于：

8.根据权利要求7所述的装置，其特征在于，还包括提示模块，若所述货架空置率大于预设空置率阈值，用于向指定用户发送提示信息。

9.根据权利要求7所述的装置，其特征在于，所述商品分区标志物信息包括价签背板信息和价签信息。

10.根据权利要求9所述的装置，其特征在于，所述标志物检测模块，用于：

对所述货架图像进行直线检测，得到直线检测结果；

11.根据权利要求9所述的装置，其特征在于，所述标志物检测模块，用于：

获取价签模板图像；

提取所述价签模板图像和所述货架图像的第一图像特征；

12.根据权利要求7所述的装置，其特征在于，所述落位区计算模块，用于：

若所述商品落位区的第三点和第四点的纵坐标大于所述商品落位区所在货架层的上一货架层的商品落位区的第一顶点和第二顶点的纵坐标，则将所述上一货架层的商品落位区的第一顶点和第二顶点的纵坐标替换为所述商品落位区的第一顶点和第二顶点的纵坐标；

13.一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一项所述的方法。

14.一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现权利要求1-6中任一项所述的方法的步骤。