CN109961101A

CN109961101A - 货架状态确定方法及装置、电子设备、存储介质

Info

Publication number: CN109961101A
Application number: CN201910249985.4A
Authority: CN
Inventors: 张欢欢; 刘童; 唐小军; 张治国
Original assignee: BOE Technology Group Co Ltd
Current assignee: BOE Technology Group Co Ltd
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2019-07-02
Anticipated expiration: 2039-03-29
Also published as: CN109961101B; WO2020199775A1

Abstract

本发明公开了一种货架状态确定方法，包括：获取货架图像；对所述货架图像进行标签背板检测和标签检测，得到所述货架的标签背板信息和标签信息；根据所述标签背板信息和标签信息，得到货架分区信息；检测所述货架的货物变化区域；比对所述货物变化区域和所述货架分区信息，得到货架变化位置信息。本发明还公开了一种货架状态确定装置、电子设备和存储介质。

Description

货架状态确定方法及装置、电子设备、存储介质

技术领域

本发明涉及图像处理技术领域，特别是指一种货架状态确定方法及装置、电子设备、存储介质。

背景技术

现在，商超、仓库等货架通常需要人员进行货物清点以找出空置货架并补货。这种过程费时费力，浪费了人力资源。现有技术中的空置货架计算方法，通常是采用货架图像与货架模板图像进行直接比对而得出空置位置，但这种计算方法并不能准确得出货架的具体空缺位置，容易产生误差。

发明内容

有鉴于此，本发明实施例的目的之一在于，提出一种货架状态确定方法及装置、电子设备、存储介质，能够计算得到较为准确的货架变化情况。

基于上述目的，本发明实施例的第一个方面，提供了一种货架状态确定方法，包括：

获取货架图像；

对所述货架图像进行标签背板检测和标签检测，得到所述货架的标签背板信息和标签信息；

根据所述标签背板信息和标签信息，得到货架分区信息；

检测所述货架的货物变化区域；

比对所述货物变化区域和所述货架分区信息，得到货架变化位置信息。

可选地，所述货架状态确定方法，还包括：

将所述货架变化位置信息推送给指定用户。

可选地，所述货架变化位置信息包括货架缺货位置信息。

可选地，根据所述标签背板信息和标签信息，得到货架分区信息，包括：

根据所述标签背板信息，得到货架分层信息；

根据所述标签信息，结合所述货架分层信息，得到货架分区信息。

可选地，对所述货架图像进行标签背板检测，包括：

对所述货架图像进行直线检测，得到直线检测结果；

基于标签背板的边缘特性和形状特性，去除所述直线检测结果中虚假的标签背板边缘直线，并连接断裂的标签背板边缘直线。

可选地，对所述货架图像进行标签检测，包括：

获取标签模板图像；

提取所述标签模板图像和所述货架图像的第一图像特征；

根据所述标签模板图像和所述货架图像的第一图像特征，计算第一相关系数，并生成标签显著图；

对所述标签显著图进行自适应阈值分割，得到待定标签区域的中心点集合；

根据所述待定标签区域的中心点集合，确定所述货架图像中的待定标签区域；

提取所述待定标签区域与所述标签模板图像的第二图像特征；

根据所述待定标签区域与所述标签模板图像的第二图像特征，计算第二相关系数；

确定所述第二相关系数大于预设系数阈值的待定标签区域为标签。

可选地，所述第一图像特征为包含亮度特征、颜色特征、方向特征和梯度特征的图像特征。

可选地，所述第二图像特征为包含角二阶矩特征、对比度特征、反差分矩阵特征、相关性特征、熵特征的纹理特征。

可选地，检测所述货架的货物变化区域，包括：

获取参考图像；

根据所述货架图像和参考图像，检测得到货物变化区域。

可选地，根据所述货架图像和参考图像，检测得到货物变化区域，包括：

提取所述货架图像和参考图像的第三图像特征；

根据所述第三图像特征，进行图像变化检测得到所述货物变化区域。

本发明实施例的第二个方面，提供了一种货架状态确定装置，包括：

获取模块，用于获取货架图像；

分区信息计算模块，用于对所述货架图像进行标签背板检测和标签检测，得到所述货架的标签背板信息和标签信息；以及，根据所述标签背板信息和标签信息，得到货架分区信息；

变化区域检测模块，用于检测所述货架的货物变化区域；

变化信息计算模块，用于比对所述货物变化区域和所述货架分区信息，得到货架变化位置信息。

可选地，所述货架状态确定装置，还包括推送模块，用于将所述货架变化位置信息推送给指定用户。

可选地，所述货架变化位置信息包括货架缺货位置信息。

可选地，所述分区信息计算模块，用于：

根据所述标签背板信息，得到货架分层信息；

可选地，所述分区信息计算模块，用于：

对所述货架图像进行直线检测，得到直线检测结果；

可选地，所述分区信息计算模块，用于：

获取标签模板图像；

提取所述标签模板图像和所述货架图像的第一图像特征；

可选地，所述获取模块，还用于获取参考图像；

所述变化区域检测模块，用于根据所述货架图像和参考图像，检测得到货物变化区域。

可选地，所述变化区域检测模块，用于：

提取所述货架图像和参考图像的第三图像特征；

本发明实施例的第三个方面，提供了一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述货架状态确定方法。

本发明实施例的第四个方面，提供了一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现所述货架状态确定方法的步骤。

从上述所述可以看出，本发明实施例提供的货架状态确定方法及装置、电子设备、存储介质，利用标签背板和标签位置进行货架分区，再将货架分区信息与货物变化区域进行比对，得到货架变化位置信息，从而能够较为准确地计算出变化位置，更方便用户知道货架变化的具体位置，从而能够根据该具体位置确认需要调整储货量的货物，使用起来更为方便。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。

图1为本发明实施例提供的货架状态确定方法的流程示意图；

图2A为本发明实施例中货架图像的示意图；

图2B为本发明实施例中标签模板图像的示意图；

图2C为本发明实施例中参考图像的示意图；

图3A为本发明实施例中检测标签的流程示意图；

图3B为本发明实施例中计算第一相关系数的流程示意图；

图3C为本发明实施例中确定标签的步骤的具体流程示意图；

图3D为本发明实施例中计算货架分区信息的流程示意图；

图3E为本发明实施例中检测货物变化区域的流程示意图；

图4为本发明实施例提供的货架状态确定装置的结构示意图；

图5为本发明实施例提供的执行所述货架状态确定方法的装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

本发明实施例的第一个方面，提出了一种货架状态确定方法，能够计算得到较为准确的货架变化情况。

所述货架状态确定方法，包括：

步骤11：获取货架图像，参考图2A所示。

所述货架图像可以通过设置在货架前方的相机进行实时拍摄，拍摄得到的货架图像则可以通过相应的有线或无线传输方式而获取得到。对于输入的货架图像，还可以首先进行去除噪声、图像增强等预处理。

步骤12：对所述货架图像进行标签背板检测和标签检测，得到所述货架的标签背板信息和标签信息。

标签背板为两层货架间放置标签的长方形区域，标签背板区域与货架其它区域有一定的区分度。标签背板检测的输入为货架图像，输出为标签背板的4个边缘线段信息。

这里的标签指的是记载每种货物的货物信息的标签，在商超场景下，标签通常反映为价签，价签中除了货物信息可能还有价格信息等，在货仓场景下，标签则通常只记载货物相关的信息而不包括商品价格信息。

可选地，对所述货架图像进行标签背板检测，可包括以下步骤：

对所述货架图像进行直线检测，得到直线检测结果；可选地，这里的直线检测方法可以采用Canny算法、sobel算子，lapacian算子、霍夫变换算法等算法来实现；

基于标签背板的边缘特性和形状特性对直线检测结果进行后处理，去除所述直线检测结果中虚假的标签背板边缘直线，并连接断裂的标签背板边缘直线，最终得到标签背板信息。

可选地，如图3A所示，对所述货架图像进行标签检测，包括：

步骤121：获取标签模板图像，参考图2B所示。

这里，所述标签模板图像可以根据实际使用的货物标签的图样进行事先采集。图2B中示出了一种超市中商品的标签图像的示例，所述标签模板图像可以将其中的具体文字以符号替代而得到。对于同一种类型标签，可由上到下提取货架上不同层的标签模板图像。

步骤122：提取所述标签模板图像和所述货架图像的第一图像特征。

可选地，对于图像亮度而言，如果是灰度图像，则亮度与图像的灰度值有关，灰度值越高则图像越亮，因此，提取所述亮度特征的方法，包括：

若所述标签模板图像和所述货架图像为彩色图像，则计算红绿蓝(RGB)3个颜色通道的灰度均值并生成灰度图像，并将所述灰度图像进行归一化，即将图像像素值都除以图像像素最大值，得到亮度特征图像；

若所述标签模板图像和所述货架图像为灰度图像，则将所述灰度图像进行归一化，即可得到亮度特征。

可选地，提取所述颜色特征的方法，包括：

若所述标签模板图像和所述货架图像为彩色图像，对于像素点(x,y)，其中x为行值，y为列值，标记图像的红色通道在像素点(x,y)的像素值为r、绿色通道在像素点(x,y)的像素值为g、蓝色通道在像素点(x,y)的像素值为b，提取像素点(x,y)以下4个维度的颜色特征：

Y＝r+g-2(|r-g|+b)

对图像中所有像素点进行上述操作，生成对应的4个颜色特征图像，分别对上述4个颜色特征图像进行归一化，得到颜色特征。

若所述标签模板图像和所述货架图像为灰度图像，则不提取这些颜色特征。

可选地，提取所述方向特征的方法，包括：

采用伽柏(Gabor)小波变换分别提取所述标签模板图像和所述货架图像的0度、35度、90度、135度共4个方向的特征，并进行归一化，得到方向特征。

可选地，提取所述梯度特征的方法包括：

若所述标签模板图像和所述货架图像为彩色图像，则将图像灰度化为灰度图像；提取灰度图像的梯度幅值特征，并进行归一化，得到梯度特征；

若所述标签模板图像和所述货架图像为灰度图像，则直接提取灰度图像的梯度特征，并进行归一化，得到梯度特征。

具体地，图像函数f(x,y)在点(x,y)的梯度是一个具有大小和方向的矢量，用G_x和G_y分别表示图像函数f(x,y)在x方向和y方向的梯度，这个梯度的矢量可以表示为：

梯度的方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，图像处理中把梯度的模简称为梯度，由图像梯度构成的图像称为梯度图像。

至此，计算得到亮度、颜色、方向和梯度等特征，各归一化特征组成的一个特征向量，用于后续计算相关系数。

需要说明的是，前述的包含亮度、颜色、方向和梯度各特征的第一图像特征并不是本发明唯一的实施例，实际上，可以根据需要调整第一图像特征中所包含的特征，例如增加其他特征或对其中的特征进行删减等等。

步骤123：根据所述标签模板图像和所述货架图像的第一图像特征，计算第一相关系数，并生成标签显著图。

可选地，如图3B所示，根据所述标签模板图像和所述货架图像的第一图像特征，计算第一相关系数，包括：

步骤1231：在所述货架图像上，将所述标签模板图像依据从上到下、从左到右的顺序按像素移动；

步骤1232：计算每次移动后所述标签模板图像与其所覆盖的所述货架图像之间的所述第一相关系数，即每移动一次，计算一次所述标签模板图像与其所覆盖的所述货架图像之间的第一相关系数。

根据前述的第一相关系数的计算方法，即标签模板图像每移动一次，计算一次所述标签模板图像与其所覆盖的所述货架图像之间的第一相关系数，这样，在每个位置分别计算得到一个第一相关系数，将所有第一相关系数组合起来，结合第一相关系数对应的所述标签模板图像的中心点所移动到货架图像上的位置，即生成标签显著图。所述标签显著图的某一位置的第一相关系数值越大，表征以该位置为中心点的标签所占区域为真实标签的可能性越大。

步骤124：对所述标签显著图进行自适应阈值分割，得到待定标签区域的中心点集合。

步骤125：根据所述待定标签区域的中心点集合，确定所述货架图像中的待定标签区域。

这里，标签显著图是根据第一相关系数以及第一相关系数对应的所述标签模板图像的中心点所移动到货架图像上的位置而生成的，即标签显著图的点的平面坐标为第一相关系数对应的所述标签模板图像的中心点所移动到货架图像上的位置，这样，通过自适应阈值分割筛选得到的标签显著图上的点即为一些离散的点的集合，而以这些点为中心点且以标签模板图像的尺寸为大小的区域即为待定标签区域。

可选地，对所述标签显著图进行自适应阈值分割，得到待定标签区域的中心点集合，包括：

对所述标签显著图利用自适应阈值分割算法(如OTSU，亦称大津法或最大类间方差法)进行二值分割，其中前景区域为所述待定标签区域的中心点集合。

步骤126：提取所述待定标签区域与所述标签模板图像的第二图像特征。

需要说明的是，这里提取所述待定标签区域的第二图像特征的步骤，也可以是提前对整个货架图像(其中含有待定标签区域)处理得到的，并且可以预先进行处理(即在一开始就对货架图像提取第二图像特征，而不是在得到待定标签区域以后再提取)，而不仅仅限于仅对待定标签区域进行第二图像特征的提取。当然这两种第二图像特征提取方式均可应用于本发明，这里并不进行具体限定。

可选地，提取所述纹理特征的方法包括：

根据图像生成灰度共生矩阵；

从所述灰度共生矩阵中提取角二阶矩特征、对比度特征、反差分矩阵特征、相关性特征、熵特征，并进行归一化，得到所述纹理特征。

具体地，灰度共生矩阵(GLCM)，指的是一种通过研究灰度的空间相关特性来描述纹理的常用方法。由于纹理是由灰度分布在空间位置上反复出现而形成的，因而在图像空间中相隔某距离的两像素之间会存在一定的灰度关系，即图像中灰度的空间相关特性。

灰度直方图是对图像上单个像素具有某个灰度进行统计的结果，而灰度共生矩阵是对图像上保持某距离的两像素分别具有某灰度的状况进行统计得到的。灰度共生矩阵生成简要介绍如下：

取图像(N×N)中任意一点(x，y)及偏离它的另一点(x+a，y+b)，设该点对的灰度值为(g1，g2)。令点(x，y)在整个画面上移动，则会得到各种(g1，g2)值，设灰度值的级数为k，则(g1，g2)的组合共有k的平方种。对于整个画面，统计出每一种(g1，g2)值出现的次数，然后排列成一个方阵，再用(g1，g2)出现的总次数将它们归一化为出现的概率P(g1，g2)，这样的方阵称为灰度共生矩阵。距离差分值(a，b)取不同的数值组合，可以得到不同情况下的联合概率矩阵。(a，b)取值要根据纹理周期分布的特性来选择，对于较细的纹理，选取(1，0)、(1，1)、(2，0)等小的差分值。

当a＝1，b＝0时，像素对是水平的，即0度扫描；当a＝0，b＝1时，像素对是垂直的，即90度扫描；当a＝1，b＝1时，像素对是右对角线的，即45度扫描；当a＝-1，b＝1时，像素对是左对角线，即135度扫描。

这样，两个象素灰度级同时发生的概率，就将(x，y)的空间坐标转化为“灰度对”(g1，g2)的描述，形成了灰度共生矩阵。

直觉上来说，如果图像的是由具有相似灰度值的像素块构成，则灰度共生矩阵的对角元素会有比较大的值；如果图像像素灰度值在局部有变化，那么偏离对角线的元素会有比较大的值。

通常可以用一些标量来表征灰度共生矩阵的特征，令G表示灰度共生矩阵常用的特征有：

角二阶矩(angular second moment，ASM)：

也即每个矩阵元素的平方和。

如果灰度共生矩阵中的值集中在某一块(比如对连续灰度值图像，值集中在对角线；对结构化的图像，值集中在偏离对角线的位置)，则ASM有较大值，若G中的值分布较均匀(如噪声严重的图像)，则ASM有较小的值。

角二阶矩是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度，当图像纹理较细致、灰度分布均匀时，能量值较大，反之，较小。如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时，此时ASM值大。ASM值大表明一种较均一和规则变化的纹理模式。

对比度(contrast)：

直接反映了某个像素值及其邻域像素值的亮度的对比情况。如果偏离对角线的元素有较大值，即图像亮度值变化很快，则CON会有较大取值，这也符合对比度的定义。对比度反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。

反差分矩阵(inverse different moment，IDM)：

如果灰度共生矩阵对角元素有较大值，IDM就会取较大的值。因此连续灰度的图像会有较大IDM值。反差分矩阵反映图像纹理的同质性，度量图像纹理局部变化的多少。反差分矩阵反映了纹理的清晰程度和规则程度，纹理清晰、规律性较强、易于描述的，值较大；杂乱无章的，难于描述的，值较小。其值大则说明图像纹理的不同区域间缺少变化，局部非常均匀。

相关性(correlation)：

其中，

相关性反应了图像纹理的一致性，用来度量图像的灰度级在行或列方向上的相似程度，因此值的大小反应了局部灰度相关性，值越大，相关性也越大。如果图像中有水平方向纹理，则水平方向矩阵的COR大于其余矩阵的COR值。它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大；相反，如果矩阵像元值相差很大则相关值小。

熵(entropy)：

若灰度共生矩阵值分布均匀，也即图像近于随机或噪声很大，熵会有较大值。

熵是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均匀程度或复杂程度。

最后，可以用一个特征向量将以上特征综合在一起，综合后的特征向量就可以看做是对图像纹理的一种描述，可以进一步用来分类、识别、检索等。

需要说明的是，前述纹理特征所选择的具体特征可以根据需要进行调整、增删，并不局限于前述实施例中所提供的方案。

步骤127：根据所述待定标签区域与所述标签模板图像的第二图像特征，计算第二相关系数。

步骤128：确定所述第二相关系数大于预设系数阈值的待定标签区域为标签。

可选地，如图3C所示，所述确定所述第二相关系数大于预设系数阈值的待定标签区域为标签，包括：

步骤1281：对待定标签区域按其第一相关系数由大到小进行排序；

步骤1282：按照排列顺序，依次计算每个待定标签区域与所述标签模板图像的第二图像特征之间的第二相关系数；

步骤1283：将所述第二相关系数大于预设系数阈值的待定标签区域确定为标签，当所述第二相关系数小于所述预设系数阈值，则停止第二相关系数的计算。这样，可以节省计算时间，提高计算效率。

这里，需要说明的是，所述预设系数阈值可以根据需要进行设定，例如0.8，但在此并不做具体限定。

这样，通过提取标签模板和货架图像的第一图像特征，以计算第一相关系数，并生成标签显著图，再根据标签显著图得到的待定标签区域，然后提取待定标签区域与所述标签模板的第二图像特征并计算二者的第二相关系数，最后将第二相关系数大于预设系数阈值的待定标签区域确定为标签，采用这样的标签检测方法，能够得到较为准确的货架图像上的标签位置，从而能够根据标签位置实现货架图像的分割，有利于后续的图像比对，以期计算出更准确的货架空置率。

步骤13：根据所述标签背板信息和标签信息，得到货架分区信息。

可选地，如图3D所示，根据所述标签背板信息和标签信息，得到货架分区信息，包括：

步骤131：根据所述标签背板信息，得到货架分层信息；

步骤132：根据所述标签信息，结合所述货架分层信息，得到货架分区信息。

这样，根据标签背板检测结果可进行货架不同层的分割，再结合标签检测结果可实现同层货架不同货物分区的分割，从而得到货架上不同货物分区信息，实现货架分割。

这里，利用标签模板图像和货架图像获取货架分区信息的步骤可离线进行，货架货物的陈列和标签放置的位置在一段时间内通常是不变的，货架分区信息可在一段时间内持续使用。

步骤14：检测所述货架的货物变化区域。

可选地，检测所述货架的货物变化区域，包括：

获取参考图像，参考图2C所示；

根据所述货架图像和参考图像，检测得到货物变化区域。

所述参考图像为货架正常摆放完成货物以后的满货状态下的图像，用于与实时采集的货架图像进行比对，以得到货物变化区域，即货物的大致变化情况。这里，获取参考图像的步骤可以与获取货架图像的步骤同时进行，以提高处理效率。

可选地，如图3E所示，根据所述货架图像和参考图像，检测得到货物变化区域，包括：

步骤141：提取所述货架图像和参考图像的第三图像特征(例如彩色、纹理等特征)；

步骤142：根据所述第三图像特征，进行图像变化检测得到所述货物变化区域。

这里，图像变化检测技术利用的是特征级变化检测技术，特征级变化检测是采用一定的算法先从原始图像中提取特征信息，如边缘、形状、轮廓、纹理等，然后对这些特征信息进行综合分析与变化检测。由于特征级的变化检测对特征进行关联处理，把特征分类成有意义的组合，因而它对特征属性的判断具有更高的可信度和准确性。根据特征描述方法的不同，可采用不同的方法来比较两组特征。具体如下：(1)当采用数值特征来描述检测对象时，可采用统计模式识别的方法来判断两组特征的相似程度及确定检测对象的变化信息；(2)当采用结构特征来描述检测对象时，可采用结构模式识别的方法判断两组特征的相似程度及确定检测对象的变化信息。

当然，可以知道的是，图像变化检测，除了特征级变化检测外，还可以是基于像素的变化检测。基于像素的影像变化检测方法的优点为：方法简单、速度快，容易获得变化区域，但不能确定影像变化类型和性质。它的具体算法有：差值法、比值法、相关系数法、回归分析法等。

在本发明的一些实施例中，检测货架的货物变化区域也可以通过对获取到的货架图像利用深度学习进行图像识别，在货架区域内未识别到货物的区域则为缺货区域即货物变化区域。

步骤15：比对所述货物变化区域和所述货架分区信息，得到货架变化位置信息。

所述货物变化区域表征的是货架上出现变化的位置，而所述货架分区信息则是基于标签背板和标签对货架上的货物放置位置进行了区分，从而当变化位置与货架某一分区匹配上时，则说明该分区所放置的货物出现了变化情况，从而能准确得到货架上变化货物的信息，即货架变化位置信息。

可选地，所述货架状态确定方法，还包括步骤16：将所述货架变化位置信息推送给指定用户。这样，通过推送变化信息，使得用户能够及时补货或者及时了解到货物的变化情况。所述指定用户，可以是预先设定的任何需要接收变化信息的人，如超市管理员、补货员等等。

可选地，所述货架变化位置信息包括货架缺货位置信息，从而能够直接反映货架缺货状态，使相关人员产生警惕以尽早补货。

从上述实施例可以看出，本发明实施例提供的货架状态确定方法，利用标签背板和标签位置进行货架分区，再将货架分区信息与货物变化区域进行比对，得到货架变化位置信息，从而能够较为准确地计算出变化位置，更方便用户知道货架变化的具体位置，从而能够根据该具体位置确认需要调整储货量的货物，使用起来更为方便。

本发明实施例的第二个方面，提出了一种货架状态确定装置，能够计算得到较为准确的货架变化情况。

如图4所示，所述货架状态确定装置，包括：

获取模块21，用于获取货架图像；

分区信息计算模块22，用于对所述货架图像进行标签背板检测和标签检测，得到所述货架的标签背板信息和标签信息；以及，根据所述标签背板信息和标签信息，得到货架分区信息；

变化区域检测模块23，用于检测所述货架的货物变化区域；

变化信息计算模块24，用于比对所述货物变化区域和所述货架分区信息，得到货架变化位置信息。

可选地，所述货架状态确定装置，还可包括推送模块25，用于将所述货架变化位置信息推送给指定用户。

可选地，所述货架变化位置信息包括货架缺货位置信息。

从上述实施例可以看出，本发明实施例提供的货架状态确定装置，利用标签背板和标签位置进行货架分区，再将货架分区信息与货物变化区域进行比对，得到货架变化位置信息，从而能够较为准确地计算出变化位置，更方便用户知道货架变化的具体位置，从而能够根据该具体位置确认需要调整储货量的货物，使用起来更为方便。

在一些可选实施方式中，所述分区信息计算模块22，用于：

根据所述标签背板信息，得到货架分层信息；

在一些可选实施方式中，所述分区信息计算模块22，用于：

对所述货架图像进行直线检测，得到直线检测结果；

在一些可选实施方式中，所述分区信息计算模块22，用于：

获取标签模板图像；

提取所述标签模板图像和所述货架图像的第一图像特征；

在一些可选实施方式中，所述第一图像特征为包含亮度特征、颜色特征、方向特征和梯度特征的图像特征。

在一些可选实施方式中，所述第二图像特征为包含角二阶矩特征、对比度特征、反差分矩阵特征、相关性特征、熵特征的纹理特征。

在一些可选实施方式中，所述获取模块21，还用于获取参考图像；

所述变化区域检测模块23，用于根据所述货架图像和参考图像，检测得到货物变化区域。

在一些可选实施方式中，所述变化区域检测模块23，用于：

提取所述货架图像和参考图像的第三图像特征；

上述货架状态确定装置的各实施例与前述的货架状态确定方法的效果基本相同，在此不再赘述。

基于上述目的，本发明实施例的第三个方面，提出了一种执行所述货架状态确定方法的装置的一个实施例。如图5所示，为本发明提供的执行所述货架状态确定方法的装置的一个实施例的硬件结构示意图。

如图5所示，所述装置包括：

一个或多个处理器31以及存储器32，图5中以一个处理器31为例。

所述执行所述货架状态确定方法的装置还可以包括：输入装置33和输出装置34。

处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器32作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述货架状态确定方法对应的程序指令/模块(例如，附图4所示的获取模块21、分区信息计算模块22、变化区域检测模块23和变化信息计算模块24)。处理器31通过运行存储在存储器32中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的货架状态确定方法。

存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据货架状态确定装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至会员用户行为监控装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置33可接收输入的数字或字符信息，以及产生与货架状态确定装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器32中，当被所述一个或者多个处理器31执行时，执行上述任意方法实施例中的货架状态确定方法。所述执行所述货架状态确定方法的装置的实施例，其技术效果与前述任意方法实施例相同或者类似。

本申请实施例提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的列表项操作的处理方法。所述非暂态计算机存储介质的实施例，其技术效果与前述任意方法实施例相同或者类似。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述计算机程序的实施例，其技术效果与前述任意方法实施例相同或者类似。

此外，典型地，本公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本公开的保护范围不应限定为某种特定类型的装置、设备。本公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

此外，根据本公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。

此外，上述方法步骤以及模块也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。

此外，应该明白的是，本文所述的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)以及直接RambusRAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现所述的功能，但是这种实现决定不应被解释为导致脱离本公开的范围。

结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里所述功能的下列部件来实现或执行：通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或任何其它这种配置。

结合这里的公开所描述的方法或算法的步骤可以直接包含在硬件中、由处理器执行的软件模块中或这两者的组合中。软件模块可以驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域已知的任何其它形式的存储介质中。示例性的存储介质被耦合到处理器，使得处理器能够从该存储介质中读取信息或向该存储介质写入信息。在一个替换方案中，所述存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在用户终端中。在一个替换方案中，处理器和存储介质可以作为分立组件驻留在用户终端中。

在一个或多个示例性设计中，所述功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将所述功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外先、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。

公开的示例性实施例，但是应当注公开的示例性实施例，但是应当注意，在不背离权利要求限定的本公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本公开的元素可以以个体形式描述或要求，但是也可以设想多个，除非明确限制为单数。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”(“a”、“an”、“the”)旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims

1.一种货架状态确定方法，其特征在于，包括：

获取货架图像；

根据所述标签背板信息和标签信息，得到货架分区信息；

检测所述货架的货物变化区域；

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述货架变化位置信息推送给指定用户。

3.根据权利要求1或2所述的方法，其特征在于，所述货架变化位置信息包括货架缺货位置信息。

4.根据权利要求1所述的方法，其特征在于，根据所述标签背板信息和标签信息，得到货架分区信息，包括：

根据所述标签背板信息，得到货架分层信息；

5.根据权利要求1所述的方法，其特征在于，对所述货架图像进行标签背板检测，包括：

对所述货架图像进行直线检测，得到直线检测结果；

6.根据权利要求1所述的方法，其特征在于，对所述货架图像进行标签检测，包括：

获取标签模板图像；

提取所述标签模板图像和所述货架图像的第一图像特征；

7.根据权利要求5所述的方法，其特征在于，所述第一图像特征为包含亮度特征、颜色特征、方向特征和梯度特征的图像特征；和/或，所述第二图像特征为包含灰度共生矩阵的角二阶矩特征、对比度特征、反差分矩阵特征、相关性特征、熵特征纹理特征。

8.根据权利要求1所述的方法，其特征在于，检测所述货架的货物变化区域，包括：

获取参考图像；

根据所述货架图像和参考图像，检测得到货物变化区域。

9.根据权利要求8所述的方法，其特征在于，根据所述货架图像和参考图像，检测得到货物变化区域，包括：

提取所述货架图像和参考图像的第三图像特征；

10.一种货架状态确定装置，其特征在于，包括：

获取模块，用于获取货架图像；

变化区域检测模块，用于检测所述货架的货物变化区域；

11.根据权利要求10所述的装置，其特征在于，还包括推送模块，用于将所述货架变化位置信息推送给指定用户。

12.根据权利要求10或11所述的装置，其特征在于，所述货架变化位置信息包括货架缺货位置信息。

13.根据权利要求10所述的装置，其特征在于，所述分区信息计算模块，用于：

根据所述标签背板信息，得到货架分层信息；

14.根据权利要求10所述的装置，其特征在于，所述分区信息计算模块，用于：

对所述货架图像进行直线检测，得到直线检测结果；

15.根据权利要求10所述的装置，其特征在于，所述分区信息计算模块，用于：

获取标签模板图像；

提取所述标签模板图像和所述货架图像的第一图像特征；

16.根据权利要求15所述的装置，其特征在于，所述第一图像特征为包含亮度特征、颜色特征、方向特征和梯度特征的图像特征；和/或，所述第二图像特征为包含角二阶矩特征、对比度特征、反差分矩阵特征、相关性特征、熵特征的纹理特征。

17.根据权利要求10所述的装置，其特征在于，所述获取模块，还用于获取参考图像；

18.根据权利要求17所述的装置，其特征在于，所述变化区域检测模块，用于：

提取所述货架图像和参考图像的第三图像特征；

19.一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-9任一项所述的方法。

20.一种存储有计算机程序的计算机可读存储介质，其中，所述计算机程序在由处理器执行时实现权利要求1-9中任一项所述的方法的步骤。