CN110472486B - 一种货架障碍物识别方法、装置、设备及可读存储介质 - Google Patents

Abstract

本公开提供了一种货架障碍物识别方法、装置、设备及可读存储介质，包括：响应于目标货架的障碍物检测请求，获取所述目标货架图像；识别所述目标货架图像中的货架行图像和货架列图像；检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。上述实施例基于货架分列、商品及水墨标签位置检测、货架分层，识别障碍区区域，解决了现有技术中针对不同类型障碍区提供单独识别技术，造成障碍物识别成本过高且效率低下的问题。

Description

一种货架障碍物识别方法、装置、设备及可读存储介质

技术领域

本公开涉及机器学习技术领域，特别是涉及一种货架障碍物识别方法、一种货架障碍物识别装置、设备及可读存储介质。

背景技术

在零售场景中，需要对货架商品进行状态监控及分析，以便实时掌控货架上货物销售情况，及时补充货物，但是实际监控场景中货架前会有行人、手推车、堆积物等多种类型的障碍物遮挡，造成商品状态监控准确性的下降，带来较大虚警，因此对货架前障碍物所在区域进行检测是货架状态监控的必要步骤。

现有技术中的一种方法是简单的将被障碍物遮挡的图像帧丢弃，以防止噪声干扰。另一种方法是需要首先区分不同的障碍物类型，再进行单独处理，例如：针对行人采用行人检测或者人脸检测技术；针对购物车，需结合线检测、形状检测、颜色、纹理等进行判断。

然而，上述第一种方法在针对于人流密集的场所，获取一个完全无遮挡的图像帧可能需要等待比较长的时间，检测效率低下。上述第二种方法针对实际场景中障碍物的类型比较多样，而为每一种障碍物类型提供单独的技术方案成本过高。

发明内容

鉴于上述问题，提出了本公开实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种货架障碍物识别方法和相应的一种货架障碍物识别装置。

根据本公开的第一方面，本公开实施例公开了一种货架障碍物识别方法，具体包括：

响应于目标货架的障碍物检测请求，获取所述目标货架图像；

识别所述目标货架图像中的货架行图像和货架列图像；

检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；

将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。

根据本公开的第二方面，本公开实施例公开了一种货架障碍物识别装置，具体包括：

目标货架图像获取模块，用于响应于目标货架的障碍物检测请求，获取所述目标货架图像；

货架行列图里获取模块，用于识别所述目标货架图像中的货架行图像和货架列图像；

障碍物候选区检测模块，用于检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；

障碍物区域确定模块，用于将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。

根据本公开的第三方面，提供了一种设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如前述的货架障碍物识别方法。

根据本公开的第四方面，提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够实现前述的货架障碍物识别方法。

本公开实施例包括以下优点获取至少两个基于不同分类任务的文本生数据；将所述基于不同分类任务的文本生数据映射到预设维度的高维向量空间；在所述高维向量空间中，获取所述基于不同分类任务的文本生数据的相关性数据；挖掘出所述相关性数据中的共享数据；将所述共享数据确定为迁移知识。提供了一种只针对数据确定迁移知识的方法，具备不依赖和限制于任何学习器而确定的迁移知识的有益效果。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开的一种货架障碍物识别方法实施例的步骤流程图；

图1A是本公开的货架障碍物识别方法实施例中障碍物识别技术流程示意图；

图2是本公开的一种货架障碍物识别方法实施例的步骤流程图；

图2A是本公开的货架障碍物识别方法实施例中货架实例障碍物识别过程示意图；

图2B是本公开的货架障碍物识别方法实施例中货架实例障碍物识别过程示意图；

图2C是本公开的货架障碍物识别方法实施例中货架实例障碍物识别过程示意图；

图2D是本公开的货架障碍物识别方法实施例中货架实例障碍物识别过程示意图；

图2E是本公开的货架障碍物识别方法实施例中货架实例障碍物识别过程示意图；

图2F是本公开的货架障碍物识别方法实施例中货架实例障碍物识别过程示意图；

图3是本公开的一种货架障碍物识别装置实施例的结构框图；

图4是本公开的一种货架障碍物识别装置实施例的结构框图。

具体实施方式

下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

名词术语解释

货架障碍物识别：零售场景中，需要对货架商品进行状态监控及分析，但是实际监控场景中货架前会有行人、手推车、堆积物等多种类型的障碍物遮挡，造成商品状态监控准确性的下降，带来较大虚警，因此有必要对障碍物所在区域进行检测的方法。

实施例一

参照图1，示出了本公开的一种货架障碍物识别方法实施例的步骤流程图，具体可以包括如下步骤：

步骤101，响应于目标货架的障碍物检测请求，获取所述目标货架图像；

本公开实施例中，用户发送针对目标货架进行障碍物识别请求，针对该请求获取目标货架的图像，其中，目标货架的图像由针对该货架的预置摄像头获取，首先获取视频数据，并将视频数据中的完整无干扰的视频帧图像确定为目标货架图像。

步骤102，识别所述目标货架图像中的货架行图像和货架列图像；

本公开实施例中，根据传统的图像处理方法进行货架分列和分行处理，例如货架列的划分是通过计算图像梯度，并对梯度图进行直线检测，对检测结果进行腐蚀、膨胀获取。对于每列货架进行商品及水墨标签位置检测，基于商品及水墨标签的位置进行货架分层信息的获取。

当然，货架图像的分列和分层图像处理方法并不限于上述描述，对此本公开实施例不加以限制。

步骤103，检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；

本公开实施例中，通过目标货架行和列图像中的标签位置，可以确定对应的商品位置，通常每个商品位置的可由矩形框进行标示，当出现大面积矩形框无法标示的情况，可以确定当前货架中对应位置为商品缺失区域，可能是障碍物对货架进行遮挡，所以将该区域确定为障碍物候选区域，需进一步判定该区域的遮挡范围。

步骤104，将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。

本公开实施例中，由于通过货架行图像和列图像对货架进行了区域划分，那么根据货架中每个区域的中的障碍物候选区域的合并，就可以得到整个货架区域的障碍物遮挡区域。

详细流程如图1A所示，首先获取货架图像，进行梯度处理得到货架列图像，再通过预先训练好的商品和水墨标签位置检测模型，检测货架图像的中的商品和水墨标签位置，根据该位置对货架进行分层，得到货架层图像，对货架层图像进行障碍区区域识别，判定大小和上下融合后，再进行不同货架列合并，最终得到整个货架的障碍物区域。

在本公开实施例中，响应于目标货架的障碍物检测请求，获取所述目标货架图像；识别所述目标货架图像中的货架行图像和货架列图像；检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。上述实施例基于货架分列、商品及水墨标签位置检测、货架分层，具备自动检测任意形状和位置的货架障碍物区域的有益效果。

实施例二

参照图2，示出了本公开的一种货架障碍物识别方法实施例的步骤流程图，具体可以包括如下步骤：

步骤201，响应于目标货架的障碍物检测请求，获取所述目标货架图像；

此步骤与步骤101相同，在此不再详述。

步骤202，对目标货架图像进行分列处理，得到目标货架图像中的多个货架列图像；

本公开实施例中，基于传统的图像处理方法进行货架分列，例如通过计算图像梯度，并对梯度图进行直线检测，对检测结果进行腐蚀、膨胀获取图像中的货架列。

当然，货架列图像的获取方法不限于上述描述，本公开实施例对此不加以限制。

优选地，步骤202，进一步包括：

子步骤2021，对目标货架图像进行梯度计算，得到所述目标货架图像的梯度图；

具体地，货架列的划分是通过对货架图像进行图像梯度计算，得到目标货架图像的梯度图。其中，图像梯度可以把图像看成二维离散函数，图像梯度其实就是这个二维离散函数的求导，如，图像梯度:G(x,y)＝dx(i,j)+dy(i,j)；

dx(i,j)＝I(i+1,j)-I(i,j)；

dy(i,j)＝I(i,j+1)-I(i,j)；

其中，I是图像像素的值(如：RGB值)，(i,j)为像素的坐标。

图像梯度一般也可以用中值差分：

dx(i,j)＝[I(i+1,j)-I(i-1,j)]/2；

dy(i,j)＝[I(i,j+1)-I(i,j-1)]/2；

图像边缘一般都是通过对图像进行梯度运算来实现的。

子步骤2022，对所述梯度图进行直线检测，得到直线检测图；

具体地，对上述梯度图进行直线检测即当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小，图像处理中把梯度的模简称为梯度，由图像梯度构成的图像成为梯度图像，经典的图像梯度算法是考虑图像的每个像素的某个邻域内的灰度变化，利用边缘临近的一阶或二阶导数变化规律，对原始图像中像素某个邻域设置梯度算子，通常我们用小区域模板进行卷积来计算，有Sobel算子、Robinson算子、Laplace算子等。

子步骤2023，对所述直线检测图进行图像腐蚀处理和膨胀处理，得到所述目标货架图像的货架列分界线；

具体地，通过图像梯度图的边缘检测，再进行传统图像处理中的图像腐蚀处理和膨胀处理，即可得到图像货架中的货架列边界线。

子步骤2024，根据所述货架列分界线划分所述目标货架图像为多个货架列图像。

具体地，如图2A所示，通过上述经图像处理得到的货架列的分界线对目标货架图像进行分割，则可以得到多个货架列图像。

步骤203，将各所述货架列图像分别输入预先训练好的商品及水墨标签检测模型，输出各所述货架列图像中的商品及标签位置信息；

本公开实施例中，基于商品及水墨标签的位置进行货架分层信息的获取，则将上述获取的各货架列图像分别输入预先训练好的商品及水墨标签检测模型，检测各货架列图像中的商品及标签位置信息。

步骤204，根据所述商品及标签位置信息，确定所述货架列图像中的货架行图像。

本公开实施例中，由于通常的货架行下端都是水墨标签固定位置，所以通过水墨标签的位置，可以检测到货架行的分界线。

优选地，步骤204，进一步包括：

子步骤2041，根据所述标签位置信息的纵坐标进行从小到大的排序；

子步骤2042，根据所述排序计算各相邻纵坐标之间的差值；

子步骤2043，若所述差值大于预设货架层高值，将所述相邻纵坐标之间的区域，确定为一货架行图像。

具体地，根据某一列货架所有的水墨标签的纵坐标(如使用y1代表)从小到大进行排序，如果相邻两个水墨标签纵坐标的差值大于2倍的水墨标签的平均高度，则货架的层数自动加1。由此自动检测货架的层数。其依据为经过校正图像的同一个货架层的水墨标签位置偏差不大，不会超过2倍的水墨标签的高度。

当然，在具体应用中，货架的层高度不定，那么水墨标签纵坐标的差值与货架层高之间的比值根据实际情况设定，本公开实施例对此不加以限制。

步骤205，在所述货架行图像中检测缺失所述商品及标签位置信息的区域，确定为障碍物候选区域。

具体地，如图2B所示，货架层内商品缺失区域与该货架层宽度的相对比例大于一定阈值T1，则作为一个候选障碍物区域。

优选地，步骤205，进一步包括：

子步骤2051，将所述货架行图像与预设完整货架行图像进行对比，检测出所述货架行图像中缺失所述商品及标签位置信息的缺失区域；

具体地，将货架行图像与预设完整货架行图像进行对比，预设完整货架行图像是由预置摄像头在前预设时间段内拍摄获得，例如，当前货架图像拍摄时前3秒拍摄到的，完全无遮挡的货架图像作为预设完整货架图像。通过货架行图像与预设完整货架行图像进行对比，可检测到货架商品及标签位置信息的缺失区域。

子步骤2052，获取所述缺失区域的缺失面积；

如子步骤2053，获取所述货架行图像的分层宽度；

子步骤2054，若所述缺失面积与所述分层宽度的比值大于第一预设阈值，确定所述缺失区域为障碍物候选区域。

具体地，如图2C所示，获取货架商品和标签缺失区域的面积以及货架层上下距离，即货架层的宽度，当货架最下层候选障碍物区域间的距离与货架宽度的比例若大于一定阈值T2，则为不同障碍物，对应区域为障碍物种子区域。

步骤206，将各所述货架行图像中的所述障碍物候选区域进行纵向聚合，得到货架层障碍物区域；

具体地，当确定每个货架层区域中的障碍物区域后，以各货架列图像为单位进行纵向聚合。

优选地，步骤206，进一步包括：

子步骤2061，将各所述货架行图像由低到高依次进行纵向聚合，得到货架层障碍物区域。

具体地，如图2D所示，基于障碍物种子区域位置[x1,x2]构建检索库，对候选障碍物候选区域位置进行检索。

优选地，步骤2061，进一步包括：

子步骤20611，获取最底层的所述货架行图像中的所述候选障碍物区域的第一区域宽度；

具体地，从最底层货架层开始，获取最底层货架行图像中的障碍物候选区域的宽度，设定为第一区域宽度。

子步骤20612，若所述第一宽度与所述最底层货架的所述货架行图像的货架宽度的比值大于第二预设阈值，将所述最底层货架的所述候选障碍物区域确定为障碍物种子区域；

具体地，如果第一宽度与所述最底层货架的宽度的比例大于第二预设阈值，则最底层货架的候选障碍物区域设定为待融合障碍物区域，即障碍物种子区域。

子步骤20613，获取所述货架最底层的相邻上层的所述货架层障碍物区域第二区域宽度；

进一步地，获取倒数第二层货架层障碍物区域的宽度，确定为第二区域宽度。

子步骤20614，若所述第一区域宽度与所述第二区域宽度的距离小于第三预设阈值，则将所述货架层障碍物区域与所述障碍物种子区域进行合并，生成第一聚合区域；

进一步地，如果倒数第一层货架障碍物区域的第一区域宽度，与上述第二区域宽度之间的距离小于第三预设阈值，那么就将倒数第一层的货架区域的障碍物区域与倒数第二层货架的障碍物区域进行合并，生成的区域为第一聚合区域。

子步骤20615，获取所述第一聚合区域的聚合区域宽度；

子步骤20616，若所述第一聚合区域的相邻上层货架中的所述候选障碍物区域的第三区域宽度，与所述聚合区域宽度的距离小于第三预设阈值，则将第三区域合并在第一聚合区域中，直到所述第一聚合区域的相邻上层货架中的所述候选障碍物区域缺失，则所述第一聚合区域停止聚合；

进一步地，如图2E所示，获取第一聚合区域的聚合区域宽度，然后逐层向上进行聚合，聚合前仍需获取紧邻上层货架区域中障碍物区域的第三区域宽度，如果第三区域宽度，与所述聚合区域宽度的距离小于第三预设阈值，那么就向上聚合，直到上层货架中不再存在障碍物区域，或上层不再存在货架层，则聚合停止。

例如，基于候选障碍物区域位置[x1,x2]，货架层由下向上进行聚合，若某层障碍物种子区域对应的候选障碍物区域缺失，则该障碍物种子区域停止生长。

子步骤20617，将停止聚合的所述第一聚合区域，确定为货架层障碍物区域。

具体地，当聚合停止后得到的第一聚合区域，即为货架层障碍物区域。

步骤207，将各所述货架列图像中的所述货架层障碍物区域进行横向融合，得到货架障碍物区域。

具体地，如图2F所示，将上述各列货架图像的第一聚合区域再进行横向融合，则得到整个货架区域的障碍物区域。

优选地，在本公开另一实施例中，所述商品及水墨标签检测模型由以下步骤训练得到：

步骤01，拍摄包含商品及水墨标签的无障碍货架图像；

步骤02，分别标记所述无障碍货架图像中的商品和对应的水墨标签的位置坐标，生成标记货架图像；

步骤03，将标记货架图像作为训练集，通过预设机器学习算法进行训练，得到商品及水墨标签检测模型。

本公开实施例中，在进行障碍物检测前，采集真实货架数据并进行标注，基于标注数据训练商品及水墨标签检测模型、商品特征提取模型。

在本公开实施例中，通过商品及水墨标签检测模型，可以对水墨标签及商品位置进行准确识别，通过水墨标签位置得到货架图像的行图像，并且对目标货架图像进行处理得到货架列图像。在所述货架行图像中检测缺失所述商品及标签位置信息的区域，确定为障碍物候选区域。再将障碍物候选区域基于行和列的融合，最终得到障碍物区域。实现了自动识别各种类型障碍物的目的，提高障碍物检测区域的精确性。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开实施例并不受所描述的动作顺序的限制，因为依据本公开实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本公开实施例所必须的。

实施例三

参照图3，示出了本公开的一种货架障碍物识别装置实施例的结构框图，具体可以包括如下模块：

目标货架图像获取模块301，用于响应于目标货架的障碍物检测请求，获取所述目标货架图像；

货架行列图里获取模块302，用于识别所述目标货架图像中的货架行图像和货架列图像；

障碍物候选区检测模块303，用于检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；

障碍物区域确定模块304，用于将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。

在本公开实施例中，通过目标货架图像获取模块，用于响应于目标货架的障碍物检测请求，获取所述目标货架图像；货架行列图里获取模块，用于识别所述目标货架图像中的货架行图像和货架列图像；障碍物候选区检测模块，用于检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；障碍物区域确定模块，用于将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。上述实施例基于货架分列、商品及水墨标签位置检测、货架分层，具备自动检测任意形状和位置的货架障碍物区域的有益效果。

实施例四

参照图4，示出了本公开的一种货架障碍物识别装置实施例的结构框图，具体可以包括如下模块：

目标货架图像获取模块401，用于响应于目标货架的障碍物检测请求，获取所述目标货架图像；

货架行列图里获取模块402，用于识别所述目标货架图像中的货架行图像和货架列图像；

优选地，所述货架行列图里获取模块402，进一步包括：

分列处理子模块4021，用于对目标货架图像进行分列处理，得到目标货架图像中的多个货架列图像；

优选地，所述分列处理子模块4021，进一步包括：

梯度图得到单元，用于对目标货架图像进行梯度计算，得到所述目标货架图像的梯度图；

直线检测图得到单元，用于对所述梯度图进行直线检测，得到直线检测图；

货架列分界线得到单元，用于对所述直线检测图进行图像腐蚀处理和膨胀处理，得到所述目标货架图像的货架列分界线；

货架列图像得到单元，用于根据所述货架列分界线划分所述目标货架图像为多个货架列图像。

标签输出子模块4022，用于将各所述货架列图像分别输入预先训练好的商品及水墨标签检测模型，输出各所述货架列图像中的商品及标签位置信息；

货架行图像确定子模块4023，用于根据所述商品及标签位置信息，确定所述货架列图像中的货架行图像。

优选地，所述货架行图像确定子模块4023，进一步包括：

排序单元，用于根据所述标签位置信息的纵坐标进行从小到大的排序；

差值计算单元，用于根据所述排序计算各相邻纵坐标之间的差值；

货架行图像确定单元，用于若所述差值大于预设货架层高值，将所述相邻纵坐标之间的区域，确定为一货架行图像。

障碍物候选区检测模块403，用于检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；

优选地，所述障碍物候选区检测模块403，进一步包括：

障碍物候选区域确定子模块4031，用于在所述货架行图像中检测缺失所述商品及标签位置信息的区域，确定为障碍物候选区域。

优选地，所述障碍物候选区域确定子模块4031，进一步包括：

缺失区域检测单元，用于将所述货架行图像与预设完整货架行图像进行对比，检测出所述货架行图像中缺失所述商品及标签位置信息的缺失区域；

缺失面积获取单元，用于获取所述缺失区域的缺失面积；

分层宽度获取单元，用于获取所述货架行图像的分层宽度；

障碍物候选区域确定单元，用于若所述缺失面积与所述分层宽度的比值大于第一预设阈值，确定所述缺失区域为障碍物候选区域。

障碍物区域确定模块404，用于将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。

优选地，所述障碍物区域确定模块404，进一步包括：

货架层障碍物区域得到子模块4041，用于将各所述货架行图像中的所述障碍物候选区域进行纵向聚合，得到货架层障碍物区域；

优选地，所述货架层障碍物区域得到子模块，进一步包括：

聚合单元，用于将各所述货架行图像由低到高依次进行纵向聚合，得到货架层障碍物区域。

优选地，所述聚合单元，进一步包括：

第一区域宽度获取子单元，用于获取最底层的所述货架行图像中的所述候选障碍物区域的第一区域宽度；

障碍物种子区域确定子单元，用于若所述第一宽度与所述最底层货架的所述货架行图像的货架宽度的比值大于第二预设阈值，将所述最底层货架的所述候选障碍物区域确定为障碍物种子区域；

第二区域宽度获取子单元，用于获取所述货架最底层的相邻上层的所述货架层障碍物区域第二区域宽度；

第一聚合区域生成子单元，用于若所述第一区域宽度与所述第二区域宽度的距离小于第三预设阈值，则将所述货架层障碍物区域与所述障碍物种子区域进行合并，生成第一聚合区域；

聚合区域宽度获取子单元，用于获取所述第一聚合区域的聚合区域宽度；

聚合子单元，用于若所述第一聚合区域的相邻上层货架中的所述候选障碍物区域的第三区域宽度，与所述聚合区域宽度的距离小于第三预设阈值，则将第三区域合并在第一聚合区域中，直到所述第一聚合区域的相邻上层货架中的所述候选障碍物区域缺失，则所述第一聚合区域停止聚合；

货架层障碍物区域确定子单元，用于将停止聚合的所述第一聚合区域，确定为货架层障碍物区域。

货架障碍物区域得到子模块4042，用于将各所述货架列图像中的所述货架层障碍物区域进行横向融合，得到货架障碍物区域。

优选地，在本公开的另一实施例中，还包括商品及水墨标签检测模型训练模块，具体包括：

无障碍货架图像拍摄子模块，用于拍摄包含商品及水墨标签的无障碍货架图像；

标记货架图像生成子模块，用于分别标记所述无障碍货架图像中的商品和对应的水墨标签的位置坐标，生成标记货架图像；

检测模型训练子模块，用于将标记货架图像作为训练集，通过预设机器学习算法进行训练，得到商品及水墨标签检测模型。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开实施例还提供一种设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述的一个或多个所述的货架障碍物识别方法。

本公开实施例还提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如所述的货架障碍物识别方法。

综上所述，在本公开实施例中，通过目标货架图像获取模块，用于响应于目标货架的障碍物检测请求，获取所述目标货架图像；分列处理子模块，用于对目标货架图像进行分列处理，得到目标货架图像中的多个货架列图像；标签输出子模块，用于将各所述货架列图像分别输入预先训练好的商品及水墨标签检测模型，输出各所述货架列图像中的商品及标签位置信息；货架行图像确定子模块，用于根据所述商品及标签位置信息，确定所述货架列图像中的货架行图像。障碍物候选区域确定子模块，用于在所述货架行图像中检测缺失所述商品及标签位置信息的区域，确定为障碍物候选区域。障碍物区域确定模块，用于将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域。上述实施例基于货架分列、商品及水墨标签位置检测、货架分层，实现了自动识别各种类型障碍物的目的，提高障碍物检测区域的精确性。其具有如下优点：

一.商品及水墨标签检测模型，可以对水墨标签及商品位置进行准确识别，提高障碍物检测区域的精确性；

二.不需要进行图像块的特征提取及分类，效率较高，且可应对未知的障碍物类型；

三.适应多种复杂场景：梯子、手推车、货物堆叠、行人(不同性别、年龄、姿态、多人遮挡)。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本公开实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本公开实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开实施例是参照根据本公开实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本公开所提供的一种货架障碍物识别方法、一种货架障碍物识别装置、设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (11)

1.一种货架障碍物识别方法，其特征在于，包括：

响应于目标货架的障碍物检测请求，获取所述目标货架图像；

识别所述目标货架图像中的货架行图像和货架列图像；

检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；

将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域；

所述检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域，包括：

在所述货架行图像中检测缺失商品及标签位置信息的区域，确定为障碍物候选区域；

所述在所述货架行图像中检测缺失所述商品及标签位置信息的区域，确定为障碍物候选区域，包括：

将所述货架行图像与预设完整货架行图像进行对比，检测出所述货架行图像中缺失所述商品及标签位置信息的缺失区域；

获取所述缺失区域的缺失面积；

获取所述货架行图像的分层宽度；

若所述缺失面积与所述分层宽度的比值大于第一预设阈值，确定所述缺失区域为障碍物候选区域。

2.根据权利要求1所述的方法，其特征在于，所述识别所述目标货架图像中的货架行图像和货架列图像，包括：

对目标货架图像进行分列处理，得到目标货架图像中的多个货架列图像；

将各所述货架列图像分别输入预先训练好的商品及水墨标签检测模型，输出各所述货架列图像中的商品及标签位置信息；

根据所述商品及标签位置信息，确定所述货架列图像中的货架行图像。

3.根据权利要求1所述的方法，其特征在于，所述将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域，包括：

将各所述货架行图像中的所述障碍物候选区域进行纵向聚合，得到货架层障碍物区域；

将各所述货架列图像中的所述货架层障碍物区域进行横向融合，得到货架障碍物区域。

4.根据权利要求2所述的方法，其特征在于，所述对目标货架图像进行分列处理，得到目标货架图像中的多个货架列图像，包括：

对目标货架图像进行梯度计算，得到所述目标货架图像的梯度图；

对所述梯度图进行直线检测，得到直线检测图；

对所述直线检测图进行图像腐蚀处理和膨胀处理，得到所述目标货架图像的货架列分界线；

根据所述货架列分界线划分所述目标货架图像为多个货架列图像。

5.根据权利要求2所述的方法，所述根据所述商品及标签位置信息，确定所述货架列图像中的货架行图像，包括：

根据所述标签位置信息的纵坐标进行从小到大的排序；

根据所述排序计算各相邻纵坐标之间的差值；

若所述差值大于预设货架层高值，将所述相邻纵坐标之间的区域，确定为一货架行图像。

6.根据权利要求3所述的方法，所述将各所述货架行图像中的所述障碍物候选区域进行纵向聚合，得到货架层障碍物区域，包括：

将各所述货架行图像由低到高依次进行纵向聚合，得到货架层障碍物区域。

7.根据权利要求6所述的方法，所述将各所述货架行图像由低到高依次进行纵向聚合，得到货架层障碍物区域，包括：

获取最底层的所述货架行图像中的所述障碍物候选区域的第一区域宽度；

若所述第一区域宽度与所述最底层货架的所述货架行图像的货架宽度的比值大于第二预设阈值，将所述最底层货架的所述障碍物候选区域确定为障碍物种子区域；

获取所述货架最底层的相邻上层的所述货架层障碍物区域第二区域宽度；

若所述第一区域宽度与所述第二区域宽度的距离小于第三预设阈值，则将所述货架层障碍物区域与所述障碍物种子区域进行合并，生成第一聚合区域；

获取所述第一聚合区域的聚合区域宽度；

若所述第一聚合区域的相邻上层货架中的所述障碍物候选区域的第三区域宽度，与所述聚合区域宽度的距离小于第三预设阈值，则将第三区域合并在第一聚合区域中，直到所述第一聚合区域的相邻上层货架中的所述障碍物候选区域缺失，则所述第一聚合区域停止聚合；

将停止聚合的所述第一聚合区域，确定为货架层障碍物区域。

8.根据权利要求2所述的方法，所述商品及水墨标签检测模型由以下步骤训练得到：

拍摄包含商品及水墨标签的无障碍货架图像；

分别标记所述无障碍货架图像中的商品和对应的水墨标签的位置坐标，生成标记货架图像；

将标记货架图像作为训练集，通过预设机器学习算法进行训练，得到商品及水墨标签检测模型。

9.一种货架障碍物识别装置，其特征在于，包括：

目标货架图像获取模块，用于响应于目标货架的障碍物检测请求，获取所述目标货架图像；

货架行列图里获取模块，用于识别所述目标货架图像中的货架行图像和货架列图像；

障碍物候选区检测模块，用于检测所述货架行图像和所述货架列图像中的商品缺失区域，确定为障碍物候选区域；

障碍物区域确定模块，用于将各所述货架列图像中的所述货架行中的障碍物候选区域进行融合，得到货架障碍物区域；

所述障碍物候选区检测模块，进一步包括：

障碍物候选区域确定子模块，用于在所述货架行图像中检测缺失商品及标签位置信息的区域，确定为障碍物候选区域；

所述障碍物候选区域确定子模块，进一步包括：

缺失区域检测单元，用于将所述货架行图像与预设完整货架行图像进行对比，检测出所述货架行图像中缺失所述商品及标签位置信息的缺失区域；

缺失面积获取单元，用于获取所述缺失区域的缺失面积；

分层宽度获取单元，用于获取所述货架行图像的分层宽度；

障碍物候选区域确定单元，用于若所述缺失面积与所述分层宽度的比值大于第一预设阈值，确定所述缺失区域为障碍物候选区域。

10.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8之任一项所述的货架障碍物识别方法。

11.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够实现如权利要求1-8之任一项所述的货架障碍物识别方法。

Images