CN110619308A - 一种过道杂物检测方法、装置、系统和设备 - Google Patents

Abstract

本申请公开了一种过道杂物检测方法、装置、系统和设备，在预设时间间隔内获取预置过道的监测图像，基于语义分割算法对监测图像进行语义分割，识别预置过道是否存在杂物，并在预置过道存在杂物时将监测图像和预置过道的参数信息发送至对应的门店，在门店的显示平台上进行监测图像显示，并进行相应的告警提示，过道拥堵处理及时，避免了通过监控录像事后检查追溯整改带来的延迟，解决了现有的因零售门店过道拥堵的追溯存在滞后性，降低了零售门店的管理效率的技术问题。

Description

一种过道杂物检测方法、装置、系统和设备

技术领域

本申请涉及过道监控技术领域，尤其涉及一种过道杂物检测方法、装置、系统和设备。

背景技术

在零售门店管理中，通常需要监控系统来协助零售门店管理人员进行门店管理。在实际的零售门店管理过程中，经常会出现过道堆放杂物，对过道造成拥堵的影响，而这个问题目前的处理方法是通过查看监控录像事后检查，或者人为的事后投诉、反馈等渠道来追溯并通知整改，对零售门店的经营和改善存在较为严重的滞后性，降低了零售门店的管理效率。

发明内容

本申请实施例提供了一种过道杂物检测方法、装置、系统和设备，用于解决现有的因零售门店过道拥堵的追溯存在滞后性，降低了零售门店的管理效率的技术问题。

有鉴于此，本申请第一方面提供了一种过道杂物检测方法，包括以下步骤：

根据预设时间间隔获取预置过道的监测图像；

基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果；

根据预置规则识别所述分割结果是否存在杂物；

当所述分割结果存在杂物时，获取所述预置过道的参数信息，所述参数信息包括：所述预置过道的所属门店信息、所述预置过道的标识和所述监测图像的拍摄时间；

在所述预置过道的所属门店的显示平台上显示所述监测图像，并根据所述参数信息发出对所述预置过道进行处理的告警提示。

可选地，在所述预置过道的所属门店的显示平台上显示所述监测图像，并根据所述参数信息发出对所述预置过道进行处理的告警提示，还包括：

框选所述监测图像中的所述杂物，并对所述框选的框选框进行高亮显示。

可选地，还包括：

保存所述监测图像和所述参数信息，根据所述监测图像和所述参数信息生成门店监控数据报表，并保存所述门店监控数据报表。

可选地，所述预置规则为：

过滤所述监测图像中的人体特征区域，在所述监测图像中的预置过道区域的被遮挡面积超过阈值时，所述分割结果识别为存在杂物，否则，所述分割结果识别为正常。

可选地，所述显示平台为收银终端显示器。

可选地，所述参数信息还包括：拍摄所述监测图像的摄像设备标识。

本申请第二方面提供了一种过道杂物检测装置，包括以下模块：

第一获取单元，用于根据预设时间间隔获取预置过道的监测图像；

分割单元，用于基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果；

识别单元，用于根据预置规则识别所述分割结果是否存在杂物；

第二获取单元，用于当所述分割结果存在杂物时，获取所述预置过道的参数信息，所述参数信息包括：所述预置过道的所属门店信息、所述预置过道标识和所述监测图像的拍摄时间；

显示告警单元，用于在所述预置过道的所属门店的显示平台上显示所述监测图像，并根据所述参数信息发出对所述预置过道进行处理的告警提示。

可选地，还包括：

框选单元，用于框选所述监测图像中的所述杂物，并对所述框选的框选框进行高亮显示；

保存单元，用于保存所述监测图像和所述参数信息，根据所述监测图像和所述参数信息生成门店监控数据报表，并保存所述门店监控数据报表。

本申请第三方面提供了一种过道杂物检测系统，包括：定点智能摄像机、智能巡店球机、处理器和显示平台；

所述定点智能摄像机、所述智能巡店球机和所述显示平台分别与所述处理器电连接；

所述定点智能摄像机用于根据预设时间间隔获取第一预置过道的监测图像；

所述智能巡店球机用于根据预设时间间隔获取第二预置过道的监测图像，所述第二预置过道为所述定点智能摄像机的盲点过道；

所述处理器用于基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果，根据预置规则识别所述分割结果是否存在杂物，当所述分割结果存在杂物时，获取对应预置过道的参数信息，所述参数信息包括：所述预置过道的所属门店信息、所述预置过道的标识和所述监测图像的拍摄时间，并将所述监测图像和所述参数信息发送至所述对应预置过道的所属门店的所述显示平台上；

所述显示平台用于显示所述监测图像，并根据所述参数信息发出对所述对应预置过道进行处理的告警提示。

本申请第四方面还提供了一种过道杂物检测设备，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行第一方面所述的任意一种过道杂物检测方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，提供了一种过道杂物检测方法，包括以下步骤：根据预设时间间隔获取预置过道的监测图像；基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果；根据预置规则识别所述分割结果是否存在杂物；当所述分割结果存在杂物时，获取所述预置过道的参数信息，所述参数信息包括：所述预置过道的所属门店信息、所述预置过道的标识和所述监测图像的拍摄时间；在所述预置过道的所属门店的显示平台上显示所述监测图像，并根据所述参数信息发出对所述预置过道进行处理的告警提示。本申请提供的过道杂物检测方法，在预设时间间隔内获取预置过道的监测图像，基于语义分割算法对监测图像进行语义分割，识别预置过道是否存在杂物，并在预置过道存在杂物时将监测图像和预置过道的参数信息发送至对应的门店，在门店的显示平台上进行监测图像显示，并进行相应的告警提示，过道拥堵处理及时，避免了通过监控录像事后检查追溯整改带来的延迟，解决了现有的因零售门店过道拥堵的追溯存在滞后性，降低了零售门店的管理效率的技术问题。

附图说明

图1为本申请提供的一种过道杂物检测方法的一个实施例的流程示意图；

图2为本申请提供的一种过道杂物检测方法的另一个实施例的流程示意图；

图3为本申请实施例中提供一种过道杂物检测装置的一个实施例的结构示意图；

图4为本申请提供的一种过道杂物检测系统的一个实施例的结构示意图；

图5为本申请提供的一种过道杂物检测设备的一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于理解，请参阅图1，本申请提供的一种过道杂物检测方法的一个实施例，包括：

步骤101、根据预设时间间隔获取预置过道的监测图像。

需要说明的是，本申请实施例中首先需要获取到零售门店的预置过道的监测图像，预置过道可以是零售门店的所有过道，也可是选定的若干个过道，另外，监测图像的获取可以是根据实际需要在预设时间间隔内通过零售门店内安装的监控摄像装置获取的，也可以是实时获取的，由于监控录像数据数量较大，为减少占用空间，本申请实施例中，将获取监测图像的时间设定为具有一定时间间隔地获取。

步骤102、基于语义分割算法对监测图像进行图像语义分割，得到分割结果。

需要说明的是，基于语义分割算法能够对图像进行分割，语义分割的特征主要包括图像分类，即识别图像的所属类别，图像检测和识别，即识别图像中的物体位置，图像分割，即识别图像的各区域。基于语义分割算法对图像进行语义分割是现有技术，此处不再进行赘述。本申请实施例中通过语义分割算法对预置过道的监测图像进行图像语义分割，能够精确定位预置过道的异常情况，即过道的杂物具体位置，智能检测过道杂物的能力得到提高，有利于提高零售门店管理人员的管理效率，减少管理人员的工作量。

步骤103、根据预置规则识别分割结果是否存在杂物。

需要说明的是，在得到监测图像的分割结果之后，可以根据预先设置识别规则对语义分割后的监测图像进行杂物识别。

步骤104、当分割结果存在杂物时，获取预置过道的参数信息，参数信息包括：预置过道的所属门店信息、预置过道的标识和监测图像的拍摄时间。

需要说明的是，本申请实施例中，当识别出监测图像中的预置过道存在杂物时，需要获取到该存在杂物的过道的参数信息，参数信息可以包括该过道的所属门店信息(如某省分店或某市分店)、该过道的标识(如门店的第几条过道)和监测图像的拍摄时间。

步骤105、在预置过道的所属门店的显示平台上显示监测图像，并根据参数信息发出对预置过道进行处理的告警提示。

需要说明的是，本申请实施例中，在步骤104之后，还需要将存在杂物的过道的监测图像发送至对应的门店，在门店的显示平台上显示该监测图像，并根据获取到的参数信息形成告警信息，向店员发出该过道存在杂物，需要进行处理的告警提示，以使得接收到告警提示的店员能够及时处理过道杂物。对零售门店的管理具有高的实时性和高效性，人力成本也得到了减少，同时也对于零售门店过道杂物监测的零售门店运营进行可视化管理。

本申请实施例中提供的过道杂物检测方法，在预设时间间隔内获取预置过道的监测图像，基于语义分割算法对监测图像进行语义分割，识别预置过道是否存在杂物，并在预置过道存在杂物时将监测图像和预置过道的参数信息发送至对应的门店，在门店的显示平台上进行监测图像显示，并进行相应的告警提示，过道拥堵处理及时，避免了通过监控录像事后检查追溯整改带来的延迟，解决了现有的因零售门店过道拥堵的追溯存在滞后性，降低了零售门店的管理效率的技术问题。

为了便于理解，请参阅图2，本申请中还提供了一种过道杂物检测方法的另一个实施例，包括：

步骤201、根据预设时间间隔获取预置过道的监测图像。

需要说明的是，本申请实施例中首先需要获取到零售门店的预置过道的监测图像，获取零售门店的预置过道的监测图像的方式可以是在零售门店内安装定点智能摄像机和智能巡店球机，通过定点智能摄像机和智能巡店球机获取零售门店内的过道的监测图像，定点智能摄像机可以拍摄零售门店内的整体画面图像，但是实际上有可能会存在定点智能摄像机的拍摄盲点，导致有些过道可能无法拍摄到，因此，可以通过智能巡店球机的方式去获取处于拍摄盲点的过道的监测图像，当然，也可以不使用智能巡店球机，在处于拍摄盲点的过道分别安装定点拍摄的摄像机去获取拍摄盲点的过道的监测图像。预置过道可以是零售门店的所有过道，也可是选定的若干个过道，另外，监测图像的获取可以是根据实际需要在预设时间间隔内通过零售门店内安装的监控摄像装置获取的，也可以是实时获取的，由于监控录像数据数量较大，为减少占用空间，本申请实施例中，将获取监测图像的时间设定为具有一定时间间隔地获取。

步骤202、基于语义分割算法对监测图像进行图像语义分割，得到分割结果。

需要说明的是，基于语义分割算法能够对图像进行分割，语义分割的特征主要包括图像分类，即识别图像的所属类别，图像检测和识别，即识别图像中的物体位置，图像分割，即识别图像的各区域。基于语义分割算法对图像进行语义分割是现有技术，此处不再进行赘述。本申请实施例中通过语义分割算法对预置过道的监测图像进行图像语义分割，能够精确定位预置过道的异常情况，即过道的杂物具体位置，智能检测过道杂物的能力得到提高，有利于提高零售门店管理人员的管理效率，减少管理人员的工作量。

步骤103、根据预置规则识别分割结果是否存在杂物。

需要说明的是，本申请实施例中的预置规则为：过滤所述监测图像中的人体特征区域，在所述监测图像中的预置过道区域的被遮挡面积超过阈值时，所述分割结果识别为存在杂物，否则，所述分割结果识别为正常。当获取到监测图像后，可以通过语义分割算法，对监测图像中的过道、货架、人以及杂物等进行分割，检测出货架、过道、人体以及杂物。在得到监测图像的分割结果之后，可以根据预先设置识别规则对语义分割后的监测图像进行杂物识别。过道中检测出人体(如顾客、店员)特征，视为正常现象，将其自动过滤，剩下过道如被遮挡面积超过一定阈值(根据实际场景设定)则视为该场景下过道有杂物(包括遗弃购物篮、垃圾等影响顾客购物体验的物品)。

步骤204、当分割结果存在杂物时，获取预置过道的参数信息，参数信息包括：预置过道的所属门店信息、预置过道的标识和监测图像的拍摄时间。

需要说明的是，本申请实施例中，当识别出监测图像中的预置过道存在杂物时，需要获取到该存在杂物的过道的参数信息，参数信息可以包括该过道的所属门店信息(如某省分店或某市分店)、该过道的标识(如门店的第几条过道)和监测图像的拍摄时间，还可以包括拍摄所述监测图像的摄像设备标识。

步骤205、在预置过道的所属门店的显示平台上显示监测图像，并根据参数信息发出对预置过道进行处理的告警提示。

需要说明的是，本申请实施例中，在步骤204之后，还需要将存在杂物的过道的监测图像发送至对应的门店，在门店的显示平台上显示该监测图像，显示平台可以是PC显示终端，也可以是收银终端显示器，需要指出的是，为避免影响收银人员利用收银终端显示器进行收银工作，可以在银终端显示器的显示画面中划分出一个小的显示区域，用来显示监测图像。并根据获取到的参数信息形成告警信息，向店员发出该过道存在杂物，需要进行处理的告警提示，以使得接收到告警提示的店员能够及时处理过道杂物。形成告警信息的过程可以是将参数信息写入相应字段(包括发生时间、门店、对应摄像头设备号、异常类型(过道杂物)、抓拍图片(URL形式)等)，分发至相应门店显示平台。然后通过显示平台显示出来(文字内容如“数码产品区过道疑似有杂物，请尽快处理！”)，提示店员进行整改。

步骤206、框选监测图像中的杂物，并对框选的框选框进行高亮显示。

需要说明的是，本申请实施例中，为了更精确的向店员显示杂物在过道中的位置，还可以在监测图像中将杂物框选出来，并将框选框进行高亮显示。

步骤207、保存监测图像和参数信息，根据监测图像和参数信息生成门店监控数据报表，并保存门店监控数据报表。

需要说明的是，零售门店的管理系统可通过接口的形式与巡店数据库对接，结合保存的监测图像和参数信息，在系统后台形成门店监控数据报表。通过设置相应后台权限，可导出对应的门店监控数据报表，以便于管理人员定期查看情况并做相应考核奖惩。管理系统可通过NVR的抓拍接口，对相应摄像机进行抓拍设置，如在后台设置不同抓拍摄像头、抓拍开始时间、结束时间、间隔时间等，特定时间会将相应参数通过接口传送至门店摄像机，定点抓拍。设置的灵活度大，可满足于不同场景。

为了便于理解，请参阅图3，本申请中还提供了一种过道杂物检测装置的实施例，包括：

第一获取单元301，用于根据预设时间间隔获取预置过道的监测图像。

分割单元302，用于基于语义分割算法对监测图像进行图像语义分割，得到分割结果。

识别单元303，用于根据预置规则识别分割结果是否存在杂物。

第二获取单元304，用于当分割结果存在杂物时，获取预置过道的参数信息，参数信息包括：预置过道的所属门店信息、预置过道标识和监测图像的拍摄时间。

显示告警单元305，用于在预置过道的所属门店的显示平台上显示监测图像，并根据参数信息发出对预置过道进行处理的告警提示。

作为改进，还包括：

框选单元306，用于框选监测图像中的所述杂物，并对框选的框选框进行高亮显示。

保存单元307，用于保存监测图像和所述参数信息，根据监测图像和参数信息生成门店监控数据报表，并保存门店监控数据报表。

为了便于理解，请参阅图4，本申请中还提供了一种过道杂物检测系统的实施例，包括：定点智能摄像机、智能巡店球机、处理器和显示平台；

定点智能摄像机、智能巡店球机和显示平台分别与处理器电连接；

定点智能摄像机用于根据预设时间间隔获取第一预置过道的监测图像；

智能巡店球机用于根据预设时间间隔获取第二预置过道的监测图像，第二预置过道为定点智能摄像机的盲点过道；

处理器用于基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果，根据预置规则识别分割结果是否存在杂物，当分割结果存在杂物时，获取对应预置过道的参数信息，参数信息包括：预置过道的所属门店信息、预置过道的标识和监测图像的拍摄时间，并将监测图像和参数信息发送至对应预置过道的所属门店的显示平台上；显示平台用于显示监测图像，并根据参数信息发出对对应预置过道进行处理的告警提示。

为了便于理解，请参阅图5，本申请实施例中还提供了一种过道杂物检测设备的实施例，设备包括处理器401以及存储器402：

存储器402用于存储程序代码，并将程序代码传输给处理器401；

处理器401用于根据程序代码中的指令执行前述任一种过道杂物检测方法实施中的过道杂物检测方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种过道杂物检测方法，其特征在于，包括以下步骤：

根据预设时间间隔获取预置过道的监测图像；

基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果；

根据预置规则识别所述分割结果是否存在杂物；

当所述分割结果存在杂物时，获取所述预置过道的参数信息，所述参数信息包括：所述预置过道的所属门店信息、所述预置过道的标识和所述监测图像的拍摄时间；

在所述预置过道的所属门店的显示平台上显示所述监测图像，并根据所述参数信息发出对所述预置过道进行处理的告警提示。

2.根据权利要求1所述的过道杂物检测方法，其特征在于，在所述预置过道的所属门店的显示平台上显示所述监测图像，并根据所述参数信息发出对所述预置过道进行处理的告警提示，还包括：

框选所述监测图像中的所述杂物，并对所述框选的框选框进行高亮显示。

3.根据权利要求1所述的过道杂物检测方法，其特征在于，还包括：

保存所述监测图像和所述参数信息，根据所述监测图像和所述参数信息生成门店监控数据报表，并保存所述门店监控数据报表。

4.根据权利要求1所述的过道杂物检测方法，其特征在于，所述预置规则为：

过滤所述监测图像中的人体特征区域，在所述监测图像中的预置过道区域的被遮挡面积超过阈值时，所述分割结果识别为存在杂物，否则，所述分割结果识别为正常。

5.根据权利要求1所述的过道杂物检测方法，其特征在于，所述显示平台为收银终端显示器。

6.根据权利要求1所述的过道杂物检测方法，其特征在于，所述参数信息还包括：拍摄所述监测图像的摄像设备标识。

7.一种过道杂物检测装置，其特征在于，包括以下模块：

第一获取单元，用于根据预设时间间隔获取预置过道的监测图像；

分割单元，用于基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果；

识别单元，用于根据预置规则识别所述分割结果是否存在杂物；

第二获取单元，用于当所述分割结果存在杂物时，获取所述预置过道的参数信息，所述参数信息包括：所述预置过道的所属门店信息、所述预置过道标识和所述监测图像的拍摄时间；

显示告警单元，用于在所述预置过道的所属门店的显示平台上显示所述监测图像，并根据所述参数信息发出对所述预置过道进行处理的告警提示。

8.根据权利要求7所述的过道杂物检测装置，其特征在于，还包括：

框选单元，用于框选所述监测图像中的所述杂物，并对所述框选的框选框进行高亮显示；

保存单元，用于保存所述监测图像和所述参数信息，根据所述监测图像和所述参数信息生成门店监控数据报表，并保存所述门店监控数据报表。

9.一种过道杂物检测系统，其特征在于，包括：定点智能摄像机、智能巡店球机、处理器和显示平台；

所述定点智能摄像机、所述智能巡店球机和所述显示平台分别与所述处理器电连接；

所述定点智能摄像机用于根据预设时间间隔获取第一预置过道的监测图像；

所述智能巡店球机用于根据预设时间间隔获取第二预置过道的监测图像，所述第二预置过道为所述定点智能摄像机的盲点过道；

所述处理器用于基于语义分割算法对所述监测图像进行图像语义分割，得到分割结果，根据预置规则识别所述分割结果是否存在杂物，当所述分割结果存在杂物时，获取对应预置过道的参数信息，所述参数信息包括：所述预置过道的所属门店信息、所述预置过道的标识和所述监测图像的拍摄时间，并将所述监测图像和所述参数信息发送至所述对应预置过道的所属门店的所述显示平台上；

所述显示平台用于显示所述监测图像，并根据所述参数信息发出对所述对应预置过道进行处理的告警提示。

10.一种过道杂物检测设备，其特征在于，所述设备包括处理器以及存储器：

所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

所述处理器用于根据所述程序代码中的指令执行权利要求1-6任一项所述的过道杂物检测方法。