CN114529843A - 货物拥堵识别方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供一种货物拥堵识别方法、装置、电子设备和存储介质；本申请中货物拥堵识别方法，包括：获取拍摄装置发送的货物输送线的初始视频信息；将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果；本申请中通过图像分割模型对拍摄的初始视频信息进行分割，获得有效视频信息，通过视频分类模型对有效视频信息进行分类识别，获得货物拥堵识别结果，这样的方式货物拥堵识别时视频信息的处理量小，提高了货物拥堵识别的效率和准确率。

Description

货物拥堵识别方法、装置、电子设备和存储介质

技术领域

本申请涉及物流技术领域，具体涉及一种货物拥堵识别方法、装置、电子设备和存储介质。

背景技术

随着互联网及网购的发展，物流行业也随之兴旺，一般在物流公司接收到快件后，会进行多个步骤的分拣打包处理，这些过程中一般采用传送带运送快件，以小件包裹为例，采用皮带传送机，在物流行业中，传输带是最常规的传动机构应用在装卸口中，基本每一个快件都需要经过传输带传送，所以传输带上的货物有良好运转，这样会提高货物输送效率。

目前，影响传输带上的货物运转的情况有很多种，货物拥堵是一个比较常见的问题，也是一个比较容易使得快件破损的原因。目前物流网点一般传输带数量较多，占地面积大，尤其是多层传输带，跨楼层传输带，高度远远高于人的高度，视线根本无法看到传输带的运行状态，因此在发生包括堵塞时，无法及时发现，当前通过监控设备进行监控，然后针对货物拥堵进行提示，但是这样的货物拥堵识别方法，通常要等货物堆积比较严重才会进行拥堵提示，这样的拥堵识别方式效率较低，而且容易出错。

发明内容

本申请提供一种货物拥堵识别方法、装置、电子设备和存储介质，旨在解决现有的货物拥堵识别数据处理量大、数据处理效率低，识别准确率低的技术问题。

一方面，本申请提供一种货物拥堵识别方法，所述货物拥堵识别方法包括以下步骤：

获取拍摄装置发送的货物输送线的初始视频信息；

将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；

将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

在本申请一些实施方案中，所述将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息之前，所述方法包括：

获取标注货物输送线区域的图像样本，汇总所述图像样本形成图像样本集；

从所述图像样本集中一次抽取预设比例的图像样本，以通过所述图像样本构建初始图像分割模型；

从所述图像样本集中迭代抽取预设比例的图像样本，以通过所述图像样本训练所述初始图像分割模型，获得图像分割训练模型；

获取所述图像分割训练模型的分割准确率，将所述分割准确率高于预设分割准确率的图像分割训练模型作为预设的图像分割模型。

在本申请一些实施方案中，所述将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息，包括：

将所述初始视频信息输入至预设的图像分割模型，对所述初始视频信息分帧，获得连续的初始视频帧；

通过所述预设的图像分割模型逐一对所述初始视频帧进行分割，确定各所述初始视频帧的货物输送线区域；

剔除所述初始视频帧中除所述货物输送线区域之外的区域，获得有效视频信息。

在本申请一些实施方案中，所述将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果，包括：

将所述有效视频信息输入至预设的视频分类模型，确定所述有效视频信息对应货物输送线区域中的传输带是否处于静止状态；

若所述货物输送线区域中的传输带处于静止状态，则通过所述预设的视频分类模型识别所述静止状态的传输带上是否存在货物；

若所述静止状态的传输带上不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带上存在货物，则输出货物拥堵识别结果。

在本申请一些实施方案中，所述将所述有效视频信息输入至预设的视频分类模型，确定所述有效视频信息对应货物输送线区域中的传输带是否处于静止状态之后，所述方法包括：

若所述货物输送线区域中的传输带处于运行状态，则通过所述预设的视频分类模型确定所述运行状态的传输带上是否存在相对运动的货物；

若所述运行状态的传输带上存在相对运动的货物，则输出传输带打滑的提示。

在本申请一些实施方案中，所述若所述静止状态的传输带上存在货物，则输出货物拥堵识别结果，包括：

若所述静止状态的传输带上存在货物，则通过所述预设的视频分类模型确定所述静止状态的传输带上的货物数量是否增加；

若所述静止状态的传输带上的货物数量增加，则输出货物拥堵识别结果；

若所述静止状态的传输带上的货物数量不增加，则判断所述静止状态的传输带预设范围内是否存在货物；

若所述静止状态的传输带预设范围内不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带预设范围内存在货物，则输出货物拥堵识别结果。

在本申请一些实施方案中，所述获取拍摄装置发送的货物输送线的初始视频信息之前，所述方法还包括：

接收货物拥堵识别指令，获得所述货物拥堵识别指令对应的目标监测范围；

获取预设固定摄像头的拍摄范围，判断所述预设固定摄像头的拍摄范围是否覆盖所述目标监测范围；

所述获取拍摄装置发送的货物输送线的初始视频信息，包括：

若所述预设固定摄像头的拍摄范围没有覆盖所述目标监测范围，则向预置的航拍无人机发送调用指令，以调用航拍无人机对所述目标监测范围内的未覆盖区域进行拍摄，获取所述预设固定摄像头和所述航拍无人机发送的货物输送线的初始视频信息。

另一方面，本申请提供一种货物拥堵识别装置，所述货物拥堵识别装置包括：

视频获取模块，用于获取拍摄装置发送的货物输送线的初始视频信息；

分割提取模块，用于将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；

输入识别模块，用于将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

在本申请一些实施方案中，所述的货物拥堵识别装置，包括：

样本获取模块，用于获取标注货物输送线区域的图像样本，汇总所述图像样本形成图像样本集；

模型构建模块，用于从所述图像样本集中一次抽取预设比例的图像样本，以通过所述图像样本构建初始图像分割模型；

模型训练模块，用于从所述图像样本集中迭代抽取预设比例的图像样本，以通过所述图像样本训练所述初始图像分割模型，获得图像分割训练模型；

模型确定模块，用于获取所述图像分割训练模型的分割准确率，将所述分割准确率高于预设分割准确率的图像分割训练模型作为预设的图像分割模型。

在本申请一些实施方案中，所述分割提取模块具体用于：

将所述初始视频信息输入至预设的图像分割模型，对所述初始视频信息分帧，获得连续的初始视频帧；

通过所述预设的图像分割模型逐一对所述初始视频帧进行分割，确定各所述初始视频帧的货物输送线区域；

剔除所述初始视频帧中除所述货物输送线区域之外的区域，获得有效视频信息。

在本申请一些实施方案中，所述输入识别模块具体用于：

将所述有效视频信息输入至预设的视频分类模型，确定所述有效视频信息对应货物输送线区域中的传输带是否处于静止状态；

若所述货物输送线区域中的传输带处于静止状态，则通过所述预设的视频分类模型识别所述静止状态的传输带上是否存在货物；

若所述静止状态的传输带上不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带上存在货物，则输出货物拥堵识别结果。

在本申请一些实施方案中，所述输入识别模块具体用于：

若所述货物输送线区域中的传输带处于运行状态，则通过所述预设的视频分类模型确定所述运行状态的传输带上是否存在相对运动的货物；

若所述运行状态的传输带上存在相对运动的货物，则输出传输带打滑的提示。

在本申请一些实施方案中，所述输入识别模块具体用于：

若所述静止状态的传输带上存在货物，则通过所述预设的视频分类模型确定所述静止状态的传输带上的货物数量是否增加；

若所述静止状态的传输带上的货物数量增加，则输出货物拥堵识别结果；

若所述静止状态的传输带上的货物数量不增加，则判断所述静止状态的传输带预设范围内是否存在货物；

若所述静止状态的传输带预设范围内不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带预设范围内存在货物，则输出货物拥堵识别结果。

在本申请一些实施方案中，所述的货物拥堵识别装置，还包括：

接收获取模块，用于接收货物拥堵识别指令，获得所述货物拥堵识别指令对应的目标监测范围；

范围判断模块，用于获取摄像头的拍摄范围，判断所述摄像头的拍摄范围是否覆盖所述目标监测范围；

设备调用模块，用于若所述摄像头的拍摄范围没有覆盖所述目标监测范围，则调用航拍无人机对所述目标监测范围内的未覆盖区域进行拍摄；

将所述摄像头和所述航拍无人机作为拍摄装置，执行所述视频获取模块，用于获取拍摄装置发送的货物输送线的初始视频信息的步骤。

另一方面，本申请还提供一种电子设备，所述电子设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的货物拥堵识别方法。

另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的货物拥堵识别方法中的步骤。

本申请的技术方案中获取拍摄装置发送的货物输送线的初始视频信息；将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果；本申请实施例中通过图像分割模型对拍摄的初始视频信息进行分割，获得有效视频信息，通过视频分类模型对有效视频信息进行分类识别，获得货物拥堵识别结果，这样不需要针对拍摄到的噪声视频信息进行分析，直接从初始视频信息中提取货物输送线对应的有效视频信息，针对有效视频信息进行识别，获得货物拥堵识别结果，本申请的技术方案中视频信息的处理量小，提高了货物拥堵识别的效率和准确率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的货物拥堵识别的场景示意图；

图2是本申请实施例中提供的货物拥堵识别方法的一个实施例流程示意图；

图3是本申请实施例中货物拥堵识别方法中构建图像分割模型的一个实施例流程示意图；

图4是本申请实施例中提供的货物拥堵识别方法中货物拥堵识别一个实施例的流程示意图；

图5是本申请实施例中提供的货物拥堵识别方法中货物拥堵识别另一个实施例的流程示意图；

图6是本申请实施例中提供的货物拥堵识别方法中获取初始视频信息一个实施例的流程示意图；

图7是本申请实施例中提供的货物拥堵识别装置的一个实施例结构示意图；

图8是本申请实施例中提供的电子设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明包含的范围。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种货物拥堵识别方法、装置、设备及计算机可读存储介质，以下分别进行详细说明。

本申请实施例中的货物拥堵识别方法应用于货物拥堵识别装置，货物拥堵识别装置设置于电子设备，电子设备中设置有一个或多个处理器、存储器，以及一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行以实现货物拥堵识别方法；电子设备可以是终端，例如，手机或平板电脑，电子设备还可以是一台服务器，或者多台服务器组成的服务集群。

如图1所示，图1为本申请实施例货物拥堵识别的场景示意图，本申请实施例中货物拥堵识别场景中包括电子设备100(电子设备100中集成有货物拥堵识别装置)，电子设备100中运行货物拥堵识别对应的计算机可读存储介质，以执行货物拥堵识别的步骤。

可以理解的是，图1所示货物拥堵识别的场景中的电子设备，或者电子设备中包含的装置并不构成对本申请实施例的限制，即，货物拥堵识别的场景中包含的设备数量、设备种类，或者各个设备中包含的装置数量、装置种类不影响本申请实施例中技术方案整体实现，均可以算作本申请实施例要求保护技术方案的等效替换或衍生。

本申请实施例中电子设备100主要用于获取拍摄装置发送的货物输送线的初始视频信息；将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

本申请实施例中该电子设备100可以是独立的电子设备，也可以是电子设备组成的电子设备网络或电子设备集群，例如，本申请实施例中所描述的电子设备100，其包括但不限于计算机、网络主机、单个网络电子设备、多个网络电子设备集或多个电子设备构成的云电子设备。其中，云电子设备由基于云计算(CloudComputing)的大量计算机或网络电子设备构成。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的电子设备，或者电子设备网络连接关系，例如图1中仅示出1个电子设备，可以理解的，该货物拥堵识别的场景还可以包括一个或多个其他电子设备，具体此处不作限定；该电子设备100中还可以包括存储器，用于存储数据，例如，存储拍摄获得的视频信息等。

此外，本申请货物拥堵识别的场景中电子设备100可以设置显示装置，或者电子设备100中不设置显示装置与外接的显示装置200通讯连接，显示装置200用于输出电子设备中货物拥堵识别方法执行的结果。电子设备100可以访问后台数据库300(后台数据库可以是电子设备的本地存储器中，后台数据库还可以设置在云端)，后台数据库300中保存有货物拥堵识别相关的信息，例如，后台数据库300中保存有符合监控视频信息。

需要说明的是，图1所示的货物拥堵识别的场景示意图仅仅是一个示例，本申请实施例描述的货物拥堵识别的场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定。

基于上述货物拥堵识别的场景，提出了货物拥堵识别方法的实施例。

如图2所示，图2为本申请实施例中货物拥堵识别方法的一个实施例流程示意图，该货物拥堵识别方法包括如下步骤201～203：

201、获取拍摄装置发送的货物输送线的初始视频信息。

本申请实施例中的货物拥堵识别方法应用在电子设备，电子设备的种类不作具体限定，本申请实施例中以终端为例进行说明，终端与拍摄装置通讯连接，其中，拍摄装置的种类和数量不作具体限定，例如，拍摄装置可以是摄像头或者航拍无人机等等，拍摄装置用于拍摄货物运输线的初始视频信息，摄像头将拍摄的初始视频信息发送至终端，终端接收摄像头发送的包含货物输送线的初始视频信息。

可以理解的是，初始视频信息的各个视频帧中包含货物输送线区域和一些噪声区域，例如过道，货物搬运工人等等，终端通到对初始视频信息进行分析，确定货物运输线是否存在货物拥堵的现象，从而输出拥堵识别结果。

由于直接对初始视频信息进行货物拥堵识别，终端的视频信息处理量比较大，数据处理效率低，而且容易出现错误；基于此在本申请实施例中，终端首先对初始视频信息进行分割处理，具体地，终端中预设有图像分割模型，图像分割模型是指通过神经网络学习获得的分析算法，图像分割模型对初始视频信息中视频帧进行图像分割，用于定位视频帧中的货物输送线。

需要补充说明的是，本申请实施例中图像分割模型的分割策略不作具体限定，具体地，图像分割模型进行图像分割的策略一：根据初始视频信息中的各视频帧的图像灰度值的相似性或同质性将图像划分为区域，初始视频信息中货物输送线区域通过部分区域的合并产生，例如阈值法、聚类法、区域分离以及区域融合等；策略二：根据初始视频信息中的各视频帧的图像灰度值的不连续性和突变性寻找目标物体或其轮廓的位置，根据该位置进行空间上的延伸，即通过检测图像的特征点、线、面进行图像分割，例如边缘检测法等，确定初始视频信息中货物输送线区域。

202、将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息。

将初始视频信息输入至预设的图像分割模型，通过图像分割模型对初始视频信息进行分帧，形成连续的视频帧，然后终端通过图像分割模型对每一视频帧进行分割，最终获得有效视频信息，具体地，包括：

(1)、将所述初始视频信息输入至预设的图像分割模型，对所述初始视频信息分帧，获得连续的初始视频帧；

(2)、通过所述预设的图像分割模型逐一对所述初始视频帧进行分割，确定各所述初始视频帧的货物输送线区域；

(3)、剔除所述初始视频帧中除所述货物输送线区域之外的区域，获得有效视频信息。

即，将初始视频信息输入至预设的图像分割模型，通过图像分割模型对初始视频信息分帧，获得连续的初始视频帧；例如，初始视频信息的长度为10s，终端输出分帧设置提示，以使用户设置分帧时间间隔或者总帧数量，终端按照设置的分帧时间间隔或者总帧数量对初始视频信息进行分帧，获得连续的初始视频帧；然后，终端通过预设的图像分割模型逐一对初始视频帧进行分割，确定各初始视频帧的货物输送线区域；即，图像分割模型首先确定货物输送线的边界线，或者货物输送线的特征点，通过图像分割模型识别各个初始视频帧的货物输送线区域，最后，终端剔除初始视频帧中除货物输送线区域之外的区域保留货物输送线区域，终端将保留的货物输送线区域的各连续的视频帧保留，获得有效视频信息。

本申请实施例中终端通过对初始视频信息进行分割，获得初始视频信息中货物输送线区域的有效视频信息，这样在货物拥堵识别时，只需要识别货物输送线区域，减少了视频信息识别的信息分析量。

203、将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

本申请实施例的终端中预设有视频分类模型，视频分类模型是指通过神经网络深度学习获得的分类算法，即，终端通过图像样本对初始的视频分类模型进行训练，获得视频分类模型，例如，支持向量机(Support Vector Machine,SVM)视频分类器。

终端将有效视频信息输入至预设的视频分类模型，视频分类模型首先确定有效视频信息中的传输带，然后，视频分类模型将多个视频帧进行组合分析，确定传输带是否处于静止状态；若传输带处于运动状态，则输出货物不拥堵的识别结果；若传输带处于静止状态，在进一步地识别静止状态的传输带上是否存在货物，若静止状态的传输带上不存在货物，则输出货物不拥堵的识别结果，若静止状态的传输带上存在货物，则输出货物拥堵的识别结果。

例如，通常传输带状态可分为三种，分别是：1、传输带运转且货物随传输带正常运输；2、传输带静止但传输带上无货物；3、传输带静止且传输带上有货物静止堆积，其中第三种状态为本申请实施例中需要识别的拥堵状态。通过视频分类模型对这三种分类可知，视频分类模型需要识别的状态是存在动态性的，即通过单帧图像无法判断，必须通过多帧图像来判断传输带与货物是运动还是静止。

本申请实施例中通过图像分割模型对拍摄的初始视频信息进行分割，获得有效视频信息，通过视频分类模型对有效视频信息进行分类识别，获得货物拥堵识别结果，这样不需要针对拍摄到的噪声视频信息进行分析，直接从初始视频信息中提取货物输送线对应的有效视频信息，针对有效视频信息进行识别，获得货物拥堵识别结果，本申请的技术方案中视频信息的处理量小，提高了货物拥堵识别的效率和准确率。

如图3所示，图3为本申请实施例中货物拥堵识别方法中构建图像分割模型的一个实施例流程示意图。

在本申请一些实施例中，具体说明了图像分割模型的构建步骤，包括如下步骤301～304：

301、获取标注货物输送线区域的图像样本，汇总所述图像样本形成图像样本集。

具体的，终端可以通过各种渠道(例如网点各个拍摄装置拍摄的)获取海量的图像信息，终端将包含货物输送线的图像信息作为图像样本，终端输出标注提示，以提示用户在图像样本中标注货物输送线区域和非货物输送线区域，终端获取标注货物输送线区域的图像样本，汇总已经标注货物输送线区域的图像样本形成图像样本集，以通过图像样本集中的图像样本进行图像分割模型训练。

302、从所述图像样本集中一次抽取预设比例的图像样本，以通过所述图像样本构建初始图像分割模型。

具体的，可以从图像样本集中一次抽取预设比例(预设比例可以根据具体场景灵活设置，例如预设比例设置为1％)的图像样本，终端通过一次抽取预设比例的图像样本构建初始图像分割模型，即，终端提取图像样本中的特征点，然后利用特征点构建分割函数，终端将分割函数作为初始图像分割模型。

303、从所述图像样本集中迭代抽取预设比例的图像样本，以通过所述图像样本训练所述初始图像分割模型，获得图像分割训练模型。

具体的，可以从图像样本集中迭代抽取预设比例(预设比例可以根据具体场景灵活设置，例如预设比例设置为1％)的图像样本，终端通过图像样本训练初始图像分割模型，获得图像分割训练模型，即，终端通过获取图像样本的特征点，然后根据特征点调整分割函数的参数，以对构建的初始图像分割模型进行迭代训练，获得训练的图像分割模型。

304、获取所述图像分割训练模型的分割准确率，将所述分割准确率高于预设分割准确率的图像分割训练模型作为预设的图像分割模型。

其中，终端获取图像分割训练模型的分割准确率，终端将图像分割训练模型的分割准确率与预设的分割准确率(预设的分割准确率是指预先设置的图像分割准确率阈值，若训练获得的图像分割模型分割的准确率高于该准确率阈值，则可以停止图像分割模型的训练；反之，若训练获得的图像分割模型分割的准确率不高于该准确率阈值，则对图像分割模型迭代训练，其中，预设的分割准确率可以设置为98％)进行比较，若图像分割训练模型的分割准确率不高于预设的分割准确率，则继续进行迭代训练，若图像分割训练模型的分割准确率高于预设的分割准确率，则判定训练的图像分割函数收敛，终端将分割准确率高于预设分割准确率的图像分割训练模型作为预设的图像分割模型。

本申请实施例中具体说明了图像分割模型的构建步骤，通过构建图像分割模型对初始视频信息进行分割，可以减少货物拥堵识别时的数据分析量，同时有效地将噪声信息排除，可以提供货物拥堵识别的准确率。

参照图4，图4是本申请实施例中提供的货物拥堵识别方法中货物拥堵识别一个实施例的流程示意图。在本申请一些实施例中，具体说明了通过视频分类模型进行有效视频信息分析，获得货物拥堵识别结果的步骤，包括如下步骤401～404：

401、将所述有效视频信息输入至预设的视频分类模型，确定所述有效视频信息对应货物输送线区域中的传输带是否处于静止状态。

具体的，终端将有效视频信息输入至预设的视频分类模型，终端通过视频分类模型将有效视频信息中的相邻的视频帧进行比对，若相邻的视频帧的相似度不高于预设的视频帧相似度(预设的视频帧相似度可以根据具体场景设置，例如，预设的视频帧相似度设置为95％)，则判定货物输送线区域中的传输带处于运动状态，反之，若相邻的视频帧的相似度高于预设的视频帧相似度，则判定货物输送线区域中的传输带处于静止状态。

402、若所述货物输送线区域中的传输带处于静止状态，则通过所述预设的视频分类模型识别所述静止状态的传输带上是否存在货物。

若货物输送线区域中的传输带处于静止状态，终端通过视频分类模型进行边框检测，若传输带上具有矩形边框对应的特征点，终端则判定静止状态的传输带上存在货物；若传输带上不具有矩形边框对应的特征点，终端则判定静止状态的传输带上不存在货物。

403、若所述静止状态的传输带上不存在货物，则输出货物不拥堵识别结果。

若静止状态的传输带上不存在货物，终端则输出货物不拥堵识别结果，本申请实施例中在传输带静止，且没有货物时终端输出货物不拥堵识别结果。

404、若所述静止状态的传输带上存在货物，则输出货物拥堵识别结果。

若静止状态的传输带上存在货物，终端进一步地根据传输带上货物变化情况，则输出货物拥堵识别结果，具体地，包括：

(1)、若所述静止状态的传输带上存在货物，则通过所述预设的视频分类模型确定所述静止状态的传输带上的货物数量是否增加；

(2)、若所述静止状态的传输带上的货物数量增加，则输出货物拥堵识别结果；

(3)、若所述静止状态的传输带上的货物数量不增加，则判断所述静止状态的传输带预设范围内是否存在货物；

(4)、若所述静止状态的传输带预设范围内不存在货物，则输出货物不拥堵识别结果；

(5)、若所述静止状态的传输带预设范围内存在货物，则输出货物拥堵识别结果。

即，若静止状态的传输带上存在货物，终端则通过预设的视频分类模型确定静止状态的传输带上的货物数量是否增加；若静止状态的传输带上的货物数量增加，说明传输带有输送任务，终端则输出货物拥堵识别结果；若静止状态的传输带上的货物数量不增加，终端则进一步地判断静止状态的传输带预设周围(预设范围可以根据具体场景设置，例如预设范围为输送带1米的范围)内是否存在货物；若静止状态的传输带预设范围内不存在货物，终端则输出货物不拥堵识别结果；若静止状态的传输带预设范围内存在货物，终端则输出货物拥堵识别结果。

本申请实施例终端货物拥堵识别时，在传输带上有货物时，为了防止货物拥堵错误判断，终端结合传输带上货物数量的变化情况，和传输带预设范围的货物数量的变化情况，这样识别出传输带是否为停止工作，还是货物输送故障，本申请实施例中可以准确地进行货物拥堵识别。

参照图5，图5是本申请实施例中提供的货物拥堵识别方法中货物拥堵识别另一个实施例的流程示意图。

在本申请一些实施例中，终端将有效视频信息输入至预设的视频分类模型，确定有效视频信息对应货物输送线区域中的传输带是否处于静止状态之后，还包括如下步骤501～502：

501，若所述货物输送线区域中的传输带处于运行状态，则通过所述预设的视频分类模型确定所述运行状态的传输带上是否存在相对运动的货物。

其中，终端确定货物输送线区域中的传输带处于运行状态，即，终端将有效视频信息中的相邻的视频帧进行比对，终端确定相邻的视频画面帧的相似度不高于预设的视频帧相似度，终端则通过预设的视频分类模型确定运行状态的传输带上是否存在相对运动的货物，本申请实施例中终端判断运行状态的传输带上是否存在相对运动的货物，其目的是为了判断传输带的皮带是否打滑。

502、若所述运行状态的传输带上存在相对运动的货物，则输出传输带打滑的提示。

若运行状态的传输带上存在相对运动的货物，则输出传输带打滑的提示；反之，若运行状态的传输带上不存在相对运动的货物，则终端确定传输带处于正常工作状态，本申请实施例中在传输带运动时，进一步地运行状态的传输带上存在相对运动的货物，这样可以有效地监测传输带是否打滑，避免质量小的物品运输遗漏，提高了货物拥堵识别的智能性。

参照图6，图6是本申请实施例中提供的货物拥堵识别方法中获取初始视频信息一个实施例的流程示意图。

在本申请一些实施例中，具体说明了中的获取初始视频信息的步骤，包括如下步骤601～604：

601、接收货物拥堵识别指令，获得所述货物拥堵识别指令对应的目标监测范围。

终端接收货物拥堵识别指令，其中，货物拥堵识别指令的触发方式不作具体限定，即，货物拥堵识别指令可以是用户手动触发的，例如，用户在终端的显示界面上输出“货物拥堵识别”点击确认按键，触发货物拥堵识别指令；此外，货物拥堵识别指令还可以是终端自动触发的，例如，终端中预先设置每天8:00时到22:00时，自动触发货物拥堵识别指令，终端在每天8:00时到22:00自动触发货物拥堵识别指令。

终端在接收到货物拥堵识别指令之后，终端获取货物拥堵识别指令对应的目标监测范围，其中，目标监控范围是可以根据具体场景灵活设置，例如，目标监控范围设置为以卸货位置和装货位置为直径的圆形范围。

602、获取预设固定摄像头的拍摄范围，判断所述预设固定摄像头的拍摄范围是否覆盖所述目标监测范围。

终端获取预设固定摄像头(预设固定摄像头是指预先设置的监控特定区域的摄像头，预设固定摄像头与终端通讯连接)的拍摄范围，终端将全部预设固定摄像头的监控范围进行组合，确定预设固定摄像头的拍摄范围是否覆盖目标监测范围，若预设固定摄像头可以拍摄到目标监测范围中的所有区域，终端判定预设固定摄像头的拍摄范围覆盖目标监测范围；反之，若预设固定摄像头不可以拍摄到目标监测范围中的所有区域，终端判定预设固定摄像头的拍摄范围未覆盖目标监测范围。

603、若所述预设固定摄像头的拍摄范围没有覆盖所述目标监测范围，则向预置的航拍无人机发送调用指令，以调用航拍无人机对所述目标监测范围内的未覆盖区域进行拍摄，获取所述预设固定摄像头和所述航拍无人机发送的货物输送线的初始视频信息。

若预设固定摄像头的拍摄范围没有覆盖目标监测范围，终端首先确定未覆盖的区域，然后则调用航拍无人机对目标监测范围内的未覆盖区域进行拍摄；以避免出现货物拥堵识别遗漏的情况。终端将预设固定摄像头和航拍无人机作为拍摄装置，终端获取预设固定摄像头和航拍无人机发送的货物输送线的初始视频信息。

本申请实施例中终端接收到货物拥堵识别指令之后，首先确定需要监控的目标监测范围，在目标监测范围确定之后，终端根据目标监测范围选择预设固定摄像头与航拍无人机作为拍摄装置，通过拍摄装置将目标监测范围内所有的货物输送线区域都进行拍摄，这样可以保证监控的全面性，避免出现遗漏。

为了更好实施本申请实施例中货物拥堵识别方法，在货物拥堵识别方法基础之上，本申请实施例中还提供一种货物拥堵识别装置，如图7所示，图7是货物拥堵识别装置的一个实施例结构示意图，所述货物拥堵识别装置包括以下模块701～703：

视频获取模块701，用于获取拍摄装置发送的货物输送线的初始视频信息；

分割提取模块702，用于将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；

输入识别模块703，用于将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

在本申请一些实施例中，所述的货物拥堵识别装置，包括：

样本获取模块，用于获取标注货物输送线区域的图像样本，汇总所述图像样本形成图像样本集；

模型构建模块，用于从所述图像样本集中一次抽取预设比例的图像样本，以通过所述图像样本构建初始图像分割模型；

模型训练模块，用于从所述图像样本集中迭代抽取预设比例的图像样本，以通过所述图像样本训练所述初始图像分割模型，获得图像分割训练模型；

模型确定模块，用于获取所述图像分割训练模型的分割准确率，将所述分割准确率高于预设分割准确率的图像分割训练模型作为预设的图像分割模型。

在本申请一些实施例中，所述分割提取模块具体用于：

将所述初始视频信息输入至预设的图像分割模型，对所述初始视频信息分帧，获得连续的初始视频帧；

通过所述预设的图像分割模型逐一对所述初始视频帧进行分割，确定各所述初始视频帧的货物输送线区域；

剔除所述初始视频帧中除所述货物输送线区域之外的区域，获得有效视频信息。

在本申请一些实施例中，所述输入识别模块具体用于：

将所述有效视频信息输入至预设的视频分类模型，确定所述有效视频信息对应货物输送线区域中的传输带是否处于静止状态；

若所述货物输送线区域中的传输带处于静止状态，则通过所述预设的视频分类模型识别所述静止状态的传输带上是否存在货物；

若所述静止状态的传输带上不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带上存在货物，则输出货物拥堵识别结果。

在本申请一些实施例中，所述输入识别模块具体用于：

若所述货物输送线区域中的传输带处于运行状态，则通过所述预设的视频分类模型确定所述运行状态的传输带上是否存在相对运动的货物；

若所述运行状态的传输带上存在相对运动的货物，则输出传输带打滑的提示。

在本申请一些实施例中，所述输入识别模块具体用于：

若所述静止状态的传输带上存在货物，则通过所述预设的视频分类模型确定所述静止状态的传输带上的货物数量是否增加；

若所述静止状态的传输带上的货物数量增加，则输出货物拥堵识别结果；

若所述静止状态的传输带上的货物数量不增加，则判断所述静止状态的传输带预设范围内是否存在货物；

若所述静止状态的传输带预设范围内不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带预设范围内存在货物，则输出货物拥堵识别结果。

在本申请一些实施例中，所述的货物拥堵识别装置，还包括：

指令接收模块，用于接收货物拥堵识别指令，获得所述货物拥堵识别指令对应的目标监测范围；

范围确定模块，用于获取预设固定摄像头的拍摄范围，判断所述预设固定摄像头的拍摄范围是否覆盖所述目标监测范围；

所述视频获取模块701，包括：

若所述预设固定摄像头的拍摄范围没有覆盖所述目标监测范围，则向预置的航拍无人机发送调用指令，以调用航拍无人机对所述目标监测范围内的未覆盖区域进行拍摄，获取所述预设固定摄像头和所述航拍无人机发送的货物输送线的初始视频信息。

本申请实施例中货物拥堵识别装置中通过图像分割模型对拍摄的初始视频信息进行分割，获得有效视频信息，通过视频分类模型对有效视频信息进行分类识别，获得货物拥堵识别结果，这样不需要针对拍摄到的噪声视频信息进行分析，直接从初始视频信息中提取货物输送线对应的有效视频信息，针对有效视频信息进行识别，获得货物拥堵识别结果，本申请的技术方案中视频信息的处理量小，提高了货物拥堵识别的效率和准确率。

本申请实施例还提供一种电子设备，如图8所示，图8是本申请实施例中提供的电子设备的一个实施例结构示意图。该电子设备集成了本申请实施例所提供的任一种货物拥堵识别装置，所述电子设备包括：

预设拍摄装置；

加速度传感器；

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述货物拥堵识别方法实施例中任一实施例中所述的货物拥堵识别方法中的步骤。

具体来讲：电子设备可以包括一个或者一个以上处理核心的处理器801、一个或一个以上计算机可读存储介质的存储器802、电源803和输入单元804等部件。本领域技术人员可以理解，图8中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器801是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器801可包括一个或多个处理核心；优选的，处理器801可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器801中。

存储器802可用于存储软件程序以及模块，处理器801通过运行存储在存储器802的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器802可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器802还可以包括存储器控制器，以提供处理器801对存储器802的访问。

电子设备还包括给各个部件供电的电源803，优选的，电源803可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源803还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入单元804，该输入单元804可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，电子设备中的处理器801会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能，如下：

获取拍摄装置发送的货物输送线的初始视频信息；

将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；

将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random AccessMemory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种货物拥堵识别方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：

获取拍摄装置发送的货物输送线的初始视频信息；

将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；

将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种货物拥堵识别方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种货物拥堵识别方法，其特征在于，所述货物拥堵识别方法包括：

获取拍摄装置发送的货物输送线的初始视频信息；

将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；

将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

2.根据权利要求1所述的货物拥堵识别方法，其特征在于，所述将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息之前，所述方法还包括：

获取标注货物输送线区域的图像样本，汇总所述图像样本形成图像样本集；

从所述图像样本集中一次抽取预设比例的图像样本，以通过所述图像样本构建初始图像分割模型；

从所述图像样本集中迭代抽取预设比例的图像样本，以通过所述图像样本训练所述初始图像分割模型，获得图像分割训练模型；

获取所述图像分割训练模型的分割准确率，将所述分割准确率高于预设分割准确率的图像分割训练模型作为预设的图像分割模型。

3.根据权利要求1所述的货物拥堵识别方法，其特征在于，所述将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息，包括：

将所述初始视频信息输入至预设的图像分割模型，对所述初始视频信息分帧，获得连续的初始视频帧；

通过所述预设的图像分割模型逐一对所述初始视频帧进行分割，确定各所述初始视频帧的货物输送线区域；

剔除所述初始视频帧中除所述货物输送线区域之外的区域，获得有效视频信息。

4.根据权利要求1所述的货物拥堵识别方法，其特征在于，所述将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果，包括：

将所述有效视频信息输入至预设的视频分类模型，确定所述有效视频信息对应货物输送线区域中的传输带是否处于静止状态；

若所述货物输送线区域中的传输带处于静止状态，则通过所述预设的视频分类模型识别所述静止状态的传输带上是否存在货物；

若所述静止状态的传输带上不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带上存在货物，则输出货物拥堵识别结果。

5.根据权利要求4所述的货物拥堵识别方法，其特征在于，所述将所述有效视频信息输入至预设的视频分类模型，确定所述有效视频信息对应货物输送线区域中的传输带是否处于静止状态之后，所述方法还包括：

若所述货物输送线区域中的传输带处于运行状态，则通过所述预设的视频分类模型确定所述运行状态的传输带上是否存在相对运动的货物；

若所述运行状态的传输带上存在相对运动的货物，则输出传输带打滑的提示。

6.根据权利要求4所述的货物拥堵识别方法，其特征在于，所述若所述静止状态的传输带上存在货物，则输出货物拥堵识别结果，包括：

若所述静止状态的传输带上存在货物，则通过所述预设的视频分类模型确定所述静止状态的传输带上的货物数量是否增加；

若所述静止状态的传输带上的货物数量增加，则输出货物拥堵识别结果；

若所述静止状态的传输带上的货物数量不增加，则判断所述静止状态的传输带预设范围内是否存在货物；

若所述静止状态的传输带预设范围内不存在货物，则输出货物不拥堵识别结果；

若所述静止状态的传输带预设范围内存在货物，则输出货物拥堵识别结果。

7.根据权利要求1至6任意一项所述的货物拥堵识别方法，其特征在于，所述获取拍摄装置发送的货物输送线的初始视频信息之前，所述方法还包括：

接收货物拥堵识别指令，获得所述货物拥堵识别指令对应的目标监测范围；

获取预设固定摄像头的拍摄范围，判断所述预设固定摄像头的拍摄范围是否覆盖所述目标监测范围；

所述获取拍摄装置发送的货物输送线的初始视频信息，包括：

若所述预设固定摄像头的拍摄范围没有覆盖所述目标监测范围，则向预置的航拍无人机发送调用指令，以调用航拍无人机对所述目标监测范围内的未覆盖区域进行拍摄，获取所述预设固定摄像头和所述航拍无人机发送的货物输送线的初始视频信息。

8.一种货物拥堵识别装置，其特征在于，所述货物拥堵识别装置包括：

视频获取模块，用于获取拍摄装置发送的货物输送线的初始视频信息；

分割提取模块，用于将所述初始视频信息输入至预设的图像分割模型，以通过所述图像分割模型从所述初始视频信息中提取有效视频信息；

输入识别模块，用于将所述有效视频信息输入至预设的视频分类模型，以通过所述视频分类模型识别所述有效视频信息，获得货物拥堵识别结果。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的货物拥堵识别方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的货物拥堵识别方法中的步骤。

Images