CN115424179A - 一种基于边缘计算的实时视频监控方法、设备及存储介质 - Google Patents

Abstract

本申请公开了一种基于边缘计算的实时视频监控方法、设备及存储介质。方法包括：边缘视频采集设备采集实时视频流并传输至边缘监控终端；边缘监控终端对实时视频流进行处理，以对应的信息增强图像，并通过预置的深度识别网络模型的浅层识别网络，对信息增强图像进行目标识别，以确定信息增强图像对应的识别中间数据；基于中间数据，确定待识别物品为初始预测物品类别的预测置信度，并在预测置信度小于预设阈值的情况下，将识别中间数据上传至云服务器中；云服务器通过预置的深层识别网络，对识别中间数据进行处理，以确定待识别物品的预设物品类别。本申请通过上述方法实现了结合边缘计算对实时检测视频进行监控，从而降低了网络数据传输压力。

Description

一种基于边缘计算的实时视频监控方法、设备及存储介质

技术领域

本申请涉及视频监控技术领域，尤其涉及一种基于边缘计算的实时视频监控方法、设备及存储介质。

背景技术

违禁物品安全检查可广泛应用于政府机构、交通枢纽、物流行业、使馆、工厂、学校、医院、体育馆、展览会馆、娱乐场馆等对公文包、邮包、快件、手提行李包以及小型包裹的安全检查。

现有的安检设备一般是在输送装置中，设置检测探头，然后检测探头对输送带上的物品进行实时检测，并生成实时检测视频上传至显示器上供安检人员识别。安检人员进行识别的过程不仅会浪费大量的人力，因为注意力不集中、判断模糊等原因，还会有误识别、漏识别的情况发生。

对于该问题现有的解决办法是将检测探头作为边缘采集设备，对采集的实时检测视频传输到云计算中心进行分析处理，但随着边缘采集设备数量的激增，导致造成了极大的网络数据传输压力。由于边缘计算能够用来对边缘数据进行初步处理从而减少边缘采集设备上传到云计算中心的数据量。因此，如何结合边缘计算对实时检测视频进行监控，从而降低网络数据传输压力成为亟待解决的技术问题。

发明内容

本申请实施例提供了一种基于边缘计算的实时视频监控方法、设备及存储介质：用以解决如下技术问题：如何结合边缘计算对实时检测视频进行监控，从而降低网络数据传输压力。

第一方面，本申请实施例提供了一种基于边缘计算的实时视频监控方法，其特征在于，所述方法包括：边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端；所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像；通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别，以确定所述信息增强图像对应的识别中间数据；其中，所述识别中间数据中包含预设数量个预测概率，所述预测概率用于描述所述信息增强图像中包含的待识别物品是某一预设物品类别的概率；基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，并在所述预测置信度小于预设阈值的情况下，将所述识别中间数据上传至云服务器中；其中，所述初始预测物品类别为最大预测概率对应的预设物品类别；通过所述云服务器中预置的深度识别网络模型的深层识别网络，对所述识别中间数据进行处理，以确定所述待识别物品的预设物品类别，并在所述预设物品类别为风险类别时进行告警。

在本申请的一种实现方式中，通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像，具体包括：获取所述待分析视频帧图像的图像RGB通道数据，并分别计算RGB三通道对应的通道平均值；基于所述通道平均值，对所述待分析视频帧图像进行去均值化计算，以确定所述待分析视频帧图像对应的去均值化图像；基于所述通道平均值与图像 RGB通道数据，通过预设的去均值补偿规则，确定对应通道的去均值补偿参数；基于所述去均值补偿参数，对所述去均值化图像的对应通道数据进行补偿，以生成补偿图像；通过预设的图像白化算法，对所述补偿图像进行白化处理，以确定所述待分析视频帧图像对应的信息增强图像。

在本申请的一种实现方式中，在通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别之前，所述方法还包括：获取若干样本图像，并对所述若干样本图像通过所述图像信息增强算法处理，以获得若干信息增强样本图像；基于所述若干信息增强样本图像，对深度识别神经网络进行训练，以获得收敛的深度识别网络模型；在所述深度识别网络模型选定的一个网络层作为提取输出层，并设置提前输出节点；基于所述提前输出节点，将所述深度识别网络模型划分为浅层识别网络与深层识别网络，并将所述浅层识别网络设置于所述边缘监控终端中，将所述深层识别网络设置于云服务器中。

在本申请的一种实现方式中，基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，具体包括：基于预设的概率熵计算公式，计算所述预设数量个预测概率对应的的概率熵；基于所述概率熵，通过预测置信度计算公式，确定所述待识别物品为初始预测物品类别的预测置信度。

在本申请的一种实现方式中，概率熵计算公式，由以下公式表示：

其中，PE为概率熵，P_i为第i个概率预测概率，N等于预设数量。

在本申请的一种实现方式中，在基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度之后，所述方法还包括：在所述预测置信度大于预设阈值的情况下，通过所述提前输出节点，退出所述浅层识别网络，并确定所述初始预测物品类别为所述待识别物品的预设物品类别；在所述预设物品类别为风险类别时进行告警。

在本申请的一种实现方式中，边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端，具体包括：所述边缘视频采集设备采集实时视频流，并通过预设的视频编码算法，对所述实时视频流进行编码压缩；通过预设的视频传输协议，将编码压缩后的所述实时视频流传输至所述边缘监控终端。

在本申请的一种实现方式中，所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，具体包括：所述边缘监控终端通过预设的视频解码算法，对编码压缩后的所述实时视频流进行解码；其中，所述视频解码算法与所述视频编码算法为对应的视频编解码算法；将所述实时视频流对应 YUV格式的帧图像转换为RGB格式的帧图像，并通过预设的帧图像抽取规则，对所述实时视频流中的帧图像进行抽取，以获得待分析视频帧图像。

第二方面，本申请实施例还提供了一种基于边缘计算的实时视频监控设备，其特征在于，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端；所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像；通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别，以确定所述信息增强图像对应的识别中间数据；其中，所述识别中间数据中包含预设数量个预测概率，所述预测概率用于描述所述信息增强图像中包含的待识别物品是某一预设物品类别的概率；基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，并在所述预测置信度小于预设阈值的情况下，将所述识别中间数据上传至云服务器中；其中，所述初始预测物品类别为最大预测概率对应的预设物品类别；通过所述云服务器中预置的深度识别网络模型的深层识别网络，对所述识别中间数据进行处理，以确定所述待识别物品的预设物品类别，并在所述预设物品类别为风险类别时进行告警。

第三方面，本申请实施例还提供了一种基于边缘计算的实时视频监控的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端；所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像；通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别，以确定所述信息增强图像对应的识别中间数据；其中，所述识别中间数据中包含预设数量个预测概率，所述预测概率用于描述所述信息增强图像中包含的待识别物品是某一预设物品类别的概率；基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，并在所述预测置信度小于预设阈值的情况下，将所述识别中间数据上传至云服务器中；其中，所述初始预测物品类别为最大预测概率对应的预设物品类别；通过所述云服务器中预置的深度识别网络模型的深层识别网络，对所述识别中间数据进行处理，以确定所述待识别物品的预设物品类别，并在所述预设物品类别为风险类别时进行告警。

本申请实施例提供的一种基于边缘计算的实时视频监控方法、设备及存储介质，边缘视频采集将采集的实时视频流传输至边缘监控终端后，边缘监控终端基于实时视频流获得待分析视频帧图像，并对待分析视频帧图像进行处理以生成信息增强图像，从而提高待分析视频帧图像的可识别性。然后通过设置于边缘监控终端的浅层识别网络对信息增强图像进行初步识别，并确定识别结果的置信度；若置信度大于预设阈值的情况下，将浅层识别网络识别的初始预测物品类别作为预测物品类别；若置信度低于预设阈值的情况下，将识别中间数据上传至云服务器，通过深层识别网络进一步识别，以确定待识别物品的预测物品类别。本申请上述方法通过边缘计算对实时视频流进行初步处理从而减少了边缘采集设备上传到云计算中心的数据量，降低了网络数据传输压力，提高了识别效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种基于边缘计算的实时视频监控方法流程图；

图2为本申请实施例提供的一种基于边缘计算的实时视频监控设备内部结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种基于边缘计算的实时视频监控方法、设备及存储介质：用以解决如下技术问题：如何结合边缘计算对实时检测视频进行监控，从而降低网络数据传输压力。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的一种基于边缘计算的实时视频监控方法流程图。如图1所示，本申请实施例提供的一种基于边缘计算的实时视频监控方法，具体包括以下步骤：

步骤101、边缘视频采集设备采集实时视频流，并将实时视频流传输至边缘监控终端。

可以理解的是，本申请实施例的边缘视频采集设备可以是安检扫描设备。安检扫描设备的原理通常是X光扫描并成像，X光对安检扫描设备输送带上扫描得到的实时画面即可生成实时视频流。

在本申请的一个实施例中，为了能够在边缘端对实时视频流进行初步处理从而减少边缘采集设备上传到云计算中心的数据量，本申请实施例将在边缘端设置边缘监控终端，用于初步处理边缘视频采集设备采集的实时视频流。为实现将实时视频流上传至边缘监控终端，边缘视频采集设备首先通过预设的视频编码算法，对实时视频流进行编码压缩，以获得实时视频流对应的编码流。然后通过预设的视频传输协议，将编码压缩后的实时视频流(即编码流)传输至边缘监控终端。

在本申请的一个实施例中，可选的视频编码算法包括H264算法等；视频传输协议可根据实际需求的传输方式进行选择。

步骤102、边缘监控终端对实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对待分析视频帧图像进行处理，以生成对应的信息增强图像。

在本申请的一个实施例中，边缘视频采集设备将实时视频流传输至边缘监控终端之后，边缘监控终端首先会对实时视频流进行预处理，以获得待分析视频帧图像。

具体地，边缘监控终端首先会通过预设的视频解码算法，对编码压缩后的实时视频流进行解码。可以理解的是，视频解码算法与视频编码算法应为对应的视频编解码算法，例如边缘监控终端采用H264算法作为视频编码算法，边缘监控终端也应采用H264算法作为视频解码算法。

进一步地，将实时视频流对应YUV格式的帧图像转换为RGB格式的帧图像。然后通过预设的帧图像抽取规则，对实时视频流中的帧图像进行抽取，以获得待分析视频帧图像。需要说明的是，关于帧图像的抽取可以根据边缘监控的计算能力进行自行设定；若边缘监控终端的计算能力较强，可抽取较多的帧图像进行识别，另外也可以根据边缘视频采集设备传送带的运转速度对帧图像的抽取速度进行设置，本申请在此不做限定。

在本申请的一个实施例中，由于抽取得到的待分析视频帧图像包含的数据量较大，其中很多信息是在后续神经网络识别中不需要的数据，这些数据不仅会影响识别的速度还会影响识别的准确性。因此，本申请实施例在边缘监控终端对视频流进行转换并抽取要识别的帧图像之后，会对待分析视频帧图像进行预处理，以增强待分析视频帧图像在后续识别过程中的可识别性。

具体地，获取待分析视频帧图像的图像RGB通道数据，并分别计算RGB 三通道对应的通道平均值；基于通道平均值，对待分析视频帧图像进行去均值化计算，以确定待分析视频帧图像对应的去均值化图像。

需要说明的是，很多情况下我们对图像的亮度并不感兴趣，而更多地关注其内容，比如在对象识别任务中，图像的整体明亮程度并不会影响图像中存在的是什么物体。进行去均值的原因是因为如果不去均值的话，神经网络在进行梯度计算时特征值整体较大，但改变量较小，会容易拟合，识别效果不好。

进一步地，虽然整体明亮程度并不会影响图像中存在的是什么物体，但去均值后，亮度较低处的部分后因为去均值化的处理丢失细节信息，因此本申请实施例在对待分析视频帧图像进行去均值化处理得到去均值化图像之后，进一步对去均值化图像进行去均值化补偿。

具体地，首先基于通道平均值与图像RGB通道数据，通过预设的去均值补偿规则，确定对应通道的去均值补偿参数。然后基于去均值补偿参数，对去均值化图像的对应通道数据进行补偿，以生成补偿图像。在本申请实施例中，为对去均值化图像中的细节进行补偿，去均值补偿规则可以设置为：根据通道平均值，确定待分析视频帧图像中低于该通道平均值的对应像素的通道数据，然后根据一个预设的低通道平均值以及该通道数据与通道平均值的差值，确定该像素在该通道下的补偿系数。需要说明的是，上述预设的低通道平均值的选取应当是一个不容易造成拟合的平均值。可以理解的是，根据补偿系数在对去均值化图像进行去均值化补偿之后，得到的补偿图像的通道平均值为上述预设的低通道平均值。

其中，根据一个预设的低通道平均值以及该通道数据与通道平均值的差值，确定该像素在该通道下的补偿系数，这一规则本申请在此不做限定，可根据边缘监控设备的具体计算能力进行自行设置。例如：低通道平均值设置为10像素点数为256*256，则去均值化图像总共需要补偿的亮度值为10*256*256；然后对去均值化图像中的像素，依据对应待分析视频帧图像的图像RGB通道数据的进行排序，根据排序进行梯度补偿，从而实现对细节部分的重现。可以理解的是，梯度补偿即按排序顺序后，亮度高的少补偿，亮度低的多补偿。

进一步地，由于图像中相邻像素之间具有很强的相关性，所以训练时会有很多输入是冗余的，通过预设的图像白化算法，对补偿图像进行白化处理，得到的待分析视频帧图像对应的信息增强图像，可以使图像中相邻像素之间的相关性降低，从而进一步提高图像的可识别性。

步骤103、通过边缘监控终端中预置的深度识别网络模型的浅层识别网络，对信息增强图像进行目标识别，以确定信息增强图像对应的识别中间数据。

首先需要说明的是，浅层识别网络会识别信息增强图像中包含的待识别物品的数量，然后对待识别物品的种类进行初步识别，因此中间数据不仅包括浅层识别网络的最后一个网络层输出处理图像结果，还包含针对每个待识别物品的预设数量个预测概率；其中，预测概率用于描述信息增强图像中包含的待识别物品是某一预设物品类别的概率。

在本申请的一个实施例中，在通过边缘监控终端中预置的深度识别网络模型的浅层识别网络，对信息增强图像进行目标识别之前，本申请实施例首先训练了深度识别网络模型，并将深度识别网络模型拆分成浅层识别网络与深层识别网络分别布置于边缘监控终端与云服务器。

具体地，获取若干样本图像，并对若干样本图像通过图像信息增强算法处理，以获得若干信息增强样本图像；基于若干信息增强样本图像，对深度识别神经网络进行训练，以获得收敛的深度识别网络模型；在深度识别网络模型选定的一个网络层作为提取输出层，并设置提前输出节点；基于提前输出节点，将深度识别网络模型划分为浅层识别网络与深层识别网络，并将浅层识别网络设置于边缘监控终端中，将深层识别网络设置于云服务器中。

需要说明的是，一般的深度神经网络前向传播中，输入经过网络每一层都进行计算一次，在网络的最后一层进行输出，然而层数加深带来性能提升的同时，也带来更大存储消耗和计算力的需求，但其实有时浅层网络已经将识别结果进行分类出来了，后续网络层的计算浪费了运算资源。因此，本申请实施例在对实时视频流进行识别前将训练收敛的深度识别网络模型划分为浅层识别网络与深层识别网络，并将浅层识别网络设置于边缘监控终端中，将深层识别网络设置于云服务器中，通过该方法不仅能降低网络数据传输压力，还能提高识别效率。

在本申请的一个实施例中，在将浅层识别网络设置于边缘监控终端中，将深层识别网络设置于云服务器中之后，通过边缘监控终端中预置的深度识别网络模型的浅层识别网络，对信息增强图像进行目标识别，以确定信息增强图像对应的识别中间数据。

步骤104、基于中间数据，确定待识别物品为初始预测物品类别的预测置信度，并在预测置信度小于预设阈值的情况下，将识别中间数据上传至云服务器中。

在本申请的一个实施例中，在浅层识别网络识别完成后，边缘监控设备基于预设的概率熵计算公式，计算预设数量个预测概率对应的的概率熵；基于概率熵，通过预测置信度计算公式，确定待识别物品为初始预测物品类别的预测置信度。可以理解的是，初始预测物品类别为最大预测概率对应的预设物品类别；还可以理解的是，信息熵越小，则待识别物品为初始预测物品类别的置信度越高；反之，信息熵越大，则待识别物品为初始预测物品类别的置信度越低。

在本申请的一个实施例中，概率熵计算公式，由以下公式表示：

其中，PE为概率熵，P_i为第i个概率预测概率，N等于预设数量。

在本申请的一个实施例中，预测置信度计算公式，由以下公式表示：

y＝-PE+b

其中，y为置信度，PE为概率熵，b为常数。

在本申请的一个实施例中，在确定待识别物品为初始预测物品类别的预测置信度之后，若预测置信度大于预设阈值，则说明浅层识别网络识别的结果能确定该初始预测物品类别即为待识别物品的类别。此时通过在浅层识别网络后后一层网络层后设置的提前输出节点，退出浅层识别网络，并在识别的预设物品类别为风险类别时进行告警。若预测置信度小于预设阈值，则说明浅层识别网络识别的结果不能确定是哪个预测物品类别，则将识别中间数据上传至云服务器中进行更深层次的识别。由于每经过一层网络层处理后，数据量都会减少，因此中间数据相比于待分析视频帧图像数据量大大降低，数据传输压力大大降低。

步骤105、通过云服务器中预置的深度识别网络模型的深层识别网络，对识别中间数据进行处理，以确定待识别物品的预设物品类别，并在预设物品类别为风险类别时进行告警。

在本申请的一个实施例中，在边缘监控终端将识别中间数据上传至云服务器之后，云服务器通过其中预置的深度识别网络模型的深层识别网络，识别中间数据中浅层识别网络最后一层网络层输出的数据进行处理，以进一步确定待识别物品的预设物品类别，并在预设物品类别为风险类别时进行告警。

以上为本申请提出的方法实施例。基于同样的发明构思，本申请实施例还提供了一种基于边缘计算的实时视频监控设备，其结构如图2所示。

图2为本申请实施例提供的一种基于边缘计算的实时视频监控设备内部结构示意图。如图2所示，设备包括：

至少一个处理器201；

以及，与至少一个处理器通信连接的存储器202；

其中，存储器202存储有可被至少一个处理器执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够：

边缘视频采集设备采集实时视频流，并将实时视频流传输至边缘监控终端；

边缘监控终端对实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对待分析视频帧图像进行处理，以生成对应的信息增强图像；

通过边缘监控终端中预置的深度识别网络模型的浅层识别网络，对信息增强图像进行目标识别，以确定信息增强图像对应的识别中间数据；其中，识别中间数据中包含预设数量个预测概率，预测概率用于描述信息增强图像中包含的待识别物品是某一预设物品类别的概率；

基于中间数据，确定待识别物品为初始预测物品类别的预测置信度，并在预测置信度小于预设阈值的情况下，将识别中间数据上传至云服务器中；其中，初始预测物品类别为最大预测概率对应的预设物品类别；

通过云服务器中预置的深度识别网络模型的深层识别网络，对识别中间数据进行处理，以确定待识别物品的预设物品类别，并在预设物品类别为风险类别时进行告警。

本申请的一些实施例提供的对应于图1的一种基于边缘计算的实时视频监控的非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：

边缘视频采集设备采集实时视频流，并将实时视频流传输至边缘监控终端；

边缘监控终端对实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对待分析视频帧图像进行处理，以生成对应的信息增强图像；

通过边缘监控终端中预置的深度识别网络模型的浅层识别网络，对信息增强图像进行目标识别，以确定信息增强图像对应的识别中间数据；其中，识别中间数据中包含预设数量个预测概率，预测概率用于描述信息增强图像中包含的待识别物品是某一预设物品类别的概率；

基于中间数据，确定待识别物品为初始预测物品类别的预测置信度，并在预测置信度小于预设阈值的情况下，将识别中间数据上传至云服务器中；其中，初始预测物品类别为最大预测概率对应的预设物品类别；

通过云服务器中预置的深度识别网络模型的深层识别网络，对识别中间数据进行处理，以确定待识别物品的预设物品类别，并在预设物品类别为风险类别时进行告警。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于物联网设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例提供的系统和介质与方法是一一对应的，因此，系统和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述系统和介质的有益技术效果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和 /或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于边缘计算的实时视频监控方法，其特征在于，所述方法包括：

边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端；

所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像；

通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别，以确定所述信息增强图像对应的识别中间数据；其中，所述识别中间数据中包含预设数量个预测概率，所述预测概率用于描述所述信息增强图像中包含的待识别物品是某一预设物品类别的概率；

基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，并在所述预测置信度小于预设阈值的情况下，将所述识别中间数据上传至云服务器中；其中，所述初始预测物品类别为最大预测概率对应的预设物品类别；

通过所述云服务器中预置的深度识别网络模型的深层识别网络，对所述识别中间数据进行处理，以确定所述待识别物品的预设物品类别，并在所述预设物品类别为风险类别时进行告警。

2.根据权利要求1所述的一种基于边缘计算的实时视频监控方法，其特征在于，通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像，具体包括：

获取所述待分析视频帧图像的图像RGB通道数据，并分别计算RGB三通道对应的通道平均值；

基于所述通道平均值，对所述待分析视频帧图像进行去均值化计算，以确定所述待分析视频帧图像对应的去均值化图像；

基于所述通道平均值与所述图像RGB通道数据，通过预设的去均值补偿规则，确定对应通道的去均值补偿参数；

基于所述去均值补偿参数，对所述去均值化图像的对应通道数据进行补偿，以生成补偿图像；

通过预设的图像白化算法，对所述补偿图像进行白化处理，以确定所述待分析视频帧图像对应的信息增强图像。

3.根据权利要求1所述的一种基于边缘计算的实时视频监控方法，其特征在于，在通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别之前，所述方法还包括：

获取若干样本图像，并对所述若干样本图像通过所述图像信息增强算法处理，以获得若干信息增强样本图像；

基于所述若干信息增强样本图像，对深度识别神经网络进行训练，以获得收敛的深度识别网络模型；

在所述深度识别网络模型选定的一个网络层作为提取输出层，并设置提前输出节点；

基于所述提前输出节点，将所述深度识别网络模型划分为浅层识别网络与深层识别网络，并将所述浅层识别网络设置于所述边缘监控终端中，将所述深层识别网络设置于云服务器中。

4.根据权利要求1所述的一种基于边缘计算的实时视频监控方法，其特征在于，基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，具体包括：

基于预设的概率熵计算公式，计算所述预设数量个预测概率对应的的概率熵；

基于所述概率熵，通过预测置信度计算公式，确定所述待识别物品为初始预测物品类别的预测置信度。

5.根据权利要求4所述的一种基于边缘计算的实时视频监控方法，其特征在于，概率熵计算公式，由以下公式表示：

其中，PE为概率熵，P_i为第i个概率预测概率，N等于预设数量。

6.根据权利要求3所述的一种基于边缘计算的实时视频监控方法，其特征在于，在基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度之后，所述方法还包括：

在所述预测置信度大于预设阈值的情况下，通过所述提前输出节点，退出所述浅层识别网络，并确定所述初始预测物品类别为所述待识别物品的预设物品类别。

在所述预设物品类别为风险类别时进行告警。

7.根据权利要求1所述的一种基于边缘计算的实时视频监控方法，其特征在于，边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端，具体包括：

所述边缘视频采集设备采集实时视频流，并通过预设的视频编码算法，对所述实时视频流进行编码压缩；

通过预设的视频传输协议，将编码压缩后的所述实时视频流传输至所述边缘监控终端。

8.根据权利要求7所述的一种基于边缘计算的实时视频监控方法，其特征在于，所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，具体包括：

所述边缘监控终端通过预设的视频解码算法，对编码压缩后的所述实时视频流进行解码；其中，所述视频解码算法与所述视频编码算法为对应的视频编解码算法；

将所述实时视频流对应YUV格式的帧图像转换为RGB格式的帧图像，并通过预设的帧图像抽取规则，对所述实时视频流中的帧图像进行抽取，以获得待分析视频帧图像。

9.一种基于边缘计算的实时视频监控设备，其特征在于，所述设备包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端；

所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像；

通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别，以确定所述信息增强图像对应的识别中间数据；其中，所述识别中间数据中包含预设数量个预测概率，所述预测概率用于描述所述信息增强图像中包含的待识别物品是某一预设物品类别的概率；

基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，并在所述预测置信度小于预设阈值的情况下，将所述识别中间数据上传至云服务器中；其中，所述初始预测物品类别为最大预测概率对应的预设物品类别；

通过所述云服务器中预置的深度识别网络模型的深层识别网络，对所述识别中间数据进行处理，以确定所述待识别物品的预设物品类别，并在所述预设物品类别为风险类别时进行告警。

10.一种基于边缘计算的实时视频监控的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：

边缘视频采集设备采集实时视频流，并将所述实时视频流传输至边缘监控终端；

所述边缘监控终端对所述实时视频流进行预处理，以获得待分析视频帧图像，并通过预设的图像信息增强算法，对所述待分析视频帧图像进行处理，以生成对应的信息增强图像；

通过所述边缘监控终端中预置的深度识别网络模型的浅层识别网络，对所述信息增强图像进行目标识别，以确定所述信息增强图像对应的识别中间数据；其中，所述识别中间数据中包含预设数量个预测概率，所述预测概率用于描述所述信息增强图像中包含的待识别物品是某一预设物品类别的概率；

基于所述中间数据，确定所述待识别物品为初始预测物品类别的预测置信度，并在所述预测置信度小于预设阈值的情况下，将所述识别中间数据上传至云服务器中；其中，所述初始预测物品类别为最大预测概率对应的预设物品类别；

通过所述云服务器中预置的深度识别网络模型的深层识别网络，对所述识别中间数据进行处理，以确定所述待识别物品的预设物品类别，并在所述预设物品类别为风险类别时进行告警。

Images