CN111462167A - 一种结合边缘计算与深度学习的智能终端视频分析算法 - Google Patents

Abstract

本发明特别涉及一种结合边缘计算与深度学习的智能终端视频分析算法。该结合边缘计算与深度学习的智能终端视频分析算法，在边缘端设备搭载运动目标检测模型，实时处理原始视频数据，分析视频中的运动目标，从而有效降低网络的延迟问题；同时通过保留关键帧信息，包括背景和运动目标，达到视频压缩的目的，从而节省大量的存储空间和定位异常行为的查找时间。该结合边缘计算与深度学习的智能终端视频分析算法，替代传统流程中在后端处理器中完成视频分析的过程，将利用深度学习得到的训练模型搭载到摄像头中，这样每台摄像机就是一台微型处理器，具备实时处理视频流的能力，极大的减少了存储压力和网络传输压力。

Description

一种结合边缘计算与深度学习的智能终端视频分析算法

技术领域

本发明涉及边缘计算、深度学习与视频分析技术领域，特别涉及一种结合边缘计算与深度学习的智能终端视频分析算法。

背景技术

得益于处理器性能的提高和深度学习等算法的革新，视频分析可以对未经编辑的海量原始视频进行针对性的分析和处理。基于视频分析技术的发展，提供客户需求的特定性信息，人脸识别、运动目标检测、行人重识别等视频分析应用应运而生。视频分析充分利用摄像头提供的海量视频及后端处理器，实时展现监测结果和自动警报。

现今较为流行的视频分析方法多为前端摄像头采集视频，通过网络传输到后端处理器进行分析和检测。该视频分析方法需要占用大量的存储空间，对存储空间和网络传输速度要求较高，实时性难以保证，且成本较高。因此，结合深度学习技术，为网络摄像机或其他智能终端增添识别、检测等功能的发展趋势可谓日益显著。

目前，检测效果理想的应用多建立在深度学习的基础上，其关键在于对海量数据的学习和反复的迭代训练，因而对处理器的存储、配置、速度等要求较高。

当前，边缘计算逐渐成为一种新的发展趋势。边缘计算指在靠近物或数据源头的网络边缘侧，融合网络、计算、存储、应用核心能力的开放平台，就近提供边缘智能服务，满足行业数字化在敏捷连接、实时业务、数据优化、应用智能、安全与隐私保护等方面的关键需求。

边缘端的视频分析可以将训练后的模型直接部署到智能终端，对实时视频进行处理、分析和保存，可以满足多样化的定制需求，扩展到多种应用场景。但是由于数据量庞大，训练次数过多会导致模型过大的问题，因此，考虑如何压缩模型大小成为亟待解决的一个关键问题。

基于以上情况，本发明提出了一种结合边缘计算与深度学习的智能终端视频分析算法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的结合边缘计算与深度学习的智能终端视频分析算法。

本发明是通过如下技术方案实现的：

一种结合边缘计算与深度学习的智能终端视频分析算法，其特征在于：在边缘端设备搭载运动目标检测模型，实时处理原始视频数据，分析视频中的运动目标，从而有效降低网络的延迟问题；同时通过保留关键帧信息(背景和运动目标)达到视频压缩的目的，从而节省大量的存储空间和定位异常行为的查找时间。

本发明结合边缘计算与深度学习的智能终端视频分析算法，包括以下步骤：

第一步，采集样本，并在正常图像中生成缺陷样本和正样本；

第二步，利用将标记的正样本数据集和缺陷样本数据集进行模型训练；

第三步，模型剪枝

对卷积核进行排序，用最小堆排序方法，设阈值为N，去掉N个排名最低的参数；

第四步，参数微调和迭代

训练和学习所有参数，重复模型训练和模型剪枝，直到模型精度达到要求；

第五步，保存模型，将其部署到边缘端设备，完成目标检测任务。

所述第一步中，利用半监督学习的方式扩充正样本数据集和缺陷样本数据集。

所述第一步中，在正常图像中人工生成缺陷样本，手工标记PASCAL VOC格式的正样本数据集。

所述第二步中，选用适用于移动视觉识别技术的轻量级网络MobileNet训练目标检测模型。

所述第三步中，选用剪枝的方式对模型进行压缩，通过排序神经网络中神经元的贡献度，去除对输出贡献较小的参数来达到压缩模型的目的。

所述第五步中，利用提取运动目标及时序信息的方式保存关键帧和背景信息，从而减小存储压力和传输压力。

本发明结合边缘计算与深度学习的智能终端视频分析算法，具体流程如下：

首先，参考PASCAL VOC数据集的标注格式，标记数据，制作训练集参与训练；

其次，选用MobileNet网络训练和学习数据，然后对训练后的模型进行剪枝处理，从而加快模型的运行速度，并降低模型大小，使模型精度达到要求；

最后，将训练后的模型部署到边缘端设备，使边缘端设备具备实时处理视频流的能力，从而避免网络故障造成的延迟。

本发明的有益效果是：该结合边缘计算与深度学习的智能终端视频分析算法，替代传统流程中在后端处理器中完成视频分析的过程，将利用深度学习得到的训练模型搭载到摄像头中，这样每台摄像机就是一台微型处理器，具备实时处理视频流的能力，极大的减少了存储压力和网络传输压力。

附图说明

附图1为本发明结合边缘计算与深度学习的智能终端视频分析算法示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

该结合边缘计算与深度学习的智能终端视频分析算法，在边缘端设备搭载运动目标检测模型，实时处理原始视频数据，分析视频中的运动目标，从而有效降低网络的延迟问题；同时通过保留关键帧信息(背景和运动目标)达到视频压缩的目的，从而节省大量的存储空间和定位异常行为的查找时间。

该结合边缘计算与深度学习的智能终端视频分析算法，包括以下步骤：

第一步，采集样本，并在正常图像中生成缺陷样本和正样本；

第二步，利用将标记的正样本数据集和缺陷样本数据集进行模型训练；

第三步，模型剪枝

对卷积核进行排序，用最小堆排序方法，设阈值为N，去掉N个排名最低的参数；

第四步，参数微调和迭代

训练和学习所有参数，重复模型训练和模型剪枝，直到模型精度达到要求；

第五步，保存模型，将其部署到边缘端设备，完成目标检测任务。

所述第一步中，利用半监督学习的方式扩充正样本数据集和缺陷样本数据集。

所述第一步中，在正常图像中人工生成缺陷样本，手工标记PASCAL VOC格式的正样本数据集。

在模型设计阶段，由于设备资源、配置有限，因此在模型训练时应考虑参数较少的模型，在保证识别检测精度的前提下，减少内存占用和运行时间。所述第二步中，选用适用于移动视觉识别技术的轻量级网络MobileNet训练目标检测模型。

所述轻量级网络MobileNets模型在卷积操作中借鉴了可分离卷积的思想，将普通卷积操作分为深度卷积和逐点卷积两部分。

这样做可在保持卷积中间层的特征表征能力的基础上剔除模型中不重要的参数，大幅度降低参数量和计算量，并在一定程度上减小模型体积，后期通过一个重新训练(retrain)的过程来恢复模型的性能。

压缩深度学习模型也是一种在边缘设备上支持深度神经网络的方法，保证精度损失最小。同时，对于边缘设备而言，模型的大小和运行速度都至关重要。

所述第三步中，选用剪枝的方式对模型进行压缩，通过排序神经网络中神经元的贡献度，去除对输出贡献较小的参数来达到压缩模型的目的。

所述第五步中，利用提取运动目标及时序信息的方式保存关键帧和背景信息，从而减小存储压力和传输压力。

该结合边缘计算与深度学习的智能终端视频分析算法，具体流程如下：

首先，参考PASCAL VOC数据集的标注格式，标记数据，制作训练集参与训练；

其次，选用MobileNet网络训练和学习数据，然后对训练后的模型进行剪枝处理，从而加快模型的运行速度，并降低模型大小，使模型精度达到要求；

最后，将训练后的模型部署到边缘端设备，例如网络摄像头，使边缘端设备具备实时处理视频流的能力，从而避免网络故障造成的延迟。

与现有技术相比，该结合边缘计算与深度学习的智能终端视频分析算法，能够替代传统流程中在后端处理器中完成视频分析的过程，将利用深度学习得到的训练模型搭载到摄像头中，这样每台摄像机就是一台微型处理器，具备实时处理视频流的能力，极大的减少了存储压力和网络传输压力。

以上对本发明实例中的一种结合边缘计算与深度学习的智能终端视频分析算法进行了详细的介绍。本部分采用具体实例对发明的原理及实施方式进行了阐述，以上实例仅用于帮助理解本发明的核心思想，在不脱离本发明原理的情况下，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (8)

1.一种结合边缘计算与深度学习的智能终端视频分析算法，其特征在于：在边缘端设备搭载运动目标检测模型，实时处理原始视频数据，分析视频中的运动目标，从而有效降低网络的延迟问题；同时通过保留关键帧信息，包括背景和运动目标，达到视频压缩的目的，从而节省大量的存储空间和定位异常行为的查找时间。

2.基于权利要求1所述的结合边缘计算与深度学习的智能终端视频分析算法，其特征在于，包括以下步骤：

第一步，采集样本，并在正常图像中生成缺陷样本和正样本；

第二步，利用将标记的正样本数据集和缺陷样本数据集进行模型训练；

第三步，模型剪枝

对卷积核进行排序，用最小堆排序方法，设阈值为N，去掉N个排名最低的参数；

第四步，参数微调和迭代

训练和学习所有参数，重复模型训练和模型剪枝，直到模型精度达到要求；

第五步，保存模型，将其部署到边缘端设备，完成目标检测任务。

3.根据权利要求2所述的结合边缘计算与深度学习的智能终端视频分析算法，其特征在于：所述第一步中，利用半监督学习的方式扩充正样本数据集和缺陷样本数据集。

4.根据权利要求3所述的结合边缘计算与深度学习的智能终端视频分析算法，其特征在于：所述第一步中，在正常图像中人工生成缺陷样本，手工标记PASCAL VOC格式的正样本数据集。

5.根据权利要求2项所述的结合边缘计算与深度学习的智能终端视频分析算法，其特征在于：所述第二步中，选用适用于移动视觉识别技术的轻量级网络MobileNet训练目标检测模型。

6.根据权利要求2所述的结合边缘计算与深度学习的智能终端视频分析算法，其特征在于：所述第三步中，选用剪枝的方式对模型进行压缩，通过排序神经网络中神经元的贡献度，去除对输出贡献较小的参数来达到压缩模型的目的。

7.根据权利要求2所述的结合边缘计算与深度学习的智能终端视频分析算法，其特征在于：所述第五步中，利用提取运动目标及时序信息的方式保存关键帧和背景信息，从而减小存储压力和传输压力。

8.根据权利要求2～7任意一项所述的结合边缘计算与深度学习的智能终端视频分析算法，其特征在于，具体流程如下：

首先，参考PASCAL VOC数据集的标注格式，标记数据，制作训练集参与训练；

其次，选用MobileNet网络训练和学习数据，然后对训练后的模型进行剪枝处理，从而加快模型的运行速度，并降低模型大小，使模型精度达到要求；

最后，将训练后的模型部署到边缘端设备，使边缘端设备具备实时处理视频流的能力，从而避免网络故障造成的延迟。

Images