CN113055654A - 边缘设备中的视频流有损压缩方法 - Google Patents

Abstract

本发明提出了一种边缘设备中的视频流有损压缩方法，并应用于视频监控系统。该方法仅传送场景中有价值的视频集，避免大量视频数据传输。实验表明，本文引入视频内容分析，可以提高信息密度，减少神经网络的推理时间，更加贴合应用场景；提出的分布式边缘计算模型，可以针对不同场景实现单独训练，以提高信息价值与目标准确性。

Description

边缘设备中的视频流有损压缩方法

技术领域：

本发明设计边缘计算和图像识别技术领域，特别是涉及图像识别中的深度学习以及视频流处理有损压缩系统。

背景技术：

近几年，智能视频监控是计算机视觉领域发展快、研究广的一个应用方向。它主要利用计算机视觉技术对采集到的视频信号进行处理、分析和理解，并以此为基础对视频监控系统进行控制，从而使视频监控系统具备更好的智能性和鲁棒性。智能视频监控系统主要涉及到图像处理、计算机模式识别、人工智能等方面的科学知识，它的用途非常广泛，在民用和军事领域中都有着应用前景。

当前，随着科技的发展，数据爆炸不容忽视，其中监控视频数据量激增问题尤为突出。使用传统方法来保存摄像头连续不断传来的监控数据，需要投入大量的监控设备，网络设备，存储设备，耗费大量的计算资源和存储空间，所以如何优化视频数据的处理和存储方式，是当前研究的热点之一。目前的视频压缩技术中，通常是运用视频编码方式的转换来实现减少存储量，采用的编码方式包括 H.264/AVC、JPEG、JVTM、JPEG、MPEG-4等。但是基于视频内容的压缩研究较少，常见的基于视频内容的压缩方法是通过机器学习算法实现，这些方法效果差，并且存在丢帧、不流畅等问题，无法应用于实际场景中。因此，对视频数据压缩处理新方法和相关技术的研究，具有一定现实意义和应用价值。

另外，目标检测、跟踪与识别一直都是计算机视觉和模式识别领域研究的热点问题，并在智能视频监控、高级人机交互、移动机器人定位与导航、虚拟现实等领域具有广泛的应用前景。经过几十年的不懈努力，上述技术已经有了较多的研究成果和应用。但是，由于视觉应用系统中环境的复杂性以及目标本身的多样性，给目标检测、跟踪和识别技术带来了许多困难。实践表明，真实场景中的目标检测、跟踪与识别技术还远未成熟，距离产品化尚存在一定差距，还需要研究出更加具有通用性、实时性、精确性的算法，并在前端硬件设备支持下可靠、稳定运行，是当前监控视频技术研究的热点问题之一。

同时，随着万物互联的飞速发展及广泛应用，像监控摄像头这样的边缘设备正在从以数据消费者为主的单一角色转变为兼顾数据生产者和数据消费者的双重角色，同时网络边缘设备逐渐具有利用收集的实时数据进行模式识别、执行预测分析或优化、智能处理等功能。目前，大数据处理已经从以云计算为中心的集中式处理时代正在跨入以万物互联为核心的边缘计算时代，集中式大数据处理时代，更多的是集中式存储和处理大数据，其采取的方式是建造云计算中心，并利用云计算中心超强的计算能力来集中式解决计算和存储问题。相比而言，在边缘式大数据处理时代，网络边缘设备会产生海量实时数据；并且，这些边缘设备将部署支持实时数据处理的边缘计算平台为用户提供大量服务或功能接口，用户可通过调用这些接口来获取所需的边缘计算服务。

发明内容：

鉴于此，本发明的目的在于，提供边缘设备中的视频流有损压缩方法，结合目标识别和嵌入式轻量级深度学习网络，以为嵌入式开发板作为计算核心，将视频分析检测压缩过程移到视频监控前端，提高处理效率，达到减少存储量、降低传输负载，缓解服务器计算压力等目的。

为了达到上述专利目的，进而采取的技术方案如下：

边缘设备中的视频流有损压缩方法，包括电源模块、视频采集前端模块、数据处理分析压缩模块以及终端存储模块，所述电源模块分别与视频采集前端模块、数据处理分析压缩模块链接并为其供电；

所述视频采集前端模块分别与数据处理分析压缩模块、终端存储模块链接，所述数据处理视频采集前端模块包括视频编码/解码器和安装再检测区域的摄像头，所述视频编码/解码器用于将摄像头采集的视频信息进行格式转化，将采集到的视频信息转换为嵌入设可以识别的图像信号并将此信号发送至数据处理分析压缩模块。

所述数据处理分析压缩模块与终端存储模块和视频采集前端模块连接。所述数据处理模块包括视频处理，视频内容分析以及视频压缩模块。视频处理负责输入数字图像，为多种标准视频格式提供接口，并对输入的原视图像进行预处理。所述视频内容分析负责对视频中出现的目标进行分析，并对含有关键目标的视频帧进行提取。所述压缩模块负责对内容分析模块分析出的视频帧进行视频重组，并将重组后的视频传送的终端存储模块中。

所述终端存储模块用于存储数据处理分析压缩模块所传输的数据。

处理分析压缩模块由边缘嵌入式设备组成，是整个系统的核心部分；通过轻量级深度学习网络对视频进行分析后，可获得视频中的目标信息，视频动量变化，对其有效信息进行提取，以达到视频压缩的目的；首先检测目标，然后根据场景判别目标是否存在价值，最后将存在价值的视频帧进行提取、重构，以此来达到视频压缩的目的。

本发明所能达到的效果：较于传统的视频压缩系统，能自动提出无效的视频内容，例如场景空旷无人的场景或在工厂监控货物时，可以极大的降低存储量，缓解数据爆炸等问题，更重要的是，在视频回溯时极大的降低了工作人员的工作强度。本发明研究、实施和成果产品化后，预期可以降低智能视频监控的数据传输量、数据存储量；提高实时处理异常情况的能力。项目的实施可以广泛应用于公共安全监控、工业现场监控、居民小区监控、交通状态监控等各种监控场景中，具有巨大的社会效益和直接的经济效益，为加快“智慧城市”、“平安城市”建设发挥一定作用。为所有需要视频监控的企事业单位服务。

附图说明

构成本申请的一部分附图用来对本发明系统进一步理解，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1：是本发明边缘设备中的视频流有损压缩方法的硬件结构组成示意图；

图2：是本发明边缘设备中的视频流有损压缩方法的总体组成示意图；

图3：是本发明边缘设备中的视频流有损压缩方法的动量帧提取流程图；

图4：是本发明边缘设备中的视频流有损压缩方法的模型架构图。

图5：是本发明边缘设备中的视频流有损压缩方法的系统思路。

具体实施方式

需要说明得的是：在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。下面将参考附图结合实施例来详细说明本发明。本发明基于LattePandaAlpha864S进行部署，系统为Ubuntu16.04。企业服务器采用GPU 为RTX3080S操作系统为Ubuntu16.04，编程语言为Python，深度学习框架为 Pytorch。但是本发明并不限定于此开发板以及此系统部署实施。

为了使本技术领域的人员能够更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。所描述的实施例仅仅是本申请一部分的实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得得所有其他实施例，都应当属于本申请保护的范围。

实施例1

如图一、图二所示，边缘设备中的视频流有损压缩方法，包括电源模块1、视频采集前端模块2、视频处理分析压缩模块3、以及终端存储模块4。所述电源模块1分别于视频采集前端模块2、视频处理分析压缩模块3、以及终端存储模块4链接，并为各个模块供电；

所述视频采集前端模块2与视频处理分析压缩模块3连接，所述视频采集前端模块2包括视频编码/解码器和安装在检测区域的摄像头，所述视频编码/解码器将摄像头采集的视频信息进行格式转化，将采集的视频信息转换为数字图像信号，同时数字图像信号发送至视频处理分析压缩模块3。

所述视频处理分析压缩模块3分别与视频采集前端模块2与终端存储模块4 链接。所述视频处理分析压缩模块3包括嵌入式设备，以及并行处理单元，所述视频处理前端负责输入数字图像，为多种标准视频提供接口，并对输入的原始图像进行预处理，预处理后进行图像目标识别，将图像中的目标进行识别后，判别识别后的目标是否具有存储价值，之后将存在存储价值的图像帧进行提取并进行视频重组。完成上述工作以后将视频传输至终端存储模块4。所述视频处理分析压缩模块3从视频采集前端模块2中获取视频数据，处理完成后将使用深度学习算法压缩后的视频集数据传输至终端存储模块4。

所述终端存储模块4用于存储视频处理分析压缩模块3中传输的数据，并予以显示给与人家交互提供可视化结果和操作。

所述所有终端存储模块4最终将上传至指定云端进行保存。

实施例2

本发明实施例边缘设备中的视频流有损压缩方法的总体组成示意图，如图2 所示：

系统由3部分组成，包括视频采集部分，数据处理分析压缩部分，终端交互部分。

所述视频采集部分：也就是硬件中的视频采集前端模块。作为系统处理的数据源，视频获取主要通过安装在室内、街边等地的摄像头完成，然后通过视频编码/解码器进行转换，转换出所需要的视频格式、分辨率等。

所述数据处理分析压缩部分：包括视频动量检测模块、目标识别模块、视频提取重组模块。

所述视频动量检测模块：是视频内容分析的第一步，用于分析场景中的变化率，采用矩阵对比法和帧差法等简单的机器学习算法，将视频流中变化较大的视频帧提取出来。

所述目标识别模块：将视频流中变化较大的帧提取出来后，通过轻量级卷积神经网络进行目标识别，将场景中目标有存在存储意义的筛选出来。

所述视频提取重组模块：将识别模块中筛选出来的视频帧，进行顺滑补帧操作，并重现构成新的视频组发送给终端交互部分。

所述人机交互部分：当系统将重构的视频传输过来以后，进行存储，方便以后管理人员进行监控查询等工作。

下面对边缘设备中的视频流有损压缩方法的数据处理分析压缩部分做进一步说明：

首先对视频中的第一帧进行提取、保存作为视频动量初始化的第一帧，并对其保存作为保存基准帧。其次对连续的后续帧进行动量估计法或帧差法，并设定动量变化阈值，如若动量变化大于阈值，则保存并替换保存基准帧。若动量变化阈值小于阈值，则不进行基准帧替换。之后使用轻量级卷积神经网络对筛选出来的动量变化基准帧进行识别，若相邻基准帧中同时出现有意义的存储目标，则将保存帧间的所有帧都予以保存。整个过程结束后，将提取出来的视频帧进行视频重构，之后将新的视频集传输给终端数据存储模块。之后系统将重新获取新的视频进行新的处理。为了详细描述此过程，如图5所示。

具体的系统部署过程，参照图3，对本发明的部署过程流程如下说明。

边缘设备中的视频流有损压缩方法对视频数据的分析实质时连续视频帧图像的分析，系统首先加载视频流，然后从视频流中的提取首帧视频，进行图像处理，并保存为基准帧。之后对后续帧进行处理，若阈值大于基准帧，则进行将上一帧基准帧保存，并替换基准帧。在对基准帧进行排序之后，依次实用轻量级卷积神经网络进行图像识别，判断是否存在需要保存的目标，若相邻的目标都存在需要保存的目标，则将原视频中两个基准帧之间的所有帧都予以提出，并插入到基准帧之间，之后将帧按照顺序生成新的视频集。视频集生成后，传输给终端存储模块。

实施例3

如图4所示，本发明边缘设备中的视频流有损压缩方法的总体架构图，包括以下步骤：

1)视频采集前端模块进行视频采集，通过在检测区域的摄像头采集视频信息，然后通过视频编码/解码器进行格式转换，并将转换后的视频信息发送至数据处理分析压缩模块进行分析检测。

2)数据处理分析压缩模块包括以下步骤：

视频动量检测模块：初始化视频，提取首帧作为保存基准帧，对之后获取到图像帧进行动量估计法或帧差法进行处理，以首帧为基准对后帧进行阈值判定，若动量值高于阈值，则将替换基准帧依次执行。

目标检测模块：对选择得基准帧进行目标检测，实用轻量级神经网络进行图像识别，判断图像中是否存在有存储价值的目标。并对存在存储价值目标的帧进行标记。

视频提取重组模块：将存在存储价值目标的相邻帧，进行补帧操作。即：把相邻的帧间的其他帧全部补上，并重构成视频流发送至终端存储块中。

3)终端存储模块

通过数据处理分析压缩模块传来重构视频进行保存，方便工作人员后期对视频进行查询与回溯。

以上所述仅为本发明的优选实例而已，并不应用于限制本发明，对于本技术领域的技术人员来说，本发明可有有各种更改和变化。凡在本发明的精神和原则之内，做出的任何修改、等同替换、改进或者组合等，均应包含在本发明的保护范围之内。

Claims (1)

1.边缘设备中的视频流有损压缩方法，其特征在于：包括电源模块、视频采集前端模块、数据处理分析压缩模块以及终端存储模块，所述电源模块分别与视频采集前端模块、数据处理分析压缩模块链接并为其供电；

所述视频采集前端模块分别与数据处理分析压缩模块、终端存储模块链接，所述数据处理视频采集前端模块包括视频编码/解码器和安装再检测区域的摄像头，所述视频编码/解码器用于将摄像头采集的视频信息进行格式转化，将采集到的视频信息转换为嵌入设可以识别的图像信号并将此信号发送至数据处理分析压缩模块；

所述数据处理分析压缩模块与终端存储模块和视频采集前端模块连接，所述数据处理模块包括视频处理、视频内容分析以及视频压缩模块，视频处理负责输入数字图像，为多种标准视频格式提供接口，并对输入的原视图像进行预处理；所述视频内容分析负责对视频中出现的目标进行分析，并对含有关键目标的视频帧进行提取；所述压缩模块负责对内容分析模块分析出的视频帧进行视频重组，并将重组后的视频传送的终端存储模块中；

所述终端存储模块用于存储数据处理分析压缩模块所传输的数据。

Images