CN111083443A - 一种基于深度学习的监控中心辅助系统及方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的监控中心辅助系统及方法，其中系统包括前端数据采集模块、深度学习加速器、中央数据处理模块以及显示模块，所述中央数据处理模块内安装有若干种深度学习算法；所述前端数据采集模块用于获取监控中心的视频数据；所述的中央数据处理模块用于采用深度学习算法对视频数据进行检测处理，以及在检测到视频数据中存有异常时，发出报警信息；所述深度学习加速器用于加速中央数据处理模块中的深度学习算法的数据运算。本发明通过使用深度学习加速器作为辅助计算设备，能够实时地对接收到的图像进行处理，帮助值守人员及时发现画面中可能存在的各种安全隐患，极大地提高了视频监控的质量，可广泛应用于智能安防领域。

Description

一种基于深度学习的监控中心辅助系统及方法

技术领域

本发明涉及智能安防领域，尤其涉及一种基于深度学习的监控中心辅助系统及方法。

背景技术

随着科技的发展和人们生活水平的提高，越来越多的机构和个人更加关注人身和财产安全问题。传统的视频监控系统一般指的是第一代的模拟监控系统、第二代数字化本地视频监控系统和第三代数字化远程视频监控系统。这几类监控系统主要依靠监控人员进行人工监控，存在着一定的问题与弊端，例如在监控系统中，监控中心高度依赖人力值守，这种方式往往会存在安保人员擅离岗位、突发事件响应不及时等问题，并且人力值守需要投入的成本较高。为了解决人力值守监控中心带来的问题，人们开始思考如何让监控中心更智能和高效，其最终的结论就是深度学习算法。

监控系统组成深度学习安防的相关产品主要是由人脸抓拍摄像机和人脸检测录像机两部分组成。受制造成本及应用场合限制，这类产品所使用的深度学习系统大部分是基于嵌入式处理器搭建的。

但是，大量研究表明，在深度学习算法的应用中，使用嵌入式处理器并不是最优的方案。原因在于卷积神经网络对计算量的要求较高，而嵌入式处理器由于是以串行计算架构为主，对大规模计算的处理能力不足，在运行的过程中容易出现系统卡顿的现象。

发明内容

为了解决上述技术问题之一，本发明的目的是提供一种基于深度学习的监控中心辅助系统及方法。

本发明所采用的第一技术方案是：

一种基于深度学习的监控中心辅助系统，包括前端数据采集模块、深度学习加速器、中央数据处理模块以及显示模块，所述中央数据处理模块内安装有若干种深度学习算法；

所述前端数据采集模块用于获取监控中心的视频数据，并将视频数据传输至中央数据处理模块；

所述的中央数据处理模块用于采用深度学习算法对视频数据进行检测处理，以及在检测到视频数据中存有异常时，发出报警信息；

所述深度学习加速器用于加速中央数据处理模块中深度学习算法的数据运算。

进一步，所述视频数据为监控中心的视频码流。

进一步，所述前端数据采集模块为高清摄像头，且对准监控中心的显示画面进行拍摄。

进一步，所述中央数据处理模块还用于对检测到异常的视频数据进行保存处理。

进一步，所述深度学习加速器内设有缓存单元和计算单元，所述缓存单元用于暂时保存计算过程的中间数据，所述计算单元中设有多种用于加速计算的硬件IP核，所述深度学习加速器通过PCIe数据接口与中央数据处理模块通讯。

进一步，所述深度学习加速器采用FPGA深度学习加速引擎。

进一步，还包括响应设备，所述响应设备与中央数据处理模块连接。

进一步，还包括信息输入模块，所述中央数据处理模块与信息输入模块连接。

本发明所采用的第二技术方案是：

一种基于深度学习的监控中心辅助方法，包括以下步骤：

获取监控中心的视频数据；

采用深度学习算法对视频数据进行检测处理，采用深度学习加速器加速深度学习计算；

当检测到视频数据中存有异常时，发出报警信息。

进一步，所述采用深度学习算法对视频数据进行检测处理，采用深度学习加速器加速深度学习计算这一步骤，具体包括以下步骤：

从监控中心的视频数据获得帧图像，根据监控中心画面的边界将帧图像切割为若干画面；

采集插值算法将各画面缩放至预设的分辨率后，获得一组大小相同的图像序列；

将图像序列通过PCIe数据接口发送至深度学习加速器进行计算，并在计算结束后，返回计算结果。

本发明的有益效果是：本发明通过使用深度学习加速器作为辅助计算设备，让系统能够使用多种不同的深度学习算法对画面进行实时检测，同时也增强了系统的灵活性，便于更换和升级算法，帮助值守人员及时发现画面中可能存在的各种安全隐患，极大地提高了视频监控的质量。

附图说明

图1是本发明的一种基于深度学习的监控中心辅助系统的结构示意图；

图2是具体实施例中一种基于深度学习的监控中心辅助系统结构示意图；

图3是本发明的一种基于深度学习的监控中心辅助方法的步骤流程图。

具体实施方式

如图1所示，本实施例提供了一种基于深度学习的监控中心辅助系统，包括前端数据采集模块、深度学习加速器、中央数据处理模块以及显示模块，所述中央数据处理模块内安装有若干种深度学习算法；

所述前端数据采集模块用于获取监控中心的视频数据，并将视频数据传输至中央数据处理模块；

所述的中央数据处理模块用于采用深度学习算法对视频数据进行检测处理，以及在检测到视频数据中存有异常时，发出报警信息；

所述深度学习加速器用于加速中央数据处理模块中深度学习算法的数据运算。

在本实施例中，前端数据采集模块，与中央数据处理模块的数据接收端口相连接，用于获取监控中心的画面；深度学习加速器与中央数据处理模块的数据接口连接，用于加速卷积神经网络的计算；显示模块与中央数据处理模块的控制信号端口连接，用于用户界面的输入和输出。

通过前端数据采集模块实时从监控中心获取视频数据进行识别监控，其中，获取视频数据可以有两种方式，第一种是直接使用高清摄像头拍摄监控中心显示画面，另一种是获取监控中心的视频码流，然后进行解码得到帧图像。获得的视频数据被实时发送至中央数据处理模块进行画面分割和缩放处理，该模块还搭载了多种用于检测的深度学习算法具体的算法的架构和种类不限；用户可以自行选择需要使用的检测功能，中央数据处理模块根据功能选择自动载入预设的深度学习算法。当中央数据处理模块对视频数据中当前画面进行检测时，会将使用到的神经网络模型和权值参数载入到主机内存和深度学习加速器内存中，之后待检测的每一组原始图像序列不断地从中央数据处理模块出发，通过PCIe数据接口，在深度学习加速器和主机之间流动计算，计算得到的结果最终返回到中央数据处理模块，如此可大大地加快数据处理能力，避免中央数据处理模块的运算处理能力不足，在运行的过程中出现系统卡顿的问题。另外，本系统使用时不需要对原有的监控中心的硬件设备进行任何修改，只需要获取监控中心的视频数据，因此能够兼容各种不同大小的监控中心，降低使用者需要投入的成本；同时，使用了深度学习加速器作为辅助计算设备，提高了系统的算力，降低视频处理的延时，提高了系统的安全性能；各类响应设备可通过网络端口接入系统中，帮助值守人员及时发现画面中可能存在的各种安全隐患，并可以自动地对某些危险状况直接做出响应，极大地提高了视频监控的质量。

其中，系统使用到的所有神经网络首先需要在GPU深度学习框架下进行设计、训练和验证。在使用之前，训练好的神经网络必须被转化为系统可识别和执行的模型文件，转化的过程一方面是将不同深度学习框架下的神经网络归一化到统一的命名方式和格式，一方面也会对神经网络进行适当的剪枝优化。每个神经网络模型只需要进行一次转化，转化完成的模型被存放在中央数据处理模块的存储空间中，可被中央数据处理模块多次调用。

进一步作为优选的实施方式，所述视频数据为监控中心的视频码流。

进一步作为优选的实施方式，所述前端数据采集模块为高清摄像头，且对准监控中心的显示画面进行拍摄。

前端数据采集模块获取图像的方式有两种，第一种是直接使用高清摄像头拍摄监控中心显示画面，另一种是获取监控中心的视频码流，然后进行解码得到图像。设定输入画面的水平分辨率为W，竖直分辨率为H，用户可以输入水平分割数量A和竖直分割数量B，根据参数A和B将采集到的图像进行分割为A*B个小画面，并使用插值算法将这些小画面缩放到统一的分辨率大小，最后将所有图像堆叠为一个四维矩阵，作为输入到神经网络的一个batch，矩阵的形状可根据神经网络的需求进行定义，默认大小为[A*B，H/B，W/A，C]，其中C为图像通道数量。。

进一步作为优选的实施方式，所述中央数据处理模块还用于对检测到异常的视频数据进行保存处理。

中央数据处理模块对于神经网络计算得到的结果，可通过外部设备执行响应程序，包括：向管理员发送报警信息、在画面上以醒目颜色标注、自动记录异常的视频数据等。

进一步作为优选的实施方式，所述深度学习加速器内设有缓存单元和计算单元，所述缓存单元用于暂时保存计算过程的中间数据，所述计算单元中设有多种用于加速计算的硬件IP核，所述深度学习加速器通过PCIe数据接口与中央数据处理模块通讯。

所述深度学习加速器通过数据接口与中央数据处理模块进行通讯，可被中央数据处理模块识别调用，可用于加速常见的卷积神经网络或单个计算操作，如卷积、全连接、池化、激活函数等；深度学习加速器的种类包括FPGA(Field Programmable Gate Array)、ASIC(Application SpecificIntegrated Circuit)等。本实施例中的深度学习加速器特指通用型深度学习加速器，加速器中设有缓存单元和计算单元，单元之间通过数据总线连接，计算单元内设有多种硬件IP核，包括PE阵列(卷积计算与全连接计算IP)、激活函数IP、池化IP等。对于PE阵列，中央数据处理模块不能改变其结构，但可以通过配置其大小、权重、偏置等参数将其配置为需要的卷积核；激活函数IP集成了几种常见的激活函数支持，使用深度学习加速器内部的DSP和硬件逻辑资源共同搭建；池化IP实现了池化层，其结构与PE阵列一致，权值根据选择的池化类型进行初始化，用户选择合适的大小进行使用。

卷积层计算公式：

其中，Out代表卷积层计算的输出值，W是卷积计算的权重，In代表卷积层计算你的输入值，x和y代表特征图中点的坐标，i和j代表卷积核中点的坐标，K代表卷积核的大小。

激活函数公式：

Out(x,y)＝f[In(x,y)]

其中，Out代表激活函数的输出，f[x]代表激活函数，In代表激活函数的输入。

当中央数据处理模块进行调用深度学习加速器进行计算时，中央数据处理模块会将输入数据载入到深度学习加速器的数据缓存单元中，同时中央数据处理模块控制输入数据在硬件IP与数据缓存中反复流动计算，直到完成全部卷积网络的计算操作。计算完成后，最后一次得到的结果从加速器缓存中，通过数据端口回传到中央数据处理模块的内存当中。

中央数据处理模块涉及到的所有神经网络模型必须处于同一个深度学习框架内，这个深度学习框架需要同步支持深度学习加速器，在使用神经网络模型之前需要先对神经网络模型进行转换和优化，并且对于神经网络的各个计算层的执行设备需要有明确的定义，这两步需要在中央数据处理模块初始化之前完成。另外，中央数据处理模块搭载了多种用于检测的深度学习算法，算法的架构和种类不限；用户可以自行选择需要使用的检测功能，系统根据功能选择自动载入预设的深度学习算法，并应用深度学习加速器进行加速。

本实施例中用户在使用的过程中可根据需要随意切换不同的检测功能。当用户切换到一个新功能时，系统会通过以下步骤进行配置：读取神经网络模型->读取视频流->载入神经网络模型到深度学习加速器中->对视频流进行预处理->将视频流接入深度学习加速器->对深度学习加速器的输出流进行后处理->显示->执行用户指定的响应程序。本实施例允许用户指定当检测目标出现在画面中时执行的响应操作，用于对监控中心进行一定程度的自动值守。不同的响应操作需要对应的物理设备提供支持，当系统执行响应程序时，中央数据处理模块通过以太网接口向对应的响应设备发送一条启动指令，设备成功接收后自动开启，对当前发生的特殊情况进行处理。

进一步作为优选的实施方式，还包括响应设备，所述响应设备与中央数据处理模块连接。

图像预处理和算法初始化完成后，系统开始将图像数据实时地传输给深度学习算法处理，算法中涉及的主要计算主要是在深度学习加速器中完成，计算完成后，系统读回处理结果，并根据深度学习算法完成后续的处理，同时程序可调用响应程序，对处理得到的结果进行响应；当用户在目标场景中安装了配套的响应设备之后，可通过局域网将所有设备连接到中央数据处理模块，中央数据处理模块对设备进行识别和确认，之后会在用户界面显示当前可操作的响应设备名称以及对应操作，用户可预先设定在监测到某些特殊情况时需要执行的响应操作。其中，所述响应设备可以为报警器和门禁等。

进一步作为优选的实施方式，还包括信息输入模块，所述中央数据处理模块与信息输入模块连接。所述信息输入模块包括鼠标和键盘等。

综上所述，本实施例通过对从监控中心获取的画面进行再处理，提高了系统能够同时监测的画面数量；将神经网络算法嵌入到图像检测功能中，增强了检测功能的精度；使用深度学习加速器对计算进行加速，提高了系统的算力，降低视频处理的延时，提高了系统的安全性能；各类响应设备可通过网络端口接入系统中，用户可在系统中配置不同情况下的响应执行指令，使监控系统更加智能化、人性化。

具体实施例

参照图2，本实施例提供的一种基于深度学习的监控中心辅助系统，包括高清摄像头、FPGA深度学习加速引擎、显示器、鼠标、键盘、报警器/门禁和嵌入式中央处理系统，所述嵌入式中央处理系统分别与高清摄像头、FPGA深度学习加速引擎、显示器和鼠标、键盘和报警器/门禁连接；

所述高清摄像头获取的图像经由USB接入到嵌入式中央处理系统中的OpenCV图像获取端口，并使用OpenCV进行分割和缩放等预处理；嵌入式中央处理系统搭载了OpenVINO环境。

所述OpenVINO是一个支持深度学习加速器加速的深度学习框架，OpenVINO不仅提供了很多主流深度学习算法模型，同时也支持转化其他深度学习框架的模型，此时根据目标环境和使用者的需求，选择并载入需要使用到的深度学习算法模型；将预处理后的图像不断地传输到算法当中进行流水线计算，使用FPGA深度学习加速引擎进行加速；计算完成后，读回计算结果，并在OpenCV中对图像进行相应的后处理，包括在检测物体或行人的周围绘制矩形、根据标签文件对物体的名称或行人的行为进行标注、保存危险情况的截图或录像等；最终处理完的图像会经过HDMI端口，在显示器中显示出来。

借助于本实施例的系统，使用深度学习算法对监控中心的画面进行实时检测，在不用修改原有监控系统的同时，增强了整体系统的灵活性，在各种不同大小的监控中心上都能起到较好的检测效果，帮助值守人员更高效、更准确捕捉画面重要信息。此外，通用的深度学习加速器能够帮助系统处理主要的神经网络计算，降低计算延时，提升观看体验。

如图3所示，本实施例还提供了一种基于深度学习的监控中心辅助方法，包括以下步骤：

S1、获取监控中心的视频数据；

S2、采用深度学习算法对视频数据进行检测处理，采用深度学习加速器加速深度学习计算；

S3、当检测到视频数据中存有异常时，发出报警信息。

其中，所述S2具体包括步骤S21～S23：

S21、从监控中心的视频数据获得帧图像，根据监控中心画面的边界将帧图像切割为若干画面；

S22、采集插值算法将各画面缩放至预设的分辨率后，获得一组大小相同的图像序列；

S23、将图像序列通过PCIe数据接口发送至深度学习加速器进行计算，并在计算结束后，返回计算结果。

本实施例的一种基于深度学习的监控中心辅助方法，与上述基于深度学习的监控中心辅助系统具有一一对应关系，具备的功能和有益效果。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于深度学习的监控中心辅助系统，其特征在于，包括前端数据采集模块、深度学习加速器、中央数据处理模块以及显示模块，所述中央数据处理模块内安装有若干种深度学习算法；

所述前端数据采集模块用于获取监控中心的视频数据，并将视频数据传输至中央数据处理模块；

所述的中央数据处理模块用于采用深度学习算法对视频数据进行检测处理，以及在检测到视频数据中存有异常时，发出报警信息；

所述深度学习加速器用于加速中央数据处理模块中深度学习算法的数据运算。

2.根据权利要求1所述的一种基于深度学习的监控中心辅助系统，其特征在于，所述视频数据为监控中心的视频码流。

3.根据权利要求1所述的一种基于深度学习的监控中心辅助系统，其特征在于，所述前端数据采集模块为高清摄像头，且对准监控中心的显示画面进行拍摄。

4.根据权利要求1所述的一种基于深度学习的监控中心辅助系统，其特征在于，所述中央数据处理模块还用于对检测到异常的视频数据进行保存处理。

5.根据权利要求1所述的一种基于深度学习的监控中心辅助系统，其特征在于，所述深度学习加速器内设有缓存单元和计算单元，所述缓存单元用于暂时保存计算过程的中间数据，所述计算单元中设有多种用于加速计算的硬件IP核，所述深度学习加速器通过PCIe数据接口与中央数据处理模块通讯。

6.根据权利要求1所述的一种基于深度学习的监控中心辅助系统，其特征在于，所述深度学习加速器采用FPGA深度学习加速引擎。

7.根据权利要求1所述的一种基于深度学习的监控中心辅助系统，其特征在于，还包括响应设备，所述响应设备与中央数据处理模块连接。

8.根据权利要求1所述的一种基于深度学习的监控中心辅助系统，其特征在于，还包括信息输入模块，所述中央数据处理模块与信息输入模块连接。

9.一种基于深度学习的监控中心辅助方法，其特征在于，包括以下步骤：

获取监控中心的视频数据；

采用深度学习算法对视频数据进行检测处理，采用深度学习加速器加速深度学习计算；

当检测到视频数据中存有异常时，发出报警信息。

10.根据权利要求9所述的一种基于深度学习的监控中心辅助方法，其特征在于，所述采用深度学习算法对视频数据进行检测处理，采用深度学习加速器加速深度学习计算这一步骤，具体包括以下步骤：

从监控中心的视频数据获得帧图像，根据监控中心画面的边界将帧图像切割为若干画面；

采集插值算法将各画面缩放至预设的分辨率后，获得一组大小相同的图像序列；

将图像序列通过PCIe数据接口发送至深度学习加速器进行计算，并在计算结束后，返回计算结果。

Images