CN113792687A - 一种基于单目摄像头的人体入侵行为预警系统 - Google Patents

Abstract

本发明公开了一种基于单目摄像头的人体入侵行为预警系统，包括：摄像头、FPGA、PC端和报警装置；所述摄像头与所述FPGA相连，所述FPGA的一端与所述PC端相连，所述FPGA的另一端与所述报警装置相连，将所述摄像头识别的视频数据传输至所述FPGA，所述FPGA配合PC端用于处理和计算视频数据并将识别结果传输至报警装置，报警装置接收到识别到人体信号后报警，并通知指定场所的监管者。能够有效解决人体入侵检测设备的延迟低、功耗低、灵活性强的问题。

Description

一种基于单目摄像头的人体入侵行为预警系统

技术领域

本发明涉及一种基于单目摄像头的人体入侵行为预警系统。

背景技术

目前，在我许多危险或者保密场所识别人体预警依然主要依靠人力来观测，当然也有一小部分场所将人体目标检测技术移植到嵌入式设备当中，目前市场上主要使用GPU（图形处理器）处理器，虽然效率比CPU（中央处理器）要高不少，但是其功耗过高，无法广泛的适用于各种环境。从低功耗的角度来看，FPGA无疑是实现目标检测算法的一个不错的选择，并且FPGA （现场可编程逻辑阵列）作为一种现场可编程逻辑设备，具有延迟低、灵活性强等优点，目前广泛用于加速CNN（卷积神经网络）的前向推理过程。

发明内容

本发明的目的在于克服现有技术的缺陷而提供一种基于单目摄像头的人体入侵行为预警系统，能够有效解决背景技术中人体入侵检测设备的延迟低、功耗低、灵活性强的问题。

实现上述目的的技术方案是：

一种基于单目摄像头的人体入侵行为预警系统，包括：摄像头、FPGA、PC端和报警装置；所述摄像头与所述FPGA相连，所述FPGA的一端与所述PC端相连，所述FPGA的另一端与所述报警装置相连，将所述摄像头识别的视频数据传输至所述FPGA，所述FPGA配合所述PC端用于处理和计算视频数据，获得识别结果，所述FPGA将识别结果传输至报警装置，报警装置接收到识别到人体信号后报警，并通知指定场所的监管者。

优选的，所述FPGA包括图形前处理单元、卷积单元、图像后处理单元、DDR3（DDR3是一种计算机内存规格）存储单元和PCIE（是一种高速串行计算机扩展总线标准）单元；在初始化结束后，权重数据和偏置数据首先由PC端通过PCIE单元传入DDR3存储单元进行存储；

图像数据进入图形前处理单元，首先通过三个linebuffer（ FPGA图像处理之行缓存）缓存三行图像，然后根据通道方向第一次打包数据；当一个linebuffer缓存三个数据时，那么再将三个linebuffer缓存的九个数据再次进行打包，即九个数据打包成一个数据；

打包后的数据进入卷积单元，进行卷积操作与RELU（线性整流函数）操作，计算的结果再进入图像后处理单元完成MAX POOL（max pooling是CNN当中的最大值池化操作）操作,之后将输出的结果存入DDR3存储单元中完成第一层操作，接着第二层操作开始，首先将第一层的输出数据和所需的权重和偏置数据从DDR中取出，继续传入卷积模块，接下来每层的操作与第一层的操作相同；

将卷积单元操作后的数据进入图形后处理单元；

将第10层操作与第13层操作的结果传回PC端对数据做图像后处理，获取物体识别结果。

优选的，所述PC端为一智能设备，智能设备为平板电脑、智能手机、智能电视和笔记本电脑中的一种。

优选的，物体识别结果指物体检测种类，包括人体、车辆、动物。

优选的，所述卷积单元包括：16个PE（处理元件）单元；

每个PE单元包括定点乘法计算单元、偏置加法计算单元、RELU函数计算单元以及存储计算结果的存储单元；

定点乘法计算单元将权重数据与图像数据做乘法运算，偏置加法计算单元将乘法运算的结果与偏置数据再相加并移位，输出运算结果；RELU函数计算单元对运算结果进行RELU操作。

本发明的有益效果是：通过设置FPGA作为一种现场可编程逻辑设备，具有延迟低、灵活性强等优点，运用在本发明中，使得本系统检测更精准、延迟更低、功耗低、灵活性强；且通过设置报警装置，可以更好的提醒和通知到监管者。

附图说明

图1是本发明基于单目摄像头的人体入侵行为预警系统的结构；

图2是本发明中FPGA的结构图；

图3是本发明中卷积模块的结构图；

图4是本发明中PE单元的结构图；

图5是本发明中偏置加法计算单元的结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相正对地重要性。

下面将结合附图对本发明作进一步说明。

参考图1-5，本发明是一种基于单目摄像头的人体入侵行为预警系统，包括：摄像头1、FPGA 2、PC端3和报警装置4；摄像头1与FPGA2相连，FPGA2的一端与PC端3相连，FPGA 2的另一端与报警装置4相连，将摄像头1识别的视频数据传输至FPGA 2，FPGA 2配合PC端3用于处理和计算视频数据并将识别结果传输至报警装置4，报警装置4接收到识别到人体信号后报警，并通知指定场所的监管者。

具体的，摄像头1与FPGA 2相连，摄像头1对进入到指定范围的人体进行识别并拍摄上传；FPGA 2接收到摄像头1上传的识别信息，处理和计算视频数据；FPGA 2将识别信号传输至报警装置4，报警装置4接收到人体信息后报警并通知指定场所的监管者。具体的，PC端3为一智能设备，智能设备为平板电脑、智能手机、智能电视和笔记本电脑中的一种。FPGA2采用Xilinx XC7k325T。

具体的，所述FPGA 2包括图形前处理单元、卷积单元、图像后处理单元、DDR3存储单元和PCIE单元；FPGA 2的工作流程如下：

在初始化结束后，权重数据和偏置数据首先由PC端通过PCIE单元传入DDR3存储单元进行存储；具体的，DDR3存储单元，用于完成图像数据、权重数据以及偏重数据的存储；具体的，PCIE单元，用于完成与PC的通信；

图像首先进入图形前处理单元，首先通过三个linebuffer缓存三行图像，然后根据通道方向第一次打包数据。当一个linebuffer缓存三个数据时，那么再将三个linebuffer缓存的九个数据再次进行打包，即九个数据打包成一个数据；具体的，图形前处理单元，用于对图像进行缓存并对缓存的数据进行打包并将打包后的数据进行传输；

打包后的数据进入卷积单元，进行卷积操作与RELU操作，计算的结果再进入图像后处理单元完成MAX POOL操作,之后将输出的结果存入DDR中完成第一层操作，接着第二层操作开始，首先将第一层的输出数据和所需的权重和偏置数据从DDR中取出，继续传入卷积模块，接下来每层的操作与第一层的操作类似；

将卷积单元操作后的数据进入图形后处理单元；系统将第10层操作与第13层操作的结果传回PC端对数据进行图像后处理，获取物体识别结果（物体检测类别）。物体检测种类，包括人体、车辆、动物。

参考图3，具体的，卷通过卷积模块实现卷积，本质上就是在进行乘加操作，所以卷积模块的工作效率直接影响工作效率。所以如何提高乘法计算效率至关重要。首先将darknet（arknet是一个较为轻型的完全基于C与CUDA的开源深度学习框架）框架训练的32位权重数据通过 Caffe-Ristretto（Caffe-Ristretto 是 一种自动CNN量化工具，可以压缩32位浮点网络）进行定点量化。得到 16bit 定点权重数据。

参阅图4，卷积单元包括16个PE单元；每个PE单元包括定点乘法计算单元、偏置加法计算单元、RELU函数计算单元以及存储计算结果的存储单元；定点乘法计算单元将权重数据与图像数据做乘法运算，偏置加法计算单元将乘法运算的结果与偏置数据再相加并移位，输出运算结果；RELU函数计算单元对运算结果进行RELU操作。图4中，DPS指微处理器。

在PE的定点乘法计算单元设计上，将乘法计算进行拆分，如图所示将输入数据512bit的大位宽乘法计算拆分成32个16bit乘法计算，在乘法计算后将结果送入偏置加法计算单元。

请参阅图5，偏置加法计算（SUM）单元由 5 层加法器（ADDER）组成。数据首先通过16 个加法器完成一次加法运算，然后将计算结果不断相加，最后得到最终结果。

RELU 函数计算单元：一般的Tiny-YOLOv3网络使用leaky relu作为激活函数，。但是当x<0时，Y=kx其中k是0到1之间的小数，所以需要进行浮点乘法计算，这不仅浪费资源而且还消耗了大量时间。 为了减少资源消耗并节约时间，本发明选择使用Relu函数作为激活函数。Relu函数公式如下表示。当x <0时，Relu函数输出y=0。与leaky relu相比，Relu功能在电路中实现不仅节省了资源而且还节省了计算时间。

。

最后把卷积计算好的结果发给PC端做图像后处理，一但检测到人，那么PC端通过FPGA 2将识别结果传递给报警模块4，当为人体信号时，报警装置4启动。从而达到人体入侵检测的效果。

以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种基于单目摄像头的人体入侵行为预警系统，其特征在于，包括：摄像头（1）、FPGA（2）、PC端（3）和报警装置（4）；所述摄像头（1）与所述FPGA（2）相连，所述FPGA（2）的一端与所述PC端（3）相连，所述FPGA（2）的另一端与所述报警装置（4）相连，将所述摄像头（1）识别的视频数据传输至所述FPGA（2），所述FPGA（2）配合所述PC端（3）用于处理和计算视频数据，获得识别结果，所述FPGA（2）将识别结果传输至报警装置（4），报警装置（4）接收到识别到人体信号后报警，并通知指定场所的监管者。

2.根据权利要求1所述的一种基于单目摄像头的人体入侵行为预警系统，其特征在于，所述FPGA（2）包括图形前处理单元、卷积单元、图像后处理单元、DDR3存储单元和PCIE单元；在初始化结束后，权重数据和偏置数据首先由PC端通过PCIE单元传入DDR3存储单元进行存储；

图像数据进入图形前处理单元，首先通过三个linebuffer缓存三行图像，然后根据通道方向第一次打包数据；当一个linebuffer缓存三个数据时，那么再将三个linebuffer缓存的九个数据再次进行打包，即九个数据打包成一个数据；

打包后的数据进入卷积单元，进行卷积操作与RELU操作，计算的结果再进入图像后处理单元完成MAX POOL操作,之后将输出的结果存入DDR3存储单元中完成第一层操作，接着第二层操作开始，首先将第一层的输出数据和所需的权重和偏置数据从DDR中取出，继续传入卷积模块，接下来每层的操作与第一层的操作相同；

将卷积单元操作后的数据进入图形后处理单元；

将第10层操作与第13层操作的结果传回PC端对数据做图像后处理，获取物体识别结果。

3.根据权利要求1所述的一种基于单目摄像头的人体入侵行为预警系统，其特征在于，所述PC端（3）为一智能设备，智能设备为平板电脑、智能手机、智能电视和笔记本电脑中的一种。

4.根据权利要求2所述的一种基于单目摄像头的人体入侵行为预警系统，其特征在于，物体识别结果指物体检测种类，包括人体、车辆、动物。

5.根据权利要求2所述的一种基于单目摄像头的人体入侵行为预警系统，其特征在于，所述卷积单元包括16个PE单元；

每个PE单元包括定点乘法计算单元、偏置加法计算单元、RELU函数计算单元以及存储计算结果的存储单元；

定点乘法计算单元将权重数据与图像数据做乘法运算，偏置加法计算单元将乘法运算的结果与偏置数据再相加并移位，输出运算结果；RELU函数计算单元对运算结果进行RELU操作。

Images