CN110827317B - 一种基于fpga的四目运动目标检测与识别设备及方法 - Google Patents

Abstract

本发明涉及一种基于FPGA的四目运动目标检测与识别的设备及方法，该设备包括声学设备、红外激光探测设备、探测识别组件，所述声学设备和红外激光探测设备分别与探测识别组件相接，所述探测识别组件由依次相接的图像采集模块、图像预处理模块、目标识别模块和识别结果发送模块组成，所述图像采集模块采用四个星光级sensor同步对信息进行采集，图像预处理模块使用FPGA的PL部分完成，目标识别模块使用FPGA的PS部分完成，识别结果发送模块采用WIFI传输，将最终结果上传至上位机进行显示。本发明解决现有技术存在的移动能力差、识别准确率低、功耗高、体积大和无法实现场景全覆盖等问题。

Description

一种基于FPGA的四目运动目标检测与识别设备及方法

技术领域：

本发明设计图像处理与计算机视觉技术领域，尤其涉及一种基于FPGA的四目运动目标检测与识别设备及方法。

背景技术：

随着时代的发展，个人和公共的安全越来越受到人们的重视，为了应对各种潜在的威胁，监控设备成为主要的安防工具。市场对监控设备的应用需求已经由单纯的设备需求走向了个性化需求。随着机器视觉、人工智能的出现，安防技术出现重大的变革，逐步走向数字化、智能化、网络化。

嵌入式的目标识别系统在安防领域有着广泛的应用，目前都是基于PC机或者嵌入式平台。大华研发了四目4K全景网络摄像机DH-IPC-PDBW8808-A180系列，采用4个镜头为1/2.8"200万超低照度CMOS图像传感器、3mm定焦特制镜头组合，其工作方法是：分别拍摄四个角度，通过智能算法，自动识别四组画面之间的重叠部分，并自动矫正及拼接，做到水平180°、垂直87°的大视野呈现。功耗太高，这会造成资源的浪费，对180度的场景进行监控。

其存在的问题是：1、整个设备都是持续供电并且一直拍照，如果未有目标闯入也在持续拍照，设备持续工作，不会自动断电，导致功耗过高；2、因为设备重量和体积过大，一经安装之后，移动就比较困难；3、设备价格过高，成本高昂；4、设备只能做到水平180°监控，无法实现场景的全覆盖。

发明内容：

本发明的目的是要提供的一种基于FPGA的四目运动目标检测与识别的设备及方法，以解决现有技术存在的移动能力差、识别准确率低、功耗高、体积大和无法实现场景全覆盖的问题。

为了达到本发明的目的，本发明提供的技术方案是：

一种基于FPGA的四目运动目标检测与识别的设备，包括声学设备或红外激光探测设备、探测识别组件，所述声学设备或红外激光探测设备分别与探测识别组件相接，所述探测识别组件由依次相接的图像采集模块、图像预处理模块、目标识别模块和识别结果发送模块组成，所述图像采集模块采用四个摄像头同步对信息进行采集，图像预处理模块使用FPGA的PL部分完成，目标识别模块使用FPGA的PS部分完成，识别结果发送模块采用WIFI传输，将最终结果上传至上位机进行显示查看。

上述摄像头采用的是星光级sensor。

基于上述设备的检测与识别方法，包括以下步骤：

步骤一、采用图像采集模块中的4个摄像头进行360度全方位成像，声学设备和红外激光探测设备探测到有运动目标时，4个sensor同时对数据进行采集：经过光电转换后，将原始数据raw图传入图像预处理模块中FPGA的PL模块；通过图像信号处理单元对raw图进行自动曝光处理，并将采集到的raw图像存储至DDR中；通过FPGA的核间通讯完成四目的图像采集控制，核0作为主控核，通过共享ARM来控制核1的启动和关闭，每个ARM核独立完成双目的图像采集；

步骤二、将raw图传入目标识别模块中的运动目标IP核，进行帧差、二值化、滤波的处理；

步骤三、对二值化的图像使用TWO-PASS方法进行连通域的查找，查找出运动目标，然后在raw图上进行运动目标的抠图，将只含运动目标的raw图送入加载卷积神经网络预训练的模型中对其进行识别。

步骤四、若FPGA的主核0先完成识别，则等待从核1，若从核完成之后，直接将标志置为完成状态，主核收到之后，将双核的识别结果进行图像压缩，然后通过WIFI传输至上位机进行查看。

与现有技术相比，本发明的优点是：

1、本发明的设备的功耗可以低至4W，同时通过外置的声学设备和红外激光探测设备触发启动识别，设备并不是长时间一直供电，只有通过外置的声学设备和红外激光探测设备检测到有运动目标，才会对设备进行上电，然后完成目标识别，并对结果进行上报，结束之后，设备会自动下电。这也有效地降低了使用功耗，保障其全天候的工作。

2、本发明采用裸机开发，不搭载任何操作系统，并且使用HLS开发了运功目标检测IP核、在对运动目标识别的时候，并没有整体的将整体的RAW进行识别，而是只将运动目标的一小部分加载到目标识别模型中进行识别，节省了很大一部分的处理时间，有效的对系统进行了加速，该设备启动到最终的目标结果上报仅仅只需要5s。因此本发明不仅采用四目摄像头实现360度全方位成像，而且具有实时性强、移动性好、功耗低、体积小、重量轻、全天候、识别速度快的优点。

3、硬件装置结构设计优良，移动性好，重量轻，体积小，可实现四目360度全方位成像。

4、在FPGA上实现了动态目标查找和识别，实时性强，识别速度快使用14bit的raw图进行目标查找与识别，这和现有的处理方法不同，使用raw图，可以最大程度的保留图像的原始信息，尽可能的捕捉现场的拍摄特性，也就是说，包含有关场景的光照强度和颜色的物理信息。在用神经网络进行识别时，可以充分的运用上述信息，很大程度的提升最终的识别结果。

附图说明：

图1是本发明的系统架构数据流示意图。

图2是本发明的系统架构控制流示意图。

图3是本发明的ZYNQ的处理流程图。

图4是本发明的目标查找处理流程图。

图5是本发明的目标识别处理流程图。

图6是本发明的装置图。

具体实施方式：

下面将结合附图和实施例对本发明进行详细地说明。

本发明提供的一种基于FPGA的四目运动目标检测与识别的设备，包括声学设备、红外激光探测设备、探测识别组件，所述声学设备和红外激光探测设备分别与探测识别组件相接，所述探测识别组件由依次相接的图像采集模块、图像预处理模块、目标识别模块和识别结果发送模块组成，所述图像采集模块采用四个星光级sensor同步对信息进行采集，图像预处理模块使用FPGA的PL部分完成，目标识别模块使用FPGA的PS部分完成，识别结果发送模块采用WIFI传输，将最终结果上传至上位机进行显示。（参见图6）

具体的，图像采集模块和图像预处理模块与FPGA的PL部分连接，目标识别模块和识别结果发送模块与FPGA的PS部分连接。

FPGA中设有星光级sensor图像采集IP,用于实现采集四路原始图像信息。该部分在FPGA的PL部分使用可编程逻辑实现。

FPGA中设有硬件加速IP,硬件加速IP用于对图像进行预处理，包括图像的帧差，二值化、腐蚀、膨胀等在FPGA的PL端使用可编程逻辑实现。

FPGA的PS部分主要负责运动目标的二值化图像的连通域查找,对预训练模型的加载，并完成对运动目标的识别，对识别结果进行图像压缩，最后发送至上位机，进行结果输出。（参见图5）

FPGA的VDMA传输IP由可编程逻辑实现，利用星光级sensor对图像信息进行采集，经过图像信号处理单元，完成图像曝光，将图像放入VDMA进行缓存，然后传入HLS进行图像的预处理，完成之后，通过VDMA将预处理完成的图像缓存在DDR3中，然后进行目标识别。（参见图3）

本发明的系统数据流如图1所示，首先4个摄像头进行主从模式的配置，分别通过4个SUBVIDS接口将数据传递到FPGA的PL部分，该部分对数据进行预处理之后，通过HP接口将数据传入到FPGA的PS部分进行目标识别，识别完成之后，通过SPI将数据进行输出，发送到上位机进行显示查看。

本发明的系统控制流如图2所示，本发明的系统控制为FPGA的PS部分，首先通过IIC总线对CMOS进行初始化的配置，包括设置图像的分辨率1990*2616、设置RAW图的位宽为14bit、确定操作的主从模式。接着通过AXI Lite总线为FPGA的PL部分进行初始化，包括VDMA的参数配置。最后通过SPI接口对SPI进行初始化的配置，包括SPI的速率10M。

本发明提供的基于上述设备的检测与识别方法，包括以下步骤：

步骤一、采用图像采集模块中的4个摄像头进行360度全方位成像，声学设备和红外激光探测设备探测到有运动目标时，4个sensor同时对数据进行采集。经过光电转换后，将原始数据raw图传入图像预处理模块中FPGA的PL模块。通过图像信号处理单元对raw图进行自动曝光处理，并将采集到的raw图像存储至DDR中。通过FPGA的核间通讯完成四目的图像采集控制，核0作为主控核，通过共享ARM来控制核1的启动和关闭，每个ARM核独立完成双目的图像采集。

图像采集模块的工作原理：所述模块中采用了四个星光级sensor，最大的分辨率为1990*2616，该Sensor的内部bayer格式模式为GBRG，因此每一点的RGB值可以由其领域点的信息数据算出来。其曝光时间是可以控制的，根据光照条件的不同，曝光时间也是不一样的，白天的平均曝光时间为1s，夜晚的曝光情况可分为短曝光和长曝光，短曝光的平均时间为2s，长曝光的平均时间为3s。

调整图像曝光的流程如下：

（1）初始曝光时间T，曝光增益G

（2）根据像素均值判断 day 和 night，计算时，将图像均匀的分成上中下三个部分，并对三部分的像素分别赋予权重，上：0.1，中：0.3，下：0.6，每隔4位对整幅图进行抽取像素（原图500w，抽100w），分别计算三个部分的均值，并最后进行求和，最终计算出整体的像素均值avg。

day：设置均值的合理区间，并根据初始的T计算下一幅图像的T。

night：设置均值的合理区间，并直接重置下一幅图像的 T 和 G 。

（3）短曝光：

3.1 计算 在整幅图像中像素值为 255 的像素点所占的比例proportion，如果超过一定比例，直接降低曝光时间，然后对得到的图像进行线性拉伸。如果没有，再次计算合适的 T 和 G

（4）长曝光:

根据均值判断是否需要进行长曝光，如果需要，直接重置T和G。

步骤二、将14bit的raw图传入目标识别模块中的运动目标IP核，进行帧差、二值化、滤波的处理。需要帧差的图像间隔1s采集，对图像进行帧差之后，得到差分图像，然后选取合适的阈值，进行二值化处理，最后，对二值化的图像进行滤波，滤波包括腐蚀和膨胀。

图像预处理模块的工作原理：间隔1s对图像进行采集，然后对这两幅图像进行帧差，接着使用OTSU法对其进行二值化处理，采用一个合适的阈值，将小于阈值的目标进行过滤，并保留远处一定距离内的目标，可以有效去除大的噪声和远处极小目标。然后使用腐蚀和膨胀滤波，消除图像上细小的噪声，并平滑物体边界。上述模块的功能使用Vivado HLS完成，并将其打包生成IP core，添加到Vivado工程中完成实时的图像预处理功能。最后将处理完成的图像传送至图像识别模块。整体的流程图如图3所示；

步骤三、对二值化的图像使用TWO-PASS方法进行连通域的查找，查找出运动目标，然后在14bit的raw图上进行运动目标的抠图，将只含运动目标的raw图通过加载卷积神经网络预训练的模型对其进行识别。整体的流程图如图4所示；

图像识别模块的工作原理：首先在处理后的二值图像中进行连通域的查找，使用TWO-PASS方法，只需要两次扫描就可以找出运动目标，提升了速度。再在原图上进行图像分割，将原始的运动目标找出，对找出的运动目标进行抠图，然后将其送入卷积神经网络进行识别，在线下使用PC对数据进行预训练，再将训练好的模型加载进程序中，实现了模型可配置，针对不同的识别需求可随时更换训练模型，极大的提高了系统的灵活性。整体的流程图如图5所示；

步骤四、若FPGA的主核0先完成识别，则等待从核1，若从核完成之后，直接将标志置为完成状态，主核收到之后，将双核的识别结果进行图像压缩，然后通过WIFI传输至上位机进行查看。

数据传输模块中使用外接WIFI模块与FPGA通过SPI接口连接，将识别完成的图像通过WIFI模块传输至手持终端。数据传输模块可根据实际需求进行相应的调整，可外接4G模块、网口传输模块等等。

本装置采用高性能500万像素1/1.8英寸星光级CMOS图像传感器，搭配3.6mm定焦特制镜头，在照度为 0.001Lux完成识别，低照度效果好，图像清晰度高，最大监控距离为50m，功率最大4W，重量只有50g，整体尺寸55mm×55mm×30mm，使用四路摄像头，水平视角360全景成像。

Claims (1)

1.一种基于FPGA的四目运动目标检测与识别的设备，其特征在于：包括声学设备、红外激光探测设备、探测识别组件，所述声学设备和红外激光探测设备分别与探测识别组件相接，所述探测识别组件由依次相接的图像采集模块、图像预处理模块、目标识别模块和识别结果发送模块组成，所述图像采集模块采用四个摄像头同步对信息进行采集，图像预处理模块使用FPGA的PL部分完成，目标识别模块使用FPGA的PS部分完成，识别结果发送模块采用WIFI传输，将最终结果上传至上位机进行显示查看；

所述摄像头采用的是星光级sensor；

基于上述设备的检测与识别方法，包括以下步骤：

步骤一、采用图像采集模块中的4个摄像头进行360度全方位成像，利用声学设备或红外激光探测设备探测到有运动目标时，4个sensor同时对数据进行采集：经过光电转换后，将原始数据raw图传入图像预处理模块中FPGA的PL模块；通过图像信号处理单元对raw图进行自动曝光处理，并将采集到的raw图像存储至DDR中；通过FPGA的核间通讯完成四目的图像采集控制，核0作为主控核，通过共享ARM来控制核1的启动和关闭，每个ARM核独立完成双目的图像采集；

步骤二、将raw图传入目标识别模块中的运动目标IP核，进行帧差、二值化、滤波的处理；

步骤三、对二值化的图像使用TWO-PASS方法进行连通域的查找，查找出运动目标，然后在raw图上进行运动目标的抠图，将只含运动目标的raw图送入加载卷积神经网络预训练的模型中对其进行识别；

步骤四、若FPGA的主核0先完成识别，则等待从核1，若从核完成之后，直接将标志置为完成状态，主核收到之后，将双核的识别结果进行图像压缩，然后通过WIFI传输至上位机进行查看。

Images