CN112911171B - 一种基于加速处理的智能光电信息处理系统及方法 - Google Patents

Abstract

本发明涉及目标检测与跟踪领域，尤其涉及一种基于加速处理的智能光电信息处理系统及方法。通过红外探测器采集目标机型的图像序列，并通过WLAN网口将图像信息传送给x86主机，然后通过PCIe接口实现与FPGA板卡的通信，并通过FPGA实现基于改进的YOLO v3深度学习网络计算加速，以及基于粒子滤波算法的位置预推，并保证系统的计算力和低延时，实现红外目标的实时检测与跟踪。

Description

一种基于加速处理的智能光电信息处理系统及方法

技术领域

本发明属于图像目标识别领域，具体涉及一种采用基于FPGA板卡、YOLO v3算法、粒子滤波算法、硬件加速的深度学习目标机型识别方法。

背景技术

传统的红外图像目标识别算法采用DSP处理器来实现基于高斯滤波、阈值分割等传统图像算法的红外目标检测与跟踪，面对复杂场景下以及存在多种红外遮挡、干扰的情况下，难以实现目标的有效检测与稳定跟踪。

深度卷积神经网络因其强大的特征表征能力，已被成功应用于目标检测和识别领域，并获得了良好的效果。然而目前尚无专门针对红外图像目标识别设计的网络模型，且卷积神经网络进行图像处理时需要强大的运算能力支撑，为了保证图像识别精度，深度神经网络的参数数目可以达到千万甚至亿级，现有片上处理器DSP的运算能力远不能满足要求。现有的卷积神经网络通常采用基于GPU来实现网络的加速实现，然而GPU功耗偏高，如深度学习常用的1080ti板卡的功耗通常在250W左右，不适用于智能光电信息处理系统的低功耗要求，因此，为了实现红外空中目标的实时检测与识别，需要开发一种基于嵌入式实现的卷积神经网络的实时目标识别的智能光电信息处理系统。

发明内容

本发明解决的技术问题是：针对现有技术的不足，提供了一种基于加速处理的智能光电信息处理系统及方法，用于实现红外空中目标的实时检测与识别的需求，通过红外探测器采集目标机型的图像序列，并通过WLAN网口将图像信息传送给x86主机，然后通过PCIe接口实现与FPGA板卡的通信，并通过FPGA实现基于改进的YOLO v3深度学习的网络计算加速，以及基于粒子滤波算法的位置预推，并保证系统的计算力和低延时，实现红外目标的实时检测与跟踪。

本发明的技术解决方案是：一种基于加速处理的智能光电信息系统，包括红外图像采集设备、智能光电信息处理上位机、FPGA加速单元；红外采集设备负责红外图像的实时采集，并通过WLAN网口传输方式将采集得到的红外图像通过UDP协议发送给x86主机上的智能光电信息处理上位机，上位机在接收到红外数据后依据UDP协议进行拆包，将拆包得到的图像数据发送给FPGA加速单元，FPGA加速单元运行基于改进的YOLOv3网络算法实现目标识别，依据识别结果的目标位置信息和目标类别信息，结合粒子滤波算法进行目标位置的预测，实现对于红外图像序列的实时、在线目标识别与跟踪，并将跟踪结果在上位机中进行显示。

所述基于改进的YOLOv3网络算法实现目标识别，针对在嵌入式设备使用卷积神经网络进行目标检测时，对YOLO v3进行改进，具体步骤包括如下内容：

a)将网络的输入从224*224*3改为256*256*1，符合实时采集的图片分辨率大小；

b)利用MobileNet轻量网络替换YOLO v3的darknet53基础网络；

c)合并卷积层与批归一化BN层；

d)重新计算候选框尺寸；

e)去掉网络的上采样过程；

所述步骤c)合并卷积层与BN层，具体过程为：合并YOLO v3中的卷积层和卷积层之后的BN层后，输出为：

其中x_out为卷积层和BN层合并后的输出，x_i为卷积层的输入，w′_i为合并后的权重参数，

其中γ为缩放因子，σ²为卷积层输入x_i的方差；

所述步骤d)重新计算候选框尺寸，具体过程为：利用K-means聚类算法对目标候选框的个数和宽高比维度进行聚类分析，得到针对于可见光敌我识别图像样本的候选框的宽高比，；聚类的AvgIOU目标函数采用如下形式：

式中，B表示样本，也即标记的目标位置，C表示簇的中心，n_k表示第k个聚类中心样本的个数，n表示样本总个数，k表示簇的个数，I_IOU(B,C)表示簇的中心框和聚类框的交并比，i表示样本序号，j表示聚类中心样本的序号；

所述步骤e)去掉网络上采样过程，采用通过卷积实现下采样的方式，对上一层尺度的输出特征图进行降采样，然后与下一层尺度的特征图进行拼接的方式来实现特征图的融合。

所述FPGA加速单元运行基于改进的YOLOv3网络算法，具体过程为：首先将YOLO v3的网络权重进行8bit量化，然后由FPGA端实现YOLOv3网络中的卷积层与BN层，拼接route层，残差res层，转化后的下采样层，输出的目标位置、类别和置信度结果反馈给上位机软件，在PC端实现YOLO v3的多尺度输出的结果级融合，得到最终的预测输出。

所述上位机在接收到红外数据后依据UDP协议进行拆包，具体过程为：离线状态下上位机读取本地PC机上的图片；在线状态下通过网口与红外采集设备相连接的方式，上位机实现数据的实时接收，并通过UDP协议实现红外数据的解包，具体的协议为：每个数据包包含数据496字节，其中图像数据为490字节，数据包发送帧频为0.15ms；发送的图像分辨率为256×256的单通道红外图像，图像发送帧频为50Hz；

数据传输带宽为：50×256×256＝3.3MB/s，满足网口带宽要求；

UDP数据发包协议为：

a1)一副图像共有133个包；

b1)单包中数据长度为496；

c1)单包中第0，1字节为帧头：55AA，其中AA为第0字节；

d1)单包中第2，3字节为数据长度：01EC，其中EC为第二字节；

e1)单包中第4字节为图像序号，在1到256之间循环；

f1)单包中第5字节为该幅图像的第几包，在0-132之间；

g1)单包中第6-495字节为图像数据；

结合粒子滤波算法进行目标位置的预测，实现对于红外图像序列的实时、在线目标识别与跟踪，具体为：利用YOLO v3算法进行目标检测，待多帧检测稳定后，切换到结合粒子滤波的流程，在当前目标位置处，记录目标相对于上一帧的目标运动模型s＝{x,y,v_x,v_y,H_x,H_y,α}，其中x、y为目标中心位置，v_x,v_y为目标在相邻两帧图像中x、y方向上的运动速度H_x、H_y为目标的宽和高,α为当前目标发生的尺度变化因子；

在粒子滤波流程中，利用在t-1时刻的粒子的状态s_t-1到t时刻的状态s_t的状态更新方程表述为s_t＝As_t-1+μ，式中A为状态转移矩阵,μ为高斯噪声；利用上式进行状态转移操作，得到新的粒子样本

利用YOLO v3算法得到每个粒子区域内目标存在与否，以及存在目标情况下的目标置信度和目标位置，当目标置信度大于所预先设定的置信度阈值时，保留当前目标的位置，并结合NMS极大值抑制方法，对多个目标位置进行筛选，得到最终的目标位置与置信度。

将跟踪结果在上位机中进行显示具体过程为：

通过WLAN接口调用红外探测器采集图像的实时读取和显示，并通过PCIe接口调用FPGA板卡实现图像数据的实时处理，实现目标识别与跟踪结果的实时处理、显示与存储。

一种基于加速处理的智能光电信息处理方法，步骤如下：

(1)采集数据；利用红外采集设备采集目标的红外图像序列，并按照采集的顺序为图片编号，构建目标数据样本集；

(2)进行目标信息标记；对样本集进行目标位置和类别的人工标记，得到目标红外图像中的目标机型的中心位置、长宽大小、机型种类信息；并采用水平翻转、旋转、镜像变换、亮度变换、缩放、添加高斯白噪声这6种样本增广的方式扩充采集得到的样本集；将样本集按照8：2的比例划分为训练样本和测试样本；

(3)网络训练；利用步骤(2)中得到的数据样本集，结合YOLO v3进行网络训练，训练时采用的YOLOv3网络模型配置参数的设置如下：

网络模型的输入设置为256*256*1，迭代次数设置为50000，网络模型的初始学习率设置为0.001，训练过程中迭代20000次后学习率设置为缩小为原来的0.1倍，迭代至25000次后学习率设置为再缩小为原来的0.1倍；利用步骤(2)中人工标记的训练样本在服务器端采用YOLO v3框架算法进行网络模型的训练，得到YOLOv3网络模型的网络权重参数，并采用该网络权重参数，对步骤(1)中得到的测试样本进行目标识别，并将识别结果中的目标类别和目标位置与人工标记得到目标类别和目标位置进行比较，以mAP值作为评估指标，当mAP值小于50％时，调整网络参数重新进行步骤(3)的网络训练过程；

(4)上位机测试；当步骤(3)中网络训练达到设置的迭代次数且mAP达标时，将训练得到的网络模型的权重参数进行保存，并转换为FPGA板卡可识别的格式配置到上位机中，启动上位机系统软件，接收红外采集设备的图像数据，调用FPGA实现图像中目标的识别，并调用粒子滤波算法实现目标位置的预测，从而实现实时在线的目标识别与跟踪功能。

本发明与现有技术相比的优点在于：

1)本发明采用了基于WLAN网口的数据传输方式，有效利用了工控机现有的接口，为数据信息通信接口的设置留下了更多合理的接口。

2)本发明采用了基于改进的YOLO v3算法，在确保网络识别准确率的同时，提升了网络的推理速率，同时采用了轻量化网络Mobile Net，降低了算法实现的复杂度，提升了嵌入式实现的可行性。

3)本项目采用了基于FPGA板卡的加速单元实现嵌入式网络模型的实现，在确保网络运行的速率和识别准确度的同时，有效降低了硬件的功耗。

4)本项目在基于卷积神经网络识别的基础上，添加了基于粒子滤波的位置预推功能，将目标检测与位置滤波相结合，实现了基于YOLO v3卷积神经网络算法的目标检测与跟踪功能，大大提升了目标跟踪的稳定性。

附图说明

图1为本发明系统框图。

图2为通过卷积替换上采样示意图，其中(a)为上采样过程，(b)为去掉上采样过程。

具体实施方式

本发明一种基于加速处理的智能光电信息处理方法，包括如下步骤：

(1)采集数据。利用红外采集设备采集目标的红外图像序列，并按照采集的顺序为图片编号，例如0001～0999，构建目标数据样本集。

(2)进行目标信息标记。对样本集进行目标位置和类别的人工标记，得到目标红外图像中的目标机型的中心位置、长宽大小、机型种类信息；并采用水平翻转、旋转、镜像变换、亮度变换、缩放、添加高斯白噪声这6种样本增广的方式扩充采集得到的样本集；将样本集按照8：2的比例划分为训练样本和测试样本；

(3)网络训练。利用步骤(2)中得到的数据样本集，结合YOLO v3进行网络训练，训练时采用的YOLOv3网络模型配置参数的设置如下：网络模型的输入设置为256*256*1，迭代次数设置为50000，网络模型的初始学习率设置为0.001，训练过程中迭代20000次后学习率设置为缩小为原来的0.1倍，迭代至25000次后学习率设置为再缩小为原来的0.1倍；利用步骤(2)中人工标记的训练样本在服务器端采用YOLO v3框架算法进行网络模型的训练，得到YOLOv3网络模型的网络权重参数，并采用该网络权重参数，对步骤(1)中得到的测试样本进行目标识别，并将识别结果中的目标类别和目标位置与人工标记得到目标类别和目标位置进行比较，以mAP值作为评估指标，当mAP值小于50％时，调整网络参数重新进行步骤(3)的网络训练过程；

(4)上位机测试。当步骤(3)中网络训练达到设置的迭代次数且mAP达标时，将训练得到的网络模型的权重参数进行保存，并转换为FPGA板卡可识别的格式配置到上位机中，启动上位机系统软件，接收红外采集设备的图像数据，调用FPGA实现图像中目标的识别，并调用粒子滤波算法实现目标位置的预测，从而实现实时在线的目标识别与跟踪功能。

所述，改进的YOLOv3网络算法实现目标识别，其特征在于，针对在嵌入式设备使用卷积神经网络进行目标检测，对YOLO v3进行改进，在不降低精度的情况下，减少模型的参数量，提高运算速度。

改进的措施主要为：将网络的输入从224*224*3改为256*256*1，符合实时采集的图片分辨率大小；利用MobileNet轻量网络替换YOLO v3的darknet53基础网络；合并卷积层与BN层；重新计算候选框尺寸；去掉网络的上采样过程等改进方法。

进一步的，所述合并卷积层与BN层，其特征在于，YOLO v3中的卷积层后面都跟有一个Bach Normalization(BN)层，通过BN层对该层数据进行批归一化操作，可以加速网络收敛，并且能够控制过拟合，然后在网络前向推断过程中多了一层的运算，占用了更多的内存或者显存空间，因此将BN层参数合并到卷积层，提升模型前向推断的速度。

合并前的BN层计算过程为：

其中γ为缩放因子，μ为均值，σ²为方差，β,为偏置，x_out为BN计算结果，x_conv为BN层前面的卷积计算结果：

其中x_i为卷积层输入，w_i为卷积层的权重参数。

合并卷积与BN层后：

即

合并后全职参数变为：

偏置变为：

合并后的计算变为：

进一步的，所述重新计算候选框尺寸，其特征在于：利用K-means聚类算法对目标候选框的个数和宽高比维度进行聚类分析，得到针对于可见光敌我识别图像样本的候选框的宽高比，降低网络训练过程中收敛的难度。聚类的AvgIOU目标函数采用如下形式：

式中，B表示样本，也即ground truth中的目标，C表示簇的中心，nk表示第k个聚类中心样本的个数，n表示样本总个数，k表示簇的个数，I_IOU(B,C)表示簇的中心框和聚类框的交并比，i表示样本序号，j表示聚类中心样本的序号。

进一步的，所述去掉网络上采样过程，原因在于YOLO v3网络中的上采样操作是一种相对比较耗时、性价比不高的方式，在不损失网络精度和网络思想的前提下，采用通过卷积实现下采样的方式，对上一层尺度的输出特征图进行降采样，然后与下一层尺度的特征图进行拼接的方式来实现特征图的融合。

所述FPGA加速单元运行基于改进的YOLOv3网络算法，其特征具体在于，首先由FPGA端实现YOLOv3网络中的卷积层与BN层，拼接层(route层)，残差层(res层)，转化后的下采样层，输出的目标位置、类别和置信度结果反馈给上位机软件，在PC端实现YOLO v3的多尺度输出的结果级融合，得到最终的预测输出。

所述的一种基于加速处理的智能光电信息系统，其特征在于，上位机在接收到红外数据后依据UDP协议进行拆包的具体过程为，上位机完成红外数据的读取、FPGA板卡的调用、目标识别信息的显示以及识别结果图像保存和反馈等功能。其中数据读取分为离线状态下读取本地PC机上的图片。在线状态下为通过网口与红外采集设备相连接的方式，实现数据的实时接收，并通过UDP协议实现红外数据的解包，具体的协议为：每个数据包包含数据496字节，其中图像数据为490字节，数据包发送帧频为0.15ms。发送的图像分辨率为256×256的单通道红外图像，图像发送帧频约为50Hz。

数据传输带宽为：50×256×256＝3.3MB/s，满足网口带宽要求。

UDP数据发包协议为：

a)一副图像共有133个包；

b)单包中数据长度为496；

c)单包中第0，1字节为帧头：55AA(AA为第0字节)；

d)单包中第2，3字节为数据长度：01EC(EC为第二字节)；

e)单包中第4字节为图像序号，在1到256之间循环；

f)单包中第5字节为该幅图像的第几包，在0-132之间；

g)单包中第6-495字节为图像数据；

所述一种基于加速处理的智能光电信息系统，其特征在于，结合粒子滤波算法进行目标位置的预测，实现对于红外图像序列的实时、在线目标识别与跟踪的具体过程为：首先利用YOLO v3算法进行目标检测，待多帧检测稳定后，切换到结合粒子滤波的流程，在当前目标位置处，记录目标相对于上一帧的目标运动模型s＝{x,y,v_x,v_y,H_x,H_y,α}，其中x、y为目标中心位置，v_x,v_y为目标在相邻两帧图像中x、y方向上的运动速度H_x、H_y为目标的宽和高,α为当前目标发生的尺度变化因子。

在粒子滤波流程中，在t-1时刻的粒子的状态s_t-1到t时刻的状态s_t的状态更新方程可表述为s_t＝As_t-1+μ，式中A为状态转移矩阵,μ为高斯噪声.利用上式进行状态转移操作，得到新的粒子样本，

利用YOLO v3算法得到每个粒子区域内目标存在与否，以及存在目标情况下的目标置信度和目标位置，当目标置信度大于所预先设定的置信度阈值时，保留当前目标的位置，并结合NMS极大值抑制方法，对多个目标位置进行筛选，得到最终的目标位置与置信度。

所述的一种基于加速处理的智能光电信息系统，其特征在于，将跟踪结果在上位机中进行显示，其特征在于，所述基于上位机软件界面程序，通过WLAN接口调用红外探测器采集图像的实时读取和显示，并通过PCIe接口调用FPGA板卡实现图像数据的实时处理，实现目标识别与跟踪结果的实时处理、显示与存储。

Claims (7)

1.一种基于加速处理的智能光电信息系统，其特征在于，包括红外图像采集设备、智能光电信息处理上位机、FPGA加速单元；红外采集设备负责红外图像的实时采集，并通过WLAN网口传输方式将采集得到的红外图像通过UDP协议发送给x86主机上的智能光电信息处理上位机，上位机在接收到红外数据后依据UDP协议进行拆包，将拆包得到的图像数据发送给FPGA加速单元，FPGA加速单元运行基于改进的YOLOv3网络算法实现目标识别，依据识别结果的目标位置信息和目标类别信息，结合粒子滤波算法进行目标位置的预测，实现对于红外图像序列的实时、在线目标识别与跟踪，并将跟踪结果在上位机中进行显示；

所述基于改进的YOLOv3网络算法实现目标识别，针对在嵌入式设备使用卷积神经网络进行目标检测时，对YOLO v3进行改进，具体步骤包括如下内容：

a)将网络的输入从224*224*3改为256*256*1，符合实时采集的图片分辨率大小；

b)利用MobileNet轻量网络替换YOLO v3的darknet53基础网络；

c)合并卷积层与批归一化BN层；

d)重新计算候选框尺寸；

e)去掉网络的上采样过程。

2.如权利要求1所述的一种基于加速处理的智能光电信息系统，其特征在于，所述步骤c)合并卷积层与BN层，具体过程为：合并YOLO v3中的卷积层和卷积层之后的BN层后，输出为：

其中x_out为卷积层和BN层合并后的输出，x_i为卷积层的输入，w′_i为合并后的权重参数，

其中γ为缩放因子，σ²为卷积层输入x_i的方差；β′为合并卷积与BN层后的偏置，w_i为卷积层的权重参数。

3.如权利要求1所述的一种基于加速处理的智能光电信息系统，其特征在于，所述步骤d)重新计算候选框尺寸，具体过程为：利用K-means聚类算法对目标候选框的个数和宽高比维度进行聚类分析，得到针对于可见光敌我识别图像样本的候选框的宽高比；聚类的AvgIOU目标函数采用如下形式：

式中，B表示样本，也即标记的目标位置，C表示簇的中心，n_k表示第k个聚类中心样本的个数，n表示样本总个数，k表示簇的个数，I_IOU(B,C)表示簇的中心框和聚类框的交并比，i表示样本序号，j表示聚类中心样本的序号。

4.如权利要求1所述的一种基于加速处理的智能光电信息系统，其特征在于，所述步骤e)去掉网络上采样过程，采用通过卷积实现下采样的方式，对上一层尺度的输出特征图进行降采样，然后与下一层尺度的特征图进行拼接的方式来实现特征图的融合。

5.如权利要求1所述的一种基于加速处理的智能光电信息系统，其特征在于，所述FPGA加速单元运行基于改进的YOLOv3网络算法，具体过程为：首先将YOLO v3的网络权重进行8bit量化，然后由FPGA端实现YOLOv3网络中的卷积层与BN层，拼接route层，残差res层，转化后的下采样层，输出的目标位置、类别和置信度结果反馈给上位机软件，在PC端实现YOLOv3的多尺度输出的结果级融合，得到最终的预测输出。

6.如权利要求1所述的一种基于加速处理的智能光电信息系统，其特征在于，所述上位机在接收到红外数据后依据UDP协议进行拆包，具体过程为：离线状态下上位机读取本地PC机上的图片；在线状态下通过网口与红外采集设备相连接的方式，上位机实现数据的实时接收，并通过UDP协议实现红外数据的解包，具体的协议为：每个数据包包含数据496字节，其中图像数据为490字节，数据包发送帧频为0.15ms；发送的图像分辨率为256×256的单通道红外图像，图像发送帧频为50Hz；

数据传输带宽为：50×256×256＝3.3MB/s，满足网口带宽要求；

UDP数据发包协议为：

a1)一副图像共有133个包；

b1)单包中数据长度为496；

c1)单包中第0，1字节为帧头：55AA，其中AA为第0字节；

d1)单包中第2，3字节为数据长度：01EC，其中EC为第二字节；

e1)单包中第4字节为图像序号，在1到256之间循环；

f1)单包中第5字节为该幅图像的第几包，在0-132之间；

g1)单包中第6-495字节为图像数据。

7.如权利要求1中所述的一种基于加速处理的智能光电信息系统，其特征在于，将跟踪结果在上位机中进行显示具体过程为：

通过WLAN接口调用红外探测器采集图像的实时读取和显示，并通过PCIe接口调用FPGA板卡实现图像数据的实时处理，实现目标识别与跟踪结果的实时处理、显示与存储。

Images