CN112581509B - 一种基于sopc的无人机载地面目标实时跟踪系统及跟踪方法 - Google Patents

Abstract

本发明公开了一种基于SOPC的无人机载地面目标实时跟踪系统，包括摄像头单元、图像处理单元、图像压缩单元、无线图传模块和地面站，摄像头单元与图像处理单元连接、图像处理单元与图像压缩单元连接、图像压缩单元与无线图传模块连接，无线图传模块与地面站连接；图像处理单元包括FPGA和ARM，FPGA用于进行图像的采集、处理、存储和传输，FPGA完成图像的存储后向ARM发送图像存储完毕和指示当前存储地址的信号，以启动ARM的跟踪流程；ARM用于完成控制指令的解析、跟踪算法的实现和跟踪流程控制。本发明还公开了一种地面目标跟踪方法。该基于SOPC的无人机载地面目标实时跟踪系统的目的是解决如何实现对地面目标的实时稳定跟踪的问题。

Description

一种基于SOPC的无人机载地面目标实时跟踪系统及跟踪方法

技术领域

本发明涉及无人机跟踪技术领域，具体涉及一种基于SOPC的无人机载地面目标实时跟踪系统及跟踪方法。

背景技术

无人飞机是一种通过无线电指令或自身程序控制的无人飞行器，具有体积小、重量轻、成本低、起落条件简单等优点。随着传感器技术的进步和集成处理器的高速发展，无人机上能够搭载清晰度更高的摄影设备，处理能力更强的芯片以及更多的外设，使得计算机视觉在无人机飞行控制系统中的作用变得越来越重要。无人机的发展状况从早期负责简单的摄像或侦察任务，逐渐转变为进行图像或视频处理、跟踪或巡航等复杂的信息处理任务。使用基于相关滤波的目标跟踪算法能够更好的适应机载平台的特点和能力，在完成对地面目标跟踪的同时，配合其他传感器来增强对周围环境的感知能力，使得无人机能够实现真正的自动化处理复杂信息任务。

硬件系统选择方面，嵌入式处理系统以其体积小，便于开发，计算能力强等优势承担了越来越多的无人机平台基于计算机视觉的任务。通过利用专用处理芯片，如ARM、DSP或FPGA等方式来实现的机载处理系统是目前最为主流的解决方案。由ARM或DSP等串行指令执行芯片组成的处理系统可以完成复杂度和准确性要求较高的任务，而诸如CLPD或FPGA(Field Programmable Gate Array，现场可编程门阵列)等芯片则更加适合负责机载平台的快速图像处理和数据传输的职责。同时结合了两种类型芯片特点的SOPC(System On aProgrammable Chip，可编程片上系统)技术以及各种成熟IP核的出现，使得利用SOPC来搭建视频处理系统也受到了越来越多的重视。

有鉴于此，本领域技术人员亟待提供一种基于SOPC的无人机载地面目标实时跟踪系统及跟踪方法用于解决上述问题。

发明内容

(一)要解决的技术问题

本发明的目的在于提供一种基于SOPC的无人机载地面目标实时跟踪系统及跟踪方法，以解决如何实现对地面目标的实时稳定跟踪的技术问题。

(二)技术方案

本发明的第一方面提供了一种基于SOPC的无人机载地面目标实时跟踪系统，包括摄像头单元、图像处理单元、图像压缩单元、无线图传模块和地面站，所述摄像头单元与所述图像处理单元连接、所述图像处理单元与所述图像压缩单元连接、所述图像压缩单元与所述无线图传模块连接，所述无线图传模块与所述地面站连接；

所述图像处理单元包括FPGA和ARM，所述FPGA用于进行图像的采集、处理、存储和传输，所述FPGA完成图像的存储后向所述ARM发送图像存储完毕和指示当前存储地址的信号，以启动所述ARM的跟踪流程；所述ARM用于完成控制指令的解析、跟踪算法的实现和跟踪流程控制。

进一步地，所述FPGA与所述CCD图像传感器通过LVDS连接；其中，所述FPGA用于编写所述CCD图像传感器的初始化配置模块，所述初始化配置模块包括SPI物理层接口子模块和寄存器读写控制子模块。

进一步地，所述FPGA包括DDR缓存控制模块，所述DDR缓存控制模块用于完成图像数据的写入和读出，其包括写入控制子模块、读出控制子模块和DDR核心控制子模块。

进一步地，所述FPGA和所述ARM通过AXI总线连接，所述ARM完成对本帧图像的跟踪后，利用所述AXI总线将跟踪结果和跟踪完成信号发送至跟踪框及字符叠加模块；所述字符叠加模块通过所述DDR缓存控制模块从挂载在所述FPGA下的DDR3的对应地址中读取灰度图像数据，并在图像数据流中利用预存的中英文字符模板、跟踪框和结果显示模板将跟踪结果和其它需要显示的状态信息叠加到数据流中。

进一步地，所述FPGA还包括串口底层模块，所述串口底层模块用于对所述地面站发来的控制指令进行串并转换，并交由所述ARM进行指令解析；以及将所述ARM需要发送的跟踪结果和状态信息进行并串转换，形成满足RS422标准传输协议的数据流并返回给所述地面站。

进一步地，所述串口底层模块包括时钟产生子模块、串口发送子模块和串口接收子模块。

进一步地，所述摄像头单元、所述图像处理单元、所述图像压缩单元和所述无线图传模块均设置在机载平台上。

进一步地，所述无线图传模块为数字图传电台。

本发明的第二方面提供了一种应用于上述基于SOPC的无人机载地面目标实时跟踪系统的地面目标跟踪方法，该方法包括以下步骤：

建立目标梯度模型；

获取新一帧图像；

建立搜索区域的梯度模型；

计算响应图确定目标中心；

利用目标提取算法获取目标尺度信息；

更新目标模型；

输出目标信息。

进一步地，所述利用目标提取算法获取目标尺度信息，具体包括如下步骤：

获取目标中心区域；

以高斯算法对所述目标中心区域的图像进行低通滤波处理；

Roberts算子边缘检测；

改进的Otsu阈值分割；

闭运算；

孔洞填充；

输出位置和尺度信息。

(三)有益效果

本发明提供的基于SOPC的无人机载地面目标实时跟踪系统，包括摄像头单元、图像处理单元、图像压缩单元、无线图传模块和地面站，摄像头单元与图像处理单元连接、图像处理单元与图像压缩单元连接、图像压缩单元与无线图传模块连接，无线图传模块与地面站连接；图像处理单元包括FPGA和ARM，FPGA用于进行图像的采集、处理、存储和传输，FPGA完成图像的存储后向ARM发送图像存储完毕和指示当前存储地址的信号，以启动ARM的跟踪流程；ARM用于完成控制指令的解析、跟踪算法的实现和跟踪流程控制。通过整合机载模块和地面控制模块，实现了基于SOPC的无人机载地面目标实时跟踪系统，该系统可以实现对地面目标的实时稳定跟踪，以及对无人机的流程控制。跟踪处理时间达到了16.6ms以内，满足对于帧频为60Hz视频的跟踪需求，系统总体时延在200ms以内，实现了实时处理。在系统功耗、面积和重量等三个方面，相比FPGA+DSP的解决方案均降低了不少。

附图说明

图1是本发明实施例提供的一种基于SOPC的无人机载地面目标实时跟踪系统的结构框图；

图2是本发明实施例提供的一种基于SOPC的无人机载地面目标实时跟踪系统中FPGA和ARM的功能划分示意图；

图3是本发明实施例提供的一种基于SOPC的无人机载地面目标实时跟踪系统的地面目标实时跟踪的实验结果图；

图4是本发明实施例提供的一种地面目标实时跟踪方法的流程示意图；

图5是本发明实施例提供的一种地面目标实时跟踪方法中目标提取算法的流程示意图。

具体实施方式

以下结合附图对本发明的具体实施方式做出详细说明。

根据本发明实施例的第一方面提供了一种基于SOPC的无人机载地面目标实时跟踪系统，如图1-2所示，包括摄像头单元、图像处理单元、图像压缩单元、无线图传模块和地面站，摄像头单元与图像处理单元连接、图像处理单元与图像压缩单元连接、图像压缩单元与无线图传模块连接，无线图传模块与地面站连接；

图像处理单元包括FPGA和ARM，FPGA用于进行图像的采集、处理、存储和传输，FPGA完成图像的存储后向ARM发送图像存储完毕和指示当前存储地址的信号，以启动ARM的跟踪流程；ARM用于完成控制指令的解析、跟踪算法的实现和跟踪流程控制。

在上述实施方式中，摄像头单元中的CCD图像传感器用于获取高清图像，图像处理单元用于完成图像预处理、执行跟踪算法以及对跟踪处理系统进行流程控制任务，图像压缩单元用于进行图像压缩，并通过无线图传模块将图像数据发送至地面站，地面站用于完成图像和跟踪结果的显示，以及对无人机平台的控制。

由于本发明实施例中的摄像头单元、图像压缩单元和无线图传系统为常规结构，因此对其结构、内部连接关系及相互之间的连接关系并不会做进一步详细地描述。

通过整合机载模块和地面控制模块，实现了基于SOPC的无人机载地面目标实时跟踪系统，该系统可以实现对地面目标的实时稳定跟踪，以及对无人机的流程控制。跟踪处理时间达到了16.6ms以内，满足对于帧频为60Hz视频的跟踪需求，系统总体时延在200ms以内，实现了实时处理。在系统功耗、面积和重量等三个方面，相比FPGA+DSP的解决方案均降低了不少。具体实验数据见下表1-2。

表1跟踪算法各关键模块分别在FPGA+DSP平台和SOPC平台中的计算耗时对比结果

实验平台	FPGA+DSP	SOPC
			目标区域梯度模型建立模块	2.9ms	3.5ms
搜索区域梯度模型建立模块	4ms	5.5ms
			响应图计算模块	0.8ms	1ms
目标框自适应模块	2.1ms	2.6ms
			单帧目标跟踪	12ms	16ms
系统总体时延	180ms	190ms

表2两种嵌入式解决方案中核心处理板及其外围电路功耗、面积和重量的对比结果

实验平台	FPGA+DSP	SOPC
			功耗	10w-12w	5w-6w
面积	80mm x 80mm	45mm x 45mm
			重量	120g	75g

FPGA主要负责图像的采集、处理、存储和传输等任务，内部的双核ARM完成控制指令的解析、跟踪算法的实现和跟踪流程控制等工作。

如图3所示，给出了地面目标实时跟踪的实验结果图，从图中可以清晰地看出地面目标的实时动态。

在一些可选的实施例中，FPGA与CCD图像传感器通过LVDS连接；其中，FPGA用于编写CCD图像传感器的初始化配置模块，初始化配置模块包括SPI物理层接口子模块和寄存器读写控制子模块。

在一些可选的实施例中，FPGA包括DDR缓存控制模块，DDR缓存控制模块用于完成图像数据的写入和读出，其包括写入控制子模块、读出控制子模块和DDR核心控制子模块。

在一些可选的实施例中，FPGA和ARM通过AXI总线连接，ARM完成对本帧图像的跟踪后，利用AXI总线将跟踪结果和跟踪完成信号发送至跟踪框及字符叠加模块；字符叠加模块通过DDR缓存控制模块从挂载在FPGA下的DDR3的对应地址中读取灰度图像数据，并在图像数据流中利用预存的中英文字符模板、跟踪框和结果显示模板将跟踪结果和其它需要显示的状态信息叠加到数据流中。

在一些可选的实施例中，FPGA还包括串口底层模块，串口底层模块用于对地面站发来的控制指令进行串并转换，并交由ARM进行指令解析；以及将ARM需要发送的跟踪结果和状态信息进行并串转换，形成满足RS422标准传输协议的数据流并返回给地面站。

在一些可选的实施例中，串口底层模块包括时钟产生子模块、串口发送子模块和串口接收子模块。

在一些可选的实施例中，摄像头单元、图像处理单元、图像压缩单元和无线图传模块均设置在机载平台上。

在一些可选的实施例中，无线图传模块为数字图传电台。

上述基于SOPC的无人机载地面目标实时跟踪系统的工作原理具体如下：

首先，FPGA根据摄像机数据手册中要求的上电时序、SPI的工作时序和寄存器配置方式，编写CCD(Charge-coupled Device，电荷耦合元件)图像传感器初始化配置模块spi_control()，其中初始化配置模块包括SPI物理层接口子模块spi_port()和寄存器读写控制子模块spi_oper()。在摄像头上电后对其内部寄存器进行初始化配置，包括工作模式、曝光时间、增益和通道设置等。在上电配置结束后，FPGA向CCD芯片发送图像请求，随即开始接收图像数据。

FPGA利用LVDS(Low Voltage Differential Signaling，低电压差分信号)接收模块lvds_receive()接收来自CCD摄像头的原始图像数据，将串行的LVDS数据转换为并行的YUV数据。处理后的图像数据为10bit的YUV格式，在格式转换模块yuv2rgb()中根据转换公式将其实时转换为10bit的RGB格式，与行场同步信号一起发送至色彩校正模块。

由于获得的原始图像在色彩上与实际场景存在一些偏差，利用MATLAB将前期使用CMV4000拍摄到的多组图片进行RGB三个通道的色彩校正，将矫正参数预存入色彩校正模块color_calibration()中，利用乘加器高速完成对数据流的色彩校正。

因为目标跟踪算法中特征模型的建立在灰度空间完成，在得到良好的摄像头图像后需要计算其灰度图，并且将数据位宽转换为8bit。灰度图计算模块rgb2gray()根据RGB转灰度的公式，完成对图像数据流的灰度转化，并截取其数据的高8位作为最终存储至DDR3中的图像。

FPGA中的DDR缓存控制模块ddr_control()负责完成图像数据的写入和读出，包括写入控制子模块ddr_write_ctl()、读出控制子模块ddr_read_ctl()和DDR核心控制子模块ddr_ctl_top()。灰度图计算模块完成对本帧图像的灰度转化后，将图像数据和行场同步信号发送至写入控制子模块，写入控制子模块产生相应的控制信号和DDR内的存储地址，利用DDR核心子控制模块依次将图像数据存入挂载在FPGA和ARM下DDR3中的对应地址空间，完成1帧图像的存储后向ARM发送图像存储完毕和指示当前存储地址的信号，以启动ARM端的跟踪流程。

当ARM端完成对本帧图像的跟踪后，利用AXI总线将跟踪结果和跟踪完成信号发送至跟踪框及字符叠加模块info_add()。字符叠加模块同样通过DDR缓存控制模块从挂载在FPGA下的DDR3的对应地址中读取灰度图像数据，并在图像数据流中利用预存的中英文字符模板、跟踪框和结果显示模板将跟踪结果和其它需要显示的状态信息叠加到数据流中。

最后，LVDS传输模块lvds_send()将字符叠加模块处理后的图像数据流进行并串转换和跨时钟域调整，将数据以串行的方式传输至压缩模块的FPGA中，其中LVDS的数据位宽为8bit，传输时钟为100MHz。

串口底层模块uart()描述了RS422标准的接口逻辑，负责对地面站发来的控制指令进行串并转换，并交由ARM进行指令解析。将ARM需要发送的跟踪结果和状态信息进行并串转换，形成满足RS422标准传输协议的数据流，返回给地面站。串口底层模块uart()包括时钟产生子模块clk_generator()、串口发送子模块uart_tx()和串口接收子模块uart_rx()。

在接收到DDR存储控制模块发送的本帧图像存储完成信号后，ARM端开始针对当前帧图像进行目标跟踪和相应的流程控制。

首先，ARM在系统上电后进行相关外设和接口的初始化，当接收到本帧图像存储完成的信号后，开始本帧图像的跟踪流程。

目标梯度模型建立函数target_initialize()从挂载在ARM下的DDR3中提取初始目标框大小的图像数据，建立目标的梯度模型并利用二维的FFT计算其在频域的响应target_f。接收到下一帧图像后，在搜索区域梯度模型建立函数search_initialize()中提取目标当前位置周围搜索区域大小的图像数据，同样，建立搜索区域的梯度模型和其在频域的响应search_f。

响应计算函数respond_calculate()中对target_f和search_f进行矩阵乘法后利用二维IFFT得到响应图，通过寻找响应图中峰值的位置获得准确的目标坐标信息。建立响应图峰值的信息库，利用峰值的历史均值和当前值判定目标是否丢失。

若目标丢失，根据地面站指令启动目标重定位模块重新获取目标的坐标和尺度信息，或退出跟踪流程回到初始状态，等待其它地面站指令。若目标未丢失，对目标正确跟踪计数N进行累加。若N>10，则目标提取函数target_segment()会对目标区域进行边缘检测，阈值分割等操作提取出准确的目标信息，计算目标在目标框中的占比R。若R>0.6，则表示目标在目标框中占比过大，此时增大目标框大小和搜索框大小，将N置为0。最后，更新目标的梯度模型，输出目标信息，将当前跟踪坐标和尺度信息通过AXI总线输出至FPGA中的跟踪框及字符叠加模块。

地面站发送至机载平台的控制指令以及跟踪处理的结果和状态信息最终以串口(RS422标准)的方式进行传输，由FPGA进行底层的串并/并串转换，ARM的cmd_analysis()函数负责命令解析和组成。FPGA在将地面站的控制指令进行串并转换后，向ARM端发送一个中断信号，ARM在中断服务函数中完成对控制指令的解析，并在下一帧跟踪开始时根据指令调整当前的跟踪状态。在ARM完成本帧的跟踪任务后，将跟踪结果和状态信息发送至FPGA内的串口底层模块，进行并串转换并返回至地面站。

根据本发明实施例的第二方面提供了一种应用于上述基于SOPC的无人机载地面目标实时跟踪系统的地面目标跟踪方法，如图4所示，该方法包括以下步骤：

S1、建立目标梯度模型；

S2、获取新一帧图像；

S3、建立搜索区域的梯度模型；

S4、计算响应图确定目标中心；

S5、利用目标提取算法获取目标尺度信息；

S6、更新目标模型；

S7、输出目标信息。

在上述实施方式中，在步骤S7完成后重新进入步骤S2获取新一帧图像，依次重复进行目标的跟踪处理。

在一些可选的实施例中，在步骤S5中，利用目标提取算法获取目标尺度信息，如图5所示，具体包括如下步骤：

S501、获取目标中心区域；

S502、以高斯算法对目标中心区域的图像进行低通滤波处理；

S503、Roberts算子边缘检测；

S504、改进的Otsu阈值分割；

S505、闭运算；

S506、孔洞填充；

S507、输出位置和尺度信息。

在上述实施方式中，在步骤S501中，目标中心区域范围可选为128*128像素。

在上述实施方式中，目标提取算法可以准确地从背景中将目标分割出来并进行尺度估计，基于梯度信息的目标跟踪算法能够有效的对目标进行跟踪，并适应目标形变、旋转等因素的影响，具有一定的准确性和鲁棒性。

综上，本发明公开了一种基于阈值分割和边缘检测的目标提取算法来快速获得准确的目标尺度信息，用于初始化跟踪器，并在跟踪的过程中实时调整目标框大小。本发明还公开了一种使用梯度信息的基于相关滤波的目标跟踪算法，对目标和背景进行建模并计算响应图，从而在搜索区域中确定目标的位置，完成对目标的跟踪。为了能在无人机上更高效的实现对地面目标的实时跟踪，从可选的多种无人机平台嵌入式解决方案中选择了基于IP硬核实现的SOPC技术作为跟踪处理的硬件平台架构，并且通过合理的软硬件协同设计，利用硬件模块对算法中特定的步骤进行加速，使得跟踪算法的实时性和稳定性得到进一步提升。

以上所述的实施例只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

本发明未详细描述内容为本领域技术人员公知技术。

Claims (9)

1.一种基于SOPC的无人机载地面目标实时跟踪系统，其特征在于，包括摄像头单元、图像处理单元、图像压缩单元、无线图传模块和地面站，所述摄像头单元与所述图像处理单元连接、所述图像处理单元与所述图像压缩单元连接、所述图像压缩单元与所述无线图传模块连接，所述无线图传模块与所述地面站连接；

所述图像处理单元包括FPGA和ARM，所述FPGA用于进行图像的采集、处理、存储和传输，所述FPGA完成图像的存储后向所述ARM发送图像存储完毕和指示当前存储地址的信号，以启动所述ARM的跟踪流程；所述ARM用于完成控制指令的解析、跟踪算法的实现和跟踪流程控制；

所述FPGA和所述ARM通过AXI总线连接，所述ARM完成对本帧图像的跟踪后，利用所述AXI总线将跟踪结果和跟踪完成信号发送至跟踪框及字符叠加模块；所述字符叠加模块通过DDR缓存控制模块从挂载在所述FPGA下的DDR3的对应地址中读取灰度图像数据，并在图像数据流中利用预存的中英文字符模板、跟踪框和结果显示模板将跟踪结果和其它需要显示的状态信息叠加到数据流中。

2.根据权利要求1所述的基于SOPC的无人机载地面目标实时跟踪系统，其特征在于，所述FPGA与CCD图像传感器通过LVDS连接；其中，所述FPGA用于编写所述CCD图像传感器的初始化配置模块，所述初始化配置模块包括SPI物理层接口子模块和寄存器读写控制子模块。

3.根据权利要求1所述的基于SOPC的无人机载地面目标实时跟踪系统，其特征在于，所述FPGA包括DDR缓存控制模块，所述DDR缓存控制模块用于完成图像数据的写入和读出，其包括写入控制子模块、读出控制子模块和DDR核心控制子模块。

4.根据权利要求1所述的基于SOPC的无人机载地面目标实时跟踪系统，其特征在于，所述FPGA还包括串口底层模块，所述串口底层模块用于对所述地面站发来的控制指令进行串并转换，并交由所述ARM进行指令解析；以及将所述ARM需要发送的跟踪结果和状态信息进行并串转换，形成满足RS422标准传输协议的数据流并返回给所述地面站。

5.根据权利要求4所述的基于SOPC的无人机载地面目标实时跟踪系统，其特征在于，所述串口底层模块包括时钟产生子模块、串口发送子模块和串口接收子模块。

6.根据权利要求1所述的基于SOPC的无人机载地面目标实时跟踪系统，其特征在于，所述摄像头单元、所述图像处理单元、所述图像压缩单元和所述无线图传模块均设置在机载平台上。

7.根据权利要求1或6所述的基于SOPC的无人机载地面目标实时跟踪系统，其特征在于，所述无线图传模块为数字图传电台。

8.一种应用于权利要求1-7中任一项所述的基于SOPC的无人机载地面目标实时跟踪系统的地面目标跟踪方法，其特征在于，该方法包括以下步骤：

建立目标梯度模型；

获取新一帧图像；

建立搜索区域的梯度模型；

计算响应图确定目标中心；

利用目标提取算法获取目标尺度信息；

更新目标模型；

输出目标信息。

9.根据权利要求8所述的地面目标跟踪方法，其特征在于，所述利用目标提取算法获取目标尺度信息，具体包括如下步骤：

获取目标中心区域；

以高斯算法对所述目标中心区域的图像进行低通滤波处理；

Roberts算子边缘检测；

改进的Otsu阈值分割；

闭运算；

孔洞填充；

输出位置和尺度信息。