CN102778684A - 基于fpga的嵌入式单目被动目标跟踪定位系统及方法 - Google Patents

Abstract

本发明提出了一种基于FPGA的嵌入式单目被动目标跟踪定位系统及方法，主要解决现有技术在实际应用中可靠性和实时性差的问题。该系统包括目标成像装置、光电经纬仪、GPS定位装置和FPGA嵌入式处理单元，其中FPGA嵌入式处理单元的功能模块包括CPU核心模块、系统存储器模块、积分图像模块、Hessian响应模块和DMA控制器模块。目标成像装置、光电经纬仪和GPS定位装置分别与FPGA嵌入式处理单元连接，目标成像装置对目标成像后，送入FPGA嵌入式处理单元估计出目标距离，再结合光电经纬仪测得的目标角度信息和GPS定位装置测得的系统自身空间位置信息，完成对目标的定位。本发明具有可靠性强和实时性好的优点，可用于对面成像目标的实时跟踪定位。

Description

基于FPGA的嵌入式单目被动目标跟踪定位系统及方法

技术领域

本发明属于光电探测技术领域，涉及一种基于FPGA实现的嵌入式单目被动目标跟踪定位系统及方法，可用于对面成像目标的定位和跟踪。

背景技术

目标的跟踪定位主要涉及到对目标的测距。定位系统自身的位置可以通过GPS定位装置得到，目标相对定位系统的角度方位可以通过角度传感器得到，因此要对目标进行跟踪定位就要在一段时间内对其进行连续测距。被动测距由于不需要向目标发射探测信号，具有隐蔽性好的特点。单目测距相对于双目和多目测距具有实现方案简单的特点。单目被动测距的主要方法有图像分析法。图像分析法的原理是通过对目标图像进行处理，提取和分析图像中的距离相关特征，并利用该特征对目标进行测距。目前这一领域比较有代表性的理论研究成果有以下几篇文献：[1]Lepetit V.,Fua P.:Monocular Model Based3D Tracking Rigid Objects(2005),[2]RaghuveerR.,Seungsin L.:A Video Processing Approach for Distance Estimation(2006)和[3]de Visser M.:PassiveRanging Using an Infrared Search and Track Sensor(2006)。文献[1]提出了一种基于单目成像模型的3D重建方法，可用于对目标的跟踪定位，但是该方法由于涉及3D重建，因而较为复杂，不适用于嵌入式目标跟踪定位系统；文献[2]提出了一种利用目标成像的尺度变化和小波分析来估计目标距离的方法，但是该方法需要目标在成像尺度上发生变化，因而适用范围较小，实用性不强，同时计算也相对复杂；文献[3]提出了一种基于大气传输特性、目标成像面和目标运动分析的被动测距方法，但是由于该方法涉及的计算参数过多，因而较为复杂，不适合于在嵌入式设备上实现。此外，目前的单目被动目标跟踪定位方法在实际应用中都会遇到一些问题。首先是目标的成像过程容易受到背景光和噪声的干扰，导致无法从目标图像中提取出距离相关特征，定位过程的可靠性会受到影响；其次目标的跟踪对系统的实时性要求比较高，但由于目标图像中的距离相关特征的提取过程一般较复杂，而嵌入式设备的计算能力较为有限，因此单目被动目标跟踪定位方法不易在嵌入式设备上得到实时实现。

发明内容

本发明的目的在于针对上述现有技术的不足，提供一种基于FPGA的嵌入式单目被动目标跟踪定位系统及方法，以提升定位跟踪的可靠性和实时性。

为实现上述目的，本发明基于FPGA的嵌入式单目被动目标跟踪定位系统，包括：

目标成像装置，用于对目标进行光学成像；

光电经纬仪，用于获得目标的角度方位信息；

GPS定位装置，用于确定系统自身的空间位置；

FPGA嵌入式处理单元，用于对目标的图像进行处理，提取距离相关特征并完成测距，进而对目标进行定位；

所述的FPGA嵌入式处理单元，包括功能模块：

CPU核心模块，用于控制和完成定位过程中的数学运算；

系统存储器模块，用于存储CPU程序和数据，以及对运算过程中的临时数据进行缓存；

积分图像模块，用于提取图像特征点时的积分操作，读入图像的灰度数据，输出积分图像数据；

Hessian响应模块，用于在提取图像特征点时计算Hessian响应，即对于图像上的每个像素点，Hessian响应模块读取该像素点的相关积分图像数据，输出该像素点的Hessian响应；

DMA控制器模块，用于控制系统存储器模块和积分图像模块以及系统存储器模块和Hessian响应模块之间的数据传输。

为实现上述目的，本发明基于FPGi的嵌入式单目被动目标跟踪定位方法，包括如下步骤：

（1）对目标进行连续成像，得到目标图像序列，该图像序列的灰度格式为8位，分辨率为256*256，每次读取序列中的一幅图像计算其对比度σ²；

${\mathrm{\σ}}^2=\frac{1}{M\×N}\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}{(f(i,j)-\mathrm{\μ})}^2,$

其中，M和N分别为图像像素的行数和列数，(i,j)表示横坐标为i，纵坐标为j的像素点，f(i,j)是像素点(i,j)的灰度值，μ为整幅图像的平均值；

（2）根据计算得到的对比度σ²，决定是否对图像进行预处理，若65<σ²<75则不需对图像进行预处理，进入第（4）步，否则进入第（3）步；

（3）对图像进行预处理，即根据自适应图像增强策略，选择改进的Lee方法或对数锐化法对图像进行增强；

（4）对图像进行积分并计算每个像素点的Hessian响应，根据Hessian响应提取图像的特征点；

（5）将图像的特征点与图像序列中前一幅图像的特征点进行匹配，得到图像的匹配点；

（6）判断匹配点是否符合要求，其判断依据为：若在图像上能够找到3个匹配点，且这3个匹配点构成的三角形的每条边都不小于图像宽度的一半，则匹配点符合要求，进入第（8）步，否则进入第（7）步；

（7）调整自适应图像增强策略，若后续连续两幅图像的匹配点不符合要求，则采用对数锐化法对图像进行增强，否则采用改进的Lee方法对图像进行增强，调整后返回第（1）步；

（8）根据匹配点计算距离相关特征，在三个符合要求的匹配点构成的三角形△P₁P₂P₃的三条边外部作正三角形△P₁AP₂，△P₂BP₃，△P₃CP₁，得到三角形的三个顶点A，B，C，以三角形△ABC的外接圆直径作为目标的距离相关特征；

（9）根据距离相关特征对目标进行测距，并结合目标角度信息以及系统自身空间位置信息，完成对目标的最终定位操作，完成后返回第（1）步。

本发明具有如下优点：

第一，本发明通过对图像进行自适应增强的预处理操作，有效消除了目标成像过程中的背景光和噪声干扰，增强后的图像的特征点匹配率较高且得到的匹配点能很好的符合要求，提升了定位过程的可靠性；

第二，本发明通过选取适当的距离相关特征，降低了计算量，提升了跟踪定位速度。本发明在FPGA硬件电路上实现了积分图像操作和计算像素点的Hessian响应，进一步提升了计算距离相关特征的速度。本发明可以实现每秒完成对目标的20次定位，对目标进行跟踪定位的实时性较好。

附图说明

图1为本发明的定位系统结构图；

图2为本发明的定位方法流程图；

图3为本发明的定位方法中的距离相关特征示意图。

具体实施方式

参照图1，本发明的定位系统包括目标成像装置1、光电经纬仪2、GPS定位装置3和FPGA嵌入式处理单元4。目标成像装置1使用400线或以上分辨率的黑白CCD摄像机，用于对目标进行光学成像；光电经纬仪2使用DJ1或以上等级的光电经纬仪，用于获得目标相对于系统的角度信息；GPS定位装置3使用串口型通用GPS接收器，用于获得系统自身的空间位置信息。目标成像装置1、光电经纬仪2和GPS定位装置3分别与FPGA嵌入式处理单元4连接，获得的目标图像、目标角度信息和系统自身的空间位置信息被传输到FPGA嵌入式处理单元4中。

FPGA嵌入式处理单元4为系统的核心，用于对目标的图像进行处理，提取距离相关特征并完成测距，进而对目标进行定位。FPGA嵌入式处理单元4的硬件由AlteraEP3CLS150或更高等级的FPGA芯片、512KB SRAM存储器芯片和其他外围电路构成。

所述FPGA嵌入式处理单元4包含以下几个功能模块：

CPU核心模块41，使用Altera Nios II软核CPU构建，是哈佛架构的精简指令集处理器，用于控制和定位过程中的数学运算；

系统存储器模块42，包括外部存储器和FPGA片上高速缓存。该外部存储器位于SRAM存储器芯片上，用于存储CPU的程序和数据。该FPGA片上高速缓存位于FPGA芯片上，用于存储处理过程中的临时数据，可以加快处理速度；

积分图像模块43，使用Verilog硬件描述语言开发，在FPGA硬件电路上实现了对图像的积分操作，该积分图像模块43用于读取图像的灰度数据，输出积分图像数据；

Hessian响应模块44，使用Verilog硬件描述语言开发，在FPGA硬件电路上实现计算像素点的Hessian响应。对于图像上的每个像素点，Hessian响应模块44读取该像素点的相关积分图像数据，输出该像素点的Hessian响应，Hessian响应是用于判断该像素点是否为一个特征点的数字量；

DMA控制器模块45，用于控制系统存储器模块42和积分图像模块43，以及系统存储器模块42与Hessian响应模块44之间的数据传输。

所述的CPU核心模块41、系统存储器模块42、积分图像模块43、Hessian响应模块44和DMA控制器模块45分别与Avalon总线相连接，互相之间的访问是通过Avalon总线进行的。其中Hessian响应模块44通过流传输接口连接到Avalon总线，其他模块通过内存映射接口连接到Avalon总线。

本发明的定位系统的工作原理是：目标成像装置1对目标进行连续成像，得到目标图像序列，FPGA嵌入式处理单元4每次读取序列中的一幅图像存储在系统存储器模块42中。CPU核心模块41读取系统存储器模块42中的图像并计算其对比度，并根据对比度大小判断是否需要对图像进行预处理。DMA控制器模块45控制积分图像模块43和Hessian响应模块44计算图像每个像素点的Hessian响应，CPU核心模块41根据Hessian响应提取图像的特征点并与序列中前一幅图像的特征点进行匹配，得到图像的匹配点。CPU核心模块41判断匹配点是否符合要求，其判断依据为：若能够找到3个图像的匹配点，且这3个匹配点构成的三角形的每条边都不小于图像宽度的一半，则匹配点符合要求。若匹配点不符合要求，则调整自适应图像增强策略；若匹配点符合要求，则根据匹配点计算距离相关特征，对目标进行测距，并结合从光电经纬仪2得到的目标角度信息和从GPS定位装置3得到的系统自身空间位置信息，完成对目标的定位。

参照图2，本发明的定位方法，其实现步骤如下：

步骤1读取目标图像序列中的一幅图像并计算其对比度σ²。

对目标进行连续成像，得到目标图像序列，该图像序列的灰度格式为8位，分辨率为256*256，每次读取序列中的一幅图像计算对比度σ²；

${\mathrm{\&sigma;}}^2=\frac{1}{M\&times;N}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(f(i,j)-\mathrm{\&mu;})}^2,$

其中，M和N分别是图像的行数和列数，(i,j)表示横坐标为i，纵坐标为j的像素点，f(i,j)是像素点(i,j)的灰度值,μ为整幅图像的平均值。

步骤2.根据对比度σ²的值确定是否需要对图像进行预处理，若65<σ²<75则不需对图像进行预处理，进入步骤4，否则进入步骤3。

步骤3.根据自适应图像增强策略，选择改进的Lee方法或对数锐化法对图像进行增强处理。

步骤4.提取图像特征点。

（4.1）对图像进行积分操作，计算每个像素点(i,j)的积分图像值I(i,j)：

$I(i,j)=\underset{m=0}{\overset{i}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{j}{\mathrm{\&Sigma;}}}f(m,n),$

其中m和n为求和运算的中间变量，f(m，n)为像素点(m，n)的灰度值；

（4.2）对于图像的每个像素点(i,j)，利用相关积分图像数据进行三组高斯-拉普拉斯滤波，得到三个方向上的滤波响应D_xx(i,j)，D_yy(i,j)，D_xy(i,j)；根据三个方向上的滤波响应，得到像素点(i,j)的Hessian响应：

$H(i,j)=D_{\mathrm{xx}}(i,j)\&times;D_{\mathrm{yy}}(i,j)-{\mathrm{\&omega;}}^2{D}_{\mathrm{xy}}^2(i,j),$

其中ω²为权重系数，取值为0.875；

（4.3）根据像素点(i,j)的Hessian响应H(i,j)的大小判断该像素点是否为一个特征点：若H(i,j)的绝对值大于预设的阈值T，即|H(i,j)|>T，且该点的Hessian响应的绝对值大于周围像素点的Hessian响应的绝对值，则该点为一个提取的特征点。

步骤5.得到图像的特征点后，通过相关匹配法将其与图像序列中前一幅图像的特征点进行匹配，得到图像的匹配点。

步骤6.判断匹配点是否符合要求。

其判断依据为：若在图像上能够找到3个匹配点，且这3个匹配点构成的三角形的每条边都不小于该图像宽度的一半，则匹配点符合要求，执行步骤8；否则，匹配点不符合要求，执行步骤7，否则。

步骤7.调整自适应图像增强策略。

自适应图像增强采用动态统计选优的策略，即默认选用改进的Lee图像增强法，并根据后续连续两幅图像的匹配点是否符合要求，来决定是否改变图像增强方法。若后续连续两幅图像与相应前一幅图像的匹配点不符合要求，则改用对数锐化法进行增强，调整后返回步骤1。

步骤8.根据匹配点计算距离相关特征。

距离相关特征如图3所示，图3中P₁，P₂，P₃为三个符合要求的匹配点，在其构成的三角形△P₁P₂P₃的三条边外部作正三角形△P₁AP₂，△P₂BP₃，△P₃CP₁，得到三角形的三个顶点A，B，C，以三角形△ABC的外接圆直径作为目标的距离相关特征。

步骤9.对目标进行测距并定位。

（9.1）根据步骤8中得到的距离相关特征，通过基于光电成像的单站被动测距算法，得到目标的距离估计值，该基于光电成像的单站被动测距算法见文献《基于光电成像的单站被动测距》（付小宁，刘上乾；《光电工程》2007年第5期）；

（9.2）根据目标的距离估计值，结合目标的角度信息，得到目标的相对空间位置；

（9.3）根据目标的相对空间位置和通过GPS测量的本系统自身的空间位置信息，得到目标的绝对空间位置，从而完成对目标的定位；

（9.4）由于目标处于运动状态，其位置实时发生变化，因此为了对目标进行实时跟踪定位，在本次定位操作完成后，返回步骤1继续进行定位操作。

以上仅是本发明的两个优选实例，不构成对本发明的任何限制，显然在本发明的基础上可以进行适当的扩展和改进，但这些都属于本发明的权利保护范围。

Claims (5)

1.一种基于FPGA的嵌入式单目被动目标跟踪定位系统，包括：

目标成像装置，用于对目标进行光学成像；

光电经纬仪，用于获得目标的角度方位信息；

GPS定位装置，用于确定系统自身的空间位置；

FPGA嵌入式处理单元，用于对目标的图像进行处理，提取距离相关特征并完成测距，进而对目标进行定位；

所述的FPGA嵌入式处理单元，包括功能模块：

CPU核心模块，用于控制和完成定位过程中的数学运算；

系统存储器模块，用于存储CPU程序和数据，以及对运算过程中的临时数据进行缓存；

积分图像模块，用于提取图像特征点时的积分操作，读入图像的灰度数据，输出积分图像数据；

Hessian响应模块，用于在提取图像特征点时计算Hessian响应，即对于图像上的每个像素点，Hessian响应模块读取该像素点的相关积分图像数据，输出该像素点的Hessian响应；

DMA控制器模块，用于控制系统存储器模块和积分图像模块以及系统存储器模块和Hessian响应模块之间的数据传输。

2.根据权利要求1中所述的目标跟踪定位系统，其中积分图像模块使用Verilog硬件描述语言开发，在FPGA硬件上实现了对图像的积分操作。

3.根据权利要求1中所述的目标跟踪定位系统，其中Hessian响应模块使用Verilog硬件描述语言开发，在FPGA硬件上实现了计算像素点的Hessian响应。

4.一种基于FPGA的嵌入式单目被动目标跟踪定位方法，包括如下步骤：

（1）对目标进行连续成像，得到目标图像序列，该图像序列的灰度格式为8位，分辨率为256*256，每次读取序列中的一幅图像计算其对比度σ²；

${\mathrm{\&sigma;}}^2=\frac{1}{M\&times;N}\underset{i=0}{\overset{M-1}{\mathrm{\&Sigma;}}}\underset{j=0}{\overset{N-1}{\mathrm{\&Sigma;}}}{(f(i,j)-\mathrm{\&mu;})}^2,$

其中，M和N分别为图像像素的行数和列数，(i,j)表示横坐标为i，纵坐标为j的像素点，f(i,j)是像素点(i,j)的灰度值，μ为整幅图像的平均值；

（2）根据计算得到的对比度σ²，决定是否对图像进行预处理，若65<σ²<75则不需对图像进行预处理，进入第（4）步，否则进入第（3）步；

（3）对图像进行预处理，即根据自适应图像增强策略，选择改进的Lee方法或对数锐化法对图像进行增强；

（4）对图像进行积分并计算每个像素点的Hessian响应，根据Hessian响应提取图像的特征点；

（5）将图像的特征点与图像序列中前一幅图像的特征点进行匹配，得到图像的匹配点；

（6）判断匹配点是否符合要求，其判断依据为：若在图像上能够找到3个匹配点，且这3个匹配点构成的三角形的每条边都不小于图像宽度的一半，则匹配点符合要求，进入第（8）步，否则进入第（7）步；

（7）调整自适应图像增强策略，若后续连续两幅图像的匹配点不符合要求，则采用对数锐化法对图像进行增强，否则采用改进的Lee方法对图像进行增强，调整后返回第（1）步；

（8）根据匹配点计算距离相关特征，在三个符合要求的匹配点构成的三角形△P₁P₂P₃的三条边外部作正三角形△P₁AP₂，△P₂BP₃，△P₃CP₁，得到三角形的三个顶点A，B，C，以三角形△ABC的外接圆直径作为目标的距离相关特征；

（9）根据距离相关特征对目标进行测距，并结合目标角度信息以及系统自身空间位置信息，完成对目标的最终定位操作，完成后返回第（1）步。

5.根据权利要求4所述的目标跟踪定位方法，其中第（4）步所述的根据Hessian响应提取图像的特征点，按如下步骤进行：

（4a）对于图像的每个像素点(i,j)，计算该点的积分图像值I(i,j)：

$I(i,j)=\underset{m=0}{\overset{i}{\mathrm{\&Sigma;}}}\underset{n=0}{\overset{j}{\mathrm{\&Sigma;}}}f(m,n),$

其中m和n为求和运算的中间变量，f(m，n)为像素点(m，n)的灰度值；

（4b）对于图像的每个像素点(i,j)，利用相关积分图像数据进行三组高斯-拉普拉斯滤波，得到三个方向上的滤波响应D_xx(i,j)，D_yy(i,j)，D_xy(i,j)；根据三个方向上的滤波响应，得到像素点(i,j)的Hessian响应：

其中ω²为权重系数，取值为0.875；

（4c）根据像素点(i,j)的Hessian响应H(i,j)的大小判断该像素点是否为一个特征点：若H(i,j)的绝对值大于预设的阈值T，即|H(i,j)|>T，且该点的Hessian响应的绝对值大于周围像素点的Hessian响应的绝对值，则该点为一个提取的特征点。

Images