CN108335330A - 一种图谱协同实时处理系统 - Google Patents

Abstract

本发明公开一种图谱协同实时处理系统，包括：光学镜头用于获取来自包括目标视场的可见光，并将可见光分离；红外成像传感器用于将接收的可见光转换成红外模拟图像，并将红外模拟图像转化为数字图像提供给协处理板；光谱传感器用于从接受的可见光中获取光谱数据，并提供给上位机；协处理板用于从数字图像中确定目标位置，并将目标位置发送给上位机，确定目标位置所用的算法通过FPGA全并行流水线化实现；上位机用于通过持续接收协处理板发送来的目标位置，控制二维伺服随动系统，调整光学镜头，减少目标和光学镜头视场中心的距离，当目标被拉到光学镜头的视场中心时，获取目标光谱信息。本发明实现了全自动测谱，最终达到图/谱协同实时处理。

Description

一种图谱协同实时处理系统

技术领域

本发明属于红外遥感、导航制导、图像识别和光谱分析的交叉技术领域，更具体地，涉及一种图谱协同实时处理系统。

背景技术

目标光谱对于目标分类及识别具有重要意义，近年来受到极大关注，成为目标识别领域的热门研究方法，尤其是图谱协同实时处理系统的研究，具有重要意义。

现有的图谱设备多有如下缺点：(1)有的只有光谱测量设备，需要人为调整系统设备对准目标物体，且这种方式没有图像的引导，无法精确采集远距离目标的光谱信号；(2)有的是配合伺服系统，但伺服系统需要人工操作，自动化程度低；(3)对于动目标，跟踪耗时长，无法实时采集图谱数据并处理，这就造成了图谱分离，或图谱不对应的问题，造成高价值的目标光谱数据获取不准确，对后续应用造成了不利影响。

发明内容

针对现有图谱处理系统的缺点，本发明提出了一种图谱协同实时处理系统，目的在于解决现有图谱设备无法同时采集光谱和图像，以及配合伺服系统时需要人工操作，自动化程度低，以及无法实时采集动目标图谱数据的技术问题。

为实现上述目的，本发明提供一种图谱协同实时处理系统，包括：光学镜头、红外成像传感器、光谱传感器、上位机、协处理板以及二维伺服随动系统；

所述光学镜头用于获取来自包括目标视场的可见光，并将可见光分离，分别提供给红外成像传感器和光谱传感器；所述红外成像传感器用于将接收的可见光转换成红外模拟图像，并将红外模拟图像转化为数字图像提供给所述协处理板；所述光谱传感器用于从接受的可见光中获取光谱数据，并提供给所述上位机；所述协处理板用于从所述数字图像中确定目标位置，并将所述目标位置发送给所述上位机，确定所述目标位置所用的算法通过FPGA全并行流水线化实现，减少了确定目标位置所消耗的时间；所述上位机用于通过持续接收协处理板发送来的目标位置，控制二维伺服随动系统，调整光学镜头的俯仰角和方位角，减少目标和光学镜头视场中心的距离，当目标被拉到光学镜头的视场中心并保持时，此时控制所述光谱传感器获取目标光谱信息。

可选地，所述协处理板从所述数字图像中确定目标位置所用的算法包括：双线性插值、HOG特征提取、二维快速傅里叶变换FFT2、滤波模板生成与更新、二维快速傅里叶逆变换IFFT2以及位置跟踪；

所述双线性插值用于将所述数字图像缩放到同一固定大小；

所述HOG特征提取用于从所述数字图像中描述目标特征；

FFT2用于将计算转化到频域以减少下一步滤波模板生成过程中计算的复杂度；

滤波模板生成与更新用于在频域内生成位置跟踪所需要的位置模板，其中，所述位置模板为上一帧数字图像中确定的目标的位置坐标；

IFFT2用于将频域内计算的位置模板再转化到时域；

位置跟踪用于通过目标最大位置响应进行位置跟踪，确定当前帧数字图像中目标的位置；

其中，双线性插值、HOG特征提取、二维快速傅里叶变换FFT2、滤波模板生成与更新、二维快速傅里叶逆变换IFFT2以及位置跟踪算法全并行进行。

可选地，所述二维伺服随动系统采用PID控制，其中用K来表示伺服机构的控制系数，K越大，则伺服运动的越快，但系统超调也会增加；K越小，系统超调会越小，但伺服运动的速度也会变慢，伺服机构用于让目标稳定的保持在所述标定中心；

所述上位机用于当目标的位置和光学镜头视场中心的距离大于预设的距离阈值时，选用较大的K值，使得二维伺服随动系统快速运动；当目标的位置和光学镜头视场中心的距离小于或等于预设的距离阈值时，则选择较小的K值，以减少二维伺服随动系统的超调。

可选地，所述协处理板从所述数字图像中确定目标位置所用的位置跟踪算法包括：

参考模板在前一帧的位置，在当前帧中提取目标样本Z^l；

利用Z^l和上一帧位置模板A_t-1、B_t-1，根据以下公式来计算目标的位置向量y：

其中，λ为一常数，为二维快速傅里叶逆变换，y为位置向量；

计算max(y)，得到新目标位置P_t。

可选地，所述协处理板从所述数字图像中确定目标位置所用的双线性插值算法包括：

设原数字图像大小为m×n，缩放到同一固定大小的目标图像大小为a×b；那么两幅图像的边长比为：m/a和n/b，目标图像的像素点(i,j)对应原图的坐标为非整数点的坐标无法在缩放后的目标图像上表示，双线性插值找到对应坐标最近的4个点，对于灰度图像而言，目标图像像素点(i,j)的像素值计算公式为：

f(i,j)＝(1-u)×(1-v)×P1+(1-v)×u×P2

+(1-u)×v×P3+u×v×P4

其中，P1、P2、P3、P4为最近四个点的像素值，u、v为原图坐标的小数部分。

可选地，所述协处理板从所述数字图像中确定目标位置所用的位置跟踪算法中，求max(y)，得到新目标位置P_t，具体包括如下步骤：

求最大值坐标时先假设第一个点为最大点，将IFFT2的实部结果依次与其做比较，如果比它大就将最大的值和其坐标用寄存器存下来，并将其作为新的最大值，如果比最大值小，那么就不更新最大值和坐标位置，这样就可以得到跟踪到的新目标位置坐标。

总体而言，通过本发明所提出的以上图谱协同实时处理系统能够取得下列有益效果：

(1)本发明提出一种图谱协同实时处理系统，上位机主要负责光谱数据的存储与分析，协处理板主要负责通过硬件加速的目标跟踪，减少跟踪所消耗的时间，另外通过二维伺服随动系统实现了全自动测谱，最终达到图/谱协同实时处理。

(2)本发明提出的图谱协同实时处理系统，突破了传统静平台\静目标处理系统的限制，系统能够全自动、实时运行，大大减少了人工干预；图/谱数据连贯、准确，使得后续对图/谱数据处理分析的可靠性大大提高。

附图说明

图1为本发明实例提供的图谱协同实时处理系统的硬件结构示意图；

图2为图1所示系统的工作流程图；

图3为本发明实例提供的光学镜头的结构；

图4为本发明实例提供的协处理板结构；

图5为本发明实例提供的FPGA实现的相关滤波跟踪算法的流水线图；

图6为本发明实例提供的双线性插值模块FPGA实现架构；

图7为本发明实例提供的HOG特征提取模块硬件架构流程图；

图8为本发明实例提供的FFT及IFFT流水线结构图；

图9为本发明实例提供的滤波模板生成及更新的流程图；

图10为本发明实例提供的位置检测流程图；

图11为本发明实例提供的大视场范围内搜索到的飞机目标；

图12为本发明实例提供的拉到视场中心的飞机目标；

图13为本发明实例提供的飞机目标尾焰的光谱数据。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供的图谱协同实时处理系统，该系统将自动扫描并捕获成像传感器视场的动目标，并通过硬件跟踪得到目标当前位置，通过二维伺服随动系统实时调整光学镜头方位角及俯仰角，使目标稳定于视场中心范围，从而通过光谱传感器获取动目标的准确光谱数据并做进一步的分析。

如图1所示，本发明实例所设计的图谱协同实时处理系统包括：光学镜头1、红外成像传感器2、光谱传感器3、上位机4、协处理板5、二维伺服随动系统6和监视器7。

其中主要部件的功能为：

光学镜头1用于获取可见光，并将可见光分离，分别提供给红外成像传感器2和光谱传感器3；

红外成像传感器2用于将接收的可见光转换成红外模拟图像，并将红外模拟图像转化为数字图像提供给协处理板4；

光谱传感器3用于从接受的可见光中获取光谱数据，提供给上位机5；

协处理板4用于完成动目标的跟踪，跟踪算法使用FPGA全并行流水线化实现，显著减少了跟踪所消耗的时间，另外通过串口传送目标位置给上位机。

上位机5通过持续接收协处理板4发送来的目标位置，控制二维伺服系统6，调整光学镜头的俯仰角和方位角，减少目标和视场中心的距离，当目标被拉到光学镜头的视场中心并保持时，此时获取目标光谱信息，并通过分析目标光谱信息识别目标的类型。

监视器7用于显示图像和光谱曲线。

如图2所示，该系统工作流程如下：

(1)主处理板通过控制二维伺服随动系统控制光学镜头，在一定的俯仰角(如±20°)和方位角(如±20°)的大视场内进行扫描搜索潜在目标。

(2)判断是否有目标进入视场，若是，跳至步骤(3)，否则，跳至步骤(1)；

(3)上位机捕获目标并传送目标初始位置给协处理板。

(4)协处理板接收目标位置后，通过硬件跟踪算法检测目标位置，并通过外部串口返回目标位置给上位机。其中，协处理板接收的目标位置输入，只有首帧是由工控机发送的目标捕获位置，之后每一帧都是由协处理板对上一帧的目标检测位置输出。

(5)上位机通过计算目标位置与视场中心位置的偏差控制二维伺服随动系统调整光学镜头方位角及俯仰角。

(6)判断目标是否稳定在视场中心范围，若是跳至步骤(7)，否则跳至步骤(4)。

(7)光谱传感器获取稳定在成像传感器视场中心范围内的动目标的准确光谱并存储在主处理板上存储器中。

(8)由于图谱协同实时处理系统所测图、谱一一对应，通过主处理板对目标谱进行光谱分析，对目标进行识别分类。

如图3所示为本系统依照的策略所设计的光学镜头1，包括多波段红外镜头1.1、分光镜1.2、宽光谱透镜组1.3、长波成像透镜组1.4和光纤接口1.5，可见光经过多波段红外镜头1.1聚焦后，汇聚到一个半透半反的分光镜1.2，分光镜1.2反射50％的能量经由长波成像透镜组1.4成像，提供给红外成像传感器2；透过50％的能量经由宽光谱透镜组1.3成谱，提供给光谱传感器3。红外成像传感器2与光谱传感器3的共光轴的结构，使得成像中心和测谱中心叠加在一起，从而可以由图像引导测谱，进一步可实现远距离目标的精确测谱。

如图4所示，协处理板4主要包括FPGA芯片，Camera link接口，图像解码芯片，以及与工控机的连接器，为保证FPGA芯片正常工作，协处理板4载有存储器芯片、配置芯片、电源，时钟，监控复位，调试JTAG口等；为保证协处理板和外部通信，其载有网口芯片、串口芯片。

FPGA主要负责相关滤波的跟踪算法的并行流水化实现，通过对跟踪算法的全并行流水化实现，使得跟踪时间大大减少，一方面实现了目标的实时跟踪，另一方面减轻了主处理板的计算压力，使得主处理板有充足的时间和资源进行谱分析，最终达到图谱协同实时处理的效果。

相关滤波跟踪算法的输入输出以及位置评估及模型更新原理如下：

输入：

第t帧输入图像I_t；

上一帧的位置P_t-1；

上一帧位置模板A_t-1、B_t-1；

输出：

估计目标的位置P_t；

更新位置模型A_t-1、B_t-1；

位置评估：

(1)参考模板在前一帧的位置，在当前帧中提取样本Z^l；

(2)利用Z^l和A_t-1、B_t-1，根据公式3)来计算y；

(3)计算max(y)，得到新目标位置P_t；

模型更新：

(4)提取样本

(5)利用公式(1)、(2)更新位置模型和

其中，η为学习率，为二维高斯函数，对于新一帧的样本Z^l，那么目标位置的最大响应为：

其中λ为一常数，为二维快速傅里叶逆变换，y为位置向量。

FPGA实现的相关滤波跟踪算法的创新点主要在以下方面：

(1)双线性插值、HOG特征提取的提取、FFT2/IFFT2计算、滤波模板生成及更新、位置检测等模块的并行流水设计，实现了目标的实时跟踪。

(2)跟踪算法实现过程较为复杂，其中涉及到大量中间结果的缓存，解决硬件资源的受限与结果缓存的矛盾是一难点。

如图5所示为FPGA实现的相关滤波跟踪算法的流水线图：

1、双线性插值模块：在计算目标在当前帧的位置时，以上一帧目标中心作为中心构建尺度金字塔、提取不同大小的样本，并将提取到的图像样本缩放成固定的大小。

2、Hog特征提取模块：提取目标特征作为特征描述子对物体进行特征描述。HOG梯度直方图特征对目标具有很好的特征描述。

3、FFT2模块将复杂的空域卷积运算通过快速傅里叶变换转换到频域操作，把图像从时域转到频域，从而将乘加运算转换成乘法运算，降低计算复杂度。

4、位置检测模块：位置输出函数表征滤波模板和图像样本的相关性，在目标中心相似性最大，最后求得的响应最大的位置就是检测到的目标位置。

其中，双线性插值用于将目标图像缩放到同一大小，HOG特征提取用于描述目标特征，FFT2用于将计算转化到频域以减少下一步滤波模板生成过程中计算的复杂度，滤波模板生成用于在频域内生成位置跟踪所需要的位置模板，IFFT2用于将频域内计算的位置模板再转化到时域，最后通过目标最大位置响应进行位置跟踪。

不同于串行工作方式，本发明其采用并行流水处理，在进行目标跟踪的过程中，当上一个模块运行过程中对于数据资源解除占用后，立即运行下一个模块而无需等到上一个模块完全运行结束。

具体为：主要模块的流水线实现方式具体为：

(1)依据双线性插值的原理，并考虑FPGA的并行流水思想设计如图6硬件架构。

假设原图像大小为m×n，目标图像为a×b。那么两幅图像的边长比为：m/a和n/b。比例一般不为整数，目标图像的像素点(i,j)对应原图的坐标为非整数点的坐标无法在图像上表示，双线性插值找到对应坐标最近的4个点，对于灰度图像而言，目标图像像素点(i,j)的像素值计算公式为:

f(i,j)＝(1-u)×(1-v)×P1+(1-v)×u×P2

+(1-u)×v×P3+u×v×P4

其中P1、P2、P3、P4为最近四个点的像素值，u、v为原图坐标的小数部分。

(2)依据Hog特征提取的原理，对其并行流水化后的硬件架构流程图如图7。

Hog特征提取过程主要包括梯度计算、cell特征统计，block统计，直方图归一化，现对其流水线化实现如下：

(2.1)梯度计算

将输入图像数据做行缓存，并分别计算输入图像在y方向和x方向梯度，并通过延时对齐x、y方向的梯度，然后利用Xilinx ISE 14.7中的CORDIC IP核中的Arc Tan函数求解对应梯度的相位，利用CORDIC IP核的Square Root函数求解梯度强度并对齐强度和相位。

(2.2)cell特征统计

首先将梯度方向范围-π～π划分为8个方向，然后产生每个cell4*4个pixel的框，利用行缓存对齐梯度相位和梯度强度，对每个cell框内的所有像素梯度按照其梯度相位所在的方向区间分为8组，每组梯度进行加权投影，处于方向区间内的梯度个数作为投影的权值。

(2.3)block统计

利用行缓存产生2*2的block框，统计每一个block中的4个cell在8个方向上的加权投影，从而得到了32个特征，并逐一输出。

(2.4)直方图归一化

统计每个block的32维特征信息，归一化每个block并以8bit数据输出。

(3)FFT2/IFFT2计算模块

其逻辑流程如图8所示。

本协处理板硬件实现的FFT2/IFFT2计算模块，采用的Xilinx官方提供的IP核来实现FFT2功能。由于系统选用的Xilinx FPGA的IP核只能做一维的FFT1，所以在图像输入以后先做FFT1(行)计算，然后经读写控制逻辑将复数结果写入到DPRAM中，再产生控制DPRAM读数据的读开始信号，并按照列做FFT1(列)运算，得到二维快速傅里叶变换结果FFT2。

(4)位置检测

本设计选用二维高斯函数作为位置输出函数。位置输出函数(此处选用的为二维高斯函数)的FFT2的计算结果在每一帧图像求模板的过程中都需要，为了减少FPGA的计算量，本文直接在MALAB生成FFT2查找表，并将其存入FPGA的两个单口ROM中，分别存实部和虚部，这样每次计算该模块时直接从ROM中读取即可。

本过程主要包含复数乘法器/复数除法器、IFFT2、最大值判断、目标位置输出。首先是将样本数据xtf和A_t做乘法，并将其结果与B_t做除法。在复数除法运算产生有效结果以后马上进行IFFT2。

求最大值坐标时先假设第一个点为最大点，将IFFT2的实部结果依次与其做比较，如果比它大就将最大的值和其坐标用寄存器存下来，并将其作为新的最大值，如果比最大值小，那么就不更新最大值和坐标位置，这样就可以得到跟踪到的新位置坐标(MaxRow，MaxCol)，其FPGA实现的硬件流程如图9所示。

(5)滤波模板生成与更新

如图10所示为滤波模板生成及更新的硬件FPGA实现流程图。

首先滤波模板的分子A_t是通过位置输出函数经FFT2计算后的yf与上一帧图像得到的样本的共轭conj(xlf)做复数乘法得到，如果当前图是第一帧图像，那么第一帧图像的模板是不更新的，如果不是第一帧就将DPRAM_A存储的上一帧的模板取出按照公式(1)、(2)进行更新，将更新的结果写入DPRAM_A，由于位置检测和模板更新是并行进行的，所以为了防止读(read)/写(write)冲突，在模板更新完成后需要将结果同时写入DPRAM_B用于位置检测。滤波模板的分母B_t是通过上一帧样本xlf与其共轭conj(xlf)做乘法得到的，同样如果该样本是第一帧就不更新，如果不是就更新并存入DPRAM_C和DPRAM_D中用于位置检测。

本系统中上位机主要完成：

(1)控制二维伺服随动系统调整光学镜头的俯仰角和方位角。

具体的：(1)主处理板通过计算目标当前位置(X_target，Y_target)与图像中心(X_standard,Y_standard)的偏差，采用PID控制策略控制伺服调整成像探测器方位角及俯仰角，使目标稳定在视场中心范围；

作为进一步优选的，所述步骤(1)具体包括：

(1.1)伺服机构的控制采用PID控制，其中用K来表示伺服机构的控制系数，K越大，则伺服运动的越快，但系统超调也会增加；K越小，系统超调会越小，但伺服运动的速度也会变慢。

(1.2)根据目标的图像坐标(X_target，Y_target)与红外成像传感器视场中心(X_standard,Y_standard)的距离，动态调节K值控制伺服机构。

(1.3)如果其中为目标位置与视场中心的距离，D_threshold为我们设定的距离阈值，则选用较大的K值，使得伺服机构快速运动。

(1.4)如果则选择较小的K值，以减少伺服机构的超调。

(2)光谱数据的分析

通过捕获目标(图11)，获取稳定在视场中心(图12中白方块所在位置即为视场中心)的目标(图12所示，飞机尾焰即为目标)的光谱数据(图13)，通过与工控机中存储的不同目标或同一目标的不同部位的先验光谱数据做对比分析(包括局部谱相似性分析，比值谱、差值谱等)，识别目标或目标部位类别。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种图谱协同实时处理系统，其特征在于，包括：光学镜头、红外成像传感器、光谱传感器、上位机、协处理板以及二维伺服随动系统；

所述光学镜头用于获取来自包括目标视场的可见光，并将可见光分离，分别提供给红外成像传感器和光谱传感器；

所述红外成像传感器用于将接收的可见光转换成红外模拟图像，并将红外模拟图像转化为数字图像提供给所述协处理板；

所述光谱传感器用于从接受的可见光中获取光谱数据，并提供给所述上位机；

所述协处理板用于从所述数字图像中确定目标位置，并将所述目标位置发送给所述上位机，确定所述目标位置所用的算法通过FPGA全并行流水线化实现，减少了确定目标位置所消耗的时间；

所述上位机用于通过持续接收协处理板发送来的目标位置，控制二维伺服随动系统，调整光学镜头的俯仰角和方位角，减少目标和光学镜头视场中心的距离，当目标被拉到光学镜头的视场中心并保持时，此时控制所述光谱传感器获取目标光谱信息。

2.根据权利要求1所述的图谱协同实时处理系统，其特征在于，所述协处理板从所述数字图像中确定目标位置所用的算法包括：双线性插值、HOG特征提取、二维快速傅里叶变换FFT2、滤波模板生成与更新、二维快速傅里叶逆变换IFFT2以及位置跟踪；

所述双线性插值用于将所述数字图像缩放到同一固定大小；

所述HOG特征提取用于从所述数字图像中描述目标特征；

FFT2用于将计算转化到频域以减少下一步滤波模板生成过程中计算的复杂度；

滤波模板生成与更新用于在频域内生成位置跟踪所需要的位置模板，其中，所述位置模板为上一帧数字图像中确定的目标的位置坐标；

IFFT2用于将频域内计算的位置模板再转化到时域；

位置跟踪用于通过目标最大位置响应进行位置跟踪，确定当前帧数字图像中目标的位置；

其中，双线性插值、HOG特征提取、二维快速傅里叶变换FFT2、滤波模板生成与更新、二维快速傅里叶逆变换IFFT2以及位置跟踪算法全并行进行。

3.根据权利要求1所述的图谱协同实时处理系统，其特征在于，所述二维伺服随动系统采用PID控制，其中用K来表示伺服机构的控制系数，K越大，则伺服运动的越快，但系统超调也会增加；K越小，系统超调会越小，但伺服运动的速度也会变慢，伺服机构用于让目标稳定的保持在所述标定中心；

所述上位机用于当目标的位置和光学镜头视场中心的距离大于预设的距离阈值时，选用较大的K值，使得二维伺服随动系统快速运动；当目标的位置和光学镜头视场中心的距离小于或等于预设的距离阈值时，则选择较小的K值，以减少二维伺服随动系统的超调。

4.根据权利要求1所述的图谱协同实时处理系统，其特征在于，所述协处理板从所述数字图像中确定目标位置所用的位置跟踪算法包括：

参考模板在前一帧的位置，在当前帧中提取目标样本Z^l；

利用Z^l和上一帧位置模板A_t-1、B_t-1，根据以下公式来计算目标的位置向量y：

其中，λ为一常数，为二维快速傅里叶逆变换，y为位置向量；

计算max(y)，得到新目标位置P_t。

5.根据权利要求1所述的图谱协同实时处理系统，其特征在于，所述协处理板从所述数字图像中确定目标位置所用的双线性插值算法包括：

设原数字图像大小为m×n，缩放到同一固定大小的目标图像大小为a×b；那么两幅图像的边长比为：m/a和n/b，目标图像的像素点(i,j)对应原图的坐标为非整数点的坐标无法在缩放后的目标图像上表示，双线性插值找到对应坐标最近的4个点，对于灰度图像而言，目标图像像素点(i,j)的像素值计算公式为：

f(i,j)＝(1-u)×(1-v)×P1+(1-v)×u×P2

+(1-u)×v×P3+u×v×P4

其中，P1、P2、P3、P4为最近四个点的像素值，u、v为原图坐标的小数部分。

6.根据权利要求4所述的图谱协同实时处理系统，其特征在于，所述协处理板从所述数字图像中确定目标位置所用的位置跟踪算法中，求max(y)，得到新目标位置P_t，具体包括如下步骤：

求最大值坐标时先假设第一个点为最大点，将IFFT2的实部结果依次与其做比较，如果比它大就将最大的值和其坐标用寄存器存下来，并将其作为新的最大值，如果比最大值小，那么就不更新最大值和坐标位置，这样就可以得到跟踪到的新目标位置坐标。