CN103297702B - 用于航空机载头盔定位系统的图像处理装置及其方法 - Google Patents

Abstract

本发明公开了一种用于航空机载头盔定位系统的图像处理装置及其方法。该图像处理装置包括：相机曝光模块；LED灯点灯模块；视频图像获取模块；用于在视频图像中做出光斑标记而识别出光斑的光斑识别模块；用于对各个光斑提取相应的光斑质心参数，并根据光斑质心参数组计算光斑质心行列坐标的光斑质心提取模块；头用于根据该光斑质心行列坐标运算该航空机载头盔定位系统的头盔的调动数据的盔瞄准模块；用于滤除该视频图像中孤立的光斑、不规范杂光形状的光斑，而保留具有预定光斑形状特征的光斑的滤除模块；用于形成点灯脉冲时序以使LED灯点灯与相机曝光时间实现同步控制的点灯时序控制模块。本发明还公开了该图像处理装置的图像处理方法。<!--1-->

Description

用于航空机载头盔定位系统的图像处理装置及其方法

技术领域

本发明涉及图像处理技术，尤其涉及一种用于航空机载头盔定位系统的图像处理装置及其图像处理方法。

背景技术

头盔定位系统中的图像处理装置是航空机载头盔定位系统的重要器件，具有高速度、高精度、高稳定、小体积等特点，特别是需要高速率的处理高分辨率的光斑图像才能满足航空机载头盔瞄准系统的精准性和实时性，使得对系统的硬件平台和软件算法提取了极高的指标要求。图像处理中的光斑质心是常见的光斑图像的重要特征和信息，常用于航空航天技术中姿态测量定位，但是光斑质心经常受到各种噪声，如电子噪声、环境噪声、杂光等的干扰，因此光斑质心提取算法以及算法实现平台必须有很强的抗干扰、计算精度高，才能使得头盔定位系统稳定正常的工作。

传统的图像处理装置，常采用单一FPGA芯片平台或单一DSP芯片平台，无法很好的满足系统的精确性和实时性。单一现场可编程门阵列（FPGA）芯片平台虽然为海量数据的图像处理提供了新的手段，可以高速并行的处理海量的图像数据，但是FPGA的算法处理弱、逻辑繁琐、编写难度高、后期难于维护等缺点，难以满足复杂的算法运算能力要求。单一DSP（数字信号处理）芯片平台，虽然算法处理强，但并不适合高速并行的处理巨大的大规模图像数据，因此也难以满足系统的实时性要求。

发明内容

有鉴于此，有必要提供一种抗干扰能力强、计算精度高能使得航空机载头盔定位系统稳定正常工作的图像处理装置及其图像处理方法。

本发明是这样实现的，一种用于航空机载头盔定位系统的图像处理装置，其包括：相机曝光模块，其用于控制该航空机载头盔定位系统中的相机曝光时间；LED灯点灯模块，其用于控制该航空机载头盔定位系统中的LED灯点灯，完成在相机曝光时的LED灯点灯；视频图像获取模块，其用于在相机曝光时获取视频图像；光斑识别模块，其用于在该视频图像中做出光斑标记而识别出光斑；光斑质心提取模块，其用于对该视频图像中的各个光斑提取相应的光斑质心参数，并根据光斑质心参数组计算光斑质心行列坐标；头盔瞄准模块，其用于根据该光斑质心行列坐标运算该航空机载头盔定位系统的头盔的调动数据，以达到该头盔的瞄准功能；滤除模块，其用于滤除该视频图像中孤立的光斑、不规范杂光形状的光斑，而保留具有预定光斑形状特征的光斑；点灯时序控制模块，其用于形成点灯脉冲时序以使该航空机载头盔定位系统中LED灯点灯与相机曝光时间实现同步控制。

作为上述方案的进一步改进，该光斑质心提取模块的光斑质心行列坐标提取满足以下公式：

$X_c=\frac{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)\&CenterDot;x}{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)},Y_c=\frac{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)\&CenterDot;y}{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)};$

其中，X_c代表质心的横坐标，Y_c代表质心的纵坐标；I_（x,y）代表图像在坐标为（x,y）处的像素点的灰度值，x代表图像的横坐标，y代表图像的纵坐标；m、n为正整数。

作为上述方案的进一步改进，该光斑识别模块用于将该视频图像的当前像素灰度值与预定的阈值比较，小于预定的阈值则标记为背景标记，大于预定的阈值则标记为光斑标记。

作为上述方案的进一步改进，该调动数据包括该头盔的偏转角、仰俯角。

作为上述方案的进一步改进，该预定光斑形状特征为圆形。

本发明还提供一种用于航空机载头盔定位系统的图像处理方法，其包括以下步骤：控制该航空机载头盔定位系统中的相机曝光时间；控制该航空机载头盔定位系统中的LED灯点灯，完成在相机曝光时的LED灯点灯；在相机曝光时获取视频图像；在该视频图像中做出光斑标记而识别出光斑；滤除该视频图像中孤立的光斑、不规范杂光形状的光斑，而保留具有预定光斑形状特征的光斑；对该视频图像中的各个光斑提取相应的光斑质心参数，并根据光斑质心参数组计算光斑质心行列坐标；根据该光斑质心行列坐标运算该航空机载头盔定位系统的头盔的调动数据，以达到该头盔的瞄准功能；点灯时序控制模块，其用于形成点灯脉冲时序以使该航空机载头盔定位系统中LED灯点灯与相机曝光时间实现同步控制。

作为上述方案的进一步改进，光斑质心行列坐标提取满足以下公式：

$X_c=\frac{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)\&CenterDot;x}{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)},Y_c=\frac{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)\&CenterDot;y}{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)};$

其中，X_c代表质心的横坐标，Y_c代表质心的纵坐标；I_（x,y）代表图像在坐标为（x,y）处的像素点的灰度值，x代表图像的横坐标，y代表图像的纵坐标；m、n为正整数。

作为上述方案的进一步改进，将该视频图像的当前像素灰度值与预定的阈值比较，小于预定的阈值则标记为背景标记，大于预定的阈值则标记为光斑标记。

作为上述方案的进一步改进，该调动数据包括该头盔的偏转角、仰俯角。

作为上述方案的进一步改进，该预定光斑形状特征为圆形。

本发明的优点在于：实现LED灯时序控制、相机曝光时间同步控制，抑制外界噪声、杂光干扰；在传统的光斑投影法的基础上，提出根据光斑形状滤除杂光的改进算法，从而在算法上，保证光斑质心提取的稳定性；因而，能实时、高效、稳定地实现视频图像的采集、光斑质心提取、LED灯控制、相机曝光参数控制、定位位姿解算等功能，使得头盔瞄准系统运算速度、计算精度、抗干扰等综合性能得到很大提升。

附图说明

图1为本发明较佳实施方式提供的用于航空机载头盔定位系统的图像处理装置的硬件结构图。

图2为本发明较佳实施方式提供的用于航空机载头盔定位系统的图像处理装置的软件构架图。

图3为本发明较佳实施方式提供的用于航空机载头盔定位系统的图像处理装置的流程图。

图4为本发明较佳实施方式提供的用于航空机载头盔定位系统的图像处理装置的光斑识别流程图。

图5为本发明较佳实施方式提供的用于航空机载头盔定位系统的图像处理装置的投影法寻找光斑的流程图。

图6为本发明较佳实施方式提供的用于航空机载头盔定位系统的图像处理装置的根据光斑形状滤除杂光和噪声的原理图。

图7为时序波形图，是本发明设计点灯时序控制模块的原理依据。

图8为在不使用LED灯、相机曝光同步控制的条件下采集的视频图像。

图9为在使用LED灯、相机曝光同步控制的条件下采集的视频图像。

图10为在使用LED灯、相机曝光同步控制的条件下采集的视频图像，头盔表面存在高反射镜面，将阳光反射入相机镜头，引入杂光。

图11为在使用LED灯、相机曝光同步控制的条件下采集的视频图像，头盔表面存在高反射镜面，根据光斑形状滤除杂光和噪声

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的用于航空机载头盔定位系统的图像处理装置基于DSP+FPGA的硬件平台，利用数字信号处理器（DSP）强大的高速算法处理能力，和FPGA的高度并行流水处理功能力，可以很好解决视频图像数据量大、算法复杂高和实时性高等问题，实现芯片的优势互补和平台的优化；同时通过FPGA来实现LED灯时序控制、相机曝光时间同步控制等，在硬件电路平台上抑制外界噪声、杂光干扰；又在传统的光斑投影法的基础上，提出根据光斑形状滤除杂光的改进算法，从而在算法上，保证光斑质心提取的稳定性。通过采用上述三种方式，使得头盔瞄准系统运算速度、计算精度、抗干扰等综合性能得到很大提升，可广泛应用于战斗机、武装直升机、单兵等领域。

请参阅图1，图像处理装置的硬件结构主要基于FPGA+DSP的硬件平台，以及由FPGA对LED点灯板的控制模块。图像处理装置的工作原理：两路1280*1024的DVI格式的图像数据输入到FPGA中，FPGA对视频信号的进行采集和对大量的图像处理数据进行抗强光去噪和光斑质心算法提取预处理；然后将光斑质心坐标信息通过DSP的EMIF方式传输到DSP芯片中进行定标和定位位姿解算等算法，并将处理后的头盔坐标信息和经和瞄准线参数再通过EMIF方式传递给FPGA；最后FPGA进行LED灯控制、相机曝光时间参数控制等。

1)DSP模块

DSP芯片为TI公司的TMS320DM642，其主频为600MHz，片内有256KB程序和数据RAM，同时还集成了多通道缓冲串口，通过EMIF总线方便与FPGA以及外部各种存储器通信。DSP是系统的控制中心，具有复杂数据计算能力，通过实现功能包括标记、计算光斑提取阈值、设置相机的工作模式、与外部系统通讯等功能。

2)FPGA模块

图像处理装置选用ALTRA公司的EP3C55F484I7。该芯片具有156个乘法器、55865个逻辑单元、片上存储器2340kbits、4个PLL资源和328个I／O管脚，内部最高倍频167MHz，满足系统设计所需要的逻辑资源和存储器资源。FPGA是系统的执行中心，具有并行运算等优点，在大规模数据处理分析方面有优势，实现光斑质心提取和抗强光干扰算法等算法以及实行DSP命令等功能。

图像处理装置的软件系统架构采用“胖FPGA瘦DSP”的设计思路，将算法中所有像素级运算分解为若干可以直接依托于FPGA运行的单元模块，DSP进行高端信息融合，目标选取等任务。

如图2所示，定位传感器（数字相机）拍摄LED阵列的图像，以帧曝光的方式输出分辨率为1280*1024、60帧/秒的视频图像。FPGA接收相机采集的视频图像，将图像存储到DDR，然后对图像数据进行光斑提取和抗强光算法处理。DSP通过EMIF总线查询FPGA的一个状态，从FPGA读取光斑的质心坐标以及其他数据统计量，最后将运算头盔的偏转角、仰俯角等信息通过串口发给外界，以达到头盔瞄准功能。

DSP通过FPGA触发信号CAM_EX和串口RS422向摄像机发出命令和数据，来设置摄像机的触发模式、图像大小、采集帧率、曝光时间等参数以得到合适图像大小和帧率的视频。DSP设置参数，让FPGA周期性地向LED点灯板发送命令，设置点灯时序控制等，实现LED灯、相机曝光同步控制。

综上所述，本发明的用于航空机载头盔定位系统的图像处理装置包括相机曝光模块、LED灯点灯模块、视频图像获取模块、光斑识别模块、滤除模块、光斑质心提取模块、点灯时序控制模块、头盔瞄准模块。

相机曝光模块、LED灯点灯模块、视频图像获取模块、光斑识别模块、滤除模块、光斑质心提取模块、点灯时序控制模块、头盔瞄准模块的实现步骤如图3所示：S30、相机曝光模块用于控制该航空机载头盔定位系统中的相机曝光时间；S301、LED灯点灯模块用于控制该航空机载头盔定位系统中的LED灯点灯，完成在相机曝光时的LED灯点灯；S302、点灯时序控制模块用于形成点灯脉冲以使该航空机载头盔定位系统中LED灯时序与相机曝光时间实现同步控制；S31、视频图像获取模块用于在相机曝光时获取视频图像；S32、光斑识别模块用于在该视频图像中做出光斑标记而识别出光斑；S33、滤除模块用于滤除该视频图像中孤立的光斑、不规范杂光形状的光斑，而保留具有预定光斑形状特征的光斑；S34、光斑质心提取模块用于对该视频图像中的各个光斑提取相应的光斑质心参数，并根据光斑质心参数组计算光斑质心行列坐标；S36、头盔瞄准模块用于根据该光斑质心行列坐标运算该航空机载头盔定位系统的头盔的调动数据，以达到该头盔的瞄准功能。

在光斑质心提取时，光斑质心提取的算法原理，满足一阶矩质心计算公式：

$X_c=\frac{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)\&CenterDot;x}{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)},Y_c=\frac{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)\&CenterDot;y}{\underset{y=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{x=1}{\overset{n}{\mathrm{\&Sigma;}}}I(x,y)};$

其中，X_c代表质心的横坐标，Y_c代表质心的纵坐标；I_（x,y）代表图像在坐标为（x,y）处的像素点的灰度值，x代表图像的横坐标，y代表图像的纵坐标；m、n为正整数。光斑识别分为利用投影法寻找光斑和光斑匹配识别两部分，水平投影法找光斑与垂直投影法找光斑类似，这里以垂直投影法找光斑为例，如图4所示。

为了从背景中识别出像光斑采用不同标记来区分背景像素、噪声像素和光斑像素，首先将当前像素灰度值与预定的阈值比较，小于阈值则标记为背景标记，大于阈值则标记为光斑标记，如图5所示。根据各个光斑最终质心参数组累加值，按照一阶矩质心计算公式计算其质心行列坐标。

从图6可以得出，光斑是圆形或近似圆形（如光斑3、光斑4、光斑5、光斑6），噪声只是孤立的点（如光斑1），杂光的形状不规范（如光斑2）。根据光斑形状特征可以将光斑保留，滤除杂光和噪声。

如图7所示，当FPGA发出一个LED驱动脉冲时，LED的响应脉冲会有一个相对延迟，产生点亮延迟和熄灭延迟，即LED响应脉冲光谱响应曲线与LED驱动脉冲时序存在滞后延迟现象。同时，相机的曝光时间要与LED灯的点亮时间同步。所以，由FPGA作为控制中心，通过LED驱动脉冲波形与相机的外触发曝光时序的同步控制，能够实现相机曝光与LED点亮的成像同步，完成曝光精准控制和抑制外界杂光，还能消除图像运动拖尾现象，以及降低功耗和延长LED灯寿命的功能。

由图7可以得出，LED光谱响应曲线与点灯脉冲由滞后延迟现象，所以由FPGA作为控制中心，全局控制DSP的反馈命令和LED灯板的逻辑和时序，就能实现点灯、曝光精准控制，抑制外界杂光。另外，LED灯、相机曝光同步控制也能消除图像运动拖尾现象，和减少LED灯功耗，延长LED灯寿命。

图像处理装置在航空机载头盔定位系统中取得的有益效果如下。

1．光斑质心的有效提取

如图8至图11，几组图像是在使用阳光模拟器环境下（光线强度不同），不同的条件下采集的视频图像：图8是在不使用LED灯、相机曝光同步控制的条件下采集的视频图像；图9是在使用LED灯、相机曝光同步控制的条件下采集的视频图像；图10是在使用LED灯、相机曝光同步控制的条件下采集的视频图像，头盔表面存在高反射镜面，将阳光反射入相机镜头，引入杂光；图11是在使用LED灯、相机曝光同步控制的条件下采集的视频图像，头盔表面存在高反射镜面，根据光斑形状滤除杂光和噪声。

由此可以得出，在不使用LED灯、无法实现光斑质心提取，使用LED灯、相机曝光同步控制的条件下，抑制外界噪声、杂光干扰，从而在硬件电路平台上保证光斑质心提取的稳定性；在头盔表面高反射阳光的极端条件，阳光反射入相机镜头引入杂光，根据光斑形状滤除杂光和噪声，从而在算法上保证光斑质心提取的准确性和稳定性。

2.图像处理装置处理速度的提升

如表1所示，以下几组数据是在相同环境条件下的1280*1024*60帧/s视频图像，在不同的平台运行光斑提取质心算法以及滤除杂光和噪声算法的速度：

表1速率对比图

从表1可以得出结论：相对于PC平台、单一DSP平台，DSP+FPGA架构算法处理速度快速提升，效果和架构优势明显。

综上所述，结果表明，本发明的用于航空机载头盔定位系统的图像处理装置及其图像处理方法，能实时、高效、稳定地实现视频图像的采集、光斑质心提取、LED灯控制、相机曝光参数控制、定位位姿解算等功能，使得头盔瞄准系统运算速度、计算精度、抗干扰等综合性能得到很大提升。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于航空机载头盔定位系统的图像处理装置，其包括：

相机曝光模块，其用于控制该航空机载头盔定位系统中的相机曝光时间；

LED灯点灯模块，其用于控制该航空机载头盔定位系统中的LED灯点灯，完成在相机曝光时的LED灯点灯；

视频图像获取模块，其用于在相机曝光时获取视频图像；

光斑识别模块，其用于在该视频图像中做出光斑标记而识别出光斑；

光斑质心提取模块，其用于对该视频图像中的各个光斑提取相应的光斑质心参数，并根据光斑质心参数计算光斑质心行列坐标；

头盔瞄准模块，其用于根据该光斑质心行列坐标运算该航空机载头盔定位系统的头盔的调动数据，以达到该头盔的瞄准功能；

其特征在于：该图像处理装置还包括：

滤除模块，其用于滤除该视频图像中孤立的光斑、不规范杂光形状的光斑，而保留具有预定光斑形状特征的光斑；

点灯时序控制模块，其用于形成点灯脉冲时序以使该航空机载头盔定位系统中LED灯点灯与相机曝光时间实现同步控制。

2.如权利要求1所述的用于航空机载头盔定位系统的图像处理装置，其特征在于：该光斑质心提取模块的光斑质心行列坐标提取满足以下公式：

$X_c=\frac{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}\&CenterDot;x}{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}},Y_c=\frac{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}\&CenterDot;x}{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}};$

其中，X_c代表质心的横坐标，Y_c代表质心的纵坐标；I_(x,y)代表图像在坐标为(x,y)处的像素点的灰度值，x代表图像的横坐标，y代表图像的纵坐标；m、n为正整数。

3.如权利要求1所述的用于航空机载头盔定位系统的图像处理装置，其特征在于：该光斑识别模块用于将该视频图像的当前像素灰度值与预定的阈值比较，小于预定的阈值则标记为背景标记，大于预定的阈值则标记为光斑标记。

4.如权利要求1所述的用于航空机载头盔定位系统的图像处理装置，其特征在于：该调动数据包括该头盔的偏转角、仰俯角。

5.如权利要求1所述的用于航空机载头盔定位系统的图像处理装置，其特征在于：该预定光斑形状特征为圆形。

6.一种用于航空机载头盔定位系统的图像处理方法，其包括以下步骤：

控制该航空机载头盔定位系统中的相机曝光时间；

控制该航空机载头盔定位系统中的LED灯点灯，完成在相机曝光时的LED灯点灯；

在相机曝光时获取视频图像；

在该视频图像中做出光斑标记而识别出光斑；

对该视频图像中的各个光斑提取相应的光斑质心参数，并根据光斑质心参数计算光斑质心行列坐标；

根据该光斑质心行列坐标运算该航空机载头盔定位系统的头盔的调动数据，以达到该头盔的瞄准功能；

其特征在于：该图像处理方法还包括以下步骤：

滤除该视频图像中孤立的光斑、不规范杂光形状的光斑，而保留具有预定光斑形状特征的光斑；

点灯时序控制模块，其用于形成点灯脉冲时序以使该航空机载头盔定位系统中LED灯点灯与相机曝光时间实现同步控制。

7.如权利要求6所述的用于航空机载头盔定位系统的图像处理方法，其特征在于：光斑质心行列坐标提取满足以下公式：

$X_c=\frac{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}\&CenterDot;x}{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}},Y_c=\frac{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}\&CenterDot;x}{\underset{y=1}{\overset{m}{\&Sigma;}}\underset{x=1}{\overset{n}{\&Sigma;}}{I}_{(x,y)}};$

其中，X_c代表质心的横坐标，Y_c代表质心的纵坐标；I_(x,y)代表图像在坐标为(x,y)处的像素点的灰度值，x代表图像的横坐标，y代表图像的纵坐标；m、n为正整数。

8.如权利要求6所述的用于航空机载头盔定位系统的图像处理方法，其特征在于：将该视频图像的当前像素灰度值与预定的阈值比较，小于预定的阈值则标记为背景标记，大于预定的阈值则标记为光斑标记。

9.如权利要求6所述的用于航空机载头盔定位系统的图像处理方法，其特征在于：该调动数据包括该头盔的偏转角、仰俯角。

10.如权利要求6所述的用于航空机载头盔定位系统的图像处理方法，其特征在于：该预定光斑形状特征为圆形。