CN110884672A

CN110884672A - 全景成像直升机辅助降落装置

Info

Publication number: CN110884672A
Application number: CN201911185970.2A
Authority: CN
Inventors: 纪明; 何樱; 陶忠; 高强; 李良福; 桑蔚; 张鑫诚; 安学智; 章文娟; 谢欢
Original assignee: Xian institute of Applied Optics
Current assignee: Xian institute of Applied Optics
Priority date: 2019-11-27
Filing date: 2019-11-27
Publication date: 2020-03-17

Abstract

本发明公开了一种基于全景成像的直升机辅助降落装置，属于光电侦察、导航领域。该装置由双通道红外成像仪和全景环带成像镜头组合的成像系统、控制单元，信息处理单元组成。成像系统安装在直升机机腹下方，其中的红外成像仪和环带镜头分别提供直升机下方的中心视场图像和环带全景图像。成像系统获取的图像，由电子箱中的信息处理单元接收控制单元的控制指令，进行目标距离解算和环带图像展开。同时发送中心视场图像和展开的全景图像至机上综显系统。该系统作为一种全新的辅助降落装置，能够向飞行员同时呈现机腹以下360°范围内的全景图像并具备深度信息，能显著提升直升机降落的安全性。

Description

全景成像直升机辅助降落装置

技术领域

本发明属于光电侦察、导航领域，主要涉及一种全景成像直升机辅助降落装置。

背景技术

直升机在复杂环境下的着陆动作一直是一项艰难的飞行操作。直升机空运物资和伤员救援往往需要在恶劣气候和山区实施，复杂的地形和气候经常限制了直升机的任务飞行和效率，其中一个重要因素就是缺乏先进的着陆装备，驾驶员无法在对环境没有确切感知的情况下完成直升机的降落动作。2013年世界直升机范围内的事故统计与分析显示，发生在进场/着陆阶段的事故数量有204起，占事故总数的44％。

直升机着陆时，驾驶员首先需要观察四周环境，例如在山区，一些树木就很可能击坏旋翼，致使机毁人亡。在作战时，还需要观察周围有无敌军威胁。其次需要观察下方地形，严重凹凸不平的地面会导致直升机的倾覆，不同的地形地貌对直升机降着陆时气流升力模型产生不同影响。直升机助降系统利用环带成像具有360°的视场角这个特点，可以在直升机着陆时观察到下方地形地貌和四周环境，同时结合体视技术精确标定的地形状态，为驾驶员提供准确的着陆判断依据。

现有的直升机助降相关的专利，尚无基于全景成像的助降装置或方法。其中有关于坠落直升机安全着陆系统的专利，是通过安装于机上的降落伞、减速喷气机、可充气橡胶管等，解决直升机遇空难而无法解救的问题。也有舰载直升机应急照明助降方法的专利，属于照明技术领域。通过对直升机夜降时灯光的集中控制，实现对直升机降落进行引导。有基于无线紫外光的直升机助降系统及助降方法的专利，属于通信系统，利用紫外光通信技术，协助直升机降落。现存专利中的辅助降落装置或方法都不能满足武装直升机在陌生异地降落的需求。本专利提出的装置较好的满足了这一需求。

发明内容

本发明针对直升机在降落时无法观察到机腹下方全景式地形地貌和外界立体视觉信息，影响降落安全的问题，为解决现役武装直升机降落时缺少机腹下方全景式感知的缺陷，提供一种全景成像直升机助降装置，为驾驶员提供降落时机腹下方全景式立体视觉信息。

本发明根据双目立体视觉原理，采用基于全景环带立体成像技术、红外夜视系统技术以及双传感器图像匹配处理技术，设计基于全景成像的直升机助降系统装置，为驾驶员提供降落过程中机腹下方真实明确的全景图像。

本发明的技术方案为：

所述一种全景成像直升机辅助降落装置，其特征在于：包括由双通道近红外成像仪和全景环带镜头组成的成像系统、控制单元、信息处理单元；

所述成像系统能够同时提供直升机下方中心视场图像和全景环带图像，其中双通道近红外成像仪获取直升机下方中心视场图像，全景环带镜头获取直升机下方方位360°范围全景环带图像；

所述信息处理单元采集双通道近红外成像仪中两部红外热像仪在观测同一场景的两幅图像，识别相同特征点，经过特征匹配运算并根据立体视差法，计算出选中目标的距离值，并将距离信息叠加在中心视场图像上，并将中心视场图像传输至直升机上综合显控设备进行显示；

所述信息处理单元采集两个全景环带镜头成像的图像，针对同时出现在两个全景环带镜头成像图像中的目标，通过三角测量法计算该目标点的距离值；所述信息处理单元还根据控制单元的控制命令，选择某个全景环带镜头成像的图像，经过像素矩阵线性变换展开为矩形全景图像，并将目标点的距离值叠加到矩形全景图像上，而后将矩形全景图像传输至直升机上综合显控设备进行显示；

所述控制单元用于选中观察目标，发送控制命令并调整立体观察效果。

进一步的优选方案，所述一种全景成像直升机辅助降落装置，其特征在于：全景环带镜头采用基于全景环带透镜的环带立体成像系统，所述基于全景环带透镜的环带立体成像系统包含两组同轴放置的全景环带透镜。

进一步的优选方案，所述一种全景成像直升机辅助降落装置，其特征在于：两个红外热像仪安装在全景环带镜头两侧，共同固定在机腹下方。

有益效果

本发明的整体技术效果体现在以下几个方面。

(一)本发明在设计通过相关技术手段实现了提供直升机下方全景式环带图像信息和下方中心视场图像信息。与现有技术相比，可为驾驶员提供由中心视场和环形全景视场构成的外界场景真实明确的全景式图像信息。

(二)本发明能够对双摄像机同时观测到的同一场景的两幅图像细微差别进行提取，识别相同的特征点，经过特征匹配运算并根据立体视差法，计算出选中目标的距离值，并将距离信息叠加在机腹下方中心视场场景上；能够对全景环带镜头获取到的图像采用三角测量法，提取出图像中物体的深度信息，叠加到机腹下方全景环带图像场景上；能够将全景环带图像通过像素矩阵的线性变换展开为矩形全景图像；与现有技术相比，可为驾驶员提供机腹下方全方位的环境信息。

附图说明

图1是本发明装置中全景成像系统原理示意图。

图2是本发明装置中单PAL结构与成像光路原理图。

图3是本发明装置中中全景立体环带成像系统成像原理图。

图4是全景环带成像系统提取立体信息的三角测量法示意图

图5是全景环带立体成像系统的像面原理图。

图6是全景环带成像系统的探测视场关系图。

图7是全景环带成像系统的探测器位置关系示意图。

图8是全景成像系统的显示界面布局示意图。

图9是全景成像环带图像展开矩形图像坐标对应关系示意图。

图10是直升机助降系统组成示意图。

具体实施方式

下面结合具体实施例描述本发明：

本发明提出的全景成像直升机辅助降落装置包括双通道红外热像仪和全景环带镜头构成的成像系统、信息处理单元、控制单元、显示单元。成像系统的双通道红外热像仪探测直升机机腹下方的中心视场，全景环带镜头探测直升机机腹下方的方位360范围视场，如图2，二者互为补充能够探测整个直升机下方所有空间。将中心视场左右探测器和环带视场探测器集成在一个小型光电吊舱的安装平台上，安装在直升机机腹下方。中心视场的左右两个探测器经过精确标定与校准，对下方同一中心视场探测得到的图像有细微差别，这一差别与双通道红外探测器的基线长度、焦距、分辨率等参数有关。信息处理单元对这一细微差别进行提取，提取出图像中目标的距离信息，叠加到中心视场场景中，送给显示单元的中心视场图像。环带视场探测器含有两组同轴放置并成像于同一个传感器上的全景环带镜头(PAL)，其成像圆为两内外相接的圆环。物体经过两个PAL单元分别成像于两个环中，送到电子箱的信息处理单元，信息处理单元通过三角测量法比较同时出现在两个环中的相同目标的位置差异，提取出目标的距离信息，同时信息处理单元还将某一全景环带图像经过像素矩阵线性变换展开为矩形全景图像，再将之前提取的距离信息叠加到全景场景，送给显示单元。控制单元接收用户指令发送到信息处理单元进行各种图像处理。

(一)全景探测器说明

(1)光学系统说明

光学环带成像技术应用新型柱面/平面投影成像原理,即从柱面摄取图像信息，投影到平面系统展现图像信息，代替以往光学系统的平面/平面投影原理，如图4所示，将围绕光学系统光轴360°范围的圆柱视场(图中α区域)投影到二维平面上的一个环形区域内,便于实现360°环带空间的全景实时成像。

全景环带立体成像光路原理如图3、4所示，单PAL透镜的成像光路如图3所示，1、3为反射面，2、4为折射面，它的成像可以基于平面圆柱投影法，如图2所示，将光轴水平360°的景物投影到二维平面，A点与B点经过2次折射与反射成像在CCD上，如图1中A′点和B′点。成像点位置由视场角α决定，β为盲区，与光轴成同一垂直视场角的物点在经过PAL系统后在CCD上成像形成同一半径的同心圆，若三维物点连线平行于光轴，则这些点在像面上的像在同一径向延长线上。所有物点在CCD上最终成环带像，水平视场角为360°，垂直视场角范围为(-α₂,α₁)。由于水平视场为360°，下面讨论的视场角都是垂直视场角。

双PAL透镜的全景系统光路原理如图4所示。PAL_up和RL_up是上方PAL部分和其后续镜组；PAL_down和RL_down是下方PAL部分和其后续镜组；上方PAL系统利用下方PAL系统的盲区成像。上方PAL的成像视场角为(-β_up，α_up)，下方PAL的成像视场角为(-β_do_wn，α_down)。由此可见，立体信息只能从两个PAL单元重叠的区域提取。如图3中由P点出发的两条光线，一条以入射视场角θ_down进入下方的PAL系统，经过两次折射和反射，成像在P₂点，另一条以入射视场角θ_up光线经过上方的PAL系统两次折射和反射后，利用下方PAL系统的盲区部分成像在P₁点，不同的视场角在CCD成像的位置不同。

成像面如图5所示，外环带是下方PAL的成像区，内环带是上方PAL的成像区，中心圆区为盲区。φ′为物点P的方位角，它的大小与初始定义的0°方位有关。P1和P2都是P点的像，它们的半径分别为r_up和r_down。r_up-max、r_up-min、r_down-max和r_down-min分别为两个PAL单元成像环带边界。两个PAL单元与传感器中心共轴，同一物点在内外环带上的2个像点在同一径向射线方向上，但分别位于光轴的两侧，如空间物点P点，经过两个PAL系统的像P₁和P₂连线经过圆心。

(2)探测器结构组成

探测器包含两个中心视场探测器和一个环形视场探测器，两个视场叠加起来需要完整覆盖飞机下方空间，如图6所示；探测器包含左右两个中心视场探测器和一个环带视场探测器，安装在底座上，其安装位置关系示意图如图7所示，其中D1为全景环带镜头基线长度，D2为两个红外镜头基线长度，两个基线长度在结构设计上需要满足可以微调的要求，基线长度是制约系统分辨率的重要因素，较长的基线长度对于提升系统分辨率有帮助，但同时使得探测器体积更大，作为机载设备对其体积有一定限制，可以根据具体参数调整设计。

(二)信息处理单元说明

信息处理单元对获取到的图像信息处理流程包含：

(1)双通道近红外图像立体信息提取；

双通道近红外探测器包括左右两个探测器，对应同一场景会同时获取到有微小差别的左右两幅图像，图像立体信息的获取算法框架包括：(1)左图采用Harris算法提取特征点；(2)对应左图每一个特征点，根据极线约束方法对右图进行对应极线提取；(3)针对左图每一个特征点，构建SIFT特征描述子，该描述子利用特征点邻域图像窗口内梯度的方向统计直方图来构造特征描述向量，通过计算某特征点的特征向量与右图在极线方向上多个搜素子图特征向量的欧氏距离，以最小欧氏距离搜索子图的中心点为匹配点，得到配准点后，可根据配准点对求出两个像点在成像面上的视差，可根据如下公式计算图像中的目标距离值：

其中，f为探测器焦距，为已知量，b为两个红外探测器的基线，为已知量，d为同一目标点在两个探测器上的视差，可根据配准点对像素位置和焦距以及分辨率容易计算得到。

(2)全景环带图像展开为全景矩形图像；

为方便驾驶员观察机腹下方全景地形地貌，全景环带图像需要展开为全景矩形图像，这一展开过程实际上是像素矩阵的线性变换。其展开过程可认为是将环带图像从一处断开后经过拉伸和弯曲操作变换为矩形图像，原环带图像的扇形部分会变换为矩形图像的矩形部分，且环带图像以圆形为中心一个方向的径向像素与矩形图像的一列纵向像素相应。将两幅图像表示为像素矩阵的形式，则矩形图像可看做是全景环带图像的经过线性变换得到的。

为说明其对应关系，建立如图9所示坐标系。P(x,y)为矩形图像中的任意像素，P′(x′,y′)为对应的环形区域中的像素，并设极坐标为P′(r,a)，环形中心点坐标o(x_c,y_c)，有如下对应关系：

x′＝x_c+rcosa

y′＝y_c+rsina

设环带图像展开的起始点位置A′(r₀,α₀)与矩形的A(x₀,y₀)相对应，则有

Δx＝x-x₀

Δy＝y-y₀

推导有

r＝r₀+Δr＝r₀+Δy＝r₀+(y-y₀)

a＝a₀+Δa＝a₀+Δx＝a₀+(x-x₀)

综合上式，有

x′＝x_c+[r₀+(y-y₀)]*cos[a₀+(x-x₀)]

y′＝y_c+[r₀+(y-y₀)]*cos[a₀+(x-x₀)]

根据上式即可完成从环带图像点到矩形图像点坐标转换关系，令二者颜色值相等即可：

g(x,y)＝f(x′,y′)。

(3)全景环带图像立体信息提取。

全景环带立体信息的获取流程与双通道近红外图像立体信息获取类似，同一物点在两个PAL上有不同的两个像点，根据差异可以计算出立体信息。为简化成像系统，单点成像基于图5所示，Z轴为光轴，物点P到光轴的距离定义为S，α为上方入射角，β为下方入射角，O,O′分别为上下PAL光线入瞳中心，d是两个PAL单元入瞳中心距离，α和β可分别由物点到上下入瞳中心距离(分别标记为r₁和r₂)确定，P点位置可由下式确定：

其中，α，β为可视为已知量，可根据光学设计标定参数表查询计算得到，该参数表体现了环形像面图上像点的半径与入射角的关系，像面图上像点半径可非常容易的通过像素位置计算得到，再进行查参数表可方便得到入射角α，β的值。入瞳中心距d需要精确计算，按照如下公式：

d(α，β)＝d₀+Δd(α)-Δd(β)

Δd(α)为上方PAL入瞳移动量，Δd(β)为下方入瞳移动量，d₀为上下PAL最小视场时的入瞳中心间距，为已知量。

求得S后，可根据下式计算得到P点位置P(X,Y,Z)，

其中，γ为像点与X轴的夹角，为已知量。

其中，O_z′为下方PAL光心在物空间的Z轴距离，为已知量。

因此，在全景立体图像中寻找空间某一目标点在两个环形图像中的两个对应像点，得到对应点在像面上的位置和入瞳距离，就可以获取目标点的距离值Z。

(三)显示单元说明

显示单元同时提供给用户中心视场图像和展开的全景矩形图像信息以及其它机上关键机构图像，在一个显示屏上可以同时显示直升机下方所有空间图像，中心视场图像与全景视场环带图像在显示屏可以以不同的方式布局，图7给出一种可选的实施例：在机上综显平台上同时机腹下方中心视场画面和周围方位360°范围画面以及机上其它关机部件图像。

(四)控制单元说明

控制单元提供给飞行员对于全景成像系统可选的软件操作与控制界面，包含但不限于以下操作接口：环带全景图像展开命令接口，跟踪目标命令接口，目标距离解算命令接口等。

Claims

1.一种全景成像直升机辅助降落装置，其特征在于：包括由双通道近红外成像仪和全景环带镜头组成的成像系统、控制单元、信息处理单元；

2.根据权利要求1所述一种全景成像直升机辅助降落装置，其特征在于：全景环带镜头采用基于全景环带透镜的环带立体成像系统，所述基于全景环带透镜的环带立体成像系统包含两组同轴放置的全景环带透镜。

3.根据权利要求2所述一种全景成像直升机辅助降落装置，其特征在于：两个红外热像仪安装在全景环带镜头两侧，共同固定在机腹下方。