CN112419211A - 一种基于合成视觉的夜视系统图像增强方法 - Google Patents

Abstract

本发明属于光电侦察、态势感知领域，公开了一种基于合成视觉的夜视系统图像增强方法，包括：夜视系统空间位姿数据采集，空间转换矩阵生成，合成视觉图像生成，线框化处理，线框化合成视觉与夜视图像叠加融合；该方法以合成视觉技术为基础，利用夜视系统探测目标时的空间位姿数据，合成视觉系统生成对应的图像，针对该图像提取地形地貌等线框化特征，融合在对应的时空的夜视图像上。本发明能够提升夜视系统在恶劣视觉条件下的环境探测能力，增强对飞机的辅助导航能力，帮助飞行员在云/雨气候异常条件下，更加有效的感知外部环境，降低载机与地物山体碰撞的概率，可提高直升机在恶略视觉环境下的感知能力和侦察能力，提升直升机的战场生存能力。

Description

一种基于合成视觉的夜视系统图像增强方法

技术领域

本发明属于光电侦察、态势感知领域，主要涉及一种基于合成视觉的夜视系统图像增强方法。

背景技术

机载平台上的夜视系统，为载机在夜间的机动提供了辅助导航能力，它利用微光和夜视传感器，使得载机能够在黑夜条件下探测到前方的地形环境，为飞行员提供了黑夜条件下较为清晰的外部飞行环境。

然而载机面临的环境和任务可能会更加复杂，特别是武装直升机，会经常面临在山区高原的机动和飞行，这类地形环境在黑夜条件下会特别危险，并且该类环境下气候极端异常情况时有发生，浓云、大雨、大雾甚至降雪与黑夜条件严重影响飞行员的视觉环境，会产生夜视系统无法应对的视觉环境，在复杂地形条件下极易发生事故。

夜视系统是利用多波段的传感器探测外部环境，能够解决黑夜条件导致的恶劣视觉问题，然而面对其它的包括雨，雪，雾，霾，烟，沙尘等外部环境时，环境探测传感器会降低功效甚至完全丧失能力，此时夜视系统可能会无法保障载机的飞行安全。需要新的技术机制能够应对此类恶劣视觉环境条件。

合成视觉技术利用地形数据生成三维场景，由于它利用信息处理的方式产生外部环境图像，所以呈现的外部地形地貌环境，不会受到气候条件影响。利用合成视觉的技术特点，将其优势吸收到夜视系统中，是一个提升载机恶劣环境适应性的方向。

发明内容

(一)要解决的技术问题

直升机夜视系统在面临更加恶劣的视觉环境时，比如除了黑夜之外，同时面临雨、雪、云、雾、霾、沙尘等其它气候异常导致的视觉条件恶化的问题，此时，需要在夜视系统技术基础上，结合合成视觉技术的优势，将合成视觉图像长生的外部地形场景，以线框化的方式提取地形地貌或者山体特征，叠加到夜视图像上，提供给飞行员一个更好的感知周围态势的方案，以提高飞行安全、态势感知效果。

(二)技术方案

为解决直升机面临的黑夜条件与复杂异常极端气候条件叠加问题，本发明提出基于合成视觉的夜视系统图像增强方法，该方法采集夜视系统的空间位姿数据，基于该数据生成对应的合成视觉图像，并针对该环境图像提取线框化的地形地貌特征，将该特征叠加融合在夜视图像之上，提供相互补充的外界环境信息；线框化的方式保证了既能体现地形地貌特点，又不会对夜视图像大范围遮挡，并且在外界视觉环境变差或消失后，也能提供足够的外部地形地貌视觉参考。

(三)有益效果

上述技术方案所提供的基于合成视觉的夜视系统图像增强方法，通过相关技术手段实现在夜视图像中融合合成视觉图像的部分信息，能够弥补夜视传感器在云、雨、雪、雾、霾、沙尘、硝烟等条件下的能效降低或消失，增强夜视图像的恶劣视觉条件下环境再现能力，提升辅助导航能力，提高夜视条件下的飞机安全能力。

附图说明

图1是本发明中方法的流程组成示意图。

图2是生成的合成视觉图像效果图。

图3是线框化的合成视觉图像特征提取效果图。

图4是叠加在夜视图像上的线框特征图效果。

具体实施方式

为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

如图1所示，本发明实施例夜视系统图像增强方法主要包括以下步骤：载机位姿以及夜视瞄准线姿态参数获取，静态三维场景生成，空间变换矩阵构建，动态合成视觉图形生成，线框化合成视觉图像特征提取，夜视图像叠加融合特征。

下面对具体步骤详述：

S1：载机位姿以及夜视瞄准线姿态参数获取

载机位姿参数包括载机位置参数和姿态参数，载机位置参数包括经度、纬度、高度，分别记为l、b、h，载机位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准；夜视瞄准线姿态参数包括瞄准线的方位角和俯仰角，分别记为a_los、p_los，该角度以载机坐标系为基准。

获取包括载机位置、姿态，瞄准线姿态在内的共8个数据，作为后续动态连续合成视觉图像生成步骤的输入。

S2：静态三维场景生成

基于载机所在地理区域的地形数据，地形数据包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，步骤包括：

2.1单块规则高程地形数据可视化

高程数据形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型。

2.2海量数据组织方法

海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块规则高程地形数据进行组织，生成超大规模的三维地形场景模型。

2.3基于纹理的映射方法；

以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景。

该步骤生成的三维场景，记为SCENE_stategraph，作为后续动态连续合成视觉图像生成步骤的输入。

S3：空间变换矩阵构建

本步骤涉及到的空间变换矩阵包括：载机的空间位置变换矩阵，记为M_airplane-pos，载机的空间姿态变换矩阵，记为M_{airplane-atti}，以及瞄准线的空间姿态变换矩阵，记为M_los-atti，下面分别介绍其计算过程：

载机的空间位置变换矩阵以载机位置为输入，计算载机的空间位置变换矩阵，采用如下公式：

其中，u，v，n的计算采用如下公式：

u＝[u_x,u_y,u_z]＝[-sinl,cosl,0]

v＝[v_x,v_y,v_z]＝[coslsinb,sinbsinl,-cosb]

n＝[n_x,n_y,n_z]＝[coslcosb,sinlsinb,sinb]

b、l是步骤一中采集得到的载机纬度和经度，h为载机高度。

位置矩阵p_x,p_y,p_z的计算采用如下公式：

p_x＝(N+H)cosbcosl

p_y＝(N+H)cosbsinl

p_z＝[(N(1-e²)+H]sinb

其中：

a,b分别为地球半径长短半径

载机的空间姿态变换矩阵M_{airplane-atti}采用如下计算公式：

其中：θ,

σ分别是载机姿态的横滚角、俯仰角和方位角。

瞄准线在载机坐标系下的姿态矩阵M_los-atti采用如下计算公式：。

其中，

其中，a_los,p_los分别是载机瞄准线的方位角和俯仰角。

S4：合成视觉图形生成

以步骤S2和步骤S3的输出作为输入，即采集得到的载机空间位置变换矩阵、载机空间姿态变换矩阵、瞄准线空间姿态变换矩阵驱动生成的三维静态场景，生成动态连续的合成视觉图像，具体方法包括：

4.1获取载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵M_airplane-pos和空间姿态变换矩阵M_{airplane-atti}；

4.2根据瞄准线姿态数据构建瞄准线空间变换矩阵M_airplane-los；

4.3根据上述步骤构建复合空间变换矩阵M_composite，即M_composite＝M_los*M_atti*M_pos；

4.4以三维静态场景生成的场景节点树为对象SCENE_stategraph，应用上一步中构建的复合空间变换矩阵M_composite，生成动态连续的合成视觉图像，记为SVS_sequce；其中某一帧的图像记为f_svs(x,y,z,t)。

本步骤中输出的合成视觉图像作为后续配准融合步骤的输入。

S5：线框化合成视觉图像特征提取

假设生成的合成视觉某一帧图像为f(x,y)，针对该帧图像进行线框化特征提取方法如下：

5.1对f(x,y)进行高斯平滑滤波，高斯核采用如下核K：

5.2计算f(x,y)的梯度幅值和方向，采用如下卷积阵列：

采用下式计算梯度幅值和方向：

5.3采用非极大值抑制排除非边缘像素

针对f(x,y)中的每一个像素，与周边相邻像素比较相同梯度方向下的梯度幅值，保留梯度幅值最大的像素，去除其它像素点。

5.4采用滞后阈值算法选择像素

设置高阈值h(max)和低阈值h(min)，对于f(x,y)的灰度梯度高于h(max)的像素进行保留，对于f(x,y)的灰度梯度小于h(min)的像素进行去除，灰度梯度介于h(max)和h(min)的像素，如果和高于h(max)的边缘像素相连接，则保留，否则去除。

线框化提取地形地貌特征的效果图见图3。

S6：夜视图与合成视觉特征图的叠加融合

将步骤S5中合成视觉图像进行线框化特征提取后的图像叠加在夜视图像上，注意该步骤叠加的仅仅是提取出来的特征，比如上一步骤中的线条，叠加融合二者图像的益处是：在夜视图像由于外界视觉条件恶化(比如硝烟、沙尘、雨、雪、云、雾等)，图像内容可能模糊甚至消失，叠加对应的合成视觉特征仍然可以帮助飞行员识别山体地貌特征等，合成视觉特征不受外界影响，二者的融合提升了夜视系统在恶劣视觉条件下的适应能力。

在夜视图像上叠加线框图的示意效果见图4a和图4b，

本发明利用了合成视觉数据不受外界环境影像的特点，结合了夜视数据在微光夜视条件下的探测能力，采用线框化方式将二者图像融合叠加，产生增强型夜视图像，能够提升夜视系统在恶劣视觉条件下的环境探测能力，增强夜视系统对飞机的辅助导航能力。帮助飞行员在高原山区等云/雨气候异常条件下，更加有效的感知外部环境，降低载机与地物山体碰撞的概率，可提高直升机在恶略视觉环境下的感知能力和侦察能力，提升直升机的战场生存能力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于合成视觉的夜视系统图像增强方法，其特征在于，包括以下步骤：

S1：载机位姿以及夜视瞄准线姿态参数获取；

S2：静态三维场景生成；

S3：空间变换矩阵构建；

S4：动态合成视觉图形生成；

S5：线框化合成视觉图像特征提取；

S6：夜视图像叠加融合特征。

2.如权利要求1所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S1中，载机位姿参数包括载机位置参数和姿态参数，载机位置参数包括经度、纬度、高度，分别记为l、b、h，载机位置参数以地理坐标系为基准，经度、纬度单位为度，姿态参数包括航向角、俯仰角、横滚角，分别记为a、p、r，单位为度，该角度以东北天坐标系为基准；夜视瞄准线姿态参数包括瞄准线的方位角和俯仰角，分别记为a_los、p_los，该角度以载机坐标系为基准。

3.如权利要求2所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S2中，基于载机所在地理区域的地形数据，地形数据包含高程数据和卫星纹理影像数据，生成该区域的三维地理场景，包括以下子步骤：

2.1单块规则高程地形数据可视化

高程数据形式为规则网格高程数据文件形式，对规则网格高程数据文件进行解析，根据高程数据进行模型视点变换、透视投影变换、视口变换，生成单块规则高程地形数据的网格化三维模型；

2.2海量数据组织方法

海量地形数据由单块规则高程地形数据组成，以四叉树多分辨率方法对多块规则高程地形数据进行组织，生成大规模的三维地形场景模型；

2.3基于纹理的映射方法；

以卫星影像为纹理，在大规模的三维地形场景表面映射卫星纹理，生成超大规模真实效果的三维地形场景；该步骤生成的三维地形场景记为SCENE_stategraph。

4.如权利要求3所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S3中，所构建的空间变换矩阵包括：载机的空间位置变换矩阵，记为M_airplane-pos；载机的空间姿态变换矩阵，记为M_{airplane-atti}；瞄准线的空间姿态变换矩阵，记为M_los-atti。

5.如权利要求4所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S3中，载机的空间位置变换矩阵以载机位置为输入，计算载机的空间位置变换矩阵，采用如下公式：

其中，u，v，n的计算采用如下公式：

u＝[u_x,u_y,u_z]＝[-sinl,cosl,0]

v＝[v_x,v_y,v_z]＝[coslsinb,sinbsinl,-cosb]

n＝[n_x,n_y,n_z]＝[coslcosb,sinlsinb,sinb]

b、l是步骤一中采集得到的载机纬度和经度，h为载机高度；

位置矩阵p_x,p_y,p_z的计算采用如下公式：

p_x＝(N+H)cosbcosl

p_y＝(N+H)cosbsinl

p_z＝[(N(1-e²)+H]sinb

其中：

a,b分别为地球半径长短半径。

6.如权利要求5所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S3中，载机的空间姿态变换矩阵M_{airplane-atti}采用如下计算公式：

其中：θ,

σ分别是载机姿态的横滚角、俯仰角和方位角。

7.如权利要求6所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S3中，瞄准线在载机坐标系下的姿态矩阵M_los-atti采用如下计算公式：

其中，

其中，a_los,p_los分别是载机瞄准线的方位角和俯仰角。

8.如权利要求7所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S4中，以步骤S2和步骤S3的输出作为输入，即采集得到的载机空间位置变换矩阵、载机空间姿态变换矩阵、瞄准线空间姿态变换矩阵驱动生成的三维静态场景，生成动态连续的合成视觉图像，包括以下子步骤：

4.1获取载机位姿数据构建空间变换矩阵，包括位置空间变换矩阵M_airplane-pos和空间姿态变换矩阵M_{airplane-atti}；

4.2根据瞄准线姿态数据构建瞄准线空间变换矩阵M_airplane-los；

4.3根据上述步骤构建复合空间变换矩阵M_composite，即M_composite＝M_los*M_atti*M_pos；

4.4以三维静态场景生成的场景节点树为对象SCENE_stategraph，应用上一步中构建的复合空间变换矩阵M_composite，生成动态连续的合成视觉图像，记为SVS_sequce；其中某一帧的图像记为f_svs(x,y,z,t)。

9.如权利要求8所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S5中，定义生成的合成视觉某一帧图像为f(x,y)，针对该帧图像进行线框化特征提取方法如下：

5.1对f(x,y)进行高斯平滑滤波，高斯核采用如下核K：

5.2计算f(x,y)的梯度幅值和方向，采用如下卷积阵列：

采用下式计算梯度幅值和方向：

5.3采用非极大值抑制排除非边缘像素

针对f(x,y)中的每一个像素，与周边相邻像素比较相同梯度方向下的梯度幅值，保留梯度幅值最大的像素，去除其它像素点；

5.4采用滞后阈值算法选择像素

设置高阈值h(max)和低阈值h(min)，对于f(x,y)的灰度梯度高于h(max)的像素进行保留，对于f(x,y)的灰度梯度小于h(min)的像素进行去除，灰度梯度介于h(max)和h(min)的像素，如果和高于h(max)的边缘像素相连接，则保留，否则去除。

10.如权利要求9所述的基于合成视觉的夜视系统图像增强方法，其特征在于，所述步骤S6中，将步骤S5中合成视觉图像进行线框化特征提取后的图像叠加在夜视图像上。

Images