CN106611414B - 一种增强视景系统及增强显示中跑道的增强显示方法 - Google Patents

Abstract

本发明涉及增强视景系统及增强视景中跑道的增强显示方法。系统包括用于生成表示增强视景图像的第一信号的视景增强系统、生成向处理器提供飞机位置、姿态和航向信息的第二信号的航空电子传感器、用于存储数据库并提供跑道位置信息的第三信号的数据存储设备、和利用第一、第二和第三信号并经过处理得到跑道增强显示图像的处理器。图像具体处理方法为利用第一、第二和第三信号数据根据摄像机成像原理求出跑道在增强视景图像中位置范围，然后利用图像处理算法得出跑道在增强视景图像中确切位置，增强显示增强视景图像中跑道使其在视觉上突显。采用本发明能够提高飞行员发现跑道的概率，降低低能见度对飞行影响，增强飞行员态势感知能力，提高飞行安全性。

Description

一种增强视景系统及增强显示中跑道的增强显示方法

技术领域

本发明涉及视景增强技术领域，具体为一种增强视景系统及增强显示中跑道的增强显示方法。

背景技术

目前增强视景系统(下文中，“EVS”)在飞机上的使用已较为普遍。且主要被用于飞机进近、着陆和滑跑阶段，便于飞行员观察机场周围情况，尤其是帮助飞行员更加清晰的观察到目标着陆跑道。典型的EVS系统包括成像设备，包含但不限于，可见低光电视摄像机、红外摄像机、或者能够检测处于可见光谱内或外的光或电磁辐射的任何其他合适的光检测系统。EVS接收外部视景的光并形成EVS图像，然后显示在驾驶员用显示器上，用于增强飞行员态势感知能力，提高飞行安全性。且EVS比人眼对光的敏感性要强，在低能见度条件下便于飞行员观察到人眼不可见的地形、机场、障碍物等元素。EVS一个优势是显示实际存在的图像，然而目前EVS分辨率较低，且易受大雾、霾的影响，导致跑道在EVS图像中并不显著，飞行员很难从图像中识别出跑道位置。据统计目前在低能见度条件下飞行员从EVS中观察到跑道的概率不足60％。为了提高EVS图像清晰度，罗克韦尔柯林斯公司和霍尼韦尔公司都开发了组合视景系统(CVS)使用合成视景系统(SVS)的画面与增强视景画面叠加或融合以提高增强视景画面的清晰度便于飞行员看到跑道。但合成视景图像中跑道信息来源于跑道数据库数据存在误差，EVS和SVS图像不能完全重合，容易使飞行员误解。

因此，提供EVS图像中跑道的增强显示方法已成为现实需求。通过利用相关数据识别出EVS图像中跑道位置，并使其在视觉上突显，以提高飞行员对跑道的感知，提高飞机着陆的精确性和安全性。

发明内容

为解决现有技术存在的问题，本发明提出一种增强视景系统及增强显示中跑道的增强显示方法。系统包括被配置成用于生成表示增强视景图像的视景增强系统、生成向处理器提供飞机位置、姿态和航向信息的航空电子传感器、用于存储数据库并提供跑道位置信息的数据存储设备、和对数据进行处理并得到跑道增强显示图像的处理器。利用增强视景图像、飞机位置、姿态和航向信息和跑道位置数据，计算出视景增强图像中跑道的显示位置，并对跑道进行增强显示，使其在视觉上突显。

本发明的技术方案为：

所述一种增强视景系统，其特征在于：包括视景增强系统、数据存储设备、航空电子传感器和处理器；所述视景增强系统能够生成表示增强视景图像的第一信号；所述数据存储设备用于存储表示跑道位置信息的数据，同时生成表示跑道位置信息的第三信号；所述航空电子传感器能够生成表示飞机位置、姿态和航向信息的第二信号；所述处理器利用第一、第二和第三信号并经过处理得到跑道增强显示图像。

进一步的优选方案，所述一种增强视景系统，其特征在于：所述视景增强系统包括适于安装到飞机并能够检测飞机外部光信号的一个或多个传感器；所述传感器包括可见低光电视摄像机、红外摄像机、毫米波摄像机、或者能够检测处于可见光谱内或外的光的任何其它光感测设备。

进一步的优选方案，所述一种增强视景系统，其特征在于：所述第一信号是根据外部光信号生成的光信息图像，还包含视景增强系统的安装和性能信息；所述视景增强系统的安装和性能信息包括视景增强系统视场角度和视景增强系统与飞机位置误差。

进一步的优选方案，所述一种增强视景系统，其特征在于：所述第二信号包括机载真实的传感器数据，或者是机载系统经过计算和校准的飞机位置、姿态和航向信息；还包括飞机位置误差信息。

所述一种增强视景系统图像中跑道增强显示的方法，其特征在于：包括以下步骤：

步骤1：根据第一信号中视景增强系统视场角度，确定摄像机的显示角度，包括水平角度Δh和垂直角度Δv；根据第二信号中飞机的位置、姿态和航向信息，确定摄像机在三维空间坐标系中的位置为(fx1,fy1,fz1)，摄像机旋转角为r，俯仰角为p，方向为h；根据第三信号中的跑道空间位置信息

(Δx1,Δy1,Δz1),(Δx2,Δy2,Δz2),(Δx3,Δy3,Δz3),(Δx4,Δy4,Δz4)

以及第一信号中的视景增强系统安装误差δ，第二信号中的飞机位置误差ε和第三信号中的跑道位置误差σ；确定跑道在空间坐标系的位置范围为

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，其中ξ＝ε+σ+δ；

步骤2：根据摄像机位置、姿态和方向，在空间坐标系中依次连接

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，实现在空间中绘制一个与背景色区分的四边形，并生成与增强视景图像显示范围一致的跑道位置范围图像；

步骤3：遍历步骤2生成的跑道位置范围图像中各个像素，找出四边形4个顶点位置为跑道在增强视景图像中的位置范围

(Δx1^/,Δy1^/),(Δx2^/,Δy2^/),(Δx3^/,Δy3^/),(Δx4^/,Δy4^/)；

步骤4：在步骤3得到的跑道在增强视景图像中的位置范围内，采用图像处理方法查找跑道边界；并根据边界位置对跑道进行增强绘制。

进一步的优选方案，所述一种增强视景系统图像中跑道增强显示的方法，其特征在于：步骤4中采用的图像处理方法包括但不限于Hough变换或者Canny边缘检测算法。

进一步的优选方案，所述一种增强视景系统图像中跑道增强显示的方法，其特征在于：步骤4中的增强绘制包括增加强度、色彩、形状或其组合处理，使得跑道在增强视景图像中突显。

有益效果

采用本发明，能够根据跑道数据在二维图像上的投影，计算出跑道在EVS图像中的显示范围，然后在显示范围内找出EVS图像中跑道边界，并对跑道进行增强显示使其在图像上突显，使飞行员能够较容易的观察到跑道，且不会产生误解；提高飞行员发现跑道的概率，降低低能见度对飞行影响，增强飞行员态势感知能力，提高飞行安全性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1增强视景系统组成图。

图2跑道增强显示数据处理图。

图3EVS原始图像示例图。

图4跑道位置范围示例图。

图5EVS图像中跑道位置范围示例图。

图6根据增强视景图像中跑道位置范围计算得出的跑道精确位置示例图。

图7原始图与跑道增强显示图对比图。

具体实施方式

下面详细描述本发明的实施例，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面结合附图给出本发明的实施例，以详细说明本发明的技术方案。

图1是根据示例性实施例的增强视景系统简化功能框图。系统包括多个组件，其每个可以被配置用于安装到飞机。在一些实施例中，系统可以是自给式系统以使得以下所描述的每个组件被包含在单个外壳中并且排他地专用于提供系统的功能。在其它实施例中，以下所描述的各种组件可以是独立的组件，或者它们可以是用作其它系统的部分的组件，并且其被配置成用作此类其它系统与系统之间的共享资源。

在图1中所图示的实施例中，系统包括视景增强系统1(“EVS1”)、航空电子传感器2(诸如全球定位系统(GPS)、惯性导航系统等)、数据存储设备3、处理器4。在其它实现案例中，系统可以包括附加的组件。

所述视景增强系统能够生成表示增强视景图像的第一信号；所述数据存储设备用于存储表示跑道位置信息的数据，同时生成表示跑道位置信息的第三信号；所述航空电子传感器能够生成表示飞机位置、姿态和航向信息的第二信号；所述处理器利用第一、第二和第三信号并经过处理得到跑道增强显示图像。

EVS1包括适于安装到飞机并配置成检测飞机外部的光信号的一个或多个传感器。所述传感器可以包括可见低光电视摄像机、红外摄像机、毫米波(MMW)摄像机或者能够检测处于可见光谱内或外的光的任何其它光感测设备。

EVS1能够生成第一信号并将第一信号提供给处理器4，第一信号是根据外部光信号生成的光信息图像(增强视景图像)，同时包含EVS1的安装和性能信息，包括EVS视场角度和EVS系统与飞机位置误差(误差为δ)，安装和性能信息可能存储在其它机载设备或组件中。由于EVS容易受外部天气影响，图像中跑道信息模糊不清，飞行员不能从图像中发现跑道将导致飞机复飞或不能安全降落，如图3所示。

航电传感器2可以是机载真实的传感器数据，也可以是其它系统经过计算和校准的飞机位置、姿态和航向信息。

处理器4可以是任何类型的计算机、计算机系统、微处理器、逻辑设备集合、或者被配置成计算、和/或执行算法、和/或运行软件应用、和/或运行子程序、和/或加载并运行任何类型的计算机程序的任何其它模拟或数字电路。处理器4可以包括单个处理器或一致动作的多个处理器。或者处理器4可以排它地专供本系统使用，而在其它实施例中，可以将处理器4与飞机上的其他系统共享。在其它实施例中，处理器4可以被集成到系统的任何其它组件中。

在进行数据处理阶段，根据摄像机成像原理计算跑道在EVS画面中的显示范围，具体步骤如下：

步骤1：根据第一信号中视景增强系统视场角度，确定摄像机的显示角度，包括水平角度Δh和垂直角度Δv；根据第二信号中飞机的位置、姿态和航向信息，确定摄像机在三维空间坐标系中的位置为(fx1,fy1,fz1)，摄像机旋转角为r，俯仰角为p，方向为h；根据第三信号中的跑道空间位置信息

(Δx1,Δy1,Δz1),(Δx2,Δy2,Δz2),(Δx3,Δy3,Δz3),(Δx4,Δy4,Δz4)

以及第一信号中的视景增强系统安装误差δ，第二信号中的飞机位置误差ε和第三信号中的跑道位置误差σ；确定跑道在空间坐标系的位置范围为

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，其中ξ＝ε+σ+δ；

步骤2：如图4所示，利用opengl等第三方绘制软件设置摄像机位置、姿态和方向，在空间坐标系中依次连接

(Δx1+ξ,Δy1+ξ,Δz1+ξ),(Δx2+ξ,Δy2+ξ,Δz2+ξ),(Δx3+ξ,Δy3+ξ,Δz3+ξ),(Δx4+ξ,Δy4+ξ,Δz4+ξ)，实现在空间中绘制一个与背景色区分的四边形，并生成与增强视景图像显示范围一致的跑道位置范围图像；

步骤3：如图5所示，生成的跑道位置图像与EVS图像显示范围一致，遍历步骤2生成的跑道位置范围图像中各个像素，找出四边形4个顶点位置为跑道在增强视景图像中的位置范围

(Δx1^/,Δy1^/),(Δx2^/,Δy2^/),(Δx3^/,Δy3^/),(Δx4^/,Δy4^/)；

该范围可确保EVS图像中跑道的图像在该范围中，接下来只需在该范围中找出跑道线即可；

步骤4：如图6所示，在步骤3得到的跑道在增强视景图像中的位置范围内，因跑道有跑道灯在范围内亮度比其它区域的亮度大，且跑道附近无其它发光线条的干扰，所以采用图像处理方法查找跑道边界；并根据边界位置对跑道进行增强绘制。

图像处理方法包括但不限于Hough变换或者Canny边缘检测算法。

增强绘制包括增加强度、色彩、形状或其组合处理，使得跑道在增强视景图像中突显。如图7所示源图与增强显示后图像对比。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种增强视景系统图像中跑道增强显示的方法，其特征在于：包括以下步骤：

步骤1：获取第一信号、第二信号和第三信号；所述第一信号包括视景增强系统视场角度和视景增强系统安装误差δ；所述第二信号包括飞机位置、姿态和航向信息，以及飞机位置误差ε；所述第三信号表示包括跑道空间位置信息以及跑道位置误差σ；根据第一信号中视景增强系统视场角度，确定摄像机的显示角度，包括水平角度△h和垂直角度△v；根据第二信号中飞机的位置、姿态和航向信息，确定摄像机在三维空间坐标系中的位置为(fx1,fy1,fz1)，摄像机旋转角为r，俯仰角为p，方向为h；根据第三信号中的跑道空间位置信息

(△x1,△y1,△z1),(△x2,△y2,△z2),(△x3,△y3,△z3),(△x4,△y4,△z4)

以及第一信号中的视景增强系统安装误差δ，第二信号中的飞机位置误差ε和第三信号中的跑道位置误差σ；确定跑道在空间坐标系的位置范围为

(△x1+ξ,△y1+ξ,△z1+ξ),(△x2+ξ,△y2+ξ,△z2+ξ),(△x3+ξ,△y3+ξ,△z3+ξ),(△x4+ξ,△y4+ξ,△z4+ξ)，其中ξ＝ε+σ+δ；

步骤2：在空间坐标系中依次连接

(△x1+ξ,△y1+ξ,△z1+ξ),(△x2+ξ,△y2+ξ,△z2+ξ),(△x3+ξ,△y3+ξ,△z3+ξ),(△x4+ξ,△y4+ξ,△z4+ξ)，实现在空间中绘制一个与背景色区分的四边形，并生成与增强视景图像显示范围一致的跑道位置范围图像；

步骤3：遍历步骤2生成的跑道位置范围图像中各个像素，找出四边形4个顶点位置为跑道在增强视景图像中的位置范围

(△x1^/,△y1^/),(△x2^/,△y2^/),(△x3^/,△y3^/),(△x4^/,△y4^/)；

步骤4：在步骤3得到的跑道在增强视景图像中的位置范围内，采用图像处理方法查找跑道边界；并根据边界位置对跑道进行增强绘制。

2.根据权利要求1所述一种增强视景系统图像中跑道增强显示的方法，其特征在于：步骤4中采用的图像处理方法包括但不限于Hough变换或者Canny边缘检测算法。

3.根据权利要求1所述一种增强视景系统图像中跑道增强显示的方法，其特征在于：步骤4中的增强绘制包括增加强度、色彩、形状或其组合处理，使得跑道在增强视景图像中突显。

4.一种增强视景系统，其特征在于：包括视景增强系统、数据存储设备、航空电子传感器和处理器；所述视景增强系统能够生成表示增强视景图像的第一信号；所述数据存储设备用于存储表示跑道位置信息的数据，同时生成表示跑道位置信息的第三信号；所述航空电子传感器能够生成表示飞机位置、姿态和航向信息的第二信号；所述处理器利用权利要求1的方法处理得到跑道增强显示图像。

5.根据权利要求4所述一种增强视景系统，其特征在于：所述视景增强系统包括适于安装到飞机并能够检测飞机外部光信号的一个或多个传感器；所述传感器包括可见低光电视摄像机、红外摄像机、毫米波摄像机、或者能够检测处于可见光谱内或外的光的任何其它光感测设备。

6.根据权利要求4所述一种增强视景系统，其特征在于：所述第二信号包括机载真实的传感器数据，或者是机载系统经过计算和校准的飞机位置、姿态和航向信息；还包括飞机位置误差信息。