CN108024070B - 在合成图像上覆盖传感器图像的方法及相关显示系统 - Google Patents

在合成图像上覆盖传感器图像的方法及相关显示系统 Download PDF

Info

Publication number
CN108024070B
CN108024070B CN201711058669.6A CN201711058669A CN108024070B CN 108024070 B CN108024070 B CN 108024070B CN 201711058669 A CN201711058669 A CN 201711058669A CN 108024070 B CN108024070 B CN 108024070B
Authority
CN
China
Prior art keywords
image
images
boundary
transition region
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711058669.6A
Other languages
English (en)
Other versions
CN108024070A (zh
Inventor
B·佩兰
T·加尼耶
J·卢克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN108024070A publication Critical patent/CN108024070A/zh
Application granted granted Critical
Publication of CN108024070B publication Critical patent/CN108024070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3826—Terrain data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3852—Data derived from aerial or satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及在合成图像上覆盖传感器图像的方法及相关显示系统，其中，来自于图像传感器的图像(EVS)覆盖在外部景观的合成图像(SVS)上。根据本发明的方法包括以下步骤：‑以时间频率来分析所感知的图像，以在每幅图像中，确定对领航有用的信息和对领航无用的信息之间的边界(F)，有用的信息包括明显元素，时间频率比视频刷新频率低一个数量级；‑在每个边界附近，确定过渡区域(T)；‑在显示屏上，以视频刷新频率来显示所感知的图像，每幅所感知的图像都显示为覆盖在景观的合成图像上，所感知的图像在过渡区域以下是不透明的，在过渡区域以上是完全透明的，在过渡区域内具有连续可变的透明度。

Description

在合成图像上覆盖传感器图像的方法及相关显示系统
技术领域
本发明的一般领域是用于飞机领航的人机接口，更精确地说，是结合了外部景观的合成图像与由传感器给出的真实图像的显示系统。
背景技术
合成成像系统被称为首字母缩写“SVS”，代表“合成视觉系统(Synthetic VisionSystem)”。真实成像系统被称为首字母缩写“EVS”，代表“增强视觉系统(Enhanced VisionSystem)”。例如，所用的传感器是红外线传感器、毫米波雷达或者低光级传感器。
这两种系统的组合被称为“CVS”，代表“组合视觉系统(Combined VisionSystem)”。“CVS”图像可以显示在“下视”式的屏幕上或由用户佩戴或不佩戴的“平视”显示装置上。
通过显示独立于气象条件的外部场景图像，SVS成像大大提升了机组人员的态势感知。但是，卫星定位的不准确和/或数据库的不完整使得这一系统不适合在低空飞行或着陆时使用。因此，该系统的用途有关于显示距离飞机相对较远的地形。
增强视觉系统EVS是一种通过使用成像传感器，来提供相对于自然视觉增强的外部场景图像的电子装置。因此，飞行员拥有外部的实时信息。EVS提高了在夜间和恶劣天气下的能见度，但在后一种情况下，其有效性有限且根据雾的类型和所用传感器的类型而变化。因此，该系统的用途尤其是有关于当人相对地接近地形的时候。
CVS成像的目的是通过将这两种系统结合起来，以最好地利用这两种系统。CVS期望的功能是基于EVS和SVS各自的期望功能，以及相关组合所提供的好处。这些功能围绕着两个特征：
-提高机组人员关于地形、相关障碍和文化元素(可以包括城镇、道路、河流、直升机停机坪、跑道、机场环境等)的态势感知，从而提供了在夜间或恶劣天气中能见度降低的情况下，继续所谓“VFR”飞行的能力；
-弥补“IFR”所需的视觉参考，从而为飞机提供了以下列情况中授权的最小值下降的能力：所谓的在机场的“ILS CAT I”或“LPV”进场，或者在“空间点(Point in Space)”类型的直升机停机坪的进场，或者离岸(off-shore)进场。
第一解决方案在于通过识别明显元素(例如，着陆跑道)来将整个EVS图像覆盖在SVS图像上，从而遮盖了SVS图像的有用部分，或者将SVS图像覆盖在EVS图像上。这种表示必然会限制使用的情况。如图1所示。在这个图中，SVS图像以线形来表示，而EVS图像以点状区域来表示。符号S以简单的几何图形来表示。由于EVS图像遮盖了表示远距离地形(传感器不能穿透)的所有部分的SVS图像的有用信息，在更宽视场的SVS图像上不透明地显示整个EVS图像的这个基本解决方案并不是令人非常满意。
第二可能方案在于提出EVS图像和SVS图像之间的转换。于是，需要解决的问题就是找到一种解决办法，使得可以将一幅图像覆盖在另一幅图像上，并且由一幅图像转变成为另一幅图像，同时使每个系统的附加值最大。事实上，在地形和飞机之间的一定距离(取决于天气条件，也取决于适用于飞行的航空规定(air regulation))之外，由于EVS传感器的能见度不能使EVS传感器向飞机的机组人员显示可利用的图像，所以在那时SVS图像一定是主要的。相反地，在距离地形一定距离以下，由于SVS图像可能是飞机定位和数据库的不准确所造成的误差的来源，所以EVS图像一定是主要的。
存在各种可能的标准和各种形式的过渡。第一解决方案在于只在地平线下方显示EVS图像，而只在地平线上方显示SVS图像。Honeywell的专利申请US20120026190描述了该解决方案的变体。在地平线上方以第一颜色和第一透明度，并在地平线下方以第二颜色和第二透明度来在“SVS”图像上对“EVS”图像进行显示。这种全部显示或全部不显示的解决方案，并不总是最好的利用这两种图像的潜力。
与在SVS图像上完全覆盖EVS图像相比，这个解决方案没有那么粗暴。然而，它依然有其局限性。例如，由于雾或雪等原因导致的低能见度的情况下，传感器不能穿透到地平线。因此，SVS的一些有用信息可能会因透明度不足而被遮盖。由于定位和/或来自于数据库的数据的不准确可以导致随着地形或障碍物或着陆跑道的某些元素的位置移动的双重显示，所以这一解决办法也可能在接近地形的部分引起混乱。
第二类型的过渡解决方案是基于图像本身的分析。第一变体在于检测出EVS图像中对比度大于给定阈值的区域，并在SVS图像上仅覆盖这些高对比度区域。专利申请US2010283782描述了根据SVS和EVS数据的类型，来关联不同颜色或纹理的图像融合。专利申请US2011227944描述了通过以强度阈值或频率阈值对EVS图像进行滤波，这两个图像能够通过不同的幅度和颜色来区分之后，对SVS和EVS图像进行融合。专利US7605719描述了一个大致相同的解决方案。用SVS图像来代替传感器图像中的无用区域会使CVS显示混乱。事实上，各个被取代的区域并不相邻，然后EVS图像就会显示出“漏洞”。再也不能区分什么来自于跟踪器图像或什么来自于合成图像，而这可能使飞行员难以解读所生成的图像。
另一类型的解决方案在于分析图像的“语义”内容。因此，专利申请US2008180351描述了一种增强通过SVS数据库得到的感兴趣地点周围的EVS图像的方法。专利申请US2012035789利用了这一原理，并将其具体应用于引道坡。专利申请US2010113149描述了在SVS图像中显示表示明显元素(例如，着陆跑道、或固定障碍物、或移动障碍物)的一个或更多个传感器的图像部分。专利US7605719描述了对来自于跟踪器的图像中的有用区域和无用区域进行检测，以及用合成地形来代替无用区域，但没有给出更多细节。
只有当确实有感兴趣地点(通常是着陆跑道)被飞越并储存在数据库中时，才能进行局部增强EVS图像或在从数据库得到的感兴趣地点的周围裁剪。这种解决办法并不总是令人满意的，例如，在低空飞行期间，这是典型的直升机任务：直升机不断地接近地面飞行，然而却不会频繁飞越数据库存储的感兴趣地点。
另一种解决办法在于用各种装置确定能见距离，并根据这一距离来计算分离SVS和EVS两种图像的边界。因此，专利FR2996670要求，根据自动计算或由操作人员建议的能见距离，通过计算以飞机为中心的球体或垂直于飞机轴线的平面与地形的交点，来部分地遮盖SVS图像。专利FR2996671描述了在着陆跑道周围以及在跑道前方更宽的区域内(区域的长度取决于所谓的“DH/A”进场程序，缩写“DH/A”表示“决策高度/海拔(Decision Height/Altitude)”)，部分地遮盖SVS图像。在这两项专利中，被遮盖的区域用于显示传感器图像。
由于在低能见度下传感器的距离极限不是很清晰和恒定的，所以该类型的解决方案会在EVS图像和SVS图像之间引入飞行员未必理解的突变。此外，这解决方案需要关于能见距离值的知识，并且不可以被简单地修改，例如，如果能见距离随时间变化。
最后，也可以将来自于跟踪器的图像分割成三个矩形的不同区域。位于图像的底部的第一区域是完全或几乎不透明的，位于图像顶部的区域是完全或几乎透明的，而过渡区域包括竖直的线性不透明渐变。这种解决方案的缺点在于有用区域和无用区域之间的边界没有确定。因此，当传感器图像的能见度不对应于区域的分布时，这种解决方案不是最优的。在某些情况下，来自于SVS的有用信息被部分传感器图像所遮盖，结果该部分传感器图像是不可用的。最后，基于矩形区域的这种解决方案在接近崎岖地形飞行时不太合适，因为在这种情况下，能见度的极限不再是直线。
发明内容
根据本发明的解决方案有赖于这样的想法：传感器图像的底部有利地对应于所要监测的临近地形，同时，在图像顶部为远距离地形的SVS图像留出更大空间，从而提升态势感知。EVS图像覆盖在SVS图像上，在预先检测到的各个部分之间具有可变的不透明度，并由计算的边界划定界限。图像的底部是非常或完全不透明的，图像的顶部是非常或完全透明的，而在底部和顶部之间是具有某个预定宽度的不透明过渡。更确切地说，本发明的主题是一种飞机的机载显示系统中的图形表示方法，其中，来自于图像传感器的外部景观的第一图像覆盖在表示同一外部景观的合成图像的第二图像上，两幅图像显示在显示系统的显示屏上，所述方法的特征在于，其包括以下步骤：
-以时间频率来分析来自于图像传感器的第一图像的第一系列，以在每幅图像中，确定对领航有用的信息和对领航无用的信息之间的边界，所述有用的信息包括地形、障碍物或明显的感兴趣的元素的部分，所述时间频率比在显示屏上显示的图像的视频刷新频率低一个数量级，所述第一图像被称为被分析图像；
-在每个具有确定宽度的边界附近，确定过渡区域；
-在所述显示屏上，以视频刷新频率来在两幅连续的被分析图像之间显示第一图像的第二系列，每幅第一图像都显示为覆盖在表示同一外部景观的合成图像的第二图像上，所述第一图像在过渡区域以下是不透明的，在过渡区域以上是完全透明的，在过渡区域内具有在不透明和完全透明之间变化的连续可变的透明度。
有利地，在以视频刷新频率连续地显示的两幅第一图像之间，对应于所述图像的边界的位置和倾斜度受以俯仰、横滚和偏航来表示的飞机姿态以及图像传感器的转动的变化的支配。
有利地，以所述时间频率来连续地计算的两个边界之间的过渡是通过形态构成(morphosis)的方式来实现的。
有利地，所述过渡区域以边界为中心、或者位于边界以下、或者位于边界以上。
有利地，来自于图像传感器的所述第一图像和第二合成图像处于不同的颜色范围。
本发明还涉及一种飞机的机载显示系统，其包括外部景观的至少一个图像传感器、地图数据库、图形计算机和显示屏；所述图形计算机设置为生成同一外部景观的合成图像；所述显示屏显示来自于图像传感器的第一图像，所述第一图像覆盖在表示合成图像的第二图像上，所述显示系统的特征在于，其包括：
-图像分析装置，其以时间频率来分析来自于图像传感器的第一图像的第一系列，以在每幅图像中，确定对领航有用的信息和对领航无用的信息之间的边界，所述有用的信息包括地形、障碍物或明显的感兴趣的元素的部分，所述时间频率比在显示屏上显示的图像的视频刷新频率低一个数量级，所述第一图像称为被分析的图像；
-第一装置，其用于在每个具有确定宽度的边界附近，计算过渡区域；
-图形计算机，其以视频刷新频率在两幅连续的被分析图像之间显示第一图像的第二系列，每幅第一图像都显示为覆盖在表示同一外部景观的合成图像的第二图像上，所述第一图像在过渡区域以下是不透明的，在过渡区域以上是完全透明的，在过渡区域内具有在不透明和完全透明之间变化的连续可变的透明度。
有利地，在以视频刷新频率连续地显示的两幅第一图像之间，对应于所述图像的边界的位置和倾斜度受以俯仰、横滚和偏航来表示的飞机姿态以及图像传感器转动的变化的支配。
有利地，以所述时间频率来连续地计算的两个边界之间的过渡是通过形态构成来实现的。
有利地，图像传感器是红外摄像机、或基于光增强器的装置、或毫米波传感器。
有利地，所述显示屏是仪表板的屏幕、或固定的平视显示装置屏幕、或佩戴的平视显示装置屏幕、或挡风玻璃上的投影装置屏幕。
附图说明
通过阅读以下非限制性的描述并且借助附图，将更好地理解本发明，并且其它优势将变得明显：
图1显示了根据现有技术的覆盖在SVS图像上的EVS图像；
图2显示了在来自于传感器图像中，根据本发明的边界；
图3、图4和图5显示了在边界附近的过渡区域的各种位置；
图6显示了根据本发明的覆盖在SVS图像上的EVS图像；
图7显示了边界根据飞机姿态的变化。
具体实施方式
根据本发明的方法实施于这样的显示系统，其包括：显示外部景观的合成图像所需的装置、显示外部景观的真实图像所需的装置、可以分析真实图像的图像处理装置，以及可以确保在合成图像上覆盖真实图像的图形处理装置。
显示合成图像所需的装置包括：已飞越地形的地图数据库、传感器、图形计算装置和显示装置；所述传感器能够对飞行器及其在空间中的姿态进行地理定位；所述图形计算装置能够生成对应于已飞越地形的三维合成图像。众所周知，在现代飞机上，这些显示装置可以采取各种形式。它们可以是仪表板显示屏、透明的投影屏幕、固定的平视(Head-Up)显示装置或由用户佩戴的平视显示装置。
拍摄真实图像所需的装置大体上是图像传感器。这种图像传感器可以是红外摄像机、或基于光增强器的装置、或毫米波传感器。
在根据本发明的方法中，图像处理装置能够分析真实图像，以在每幅图像中确定对于领航有用的信息和对于领航无用的信息之间的边界，有用的信息包括地形、障碍物或明显的感兴趣的元素的部分。例如，被剥夺信息的图像区域是被雾覆盖的天空或地形区域。这相当于检测来自于传感器的图像的能见度极限。
该方法的这一步骤如图2所示。在该图中，地形区域用点状的表面来表示，天空用白色来表示。经过处理后，所确定的边界是用粗体来表示的凹线。这个边界的形状只有通过指示才能确定。然而，优选地，边界是简单的形状。
视频刷新频率不能使此图像分析实时进行。在根据本发明的方法中，此分析是以低于视频频率的频率进行的。例如，该频率比视频频率低一个数量级。
一旦计算了这个边界，在这个边界附近的过渡区域就被确定。这个过渡区域具有例如可以等于图像宽度的10％的宽度。如图3、图4和图5所示，这一过渡区域可以以边界为中心、或者位于边界以下、或者位于边界以上。
在该方法的下一步中，真实图像以下列方式显示为覆盖在合成图像上。真实图像在过渡区域以下是不透明的，在过渡区域以上是完全透明的，在过渡区域内具有在不透明和完全透明之间变化的连续可变的透明度。如果可能的透明度值的数量有限，则可以引入常规的所谓的“抖动”算法以获得每个透明度级别之间肉眼不可见的过渡。图6显示了根据本发明的覆盖在SVS图像上的EVS图像。在此图中，不透明部分的轮廓表示为实线，透明部分的轮廓表示为点线。在该图中，应当注意的是，再次出现了以山顶的线来象征的背景中的合成景观。
如前所述，边界是以比视频刷新频率要小的频率来计算。在边界的第一次计算和下一次计算之间，使用相同的计算边界来显示一定数量的视频图像。使边界以简单的方式随飞机的运动而演变是有利的，以这样的方式，使得在两幅计算的图像之间，边界继续最好地紧靠图像的有用区域。因此，在以视频刷新频率来连续地显示的两幅图像之间，对应于图像的边界的位置和倾斜度受以俯仰、横滚和偏航来表示的飞机姿态的支配。图7说明了这种演变。对于飞机A的第一位置，计算了在时刻t的边界。在时刻t+Δt，飞机的横滚增加了角度α，为了使边界继续紧靠景观，边界倾斜了角度-α。在该图中，为了清晰起见，明显地夸大了两幅连续的图像之间的横滚角。
在移动图像传感器的情况下，边界受偏航的支配是不同的。事实上，由于曲线在两端进行外推，边界可能会发散。因此，使用移动摄像机的情况下，边界不是外推的，但是可以通过平行于地平线的直线来延长。
同样地，由一个计算的图像转变成为下一个计算的图像优选地以平缓过渡来进行。为此，可以使用形态构成算法，也称为“变形”算法，以由一个计算边界由转变成为另一个计算边界。
为了清楚地区分属于每幅图像的内容以及显示器是否是彩色显示器，来自于图像传感器和合成图像的图像可以处于不同的颜色范围。

Claims (10)

1.一种飞机的机载显示系统中的图形表示方法，其中，来自于图像传感器的外部景观的第一图像(EVS)覆盖在表示同一外部景观的合成图像的第二图像(SVS)上，所述第一图像(EVS)和所述第二图像(SVS)显示在显示系统的显示屏上，所述方法的特征在于，其包括以下步骤：
-以时间频率来分析来自于图像传感器的第一图像的第一系列，以在每幅图像中，确定对领航有用的信息和对领航无用的信息之间的边界(F)，所述有用的信息包括地形、障碍物或明显的感兴趣的元素的部分，所述时间频率比在显示屏上显示的图像的视频刷新频率低一个数量级，所述第一图像被称为被分析图像；
-在每个具有确定宽度的边界附近，确定过渡区域(T)；
-在所述显示屏上，以视频刷新频率在两幅连续的被分析图像之间显示第一图像的第二系列，每幅第一图像都显示为覆盖在表示同一外部景观的合成图像的第二图像上，所述第一图像在过渡区域以下是不透明的，在过渡区域以上是完全透明的，在过渡区域内具有在不透明和完全透明之间变化的连续可变的透明度。
2.根据权利要求1所述的图形表示方法，其特征在于，在以视频刷新频率连续地显示的两幅第一图像之间，对应于所述图像的边界的位置和倾斜度受以俯仰、横滚和偏航来表示的飞机姿态以及图像传感器转动的变化的支配。
3.根据前述权利要求中的任一项所述的图形表示方法，其特征在于，以所述时间频率来连续地计算的两个边界之间的过渡是通过形态构成来实现的。
4.根据权利要求1或2的任一项所述的图形表示方法，其特征在于，所述过渡区域或者以边界为中心，或者位于边界以下，或者位于边界以上。
5.根据权利要求1或2的任一项所述的图形表示方法，其特征在于，来自于图像传感器的第一图像和第二合成图像处于不同的颜色范围。
6.一种飞机的机载显示系统，其包括外部景观的至少一个图像传感器、地图数据库、图形计算机和显示屏；所述图形计算机设置为生成同一外部景观的合成图像；所述显示屏显示来自于图像传感器的第一图像，所述第一图像覆盖在表示合成图像的第二图像上，所述显示系统的特征在于，其包括：
图像分析装置，其以时间频率来分析来自于图像传感器的第一图像的第一系列，以在每幅图像中，确定对领航有用的信息和对领航无用的信息之间的边界，所述有用的信息包括地形、障碍物或明显的感兴趣的元素的部分，所述时间频率比在显示屏上显示的图像的视频刷新频率低一个数量级，所述第一图像称为被分析的图像；
第一装置，其用于在每个具有确定宽度的边界附近，计算过渡区域；
图形计算机，其以视频刷新频率在两幅连续的被分析图像之间显示第一图像的第二系列，每幅第一图像都显示为覆盖在表示同一外部景观的合成图像的第二图像上，所述第一图像在过渡区域以下是不透明的，在过渡区域以上是完全透明的，在过渡区域内具有在不透明和完全透明之间变化的连续可变的透明度。
7.根据权利要求6所述的飞机的机载显示系统，其特征在于，在以视频刷新频率连续地显示的两幅第一图像之间，对应于所述图像的边界的位置和倾斜度受以俯仰、横滚和偏航来表示的飞机姿态以及图像传感器转动的变化的支配。
8.根据权利要求6或7的任一项所述的飞机的机载显示系统，其特征在于，以所述时间频率来连续地计算的两个边界之间的过渡是通过形态构成来实现的。
9.根据权利要求6或7的任一项所述的飞机的机载显示系统，其特征在于，所述图像传感器是红外摄像机、或基于光增强器的装置、或毫米波传感器。
10.根据权利要求6或7的任一项所述的飞机的机载显示系统，其特征在于，所述显示屏是仪表板的屏幕、或固定的平视显示装置屏幕、或佩戴的平视显示装置屏幕、或挡风玻璃上的投影装置屏幕。
CN201711058669.6A 2016-11-03 2017-11-01 在合成图像上覆盖传感器图像的方法及相关显示系统 Active CN108024070B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR16/01574 2016-11-03
FR1601574A FR3058233B1 (fr) 2016-11-03 2016-11-03 Procede de superposition d'une image issue d'un capteur sur une image synthetique par la detection automatique de la limite de visibilite et systeme de visualision associe

Publications (2)

Publication Number Publication Date
CN108024070A CN108024070A (zh) 2018-05-11
CN108024070B true CN108024070B (zh) 2021-06-15

Family

ID=58455081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711058669.6A Active CN108024070B (zh) 2016-11-03 2017-11-01 在合成图像上覆盖传感器图像的方法及相关显示系统

Country Status (3)

Country Link
US (1) US10008179B2 (zh)
CN (1) CN108024070B (zh)
FR (1) FR3058233B1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3081838B1 (fr) * 2018-05-30 2020-09-04 Airbus Operations Sas Dispositif et procede d’insensibilisation a des pannes d’un systeme d’affichage.
CN109547710A (zh) * 2018-10-10 2019-03-29 中国航空工业集团公司洛阳电光设备研究所 一种增强视景和合成视景融合实现方法
US10891921B2 (en) * 2019-01-04 2021-01-12 Byton Limited Separate operating systems for dashboard display
FR3103050B1 (fr) * 2019-11-07 2021-11-26 Thales Sa Procede et dispositif d'aide a l'atterrissage d'aeronef en conditions de visibilite degradee
FR3103049B1 (fr) 2019-11-07 2022-01-28 Thales Sa Procede et dispositif de generation de donnees d'apprentissage pour machine d'intelligence artificielle pour l'aide a l'atterrissage d'aeronef
CN113132788B (zh) * 2021-04-21 2023-01-13 华风气象传媒集团有限责任公司 一种控制气象图形场景的播放方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09118298A (ja) * 1995-04-13 1997-05-06 Sextant Avionique 視界不良状態での航空機の操縦支援用光電子装置
CN102343980A (zh) * 2010-07-28 2012-02-08 霍尼韦尔国际公司 用于增强视觉图像中的姿态辨别的方法和系统
CN104044745A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 飞机驾驶舱显示器以及用于组合视景显示中的障碍物的增强显示的系统和方法
CN104063214A (zh) * 2013-03-22 2014-09-24 霍尼韦尔国际公司 用于在告警期间对增强的图像进行着色的方法和系统
CN105292504A (zh) * 2015-11-30 2016-02-03 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种大型客机驾驶舱多屏幕显示控制系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7982767B2 (en) * 2003-11-11 2011-07-19 Supersonic Aerospace International, Llc System and method for mounting sensors and cleaning sensor apertures for out-the-window displays
US10168179B2 (en) 2007-01-26 2019-01-01 Honeywell International Inc. Vehicle display system and method with enhanced vision system and synthetic vision system image display
US7605719B1 (en) 2007-07-25 2009-10-20 Rockwell Collins, Inc. System and methods for displaying a partial images and non-overlapping, shared-screen partial images acquired from vision systems
US9146132B2 (en) 2008-09-29 2015-09-29 Honeywell International Inc. Systems and methods for displaying images of terrain data
US8493412B2 (en) 2008-10-31 2013-07-23 Honeywell Internatioal Inc. Methods and systems for displaying sensor-based images of an external environment
US9105115B2 (en) 2010-03-16 2015-08-11 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
US8914166B2 (en) 2010-08-03 2014-12-16 Honeywell International Inc. Enhanced flight vision system for enhancing approach runway signatures
US8493241B2 (en) * 2010-11-30 2013-07-23 Honeywell International Inc. Systems, methods and computer readable media for displaying multiple overlaid images to a pilot of an aircraft during flight
FR2996670B1 (fr) 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour aeronef, et procede de visualisation associe
FR2996671B1 (fr) 2012-10-05 2014-12-26 Dassault Aviat Systeme de visualisation pour un aeronef en approche d'une piste d'atterrissage et procede de visualisation associe
US9243910B1 (en) * 2013-08-27 2016-01-26 Rockwell Collins, Inc. Route image generating system, device, and method
US9584791B1 (en) * 2013-08-29 2017-02-28 Rockwell Collins, Inc. Image misalignment correcting system, device, and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09118298A (ja) * 1995-04-13 1997-05-06 Sextant Avionique 視界不良状態での航空機の操縦支援用光電子装置
CN102343980A (zh) * 2010-07-28 2012-02-08 霍尼韦尔国际公司 用于增强视觉图像中的姿态辨别的方法和系统
CN104044745A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 飞机驾驶舱显示器以及用于组合视景显示中的障碍物的增强显示的系统和方法
CN104063214A (zh) * 2013-03-22 2014-09-24 霍尼韦尔国际公司 用于在告警期间对增强的图像进行着色的方法和系统
CN105292504A (zh) * 2015-11-30 2016-02-03 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种大型客机驾驶舱多屏幕显示控制系统

Also Published As

Publication number Publication date
FR3058233B1 (fr) 2018-11-16
US10008179B2 (en) 2018-06-26
FR3058233A1 (fr) 2018-05-04
CN108024070A (zh) 2018-05-11
US20180122331A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
CN108024070B (zh) 在合成图像上覆盖传感器图像的方法及相关显示系统
EP2426461B1 (en) System for displaying multiple overlaid images to a pilot of an aircraft during flight
US9494447B2 (en) Methods and systems for attitude differentiation in enhanced vision images
EP2182326B1 (en) Methods and systems for displaying sensor-based images of an external environment
US8698654B2 (en) System and method for selecting images to be displayed
EP2607854B1 (en) System and method for displaying enhanced vision and synthetic images
CN107010239B (zh) 用于生成驾驶舱显示的驾驶舱显示系统和方法
EP2778617B1 (en) Aircraft flight deck displays and systems and methods for enhanced display of obstacles in a combined vision display
EP2782086A1 (en) Methods and systems for colorizing an enhanced image during alert
US9096354B2 (en) Aircraft vision system, and associated vision method
US8188890B2 (en) Systems and methods for enhancing obstacles and terrain profile awareness
US20100161158A1 (en) Systems and methods for enhancing terrain elevation awareness
US9443435B2 (en) Vision system for an aircraft approaching a landing runway and associated vision method
US8831796B2 (en) System and method for indicating a perspective cockpit field-of-view on a vertical situation display
US9726486B1 (en) System and method for merging enhanced vision data with a synthetic vision data
EP3742118A1 (en) Systems and methods for managing a vision system display of an aircraft
CN107018356B (zh) 将来自图像传感器的图像叠加在外部景观的合成第二图像上的图形化表示方法
Vygolov et al. Enhanced, synthetic and combined vision technologies for civil aviation
US20080252636A1 (en) Synthesis Method for Intervisibility Images
US20140100721A1 (en) Aircraft vision system with relief lines and associated method
US9950806B2 (en) Method for displaying an image of a scene outside of an aircraft in an augmented reality context
EP3905223A1 (en) Aircraft display systems and methods for identifying target traffic
EP3876217A1 (en) Methods and systems for highlighting ground traffic on cockpit displays
Bailey et al. Aspects of synthetic vision display systems and the best practices of the NASA's SVS project

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant