CN108369727A - 适于向操作员提供增强的能见度的系统和相关方法 - Google Patents

适于向操作员提供增强的能见度的系统和相关方法 Download PDF

Info

Publication number
CN108369727A
CN108369727A CN201680061634.5A CN201680061634A CN108369727A CN 108369727 A CN108369727 A CN 108369727A CN 201680061634 A CN201680061634 A CN 201680061634A CN 108369727 A CN108369727 A CN 108369727A
Authority
CN
China
Prior art keywords
pixel
resolution
digital picture
sensor
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680061634.5A
Other languages
English (en)
Inventor
E·帕约特
J·阿尔托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN108369727A publication Critical patent/CN108369727A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0065—Navigation or guidance aids for a single aircraft for taking-off
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/06—Traffic control systems for aircraft, e.g. air-traffic control [ATC] for control when on the ground
    • G08G5/065—Navigation or guidance aids, e.g. for taxiing or rolling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种适于向操作员提供增强的能见度的系统，该系统尤其可用于辅助飞行器驾驶，包括能够捕获给定光谱带中的图像数据的至少一个传感器和能够处理所捕获的图像数据并将它们发送到显示单元的中央计算单元。该系统包括：‑至少一个高分辨率传感器(20)，其能够捕获光谱带中形成数字图像(10)的图像数据，所述光谱带至少包括人眼可见的光谱带的全部或部分，所述图像数据具有第一空间分辨率和严格比人眼的角分辨率精细的角捕获分辨率，以及‑非线性处理模块(22)，其适于产生空间分辨率的改变同时保留所获取的所述数字图像(10)的亮点，以便获得以比所述第一空间分辨率低的第二空间分辨率显示的数字图像(h)。

Description

适于向操作员提供增强的能见度的系统和相关方法
本发明涉及一种适于向操作员提供增强的能见度(尤其用于辅助飞行器驾驶)的系统和相关方法。
本发明落入增强视觉系统(EVS)的领域内，EVS是旨在向操作员提供相对于人类感知而言改善的环境图像的成像系统，该图像能够使用“平视显示器”(HUD)或观看监视器(所谓的“低头”显示器)来呈现。
这些EVS系统尤其适用于辅助飞行器驾驶的领域，尤其是在由于恶劣的环境和/或天气条件而导致能见度低的情况下的进场和着陆阶段期间，还有滑行和起飞期间。
事实上，在航空领域，通常使用标记物来标记机场起飞/着陆带，尤其是照明信标(例如，进场坡道)以及照亮的跑道边缘和跑道中心信标。
为了保证航空运输领域的安全，例如，现有法规强加给定的跑道视程以实施着陆方法。跑道视程(RVR)被定义为处于跑道的轴线上的飞行器驾驶员可够利用其自然视力看到限定跑道或用作跑道轴线的信标的标志物或灯光的距离。通常，通过将相对于大气和背景光的透射系数的仪器测量值和关于照明信标的强度的信息进行自动计算积分来评估RVR。例如，对于所谓的CAT 1(类别1)进场，法规要求在开始进场时要有550米的最小RVR值，还存在其它要求，并且法规使得能够下降到等于至少200ft(200英尺)的决断高度，在该决断高度处，飞行员必须辨别视觉参考以继续下降到低于决断高度DH。在某些恶劣的天气条件下，难以获得这样的视程，从而可能使得飞行员在决断高度DH处无法辨别照明信标。
EVS系统被设计成尤其用于解决这个问题并且改善驾驶人员的自然视力，并且扩展在恶劣的能见度条件下的着陆能力。尤其是，法规使得在上述示例中当飞行员在200ft处能够使用EVS辨别必要视觉参考并且即使他们无法用人眼进行辨别时也能够下降到低于100ft。
此时，已知的EVS系统在使用3至5μm或8至14μm的光谱带的红外光谱带中以及用于波长从1μm至2.5μm的电磁信号的短波红外(SWIR)光谱带中包括图像传感器。传感器在SWIR光谱带中的使用旨在优化用于检测通常用于标记跑道的白炽灯的能力。
然而，近来的照明信标将新照明技术用于不发射超出1μm的波长的发光二极管(LED)。
专利申请WO 2009/128065A1描述了一种EVS系统，该EVS系统包括能够在各种光谱带中操作的多个传感器，这些光谱带包括用于具有从0.7μm扩展到1.0μm的波长的电磁信号的NIR(近红外)光谱带和从0.4μm扩展到0.7μm的可见光的光谱带。该系统合并由各种传感器获取的图像数据。基于预先识别的天气条件和待检测的照明信标的性质来选择待合并的光谱带。
然而，除了其计算复杂度以及其高制造成本之外，这种系统的性能限于设备中存在的最佳光谱带的性能。此外，无法预测系统的性能，即，相对于人眼的能见度增益，因为该增益基于天气和大气条件、背景亮度和照明信标的强度而变化。因此，利用这种系统不容易预测对于给定RVR值而言该系统是否将使得能够实现开始和最终执行着陆所需的性能水平。
下面，将角分辨率定义为图像传感器检测器的像素的基本视野。人眼的角分辨率通常被认为是大约0.8弧分(minutes of arc)或0.0135°(或0.00029弧度)。同样地，下面，高空间分辨率将指定精细的角度分辨率，进而小的分辨率/基本视野角度。
本发明旨在解决以上提到的现有技术的缺点。
为此目的，根据第一方面，本发明提出了一种系统，该系统适于向操作员提供增强的能见度，旨在辅助飞行器驾驶，该系统包括能够捕获给定光谱带中的图像数据的至少一个传感器和能够处理所捕获的图像数据并且发送经处理的图像数据以便将数字图像显示在显示单元上的中央计算单元。
该系统包括：
-至少一个高分辨率传感器，其能够捕获光谱带中形成数字图像的图像数据，所述光谱带至少包括与人眼可见的电磁信号相对应的光谱带的全部或一些，所述数字图像具有第一空间分辨率和严格比所述人眼的角分辨率更精细的角捕获分辨率，以及
-非线性处理模块，其适于执行空间分辨率的改变同时保留所捕获的数字图像的亮点，以获得将以比所述第一空间分辨率低的第二空间分辨率显示的数字图像。
有利地，根据本发明的系统是使用(具有可调节取向或固定的)至少一个传感器的EVS系统，所述至少一个传感器具有非常精细的角分辨率并且显著优于可见光谱带中眼睛的角分辨率，从而使得能够：
·具有显著改善的用于检测相对于眼睛的照明信标的范围性能，
·适于LED型照明信标，
·能够独立于天气和大气条件的任何变化将其性能相对于人眼的视程进行量化。
此外，所提出的系统在硬件方面成本较低，并且相比基于适于在多个不同光谱带中操作的传感器的系统需要更少的计算资源。
根据本发明的系统可以具有独立考虑的或按所有技术上可接受的组合考虑的以下特征中的一个或更多个。
每个数字图像由像素矩阵限定，每个像素具有关联值，所述值在像素亮时较高，并且非线性处理模块能够对所捕获的数字图像的像素的块应用非线性滤波，以确定待显示的数字图像中的对应像素值，所述非线性滤波针对所获取的数字图像的像素的块至少考虑像素的所述块的最大值。
所述非线性滤波包括将待显示的数字图像的像素与根据超过与所捕获的数字图像相对应的像素的块的预定阈值的值计算出的值相关联。
根据一个另选方案，所述非线性滤波包括将待显示的数字图像的像素与根据像素的块的给定数量的最高值计算出的值相关联。
该系统包括多个并列的高分辨率传感器。
该系统包括适于沿着瞄准轴线定位在图像数据捕获位置处的高清晰度传感器和用于移动所述传感器使得能够移动该传感器的侧角的构件。
能够捕获数字图像数据的高分辨率传感器是与人眼可见信号相对应的第一光谱带中的第一传感器，该信号还包括能够捕获与第一光谱带不同的第二光谱带中的第二数字图像数据的第二传感器。
所述第二光谱带属于波长介于3微米和14微米之间的红外电磁波的范围。
所述系统还包括图像处理模块，该图像处理模块适于合并待显示的所述数字图像和由第二传感器捕获的第二数字图像数据。
所述角捕获分辨率严格比人眼的角分辨率更精细，大于或等于3倍。
根据第二方面，本发明提出了一种适于向操作员提供增强的能见度的方法，该方法旨在辅助飞行器的驾驶，由包括能够捕获给定光谱带中的图像数据的至少一个传感器和能够处理所捕获的图像数据并且发送经处理的图像数据以便将数字图像显示在显示单元上的中央计算单元的系统来执行。所述方法包括以下步骤：
-捕获光谱带中形成数字图像的图像数据，所述光谱带至少包括与人眼可见的电磁信号相对应的光谱带的全部或一些，所述图像数据具有第一空间分辨率和严格比人眼的角分辨率更精细的角捕获分辨率，以及
-应用非线性处理模块，该非线性处理模块适于执行空间分辨率的改变同时保留所述捕获的数字图像的亮点，以获得将以比所述第一空间分辨率低的第二空间分辨率显示的数字图像。
该方法的优点与以上简要描述的系统的优点类似，在此不再赘述。
根据本发明的方法可具有独立考虑的或按所有技术上可接受的组合考虑的以下特征中的一个或更多个。
每个数字图像由像素矩阵限定，每个像素具有关联值，所述值在像素亮时较高，并且非线性处理模块包括对所捕获的数字图像的像素的块应用非线性滤波，以确定待显示的数字图像中的对应像素值，所述非线性滤波至少考虑像素的所述块的最大值。
所述非线性滤波包括将待显示的数字图像的像素与根据超过与所捕获的数字图像相对应的像素的块的预定阈值的值计算出的值相关联。
根据一个另选方案，根据像素的块的给定数量的最高值计算与待显示的数字图像的像素的值相关联的值。
该方法包括用于捕获与所述第一光谱带不同的第二光谱带中的第二数字图像数据的另一个步骤。
该方法包括用于将通过非线性处理获得的具有第二分辨率的数字图像与第二数字图像数据合并的步骤。
参照附图，本发明的其它特征和优点将从下面为了提供信息并非限制性地提供的描述中浮现，在附图中：
-图1示意性地示出了进场由照明信标标记的跑道的飞行器；
-图2示意性地例示了根据第一实施方式的增强视觉系统；
-图3示意性地例示了具有不同空间分辨率的两个图像；
-图4示意性地例示了根据第二实施方式的增强视觉系统。
本发明将被描述为其应用于辅助飞行器的驾驶，应理解，本发明不限于该应用。
事实上，本发明更普遍地适用于相对于操作员的人类视觉增强的视觉有用的任何环境，例如，用于驾驶其它类型的交通工具。
图1示意性地例示了本发明的应用环境，该应用环境是飞行器的着陆。
在图1的示例中，飞行器2在包括着陆带6的飞机场4上进行着陆进场。
用各种标记物8、10、12、16、18来标记着陆带。例如，标记物8是跑道中心标记物，标记物10、12是在跑道的整个长度上规则定位的跑道边缘照明信标，标记物16是跑道入口标记物并且标记物18是进场坡道信标。
标记物8、10、12、16、18至少在操作员眼睛可见的光谱带中发光，并且一些可由发光二极管(LED)灯泡制成而其它的可由白炽灯泡制成。
有利地，飞行器2配备有适于向驾驶操作员提供增强的视觉的系统14。
应注意，在图1中示意性地示出了系统14，并且实际上它由定位在不同位置或分组到一起的多个元件组成，如下面更详细地说明的。
根据图2中示意性地例示的第一实施方式，根据本发明的系统14包括图像传感器20，该图像传感器处于波长介于0.4μm至0.7μm之间(但在一个另选方案中能够高达1μm)的人眼可见的电磁射线或信号的光谱带中。
另选地，图像传感器20在只包括电磁信号光谱带中人眼可见的部分的光谱带中操作。
传感器20是高分辨率传感器，使得能够获得比人眼更精细的角度观看分辨率级别。
由传感器20获取的数字图像具有关联的空间分辨率，所述空间分辨率被定义为每单位长度的图像数据或像素的数量。每个像素都具有关联的辐射测量值(也被称为强度值)。
优选地，传感器20使得人眼的角分辨率与角图像捕获分辨率之间的比率K大于或等于3。由这种传感器捕获的数字图像被认为是过度分辨的(over-resolved)，因为其具有比人眼能达到的角分辨率更精细的角分辨率。
传感器20使得能够沿着瞄准轴线捕获具有优选从大约35°至40°的最大角度θ的视野。
优选地，传感器20是由光电二极管制成并且其制造成本适中的CMOS(互补型金属氧化物半导体)传感器。
另选地，传感器20是CCD(电荷耦合器件)传感器或者使用任何其它传感器技术。
在一个另选实施方式中，为了捕获与具有角度θ的视野相对应的图像数据，传感器20被多个视野传感器取代，这些视野传感器具有小于θ的角度，被并置并且适于捕获与相邻视野相对应或者具有重叠部分的图像数据。
在另一个另选实施方式中，高分辨率传感器20具有小于期望角度的角度的视野，因此视野更受限制，但是能够通过移动构件使传感器20移动，使得能够旋转该传感器20，使得它可以覆盖大约θ的广阔视野。例如，这样的移动构件由与电机相关联的铰接或固定连杆形成。在该实施方式中，传感器20是可调节的。
实际上，在用于辅助飞行器2的驾驶的情况下，传感器20例如被置于飞行器机身的前方。
有利地，如下面详细说明的，捕获过度分辨的图像使得能够提高具有可量化性能的照明信标的能见度，包括在降低的能见度条件下。
例如，图2中的云21示意性地例示了诸如使可见度降低的雾的天气条件。
在传感器20的输出端处，获得具有第一空间分辨率R0的过度分辨的数字图像I0，该图像由K*L(例如，5120*4096)个像素构成。由像素值的矩阵来限定数字图像。
具有第一空间分辨率R0的过度分辨的数字图像I0的数据例如经由连接至传感器20的输出端的数据总线被发送到非线性处理模块22。该非线性处理模块22由未示出的可编程装置(例如，机载计算机)实现，该可编程装置包括能够在它们被通电时执行计算并且执行计算机指令的一个或多个处理器。
另选地，实现非线性处理模块22的可编程装置以及任何其它计算模块由FPGA类型的集成电路或ASIC类型的专用集成电路来实现。
由非线性处理模块22进行的处理使得能够从具有第一空间分辨率R0的第一图像I0转变成具有比第一空间分辨率R0低的第二空间分辨率R1的数字图像I1，同时保留图像的反差点，尤其是图像的亮点(或正反差点)。
反差点是指具有显著高于或显著低于附近像素的平均值(例如，比该附近像素的标准偏差大三倍)的关联值的点或像素。
具有显著大于周围值的关联值的点是亮点，而反差被认为是正的。
具有显著小于周围值的关联值的点是暗点，而反差被认为是负的。
应注意，利用传统的分辨率传感器(没有过度分辨)，由于传感器的分辨率，有可能会遗漏高反差点(正或负)。
由非线性处理模块22进行的处理使得能够在具有比第一分辨率低的第二空间分辨率的数字图像中保持正反差点。
图3例示了两个这样的图像I0和I1，其中，第一分辨率R0与第二分辨率R1之间的分辨率因子等于3。因此，数字图像I0的3×3像素的块B对应于图像I1的像素P。该对应关系是相应矩阵中的空间对应关系，如图3中例示的。
更普遍地，图像I0的M×N个像素的块B对应于图像I1的像素。
在优选实施方式中，由模块22应用的从包含来自图像I0的像素(Bi,j),{i＝3×i1+k，j＝3×j1+k，k∈{0，1，2}}的块B转变成图像I1的像素Pi1,j1的非线性处理包括将来自图像I0的块M×N的像素的最大值与像素Pi1,j1相关联：
因此，有利地，由传感器20捕获的图像I0的过度分辨率所提供的增益被保留。通过过渡分辨图像捕获的由照明信标发射的最大强度以第二分辨率R1保持在数字图像I1中。
有利地，非线性处理模块适于保持检测到的照明点，换句话说，保留块中的最亮点，因为实际上点越亮，数字图像中的关联值越高。
所应用的非线性处理保留了亮点，但是并未保留暗点，因为只有最亮的点是用于驾驶辅助的目标应用所关注的。
另选地，非线性处理模块22应用保留最大值或基于像素排列来处理像素的滤波类型的其它非线性处理操作。也可考虑在重叠窗口上进行滤波。
例如，对于给定块，块中像素的值被保持在高于阈值S。阈值S可被动态地设置或计算为例如增加了块中像素的值的标准偏差的2或3倍的平均值。接下来，使用所有保留值(即根据所选择标准的块的最亮像素的值)来获得具有第二分辨率R1的数字图像I1的像素的最终值。例如，计算所考虑的块的保留值的平均值(因此大于阈值S)，并且认为该平均值是具有第二分辨率R1的数字图像I1中的对应像素的最终值。
在另一个示例中，所考虑的块的像素的值被按照值的降序排列，并且保持2(或3)个最高有效值。接下来，使用保留的值(即根据所选择标准的块的最亮像素的值)来获得具有第二分辨率R1的数字图像I1的像素的最终值。例如，计算所考虑的块的保留值的平均值，并且认为该平均值是具有第二分辨率的数字图像I1中的对应像素的最终值。
在非线性处理模块22的输出端处，具有比分辨率R0低的第二空间分辨率R1的数字图像被发送到图像处理模块24，能够应用传统处理操作，例如进行辐射测量校正、为在显示单元26(例如，屏幕)上显示图像I1进行的几何对准。
在一个实施方式中，处理模块22和24由同一机载计算机应用。
在一个实施方式中，显示通过嵌入的显示屏26来完成，显示屏26位于驾驶操作员的凝视高度处，被称为平视显示器。
优选地，根据显示屏26(例如，平视显示器)的显示分辨率来选择第二分辨率R1。另选地，使用例如位于仪表板上的“低头”观看屏幕。
有利地，这种平视显示器使得能够向操作员示出他可能自然感知到的现实的增强视图，并因此辅助他进行驾驶操作。
因此，根据本发明的适于向操作员提供增强视觉的观看方法包括第一步骤，该第一步骤用于使用高分辨率传感器来获取具有第一空间分辨率的第一数字图像，该高分辨率传感器能够捕获与人眼可见信号相对应的光谱带中的图像数据，其中，角捕获分辨率级别严格大于人眼的角分辨率。
该第一步之后是非线性处理步骤，该步骤使得能够获得具有比第一空间分辨率低的第二空间分辨率R2和适于显示装置的分辨率的第二角分辨率的第二图像。
优选地，角捕获分辨率与人眼的角分辨率之间的因子大于或等于3，即，角捕获分辨率比人眼的角分辨率精细至少3倍。
有利地，能够独立于天气条件来计算所提出系统的性能。
事实上，天气条件是通过给定光谱带中的吸收系数σ来表征的。
根据Beer-Lambert-Bouguer定律，强度如下根据距离X和吸收系数σ而变化：
其中，X0是与照明信标的强度I0相关联的参考距离。
考虑到角分辨率的变化，其中，α是使用根据本发明的方法的EVS设备的像素的角分辨率，并且αref是使用与显示分辨率等同的角分辨率的参考EVS设备的像素的角分辨率，可获得：
在导致消光系数为0.01m-1的天气条件下，例如：
·针对照明信标，在500m处利用具有角分辨率αref的参考传感器和在1000m处利用具有精细25(α＝αref/25)倍的角分辨率的传感器获得相同的信噪比，即，大25倍的分辨率级别导致2倍的范围增益，
·针对照明信标，在800m处利用具有角分辨率αref的参考传感器和在1000m处利用具有精细3到4之间(α＝αref/3.5)的倍数的角分辨率的传感器获得相同的信噪比，即，大3.5倍的分辨率级别导致25％的范围增益。
因此，证明了较高级别的角分辨率允许EVS设备带来的检测范围内的可量化的减小。
在该第一实施方式的一个另选方案中，根据本发明的系统是使用(具有可调节取向或固定的)至少一个传感器的EVS系统，所述至少一个传感器具有与眼睛的角分辨率不同的光谱带中的非常精细的角分辨率，从而使得能够具有相对于分辨率归于该同一光谱带中的眼睛分辨率的EVS系统显著提高的照明信标的检测范围性能水平。
图4中示出了根据本发明的适于提供增强视觉的系统30的第二实施方式。
除了能够获取可见光谱带中具有非常高的空间分辨率的图像的第一传感器20以及先前描述的构成第一成像通道的处理单元22之外，系统30还包括能够捕获除了可见光谱带之外的光谱带(优选红外光谱带)中的图像I2的第二传感器32。
优选地，由传感器32捕获的图像I2的空间分辨率基本上等于在非线性处理模块22的输出端处获得的图像的第二空间分辨率R2。
由该第二传感器32进行的捕获形成第二成像通道。
系统30还包括适于尤其通过以下步骤来合并与同一视野相对应的图像I1和I2的处理模块34：利用图像处理领域中已知的技术对通道的每一个应用辐射测量检查，几何对准使得能够使图像I1和I2能叠加并且进行像素至像素相加。
处理模块34还适于针对显示器执行任何图像校正。
实际上，处理模块34由未示出的可编程装置(例如，机载计算机)实现，该可编程装置包括能够在它们被通电时执行计算并且执行计算机指令的一个或多个处理器。
处理模块34执行以下步骤：将通过在模块22在非线性处理步骤期间进行的非线性处理而获得的具有第二分辨率I1的数字图像与通过传感器32捕获的第二数字图像数据I2进行合并。
接下来，将所得到的合并图像发送到与以上参照图2描述的显示单元26类似的显示单元26，例如，用于嵌入和显示的屏幕。
有利地，所提出的系统允许捕获具有过度分辨的第一空间分辨率的图像，从而使得能够捕获正反差点(即，相对于其附近的亮点)，并且在具有比第一分辨率低的第二空间分辨率的数字图像中保留这些正反差点。最终，获得供显示和利用的具有第二空间分辨率的数字图像，但是该图像包括在所述第二空间分辨率下无法利用图像获取来捕获的亮度信息。

Claims (16)

1.一种适于向操作员提供增强的能见度的系统，该系统旨在辅助飞行器的驾驶，所述系统包括至少一个传感器和中央计算单元，所述至少一个传感器能够捕获给定光谱带中的图像数据，所述中央计算单元能够处理所捕获的图像数据并且发送经处理的图像数据以便将数字图像显示在显示单元上，
其特征在于，所述系统包括：
-至少一个高分辨率传感器(20)，所述至少一个高分辨率传感器(20)能够捕获光谱带中形成数字图像(I0)的图像数据，所述光谱带至少包括与人眼可见的电磁信号相对应的光谱带的全部或一些，所述图像数据具有第一空间分辨率以及严格比人眼的角分辨率更精细的角捕获分辨率级别，以及
-非线性处理模块(22)，所述非线性处理模块(22)适于执行空间分辨率的改变，同时保留所述捕获的数字图像(I0)的亮点，以获得将以比所述第一空间分辨率低的第二空间分辨率显示的数字图像(I1)。
2.根据权利要求1所述的系统，其中，每个数字图像由像素的矩阵限定，每个像素具有关联值，所述值在像素亮时较高，其特征在于，所述非线性处理模块(22)能够对所述捕获的数字图像的像素的块应用非线性滤波，以确定待显示的所述数字图像中的对应像素值，所述非线性滤波保留所述亮点，并且针对所获取的数字图像的像素的块至少考虑像素的所述块的最大值。
3.根据权利要求2所述的系统，其特征在于，保留所述亮点的所述非线性滤波包括将待显示的所述数字图像的像素与根据超过与所述捕获的数字图像相对应的像素的所述块的预定阈值的值计算出的值相关联。
4.根据权利要求2所述的系统，其特征在于，保留所述亮点的所述非线性滤波包括将待显示的所述数字图像的像素与根据与所述捕获的数字图像相对应的像素的所述块的给定数量的最高值计算出的值相关联。
5.根据权利要求1至4中任一项所述的系统，其特征在于，所述系统包括多个并置的高分辨率传感器。
6.根据权利要求1至4中任一项所述的系统，其特征在于，所述系统包括高分辨率传感器和用于移动所述传感器使得能够移动该传感器的侧角的构件，所述高分辨率传感器适于沿着瞄准轴线定位在图像数据捕获位置处。
7.根据权利要求1至6中任一项所述的系统，其中，能够捕获数字图像数据的所述高分辨率传感器(20)是与人眼可见信号相对应的第一光谱带中的第一传感器，其特征在于，所述系统还包括第二传感器(32)，所述第二传感器(32)能够捕获与所述第一光谱带不同的第二光谱带中的第二数字图像数据。
8.根据权利要求7所述的系统，其特征在于，所述第二光谱带属于波长介于3微米至14微米之间的红外电磁波的范围。
9.根据权利要求7或8中任一项所述的系统，其特征在于，所述系统还包括图像处理模块(34)，所述图像处理模块(34)适于将待显示的所述数字图像与由所述第二传感器捕获的所述第二数字图像数据合并。
10.根据权利要求1至9中任一项所述的系统，其特征在于，所述角捕获分辨率严格比人眼的所述角分辨率精细大于或等于3倍。
11.一种适于向操作员提供增强的能见度的方法，该方法旨在辅助飞行器的驾驶，所述方法由包括至少一个传感器和中央计算单元的系统来执行，所述至少一个传感器能够捕获给定光谱带中的图像数据，所述中央计算单元能够处理所捕获的图像数据并且发送经处理的图像数据以便将数字图像显示在显示单元上，
其特征在于，所述方法包括以下步骤：
-捕获光谱带中形成数字图像的图像数据，所述光谱带至少包括与人眼可见的电磁信号相对应的光谱带的全部或一些，所述图像数据具有第一空间分辨率以及严格比人眼的角分辨率更精细的角捕获分辨率级别，以及
-应用非线性处理，所述非线性处理适于执行空间分辨率的改变，同时保留所述捕获的数字图像的亮点，以获得将以比所述第一空间分辨率低的第二空间分辨率显示的数字图像。
12.根据权利要求11所述的方法，其中，每个数字图像由像素的矩阵限定，每个像素具有关联值，所述值在像素亮时较高，其特征在于，所述非线性处理包括对所述捕获的数字图像的像素的块应用非线性滤波，以确定待显示的所述数字图像中的对应像素值，所述非线性滤波至少考虑像素的所述块的最大值。
13.根据权利要求12所述的方法，其特征在于，所述非线性滤波包括将待显示的所述数字图像的像素与根据超过与所述捕获的数字图像相对应的像素的所述块的预定阈值的值计算出的值相关联。
14.根据权利要求12所述的方法，其特征在于，所述非线性滤波包括将待显示的所述数字图像的像素与根据与所述捕获的数字图像相对应的像素的所述块的给定数量的最高值计算出的值相关联。
15.根据权利要求11至14中任一项所述的方法，其特征在于，所述方法包括用于捕获与所述第一光谱带不同的第二光谱带中的第二数字图像数据的另一步骤。
16.根据权利要求15所述的方法，其特征在于，所述方法包括用于将通过非线性处理获得的具有所述第二分辨率的所述数字图像与所述第二数字图像数据合并的步骤。
CN201680061634.5A 2015-10-22 2016-10-21 适于向操作员提供增强的能见度的系统和相关方法 Pending CN108369727A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1502237 2015-10-22
FR1502237A FR3042882B1 (fr) 2015-10-22 2015-10-22 Systeme adapte a fournir a un operateur une visibilite augmentee et procede associe
PCT/EP2016/075412 WO2017068141A1 (fr) 2015-10-22 2016-10-21 Système adapté à fournir à un opérateur une visibilité augmentée et procédé associé

Publications (1)

Publication Number Publication Date
CN108369727A true CN108369727A (zh) 2018-08-03

Family

ID=55646639

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680061634.5A Pending CN108369727A (zh) 2015-10-22 2016-10-21 适于向操作员提供增强的能见度的系统和相关方法

Country Status (7)

Country Link
US (1) US20180300856A1 (zh)
EP (1) EP3365866A1 (zh)
CN (1) CN108369727A (zh)
CA (1) CA3001668A1 (zh)
FR (1) FR3042882B1 (zh)
IL (1) IL258758A (zh)
WO (1) WO2017068141A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746816A (zh) * 2020-05-18 2020-10-09 陈穗 一种飞机降落辅助装置及降落方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201800005817A1 (it) * 2018-05-29 2019-11-29 Dispositivo e metodo per misurazioni di visibilita'
US10777013B1 (en) * 2018-12-21 2020-09-15 Rockwell Collins, Inc. System and method for enhancing approach light display
CN116129249B (zh) * 2023-04-04 2023-07-07 上海燧原科技有限公司 一种图像处理方法、装置、电子设备和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189231A (zh) * 1995-05-30 1998-07-29 小维克多J·诺里斯 用于增强低能见度条件下导航和警戒能力的系统
US20050232512A1 (en) * 2004-04-20 2005-10-20 Max-Viz, Inc. Neural net based processor for synthetic vision fusion
CN101120363A (zh) * 2004-12-13 2008-02-06 数字环球股份有限公司 用于增强数字图像的方法和设备
US7355179B1 (en) * 2005-07-30 2008-04-08 Rockwell Collins, Inc. Scene imaging system integrity monitor and method thereof
WO2008086297A2 (en) * 2007-01-08 2008-07-17 Max-Viz, Inc. Assessing runway visibility to airborne infrared vision devices
EP1950532A2 (en) * 2007-01-26 2008-07-30 Honeywell International Inc. Vehicle display system and method with enhanced vision system and synthetic vision system image display
EP2167920A2 (en) * 2007-07-18 2010-03-31 Elbit Systems LTD. Aircraft landing assistance
EP2272027A1 (en) * 2008-04-16 2011-01-12 Elbit Systems Ltd. Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
EP2367152A2 (en) * 2010-03-16 2011-09-21 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
CN102343980A (zh) * 2010-07-28 2012-02-08 霍尼韦尔国际公司 用于增强视觉图像中的姿态辨别的方法和系统
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔系统公司 用于双传感器应用的红外相机系统和方法
CN104044745A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 飞机驾驶舱显示器以及用于组合视景显示中的障碍物的增强显示的系统和方法
CN104766337A (zh) * 2015-04-27 2015-07-08 西北工业大学 一种基于跑道边界增强的飞机着陆视觉增强方法
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
US6119055A (en) * 1998-01-23 2000-09-12 Mcdonnell Douglas Corporation Real time imaging system and method for use in aiding a landing operation of an aircraft in obscured weather conditions
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US9000350B1 (en) * 2012-09-11 2015-04-07 Rockwell Collins, Inc. Time-domain overlap imagery detecting system and method of using same

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189231A (zh) * 1995-05-30 1998-07-29 小维克多J·诺里斯 用于增强低能见度条件下导航和警戒能力的系统
US20050232512A1 (en) * 2004-04-20 2005-10-20 Max-Viz, Inc. Neural net based processor for synthetic vision fusion
CN101120363A (zh) * 2004-12-13 2008-02-06 数字环球股份有限公司 用于增强数字图像的方法和设备
US7355179B1 (en) * 2005-07-30 2008-04-08 Rockwell Collins, Inc. Scene imaging system integrity monitor and method thereof
WO2008086297A2 (en) * 2007-01-08 2008-07-17 Max-Viz, Inc. Assessing runway visibility to airborne infrared vision devices
EP1950532A2 (en) * 2007-01-26 2008-07-30 Honeywell International Inc. Vehicle display system and method with enhanced vision system and synthetic vision system image display
EP2167920A2 (en) * 2007-07-18 2010-03-31 Elbit Systems LTD. Aircraft landing assistance
EP2272027A1 (en) * 2008-04-16 2011-01-12 Elbit Systems Ltd. Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
CN102461156A (zh) * 2009-06-03 2012-05-16 弗莱尔系统公司 用于双传感器应用的红外相机系统和方法
EP2367152A2 (en) * 2010-03-16 2011-09-21 Honeywell International Inc. Display systems and methods for displaying enhanced vision and synthetic images
CN102343980A (zh) * 2010-07-28 2012-02-08 霍尼韦尔国际公司 用于增强视觉图像中的姿态辨别的方法和系统
CN104918572A (zh) * 2012-09-10 2015-09-16 艾尔比特系统有限公司 用于外科手术的视频捕获和显示的数字系统
CN104044745A (zh) * 2013-03-12 2014-09-17 霍尼韦尔国际公司 飞机驾驶舱显示器以及用于组合视景显示中的障碍物的增强显示的系统和方法
CN104766337A (zh) * 2015-04-27 2015-07-08 西北工业大学 一种基于跑道边界增强的飞机着陆视觉增强方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746816A (zh) * 2020-05-18 2020-10-09 陈穗 一种飞机降落辅助装置及降落方法

Also Published As

Publication number Publication date
FR3042882B1 (fr) 2018-09-21
WO2017068141A1 (fr) 2017-04-27
CA3001668A1 (fr) 2017-04-27
IL258758A (en) 2018-06-28
US20180300856A1 (en) 2018-10-18
EP3365866A1 (fr) 2018-08-29
FR3042882A1 (fr) 2017-04-28

Similar Documents

Publication Publication Date Title
US12046035B2 (en) Enhanced vision systems and methods
CN108369727A (zh) 适于向操作员提供增强的能见度的系统和相关方法
EP2272027B1 (en) Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
US6373055B1 (en) Enhanced vision system sensitive to infrared radiation
US10126554B2 (en) Visual perception enhancement of displayed color symbology
EP1989681B1 (en) System for and method of synchronous acquisition of pulsed source light in performance of monitoring aircraft flight operation
US9177204B1 (en) Spectrally enhanced vision system for low visibility operations
CN102862683B (zh) 飞行器飞行驾驶台的可视显示器
CN104361770B (zh) 用于交通信息采集无人机的精确降落自动控制方法
CN107209856A (zh) 环境场景状况检测
CN102314602A (zh) 使用最优定向线性轴线去除由基于车辆的相机捕获的图像中的阴影
JP5640423B2 (ja) 赤外線撮像装置及び赤外線画像の表示方法
KR101821481B1 (ko) Hud 시스템의 색상 및 휘도 조절장치와 그 방법
JPH07323899A (ja) 航空機パイロットに示される人工イメージを対応する実イメージで置き換える装置
KR20120105966A (ko) 가시거리 측정장치 및 그 방법
JP4407945B2 (ja) 光源の認識および選択を行う画像処理装置
JPWO2019008936A1 (ja) 画像処理装置、コンピュータプログラム、および画像処理システム
WO2020121626A1 (ja) 画像処理装置、コンピュータプログラム、および画像処理システム
Sereewattana et al. Color marker detection with various imaging conditions and occlusion for UAV automatic landing control
CN205754999U (zh) 一种舞台演出灯光提醒系统
CN104092980A (zh) 一种低成本主动式近红外夜视系统及其工作方法
US20190052818A1 (en) Imaging systems with pulse detection for search and rescue
Martinsen et al. Correlating military operators' visual demands with multi-spectral image fusion
WO2023053561A1 (ja) 推定装置、撮像装置、移動体、推定システム、推定方法、及びプログラム
CN104168428A (zh) 主动近红外摄影系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180803

WD01 Invention patent application deemed withdrawn after publication