CN106415422B - 利用多传感器增益调度的先进飞机视觉系统 - Google Patents

利用多传感器增益调度的先进飞机视觉系统 Download PDF

Info

Publication number
CN106415422B
CN106415422B CN201580023238.9A CN201580023238A CN106415422B CN 106415422 B CN106415422 B CN 106415422B CN 201580023238 A CN201580023238 A CN 201580023238A CN 106415422 B CN106415422 B CN 106415422B
Authority
CN
China
Prior art keywords
aircraft
vision system
gain
image
vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580023238.9A
Other languages
English (en)
Other versions
CN106415422A (zh
Inventor
R·奥德尔
S·兰德斯
G·弗雷曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gulfstream Aerospace Corp
Original Assignee
Gulfstream Aerospace Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gulfstream Aerospace Corp filed Critical Gulfstream Aerospace Corp
Publication of CN106415422A publication Critical patent/CN106415422A/zh
Application granted granted Critical
Publication of CN106415422B publication Critical patent/CN106415422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/933—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Optics & Photonics (AREA)

Abstract

提供一种进行降落操作的飞机用的增强视觉系统。根据非限制性实施例，飞机上的处理器从飞机上的传感器或系统接收数据，并且使用该数据确定相对于跑道的飞机的位置。处理器根据该确定调节第一视觉系统和第二视觉系统的增益。来自第一视觉系统和第二视觉系统的图像被合并，并且显示给飞行员，直到降落操作完成。

Description

利用多传感器增益调度的先进飞机视觉系统
相关申请
本申请要求2014年5月12日提交的美国临时申请61/992,010号的优先权。
技术领域
本发明的实施例一般涉及飞机，尤其涉及向飞行员提供增强视觉信息的飞机用的视觉系统。
背景技术
在飞行期间企图使飞机降落的飞行员进行安全降落操作时要面对几项挑战。在降落操作期间，飞机必须沿着下滑道(glideslope)正确地接近机场跑道，对准跑道着陆，并且在着陆后剩余的跑道距离内放慢到停止或者达到适当的地面速度。在低能见度条件下，降落操作是更大的挑战。天气条件或者弱光条件可能使飞行员难以或者不能看清跑道或跑道条件。
因此，希望在飞行的进场和降落阶段帮助飞行员。其他有利特征和特点将从以下发明内容、具体实施方式和所附权利要求并结合附图和上述技术领域和背景技术而变得明显。
发明内容
所公开的实施例涉及一种飞机以及可在该飞机进行降落操作时使用的包括一个或多个传感器的增强视觉系统。根据非限制性实施例，该飞机上的处理器从该飞机上的传感器或系统接收数据，并且使用该数据判断该飞机相对于跑道的位置。该处理器根据该判断调节第一视觉系统和第二视觉系统的增益。来自第一视觉系统和第二视觉系统的图像被合并，并且显示给飞行员，直到降落操作完成。
附图说明
下面将结合附图描述本发明的实施例，其中相同的附图标记表示相同的元件，并且
图1是根据一个非限制性实施方式的进行降落操作的飞机的视图，在该降落操作中可以实施所公开的实施例。
图2是根据一个非限制性实施方式的先进飞机视觉系统的框图。
图3是根据所公开的实施例的示例性实施方式的增益控制图。
图4是根据所公开的实施例的一个示例性实施方式的方法的流程图。
具体实施方式
在此使用的词语“示例性”意思是“作为例子、实例或示例”。以下详细描述本质上仅是示例性的，并且不意图限制本发明或者本发明的应用和使用。在此作为“示例性”描述的任何实施例都不应必然地理解为比其他实施例更优选或更有利。在“具体实施方式”中描述的所有实施例都是示例性实施例，它们被提供用来使本领域的技术人员能够完成或使用本发明，并且不限制由所附权利要求限定的本发明的范围。此外，也不意图受到前述“技术领域”、“背景技术”、“发明内容”或以下描述中明示或暗示的理论所限制。
所公开的实施例涉及一种飞机用的先进视觉系统。许多当代商务喷气式飞机制造商都提供通常称为平视显示仪(heads-up display,HUD)的视觉引导系统(visualguidance system,VGS)。VGS典型地与增强视觉系统相结合，增强视觉系统提供覆盖有HUD符号的红外(IR)图像，并且使飞行员具有看穿肉眼看不清的一些情况的能力。所公开的实施例融合了红外视觉系统和被选择为与IR系统具有不同有效范围的第二视觉系统的成像的优点。适当的第二视觉系统的一个非限制性例子包括毫米波(MMW)视觉系统。尽管以下描述以MMW系统给出所公开的实施例，但是将会理解，在任何具体实施方式中可以采用具有不同于IR系统的有效范围的众多其他第二视觉系统。非限制性的例子包括：气象雷达、LIDAR或者具有不同波长的其他IR传感器。来自红外视觉系统和毫米波系统的图像被调节增益，然后被合并并且提供给飞行员。该增益调节是根据飞机相对于跑道的位置(高度或距离)自动进行的，并且不需要飞行员来调节或关注。在一些实施例中，通过根据降落操作期间的跑道可视范围(Runway Visual Range,RVR)使用RVR因子对增益进行补充调节来进行该增益调节。以减小来自两个视觉系统的合并图像中的视差扭曲的方式对图像进行合并。这样，飞行员被提供有支持安全完成降落操作的增强视觉信息。
图1是根据一个示例性而非限制性的实施方式的进行降落操作的飞机100的视图，在该降落操作中可以实施所公开的实施例。根据所公开的实施例的一个非限制性实施方式，飞机100包括：机身102，其承载乘客和货物；两个主翼104，其提供使飞机100飞行所需的升力；垂直尾翼106和两个水平尾翼108，用于确保稳定的飞行；以及两个喷气式发动机110，其提供向前推进飞机100所需的推力。飞行控制表面位于机翼112、水平尾翼116和垂直尾翼114上以引导飞机100。如图1中所示，飞机100通过沿着下滑道112向跑道114航行来进行降落操作。当飞机100沿着下滑道112行进到飞机100’的位置，然后到飞机100”的位置时，红外视觉系统和工作中的毫米波视觉系统的增益被飞机上的处理器自动调节，合并并且通过显示器呈现给飞行员，在一些实施例中该显示器是平视显示仪。
尽管图1中没有示出，但是飞机100还包括各种机载计算机、飞机仪表和各种控制系统。这些机载计算机可以包括飞行控制计算机，并且飞机仪表可以包括构成航电系统的部件的各种传感器，现在参照图2进行描述。
图2是根据所公开的实施例的示例性实施方式的先进飞机视觉系统200的框图。视觉系统200包括各种传感器204、一个或多个定位系统206以及红外视觉系统208、第二成像系统210、合成器212和显示器214，在一些实施例中显示器214包括平视显示仪。尽管没有示出，但是将会理解，飞机可以包括任何适当数量的冗余系统或者构成视觉系统200的任何数量的子系统。
传感器204可以包括例如空气数据传感器、空气数据参考(air data reference,ADR)部件或传感器、声传感器(例如，音响、麦克风、地震仪、加速计等)、振动传感器、飞机传感器(例如，空气速度指示器、高度计、姿态指示器、陀螺仪、磁罗盘、导航仪表传感器、速度传感器、角速率传感器等)、位置、角度、位移、距离、速度、加速器传感器(例如，加速计、倾斜计、位置传感器、旋转编码器、旋转/线性可变差动转换器、转速表等)。传感器204还可以包括皮托(pitot)和静态压力传感器，它们可以用来测量冲压(Ram)空气压力和静态压力，并且提供数据或信息，这些数据或信息可被用来确定/计算气流速度、马赫数、攻角、温度和气压高度数据等。定位系统206可以包括全球定位系统(GPS)、全球导航卫星系统(GNSS)或者其他基于卫星的传感器系统。
根据所公开的实施例，计算机202使用传感器204和/或定位系统206提供的数据来确定降落操作期间飞机的位置。在一个非限制性例子中，该计算机可以使用GPS系统确定相对于跑道的飞机位置，以确定飞机与跑道的距离。由于进场航线和跑道的下滑道被存档并且可以被飞行员利用，所以计算机102还可以通过接收飞机高度数据并使用本领域已知的三角方程来确定飞机相对于跑道的位置。由于红外视觉系统和毫米波成像系统具有不同的有效范围，所以计算机102根据所确定的相对于跑道的飞机位置来调节这两个系统的增益，以向飞行员提供可能的最佳图像。可选地，跑道可视范围(RVR)数据也可被用于补充红外视觉系统208和第二视觉系统210的增益控制处理。
增益调节后的图像在合成器212中被合成，以向显示器214提供合并图像。两个视频图像的合并或融合在本领域中是公知的，并且按照所公开的实施例的教导可以采用任何适当的融合处理。根据针对第二视觉系统210选择的技术，一种融合处理可能优于另一种融合处理，本领域技术人员将会领会并理解这一点。
在红外图像和MMW图像在合成器212中被合并之后，合并图像在显示器214上呈现给飞行员，在一些实施例中显示器214包括平视显示仪。根据所公开的实施例，飞行员具有手动选择红外视觉系统208或MMW成像系统210的选项，或者可以选择自动模式，在自动模式中，计算机202根据进场操作期间确定的相对于跑道的飞机位置自动进行红外视觉系统208和MMW视觉系统210的增益调节。
接着图2，图3是MMW(第二)成像系统210的增益控制(调度(scheduling))曲线300的视图。将会理解，红外视觉系统208的增益控制曲线是对应于产生具有100％增益因子的合并图像的曲线。因此，所公开的实施例通过将MMW视觉系统210的增益设置为零或接近零，直到在第二视觉系统的有效性达到峰值306的高度304之前大约200英尺，来优先考虑红外视觉系统208。当飞机沿着下滑道靠近跑道时，计算机202根据增益控制曲线300调节红外视觉系统208和MMW视觉系统210的增益。当飞机接近着陆时，再次优先考虑到红外视觉系统208，计算机快速降低MMW成像系统的增益，如图3所示。在一些实施例中，基于跑道可视范围(RVR)数据来移动增益控制(调度)曲线300。作为非限制性例子，在较高RVR(例如，1200)时，增益控制曲线可以如箭头308所示移动。在较低RVR(例如，500)时，增益控制曲线可以如箭头310所示移动，这是因为红外成像系统在较低RVR时有效性较低。如将会理解的，实际RVR移动点和增益控制曲线移动的量将取决于针对第二视觉系统210选择的技术。通常，所公开的实施例在飞行员仅用红外成像系统208和肉眼可能无法看到跑道或跑道条件的低可见度条件下(即，较低的RVR)最有利。
图4是示出根据所公开的实施例的一个示例性实施方式的方法400的流程图。将参考结合图2描述的某些部件来描述图4。
例程在步骤402开始，在步骤402，计算机202从传感器204或定位系统206获得数据。传感器204可以包括但不限于一个或多个声传感器(例如，音响、麦克风、地震仪、加速计等)、振动传感器、空气数据传感器(例如，空气速度指示器、高度计、姿态指示器、导航仪表传感器、速度传感器、角速率传感器等)、位置、角度、位移、距离、速度、加速度传感器(例如，倾斜计、位置传感器、旋转编码器、旋转/线性可变差动转换器、转速表等)。定位系统206可以包括全球定位系统(GPS)、全球导航卫星系统(GNSS)或其它基于卫星的传感器系统。在步骤404中，计算机202确定相对于跑道的飞机位置。如上所述，这可以通过确定飞机与跑道的距离或通过确定沿着下滑道的飞机高度来完成。判定406确定飞机是否已经降落。肯定的判定表示飞机已经完成降落操作，并且在步骤408中可以停用该视觉系统。可选地，视觉系统200可以在降落之后和在对飞机征税期间保持使用，如步骤410所示。
如果判定406确定为飞机未降落，则判定412确定飞行员是否已手动选择红外视觉系统208。如果是，则计算机202将红外视觉系统的增益设置为100％，并且将MMW(第二)视觉系统的增益设置为零，然后在步骤416中显示来自红外视觉系统的图像。此后，例程循环回到步骤402，直到飞机降落。如果判定412确定为红外视觉系统尚未被手动选择，则例程前进到判定418，确定是否已经选择了自动增益控制模式。如果不是，则计算机202将第二视觉系统的增益设置为百分之百，并且将红外视觉系统208的增益设置为零，然后在显示器214上显示来自第二视觉系统的图像。例程再次循环回到步骤402，直到飞机降落。
如果判定418确定为自动增益控制模式已被选择，则步骤420根据增益控制曲线(调度)调节红外视觉系统208和MMW视觉系统210的增益，可选地，如果可用的话，可以用RVR数据补充该增益控制曲线。参见图3，图3为一个非限制性例子。在增益调节之后，按照上述融合方法，在合成器212中对来自红外视觉系统208和第二视觉系统210的图像进行合并。在步骤424中将合并的图像显示给飞行员，然后例程循环回到步骤402，并继续直到飞机降落。
与利用先前的视觉系统的飞机相比，所公开的实施例可以使飞机具有增强的安全性。通过向飞行员提供在主动毫米波视觉系统内应用红外视觉系统的贡献的先进飞机视觉系统，所公开的实施例提供了具有不同有效范围和优点的两个系统的优点。
所属领域的技术人员将进一步了解，结合本文中公开的实施例描述的各种说明性逻辑块、任务、步骤、模块、电路和算法步骤可实施为电子硬件、计算机软件或二者的组合。上面以功能和/或逻辑块部件(或模块)和各种处理步骤描述了一些实施例和实施方式。然而，应当理解，这样的块部件(或模块)可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实现。为了清楚地说明硬件和软件的这种可互换性，上文已经以它们的功能一般性地描述了各种说明性部件、块、模块、电路和步骤。这种功能作为硬件还是作为软件来实现取决于具体应用和施加在整个系统的设计约束。所属领域的技术人员可针对每个具体应用以不同方式实施所描述的功能，但此类实施决策不应被解释为导致脱离本发明的范围。例如，系统或部件的实施例可以采用各种集成电路部件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，它们可以在一个或多个微处理器或其他控制装置的控制下执行各种功能。另外，本领域技术人员将理解，本文描述的实施例仅仅是示例性的实施方式。
结合本文公开的实施例描述的各种说明性逻辑块、模块和电路可被设计用于执行本文所描述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、离散门或晶体管逻辑、离散硬件组件或它们的任意组合来实现或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP内核或任何其他这样的配置。词语“示例性”在本文中专门用于表示“用作例子、实例或示例”。本文描述为“示例性”的任何实施例不应必被解释为比其他实施例优选或有利。
结合本文所公开的实施例描述的方法或算法的步骤可以直接用硬件、由处理器执行的软件模块或两者的组合来实现。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM或本领域已知的任何其他形式的存储介质中。示例性存储介质耦合到处理器，使得处理器可以从存储介质读取信息和向存储介质写入信息。在替代方案中，存储介质可以集成到处理器。处理器和存储介质可以驻留在ASIC中。
在本文中，诸如第一和第二等关系术语可以仅用于将一个实体或动作与另一个实体或动作区分开，而不必要求或暗示这些实体或动作之间的任何实际的关系或顺序。除非由权利要求语言特别定义，否则诸如“第一”，“第二”，“第三”等序数词仅仅表示多个中的不同个体，并且不暗示任何顺序或序列。除非由权利要求的语言特别定义，否则任何权利要求中的文本的顺序都不意味着必须根据这种顺序以时间或逻辑顺序执行处理步骤。在不脱离本发明的范围的情况下，处理步骤可以以任何顺序互换，只要这种交换不与权利要求语言相矛盾并且不是逻辑上无意义的即可。
此外，根据上下文，在描述不同元件之间的关系时使用的诸如“连接”或“耦合到”的词语不暗示在这些元件之间必须进行直接物理连接。例如，两个元件可以通过一个或多个附加元件物理地、电子地、逻辑地或以任何其它方式相互连接。
尽管在前面的详细描述中已经给出了至少一个示例性实施例，但是应当理解，存在大量的变型。例如，尽管参考飞机用的先进飞机视觉系统描述了所公开的实施例，但是本领域技术人员将理解，所公开的实施例可以在其他类型的运载工具中实现，这种运载工具包括但不限于水面船舶、汽车、火车、摩托车等。还应当理解，所述一个或多个示例性实施例仅仅是例子，并且不旨在以任何方式限制本发明的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供用于实现一个或多个示例性实施例的方便的路线图。应当理解，在不脱离如所附权利要求及其法律等同物所阐述的本发明的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (20)

1.一种用于在进行降落操作的飞机中增强飞行员视觉的方法，包括：
由所述飞机上的处理器接收来自所述飞机上的传感器或系统的数据,至少一个传感器或系统提供飞机高度；
(a)由所述处理器使用所述数据确定相对于跑道的所述飞机的位置；
(b)根据基于所述飞机高度的增益控制曲线来调节第一视觉系统的增益以提供经调节的第一图像；
(c)根据基于所述飞机高度的对应的反向增益控制曲线来调节第二视觉系统的增益以提供经调节的第二图像；
(d)合并所述经调节的第一图像和所述经调节的第二图像以提供合并图像；
(e)显示所述合并图像；并且
(f)重复步骤(a)-(e)，直到所述飞机完成降落操作。
2.根据权利要求1所述的方法，其中确定所述飞机的位置包括由所述处理器使用来自高度传感器的数据确定相对于跑道的所述飞机的位置。
3.根据权利要求1所述的方法，其中确定所述飞机的位置包括由所述处理器使用来自定位系统的数据确定相对于跑道的所述飞机的位置。
4.根据权利要求1所述的方法，其中调节所述第一视觉系统的增益包括调节红外视觉系统的增益以提供所述经调节的第一图像。
5.根据权利要求1所述的方法，其中调节所述第二视觉系统的增益包括调节毫米波视觉(MMW)系统的增益。
6.根据权利要求1所述的方法，其中调节所述第二视觉系统的增益还包括基于跑道可视范围数据调节增益控制调度。
7.根据权利要求1所述的方法，其中显示所述合并图像包括在平视显示仪上显示所述合并图像。
8.一种用于飞机的视觉系统，包括：
第一成像系统，用于提供第一图像；
第二成像系统，用于提供第二图像；
传感器或系统，用于提供所述飞机的位置数据，至少一个传感器或系统提供飞机高度；
处理器，其耦合到所述传感器或系统、所述第一成像系统和所述第二成像系统，所述处理器被配置为：
确定相对于跑道的所述飞机的位置；
根据基于所述飞机高度的增益控制曲线来调节所述第一成像系统的增益，并根据基于所述飞机高度的对应的反向增益控制曲线来调节所述第二成像系统的增益；
合并所述第一图像和第二图像以提供合并图像；以及
将所述合并图像显示在显示器上。
9.根据权利要求8所述的视觉系统，其中所述传感器包括高度传感器。
10.根据权利要求8所述的视觉系统，其中所述系统包括定位系统。
11.根据权利要求8所述的视觉系统，其中所述第一成像系统包括红外视觉系统。
12.根据权利要求8所述的视觉系统，其中所述第二成像系统包括毫米波视觉系统。
13.根据权利要求8所述的视觉系统，其中所述处理器被配置为基于跑道可视范围数据调节所述第一成像系统和所述第二成像系统的增益。
14.根据权利要求8所述的视觉系统，其中所述显示器包括平视显示仪。
15.一种飞机，包括：
机身，其具有用于提供空中旅行的舱室；
发动机，其在飞行期间推进飞机；
视觉系统，包括：
第一成像系统，用于提供第一图像；
第二成像系统，用于提供第二图像；
传感器或系统，用于提供所述飞机的位置数据，至少一个传感器或系统提供飞机高度；
处理器，其耦合到所述传感器或系统、所述第一成像系统和所述第二成像系统，所述处理器被配置为：
确定相对于跑道的所述飞机的位置；
根据基于所述飞机高度的增益控制曲线来调节所述第一成像系统的增益，并根据基于所述飞机高度的对应的反向增益控制曲线来调节所述第二成像系统的增益；
合并所述第一图像和第二图像以提供合并图像；以及
将所述合并图像显示在显示器上。
16.根据权利要求15所述的飞机，其中所述传感器包括高度传感器。
17.根据权利要求15所述的飞机，其中所述系统包括定位系统。
18.根据权利要求15所述的飞机，其中所述第一成像系统包括红外视觉系统。
19.根据权利要求15所述的飞机，其中所述第二成像系统包括毫米波视觉系统。
20.根据权利要求15所述的飞机，其中所述显示器包括平视显示仪。
CN201580023238.9A 2014-05-12 2015-05-11 利用多传感器增益调度的先进飞机视觉系统 Active CN106415422B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461992010P 2014-05-12 2014-05-12
US61/992,010 2014-05-12
PCT/US2015/030117 WO2016018491A2 (en) 2014-05-12 2015-05-11 Advanced aircraft vision system utilizing multi-sensor gain scheduling

Publications (2)

Publication Number Publication Date
CN106415422A CN106415422A (zh) 2017-02-15
CN106415422B true CN106415422B (zh) 2020-08-28

Family

ID=55180551

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580023238.9A Active CN106415422B (zh) 2014-05-12 2015-05-11 利用多传感器增益调度的先进飞机视觉系统

Country Status (6)

Country Link
US (1) US9569848B2 (zh)
EP (1) EP3143468B1 (zh)
CN (1) CN106415422B (zh)
CA (1) CA2945150C (zh)
IL (1) IL248599A0 (zh)
WO (1) WO2016018491A2 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043402B1 (en) * 2015-09-04 2018-08-07 Rockwell Collins, Inc. Flight path cross check
CN107202983B (zh) * 2017-05-19 2020-11-13 深圳佑驾创新科技有限公司 基于图像识别和毫米波雷达融合的自动刹车方法和系统
US10440293B1 (en) 2018-06-22 2019-10-08 Jurgen R. Ihns Avionics imaging control method and apparatus
US10777013B1 (en) * 2018-12-21 2020-09-15 Rockwell Collins, Inc. System and method for enhancing approach light display
FR3111120B1 (fr) * 2020-06-04 2022-04-29 Airbus Operations Sas Système de vision de vol amélioré pour aéronef.
CN112904881A (zh) * 2021-01-19 2021-06-04 杭州电子科技大学 一种高超声速飞行器动态增益调度控制器设计方法
US11851215B2 (en) * 2021-05-27 2023-12-26 Honeywell International Inc. Systems and methods for calibrating a synthetic image on an avionic display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850185B1 (en) * 2003-07-31 2005-02-01 Rockwell Collins Runway obstacle detection system and method
CN100421122C (zh) * 2002-08-28 2008-09-24 Bae系统航空控制公司 图像融合系统和方法
KR100928292B1 (ko) * 2008-01-18 2009-11-25 동국대학교 산학협력단 합성 영상 생성 장치 및 그 방법
CN103287584A (zh) * 2012-03-01 2013-09-11 上海工程技术大学 一种飞机视频降落辅助系统
CN104301666A (zh) * 2013-07-15 2015-01-21 霍尼韦尔国际公司 用于提供具有自适应组合视觉系统的显示器的显示系统和方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5585791A (en) * 1995-04-24 1996-12-17 Alliedsignal, Inc. GPWS autopilot monitor
US6792141B2 (en) * 2001-04-19 2004-09-14 Raytheon Company Infrared detection system and method with histogram based manual level and gain control with local gain clipping
US7382288B1 (en) 2004-06-30 2008-06-03 Rockwell Collins, Inc. Display of airport signs on head-up display
US7307793B2 (en) * 2004-07-02 2007-12-11 Insight Technology, Inc. Fusion night vision system
US7605774B1 (en) * 2004-07-02 2009-10-20 Rockwell Collins, Inc. Enhanced vision system (EVS) processing window tied to flight path
DE102005053899A1 (de) * 2005-11-09 2007-05-10 Vaisala Gmbh Verfahren zur Bestimmung einer optimalen Landebahnbefeuerungsintensität
US8019490B2 (en) * 2006-09-29 2011-09-13 Applied Minds, Llc Imaging and display system to aid helicopter landings in brownout conditions
US8371852B2 (en) * 2008-01-21 2013-02-12 Dror Michael ALLON Implant and a method for using the same
EP2272027B1 (en) * 2008-04-16 2014-03-26 Elbit Systems Ltd. Multispectral enhanced vision system and method for aircraft landing in inclement weather conditions
US8089375B1 (en) 2008-06-09 2012-01-03 Rockwell Collins, Inc. Head-up display/synthetic vision system predicted flight path depiction
US8170729B2 (en) * 2008-08-08 2012-05-01 Honeywell International Inc. Method and system for operating a display device on-board an aircraft
US20110106345A1 (en) 2009-11-03 2011-05-05 Takacs Robert S Low visibility landing system
US8654149B2 (en) * 2011-12-20 2014-02-18 Honeywell International Inc. System and method for displaying enhanced vision and synthetic images
US9001030B2 (en) * 2012-02-15 2015-04-07 Google Inc. Heads up display
FR2996927B1 (fr) 2012-10-12 2014-12-26 Airbus Operations Sas Poste de pilotage avec dispositif de visualisation tete haute, notamment pour un aeronef
US9625716B2 (en) 2013-05-08 2017-04-18 Gulfstream Aerospace Corporation Omnidirectional HUD

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100421122C (zh) * 2002-08-28 2008-09-24 Bae系统航空控制公司 图像融合系统和方法
US6850185B1 (en) * 2003-07-31 2005-02-01 Rockwell Collins Runway obstacle detection system and method
KR100928292B1 (ko) * 2008-01-18 2009-11-25 동국대학교 산학협력단 합성 영상 생성 장치 및 그 방법
CN103287584A (zh) * 2012-03-01 2013-09-11 上海工程技术大学 一种飞机视频降落辅助系统
CN104301666A (zh) * 2013-07-15 2015-01-21 霍尼韦尔国际公司 用于提供具有自适应组合视觉系统的显示器的显示系统和方法

Also Published As

Publication number Publication date
EP3143468A2 (en) 2017-03-22
US20160035080A1 (en) 2016-02-04
EP3143468A4 (en) 2018-01-03
CA2945150C (en) 2020-09-01
CN106415422A (zh) 2017-02-15
IL248599A0 (en) 2016-12-29
EP3143468B1 (en) 2019-04-10
WO2016018491A2 (en) 2016-02-04
US9569848B2 (en) 2017-02-14
WO2016018491A3 (en) 2016-03-24
CA2945150A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
CN106415422B (zh) 利用多传感器增益调度的先进飞机视觉系统
EP2899509B1 (en) System and method for displaying flight path information in rotocraft
EP2159545B1 (en) Method and system for displaying navigation corridors
US10119833B2 (en) Projected synthetic vision
US8193948B1 (en) System, module, and method for presenting runway advisory information to a pilot
EP2101155B1 (en) Method and apparatus for displaying flight path information in rotorcraft
US8581748B1 (en) System, device, and method for generating an ILS-based highway-in-the-sky
EP2154484B1 (en) Method and system for operating a display device on-board an aircraft
US6484072B1 (en) Embedded terrain awareness warning system for aircraft
EP1959239A1 (en) Target zone display system and method
US9864194B2 (en) Systems and methods for displaying FOV boundaries on HUDs
EP3079138A2 (en) Aircraft systems and methods to display enhanced runway lighting
US9418561B2 (en) System and method for displaying predictive conformal configuration cues for executing a landing
US10332413B2 (en) System and method for adjusting the correlation between a visual display perspective and a flight path of an aircraft
EP2679961A2 (en) Aircraft systems and methods for attitude recovery
EP2202490A2 (en) Systems and methods for displaying heading-based leg symbology
US10006781B2 (en) Method for automatically adapting the range of visibility in a three-dimensional synthetic representation of the outside landscape in an on-board display system for aircraft
CN108204823B (zh) 在飞机的机载显示系统中图形化管理俯仰标尺的方法
CN113758497A (zh) 显示屏上三维合成视图的显示方法、相关计算机程序产品和显示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant