CN107867405A - 补偿至少两个飞行器安装相机的相对运动的装置和方法 - Google Patents

补偿至少两个飞行器安装相机的相对运动的装置和方法 Download PDF

Info

Publication number
CN107867405A
CN107867405A CN201710703131.XA CN201710703131A CN107867405A CN 107867405 A CN107867405 A CN 107867405A CN 201710703131 A CN201710703131 A CN 201710703131A CN 107867405 A CN107867405 A CN 107867405A
Authority
CN
China
Prior art keywords
camera
wing
aircraft
orientation
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710703131.XA
Other languages
English (en)
Other versions
CN107867405B (zh
Inventor
安迪·阿尔马托里奥
理查德·J·洛夫蒂斯
加里·A·雷
图安·A·恩固因
罗伯特·P·希金斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN107867405A publication Critical patent/CN107867405A/zh
Application granted granted Critical
Publication of CN107867405B publication Critical patent/CN107867405B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0078—Surveillance aids for monitoring traffic from the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D2045/0095—Devices specially adapted to avoid bird strike
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开涉及补偿至少两个飞行器安装相机的相对运动的装置和方法。提供了一种补偿由于至少一个飞行器机翼弯曲导致的飞行器的第一机翼安装相机和第二机翼安装相机之间的距离和取向的变化的方法。所述方法包括在飞行器的中立机翼情况期间确定第一机翼安装相机和所述第二机翼安装相机之间的第一距离和取向。该方法进一步包括在飞行器的弯曲机翼情况期间确定第一机翼安装相机和第二机翼安装相机之间的第二距离和取向。该方法还包括处理第一距离和取向与第二距离和取向之间的差异以提供用于提供第一机翼安装相机和第二机翼安装相机之间的补偿距离的实时变化的距离和取向。

Description

补偿至少两个飞行器安装相机的相对运动的装置和方法
技术领域
本申请涉及安装于飞行器上的相机(aircraft-mounted camera)，并且具体涉及补偿至少两个安装于飞行器上的相机的相对运动的装置和方法。
背景技术
例如，飞行器可以包括用作对象检测和防碰撞系统的一部分的两个相机。在该实例应用中，一个相机可以安装在飞行器机翼的一部分上，另一个相机可以安装在另一个飞行器机翼的一部分上。由于飞行器机翼弯曲并且相机彼此相对远离，因此由于例如在飞行期间的机翼振动，相机之间的距离和取向可能变化很大。由于相机之间的距离和取向的变化，系统不能立体且准确地确定接近飞行器的对象(如鸟)的位置以避免与对象碰撞。期望提供一种装置和方法，其中两个飞行器安装的相机之间的变化的距离和取向被补偿，使得系统能够准确地确定接近飞行器的对象的位置。
发明内容
在一个方面，提供一种补偿由于至少一个飞行器机翼的弯曲(flexing)导致的飞行器的第一机翼安装相机(first wing-mounted camera)和第二机翼安装相机(secondwing-mounted camera)之间的距离和取向的变化的方法。该方法包括：在该飞行器的中立机翼情况(neutral wing condition)期间，确定该第一机翼安装相机和该第二机翼安装相机之间的第一距离和取向；在该飞行器的弯曲机翼情况(flexed wing condition)期间，确定该第一机翼安装相机和该第二机翼安装相机之间的第二距离和取向；以及处理该第一距离和取向与该第二距离和取向之间的差异以提供用于提供该第一机翼安装相机和该第二机翼安装相机之间的补偿距离的实时变化的距离和取向(real-time varying distanceand orientation)。
在另一方面中，提供一种处理由飞行器的左侧机翼安装相机(left wing-mountedcamera)和该飞行器的右侧机翼安装相机(right wing-mounted camera)拍摄的图像数据，以补偿由于左侧和右侧飞行器机翼的弯曲导致的该相机之间的距离和取向的变化的方法。该方法包括：将来自该左侧机翼安装相机的拍摄图像关联于与左侧飞行器机翼相关联的左侧机头样板(left nose template)；变换来自由该左侧机翼安装相机拍摄的至少一个图像帧的图像数据，以消除与该左侧飞行器机翼的运动相关联的相对运动；将来自该右侧机翼安装相机的拍摄图像关联于与右侧飞行器机翼相关联的右侧机头样板(right nosetemplate)；以及变换来自由该右侧机翼安装相机拍摄的至少一个图像帧的图像数据，以消除与该右侧飞行器机翼的运动相关联的相对运动。
在另一方面，提供一种用于飞行器安装的对象检测和防碰撞系统的装置。该装置包括附接到该飞行器的一部分的第一相机和附接到该飞行器的另一部分的第二相机。该第一相机和该第二相机协作以拍摄在飞行路径中的对象的图像。该装置还包括运动补偿模块，该运动补偿模块被配置为计算该第一相机和该第二相机之间的实时距离和取向。该装置还包括检测模块，该检测模块被配置成基于该计算的该第一相机和该第二相机之间的实时距离计算该飞行器与该对象之间的距离。
其它方面将从下面的详细说明、附图和所附权利要求书中显而易见。
附图说明
图1为实施根据实例实施方式的飞行器安装的对象检测和防碰撞系统的实例飞行器的示意图。
图2为图1的飞行器安装的对象检测和防碰撞系统的框图并示出根据实施例构造的装置。
图3为来自安装在左侧飞行器机翼上的相机的图1的实例飞行器的机头的左侧的图像。
图4为来自安装在右侧飞行器机翼上的相机的图1的实例飞行器的机头的右侧的图像。
图5A、图5B和图5C为来自安装在图4的右侧飞行器机翼上的相机的一系列图像并且示出机翼相对运动对于飞行器机头位置的效果。
图6为示出去除图5A、图5B和图5C中所示机翼相对运动效果的图像变换效果的补偿图像。
图7为描绘其中未实施运动补偿方法的对象检测和防碰撞方法的流程图。
图8为描绘其中实施了根据实施例的运动补偿方法的图7的对象检测和防碰撞方法的流程图。
图9为示出对象相对于安装在左侧飞行器机翼上的相机和安装在右侧飞行器机翼上的另一个相机的(x，y，z)距离坐标的实例情况的坐标图。
具体实施方式
本申请涉及补偿至少两个飞行器安装相机的相对运动的装置和方法。具体的装置、运动补偿方法以及实现装置和运动补偿方法的产业可以改变。应当理解，下面的本公开提供多个实施例或用于实现各种实施例的不同特征的实例。描述组件和布置的具体实例以简化本公开。这些仅仅是实例，并非旨在限制。
以举例的方式，下面的本公开描述符合联邦航空管理局(FAA)规定的用于飞行器的装置和运动补偿方法。FAA规定的规格是已知的，因此不再描述。
参见图1，实施根据示例实施方式的装置的飞行器安装的对象检测和防碰撞系统(总体标示为10)可以关联交通工具12使用。交通工具12可以沿路径(例如，沿由方向箭头14指示的方向)移动。对象16可以沿路径(例如，沿由箭头18指示的方向)移动。根据交通工具12和/或对象16的相对位置和/或相对移动，对象16可以与交通工具12碰撞(例如，撞击)。本领域的技术人员将会知道，交通工具12和对象16在图1中可以不必按比例示出。
在图1中所示的实例实施方式中，交通工具12可以是任何类型的飞行器30。例如但不限于，飞行器30可以是固定机翼、旋转机翼或比空中飞行器轻。飞行器30可以是载人的或无人的。作为实例，飞行器30可以是由航空公司经营的商用客机、由私人或公共实体操作的货机、由军事或其他政府机构操作的军用飞行器、由个人操作的个人飞行器或由任何其他飞行器操作员操作的任何其他类型的飞行器。作为另一实例，飞行器30可以是由远程操作员操作的无人机(UAV)。因此，本领域技术人员将理解，交通工具12(例如，飞行器30)可以被设计成执行任何任务，并且可以由交通工具12的任何操作员操作。
对象16可以是可能潜在地撞击交通工具12的任何对象。作为实例，对象16可以是沿可能与交通工具12的路径14相交的路径18移动的任何移动的空中对象。例如，如图1所示，对象16可以是鸟34。作为另一个实例但不限于，对象16可以是另一个飞行器或任何其他空中的人造或天然对象。
在本公开的全部内容中，术语“撞击”、“撞”、“碰撞”、“相撞”和任何类似或相关的术语可以指交通工具12和对象16的影响。例如，短语“撞击或潜在地撞击交通工具的对象”可以指与移动对象16(例如，空中对象)碰撞的移动交通工具12。
参见图2，系统10可包括至少一个图像拍摄模块20。图像拍摄模块20可以连接到图1所示的交通工具12(例如飞行器30)。图像拍摄模块20包括被配置为获得表示图像24的图像数据的至少两个相机21、22。在示例实施方式中，至少两个相机21、22中的每个包括宽视野相机(即，大于90度)。至少两个相机21、22可包括相同类型的相机或多个不同类型的相机。例如，至少两个相机21、22可包括一个或多个摄像机。为了简化和清楚的讨论，这里仅讨论两个相机21、22。
两个相机21、22可以在任一个或多个波长和/或频率范围内操作以获得图像24(例如，视频图像26)。例如但不限于，两个相机21、22可以被配置为获得红外线、近红外线、可见光、紫外线、其它波长或波长组合的图像24。两个相机21、22可以被配置为从被偏振的光获得图像24。
例如，两个相机21、22可包括一个或多个长波长红外(“LWIR”)相机。作为另一实例，两个相机21、22可包括一个或多个医用波长红外(“MWIR”)相机。作为另一实例，两个相机21、22可包括一个或多个短波长红外(“SWIR”)相机。作为另一实例，两个相机21、22可包括一个或多个长波长红外相机、医用波长红外相机和短波长红外相机的组合。
在实例实施方式中，图像24可以是视频图像26。视频图像26可包括在一段时间(例如，30Hz)下快速拍摄的连续系列的数字视频图像帧。由两个相机21、22提供的图像24可以用于检测一个或多个对象16的存在并且识别对象16的一个或多个特性。
回顾图1，图像拍摄模块20可包括视野40。例如，两个相机21、22可包括视野40。例如，两个相机21、22可以安装在交通工具12上，使得向前看并且具有无障碍视野40(例如，视野40未被交通工具12阻挡)。视野40可以由在线28和29之间的交通工具12(例如，飞行器30)前方的目标区域15限定(例如，沿交通工具12的移动方向14)。例如，目标区域15可包括在交通工具12的前方延伸的锥体。对象16(例如，鸟34)可以在视野40内。因此，来自至少两个相机22的图像24可包括对象16的图像。
在实例实施方式中，两个相机21、22可包括组合的视野。在另一示例实施方式中，两个相机21、22可包括重叠的视野27。例如，可以使用包括重叠的视野27的两个相机21、22，以便系统10使用立体解决方案(例如，立体视觉)确定对象16相对于交通工具12的距离。
两个相机21、22可以在任何合适的或适当位置处安装到交通工具12。为了简化和本文描述的目的，一个相机21安装到飞行器30的一个机翼31的尖端，并且另一个相机22安装到飞行器30的另一翼32的尖端，如图1示意性所示。本领域技术人员将理解，两个相机21、22可以在任何其他合适或适当位置处安装到交通工具(例如，飞行器30)。
图像拍摄模块20的两个相机21、22可以以各种位置和取向连接到交通工具12。两个相机21、22可以面向任何适当的取向。例如，两个相机21、22可以大致面向交通工具12上的前方(例如，沿移动的方向14)，以便观察在交通工具12的路径中或穿过交通工具12的路径(例如，在视野40内)的对象16。
再次参见图2，系统10可包括检测模块50。检测模块50可以被配置为接收由图像拍摄模块20传输的图像24。检测模块50可以被配置为处理图像24，并且确定对象16的存在和对象16是否可能撞击交通工具12。检测模块50还可以被配置为基于图像24识别和/或确定对象16的各种特性。检测模块50还可以被配置为确定潜在撞击的各种特性。
然而，在检测模块50处理图像24之前，由包括根据实施例构造的运动补偿模块100的装置处理图像24。运动补偿模块100包括执行存储在内部数据存储单元104、外部数据存储单元(未示出)或它们组合中的指令的处理单元102。处理单元102可包括任何类型的技术。例如，处理单元102可包括专用电子处理器。其他类型的处理器和处理单元技术是可能的。内部数据存储单元104可包括任何类型的技术。例如，内部数据存储单元104可包括随机存取存储器(RAM)、只读存储器(ROM)、固态存储器或它们的任何组合。其他类型的存储器和数据存储单元技术是可能的。
运动补偿模块100还包括可包括任何类型的技术的多个输入/输出(I/O)设备106。例如，I/O设备106可包括键盘、键盘、触敏显示屏、液晶显示器(LCD)屏幕、麦克风、扬声器或它们的任何组合。其他类型的I/O设备和技术是可能的。
运动补偿模块100处理图像24以补偿安装在飞行器30的机翼31、32的尖端上的两个相机21、22之间的距离和取向(例如，旋转)的变化，该变化是由机翼31、32中的至少一个的弯曲运动导致。更具体地，处理单元102执行存储在数据存储单元104中的运动补偿程序105的指令，以补偿由于机翼31、32中的一者或两者的弯曲运动导致的两个相机21、22之间的距离和取向的变化。运动补偿模块100的操作在下文描述。
参见图3，图像300示出从安装在左侧机翼上的相机可见的飞行器30的许多不同特征。图像300的特征包括乘客窗口特征33、飞行器舱门特征34、飞行员窗口特征35、机身特征36和飞行器装配(livery)特征37。这些仅是飞行器30的实例特征。其他类型的特征是可能的。图像300中的特征产生用于相对运动补偿目的的非平凡关联。
参见图4，图像400示出从安装在右侧机翼上的相机可见的飞行器30的许多不同特征。图像400的特征包括乘客窗口特征43、飞行器舱门特征44、飞行员窗口特征45、机身特征46和飞行器装配特征47。这些仅是飞行器30的实例特征。其他类型的特征是可能的。图像400中的特征产生用于相对运动补偿目的的非平凡关联。
应当显而易见的是，来自左侧飞行器机翼31上的相机21的图像300和来自右侧飞行器机翼32上的相机22的图像400是相似的。两个图像300、400被运动补偿模块100以相同的方式处理。为了简单起见，将详细描述对来自右侧飞行器机翼32上的相机22的图像400的图像处理。应当理解，相同的图像处理细节适用于左侧飞行器机翼31上的相机21。
参见图5A，其示出来自安装在右侧飞行器机翼32上的相机22的图像510，所述图像510没有右侧机翼运动(例如，中立机翼状态或没有右侧机翼32的弯曲)。这是飞行器右侧的参考图像，并且是来自右侧机翼相机的所有飞行中图像所关联以确定运动的图像。在立体测距过程中使用的两个或更多个相机的立体校准时拍摄该图像。在图像510中，飞行器30的机头尖端与原始水平参考线512(如虚线所示)平行地对准。此外，在图像510中，飞行器30的机头垂直于原始垂直参考线514(也如虚线所示)。
参见图5B，其示出来自安装在右侧飞行器机翼32上的相机22的具有沿右侧方向(如图5B中的箭头“A”所示)的右侧机翼运动的图像520。当右侧机翼32沿向上的方向移动时(即，一种类型的弯曲机翼状态)，相机22拍摄不同的图像，其被示出为图5B中的图像520。图像520示出飞行器30的机头尖端和向下移动(如图5B中的箭头“B”所示)的飞行器30的特征。在图像520中，飞行器30的机头尖端与偏移的水平参考线516(如虚线所示)对准。该偏移的水平参考线516与原始水平参考线512偏移图5B所示的距离“d”。偏移距离“d”取决于许多因素，包括例如右侧机翼32的长度。
参见图5C，其示出来自安装在右侧飞行器机翼32上的相机22的具有沿逆时针扭转方向的右侧机翼运动(如图5C中的偏移角“φ”所示)的图像530。当右侧机翼32沿逆时针方向扭转时(即另一种类型的弯曲机翼状态)，安装在右飞行器机翼32上的相机22拍摄不同的图像，其被示出为图5C中的图像530。在图像530中，飞行器30的机头尖端沿顺时针方向(如图5C中的图像530中的偏移角“θ”所示)旋转。图像530中的偏移角“θ”和右侧机翼32上的偏移角“φ”应该大致相同。
显然，图5A、图5B和图5C示出由安装在右侧飞行器机翼32上的相机22拍摄的一系列图像，以及机翼相对运动对所拍摄图像的影响。图5A的图像510示出没有机翼运动，图5B的图像520示出向上的机翼运动，并且图5C的图像530示出逆时针扭转机翼运动。类似地确定其他运动。
参见图6，其示出了补偿图像540，该补偿图像示出了去除图5B和图5C的机翼相对运动效果的图像变换的效果。补偿图像540是变换图5B的图像520和变换图5C的图像530的结果。如图6中所示，补偿图像540示出图像520(图5B)中的偏移距离“d”减小到零，并且示出图像530(图5C)中的偏移角“θ”减小到零。
参见图7，流程图700描绘未实施运动补偿方法的对象检测和防碰撞方法。在方框730中，左侧机翼相机21连续地拍摄对象(例如，在该实例中为鸟)的视频帧并且检测并分割鸟。类似地，在方框740中，右侧相机22连续地拍摄对象的视频帧，并且检测并分割鸟。在左侧和右侧机翼相机21、22检测并分割鸟之后，在方框750中关联鸟对象。然后，在方框760中测量立体差异(stereoscopic disparity)。
基于方框760中的关联的鸟对象和鸟对象的立体差异(如在方框760中测量的)，如方框770中所示计算鸟距离(bird range)和鸟距离变化率(bird range rate)。然后，过程进行到方框780，其中计算鸟碰撞度量(bird collision metric)。如果基于方框780中的鸟碰撞度量确定了潜在的鸟碰撞，则如方框790所示向操作员提供警报。
参考图7的流程图700提供以下附加描述和说明。由于两个相机21、22提供立体视图，所以处理在每个机翼的尖端前面的整个视图，使得几乎每个看得见的鸟都能被两个相机21、22看到。因此，立体技术可以用于估计N只鸟中第i只鸟的相对鸟距离(BRi)和距离变化率(BRRi)，因为立体视觉技术允许计算在每个相机帧时间的每个鸟的距离。然后可以使用每只鸟接近飞行器30的速率根据以下简单的碰撞指标公式来预测任何未来时间T之前的鸟碰撞次数：
作为上述公式的实例计算，可以在每个来自两个相机21、22的视频帧时计算C(T)，其中T设置为10秒。所得到的整数C(10)可用于驱动警报，当C(T)从0增加到任何非零值时，警报熄灭。随着数字的增加，警报紧急增加。因此，大量即将发生的鸟碰撞的可能性拍摄了这样一个事实，即如果一只鸟“碰撞”，这个事件更有可能导致发动机故障或损坏。
参见图8，流程图800描绘图7的对象检测和防碰撞方法，其中实现了根据实施例的运动补偿方法。在方框810中，关联左侧机头样板。然后，在方框820中，基于方框810的关联机头样板来变换来自左侧机翼相机21的图像以消除左侧机翼运动(上/下垂直运动和顺时针/逆时针扭转运动)。类似地，在方框812中，关联右侧机头样板。然后，在方框814中，基于方框812的关联机头样板来变换来自右侧机翼相机22的图像以消除右侧机翼运动(上/下垂直运动和顺时针/逆时针扭转运动)。
参考图8的流程图800提供以下附加说明和解释。为了将两个相机21、22之间的鸟对象相关联并计算它们的差异(即，给定的鸟在两个相机21、22的视野中的表观位置的差异)，导致相机的相对位置变化的机翼运动需要被补偿。在此描述包括运动补偿模块100的装置。
飞行器30的前部从至少两个相机21、22中的每个相机(每个相机看到一侧)可见。当飞行器的机翼31、32弯曲时，飞行器30的机头的表现位置改变。可以通过构建右侧机头样板并将来自相机22的拍摄图像24与右侧机头样板相关联，而容易地跟踪来自相机22的飞行器30的机头的表现位置的变化。右侧机头样板可包括例如图5A所示的拍摄图像510。右侧机头样板可包括例如黑白或彩色样板。图5B示出在具有机翼运动的右侧飞行器机翼32上的相机22沿向上的方向发生了什么。图5C示出在具有机翼运动的右侧飞行器机翼32上的相机22沿逆时针方向发生了什么。
当关联来自相机22的所拍摄的机头图像24时，飞行器30的特征(诸如图4所示的特征43、44、45、46、47)用于与右侧机头样板的关联，如图8中的框812所示。最佳关联特征是那些具有大型衍生物的特征，当右侧机头样板与当前机头图像匹配时，它们相加在一起以产生关联峰值。
关联峰值的移动确定在二维像素空间中的移动(位移)。通过以与该位移相反的方式调整鸟的像素位置，由于右侧飞行器机翼32的弯曲运动，所述像素位置在相机22中的像素空间中的位置已经被针对相机22的相对运动进行调整。在像素空间中的鸟位置的调整被示出为下文所述的图6中的补偿图像540。
上述关联假设在预校准步骤期间已经补偿了相机22的透镜失真。该校准步骤允许创建将像素位置(x,y)映射到立体角向量(θ，φ)的固定函数p()，其中θ是在x-y空间(飞行器的参考地平面)中的角度，并且φ是在飞行器参考地平面上的仰角。这由以下函数表示：
(θ，φ)＝p(x，y)
上述函数是在对象检测和防撞系统10的最终安装期间定义的，并且以周期性校准间隔更新。
参见图9中，其示出实例场景(x，y，z)的坐标图900，其示出对象16(即，本实例中的鸟34)相对于安装在左侧飞行器机翼31上的相机21和安装在右侧飞行器机翼32上的相机22的距离坐标。如图9所示，假设飞行器撞击点位于坐标图900的中心(即，在(0，0，0)的(x，y，z)坐标处。
作为上述函数(θ，φ)＝p(x，y)的实例计算，令l＝(lx，ly，0)为左侧相机21位置(z被假定为零)，并且r＝(rx，ry，0)为在机翼31、32的尖端上的右侧相机22位置。如图9所示，以下是l和r的坐标：
l＝(lx，ly，0)＝(-40，120，0)
r＝(rx，ry，0)＝(-40，-120，0)
然后，给定在每个相机中的像素空间中的鸟位置(xl，yl)和(xr，yr)，它们的沿由角度（θl，φl)＝p(xl，yl)和(θr，φr)＝p(xr，yr)以及由相机位置给出的空间中的点所形成的线的在物理空间线中的位置。这两条线然后由以下一维参数形式定义：
(lx，ly，0)+(ax，ay，az)*s
(rx，ry，0)+(bx，by，bz)*t
其中a和b方向向量由球面到笛卡尔坐标变换(使用p())确定：
a＝(cos(φl)cos(θl)，cos(φl)sin(θl)，sin(φl))
a＝(cos(φr)cos(θr)，cos(φr)sin(θr)，sin(φr))
s＝未知变量
t＝未知变量
最近的交叉点c可以计算如下：
令m2＝(b×a)·(b×a)
R(r-l)×((b×a)/m2)
其中m2是方向向量a和b的十字积的点积
R如上所述定义
r是右侧机翼安装相机的方向向量
l是左侧机翼安装相机的方向向量
还定义以下变量：
t1＝R·b
t2＝R·a
q1＝l+t1a
q2＝l+t2a
最近交叉点c等于以下：
下面参考图9所示的坐标来描述示出上述等式的实例计算的实例场景。
首先，假设飞行器30的中心位于位置(0，0，0)处，鸟(bird)34位于位置(800，-200，100)处，左侧飞行器机翼31上的相机21位于(-40，-120，0)处，并且右侧飞行器机翼32上的相机22处于位置(-40,-120,0)。例如，没有透镜失真的1001x1001像素相机，左侧相机21和右相机22的以下角度可以如下计算：
其次，假定相机21、22中的每个在水平和垂直方向都具有120度的视野(FOV)。左右相机21、22中的鸟34的像素位置可以表示如下：
基于图9所示的鸟34和相机21、22的坐标，在左右相机21、22中的鸟34的上述像素位置被计算为[-173.7872,52.8997]和[-45.3361,56.3223]。这些像素位置将是理想相机的内插像素位置。应当注意，先前的像素位置计算将不会被完成，而是将在每个帧的相机图像像素空间内找到鸟34。θl、θr、φl、φr的角度如下：
[-20.8545,-5.4403,6.3480,6.7587]
从相机21、22到鸟34的线的归一化方向向量a和b如下：
a＝[0.9288，-0.3538，0.1106]
b＝[0.9886，-0.0942，0.1177]
此外，计算相机21、22和鸟34之间的两条线之间的最近点c的计算如下：
m2＝(b×a)·(b×a)＝0.0698
t1＝R·b＝904.4335
t2＝R·a＝849.7058
q1＝l+tla＝(800.0000，-200.0000，100.0000)
q2＝l+t2a＝(800.0000，-200.0000，100.0000)
因此，最终的所得点(在这种情况下是实际的鸟的位置)将是中点c，计算如下：
应该注意的是，q1和q2都相同并且等于正确答案，因为将如在实际系统中的情况，未在计算中引入(由于飞行器机翼31、32的弯曲而导致的)运动误差。
在基于方框810和820针对左侧机翼相机21并基于方框812和814针对右侧机翼相机22执行上述机翼运动误差补偿之后，图8的过程进行到方框830和840。在图8的方框830中，左侧机翼相机21连续地拍摄对象(例如，在该实例中为鸟)的视频帧，并且检测并分割鸟。类似地，在方框840中，右侧机翼相机连续拍摄鸟的视频帧，并且检测和分割鸟。在左右侧机翼相机21、22检测并分割鸟之后，在方框850中关联鸟对象。然后，在方框860中，测量立体差异。基于方框850中的关联鸟对象和在方框860中测量的鸟对象的立体差异，如方框870所示计算鸟距离和鸟距离变化率。
更具体地说，与飞行器30的鸟距离(即，BR)可以被计算为c的范数或|c|，其给出鸟到飞行器30的机翼31、32之间的中心点(即(0，0，0))的距离。这可以针对相机21、22的同步视频帧中的每个进行计算。因此，例如，30Hz的帧速率(即，FR)表示每33.3ms每个识别ss的鸟的新距离。通常，距离{c1，c2，…，}允许使用以下等式计算每帧的距离变化率(即BRR)：
BRRj＝(cj-cj-1)/FR
任何未来时间的预测鸟碰撞事件都可以使用上述用于BRRj等式计算。
图8的过程然后进行到方框880，其中计算鸟碰撞度量。如果基于在方框880中计算的鸟碰撞度量确定了潜在的鸟碰撞，则如方框890所示向操作员提供警报。然而，如果基于在方框880中计算的鸟碰撞度量未确定潜在的鸟碰撞，则过程返回到方框810和方框812以处理左右侧机翼相机21、22中的每个的下一个图像帧。
用于实现运动补偿方法的编码指令可以存储在大容量存储设备、易失性存储器、非易失性存储器和/或可移动有形计算机可读存储介质(诸如CD或DVD)中。
运动补偿方法可以使用机器可读指令来实现，所述机器可读指令包括用于由处理器(诸如上面结合图1讨论的实例运动补偿模块100中所示的处理单元102)执行的程序。程序可以体现在存储于有形计算机可读存储介质(诸如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、蓝光盘或与处理单元102相关联的存储器)上的软件中，但是整个程序和/或其部分可以替代地由处理单元102之外的设备执行和/或体现在固件或专用硬件中。可以替代地使用实现实例运动补偿模块100的许多其它方法。可以改变方框的执行顺序，和/或参照图8所示的实例流程图800描述的方框中的一些可以被改变、消除或组合。
如上所述，图8的运动补偿方法可以使用存储在有形计算机可读存储介质上的编码指令(例如，计算机和/或机器可读指令)来实现，所述有形计算机可读存储介质诸如硬盘驱动器、闪存、只读存储器(ROM)、光盘(CD)、数字通用盘(DVD)、高速缓存、随机存取存储器(RAM)和/或任何其他存储设备或存储盘，其中以任何持续时间(例如，延长的时间段、永久地、简短的情况、暂时缓冲和/或信息缓存)存储信息。如本文所使用的，术语有形计算机可读存储介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。如本文所使用的，“有形计算机可读存储介质”和“有形机器可读存储介质”可互换使用。
除此之外或可替代地，图8的实例运动补偿方法可以使用存储在非暂时计算机和/或机器可读介质上的编码指令(例如，计算机和/或机器可读指令)来实现，所述非暂时性计算机和/或机器可读介质诸如硬盘驱动器、闪存、只读存储器、磁盘、数字多功能磁盘、高速缓存、随机存取存储器和/或任何其他存储设备或存储盘，其中可以任何持续时间(例如，延长的时间段、永久地、简短的情况、暂时缓冲和/或信息缓存)存储信息。如本文所使用的，术语非暂时性计算机可读介质被明确地定义为包括任何类型的计算机可读存储设备和/或存储盘，并且排除传播信号并排除传输介质。如本文所使用的，当在权利要求的前序部分中使用短语“至少”作为过渡术语时，其开放方式与“包括”一词的开放式相同。
虽然在图2中示出实现实例飞行器安装的对象检测和防撞系统10的实例方式，但图2中所示的元件、过程和/或设备中的一个或多个可以以任何其他方式组合、划分、重新布置、省略、消除和/或实现。此外，实例运动补偿模块100和/或更一般地图2的实例飞行器安装对象检测和防碰撞系统10可以由硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现。因此，例如，任何实例运动补偿模块100和/或更一般地实例飞行器安装的对象检测和防碰撞系统10可以由一个或多个模拟或数字电路、逻辑电路、一个或多个可编程处理器、一个或多个专用集成电路(ASIC)，一个或多个可编程逻辑器件(PLD)和/或一个或多个现场可编程逻辑器件(FPLD)实现。
当阅读本专利的任何装置或系统权利要求以覆盖纯软件和/或固件实施方式时，实例运动补偿模块100和/或更一般地实例飞行器安装的对象检测和防碰撞系统10中的至少一个在本文被明确地定义为包括有形计算机可读存储设备或存储盘(诸如存储软件的存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等)和/或固件。
将两个相机21、22安装在机翼31、32的末端处提供了无障碍视图和长基线(longbaseline)(即，两个相机21、22之间的距离)，以便于精确的距离测量。然而，当机翼31、32弯曲时，相机21、22移动，并且距离测量所需的精确基线丢失。通过提供运动补偿模块100，考虑相机21、22的相对运动，使得可以在包括起飞、转弯和着陆的飞行期间维持基线。
另外，两个相机21、22在机翼31、32的端部处的安装允许实时进行立体测量。这些实时立体测量允许两个相机21、22聚焦在对象上，获得三维视图，并获得对象的精确测量。例如，运动补偿模块100提供实时方式来计算由于机翼振动而改变距离的两个相机21、22之间的距离。然后，使用两个相机21、22之间的计算距离来计算飞行器30与要避开的接近对象之间的距离。
虽然上述说明描述了飞行器30要避开的对象是在空中，但是可以想象的是，飞行器要避开的对象是不在空气中的对象，例如在跑道上的对象。
此外，虽然上述说明将图像拍摄模块20描述为仅具有两个相机，但是可以想象的是使用两个以上的相机。然而，使用两个以上的相机将提供较短的基线，从而导致距离测量不太准确。例如，可以将第三相机(未示出)安装在飞行器30的一部分上。处理单元102(图2)可以被配置为执行运动补偿程序105的指令，以补偿左侧相机21和第三相机之间的实时距离的运动、右侧相机22和第三相机之间的实时距离的运动或两者。检测模块可以被配置为基于所计算的左侧相机21和右相机22之间的实时距离、所计算的左侧相机21和第三相机之间的实时距离以及所计算的右侧相机22和第三相机之间实时距离中的至少一个来计算飞行器30和对象16之间的距离。
此外，尽管上述说明描述了根据FAA规定的用于航空行业中的飞行器的实例装置和实例运动补偿方法，但是可以预期可以根据适用的行业标准为任何行业实现装置和运动补偿方法。
此外，本公开包括根据以下条款的实施例：
条款1.一种补偿由于至少一个飞行器30的机翼31、32弯曲而导致的飞行器30的第一机翼31安装相机21和第二机翼32安装相机22之间的距离变化的方法，该方法包括：
在飞行器30的中立机翼31、32状态期间确定第一机翼31安装相机21和第二机翼32安装相机22之间的第一距离和取向；
在飞行器30的弯曲机翼31、32状态期间确定第一机翼31安装相机21和第二机翼32安装相机22之间的第二距离和取向；并且
处理第一距离和取向与第二距离和取向之间的差异以提供用于在第一和第二机翼31、32安装的相机21、22之间提供用于提供第一机翼31安装相机21和第二机翼32安装相机22之间的补偿距离和取向的实时变化的距离和取向。
条款2.根据条款1所述的方法，其中，处理第一距离和取向与第二距离和取向之间的差异包括将来自第一机翼31安装相机21、22的拍摄图像24与左侧机头样板关联。
条款3.根据条款2的方法，其中，处理第一距离和取向与第二距离和取向之间的差异包括变换与第一机翼31安装相机21、22相关联的相关图像24以消除左侧机翼31、32运动。
条款4.根据条款1的方法，其中，处理第一距离和取向与第二距离和取向之间的差异包括将来自第二机翼32安装相机21、22的拍摄图像24与右侧机头样板关联。
条款5.根据条款4的方法，其中，处理第一距离和取向与第二距离和取向之间的差异包括变换与第二机翼32安装相机21、22相关联的相关图像24，以消除右侧机翼31、32运动。
条款6.根据条款1的方法，其中，处理第一距离和取向与第二距离和取向之间的差异包括：(i)将来自第一机翼31安装相机21、22的拍摄图像24与左侧机头样板关联；(ii)变换与第一机翼31安装相机21、22相关联的相关图像24以消除左侧机翼31、32运动；(iii)将来自第二机翼32安装相机21、22的拍摄图像24与右侧机头样板关联；以及(iv)变换与第二机翼32安装相机21、22相关联的相关图像24以消除右侧机翼31、32运动。
条款7.根据条款1的方法，其中，该方法由具有执行一个或多个程序指令的存储器计算机执行，所述程序指令有形地包含在由计算机可读的程序存储介质中。
条款8.一种飞行器30上安装的对象16检测和防碰撞系统10，其中，根据条款1的方法关联和变换所拍摄的图像数据。
条款9.一种飞行器30上安装的对象16检测和防碰撞系统10，其中，根据条款8的方法关联和变换所拍摄的图像数据。其中，所拍摄的图像数据由飞行器30的左侧机翼31、32安装相机21、22和飞行器30的右侧机翼31、32安装相机21、22提供。
条款10.一种处理由飞行器30的左侧机翼31、32安装相机21、22和飞行器30的右侧机翼31、32安装相机21、22拍摄的图像数据以补偿由于左侧和右侧飞行器30机翼31、32的弯曲而导致的相机21、22之间的距离变化的方法，所述方法包括：
将来自左侧机翼31、32安装相机21、22的拍摄图像24关联于与左侧飞行器30机翼31、32相关联的左侧机头样板；
变换来自由左侧机翼31、32安装相机21、22拍摄的至少一个图像帧的图像数据，以消除与左侧飞行器30机翼31、32的运动相关联的运动；
将来自右侧机翼31、32安装相机21、22的拍摄图像24关联于与右侧机翼飞行器30机翼31、32相关联的右侧机头样板；并且
变换来自由右侧机翼31、32安装相机21、22拍摄的至少一个图像帧的图像数据，以消除与右侧飞行器30机翼31、32的运动相关联的运动。
条款11.根据条款10的方法关联并变换所拍摄的图像数据的飞行器30安装的对象16检测和防碰撞系统10。
条款12.根据条款11的方法关联并变换拍摄的图像数据的飞行器30安装的对象16检测和防碰撞系统10，其中，拍摄的图像数据由飞行器30的左侧机翼31、32安装相机21、22和飞行器30的右侧机翼31、32安装相机21、22提供。
条款13.根据条款10的方法，其中，该方法由具有执行一个或多个程序指令的存储器的计算机执行，所述程序指令有形地包含在由计算机可读的程序存储介质中。
条款14.一种用于飞行器30上安装的对象16检测和防碰撞系统10的装置，所述装置包括：
附接到飞行器30的一部分的第一相机21、22；
附接到飞行器30的另一部分的第二相机21、22，其中第一相机21和第二相机22协作以拍摄在飞行路径18中的对象16的图像24；
运动补偿模块100，被配置为计算第一相机21、22和第二相机21、22之间的实时距离和取向；以及
检测模块50，被配置为基于所计算的第一相机21、21和第二相机21、22之间的实时距离和取向来计算飞行器30与对象16之间的距离和方向。
条款15.根据条款14的装置，其中，第一相机21和第二相机22中的每一个包括立体相机。
条款16.根据条款14的装置，其中，运动补偿模块100包括其中存储运动补偿程序的数据存储单元104和被配置为执行运动补偿程序的指令以补偿第一相机21和第二相机22之间的实时距离和取向的变化的处理单元102。
条款17.根据条款16的装置，其中，第一相机21、22安装在飞行器30的机翼31、32上，第二相机21、22安装在飞行器30的机翼31、32上，并且处理单元102被配置为执行运动补偿程序的指令以补偿由于一个或多个飞行器30的机翼31、32的弯曲而导致的第一相机21与第二相机22之间的实时距离和取向的运动。
条款18.根据条款17的装置，还包括安装在飞行器30的一部分上的第三相机21、22，其中，处理单元102被配置为执行运动补偿程序的指令以补偿关于第一相机和第三相机21、22之间的实时距离和取向的运动、关于第二相机和第三相机21、22之间的实时距离和取向的运动或两者。
条款19.根据条款18的装置，其中，检测模块50被配置为基于所计算的第一相机21、22与第二相机21、22之间的实时距离和取向、所计算的第一相机21、22和第三相机21、22之间的实时距离和取向以及所计算的第二相机21、22和第三相机21、22之间的实时距离和取向中的至少一个来计算飞行器30与对象16之间的距离。
条款20.根据条款14的装置，其中，飞行路径18包括航路路径(airway path)18或地面上的跑道路径18。
虽然已经示出并描述了所公开的装置和运动补偿方法的各种实施例，但是本领域技术人员在阅读说明书后可以进行修改。本申请包括这类修改，并且仅由权利要求的范围限制。

Claims (10)

1.一种补偿由于至少一个飞行器(30)的机翼(31、32)弯曲导致的所述飞行器(30)的第一机翼(31)安装相机(21)和第二机翼(32)安装相机(22)之间的距离的变化的方法，所述方法包括：
在所述飞行器(30)的中立机翼(31、32)情况期间，确定所述第一机翼(31)安装相机(21)和所述第二机翼(32)安装相机(22)之间的第一距离和取向；
在所述飞行器(30)的弯曲机翼(31、32)情况期间，确定所述第一机翼(31)安装相机(21)和所述第二机翼(32)安装相机(22)之间的第二距离和取向；并且
处理所述第一距离和取向与所述第二距离和取向之间的差异以提供用于提供所述第一机翼(31)安装相机(21)与所述第二机翼(32)安装相机(22)之间的补偿距离的实时变化的距离和取向。
2.根据权利要求1所述的方法，其特征在于，处理所述第一距离和取向与所述第二距离和取向之间的差异包括使来自所述第一机翼(31)安装相机(21、22)的拍摄图像(24)与左侧机头样板相关联。
3.根据权利要求2所述的方法，其特征在于，处理所述第一距离和取向与所述第二距离和取向之间的差异包括变换与所述第一机翼(31)安装相机(21、22)相关联的相关图像(24)以消除左侧机翼(31、32)运动。
4.根据权利要求1所述的方法，其特征在于，处理所述第一距离和取向与所述第二距离和取向之间的差异包括使来自所述第二机翼(32)安装相机(21、22)的拍摄图像(24)与右侧机头样板相关联。
5.根据权利要求1所述的方法，其特征在于，处理所述第一距离和取向与所述第二距离和取向之间的差异包括：(i)使来自所述第一机翼(31)安装相机(21、22)的拍摄图像(24)与左侧机头样板相关联；(ii)变换与所述第一机翼(31)安装相机(21、22)相关联的相关图像(24)以消除左侧机翼(31、32)运动；(iii)使来自所述第二机翼(32)安装相机(21、22)的拍摄图像(24)与右侧机头样板相关联；以及(iv)变换与所述第二机翼(32)安装相机(21、22)相关联的相关图像(24)以消除右侧机翼(31、32)运动。
6.根据权利要求1所述的方法，其特征在于，所述方法由具有执行一个或多个程序指令的存储器的计算机执行，所述程序指令有形地包含在所述计算机能够读取的程序存储介质中。
7.一种用于飞行器安装的对象(16)检测和防碰撞系统(10)的装置，所述装置包括：
附接到所述飞行器(30)的一部分的第一相机(21、22)；
附接到所述飞行器(30)的另一部分的第二相机(21、22)，其中，所述第一相机和所述第二相机(21、22)协作以拍摄在飞行路径(18)中的对象(16)的图像(24)；
运动补偿模块(100)，被配置为计算所述第一相机(21、22)与所述第二相机(21、22)之间的实时距离和取向；以及
检测模块(50)，被配置为基于计算出的所述第一相机(21、22)与所述第二相机(21、22)之间的实时距离和取向来计算所述飞行器(30)与所述对象(16)之间的距离和取向。
8.根据权利要求7所述的装置，其特征在于，所述第一相机和所述第二相机(21、22)中的每一个包括立体视觉相机。
9.根据权利要求7所述的装置，其特征在于，所述运动补偿模块(100)包括存储有运动补偿程序的数据存储单元(104)和处理单元(102)，所述处理单元被配置为执行所述运动补偿程序以补偿所述第一相机与所述第二相机(21、22)之间的实时距离和取向的变化。
10.根据权利要求7所述的装置，其特征在于，所述飞行路径(18)包括在空气中的航路路径(18)或在地面上的跑道路径(18)。
CN201710703131.XA 2016-09-27 2017-08-16 补偿至少两个飞行器安装相机的相对运动的装置和方法 Active CN107867405B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/277,411 2016-09-27
US15/277,411 US20180091797A1 (en) 2016-09-27 2016-09-27 Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras

Publications (2)

Publication Number Publication Date
CN107867405A true CN107867405A (zh) 2018-04-03
CN107867405B CN107867405B (zh) 2023-04-11

Family

ID=60001681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710703131.XA Active CN107867405B (zh) 2016-09-27 2017-08-16 补偿至少两个飞行器安装相机的相对运动的装置和方法

Country Status (5)

Country Link
US (2) US20180091797A1 (zh)
EP (1) EP3299299B1 (zh)
JP (1) JP6951138B2 (zh)
KR (1) KR102372790B1 (zh)
CN (1) CN107867405B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111457897A (zh) * 2020-04-23 2020-07-28 中国科学院上海技术物理研究所 一种摆扫式多视角航空倾斜摄影相机及成像方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6335237B2 (ja) * 2016-09-15 2018-05-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
JP6463319B2 (ja) * 2016-10-19 2019-01-30 株式会社Ｓｕｂａｒｕ ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム
US10515559B2 (en) 2017-08-11 2019-12-24 The Boeing Company Automated detection and avoidance system
FR3070527B1 (fr) * 2017-08-31 2020-11-06 Airbus Helicopters Procede et dispositif d'evitement d'un objet par detection de son rapprochement d'un aeronef
US10922986B2 (en) 2018-07-18 2021-02-16 Simmons Precision Products, Inc. Taxi strike alert system
US10878709B2 (en) * 2018-07-19 2020-12-29 The Boeing Company System, method, and computer readable medium for autonomous airport runway navigation
WO2020040679A1 (en) * 2018-08-22 2020-02-27 I-Conic Vision Ab A method and corresponding system for generating video-based models of a target such as a dynamic event
CN110181509A (zh) * 2019-05-14 2019-08-30 浙江树人学院（浙江树人大学） 一种基于误差补偿的工业机器人运动控制方法
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US11257386B1 (en) 2019-08-14 2022-02-22 The Boeing Company Camera-based angle tracking of swarms for collision avoidance
JP2021124980A (ja) * 2020-02-05 2021-08-30 キヤノン株式会社 情報処理装置、情報処理方法、及び、プログラム

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0425288A2 (en) * 1989-10-26 1991-05-02 Canon Kabushiki Kaisha Movement detection apparatus
EP0942610A2 (en) * 1998-03-12 1999-09-15 Fuji Jukogyo Kabushiki Kaisha System and method for adjusting the convergence of a stereo camera
US20030020648A1 (en) * 2001-07-27 2003-01-30 Fienup James R. System and method for coherent array aberration sensing
US20040174453A1 (en) * 2003-03-05 2004-09-09 Fuji Jukogyo Kabushiki Kaisha Image compensation apparatus
US20070086645A1 (en) * 2005-10-18 2007-04-19 Korea Electronics Technology Institute Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same
US20070098219A1 (en) * 2005-06-13 2007-05-03 Spence Clay D Method and system for filtering, registering, and matching 2.5D normal maps
US20080137908A1 (en) * 2006-12-06 2008-06-12 Mobileye Technologies Ltd. Detecting and recognizing traffic signs
CN101419705A (zh) * 2007-10-24 2009-04-29 深圳华为通信技术有限公司 摄像机标定的方法及装置
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
US20090213219A1 (en) * 2007-12-11 2009-08-27 Honda Research Institute Europe Gmbh Visually tracking an object in real world using 2d appearance and multicue depth estimations
DE102008024308A1 (de) * 2008-05-20 2009-12-03 Eads Deutschland Gmbh Verfahren zur Detektion nichtkooperativen Luftverkehrs an Bord eines Luftfahrzeugs
EP2179892A1 (de) * 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
US20100292868A1 (en) * 2008-01-08 2010-11-18 Rafael Advanced Defense Systems Ltd. System and method for navigating a remote control vehicle past obstacles
US20110102550A1 (en) * 2008-04-02 2011-05-05 Eykona Technologies Ltd. 3d imaging system
CN102915652A (zh) * 2011-08-02 2013-02-06 波音公司 飞行器交通分离系统
CN103180210A (zh) * 2010-10-26 2013-06-26 空中客车德国运营有限责任公司 用于确定航空器结构的荷载事故的方法和布置
US20140043481A1 (en) * 2012-08-13 2014-02-13 The Boeing Company Strike Detection Using Video Images
EP2772439A2 (en) * 2013-02-28 2014-09-03 The Boeing Company Identification of aircraft surface positions using camera images
CN104054115A (zh) * 2011-10-27 2014-09-17 湾流航空航天公司 用于避免地面上的飞机与障碍物之间发生碰撞的方法和系统
CN104137150A (zh) * 2011-07-04 2014-11-05 李·文森特·斯特里特 测距成像中的运动补偿
US20150015698A1 (en) * 2013-07-10 2015-01-15 Gulfstream Aerospace Corporation Methods and systems for optical aircraft detection
US20150077323A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
CN104488264A (zh) * 2012-07-10 2015-04-01 三星电子株式会社 使用多视点图像的差异信息来估计图像运动的方法和装置
CA2862072A1 (en) * 2013-10-14 2015-04-14 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
US20150243044A1 (en) * 2012-09-21 2015-08-27 The Schepens Eye Research Institute, Inc. Collision Prediction
US20150262492A1 (en) * 2014-03-17 2015-09-17 DM3 Aviation LLC Airplane collision avoidance
CN105302146A (zh) * 2014-07-25 2016-02-03 空中客车运营简化股份公司 用于飞行器的自动自主着陆的方法及系统
US20160144979A1 (en) * 2013-07-12 2016-05-26 Flight Inspection Center Of Caac System and method for inspecting and validating flight procedure
CN105939934A (zh) * 2014-03-07 2016-09-14 波音公司 用于避免地面碰撞的系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581250A (en) * 1995-02-24 1996-12-03 Khvilivitzky; Alexander Visual collision avoidance system for unmanned aerial vehicles
JP4573977B2 (ja) * 1999-09-22 2010-11-04 富士重工業株式会社 監視システムの距離補正装置、および監視システムの消失点補正装置
JP4493434B2 (ja) * 2004-07-28 2010-06-30 オリンパス株式会社 画像生成方法および装置
US8494760B2 (en) * 2009-12-14 2013-07-23 American Aerospace Advisors, Inc. Airborne widefield airspace imaging and monitoring
US20150329217A1 (en) * 2014-05-19 2015-11-19 Honeywell International Inc. Aircraft strike zone display
US9954992B2 (en) * 2014-11-27 2018-04-24 Purdue Research Foundation Mobile device enabled robotic system
US10215836B2 (en) * 2016-03-07 2019-02-26 Raytheon Company Geolocation on a single platform having flexible portions
US10178378B2 (en) * 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display

Patent Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0425288A2 (en) * 1989-10-26 1991-05-02 Canon Kabushiki Kaisha Movement detection apparatus
EP0942610A2 (en) * 1998-03-12 1999-09-15 Fuji Jukogyo Kabushiki Kaisha System and method for adjusting the convergence of a stereo camera
US20030020648A1 (en) * 2001-07-27 2003-01-30 Fienup James R. System and method for coherent array aberration sensing
US20040174453A1 (en) * 2003-03-05 2004-09-09 Fuji Jukogyo Kabushiki Kaisha Image compensation apparatus
US20070098219A1 (en) * 2005-06-13 2007-05-03 Spence Clay D Method and system for filtering, registering, and matching 2.5D normal maps
US20070086645A1 (en) * 2005-10-18 2007-04-19 Korea Electronics Technology Institute Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same
US20080137908A1 (en) * 2006-12-06 2008-06-12 Mobileye Technologies Ltd. Detecting and recognizing traffic signs
US20100259624A1 (en) * 2007-10-24 2010-10-14 Kai Li Method and apparatus for calibrating video camera
CN101419705A (zh) * 2007-10-24 2009-04-29 深圳华为通信技术有限公司 摄像机标定的方法及装置
US20090213219A1 (en) * 2007-12-11 2009-08-27 Honda Research Institute Europe Gmbh Visually tracking an object in real world using 2d appearance and multicue depth estimations
US20100292868A1 (en) * 2008-01-08 2010-11-18 Rafael Advanced Defense Systems Ltd. System and method for navigating a remote control vehicle past obstacles
US20110102550A1 (en) * 2008-04-02 2011-05-05 Eykona Technologies Ltd. 3d imaging system
DE102008024308A1 (de) * 2008-05-20 2009-12-03 Eads Deutschland Gmbh Verfahren zur Detektion nichtkooperativen Luftverkehrs an Bord eines Luftfahrzeugs
DE102008046545A1 (de) * 2008-09-10 2009-05-14 Daimler Ag Verfahren und Vorrichtung zur Kalibrierung einer Anordnung zur Überwachung einer Umgebung eines Fahrzeugs
EP2179892A1 (de) * 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
CN103180210A (zh) * 2010-10-26 2013-06-26 空中客车德国运营有限责任公司 用于确定航空器结构的荷载事故的方法和布置
CN104137150A (zh) * 2011-07-04 2014-11-05 李·文森特·斯特里特 测距成像中的运动补偿
CN102915652A (zh) * 2011-08-02 2013-02-06 波音公司 飞行器交通分离系统
CN104054115A (zh) * 2011-10-27 2014-09-17 湾流航空航天公司 用于避免地面上的飞机与障碍物之间发生碰撞的方法和系统
CN104488264A (zh) * 2012-07-10 2015-04-01 三星电子株式会社 使用多视点图像的差异信息来估计图像运动的方法和装置
US20140043481A1 (en) * 2012-08-13 2014-02-13 The Boeing Company Strike Detection Using Video Images
US20150243044A1 (en) * 2012-09-21 2015-08-27 The Schepens Eye Research Institute, Inc. Collision Prediction
EP2772439A2 (en) * 2013-02-28 2014-09-03 The Boeing Company Identification of aircraft surface positions using camera images
US20150015698A1 (en) * 2013-07-10 2015-01-15 Gulfstream Aerospace Corporation Methods and systems for optical aircraft detection
US20160144979A1 (en) * 2013-07-12 2016-05-26 Flight Inspection Center Of Caac System and method for inspecting and validating flight procedure
US20150077323A1 (en) * 2013-09-17 2015-03-19 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
CA2862072A1 (en) * 2013-10-14 2015-04-14 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
CN105939934A (zh) * 2014-03-07 2016-09-14 波音公司 用于避免地面碰撞的系统和方法
US20150262492A1 (en) * 2014-03-17 2015-09-17 DM3 Aviation LLC Airplane collision avoidance
CN105302146A (zh) * 2014-07-25 2016-02-03 空中客车运营简化股份公司 用于飞行器的自动自主着陆的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘兆军等: "电子运动补偿在CCD探测器上的应用", 《二〇〇六年全国光电技术学术交流会》 *
邬琳红等: "立体测量中的相机晃动影响及其修正", 《激光与光电子学进展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111457897A (zh) * 2020-04-23 2020-07-28 中国科学院上海技术物理研究所 一种摆扫式多视角航空倾斜摄影相机及成像方法
CN111457897B (zh) * 2020-04-23 2024-02-23 中国科学院上海技术物理研究所 一种摆扫式多视角航空倾斜摄影相机及成像方法

Also Published As

Publication number Publication date
JP2018095231A (ja) 2018-06-21
US20180091797A1 (en) 2018-03-29
KR20180034213A (ko) 2018-04-04
EP3299299B1 (en) 2021-03-24
CN107867405B (zh) 2023-04-11
JP6951138B2 (ja) 2021-10-20
KR102372790B1 (ko) 2022-03-18
US20210392317A1 (en) 2021-12-16
EP3299299A1 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
CN107867405A (zh) 补偿至少两个飞行器安装相机的相对运动的装置和方法
US10726576B2 (en) System and method for identifying a camera pose of a forward facing camera in a vehicle
CN106803271B (zh) 一种视觉导航无人机的摄像机标定方法及装置
CN106873619B (zh) 一种无人机飞行路径的处理方法
CA2975139C (en) Stereo camera system for collision avoidance during aircraft surface operations
CN102298070B (zh) 估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
Strydom et al. Visual odometry: autonomous uav navigation using optic flow and stereo
Lai et al. Characterization of Sky‐region Morphological‐temporal Airborne Collision Detection
CN105205785B (zh) 一种可定位的大型车辆运行管理系统及其运行方法
AU2013343222A1 (en) Cloud feature detection
CN103810475A (zh) 一种目标物识别方法及装置
Zsedrovits et al. Visual detection and implementation aspects of a UAV see and avoid system
Imamura et al. Human tracking by a multi-rotor drone using HOG features and linear SVM on images captured by a monocular camera
Lippiello et al. 3D monocular robotic ball catching with an iterative trajectory estimation refinement
Lippiello et al. 3D monocular robotic ball catching
CN105913459A (zh) 基于高分辨率连拍图像的运动目标检测方法
Sobel et al. Camera calibration for tracked vehicles augmented reality applications
Zuehlke et al. Vision-based object detection and proportional navigation for UAS collision avoidance
Dubey et al. Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance
Kannan et al. Comparison of visual and LIDAR SLAM algorithms using NASA Flight Test Data
Anastasiou et al. Hyperion: A robust drone-based target tracking system
Snarski et al. Infrared search and track (IRST) for long-range, wide-area detect and avoid (DAA) on small unmanned aircraft systems (sUAS)
Dudek et al. Cloud Detection System for UAV Sense and Avoid: Challenges and Findings in Flight Experiments
Ogorzalek Computer Vision Tracking of sUAS from a Pan/Tilt Platform
Bourke UAS autonomous drop zone assessment and adaptive delivery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant