CN105716625A - 用于在飞行器的监测传感器的操作期间自动地检测失准的方法和系统 - Google Patents

用于在飞行器的监测传感器的操作期间自动地检测失准的方法和系统 Download PDF

Info

Publication number
CN105716625A
CN105716625A CN201511036038.5A CN201511036038A CN105716625A CN 105716625 A CN105716625 A CN 105716625A CN 201511036038 A CN201511036038 A CN 201511036038A CN 105716625 A CN105716625 A CN 105716625A
Authority
CN
China
Prior art keywords
aircraft
image
displacement
monitoring sensor
angular difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201511036038.5A
Other languages
English (en)
Other versions
CN105716625B (zh
Inventor
S·戈捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Operations SAS
Original Assignee
Airbus Operations SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Operations SAS filed Critical Airbus Operations SAS
Publication of CN105716625A publication Critical patent/CN105716625A/zh
Application granted granted Critical
Publication of CN105716625B publication Critical patent/CN105716625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

公开了用于在飞行器的监测传感器的操作期间自动地检测失准的方法和系统。检测系统(1)包括：分析单元(4)，用于分析由监测传感器(2)生成的连续图像从而在图像中确定表示飞行器的移位的轴在两个连续图像之间的位置，即所谓的真实位置；计算单元(9)，用于基于与飞行器在生成这两个图像之间的移位相关的数据和飞行器上的监测传感器(2)的定位，来计算表示飞行器的移位的轴在图像中的位置，即所谓的理论位置；估计单元(13)，用于估计真实位置和理论位置之间的角差异，以及比较单元(16)，用于将该角差异与至少一个预先限定的容限值进行比较从而在该角差异大于该容限值时检测失准。

Description

用于在飞行器的监测传感器的操作期间自动地检测失准的方法和系统
技术领域
本发明涉及用于在飞行器——特别是运输飞机——的监控传感器的操作期间自动地检测失准的方法和系统。
背景技术
已知的是，现代飞行器被配备有从监测飞行器的环境来为飞行员提供数据的用于成像(或成像器)的系统(或传感器)，在下文中被命名为“监测传感器”。这样的监测传感器可能尤其涉及：
-雷达，提供存在于飞行器的前方的障碍物或者环境状况的图像；
-增强的视觉系统，EVS，包括在劣化的视觉状况下为飞行器的飞行员提供飞行器前方的区域的增强的图像的红外线相机；以及
-滚动相机，为飞行员供给在飞行器前面的外部景象，以帮助飞行员在地面上进行驾驶。
已知的是，由这样的监测传感器提供的信息的可靠性直接与其根据预先确定的位置的对准相关。特别是：
-EVS增强视觉系统的图像，被投射到平视显示器HUD上，必须例如被完美地叠加到由于透明通过该平视显示器而被看到的真实的图像上；
-雷达必须执行在飞行器的轴的上的检测；以及
-滚动相机必须完美地与飞行器的轴对准。
沿着与飞行器关联的预先确定的轴的监测传感器的对准在监测传感器在飞行器最终组装线上的装配期间被固定。
然而，在飞行器的寿命期间，诸如与外部物体的碰撞的事件可能例如直接地或者间接地经由携带监测传感器的结构或结构部件的移位而导致监测传感器的失准。
失准意味着监测传感器的视线(监测传感器根据视线来产生图像)关于被考虑作为基准的预先确定的方向的偏移。
因此，必要的是，或者甚至至少特别有用的是，能够在操作期间在飞行器上检测监测传感器的失准，从而不会被诱导到错误中并且具有可靠的信息。
发明内容
本发明涉及用于在构建到飞行器中的监测传感器的操作期间自动地检测失准的方法，所述监测传感器能够生成飞行器的外部环境的图像，这使得能够执行特别地可靠并且有效的检测。
根据本发明，所述方法包括连续的步骤，所述步骤在于，在操作期间：
a)分析由监测传感器生成的多个连续图像，从而在所述图像的至少一个第一图像中确定表示飞行器的移位的轴在所述第一图像和第二图像之间的位置，即所谓的真实位置；
b)从飞行器的机载系统获取与飞行器在生成所述第一图像的瞬时和生成所述第二图像的瞬时之间的移位有关的数据；
c)基于这些数据和飞行器上的监测传感器的定位，计算表示飞行器的移位的轴在所述第一图像中的位置，即所谓的理论位置；
d)估计表示飞行器的移位的轴的真实位置和理论位置之间的角差异；和
e)将该角差异与至少一个预先限定的值进行比较，从而当该角差异大于所述预先限定的值时检测失准。
因此，凭借本发明，获得了用于在操作期间(也就是说当飞行器在飞行过程中或者在地面上行进之时而为操作的时候)，基于对由监测传感器生成的图像和由机载系统(尤其是用于测量飞行器的移位和姿态的系统)提供的数据的分析，来自动地检测监测传感器的失准的有效方法，如下文所指明的那样。
凭借本发明，飞行器的机组人员因此能够被告知监测传感器的任何失准，并且因此知道由监测传感器提供的信息是否是准确的和可信的。
将注意的是，在本发明的框架内，所述第一图像(在所述第一图像上尤其计算真实位置)按时间顺序一般在其它图像(所谓的第二图像)之后被生成。然而还可想见的是所述第一图像在所述第二图像之前被生成。
在优选的实施例中，所述方法还包括把在步骤d)中估计的角差异和/或与在步骤e)中检测到的失准相关的信息项传输到至少一个用户系统的步骤，该角差异使得能够量化监测传感器的失准。
此外，以有利的方式，步骤a)在于：
-分析由监测传感器生成的图像从而选择特征点；
-针对被选择的特征点的每个分析图像，从而确定这些特征点的每个的运动；
-针对特征点的每个的运动，把由于飞行器的移位所致的运动的第一分量与由于特征点所属于的元件的固有运动所致的运动的第二分量分离开；以及
-借助于所述特征点的运动的第一分量来确定表示所述飞行器的移位的轴的所述真实位置。
根据本发明的能够被一起或分离地采用的各个实施例：
-在步骤a)中实现的各图像的分析被限制于所述图像的至少一个所谓的感兴趣区域；
-在步骤a)中实现的各图像的分析，仅仅针对所有n个连续的图像而执行，n为大于1的整数；
-步骤a)在于确定说明表示飞行器的移位的轴的所述真实位置的所谓的延伸聚焦的真实位置，步骤c)在于确定说明表示飞行器的移位的轴的所述理论位置的所谓的延伸聚焦的理论位置，以及步骤d)在于估计延伸聚焦的真实位置与延伸聚焦的理论位置之间的差异；
-所述方法包括确定在步骤d)中估计的角差异的置信度等级的步骤；
-所述方法包括在步骤d)中估计的角差异的时间域滤波的步骤。
本发明还涉及用于在构建到飞行器中的监测传感器的操作期间自动地检测失准的系统，所述监测传感器能够生成飞行器的外部环境的图像。
根据本发明，所述检测系统包括：
-分析单元，被配置为分析由监测传感器生成的多个连续图像，从而在所述图像的至少一个第一图像中确定表示飞行器的移位的轴在所述第一图像和第二图像之间的位置，即所谓的真实位置；
-获取单元，被配置为从飞行器的机载系统获取与飞行器在生成所述第一图像的瞬时和生成所述第二图像的瞬时之间的移位有关的数据；
-计算单元，被配置为基于这些数据和飞行器上的监测传感器的定位，计算表示飞行器的移位的轴在所述第一图像中的位置，即所谓的理论位置；
-估计单元，被配置为估计表示飞行器的移位的轴的真实位置和理论位置之间的角差异；以及
-比较单元，被配置为将该角差异与至少一个预先限定的值进行比较，从而当该角差异大于所述预先限定的值时检测失准。
有利地，检测系统还包括传输单元，被配置为把由估计单元估计的角差异和/或与由比较单元检测到的失准相关的信息项传输到至少一个用户系统，诸如用于角差异的校正系统。
本发明还涉及一种飞行器，特别是被提供有诸如上文所指明的检测系统的检测系统的运输飞机。
附图说明
随附各图将阐明其中可以体现本发明的方式。在这些图中，相同的标号指示相似的元件。
图1是用于在飞行器的监测传感器的操作期间自动地检测失准的系统的特定实施例的示意图。
图2示出被提供有这样的检测系统的飞行器(也就是运输飞机)。
图3示意性地图解借助于延伸聚焦来确定说明失准的角差异的示例。
图4是由检测系统实现的处理的示例的示意图。
具体实施方式
在图1中示意性地表示并且使得能够说明本发明的系统1是用于在飞行器AC(例如运输飞机)的监测传感器“传感器2”(下文中“监测传感器2”)的操作期间自动地检测失准的系统。
安装在飞行器AC上的监测传感器2能够生成飞行器AC的外部环境的图像，如在滚动相机的示例中在图2中示意性地表示那样。该滚动相机为飞行员提供与在地面S上行进的飞行器AC前方的外部景象相关的连续图像(或视频序列)，使得能够尤其是当在地面上驾驶时辅助飞行员。监测传感器2沿着查看轴AV产生图像。
关于监测传感器，这可能还需要例如：
-提供障碍物的图像或存在于飞行器的前方的环境状况的图像的雷达；
-包括红外相机以及在劣化的视觉状况下为飞行器的飞行员提供飞行器的前方区域的增强图像的增强视觉系统，EVS；或
-根据对飞行器的环境的监控来为飞行员提供数据的任何成像系统。
所述检测系统1包括，如在图1中表示那样，中央单元3，该中央单元3包括：
-分析单元4，被配置为分析由监测传感器2生成的多个连续图像，其目的是至少在所述图像的至少一个第一图像中确定表示飞行器的移位的轴(下文中所谓的“移位轴”)在所述第一图像和第二图像之间的位置，所谓的真实位置，如下文所指明的那样。相应地，该分析单元4或者被经由链路5直接连接到监测传感器2(如图1中表示那样)，或者被连接到存储装置或已经从监测传感器2接收到图像的图像使用装置；
-获取单元“获取”6(下文中为“获取单元6”)，被配置为经由链路8从飞行器的(多个)机载系统(“系统”)的集合7获取与飞行器在生成所述第一图像的瞬时和生成所述第二图像的瞬时之间的移位有关的数据；
-计算单元“计算”9(下文中为“计算单元9”)，被配置为基于经由获取单元6的链路10接收到的这些数据和(经由数据库“数据库”12(下文中为“数据库12”)的链路11接收的)飞行器上的监测传感器2的已知的定位，来在所述第一图像中计算表示飞行器的移位的轴(下文中为所谓的“移位轴”)的位置，所述位置被称为理论位置。飞行器上的监测传感器的所述已知定位包括监测传感器的视见轴关于飞行器的基准的位置和定向，诸如例如在飞行器上安装监测传感器期间测量所述位置和定向；以及
-估计单元“估计”13(下文中为“估计单元13”)，被配置为估计(如果相关的话)飞行器的移位轴的(经由分析单元4的链路14接收到的)真实位置与飞行器的移位轴的(经由计算单元9的链路15接收到的)理论位置之间的角差异。当该角差异不为0时，该角差异说明监测传感器2的对准缺陷。
所述第一图像一般按时间顺序在所述第二图像之后被生成。然而还可想见的是所述第一图像按时间顺序在所述第二图像之前被生成。
此外，“生成图像的瞬时”意味着监测传感器生成(或取得)该图像的时刻(或瞬时)。
检测系统1的中央单元3还包括比较单元“比较”16(下文中为“比较单元16”)，被配置为将(经由估计单元13的链路17接收到的)该角差异与(经由链路26从数据库“数据库”25(以下为“数据库25”)接收到的)表示容限的至少一个预先限定的值进行比较，从而当该角差异大于所述预先限定的值时检测失准。只要角差异小于或等于该预先限定的值，就认为对准缺陷(尽管存在)处于容限之内，并且没有失准被检测系统1检测到。
当检测到失准时，相应的信息项能够被经由链路18传输到飞行器的至少一个系统19(“报警”)，尤其是报警装置(例如向机组人员成员预先警告失准的声音类型和/或视觉类型)。
因此，检测系统1能够在操作期间(也就是说当飞行器为操作的之时，在飞行期间或当在地面S上行进时(如在图2中表示的那样))有效地并且自动地检测监测传感器2的失准，这是基于对由该监测传感器2生成的图像以及由集合7的一个或多个机载系统提供的数据的分析而做到的，并且能够在进行这样的检测时预先警告飞行器的机组人员。
使得能够把与飞行器的移位有关的数据提供到获取单元6的所述集合7包括例如，飞行器的以下元件或系统中的至少一个：
-空气数据惯性和基准系统，ADIRS；
-定位系统，例如GPS(“GlobalPositioningSystem”，全球定位系统)类型；
-采用与飞行器的移位有关的数据的任何机载装置或计算机。
获取单元6还能够从形成集合7的部分的若干先前提到的述系统或元件接收要被处理的信息。
获取单元6因此被配置为获取与飞行器的移位有关的数据。该飞行器的移位包括飞行器沿着轨迹的移位，以及飞行器的姿态修正的移位(绕它的三个轴的转动)。
更进一步的，在特定的实施例中，如在下面的描述中考虑的那样，相对于地面测量飞行器的移位。在不同的实施例中，也可以相对于另一固定的要素并且尤其是相对于飞行器周围的空气团来测量飞行器的移位，例如在其中监测传感器是气象雷达的情况下。
在优选的实施例中，检测系统1包括传输单元(链路20)，用于把由估计单元13估计的(或由比较单元16提供的)角差异传输至至少一个用户系统“用户”21(下文中为“用户系统21”)。该角差异使得能够，如果相关的话，量化监测传感器2的失准。
如此获得的失准量化可以被用于自动地重新对准监测传感器2(如果后者采用电子指向系统(自动或手动))，这是经由表示用户系统21的合适的重新对准装置做到的。
监测传感器的失准的检测是通过如下之间的比较获得的：
-从对由监测传感器2(想要验证该监测传感器2的对准)提供的一连串图像之间的运动的分析推断出的飞行器的移位；以及
-由用于定位飞行器的系统(例如，ADIRS类型的系统)在考虑监测传感器相对于飞行器的移位的中心(一般为重心)的相对位置(被记录在数据库12中)的同时提供的飞行器的移位。
在优选的实施例中，分析单元4包括：
-运动检测元件“检测”22(下文中为“运动检测元件22”)，包括下面的集成处理元件：
●第一处理元件，用于分析由监测传感器2生成的(并且经由链路5接收到的)图像从而选择特征点；
●第二处理元件，用于针对特征点的每个分析图像从而确定这些特征点中的每个的运动；以及
●第三处理元件，用于针对特征点中的每个的运动，分离由于飞行器的移位所致的运动的第一分量以及由于特征点所属于的元件的固有运动所致的运动的第二分量；以及
-计算元件“计算”23(在下文中为“计算元件23”)，其通过链路24连接至运动检测元件22并且被配置为借助于经由链路24从第三处理元件接收到的所述特征点的运动的第一分量来确定飞行器的移位轴的真实位置。该真实位置被通过链路14传输。
在本发明的框架内，运动检测元件22能够实现用于从视频序列(或成系列的连续图像)中提取运动的各种标准解决方案。可能的是，以说明的方式，引用下面的类型的提取(或算法)：通过马尔科夫模型、马尔科夫场、时间平均、统计算符、匹配(或“块匹配”)、卡夫瑞欧-罗卡等。
运动检测元件22还能够使用这些各种算法的标准优化以便获得良好的实时性能。
此外，为了限制必要的计算的数量，并且因此为了优化CPU(中央处理器)负载，运动检测元件22被配置为不是在图像的整个表面上而是在图像的一个或多个感兴趣区域上执行运动的分析，图像的感兴趣区域表示图像的一部分。因此，通过说明的方式，在对应于EVS类型的增强视觉系统的监测传感器的示例中，没有必要分析天空，在这种情况下感兴趣区域能够对应于除了天空以外的整个所查看的图像。
更进一步的，为了限制必要的计算的数量，并且因此优化CPU负载，可以作出规定以：
-使粒度(在轮廓、簇、感兴趣点SIFT、哈里斯感兴趣点等上的运动检测)适配于由监测传感器生成的图像的类型(彩色，红外，雷达)以及适配于由监测传感器看到的环境；
-如果可能，对被按黑和白存储的图像执行运动分析；以及
-降低计算失准的频率。作为所考虑的监测传感器的功能，在每对连续的图像之间执行检测是没有必要的或者没有用的。由分析单元4实现的图像的分析然后被单独地针对所有的n个连续图像来执行，这就是说针对图像1，然后针对图像n+1，此后针对图像2n+1，...，n为大于1的整数，并且等于例如2，3...。
如在上文指示的那样，运动检测元件22能够使用用于提取飞行器的运动的各种标准算法中的一种。
因此，在特定的实施例中，该运动检测元件22使用基于图像的延伸聚焦实现的提取，如在图3中表示的那样。
已知的是，在静态场景中，在成像器(诸如监测传感器2)的移位期间，投射在图像平面上的各点的速度的方向都朝着被称为“延伸聚焦”(FOE)的点会聚。
因此，中央单元3(图1)针对至少一个图像确定说明飞行器的移位轴在两个相继的图像之间的所述真实位置的延伸聚焦(或真实延伸聚焦)的所谓的真实位置，以及说明飞行器的移位轴的所述理论位置的、基于与在两个相继的图像的捕获之间的飞行器的移位有关的数据及在飞行器上的监测传感器的定位计算的延伸聚焦(或理论延伸聚焦)的所谓的理论位置，并且其估计在延伸聚焦的真实位置与延伸聚焦的理论位置之间的差异。
在图3的示例中，考虑两个连续的图像I1和I2。以说明的方式，这些图像表示在飞行器的前方被捕获的场景SC。该场景SC尤其是包含飞行器在其上行进的着陆跑道27，示意性地表示例如板的特定元件28、云29、以及地形的起伏30。
用于基于图像I1和I2来测量角差异的方法展示出以下步骤：
-确定图像IA，在图像IA上高亮显示所考虑的特征点P1至P4的移位矢量V1至V4；
-基于矢量V1、V2和V3确定真实延伸聚焦31，如图3的图像IB图解那样。该真实延伸聚焦31表示由监测传感器看到的飞行器的移位轴。矢量V4与也经受固有移位的云29有关。为了能够考虑与矢量V4有关的信息并且删除云29的固有移位，实现如在下文中指定的滤波；
-基于产生自飞行器的一个或多个机载系统(即在该示例中的ADIRS系统)的信息，来确定飞行器AC在生成图像I1和I2的各瞬时之间相对于地面的移位；
-借助于飞行器AC相对于地面的移位、调整容限TOL、以及监测传感器的预先确定的角位置Pα，来确定理论延伸聚焦32，也就是说飞行器的移位轴应该位于的位置。该位置在图3的图像IC中由考虑了容限TOL的圆32图解；以及
-确定在该图像IC上由箭头33高亮显示的在两个移位轴之间的差异。
此外，实现滤波以将外部场景恢复为静态场景，从而删除除了监测传感器的速度以外的固有速度。用于EVS类型的监测传感器或当物体的固有运动可忽略时的简单方案可以是在基于延伸聚焦FOE的方法的框架内消除非会聚的速度的方向。
中央单元3可以包括滤波器以执行时间域滤波。例如，该滤波器例如可以被集成到估计单元13中。该时间域滤波可以使得能够把尤其是由于结构的明确的偏转所致的恒定失准与由于飞行器的结构的运动及振动所致的动态失准(未必要被考虑)分离开。该时间域滤波还可以使得能够考虑形成集合7的一部分(图1)的飞行器的定位传感器的测量误差。
此外，监测传感器的分辨率和到被成像的物体的距离对测量精确度有影响，其要被整合到在中央单元3中实现的各种计算中。
当在操作期间(也就是说在飞行期间或在地面上行进时)对飞行器为操作的之时，(诸如在上文中描述的)检测系统1实现在图4中表示的以下步骤：
E1/经由分析单元4，分析由监测传感器生成的多个连续图像11，12...，从而确定飞行器的移位轴在这些图像中的位置，即所谓的真实位置；
E2/经由获取单元6，获取(“获取”)至少(集合7的)飞行器的机载系统中的与飞行器相对于地面的移位有关的数据；
E3/经由计算单元9，基于产生自数据库12的这些数据和飞行器上的监测传感器的定位，计算(“计算”)飞行器的移位轴在图像中的位置，即所谓的理论位置；
E4/经由估计单元13，估计(“估计”)飞行器的移位轴的真实位置和理论位置之间的角差异；以及
E5/经由比较单元16，将该角差异与至少一个预先限定的值(或容限)进行比较(“比较”)从而当该角差异大于从数据库25接收到的所述预先限定的值时检测失准。
由检测系统1实现的方法还在步骤E4和E5之间包括滤波步骤E6(“滤波”)，以确认恒定失准的存在。
此外，分析步骤E1包括以下的子步骤A1至A5：
A1/限定图像11、12的一个或多个感兴趣区域F(动态的或静态的)；
A2/在一个或多个感兴趣区域F上选择特征点(或感兴趣点)；
A3/在各图像之间对特征点进行配对；
A4/计算感兴趣点的轨迹(图像IA)；以及
A5/计算真实的延伸聚焦31的位置(图像IB)。
可能的是提供删除并非是飞行器的(并且关于平均数发散的)轨迹的轨迹的附加子步骤A6。
由检测系统1实现的方法还可以包括：
-借助于适当的用户系统21(图1)来替代所获取的图像从而实现失准的校正(“校正”)的步骤E7；以及
-计算作为会聚点的数量和误差演进的函数的置信度等级(“置信度”)的步骤E8。
相应地，中央单元3可以包括用于确定用于所估计的角差异的值的置信度等级的计算元件(其例如被集成到估计单元13中)。该置信度等级能够被推导自：
-失准的随着时间的经过的演进，该演进在结构的动态形变的滤波之后必须是恒定的(并且仅仅在事件(例如引起其发生的撞击)的瞬间进展)；以及
-对于计算飞行器的移位有用的点的数量。会聚点的数量越高，置信度等级和精确度越好。
诸如上文中描述的检测系统1使得能够当被通过软件实现时以及在不要求任何特别的额外硬件的同时执行监测传感器的失准的自动检测，通过提供如上文中描述的适当的算法来做到这点。检测系统1因此可以被实现在存在于飞行器上的并且就接口和处理器资源来说具有足够的可用性的系统上。

Claims (11)

1.一种用于在被构建到飞行器中的监测传感器的操作期间自动地检测失准的方法，所述监测传感器能够生成飞行器的外部环境的图像，所述方法包括连续的步骤，所述步骤在于，在操作期间：
a)分析由监测传感器生成的多个连续图像，从而在所述图像的至少一个第一图像中确定表示飞行器的移位的轴在所述第一图像和第二图像之间的位置，即所谓的真实位置；
b)从飞行器的至少一个机载系统获取与飞行器在生成所述第一图像的瞬时和生成所述第二图像的瞬时之间的移位有关的数据；
c)基于这些数据和飞行器上的监测传感器的定位，计算表示飞行器的移位的轴在所述第一图像中的位置，即所谓的理论位置；
d)估计表示飞行器的移位的轴的真实位置和理论位置之间的角差异；
e)将该角差异与至少一个预先限定的值进行比较，从而当该角差异大于所述预先限定的值时检测失准，以及
确定在步骤d)中估计的角差异的置信度等级。
2.如权利要求1所述的方法，
其中所述方法包括把在步骤d)中估计的角差异和/或与在步骤e)中检测到的失准相关的信息项传输到至少一个用户系统的步骤。
3.如权利要求1和2之一所述的方法，
其中步骤a)在于：
-分析由监测传感器生成的图像从而选择特征点；
-针对被选择的特征点的每个，对图像进行分析从而确定这些特征点的每个的运动；
-针对特征点的每个的运动，把由于飞行器的移位所致的运动的第一分量与由于特征点所属于的元件的固有运动所致的运动的第二分量分离开；以及
-借助于所述特征点的运动的第一分量来确定表示飞行器的移位的轴的所述真实位置。
4.如前述权利要求中的任一项所述的方法，
其中，在步骤a)中实现的各图像的分析被限制于所述图像的至少一个所谓的感兴趣区域。
5.如前述权利要求中的任一项所述的方法，
其中，在步骤a)中实现的各图像的分析，仅仅针对所有n个连续的图像而执行，n为大于1的整数。
6.如前述权利要求中的任一项所述的方法，
其中，步骤a)在于确定说明表示飞行器的移位的轴的所述真实位置的所谓的延伸聚焦的真实位置，步骤c)在于确定说明表示飞行器的移位的轴的所述理论位置的所谓的延伸聚焦的理论位置，以及步骤d)在于估计延伸聚焦的真实位置与延伸聚焦的理论位置之间的差异。
7.如前述权利要求中的任一项所述的方法，
其中确定角差异的置信度等级的步骤在于从如下推断置信度等级：
-失准的随着时间的经过的演进；以及
-对于计算飞行器的移位有用的点的数量。
8.如前述权利要求中的任一项所述的方法，
其中所述方法包括在步骤d)中估计的角差异的时间域滤波的步骤。
9.一种用于在构建到飞行器中的监测传感器的操作期间自动地检测失准的系统，所述监测传感器能够生成飞行器的外部环境的图像，所述系统包括：
-分析单元，被配置为分析由监测传感器生成的多个连续图像，从而在所述图像的至少一个第一图像中确定表示飞行器的移位的轴在所述第一图像和第二图像之间的位置，即所谓的真实位置；
-获取单元，被配置为从飞行器的机载系统获取与飞行器在生成所述第一图像的瞬时和生成所述第二图像的瞬时之间的移位有关的数据；
-计算单元，被配置为基于这些数据和飞行器上的监测传感器的定位，计算表示飞行器的移位的轴在所述第一图像中的位置，即所谓的理论位置；
-估计单元，被配置为估计表示飞行器的移位的轴的真实位置和理论位置之间的角差异；以及
-比较单元，被配置为将该角差异与至少一个预先限定的值进行比较，从而当该角差异大于所述预先限定的值时检测失准。
10.如权利要求10所述的系统，
其中所述系统包括传输单元，传输单元被配置为把由估计单元估计的角差异和/或与由比较单元检测到的失准相关的信息项传输到至少一个用户系统。
11.一种飞行器，其中所述飞行器包括如权利要求9和10中的一个所述的系统。
CN201511036038.5A 2014-12-12 2015-12-11 用于自动地检测飞行器的监测传感器的失准的方法和系统 Active CN105716625B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1462316A FR3030091B1 (fr) 2014-12-12 2014-12-12 Procede et systeme de detection automatique d'un desalignement en operation d'un capteur de surveillance d'un aeronef.
FR1462316 2014-12-12

Publications (2)

Publication Number Publication Date
CN105716625A true CN105716625A (zh) 2016-06-29
CN105716625B CN105716625B (zh) 2021-01-22

Family

ID=52988173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511036038.5A Active CN105716625B (zh) 2014-12-12 2015-12-11 用于自动地检测飞行器的监测传感器的失准的方法和系统

Country Status (3)

Country Link
US (1) US10417520B2 (zh)
CN (1) CN105716625B (zh)
FR (1) FR3030091B1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107883916A (zh) * 2016-09-29 2018-04-06 波音公司 用于检测飞行器表面变形的方法和设备
CN108931258A (zh) * 2017-05-23 2018-12-04 空中客车运营简化股份公司 用于监测和估计与飞行器的飞行相关的参数的方法和设备
CN111099037A (zh) * 2019-12-16 2020-05-05 中国航空工业集团公司洛阳电光设备研究所 一种民机平视显示器显示画面安全性监控的方法
CN112240785A (zh) * 2019-07-18 2021-01-19 金鸡滑雪具公司 滑板的使用中表现的分析系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538334B2 (en) * 2015-01-15 2017-01-03 GEOTAB Incorporated Telematics furtherance visualization system
US10788316B1 (en) 2016-09-21 2020-09-29 Apple Inc. Multi-sensor real-time alignment and calibration
CN117689859B (zh) * 2024-02-02 2024-05-10 深圳市双翌光电科技有限公司 一种高精度的视觉对位方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10115043A1 (de) * 2000-04-25 2002-04-04 Iteris Inc Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems, insbesondere eines auf einem Fahrzeug angeordneten Kamerasystems
EP1710749A1 (de) * 2005-04-01 2006-10-11 Audi Ag Korrektur der Messfehler des Gierwinkels bei Sensoren zur Fahrspurerkennung
CN1894557A (zh) * 2003-12-16 2007-01-10 特里伯耶拿有限公司 探测仪器的校准
CN103328928A (zh) * 2011-01-11 2013-09-25 高通股份有限公司 用于个人导航设备的基于相机的惯性传感器对准
US20130307982A1 (en) * 2012-05-15 2013-11-21 Toshiba Alpine Automotive Technology Corporation Onboard camera automatic calibration apparatus
CN103733234A (zh) * 2011-02-21 2014-04-16 斯特拉特克系统有限公司 用于检测飞机场中的外物、碎片或损坏的监视系统和方法
US20140300736A1 (en) * 2013-04-09 2014-10-09 Microsoft Corporation Multi-sensor camera recalibration

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995681A (en) * 1997-06-03 1999-11-30 Harris Corporation Adjustment of sensor geometry model parameters using digital imagery co-registration process to reduce errors in digital imagery geolocation data
US6735348B2 (en) * 2001-05-01 2004-05-11 Space Imaging, Llc Apparatuses and methods for mapping image coordinates to ground coordinates
US20030048357A1 (en) * 2001-08-29 2003-03-13 Geovantage, Inc. Digital imaging system for airborne applications
US20040257441A1 (en) * 2001-08-29 2004-12-23 Geovantage, Inc. Digital imaging system for airborne applications
US6653650B2 (en) * 2001-11-26 2003-11-25 Northrop Grumman Corporation Streamlined method and apparatus for aligning a sensor to an aircraft
US7209161B2 (en) * 2002-07-15 2007-04-24 The Boeing Company Method and apparatus for aligning a pair of digital cameras forming a three dimensional image to compensate for a physical misalignment of cameras
US6792369B2 (en) * 2002-08-09 2004-09-14 Raytheon Company System and method for automatically calibrating an alignment reference source
US7602415B2 (en) * 2003-01-17 2009-10-13 Insitu, Inc. Compensation for overflight velocity when stabilizing an airborne camera
US7605774B1 (en) * 2004-07-02 2009-10-20 Rockwell Collins, Inc. Enhanced vision system (EVS) processing window tied to flight path
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
JP4681856B2 (ja) * 2004-11-24 2011-05-11 アイシン精機株式会社 カメラの校正方法及びカメラの校正装置
US7379619B2 (en) * 2005-03-09 2008-05-27 Texas Instruments Incorporated System and method for two-dimensional keystone correction for aerial imaging
US7382448B1 (en) * 2005-03-16 2008-06-03 Celestron Acquisition, Llc Alignment system for observation instruments
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
IL181889A (en) * 2007-03-13 2010-11-30 Israel Aerospace Ind Ltd Method and system for providing a known reference point for an airborne imaging platform
RU2460187C2 (ru) * 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
EP2286370A4 (en) * 2008-05-02 2014-12-10 Eyeic Inc SYSTEM FOR USING IMAGE DEFINITION FOR THE PICTURE OF OBJECTS IN UNEVEN PICTURES
JP4555876B2 (ja) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 車載カメラのキャリブレーション方法
JP4690476B2 (ja) * 2009-03-31 2011-06-01 アイシン精機株式会社 車載カメラの校正装置
US20110010026A1 (en) * 2009-07-13 2011-01-13 Utah State University Calibration Method for Aerial Vehicles
JP5299231B2 (ja) * 2009-11-17 2013-09-25 富士通株式会社 キャリブレーション装置
FR2954494B1 (fr) * 2009-12-18 2012-07-27 Thales Sa Procede de calibrage d'un instrument de mesure d'un systeme optronique
US20120224058A1 (en) * 2011-03-02 2012-09-06 Rosemount Aerospace Inc. Airplane cockpit video system
BR112013031128A2 (pt) * 2011-06-10 2017-06-27 Pictometry Int Corp sistema e método para formar fluxo de vídeo que contém dados de gis em tempo real
CA2780419A1 (en) * 2011-06-17 2012-12-17 National Cheng Kung University Unmanned aerial vehicle image processing system and method
US9215383B2 (en) * 2011-08-05 2015-12-15 Sportsvision, Inc. System for enhancing video from a mobile camera
US9051695B2 (en) * 2011-10-18 2015-06-09 Herzog Railroad Services, Inc. Automated track surveying and ballast replacement
IL220815A (en) * 2012-07-08 2016-12-29 Israel Aerospace Ind Ltd Sensor calibration method and system
KR101282718B1 (ko) * 2012-12-28 2013-07-05 한국항공우주연구원 선형배열 영상센서와 자세제어 센서 간의 절대 오정렬 보정방법
US9025825B2 (en) * 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9394059B2 (en) * 2013-08-15 2016-07-19 Borealis Technical Limited Method for monitoring autonomous accelerated aircraft pushback

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10115043A1 (de) * 2000-04-25 2002-04-04 Iteris Inc Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems, insbesondere eines auf einem Fahrzeug angeordneten Kamerasystems
CN1894557A (zh) * 2003-12-16 2007-01-10 特里伯耶拿有限公司 探测仪器的校准
EP1710749A1 (de) * 2005-04-01 2006-10-11 Audi Ag Korrektur der Messfehler des Gierwinkels bei Sensoren zur Fahrspurerkennung
CN103328928A (zh) * 2011-01-11 2013-09-25 高通股份有限公司 用于个人导航设备的基于相机的惯性传感器对准
CN103733234A (zh) * 2011-02-21 2014-04-16 斯特拉特克系统有限公司 用于检测飞机场中的外物、碎片或损坏的监视系统和方法
US20130307982A1 (en) * 2012-05-15 2013-11-21 Toshiba Alpine Automotive Technology Corporation Onboard camera automatic calibration apparatus
US20140300736A1 (en) * 2013-04-09 2014-10-09 Microsoft Corporation Multi-sensor camera recalibration

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN HERDTWECK EL: ""Monocular Heading Estimation in Non-stationary Urban Environment"", 《2012 IEEE INTERNATIONAL CONFERENCE ON MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107883916A (zh) * 2016-09-29 2018-04-06 波音公司 用于检测飞行器表面变形的方法和设备
CN108931258A (zh) * 2017-05-23 2018-12-04 空中客车运营简化股份公司 用于监测和估计与飞行器的飞行相关的参数的方法和设备
CN108931258B (zh) * 2017-05-23 2024-02-20 空中客车运营简化股份公司 用于监测和估计与飞行器的飞行相关的参数的方法和设备
CN112240785A (zh) * 2019-07-18 2021-01-19 金鸡滑雪具公司 滑板的使用中表现的分析系统
CN111099037A (zh) * 2019-12-16 2020-05-05 中国航空工业集团公司洛阳电光设备研究所 一种民机平视显示器显示画面安全性监控的方法
CN111099037B (zh) * 2019-12-16 2023-02-10 中国航空工业集团公司洛阳电光设备研究所 一种民机平视显示器显示画面安全性监控的方法

Also Published As

Publication number Publication date
US20160171700A1 (en) 2016-06-16
US10417520B2 (en) 2019-09-17
FR3030091B1 (fr) 2018-01-26
CN105716625B (zh) 2021-01-22
FR3030091A1 (fr) 2016-06-17

Similar Documents

Publication Publication Date Title
CN105716625A (zh) 用于在飞行器的监测传感器的操作期间自动地检测失准的方法和系统
US20210012520A1 (en) Distance measuring method and device
US10884110B2 (en) Calibration of laser and vision sensors
US8970401B2 (en) Using image sensor and tracking filter time-to-go to avoid mid-air collisions
KR102400452B1 (ko) 이동 경로 메타데이터를 이용한 항공 사진/비디오에서의 상황 인식 객체 검출
KR101758735B1 (ko) 카메라와 목표물 사이의 수평 거리를 구하는 방법, 이 방법을 채용한 카메라 및 감시 시스템
CN107144839A (zh) 通过传感器融合检测长对象
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
US20160165191A1 (en) Time-of-approach rule
US20050238220A1 (en) Method and device for inspecting linear infrastructures
Kakillioglu et al. 3D sensor-based UAV localization for bridge inspection
US20130093880A1 (en) Height Measurement Apparatus And Method
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
Brunner et al. Combining multiple sensor modalities for a localisation robust to smoke
KR100751096B1 (ko) 광흐름을 이용한 속도 측정 장치 및 그 방법
Doehler et al. Image-based drift and height estimation for helicopter landings in brownout
KR101183645B1 (ko) 카메라를 이용한 항공기 자세 측정 시스템 및 그 방법
Bourzeix et al. Speed estimation using stereoscopic effect
US10698111B2 (en) Adaptive point cloud window selection
Dolph et al. Monocular Ranging for Small Unmanned Aerial Systems in the Far-Field
WO2023181555A1 (ja) ガス監視方法、ガス監視装置、ガス監視システム及びガス監視プログラム
Roberts et al. Inertial navigation sensor integrated motion analysis for obstacle detection
KR20220082202A (ko) 무인 항공기용 3차원 객체 탐지를 위한 스테레오 영상 렉티피케이션 방법
JP5962331B2 (ja) 速度推定装置及び速度推定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant