CN109799363A - 移动引擎虚拟速度矢量确定方法、存储介质和确定系统 - Google Patents

移动引擎虚拟速度矢量确定方法、存储介质和确定系统 Download PDF

Info

Publication number
CN109799363A
CN109799363A CN201811372404.8A CN201811372404A CN109799363A CN 109799363 A CN109799363 A CN 109799363A CN 201811372404 A CN201811372404 A CN 201811372404A CN 109799363 A CN109799363 A CN 109799363A
Authority
CN
China
Prior art keywords
image
velocity vector
pseudo
mobile engine
velocity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811372404.8A
Other languages
English (en)
Other versions
CN109799363B (zh
Inventor
P-Y·杜马斯
E·阮
C·梅伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of CN109799363A publication Critical patent/CN109799363A/zh
Application granted granted Critical
Publication of CN109799363B publication Critical patent/CN109799363B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/52Determining velocity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Abstract

移动引擎虚拟速度矢量确定方法、存储介质和确定系统。用于确定虚拟速度矢量的方法包括下列步骤:从限定了相对于移动引擎基本静止的光学投影中心的图像传感器来获取(110)周围环境的图像序列;分析(120)至少两个连续图像,以便确定在所述至少两个连续图像中的各个图像中的被称为核点的点,所述核点代表在采集另一个图像的时刻所述图像传感器的所述光学投影中心在所述图像中的位置;以及针对各个被分析的图像,在显示器上确定(130)所述图像的核点的位置,且在所述显示器上显示(130)代表所述位置中的所述虚拟速度矢量的符号,所述显示器能够用于驾驶所述移动引擎。

Description

移动引擎虚拟速度矢量确定方法、存储介质和确定系统
技术领域
本发明涉及一种用于确定移动引擎的虚拟速度矢量的方法。
本发明还涉及一种相关的存储介质和确定系统。
背景技术
在航空领域,使用速度矢量(也称为飞行路径矢量或FPV)来驾驶飞行器已经是众所周知的。
这种矢量使得可以向飞行员呈现有关该装置的瞬时路径的信息,具体地,确定飞行器相对于地理坐标系的漂移和飞行路径角。
通常,这种信息有助于飞行员监测飞行器的飞行路径角,或者与外界环境(离隙或目的地跑道)的描绘相关联,以确保飞行器的确正在遵循规定的路径飞行。
目前,为了计算速度矢量,必须在地理坐标系中计算飞行器的速度。
这种计算传统上是根据由诸如GPS系统或机载惯性单元的卫星定位系统提供的信息进行的。还已知,可以使用由这两个系统提供的信息的混合化,尤其是为了提高结果的质量。
然而,这些系统的使用面临着由这些系统提供的信息的完整性和精确性的问题。
实际上,由惯性单元提供的地理速度具有很高的完整性,但不精确,而由GPS系统提供的地理速度非常精确,但缺乏完整性。
此外,在符合飞行员视野的显示期间,尤其是使用平视显示器(HUD)时,速度矢量相对于外界环境的显示精度起着特别重要的作用。实际上,一个最小的航向误差(大约1°)可能导致速度矢量在平视显示器上的投影的不一致,进而导致相对于外界环境投影的不一致,这不利于驾驶。
发明内容
本发明旨在提出一种具有良好完整性和良好精度的、用于确定虚拟速度矢量的方法,同时所述方法尤其适用于符合要求的显示器。
为此,本发明涉及一种用于确定在周围环境中移动的飞行器的虚拟速度矢量的方法,所述虚拟速度矢量显示所述移动引擎在所述环境中的移动方向。
所述方法包括下列步骤:
-从沿图像采集方向取向且限定相对于所述移动引擎基本静止的光学投影中心的图像传感器获取周围环境的图像序列;
-对至少两个连续图像进行分析,以便在所述至少两个连续图像的各个图像中确定被称为核点的点,所述核点代表在采集另一个图像的时刻所述图像传感器的所述光学投影中心在所述图像中的位置;
-针对各个被分析的图像,在显示器上确定所述图像的所述核点的位置,且在所述显示器上显示代表所述位置中的所述虚拟速度矢量的符号,所述显示器能够用于驾驶所述移动引擎。
根据本发明的其它有利方面,单独考虑或者根据技术上可能的所有组合,所述方法包括下列特征中的一个或更多个:
-用于分析至少两个图像的步骤包括下列子步骤:
-确定所述两个图像中被称为第一图像的一个图像的多个参考点,以及被称为第二图像的另一个图像中的多个参考点;
-在所述第一图像与所述第二图像之间对参考点进行关联;
-根据相关联的参考点,确定基本矩阵,所述基本矩阵限定了所述第二图像中针对所述第一图像的各个点的被称为核线的线,与所述第一图像的所述点相对应的所述第二图像的所述点位于所述核线上;
-确定所述第一图像中的所述核点作为所述基本矩阵的核心;
-确定所述第二图像中的所述核点作为转置基本矩阵的核心;
-代表所述虚拟速度矢量的所述符号以一致的方式显示在所述显示器上,所述显示器优选为平视显示器;
-所述图像传感器以所述图像采集方向基本上对应于所述移动引擎的所述移动方向的方式安装在所述移动引擎中;
-所述图像传感器安装在所述移动引擎的驾驶员的头部;
-所述方法还包括用于对所述虚拟速度矢量与参考速度矢量进行比较的步骤,所述参考速度矢量根据由卫星定位系统和/或惯性传感器提供的信息确定;
-用于对所述虚拟速度矢量与所述参考速度矢量进行比较的步骤还包括下列针对各对被分析的连续图像实现的子步骤:
--确定所述图像对之间的与所述图像传感器的所述光学投影中心的移动速度相对应的第一虚拟速度;
-确定在所述移动引擎的坐标系中计算的与所述第一虚拟速度相对应的第二虚拟速度;
-根据所述第二虚拟速度、通过使用所述移动引擎的滚转角和俯仰角来确定所述移动引擎的虚拟漂移分量和所述移动引擎的虚拟飞行路径角分量;
-根据所述参考速度矢量,确定所述移动引擎的参考飞行路径角分量,并将所述分量与所述虚拟飞行路径角分量进行比较;
-针对被分析的各对连续图像,用于将所述虚拟速度矢量与所述参考速度矢量进行比较的步骤还包括子步骤,所述子步骤用于根据所述移动引擎的所述参考速度矢量和所述航向确定参考漂移分量,以及将所述分量与所述虚拟漂移分量进行比较;
-用于比较所述虚拟速度矢量和所述参考速度矢量的步骤还包括下列针对各对被分析的连续图像实现的子步骤:
-确定地理坐标系中计算的与所述第一虚拟速度相对应的第三虚拟速度;
-根据所述第三虚拟速度确定所述移动引擎的虚拟轨迹角分量;
-根据所述参考速度矢量确定所述移动引擎的参考轨迹角分量,以及将所述分量与所述虚拟轨迹角分量进行比较;
-在所述移动引擎旋转运动的情况下,针对所分析的各对连续图像,用于将所述虚拟速度矢量与所述参考速度矢量进行比较的步骤还包括下列预备子步骤:
-获取所述图像采集方向的旋转角度;
-基于所获取的旋转角度,对所述图像对的一个图像进行同态变换,以将对应于所述图像的所述图像方向与对应于所述另一个图像的图像方向对齐;
-所述移动引擎是飞行器。
本发明还涉及一种包括软件指令的计算机程序产品,通过计算机设备实现时,所述软件指令执行如前文所限定的方法。
本发明还涉及一种用于确定移动引擎的虚拟速度矢量的系统,所述系统包括用于执行如上文描述的方法的装置。
附图说明
在阅读下列说明时将会出现本发明的这些特点和优点,这些说明仅作为非限制性示例提供,并参照附图完成,其中:
-图1是移动引擎在周围环境中移动的示意性立体图;
-图2是图1的移动引擎的示意性侧视图,该移动引擎包括根据本发明的确定系统;
-图3是图2的确定系统的示意图;
-图4是根据本发明的确定方法的流程图,该方法由图2的确定系统执行;
-图5是示例性说明图4的确定方法的步骤中的一个步骤的实现的示意图。
具体实施方式
在图1的示例实施方式中,移动引擎是由至少一名飞行员驾驶的飞行器10,诸如飞机,具体地,是商用飞机。
然而,通常,移动引擎可以与实际上在地球表面移动或至少在地球大气层中飞行的任何其它引擎相对应,并且能够由至少一名飞行员直接从后者或远程地驾驶。因此,移动引擎可以是车辆、军用飞机、直升机、无人机等。
在图1中,飞行器10相对于具有原点O的地理坐标系XYZ在周围环境中移动。
例如,这个地理坐标系XYZ与被称为“北-东-下”(North-East-Down)的参考坐标系相对应。在这种情况下,轴OX沿着北方方向延伸,轴OY沿着东方方向延伸,轴OZ沿着垂直方向朝向地球表面延伸。由轴OX和OY构成的平面称为水平面。
具有原点O1的坐标系(称为飞行器坐标系X1Y1Z1)也与飞行器10以这样的方式相关联:轴O1X1在飞行器10的纵向方向上延伸,轴O1Y1位于飞行器10的平面内,垂直于轴O1X1并延伸到其左边,轴O1Z1完成直接正交坐标系。
飞行器坐标系X1Y1Z1相对于地理坐标系XYZ则是能够平移和能够旋转的。
飞行器坐标系X1Y1Z1相对于地理坐标系XYZ的取向限定了飞行器10的姿态。具体地,这种姿态由飞行器10的与轴O1Y1与水平面之间的夹角对应的滚转角φ以及由飞行器10的与轴O1X1与水平面之间的夹角对应的俯仰角θ确定。
飞行器10的速度矢量V限定为点O1相对于点O的移动速度。
在地理坐标系XYZ中,速度矢量V可以以[VN;VE;VD]t的形式进行书写,其中,分量VN称为朝北速度,分量VE称为朝东速度,分量VD(还表示为VZ)称为垂直速度。
还可以限定飞行器10的与速度矢量V在水平面上的投影对应的水平速度Vhor,与速度矢量V在纵轴O1X1上的投影对应的纵向速度Vlong以及与速度矢量V在轴O1Y1上的投影对应的横向速度Vlat
在后续描述中,飞行器10的飞行路径角(也称为FPA)被限定为垂直速度与水平速度之间的夹角。这个夹角可以如下确定:
FPA=atan VZ/Vhor
飞行器10的漂移(Drift)被限定为横向速度与纵向速度之间的夹角,这两个速度被投影在水平面上。这个夹角可以按如下确定:
Drift=atan Vlat/Vlong
飞行器10的航向Ψ被限定为飞行器投影在水平面上的纵向轴O1X1与轴OX(即朝北方向)之间的夹角。
飞行器10的轨迹被限定为飞行器在水平面上的移动的投影。
轨迹角(Track)被限定为朝东速度与在参考角上投影的速度(例如当它不是零时的朝北速度)之间的夹角。这个夹角可以如下确定:
Track=atan VE/VN
应当注意,上述术语是本领域技术人员熟知的,并且如果合适,则可以进行不同的限定,具体地,基于所选择的地理坐标系。
参考图2,根据本发明,飞行器10包括导航系统12、显示器14、图像传感器16以及用于确定虚拟速度矢量的系统18。
导航系统12本身是已知的,并且被配置为向飞行员提供有关飞行器10的位置和速度的信息。
因此,例如,导航系统12包括无线电信号接收器21和惯性单元22。
具体地,接收器21可以从属于卫星定位系统(诸如GPS系统)的卫星处获取无线电信号,并对所述信号进行处理,以便确定飞行器10的速度和位置。由所述接收器确定的飞行器10的速度将在下文中表示为VGPS
例如,惯性单元22是低精度或高精度的惯性单元,其能够提供飞行器10的姿态,即,滚转角φ、俯仰角θ以及航向Ψ。
显示器14能够被飞行员用于驾驶飞行器10,并且例如具有HUD类型的平视显示器。
具体地,该显示器14使得可以查看不同的虚拟装置,以采用符合周围环境的方式帮助驾驶飞行器10。为此,显示器14例如包括在其上投影所述虚拟装置的透明屏幕。
根据一个示例实施方式,显示器14安装在飞行员的头盔中。
具体地,在显示器14上显示的虚拟驾驶辅助装置包括被称为“飞行路径矢量”的速度矢量。
所述矢量以其本身已知的方式允许飞行员确定飞行器10的漂移和飞行路径角,具体地,这是根据由导航系统12提供的数据确定的。在后文中,这种速度矢量将被称为“参考速度矢量”,以区别于后文描述的虚拟速度矢量。
图像传感器16可以获取周围环境的图像。为此,图像传感器16安装在飞行器10的外部,或者安装在飞行器10的内部中提供外部可见性的位置,诸如驾驶舱。
图像传感器16朝向图像采集方向,例如,该方向实际上与飞行器10的移动方向相对应。
例如,图像传感器16具有与飞行员相同的视场。有利地,图像传感器16安装在飞行员的头部上方,例如在其头盔上。在后一种情况下,传感器16相对于飞行器10基本上是静止的。换句话说,在这种情况下,图像传感器16相对于飞行器的位置的某些变化是可能的。
在下文描述的示例中,图像传感器16是摄像头,它可以使用预设的频率或者能够调整的频率来拍摄周围环境的连续图像。这些图像是彩色或单色的。
然而,在一般情况下,图像传感器16可以是红外传感器、雷达、激光雷达或能够将至少某些物体与周围环境区分开来的任何其它装置。然后应该注意,根据本发明的术语“图像”对应于由这种传感器完成的对周围环境的任何描述。
根据一个示例实施方式,图像传感器16采用若干个基本传感器的形式,这些基本传感器可以随意布置在不同的位置。在这种情况下,在后续描述中使用的术语“图像”涉及由基本传感器组所拍摄的图像组成的合成图像。
具体地,图像传感器16限定了光学投影中心,该光学投影中心具有所有投影线的交点,空间中的各个点沿着每条投影线所具有的方向投影到对应的图像上。
图像传感器16还限定了原点Oc与光学投影中心重合的局部坐标系(称为传感器坐标系XcYcZc)。
从传感器坐标系XcYcZc到飞行器坐标系的变换矩阵在下文中表示为X1Y1Z1
现在将参考图3来说明根据本发明的确定系统18。
因此,如图3所示,确定系统18包括采集模块25、处理模块26和输出模块27。
采集模块25连接到导航系统12和图像传感器16。
因此,采集模块25能够从导航系统12和由图像传感器16拍摄的图像中获取信息。
处理模块26可以处理由采集模块25所获得的数据,以便执行在下文详细说明的根据本发明的确定方法。
具体地,处理模块26可以根据由传感器16拍摄的至少两个图像来确定虚拟速度矢量。
最后,如下文将详细说明的,输出模块27连接到显示器14,并且可以处理由处理模块26产生的数据,以便在显示器14上进行显示。
例如,确定系统18采用计算机的形式,该计算机具有能够执行存储在其存储器中的软件的处理器。在这种情况下,处理模块26和输出模块27采用存储在存储器中并由处理器运行的软件程序的形式。
确定系统18还可以包括硬件部分,例如可编程逻辑电路,以执行确定方法的至少某些步骤或子步骤。
现在将参考图4说明根据本发明的用于确定虚拟速度矢量的方法,图4示出了该方法的步骤的流程图。
具体地,所述方法包括可以独立进行或连续进行的两个阶段。
该方法的第一阶段P1可以确定虚拟速度矢量,以使得该虚拟速度矢量可以显示在显示器14上,例如代替参考速度矢量或者同参考速度矢量一起显示在显示器14上。
第二阶段P2可以确定该矢量的分量,即漂移和飞行路径角,以使得可以与参考速度矢量的分量进行比较。
在第一阶段P1的初始阶段110期间,采集模块25获取由传感器16拍摄的多个图像,并将这些图像发送到处理模块26。
在接下来的阶段120期间,处理模块26对至少两个连续的图像进行分析,以便确定各个图像中的点(称为核点)。
具体地,两个图像中的各个图像的核点都代表了图像传感器16在获取另一个图像时光学投影中心Oc的位置。
图5中例示了在t1和t2时刻(t1在t2之前)分别拍摄的两个连续图像I1和I2的核点e1和e2
在该图5中,点Oc 1与图像传感器16在t1时刻的光学点Oc相对应,而点Oc 2与图像传感器16在t2时刻的光学点Oc相对应。因此,线Oc 1Oc 2与形成图像的平面的交点与所述图像的核点e1和e2相对应。
此外,以一种本身已知的方式,各个图像的核点都是所述图像的所有核线的交点。
具体地,在图5的示例中,具有作为图像I1中的投影的点q1的空间中的任意点Q都可以投影到图像I2的线q2的任意点上。线q2被称为核线。
为了确定两个图像中各个图像的核点,处理模块执行下文描述的子步骤121至子步骤125。
在子步骤121中,处理模块26确定两个图像中的各个图像的多个参考点(也称为地标)。
具体地,参考点是指可以在两个图像中进行识别的空间中显著的点。为此,例如,可以将两个图像中的各个图像确定的参考点与描述符相关联,以便允许在另一个图像中对其进行识别。
然后,在子步骤122中,处理模块26将两个图像之间的参考点进行关联。例如,根据它们本身所熟知的方法,这种关联是通过分析这些点的描述符和/或分析这些点中的相关值来完成的。
然后,在子步骤123中,根据相关联的参考点,处理模块26确定基本矩阵F。
这个基本矩阵F针对两个图像中的一个图像(称为第一图像)的参考点x’,以及另一个图像(称为第二图像)中与它相关联的的参考点x,基本矩阵F满足下列关系:
x’t·F·x=0
换句话说,基本矩阵F限定了第二图像中针对第一图像的各个点的核线。
然后,在子步骤124中,处理模块26确定第一图像中的核点e1作为基本矩阵F的核心。
换句话说,核点e1是由以下关系确定的:
F·e1=0
然后,在子步骤125中,处理模块26确定第二图像中的核点e2作为转置基本矩阵Ft的核心。
换句话说,核点e2是由以下关系确定的:
Ft·e2=0
最后,处理模块26将所确定的核点的位置发送到输出模块27。
在第一阶段P1的最终步骤130中,输出模块27在显示器14上确定与当前时刻的图像核点相对应的符合位置。然后显示器14在这个位置中显示代表虚拟速度矢量的符号。例如,这个符号类似于参考速度矢量的符号,并且至少在飞行器10的特定飞行阶段代替参考速度矢量的符号进行显示。
具体地,第二阶段P2包括步骤140,在此步骤中,处理模块26对虚拟速度矢量和参考速度矢量进行比较。
这个步骤包括下文描述的若干子步骤,例如,如前文所提及的,针对相同的图像对所执行的子步骤。
在第一子步骤141中,处理模块26对由惯性传感器22提供的数据进行分析,以检测飞行器10在两个图像的采集时刻之间的旋转。
如果是这样,则处理模块26执行步骤142和步骤143。否则,处理模块26直接转到步骤145。
在步骤142和步骤143中,处理模块26对这两个图像进行分析,以消除其中一个图像的旋转效应,从而仅保持所述两个图像之间的平移运动。
为此,在子步骤142中,处理模块26实时获取两个时刻之间的图像采集方向的旋转角度。这些角度直接由惯性传感器22提供,并且与两个图像的采集时刻之间的相对旋转角度相对应,或者作为图像传感器16和惯性传感器22的光学投影中心的相应位置的函数由采集模块25进行处理。
然后,在子步骤143中,处理模块26执行例如对第一个图像的同态变换,以将对应于所述图像的图像采集方向与对应于第二个图像的图像采集方向对齐。
该变换是作为旋转角度的函数进行的,例如根据旋转角度本身所熟知的方法来获得该旋转角度。
在步骤145中,当步骤141中没有检测到飞行器10的旋转移动时,处理模块26将分析与原始的两个图像相对应的图像对,或者分析具有在步骤142和步骤143中进行变换的图像中的一个图像的图像对。
具体地,在子步骤145中,处理模块26确定所述图像对之间的、与图像传感器16的光学投影中心的移动速度相对应的第一虚拟速度Vvc
该虚拟速度Vvc是在传感器坐标系XcYcZc中计算的,并且假定在两个图像的采集之间只发生了传感器的平移运动。
还应当注意,根据传感器坐标系XcYcZc的定义,同时考虑到两个图像中至少一个图像的核点位置,虚拟速度Vvc被确定为在比例因子内。
因此,可以根据以下关系限定第一虚拟速度Vvc
其中:
e1x和e1y是第一图像中的核点的坐标;
u和v是以像素为单位的、距离传感器16的焦距;以及
x0和y0是第一图像中光学传感器位置的坐标。
然后,在子步骤146中,处理模块26确定与第一虚拟速度Vvc相对应的在飞行器坐标系X1Y1Z1中计算的第二虚拟速度Vv1,例如使用以下关系:
Vv1=Rc1Vvc
然后,在子步骤147中,处理模块26使用由惯性传感器22提供的飞行器10的滚转角φ和俯仰角θ,根据第二虚拟速度Vv1,来确定飞行器10的虚拟漂移分量Driftv和飞行器的虚拟飞行路径角分量FPAv
具体地,为了计算虚拟飞行路径角FPAv,处理模块26在地理坐标系XYZ中确定飞行器10的虚拟水平速度Vhorv和虚拟垂直速度Vzv。然后根据以下表达式确定虚拟飞行路径角FPAv
FPAv=atanVzv/Vhorv
为了计算虚拟漂移(Driftv),处理模块26确定飞行器10的虚拟横向速度Vlatv和虚拟纵向速度Vlongv以及地理坐标系XYZ。然后根据以下表达式确定虚拟漂移(Driftv):
Driftv=atanVlatv/Vlongv
然后,在子步骤148中,处理模块26确定飞行器10的参考飞行路径角分量FPAref,并将所述分量与虚拟飞行路径角分量FPAv进行比较。
例如,根据矢量VGPS(即根据经由GPS系统确定的飞行器的速度矢量)确定参考飞行路径角FPAref
为此,处理模块26根据矢量VGPS的朝北速度VN和朝东速度VE确定参考水平速度Vhorref,以及直接由VGPS给出的垂直速度Vz。因此,根据以下表达式确定参考飞行路径角FPAref
FPAref=atanVz/Vhorref
然后,在同一个子步骤148中,处理模块26将参考飞行路径角FPAref与虚拟飞行路径角FPAv进行比较,并根据比较结果,例如将置信级与这些测量中的一个或另一个相关联。例如,将此置信级传递给飞行员或者能够使用此结果的航空电子系统。
在接下来的子步骤149中,处理模块26确定参考漂移分量Driftref,并将所述分量与虚拟漂移分量Driftv进行比较。
为此,处理模块26首先经由采集模块25获得飞行器的航向Ψ,例如由惯性传感器21提供的航向。
通过获悉航向Ψ,处理模块26例如根据矢量VGPS来确定飞行器10的参考横向速度Vlatref和参考纵向速度Vlongref。因此,参考漂移(Driftref)是根据以下表达式计算的:
Driftref=atanVlatref/Vlongref
在该子步骤149的最后,处理模块26将参考漂移(Driftref)与虚拟漂移(Driftv)进行比较,并且类似于前一种情况,基于该比较的结果,例如将置信级与所述测量的一个或另一个相关联。与前一种情况类似,例如,将此置信级传递给飞行员或者由航空电子系统使用。
另选地,当对航向Ψ的测量是不可用的或不够精确时,处理模块26在该子步骤149中直接根据矢量VGPS来计算飞行器的参考轨迹角分量,而不是计算参考漂移(Driftref)。根据以下关系确定参考轨迹角:
Trackref=atanVE/VN
然后在同一个子步骤中,处理模块26将参考轨迹角Trackref与根据虚拟速度矢量计算的虚拟轨迹角Trackv进行比较。
为了确定虚拟轨迹角Trackv,处理模块26首先确定与第一虚拟速度Vvc相对应的在地理坐标系XYZ中计算的第三虚拟速度Vv
例如,该第三虚拟速度矢量Vv是用以下关系来计算的:
Vv=Rc Vvc
其中,Rc是从摄像头坐标系XcYcZc到地理坐标系XYZ的通道矩阵。
然后,根据以下关系确定虚拟轨迹角Trackv
Trackref=atanVEv/VNv
其中,VEv和VNv分别是属于第三虚拟速度Vv矢量的朝东速度和朝北速度。
例如,通过比较速度矢量VGPS和第一虚拟速度矢量Vvc的投影,可以在初始化该方法时确定矩阵Rc
在子步骤149的最后,处理模块26以类似于前文说明的方式将虚拟轨迹角Trackv与参考轨迹角Trackref进行比较。
当然,用于确定虚拟轨迹角Trackv的算法也可以用于在子步骤147中确定虚拟飞行路径角。
这样就可以看出,本发明具有一定的优点。
首先,根据本发明的方法可以确定与航空领域传统上使用的速度矢量相当的速度矢量。
这种虚拟速度矢量在完整性与精度之间有很好的平衡,特别是在飞行器起飞和着陆期间。实际上,在这些阶段期间,飞行器的周围环境比在巡航阶段期间具有更多的外部虚拟地标。此外,鉴于飞行器在这些阶段期间的速度降低,使用虚拟速度矢量与传统速度矢量相比尤为有利。
此外,虚拟速度矢量本质上包括飞行器的瞬时旋转,因此相对于传统速度矢量,可以更多地用于驾驶飞行器。
实际上,众所周知,传统速度矢量在一定的延迟下会导致飞机的旋转,这通常使得不可能仅使用传统速度矢量来驾驶飞行器。
此外,可以计算出虚拟速度矢量的精确分量,即漂移和飞行路径角,以与传统速度矢量的类似分量进行比较。
即使使用低精度惯性传感器时,根据虚拟速度矢量计算的飞行器的漂移和飞行路径角也特别精确。
最后,当使用具有符合显示器的平视显示器时,使用虚拟速度矢量是尤为有利的。实际上,虚拟速度矢量是直接根据周围环境的符合图像确定的,这使得它能够被特别精确地定位在对应的显示器上。

Claims (13)

1.一种用于确定在周围环境中移动的移动引擎(10)的虚拟速度矢量的方法,所述虚拟速度矢量显示所述移动引擎(10)在所述周围环境中的移动方向;
所述方法包括下列步骤:
-从沿图像采集方向取向且限定相对于所述移动引擎(10)基本静止的光学投影中心(Oc)的图像传感器(16)获取(110)所述周围环境的图像序列;
-对至少两个连续图像进行分析(120),以便在所述至少两个连续图像中的各个图像中确定被称为核点的点(e1,e2),所述核点代表在采集另一个图像的时刻所述图像传感器(16)的所述光学投影中心(Oc)在所述图像中的位置;
-针对各个被分析的图像,确定(130)所述图像的所述核点(e1,e2)在显示器(14)上的位置,所述显示器(14)能够用于驾驶所述移动引擎(10)且在所述显示器(14)上显示(130)代表所述位置处的所述虚拟速度矢量的符号。
2.根据权利要求1所述的方法,其中,对至少两个连续图像进行分析(120)的步骤包括下列子步骤:
-确定(121)所述至少两个连续图像中的被称为第一图像的一个图像中的多个参考点,以及所述至少两个连续图像中被称为第二图像的另一个图像中的多个参考点;
-对所述第一图像的多个参考点与所述第二图像的多个参考点进行关联(122);
-根据相关联的参考点,确定(123)基本矩阵(F),所述基本矩阵(F)对于所述第一图像的各个点规定了所述第二图像中的被称为核线的线,所述第二图像的与所述第一图像的所述点相对应的点位于所述核线上;
-确定(124)所述第一图像中的所述核点(e1,e2)作为所述基本矩阵(F)的核心;
-确定(125)所述第二图像中的所述核点(e1,e2)作为转置基本矩阵(Ft)的核心。
3.根据权利要求1所述的方法,其中,代表所述虚拟速度矢量的所述符号以一致的方式显示在所述显示器(14)上。
4.根据权利要求1所述的方法,其中,所述图像传感器(16)以所述图像采集方向基本上对应于所述移动引擎(10)的所述移动方向的方式安装在所述移动引擎(10)中。
5.根据权利要求1所述的方法,其中,所述图像传感器(16)安装在所述移动引擎(10)的驾驶员的头部。
6.根据权利要求1所述的方法,所述方法还包括对所述虚拟速度矢量与参考速度矢量进行比较(140)的步骤,所述参考速度矢量是根据由卫星定位系统(21)和/或惯性传感器(22)提供的信息而确定的。
7.根据权利要求6所述的方法,其中,对所述虚拟速度矢量与参考速度矢量进行比较(140)的步骤还包括下列针对被分析的连续图像中的各对图像进行的子步骤:
-确定(145)所述各对图像之间的与所述图像传感器(16)的所述光学投影中心的移动速度相对应的第一虚拟速度(Vvc);
-确定(146)在所述移动引擎(10)的坐标系(X1Y1Z1)中计算的与所述第一虚拟速度(Vvc)相对应的第二虚拟速度(Vv1);
-通过使用所述移动引擎(10)的滚转角(φ)和俯仰角(θ),根据所述第二虚拟速度(Vv1),来确定(147)所述移动引擎(10)的虚拟漂移分量(Driftv)和所述移动引擎(10)的虚拟飞行路径角分量(FPAv);
-根据所述参考速度矢量,确定(148)所述移动引擎(10)的参考飞行路径角分量(FPAref),并对所述参考飞行路径角分量(FPAref)与所述虚拟飞行路径角分量(FPAv)进行比较。
8.根据权利要求7所述的方法,其中,针对被分析的连续图像中的各对图像,对所述虚拟速度矢量与参考速度矢量进行比较(140)的步骤还包括子步骤(149),所述子步骤(149)用于根据所述参考速度矢量和所述移动引擎(10)的所述航向(Ψ)确定参考漂移分量(Driftref),且对所述参考漂移分量与所述虚拟漂移分量(Driftv)进行比较(149)。
9.根据权利要求7所述的方法,其中,对所述虚拟速度矢量与参考速度矢量进行比较(140)的步骤还包括下列针对被分析的连续图像中的各对图像进行的子步骤:
-确定(149)在地理坐标系(XYZ)中计算的与所述第一虚拟速度(Vvc)相对应的第三虚拟速度(Vv);
-根据所述第三虚拟速度(Vv)确定(149)所述移动引擎(10)的虚拟轨迹角分量(Trackv);
-根据所述参考速度矢量确定(149)所述移动引擎(10)的参考轨迹角分量(Trackref),并且对所述参考轨迹角分量(Trackref)与所述虚拟轨迹角分量(Trackv)进行比较(149)。
10.根据权利要求1所述的方法,其中,在所述移动引擎(10)旋转运动的情况下,针对被分析的连续图像中的各对图像,对所述虚拟速度矢量与参考速度矢量进行比较(140)的步骤还包括下列预备子步骤:
-获取(142)所述图像采集方向的旋转角度;
-基于所获取的旋转角度,对所述各对图像中的一个图像进行同态变换(143),以将对应于所述一个图像的图像方向与对应于另一个图像的图像方向对齐。
11.根据权利要求1所述的方法,其中,所述移动引擎(10)是飞行器(10)。
12.一种存储介质,其上存储有计算机可读程序代码,其中,所述计算机可读程序代码在由计算机设备执行时,执行根据前述权利要求中任一项所述的方法。
13.一种用于确定移动引擎(10)的虚拟速度矢量的系统,所述系统包括用于执行根据权利要求1至11中任一项所述的方法的装置。
CN201811372404.8A 2017-11-16 2018-11-16 移动引擎虚拟速度矢量确定方法、存储介质和确定系统 Active CN109799363B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1701185A FR3073655B1 (fr) 2017-11-16 2017-11-16 Procede de determination d'un vecteur vitesse visuel d'un engin mobile, produit programme d'ordinateur et systeme de determination associes
FR1701185 2017-11-16

Publications (2)

Publication Number Publication Date
CN109799363A true CN109799363A (zh) 2019-05-24
CN109799363B CN109799363B (zh) 2022-05-24

Family

ID=61599212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811372404.8A Active CN109799363B (zh) 2017-11-16 2018-11-16 移动引擎虚拟速度矢量确定方法、存储介质和确定系统

Country Status (3)

Country Link
US (1) US10970853B2 (zh)
CN (1) CN109799363B (zh)
FR (1) FR3073655B1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122001A1 (en) * 2001-03-02 2002-09-05 Bachinski Thomas J. Integrated flight management system
EP1293784A2 (en) * 2001-09-13 2003-03-19 Rosemount Aerospace Inc. Error detection and fault isolation for multi-function air data probes and systems
US20090278765A1 (en) * 2008-05-09 2009-11-12 Gm Global Technology Operations, Inc. Image adjustment and processing for a head up display of a vehicle
CN103234541A (zh) * 2013-04-19 2013-08-07 天津工业大学 基于kalman滤波的四轴飞行器视觉导航方法
CN103414853A (zh) * 2013-07-26 2013-11-27 东华大学 支持多自由度运动的视频图像序列实时稳定装置与方法
CN104006803A (zh) * 2014-06-20 2014-08-27 中国人民解放军国防科学技术大学 自旋稳定空间飞行器转动运动参数的摄像测量方法
CN104145294A (zh) * 2012-03-02 2014-11-12 高通股份有限公司 基于场景结构的自我姿势估计
EP3070642A1 (en) * 2015-03-17 2016-09-21 Toyota Jidosha Kabushiki Kaisha Image processing apparatus and image processing method
CN107014397A (zh) * 2015-12-09 2017-08-04 泰勒斯公司 飞行器的头部观察系统中显示“姿态指引指示符”的方法
CN107014380A (zh) * 2017-05-26 2017-08-04 西安科技大学 基于飞行器的视觉导航与惯性导航的组合导航方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2962581B1 (fr) * 2010-07-06 2013-07-05 Imajing Methode de calibration de l'orientation d'une camera video embarquee
US10301041B2 (en) * 2016-06-09 2019-05-28 California Institute Of Technology Systems and methods for tracking moving objects
FR3058229B1 (fr) * 2016-10-27 2020-02-28 Airbus Helicopters Estimation, independante d'une mesure magnetique, de la vitesse et du cap d'un aeronef

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122001A1 (en) * 2001-03-02 2002-09-05 Bachinski Thomas J. Integrated flight management system
EP1293784A2 (en) * 2001-09-13 2003-03-19 Rosemount Aerospace Inc. Error detection and fault isolation for multi-function air data probes and systems
US20090278765A1 (en) * 2008-05-09 2009-11-12 Gm Global Technology Operations, Inc. Image adjustment and processing for a head up display of a vehicle
CN104145294A (zh) * 2012-03-02 2014-11-12 高通股份有限公司 基于场景结构的自我姿势估计
CN103234541A (zh) * 2013-04-19 2013-08-07 天津工业大学 基于kalman滤波的四轴飞行器视觉导航方法
CN103414853A (zh) * 2013-07-26 2013-11-27 东华大学 支持多自由度运动的视频图像序列实时稳定装置与方法
CN104006803A (zh) * 2014-06-20 2014-08-27 中国人民解放军国防科学技术大学 自旋稳定空间飞行器转动运动参数的摄像测量方法
EP3070642A1 (en) * 2015-03-17 2016-09-21 Toyota Jidosha Kabushiki Kaisha Image processing apparatus and image processing method
CN107014397A (zh) * 2015-12-09 2017-08-04 泰勒斯公司 飞行器的头部观察系统中显示“姿态指引指示符”的方法
CN107014380A (zh) * 2017-05-26 2017-08-04 西安科技大学 基于飞行器的视觉导航与惯性导航的组合导航方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZACHARIAH D等: "《Camera-aided inertial navigation using epipolar points》", 《PROCEEDINGS OF IEEE/ION PLANS》 *
ZACHARIAH D等: "《Self-motion and wind velocity estimation for small-scale UAVs》", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *

Also Published As

Publication number Publication date
US20190147603A1 (en) 2019-05-16
US10970853B2 (en) 2021-04-06
FR3073655A1 (fr) 2019-05-17
FR3073655B1 (fr) 2019-10-18
CN109799363B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
US10565732B2 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
KR101492271B1 (ko) 타임 시프트 옵션을 갖는 통합 시뮬레이션을 이용한 장치의 동작을 제어하는 시스템 및 방법
EP3158417B1 (en) Sensor fusion using inertial and image sensors
CN112567201A (zh) 距离测量方法以及设备
US11099030B2 (en) Attitude estimation apparatus, attitude estimation method, and observation system
CN108253967A (zh) 用于目标相对引导的方法和装置
EP3734394A1 (en) Sensor fusion using inertial and image sensors
Gurtner et al. Investigation of fish-eye lenses for small-UAV aerial photography
US20220210335A1 (en) Autofocusing camera and systems
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN107643759A (zh) 从无人机拍摄移动图像的具有目标跟踪和定位的自主系统
US20210229810A1 (en) Information processing device, flight control method, and flight control system
EP4040377A2 (en) Display systems and methods
Skaloud et al. Mapping with MAV: experimental study on the contribution of absolute and relative aerial position control
Hintze Autonomous landing of a rotary unmanned aerial vehicle in a non-cooperative environment using machine vision
CN109799363A (zh) 移动引擎虚拟速度矢量确定方法、存储介质和确定系统
Batzdorfer et al. Multisensor equipped UAV/UGV for automated exploration
Nurminen OBLIQUE AERIAL PHOTOGRAPHS-AN" OLD-NEW" DATA SOURCE.
CN109782442A (zh) 显示系统、相关显示方法和计算机程序
Llerena et al. Error reduction in autonomous multirotor vision-based landing system with helipad context
Leitner et al. Simulation Tool for evaluating GN&C Algorithms using the Example of automatic Landing of an unmanned Helicopter on a moving Platform
Truong Nguyen et al. Formap: a Simple and Fast Photogrammetry Framework for Direct Geo-Referencing Systems
CN118424324A (zh) 基于测距信息的低空飞行器视觉惯性里程计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant