CN108253967B - 用于目标相对引导的方法和装置 - Google Patents
用于目标相对引导的方法和装置 Download PDFInfo
- Publication number
- CN108253967B CN108253967B CN201710944799.3A CN201710944799A CN108253967B CN 108253967 B CN108253967 B CN 108253967B CN 201710944799 A CN201710944799 A CN 201710944799A CN 108253967 B CN108253967 B CN 108253967B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- imaging sensor
- estimate
- optical flow
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000003384 imaging method Methods 0.000 claims abstract description 83
- 230000003287 optical effect Effects 0.000 claims abstract description 65
- 230000008859 change Effects 0.000 claims description 38
- 238000013519 translation Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 235000011449 Rosa Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/183—Compensation of inertial measurements, e.g. for temperature effects
- G01C21/188—Compensation of inertial measurements, e.g. for temperature effects for accumulated errors, e.g. by coupling inertial systems with absolute positioning systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/25—Fixed-wing aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了用于目标相对引导的方法和装置，其中公开了用于在没有全球定位信息的情况下对包括图像传感器的交通工具进行导航的系统和方法。在一个实施例中，方法包括接受成像传感器产生的图像的用户选择的目标，确定仅由于交通工具的运动引起的光流以及图像的选择的目标之间的差异，至少部分根据仅由于交通工具的运动引起的选择的目标的光流和选择的图像的目标之间的差异、以及交通工具的地面速度Vg的估计来确定交通工具引导命令，以及至少部分根据交通工具引导命令来命令交通工具。另一个实施例由装置来表明，该装置具有处理器以及通信耦合的存储器，该存储器存储用于执行前述操作的处理器指令。
Description
技术领域
本公开涉及用于对飞行器进行引导的系统和方法，并且具体地涉及用于在没有全球导航信息的情况下对无人驾驶飞行器进行引导的系统和方法。
背景技术
无人机(UAV)是本领域已知的。UAV通常由远程用户或操作者手动控制，远程用户或操作者可以使用安装在UAV上的摄像头查看无人机的飞行的各方面，所述摄像头通过下行链路遥测提供图像。将这种无人机从起始位置导航到一个或多个航路点通常需要操作者具有UAV飞行的具体知识，包括诸如起始位置、UAV的当前位置、航路点位置等方面。自动化可用于将UAV从航路点飞行到航路点，或者将UAV沿着特定飞行航线飞行。
通常，这样的导航是通过使用诸如全球定位系统(GPS)的全球导航系统来实现或至少由诸如全球定位系统(GPS)的全球导航系统来辅助。这样的系统允许UAV以高精确度确定其在惯性空间中的位置。
然而，这种全球导航系统的信息并不总是可用，并且可能在飞行过程中丢失。例如，丢失来自GPS卫星的信号并不罕见，从而显着降低位置估计的准确性或使其完全无用。UAV机载上的惯性传感器可允许UAV在短期内确定其在合理准确度下的位置，例如使用航位推算技术。但这样的估计随着时间的推移会迅速下降。
需要在没有全球导航信息的情况下允许UAV在没有位置漂移的情况下进行机动的系统和方法。本文描述了解决这种需要的系统和方法。
发明内容
为了解决以上描述的要求，该文档公开了用于在没有全球定位信息的情况下对包括图像传感器的交通工具进行导航的系统和方法。在一个实施例中，方法包括接受成像传感器产生的图像内的目标；确定仅由于交通工具的运动引起的光流以及选择的图像的目标之间的差异；至少部分根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度Vg的估计来确定交通工具引导命令；以及至少部分根据交通工具引导命令来命令交通工具。另一个实施例由装置来表明，所述装置具有处理器以及通信耦合的存储器，所述存储器存储处理器指令以用于执行前述操作。在另一个实施例中，通过具有存储器的处理器实现所述系统，所述存储器存储用于执行前述操作的指令。
已经讨论的特征、功能和优点可在本发明的各个实施例中独立实现，或者可在其他实施例中组合，可参考以下描述和附图来看出其进一步细节。
附图说明
现在参考附图，其中贯穿全文的相同参考标记表示对应的部件。
图1为示出无人机的操作的图示；
图2为示出无人机可如何在没有GPS数据的情况下观察目标达延长的时期的一个实施例的图示；
图3为表示实现目标相对引导方案的控制系统的一个实施例的图示；
图4A-图4C为表示可用于实现目标相对引导方案的示例性操作的图示；
图5为范围估计器的图示；
图6A-图6C为示出使用前述原理和控制规则来实现目标相对引导的模拟结果的图示；以及
图7示出可用于实现目标相对引导系统的处理元件的示例性计算机系统。
具体实施方式
以下描述中，参考形成其一部分的附图进行描述，并且其中通过说明的方式示出若干实施例。应当理解的是，在不脱离本公开的范围的情况下，可使用其他实施例并且可作出结构改变。
概述
图1是示出无人机(UAV)104的操作的图示。UAV 104通常包括具有视场FOV 108的安装在可旋转转台105上的成像传感器106，视场FOV 108观察地面上或地面附近的目标110。通常，成像传感器包括允许捕获一系列图像的摄像头，诸如电影摄像头，并且成像传感器可以感测可见光、红外(IR)或紫外线波长的能量。成像传感器也可以通过其他方式生成图像，例如通过成像雷达。
通常，成像传感器106可以通过在俯仰(pitch)、偏转(yaw)和翻滚(roll)中操纵UAV 104而定向，并且还可以在倾斜和摇动(pan)方向上独立于UAV 104主体被定向。这种倾斜和摇动可以使用转台105或类似结构电子化地或机械化地实现。UAV 104还通常包括通信地耦合到存储器116的处理器112以及用于对UAV 104的运动进行惯性测量的惯性参考单元(IRU)114，存储器116存储用于执行本文所述的操作的处理器指令。通常，IRU114包括三个速率传感器(诸如在三个正交方向上感测旋转的陀螺仪)以及在三个正交方向上提供加速度测量的三个加速度计。UAV 104还包括通信地耦合到处理器112的用于利用地面站118收发命令和其他信息的接收器。使用地面站118中的计算机和其他设备，用户120向UAV 104提供命令并且接收包括由成像传感器106获得的数据的数据。
通常，UAV 104还包括用于接收全球导航信息的接收器，例如可从诸如全球定位系统(GPS)的系统获得的全球导航信息。GPS包括多个卫星102A-102N，其传输UAV 104用于确定其在惯性空间中的位置的信号。用于确定这种位置的技术在美国专利7,969,352的中给出，其通过引用并入本文。
出现其中来自GPS的信号不可用、不可靠或不足以正确确定UAV 104的位置的情况。当出现这种情况时，需要在不依赖于GPS的情况下观察目标110。虽然UAV 104通常包括的IRU114可以用于在短时间段内估计UAV 104的惯性位置，但仍然需要在没有GPS数据的情况下在较长时间段内观察目标。
图2是示出UAV 104如何在没有GPS数据的情况下可观察目标达延长的时间段的一个实施例的图示。在所示实施例中，这种目标观察是通过命令UAV 104在距离目标110的一范围内以具有围绕目标110的半径的圆形或接近圆形的飞行路径202飞行来实现的。虽然来自成像传感器106的图像信息不具有与GPS数据相同的性质和质量，但是这样的信息可以用于在没有这种数据的情况下飞行UAV 104，如下面进一步描述的。这代表了UAV 104能力中的显著改进。
图3是呈现用于目标相对引导的控制系统300的一个实施例的图示。将参考图4A到图4C讨论控制系统300的操作，图4A到图4C示出了在实践中如何实现目标相对引导的示例性实施例。
命名
在本公开中如下使用表I的参数命名：
在典型的航空电子体系架构中，路径跟踪的引导逻辑被称为“舵手”解决方案。从信号流角度来看，“舵手”解决方案产生命令侧倾角，其使用具有某些期望特征的命令侧倾角将无人机104驱动到路径202上。可以相对于其期望路径从UAV 104的坐标产生所述命令侧倾角，特别是我们使用GPS和航路点来生成横侧偏差(cross track error)。所提出的系统和方法的目的在于产生具有不依赖于GPS的类似行为的舵手解决方案。这种舵手方案可能基于机载传感器和传感器取向(例如倾斜和摇动角度)。解决方案假设已经识别出目标，并且传感器106瞄准目标110。等效地，假设可以确定图像内的特征的屏幕坐标(例如，作为距基点(datum)的距离x和y)。对于所提出的舵手解决方案，特征跟踪是由与图像交互的操作者完成还是基于跟踪算法通过图像完成是无关紧要的。
参考图4A，由成像传感器106产生的图像中的目标110被选择。这样的选择可以由用户(例如，手动选择)进行或者是自动的选择。当GPS接收不良或丢失时，可发生自动选择，在不良或丢失的情况下，成像系统继续跟踪当前选择的目标，或者系统可以针对该目的自动选择突出的界标(landmark)。例如，如果UAV 104不再具有可用于导航的GPS信息(例如，因为来自卫星102A-102N的期望信号中的一个或多个已经丢失)，则已经由成像传感器106再现的目标110可被选择并且被用作参照点，从该参照点无人机104将被引导直到GPS信息再次可用。所选择的目标的接收也在图3中被示出，其中期望目标被放置在由成像传感器106产生的图像的中心上。
在方框404中，确定仅由于UAV 104的运动引起的光流(optic flow)以及选择的图像的目标之间的差异。如图3所示，交互矩阵302生成去旋转光流，其通过加法器303从期望的图像中心中减去而来。
交互矩阵
交互矩阵302确定图像传感器106运动对静止物体的屏幕坐标的影响。这也被称为图像雅克比矩阵或特征敏感度矩阵，如在IEEE，13(4)：82-90，2006，机器人自动化杂志(Robotics Automation Magazine)，F.Chaumette and S.Hutchinson的“Visual ServoControl Part 1：Basic Approaches”中所描述的，其通过引入并入本文。根据交互矩阵将目标图像的屏幕坐标的变化率表示为：
其中Z是从UAV 104到目标110的范围。
通过与被取向为其z轴沿视线(LOS)的摄像头关联的参考系，交互矩阵302可如等式(2)中所描述地那样被定义，在附录中对其求导进行了进一步描述：
光流
图4B是呈现可用于确定仅由于UAV 104的运动引起的光流和所选择的图像的目标110之间的差异的说明性操作的图示。在方框422中，成像传感器106的运动对于用成像传感器106成像的静止物体的影响被表示在传感器坐标中。在方框424中，至少部分地根据静止物体的屏幕坐标的变化率来确定光流。
等式(1)提供屏幕坐标的变化率的一个实施例，并且因此可以被称为光流。交互矩阵302将成像传感器106旋转和平移(translation)的效果映射到屏幕坐标上。在使用光流来增加UAV 104上机载的惯性导航数据时，去旋转光流(即仅由于摄像头的平移引起的那部分光流)是令人感兴趣的。
返回到图4B，所确定的光流被去旋转以计算仅由于交通工具的平移(以及成像传感器106的转台的倾斜和摇动)引起的光流，如方框426所示。
可从针对如下的光流的表达式(等式(1))获得仅由于摄像头的平移引起的光流的部分。首先，如下单独定义平移和旋转映射：
其中
接下来，通过补偿旋转流来求解平移部分。因此，去旋转光流变成：
UAV运动学
飞行器在无风条件下的状态在运动学中如下表示：
其中{xN，yE}表示位置北和东，通过航向角ψ和侧倾角φ给出取向，并且成像传感器或摄像头106以摇动和倾斜角度(分别为k和λ)被取向。
Va表示空速，其基于UAV 104特征设置。当空速为重要的参数并且容易被测量时，通常不接受对空速跟踪的任何折中。因此，假设实现合适的自动驾驶功能使得
大多数传统固定机翼UAV 104上的侧倾角动态通常易碎并且跟随高带宽(例如，小的滞后)下的命令侧倾角。因此，假设地面目标110和关联轨道202的跟踪在较低带宽下发生，并且因此侧倾角速率以一阶响应很好地近似于相对命令侧倾角，如下面通过等式12所描述：
使屏幕坐标与交通工具运动学相关
根据下面的旋转矩阵使屏幕坐标与交通工具运动相关，其优选地在每个时间步骤处计算。
1、从主体到摄像头框架(frame)的旋转：cRb
2、从导航到主体框架的旋转，忽略俯仰：bRn
3、从导航框架到摄像头的旋转：cRn＝bRn bRn (15)
例如，从主体框架到摄像头框架的旋转在摇动和倾斜方面可以为：
并且如果我们假设俯仰姿态保持于接近零，则从导航到主体框架的旋转可被近似为：
AV运动的运动学模型可由以下状态矢量表示：
x＝(xN yE|ψ φ|κ λ)T(16)
进一步地，摄像头106的速度扭曲与如下这些状态相关：
其中矩阵cMx被定义为：
运动学状态的变化率可被如下表示：
其中矩阵NV被定义为
当以上与等式(1)组合时，获得运动学和屏幕坐标之间的以下关系：
其中
是图像屏幕坐标中目标的位置的变化率。
假设由UAV 104执行的转弯为使用“侧倾转弯”方法的协调转弯，则侧倾角命令可以如下等同于转弯命令的航向速率：
考虑到这一点，如下改写等式(19)：
其中J＝sJV＝sLc cMx xNV。这类似于2012年，Robot Control，卷10，51-57页，PietroPeliti、Lorenzo Rosa、Giuseppe Oriolo和Marilena Vendittelli 的“Vision-basedLoitering Over a Target for a Fixed-Wing UAV”中的反向递推方法，其通过引用并入本文。
返回到图4A，如方框406中所示，至少部分根据仅由于交通工具的运动引起的所选择的目标的光流以及所选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定UAV 104引导命令。这通过图3的方框304-312来实现，以生成如下面进一步描述的UAV104和转台命令。根据控制规则确定引导命令，其实施例在下面推导出。
控制规则公式
可如下定义性能变量e：
将性能变量e趋于零将导致屏幕坐标集中(由于s1和s2描述目标在屏幕坐标中相对于中心的位置)，并且，如果κc＝π/2，则UAV 104将其空气相对速度定向为垂直于摄像头106和目标110之间的视线。此时通过逆控制规则的方式组合误差动力学(dynamics)以用于同时推导出转台角度和变化的航向速率(heading rate)的控制规则。可如下表示误差动态：
其中
并且
可如下通过逆控制规则设计控制信号：
其中是K是正定的并且表示调谐增益参数。
在控制规则(26)的一个实施例中，在以上解决方案中施加期望轨道半径。这可以经由导致误差信号到零的优先收敛的以下构造来完成，其中屏幕坐标被优先化。可在国际机器人研究杂志(The International Journal of Robotics Research)，27(10)：1093-1116，2008，Alessandro De Luca、Giuseppe Oriolo和Paolo Robuffo Giordano的“Feature Depth Observation for Image-Based Visual Servoing：Theory andExperiments”中找到示例性公式，其通过引用并入本文。使：
并且类似地：
此外，使
表示B2的伪逆，即，
我们然后如下设计基于控制规则的优先化逆转。
其中kp＞0并且Ks为正定的。
通过运动学的性质和期望配置来确定控制规则等式30中的独立信号。基于UAV104特征来设置UAV 104(Va)的空速。
在给定UAV 104空速Va下从期望轨道半径Rd的运动学确定期望偏航(航向)速率信号
最后，从具有“目标上的翼尖”的理想化几何布局确定命令摇动角度κc，例如
等式32和33假设无风条件。下面进一步讨论控制规则的无风公式。
再次返回到图3，现在对方框304到312的操作进行描述并且将这些操作与前述推导相关。求和(或差分)函数303确定仅由于UAV 104的运动引起的光流和所选择的图像的目标之间的差异。方框304考虑了由成像传感器106实现的期望图像定中行为。这种图像定中(image centering)允许用户在再现图像中的任何地方选择目标110，并且成像传感器106仅使用图像信息自动地将FOV 108置于该目标110中心，并保持目标在图像中的那一点处。虽然这种操作通常是基于软件的并且不涉及UAV 104的引导系统(它们类似于消费者摄像头中使用的图像稳定系统或图像稳定双筒望远镜)。
方框304(其描述由UAV 104运动和成像传感器106摇动和倾斜两者产生的光流)的输出与方框308的输出组合，其表示UAV 104运动(而不是成像传感器106的摇动和倾斜)对图像的影响。所考虑的UAV 104运动中的大多数运动是由于UAV 104的旋转引起的，但是还有少量是由于UAV 104的平移引起的。(由差分函数305产生的)差异表示成像传感器106运动对图像的影响。差分函数305的输出被提供给方框306，其将图像的伪逆实现到UAV 104变换。
在一个实施例中，方框304、308和306的操作可如等式30(在下面再现)中所描述地那样执行，等式30表示引导命令航向角(ψ)以及在摇动(λ)和倾斜(κ)中的成像传感器106命令。
因数Kss表示方框304的期望图像定中行为，而因数
表示方框308的操作，所述操作描述UAV 104运动对成像传感器106产生的图像的影响。因数-
表示从图像到UAV 104的变换的伪逆的定义。
返回到图3，差分函数309确定期望UAV 104和转台设定值之间的差异(例如，期望UAV 104航向角ψ和成像传感器倾斜κ以及摇动λ角和它们的实际值)。方框310考虑UAV 104以及成像传感器106的转台的运动学行为，而方框312确定图像到UAV 104变换的伪逆的零空间。在一个实施例中，在等式30的部分即
以及
中分别描述了通过图3的方框310和312执行的操作。此外，如等式30所描述，方框306和312的输出被组合用于计算UAV 104和转台命令，即
这通过加法函数313执行。这些引导命令用于命令UAV 104，包括成像传感器106的转台，如图4A的方框408中所示。
图4C总结了被执行用于生成引导命令的操作。在方框442中，确定UAV 104的空速。这可以经由皮氏管或类似手段来实现。在方框444中，确定UAV 104的地面速度。如下面进一步描述的，这可以经由激光雷达来确定，或者可以仅从图像数据中估计。在方框446中，确定UAV 104的侧倾角的变化率。这可以例如从UAV 104上的IRU测量来确定。在方框448中，根据UAV 104的所确定的侧倾角的变化率、UAV 104的地面速度以及UAV 104的空速来确定航向变化率命令(heading rate of change command)。在方框450中，根据UAV 104的侧倾角的确定的变化率以及UAV 104的地面速度和空速来确定成像传感器摇动命令。最后，至少部分地根据变化的航向速率和成像传感器摇动角来命令UAV 104，如方框452所示。
惯性导航扩增
图像信息还可被用于扩增来自IRU传感器和其他源的惯性导航。忽略俯仰冲程(pitch excursion)，可如下以测量速率表示与成像传感器106角速度组合的去旋转光流：
如果成像传感器106和UAV 104速度等同(如果成像传感器106和UAV104的重心是同位的)并且忽略高度变化，则可如下确定来自陀螺仪的地面速度以及图像光流。
通常，用于图像传感器106转台的万向编码器具有非常高的准确度，并且因此可以准确地测量κ和λ以及它们的导数。可通过IRU中的陀螺仪直接测量UAV 104主体角速率，并且可从运动学积分导出UAV 104姿态角。等式35针对惯性导航系统的速度辅助在使用基于图像的视觉伺服(IBVS)下给出指示，并且‘范围’Z扮演着核心作用是清楚的。
明确地考虚风力
运动学和摄像头运动：在存在风的情况下的操纵引入两个附加的输入并且将动力学添加到性能变量中。这在指导杂志，控制和动力学(Journal of Guidance，Control，andDynamics)，AIAA，33(4)：1311-1312，2010，R.Rysdyk的“Erratum on Course and HeadingChanges in Significant Wind”中进行了描述，其通过引用并入本文。这是重要的，这是因为等式(30)中描述的前述控制规则试图在相对于UAV 104平台对摄像头进行定向的同时，还对UAV 104进行引导并且相对于惯性静止目标110点瞄准转台/成像传感器106。为了使得
所有这些信号明确，我们如下表示UAV 104动力学：
其中通过X给出惯性航线并且通过Vg给出惯性速度(“地面速度”)，并且其中{WN，WE}表示北向的风速和西向的风速。与无风情况相比，以上包含附加动力学，该动力学反映我们现在正在均匀流场中移动，其中惯性速度随着相对于流场的定向变化，如通过角度X-ψ给出。以上从协调转弯动力学和“风速三角形”表达式中导出：
Vgcx＝Vacψ+WN (41)
Vgsx＝Vasψ+WE (42)
从导航到主体框架以及从主体到摄像头框架的旋转仍如前述那样保持适用，并且摄像头的速度扭曲保持与如通过等式17呈现的这些UAV 104状态相关。
控制规则公式：当在期望轨道上时，AV将经历如下与轨道半径相关的航线变化率：
其中在下面确定Vg。在针对航线变化率给出该期望值的情况下，可通过对等式(39)求逆来获得控制规则，其中针对φc或针对
对等式(39)求逆。对于后一种方法，考虑：
组合以上等式43和46得出命令的航向变化率：
这将必须通过
和
的测量或者通过基于{Va，ψ，WN，WE}的计算信号来实现。即使对于相对较高的风与空速比率，假设cos(X-ψ)≈1也是合理的，并且
因此，为了说明观察到的风，考虑实现以下控制信号：
为了说明实践中风的影响，可假设惯性速度的测量或者盛行风(prevailingwind)的一些知识。传统上，通过GPS辅助获得这些值。随着基于图像的导航系统成熟并变得足够可靠，可从图像特征获得这些信号。这优选地通过使用专用‘捷联’成像传感器完成，但也可以使用来自主有效负载/靶向成像传感器106的图像来完成。
假设光流能够提供
和
的合理正确测量，那么可以直接实现控制规则等式47或等式52。如果相反直接存在风的一些知识，那么可通过以下实现控制规则：
其中atan2表示四象限反正切函数。
总之，当风已知时，使用通过利用等式(50)计算的命令的航向速率，并且
使得响应将依赖于航向估计的性质和准确度、风信息的准确度以及与轨道半径跟踪关联的控制信号。由于轨道收敛相对较慢，所述结果可遭受一些可能不被补偿的相位滞后或周期漂移，即使是在风是精确已知的情况下。
测距观察者
当在图像内沿轨道运行特征时，可以估计从UAV 104到用户选择的目标110的距离(范围)。该范围(Z)是通过以上描述的交互矩阵执行的计算所需的。该范围可由激光测距器直接确定，或者通过应用例如通过卡尔曼滤波器实现的范围估计器确定，这是由于范围测量仅需要在1Hz或比1Hz更小下进行(如果UAV 104在圆形路径中飞行，则UAV 104应在距离目标110的相同范围处)。
可以按照以下形式实现范围观察者：
图5是以输出误差注入格式的方框形式表示等式(53)的范围观察者公式的图示。以下定义应用：
其中l31＝-λu1+y1u3 (59)
以及l32＝-λu2+y2u3 (60)
目标110的位置坐标(y)不同于期望的屏幕坐标并且被应用于方框502。方框502将观察者增益L(u，y)应用到前述差异以产生输出误差注入值。
方框504根据成像传感器坐标转换
来转换屏幕坐标中的目标110的位置。该结果与输出误差注入相组合以产生
的估计。
的所产生的估计包括目标110位置s1和s2的屏幕坐标以及范围(Z)的逆的导数的估计。通过积分器506对
求积分提供对目标110位置s1和s2的屏幕坐标的估计以及范围(Z)的逆(inverse)。屏幕坐标被提供到方框508，方框508根据等式(56)计算期望的屏幕坐标。所估计的范围Z被提供作为输出并且还被提供到方框504，以更新成像传感器坐标转换
交互矩阵推导
注释：由于所涉及到的变换，区分矢量分量在哪个框架中表示是重要的。黑体注释用于矢量并且下标指示矢量在哪个框架中表示。注意，这造成一些歧义，其中下标仅指示特定位置；下标c可指示‘摄像头’或者指示‘沿着摄像头框架来表示’。包括瞬时角速率的旋转被写在下方以对应于它们在其上操作的空间，例如，iRc从Fc到Fi旋转矢量，并且类似地，iωc指示Fc相对于Fi的角速度。
从主体框架到摄像头框架的变换：为了获得屏幕坐标，我们首先将坐标系与摄像头关联。在我们在此参考的机器学文献中，摄像头框架被定向为其z轴沿着视线。因此，我们将使用以下旋转顺序：
1、关于主体z轴在摇动角κ上的旋转。
2、关于所得y1轴在倾斜角λ上的旋转。
3、关于y1轴通过+90°旋转进行重新定向。
4、关于
轴以+90°进行最后的重新定向。
最后，其中z轴指向目标、x轴向上且y轴向右(飞行员的角度)的到摄像头框架的变换为：
交互矩阵的科里奥利定理：使x表示视线矢量(LOS)，xc表示摄像头位置，以及xtgt表示目标位置，那么：
xtgt＝xc+x (67)
这可用于推导
对于静止目标以及使用类似于以上描述的肖梅特(Chaumette)参考的注释，我们得出：
屏幕坐标在摄像头框架
中沿着x-y方向。
s1＝X/Z (70)
s2＝Y/Z (71)
因此：
代入等式(61)给出：
其中x＝X/Z并且y＝Y/z。我们将上述更简洁地表示为：
其中vc可被称为摄像头框架的速度扭曲。以上还示出如果目标正在移动，我们得出：
图6A到图6C为示出使用前述原理和控制规则以实现目标相对引导的模拟结果的图示。图6A示出UAV 104的轨道路径202的地面轨迹。注意，轨道路径收敛于圆形轨道。图6B示出作为时间的函数的到目标Z的范围的收敛，从而示出在200秒之后的几乎完美的收敛。图6C示出作为时间的函数的横侧偏差，从而再次示出在200秒标记的显著收敛。
硬件环境
图7示出可以用于实现上述公开的处理元件的示例性计算机系统700，其包括图1所示的处理器112和存储器116、以及在地面控制站118处操作的从远程位置控制UAV 104的计算机。计算机系统700包括计算机702，其包括处理器704和诸如随机存取存储器(RAM)706的存储器。计算机702可操作地耦合到显示器722，所述显示器722在图形用户界面718B上向用户120呈现诸如窗口的图像。计算机702可以耦合到其它设备，诸如键盘714、鼠标设备716、打印机等。当然，本领域技术人员将认识到，上述部分或任何数量的不同部件、外围设备和其它设备的任何组合可以与计算机702一起使用。
通常，计算机702在存储器706中存储的操作系统708的控制下操作，并且与UAV104子系统、地面站118和用户120接口以接受命令和数据并且产生被提供到其他UAV 104子系统和地面站118的输出命令和数据，其可以通过图形用户界面(GUI)模块718A呈现。虽然GUI模块718B被描绘为单独的模块，但是执行GUI功能的指令可以驻留在或分布在操作系统708、计算机程序710中，或者用专用存储器和处理器来实现。计算机702还实现编译器712，编译器712允许以诸如COBOL、C++、FORTRAN或其它语言的编程语言编写的应用程序710被翻译成处理器704可读的代码。在完成之后，应用程序710使用通过使用编译器712生成的关系和逻辑来存取和操纵存储在计算机702的存储器706中的数据。计算机702还可选地包括外部通信设备，诸如调制解调器、卫星链路、以太网卡或用于与其他计算机通信的其它设备。
在一个实施例中，实现操作系统708、计算机程序710和编译器712的指令有形地体现在计算机可读介质中，例如数据贮存设备720，其可以包括一个或多个固定或可移动数据贮存设备，例如极碟驱动器、软盘驱动器724、硬盘驱动器、CD-ROM驱动器、磁带驱动器等。进一步地，操作系统708和计算机程序710由指令组成，当由计算机702读取和执行时，所述指令使得计算机702执行这里描述的操作。计算机程序710和/或操作指令还可以有形地体现在存储器706和/或数据通信设备730中，从而制造计算机程序产品或制造品。如此，本文所使用的术语“制造品”、“程序贮存设备”和“计算机程序产品”旨在包含可从任何计算机可读设备或介质存取的计算机程序。
进一步地，本公开包括根据以下条款的实施例：
条款1.一种在没有全球定位信息的情况下对包括图像传感器的交通工具进行导航的方法，包括：
选择并跟踪成像传感器产生的图像序列内的目标，确定仅由于交通工具的运动引起的光流以及图像的选择的目标之间的差异；
至少部分根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定交通工具引导命令；以及
至少部分根据交通工具引导命令来命令交通工具和成像传感器。
条款2.根据条款1所述的方法，其中确定仅由于交通工具的运动引起的光流以及选择的图像的目标之间的差异包括：
在成像传感器屏幕坐标中确定成像传感器的运动对静止物体的影响；
至少部分根据静止物体的屏幕坐标的变化率确定光流；以及
去旋转确定的光流以计算仅由于交通工具的平移引起的光流。
条款3.根据条款2所述的方法，其中：
至少部分根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定交通工具引导命令包括：
至少部分根据交通工具的侧倾角的变化率、交通工具的空速的估计以及交通工具的地面速度的估计来确定航向变化率命令。
条款4.根据条款3所述的方法，进一步包括：
根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令。
条款5.根据条款4所述的方法，其中根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令包括：
根据交通工具的侧倾角的变化率、交通工具的空速的估计以及交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令。
条款6.根据条款5所述的方法，其中根据控制规则确定航向变化率命令以及成像传感器摇动和倾斜命令：
其中uψ表示被命令的交通工具偏航角速率，ux表示被命令的成像传感器摇动角速率，并且uλ表示被命令的成像传感器倾斜角速率，Va表示交通工具空速，φ表示交通工具侧倾角速率，B表示被命令的信号对屏幕坐标和摇动角的影响，以及K表示调谐的增益参数。
条款7.根据条款6所述的方法，其中根据
确定航向变化率命令，其中
是交通工具的地面速度的估计并且Rd是交通工具的期望轨道半径。
条款8.根据条款7所述的方法，其中计算交通工具的地面速度包括根据仅由于交通工具的平移引起的光流计算交通工具的地面速度。
条款9.根据条款7所述的方法，其中计算交通工具的地面速度包括根据交通工具的计算的空速以及风估计来计算交通工具的地面速度。
条款10.一种用于在没有全球定位信息的情况下对包括图像传感器的交通工具进行导航的装置，包括：
处理器；
存储器，其通信地耦合到处理器，存储器用于存储指令，包括用于执行以下的指令：
确定仅由于交通工具的运动引起的光流以及成像传感器产生的图像的用户选择的目标之间的差异；
至少部分根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定
交通工具引导命令；以及
至少部分根据交通工具引导命令来命令交通工具。
条款11.根据条款10所述的装置，其中用于确定仅由于交通工具的运动引起的光流以及选择的图像的目标之间的差异的指令包括用于执行以下的指令：
在成像传感器屏幕坐标中确定成像传感器的运动对静止物体的影响；
至少部分根据静止物体的屏幕坐标的变化率确定光流；以及
去旋转确定的光流以计算仅由于交通工具的平移引起的光流。
条款12.根据条款11所述的装置，其中：
用于至少部分根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定交通工具引导命令的指令包括用于执行以下的指令：
至少部分根据交通工具的侧倾角的变化率、交通工具的空速的估计以及交通工具的地面速度的估计来确定航向变化率命令。
条款13.根据条款12所述的装置，其中指令进一步包括用于执行以下的指令：
根据由于交通工具的运动引起的选择的目标的光流以及选择的图像的目标之间的差异、以及交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令。
条款14.根据条款13所述的装置，其中用于根据由于交通工具的运动引起的选择的目标的光流以及图像的选择的目标之间的差异、以及交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令的指令包括用于执行以下的指令：
根据交通工具的侧倾角的变化率、交通工具的空速的估计以及交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令。
条款15.根据条款14所述的装置，其中根据控制规则确定航向变化率命令以及成像传感器摇动和倾斜命令：
其中uψ表示被命令的交通工具偏航角速率，uk表示被命令的成像传感器摇动角速率，并且uλ表示被命令的成像传感器倾斜角速率，Va表示交通工具空速，
表示交通工具侧倾角速率，B表示被命令的信号对屏幕坐标和摇动角的影响，以及K表示设计参数(适当调谐的增益)。
条款16.根据条款15所述的装置，其中根据
确定航向变化率命令，其中
是交通工具的地面速度的估计并且Rd是交通工具的期望轨道半径。
条款17.根据条款16所述的装置，其中计算交通工具的地面速度包括从仅由于交通工具的平移引起的光流计算交通工具的地面速度。
条款18.根据条款16所述的装置，其中计算交通工具的地面速度包括从交通工具的计算的空速以及风估计来计算交通工具的地面速度。
条款19.一种用于在没有全球定位信息的情况下对包括图像传感器的交通工具进行导航的装置，包括：
用于接受和跟踪成像传感器产生的图像序列内的特定目标的装置；
用于确定仅由于交通工具的运动引起的光流以及图像的选择的目标之间的差异的装置；
用于至少部分根据由于交通工具的运动引起的选择的目标的光流以及图像的选择的目标之间的差异、以及交通工具的地面速度的估计来确定交通工具引导命令的装置；以及
用于至少部分根据交通工具引导命令来命令交通工具的装置。
条款20.根据条款19所述的装置，其中用于确定仅由于交通工具的运动引起的光流以及图像的选择的目标之间的差异的装置包括：
用于以成像传感器屏幕坐标确定成像传感器的运动对静止物体的影响的装置；
用于至少部分根据静止物体的屏幕坐标的变化率确定光流的装置；以及
用于去旋转确定的光流以计算仅由于交通工具的平移引起的光流的装置。
本领域技术人员将认识到，在不偏离本公开范围的情况下，可对该配置作出许多修改。例如，本领域技术人员将认识到，可使用以上部件、或任何数量的不同部件、外围设备和其他设备的任何组合。
结论
这部分对本公开的优选实施例的描述进行总结。已经出于说明和描述的目的呈现了优选实施例的前述描述。该描述并非旨在排它性的或将本公开限制为所公开的精确形式。根据以上教导，许多修改和变型是可能的。权利的范围旨在不受该详细描述限制，而是由随附权利要求来限制。
Claims (8)
1.一种在没有全球定位信息的情况下对包括成像传感器的交通工具进行导航的方法，其包括：
选择并跟踪由所述成像传感器产生的图像序列内的目标；
确定仅由于所述交通工具的运动引起的光流和选择的图像的目标之间的差异，包括：
在成像传感器屏幕坐标中确定所述成像传感器的运动对静止物体的影响；
至少部分根据所述静止物体的所述成像传感器屏幕坐标的变化率确定所述光流；以及
将确定的光流去旋转以计算仅由于所述交通工具的平移引起的所述光流；
至少部分根据由于所述交通工具的运动引起的选择的目标的所述光流和所述选择的图像的目标之间的所述差异、以及所述交通工具的地面速度的估计来确定交通工具引导命令，包括：
至少部分根据所述交通工具的侧倾角的变化率、所述交通工具的空速的估计以及所述交通工具的所述地面速度的估计来确定航向变化率命令；
至少部分根据所述交通工具引导命令来命令所述交通工具和成像传感器；以及
根据由于所述交通工具的运动引起的所述选择的目标的所述光流和所述选择的图像的目标之间的所述差异、以及所述交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令，包括：
根据所述交通工具的侧倾角的变化率、所述交通工具的所述空速的估计以及所述交通工具的所述地面速度的估计来确定成像传感器摇动和倾斜命令；
其中根据以下控制规则确定所述航向变化率命令和所述成像传感器摇动和倾斜命令：
其中uψ表示命令的交通工具偏航角速率，uκ表示命令的成像传感器摇动角速率，并且uλ表示命令的成像传感器倾斜角速率，Va表示交通工具空速，
表示交通工具侧倾角速率，B表示命令的信号对所述成像传感器屏幕坐标和所述摇动角的影响，并且K表示调谐的增益参数。
2.根据权利要求1所述的方法，其中根据
确定所述航向变化率命令，其中
是所述交通工具的所述地面速度的所述估计并且Rd是所述交通工具的期望轨道半径。
3.根据权利要求2所述的方法，其中根据仅由于所述交通工具的平移引起的所述光流来计算所述交通工具的所述地面速度的所述估计。
4.根据权利要求2所述的方法，其中根据所述交通工具的所述空速的所述估计和风估计来计算所述交通工具的所述地面速度的所述估计。
5.一种用于在没有全球定位信息的情况下对包括成像传感器的交通工具进行导航的装置，其包括：
处理器；
存储器，其通信地耦合到所述处理器，所述存储器用于存储指令，所述指令包括用于执行以下操作的指令：
确定仅由于所述交通工具的运动引起的光流以及所述成像传感器产生的图像的用户选择的目标之间的差异，包括：
在成像传感器屏幕坐标中确定所述成像传感器的运动对静止物体的影响；
至少部分根据所述静止物体的所述成像传感器屏幕坐标的变化率确定所述光流；以及
将确定的光流去旋转以计算仅由于所述交通工具的平移引起的所述光流；
至少部分根据由于所述交通工具的运动引起的所述选择的目标的所述光流以及所述选择的图像的目标之间的所述差异、以及所述交通工具的地面速度的估计来确定交通工具引导命令，包括：
至少部分根据所述交通工具的侧倾角的变化率、所述交通工具的空速的估计以及所述交通工具的所述地面速度的估计来确定航向变化率命令；
至少部分根据所述交通工具引导命令来命令所述交通工具；以及
根据由于所述交通工具的运动引起的所述选择的目标的所述光流和所述选择的图像的目标之间的所述差异、以及所述交通工具的地面速度的估计来确定成像传感器摇动和倾斜命令，包括：
根据所述交通工具的侧倾角的变化率、所述交通工具的所述空速的估计以及所述交通工具的所述地面速度的估计来确定成像传感器摇动和倾斜命令；
其中根据以下控制规则确定所述航向变化率命令和所述成像传感器摇动和倾斜命令：
其中uΨ表示命令的交通工具偏航角速率，uκ表示命令的成像传感器摇动角速率，并且uλ表示命令的成像传感器倾斜角速率，Va表示交通工具空速的估计，
表示交通工具侧倾角速率，B表示命令的信号对所述成像传感器屏幕坐标和所述摇动角的影响，并且K表示调谐的增益参数。
6.根据权利要求5所述的装置，其中根据
确定所述航向变化率命令，其中
是所述交通工具的所述地面速度的所述估计并且Rd是所述交通工具的期望轨道半径。
7.根据权利要求6所述的装置，其中根据仅由于所述交通工具的平移引起的所述光流来计算所述交通工具的所述地面速度所述估计。
8.根据权利要求6所述的装置，其中根据所述交通工具的所述空速的所述估计和风估计来计算所述交通工具的所述地面速度的所述估计。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/290,840 | 2016-10-11 | ||
| US15/290,840 US10242581B2 (en) | 2016-10-11 | 2016-10-11 | Method and apparatus for target relative guidance |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108253967A CN108253967A (zh) | 2018-07-06 |
| CN108253967B true CN108253967B (zh) | 2023-06-13 |
Family
ID=61866859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710944799.3A Active CN108253967B (zh) | 2016-10-11 | 2017-10-11 | 用于目标相对引导的方法和装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US10242581B2 (zh) |
| CN (1) | CN108253967B (zh) |
| AU (1) | AU2017228599B2 (zh) |
| CA (1) | CA2977597C (zh) |
| IL (1) | IL254298B (zh) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10325169B2 (en) | 2016-10-09 | 2019-06-18 | Airspace Systems, Inc. | Spatio-temporal awareness engine for priority tree based region selection across multiple input cameras and multimodal sensor empowered awareness engine for target recovery and object path prediction |
| US10514711B2 (en) * | 2016-10-09 | 2019-12-24 | Airspace Systems, Inc. | Flight control using computer vision |
| JP6817806B2 (ja) * | 2016-12-21 | 2021-01-20 | 株式会社トプコン | 演算装置、演算方法、演算システムおよびプログラム |
| US10241520B2 (en) * | 2016-12-22 | 2019-03-26 | TCL Research America Inc. | System and method for vision-based flight self-stabilization by deep gated recurrent Q-networks |
| CN109814588A (zh) * | 2017-11-20 | 2019-05-28 | 深圳富泰宏精密工业有限公司 | 飞行器以及应用于飞行器的目标物追踪系统和方法 |
| CN109782811B (zh) * | 2019-02-02 | 2021-10-08 | 绥化学院 | 一种无人模型车的自动跟随控制系统及方法 |
| CN110222581B (zh) * | 2019-05-13 | 2022-04-19 | 电子科技大学 | 一种基于双目相机的四旋翼无人机视觉目标跟踪方法 |
| FR3097045B1 (fr) * | 2019-06-06 | 2021-05-14 | Safran Electronics & Defense | Procédé et dispositif de recalage d’une centrale inertielle d’un moyen de transport à partir d’informations délivrées par un viseur du moyen de transport |
| CN110262503B (zh) * | 2019-07-01 | 2022-06-03 | 百度在线网络技术（北京）有限公司 | 无人售卖车调度方法、装置、设备和可读存储介质 |
| CN110944154B (zh) * | 2019-12-05 | 2021-04-09 | 山东八五信息技术有限公司 | 一种高空瞭望摄像头图像中固定物体的标注与识别方法 |
| CN111474948B (zh) * | 2019-12-25 | 2023-06-02 | 中国人民解放军海军潜艇学院 | 一种带时间控制的前置导引与姿态控制制导的方法 |
| US11726480B2 (en) | 2020-04-07 | 2023-08-15 | Insitu, Inc. | Aircraft guidance with transmitting beacons |
| CN112967228B (zh) * | 2021-02-02 | 2024-04-26 | 中国科学院上海微系统与信息技术研究所 | 目标光流信息的确定方法、装置、电子设备及存储介质 |
| CN113148135B (zh) * | 2021-04-08 | 2022-08-05 | 南京航空航天大学 | 一种多矢量推力倾转旋翼无人机及其航向控制方法 |
| CN113189875B (zh) * | 2021-04-29 | 2022-04-22 | 湖南大学 | 一种基于圆形特征的无人机在移动平台上鲁棒着陆方法 |
| CN113311873B (zh) * | 2021-05-07 | 2022-09-06 | 中国科学院沈阳自动化研究所 | 一种基于视觉的无人机伺服跟踪方法 |
| CN113592907B (zh) * | 2021-07-22 | 2023-06-06 | 广东工业大学 | 基于光流的视觉伺服跟踪方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312793A (ja) * | 2001-02-07 | 2002-10-25 | Victor Co Of Japan Ltd | 動画像からの物体抽出方法及びその装置 |
| CN103617328A (zh) * | 2013-12-08 | 2014-03-05 | 中国科学院光电技术研究所 | 一种飞机三维姿态解算方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7602415B2 (en) | 2003-01-17 | 2009-10-13 | Insitu, Inc. | Compensation for overflight velocity when stabilizing an airborne camera |
| JP4317201B2 (ja) * | 2006-04-18 | 2009-08-19 | 日本電信電話株式会社 | 映像動きパターン解析装置、その方法及びプログラム |
| US7581702B2 (en) | 2006-06-09 | 2009-09-01 | Insitu, Inc. | Wirelessly controlling unmanned aircraft and accessing associated surveillance data |
| CN101022505A (zh) * | 2007-03-23 | 2007-08-22 | 中国科学院光电技术研究所 | 复杂背景下运动目标自动检测方法和装置 |
| US8718838B2 (en) | 2007-12-14 | 2014-05-06 | The Boeing Company | System and methods for autonomous tracking and surveillance |
| US7969352B2 (en) * | 2008-01-08 | 2011-06-28 | The Boeing Company | Global positioning system accuracy enhancement |
| EP2341352B1 (en) * | 2009-12-15 | 2015-10-28 | Université d'Aix-Marseille | Method and device for measuring the angular velocity of a luminance transition zone and steering aid system for fixation and tracking a target comprising at least one such luminance transition zone |
| GB2484133B (en) * | 2010-09-30 | 2013-08-14 | Toshiba Res Europ Ltd | A video analysis method and system |
| CA2855834C (en) | 2011-11-15 | 2017-06-20 | Insitu, Inc. | Controlled range and payload for unmanned vehicles, and associated systems and methods |
| US20150350614A1 (en) * | 2012-08-31 | 2015-12-03 | Brain Corporation | Apparatus and methods for tracking using aerial video |
| US9568919B2 (en) * | 2012-10-24 | 2017-02-14 | Aurora Flight Sciences Corporation | System and methods for automatically landing aircraft |
| US8988524B2 (en) * | 2013-03-11 | 2015-03-24 | The United States Of America As Represented By The Secretary Of The Army | Apparatus and method for estimating and using a predicted vehicle speed in an indirect vision driving task |
| US9043146B2 (en) * | 2013-06-19 | 2015-05-26 | The Boeing Company | Systems and methods for tracking location of movable target object |
| CN103745458B (zh) * | 2013-12-26 | 2015-07-29 | 华中科技大学 | 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法 |
| US9713982B2 (en) * | 2014-05-22 | 2017-07-25 | Brain Corporation | Apparatus and methods for robotic operation using video imagery |
| US9939253B2 (en) * | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
| US10713506B2 (en) * | 2014-12-18 | 2020-07-14 | Magna Electronics Inc. | Vehicle vision system with 3D registration for distance estimation |
| CN105761277B (zh) * | 2016-02-01 | 2018-09-14 | 西安理工大学 | 一种基于光流的运动目标跟踪方法 |
-
2016
- 2016-10-11 US US15/290,840 patent/US10242581B2/en active Active
-
2017
- 2017-08-28 CA CA2977597A patent/CA2977597C/en active Active
- 2017-09-04 IL IL254298A patent/IL254298B/en unknown
- 2017-09-13 AU AU2017228599A patent/AU2017228599B2/en active Active
- 2017-10-11 CN CN201710944799.3A patent/CN108253967B/zh active Active
-
2019
- 2019-03-13 US US16/352,675 patent/US10657832B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312793A (ja) * | 2001-02-07 | 2002-10-25 | Victor Co Of Japan Ltd | 動画像からの物体抽出方法及びその装置 |
| CN103617328A (zh) * | 2013-12-08 | 2014-03-05 | 中国科学院光电技术研究所 | 一种飞机三维姿态解算方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于几何解算的飞机三维姿态测量方法;张凯;单甘霖;陈海;吉兵;;火力与指挥控制(07);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20180218618A1 (en) | 2018-08-02 |
| US20190206265A1 (en) | 2019-07-04 |
| CA2977597A1 (en) | 2018-04-11 |
| AU2017228599B2 (en) | 2021-10-21 |
| US10242581B2 (en) | 2019-03-26 |
| CN108253967A (zh) | 2018-07-06 |
| AU2017228599A1 (en) | 2018-04-26 |
| IL254298A0 (en) | 2017-10-31 |
| IL254298B (en) | 2021-12-01 |
| CA2977597C (en) | 2021-08-03 |
| US10657832B2 (en) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108253967B (zh) | 用于目标相对引导的方法和装置 | |
| US10037028B2 (en) | Systems, devices, and methods for on-board sensing and control of micro aerial vehicles | |
| Redding et al. | Vision-based target localization from a fixed-wing miniature air vehicle | |
| Borowczyk et al. | Autonomous landing of a quadcopter on a high-speed ground vehicle | |
| US9522732B1 (en) | Unmanned aerial vehicle perching maneuver | |
| US10240930B2 (en) | Sensor fusion | |
| EP3158293B1 (en) | Sensor fusion using inertial and image sensors | |
| EP3158417B1 (en) | Sensor fusion using inertial and image sensors | |
| US20160076892A1 (en) | Methods and systems for determining a state of an unmanned aerial vehicle | |
| AU2017251682B2 (en) | Systems and methods for establishing a flight pattern adjacent to a target for a vehicle to follow | |
| US10915117B2 (en) | Control of vehicle movement by application of geometric algebra and state and error estimation | |
| Weiss et al. | 4dof drift free navigation using inertial cues and optical flow | |
| Courbon et al. | Visual navigation of a quadrotor aerial vehicle | |
| Mercado et al. | Quadrotor's trajectory tracking control using monocular vision navigation | |
| Andert et al. | Improving monocular SLAM with altimeter hints for fixed-wing aircraft navigation and emergency landing | |
| Gonçalves et al. | Vision-based automatic approach and landing of fixed-wing aircraft using a dense visual tracking | |
| Kaiser et al. | Localization and control of an aerial vehicle through chained, vision-based pose reconstruction | |
| Andert et al. | Autonomous vision-based helicopter flights through obstacle gates | |
| Andert et al. | Optical aircraft navigation with multi-sensor SLAM and infinite depth features | |
| Park | Vision-based guidance for loitering over a target | |
| KR101862065B1 (ko) | 비행체를 이용한 영상 기반 바람 추정 장치 및 방법 | |
| Ready et al. | Inertially aided visual odometry for miniature air vehicles in gps-denied environments | |
| Al-Sharman | Auto takeoff and precision landing using integrated GPS/INS/Optical flow solution | |
| Conte | Vision-based localization and guidance for unmanned aerial vehicles | |
| Khaghani et al. | Application of vehicle dynamic modeling in UAVs for precise determination of exterior orientation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |