CN114078142A - 主动式万向支架稳定的航空视觉惯性导航系统 - Google Patents

Abstract

本发明公开了一种载具导航系统，该载具导航系统可用相机获取多个图像；确定该多个图像中的一个或多个图像中的至少一个特征；经由图像特征跟踪来降低与该一个或多个图像中的相机的运动相关联的旋转噪声；基于具有降低的旋转噪声的该一个或多个图像来确定一个或多个关键帧；基于该一个或多个关键帧来确定该多个图像中的一个或多个图像的光流；基于该光流确定该至少一个特征的预测深度；基于该光流和该至少一个特征的预测深度来确定相机的位姿和运动；以及基于所确定的相机的位姿和运动以及万向支架编码器信息来确定载具的第一位姿和第一运动。

Description

主动式万向支架稳定的航空视觉惯性导航系统

本申请要求于2020年8月19日提交的标题为“ACTIVE GIMBAL STABILIZED AERIALVISUAL-INERTIAL NAVIGATION SYSTEM”的印度临时专利申请号202011035697的优先权，该专利申请的全部内容以引用方式并入本文。

技术领域

本公开涉及视觉导航。

背景技术

成像和摄影测量通常包括在载具中，包括无人航空载具(UAV)和城市航空移动载具(诸如直升机和飞船)。在一些情况下，使用空中影像的机器视觉可用于载具的导航，或增强载具导航。

发明内容

本文所述的载具导航系统和技术可以通过经由万向支架稳定来降低与载具旋转振动和平移相关联的旋转噪声，从而改善用于特征跟踪、同步定位与地图构建(SLAM)和/或相机和载具位姿估计的机器视觉。

在一些示例中，本公开描述了一种载具导航的方法，该方法包括：在载具运行时用相机获取多个图像，其中相机安装到万向支架，该万向支架安装到载具；使用处理电路确定多个图像中的一个或多个图像中的至少一个特征；经由万向支架跟踪至少一个特征，其中跟踪至少一个特征包括通过所述处理电路使万向支架移动相机，使得与多个图像中的一个或多个图像中的载具的运动相关联的旋转噪声降低；使用处理电路基于具有降低的旋转噪声的一个或多个图像来确定多个图像中的一个或多个图像的光流；使用处理电路基于所确定的光流针对多个图像中的一个或多个图像中的每个图像来确定相机的位姿和运动；使用处理电路基于所确定的相机的位姿和运动以及万向支架编码器信息来确定载具的第一位姿和第一运动；以及使用处理电路使载具基于所确定的载具的第一位姿和第一运动来导航到载具的第二位姿和第二运动中的至少一者。

在一些示例中，本公开描述了一种载具导航系统，包括：万向支架，该万向支架安装在载具上；相机，该相机安装在万向支架上；和处理电路，该处理电路被配置为：在载具运行时用相机获取多个图像，其中相机安装到万向支架，万向支架安装到载具；确定多个图像中的一个或多个图像中的至少一个特征；经由万向支架跟踪至少一个特征，其中跟踪至少一个特征包括使万向支架移动相机，使得与多个图像中的一个或多个图像中的载具的运动相关联的旋转噪声降低；基于所确定的光流来确定多个图像中的一个或多个图像的光流；基于所确定的光流针对多个图像中的一个或多个图像中的每个图像来确定相机的位姿和运动；基于所确定的相机的位姿和运动以及万向支架编码器信息来确定载具的第一位姿和第一运动；以及使载具基于所确定的载具的第一位姿和第一运动来导航到载具的第二位姿和第二运动中的至少一者。

在一些示例中，本公开描述了一种确定载具的位姿和运动的方法，该方法包括：利用安装到万向支架的相机来获取多个图像，该万向支架安装到载具；使用处理电路确定多个图像中的一个或多个图像中的至少一个特征；经由图像特征跟踪来降低与一个或多个图像中的相机的运动相关联的旋转噪声；使用处理电路基于具有降低的旋转噪声的一个或多个图像来确定一个或多个关键帧；使用处理电路基于一个或多个关键帧来确定多个图像中的一个或多个图像的光流；使用处理电路基于光流确定至少一个特征的预测深度；使用处理电路基于光流和至少一个特征的预测深度来确定相机的位姿和运动；以及使用处理电路基于所确定的相机的位姿和运动以及万向支架编码器信息来确定载具的第一位姿和第一运动。

附图和以下描述中阐述了一个或多个示例的细节。其他特征、目的和优点将从描述和附图以及从权利要求书中显而易见。

附图说明

图1是根据本公开的一种或多种技术的载具导航系统的概念图。

图2是根据本公开的一种或多种技术的包括主动3轴万向支架的载具导航系统的概念图。

图3是根据本公开的一种或多种技术的跟踪对象的示例性方法的流程图。

图4是根据本公开的一种或多种技术的载具导航的示例性方法的流程图。

具体实施方式

在一些示例中，本公开描述了载具导航的方法和系统，包括使用安装在附接到载具的一个或多个万向支架上的一个或多个相机来跟踪真实世界场景的一个或多个特征。例如，系统可确定稀疏特征，诸如拐角、边缘、标记等，并且除此之外或另选地，系统可确定致密特征，诸如地面、三维对象、建筑物等。系统可基于由相机获取的一个、两个或更多个图像来确定所确定的稀疏特征和/或密集特征的光流以及所确定的稀疏特征和/或密集特征的预测深度。在一些示例中，系统可经由其确定的光流来跟踪稀疏特征和/或密集特征所确定的特征。在一些示例中，系统可经由其预测和/或估计的深度来定位稀疏特征和/或密集特征。例如，系统可基于所确定的光流来确定相机的位姿和运动。系统可基于相机的位姿和运动以及一个或多个万向支架编码器来确定载具的位姿和运动。该系统和方法可基于所确定的相机的位姿进一步对载具和真实世界场景的一个或多个特征进行同步定位与地图构建。系统可基于所确定的载具的位姿和运动和/或载具的定位和/或真实世界场景的一个或多个特征来导航载具。

在一些示例中，经由一个或多个万向支架跟踪一个或多个特征可包括相对于真实世界场景稳定一个或多个相机并且降低由一个或多个相机获取的图像中的旋转噪声，例如，一个或多个万向支架可降低由于载具的运动而引起的一个或多个图像中的运动模糊。旋转噪声的降低可改善每个图像的光流的准确性和精确性以及预测深度，从而改善相机的位姿和运动的确定的精度和准确性。旋转噪声的降低还可以改善关键帧选择和质量，从而改善载具和至少一个特征的同步定位与地图构建(SLAM)。

将机器视觉结合到导航解决方案中是几十年来的研究主题，主要是由于视觉在人类导航和自主性中的重要性。除了机器视觉方面的挑战之外，当处理6D运动时，航空导航还存在其他问题。特别是因为计算机视觉解决方案在旋转与平移之间往往不准确。例如，由于漂移引起的标度不准确性和不准确定位可能是由相机和/或载具旋转的不充分和/或嘈杂感知引起的。在主动飞行期间，航空载具的实时导航可取决于场景的准确感知，尤其是在GPS拒绝的环境中，其中视觉能够增强现有的基于全球导航卫星系统(GNSS)和惯性导航系统(INS)的导航解决方案。当前的解决方案包括载具上的静态安装的相机，并且部署基于传统计算机视觉或基于深度学习的计算机视觉算法的感知算法，该感知算法允许深度感知和运动感知。这些解决方案仍然存在漂移和标度不准确性的问题，尤其是由于估计运动的不准确性。

SLAM可能需要使用每个帧内的光流和每个帧的预测深度来跟踪相机在每个连续帧上的运动。然后可使用该信息来估计位姿的相对变化，例如，相机在每个连续帧中的位置和定向。然后可在多个帧上跟踪位姿以估计随时间推移的相机状态和运动，例如，相机的6D位姿及其导数，诸如速度和角速率。对于具有静态安装的相机的航空载具，相机运动可包括由于需要保持对载具的控制而产生的旋转噪声，同时还估计其自身的运动状态。该旋转噪声可使得视觉感知算法难以准确地跟踪长序列上的运动，其中旋转误差趋于导致位姿估计中的偏移。

本公开可通过使用具有一个或多个相机的系统来解决这些问题，每个相机包括惯性测量单元(IMU)并且安装在一个或多个万向支架稳定的平台上以允许更好地聚焦于场景以用于定位和地图构建。例如，向相机提供主动稳定可通过减少由相机获取的图像中的旋转噪声量来降低运动估计误差并降低位姿估计的漂移和缩放不准确性。具有主动稳定的系统还可减少运动模糊，以及由于6D运动而发生的图像序列中的特征之间的重叠缺乏。换句话讲，具有主动相机稳定的系统可提高载具的位姿和运动估计和/或载具的SLAM和载具附近的现实世界的准确性，从而提高载具的视觉导航的准确性。IMU可与万向支架编码器一起有助于万向支架稳定。另外，IMU数据可用于例如多个传感器(诸如相机和安装有相机的万向支架的编码器)之间的传感器融合，并且传感器融合可用于改善相机图像的相机状态估计(6D位姿和导数)。在一些示例中，可使用Bayes过滤器方案、位姿图形优化框架或任何其他合适的传感器融合技术来完成传感器融合。

图1是根据本公开的一种或多种技术的载具导航系统100的概念图。在所示的示例中，载具导航系统100包括载具102、计算设备106和/或移动计算设备140、相机104和定向系统108。在一些示例中，相机104的视场可包括真实世界场景110，并且真实世界场景110可包括对象112。对象112可为例如重要的对象、感兴趣的对象、跟踪对象等。

在一些示例中，载具102可以是UAV、直升机、飞行器、船舶(诸如船、小船、潜水艇等)、陆基载具(诸如汽车、卡车、货车等)、自行车或任何类型的电机驱动或人力驱动载具。载具102可以是能够安装万向支架的任何载具。在所示的示例中，载具102包括计算设备106和定向系统108。在一些示例中，计算设备106可远离载具102定位，例如，计算设备可为移动计算设备140。计算设备106和/或移动计算设备140可以经由通信接口与载具102和/或定向系统108通信。

在一些示例中，定向系统108可以是多轴万向支架，例如，双轴万向支架、三轴万向支架或任何类型的万向支架。在一些示例中，定向系统108可以是主动式万向支架，例如，被配置为经由一个或多个电机围绕一个或多个轴移动从而引起旋转的机动化万向支架。在其他示例中，定向系统108可以是被动式万向支架，例如非机动化万向支架，其可包括用于抵消方向变化的权重。在其他示例中，定向系统可以是被配置为对相机系统进行定向以查看期望场景(例如，真实世界场景110)的任何类型的系统。在所示的示例中，包括镜头105的相机104可以可固定地附接到定向系统108。

在所示的示例中，相机104包括相机主体107和镜头105。在一些示例中，相机主体107可包括成像传感器，诸如被配置为捕获由镜头105成像的场景的图像的光敏像素的焦平面阵列。相机主体107可提供用于相对于成像传感器安装镜头105、以及用于安装和保护其他传感器(例如，IMU)和相机处理电路的结构，例如，为了控制自动对焦、缩放、改变镜头孔径、成像传感器曝光(积分时间)、从成像传感器接收图像数据、控制和从IMU接收数据等。在一些示例中，镜头105可以是可变镜头，例如具有可变焦距的变焦镜头和/或远摄镜头。在其他示例中，镜头105可从相机104拆卸，并且另选镜头可替换镜头105，例如广角镜头、波长滤光镜头等。

在一些示例中，相机104可被配置为捕获真实世界场景(例如，真实世界场景110)的一个或多个图像。相机104可为能够捕获至少一个图像、和/或图像序列、和/或视频的任何类型的相机或摄像机。图像序列可以是以规则或不规则的间隔拍摄的两个或更多个图像。例如，图像序列可包括以5Hz、10Hz、15Hz、30Hz、60Hz、200Hz、350Hz、500Hz、1000Hz或以可用于跟踪对象的任何其他频率拍摄的图像的视频流。

在一些示例中，相机104可包括惯性测量单元(IMU)130。IMU 130可以是3轴、6轴或9轴IMU。例如，IMU 130可包括被配置为检测三个主方向上的线性加速度的3轴加速度计。IMU 130还可包括被配置为检测围绕三个主方向的旋转速率的3轴陀螺仪，例如，IMU 130可为6轴设备。IMU 130还可包括被配置为检测磁场作为前进方向参考的3轴磁力计，例如，IMU130可为9轴设备。IMU 130可包括用于三个载具轴(例如，俯仰、滚转和偏航)的一个加速度计、陀螺仪和磁力计。IMU 130还可包括温度传感器。例如，IMU 130可为包括3轴加速度计、3轴陀螺仪、3轴磁力计和温度传感器的十自由度IMU。在一些示例中，来自IMU 130温度传感器的温度传感器数据可用于校正某些IMU 130传感器(诸如微机电系统(MEM)加速度计传感器)中的温度偏置。

在一些示例中，相机104可例如通过有线或无线连接通信地耦接到计算设备106和/或移动计算设备140，并且所捕获的图像、图像序列、视频等可被传输到计算设备106和/或移动计算设备140，例如用于图像处理，诸如下文所述。相机104还可将IMU运动信息(例如，三个载具轴的线性加速度、旋转速率和航向)传输到计算设备106和/或移动设备140。在一些示例中，相机104可包括处理电路136和存储器134，并且可在不将图像和/或视频传输到计算设备106和/或移动计算设备140的情况下处理IMU运动信息、图像和/或视频。

除非另外指明，否则本公开中关于计算设备106的描述和引用同样适用于移动计算设备140。在例示的示例中，计算设备106可包括耦接到存储器124和用户接口114的显示器118、输出120和用户输入122的处理电路116。计算设备106的处理电路116、以及相机104的处理电路136、和本文所述的其他处理模块或电路可为任何合适的软件、固件、硬件、或它们的组合。处理电路116和136可包括任何一个或多个微处理器、控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、图形处理单元(GPU)或离散逻辑电路。归因于本文所述的处理器(包括处理电路116和136)的功能可由硬件设备的处理电路提供，例如由软件和/或固件支持。

在一些示例中，处理电路116以及处理电路136被配置为确定与跟踪真实世界场景中的对象相关联的定向信息。例如，处理电路116可基于由相机104捕获的真实世界场景110的一个或多个图像来确定定向系统108相对于相机104的视场中的中心对象112的平移角、滚转角和倾斜角。处理电路116和136可对图像序列执行任何合适的信号处理以过滤图像序列，诸如任何合适的带通滤波、自适应滤波、闭环滤波、任何其他合适的滤波、分析、回归、机器学习或如本文所述的处理、和/或它们的任何组合。处理电路116和136还可从IMU 130接收包含运动信息的输入信号。处理电路116和136还可从附加源(未示出)接收输入信号。例如，处理电路116可接收包含位置信息的输入信号，诸如载具102的全球导航卫星系统(GNSS)坐标。处理电路116和136可在由处理电路116和136执行的任何计算或操作中使用附加输入信号。在一些示例中，作为执行本文所述功能的一部分，处理电路116和136可适于执行软件，该软件可包括操作系统和一个或多个应用程序。在一些示例中，处理电路116和136可包括用于执行本文所述的功能中的每个或任何组合的一个或多个处理电路模块。

在一些示例中，处理电路116可耦接到存储器124，并且处理电路136可耦接到存储器134。存储器124以及存储器134可包括任何易失性介质或非易失性介质，诸如随机存取存储器(RAM)、只读存储器(ROM)、非易失性RAM(NVRAM)、电可擦除可编程ROM(EEPROM)、闪速存储器等。存储器124和134可以是存储设备或其他非暂态介质。存储器124和134可分别由处理电路116和136用于例如存储对应于载具102位置和/或跟踪对象112的信息。在一些示例中，处理电路116和136可分别将测量结果、先前从图像或图像序列接收的数据存储在存储器124和134中和/或存储计算值以供稍后检索。

处理电路116可耦接到包括显示器118、用户输入122和输出120的用户接口114。在一些示例中，显示器118可包括一个或多个显示设备(例如，监视器、个人数字助理(PDA)、移动电话、平板电脑、任何其他合适的显示设备或它们的任何组合)。例如，显示器118可被配置为显示图像和/或跟踪信息。在一些示例中，用户输入122被配置为接收来自用户的输入，例如，对应于载具102、定向系统108和/或相机104的信息。例如，用户可输入信息，诸如相机参数，例如相机类型、镜头焦距、曝光时间、视频捕获速率、镜头孔径等。

用户输入122可包括用于与用户进行交互的部件，诸如小键盘和显示器，其可与显示器118相同。在一些示例中，显示器可以是阴极射线管(CRT)显示器、液晶显示器(LCD)或发光二极管(LED)显示器，并且小键盘可采取字母数字小键盘或与特定功能相关联的一组缩减的按键的形式。除此之外或另选地，用户输入122包括外围指向设备，例如鼠标，用户可经由该外围指向设备与用户接口进行交互。在一些示例中，显示器可包括触摸屏显示器，并且用户可经由显示器的触摸屏与用户输入122进行交互。在一些示例中，用户还可经由联网计算设备远程地与用户输入122进行交互。

在所示的示例中，真实世界场景110可包括相机104的视场内的一个或多个对象，诸如对象112。

为了跟踪真实世界场景110中的对象，诸如对象112，定向系统108可改变平移角、滚转角和倾斜角中的一者或多者。在一些示例中，计算设备106(基于一个或多个捕获的图像的角度)可自动确定将对象112保持在相机104的视场内的基本上相同的位置处的平移角、滚转角和倾斜角中的一者或多者。例如，在某个时间点，计算设备106可基于对象112的图像在一个或多个先前捕获的图像内的位置和运动来自动确定对象112将在相机104的视场中基本上居中的定向系统108的一个或多个平移角、滚转角和倾斜角。然后，计算设备106可使得定向系统108移动到所确定的平移角、滚转角和倾斜角，并且计算系统106可使得相机104捕获一个或多个附加图像。

在一些示例中，跟踪对象112降低所捕获的图像内的旋转噪声。旋转噪声可包括载具中的旋转振动，该旋转振动可由于载具控制期间的位姿校正而发生以保持轨迹。例如，在向前运动中，飞行器可向前俯仰(在象限的情况下)。在另一个示例中，飞行器将需要高速率旋转校正以在存在风的情况下保持悬停。另外，旋转噪声可在载具的平移期间发生。万向支架可使用万向支架的旋转稳定性来减小载具平移运动在一个或多个图像中的影响。

在一些示例中，当载具102移动并且对象112静止时，例如，相对于真实世界场景110不移动时，跟踪对象112可减少由于载具的运动而导致的图像模糊。图像序列的图像时间序列内的一个或多个图像的旋转噪声的降低可降低漂移和缩放不准确性，从而增加确定图像序列的图像的光流的准确性和精度。因此，跟踪对象112可增加确定相机的位姿和运动的准确性和精度，这可基于光流。

另外，降低图像序列的一个或多个图像中的旋转噪声可改善关键帧选择和视觉SLAM。例如，关键帧限定运动的任何平滑过渡(例如，相机104和/或真实世界场景110相对于相机104的运动)的起始点和结束点。降低一个或多个图像中的旋转噪声提高了确定图像序列中的运动转变的准确性，从而改善了运动过渡的起始点和结束点以及关键帧的选择。在一些示例中，载具导航系统100可被配置为减少一个或多个图像中的旋转噪声，从而利用图像序列提高运动过渡估计的准确性，从而改善特征提取和关键帧选择，从而改善视觉位姿估计和深度图的准确性，从而改善点云配准和定位。

图2是根据本公开的一种或多种技术的包括主动3轴万向支架的载具导航系统200的概念图。在所示的示例中，载具导航系统100包括载具102、计算设备106、相机104和定向系统108。载具导航系统200可基本上类似于载具导航系统200，其中图2所示的示例示出了关于定向系统108的更多细节。

载具102可以是飞行器、船舶或陆基载具，并且可以包括计算设备106和/或可以通信地连接到计算设备106，并且载具102可以包括定向系统108。

在一些示例中，相机104可被包括和/或附接到定向系统108。在所示的示例中，相机104包括镜头105、相机主体107、IMU 130，并且可包括存储器124和处理电路136。

在所示的示例中，定向系统108是三轴万向支架，其包括如图所示被配置为围绕z轴旋转的偏航电机202、如图所示被配置为围绕y轴旋转的滚转电机204、以及如图所示被配置为围绕x轴旋转的俯仰电机206，并且统称为万向支架电机202-206。万向支架电机202-206可以是载具102的一部分或被配置为附接到载具102。在所示的示例中，偏航电机202附接到载具102，滚转电机204附接到偏航电机202，并且俯仰电机206附接到滚转电机204，然而，万向支架电机202-206可以任何顺序附接或以其他方式排序或配置。万向支架电机202-206可被配置为一起操作，以便在任何方向上对相机104进行定向。在一些示例中，定向系统108可包括单个电机，该单个电机被配置为旋转到任何角度，例如，任何偏航角、滚转角和俯仰角，这与如图所示的三个单轴万向支架电机202-206的组合相反。

万向支架电机202-206中的每一个万向支架电机可包括编码器。例如，偏航电机202可包括编码器212，滚转电机204可包括编码器214，并且俯仰电机206可包括编码器216，统称为编码器212-216。编码器212-216可被配置为将旋转和/或线性位置和/或位置变化中的任一者转换为电子信号，例如，分别为万向支架电机202-206中的每一个万向支架电机的旋转和/或线性位置。例如，编码器212-216可各自为旋转编码器、线性编码器、绝对编码器、增量编码器等中的任一者。编码器212-216中的每一个可彼此相同，或者编码器212-216中的每一个可以任何组合彼此不同。编码器212-216可被配置为将对应于旋转和/或线性位置的电子信号传送到计算设备106，该计算设备可将编码器212-216中的每一个编码器的电子信号转换为相对于载具102的定向和/或位姿的组合旋转和/或线性位置，例如定向和/或位姿。例如，相机104能够以已知的静态定向和/或位姿附接到万向支架电机202-206中的一个万向支架电机，并且此后万向支架电机202-206可被配置为经由电机移动来控制相机104的位姿。编码器212-216可分别跟踪电机202-206中的每一个电机的旋转和/或线性位置，并且可将对应于旋转和/或线性位置的电子信号发送到计算设备106。计算设备106可确定相机104相对于载具102的定向和/或位姿的定向和/或位姿。换句话讲，定向系统108可相对于载具102定向相机104，该载具本身可相对于世界的其余部分(例如，载具102周围的环境和/或景观)偏航、滚转和俯仰。在一些示例中，编码器212-216可将对应于旋转和/或线性位置的电子信号传送到相机104，该相机可包括存储器134和处理电路136并且执行与计算设备106相同的功能。在一些示例中，对应于旋转和/或线性位置的电子信号可以经由相机104和/或载具102中继到计算设备106。

在一些示例中，定向系统108可包括附加定向和/或位姿测量设备，诸如雷达、LiDAR或任何其他位置、旋转、定向、测距或地图构建设备。在所示的示例中，定向系统108包括附接到定向系统108(例如，俯仰电机206)的雷达210和LiDAR 212。

图3和图4是利用机器视觉的载具导航的示例性方法的流程图。在根据本公开的示例中，相机、IMU和万向支架可紧密集成，并且万向支架可改善特征跟踪、光流确定和关键帧检测/选择。在一些示例中，图3的示例性方法300涉及使用定向系统来改善感兴趣的对象(诸如界标)的机器视觉，从而改善相机位姿估计并减少由于载具能够例如在飞行和/或操纵、悬停、起飞、着陆、跟踪动态/移动对象等期间采取的不同姿势引起的相机位姿估计的误差。在一些示例中，图4的示例性方法400涉及使用定向系统经由改善场景图像的“对焦”的稳定(例如，经由减少运动模糊和改善相机的实际对焦)来改善关键帧和特征检测。方法300可用于例如在起飞、着陆、悬停、跟踪动态/移动对象等期间的关键帧和特征检测改善。

图3是根据本公开的一种或多种技术的载具导航的示例性方法300的流程图。例如，方法300可以由与载具102、相机104和定向系统108通信的计算设备106执行。

可用相机获取多个图像，例如图像序列(302)。例如，相机104可获取包括对象112的真实世界场景110的多个图像。在一些示例中，相机104可在特定时间获取按序列排序的多个图像，例如，可以15帧每秒(fps和/或Hz)、30fps、60fps、120fps、240fps或更高帧速率顺序拍摄多个图像。相机104可安装或以其他方式附接到万向支架，诸如定向系统108，并且万向支架可安装到载具，诸如载具102。相机104可在载具102运行(例如，驾驶、浮动、起飞、着陆、悬停、操纵或以其他方式运行)时获取多个图像。在一些示例中，相机104可以在载具102未运行并且万向支架(例如，定向系统108)处于活动状态时获取多个图像。在一些示例中，相机104可包括传感器的焦平面阵列，该焦平面阵列被配置为检测在镜头105的图像平面中的多个位置处的光量，从而检测和捕获由镜头105成像的真实世界场景110的图像。在一些示例中，焦平面阵列可将真实世界场景110的一个或多个图像转换为电子信号，该电子信号可被转换和/或存储为表示真实世界场景110的图像的数字值。

处理电路可确定由相机获取的多个图像中的一个或多个图像中的至少一个特征(304)。例如，计算设备106的处理电路136和/或处理电路116可以接收由相机104获取的多个数字图像，并且可以被配置为执行指令，诸如图像处理程序和/或算法，以确定多个图像中的特征。例如，处理电路136/116可将包括在真实世界场景110的一个或多个所获取的图像中的对象112的图像确定为特征，例如跟踪特征。在一些示例中，处理电路136/116可识别特征的特性。例如，处理电路136/116可被配置为识别一个或多个图像内的特征的位置、特征的尺寸、特征的质心、特征的颜色和/或亮度和/或反射率、特征的一种或多种材料、特征的子结构(例如，树干和树枝)或包括轮胎、玻璃和框架的载具等。

万向支架(例如，定向系统108)可跟踪至少一个特征(306)。在一些示例中，处理电路136/116可以使定向系统108移动相机104，使得特征保持在所获取的图像内。例如，处理电路136/116可使得定向系统108将多个图像中的特征居中。在一些示例中，跟踪特征可包括使定向系统108跟踪特征的一个或多个特性，诸如使特征的质心居中或使特征的子结构居中。

在一些示例中，跟踪特征可减少多个图像中的旋转噪声。例如，经由万向支架向相机提供主动稳定可减轻旋转噪声、运动模糊并改善图像焦点。在一些示例中，经由万向支架提供主动稳定可增加相对于景观运动的视觉系统或移动特征的调制传递函数(MTF)。换句话讲，经由万向支架利用主动稳定获取的多个图像可包括空间频率内容(高频分量)，否则该空间频率内容将在没有稳定的情况下由于运动模糊和/或旋转噪声而丢失，从而导致光学系统MTF在图像获取期间的有效减小。

处理电路可基于多个图像中的一个或多个图像来确定图像的光流(308)。例如，图像序列的一个或多个图像中的一个或多个图像特征随时间推移的移动(其可对应于或可不对应于被跟踪的至少一个特征)可与获取图像的相机的位姿和运动相关。在一些示例中，光流可以是由相机和场景(例如，相机104和真实世界场景110)之间的相对运动引起的视觉场景中的对象、表面和边缘的表观运动的模式。

在一些示例中，光流可以是优化问题，其中载具的位姿和界标特征的位姿和/或深度用于优化成本函数，诸如重新投影误差或光一致性误差。例如，相机在捕获图像时可在时间t处具有第一位姿。可确定在时间t处捕获的图像中的特征，并且处理电路可确定和/或估计该特征的深度并定位该特征(例如，在三维中)。当相机捕获第二图像(例如，或图像序列的第二帧)时，相机可在第二时间t+dt时具有第二位姿。可确定在时间t+dt时捕获的图像中的相同特征，并且处理电路可确定和/或估计该特征的深度并定位该特征，这可允许对该特征/界标/对象进行三角测量。随后可针对任意数量的特征和/或界标以及特征和/或界标何时出现在相机帧中来执行该过程。然后可针对任何数量的相机帧和任何数量的界标再次进行优化。对于局部优化，可以相对于关键帧来完成任何数量的局部帧的滑动窗口，该关键帧可以是局部帧中的任一个局部帧。可使用所有检测到的和跟踪到的特征和相机位姿来执行优化，作为全局位姿优化。

在一些示例中，处理电路可基于所确定的光流来确定一个或多个图像中的至少一个特征(例如，(306)的所跟踪的特征)的预测深度。在一些示例中，处理电路可经由LiDAR、雷达或任何其他测距技术来确定至少一个特征的预测深度。例如，处理电路136/116可从雷达210和/或LiDAR212接收测距数据。

处理电路可基于所确定的光流来确定多个图像中的一个或多个图像中的每个图像的相机的位姿和运动(310)。例如，处理电路可在与图像(例如，多个图像中的第一图像)被获取(但不一定是序列的第一图像帧)的时间对应的第一特定时间并且基于在该第一图像的时间确定的光流确定相机的第一位姿和第一运动，该光流可从该特定图像帧中的图像信息导出，并且还可从在时间上在第一图像之前的图像帧的图像信息导出。处理电路可在第二特定时间(例如，图像序列的下一个图像(例如，第二图像)被获取的时间)并且基于在第二图像的时间确定的光流确定相机的第二位姿和第二运动。换句话讲，在获取第一图像的时间和获取第二图像的时间之间，相机的运动和位姿可改变并且可由处理电路经由第一图像和第二图像内的光流来确定。

在一些示例中，处理电路可例如除了所确定的光流之外，基于由包括在相机中的IMU测量的相机的加速度和旋转速率来确定相机的位姿和运动。在一些示例中，处理电路可进一步基于至少一个特征(例如，在(306)处跟踪的特征)的预测深度来确定相机的位姿和运动。

处理电路可基于所确定的相机的位姿和运动以及万向支架编码器信息来确定载具的第一位姿和第一运动(312)。例如，定向系统108的编码器信息使得能够在(310)处确定的相机104的第一(或第二)位姿和运动与载具102的位姿和运动之间平移。换句话讲，相机104的位姿和运动包括载具102的位姿和运动两者以及相机104经由定向系统108在特定时间点的运动相对于载具102的位姿和运动的变化，并且定向系统108相对于载具102的运动可经由编码器212-216被跟踪，例如被记录。在一些示例中，编码器信息和多个图像的获取可不直接对应于完全相同的时间，并且处理电路可基于一个或多个所确定的相机位姿和运动以及对应于一个或多个时间的编码器信息的一个或多个样本(例如，时间上彼此接近的图像和编码器样本)来确定载具的所确定的第一位姿和第一运动的有效时间。

在一些示例中，处理电路可基于所确定的相机的位姿和运动和/或载具的第一确定的位姿和第一确定的运动，在(306)的至少一个所跟踪的特征处对载具进行同步定位与地图构建。例如，所确定的相机104的位姿和运动和/或所确定的载具102的第一位姿和第一运动可以作为数据存储在包括定位和地图构建的存储器134/124中。

处理电路可使载具导航到载具的第二位姿和第二运动中的至少一者(314)。在一些示例中，载具的第二位姿和第二运动可以与载具的所确定的第一位姿和第一运动不同。在一些示例中，处理电路136/116可确定载具102的第一位姿和第一运动并将其输出到另一个系统或用户，然后该另一个系统或用户随后使得载具改变位姿和运动，例如，以基于载具102的第一确定的位姿和第一确定的运动来导航载具。在一些示例中，载具的第二位姿和第二运动可与载具的第一位姿和第一运动相同，例如，载具可以恒定速度悬停和/或巡航，并且导航系统可基于(312)处载具的确定位姿和运动使载具随时间推移保持相同的位姿和运动。在一些示例中，当载具悬停和/或巡航时，处理电路136/116可以对特征进行定位与地图构建，例如(306)的所跟踪的特征。

图4是根据本公开的一种或多种技术的载具导航的示例性方法400的流程图。例如，方法400可以由与载具102、相机104和定向系统108通信的计算设备106执行。

处理电路可初始化，并且相机可获取多个图像或图像序列(402)。例如，处理电路可利用用于基于多个图像中的信息、来自定向系统的编码器信息以及诸如来自图像和/或其他测量设备(例如，测距设备，诸如雷达、LiDAR等)的测距信息的其他信息、通过在开始获取图像序列时确定初始信息来确定相机的位姿和运动的指令，来初始化应用程序。处理电路可经由来自编码器212-216的信息来确定定向系统108的旋转和/或线性位置，可分配存储器以用于存储和处理图像、编码器和测距数据，并且可确定和/或检索与在开始获取图像序列时相机104的当前和/或初始位姿和运动相关的信息。

处理电路可确定由相机获取的多个图像中的一个或多个图像中的至少一个特征(404)。在一些示例中，在(404)处确定至少一个特征基本上类似于在上述(304)处确定至少一个特征。在一些示例中，定向系统108可以在图像获取期间稳定相机104并减少运动模糊和视差，从而改善图像和其中包含的特征的“对焦”(例如，经由如上文参考图3所讨论的有效MTF的改善)并改善对至少一个特征的确定。

万向支架(例如，定向系统108)可跟踪至少一个特征(406)。在一些示例中，处理电路136/116可以使定向系统108移动相机104，使得特征保持在所获取的图像内，例如，基本上类似于在上述(306)处跟踪至少一个特征。在一些示例中，定向系统108可以是主动式万向支架，并且跟踪特征可包括经由定向系统108引起相机104的运动，并且例如在载具102悬停、静止时和/或在起飞和着陆期间，经由三角测量相对于相机104定位所获取的图像内的至少一个特征。例如，处理电路136/116还可以基于例如当载具102悬停、静止时和/或在起飞和着陆期间在图像中确定的至少一个特征的位置来确定载具102的位姿和运动。

处理电路可选择和/或确定多个图像内的关键帧(408)。例如，定向系统108可主动跟踪图像中所确定的至少一个特征，从而降低多个图像中的一个或多个内的纯旋转和旋转噪声。处理电路可基于具有降低的旋转噪声的一个或多个图像来选择和/或确定一个或多个关键帧，和/或可确定包括具有降低的旋转噪声的一个或多个图像的一个或多个关键帧。例如，处理电路136/116可确定限定过渡的开始和/或结束(诸如至少一个特征的平滑过渡)的一个或多个关键帧，并且可基于包括过渡的图像来确定对关键帧的选择，并且该图像可能恰好由于主动跟踪而具有降低的旋转噪声。在另一个示例中，处理电路136/116可基于包括过渡并且具有降低的旋转噪声的图像来确定一个或多个关键帧，例如，包括过渡但不具有降低的旋转噪声和/或包括高于预先确定的阈值的旋转噪声的图像可不被选择作为关键帧。在又一个示例中，处理电路136/116可以基于具有降低的旋转噪声的图像确定一个或多个关键帧，并且图像可以包括或可以不包括过渡。

处理电路可确定和/或细化对至少一个特征的深度以及相机的位姿和运动的确定(410)。例如，处理电路136/116可基于所确定的关键帧中的一个或多个来确定图像的光流。在一些示例中，处理电路136/116可以进一步基于除了一个或多个关键帧之外的其他图像(例如，在一个或多个关键帧的接近时间获取的图像)来确定光流。处理电路136/116可基于光流确定至少一个特征的预测深度。在一些示例中，处理电路136/116可以例如经由雷达210和/或LiDAR 212，单独地或除了所确定的光流之外，基于测距测量来确定至少一个特征的预测深度。处理电路136/116可基于所确定的光流和所预测的至少一个特征来确定相机104的位姿和运动。在一些示例中，处理电路136/116可进一步基于相机104经由IMU 130的加速度和旋转速率来确定相机104的位姿和运动。处理电路136/116可基于相机104的确定位姿和运动以及来自编码器212-216的信息来确定载具102的第一位姿和第一运动。

本公开所述的技术可以至少部分地在硬件、软件、固件或它们的任何组合中实现。例如，所描述的技术的各个方面可在一个或多个处理器内实现，包括一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其他等效集成或分立逻辑电路，以及此类部件的任何组合。术语“处理器”或“处理电路”通常可以指单独地或与其他逻辑电路组合的任何前述逻辑电路，或任何其他等效电路。包括硬件的控制单元还可执行本公开的技术中的一种或多种。

此类硬件、软件和固件可以在同一设备内或在单独的设备内实现，以支持本公开所述的各种技术。此外，任何所述单元、模块或部件可以一起实现或单独实现为离散但可互操作的逻辑设备。将不同特征描述为模块或单元旨在突出不同的功能方面，并且不一定意味着此类模块或单元必须由单独的硬件、固件或软件部件来实现。而是，与一个或多个模块或单元相关联的功能性可由单独的硬件、固件或软件部件执行，或集成于共用或单独的硬件、固件或软件部件内。

本公开所述的技术还可在包括用指令编码的计算机可读存储介质的制品中体现或编码。嵌入或编码在制品(包括计算机可读存储介质)中的指令可以使一个或多个可编程处理器或其他处理器实现本文所述的一种或多种技术，诸如当由计算机可读存储介质中包括或编码的指令由一个或多个处理器执行时。计算机可读存储介质可包括随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存存储器、硬盘、光盘ROM(CD-ROM)、软盘、盒式磁带、磁介质、光学介质或其他计算机可读介质。在一些示例中，制品可包括一个或多个计算机可读存储介质。

在一些示例中，计算机可读存储介质可包括非暂态介质。术语“非暂态”可以指示存储介质不体现在载波或传播信号中。在某些示例中，非暂态存储介质可以存储可随时间变化的数据(例如，在RAM或高速缓存中)。

已经描述了各种示例。这些示例和其他示例在以下权利要求书的范围内。

Claims (10)

1.一种载具导航的方法，所述方法包括：

在载具运行时用相机获取多个图像，其中所述相机安装到万向支架，所述万向支架安装到所述载具；

使用处理电路确定所述多个图像中的一个或多个图像中的至少一个特征；

经由所述万向支架跟踪所述至少一个特征，其中跟踪所述至少一个特征包括通过所述处理电路使所述万向支架移动所述相机，使得与所述多个图像中的一个或多个图像中的所述载具的运动相关联的旋转噪声降低；

使用所述处理电路基于具有降低的旋转噪声的所述一个或多个图像来确定所述多个图像中的一个或多个图像的光流；

使用所述处理电路基于所确定的光流针对所述多个图像中的所述一个或多个图像中的每个图像来确定所述相机的位姿和运动；

使用所述处理电路基于所确定的所述相机的位姿和运动以及万向支架编码器信息来确定所述载具的第一位姿和第一运动；以及

使用所述处理电路使所述载具基于所确定的所述载具的第一位姿和第一运动来导航到所述载具的第二位姿和第二运动中的至少一者。

2.根据权利要求1所述的方法，还包括：

基于所确定的所述相机的位姿对所述载具和所述至少一个特征进行同步定位与地图构建；以及

使用所述处理电路基于具有降低的旋转噪声的所述一个或多个图像来确定关键帧。

3.根据权利要求1所述的方法，其中还经由惯性测量单元(IMU)基于所述相机的加速度和旋转速率来确定所述相机的所述位姿和所述运动，其中所述载具的所述第二位姿和所述第二运动中的至少一者与所述载具的所述第一位姿和所述第一运动相同。

4.根据权利要求1所述的方法，还包括：

使用所述处理电路基于所确定的光流来确定所述至少一个特征的预测深度，

其中还基于所述至少一个特征的所述预测深度来确定所述相机的所述位姿和所述运动。

5.根据权利要求1所述的方法，还包括：

使用LiDAR和雷达中的一者确定所述多个图像中的所述一个或多个图像中的所述至少一个特征的预测深度，

其中还基于所述多个图像中的所述一个或多个图像中的所述至少一个特征的所述预测深度来确定所述相机的所述位姿和所述运动。

6.一种载具导航系统，包括：

万向支架，所述万向支架安装在载具上；

相机，所述相机安装在所述万向支架上；和

处理电路，所述处理电路被配置为：

在载具运行时用相机获取多个图像，其中所述相机安装到万向支架，所述万向支架安装到所述载具；

确定所述多个图像中的一个或多个图像中的至少一个特征；

经由所述万向支架跟踪所述至少一个特征，其中跟踪所述至少一个特征包括使所述万向支架移动所述相机，使得与所述多个图像中的一个或多个图像中的所述载具的运动相关联的旋转噪声降低；

基于所确定的光流来确定所述多个图像中的所述一个或多个图像的光流；

基于所确定的光流针对所述多个图像中的所述一个或多个图像中的每个图像来确定所述相机的位姿和运动；

基于所确定的所述相机的位姿和运动以及万向支架编码器信息来确定所述载具的第一位姿和第一运动；以及

使所述载具基于所确定的所述载具的第一位姿和第一运动来导航到所述载具的第二位姿和第二运动中的至少一者。

7.根据权利要求6所述的载具导航系统，其中指令还将一个或多个可编程处理器配置为：

基于所确定的所述相机的位姿对所述载具和所述至少一个特征进行同步定位与地图构建；以及

基于具有降低的旋转噪声的所述一个或多个图像来确定关键帧。

8.根据权利要求6所述的载具导航系统，其中还经由相机惯性测量单元(IMU)基于所述相机的加速度和旋转速率来确定所述相机的所述位姿和所述运动，其中所述载具的所述第二位姿和所述第二运动中的至少一者与所述载具的所述第一位姿和所述第一运动相同。

9.根据权利要求6所述的载具导航系统，其中指令还将一个或多个可编程处理器配置为：

基于所确定的光流来确定所述多个图像中的所述一个或多个图像中的所述至少一个特征的预测深度，

其中还基于所述多个图像中的所述一个或多个图像中的所述至少一个特征的所述预测深度来确定所述相机的所述第一位姿和所述第一运动；以及

使用LiDAR和雷达中的一者确定所述多个图像中的所述一个或多个图像中的所述至少一个特征的预测深度，

其中还基于所述多个图像中的所述一个或多个图像中的所述至少一个特征的所述预测深度来确定所述相机的所述第一位姿和所述第一运动。

10.一种确定载具的位姿和运动的方法，所述方法包括：

利用安装到万向支架的相机来获取多个图像，所述万向支架安装到载具；

使用处理电路确定所述多个图像中的一个或多个图像中的至少一个特征；

经由图像特征跟踪来降低与所述一个或多个图像中的所述相机的运动相关联的旋转噪声；

使用所述处理电路基于具有降低的旋转噪声的所述一个或多个图像来确定一个或多个关键帧；

使用所述处理电路基于所述一个或多个关键帧来确定所述多个图像中的一个或多个图像的光流；

使用所述处理电路基于所述光流确定所述至少一个特征的预测深度；

使用所述处理电路基于所述光流和所述至少一个特征的所述预测深度来确定所述相机的位姿和运动；以及

使用所述处理电路基于所确定的所述相机的位姿和运动以及万向支架编码器信息来确定所述载具的第一位姿和第一运动。

Images