CN112067003B - 用于图像辅助导航的系统和方法 - Google Patents

Abstract

本发明题为“用于图像辅助导航的系统和方法”。在一个实施方案中，视觉辅助导航系统包括：被配置为产生周围环境的图像帧的至少一个图像传感器；特征提取器，特征提取器被配置为从第一图像帧提取至少一个图像特征；导航滤波器，导航滤波器被配置为基于来自导航设备的导航数据和图像特征在图像中的位置的变化来输出导航解决方案；特征跟踪器，特征跟踪器接收图像帧并预测图像特征在后续图像帧中的定位；动态局部参数调节器，动态局部参数调节器调节后续图像帧的至少一个图像参数；并且其中特征跟踪器被配置为使得当图像特征在后续图像帧中不能在围绕预测定位的界限区域内被识别时，动态局部参数调节器调节界限区域内的至少一个图像参数。

Description

用于图像辅助导航的系统和方法

背景技术

基于视觉的传感器(诸如相机)通常与车辆导航系统一起使用，以在从主要导航传感器(诸如全球导航卫星系统接收器)接收到的信息可能被降级或不可用时帮助导航。例如，基于视觉的传感器可用于跟踪在车辆周围的图像中捕获的特征，以帮助惯性测量单元计算导航解决方案。此外，基于视觉的传感器可用于跟踪车辆的操作环境中的特征，以实现导航，引导，对象识别和其他形式的自主操作。然而，虽然此类基于视觉的传感器通常被校准用于在预定义的一组环境条件下操作(例如，诸如环境光的量和大气中含水量的条件)，但可预期车辆将经历在车辆操作期间随时间推移而变化的动态环境条件。环境条件的这种变化能够改变系统解释其环境的能力。例如，可供基于视觉的系统从捕获的图像提取的特征数量或质量可随环境条件而变化。提取的特征在被跟踪的时间越长，就会固有地提供更有用的导航数据。因此，当特征变得模糊或丢失时，其帮助导航系统的能力大大降低。

发明内容

本发明提供了视觉辅助导航系统。所述系统包括：至少一个图像传感器，其中所述至少一个图像传感器被配置为产生周围环境的多个图像帧；特征提取器，所述特征提取器联接到所述至少一个图像传感器，其中所述特征提取器被配置为从由所述至少一个图像传感器捕获的所述多个图像帧中的第一个图像帧提取至少一个图像特征；导航滤波器，所述导航滤波器被配置为基于来自至少一个导航设备的导航数据的输入并且还基于多个图像中的所述至少一个图像特征的位置的变化来输出导航解决方案；特征跟踪器，所述特征跟踪器被配置为接收所述多个图像帧并且被配置为预测所述至少一个图像特征在由所述至少一个图像传感器拍摄的至少一个后续图像帧中的定位；动态局部参数调节器，所述动态局部参数调节器被配置为调节所述至少一个后续图像帧的至少一个图像参数；并且其中所述特征跟踪器被配置为使得当所述至少一个图像特征在所述至少一个后续图像帧中不能在围绕预测定位的界限区域内被识别时，所述动态局部参数调节器调节所述界限区域内的所述至少一个图像参数。

附图说明

应当理解，附图仅示出了一些实施方案，因此不应认为是限制本发明的范围，将使用附图以附加特征和细节来描述示例性实施方案，在附图中：

图1和图1A是本公开的视觉辅助导航系统的示例性实施方案的框图；

图2A、图2B和图2C是示出示例性视觉辅助导航系统的所捕获的图像帧的动态局部图像参数调节的图示；并且

图3是示出用于使用动态局部图像参数调节的视觉辅助导航的方法的示例性实施方案的流程图。

根据惯例，所描述的各种特征未必按比例绘制，而是用于强调与示例性实施方案相关的特定特征。

具体实施方式

在以下详细描述中，参考形成其一部分的附图，并且其中通过图示方式示出了特定的例示性实施方案。然而，应当理解可能利用其他实施方案，并且可能进行逻辑、机械和电气更改。

本公开的实施方案提供了一种系统和方法，该系统和方法允许车辆的基于视觉的导航系统更好地适应动态环境条件，方法是在跟踪特征未在其预测定位处或附近出现时对所捕获的图像帧应用目标图像增强处理。即，当从捕获的图像帧中的给定位置提取特征时，给定来自据信车辆在捕获第一图像帧和第二图像帧的时间之间如何移动以及相应地如何相应地缩放，平移和旋转该特征的导航系统对车辆运动学(例如，位置，速度，加速度和标题)，可准确地预测其在随后捕获的第二图像帧中的位置。如果跟踪特征恰好出现在预测的第二图像帧中，则该确定验证由车辆导航系统生成的导航解决方案是准确的。如果跟踪特征位置出现在第二图像帧中靠近，但偏离预测显示的定位和/或不同于预测取向的定位，则该确定指示在由车辆导航系统生成的导航解决方案中可能存在一些错误，并且所检测到的位置和取向误差可反馈至导航系统以用于对导航估计进行校正。然而，当由于操作环境的改变而无法再识别围绕被预测显示出的特征的界限区域内的跟踪特征时，该特征不能可靠地用于帮助判断导航解决方案对导航系统的准确性。可触发从一帧到另一帧的跟踪特征的标识的丢失的操作环境中的变化可包括但不限于(i)影响捕获的帧的照明条件的变化或(ii)跟踪其特征的非静止对象的运动，相对车辆的运动和/或妨碍相机视野的障碍。利用本公开的实施方案，当跟踪特征从一个图像帧到下一个图像帧被丢失时，图像增强技术被应用于图像的区域，在该区域中，跟踪特征被预测为在该区域出现。即，与将图像增强应用于整个图像相反，图像增强技术仅应用于靠近被跟踪特征被预测出现的位置的界限区域。这样，处理时间和资源被保存。界限区域的尺寸和形状可基于考虑因素来确定，诸如但不限于车辆速度，操作阶段，车辆位置估计的标准偏差，或跟踪特征位置的标准偏差。虽然可针对图像的一部分优化该区域，但应当理解，图像的区域可涵盖整个图像。如果跟踪特征随后出现并且由于调节而变得可从第二图像提取，则其在第二图像中的位置可作为辅助反馈回导航系统。如果所跟踪的特征即使在调节之后仍不再出现在第二图像中，则导航系统随后可确定是否停止对该特征的跟踪。在一些示例中，可通过在多个图像帧之上添加和移除特征来动态更新一组跟踪特征。该组跟踪特征可用于导航目的并更好地优化该区域。

图1是根据本公开的用于车辆10的视觉辅助导航系统100的示例性实施方案的框图。应当理解，通过本公开所述的支持视觉辅助导航的车辆100不限于任何一种特定类型的车辆，而可与任何形式的飞机，汽车，卡车，火车，水船，航天器等结合使用。如图1所示，视觉辅助导航系统100包括图像传感器102(其在一些实施方案中可安装到车辆10)，特征提取器106，特征跟踪器104，导航滤波器108，动态局部参数调整器110和导航单元112。在图1所示的实例中，视觉辅助导航系统100包括处理器114，该处理器联接至存储器116并且被编程为执行代码以实现特征跟踪器104，特征提取器106和导航滤波器108，动态局部参数调节器110，以及本文所述的归因于视觉辅助导航系统100的其他功能。

在图1所示的实例中，导航单元112联接到视觉辅助导航系统100。在一些实施方案中，导航单元112可使用来自导航滤波器108的输出导航解决方案来自动执行车辆10的操作和移动。例如，在一些实施方案中，导航单元112可向车辆的导航系统提供导航统计信息以避免碰撞和/或将车辆引导至期望的目的地。在一些示例中，当不能立即获得用于操纵车辆10的清除和/或未阻挡的路径时，导航单元112与引导系统一起向车辆10的驾驶员或车辆的其他部件提供警报。

图1A是视觉辅助导航系统100的一个示例性实施方案的框图。在图1A所示的实施方案中，图像传感器102(其可安装到车辆10)联接到特征跟踪器104和特征提取器106并输出被馈送至该特征跟踪器104和特征器106的图像帧。在各种不同实施方案中，图像传感器102可使用能够捕获车辆10的物理环境的图像的任何设备，并且输出这些捕获图像的图像帧来实现。例如，在一些实施方案中，图像传感器102可包括相机或其他传感器，其用于捕获任意数量的光谱中的图像，例如红外(IR)视觉光谱和/或其他光的光谱。图像传感器102可用于照明条件可变化的替代实施方案中。例如，特征跟踪器104和特征提取器106可从静止图像传感器102(诸如安全相机)跟踪和提取特征，跟踪静态帧内的特征的运动。另选地，特征跟踪器可与其他实施方案中所述的卫星图像结合使用。

在一些实施方案中，图像传感器102被配置用于连续生成表示由图像传感器102捕获的车辆10周围环境的场景的序列的图像帧。因此，每个捕获的图像帧可由系统100相对于由图像传感器102捕获的先前图像帧和/或后续图像帧进行分析。每个捕获的图像可被存储在存储器116中或存储在另一个组件中。由图像传感器102生成的图像可由特征跟踪器104，特征提取器106和/或参数调节器110中的一者或多者访问。

在一些实施方案中，由图像传感器102生成的每个图像被存储为包括多个可识别像素和已知像素尺寸的二维图像帧。可使用阵列来参考和分析图像帧的像素。每个像素可由行和列标识，使得一个图像中的像素在先前图像或后续图像中具有对应像素。在其他实施方案中，图像帧内的特征可使用其他方法来识别和跟踪，诸如使用矢量坐标来识别特征的位置。

系统100利用的每个图像帧可捕获由图像传感器102观察到的作为对象或此类对象的元素的表示的一个或多个图像特征。因此，在捕获的图像帧中出现的图像特征将包括空间上组织为几何实体的一组像素，其相对于背景具有足够的区分特性(例如对比度)，以便可识别并且可与背景区分。例如，存在于车辆10的环境中并且可从图像传感器102看到的对象可与背景可分辨。将特征定义为特征的精确参数可取决于特征提取器106的具体实施。图像特征可被识别为单个图像帧中的特征，并且其可成为在多个图像上被跟踪的特征。

特征跟踪器104和特征提取器106各自被配置为处理从图像传感器102接收的上述图像帧。特征提取器106处理图像帧以识别与图像特征具有足够的区分特性相关性的像素集合，以有资格作为特征跟踪器104在一系列图像帧上跟踪的潜在可跟踪特征。

考虑到图像特征在第一图像帧中的位置，特征跟踪器104被配置为估计(例如，预测)跟踪图像特征应该出现在后续图像系列中的位置，给定车辆10在干预时间内行进的距离和方向。已阅读本公开以实现特征提取器106的本领域的技术人员将知道多种特征提取算法。此类实例包括但不限于取向FAST和旋转BRIEF(ORB)算法，标度非变体特征变换(SIFT)算法，和加速Robust特征(SURF)算法，以及基于“数据驱动”ML模型的方法。

特征提取器106被配置为从每个图像帧提取至少一个图像特征。在一些实施方案中，特征提取器106可从帧中提取任何任意数量N的特征。图像特征可通过任何已知的方法来识别，诸如图像的随机搜索或群搜索。在一些实施方案中，特征提取器106考虑从导航滤波器108传输的车辆的运动学特性，以确定应当提取图像帧中出现的哪些图像特征。例如，当车辆10在未改变方向上直线移动时，特征提取器106可将较高的权重放置在图像帧的中心中的特征上，并且对可用特征朝向图像帧的边缘的权重较小。车辆的运动特性或运动状态可包括参数，诸如但不限于三维位置，三维速度，三维加速度，倾斜，偏航，以及与车辆动态相关的任何其他物理特性。

特征跟踪器104被配置为生成和存储跟踪特征的特征跟踪。每个特征跟踪包括与所提取的图像特征在一段时间内的位置和其他特征相关的一组信息。例如，特征跟踪可包括与显现在一系列图像帧中的所提取的图像特征相关联的一组坐标。可包括在特征跟踪中的其他信息可包括但不限于图像特征的相对光度和/或颜色，所跟踪特征的估计速度，或者如果被跟踪特征从后续图像消失，则不能识别跟踪特征的后续图像帧的数量。在一些实施方案中，相关联的跟踪特征的特征跟踪可被存储在存储器116中并由视觉辅助导航系统100内的其他部件(包括特征提取器，导航滤波器108和动态局部参数调节器110)访问。

在一些实施方案中，跟踪对象的特征跟踪可包括特征矢量，该特征矢量指示特征相对于车辆的相对运动并且可包括特征的预测运动。特征矢量可包括单独跟踪特征的移动，车辆相对于特征的运动，或这两者的组合的近似值。特征向量可包含特征的估计位置的平均值和方差。特征的估计位置的平均值和方差可映射到图像中的界限区域。在一些实施方案中，特征矢量可用于估计后续图像中的至少一个特征的位置。在一些实施方案中，特征矢量的量值可用于确定与后续图像帧上的跟踪图像相关联的界限区或界限区域的大小，如下文进一步讨论。

特征跟踪器104可被配置为基于对象的属性来确定预先确定的一组对象的优先级。优先级划分可在指定的运行时(动态优先级)上自行确定和/或确定。例如，在一个实施方案中，特征跟踪器104被配置为对静止对象(即建筑物，树木或停放汽车)进行优先级划分。当特征跟踪器104跟踪与独立于车辆10移动的对象(即，另一个移动车辆)相关联的特征时，该特征对于确定车辆10的未来位置在本质上不那么有价值，因为对象的运动与车辆无关。例如，如果特征跟踪器104跟踪以与车辆10相同速度和相同方向行进的另一车辆上的特征，则在比较后续图像帧时该特征将呈现为静止的。如果特征跟踪器104确定跟踪特征独立于车辆10移动，则该特征可作为跟踪特征移除。在一些情况下，独立于车辆10移动的对象更有可能快速离开成像设备102的视场。因此，与静止特征相比，这些移动特征向导航系统100提供较少的信息。特征被跟踪的时间越长，该特征变得对导航系统更有价值，因为通常预测特征定位变得更准确。随着车辆移动并且随着时间的推移预测和测量特征位置，还可选择特征以最小化精度的贫化(DOP)，通过选择相关特征或添加新信息来最小化计算时间，并且通过选择提供最佳几何形状的特征来改善车辆运动状态的估计统计。预测特征位置允许在图像的特定区域上的集中和图像参数的调节，以在图像的那些区域中查找特征。区域可被限定为使得区域的中心为预测特征定位的平均值，并且区域的形状诸如椭圆可来源于估计特征位置的协方差。

特征跟踪器104将被跟踪的图像特征的预测定位发送至特征提取器106。特征提取器106然后在与每个被跟踪图像特征相关联的界限区域内搜索那些图像特征。在一些示例中，特征提取器搜索相同类型的特征。在其他示例中，特征提取器106搜索所包围的界限区域内的任何特征。特征跟踪器104尝试在当前图像帧中定位在一个或多个先前图像帧中出现的跟踪特征。特征跟踪器104使用先前帧和来自先前帧的至少一个特征的定位以在后续帧中定位该特征。特征跟踪器104可使用与特征相关联的特征跟踪来估计所跟踪特征的预测定位。例如，在一个实施方案中，特征跟踪器104在围绕特征的预测定位的区域的当前图像帧内搜索图像特征。如果找到该特征，则特征跟踪器104更新该特征在存储器116中该特征的特征跟踪中的定位。在一个实施方案中，当在所搜索区域内识别提取特征时，特征跟踪器104确定该特征是否与来自先前图像的跟踪特征的相同特征。

在图1所示的实例中，导航滤波器108联接到特征跟踪器104。在一些实施方案中，导航滤波器108还联接到惯性测量单元(IMU)118和/或全球导航卫星系统(GNSS)接收器120和/或其他导航传感器。在一些实施方案中，导航滤波器108从特征跟踪器104接收对应于由特征跟踪器104跟踪的一个或多个图像特征的特征跟踪。导航滤波器108使用这些特征跟踪来帮助预测导航解决方案(例如，车辆10的位置和速度)。在一些实施方案中，导航滤波器108可使用卡尔曼滤波器或其他贝叶斯算法来实现。基于跟踪特征在所预测的图像帧中出现(或缺失)的位置，导航滤波器108生成残余的或错误状态的矢量。残余向量的低标准指示跟踪特征大约在期望的位置出现在图像帧中，这意味着导航滤波器对车辆10的速度和位置的估计(例如，根据IMU 118和/或GNSS接收器120测量计算的)可能是准确的。当跟踪特征的位置偏离图像帧中的预期定位时，由导航滤波器108生成的残余矢量的标准将增加，这除其他外可能意味着导航滤波器对车辆10的位置和速度的估计(由IMU 118和/或GNSS接收器120测量计算)不准确。

在一些实施方案中，导航滤波器108还向特征跟踪器104和/或特征提取器106提供反馈。该反馈可包括车辆运动状态(例如，位置和速度)的统计学的近似值。在一些实施方案中，特征提取器106使用来自导航滤波器108的反馈来更精确地查找和提取图像帧内的特征。在一些实施方案中，导航滤波器108向特征跟踪器104提供车辆运动状态(例如，位置和速度)的统计学的近似值。在一些实施方案中，特征跟踪器104可在预测跟踪特征的定位时使用车辆的运动状态的估计统计。

如上所述，利用本公开的实施方案，当先前图像帧中出现的跟踪特征意外地不再能够从后续图像帧中识别或提取时，图像增强技术被应用于预测要在其中显示所跟踪特征的图像的区域。

在一些实施方案中，特征跟踪器围绕包括预测每个被跟踪特征出现的定位(即，预测图像特征定位)的区域在图像帧中限定界限区域。即，界限区域限定图像帧内的局部区域，其中基于对来自一个或多个先前图像帧的图像特征的跟踪，期望出现图像特征。在一些实施方案中，特征跟踪器104所施加的界限区域的尺寸和/或形状可为固定的或预定义的。在其他实施方案中，可根据图像特征的预测定位中的估计置信度或协方差动态计算界限区域的尺寸和/或形状。在预测定位的置信度较高的情况下(估计定位的方差较低)，与预测定位中的置信度低(估计定位的方差高)相比，界限区域的面积可相对较小。在其他实施方案中，其他车辆动态可影响界限区域的尺寸，诸如车辆速度和/或速度，加速度或振动(例如，较小的界限区域可用于以较慢速度行进的车辆，并且较大的界限区域可用于以更快速度行进的车辆)。界限区域不必限于任何特定形状，但可使用任何规则或不规则几何形状(例如，正方形，三角形，椭圆形等)来限定。对于至少一些实施方案，该界限区域限定可由动态局部参数调节器110操纵的像素集合。

在一些实施方案中，当跟踪特征无法在预期出现该特征的界限区域内容易地识别时，动态局部参数调节器110执行并向与丢失的跟踪特征相关联的界限区域应用一个或多个图像增强滤波器(例如，用于调整亮度，对比度，色调或其他图像参数)，以尝试使该特征足够可见，使得该特征可被特征提取器106识别和提取和/或由特征跟踪器104跟踪。

如果特征提取器106无法识别所跟踪的特征，则动态局部参数调节器110调节与缺失图像特征相关联的界限区域中的图像的参数。如果先前迭代未产生足够可见的特征，则可用不同参数多次重复该过程。可通过施加图像校正滤光器来调节的图像的参数可包括例如光度，对比度，色调，饱和度，γ，或施加其他图像校正滤光器以增加界限区域内的图像参数。一旦图像参数已被增强，特征提取器106就再次搜索界限区域以确定丢失的跟踪特征现在是否可从图像帧提取。如果是这样，则可将跟踪特征的定位添加至特征跟踪并提供给特征跟踪器104以用于如上所述的处理。

图2A，图2B和图2C示出了视觉辅助导航系统100对图像帧的处理，以便增强视觉辅助导航的车辆100在环境条件变化时跟踪图像特征的能力。图2A，图2B和图2C中的每个图像表示当车辆10运动时由图像传感器102捕获的图像帧。

图2A在图像帧200a，200b和200c中示出了在最佳照明条件下的视觉辅助导航系统100的操作。200b和200c用于对比图2B和图2C中的图像帧201a和201b，其中在不同环境条件下显示相同图像帧。例如，更明亮的照明可洗掉图像帧201a和201b，使得比图像帧200b和200c更难以识别特征。

从图2A中的图像帧200a开始，该图像帧200a描绘在标称环境条件下捕获的图像。在该示例中，在图像帧中已识别出有限数量的图像特征(在202处示出)以供特征提取器106提取。这些提取的特征202来自具有可识别特征的图像的点。在具体实例200a中，可识别提取特征202包括建筑物拐角，树梢，混凝土角，标志角和汽车前照灯，作为围绕车辆10存在的对象的实例，所述对象可为适合用作跟踪特征的图像特征。特征提取器106可被配置为从图像帧提取特征202，直到已提取指定数量的特征或提取特征一段预选的持续时间。

图像帧200b示出了在图像帧200a之后捕获的图像。在该图像帧200b中，特征提取器106再次尝试提取先前识别的特征，这些特征现在被表示为跟踪特征204。在该实例中，特征提取器106能够跟踪和提取建筑物拐角，树梢和前照灯。这些跟踪特征204出现并在围绕由特征跟踪器104预测的定位的界限区域(其示例在214处示出)内可提取。因此，特征跟踪器104将用这些已识别的图像特征中的每一个的更新位置来更新这些特征204的相关联特征跟踪。然而，如208处所示，在图像帧200a中先前识别的两个提取特征202现在被认为是丢失特征，因为它们不再能够被识别并从图像帧200b中提取。在这种情况下，图像帧200b中的两个丢失的特征208不再可见，这可能是由于诸如在符号拐角中的阻碍，或由于特征离开图像帧，如在混凝土的拐角中，或出于另一个原因。在一些实施方案中，特征提取器106可决定识别并提取两个附加图像特征(在206处所示)以替换丢失的特征208(例如，用于替换第一标志拐角的第二标志拐角，以及用于替换混凝土拐角的汽车轮胎)。

图2A中的图像帧200c还示出了在图像帧200b之后捕获的另一个图像帧。在该图像200c中，特征提取器106识别并提取存在于帧200b中的先前识别的特征204。这些跟踪特征204出现并在围绕由特征跟踪器104预测的定位的界限区域(其示例在216处示出)内可提取。在图像帧200b中先前跟踪的特征中的两个现在是图像帧200c中的丢失特征208。在该实例中，丢失的特征208仍在帧中，但由于其邻近图像帧的边缘，以及更合适的特征206的可用性作为特征被而被特征提取器106移除。

在图2B中，在200a处所示的图像帧与图2A中所示的相同。图像帧201a和201b示出了随后捕获的图像帧，其中环境条件已改变，使得在图像帧200a中可清楚识别的一个或多个提取特征202不再能够被充分识别用于提取。

例如，在图像帧201a中，特征提取器106尝试提取先前识别的特征202。在帧201a中保持可提取的那些图像特征202现在被表示为跟踪特征204。然而，已发生环境条件的不利变化，这阻碍了对这些先前跟踪的特征202中的一者或多者的持续跟踪。环境条件的不利变化可包括(例如)由于反射，眩光，阴影，云覆盖，太阳的落山，雨，雪，雾或其他环境因素引起的照明变化。例如，预期在定位210处出现的若干先前跟踪的图像特征已经变得不可被特征提取器106检测到(例如，由于照明条件的变化)。在该具体实例中，围绕图像特征210的界限区域214，216已变得太饱和而无法识别图像特征。预期但不可检测的特征定位210的一个示例位于树梢，其中图像特征已被有效地与背景天空区分开。相似地，汽车的前照灯在定位210处变为不可检测的特征，其中它与汽车的白色主体不可分辨。在标称条件下，定位210处的这些图像特征应该仍可被特征提取器106识别和提取，因为图像特征仍显示在图像传感器102的视场中并且不被居间对象阻挡，但在捕获时保持不可从图像中提取。

图2B中的图像帧201b示出了在图像帧201a之后捕获的图像。该示例性图像帧201b示出了照明条件的变化如何也可使得位于图像帧的大部分内的图像特征不可分辨，以用于搜索和提取特征。例如，由于照明条件，图像帧201b中大约216处的天空被洗掉。如果不是由于照明条件的不利变化，则天空中的几个潜在的可跟踪图像特征将是可见的。

如上所述，利用本公开的实施方案，当所跟踪的特征不再出现在期望的位置时，图像增强技术被应用于图像的区域，在该区域中，跟踪特征被预测为在该区域出现。图2C示出了通过动态局部参数调节器110将这些增强应用到图像帧201a和201b上。

在图2C中，图像帧200a再次描绘在标称环境条件下捕获的图像。然而，在图2C中，来自图2B的图像帧201a和201b现在已由如上所述的动态局部参数调节器110处理，以增强特征提取器106识别和提取先前不可检测特征210的能力。

图2C所示的界限区域214，215和216限定图像帧201a，201b内的区域，其中特征提取器106期望相关联的跟踪特征204基于其先前的特征跟踪以及车辆10在捕获先前图像帧后到达新位置和角度取向的运动而出现在其中。在一些实施方案中，这些界限区域214，215和216还用于定义所捕获的图像帧的子部分，其中动态局部参数调节器110调节一个或多个图像特征以尝试将缺失图像特征区分到足以使特征提取器106再次能够提取它们的程度。

例如，在图像帧200a中，将树梢(在220处所示)提取为图像特征202。在后续图像帧201a中，由于照明条件的改变，最初不再识别220处的树梢，如图2B所示。在图2C中，已经调整了在220处围绕树梢的界限区域214的一个或多个图像参数，从而允许图像特征现在是图像帧201a内的已识别，提取和跟踪的图像204。在图像帧201b中，界限区域216小于先前图像帧201a中的界限区域214，因为可更准确地确定图像特征202的位置。可以多种方式增加识别模糊特征的成功率，包括但不限于特征跟踪的持续时间，图像帧中的特征位置的一致性，特征在先前图像帧中对移动车辆的相对运动，或特征的像素之间的对比度。又如，将类似的增强施加到界限区域215至不可检测的特征210(如221处所示的汽车的前照灯)。

在图像帧201a之后捕获的来自201b的图像中，用于在220处增强树梢的界限区域216现在小于用于图像帧201a中的同一特征的界限区域214。如上所述，在一些实施方案中，可根据许多因素来确定界限区域的尺寸。例如，在图像201b中，被识别为图像帧200a中的图像特征202的树梢在图像帧之间不会大大改变位置。因此，界限区域216可基于特征位置的增加的置信度和/或特征的估计定位的减小的方差而变小。在其他具体实施中，界限区域216可较小，因为220处的树梢已被特征提取器104分类为静态对象和/或由于车辆10的速度相对于树梢减小。

图3示出了用于视觉辅助导航的方法300的示例性实施方案。应当理解，本文相对于图3所示的方法和附图描述的特征和元件可与本文所讨论的任何其他实施方案的元件结合使用，结合或取代，反之亦然。此外，应当理解，与图3的实施方案相关联的元件的功能，结构和其他描述可适用于任何附图和实施方案的类似命名或描述的元件，反之亦然。

在一些实施方案中，方法300可通过视觉辅助导航系统100的一个或多个部件作为一种或多种算法来执行。另外，在一些实施方案中，方法300使用参考来自该方法的先前迭代的信息作为迭代过程来执行。因此，应当理解，可使用不同的标识符来描述在迭代过程中的不同点处的同一条信息。相反，应当理解，一个标识符可用于描述迭代过程中的不同点处的不同信息。

方法300从302开始，接收第一图像帧。在一些实施方案中，图像传感器设备从周围环境收集视觉信息并产生图像帧的流输出。在一些实施方案中，图像帧是二维像素化图像，其中图像帧的像素可经由坐标识别并且可相对于先前或后续图像帧被引用。在其他实施方案中，图像帧可以其他方式表示特征，诸如通过矢量坐标。

方法300前进至304，从第一图像帧中提取一个或多个图像特征。在304处提取的图像特征是特征，其具有相对于其背景的特征，使得其作为存在于车辆10的环境中的对象可识别并且与其背景可区分。在一些示例中，可使用特征提取算法，例如ORB，SIFT，SURF或另一特征提取算法。一旦识别了图像特征，就从图像中提取图像特征。提取图像特征包括将图像帧的区域识别为潜在图像特征，将该区域标记为图像特征，以及将图像特征添加至图像特征的存储列表。在一些实施方案中，可重复该步骤，直到已提取所有可能的图像特征。在其他实施方案中，该步骤重复，直到存储在列表中的图像特征的数量等于预先确定数量的图像特征或预先设定的持续时间。

方法300前进至306，接收到第二图像帧。在302处捕获第一图像之后的时间点从图像传感器设备接收第二图像。

例如，第二图像应当在一定时间段内被捕获，使得在给定车辆的运动速率和方向的情况下，仍可预期在第一图像中提取的特征出现在第二图像中。

该方法前进到308，估计第一图像帧中的图像帧中在第二图像特征中的位置。提取的图像特征具有相关联的特征跟踪，该特征跟踪包含图像特征的位置以及特征的位置的平均值和方差在先前图像帧中的列表。特征跟踪可用于基于图像传感器设备的相对运动和图像帧之间的图像特征来估计图像特征的位置统计，从而可在第二帧中预测图像特征的位置统计。在一些示例中，特征跟踪与车辆的估计运动状态一起使用，以基于车辆相对于先前图像帧中的图像特征的运动和位置来预测图像特征的位置统计。在一些示例中，图像特征的位置被估计为在界限区域的区域内，如上所述。该界限区域是根据特征跟踪的估计统计和车辆的运动状态预测图像特征位于其中的区域。

该方法前进至310，在围绕每个图像特征的估计位置的界限区域内搜索第二图像帧中的特征。由于每个特征具有某些特性，因此这些特性可用于确定所识别的特征是否为图像特征。

该方法前进到312，确定预期图像特征是否已在界限区域内被识别。如果在接近区域内已识别图像特征，则过程继续进行到316。如果未在界限区域内识别图像特征，则过程前进到314，调节界限区域内的图像的参数。

在314处，该方法包括在围绕特征的估计位置的界限区域内调节图像的参数。图像帧具有可调节或增强的某些固有参数，例如亮度，对比度和γ。可增强界限区域的参数，像图像帧的参数一样。在一些实施方案中，所述界定区域具有固定的尺寸和形状，对于每个特征而言是一致的。在其他实施方案中，可动态调节界限区域的尺寸和形状。有若干因素可有助于对界限区域进行动态调节，包括特征在图像帧内的位置，特征在多个图像帧内的相对运动，以及来自导航滤波器的反馈。特征在图像帧内的位置可受到车辆的预期运动的影响。例如，当车辆在恒定的方向上以恒定的速度移动时，图像帧中间的特征比图像帧边缘上的特征更有可能移动较少的像素。类似地，如果特征在连续图像帧之间具有相对较大的定位变化，则该特征更有可能改变后续图像帧中的位置。

该方法前进到316，更新图像特征的特征跟踪。当在界限区域内识别图像特征时，将图像特征的位置添加至特征跟踪。此外，特征跟踪被更新为包括对图像特征的相对于先前图像帧的相对运动的跟踪。如果在接近区域内找不到图像特征，则对应的特征跟踪被移除，并且图像特征不再位于跟踪图像特征的当前列表中。

在一些实施方案中，如果在尝试调整图像的多个迭代之后尚未识别特征，则该过程可继续到316，图像特征从图像特征列表中移除。可能找不到图像特征有多种原因。图像特征可能被图像帧中的另一对象遮挡。图像特征可在界限区域之外。同样，图像特征可能只是完全离开图像帧。如果在此步骤中移除了图像特征，则在后续迭代中提取新特征以替换所移除的特征。在一些实施方案中，提取的特征的数量不是恒定的，并且可以在任何给定迭代中跟踪更多或更少的特征。

同样，导航滤波器可提供反馈以影响界限区域。如318中所讨论的，导航滤波器接收与每个滤波器相关联的特征跟踪。导航滤波器或单独的系统可以使用特征跟踪来估计车辆的位置和速度统计信息。车辆的估计位置和速度统计信息可用于估计特征的位置统计信息。

该方法继续到318，将更新的特征跟踪提供至导航滤波器。一旦已识别出必要数量的跟踪特征并且更新了其特征跟踪，则将所跟踪特征的最新位置统计信息和特征跟踪作为用于计算用于车辆的导航解决方案的导航辅助提供给导航滤波器。更新的特征跟踪用于估计车辆的位置和速度统计信息。

示例性实施方案

实施例1包括视觉辅助导航系统，所述系统包括：至少一个图像传感器，其中所述至少一个图像传感器被配置为产生周围环境的多个图像帧；特征提取器，所述特征提取器联接到所述至少一个图像传感器，其中所述特征提取器被配置为从由所述至少一个图像传感器捕获的所述多个图像帧中的第一个图像帧提取至少一个图像特征；导航滤波器，所述导航滤波器被配置为基于来自至少一个导航设备的导航数据的输入并且还基于多个图像中的所述至少一个图像特征的位置的变化来输出导航解决方案；特征跟踪器，所述特征跟踪器被配置为接收所述多个图像帧并且被配置为预测所述至少一个图像特征在由所述至少一个图像传感器拍摄的至少一个后续图像帧中的定位；动态局部参数调节器，所述动态局部参数调节器被配置为调节所述至少一个后续图像帧的至少一个图像参数；并且其中所述特征跟踪器被配置为使得当所述至少一个图像特征在所述至少一个后续图像帧中不能在围绕预测定位的界限区域内被识别时，所述动态局部参数调节器调节所述界限区域内的所述至少一个图像参数。

实施例2包括实施例1的系统，其中所述至少一个图像参数包括亮度，对比度和γ中的至少一者。

实施例3包括根据实施例1-2中任一项所述的系统，其中所述至少一个导航设备包括惯性测量单元或全局导航卫星系统接收器中的至少一者。

实施例4包括实施例1-3至中任一项所述的系统，还包括联接至存储器的处理器，其中特征提取器，特征跟踪器，动态局部参数调节器或导航滤波器中的至少一者由处理器执行。

实施例5包括实施例4的系统，其中所述多个图像帧存储在存储器中。

实施例6包括根据实施例4-5中任一项所述的系统，其中特征跟踪与所述至少一个图像特征相关联，其中特征跟踪包括所述至少一个图像特征在所述多个图像中的每一个中的定位，并且其中所述特征跟踪存储在所述存储器中。

实施例7包括实施例6的系统，其中在动态局部参数调节器调节至少一个图像参数之后，当在后续图像中无法识别所述至少一个图像特征时，从存储器中删除所述至少一个图像特征的特征跟踪，并且提取至少一个新图像特征以替换所述至少一个图像特征。

实施例8包括根据实施例1-7中任一项所述的系统，其中基于以下中的至少一者原因，所述界限区域可以是预定义区域或动态调整的区域：所述至少一个后续图像帧中的所述至少一个图像特征的预测定位；来自所述导航滤波器的反馈；或所述至少一个图像特征在所述多个图像帧中的位置的变化。

实施例9包括根据实施例6-7中任一项所述的系统，其中所述界限区域包括如下区域中的一者或多者所确定的区域：特征跟踪，所述至少一个图像特征的定位，所述图像特征位置的预测定位的方差，以及所述多个图像帧中所述至少一个图像特征的定位的变化。

实施例10包括实施例1-9至中任一项所述的系统，其中所述导航解决方案用于车辆，所述车辆包括汽车，飞机，适航船只，火车，垂直起飞和着陆车辆，或潜水车辆中的一者。

实施例11包括根据实施例1-10至中任一项所述的系统，其中特征跟踪器被配置为根据第一图像帧中的至少一个图像特征的定位和由导航滤波器估计的导航解决方案的变化来预测所述多个图像帧中的至少一个图像特征的定位。

实施例12包括用于视觉辅助导航系统的方法，该方法包括：接收第一图像帧；从所述第一图像帧中提取至少一个图像特征；接收第二图像帧；估计所述至少一个图像特征在所述第二图像帧中的定位；在围绕所述至少一个图像特征的所述估计定位的界限区域内搜索所述至少一个图像特征；所述至少一个图像特征不能被识别，调节围绕所述至少一个图像特征的所述估计定位的所述界限区域内的至少一个图像参数；更新与所述至少一个图像特征相关联的特征跟踪；以及将所述特征跟踪提供至导航滤波器。

实施例13包括实施例12的方法，其中特征跟踪包括所述多个图像帧中的每一个中的所述至少一个特征的定位。

实施例14包括根据实施例12-13中任一项所述的系统，其中基于以下中的至少一者的原因，该界限区域可为预定义区域或者动态调节区域：所述第二后续图像帧中的所述至少一个特征的定位；来自所述导航滤波器的反馈；或特征在多个图像帧中的定位的变化。

实施例15包括实施例12-14的方法，其中所述至少一个图像参数包括亮度，对比度和γ中的至少一者。

实施例16包括根据实施例12-15中任一项所述的方法，其中当在已调节所述至少一个图像参数之后不能识别所述至少一个图像特征时，移除与所述至少一个图像特征相关联的所述特征跟踪并提取至少一个新图像特征。

实施例17包括根据实施例12-16中任一项所述的方法，还包括从与所述至少一个图像特征相关联的特征跟踪确定位置和速度。

实施例18包括视觉辅助导航系统，所述系统包括：联接至存储器的处理器，其中所述处理器执行代码以实现：联接至至少一个图像传感器的特征提取器，其中所述至少一个图像传感器输出捕获周围环境的多个图像帧，其中所述特征提取器被配置为从由所述至少一个图像传感器采集的所述多个图像帧的第一图像帧提取至少一个图像特征；特征跟踪器，所述特征跟踪器被配置为基于所述至少一个图像特征在第一图像帧中的定位和通过导航滤波器估计的导航解决方案，预测来自所述至少一个图像传感器捕获的多个图像帧的所述至少一个图像特征在所述第二图像帧中的定位，并且所述导航滤波器被配置为基于至少一个导航设备的导航数据的输入以及来自所述第一图像帧和所述第二图像帧之间的所述至少一个图像特征的所述定位来估计所述导航解决方案；以及动态局部参数调节器，所述动态局部参数调节器被配置为调节所述第二图像帧的至少一个图像参数；并且其中所述特征跟踪器被配置为使得当所述至少一个图像特征在所述第二图像帧中不能在围绕所述预测定位的界限区域内被识别时，所述动态局部参数调节器调节所述界限区域内的所述至少一个图像参数。

实施例19包括实施例18的系统，其中所述至少一个图像参数包括亮度，对比度和γ中的至少一者。

实施例20包括根据实施例18-19中任一项所述的系统，其中特征跟踪与所述至少一个图像特征相关联，其中特征跟踪包括所述至少一个特征在所述多个图像帧中的每一个中的定位，并且其中所述特征跟踪提供作为导航滤波器的输入。

在各种替代实施方案中，本公开全文描述的系统和/或设备元件、方法步骤或示例性具体实施(例如，诸如视觉辅助导航系统中的任一个，或其任一个的子部件)可至少部分地使用一个或多个计算机系统、现场可编程门阵列(FPGA)或类似设备来实施，所述类似设备包括联接到存储器并执行代码以实现那些元件、步骤、过程或实施例的处理器，所述代码存储在非暂态硬件数据存储设备上。因此，本公开的其他实施方案可以包括包含驻留在计算机可读介质上的程序指令的元件，当由此类计算机系统实现时，这些程序指令使得元件能够实现本文所述实施方案。如本文所用，术语“计算机可读介质”是指具有非暂态物理形式的有形存储器存储设备。此类非暂态物理形式可以包括计算机存储器设备，诸如但不限于穿孔卡、磁盘或磁带、任何光学数据存储系统、闪存只读存储器(ROM)、非易失性ROM、可编程ROM(PROM)、可擦除可编程ROM(E-PROM)、随机存取存储器(RAM)或任何其他形式的永久、半永久或临时存储器存储系统或具有物理、有形形式的设备。程序指令包括但不限于由计算机系统处理器执行的计算机可执行指令和硬件描述语言诸如超高速集成电路(VHSIC)硬件描述语言(VHDL)。

如本文所用，术语诸如“处理器”、“图像传感器”、“导航单元”、“惯性测量单元”、“GNSS接收器”，各自是指本领域技术人员将认识和理解的导航系统的非通用设备元件，并且在本文中不用作用于调用35USC 112(f)目的的临时词或临时术语。

尽管本文已说明和描述了特定实施方案，但本领域的普通技术人员将认识到，经计算以实现相同目的的任何布置可替代所展示的特定实施方案。因此，显而易见的是，本发明仅受权利要求书以及其等同物所限制。

Claims (4)

1.一种视觉辅助导航系统，所述系统包括：

至少一个图像传感器，其中所述至少一个图像传感器被配置为产生周围环境的多个图像帧；

特征提取器，所述特征提取器联接到所述至少一个图像传感器，其中所述特征提取器被配置为从由所述至少一个图像传感器捕获的所述多个图像帧中的第一个图像帧提取至少一个图像特征；

导航滤波器，所述导航滤波器被配置为基于来自至少一个导航设备的导航数据的输入并且还基于多个图像帧中的所述至少一个图像特征的位置的变化来输出导航解决方案；

特征跟踪器，所述特征跟踪器被配置为接收所述多个图像帧并且被配置为预测所述至少一个图像特征在由所述至少一个图像传感器拍摄的至少一个后续图像帧中的定位；并且

动态局部参数调节器，所述动态局部参数调节器被配置为调节所述至少一个后续图像帧的至少一个图像参数；

其中特征跟踪与所述至少一个图像特征相关联，其中所述特征跟踪包括在所述多个图像帧中的每一个图像帧中的所述至少一个图像特征的位置，并且其中所述特征跟踪被存储在存储器中；

其中所述特征跟踪器被配置为使得当所述至少一个图像特征在所述至少一个后续图像帧中不能在围绕预测定位的界限区域内被识别时，所述动态局部参数调节器调节所述界限区域内的所述至少一个图像参数；

其中当在所述动态局部参数调节器调节所述至少一个图像参数之后在所述后续图像中不能识别所述至少一个图像特征时，则从所述存储器中删除所述至少一个图像特征的特征轨迹，并且提取至少一个新的图像特征以替换所述至少一个图像特征。

2.根据权利要求1所述的系统，其中所述至少一个图像参数包括亮度，对比度和γ中的至少一者。

3.一种用于视觉辅助导航系统的方法，所述方法包括：

接收第一图像帧；

从所述第一图像帧提取至少一个图像特征；

接收第二图像帧；

估计所述至少一个图像特征在所述第二图像帧中的定位；

在围绕所述至少一个图像特征的所述估计定位的界限区域内搜索所述至少一个图像特征；

当所述至少一个图像特征不能被识别时，调节围绕所述至少一个图像特征的所述估计定位的所述界限区域内的至少一个图像参数；

更新与所述至少一个图像特征相关联的特征跟踪；以及

将所述特征跟踪提供至导航滤波器；

其中所述特征跟踪包括在所述图像帧中的所述至少一个图像特征的位置，并且其中所述特征跟踪被存储在存储器中；

其中所述特征跟踪器被配置为使得当所述至少一个图像特征在所述至少一个后续图像帧中不能在围绕预测定位的界限区域内被识别时，动态局部参数调节器调节所述界限区域内的所述至少一个图像参数；

其中当在所述动态局部参数调节器调节所述至少一个图像参数之后在所述后续图像中不能识别所述至少一个图像特征时，则从所述存储器中删除所述至少一个图像特征的特征轨迹，并且提取至少一个新的图像特征以替换所述至少一个图像特征。

4.根据权利要求3所述的方法，其中所述至少一个图像参数包括亮度，对比度和γ中的至少一者。