CN110402368A - 用在交通工具导航中的集成式的基于视觉的惯性传感器系统 - Google Patents

用在交通工具导航中的集成式的基于视觉的惯性传感器系统 Download PDF

Info

Publication number
CN110402368A
CN110402368A CN201880017297.9A CN201880017297A CN110402368A CN 110402368 A CN110402368 A CN 110402368A CN 201880017297 A CN201880017297 A CN 201880017297A CN 110402368 A CN110402368 A CN 110402368A
Authority
CN
China
Prior art keywords
navigation
navigation system
speed
access control
control model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880017297.9A
Other languages
English (en)
Other versions
CN110402368B (zh
Inventor
G·C·拜斯特
彼得·范·威克·卢米斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trimble AB
Original Assignee
Trimble AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trimble AB filed Critical Trimble AB
Publication of CN110402368A publication Critical patent/CN110402368A/zh
Application granted granted Critical
Publication of CN110402368B publication Critical patent/CN110402368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C23/00—Combined instruments indicating more than one navigational value, e.g. for aircraft; Combined measuring devices for measuring two or more variables of movement, e.g. distance, speed or acceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60—Intended control result
    • G05D1/69—Coordinated control of the position or course of two or more vehicles
    • G05D1/695—Coordinated control of the position or course of two or more vehicles for maintaining a fixed relative position of the vehicles, e.g. for convoy travelling or formation flight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种导航系统将速度和航向以及其它导航数据提供给移动体的驱动系统以在空间中导航，该移动体例如交通工具主体或移动机器人。该导航系统将惯性导航系统(例如基于惯性测量单元(IMU)的系统)与基于视觉的导航系统单元或系统集成在一起，从而该惯性导航系统可以提供实时导航数据以及该基于视觉的导航系统可以提供周期性的准确导航数据，该周期性的准确导航数据用于校正惯性导航系统的输出。设计该导航系统的目的是提供惯性数据和视频数据的低工作量集成。在新导航系统中使用的方法和设备解决了与高准确度的航位推测系统(诸如典型的基于视觉的导航系统)相关联的问题并利用低成本IMU提高了性能。

Description

用在交通工具导航中的集成式的基于视觉的惯性传感器系统
相关申请的交叉引用
本申请要求在2017年3月14日递交的美国临时申请No.62/471,200的权益，该美国临时申请的全部内容通过引用并入在本文中。
背景技术
1.发明领域
本说明书总体涉及用于用在移动体(诸如汽车和其它交通工具、移动机器人、手持设备等)中的基于视觉的导航(或定位)系统。更具体地，本说明书针对于一种用于移动体(诸如交通工具)的导航系统，该导航系统组合基于计算机视觉的导航系统(或也被称为视频导航系统)的输出以有效地评估交通工具或其它移动体的当前速度(或速率)和/或航向。
2.相关背景
对于交通工具包括基于视觉的定位或导航系统来说变得越来越普遍，这些系统用于促进交通工具的无人驾驶或自动导航并为交通工具的人类飞行员或驾驶员提供辅助。例如，可以在汽车(或其它交通工具，诸如无人驾驶飞行器(Unmanned Aerial Vehicle，UAV)等)上提供基于视觉的导航系统，以及该基于视觉的导航系统可以包括一个或多个照相机，该一个或多个照相机用于捕获图像帧，该图像帧被处理以提供交通工具的当前速度和航向以及交通工具的当前位置的评估。可以将基于视觉的导航系统的输出提供给驾驶员以辅助导航或提供给驱动系统以允许自动交通工具在交通中导航和/或在自动交通工具朝向限定的目的地移动时避开障碍物。
为了在交通工具中更广泛地采用基于视觉的导航系统，存在需要解决的大量操作性挑战。基于计算机视觉的定位系统能够测量三个平移维度以及三个旋转维度，这允许该系统提供有用的导航信息，包括交通工具的位置、速度和航向。然而，基于视觉的定位系统的一个限制是计算包括交通工具的当前速度的结果所需的计算工作量。即使利用台式机类型的硬件，可能也难以或不可能近乎实时地运行基于视觉的定位系统，而近乎实时地运行基于视觉的定位系统对于交通工具的导航来说是需要的或至少是期望的。
与基于视觉的导航系统相关联的另一问题是信息损失。滚动快门和全局快门是用于在基于视觉的导航系统中的图像捕获的图像传感器(或照相机)的两种基础架构。全局快门传感器一次曝光整帧，然后记录该整帧或读出该整帧。滚动快门传感器使沿着传感器逐行曝光的开始时间和结束时间交错，这形成其中在略微不同的时间捕获各行的图像。滚动快门的益处在于，它需要较小的半导体区域来实现，因此比全局快门架构更便宜。
然而，使用滚动快门传感器的挑战在于，当在场景或照相机中存在移动(或二者都在移动)时，图像数据缺少跨行的空间相干性。例如，静止的滚动快门传感器可以用于捕获正滚动的火车(或其它交通工具)的图像。由于每一行都是在不同时间捕获的，并且对于每一行而言，火车在不同的位置，因此捕获的图像给出火车错切的外观(背离行驶方向倾斜，而非竖直的)。在另一示例中，可以使用移动照相机捕获周围空间的图像，该周围空间可以包括城市的天际线。在这种情况下，当捕获各行时，照相机在不同的位置，使得天际线将出现倾斜。在又一示例中，可以使用相对静止的照相机捕获旋转的飞机螺旋桨的图像。在这种情况下，螺旋桨的旋转速度相对于逐行捕获速率来说足够快，使得在捕获的图像中的螺旋桨叶片显示严重失真，以及在一些情况下，该失真如此之大使得叶片看起来与轮毂断开。因此，滚动快门信息损失对基于计算机视觉的导航算法的影响可能是毁灭性的。具体地，对于移动中的基于视觉的评估，该算法需要理解图像的不同部分之间的几何关系，且当视角在各行之间改变时，可以破坏该信息。
因此，仍需要改进基于视觉的导航系统以解决相关联的问题，包括如何持续地或几乎实时地针对移动体(诸如汽车)提供导航数据，诸如当前速度、航向、位置等。优选地，新的基于视觉的导航系统将适用于基于视觉的导航系统的许多现有用途和计划用途，并且将具有相对较低的实现成本(例如，而不是提供针对最大性能优化、但是不切实际和/或非常昂贵的实现方式)。
发明内容
简洁地，发明人设计了一种用于提供速度、航向及其它导航数据的导航系统，这些速度、航向及其它导航数据的导航系统被移动体(例如，交通工具的主体、移动机器人、手持设备等)的驱动系统使用以在空间中导航。该导航系统将惯性导航系统(例如基于惯性测量单元(Inertial Measurement Unit，IMU)的单元或系统)与基于视觉的导航系统(或视频导航(Video Navigation，VN)单元或系统)集成在一起，使得该惯性导航系统可以提供实时导航数据以及该基于视觉的导航系统可以提供周期性的、但更准确的导航数据，该导航数据用于校正惯性导航系统的输出。
设计该导航系统的目的是提供惯性数据和视频数据的低工作量集成。在新导航系统中使用的方法和设备解决了与高准确度的航位推测系统(诸如典型的VN单元/系统)相关联的问题并从低成本IMU提供更好的性能。发明人认识到，关于当前导航技术的问题，惯性导航和视频导航将得益于互相帮助，但是视频处理的复杂性使得测量需要处理器是非常密集型的。惯性导航单元随时间三次或二次漂移。视频导航可以提供与行驶距离成线性的漂移特性，但是在低成本处理器上的实时视频导航目前是不切实际的。
本文中所描述的导航系统使用新技术和设备，设计该新技术和设备时考虑到了视频导航(VN)通过测量两个帧对之间的差别来工作。完成计算可以花费实时(例如，被视为提供“实时”输出的预定义时间段)的很多倍。由发明人呈现的一种独特理念涉及以典型的视频速率(例如，对中的帧之间为1/30秒)取得快速帧对并开始利用VN单元或系统进行处理。当VN系统正在处理该帧对时，惯性导航单元或系统(例如，具有一个或多个IMU的模块)传播其导航数据或测量值(例如，估计的移动体(诸如交通工具或其主体)的速度和航向)。在这个处理间隔的过程中，对于惯性导航单元的加速度测量误差将开始积累。在该处理间隔结束时，VN系统返回在捕获的帧对的那两帧之间的照相机移位和旋转的准确测量值(即，其在固定时间段内的导航数据或输出，该导航数据或输出给出速度和角速率测量值)。然后由导航系统使用VN系统的测量值来追溯地训练惯性导航单元(或其一个或多个IMU)，以及由VN系统捕获另一帧对以供在下个处理时段期间处理，其中，惯性导航单元根据来自VN系统的准确数据来工作，直到该下个处理时段结束。
更具体地，描述了用于导航交通工具或其它移动体(例如，UAV、移动机器人、手持设备等)的系统。该系统包括在移动体上的成像单元，该成像单元基于在不同时间获得的图像中识别的特征的位置提供针对该移动体的航向估计和速度估计的第一源。而且，该系统包括在该移动体上的惯性导航单元，该惯性导航单元基于陀螺仪测量和加速计测量中的至少一者提供针对该移动体的航向估计和速度估计的第二源。另外，该系统包括过滤器，该过滤器组合来自第一源和第二源的航向估计和速度估计，以提供针对该移动体的整体系统航向估计和速度估计。在操作中，该过滤器使用来自成像单元的航向估计和速度估计来限制由惯性导航单元提供的航向估计和速度估计的漂移。
在该系统的一些实施方式中，该过滤器将由惯性导航单元提供的航向估计和速度估计发送到成像单元，以基于在不同时间获得的图像中识别的特征的位置来增大计算航向估计和速度估计的速度。该导航系统可以被配置成使得成像单元基于以有规律的时间间隔获得的图像中识别的特征的位置来提供航向估计和速度估计。在该系统的相同或其它实现方式中，成像单元基于以时间间隔获得的图像中识别的特征的位置来提供航向估计和速度估计，该时间间隔由过滤器基于惯性导航单元的性能来确定。在一些情况中，成像单元基于以规则的行驶距离间隔获得的图像中识别的特征的位置来提供航向估计和速度估计。另外，对于成像单元可能有用的是配置为基于计算约束以一定频率提供航向估计和速度估计。
在另一示例性实施方式中，提供一种用于交通工具和其它移动体的导航系统，并将该导航系统放置或安装在具有驱动系统的可导航主体上。在操作期间，导航系统产生导航数据，以供驱动系统用于使可导航主体移动穿过一空间。导航系统包括惯性导航单元，该惯性导航单元包括惯性测量单元(IMU)和IMU航位推测模块，该IMU航位推测模块处理由IMU提供的一组测量值以产生包括可导航主体的第一速度的第一输出。该导航系统还包括基于视觉的导航系统，该基于视觉的导航系统包括顺序地捕获该空间的一对图像的图像传感器且还包括基于视觉的航位推测模块，该基于视觉的航位推测模块处理该一对图像以产生包括可导航主体的第二速度的第二输出。另外，导航系统包括处理器，该处理器执行代码或软件以提供集成模块，该集成模块处理第一输出和第二输出以生成导航数据。该导航数据包括第一速度或在基于视觉的导航系统产生第二输出的时间段期间基于该第一速度计算的第一位置，在该时间段结束时基于第二速度修改第一速度。
在导航系统的一些实施方式中，导航数据还包括可导航主体在空间中的航向。在这些实施方式中，可以在IMU的第一输出中提供航向，以及基于视觉的航位推测模块基于该航向处理该一对图像，以处理所述一对图像的具有被预测为伴随可导航主体的进一步行驶而丢失的信息的部分、或以预测后续帧的具有新信息的部分。
在相同或其它实施方式中，在基于第二速度修改第一速度之后，IMU航位推测模块处理由IMU提供的额外一组测量值以生成包括可导航主体的第三速度的第三输出。然后集成模块可以处理第三输出以基于第三输出和修改后的第一速度生成导航数据。
在一些具体实现方式中，该时间段(在该时间段中，依赖来自IMU的输出)在图像传感器的帧速率的6倍到10倍的范围中。对于图像传感器来说可有用的是包括至少两个摄影机，以180度的角度偏移定向或瞄准该至少两个摄影机。图像传感器可以采用滚动快门图像传感器的形式，以及基于视觉的导航系统还可以包括滚动快门补偿模块，该滚动快门补偿模块基于可导航主体的速度处理所述一对图像以撤销由滚动快门效应引起的失真。在大多数情况下，图像传感器被配置使得所述一对图像包括重叠的区域。
附图说明
图1为具有本说明书的导航系统的移动体(诸如在空间中移动的交通工具主体、移动机器人或手持设备)的功能框图；
图2示出了显示在两种采样率下的IMU位置踪迹的曲线图；
图3提供了单轴加速计的静态情况/使用的曲线图；
图4为积分为速度值的加速计值的曲线图或绘图；
图5为将加速计输出积分为位置值的结果的曲线图或绘图；
图6为在IMU的加速计的圆形测试情况下的x加速度的曲线图或绘图；
图7为示出了对于图6的情况的加速计误差的曲线图或绘图；
图8为将图6的加速计输出积分为速度的结果的曲线图或绘图；
图9为在圆形测试情况下的误差的速度的曲线图或绘图；
图10为示出了对于圆形测试情况的完整2D位置跟踪的曲线图；
图11为对于图10的跟踪的随时间变化的与事实的误差的曲线图；
图12示出了从照相机顺序捕获的两个图像(例如，来自基于视觉的定位系统的一个或多个照相机的帧对)；
图13和图14分别为示出了在借助用于静态和圆形运动模拟的CV系统提供惯性漂移的校正时的完整2D位置跟踪的曲线图；
图15A和图15B利用两条时间线示出了更新为IMU系统的基于视觉的定位系统的时序；
图16示出了由基于视觉的定位系统循序捕获的以供处理的两个图像(例如，帧对)，其示出了用于指导该帧对的基于视觉的航位推测处理的顺序的IMU航向数据；
图17示出了由基于视觉的定位系统捕获的另一帧对以及使用IMU数据处理视频数据；以及
图18示出了一组捕获的图像/帧以及IMU提供的导航数据的使用，该导航数据被基于视觉的定位系统用来预测新数据将出现在后续捕获的图像/帧中的位置。
具体实施方式
本说明书提供了用于在导航系统(诸如在汽车和其它交通工具中提供的导航系统)中使用的改进的设备和方法。更具体地，教导了新的导航系统，该新的导航系统集成惯性定位设备和方法(例如，由惯性测量单元(IMU)通过基于计算加强的计算机视觉的定位系统和方法而更准确地提供的定位数据)，以近乎实时地将导航数据提供给交通工具的驱动系统。
图1示意性地示出了如箭头115所示在空间中正在移动的主体110。主体110可以为几乎任何移动体，诸如交通工具主体、移动机器人的主体、手持设备等。主体110包括驱动系统120，该驱动系统120基于一组导航数据131(例如，在空间中的当前位置、整体航向和速度/速率估计等)操作以移动115主体110，以及可以包括速度计124来测量主体110的速度并将其测量值提供给滚动快门补偿模块142(如下所述)。
导航系统130可以包括在正在移动的(或可移动的)主体110上，或者可以为外置的并且与主体上的部件进行无线通信，该导航系统几乎实时地产生导航数据131以促进准确导航和/或控制驱动系统120。导航系统130包括处理器140，该处理器140执行代码或运行软件以提供集成模块144的功能，该集成模块144具有过滤器(或过滤机构)144，该过滤器144处理并组合来自惯性导航单元150的输出(例如位置、航向和速度估计等)151和来自成像单元(或基于视觉的定位/导航系统)170的输出(例如航向和速度估计等)171。处理器140也可以执行代码或运行软件以提供滚动快门补偿模块142的功能，该滚动快门补偿模块142可用于处理图像182(或由照相机176捕获的其它图像)以校正失真。为了描述清楚起见，单独地示出了系统的各个处理器，但是应当理解，可以根据具体实施的需要而在实际的硬件部件之间组合或重新分配这些处理器的功能。
惯性导航单元150包括处理器152(或可以使用处理器140)以执行代码或软件，以提供航位推测模块154的功能并管理(一个或多个)存储器/数据存储设备160。惯性导航单元150被示出为包括IMU 156，该IMU 156可以包括测量主体110的加速度162的一个或多个加速计157。IMU 156还可以包括在移动115期间测量主体110的角速率163的一个或多个陀螺仪158。这些IMU输出162和163被航位推测模块154处理以产生航位推测结果164，该航位推测结果164可以包括主体110的速度166和主体110在空间中的位置168，以及该结果164还可以包括航向估计和速度估计，该航向估计和速度估计可以在输出151中被提供到集成模块144。
成像单元(或基于视觉的定位/导航系统)170也包括处理器172(或可以使用处理器140)以运行软件或执行代码，以提供航位推测模块174的功能并管理(一个或多个)存储器/数据存储设备180。成像单元170包括两个或更多个照相机176(例如，数码摄像机)，该两个或更多个照相机176如下所述位于主体上且操作以捕获主体110外部的图像，且这些图像包括由模块174周期性地(例如，以捕获时间间隔183，该捕获时间间隔183可以匹配模块174能够计算其结果的速率)选择或识别的帧对182。简单地说，视觉单元170利用其航位推测模块174处理帧对182以便识别图像182中的一个或多个特征184，以及这些特征184每一者在各个帧182中具有特定位置186。通过比较该对182的每帧中的这些识别特征184来计算航位推测结果190，以确定姿势速率/速度192。该结果192连同其它数据(诸如航向估计和速度估计)被提供为输出，如在成像单元170的171处所示。
集成模块144诸如使用过滤器或过滤机构148集成输出141和输出171，以生成提供给驱动系统120的导航数据131，以及该数据131可以利用来自惯性导航单元150的位置和其它数据151，同时成像单元170处理下一帧对182以提供更准确的速度和/或位置数据171，该数据171用于校正惯性导航单元150中积累的误差或漂移。然后，在处理下一帧对182之前，利用该校正，惯性导航单元150再次提供导航数据131，以提供具有其更准确的姿势速率或速度192的新的航位推测结果190，该结果190在导航数据131中被提供给驱动系统120。
利用通常理解的导航系统130，现在可能有用的是更详细地描述系统130及其组件(诸如集成模块144、惯性导航单元150和成像单元170)的示例性实现方式。在一些实施方式中，集成模块144利用其过滤器148提供IMU 156的低工作量的基于视觉的校正。因此，集成模块144及其底层算法提供一种用于集成视觉系统和IMU的新颖方法，使得在利用各个导航技术的优势的同时适应各个导航技术的独特挑战。针对导航系统130的一个目的是开发切合实际的且成本较低的实现方式，而非为了最大性能而严格优化的实现方式。
IMU的特性很好理解。IMU通常包含一定数量的加速计和一定数量的用于测量旋转的陀螺仪。即使在性能相对较低的IMU中，加速计也是极其准确的。IMU的限制在于如下事实：为了确定位置，加速度首先被积分为速度且然后再次积分为位置。这导致位置误差，该位置误差将与时间的平方成比例增长。一旦在解决方案(或惯性导航单元的输出)中包括航向上的误差，则误差增长速率可以变得更接近时间的立方的函数。通常执行零速更新(或ZUPT)来限制漂移的增长。
基于视觉的计算机定位系统(或CV系统)的特性不太熟悉且仍在一定程度上具有特色。CV系统能够测量三个平移维度和三个旋转维度，下文中讨论的重点是CV系统的平移测量。CV系统测量在短期内比IMU测量有些更具有噪声，但是这些测量具有如下独特优势：它们是位移的直接测量且因此将不以时间的立方或平方的方式积累。在理想情况下，可以将CV系统的漂移约束为与行驶距离成正比；然而，在本文中所描述的一个实现方式中，漂移将更接近于与时间成比例。CV系统的限制是计算结果所需的计算工作量，因为即使在台式机硬件上，也可能难以或不可能几乎实时地运行。
本文中所描述的导航系统在CV系统正在计算的同时，将IMU的良好短期性能用于航位推测位置。然后使用由CV系统对速度的直接测量来以类似于ZUPT的方式进行已知速度更新(KUPT)，这用于约束IMU漂移。因此，控制导航系统的漂移，同时放宽CV系统的计算需求。
如参照图1所讨论的，惯性导航单元150包括航位推测模块154，该航位推测模块154通过处理IMU 156的输出产生航位推测结果164。IMU 156输出加速度157和角速率158。在通常6自由度(6DOF)的IMU中，将具有用于向前、横向、和向上的加速度值以及用于俯仰、侧倾、和偏航的角速率。为了拥有针对世界坐标的(x，y，z)，该讨论将(u，v，w)用于本地IMU坐标系并将用于俯仰、侧倾、和偏航。为围绕u轴的旋转，θ为围绕v轴的旋转，以及ψ为围绕w轴的旋转。假设将IMU安装在交通工具主体或其它移动体上，则可以将路径约束到两个平移维度(x，y)或(u，v)和一个旋转维度ψ。
对于传感器为静态的测试情况，真正的运动分量很简单，因为它们都为零：
sx(t)＝0 sy(t)＝0
vx(t)＝0 vy(t)＝0
ax(t)＝0 ay(t)＝0
对于传感器以圆形路径行驶的测试情况，圆形的半径为r且角速率为ω。为了保证交通工具或其它可移动的主体总是面向行驶方向，ψ＝ωt+π/2。在任何时间的真实位置s为：
sx(t)＝rcos(ωt)
sy(t)＝r sin(ωt)
微积分学给出真实的速度和加速度：
圆形运动在世界空间中给出正弦分量，但是在极坐标系中，全部三个传感器将理想地发射恒定值：
这对应于IMU输出上的恒定期望值：
对于IMU误差，在IMU系统中具有几乎无尽数量的潜在误差源，但是如下讨论将问题简化到用于u和v的独立高斯噪声参数。假设ψ不具有误差。
在这种情况下，vψ意图指示角速率或dψ/dt。n值为噪声。附加误差起源于在时间上离散地对信号采样，如下文所讨论。也可以具有用于每个传感器的偏项，在此为了简化而假设这些偏项为零。
航位推测实现上述推导的反向过程。基于初始位置和传感器测量，系统构造了新位置。然后可以使用新构造的位置作为下个点的初始位置而重复该过程。将IMU空间中的加速度分解为笛卡尔世界空间坐标：
通常以给定的采样率fs对IMU进行采样，而不是进行完整的连续积分。速度为先前加速度与采样时间段相乘的总和：
而且位置为先前速度的总和：
对于由于采样而导致的误差，即使在加速计信号上不具有噪声，也将在航位推测结果中存在由于加速度的离散时间采样而导致的某种误差。对于经过圆形路径的IMU，加速度矢量持续地改变，但是系统对该加速度周期性地采样且假设该值在整个采样时间段中为恒定的。可以根据加速度分布图在一定程度上使用更复杂的过滤技术来缓解这点，但是一种有用技术是采用原始方法。图2示出了显示在两种采样率下的IMU位置踪迹的曲线图200。在曲线图200中，以(0，0)为中心且半径为200米的虚线圆圈210指示移动体上的IMU的真实路径。较粗的线路径220示出了在以1kHz采样时的6000秒过程中的误差，以及较细的线路径230示出了在以100Hz采样时的明显更大的误差。在静态测试情况下，这不是问题，因为加速度在整个采样时间段中保持恒定(且为零)。
出于这种考虑，可以通过查看加速计上的噪声来考虑速度误差的随机游动增长。图3提供了单轴加速计的静态情况/使用的曲线图300。曲线图300示出了平均值为零且标准偏差为0.001g的模拟加速计值。通过航位推测计算跟踪噪声，如图4的曲线图400所示，将加速计值积分为速度值，该速度值表现出具有非零均值的随机游动，而事实上为零速度。然后将该速度积分为位置，如图5的曲线图500所示，具有显著的误差增长。
相同图案出现在圆形测试情况下。图6提供了x加速度的曲线图或绘图600，被显示为给出噪声相对于信号的幅度的指示，以及图7提供了示出加速计误差的曲线图或绘图700。这可以被积分为如图8的曲线图或绘图800所示的速度，以及图9的绘图或曲线图900所示的速度误差也包含由于信号采样造成的振荡。图10为示出了对于该圆形测试情况的完整2D位置跟踪的曲线图1000，以及图11为对于图10的跟踪的随时间变化的与事实的误差的曲线图1100。
在讨论中的这点，可以有用的是阐述航位推测模块(诸如模块174)的操作以利用基于计算机视觉的定位/导航系统(诸如图1中的系统170)提供航位推测。存在使用计算机视觉的使用3D或2D输入的多种航位推测方法，可以利用这些方法实现本发明及其导航系统。下面提供了使用2D图像的两种有用方法，以及本领域的技术人员将认识到，这些描述没有上面提供的描述那么正式，这是因为在基于视觉的导航和相关图像处理的领域中很好地理解完整的推导，尽管完整的推导明显更为复杂且随着实施而改变。
一种航位推测技术涉及光流法。光流法测量在图像的亮区域和暗区域中的移动，且假设这类移动暗示正在成像的事物中的运动。通过添加正在成像的事物为刚性的且平面的这种假设，可以简化计算。如图12所示，光流机构可以利用来自手持相机的第一图像1210和第二图像1220(例如帧对)来可视地表达。航位推测模块可以确定如何将亮区域和暗区域从其在图像1210中的位置移动到其在图像1220中的位置(例如，这些亮区域和暗区域对应于像素的颜色强度或灰度强度)。如果假设成像的路面保持静止，则该模块可以确定照相机运动。图12的图示出了x、y和ψ的变化。改变第二图像1220的规格，这对应于z的变化。
用于利用CV系统提供航位推测的另一技术是同时定位和映射(SimultaneousLocation And Mapping，SLAM)，以及如名字所暗示，SLAM同时做两件事。它将多点映射在周围环境中并确定照相机的(通常地相对)位置。
关于对重叠图像的需求，所有基于图像的航位推测方法都要求使用的图像包括足够的共同场景以支持图像之间的共同测量和对准。如果照相机在不具有共同的场景/特征的帧对中的帧之间充分移动，则无法进行航位推测。为了实时地保持定位，CV系统应当具有足够的计算能力，以便在捕获下一帧(或帧对)之前，完成每帧以及收集的早期数据的处理。
在CV定位系统中使用多个照相机(诸如图1的照相机176)可适宜于提供各种各样的优势。第一，重叠来自具有已知的相对取向和基线的照相机的图像可以允许直接评估规格(例如，图像中的事物的尺寸)。这有助于将基于图像的测量值转换为可与惯性传感器和其它传感器兼容的单位，以及有助于解释3D空间中的多点的位置。第二，由多个照相机提供更宽或多个视野，这可以将几何强度提供给运动评估。第三，使用多个照相机可以允许CV系统实现交错的快门时间，这可以实现在捕获之间的更短时间段。
关于使用CV系统的输出校正惯性驱动，本文中所教导的本发明的导航方法涉及使用CV系统测量或输出来帮助牵制惯性漂移。这是以不需要足够的计算能力来允许图像的连续重叠的方式来实现的。在新导航方法中，捕获重叠的两个图像(或帧对)。然后CV系统的航位推测模块花费所需的时长来处理这对图像，同时惯性导航器(例如，图1中的惯性导航单元150)从最后得知的点进行航位推测。当完成图像的处理时，CV系统提供这两个图像之间的估计的姿势变化，将该变化与这两个图像的捕获时间之间的时间间隔相结合来提供姿势速率或速度。然后使用该已知速度(例如通过图1的导航系统130的集成模块144或其过滤机构148)来从惯性导航器速度估计去除误差，需要注意，在捕获图像的时刻而非在计算完成的时刻计算该误差。
存在很多设计惯性导航器的方式。出于示例目的，可以使用简单的积分器，且可以忽略旋转以证明本文中针对新导航系统(即，将IMU与CV系统组合的导航系统)所教导的组合方案的优势。可以在一系列时期考虑来自惯性系统的速度估计，每个时期包括加速计的几个测量时段：
在t0：
v0＝0
在t1：
在t2：
在t3：
等等，其中，v’为真实速度、a’为在时间t测量的加速度、以及为在该时间的速度误差(来自无论任何源)。
在每个时期tn，捕获帧对，以及在tn+1完成运动的CV估计的计算，给出了速度的独立估计以及CV计算特有的误差这导致一连串新的计算：
在t0：
v0＝0
在CV计算之前，t1：
在CV计算之后，t1：
在CV计算之前，t2：
在CV计算之后，t2：
在CV计算之前，t3：
在CV计算之后，t3：
因此可以看出，尽管基于惯性的速度误差随着时间而线性增长，但是现在CV校正的速度误差是有界限的。图13和图14分别为示出了针对静态模拟和圆形运动模拟的借助CV系统提供惯性漂移的校正时的完整2D位置跟踪的曲线图1300和曲线图1400，以及曲线图1300和曲线图1400示出了在如上文所讨论的类似模拟中来自CV系统(或IMU系统和CV系统的集成)的漂移校正的优势。
图15A和图15B用两条时间线1510和1520示出了基于视觉的定位系统更新到IMU系统的时序。在时间线1510和时间线1520中，示出了利用基于视觉的定位系统的一个(或多个)照相机对图像或帧的捕获。导航更新由基于视觉的定位系统提供，如在1514和1524处所示。导航系统使用IMU的输出来提供视频导航更新1514和视频导航更新1524之间的导航。在第一时间线1510上，用于捕获帧1512的帧速率为视频导航更新速率的10倍(10x)(或视频导航更新速率为帧速率的0.1倍)。如利用第二时间线1520所示，当由IMU单元辅助时，可以进行更频繁的视频更新。在该示例中，帧速率为视频导航更新速率的6倍(6x)(或视频导航更新速率为帧速率的0.17倍)。
更具体地，在一个示例中，可以IMU用于感测视野移动的方向，以及基于视觉的导航系统可以使用IMU导航数据中的该航向或行驶方向信息来选择处理图像或帧对的哪个部分。这在图16中可以看到，图16中具有第一捕获的图像1610和第二捕获(之后捕获)的图像1620。可以使用导航系统的IMU来感测或确定航向/行驶方向1612，该航向/行驶方向1612指示从图像1610到图像1620朝向右侧的视野移动。视频导航系统可以使用该航向信息来确定它应当使计算资源致力于图像1610和图像1620的左侧，因为来自区域1630的信息将首先(从之后捕获的图像)消失。
图17示出了待由本说明书的导航系统处理的另外两个捕获的图像(或帧对)。IMU导航数据或输出有助于CV系统(或视频单元)对视频数据的歧义消除。特别地，IMU输出可以提供航向1715，以及CV系统可以使用该信息确定图像1710、图像1720中的匹配特征/元素(然后确定姿势速率/速度)。如图所示，图像1710和图像1720包括多个路灯柱，以及来自IMU导航单元的航向/DOT 1715允许CV系统识别图像1710和图像1720中的匹配的路灯柱，诸如在各个图像/帧1710和1720中的路灯柱1712和路灯柱1716。
图18示出了待由本发明的导航系统处理的另一组顺序捕获的帧/图像1810、1820和1830。可以在携带捕获图像1810、图像1820和图像1830的照相机的移动体上使用IMU来感测视野移动(或航向/DOT)，如利用箭头1805所示。基于视觉的定位系统(或视频单元)可以使用来自IMU的该数据来预计每个后续帧(帧1810之后的帧1820和帧1820之后的帧1830)中的新信息将出现在何处。在本示例中，相比于帧1810中，在帧1820中，在右下角中，能够看到房子的更多部分，以及在帧1830中，消防栓也出现在右下角中，而该消防栓未出现在帧1810和帧1820中。这可以基于在IMU输出/导航数据中提供的航向/DOT 1805来预测。
在一些实施方式中，导航系统还被配置为包括执行后处理的软件。在后处理模式下，可以应用前向/后向平滑。可以允许处理时段随着计算的复杂度和可用的处理器资源而改变。通过检测到在处理时段t+1内捕获的帧匹配来自处理时段t的帧，简单扩展允许静态(或几乎静态)情况的特殊考虑，这进一步减小视频方案的漂移。可以将IMU测量馈送到VN单元或系统(也被称为CV系统和基于视频的定位/导航系统)中以减少匹配帧所需的计算工作量。可以进一步扩展该算法以识别环闭合，包括识别出该系统已返回到起始点。
导航系统可以实施各种各样的车载相机架构以实现本文中所教导的理念，包括与惯性导航集成的基于视觉的导航。交通工具呈现出对于基于视觉的导航的独特环境。移动速度、与其它交通工具的邻近度、交通工具的质量、和交通工具本身所在的环境都与诸如无人机或手持设备的应用截然不同。
关于场景选择，就照相机正在观看的场景而言，具有许多场景的选择。例如，SLAM具有诸如通过识别我们已看到的场景而闭环的能力的优势。关于表面跟踪，在客运车辆中的一个特性是，通常在其下方具有相对光滑的道路，该道路适合于表面跟踪技术，该表面跟踪技术类似于但不限于在美国专利No.8,229,166中所描述的技术，该美国专利的全部内容通过引用并入在本文中。向下观看道路提供几个关键优势，包括：(a)可预测性，因为道路将一直在那里；(b)相关运动，因为很少有机会被场景中的以不反映照相机(和它所附着的交通工具)的运动的方式移动的对象迷惑；以及(c)2D表面给出不随着视角改变外观的特征。
关于在交通工具主体上的照相机放置，放置导航照相机的感兴趣位置之一将为：(a)后视镜：提供向前的视图且受挡风玻璃保护，该挡风玻璃通常将由驾驶员维护以建立清晰视图；(b)后保险杠/后备箱/车牌区域：提供清晰且更开放的地面视图且处于看到跟踪的交通工具与周围交通之间的更多路面的位置；(c)侧视镜，因为这提供向下和向外到两侧的清晰视图；以及(d)在交通工具之下，这提供具有更多可预测照明(或照明不足)的可预测视图。
关于在导航系统中的照相机数量，基于照相机(或基于视觉)的导航系统可以以不同方式受益于并入多个照相机。所有多个照相机系统可以受益于多个传感器的冗余。当使用多个重叠的照相机时，重叠的视图可以使系统直接评估捕获的图像中的比例。通过知晓照相机取向和相对位置，在视图中的对象的精确尺寸可以由系统(例如，由该系统的航位推测模块或其它软件)确定。可替选地或附加地，如果传感器以滚动快门在各个传感器中不同地影响图像的方式来布置，则多个重叠视图可以帮助缓和滚动快门效应。例如，如果一个照相机趋向于将图像向左错切而另一个照相机被安装成使得滚动快门旋转180度并将图像向右错切，则该系统可以确定正确的未错切的图像。同时，如果确定图像错切的幅度，则该幅度可以用作照相机与场景之间的相对移动的度量。
在导航系统的一些实施方式中，可能有用的是为了其提供的优势而实施多个不重叠的照相机。这些优势包括：(a)更多照相机提高至少一个照相机具有可跟踪的场景的视图的可能性；(b)更多照相机减小所有照相机同样地受太阳照射或其它曝光挑战影响的机会；(c)更宽的视野将更多几何强度提供给定位方案；以及(d)一些基于视觉的定位技术在照相机运动中以一定自由度提供更大可观察性。关于该最后一个优势，例如，当跟踪垂直于照相机轴线的运动和围绕照相机轴线的旋转时，表面跟踪照相机可以为最强的，以及该表面跟踪照相机在其它维度上可为较弱的。使附加照相机安装成将其强维度与第一照相机的较弱维度对齐将提高整个系统的强度。如果一个照相机看向交通工具的前面且第二照相机看向后面，则系统可以从前面照相机跟踪场景的运动，因为这些场景再出现在后面照相机中以扩展跟踪的持续性。
关于导航系统的光学设计，可以有用的是利用倾斜的光学器件。根据移轴景深光学原理，使透镜轴相对于传感器的平面倾斜可以使焦平面偏移。这类设计在被安装在具有相对于道路表面的可预测姿势的交通工具上时将允许道路表面从该交通工具向外保持对焦，而非使焦平面在特定距离处与道路表面交叉并导致该道路表面在更靠近以及更远离该交叉线处离焦。
关于在导航系统中的人工照明，由于当日的时间、天气、立交桥、隧道等导致在交通工具应用中照明经常是不可预测的。可以在交通工具上的导航系统中提供人工照明的能力，因为场景的这类照明扩展了该系统的有用工作范围。照明可以被设计为将交通工具驾驶员的舒适度和安全性以及在道路上的其他驾驶员和附近行人的舒适度和安全性考虑在内。红外(IR)照明将允许图像传感器能够检测到的但是人类不可见的照明，减少分心。
在一些情况下，可以有用的是在导航系统的人工照明组件中包括RGB IR照明。硅和其它图像传感器自然地对红外光敏感，但是通常在摄影相机中过滤掉红外光。对于专用于导航的照相机，可以去除该过滤器以提高对IR的敏感度。对于单色照相机，整体传感器可以为敏感的。单色传感器具有不过滤掉每个像素的特定颜色的额外优势，因此接受更多的光进入像素，这允许在较低环境光下操作。对于彩色相机，该彩色相机通常在像素之上具有以类似于贝尔图案的图案或某种其它已知方法的各个单独的滤色器，可以扩展滤色器中的一者或多者以允许IR通过，例如，红色(或其它)像素过滤器可以被拓宽以除了红光以外还接受红外线。摄影图像传感器的绿色像素通常是红色和蓝色像素的两倍，因为人眼趋向于对绿光更敏感。可以移除那些绿色像素过滤器的一半且不进行过滤，以允许所有颜色的更多光(包括红外线)进入像素中。
关于与深度照相机的组合，所谓的“深度照相机”可以被包括在导航系统中，因为这些照相机以照相机能够确定距每个像素的距离的方式将照明提供给场景。这可以为用于解析深度的结构化的光图案、或用来测量飞行时间的闪光灯。如果RGB传感器保留未经过滤的4个像素中的一个(或某其它比率)，则传感器可以将IR深度感测集成到RGB照相机中。除了全局快门的其它优势之外，还允许与短的但强烈的脉冲照明同步，从而更容易在不同的环境光下使用深度照相机。
关于导航系统的维护，可以将用于导航的照相机调整或设计为能够检测其视野何时被灰尘、污垢、水或透镜损坏所遮蔽以及作为响应通知驾驶员、交通工具安全系统或二者。同样地，可以将照相机调整或设计为能够检测它是否正被拖曳的拖车或其它对象所阻挡以及作为响应将相应的通知提供给驾驶员、交通工具安全系统或二者。
图1的导航系统130的滚动快门补偿模块142可以利用多个有用的功能来实现，以校正与图像传感器176的使用相关联的问题，该图像传感器176使用滚动快门图像捕获来捕获帧对182。对于特定几何体，在特定动力学下，以及利用特定的外部辅助信息，可以通过模块142恢复丢失的信息(由于滚动快门图像捕获而导致的)。
对于查看平滑连续表面的照相机，存在较少的待处理的3D信息。通常，可以将距一点的深度确定为另外两个维度的简单函数。附加传感器(诸如加速计、陀螺仪、速度计(诸如速度计124)和车轮旋转传感器)可以帮助系统(例如具有滚动快门补偿模块142的系统130)确定照相机(诸如照相机176)在捕获每行时如何移动。通常，关于使用这类传感器的限制在于，这类传感器不具有足够的时间分辨率来相对于行到行时序以足够的精度对照相机运动建模。在手持应用中，例如可能引起设备的加速度的足够变化，使得内插加速计数据的该设备将不能精确地对测量之间的真实加速度值建模。这反过来导致速度估计的误差，这在每行捕获时间导致照相机姿势估计的误差。
在某些动态约束下，可以更容易恢复行捕获之间的照相机姿势的变化。当将照相机附接到大质量物(诸如交通工具主体110)时，例如该系统将抗拒加速度的快速变化。在这些条件下，传感器数据的这类插值将变得更加可靠。
作为如何可能校正这类滚动快门效应的示例(例如通过模块142)，考虑查看交通工具前方的路面的车载照相机。假设照相机具有滚动快门，其中，成像的第一行离交通工具最远且成像的最后一行离交通工具最近。如果该交通工具是静止的，则图像将准确地表示在其视野中的路面。如果该交通工具开始向前滚动，则图像将开始在沿着道路的方向上被压缩，这是因为当捕获每行时，交通工具将已向前移动了一定量，这意味着相比于若交通工具静止时的情况，第二行将沿着该行被更远地测量。如果交通工具足够快速地移动，则图像可以变为颠倒的，因为可以沿着道路足够远地捕获第二行，它对超出捕获第一行的位置的区域成像。
如果提供有例如速度计和加速计输入，则可以使该失真撤销(例如通过模块142)，因为我们现在知道交通工具中的移动速率且因此知道行捕获之间的间距。交通工具的质量更好地实施如下条件：加速度的变化速率相对于图像捕获时间来说很小。关于多个传感器(诸如图1的导航系统130中的照相机176)，如果安装两个图像传感器以使得场景相对于照相机的移动不同地影响各个图像，则可以更好地补偿滚动快门效应且结果可以产生附加信息。例如，如果两个照相机查看同一场景，但是一个照相机围绕照相机轴线旋转180°，则在各个图像中的错切效应将在相反方向上。如果例如一个传感器向左错切且另一个传感器向右错切，则每个图像可以被补偿回正确的非错切图像。另外，一旦确定运动相关的错切的幅度，则可以将该幅度用作照相机与场景之间的相对速度的估计。
如由前文描述可见，发明人解决了仅仅由于用于汽车(和其它交通工具/移动体)的基于计算机的导航系统的近期发展而导致的问题。特别地，基于计算机视觉的导航系统具有的问题包括：计算密集处理和滚动快门失真限制了其在许多应用(包括要求更实时的输入的导航)中的使用。考虑到这些问题，发明人创造了更有效地和/或快速地起作用以实时产生导航数据的导航系统。该导航数据可以包括交通工具在空间中的当前位置及其当前航向，以及可以将导航数据输入到交通工具的驱动系统以供在一个或多个GUI上显示和/或以供用于操作驱动系统以在空间中导航。
尽管本发明包含许多细节，但是这些细节不应当被视为对本发明的范围或可请求保护的内容的限制，而是作为对本发明的特定具体实施方式的特定特征的描述。此外，在本说明书中在单独实施方式的背景下所描述的某些特征也可以在单个实施方式中以组合形式来实现。相反地，在单个实施方式的背景下所描述的各种特征也可以在多个实施方式中单独地或以任何合适子组合的形式来实现。此外，尽管上文可以将特征描述为以特定组合起作用且甚至本身最初被请求保护，但是在一些情况下可以将来自请求保护的组合的一个或多个特征从该组合中去除，以及可以将请求保护的组合指向子组合或子组合的变型。
类似地，尽管在图中以特定次序示出多个操作，但是这不应当被理解为要求以所示的特定次序或按顺序执行这类操作，或执行所有的图示操作以实现期望的结果。在特定情况下，多重任务和/或并行处理可以为有利的。此外，在上述实施方式中的各种系统组件的分离不应当被理解为在所有实施方式中要求这类分离，且应当理解，所描述的程序组件和系统通常可以一起集成到单个软件和/或硬件产品中或封装成多个软件和/或硬件产品。
仅通过示例性示例给出上述实施方式，包括发明人在递交时已知的本发明的优选实施方式和最佳模式。

Claims (20)

1.一种用于交通工具和其它移动体的导航系统，包括：
成像单元，所述成像单元在适用于在空间中移动的主体上，所述成像单元基于在不同时间获得的图像中识别的特征的位置提供针对所述主体的航向估计和速度估计中的至少一者的第一源；
惯性导航单元，所述惯性导航单元在所述主体上，所述惯性导航单元基于陀螺仪测量和加速计测量中的至少一者提供针对所述主体的航向估计和速度估计中的至少一者的第二源；以及
过滤器，所述过滤器组合来自所述第一源和所述第二源的所述航向估计和所述速度估计，以提供对于针对所述主体的航向和速度中的至少一者的整体系统估计，
其中，所述过滤器使用来自所述成像单元的所述航向估计和所述速度估计来限制由所述惯性导航单元提供的所述航向估计和所述速度估计的漂移。
2.如权利要求1所述的导航系统，其中，所述过滤器将由所述惯性导航单元提供的所述航向估计和所述速度估计发送到所述成像单元，以基于在不同时间获得的图像中识别的所述特征的所述位置来增大计算所述航向估计和所述速度估计的速度。
3.如权利要求1所述的导航系统，其中，所述成像单元基于以规则的时间间隔获得的图像中识别的特征的位置来提供所述航向估计和所述速度估计。
4.如权利要求1所述的导航系统，其中，所述成像单元基于以时间间隔获得的图像中识别的特征的位置来提供所述航向估计和所述速度估计，所述时间间隔由所述过滤器基于所述惯性导航单元的性能来确定。
5.如权利要求1所述的导航系统，其中，所述成像单元基于以规则的行驶距离间隔获得的图像中识别的特征的位置来提供所述航向估计和所述速度估计。
6.如权利要求1所述的导航系统，其中，所述成像单元基于计算约束以一定频率提供所述航向估计和所述速度估计。
7.一种用于交通工具和其它移动体的导航系统，包括：
惯性导航单元，所述惯性导航单元包括惯性测量单元(IMU)和IMU航位推测模块，所述IMU航位推测模块处理由所述IMU提供的一组测量值以产生第一输出，其中，所述导航系统位于具有驱动系统的可导航主体上，其中，所述导航系统生成导航数据，所述导航数据被所述驱动系统用来使所述可导航主体移动穿过空间，且其中，所述第一输出包括所述可导航主体的第一速度；
基于视觉的导航系统，所述基于视觉的导航系统包括顺序地捕获所述空间的一对图像的图像传感器且还包括基于视觉的航位推测模块，所述基于视觉的航位推测模块处理所述一对图像以产生包括所述可导航主体的第二速度的第二输出；以及
处理器，所述处理器具有集成模块，所述处理器处理所述第一输出和所述第二输出以生成所述导航数据，
其中，所述导航数据包括所述第一速度或在所述基于视觉的导航系统生成所述第二输出的时间段内基于所述第一速度计算的第一位置，在所述时间段结束时基于所述第二速度修改所述第一速度。
8.如权利要求7所述的导航系统，其中，所述导航数据还包括所述可导航主体在所述空间中的航向。
9.如权利要求8所述的导航系统，其中，所述航向是在所述IMU的所述第一输出中提供的，并且所述基于视觉的航位推测模块基于所述航向处理所述一对图像，以处理所述一对图像的具有被预测为伴随所述可导航主体的进一步行驶而丢失的信息的部分、或以预测后续帧的具有新信息的部分。
10.如权利要求7所述的导航系统，其中，在基于所述第二速度修改所述第一速度之后，所述IMU航位推测模块处理由IMU提供的额外一组测量值来生成包括所述可导航主体的第三速度的第三输出，且其中，所述集成模块处理所述第三输出以基于所述第三输出和修改后的所述第一速度生成所述导航数据。
11.如权利要求7所述的导航系统，其中，所述基于视觉的导航系统以如由计算加载确定的不均匀时间间隔提供所述第二输出。
12.如权利要求7所述的导航系统，其中，所述图像传感器包括至少两个摄像机，并且至少一对所述摄像机以180度的角度偏移进行指向。
13.如权利要求7所述的导航系统，其中，所述图像传感器为滚动快门图像传感器，并且所述基于视觉的导航系统还包括滚动快门补偿模块，所述滚动快门补偿模块基于所述可导航主体的速度处理所述一对图像以撤销由滚动快门效应引起的失真。
14.如权利要求7所述的导航系统，其中，所述一对图像包括重叠的区域。
15.一种用于交通工具的导航方法，包括：
操作交通工具主体上的IMU以测量所述交通工具主体的一组加速度；
利用处理器运行航位推测模块，处理所述一组加速度以确定所述交通工具主体的速度；
利用所述处理器运行所述航位推测模块，基于所述交通工具主体的所述速度确定所述交通工具主体的位置；
在基于视觉的处理时间段期间，重复所述操作步骤、所述处理步骤和所述确定步骤；
在所述基于视觉的处理时间段期间，操作基于视觉的导航系统以捕获两个重叠图像并处理所述两个重叠图像以计算所述交通工具主体的已知速度；以及
在所述基于视觉的处理时间段结束时，利用由所述交通工具主体上的处理器提供的集成模块、使用所述已知速度去除通过处理所述一组加速度确定的所述交通工具主体的所述速度的误差。
16.如权利要求15所述的导航方法，其中，使用滚动快门图像传感器捕获所述两个重叠图像，并且，所述基于视觉的导航系统的操作包括：基于所述交通工具主体的速度处理所述两个重叠图像，以撤销由滚动快门效应引起的失真。
17.如权利要求15所述的导航方法，其中，去除误差步骤包括确定所述交通工具主体的已知位置，并且其中，根据所述交通工具主体的所述已知位置执行处理所述一组加速度的下一个性能。
18.如权利要求15的导航方法，其中，去除误差步骤包括：限制基于来自IMU的所述一组加速度计算的所述交通工具主体的所述速度和所述位置的惯性漂移。
19.如权利要求15所述的导航方法，还包括：通过处理所述IMU的输出确定所述交通工具主体的航向，并且所述基于视觉的导航系统的所述操作处理所述两个重叠图像以基于所述交通工具主体的所述航向计算所述交通工具主体的所述已知速度。
20.如权利要求15所述的导航方法，其中，以如由计算加载确定的不均匀时间间隔执行所述两个重叠图像的所述处理。
CN201880017297.9A 2017-03-14 2018-03-13 用在交通工具导航中的集成式的基于视觉的惯性传感器系统 Active CN110402368B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762471200P 2017-03-14 2017-03-14
US62/471,200 2017-03-14
PCT/US2018/022214 WO2018169977A1 (en) 2017-03-14 2018-03-13 Integrated vision-based and inertial sensor systems for use in vehicle navigation

Publications (2)

Publication Number Publication Date
CN110402368A true CN110402368A (zh) 2019-11-01
CN110402368B CN110402368B (zh) 2023-08-29

Family

ID=61837853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880017297.9A Active CN110402368B (zh) 2017-03-14 2018-03-13 用在交通工具导航中的集成式的基于视觉的惯性传感器系统

Country Status (4)

Country Link
US (2) US10845198B2 (zh)
EP (1) EP3596427A1 (zh)
CN (1) CN110402368B (zh)
WO (1) WO2018169977A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201004A (zh) * 2020-09-18 2022-03-18 苹果公司 用于移动平台的扩展现实的惯性数据管理
US11636612B2 (en) 2020-09-25 2023-04-25 Industrial Technology Research Institute Automated guided vehicle navigation device and method thereof

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10948299B1 (en) * 2017-09-28 2021-03-16 Apple Inc. Relative inertial measurement system with visual correction
US10440271B2 (en) * 2018-03-01 2019-10-08 Sony Corporation On-chip compensation of rolling shutter effect in imaging sensor for vehicles
KR102634349B1 (ko) * 2018-10-11 2024-02-07 현대자동차주식회사 차량의 제어 장치 및 방법
CN110162036A (zh) * 2019-04-09 2019-08-23 中国矿业大学 一种掘进机自主导航定位系统及其方法
CN111829510A (zh) * 2019-04-15 2020-10-27 富华科精密工业（深圳）有限公司 自动导航方法、服务器及存储介质
CN110108301B (zh) * 2019-05-14 2020-12-01 苏州大学 模值检测动基座鲁棒对准方法
KR102212268B1 (ko) * 2019-05-15 2021-02-04 주식회사 폴라리스쓰리디 위치 측정 시스템과 이를 구비하는 이동 수단 및 이를 수행하기 위한 컴퓨팅 장치
CN110458887B (zh) * 2019-07-15 2022-12-06 天津大学 一种基于pca的加权融合室内定位方法
US10965856B1 (en) * 2019-12-12 2021-03-30 GM Global Technology Operations LLC Camera vision systems
US11859979B2 (en) * 2020-02-20 2024-01-02 Honeywell International Inc. Delta position and delta attitude aiding of inertial navigation system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110206236A1 (en) * 2010-02-19 2011-08-25 Center Jr Julian L Navigation method and aparatus
US20110218733A1 (en) * 2010-03-04 2011-09-08 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
CN102769717A (zh) * 2011-05-04 2012-11-07 华晶科技股份有限公司 影像处理方法与装置
CN102768042A (zh) * 2012-07-11 2012-11-07 清华大学 一种视觉-惯性组合导航方法
CN103411621A (zh) * 2013-08-09 2013-11-27 东南大学 一种面向室内移动机器人的光流场视觉/ins组合导航方法
WO2014072377A1 (en) * 2012-11-07 2014-05-15 Ecole Polytechnique Federale De Lausanne (Epfl) Method to determine a direction and amplitude of a current velocity estimate of a moving device
US20140300732A1 (en) * 2013-04-05 2014-10-09 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry
CN105910602A (zh) * 2016-05-30 2016-08-31 南京航空航天大学 一种组合导航方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8229166B2 (en) 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
US8577539B1 (en) * 2010-01-27 2013-11-05 The United States Of America As Represented By The Secretary Of The Air Force Coded aperture aided navigation and geolocation systems
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
US9911395B1 (en) * 2014-12-23 2018-03-06 Amazon Technologies, Inc. Glare correction via pixel processing
US9842254B1 (en) * 2015-09-28 2017-12-12 Amazon Technologies, Inc. Calibrating inertial measurement units using image data
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10043076B1 (en) * 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
US20180150718A1 (en) * 2016-11-30 2018-05-31 Gopro, Inc. Vision-based navigation system
US10121091B2 (en) * 2017-02-09 2018-11-06 Rosemount Aerospace Inc. IMU-aided image registration

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110206236A1 (en) * 2010-02-19 2011-08-25 Center Jr Julian L Navigation method and aparatus
US20110218733A1 (en) * 2010-03-04 2011-09-08 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
CN102769717A (zh) * 2011-05-04 2012-11-07 华晶科技股份有限公司 影像处理方法与装置
CN102768042A (zh) * 2012-07-11 2012-11-07 清华大学 一种视觉-惯性组合导航方法
WO2014072377A1 (en) * 2012-11-07 2014-05-15 Ecole Polytechnique Federale De Lausanne (Epfl) Method to determine a direction and amplitude of a current velocity estimate of a moving device
US20150293138A1 (en) * 2012-11-07 2015-10-15 Ecole Polytechnique Federale De Lausanne (Epfl) Method to determine a direction and amplitude of a current velocity estimate of a moving device
US20140300732A1 (en) * 2013-04-05 2014-10-09 Caterpillar Inc. Motion estimation utilizing range detection-enhanced visual odometry
CN103411621A (zh) * 2013-08-09 2013-11-27 东南大学 一种面向室内移动机器人的光流场视觉/ins组合导航方法
CN105910602A (zh) * 2016-05-30 2016-08-31 南京航空航天大学 一种组合导航方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114201004A (zh) * 2020-09-18 2022-03-18 苹果公司 用于移动平台的扩展现实的惯性数据管理
US11636612B2 (en) 2020-09-25 2023-04-25 Industrial Technology Research Institute Automated guided vehicle navigation device and method thereof

Also Published As

Publication number Publication date
WO2018169977A1 (en) 2018-09-20
CN110402368B (zh) 2023-08-29
EP3596427A1 (en) 2020-01-22
US11867510B2 (en) 2024-01-09
US20210033401A1 (en) 2021-02-04
US20180266828A1 (en) 2018-09-20
US10845198B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
CN110402368A (zh) 用在交通工具导航中的集成式的基于视觉的惯性传感器系统
US11669102B2 (en) Navigating a vehicle based on a detected barrier
JP7125214B2 (ja) プログラムおよびコンピューティングデバイス
US10696227B2 (en) Determining a road surface characteristic
Zhu et al. The multivehicle stereo event camera dataset: An event camera dataset for 3D perception
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
JP2022185089A (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
JP2020085886A (ja) 乗物、乗物測位システム、及び乗物測位方法
JP5023186B2 (ja) ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム
US20100183192A1 (en) System and method for object motion detection based on multiple 3d warping and vehicle equipped with such system
JP2020052695A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US20230127230A1 (en) Control loop for navigating a vehicle
JP2006284281A (ja) 自車情報認識装置及び自車情報認識方法
US20210080264A1 (en) Estimation device, estimation method, and computer program product
US20230117253A1 (en) Ego motion-based online calibration between coordinate systems
CN109309785A (zh) 拍摄控制装置以及拍摄控制方法
JP2023152109A (ja) 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム
JP4506299B2 (ja) 車両周辺監視装置
Azevedo et al. Real-time road surface mapping using stereo matching, v-disparity and machine learning
JP2020076714A (ja) 位置姿勢推定装置
WO2023017624A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
Zhu et al. EAGLE: The First Event Camera Dataset Gathered by an Agile Quadruped Robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant