CN109997150B - 用于对道路特征进行分类的系统和方法 - Google Patents

用于对道路特征进行分类的系统和方法 Download PDF

Info

Publication number
CN109997150B
CN109997150B CN201780073418.7A CN201780073418A CN109997150B CN 109997150 B CN109997150 B CN 109997150B CN 201780073418 A CN201780073418 A CN 201780073418A CN 109997150 B CN109997150 B CN 109997150B
Authority
CN
China
Prior art keywords
road
camera
features
feature
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780073418.7A
Other languages
English (en)
Other versions
CN109997150A (zh
Inventor
A·乔希
A·拉马南达恩
M·查里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109997150A publication Critical patent/CN109997150A/zh
Application granted granted Critical
Publication of CN109997150B publication Critical patent/CN109997150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00—Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

描述了一种电子装置。所述电子装置包含存储器和与所述存储器通信的处理器。所述存储器经配置以存储安装在车辆上的相机的预校准数据，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度。所述处理器经配置以接收多个图像。所述处理器还经配置以基于所述预校准数据将所述多个图像中的一或多个特征分类为道路特征。

Description

用于对道路特征进行分类的系统和方法
相关申请
本申请涉及并要求于2017年1月4日提交的针对“用于对道路特征进行分类的系统和方法(SYSTEMS AND METHODS FOR CLASSIFYING ROAD FEATURES)”的序列号为62/442,415的美国临时专利申请的优先权。
技术领域
本公开总体上涉及电子装置。更具体地说，本公开涉及用于对道路特征进行分类的系统和方法。
背景技术
电子装置(例如，蜂窝电话、无线调制解调器、计算机、数字音乐播放器、全球定位系统单元、个人数字助理、游戏装置等)已成为日常生活的一部分。如今，小型计算机装置放置在从车辆到房屋锁的所有事物中。在过去几年中，电子装置的复杂性急剧增加。例如，许多电子装置具有一或多个帮助控制所述装置的处理器以及多个用于支持处理器和装置的其它部件的数字电路。
一些电子装置(例如，车辆)可以配备有高级驾驶辅助系统。这些系统可以是迈向自主车辆的第一步。这些系统中的一项有用技术是视觉惯性里程计(visual inertialodometry,VIO)。用于对道路特征进行分类的系统和方法可能有益于辅助视觉惯性里程计。
发明内容
描述了一种电子装置。所述电子装置包含存储器，所述存储器存储安装在车辆上的相机的预校准数据，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度。所述电子装置还包含与所述存储器通信的处理器。所述处理器经配置以接收多个图像。所述处理器还经配置以基于所述预校准数据将所述多个图像中的一或多个特征分类为道路特征。
所述相机高度可以包含所述相机的光轴与所述道路平面之间的垂直距离。所述预校准数据还可以包含所述相机绕与所述相机的所述光轴正交的第一维度的俯仰。所述预校准数据可以进一步包含所述相机绕所述相机的所述光轴的横滚。
将所述多个图像中的所述一或多个特征分类为道路特征包含基于所述相机的所述俯仰确定位于地平线下方的特征。可以基于所述预校准数据使用所述相机的所述相机平面与所述道路平面之间的相对变换执行对位于所述地平线下方的所述特征的逆投影。如果特征位于所述道路平面中的预定义范围内，则可以将所述特征分类为道路特征。
所述预定义范围可以包含关于所述道路平面的横向范围和深度范围。当变换到所述道路平面时，所述深度范围可以沿所述相机的所述光轴朝向。当变换到所述道路平面时，所述横向范围可以沿与所述相机的所述光轴正交的所述第一维度朝向。
将所述多个图像中的所述一或多个特征分类为道路特征还可以包含将图像块(patch)法线与道路平面法线对齐。
将所述多个图像中的所述一或多个特征分类为道路特征还可以包含将特征的强度信息和位置信息应用于机器学习模型。
所述处理器可以被进一步配置成使用所述道路特征的逆投影来计算所述特征的深度。可以基于所计算深度更新特征逆深度。可以基于经更新的特征逆深度更新视觉惯性里程计(VIO)扩展卡尔曼滤波器(EKF)。所述处理器还可以经配置以基于道路模型深度标准偏差的不确定性更新所述VIO EKF。
所述处理器可以被进一步配置成从惯性测量单元接收数据流。所述数据流可以包含来自三轴加速度计的数据和来自三轴陀螺仪传感器的数据。
还描述了一种方法。所述方法包含存储安装在车辆上的相机的预校准数据，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度。所述方法还包含接收多个图像。所述方法进一步包含基于所述预校准数据将所述多个图像中的一或多个特征分类为道路特征。
还描述了一种存储计算机可执行代码的非暂时性计算机可读媒体。所述计算机可读媒体包含用于使电子装置存储安装在车辆上的相机的预校准数据的代码，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度。所述计算机可读媒体还包含用于使所述电子装置接收多个图像的代码。所述计算机可读媒体进一步包含用于使所述电子装置基于所述预校准数据将所述多个图像中的一或多个特征分类为道路特征的代码。
还描述了一种设备。所述设备包含用于存储安装在车辆上的相机的预校准数据的装置，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度。所述设备还包含用于接收多个图像的装置。所述设备进一步包含用于基于所述预校准数据将所述多个图像中的一或多个特征分类为道路特征的装置。
附图说明
图1是展示了可以在其中实施用于对道路特征进行分类的系统和方法的电子装置的一个实例的框图；
图2是展示了可以在其中实施对道路特征的分类的电子装置的一个实例的框图；
图3是展示了用于对道路特征进行分类的方法的一种配置的流程图；
图4是展示了用于基于道路几何(road geometry)对道路特征进行分类的方法的一种配置的流程图；
图5是展示了用于基于机器学习模型对道路特征进行分类的方法的一种配置的流程图；
图6是展示了用于更新视觉惯性里程计(VIO)扩展卡尔曼滤波器(EKF)的方法的一种配置的流程图；
图7展示了如本文所述的可以用于对道路特征进行分类的道路几何的各个方面；并且
图8展示了可以包含在经配置以实施本文所公开的系统和方法的各种配置的电子装置内的某些部件。
具体实施方式
本文所公开的系统和方法涉及对道路特征进行分类。道路特征可以是位于(即，处于)道路上的特征。例如，本文所公开的系统和方法可以利用道路结构来辅助汽车视觉惯性里程计(VIO)。
当车辆以恒定速度移动时，可能无法观察到惯性测量单元(IMU)中的偏差，这可能会导致尺度漂移(scaledrift)。在单目VIO中，可以使用所估计VIO轨迹来计算视觉特征的深度。视觉特征可能无法提供对尺度漂移的任何校正。
在一种配置中，可以使用道路几何来计算道路特征的深度。这可以提供轨迹的尺度的独立测量结果。
在一些配置中，可以关于道路而确定相机和惯性测量单元(IMU)系统的外部校准。可以计算关于地面的横滚、俯仰和相机高度。
在一个实施方案中，可以基于几何将特征分类为道路特征。在另一实施方案中，可以基于机器学习模型将特征分类为道路特征。为了便于跟踪这些道路特征，可以将图像块法线与道路平面法线对齐。
在一些配置中，在批量更新阶段期间，可以基于最新的相机测量结果重新计算道路特征的深度。经重新计算的深度可以用于扩展卡尔曼滤波器的测量结果更新。
现在参考附图来描述各种配置，在附图中，相似的附图标记可以指示在功能上类似的元件。可以以各种不同的配置布置和设计如在本文的附图中总体描述和展示的系统和方法。因此，下文对如在附图中所表示的若干配置的更详细描述并不旨在限制如所要求的范围，而仅表示所述系统和方法。
图1是展示了可以在其中实施用于对道路特征进行分类的系统和方法的电子装置102的一个实例的框图。电子装置102的实例包含：相机、视频摄录像机、数码相机、蜂窝电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴相机、虚拟现实装置(例如，头戴装置)、增强现实装置(例如，头戴装置)、混合现实装置(例如，头戴装置)、运动相机、监控相机、安装式相机、连接式相机、机器人、飞行器、无人机、无人驾驶航空器(UAV)、智能应用、保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、电器等。例如，电子装置102可以是在高级驾驶辅助系统(ADAS)中使用的车辆。
应当注意的是，电子装置102可以包含车辆或可以包含在车辆中。在一个实施方案中，电子装置102可以包含车辆的所有系统。在另一实施方案中，电子装置102可以是安装在车辆上或配置有车辆的子系统。在又另一实施方案中，电子装置102可以与车辆分离(例如，不物理连接到车辆)，但可以与车辆通信(例如，通过数据网络)。
在一个实施方案中，电子装置102可以配置有视觉惯性里程计(VIO)系统。VIO系统可以被实施为组合相机输入与由惯性测量单元(IMU)系统提供的惯性信息以确定车辆的位置的定位引擎。IMU可以包含IMU用来产生惯性测量结果的一或多个加速度计和/或一或多个陀螺仪传感器。
在一种方法中，VIO系统可以整合惯性测量结果以获取电子装置102的位置。然而，惯性测量结果可能不足以确定电子装置102的位置。在VIO应用中的惯性测量结果的一个问题是尺度漂移。当车辆以恒定速度移动时，可能无法观察到惯性测量单元(IMU)中的偏差，这可能会导致尺度漂移。如本文所用，“偏差”(也被称为传感器偏差)是理想输出与由传感器108(例如，陀螺仪传感器或加速度计)提供的实际输出之间的差异。
在单目VIO中(例如，使用单目相机来提供图像信息)，可以使用所估计VIO轨迹来计算视觉特征的深度。视觉特征可能无法提供对尺度漂移的任何校正。
在一个实例中，当车辆(例如，电子装置102)以恒定速度移动时，尤其是在高速公路场景中，测量加速度的加速度计变为零。在这种情况下，不存在变为标量值的针对系统中的偏差(即，加速度计偏差)的可观察信号。因此，在单目相机系统中，对于所观察到的所有特征，VIO系统仅可以测量特征的达到某个尺度的位置。例如，如果单目相机从三个不同的相机制高点观察同一特征点，则可以在现实世界中三角测量所述特征的位置，但是所述位置将仅达到某个尺度。特征点的位置可以在深度意义上任意移动。因此，在没有另外的数据的情况下无法观察到特征点的精确位置。
应当注意的是，使用惯性传感器的优点在于，当加速度计或陀螺仪传感器中存在足够的加速度或激励时，可以观察到尺度。车辆运动的问题在于，当车辆以大致恒定的速度直线行驶时，仅使用惯性测量结果无法观察到尺度。
VIO应用中的惯性测量结果的另一问题在于，在恒定速度下，IMU测量结果往往变得有噪声。在不使用视觉特征来约束IMU测量结果的情况下，相机姿势的六个自由度是不可观察的。在汽车VIO的情况下，相机姿势可以是车辆本身的姿势。
如通过本讨论所观察到的，通过使用视觉特征来辅助VIO可以获取益处。本文所描述的系统和方法使用道路几何来计算道路特征的深度。道路特征深度提供电子装置102的轨迹的尺度的独立测量结果。
在车辆情景中，电子装置102可以是车辆或可以包含在车辆中。在这种情况下，车辆将在道路上行驶。如果相对于地面校准车辆上的相机的横滚、俯仰和高度，则可以通过利用相机和IMU系统将在道路平面上移动的约束来重新获取道路特征的尺度。换言之，如果特征处于道路上，则在给定相对于道路的相机参数(例如，横滚、俯仰和高度)的情况下，所述特征必须与相机保持某一距离。电子装置102可以确定尺度的独立度量，所述独立度量为视觉惯性里程计提供另外的约束。
如本文所用，术语“道路几何”是指相机相对于道路的位置和朝向。当惯性传感器不足时，电子装置102可以利用相机相对于道路的位置来解决尺度漂移的问题。
电子装置102可以包含一或多个部件或元件。可以以硬件(例如，电路系统)或硬件和软件和/或固件的组合(例如，具有指令的处理器104)实施所述部件或元件中的一或多个。
在一些配置中，电子装置102可以包含处理器104、存储器106、一或多个传感器108和/或一或多个通信接口110。处理器104可以耦合到存储器106、一或多个传感器108和/或一或多个通信接口110(例如，与其电子通信)。
处理器104可以是通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器104可以被称为中央处理单元(CPU)。尽管在电子装置102中仅示出了单个处理器104，但是在替代性配置中，可以使用处理器104的组合(例如，图像信号处理器(ISP)和应用处理器；ARM和DSP；等)。处理器104可以经配置以实施本文中所公开的方法中的一或多种。例如，处理器104可以经配置以对一或多个道路特征进行分类。
在一些配置中，电子装置102可以执行结合图2-8中的一或多个所描述的功能、程序、方法、步骤等中的一或多个。另外或可替代地，电子装置102可以包含结合图2-8中的一或多个所描述的结构中的一或多个。
所述一或多个通信接口110可以使电子装置102能够与一或多个其它电子装置102通信。例如，所述一或多个通信接口110可以提供用于有线和/或无线通信的接口。在一些配置中，所述一或多个通信接口110可以耦合到用于发射和/或接收射频(RF)信号的一或多个天线117。另外或可替代地，所述一或多个通信接口110可以实现一或多种类型的有线(例如，通用串行总线(USB)、以太网等)通信。
在一些配置中，可以实施和/或利用多个通信接口110。例如，一个通信接口110可以是蜂窝(例如，3G、长期演进(LTE)、码分多址(CDMA)等)通信接口110，另一通信接口110可以是以太网接口，另一通信接口110可以是通用串行总线(USB)接口，并且又另一通信接口110可以是无线局域网(WLAN)接口(例如，电气电子工程师协会(IEEE)802.11接口)。在一些配置中，通信接口110可以向另一电子装置102(例如，车辆、智能电话、相机、显示器、远程服务器等)发送信息(例如，图像信息、环绕视图信息等)和/或从其处接收信息。
电子装置102可以获取一或多个图像(例如，电子图像、图像帧、视频等)和其它传感器数据。例如，电子装置102可以包含一或多个传感器108，如一或多个相机、全球导航卫星系统接收器和惯性传感器(也被称为惯性测量单元(IMU))。另外或可替代地，电子装置102可以从另一装置(例如，耦合到电子装置102的一或多个外部相机、网络服务器、一或多个交通相机、一或多个水下相机、一或多个车辆相机、一或多个web相机等)请求和/或接收所述一或多个图像。
处理器104可以包含和/或实施图像获取器112。可以向图像获取器112提供图像帧中的一或多个。在一些配置中，图像获取器112可以根据结合图1-8中的一或多个所描述的方法、功能、程序、步骤和/或结构中的一或多个进行操作。图像获取器112可以从一或多个相机(例如，普通相机、广角相机、鱼眼相机等)获取图像。例如，图像获取器112可以从一或多个传感器108和/或从一或多个外部相机接收图像数据。可以从多个相机(例如，在不同位置处)捕获图像。如上文所述，可以从包含在电子装置102中的所述一或多个传感器108捕获所述一或多个图像或者可以从所述一或多个远程相机捕获所述一或多个图像。
在一些配置中，图像获取器112可以请求和/或接收一或多个图像。例如，图像获取器112可以通过所述一或多个通信接口110从远程装置(例如，一或多个外部相机、远程服务器、远程电子装置等)请求和/或接收一或多个图像。
处理器104可以包含和/或实施校准数据获取器114、数据流获取器116、特征分类器118、深度计算机124和批量更新器126。特征分类器118可以包含和/或实施逆投影仪120和预定义范围122。
校准数据获取器114可以获取预校准数据。在一个实施方案中，预校准数据可以包含相对于车辆经配置以在操作期间接触的道路平面而确定的相机高度。如本文所用，道路平面可以被称为地平面或地面。例如，沿y轴(例如，纵轴)具有最小值的轮胎接触点可以限定道路平面。
相机高度可以是相机的光轴与道路平面之间的垂直距离。在一个实施方案中，可以预先配置相机高度。在另一实施方案中，可以使用与地面具有已知高度的目标标记来校准相机高度。可以将相机高度存储在存储器106中。结合图7描述了示出了可以如何关于相机的光轴和道路平面限定相机高度的实例。
校准数据获取器114还可以获取相机俯仰和横滚。在一个实施方案中，可以预先配置相机俯仰和横滚。例如，可以通过电子装置102存储相机相对于地面的角度。在另一配置中，可以使用与地面具有已知高度的目标标记和/或来自之前的VIO运行的重力测量结果来估计相机俯仰和横滚。可以将相机俯仰和横滚存储在存储器106中。结合图7描述了示出了可以如何关于相机的光轴限定俯仰和横滚的实例。
数据流获取器116可以从惯性测量单元(IMU)接收数据流。在一种配置中，数据流可以包含来自三轴加速度计和三轴陀螺仪传感器中的一或多个的数据。因此，数据流可以包含电子装置102的惯性测量结果(例如，加速度和/或旋转)。在一个实施方案中，校准数据获取器114可以基于IMU测量结果确定相机俯仰和横滚。
处理器104可以从相机图像中检测一或多个特征点。例如，处理器104可以识别相机图像中具有有利于跟踪的强角的点。这些点可以被称为关键点、特征或特征点。
在一个实施方案中，处理器104可以使用一维(1D)扩展卡尔曼滤波器(EKF)或基于高斯-牛顿(GN)的深度估计方法来确定特征的深度。如本文所用，术语“深度”是指点到相机的距离。应当注意的是，通过1D EKF或GN估计方法获取的深度可能具有如上所述的尺度漂移。
电子装置102可以利用道路结构来辅助汽车视觉惯性里程计(VIO)。特征分类器118可以将所述多个图像中的所述一或多个特征分类为道路特征。换言之，特征分类器118可以将所述多个图像中的特征分类为位于(即，处于)道路上或不位于道路上。在一种配置中，可以在关键点检测期间执行特征分类。
在一个实施方案中，特征分类器118可以基于相机高度、俯仰和横滚计算相机与道路平面之间的相对变换。特征分类器118可以包含和/或实施逆投影仪120。逆投影仪120可以基于相机校准数据使用相对变换对位于地平线下方的特征执行逆投影。可以根据校准数据获取器114获取的相机俯仰计算地平线。例如，使用相机俯仰的已知角度，可以限定图像中表示地平线的线。图像中位于此线下方的特征可以被视为位于地平线下方。
如果特征位于地平线下方，则逆投影仪120可以将特征逆投影回到道路坐标系上。因此，基于道路几何，如果特征处于地平线下方，则逆投影仪120可以将特征逆投影回到3D位置上，条件是所述点可以位于道路平面上。
在一种配置中，逆投影可以提供特征在道路坐标系中的三维(3D)位置。道路与相机坐标系之间的变换可以使用以下等式。
Xc＝RcrXr+Tcr (1)
在等式(1)中，Xc表示特征点在相机坐标系中的3D位置。Rcr表示相机坐标系与道路坐标系之间的旋转矩阵并且可以根据相机的经预校准的俯仰和横滚来确定。Xr表示特征点在道路坐标系中的3D位置。Tcr表示相机坐标系与道路坐标系之间的转换并且基于外部校准数据获知。在一种配置中，Tcr可以等于[0 0 0]'。
在一种配置中，透视投影可以使用以下等式(2)。
xc＝K(RcrXr+Tcr) (2)
在等式(2)中，xc＝[u v w]和xc是特征的像素位置，其中u v w为像素的分量，并且K是相机矩阵。
在一种配置中，可以根据等式(3)表达道路的平面等式(∏)。
∏:aX+bY+cZ+d＝0 (3)
在一些配置中，a＝0，b＝1，c＝0且d＝相机高度。平面等式(Π)可以限定平坦的道路平面。
可以如下将平面约束添加到透视等式(2)中。
在一种配置中，可以使用以下等式来求解道路坐标和深度。
在等式(5)中，x和y为未失真的像素坐标。深度(z)为Xr的分量。道路坐标系可以用以下分量被朝向为关于相机面向前方：x-右，y-下，z-前。结合图7描述了从相机平面(例如，相机坐标系)到道路平面(例如，道路坐标系)的转换的另外细节。
如果特征处于预定义范围122内，则特征分类器118可以将特征分类为道路特征。在一个实施方案中，预定义范围122可以包含一或多个距离范围。可以基于特征的如在道路坐标系中变换的坐标来确定特征的距离。预定义范围122可以包含横向范围(例如，左/右)和深度范围(例如，向前)。在一个实施方案中，横向范围的极限可以通过负x坐标(例如，-xRange)和正x坐标(例如，xRange)限定。深度范围的极限可以通过零(例如，对应于相机镜头的位置的点)和正z坐标(例如，zRange)限定。
在一种配置中，如果特征处于道路坐标系内的x坐标范围[-xRange,xRange]和z坐标范围[0,zRange]内，则可以将所述特征分类为道路特征。x坐标范围可以对应于特征在道路平面内的横向(例如，左/右)位置。z坐标范围可以对应于特征在道路平面内的深度位置。
在另一实施方案中，特征分类器118可以基于机器学习模型将相机图像中的特征分类为道路特征。例如，电子装置102可以配置有机器学习模型，所述机器学习模型经配置以基于特征的强度、颜色和位置对图像中的特征进行分类。这种机器学习方法可以使用一或多种机器学习方法(例如，监督式学习、人工神经网络、决策树等)来实施。在一个实例中，可以使用将强度/颜色和位置信息与已知道路特征相关联的一或多个训练集来生成机器学习模型。
特征分类器118可以将图像中的给定特征的强度/颜色信息和位置信息应用于机器学习模型。机器学习模型可以指示给定特征是否是道路特征。
处理器104可以包含和/或实施深度计算机124。在一种配置中，深度计算机124可以使用道路特征的逆投影来计算特征的深度。例如，深度计算机124可以使用等式1-5求解给定道路特征的深度(z)。换言之，如果特征被分类为道路特征，则深度计算机124可以使用道路模型(例如，平坦平面假设)连同外部校准参数(例如，相机高度、横滚和俯仰)来计算特征点的深度。对于未被分类为道路特征的特征，处理器104可以使用一维(1D)扩展卡尔曼滤波器(EKF)或基于高斯牛顿(GN)的深度估计方法来估计所述特征的深度。
在一个实施方案中，处理器104可以在检测发生时设置对道路特征的跟踪以辅助跟踪图像帧之间的道路特征。道路特征的块法线可以被设置为道路平面的法线。为了跟踪道路特征，处理器104可以使用围绕所述特征的图像块。然后，处理器104可以尝试在接收到的连续帧中定位所述图像块。
为了执行跟踪，当相机从一个位置移动到下一个位置时，处理器104寻找同一图像块。在制高点已经移动时寻找类似图像块的问题在于图像块从一帧到另一帧看起来可能不太相似。可以基于相机已经采取的运动来扭曲图像块。为了正确地进行扭曲，可以确定块的法线。如果未正确设置块法线，则跟踪可能会受到影响。如本文所用，术语法线是来自平面(例如，图像块平面或道路平面)的垂直射线。
处理器104可以将给定道路特征的块法线设置为道路平面的法线，现在基于相机的经校准俯仰、横滚和高度获知道路平面的法线。使用块法线，处理器104可以调整图像帧之间发生的移动。这有助于处理器104正确地跟踪道路特征。
可以用根据模型计算的深度来执行批量更新以引入二级尺度信息。一旦使用道路模型确定了道路特征的深度，就可以在批量更新中使用这些深度来覆盖使用其它方法(例如，GN深度估计)估计的深度。
在对道路特征进行分类后，可以在VIO系统中使用这些道路特征。VIO系统可以包含或实施连续运行的扩展卡尔曼滤波器(EKF)。在批量更新中，对于每个检测到的特征，处理器104可以使用来自所述特征的信息来细化相机或车辆的姿势和轨迹。
如上所述，在一般情况下，可以使用基于高斯-牛顿的方法来计算特征的深度。然而，如果特征被分类为道路特征，则可以丢弃根据基于GN的方法计算的道路特征深度。这是因为基于GN的方法可能由于尺度的不可观察性而被破坏。可以替代地使用根据逆投影确定的基于道路模型的道路深度。
在一种配置中，处理器104可以包含和/或实施批量更新器126。批量更新器126可以基于经重新计算的深度更新特征逆深度。例如，可以用来自逆投影的逆深度(即，z坐标)来初始化特征。在另一实例中，可以丢弃道路特征的GN深度并且将其替换为基于道路几何确定的经重新计算的深度。批量更新器126可以基于经更新的特征逆深度更新VIO EKF。在一个实施方案中，在批量更新步骤期间，在EKF参数被更新以解释根据道路模型计算的深度时，根据道路模型计算的逆深度可以向EKF提供约束。
在一个实施方案中，还可以使用特征深度的不确定性更新EKF。可以使用道路模型深度标准偏差来计算道路深度的不确定性。例如，批量更新器126可以将道路模型深度标准偏差与道路特征深度一起传递以影响道路特征模型提供的约束的强度。应当注意的是，与GN深度估计相比，基于道路模型的深度确定的深度不确定性减小。因此，基于道路模型可以产生更准确的VIO操作。
存储器106可以存储指令和/或数据。处理器104可以访问存储器106(例如，从存储器读取和/或向存储器写入)。存储器106可以存储图像和用于由处理器104执行操作的指令代码。存储器106可以是能够存储电子信息的任何电子部件。存储器106可以具体化为：随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的闪存装置、与处理器104一起被包含的板上存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器等，包含所述各项的组合。
可以将数据和指令存储在存储器106中。指令可以由处理器104执行以实施本文所描述的方法中的一或多种。执行指令可以涉及使用存储在存储器106中的数据。当处理器104执行指令时，可以将指令的各个部分可以加载到处理器104上，并且可以将各条数据加载到处理器104上。
应当注意的是，可以组合和/或划分电子装置102的元件或部件中的一或多个。应当注意的是，结合图1所描述的元件或部件中的一或多个可以是任选的。
图2是展示了可以在其中实施对道路特征的分类的电子装置202的一个实例的框图。电子装置202可以描述精确定位和绘制平台(PPMP)。PPMP可以通过一组经济可行的传感器、边缘处理和分析能力提供精确定位和绘制能力。可以检测云中的绘制算法244，并且所述绘制算法将定位关键地标以生成精确的定位图。
所述系统可以包含相机228、全球定位系统(GPS)接收器230、惯性传感器(IMU)232、传感器同步板234和处理器204。处理器204可以包含传感器驱动程序模块236、定位引擎238、感知引擎240以及数据聚合和连接模块242。
处理器204可以通过无线或有线网络与一或多个装置通信。所述一或多个装置可以执行绘制算法244。
前端传感器108(例如，相机228、GPS接收器230和IMU 232)可以是消费级传感器。传感器同步板234可以包含控制所有传感器108的时间戳的嵌入式微控制器。在一个实施方案中，传感器同步板234生成定时误差小于10微秒的时间戳。
相机228、GPS接收器230和IMU 232的输出可以馈送到定位引擎238和感知引擎240两者中。感知引擎240可以检测传入视频流中的关键地标并且在图像帧中准确地定位所述地标。定位引擎238可以通过紧密融合GPS信号、惯性传感器读数和相机视频输入提供六个自由度(6DoF)的相机姿势的准确估计。
可以通过数据聚合和连接模块242聚合定位引擎238和感知引擎240的输出并将其发送到云。绘制算法244可以在全局帧中生成地标的位置估计。
在一种配置中，本文所描述的系统和方法可以由定位引擎238实施。
图3是展示了用于对道路特征进行分类的方法300的一种配置的流程图。方法300可以由本文所描述的电子装置102中的一或多个执行。
电子装置102可以存储302安装在车辆上的相机228的预校准数据。预校准数据可以包含相对于车辆经配置以在操作期间接触的道路平面而确定的相机高度。相机高度可以包含相机228的光轴(例如，z坐标)与道路平面之间的垂直距离。
预校准数据还可以包含相机228绕与相机的光轴正交的第一维度(例如，x坐标)的俯仰。预校准数据可以进一步包含相机228绕相机228的光轴的横滚。
在一个实施方案中，可以预先配置相机高度。在另一实施方案中，可以通过电子装置102确定相机高度(例如，使用与地面具有已知高度的目标标记)。
在一个实施方案中，可以在校准操作中计算相机俯仰和横滚。在一种方法中，可以使用来自之前的VIO运行的重力测量结果来估计相机俯仰和横滚。在另一种方法中，可以使用与地面具有已知高度的目标标记来估计相机俯仰和横滚。
电子装置102可以接收304多个图像。例如，相机228可以捕获一或多个图像(例如，数字图像、图像帧、视频等)。相机228可以将所述一或多个图像提供给电子装置102。
电子装置102可以基于预校准数据将所述多个图像中的一或多个特征分类306为道路特征。在一个实施方案中，电子装置102可以基于相机228的俯仰确定位于地平线下方的特征。电子装置102可以基于预校准数据(例如，相机高度、俯仰和横滚)使用相机228的相机平面与道路平面之间的相对变换对位于地平线下方的特征执行逆投影。
如果特征位于道路平面中的预定义范围122内，则电子装置102可以将所述特征分类306为道路特征。预定义范围122可以包含关于道路平面的横向范围(例如，x坐标范围)和深度范围(例如，z坐标范围)。当变换到道路平面时，深度范围可以沿着相机228的光轴(例如，z坐标)朝向。当变换到道路平面时，横向范围可以沿着与相机228的光轴正交的第一维度(例如，x坐标)朝向。
在另一实施方案中，电子装置102可以将特征的强度信息和位置信息应用于机器学习模型。机器学习模型可以指示给定特征是否是道路特征。
图4是展示了用于基于道路几何对道路特征进行分类的方法400的一种配置的流程图。方法400可以由本文所描述的电子装置102中的一或多个执行。
电子装置102可以接收402多个图像。例如，电子装置102可以经配置以从相机228接收所述多个图像。相机228可以捕获所述一或多个图像(例如，数字图像、图像帧、视频等)。
相机228可以安装在车辆上。在一个实施方案中，相机228可以朝前安装在车辆上。
电子装置102可以检测404所述多个图像中的特征。例如，电子装置102可以识别相机图像中具有强角的特征。电子装置102可以在关键点检测操作期间检测404特征。
电子装置102可以基于相机姿势确定406位于地平线下方的特征。例如，电子装置102可以使用包含在预校准数据中的相机俯仰。电子装置102可以基于相机俯仰的角度确定地平线的位置。电子装置102可以确定406检测到的特征中哪些特征处于此地平线下方。
电子装置102可以使用相机228的相机平面与道路平面之间的相对变换对位于地平线下方的特征执行408逆投影。相对变换可以基于预校准数据。例如，电子装置102可以将特征逆投影回到道路坐标系上。换言之，如果特征处于地平线下方，则电子装置102可以将所述特征逆投影回到3D位置上，条件是所述点可以位于道路平面上。
逆投影可以使用相机228的高度、俯仰和横滚在相机平面与道路平面之间进行变换。可以根据预校准数据确定相对于地面的相机高度。在一个实施方案中，电子装置102可以使用等式1-5确定特征在道路坐标系中的3D位置。特征的3D位置可以包含x坐标(即，横向分量)、y坐标(即，竖直分量)和z坐标(即，深度分量)。
如果特征处于道路平面中的预定义范围122内，则电子装置102可以将所述特征分类410为道路特征。在一个实施方案中，预定义范围122可以包含道路坐标系内的x坐标范围[-xRange,xRange]和z坐标范围[0,zRange]。如果所计算x坐标处于[-xRange,xRange]内并且所计算z坐标处于[0,zRange]内，则可以将特征分类410为道路特征。
电子装置102可以用根据逆投影确定的深度(z)来初始化412道路特征。对于被分类为道路特征的特征，电子装置102可以丢弃根据基于高斯-牛顿(GN)的深度估计方法的深度估计。电子装置102可以使用根据逆投影确定的深度(z)更新视觉惯性里程计(VIO)扩展卡尔曼滤波器(EKF)。
电子装置102可以为道路特征设置414垂直于道路平面的图像块。道路平面在逆投影期间基于相机228的经校准俯仰、横滚和高度确定。为了便于跟踪道路特征，电子装置102可以将道路特征的图像块法线与道路平面法线对齐。
图5是展示了用于基于机器学习模型对道路特征进行分类的方法500的一种配置的流程图。方法500可以由本文所描述的电子装置102中的一或多个执行。
电子装置102可以接收502多个图像。例如，电子装置102可以配置有相机228。相机228可以捕获一或多个图像(例如，数字图像、图像帧、视频等)。
电子装置102可以检测504所述多个图像中的特征。可以如结合图4所描述的那样完成这一操作。
电子装置102可以基于机器学习模型将特征分类506为道路特征。在一个实施方案中，电子装置102可以预先配置有机器学习模型，所述机器学习模型基于图像中的特征的强度信息和位置信息将特征分类为道路特征或非道路特征。电子装置102可以将检测到的特征的强度信息和位置信息应用于机器学习模型。机器学习模型可以将特征分类为道路特征或非道路特征。
电子装置102可以用根据逆投影确定的深度(z)初始化508道路特征。对于被分类为道路特征的每个特征，电子装置102可以使用相机平面与道路平面之间的相对变换来执行逆投影。可以如结合图4所描述的那样完成这一操作。电子装置102可以确定道路特征在道路坐标系中的3D位置(例如，x坐标、y坐标和z坐标)。电子装置102可以丢弃根据基于高斯-牛顿(GN)的深度估计方法的深度估计。电子装置102可以使用根据逆投影确定的深度(z)更新视觉惯性里程计(VIO)扩展卡尔曼滤波器(EKF)。
电子装置102可以为道路特征设置510垂直于道路平面的图像块。可以如结合图4所描述的那样完成这一操作。
图6是展示了用于更新视觉惯性里程计(VIO)扩展卡尔曼滤波器(EKF)的方法600的一种配置的流程图。方法600可以由本文所描述的电子装置102中的一或多个执行。
电子装置102可以将一或多个特征分类602为道路特征。可以如结合图4或图5所描述的那样完成这一操作。
电子装置102可以使用道路特征的逆投影来计算604所述特征的深度(z)。对于被分类为道路特征的每个特征，电子装置102可以使用相机平面与道路平面之间的相对变换来执行逆投影。可以如结合图4所描述的那样完成这一操作。
电子装置102可以基于所计算深度(z)更新606特征逆深度。例如，电子装置102可以初始地使用基于高斯-牛顿(GN)的深度估计方法估计特征的深度。电子装置102可以丢弃608基于GN的深度估计。对于被分类为道路特征的每个特征，电子装置102可以使用根据逆投影获取的所计算深度(z)。
电子装置102可以基于经更新的特征逆深度更新610视觉惯性里程计(VIO)扩展卡尔曼滤波器(EKF)。在批量更新中，对于每个检测到的特征，电子装置102可以使用来自每个特征的信息来细化相机228或车辆的姿势和轨迹。可以用根据逆投影确定的逆深度(即，z坐标)来初始化道路特征。在一个实施方案中，电子装置102还可以基于道路模型深度标准偏差的不确定性更新VIO EKF。
图7展示了如本文所描述的可以用于对道路特征进行分类的道路几何的各个方面。车辆758(例如，汽车、卡车、公共汽车等)可以配置有相机728。在图7中，相机728安装(例如，附接)到车辆758的前部，其中相机728的镜头朝前。换言之，相机728可以安装在车辆758上，使得相机728的光轴754被朝向为在车辆758的操作期间大致沿向前运动的方向。
应当注意的是，虽然图7将相机728描绘为定位于车辆758的前部区域(例如，引擎盖)上，但是相机728可以安装在车辆758上的其它位置中。例如，相机728可以安装在车辆758的车顶或保险杠上。此外，相机728可以安装在车辆758的内部(例如，在背向挡风玻璃的仪表盘上)。
可以关于相机728的光轴754限定相机728的俯仰748、横滚746和偏航747。相机728的三维坐标系可以通过x轴(左/右)、y轴(上/下)和z轴(前/后)限定。在此实例中，相机728的光轴754沿z轴朝向。相机728的三维坐标系可以起源于相机728的镜头。
在此实例中，横滚746可以被定义为相机728关于z轴的角度。俯仰748可以被定义为相机728关于x轴的角度。因此，横滚746可以是相机728绕光轴754(例如，z轴)的角度，并且俯仰748可以是相机728绕与相机728的光轴754正交的第一维度(例如，x轴)的角度。
偏航747可以被定义为相机728关于y轴的角度。换言之，偏航747可以是相机728绕与相机728的光轴754正交并且与第一维度(例如，x轴)正交的第二维度(例如，y轴)的角度。
相机高度750可以被定义为相机728的光轴754与道路平面752之间的垂直距离。道路平面752可以被定义为车辆758经配置以在操作期间接触的表面。例如，车辆758的轮胎与道路756接合的接触点760可以是道路平面752上的点。在一个实施方案中，道路平面752可以被建模为平坦平面。然而，道路平面752可以被建模为其它形状(例如，弯曲的)。
在一个实施方案中，可以相对于相机坐标系限定道路平面752。例如，道路平面752可以位于相机坐标系的z轴和x轴中。然而，道路平面752可以与相机坐标系偏移相机高度750。相机坐标系内的特征点可以通过逆投影转换到道路平面752，如结合等式1-5所描述的。
在一个实施方案中，可以预先配置相机高度750。在另一实施方案中，可以使用与道路平面752具有已知高度的目标标记来校准相机高度750。
应当注意的是，在一些情况下，车辆758的支撑表面上的车轮接触点760可能处于与道路平面752上方的相机高度750不同的距离处，因为道路一致性可能发生变化。例如，在相机728下方可能存在凹坑，但是车轮在道路756上的较高点处接触。
图8展示了可以包含在经配置以实施本文所公开的系统和方法的各种配置的电子装置802内的某些部件。电子装置802的实例可以包含：相机、视频摄录像机、数码相机、蜂窝电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴相机、虚拟现实装置(例如，头戴装置)、增强现实装置(例如，头戴装置)、混合现实装置(例如，头戴装置)、运动相机、监控相机、安装式相机、连接式相机、机器人、飞行器、无人机、无人驾驶航空器(UAV)、智能应用、保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、电器等。电子装置802可以根据本文所描述的电子装置102中的一或多个实施。
电子装置802包含处理器804。处理器804可以是通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器804可以被称为中央处理单元(CPU)。虽然电子装置802中仅示出了单个处理器804，但是在替代性配置中，可以实施处理器的组合(例如，ARM和DSP)。
电子装置802还包含存储器806。存储器806可以是能够存储电子信息的任何电子部件。存储器806可以具体化为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的闪存装置、处理器内包含的板上存储器、EPROM存储器、EEPROM存储器、寄存器等等，包含其组合。
可以将数据809a和指令807a存储在存储器806中。指令807a可由处理器804执行以实施本文所描述的方法、程序、步骤和/或功能中的一或多个。执行指令807a可以涉及使用存储在存储器806中的数据809a。当处理器804执行指令807时，可以将指令807b的各个部分加载到处理器804上和/或可以将各条数据809b加载到处理器804上。
电子装置802还可以包含发射器811和/或接收器813以允许来往于电子装置802发射和接收信号。发射器811和接收器813可以被统称为收发器815。可以将一或多个天线817a-b电耦合到收发器815。电子装置802还可以包含(未示出)多个发射器、多个接收器、多个收发器和/或额外的天线。
电子装置802可以包含数字信号处理器(DSP)821。电子装置802还可以包含通信接口810。通信接口810可以允许和/或实现一或多种类型的输入和/或输出。例如，通信接口810可以包含用于将其它装置链接到电子装置802的一或多个端口和/或通信装置。在一些配置中，通信接口810可以包含发射器811、接收器813或两者(例如，收发器815)。另外或可替代地，通信接口810可以包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、相机等)。例如，通信接口810可以使用户能够与电子装置802交互。
电子装置802的各个部件可以通过一或多条总线耦合在一起，所述总线可以包含电源总线、控制信号总线、状态信号总线、数据总线等。为了清楚起见，所述各条总线在图8中被示出为总线系统819。
术语“确定”涵盖各种动作，并且因此，“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表、数据库或另一个数据结构中查找)、查明等。而且，“确定”可以包含接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。而且，“确定”可以包含分解、选择、挑选、建立等。
除非另有明确说明，否则短语“基于”并不意指“仅基于”。换言之，短语“基于”描述了“仅基于”和“至少基于”两者。
术语“处理器”应被广义地解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在某些情况下，“处理器”可以指专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可以指处理装置的组合，例如DSP和微处理器的组合、多个微处理器、一或多个微处理器结合DSP内核或任何其它这样的配置。
术语“存储器”应被广义地解释为涵盖能够存储电子信息的任何电子部件。术语存储器可以指各种类型的处理器可读媒体，如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、闪存、磁性或光学数据存储装置、寄存器等。如果处理器可以从存储器读取信息和/或将信息写入存储器，则存储器被称为与处理器电子通信。与处理器成一体的存储器与处理器电子通信。
术语“指令”和“代码”应被广义地解释为包含任何类型的一或多个计算机可读语句。例如，术语“指令”和“代码”可以指一或多个程序、例程、子例程、函数、过程等。“指令”和“代码”可以包括单个计算机可读语句或多个计算机可读语句。
本文所描述的功能可以以通过硬件执行的软件或固件实施。功能可以作为一或多条指令存储在计算机可读媒体上。术语“计算机可读媒体”或“计算机程序产品”指可以由计算机或处理器访问的任何有形存储媒体。通过举例而不是进行限制，计算机可读媒体可以包括RAM、ROM、EEPROM、CD-ROM或者其它光盘存储装置、磁盘存储装置或其它磁性存储装置或者可以用来以指令或数据结构形式承载或存储期望程序代码并且可以被计算机访问的任何其它媒体。如本文所使用的盘或碟包含压缩碟(CD)、激光碟、光碟、数字通用碟(DVD)、软盘和碟，其中盘通常磁性地复制数据，而碟用激光光学地复制数据。应当注意的是，计算机可读媒体可以是有形且非暂时性的。术语“计算机程序产品”是指计算装置或处理器组合可以由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)。如本文所用，术语“代码”可以指可由计算装置或处理器执行的软件、指令、代码或数据。
软件或指令还可以通过传输媒体进行传输。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或如红外、无线电和微波等无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或如红外、无线电和微波等无线技术包含在传输媒体的定义中。
本文所公开的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求的范围的情况下，方法步骤和/或动作可以彼此互换。换言之，除非正确操作所描述的方法需要步骤或动作的特定顺序，否则在不脱离权利要求的范围的情况下，可以修改特定步骤和/或动作的顺序和/或使用。
另外，应了解的是，用于执行本文所公开的方法和技术的模块和/或其它适当装置可以通过装置下载和/或以其它方式获取。例如，可以将装置耦合到服务器以促进用于执行本文所描述的方法的装置的传递。可替代地，本文所描述的各种方法可以通过存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、如压缩碟(CD)或软盘等物理存储媒体等)提供，使得在将存储装置耦合到装置或向装置提供存储装置时，所述装置可以获取所述各种方法。
应理解的是，权利要求不限于上文所展示的确切配置和部件。在不脱离权利要求的范围的情况下可以对本文所描述的系统、方法和设备的布置、操作和细节做出各种修改、改变和变化。

Claims (21)

1.一种用于将特征分类为道路特征并跟踪道路特征的电子装置，配置有视觉惯性里程计系统，包括：
存储器，存储安装在车辆上的相机的预校准数据，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度；以及
处理器，与所述存储器通信，所述处理器经配置以：
接收由所述相机捕获的多个图像；
通过如下方式将所述多个图像中的一个或多个特征分类为道路特征：
基于所述相机的俯仰确定位于地平线下方的特征；
基于所述预校准数据使用相机平面与道路平面之间的相对变换对位于所述地平线下方的特征执行逆投影；并且
如果特征位于所述道路平面中的预定义范围内，
则将该特征分类为道路特征；
基于所述道路特征中每一个道路特征的逆投影计算所述每一个道路特征的深度；
基于所计算的深度更新视觉惯性里程计扩展卡尔曼滤波器；并且
通过以下方式在图像帧之间跟踪所分类的道路特征中一个或多个道路特征的位置：
识别所分类的道路特征中每一个道路特征周围的图像块；
确定所述图像块的法线；
确定所述道路平面的法线；并且
将所述图像块的法线设置为所述道路平面的法线。
2.根据权利要求1所述的电子装置，其中所述相机高度包含所述相机的光轴与所述道路平面之间的垂直距离。
3.根据权利要求2所述的电子装置，其中所述预校准数据进一步包含所述相机绕与所述相机的所述光轴正交的第一维度的俯仰。
4.根据权利要求3所述的电子装置，其中所述预校准数据进一步包含所述相机绕所述相机的所述光轴的横滚。
5.根据权利要求1所述的电子装置，其中所述预定义范围包括关于所述道路平面的横向范围和深度范围。
6.根据权利要求5所述的电子装置，其中当变换到所述道路平面时，所述深度范围沿着所述相机的光轴朝向，并且当变换到所述道路平面时，所述横向范围沿着与所述相机的所述光轴正交的第一维度朝向。
7.根据权利要求1所述的电子装置，其中将所述多个图像中的所述一个或多个特征分类为道路特征包括：
将特征的强度信息和位置信息应用于机器学习模型。
8.根据权利要求1所述的电子装置，其中所述处理器经进一步配置以基于道路模型深度标准偏差的不确定性更新所述视觉惯性里程计扩展卡尔曼滤波器。
9.根据权利要求1所述的电子装置，其中所述处理器经进一步配置以从惯性测量单元接收惯性测量数据，其中所述惯性测量数据包含来自三轴加速度计的数据和来自三轴陀螺仪传感器的数据。
10.一种用于将特征分类为道路特征并跟踪道路特征的方法，包括：
存储安装在车辆上的相机的预校准数据，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度；
接收由所述相机捕获的多个图像；
通过如下方式将所述多个图像中的一个或多个特征分类为道路特征：
基于所述相机的俯仰确定位于地平线下方的特征；
基于所述预校准数据使用相机平面与道路平面之间的相对变换对位于所述地平线下方的特征执行逆投影；并且
如果特征位于所述道路平面中的预定义范围内，则将该特征分类为道路特征；
基于所述道路特征中每一个道路特征的逆投影计算所述每一个道路特征的深度；
基于所计算的深度更新视觉惯性里程计扩展卡尔曼滤波器；以及
通过以下方式在图像帧之间跟踪所分类的道路特征中一个或多个道路特征的位置：
识别所分类的道路特征中每一个道路特征周围的图像块；
确定所述图像块的法线；
确定所述道路平面的法线；并且
将所述图像块的法线设置为所述道路平面的法线。
11.根据权利要求10所述的方法，其中所述相机高度包含所述相机的光轴与所述道路平面之间的垂直距离。
12.根据权利要求11所述的方法，其中所述预校准数据进一步包含所述相机绕与所述相机的所述光轴正交的第一维度的俯仰。
13.根据权利要求10所述的方法，其中所述预定义范围包括关于所述道路平面的横向范围和深度范围。
14.根据权利要求10所述的方法，其中将所述多个图像中的所述一个或多个特征分类为道路特征包括：
将特征的强度信息和位置信息应用于机器学习模型。
15.一种存储计算机可执行代码以用于将特征分类为道路特征并跟踪道路特征的非暂时性计算机可读媒体，包括：
用于使电子装置存储安装在车辆上的相机的预校准数据的代码，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度；
用于使所述电子装置接收由所述相机捕获的多个图像的代码；
用于使所述电子装置通过如下方式将所述多个图像中的一个或多个特征分类为道路特征的代码：
基于所述相机的俯仰确定位于地平线下方的特征；
基于所述预校准数据使用相机平面与道路平面之间的相对变换对位于所述地平线下方的特征执行逆投影；并且
如果特征位于所述道路平面中的预定义范围内，则将该特征分类为道路特征；
用于使所述电子装置基于所述道路特征中每一个道路特征的逆投影来计算所述每一个道路特征的深度的代码；
用于使所述电子装置基于所计算的深度更新视觉惯性里程计扩展卡尔曼滤波器的代码；以及
用于使所述电子装置通过以下方式在图像帧之间跟踪所分类的道路特征中一个或多个道路特征的位置的代码：
识别所分类的道路特征中每一个道路特征周围的图像块；
确定所述图像块的法线；
确定所述道路平面的法线；并且
将所述图像块的法线设置为所述道路平面的法线。
16.根据权利要求15所述的计算机可读媒体，其中所述相机高度包含所述相机的光轴与所述道路平面之间的垂直距离。
17.根据权利要求15所述的计算机可读媒体，其中所述预定义范围包括关于所述道路平面的横向范围和深度范围。
18.根据权利要求15所述的计算机可读媒体，其中用于使所述电子装置将所述多个图像中的所述一个或多个特征分类为道路特征的代码包括：
用于使所述电子装置将特征的强度信息和位置信息应用于机器学习模型的代码。
19.一种用于将特征分类为道路特征并跟踪道路特征的设备，包括：
用于存储安装在车辆上的相机的预校准数据的装置，所述预校准数据包含相对于所述车辆经配置以在操作期间接触的道路平面而确定的相机高度；
用于接收由所述相机捕获的多个图像的装置；
用于通过如下方式将所述多个图像中的一个或多个特征分类为道路特征的装置：
基于所述相机的俯仰确定位于地平线下方的特征；
基于所述预校准数据使用相机平面与道路平面之间的相对变换对位于所述地平线下方的特征执行逆投影；并且
如果特征位于所述道路平面中的预定义范围内，则将该特征分类为道路特征；
用于基于所述道路特征中每一个道路特征的逆投影计算所述每一个道路特征的深度的装置；
用于基于所计算的深度更新视觉惯性里程计扩展卡尔曼滤波器的装置；以及
用于通过以下方式在图像帧之间跟踪所分类的道路特征中一个或多个道路特征的位置的装置：
识别所分类的道路特征中每一个道路特征周围的图像块；
确定所述图像块的法线；
确定所述道路平面的法线；并且
将所述图像块的法线设置为所述道路平面的法线。
20.根据权利要求19所述的设备，其中所述预定义范围包括关于所述道路平面的横向范围和深度范围。
21.根据权利要求19所述的设备，其中用于将所述多个图像中的所述一个或多个特征分类为道路特征的装置包括：
用于将特征的强度信息和位置信息应用于机器学习模型的装置。
CN201780073418.7A 2017-01-04 2017-10-25 用于对道路特征进行分类的系统和方法 Active CN109997150B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762442415P 2017-01-04 2017-01-04
US62/442,415 2017-01-04
US15/629,311 2017-06-21
US15/629,311 US10846541B2 (en) 2017-01-04 2017-06-21 Systems and methods for classifying road features
PCT/US2017/058212 WO2018128672A1 (en) 2017-01-04 2017-10-25 Systems and methods for classifying road features

Publications (2)

Publication Number Publication Date
CN109997150A CN109997150A (zh) 2019-07-09
CN109997150B true CN109997150B (zh) 2023-10-24

Family

ID=62711777

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780073418.7A Active CN109997150B (zh) 2017-01-04 2017-10-25 用于对道路特征进行分类的系统和方法

Country Status (4)

Country Link
US (1) US10846541B2 (zh)
EP (1) EP3566171A1 (zh)
CN (1) CN109997150B (zh)
WO (1) WO2018128672A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019194561A1 (ko) * 2018-04-03 2019-10-10 한국과학기술원 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
US11417017B2 (en) * 2019-04-22 2022-08-16 Texas Instmments Incorporated Camera-only-localization in sparse 3D mapped environments
US11619745B2 (en) * 2019-10-29 2023-04-04 Qualcomm Incorporated Camera-based GNSS environment detector
JP2021174288A (ja) * 2020-04-27 2021-11-01 富士通株式会社 カメラ高さ算出方法および画像処理装置
CN111860322B (zh) * 2020-07-20 2022-10-11 吉林大学 一种基于多源传感器信息融合的非结构化路面类型识别方法
US11613272B2 (en) * 2020-09-17 2023-03-28 GM Global Technology Operations LLC Lane uncertainty modeling and tracking in a vehicle
CN112880599B (zh) * 2021-01-26 2022-05-20 武汉市市政建设集团有限公司 一种基于四足机器人的路基平整度检测系统及工作方法
US20240331195A1 (en) * 2021-06-25 2024-10-03 Intel Corporation Methods and apparatus for scale recovery from monocular video
PL444756A1 (pl) * 2023-05-05 2023-12-18 Politechnika Lubelska Sposób i układ wykorzystujący sztuczne sieci neuronowe do pomiaru oraz klasyfikacji stanu nawierzchni drogowej

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0933232A (ja) * 1995-05-18 1997-02-07 Omron Corp 物体観測方法およびその方法を用いた物体観測装置、ならびにこの装置を用いた交通流計測装置および駐車場観測装置
US5790403A (en) * 1994-07-12 1998-08-04 Honda Giken Kogyo Kabushiki Kaisha Lane image processing system for vehicle
US6615648B1 (en) * 1997-12-22 2003-09-09 The Roads And Traffic Authority On New South Wales Road pavement deterioration inspection system
KR20040061223A (ko) * 2002-12-30 2004-07-07 엘지산전 주식회사 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치
EP1557692A1 (de) * 2004-01-26 2005-07-27 IBEO Automobile Sensor GmbH Verfahren zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
WO2007124502A2 (en) * 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
CN103026176A (zh) * 2010-07-22 2013-04-03 高通股份有限公司 用于校准车辆导航系统的动态参数的装置及方法
CN103064086A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆跟踪方法
EP2725520A2 (en) * 2012-06-13 2014-04-30 Ricoh Company, Ltd. Method and apparatus for detecting road
KR20140104565A (ko) * 2013-02-19 2014-08-29 한국과학기술원 자동차 안전을 위한 노면 상태 인식 시스템 및 그 방법
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN105809669A (zh) * 2015-01-16 2016-07-27 戴尔菲技术公司 一种用于校准图像检测设备的方法和装置
CN105989603A (zh) * 2015-03-18 2016-10-05 英特尔公司 机器视觉图像传感器校准

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
DE102008063328A1 (de) * 2008-12-30 2010-07-01 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer Änderung des Nickwinkels einer Kamera eines Fahrzeugs
US8259174B2 (en) * 2009-02-06 2012-09-04 GM Global Technology Operations LLC Camera auto-calibration by horizon estimation
US20120022739A1 (en) * 2010-07-20 2012-01-26 Gm Global Technology Operations, Inc. Robust vehicular lateral control with front and rear cameras
EP2574958B1 (en) * 2011-09-28 2017-02-22 Honda Research Institute Europe GmbH Road-terrain detection method and system for driver assistance systems
KR20130051681A (ko) * 2011-11-10 2013-05-21 한국전자통신연구원 노면 표식물 인식 시스템 및 방법
US9784843B2 (en) * 2012-01-17 2017-10-10 Limn Tech LLC Enhanced roadway mark locator, inspection apparatus, and marker
US10254118B2 (en) 2013-02-21 2019-04-09 Regents Of The University Of Minnesota Extrinsic parameter calibration of a vision-aided inertial navigation system
US10306206B2 (en) 2013-07-23 2019-05-28 The Regents Of The University Of California 3-D motion estimation and online temporal calibration for camera-IMU systems
US10247556B2 (en) 2013-07-23 2019-04-02 The Regents Of The University Of California Method for processing feature measurements in vision-aided inertial navigation
US9528834B2 (en) * 2013-11-01 2016-12-27 Intelligent Technologies International, Inc. Mapping techniques using probe vehicles
US9342888B2 (en) 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
US9658070B2 (en) 2014-07-11 2017-05-23 Regents Of The University Of Minnesota Inverse sliding-window filters for vision-aided inertial navigation systems
US9589355B2 (en) * 2015-03-16 2017-03-07 Here Global B.V. Guided geometry extraction for localization of a device
DE102015104065A1 (de) 2015-03-18 2016-09-22 Connaught Electronics Ltd. Verfahren zum Bestimmen einer Position eines Objekts in einem dreidimensionalen Weltkoordinatensystem, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug
US10705528B2 (en) * 2015-12-15 2020-07-07 Qualcomm Incorporated Autonomous visual navigation

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5790403A (en) * 1994-07-12 1998-08-04 Honda Giken Kogyo Kabushiki Kaisha Lane image processing system for vehicle
JPH0933232A (ja) * 1995-05-18 1997-02-07 Omron Corp 物体観測方法およびその方法を用いた物体観測装置、ならびにこの装置を用いた交通流計測装置および駐車場観測装置
US6615648B1 (en) * 1997-12-22 2003-09-09 The Roads And Traffic Authority On New South Wales Road pavement deterioration inspection system
KR20040061223A (ko) * 2002-12-30 2004-07-07 엘지산전 주식회사 카메라 캘리브레이션을 이용한 교통정보 추출 방법 및 장치
EP1557692A1 (de) * 2004-01-26 2005-07-27 IBEO Automobile Sensor GmbH Verfahren zur Erkennung von gekennzeichneten Gefahr- und/oder Baustellen im Bereich von Fahrbahnen
WO2007124502A2 (en) * 2006-04-21 2007-11-01 Sarnoff Corporation Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
WO2010146695A1 (ja) * 2009-06-18 2010-12-23 富士通株式会社 画像処理装置および画像処理方法
CN103026176A (zh) * 2010-07-22 2013-04-03 高通股份有限公司 用于校准车辆导航系统的动态参数的装置及方法
EP2725520A2 (en) * 2012-06-13 2014-04-30 Ricoh Company, Ltd. Method and apparatus for detecting road
CN103064086A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆跟踪方法
KR20140104565A (ko) * 2013-02-19 2014-08-29 한국과학기술원 자동차 안전을 위한 노면 상태 인식 시스템 및 그 방법
CN104715473A (zh) * 2013-12-11 2015-06-17 鹦鹉股份有限公司 用于对自动车辆车载的摄像机的位置进行角度校准的方法
CN104318258A (zh) * 2014-09-29 2015-01-28 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN105809669A (zh) * 2015-01-16 2016-07-27 戴尔菲技术公司 一种用于校准图像检测设备的方法和装置
CN105989603A (zh) * 2015-03-18 2016-10-05 英特尔公司 机器视觉图像传感器校准
CN105488534A (zh) * 2015-12-04 2016-04-13 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Iterative road detection based on vehicle speed》;CACERES HERNANDEZ DANILO,etal.;《Proceedings of European Conference on Mobile Robots》;20150625;第228-235页 *
《Monocular Visual Odometry using a Planar Road Model to Solve Scale Ambiguity》;Bernd Manfred,Kitt,etal.;《Proceedings of European Conference on Mobile Robots》;20110901;全文 *
《基于全景环视的道路交通标线检测与识别方法研究》;顾霄琳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150615;全文 *

Also Published As

Publication number Publication date
US10846541B2 (en) 2020-11-24
US20180189576A1 (en) 2018-07-05
EP3566171A1 (en) 2019-11-13
CN109997150A (zh) 2019-07-09
WO2018128672A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
CN109997150B (zh) 用于对道路特征进行分类的系统和方法
CN110869700B (zh) 用于确定车辆位置的系统和方法
US11776280B2 (en) Systems and methods for mapping based on multi-journey data
US10630962B2 (en) Systems and methods for object location
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
CN109520497B (zh) 基于视觉和imu的无人机自主定位方法
EP3407294A1 (en) Information processing method, device, and terminal
CN110487267B (zh) 一种基于vio＆uwb松组合的无人机导航系统及方法
US12062210B2 (en) Data processing method and apparatus
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
CN110411457B (zh) 基于行程感知与视觉融合的定位方法、系统、终端和存储介质
CN111380514A (zh) 机器人位姿估计方法、装置、终端及计算机存储介质
JP2019528501A (ja) マルチカメラシステムにおけるカメラ位置合わせ
US11828828B2 (en) Method, apparatus, and system for vibration measurement for sensor bracket and movable device
CN112805766B (zh) 用于更新详细地图的装置和方法
CN109001789B (zh) 一种基于互相关熵配准的无人车定位融合方法
CN112686149B (zh) 一种基于视觉的固定翼无人机近地段自主着陆方法
CN116184430B (zh) 一种激光雷达、可见光相机、惯性测量单元融合的位姿估计算法
Lee et al. Measuring vehicle velocity in real time using modulated motion blur of camera image data
JP2017224071A (ja) 情報処理装置、および、情報処理方法
JP5748174B2 (ja) 移動体の相対姿勢計測方法と装置
Tao et al. A fast and accurate camera-IMU calibration method for localization system
CN116972844A (zh) 基于ArUco阵列的移动机器人室内定位系统及方法
Wang et al. Compass aided visual-inertial odometry
Qin Exploring Indoor Navigation Based on 9-dof Kalman Filter and SLAM Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant