CN115540889A - 使用相机、gps和imu定位自动驾驶车辆 - Google Patents

使用相机、gps和imu定位自动驾驶车辆 Download PDF

Info

Publication number
CN115540889A
CN115540889A CN202210527219.1A CN202210527219A CN115540889A CN 115540889 A CN115540889 A CN 115540889A CN 202210527219 A CN202210527219 A CN 202210527219A CN 115540889 A CN115540889 A CN 115540889A
Authority
CN
China
Prior art keywords
input
host
gps
imu
host member
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210527219.1A
Other languages
English (en)
Inventor
I·F·G·曼苏尔
K·然
A·尤马特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dus Operation Co ltd
Original Assignee
Dus Operation Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dus Operation Co ltd filed Critical Dus Operation Co ltd
Publication of CN115540889A publication Critical patent/CN115540889A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/31—Acquisition or tracking of other signals for positioning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

一种通过传感器融合定位主机构件的方法，包括利用设置在主机构件上的一个或多个光学传感器捕获输入图像，和通过全球定位系统(GPS)输入确定主机构件的位置。该方法通过惯性测量单元(IMU)输入跟踪主机构件的运动，根据GPS输入和IMU输入生成主机构件的坐标。该方法将输入图像与高清(HD)地图输入进行比较，以验证主机构件到输入图像和HD地图输入中的预定对象的距离。该方法通过融合GPS输入、IMU输入、输入图像和HD地图输入，连续地定位主机构件。

Description

使用相机、GPS和IMU定位自动驾驶车辆
技术领域
本公开涉及一种利用来自不同传感器类型的数据定位自动驾驶车辆的系统和方法。
背景技术
本部分中的陈述仅提供与本公开相关的背景信息，可构成或不构成现有技术。
车辆技术，如基于网格导航的自由测距及停车引导和信息系统，有助于防止驾驶员驾驶车辆时发生人为操作失误。此类技术已被用于改善道路导航，并提升车辆驾驶员在车内时其停车技能。例如，已开发出车载检测系统和碰撞警报系统，协助车辆操作人员操纵车辆，以避免发生碰撞。典型的车载检测系统利用机器视觉确定或预测车辆周围环境。检测系统通常依靠相机和/或其他光学传感器预测车辆位置以及对象、道路标记等相对于车辆的位置，以辅助车辆的自动驾驶系统。
虽然这些系统和方法对实现其预期目的是有用的，但典型的检测系统会受到天气、杂物等引起的光学干扰，以及视距通信限制和固有的传感器误差的影响。因此，本领域需要一种新的改进的车辆技术，这样即使当路面被天气、杂物等遮挡，传感器报告的信息可能不准确以及可能无法实现视距通信时，依然能稳健地定位车辆。
发明内容
根据本公开的几个方面，一种通过传感器融合定位主机构件的方法，包括：利用设置在主机构件上的一个或多个光学传感器，捕获输入图像；通过全球定位系统(GPS)输入，确定主机构件的位置；通过惯性测量单元(inertial measurement unit，IMU)输入，跟踪主机构件的运动；并且根据GPS输入和IMU输入生成主机构件的坐标。该方法还包括比较输入图像和高清(high definition，HD)地图输入，以验证主机构件到输入图像和HD地图输入中的预定对象的距离；以及通过融合GPS输入、IMU输入、输入图像和HD地图输入，连续地定位主机构件。
在本公开的另一方面，该方法还包括利用彼此偏移预定距离的两个或两个以上两个以上光学传感器，捕获输入图像。输入图像是主机构件的周围环境的三维(3D)图像。
在本公开的另一方面，该方法还包括周期性地与多个卫星通信，以确定在第一准确度范围内定义主机构件的位置的第一组纬度和经度坐标。
在本公开的又一方面，该方法还包括在第一准确度范围内周期性地估计主机构件的位置，其中第一准确度范围可达约10米；并通过差分GPS(DGPS)选择性地校正第一准确度范围以在第二准确度范围内确定主机构件的位置。与第一准确度范围相比，第二准确度范围具有更高的准确度。
在本公开的又一方面，该方法还包括利用一个或多个姿态传感器连续地测量主机构件的运动，该一个或多个姿态传感器包括一个或多个陀螺仪以及一个或多个加速度计。该一个或多个陀螺仪检测主机构件的俯仰、横滚和航向，并且该一个或多个加速度计检测主机构件的线性加速度。
在本公开的又一方面，多个卫星与主机构件之间的每次周期性通信间隔预定时间段，预定时间段中的每个时间段定义时间步长。该方法还包括通过将IMU输入应用到在前一时间步长的GPS输入，以生成定义主机构件的位置的第二组纬度和经度坐标，从而改进对主机构件的位置的估计。
在本公开的又一方面，该方法还包括同步GPS输入和HD地图输入，以检测和验证主机构件到预定对象的距离。
在本公开的又一方面，该方法还包括对GPS输入和IMU输入进行滤波，并将输入图像代入感知算法。感知算法检测输入图像中的多个对象，并为输入图像中的多个对象中的每个图像提供距离估计。该方法还包括将输入图像中的多个对象与HD地图中的预定对象进行比较，并通过粒子滤波器对GPS输入、输入图像以及IMU输入进行滤波，以根据粒子滤波器的输出确定主机构件的实时物理位置。
在本公开的又一方面，该方法还包括利用卡尔曼滤波器融合GPS输入和IMU输入；并且使用GPS输入和IMU输入的测量值，确定主机构件的坐标。
在本公开的又一方面，该方法还包括利用粒子滤波器，融合从GPS输入、IMU输入、输入图像和HD地图输入中的每一个获取的数据；并且确定主机构件的位置。该方法还包括通过根据HD地图输入、GPS输入和输入图像确定主机构件的位置，相对于主机构件的预期位置周期性地校正IMU输入中的传感器漂移。多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息。
在本公开的又一方面，一种用于通过传感器融合定位主机构件的系统，包括设置在主机构件上的一个或多个光学传感器、全球定位系统(GPS)和惯性测量单元(IMU)。该系统还包括控制模块，该控制模块设置在主机构件内并具有处理器、存储器以及一个或多个输入/输出(I/O)端口。I/O端口与一个或多个光学传感器、GPS以及IMU通信，并从它们接收数据。处理器执行存储在存储器中的编程控制逻辑。编程控制逻辑包括用于利用一个或多个光学传感器捕获输入图像的第一控制逻辑。编程控制逻辑还包括用于利用GPS通过GPS输入，确定主机构件的位置的第二控制逻辑，和用于利用IMU通过IMU输入，跟踪主机车辆的运动的第三控制逻辑。编程控制逻辑还包括用于根据GPS输入和IMU输入生成主机构件的坐标的第四控制逻辑，和用于比较输入图像和高清(HD)地图输入以验证主机构件到输入图像和HD地图输入中的预定对象的距离的第五控制逻辑。编程控制逻辑还同步GPS输入和HD地图输入，以检测和验证主机构件到预定对象的距离。编程控制逻辑还包括用于通过融合GPS输入、IMU输入、输入图像以及HD地图输入，连续地定位主机构件的第六控制逻辑。
在本公开的又一方面，该系统还包括至少两个光学传感器，该至少两个光学传感器彼此偏移预定距离，并捕获输入图像。输入图像是主机构件的周围环境的三维(3D)图像。
在本公开的又一方面，该系统还包括用于与多个卫星周期性地通信，以确定在第一准确度范围内定义主机构件的位置的第一组纬度和经度坐标的第七控制逻辑。
在本公开的又一方面，该系统还包括用于在第一准确度范围内周期性地估计主机构件的位置的编程控制逻辑。第一准确度范围可达约10米。编程控制逻辑还包括通过差分GPS(DGPS)选择性地校正第一准确度范围，以在第二准确度范围内确定主机构件的位置，使得第二准确度范围比第一准确度范围具有更高的准确度。
在本公开的又一方面，该系统还包括用于利用一个或多个姿态传感器连续地测量主机构件的运动的编程控制逻辑，该一个或多个姿态传感器包括：一个或多个陀螺仪以及一个或多个加速度计。该一个或多个陀螺仪检测主机构件的俯仰、横滚和航向，并且该一个或多个加速度计检测主机构件的线性加速度。
在本公开的又一方面，多个卫星与主机构件之间的每次周期性通信间隔预定时间段。预定时间段中的每个时间段定义时间步长。该系统还包括用于通过将IMU输入应用到在前一时间步长的GPS输入，以生成定义主机构件的位置的第二组纬度和经度坐标，从而改进对主机构件的位置的估计的编程控制逻辑。
在本公开的又一方面，该系统还包括用于对GPS输入和IMU输入进行滤波，并将输入图像代入感知算法的编程控制逻辑。感知算法检测输入图像中的多个对象，并且为输入图像中的多个对象中的每个对象提供距离估计。编程控制逻辑将输入图像中的多个对象与HD地图中的预定对象进行比较。多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息。该系统还包括用于通过粒子滤波器对GPS输入、输入图像以及IMU输入进行滤波，并且根据粒子滤波器的输出确定主机构件的实时物理位置的编程控制逻辑。
在本公开的又一方面，该系统还包括用于利用卡尔曼滤波器融合GPS输入和IMU输入，并使用GPS输入和IMU输入的测量值，确定主机构件的坐标的编程控制逻辑。
在本公开的又一方面，该系统还包括编程控制逻辑，该编程控制逻辑用于利用粒子滤波器融合，从GPS输入、IMU输入、输入图像和HD地图输入中的每一个获取的数据；并且确定主机构件的位置，用于通过根据HD地图输入、GPS输入和输入图像确定主机构件的位置，相对于主机构件的预期位置周期性地校正IMU输入中的传感器漂移。
在本公开的又一方面，一种通过传感器融合来定位主机构件的方法，包括利用设置在主机构件上并且彼此偏移预定距离的两个或两个以上光学传感器，捕获输入图像。输入图像包括主机构件的周围环境的二维(2D)图像和三维(3D)图像。该方法还包括将输入图像代入感知算法，该感知算法检测输入图像中的多个对象，并为输入图像中的多个对象的每个对象提供距离估计。该方法还包括通过全球定位系统(GPS)输入，确定主机构件的位置。与主机构件进行电子通信的GPS接收器周期性地与多个卫星通信，以确定在第一准确度范围内定义主机构件的位置的第一组纬度和经度坐标。第一准确度范围可达约10米。多个卫星与GPS接收器之间的每次周期性通信间隔预定时间段。预定时间段中的每个时间段定义时间步长。该方法还包括通过差分GPS(DGPS)选择性地校正第一准确度范围，以在第二准确度范围内确定主机构件的位置。与第一准确度范围相比，第二准确度范围具有更高的准确度。该方法还包括利用惯性测量单元(IMU)输入，连续地测量主机构件的运动。IMU包括一个或多个姿态传感器，该一个或多个姿态传感器包括：一个或多个陀螺仪以及一个或多个加速度计，该一个或多个陀螺仪检测主机构件的俯仰、横滚和航向，并且该一个或多个加速度计检测主机构件的线性加速度。该方法还包括根据GPS输入和IMU输入生成主机构件的坐标，并且通过将IMU输入应用到在前一时间步长的GPS输入，以生成定义主机构件的位置的第二组纬度和经度坐标，从而改进主机构件的估计位置。该方法还包括比较和同步输入图像和高清(HD)地图输入，以验证主机构件到输入图像和HD地图输入中的预定对象的距离。该方法还包括通过利用卡尔曼滤波器对GPS输入和IMU输入进行滤波和融合，并且使用GPS输入和IMU输入的测量值确定主机构件的坐标，以融合GPS输入、IMU输入、输入图像和HD地图输入，从而连续地定位主机构件。该方法还包括通过粒子滤波器对GPS输入、输入图像、HD地图输入和IMU输入进行滤波；并且通过利用粒子滤波器，融合从GPS输入、IMU输入、输入图像和HD地图输入中的每一个获取的数据，从而根据粒子滤波器的输出生成主机构件的实时物理位置。该方法还包括通过根据HD地图输入、GPS输入和输入图像确定主机构件的位置，相对于主机构件的预期位置周期性地校正IMU输入中的传感器漂移；并且其中多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息。
附图说明
本文描述的附图仅用于说明目的，并不旨在以任何方式限制本公开的范围。
图1是根据本公开的一方面的用于使用相机、GPS、IMU和地图输入数据，定位自动驾驶车辆的系统的示意图；
图2是根据本公开的一方面的用于使用相机、GPS、IMU和地图输入数据，定位自动驾驶车辆的系统采取的一系列逻辑步骤的高阶流程图；
图3是根据本公开的一方面的使用相机、GPS、IMU和地图输入数据定位自动驾驶车辆的系统中，传感器融合的高阶层级结构的描绘；以及
图4是描绘根据本公开的一方面的使用相机、GPS、IMU和地图输入数据定位自动驾驶车辆的方法的流程图。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或用途。
参考图1，示出了一种用于通过传感器融合定位主机构件的系统10。系统10在诸如车辆12的主机构件12上运行。主机构件12示为载客车辆，然而，在不脱离本公开的范围或意图的情况下，车辆12可是卡车、运动型多功能车、货车、房车或任何其他类型的道路交通工具、水上交通工具或空中交通工具。主机构件12还可是任何其他自主驾驶装置，例如水基、空基或陆基无人机等。
主机构件12配备有一个或多个控制模块14。控制模块14为非通用型电子控制装置，该非通用型电子控制装置具有预编程数字计算机或处理器16、用于存储如控制逻辑、指令、图像数据、查找表等数据的非暂时性计算机可读介质或存储器18、以及多个输入/输出(I/O)外围设备或端口20。处理器16用于执行控制逻辑或指令。控制逻辑或指令包括计算机可执行程序代码，包括源代码、目标代码和可执行代码的任何类型。控制逻辑还包括用于执行特定功能或功能组的软件程序。控制逻辑可包括一个或多个计算机程序、软件组件、指令集、程序、功能、对象、类、实例、相关数据或其适于以适当的计算机可读程序代码实现的部分。控制逻辑可存储在存储器18内，或者附加或单独的存储器18中。
控制模块14可具有附加处理器16或与处理器16通信的附加集成电路，如用于分析可视数据的感知逻辑电路，或专用的车辆与车辆(vehicle-to-vehicle，V2V)或车辆与基础设施(vehicle-to-infrastructure V2I)电路。可替代地，控制模块14的功能可以分布在各个子系统中。存储器18包括可以永久存储数据的介质和/或可以存储并随后重写数据的介质(例如可重写光盘或可擦除存储器装置)。在更多示例中，存储器18可以包括各种不同存储介质中的任何一种，例如闪存、嵌入式多媒体卡(eMMC)闪存、随机存取存储器(RAM)等。I/O端口20从主机构件12的一个或多个传感器22接收输入数据。
传感器22中包含光学传感系统24(具有传感器22，如相机26)、超声波传感器、光检测和测距(light detection and ranging，LiDAR)单元28和无线电检测和测距(radiodetection and ranging，RADAR)单元30。在一些示例中，多个不同的RADAR单元30可用于合并短到中程波长及远程RADAR性能。相机26也可用于环视定位、交通标志识别、停车辅助、车道偏离警示系统等。光学传感系统24的传感器22显示在图1中四个不同的位置，并且相机26、超声波传感器、LiDAR单元28、RADAR单元30等分别具有各自的视场31、31’、31”、31”’。然而，应当理解，在不脱离本公开的范围或意图的情况下，传感器22可位于主机构件12上或主机构件之外的各种不同位置中的任何位置，并且可以具有包含与所描绘的区域完全不同的区域的视场31、31’、31”、31”’。配备在具有本公开的系统10的主机构件12上的附加传感器22包括运动传感器，如陀螺仪或陀螺仪传感器32、加速度计34、全球定位系统(GPS)通信装置或接收器36、惯性测量单元(IMU)38装置等。
在几个方面，传感器22包括位于主机构件12的前部40、后部42，以及分别沿主机构件12的左侧44和右侧46设置的相机26。与其他光学传感装置或传感器22相比，相机26(如安装在示例性主机构件上的相机)目前相对便宜。然而，相机可用其他光学传感装置或传感器22代替。尤其是用于汽车时，相机26具有鲁棒模态。可使用安装在主机构件12的前部40的单相机26对在主机构件12前方延伸预定距离并在主机构件12前方延伸甚至超过180°弧的视场区域进行扫描，以查看对象(如车道线、标志、行人、自行车、树、路缘的高度和位置信息，以及包括路肩、道路粗糙度、车道标记、道路危险物等的路面数据)。然而，相机26可对主机构件12的周围环境进行二维(2D)扫描。虽然2D图像预测是非常有用的，但是在一些示例中，系统10采用了两个或两个以上安装在主机构件12的前部40的光学传感器或相机26。
沿主机构件12的前部40彼此间隔开或偏移预定距离的两个相机26提供用于生成描述主机构件12的周围环境的三维(3D)输入图像的立体视觉。尽管两者在本文中皆有涉及，但与2D系统相比，3D数据在跟踪对象方面提供了更强的鲁棒性和更高的成功率。在使用3D相机26系统的过程中，3D数据跟踪对象(如路缘、路肩、道路粗糙度、物体、车道标记、道路危险物等)。
GPS是由至少二十四(24)颗绕地球轨道运行的卫星47组成的基于卫星导航系统。在许多当前示例中，主机构件12或车辆依靠GPS获得定位信息。然而，GPS的成功取决于其与足够数量的卫星47连接。由于摩天大楼、高山、隧道、树木等的存在而导致的视线问题等各种原因，与GPS卫星47连接和通信的能力可能受到阻碍或丧失。此外，GPS接收器36的第一准确度范围通常在约10米内。在一些示例中，系统10利用差分GPS(DGPS)将GPS信号的准确度增加到第二准确度范围(与第一准确度范围相比，其具有更高准确度)。在示例中，使用DGPS时，GPS的准确度可自校正至平均约一至三米内。
IMU 38是安装在主机构件12或车辆上的装置。更具体地，IMU 38安装在主机构件12或车辆的本体48内的固定位置。IMU 38依靠在主机构件12内的固定位置，使得IMU 38知道其在主机构件12内的物理位置。IMU从其在主机构件12内的固定位置，连续测量和跟踪主机构件12的运动和位置。在一些示例中，IMU 38由多个陀螺仪传感器32和加速度计34组成。IMU 38在主机构件12运动时向控制模块14提供主机构件12进行俯仰、横滚和航向的指示。在陀螺仪传感器36的示例中，由IMU 38产生的数据被称为“旋转参数”，而由加速度计34产生的数据被称为“线性加速度”。
系统10还采用了高清地图(HD地图)50。HD地图50对主机构件12(包括自主驾驶车辆等)来说是非常重要的。HD地图准确度高，所提供的对象位置的准确度可达约十厘米(10cm)的。与3D相机系统中的相机26类似，HD地图50增加了主机构件12的定位准确度，即，HD地图协助确定主机构件12在真实(即，非虚拟)世界中的位置。同样，HD地图50提供关于周围对象的有价值的信息：交通车道的位置，哪些是直行车道而哪些其他车道仅可用于转弯，附近有什么交通标志，指定路段的车速限制，人行横道和自行车道的位置，路缘的高度和位置等。因此，HD地图50中的数据在主机构件12的路径规划中非常有用。
相对于单独使用任何一个上面提及的系统，定位系统10利用从上述相机26、GPS、IMU 38和HD地图50系统中的每一个收集的信息，显著提升主机构件12定位信息的精确度和准确度。
现在转到图2，并且继续参考图1，示出了系统10的逻辑功能，其总体上由附图标记100指示。在框102，系统10利用GPS接收器36确定主机构件12的初始位置。更具体地，卫星47发送给GPS接收器36的GPS信号以数据包的形式周期性发送。数据包至少包括在第一准确度范围内定义主机构件12的位置的第一组纬度和经度坐标。在示例中，GPS接收器36大约每隔三十秒接收一次数据包，并且第一准确度范围使得主机构件12的定位准确度为约10米。因此，当主机构件12在接收GPS数据包之间的时间段内运动时，跟踪主机构件12的位置以保持导航准确度等。接收GPS数据包之间的每个时间段定义一个时间步长。在框104，为了根据GPS接收器36输入数据和IMU 38数据生成主机构件12的当前坐标，控制模块14执行控制逻辑，该控制逻辑通过将IMU 38数据应用到在前一时间步长的GPS接收器36输入数据，以生成主机构件12的第二组纬度和经度坐标，从而改进对主机构件12的位置的估计。然后，IMU 38使用包括第一组纬度和经度坐标以及第二组纬度和经度坐标的GPS接收器36数据，作为其运动计算的起始位置。随后，驾驶主机构件12，或者在自主驾驶车辆的情况下，主机构件12自主驾驶短暂的一段时间。
IMU 38跟踪主机构件12的旋转参数和加速度。存储在控制模块14的存储器18中并由处理器16执行的人工智能(AI)程序52从IMU 38接收加速度和旋转信息，并且基于来自IMU 38的数据，AI程序52更新在给定时间点主机构件12所在位置的虚拟模型。AI程序52随后使处理器16执行编程控制逻辑，该编程控制逻辑利用卡尔曼滤波器融合来自GPS接收器36和IMU 38的信息，以生成主机构件12在真实世界中的新位置的位置坐标。
在框106，系统10从安装在主机构件12上的一个或多个相机26收集原始图像数据。在框108，通过存储在存储器14内并由处理器16执行的感知算法54，一个或多个相机26生成对象(如汽车、卡车、行人、交通标志、车道线、其他车道信息等)的检测信息。通过使用单个相机26或多个立体相机26，系统10使用感知算法54确定其到一个或多个相机26的视场内的所有对象和车道的横向和纵向距离。在框110，将来自相机26和GPS接收器36的数据与HD地图50进行比较，以确定到预定地标(如由相机26报告的特定交通信号、标志等)的距离。
在框112，控制模块14然后执行粒子滤波算法56以融合从各种传感器22(包括一个或多个相机26、GPS接收器36、IMU 38和HD地图50)获得的所有数据，从而在真实世界中定位主机构件12。更具体地，粒子滤波算法56利用GPS接收器36设置主机构件12在地面上的初始位置，然后一个或多个相机26对主机构件12的周围环境进行光学扫描以捕获和定位对象(如标志)。一个或多个相机26给其捕获的图像数据中的每个对象分配坐标。然后，粒子滤波算法56利用HD地图50，对一个或多个相机26的数据中的对象与在HD地图50数据中位于精确预定位置处的对象的位置进行比较。在随后卫星47与GPS接收器36通信之间，粒子滤波算法56利用IMU 38跟踪主机构件12的物理运动。
现在转到图3，并继续参考图1和图2，示出了传感器融合的高阶层级结构，其总体上由附图标记200指示。在框202和204，IMU 38的陀螺仪传感器32和加速度计34收集主机构件12运动数据。具体地，陀螺仪传感器32检测在多达九个自由度(9DOF，degree offreedom)上的信息，而加速度计34检测在多达六个自由度(6DOF)上的运动。在几个方面，自由度(DOF)是传感器22(如陀螺仪传感器32和加速度计34)在三维(3D)空间中可以检测的运动和/或位置的方向。在示例性9-DOF陀螺仪传感器32中，陀螺仪传感器32可以以加速度、磁性取向和角速度三个度的形式，检测运动和/或位置。同样地，6-DOF加速度计32可以以沿三个主轴(即，X轴、Y轴和Z轴)的加速度的形式检测运动和/或位置，以及检测绕三个主轴中的每个轴的旋转。在框206，IMU 38从陀螺仪传感器32和加速度计34收集运动数据。
在框208和210，相机系统从安装在主机构件12上的单个相机和/或多个立体相机26收集输入图像形式的光学相机数据。在框212，相机系统组合从单个相机和/或多个立体相机22收集的输入图像。
在框214，系统10从GPS接收器36收集主机构件12的GPS位置。在框216和218，系统10收集信息以生成地图。更具体地，在框216，系统10从GPS收集二维(2D)导航位置信息，并且在框218，系统10收集主机构件12在HD地图50中的HD地图50位置。在框220，系统10将主机构件12的2D位置信息和HD地图位置组合。
在框222，控制模块14使处理器16执行存储在存储器中的编程控制逻辑，以在粒子滤波算法56中对在步骤202至220中提及的各个传感器22的数据进行滤波和融合。具体地，粒子滤波算法56利用GPS接收器36，设置主机构件12在地面上的初始位置。主机构件12以与其在地表上的实际位置相差大约10米的第一准确度，放置在基于GPS接收器36数据确定的初始位置。输入图像捕获和定位对象(如标志)，并且一个或多个相机26还检测和估计主机构件12到输入图像中检测到的每个对象的距离。然后，控制模块14给一个或多个相机26捕获的图像数据中的每个对象分配坐标。然后，粒子滤波算法56利用HD地图50将输入图像与HD地图50进行比较，以验证主机构件12到输入图像中的、还出现在HD地图50中的预定对象的距离。同样地，粒子滤波算法56将HD地图50与从GPS接收器36获得的位置估计进行比较。更具体地，比较和同步GPS接收器36输入和HD地图50输入数据，以检测和验证主机构件12到输入图像中的预定对象的距离。
IMU 38利用由GPS接收器36捕获的初始位置作为运动计算的起始点。在随后的卫星47与GPS接收器36之间的数据包通信中，粒子滤波算法56利用IMU 38跟踪主机构件12的物理运动。具体地，IMU 38跟踪主机构件12的旋转参数、加速度参数和磁学(例如指南针)参数。然而，IMU 38本身受预定量的传感器误差的影响。随着时间的推移和使用次数的增多，基于IMU 38的数据计算的真实世界中的主机构件12的位置可能偏离主机构件12的实际物理位置。因此，控制模块14通过根据HD地图50数据、GPS接收器36数据及一个或多个相机26的输入图像数据确定主机构件12的位置(相对于主机构件12的预期位置)，以周期性地校正IMU 38数据中的这种传感器漂移。在框224，控制模块14通过粒子滤波算法56产生定位输出。
在多个方面，定位输出是对现实世界中主机构件12的位置的确定。定位输出比任何由单个传感器22或单套传感器22(如一个或多个相机26、GPS接收器36、IMU 38或HD地图50)独自产生的主机构件12位置数据更准确且更稳健。事实上，与至少任何两个传感器22或传感器组件的排列组合(例如一个或多个相机26和GPS接收器36、或者一个或多个相机26和IMU 38、或者一个或多个相机26和HD地图50、或者GPS接收器36和IMU 38、或者GPS接收器36和HD地图50、或者IMU 38和HD地图50)相比，定位输出具有更高的准确度和鲁棒性。控制模块14通过融合GPS接收器36、IMU 38、HD地图50和输入图像的数据并生成粒子滤波输出，连续且递归地定位和确定主机构件12的实时位置。
现在转到图4，并且继续参考图1至图3，示出了使用一个或多个相机26、GPS 36和IMU 38定位自动驾驶车辆的方法300。方法300开始于框302。在框304，系统10利用设置在主机构件12或车辆上的多个传感器22捕获数据。具体地，在框304，系统利用设置在主机构件12上的两个或两个以上相机26或光学传感器22捕获输入图像。在框306，将输入图像代入感知算法，该感知算法检测输入图像中的多个对象，并为输入图像中的多个对象中的每个对象提供距离估计。在框308，系统10利用GPS接收器36与绕地球轨道运行的多个卫星47通信，并且周期性地接收第一组纬度和经度坐标，第一组纬度和经度坐标在大约十米的准确度范围内定义对主机构件12的位置的估计。GPS接收器36与多个卫星47之间的每次周期性通信间隔预定时间量，该预定时间量定义时间步长。在框310，系统10通过使用DGPS选择性地校正第一准确度范围，以将主机构件12的GPS所确定的纬度和经度坐标的准确度增加到第二准确度范围(与第一准确度范围相比，其具有更高准确度)。在框312，系统通过IMU 38连续地测量主机构件12的运动，使得在GPS接收器36不主动地从卫星47接收GPS位置信息的时间段，系统10通过陀螺仪传感器、加速度计和磁力计等，估计主机构件12的位置。在框314，系统10通过将IMU 38输入数据应用到来自前一时间步长的GPS接收器36输入数据，产生定义主机构件12的当前位置的第二组纬度和经度坐标，以改进主机构件12的估计位置。
在框316，系统10比较并同步输入图像和HD地图50输入数据，以验证主机构件12到出现在输入图像和HD地图50数据中的预定对象的距离。在框318，系统10通过卡尔曼滤波器融合GPS接收器36输入、IMU 38输入、输入图像和HD地图50输入，连续地定位主机构件12。更具体地，在框318，卡尔曼滤波器用于对GPS接收器36输入和IMU 38输入进行滤波和融合。在框320，卡尔曼滤波器的输出用于使用GPS接收器36输入和IMU 38输入测量值，确定主机构件12的坐标。在框322，通过粒子滤波算法56，对GPS接收器36输入、IMU 38输入和输入图像进行滤波。粒子滤波算法56通过融合从GPS接收器36、IMU 38、输入图像和HD地图50中的每一个获得的数据，生成定义主机构件12的实时物理位置的输出。在框324，系统10通过根据HD地图50输入、GPS接收器36输入和输入图像所确定的主机构件12的位置，相对于主机构件12的预期位置周期性地校正IMU 38输入数据中的传感器漂移。在框326，方法结束，并且迭代且连续地返回到方法300再次运行的框302。应当理解，方法300可运行一次，也可在此之后再运行任意次，这取决于主机构件12和系统10的运行情况。
利用HD地图50、IMU 38、GPS接收器36数据和相机26定位主机构件12(如自动驾驶车辆)的系统10和方法300具有多个优点，包括：鲁棒性和冗余性，及能在恶劣天气且无视距通信的情况下继续准确和精确地运行。另外，因为本公开的系统10和方法300采用了已经装备在各种主机构件12上的传感器22，系统10和方法300在不增加部件成本、生产成本，或部件或生产复杂性的情况下增强了功能性、安全性等。
本公开的描述本质上仅仅是示例性的，并且不背离本公开的主旨的变型旨在落入本公开的范围内。这种变型不应视为背离了本公开的精神和范围。

Claims (20)

1.一种通过传感器融合定位主机构件的方法，所述方法包括：
利用设置在所述主机构件上的一个或多个光学传感器，捕获输入图像；
通过全球定位系统(GPS)输入，确定所述主机构件的位置；
通过惯性测量单元(IMU)输入，跟踪所述主机构件的运动；
根据所述GPS输入和所述IMU输入，生成所述主机构件的坐标；
比较所述输入图像和高清(HD)地图输入，以验证所述主机构件到所述输入图像和所述HD地图输入中的预定对象的距离；以及
通过融合所述GPS输入、所述IMU输入、所述输入图像和所述HD地图输入，连续地定位所述主机构件。
2.根据权利要求1所述的方法，其中，捕获输入图像还包括：
利用彼此偏移预定距离的两个或两个以上光学传感器，捕获所述输入图像，其中所述输入图像是所述主机构件的周围环境的三维(3D)图像。
3.根据权利要求1所述的方法，其中，通过GPS系统输入确定所述主机构件的位置还包括：
周期性地与多个卫星通信，以确定在第一准确度范围内定义所述主机构件的位置的第一组纬度和经度坐标。
4.根据权利要求3所述的方法，其中，周期性地与多个卫星通信还包括：
在所述第一准确度范围内周期性地估计所述主机构件的位置，其中所述第一准确度范围可达约10米；以及
通过差分GPS(DGPS)选择性地校正所述第一准确度范围，以在第二准确度范围内确定所述主机构件的位置，其中与所述第一准确度范围相比，所述第二准确度范围具有更高的准确度。
5.根据权利要求3所述的方法，其中，通过惯性测量单元(IMU)输入跟踪所述主机构件的运动还包括：
利用一个或多个姿态传感器连续地测量所述主机构件的运动，所述一个或多个姿态传感器包括：一个或多个陀螺仪以及一个或多个加速度计，其中所述一个或多个陀螺仪检测所述主机构件的俯仰、横滚和航向，并且所述一个或多个加速度计检测所述主机构件的线性加速度。
6.根据权利要求5所述的方法，其中，所述多个卫星与所述主机构件之间的每次周期性通信间隔预定时间段，所述预定时间段中的每个时间段定义时间步长，并且
其中根据所述GPS输入和所述IMU输入生成所述主机构件的坐标还包括通过将所述IMU输入应用到在前一时间步长的所述GPS输入，以生成定义所述主机构件的位置的第二组纬度和经度坐标，从而改进对所述主机构件的位置的估计。
7.根据权利要求1所述的方法，其中，比较所述输入图像和高清(HD)地图输入以验证所述主机构件到所述输入图像和所述HD地图输入中的预定对象的距离还包括：
同步所述GPS输入和所述HD地图输入，以检测和验证所述主机构件到所述预定对象的距离。
8.根据权利要求1所述的方法，其中，通过融合所述GPS输入、所述IMU输入、所述输入图像以及所述HD地图输入以连续地定位所述主机构件还包括：
对所述GPS输入和所述IMU输入进行滤波；
将所述输入图像代入感知算法，所述感知算法检测所述输入图像中的多个对象，并且为所述输入图像中的多个对象的每个对象提供距离估计；
将所述输入图像中的多个对象与所述HD地图中的预定对象进行比较；
通过粒子滤波器，对所述GPS输入、所述输入图像以及所述IMU输入进行滤波；以及
根据所述粒子滤波器的输出，确定所述主机构件的实时物理位置。
9.根据权利要求8所述的方法，其中，对所述GPS输入和所述IMU输入进行滤波还包括：
利用卡尔曼滤波器融合所述GPS输入和所述IMU输入；以及
使用所述GPS输入和所述IMU输入的测量值，确定所述主机构件的坐标。
10.根据权利要求8所述的方法，其中，根据所述粒子滤波器的输出确定所述主机构件的实时物理位置还包括：
利用所述粒子滤波器，融合从所述GPS输入、所述IMU输入、所述输入图像和所述HD地图输入中的每一个获取的数据；
确定所述主机构件的位置；以及
通过根据所述HD地图输入、所述GPS输入和所述输入图像确定所述主机构件的位置，相对于所述主机构件的预期位置周期性地校正所述IMU输入中的传感器漂移；并且其中所述多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息。
11.一种通过传感器融合定位主机构件的系统，所述系统包括：
一个或多个光学传感器，设置在所述主机构件上；
全球定位系统(GPS)；
惯性测量单元(IMU)；和
控制模块，设置在所述主机构件内并具有处理器、存储器以及一个或多个输入/输出(I/O)端口；所述I/O端口与所述一个或多个光学传感器、所述GPS以及所述IMU通信，并从它们接收数据，所述处理器执行存储在所述存储器中的编程控制逻辑，所述编程控制逻辑包括：
第一控制逻辑，用于利用所述一个或多个光学传感器，捕获输入图像；
第二控制逻辑，用于利用所述GPS，通过GPS输入确定所述主机构件的位置；
第三控制逻辑，用于利用所述IMU，通过IMU输入跟踪所述主机构件的运动；
第四控制逻辑，用于根据所述GPS输入和所述IMU输入，生成所述主机构件的坐标；
第五控制逻辑，用于比较所述输入图像和高清(HD)地图输入，以验证所述主机构件到所述输入图像和所述HD地图输入中的预定对象的距离，并且同步所述GPS输入和所述HD地图输入，以检测和验证所述主机构件到所述预定对象的距离；和
第六控制逻辑，用于通过融合所述GPS输入、所述IMU输入、所述输入图像以及所述HD地图输入，连续地定位所述主机构件。
12.根据权利要求11所述的系统，所述系统还包括至少两个光学传感器，所述至少两个光学传感器彼此偏移预定距离，并捕获输入图像，其中所述输入图像是所述主机构件的周围环境的三维(3D)图像。
13.根据权利要求11所述的系统，所述系统还包括第七控制逻辑，所述第七控制逻辑用于周期性地与多个卫星通信，以确定在第一准确度范围内定义所述主机构件的位置的第一组纬度和经度坐标。
14.根据权利要求13所述的系统，其中，用于与多个卫星通信的第七控制逻辑还包括：
在第一准确度范围内周期性地估计所述主机构件的位置，其中所述第一准确度范围可达约10米；以及
通过差分GPS(DGPS)选择性地校正所述第一准确度范围，以在第二准确度范围内确定所述主机构件的位置，其中与所述第一准确度范围相比，所述第二准确度范围具有更高的准确度。
15.根据权利要求13所述的系统，其中，所述第三控制逻辑还包括：
利用一个或多个姿态传感器连续地测量所述主机构件的运动，所述一个或多个姿态传感器包括：一个或多个陀螺仪以及一个或多个加速度计，其中所述一个或多个陀螺仪检测所述主机构件的俯仰、横滚和航向，并且所述一个或多个加速度计检测所述主机构件的线性加速度。
16.根据权利要求15所述的系统，其中，所述多个卫星与所述主机构件之间的每次周期性通信间隔预定时间段，所述预定时间段中的每个时间段定义时间步长，并且
其中所述第四控制逻辑还包括通过将所述IMU输入应用到在前一时间步长的所述GPS输入，以生成定义所述主机构件的位置的第二组纬度和经度坐标，从而改进对所述主机构件的位置的估计。
17.根据权利要求11所述的系统，其中，所述第六控制逻辑还包括：
对所述GPS输入和所述IMU输入进行滤波；
将所述输入图像代入感知算法，所述感知算法检测所述输入图像中的多个对象，并且为所述输入图像中的多个对象的每个对象提供距离估计；
将所述输入图像中的多个对象与所述HD地图中的预定对象进行比较，其中所述多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树，以及路缘的高度和位置信息；
通过粒子滤波器对所述GPS输入、所述输入图像以及所述IMU输入进行滤波；以及
根据所述粒子滤波器的输出，确定所述主机构件的实时物理位置。
18.根据权利要求17所述的系统，其中，对所述GPS输入和所述IMU输入进行滤波还包括：
利用卡尔曼滤波器融合所述GPS输入和所述IMU输入；以及
使用所述GPS输入和所述IMU输入的测量值，确定所述主机构件的坐标。
19.根据权利要求17所述的系统，其中，根据所述粒子滤波器的输出确定所述主机构件的实时物理位置还包括：
利用所述粒子滤波器，融合从所述GPS输入、所述IMU输入、所述输入图像和所述HD地图输入中的每一个获取的数据；
确定所述主机构件的位置；以及
通过根据所述HD地图输入、所述GPS输入和所述输入图像确定所述主机构件的位置，相对于所述主机构件的预期位置周期性地校正所述IMU输入中的传感器漂移。
20.一种通过传感器融合定位主机构件的方法，所述方法包括：
利用设置在所述主机构件上并且彼此偏移预定距离的两个或两个以上光学传感器捕获输入图像，其中所述输入图像包括所述主机构件的周围环境的二维(2D)图像和三维(3D)图像；
将所述输入图像代入感知算法，所述感知算法检测所述输入图像中的多个对象，并为所述输入图像中的多个对象的每个对象提供距离估计；
通过全球定位系统(GPS)输入确定所述主机构件的位置，其中与所述主机构件进行电子通信的GPS接收器与多个卫星周期性地通信，以确定在第一准确度范围内定义所述主机构件的位置的第一组纬度和经度坐标，其中所述第一准确度范围可达约10米，其中所述多个卫星与所述GPS接收器之间的每次周期性通信间隔预定时间段，所述预定时间段中的每个时间段定义时间步长；
通过差分GPS(DGPS)选择性地校正所述第一准确度范围，以在第二准确度范围内确定所述主机构件的位置，其中与所述第一准确度范围相比，所述第二准确度范围具有更高的准确度；
利用惯性测量单元(IMU)输入，连续地测量所述主机构件的运动，其中所述IMU包括一个或多个姿态传感器，所述一个或多个姿态传感器包括：一个或多个陀螺仪以及一个或多个加速度计，其中所述一个或多个陀螺仪检测所述主机构件的俯仰、横滚和航向，并且所述一个或多个加速度计检测所述主机构件的线性加速度；
根据所述GPS输入和所述IMU输入，生成所述主机构件的坐标；
通过将所述IMU输入应用到在前一时间步长的所述GPS输入，以生成定义所述主机构件的位置的第二组纬度和经度坐标，从而改进所述主机构件的估计位置；
比较和同步所述输入图像和高清(HD)地图输入，以验证所述主机构件到所述输入图像和所述HD地图输入中的预定对象的距离；
通过以下操作将所述GPS输入、所述IMU输入、所述输入图像以及所述HD地图输入融合，以连续地定位所述主机构件：
利用卡尔曼滤波器对所述GPS输入和所述IMU输入进行滤波和融合；以及
使用所述GPS输入和所述IMU输入的测量值，确定所述主机构件的坐标；
通过粒子滤波器对所述GPS输入、所述输入图像、所述HD地图输入和所述IMU输入进行滤波，
通过利用所述粒子滤波器，融合从所述GPS输入、所述IMU输入、所述输入图像和所述HD地图输入中的每一个获取的数据，从而根据所述粒子滤波器的输出生成所述主机构件的实时物理位置；以及
通过根据所述HD地图输入、所述GPS输入和所述输入图像确定所述主机构件的位置，相对于所述主机构件的预期位置周期性地校正所述IMU输入中的传感器漂移；并且其中所述多个对象包括以下中的一个或多个：车道线、标志、行人、自行车、树、以及路缘的高度和位置信息。
CN202210527219.1A 2021-06-29 2022-05-16 使用相机、gps和imu定位自动驾驶车辆 Pending CN115540889A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/362,215 US11821994B2 (en) 2021-06-29 2021-06-29 Localization of autonomous vehicles using camera, GPS, and IMU
US17/362,215 2021-06-29

Publications (1)

Publication Number Publication Date
CN115540889A true CN115540889A (zh) 2022-12-30

Family

ID=82214210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210527219.1A Pending CN115540889A (zh) 2021-06-29 2022-05-16 使用相机、gps和imu定位自动驾驶车辆

Country Status (3)

Country Link
US (1) US11821994B2 (zh)
EP (1) EP4113063A1 (zh)
CN (1) CN115540889A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113899363B (zh) * 2021-09-29 2022-10-21 北京百度网讯科技有限公司 车辆的定位方法、装置及自动驾驶车辆

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748325B1 (en) * 2001-12-07 2004-06-08 Iwao Fujisaki Navigation system
KR101538775B1 (ko) * 2008-09-12 2015-07-30 삼성전자 주식회사 전방 영상을 이용한 위치 인식 장치 및 방법
US8698875B2 (en) * 2009-02-20 2014-04-15 Google Inc. Estimation of panoramic camera orientation relative to a vehicle coordinate frame
US8591161B1 (en) * 2011-10-04 2013-11-26 The Boeing Company Maneuvering autonomous rotorcraft cargo attachment system with motion compensation
US9678102B2 (en) * 2011-11-04 2017-06-13 Google Inc. Calibrating intertial sensors using an image sensor
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9519289B2 (en) * 2014-11-26 2016-12-13 Irobot Corporation Systems and methods for performing simultaneous localization and mapping using machine vision systems
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
US10019005B2 (en) * 2015-10-06 2018-07-10 Northrop Grumman Systems Corporation Autonomous vehicle control system
WO2018031678A1 (en) 2016-08-09 2018-02-15 Nauto Global Limited System and method for precision localization and mapping
US10032276B1 (en) * 2016-08-29 2018-07-24 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous device
US10043076B1 (en) * 2016-08-29 2018-08-07 PerceptIn, Inc. Visual-inertial positional awareness for autonomous and non-autonomous tracking
GB201621903D0 (en) * 2016-12-21 2017-02-01 Blue Vision Labs Uk Ltd Localisation
US10126137B2 (en) * 2017-02-09 2018-11-13 GM Global Technology Operations LLC Methods and systems to convey autonomous/semi-autonomous feature available roadways
US10775792B2 (en) * 2017-06-13 2020-09-15 United Parcel Service Of America, Inc. Autonomously delivering items to corresponding delivery locations proximate a delivery route
US10495493B2 (en) * 2017-06-28 2019-12-03 GM Global Technology Operations LLC Systems and methods for controlling sensing device field of view
US11048277B1 (en) * 2018-01-24 2021-06-29 Skydio, Inc. Objective-based control of an autonomous unmanned aerial vehicle
US11277956B2 (en) * 2018-07-26 2022-03-22 Bear Flag Robotics, Inc. Vehicle controllers for agricultural and industrial applications
US11778934B2 (en) * 2019-07-02 2023-10-10 Bear Flag Robotics, Inc. Agricultural lane following

Also Published As

Publication number Publication date
US20220413162A1 (en) 2022-12-29
EP4113063A1 (en) 2023-01-04
US11821994B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
JP7432285B2 (ja) レーンマッピング及びナビゲーション
CN112923930B (zh) 用于自主车辆导航的众包和分发稀疏地图以及车道测量
US11086334B2 (en) Crowdsourcing a sparse map for autonomous vehicle navigation
US10788830B2 (en) Systems and methods for determining a vehicle position
Atia et al. A low-cost lane-determination system using GNSS/IMU fusion and HMM-based multistage map matching
KR101454153B1 (ko) 가상차선과 센서 융합을 통한 무인 자율주행 자동차의 항법시스템
Rose et al. An integrated vehicle navigation system utilizing lane-detection and lateral position estimation systems in difficult environments for GPS
US11004224B2 (en) Generation of structured map data from vehicle sensors and camera arrays
CN112074885A (zh) 车道标志定位
US20120116676A1 (en) Method of Augmenting GPS or GPS/Sensor Vehicle Positioning Using Additional In-Vehicle Vision Sensors
WO2013149149A1 (en) Method to identify driven lane on map and improve vehicle position estimate
KR101704405B1 (ko) 차선 인식 시스템 및 방법
CN114729813A (zh) 用于车辆导航的系统和方法
CN113508277A (zh) 车道标记定位和融合
US11846520B2 (en) Method and device for determining a vehicle position
CN113405555B (zh) 一种自动驾驶的定位传感方法、系统及装置
EP4113063A1 (en) Localization of autonomous vehicles using camera, gps, and imu
Hu et al. Fusion of vision, 3D gyro and GPS for camera dynamic registration
Hu et al. Real-time data fusion on stabilizing camera pose estimation output for vision-based road navigation
Challenge Development of the SciAutonics/Auburn Engineering Autonomous Car for the Urban Challenge

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination