CN113885011A - 自动车辆的基于点云图的光检测测距重新校准系统 - Google Patents

自动车辆的基于点云图的光检测测距重新校准系统 Download PDF

Info

Publication number
CN113885011A
CN113885011A CN202110188489.XA CN202110188489A CN113885011A CN 113885011 A CN113885011 A CN 113885011A CN 202110188489 A CN202110188489 A CN 202110188489A CN 113885011 A CN113885011 A CN 113885011A
Authority
CN
China
Prior art keywords
adv
distance
offset distance
determining
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110188489.XA
Other languages
English (en)
Inventor
朱帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/918,272 external-priority patent/US12123984B2/en
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN113885011A publication Critical patent/CN113885011A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的实施方式公开了通知操作员自动驾驶车辆(ADV)的感知传感器需要被重新校准的方法和系统。在一个实施方式中，系统感知自动驾驶车辆(ADV)的包括一个或多个障碍物的周围环境。该系统从先前存储的绘制ADV的三维周围环境的点云中提取特征信息。该系统识别所提取的特征信息与一个或多个障碍物的特征之间的一个或多个匹配特征。该系统基于匹配特征中的每个确定平均偏移距离。该系统基于平均偏移距离确定一段时间的平均偏移距离分布。如果平均偏移距离分布满足预定条件，则该系统向ADV发出警报以警告一个或多个传感器推荐或需要被重新校准。

Description

自动车辆的基于点云图的光检测测距重新校准系统
技术领域
本公开的实施方式总体上涉及操作自动驾驶车辆。更具体地，本公开的实施方式涉及自主驾驶车辆(ADV)的基于点云的光检测测距(LIDAR)重新校准系统。
背景技术
以自动模式(例如，无人驾驶)操作的车辆可以减轻乘客，尤其是驾驶员的某些驾驶相关的责任。当以自动模式操作时，车辆能够使用车载传感器导航至各种位置，而允许车辆以最小的人机交互或在一些情况下不需要任何乘客来行驶。
感知和预测是自动驾驶中的关键操作。感知允许ADV感知它的环境。ADV的感知系统通常包括摄像头、LIDAR、RADAR、传感器、惯性测量单元(IMU)等。这些传感器/设备需要被校准以实现高感知精度。有时，设备/传感器需要重新校准，例如当操作者清洁和/或重新安装/替换传感器以进行维护时。
发明内容
在本申请的一个方面中，提供操作自动驾驶车辆(ADV)的计算机实现方法，该方法可包括：使用一个或多个传感器，感知自动驾驶车辆(ADV)的周围环境，该周围环境可包括一个或多个障碍物；从先前存储的与ADV的周围环境相关的点云中提取特征信息；识别提取的特征信息与一个或多个障碍物的特征之间的一个或多个匹配特征；基于匹配特征中的每个，为规划周期确定平均偏移距离；以及基于平均偏移距离，为预定数量的规划周期确定平均偏移距离分布，其中，如果平均偏移距离满足预定条件，则一个或多个传感器需要重新校准。
在本申请的另一方面中，提供非暂时性机器可读介质，其中可存储有指令，当由处理器执行指令时，可引起处理执行操作，该操作包括：使用一个或多个传感器感知自动驾驶车辆(ADV)的周围环境，该周围环境可包括一个或多个障碍物；从先前存储的与ADV的周围环境相关的点云中提取特征信息；识别提取的特征信息与一个或多个障碍物的特征之间的一个或多个匹配特征；基于匹配特征中的每个为规划周期确定平均偏移距离；以及基于平均偏移距离为预定数量的规划周期确定平均偏移距离分布，其中，如果平均偏移距离分布满足预定条件，则一个或多个传感器需要被重新校准。
在本申请的又一方面中，提供数据处理系统，该系统可包括处理器以及联接至处理器的存储指令的存储器，当由处理器执行指令时，引起处理器执行操作，该操作可包括使用一个或多个传感器感知自动驾驶车辆(ADV)的周围环境，该周围环境可包括一个或多个障碍物；从先前存储的与ADV的周围环境相关的点云中提取特征信息；识别提取的特征信息与一个或多个障碍物的特征之间的一个或多个匹配特征；基于匹配特征中的每个，为规划周期确定平均偏移距离；以及基于平均偏移距离，为预定数量的规划周期确定平均偏移距离分布，其中，如果平均偏移距离分布满足预定条件，则一个或多个传感器需要被重新校准。
在本申请的又一方面中，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
附图说明
本公开的实施方式在附图的图中以示例的方式而非限制的方式示出，在附图中相似的附图标记指示相似的元件。
图1是示出根据一个实施方式的网络化系统的框图。
图2是示出根据一个实施方式的自动驾驶车辆的示例的框图。
图3A至图3B是示出根据一个实施方式的与自动驾驶车辆一起使用的自动驾驶系统的示例的框图。
图4是示出根据一个实施方式的传感器校准模块的框图。
图5A示出根据一个实施方式的ADV的感知。
图5B是示出根据一个实施方式的对应于图5A中的ADV的感知的一些特征信息的图。
图5C是根据一个实施方式的图5A和图5B的俯视图。
图5D是示出根据一个实施方式的特征信息的点云图。
图6A是示出根据一个实施方式的平均偏移距离分布的示例概率密度函数。
图6B是示出根据一个实施方式的触发重新校准推荐警报的平均偏移距离分布的示例概率密度函数。
图6C是示出根据一个实施方式的触发重新校准需求警报的平均偏移距离分布的示例概率密度函数。
图7是示出根据一个实施方式的方法的流程图。
具体实施方式
将参照以下讨论的细节来描述本公开的各种实施方式和各个方面，并且附图将示出各种实施方式。以下描述和附图是本公开的说明，而不应被解释为限制本公开。描述多种具体细节以提供对本公开的各种实施方式的透彻理解。然而，在某些情况下，为了提供对本公开的实施方式的简洁的讨论而不对公知的或常规的细节进行描述。
在说明书中提到的“一个实施方式”或“实施方式”意指结合该实施方式描述的特定特征、结构或特性能够被包括在本公开的至少一个实施方式中。在说明书中各个地方出现的短语“在一个实施方式中”不一定都指的是同一个实施方式。
本公开的实施方式公开了一种通知和/或重新校准自动驾驶车辆(ADV)的感知传感器的方法和系统。在一个实施方式中，系统使用一个或多个传感器来感知自动驾驶车辆(ADV)的周围环境，该周围环境包括一个或多个障碍物。系统从绘制ADV的三维周围环境的先前存储的点云中提取特征信息。系统识别所提取的特征信息与一个或多个障碍物的特征之间的一个或多个匹配特征。系统基于每个匹配特征来为规划周期确定平均偏移距离。系统基于平均偏移距离来为预定数量的规划周期确定平均偏移距离分布。系统可以向ADV发送警报，以警报推荐一个或多个传感器，或者如果平均偏移距离分布满足预定条件，则需要重新校准。
图1是示出根据本公开的一个实施方式的自动驾驶网络配置的框图。参照图1，网络配置100包括自动驾驶车辆(ADV)101，自动驾驶车辆(ADV)101可通过网络102通信地联接至一个或多个服务器103和服务器104。尽管示出一个ADV，但是多个ADV可通过网络102彼此联接和/或联接至服务器103和服务器104。网络102可为任何类型的有线或无线网络，例如，局域网(LAN)、诸如英特网的广域网(WAN)、蜂窝网络、卫星网络或其组合。服务器103和服务器104可为任何类型的服务器或服务器的集群，例如，Web或云服务器、应用服务器、后端服务器或其组合。服务器103和服务器104可为数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器或位置服务器等。
ADV指的是能够被配置为以自动模式驾驶的车辆，在自动模式中车辆在很少的或没有来自驾驶员的输入的情况下导航通过环境。这种ADV可包括具有一个或多个传感器的传感器系统，该一个或多个传感器被配置为检测关于其中有车辆操作的环境的信息。车辆及其相关的控制器使用所检测到的信息来导航通过环境。ADV 101能够以手动模式、全自动模式或部分自动模式操作。
在一个实施方式中，ADV 101包括但不限于自动驾驶系统(ADS)110、车辆控制系统111、无线通信系统112、用户接口系统113和传感器系统115。ADV 101还可包括在普通车辆中包括的某些常见组件，例如，发动机、车轮、方向盘、变速器等，该部件可由车辆控制系统111和/或ADS 110使用各种通信信号和/或命令来控制，例如，加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
组件110至115可经由互连、总线、网络或其组合彼此通信地联接。例如，组件110至115可经由控制器区域网络(CAN)总线彼此通信地联接。CAN总线是被设计成允许微控制器和装置在没有主机的应用中彼此通信的车辆总线标准。它是基于消息的协议，最初被设计用于汽车内的多路电气布线，但也用于许多其它环境中。
现在参照图2，在一个实施方式中，传感器系统115包括但不限于一个或多个摄像头211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214和光检测与测距(LIDAR)单元215。GPS系统212可包括收发器，可操作用于提供关于ADV的位置的信息。IMU单元213可基于惯性加速度来感测ADV的位置变化和方向变化。雷达单元214可表示利用无线电信号来感测在ADV的本地环境内的物体的系统。在一些实施方式中，除了感测物体之外，雷达单元214还可以感测物体的速度和/或航向。LIDAR单元215可使用激光来感测ADV所处的环境中的物体。LIDAR单元215可包括一个或多个激光源、激光扫描仪和一个或多个检测器以及其它系统组件。摄像头211可包括一个或多个用于捕获ADV周围环境的图像的装置。摄像头211可为静态摄像头和/或视频摄像头。例如，通过将摄像头安装在旋转和/或倾斜的平台上，摄像头可为可机械地移动的。
传感器系统115还可包括其它传感器，例如，声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如，麦克风)。音频传感器可被配置为从ADV周围的环境捕获声音。转向传感器可被配置为感测方向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下，油门传感器和制动传感器可以集成为集成的油门/制动传感器。
在一个实施方式中，车辆控制系统111包括但不限于转向单元201、油门单元202(也称作加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制发动机或引擎的速度，进而控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎放缓来使车辆减速。应注意，如图2中所示的组件可以在硬件、软件或其组合中实施。
回到参照图1，无线通信系统112用于允许ADV 101与诸如装置、传感器、其它车辆等的外部系统之间的通信。例如，无线通信系统112能够与一个或多个装置直接地或经由通信网络进行无线通信(例如，通过网络102与服务器103和服务器104进行无线通信)。无线通信系统112能够使用任何蜂窝通信网络或诸如WiFi的无线局域网(WLAN)与另一组件或系统进行通信。例如，无线通信系统112可使用红外链路、蓝牙等直接与装置(例如，乘客的移动装置、显示装置、车辆101内的扬声器)通信。用户接口系统113可为在车辆101内实施的外围装置的一部分，例如，包括键盘、触摸屏显示装置、麦克风和扬声器等。
ADV 101的一些或全部功能可由ADS 110控制或管理，尤其是当以自动驾驶模式操作时。ADS 110包括从传感器系统115、控制系统111、无线通信系统112和/或用户接口系统113接收信息，处理所接收到的信息，规划从起始点至目的地点的路线或路径，并且然后基于规划和控制信息驾驶车辆101的必要的硬件(例如，处理器、存储器、存储装置)和软件(例如，操作系统、规划和路线安排程序)。可选地，ADS 110可与车辆控制系统111集成在一起。
例如，作为乘客的用户可经由诸如用户接口指定行程的起始位置和目的地。ADS110获取行程相关的数据。例如，ADS 110可从MPOI服务器获取位置和路线数据，MPOI服务器可为服务器103和服务器104的一部分。位置服务器提供位置服务，而MPOI服务器提供地图服务和某些位置的POI。可选地，这种位置和MPOI信息可本地缓存在ADS 110的永久性存储装置中。
当ADV 101沿着路线移动时，ADS 110还可从交通信息系统或服务器(TIS)中获取实时交通信息。应注意，服务器103和服务器104可由第三方实体操作。可选地，服务器103和服务器104的功能可与ADS 110集成在一起。基于实时交通信息、MPOI信息和位置信息，以及由传感器系统115检测或感测到的实时本地环境数据(例如，障碍物、物体、附近车辆)，ADS110能够经由诸如控制系统111根据规划的路线来规划最佳路线并驾驶车辆101，以安全且有效地到达指定目的地。
服务器103可以是为各种客户端执行数据分析服务的数据分析系统。在一个实施方式中，数据分析系统103包括数据收集器121和机器学习引擎122。数据收集器121从多种车辆中收集驾驶统计123，这些车辆可为ADV或由人类驾驶员驾驶的常规车辆。驾驶统计123包括指示发出的驾驶命令(例如，油门命令、制动命令、转向命令)的信息和指示由车辆的传感器在不同时间点捕获的车辆的响应(例如，速度、加速度、减速度、方向)的信息。驾驶统计123还可包括描述在不同时间点的驾驶环境的信息，例如，路线(包括起始位置和目的地位置)、MPOI、道路状况、天气状况等。
基于驾驶统计123，机器学习引擎122为各种目的生成或训练一组规则、算法和/或预测模型124。在一个实施方式中，算法124可包括用于障碍物检测、分类、特征提取等的算法。
算法124可包括基于ADV的感知系统的图像来检测障碍物的算法。算法124可包括将对象分类为静态元素(例如，地标、建筑物、灯柱、交通标志/灯、树等)和/或动态元素(例如，车辆、行人等)的算法。算法124可包括从检测到的障碍物中提取特征信息的算法。然后，算法124可被上传到ADV上，以便在自动驾驶期间被实时地利用。
图3A和图3B是示出根据一个实施方式的与ADV一起使用的自动驾驶系统的示例的框图。系统300可实施为图1的ADV 101的一部分，系统300包括但不限于ADS 110、控制系统111和传感器系统115。参照图3A和图3B，ADS 110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306、路线安排模块307以及传感器校准模块308。
模块301至模块308中的一些或全部可以在软件、硬件或其组合中实施。例如，这些模块可以安装在永久性存储装置352中，加载到存储器351中，并由一个或多个处理器(未示出)执行。应注意，这些模块中的一些或全部可通信地联接至图2的车辆控制系统111的一些或全部模块，或者与图2的车辆控制系统111的一些或全部模块集成。模块301至模块308中的一些模块可集成在一起作为集成模块。例如，模块308可实施为预测模块302的一部分。
定位模块301确定ADV 300的当前位置(例如，凭借GPS单元212)并管理任何与用户的行程或路线相关的数据。定位模块301(也称作地图和路线安排模块)管理任何与用户的行程或路线有关的数据。用户可经由诸如用户界面登录并指定行程的起始位置和目的地。定位模块301与ADV 300的其它组件(例如，地图和路线安排数据311)通信，以获取行程相关数据。例如，定位模块301可从位置服务器以及地图和POI(MPOI)服务器中获取位置和路线数据。位置服务器提供位置服务，并且MPOI服务器提供地图服务和某些位置的POI，某些位置的POI可缓存为地图和路线数据311的一部分。当ADV 300沿着路线移动时，定位模块301还可从交通信息系统或服务器获取实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获取的位置信息，由感知模块302确定对周围环境的感知。感知信息可表示普通驾驶员在驾驶员正在驾驶的车辆周围将感知到什么。该感知可包括诸如以物体的形式的车道配置、交通灯信号、另一车辆的相对位置、行人、建筑、人行道或其它交通相关标志(例如，停车标志、让路标志)等。车道配置包括描述一条或多条车道的信息，例如，车道的形状(例如，直线或曲率)、车道的宽度、道路中有多少条车道、单向或双向车道、合并或分叉车道、出口车道等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能，以处理和分析由一个或多个摄像头捕获的图像，以便识别ADV的环境中的物体和/或特征。物体可包括交通信号、道路边界、其它车辆、行人和/或障碍物等。计算机视觉系统可使用物体识别算法、视频跟踪和其它计算机视觉技术。在一些实施方式中，计算机视觉系统可以绘制环境、跟踪物体并估算物体的速度等。感知模块302还可基于由其它传感器(例如，雷达和/或LIDAR)提供的其它传感器数据来检测物体。
对于物体中的每个，预测模块303预测物体在环境下将怎样表现。基于针对一组地图/路线信息311和交通规则312在时间点处接收驾驶环境的感知数据执行预测。例如，如果物体是处于相反方向的车辆并且当前驾驶环境包括十字路口，则预测模块303将预测车辆是否将可能直接向前移动或转弯。如果感知数据指示十字路口没有交通灯，则预测模块303可预测车辆在进入十字路口之前可能必须完全停止。如果感知数据指示车辆当前处于左转专用车道或右转专用车道，则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。
对于物体中的每个，决策模块304做出关于如何处理物体的决策。例如，对于特定物体(例如，十字路口中的另一车辆)及其描述该物体的元数据(例如，速度、方向、转向角)，决策模块304确定如何与该物体相遇(例如，超车、让路、停止、通过)。决策模块304可根据可存储在永久性存储装置352中的一组规则(例如，交通规则或驾驶规则312)来做出此类决策。
路线安排模块307配置为提供从起始点至目的地点的一条或多条路线或路径。对于例如从用户接收的从起始位置至目的地位置的给定行程，路线安排模块307获取路线和地图信息311，并确定从起始位置至目的地位置的所有可能的路线或路径。路线安排模块307可以为从起始位置至目的地位置的每条路线以地形图的形式生成参考线。参考线指的是在没有任何来自其它因素(例如，其它车辆、障碍物或交通状况)的干扰的情况下的理想路线或路径。
即，如果在道路上没有其它车辆、行人或障碍物，则ADV应精确地或近似地遵循参考线。然后将地形图提供至决策模块304和/或规划模块305。决策模块304和/或规划模块305针对由其它模块提供的其它数据，例如，来自定位模块301的交通状况、由感知模块302感知的驾驶环境以及由预测模块303预测的交通状况，检查所有可能的路线以选择和修改最佳路线之一。取决于在该时间点的特定驾驶环境，用于控制ADV的实际路径或路线可以接近或不同于由路线安排模块307提供的参考线。
基于所感知的每个物体的决策，规划模块305使用由路线安排模块307提供的参考线作为基础来规划ADV的路径或路线，以及驾驶参数(例如，距离、速度和/或转向角)。即，对于给定物体，决策模块304确定对该物体做什么，而规划模块305确定如何做。例如，对于给定物体，决策模块304可决定通过该物体，而规划模块305可确定是在该物体的左侧还是右侧通过。规划和控制数据由规划模块305生成，该数据包括描述车辆300将如何在下一移动周期(例如，下一路线/路径段)中移动的信息。例如，规划和控制数据可指示车辆300以30英里每小时(mph)的速度移动10米，然后以25mph的速度改变到右车道。
基于规划和控制数据，控制模块306通过根据由规划和控制数据限定的路线或路径向车辆控制系统111发送适当的命令或信号来控制和驾驶ADV。规划和控制数据包括足够的信息，以便在沿着路径或路线在不同时间点使用适当的车辆设置或驾驶参数(例如，油门、制动、转向命令)将车辆从路线或路径的第一点驾驶至第二点。
在一个实施方式中，在多个规划周期中执行规划阶段，规划周期也称为驾驶周期，例如，在每100毫秒(ms)的时间间隔中执行。对于每个规划周期或驾驶周期，将基于规划和控制数据发出一个或多个控制命令。即，对于每100ms，规划模块305规划下一路线段或路径段，例如，包括目标位置和ADV到达目标位置所需的时间。可选地，规划模块305还可限定具体速度、方向和/或转向角等。在一个实施方式中，规划模块305规划下一预定时间段(例如，5秒)的路线段或路径段。对于每个规划周期，规划模块305基于在上一周期中规划的目标位置来规划当前周期(例如，下一个5秒)的目标位置。然后，控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如，油门控制命令、制动控制命令、转向控制命令)。
应注意，决策模块304和规划模块305可集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能以确定ADV的行驶路径。例如，导航系统可确定一系列的速度和方向航向，以影响ADV沿着路径的移动，该路径基本上避免了感知到的障碍，同时总体上使ADV沿着通向最终目的地的基于道路的路径行驶。可根据经由用户接口系统113的用户输入来设置目的地。当ADV在操作中时，导航系统可动态地更新驾驶路径。导航系统可结合来自GPS系统的数据和一个或多个地图，以便确定ADV的驾驶路径。
图4是示出根据一个实施方式的传感器校准模块的示例的框图。传感器校准模块308可以被实施为图3A的感知模块的一部分。传感器校准模块308可以确定和/或通知操作者是否有任何感知传感器需要重新校准。参照图4，传感器校准模块308可以包括子模块，诸如环境感知401、特征信息提取器402、特征匹配确定器403、偏移距离确定器404、平均偏移距离确定器405、偏移距离分布确定器406、阈值确定器407和警报发送器408。应注意，这些模块中的一些可以集成到更少的模块或单个模块中。
环境感知401可以感知ADV周围的环境。环境可以由ADV的各种传感器/图像捕获设备感知，包括安装用于ADV的捕获ADV周围的三维环境信息的RGB摄像头、LIDAR、RADAR、飞行时间摄像头等。特征信息提取器402可从先前存储的三维(3D)环境信息中提取特征信息。先前存储的3D环境信息可以是点云/RGB图像/深度图像，或其组合等。这里，3D环境信息可以预先由ADV 101和/或其它ADV的各种传感器捕获。从先前存储的3D环境信息中提取的特征信息可以被ADV 101用来匹配由ADV 101的感知系统感知的特征。
特征匹配确定器403可以确定在由ADV 101当前捕获的图像和由ADV 101和/或具有校准传感器的其它ADV先前捕获的检索到的图像(RGB图像、点云图等)之间是否存在匹配特征/障碍。偏移距离确定器404可以确定特定匹配特征/障碍的偏移距离。平均偏移距离确定器405可以基于图像帧(或规划周期)的所有匹配特征/障碍来计算偏移距离的平均值。这里，每个规划周期可以捕获图像帧(大约每100毫秒一帧)。平均偏移距离分布确定器406可以基于平均偏移距离来为预定时间间隔确定平均偏移距离分布。阈值确定器407可以确定一个或多个阈值，其中平均偏移距离分布的平均值偏离零偏移触发重新校准警报/通知。警报(通知)发送器408可以从模块308向ADV 101发送通知，以通知操作员传感器重新校准被推荐和/或需要。
图5A示出根据一个实施方式的ADV的感知。图5B是示出对应于图5A中的ADV的感知的一些特征信息的图。图5C是图5A和图5B的俯视图。参考图5A至图5C，对于一个示例，ADV101(在图5A和图5B中未示出)可以沿着具有两个可区别的障碍物501和502的道路500行驶。ADV 101可包括一个或多个感知传感器，包括RGB摄像头、LIDAR、RADAR、飞行时间(ToF)摄像头或其组合等。在一个实施方式中，ADV 101通过从RGB摄像头捕获红绿蓝(RGB)图像、从ToF摄像头捕获ToF图像和/或从LIDAR传感器捕获点云等来感知周围环境。在一个实施方式中，为了多传感器融合感知，图像可以被融合在一起。基于来自IMU(先前校准到传感器的IMU)的测量和所捕获的图像，ADV 101可以生成表示3D位置的四元数以及ADV 101的航向信息。当校准时，由ADV 101的感知系统感知到的静态障碍应该出现在相同的位置。应注意，尽管以下公开了基于摄像头图像/LIDAR点云的重新校准的实施方式，但是相同的重新校准实施方式可以应用于其它图像和/或多传感器融合图像。
在一个实施方式中，如果一个或多个传感器不再与IMU对准，则所感知的点云(或图像)将指示与由ADV 101或其它ADV的传感器先前捕获的图像相比的偏移。在一个实施方式中，ADV 101可自动确定未对准是否在可接受的阈值内。如果不是，则ADV 101向ADV 101的操作员发送推荐和/或要求重新校准的警报。
参照图5A至图5C，在一个实施方式中，ADV 101基于ADV的位置(由GPS/IMU等确定的位置)来检索绘制ADV的三维周围环境的点云/图像。点云/图像可以作为图3A的地图和路线安排数据311的一部分被检索。接下来，ADV 101从所检索的点云中提取特征信息。在这种情况下，参考图5A至图5C，特征信息可以是由点云/图像(例如，灯柱501和交通标志502)捕获的障碍物的方向/边缘/曲线/特征。在一个实施方式中，选择预定数量的特征用于提取。在另一实施方式中，提取所有特征。在一个实施方式中，基于分类算法将特征分类为静态或动态元素，并且仅选择静态元素(例如，建筑物、树、交通标志、车道线和灯柱)用于提取，并且其中不选择动态元素(例如，车辆、行人)用于提取。
接下来，基于由绘制ADV 101的3D周围环境的ADV 101所捕获的实时点云/图像，ADV 101从实时点云/图像中提取特征，其中该特征反映ADV所感知的障碍(例如，障碍物501和502)。这里，可以通过图像识别算法(例如，边缘检测算法、机器学习算法，包括但不限于深度卷积神经网络)来感知障碍物。应注意，神经网络是机器学习模型，它可以通过考虑示例(例如，具有输入/输出场景的训练)来学习以执行任务，而不用任何任务特定的规则来编程。神经网络是基于一系列隐藏层或内层中的大量神经单元或神经元的计算方法。每个隐藏层由一组神经元组成，其中每个神经元连接到前一层中的一个或多个神经元，并且其中单个层中的神经元可以完全独立地起作用，并且不与该层的其它神经元共享任何连接。神经网络是自学习和训练的，而不是显式编程的。卷积神经网络是具有完全连接层的深度神经网络。完全连接层是具有与前一层中的所有神经元完全连接的神经元的内层。
在一个实施方式中，ADV 101识别当前捕获的点云/图像的所提取的特征信息与绘制静态元素501和502的所检索的点云/图像之间的一个或多个匹配特征。基于匹配特征，ADV 101为每个匹配特征确定平均偏移距离。规划周期的平均偏移距离可以通过对所有匹配特征的偏移距离求平均来计算。在一个实施方式中，可以基于ADV与先前存储的点云/图像的所提取的特征之间的距离以及ADV与实时点云/图像的所提取的特征之间的距离来计算特征的偏移距离。在一个实施方式中，偏移距离是矢量偏移距离(例如，对于二维矢量，具有x分量和y分量的距离)。例如，从ADV到实时提取的特征的距离和从ADV到检索的点云的提取的特征的距离是矢量距离。在一个实施方式中，矢量距离是2D平面距离(例如，忽略高度以简化计算)。
在一个实施方式中，基于多个规划周期(或预定时间周期)的平均偏移距离，ADV101生成多个规划周期的平均偏移距离分布。这里，该分布具有点序列，并且每个点是给定规划周期的平均偏移距离。应注意，规划周期的数量可以被设置为100毫秒(或1个周期)、1分钟、10分钟、半小时等。然后可以使用该分布来确定是否存在捕获点云/图像的任何传感器的感知传感器未对准。在一个实施方式中，该分布可以被离散以减小存储容量。例如，该分布包括离散数量的仓，并且仓附近的平均偏移距离点由仓表示，其中每个仓由中心值和范围表示。
在一个实施方式中，ADV 101计算一个或多个阈值，其中分布偏离零偏移将触发警报。在一个实施方式中，ADV 101基于分布计算平均值。该平均值可以通过对分布中的点求平均来计算。在一个实施方式中，第一阈值是一个标准偏差，第二阈值是两个标准偏差。标准偏差测量一组值的变化量或离散度，并且可以基于分布中的平均值和一组点来计算。在一个实施方式中，在与平均偏移距离分布的平均值的一个标准偏差内的零偏移不触发警报。在一个实施方式中，与平均偏移距离分布的平均值相比，零偏移多于一个标准偏差但少于两个标准偏差触发推荐警报。在一个实施方式中，与平均偏移距离分布的平均值的零偏移大于两个标准偏差的零偏移，触发需求警报。
在一个实施方式中，平均偏移距离分布是矢量平均偏移距离分布，例如，该分布对于2D平面分布具有x分量和y分量。在一个实施方式中，在与分布的两个矢量分量的平均值的一个标准偏差内的零偏移不触发警报。在一个实施例中，对于分布的任何矢量分量，与平均值的零偏移大于一个标准偏差但小于两个标准偏差会触发推荐警报。在一个实施方式中，对于分布的任何矢量分量，与平均值的零偏移大于两个标准偏差偏差，触发需求警报。在一个实施方式中，ADV通过确定作为每个矢量平均偏移距离分布分量的平均值而计算的偏移向量来自动重新校准。偏移矢量被加至未对准的传感器读数上，以补偿未对准。这里，未对准的传感器引入偏置偏移/误差。然而，不同的传感器可以包括每次读取的随机误差。偏移距离的平均和基于平均偏移距离的分布的生成可以突显用于重新校准确定的偏置偏移/误差。
图5D是示出根据一个实施方式的特征信息的点云图。参照图5D，特征511类似于建筑物，其将使用分类算法被分类为静态元素，并且特征512至特征514类似于车辆。这里，特征512至特征514将被分类为动态元素，并且将仅提取特征511(而不是特征512至特征514)并用于传感器重新校准的特征匹配。
图6A是示出根据一个实施方式的平均偏移距离分布的示例概率密度函数。图6B是示出根据一个实施方式的触发重新校准推荐警报的平均偏移距离分布的示例概率密度函数。图6C是示出根据一个实施方式的触发重新校准需求警报的平均偏移距离分布的示例概率密度函数。参照图6A，由于分布601的平均值在与零偏移的一个标准偏差的阈值的距离内，所以没有传感器重新校准的通知被发送到ADV 101的操作员。参照图6B，由于零偏移距分布602的平均值大于一个标准偏差但小于两个标准偏差，所以ADV 101向操作员发送第一水平警报以推荐传感器重新校准。参照图6C，由于零偏移距分布603的平均值大于两个标准偏差，所以ADV 101向操作员发送第二水平警报，以要求对传感器进行重新校准。尽管未示出，但两个水平的警报可以是任何类型的警报，诸如在ADV的仪表盘显示器上显示文本(例如，推荐重新校准和/或需要重新校准)、颜色变化(黄色和/或红色)或其组合，或者声音/谐音，或者触摸反馈等。
图7是示出根据一个实施方式的方法的流程图。过程700可由可包括软件、硬件或其组合的处理逻辑来执行。例如，过程700可以由图3A的传感器校准模块308执行。参照图7，在框701处，处理逻辑使用一个或多个传感器来感知自动驾驶车辆(ADV)的周围环境，该周围环境包括一个或多个障碍物。在框702处，处理逻辑从绘制ADV的三维周围环境的先前存储的点云中提取特征信息。在框703处，处理逻辑识别所提取的特征信息与一个或多个障碍物的特征之间的一个或多个匹配特征。在框704处，处理逻辑基于每个匹配特征来为规划周期(例如，100毫秒的周期)确定平均偏移距离。在框705处，处理逻辑基于平均偏移距离来为预定数量的规划周期(例如，10分钟)确定平均偏移距离分布。在框706处，如果平均偏移距离分布满足预定条件，则处理逻辑向ADV发送警告，以警告建议或者需要一个或多个传感器被重新校准。
在一个实施方式中，如果平均偏移距离分布的平均值大于远离零偏移的阈值距离，则向ADV发送警报以警告建议或需要一个或多个传感器被重新校准。在一个实施方式中，基于每个匹配特征来为规划周期确定平均偏移距离包括：对于每个匹配特征，确定障碍物的特征与其对应的匹配特征之间的偏移距离，以及通过对匹配特征的所确定的偏移距离求平均来为规划周期确定平均偏移距离。
在一个实施方式中，偏移距离是偏移矢量距离。在一个实施方式中，确定与障碍物的偏移距离及其对应的匹配特征包括确定ADV和障碍物的特征之间的第一矢量距离、确定ADV和对应的匹配特征之间的第二矢量距离，以及将偏移距离确定为第一矢量距离和第二矢量距离之间的差矢量。
在一个实施方式中，平均偏移距离分布包括平均偏移距离分布的矢量，其中如果平均偏移距离分布的任何矢量分量的平均值大于对应矢量分量的远离零偏移的阈值距离，则警告ADV的操作员一个或多个传感器需要重新校准。在一个实施方式中，阈值距离大约是两个标准偏差。
在一个实施方式中，一个或多个传感器基于平均偏移距离分布被重新校准，使得对于预定数量的规划周期，平均偏移距离具有近似零的偏移。在一个实施方式中，一个或多个传感器包括光检测和测距(LIDAR)传感器和惯性测量单元(IMU)传感器，其中参照IMU重新校准LIDAR传感器。在一个实施方式中，特征信息包括周围环境的静态地标(包括建筑物、交通标志、车道线和灯柱)的特征。
应注意，以上示出和描述的组件中的一些或全部可在软件、硬件或其组合中实施。例如，这些组件可实施为安装和存储在永久性存储装置中的软件，该软件可由处理器(未示出)在存储器中加载和执行，以执行在本申请全文中描述的过程或操作。可选地，可将这些组件实施为程序化或嵌入至专用硬件的可执行代码，专用硬件诸如为集成电路(例如，专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)，可执行代码可经由相应的驱动器和/或操作系统从应用程序中访问。此外，这些组件可实施为处理器或处理器核中的特定硬件逻辑，作为可由软件组件经由一个或多个特定指令访问的指令集的一部分。
前述详细描述中的一些部分已经根据在计算机存储器内对数据位的运算的算法和符号表示而呈现。这些算法描述和表示是数据处理领域中的技术人员所使用的方式，以将他们的工作实质最有效地传达给本领域中的其他技术人员。本文中，算法通常被认为是导致所期望结果的自洽操作序列。这些操作是指需要对物理量进行物理操控的操作。
然而，应当牢记，所有这些和类似的术语均旨在与适当的物理量关联，并且仅仅是应用于这些量的方便标记。除非在以上讨论中以其它方式明确地指出，否则应当了解，在整个说明书中，利用术语(诸如所附权利要求书中所阐述的术语)进行的讨论是指计算机系统或类似电子计算装置的动作和处理，所述计算机系统或电子计算装置操控计算机系统的寄存器和存储器内的表示为物理(电子)量的数据，并将所述数据变换成计算机系统存储器或寄存器或者其它此类信息存储装置、传输或显示装置内类似地表示为物理量的其它数据。
本公开的实施方式还涉及用于执行本文中的操作的装置。这种计算机程序存储在非暂时性计算机可读介质中。机器可读介质包括用于以机器(例如，计算机)可读的形式存储信息的任何机构。例如，机器可读(例如，计算机可读)介质包括机器(例如，计算机)可读存储介质(例如，只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存存储器装置)。
前述附图中所描绘的过程或方法可由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当了解，所述操作中的一些可按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
本公开的实施方式并未参考任何特定的编程语言进行描述。应认识到，可使用多种编程语言来实施如本文描述的本公开的实施方式的教导。
在以上的说明书中，已经参考本公开的具体示例性实施方式对本公开的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本公开的更宽泛精神和范围的情况下，可对本发明作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (21)

1.操作自动驾驶车辆(ADV)的计算机实现方法，包括：
使用一个或多个传感器，感知自动驾驶车辆(ADV)的周围环境，包括一个或多个障碍物；
从先前存储的与所述ADV的周围环境相关的点云中提取特征信息；
识别所述提取的特征信息与所述一个或多个障碍物的特征之间的一个或多个匹配特征；
基于所述匹配特征中的每个，为规划周期确定平均偏移距离；以及
基于所述平均偏移距离，为预定数量的规划周期确定平均偏移距离分布，其中，如果所述平均偏移距离满足预定条件，则所述一个或多个传感器需要重新校准。
2.根据权利要求1所述的方法，其中，如果所述平均偏移距离的平均值大于远离零偏移的阈值距离，则所述一个或多个传感器需要被重新校准。
3.根据权利要求2所述的方法，其中，基于所述匹配特征中的每个为所述规划周期确定所述平均偏移距离包括：
对于所述匹配特征中的每个，从所述障碍物的特征和其对应的匹配特征中确定偏移距离；以及
通过对匹配特征的所述确定的偏移距离求平均来为所述规划周期确定所述平均偏移距离。
4.根据权利要求3所述的方法，其中，所述偏移距离是偏移矢量距离。
5.根据权利要求4所述的方法，其中，从所述障碍物的所述特征和其对应的匹配特征中确定所述偏移距离包括：
确定所述ADV与所述障碍物的所述特征之间的第一矢量距离；
确定所述ADV与所述对应的匹配特征之间的第二矢量距离；以及
将所述第一矢量距离与所述第二矢量距离之间的所述偏移距离确定为差矢量。
6.根据权利要求5所述的方法，其中，所述平均偏移距离分布包括平均偏移距离分布的矢量，其中，如果所述平均偏移距离分布的任何矢量分量的平均值大于远离所述对应的矢量分量的所述零偏移的所述阈值距离，则警告所述ADV的所述操作员所述一个或多个传感器需要被重新校准。
7.根据权利要求2所述的方法，其中，所述阈值距离大约为两个标准偏差。
8.根据权利要求2所述的方法，还包括基于所述平均偏差距离分布重新校准所述一个或多个传感器，使得随后的传感器读数具有近似地零偏移。
9.根据权利要求2所述的方法，其中，所述一个或多个传感器包括光检测和测距(LIDAR)传感器以及惯性测量单元(IMU)传感器，其中，相对于所述IMU重新校准所述LIDAR传感器。
10.根据权利要求1所述的方法，其中，所述特征信息包括所述周围环境的静态地标的特征，所述静态地标特征包括建筑物地标、交通标志、车道线以及灯柱等。
11.非暂时性机器可读介质，其中存储有指令，当由处理器执行所述指令时，引起所述处理器执行操作，所述操作包括：
使用一个或多个传感器感知自动驾驶车辆(ADV)的周围环境，所述周围环境包括一个或多个障碍物；
从先前存储的与所述ADV的周围环境相关的点云中提取特征信息；
识别所述提取的特征信息与所述一个或多个障碍物的特征之间的一个或多个匹配特征；
基于所述匹配特征中的每个，为规划周期确定平均偏移距离；以及
基于所述平均偏移距离，为预定数量的规划周期确定平均偏移距离分布，其中，如果所述平均偏移距离分布满足预定条件，则所述一个或多个传感器需要被重新校准。
12.根据权利要求11所述的非暂时性机器可读介质，其中，如果所述平均偏移距离分布的平均值大于远离零偏移的阈值距离，则所述一个或多个传感器需要被重新校准。
13.根据权利要求12所述的非暂时性机器可读介质，其中，基于所述匹配特征中的每个为所述规划周期确定所述平均偏移距离包括：
对于所述匹配特征中的每个，从所述障碍物的特征和其对应的匹配特征中确定偏移距离；以及
通过对匹配特征的所述确定的偏移距离求平均来为所述规划周期确定所述平均偏移距离。
14.根据权利要求13所述的非暂时性机器可读介质，其中，所述偏移距离是偏移矢量距离。
15.根据权利要求14所述的非暂时性机器可读介质，其中，从所述障碍物的所述特征和其对应的匹配特征中确定所述偏移距离包括：
确定所述ADV与所述障碍物的所述特征之间的第一矢量距离；
确定所述ADV与所述对应的匹配特征之间的第二矢量距离；以及
将所述第一矢量距离与所述第二矢量距离之间的所述偏移距离确定为差矢量。
16.数据处理系统，包括：
处理器；以及
联接至所述处理器的存储指令的存储器，当由所述处理器执行所述指令时，引起所述处理器执行操作，所述操作包括
使用一个或多个传感器感知自动驾驶车辆(ADV)的周围环境，所述周围环境包括一个或多个障碍物；
从先前存储的与所述ADV的周围环境相关的点云中提取特征信息；
识别所述提取的特征信息与所述一个或多个障碍物的特征之间的一个或多个匹配特征；
基于所述匹配特征中的每个，为规划周期确定平均偏移距离；以及
基于所述平均偏移距离为预定数量的规划周期的确定平均偏移距离分布，其中，如果所述平均偏移距离分布满足预定条件，则所述一个或多个传感器需要被重新校准。
17.根据权利要求16所述的系统，其中，如果所述平均偏移距离的平均值大于远离零偏移的阈值距离，则所述一个或多个传感器需要被重新校准。
18.根据权利要求17所述的系统，其中，基于所述匹配特征中的每个为所述规划周期确定所述平均偏移距离包括：
对于所述匹配特征中的每个，从所述障碍物和其对应的匹配特征中确定偏移距离；以及
通过对匹配特征的所述确定的偏移距离求平均来为所述规划周期确定所述平均偏移距离。
19.根据权利要求18所述的系统，其中，所述偏移距离是偏移矢量距离。
20.根据权利要求19所述的系统，其中，从所述障碍物的所述特征和其对应的匹配特征中确定所述偏移距离包括：
确定所述ADV与所述障碍物的所述特征之间的第一矢量距离；
确定所述ADV与所述对应的匹配特征之间的第二矢量距离；以及
将所述第一矢量距离与所述第二矢量距离之间的所述偏移距离确定为差矢量。
21.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1-10中任一项所述的方法。
CN202110188489.XA 2020-07-01 2021-02-19 自动车辆的基于点云图的光检测测距重新校准系统 Pending CN113885011A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/918,272 US12123984B2 (en) 2020-07-01 Point clouds based lidar recalibration system for autonomous vehicles
US16/918,272 2020-07-01

Publications (1)

Publication Number Publication Date
CN113885011A true CN113885011A (zh) 2022-01-04

Family

ID=79013106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110188489.XA Pending CN113885011A (zh) 2020-07-01 2021-02-19 自动车辆的基于点云图的光检测测距重新校准系统

Country Status (1)

Country Link
CN (1) CN113885011A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007869A1 (zh) * 2022-07-04 2024-01-11 中兴通讯股份有限公司 水平度校验方法、终端和计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007869A1 (zh) * 2022-07-04 2024-01-11 中兴通讯股份有限公司 水平度校验方法、终端和计算机可读存储介质

Also Published As

Publication number Publication date
US20220003855A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
CN111775945B (zh) 用于自动驾驶的用于检测最接近的路径内对象的方法和装置
CN112149487B (zh) 一种用于自动驾驶的用于训练神经网络对象检测模型的用于确定锚框的方法
CN112977473B (zh) 用于预测移动障碍物驶出十字路口的方法及系统
CN114026463B (zh) 基于部分点云的行人速度估计方法
CN112829769B (zh) 自动驾驶车辆的混合规划系统
CN113552870B (zh) 基于感知结果的动态速度限制调整系统及方法
US20210302582A1 (en) A point cloud feature-based obstacle filter system
CN112124318B (zh) 自主驾驶车辆的障碍物感知校准系统
CN113064143B (zh) 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统
CN113753070B (zh) 自动车辆的锁定行人检测与预测
US20240020988A1 (en) Traffic light detection and classification for autonomous driving vehicles
EP4147936B1 (en) Drive with caution under uncertainty for an autonomous driving vehicle
CN114764022A (zh) 用于自主驾驶车辆的声源检测和定位的系统和方法
CN114763159A (zh) 利用自主驾驶车辆的自动音频数据标记
CN113642372B (zh) 在自主驾驶车辆的操作中基于灰度图像识别对象的方法和系统
US12017681B2 (en) Obstacle prediction system for autonomous driving vehicles
CN116674593A (zh) 用于自主车辆的具有异常检测的安全增强规划系统
CN113885011A (zh) 自动车辆的基于点云图的光检测测距重新校准系统
CN113492848B (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
US11288528B2 (en) Differentiation-based traffic light detection
CN113728324B (zh) 基于点云的低高度障碍物检测系统
CN212391730U (zh) 用于自动驾驶车辆的光探测和测距装置
US12123984B2 (en) Point clouds based lidar recalibration system for autonomous vehicles
CN212515471U (zh) 用于自动驾驶车辆的光探测和测距装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination