CN116973943A - 用于无人驾驶车辆的自适应lidar数据处理 - Google Patents
用于无人驾驶车辆的自适应lidar数据处理 Download PDFInfo
- Publication number
- CN116973943A CN116973943A CN202310941161.XA CN202310941161A CN116973943A CN 116973943 A CN116973943 A CN 116973943A CN 202310941161 A CN202310941161 A CN 202310941161A CN 116973943 A CN116973943 A CN 116973943A
- Authority
- CN
- China
- Prior art keywords
- lidar
- data processing
- adaptive
- unit
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 88
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 57
- 238000004891 communication Methods 0.000 claims abstract description 23
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000008447 perception Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 239000000872 buffer Substances 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000002379 ultrasonic velocimetry Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
Abstract
在实施例中,自主驾驶车辆(ADV)从多个LIDAR类型中确定LIDAR单元的LIDAR类型。ADV响应于确定LIDAR单元的LIDAR类型,基于LIDAR类型配置自适应LIDAR数据处理系统。自适应LIDAR数据处理系统支持多个LIDAR类型中的每一个。相应地,响应于配置自适应LIDAR数据处理系统,ADV使用自适应LIDAR数据处理系统在LIDAR单元与主机系统之间建立通信。
Description
技术领域
本公开的实施例通常涉及操作自主驾驶车辆(ADV)。更特别地,本发明的实施例涉及基于连接到ADV的LIDAR类型动态配置LIDAR(光检测和测距)系统。
背景技术
以自主模式(例如,无人驾驶)操作的车辆可以减轻乘坐者,尤其是驾驶员的一些驾驶相关责任。当以自主模式操作时,车辆可以使用车载传感器导航到各种位置,从而允许车辆以最小的人机交互或者在没有任何乘客的一些情况下行驶。
LIDAR单元作为自主车辆上的3D信息的主要传感器,在提高系统功能安全水平方面发挥着重要作用。存在几种类型的LIDAR单元用于自主车辆上,诸如旋转机械类型、MEMS(微机电系统)泛光面阵(flashing)类型、固态类型等等。主机系统使用特定于LIDAR单元类型的逻辑连接到LIDAR单元。该逻辑通常包括由LIDAR销售商提供的软件驱动器和/或硬件以处理进/出LIDAR单元的数据。
发明内容
根据本公开的第一方面,提供一种用于无人驾驶车辆的自适应LIDAR数据处理方法,包括:从多个LIDAR类型中确定LIDAR单元的LIDAR类型;响应于确定所述LIDAR单元的所述LIDAR类型,基于所述LIDAR类型配置自适应LIDAR数据处理系统,其中所述自适应LIDAR数据处理系统支持所述多个LIDAR类型中的每一个;以及响应于配置所述自适应LIDAR数据处理系统,使用所述自适应LIDAR数据处理系统在所述LIDAR单元与主机系统之间建立通信。
根据本公开的第二方面,提供一种非暂时性机器可读介质,其中存储有指令,所述指令当由处理器执行时致使所述处理器执行如第一方面所述的方法的操作。
根据本公开的第三方面,提供一种系统,包括:处理设备;以及存储器,用于存储指令,所述指令当由所述处理设备执行时致使所述处理设备执行如第一方面所述的方法的操作。
根据本公开的第四方面,提供一种计算机程序产品,包括计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行如第一方面所述的方法的操作。
附图说明
本公开的实施例通过示例的方式示出并且不限于附图中的图,在附图中相同的附图标记表示相似的元件。
图1是示出根据一个实施例的联网系统的框图。
图2是示出根据一个实施例的自主驾驶车辆的示例的框图。
图3A和3B是示出根据一个实施例的与ADV一起使用自主驾驶系统的示例的框图。
图4是示出根据一个实施例的用于自主驾驶的系统架构的框图。
图5是示出根据本发明的一个实施例的自适应LIDAR数据处理系统的示例的框图。
图6是示出用于动态配置自适应LIDAR数据处理系统的方法的流程图。
具体实施方式
参考以下讨论的细节描述本公开的各个实施例和方面,并且附图将示出各个实施例。以下描述和附图是本公开的说明并且不应被解释为限制本公开。描述了许多具体细节以提供对本公开的各个实施例的全面理解。然而,在某些情况下,为了提供对本公开的实施例的简要讨论,没有描述公知或常规的细节。
说明书中对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性可包括在本公开的至少一个实施例中。在说明书中的各个地方出现的短语“在一个实施例中”不一定都指同一实施例。
如上所述,每种类型的LIDAR单元可以使用特定的软件驱动器和/或硬件来处理数据。本文讨论的是一种灵活、整合的数据处理系统,包括硬件和软件,以适应于所连接的LIDAR单元的类型,以提高系统数据处理效率,并且减少维护工作量。
根据一个实施例,自适应LIDAR数据处理系统从多个LIDAR类型中确定LIDAR单元的LIDAR类型。响应于确定LIDAR单元的LIDAR类型,基于LIDAR类型配置自适应LIDAR数据处理系统。自适应LIDAR数据处理系统支持多个LIDAR类型中的每一个。自适应LIDAR数据处理系统然后在LIDAR单元与主机系统之间建立通信。
在一个实施例中,LIDAR单元是第一LIDAR单元,并且LIDAR类型是第一LIDAR类型。在本实施例中,自适应LIDAR数据处理系统从多个LIDAR类型中确定第二LIDAR单元的第二LIDAR类型。响应于确定第二LIDAR类型,还基于第二LIDAR类型配置自适应LIDAR数据处理系统。自适应LIDAR数据处理系统然后同时地在第一LIDAR单元和主机系统之间以及第二LIDAR单元和主机系统之间建立通信。
在另一个实施例中,自适应LIDAR数据处理系统基于LIDAR类型,从多个时间同步中确定时间同步。自适应LIDAR数据处理系统支持多个时间同步中的每一个。自适应LIDAR数据处理系统将所确定的时间同步应用于在LIDAR单元与主机系统之间建立的通信的至少一部分。
在另一个实施例中,自适应LIDAR数据处理系统基于LIDAR类型,从多个操作模式中确定一个或多个操作模式。自适应LIDAR数据处理系统支持多个操作模式中的每一个。自适应LIDAR数据处理系统然后将一个或多个操作模式应用于LIDAR单元。
在另一个实施例中,自适应LIDAR数据处理系统基于一个或多个操作模式和LIDAR类型,为在LIDAR单元和主机系统之间建立的通信的至少一部分设置一个或多个运动补偿参数。
在另一个实施例中,自适应LIDAR数据处理系统识别包括在从LIDAR单元传输的一组数据包数据中的唯一标签。自适应LIDAR数据处理系统评估从LIDAR单元传输的一个或多个边带控制信号。然后,自适应LIDAR数据处理系统基于唯一标签和对一个或多个边带控制信号的评估来确定LIDAR类型。
在另一个实施例中,自适应LIDAR数据处理系统将LIDAR单元接收到的一组经预处理的数据转换为一组原始数据。自适应LIDAR数据处理系统然后向主机系统提供一组原始数据。
在另一个实施例中,自适应LIDAR数据处理系统包括与LIDAR单元连接的一个或多个硬件组件以及在主机系统上执行并与一个或多个硬件组件接口的一个或多个软件组件。
在另一个实施例中,一个或多个硬件组件包括硬件加速器,该硬件加速器绕过主机系统上的一个或多个软件组件并将数据发送到在主机系统上执行的感知模块。
图1是示出根据本公开的一个实施例的自主驾驶网络配置的框图。参考图1,网络配置100包括自主驾驶车辆(ADV)101,自主驾驶车辆(ADV)101可以通过网络102通信连接到一个或多个服务器103-104。尽管示出一个ADV,但是多个ADV可以通过网络102彼此连接和/或连接到服务器103-104。网络102可以是任何类型的网络,诸如局域网(LAN)、诸如因特网的广域网(WAN)、蜂窝网络、卫星网络、或其组合,有线或无线。服务器103-104可以是任何类型的服务器或服务器群集,诸如Web或云服务器、应用服务器、后端服务器或其组合。服务器103-104可以是数据分析服务器、内容服务器、交通信息服务器、地图和兴趣点(MPOI)服务器、或位置服务器等。
ADV指的是能够被配置为处于自主模式的车辆,在自主模式中,车辆在驾驶员很少或没有输入的情况下导航通过环境。这种ADV可包括具有一个或多个传感器的传感器系统,传感器被配置为检测关于车辆操作于其中的环境的信息。车辆及其相关联的控制器使用所检测的信息导航通过环境。ADV 101可以以手动模式、全自主模式或部分自主模式操作。
在一个实施例中,ADV 101包括但不限于自主驾驶系统(ADS)110、车辆控制系统111、无线通信系统112、用户界面系统113和传感器系统115。ADV 101还可包括在普通车辆中包括的某些常见组件,例如引擎、车轮、方向盘、变速器等,这些组件可以被车辆控制系统111和/或ADS 110使用各种通信信号和/或命令来控制,诸如,例如加速信号或命令、减速信号或命令、转向信号或命令、制动信号或命令等。
组件110-115可以经由互连、总线、网络或其组合彼此通信连接。例如,组件110-115可以经由控制器局域网(CAN)总线彼此通信连接。CAN总线是一种车辆总线标准,其被设计为允许微控制器和设备在没有主机的应用中彼此通信。它是基于消息的协议,最初被设计用于车辆内的多路电气布线,但是也用于许多其它环境中。
现在参考图2,在一个实施例中,传感器系统115包括但不限于一个或多个相机211、全球定位系统(GPS)单元212、惯性测量单元(IMU)213、雷达单元214以及光检测和测距(LIDAR)单元215。GPS系统212可包括可操作以提供关于ADV的位置的信息的收发器。IMU单元213可基于惯性加速度感测ADV的位置和朝向变化。雷达单元214可以表示使用无线电信号感测ADV的局部环境内的对象的系统。在一些实施例中,除了感测对象之外,雷达单元214还可以额外地感测对象的速度和/或航向。LIDAR单元215可以使用激光感测ADV所处的环境中的对象。LIDAR单元215可包括一个或多个激光源、激光扫描器以及一个或多个检测器,以及其他系统组件。相机211可包括一个或多个设备以捕获ADV周围的环境的图像。相机211可以是静态相机和/或摄影机。相机可以是机械可移动的,例如通过将相机安装在旋转和/或倾斜的平台上。
传感器系统115还可包括其它传感器,诸如声纳传感器、红外传感器、转向传感器、油门传感器、制动传感器和音频传感器(例如麦克风)。音频传感器可以被配置为捕获来自ADV周围的环境的声音。转向传感器可以被配置为感测方向盘、车辆的车轮或其组合的转向角。油门传感器和制动传感器分别感测车辆的油门位置和制动位置。在一些情况下,油门传感器和制动传感器可以集成为集成的油门/制动传感器。
在一个实施例中,车辆控制系统111包括但不限于转向单元201、油门单元202(也称为加速单元)和制动单元203。转向单元201用于调节车辆的方向或航向。油门单元202用于控制马达或引擎的速度,马达或引擎的速度转而控制车辆的速度和加速度。制动单元203通过提供摩擦力以使车辆的车轮或轮胎变慢来使车辆减速。注意,图2所示的组件可以以硬件、软件或其组合实现。
返回参考图1,无线通信系统112允许在ADV 101和诸如设备、传感器、其他车辆等外部系统传感器之间的通信。例如,无线通信系统112可以直接或经由通信网络与一个或多个设备(诸如在网络102上的服务器103-104)无线通信。无线通信系统112可以使用任何蜂窝通信网络或无线局域网(WLAN),例如使用WiFi与另一组件或系统通信。无线通信系统112可以例如使用红外链路、蓝牙等,直接与设备(例如,乘客的移动设备、显示设备、车辆101内的扬声器)通信。用户界面系统113可以是在车辆101内实现的外围设备的一部分,包括例如键盘、触摸屏显示设备、麦克风和扬声器等。
ADV 101的一些或所有功能可以由ADS 110控制或管理,尤其是当以自主驾驶模式操作时。ADS 110包括必要的硬件(例如,处理器、存储器、存储设备)和软件(例如,操作系统、规划和路由程序),以从传感器系统115、控制系统111、无线通信系统112和/或用户界面系统113接收信息,处理接收的信息,规划从起点到目的地点的路线或路径,然后基于规划和控制信息驾驶车辆101。可替代地,ADS 110可以与车辆控制系统111集成。
例如,作为乘客的用户可以例如经由用户界面指定行程的起始位置和目的地。ADS110获得行程相关数据。例如,ADS 110可以从MPOI服务器获得位置和路线数据,MPOI服务器可以是服务器103-104的一部分。位置服务器提供位置服务,以及MPOI服务器提供地图服务和某些位置的POI。可替代地,这种位置和MPOI信息可本地缓存在ADS 110的永久存储设备中。
在ADV 101沿着路线移动的同时,ADS 110还可以从交通信息系统或服务器(TIS)获得实时交通信息。注意,服务器103-104可以由第三方实体运营。可替代地,服务器103-104的功能可以与ADS 110集成。基于实时交通信息、MPOI信息和位置信息、以及由传感器系统115检测或感测的实时局部环境数据(例如,障碍物、对象、附近车辆),ADS 110可以规划最佳路线,并且例如经由控制系统111根据规划路线驾驶车辆101,以安全且高效地到达指定目的地。
图3A和3B是示出根据一个实施例的与ADV一起使用的自主驾驶系统的示例的框图。系统300可以被实现为图1的ADV 101的一部分,包括但不限于ADS 110、控制系统111和传感器系统115。参考图3A-3B,ADS 110包括但不限于定位模块301、感知模块302、预测模块303、决策模块304、规划模块305、控制模块306和路由模块307。
模块301-307中的一些或全部可以以软件、硬件或其组合实现。例如,这些模块可被安装在永久存储设备352中,加载到存储器351中,并由一个或多个处理器(未示出)执行。注意,这些模块中的一些或全部可以通信连接到图2的车辆控制系统111的一些或全部模块或与之集成。模块301-307中的一些可以被集成在一起作为集成模块。
定位模块301确定ADV 101的当前位置(例如,利用GPS单元212),并管理与用户的行程或路线有关的任何数据。定位模块301(也称为地图和路线模块)管理与用户的行程或路线有关的任何数据。用户可以例如经由用户界面登录并指定行程的起始位置和目的地。定位模块301与ADV 101的其他组件通信,诸如地图和路线信息311,以获得与行程有关的数据。例如,定位模块301可以从位置服务器以及地图和POI(MPOI)服务器获得位置和路线数据。位置服务器提供位置服务,以及MPOI服务器提供地图服务和某些位置的POI,它们可作为地图和路线数据311的一部分被缓存。在ADV 101沿着路线移动的同时,定位模块301还可以从交通信息系统或服务器获得实时交通信息。
基于由传感器系统115提供的传感器数据和由定位模块301获得的定位信息,由感知模块302确定对周围环境的感知。感知信息可以表示普通驾驶员在驾驶员正在驾驶的车辆周围将感知的情况。感知可包括车道配置、交通灯信号、另一车辆的相对位置、行人、建筑物、人行横道或其它交通相关标志(例如,停止标志、让行标志)等,例如以对象的形式。车道配置包括描述一个或多个车道的信息,诸如,例如车道的形状(例如,直的或弯曲的)、车道的宽度、道路中的车道数量、单向或双向车道、合并或分离车道、驶出车道等。
感知模块302可包括计算机视觉系统或计算机视觉系统的功能,以处理和分析由一个或多个相机捕获的图像,以便识别ADV的环境中的对象和/或特征。对象可包括交通信号、车行道边界、其他车辆、行人和/或障碍物等。计算机视觉系统可使用对象识别算法、视频跟踪和其它计算机视觉技术。在一些实施例中,计算机视觉系统可以映射环境、跟踪对象、以及估计对象的速度等。感知模块302还可基于由诸如雷达和/或LIDAR的其他传感器提供的其他传感器数据检测对象。
对于每个对象,预测模块303预测对象将在环境下作出什么行为。鉴于一组地图/路线信息311和交通规则312,基于感知在时间点的驾驶环境的感知数据执行预测。例如,如果对象是在相反方向上的车辆并且当前驾驶环境包括十字路口,则预测模块303将预测车辆将可能直线向前移动还是转弯。如果感知数据指示十字路口没有交通灯,则预测模块303可以预测车辆在进入十字路口之前可能必须完全停止。如果感知数据指示车辆当前处于仅左转弯车道或仅右转弯车道,则预测模块303可预测车辆将更可能分别进行左转弯或右转弯。
对于每个对象,决策模块304作出关于如何处理该对象的决策。例如,对于特定对象(例如,在交叉路线中的另一车辆)以及描述该对象的元数据(例如,速度、方向、转向角),决策模块304决定如何遇到该对象(例如,超车、让行、停止、经过)。决策模块304可根据一组规则,诸如交通规则或驾驶规则312,来作出这些决策,这组规则可存储于永久存储设备352中。
路由模块307被配置为提供从起点到目的地点的一条或多条路线或路径。对于例如从用户接收到的从起始位置到目的地位置的给定行程,路由模块307获得路线和地图信息311并且确定从起始位置到达目的地位置的所有可能的路线或路径。路由模块307可以为其确定的从起始位置到达目的地位置的每条路线以地形图形式生成参考线。参考线是指没有来自诸如其它车辆、障碍物或交通状况的其它事物的任何干扰的理想路线或路径。也就是说,如果在道路上没有其它车辆、行人或障碍物,则ADV应该精确地或紧密地遵循该参考线。然后,地形图被提供给决策模块304和/或规划模块305。决策模块304和/或规划模块305检查所有可能的路线,以鉴于由其它模块提供的其它数据,诸如来自定位模块301的交通状况、由感知模块302感知的驾驶环境和由预测模块303预测的交通状况,选择和修正最佳路线中的一个。取决于在此时间点处的特定驾驶环境,用于控制ADV的实际路径或路线可以接近或不同于由路由模块307提供的参考线。
基于对于每个感知的对象的决策,规划模块305使用由路由模块307提供的参考线作为基础,规划用于ADV的路径或路线以及驾驶参数(例如,距离、速度和/或转向角)。也就是说,对于给定对象,决策模块304决策对该对象做什么,而规划模块305确定如何做。例如,对于给定对象,决策模块304可以决策经过对象,而规划模块305可以确定是在对象的左侧还是右侧经过。规划和控制数据由规划模块305生成,包括描述车辆101在下一个移动周期(例如,下一个路线/路径段)中将如何移动的信息。例如,规划和控制数据可指示车辆101以30英里每小时(mph)的速度移动10米,然后以25mph的速度改变到右车道。
基于规划和控制数据,控制模块306通过根据由规划和控制数据限定的路线或路径向车辆控制系统111发送适当的命令或信号来控制和驾驶ADV。规划和控制数据包括足够的信息以沿着路径或路线在不同的时间点使用适当的车辆设置或驾驶参数(例如,油门、制动、转向命令)将车辆从路线或路径的第一点驾驶到第二点。
在一个实施例中,规划阶段是在多个规划周期内执行的,规划周期也称为驾驶周期,诸如以每100毫秒(ms)的时间间隔。对于每个规划周期或驾驶周期,将基于规划和控制数据发出一个或多个控制命令。也就是说,对于每100ms,规划模块305规划下一个路线段或路径段,例如包括目标位置和ADV到达目标位置所需的时间。可替代地,规划模块305还可指定具体速度、方向和/或转向角等。在一个实施例中,规划模块305为下一预定的时间段,诸如5秒,规划路线段或路径段。对于每个规划周期,规划模块305基于在先前周期中规划的目标位置规划用于当前周期(例如,下一个5秒)的目标位置。然后控制模块306基于当前周期的规划和控制数据生成一个或多个控制命令(例如,油门、制动、转向控制命令)。
注意,决策模块304和规划模块305可以集成为集成模块。决策模块304/规划模块305可包括导航系统或导航系统的功能,以确定用于ADV的驾驶路径。例如,导航系统可以确定一系列速度和方向航向,以影响ADV沿着基本上避开所感知的障碍物的路径的移动,同时大体使ADV沿着通向最终目的地的基于道路的路径前进。目的地可以根据经由用户界面系统113的用户输入来设置。在ADV处于操作的同时,导航系统可以动态地更新驾驶路径。导航系统可以并入来自GPS系统的数据和一个或多个地图,以便确定用于ADV的驾驶路径。
图4是示出根据一个实施例的用于自主驾驶的系统架构的框图。系统架构400可以表示如图1所示的自主驾驶系统的系统架构。参考图4,系统架构400包括但不限于应用层401、规划和控制(PNC)层402、感知层403、驱动层404、固件层405和硬件层406。应用层401可包括与自主驾驶车辆的用户或乘客交互的用户界面或配置应用,诸如,例如与用户界面系统113相关联的功能。PNC层402可以包括ADS 110和控制系统111的功能。感知层403可以包括至少ADS 110的功能。固件层405可以表示至少传感器系统115的功能,其可以以现场可编程门阵列(FPGA)的形式实现。硬件层406可以表示自主驾驶车辆的硬件,诸如控制系统111。层401-403可以经由设备驱动层404与固件层405和硬件层406通信。
图5是示出根据本发明的一个实施例的自适应LIDAR数据处理系统的示例的框图。参考图5,传感器系统115包括多个传感器510和连接到主机系统110的传感器单元500。主机系统110表示如上所述的规划和控制系统,诸如ADS 110,并且可以包括图3A或3B所示的模块中的至少一些。传感器单元500可以例如以FPGA器件或ASIC(专用集成电路)器件的形式实现。在一个实施例中,传感器单元500除其他外包括一个或多个传感器数据处理模块501(也简单地称为传感器处理模块)、数据传送模块502和传感器控制模块或逻辑503。模块501-503可以经由传感器接口504与传感器510和LIDAR 512通信,并经由主机接口505与主机系统110通信。可选地,可以利用内部或外部缓存器来缓存用于处理的数据。
在一个实施例中,传感器510可以包括GPS接收器/单元和IMU。GPS单元和IMU可以与单个FPGA或ASIC上的传感器单元50连接在一起,称为惯性测量单元(INS)。在一个实施例中,传感器510包括作为主IMU的第一IMU和作为冗余或备用IMU的第二IMU,第二IMU可以由单独的电源电路(诸如稳压器)独立供电。传感器处理模块501可包括逻辑以接收来自GPS单元和IMU的数据,并且组合该数据(例如,使用卡尔曼滤波器)以估计自动车辆的位置。传感器处理模块501可进一步包括逻辑以补偿由于GPS数据的传播时延而产生的GPS数据偏差。
在一个实施例中,对于接收路径或上行方向,传感器处理模块501被配置为经由传感器接口504接收来自传感器的传感器数据,并且处理该传感器数据(例如,格式转换、错误检查),该传感器数据可临时存储在缓存器506中。数据传送模块502被配置为使用与主机接口505兼容的通信协议将经处理的数据传送到主机系统110。类似地,对于传输路径或下行方向,数据传送模块502被配置为接收来自主机系统110的数据或命令。然后,该数据由传感器处理模块501处理为与对应传感器兼容的格式。经处理的数据随后传输到传感器。
在一个实施例中,传感器控制模块或逻辑503被配置为控制传感器510的某些操作,诸如,例如响应于经由主机接口505从主机系统(例如,感知模块302)接收的命令,激活捕获传感器数据的定时。主机系统110可以将传感器510和LIDAR 512配置为以协作和/或同步的方式捕获传感器数据,使得该传感器数据可用于感知在任何时间点的车辆周围的驾驶环境。
传感器接口504可以包括一个或多个以太网、USB(通用串行总线)、LTE(长期演进)或蜂窝、WiFi、GPS、相机、CAN、串行(例如,通用异步接收器发送器或UART)、SIM(用户识别模块)卡、以及其他通用输入/输出(GPIO)接口。主机接口505可以是任何高速或高带宽接口,诸如PCIe(外围设备互连或PCI高速)接口。传感器510可包括在ADV中使用的各种传感器,诸如,例如相机、LIDAR设备、GPS接收器、IMU、超声波传感器、GNSS(全球导航卫星系统)接收器、LTE或蜂窝SIM卡、车辆传感器(例如,油门、制动、转向传感器)、以及系统传感器(例如,温度、湿度、压力传感器)等。
例如,相机可以经由以太网或GPIO接口连接。GPS传感器可以经由USB或特定GPS接口连接。车辆传感器可以经由CAN接口连接。LIDAR传感器或超声波传感器可以经由GPIO接口连接。类似地,可以将内部SIM模块插入传感器单元500的SIM插槽。串行接口,诸如UART,可以与控制台系统连接以用于调试目的。如下面详细讨论的,传感器510还可以包括一个或多个LIDAR单元,诸如LIDAR 512,其可以经由以太网接口连接到传感器接口504。
传感器510可以是任何类型的传感器,并由不同的销售商或供应商提供。传感器处理模块501被配置为处理不同类型的传感器及其相应的数据格式和通信协议。根据一个实施例,传感器510中的每一个都与用于处理传感器数据和在主机系统110与对应的传感器之间传送经处理的传感器数据的特定信道相关联。每个信道可包括特定传感器处理模块和特定数据传送模块,所述特定传感器处理模块和特定数据传送模块已被配置或编程以处理对应的传感器数据和协议。
在一个实施例中,自适应LIDAR数据处理系统515跨越传感器系统115和主机系统110。自适应LIDAR数据处理系统515包括自适应计算硬件520组件,诸如数据预处理模块525、时间同步监控器模块530以及硬件加速器模块535。数据预处理模块525可包括逻辑以处理从LIDAR 512接收的数据(例如,格式转换、错误检查等)。在一个实施例中,数据预处理模块525将从LIDAR 512接收的一组经预处理的数据(例如,点云数据)转换为一组原始数据,然后将其发送到主机系统110。在另一个实施例中,对于传输路径,数据预处理模块525可将来自主机系统110的数据/指令转换为与对应类型的LIDAR 512兼容的格式。
时间同步监控器模块530基于连接到传感器接口504的已识别LIDAR类型应用不同的时间同步,诸如GPRMC、gPTP等。在一个实施例中,时间同步监控器模块530将多个时间同步应用于并发连接的不同LIDAR类型。例如,时间同步监控器模块530可同时地将第一时间同步应用于第一类型的第一LIDAR、以及将第二时间同步应用于第二类型的第二LIDAR。在一个实施例中,时间同步监控器模块530与时间同步监控器560(下面讨论)一起工作,以向支持内部时间校正特征的某些类型的LIDAR 512提供控制信号(或向不同类型的LIDAR提供不同组的控制信号)。通过传感器接口504递送的控制信号包括方波脉冲、具有定时信息的数据包等等。
硬件加速器模块535提供与感知模块302的直接接口,绕过自适应功能540。在一个实施例中,自适应计算硬件520的组件中的一个或多个、或作为自适应LIDAR数据处理系统515的一部分的其他硬件功能位于主机系统110上。
自适应LIDAR数据处理系统515还包括自适应功能540,在一个实施例中,自适应功能540是在主机系统110上执行的软件模块。该软件功能包括检测模块545、操作模式选择550、运动补偿555、时间同步监控器560、以及基本数据处理类型565。
在一些实施例中,检测模块545通过分析从数据包接收的唯一标签信息和/或检查多个边带(sideband)控制信号,自动地检查连接到传感器接口504的LIDAR单元的类型和操作模式。在一些实施例中,检测模块545被告知连接到传感器接口504的LIDAR单元的类型,诸如通过用户界面。
操作模式选择550确定LIDAR类型的有效操作模式(例如,基于检测到的包信息、查找表等),并将该信息提供给时间同步监控器560和运动补偿555。如上所述,时间同步监控器560和时间同步监控器模块530一起工作,以监控来自LIDAR 512的时间相关信号,并向支持内部时间校正功能的某些类型的LIDAR 512提供控制信号。
运动补偿555为基本数据处理类型565提供运动补偿功能。在一些实施例中,运动补偿555在考虑车辆运动和车辆位置信息进行校正后提供经处理的LIDAR点云数据。
基本数据处理类型565基于从时间同步监控器560和运动补偿555接收的输入来处理数据。在一个实施例中,自适应功能540可以基于由LIDAR销售商提供的软件驱动器,并被配置为适应于连接到传感器接口504的LIDAR的类型。
图6是示出动态配置自适应LIDAR数据处理系统的方法的流程图。方法600可以通过处理逻辑来执行,该处理逻辑可以包括软件、硬件或其组合。在块610处,处理逻辑检测LIDAR单元连接。在一个实施例中,检测模块545检测LIDAR单元连接到传感器接口504。在另一个实施例中,检测模块545经由用户界面接收来自用户的指示。
在块620处,处理逻辑确定所连接的LIDAR单元的LIDAR类型,诸如旋转机械类型、MEMS(微机电系统)泛光面阵类型、固态类型等。在一个实施例中,处理逻辑还可以识别LIDAR销售商。在一个实施例中,处理逻辑可经由用户界面接收来自用户的LIDAR单元类型信息。
在块630处,处理逻辑基于LIDAR类型配置自适应LIDAR数据处理系统。参考图5,处理逻辑相应地配置操作模式选择550、时间同步监控器560、运动补偿555和基本数据处理类型565,诸如应用正确的时间同步、操作模式和运动补偿。在一个实施例中,处理逻辑还配置自适应计算硬件520模块中的一个或多个。在块640处,处理逻辑使用经配置的自适应LIDAR数据处理系统在检测到的LIDAR单元与主机系统(例如ADS 110)之间建立通信。
处理逻辑确定是否存在另一个LIDAR单元连接到传感器接口504(判决650)。如果存在另一个LIDAR单元连接到传感器接口504,则判决650分支到“是”循环,以检测LIDAR单元的类型,并相应地配置自适应LIDAR数据处理单元。此循环一直继续,直到处理逻辑已经为每个连接的LIDAR单元配置了自适应LIDAR数据处理系统,此时判决650分支到“否”分支。在块660处,处理逻辑同时地维持所连接的LIDAR单元与主机系统之间的通信。
注意,如上所示和所述的一些或所有组件可以用软件、硬件或其组合实现。例如,这些组件可以被实现为安装并存储在永久存储设备中的软件,软件可以由处理器(未示出)加载并执行在存储器中以执行贯穿本申请所述的过程或操作。可替代地,这些组件可被实现为被编程或嵌入到专用硬件中的可执行代码,专用硬件诸如集成电路(例如,专用IC或ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA),可执行代码可经由来自应用的对应驱动器和/或操作系统访问。此外,这些组件可以被实现为处理器或处理器内核中的特定硬件逻辑,作为经由一个或多个特定指令软件组件可访问的指令集的一部分。
已经关于对计算机存储器内的数据位的操作的算法和符号表示呈现了前述详细描述的一些部分。这些算法描述和表示是数据处理领域的技术人员用来最有效地将他们的工作实质传达给本领域的其他技术人员的方式。算法在这里并且通常被认为是导致期望结果的自洽操作序列。这些操作是需要对物理量进行物理操纵的那些操作。
然而,应当记住的是,所有这些和类似的术语都与适当的物理量相关联,并且仅仅是应用于这些量的方便的标记。除非特别声明,否则从以上讨论中显而易见的是,应当理解的是,在整个说明书中,使用诸如所附权利要求书中所阐述的术语的讨论指的是计算机系统或类似电子计算设备的动作和过程,所述计算机系统或类似电子计算设备将计算机系统的寄存器和存储器内的表示为物理(电子)量的数据操纵和变换成计算机系统存储器或寄存器或其它这样的信息存储、传输或显示设备内的类似地表示为物理量的其它数据。
本公开的实施例还涉及用于执行本文的操作的装置。这种计算机程序存储在非瞬态计算机可读介质中。机器可读介质包括用于以机器(例如,计算机)可读的形式存储信息的任何机制。例如,机器可读(例如,计算机可读)介质包括机器(例如,计算机)可读存储介质(例如,只读存储器(“ROM”)、随机存取存储器(“RAM”)、磁盘存储介质、光存储介质、闪存设备)。
在前述附图中描述的过程或方法可以由包括硬件(例如,电路、专用逻辑等)、软件(例如,体现在非暂时性计算机可读介质上)或两者的组合的处理逻辑来执行。尽管以上根据一些顺序操作描述了过程或方法,但是应当理解的是,可以以不同的顺序执行所述的一些操作。此外,一些操作可以并行地而不是顺序地执行。
本公开的实施例不是参考任何特别编程语言描述的。将了解,可使用各种编程语言实施如本文所述的本公开的实施例的教示。
在前述说明书中,已经参考本公开的具体示例性实施例描述了本公开的实施例。显然,在不背离如所附权利要求书中所阐述的本公开的更宽的精神和范围的情况下,可以对其进行各种修改。因此,说明书和附图应被认为是说明性的而不是限制性的。
Claims (12)
1.一种用于无人驾驶车辆的自适应光检测和测距LIDAR数据处理方法,包括:
从多个LIDAR类型中确定LIDAR单元的LIDAR类型;
响应于确定所述LIDAR单元的所述LIDAR类型,基于所述LIDAR类型配置自适应LIDAR数据处理系统,其中所述自适应LIDAR数据处理系统支持所述多个LIDAR类型中的每一个;以及
响应于配置所述自适应LIDAR数据处理系统,使用所述自适应LIDAR数据处理系统在所述LIDAR单元与主机系统之间建立通信。
2.根据权利要求1所述的方法,其中所述LIDAR单元是第一LIDAR单元,并且所述LIDAR类型是第一LIDAR类型,所述方法进一步包括:
从所述多个LIDAR类型中确定第二LIDAR单元的第二LIDAR类型;
响应于确定所述第二LIDAR类型,基于所述第二LIDAR类型配置所述自适应LIDAR数据处理系统;以及
使用所述自适应LIDAR数据处理系统,同时地在所述第一LIDAR单元与所述主机系统之间、以及在所述第二LIDAR单元与所述主机系统之间建立通信。
3.根据权利要求1所述的方法,进一步包括:
基于所述LIDAR类型,从多个时间同步中确定第一时间同步,其中所述自适应LIDAR数据处理系统支持所述多个时间同步中的每一个;以及
将所述第一时间同步应用于在所述LIDAR单元与所述主机系统之间建立的所述通信的至少一部分。
4.根据权利要求1所述的方法,进一步包括:
基于所述LIDAR类型,从多个操作模式中确定一个或多个操作模式,其中所述自适应LIDAR数据处理系统支持所述多个操作模式中的每一个;以及
将所述一个或多个操作模式应用于所述LIDAR单元。
5.根据权利要求4所述的方法,进一步包括:
基于所述一个或多个操作模式和所述LIDAR类型,为在所述LIDAR单元与所述主机系统之间建立的所述通信的至少一部分设置一个或多个运动补偿参数。
6.根据权利要求1所述的方法,进一步包括:
识别包括在从所述LIDAR单元传输的一组数据包数据中的唯一标签;
评估从所述LIDAR单元传输的一个或多个边带控制信号;以及
基于所述唯一标签和对所述一个或多个边带控制信号的所述评估来确定所述LIDAR类型。
7.根据权利要求1所述的方法,进一步包括:
通过所述自适应LIDAR数据处理系统,将从所述LIDAR单元接收的一组经预处理的数据转换为一组原始数据;以及
向所述主机系统提供所述一组原始数据。
8.根据权利要求1所述的方法,其中所述自适应LIDAR数据处理系统包括与所述LIDAR单元连接的一个或多个硬件组件以及在所述主机系统上执行并与所述一个或多个硬件组件接口的一个或多个软件组件。
9.根据权利要求8所述的方法,其中所述一个或多个硬件组件包括硬件加速器,所述硬件加速器绕过所述主机系统上的所述一个或多个软件组件并将数据发送到在所述主机系统上执行的感知模块。
10.一种非暂时性机器可读介质,其中存储有指令,所述指令当由处理器执行时使所述处理器执行如权利要求1-9中任一项所述的方法的操作。
11.一种系统,包括:
处理设备;以及
存储器,用于存储指令,所述指令当由所述处理设备执行时,使所述处理设备执行如权利要求1-9中任一项所述的方法的操作。
12.一种计算机程序产品,包括计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1-9中任一项所述的方法的操作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/880,858 | 2022-08-04 | ||
US17/880,858 US20240045027A1 (en) | 2022-08-04 | 2022-08-04 | Adaptive lidar data processing for driverless vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116973943A true CN116973943A (zh) | 2023-10-31 |
Family
ID=88472625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310941161.XA Pending CN116973943A (zh) | 2022-08-04 | 2023-07-27 | 用于无人驾驶车辆的自适应lidar数据处理 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240045027A1 (zh) |
CN (1) | CN116973943A (zh) |
-
2022
- 2022-08-04 US US17/880,858 patent/US20240045027A1/en active Pending
-
2023
- 2023-07-27 CN CN202310941161.XA patent/CN116973943A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240045027A1 (en) | 2024-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11592570B2 (en) | Automated labeling system for autonomous driving vehicle lidar data | |
US11345359B2 (en) | Autonomous driving vehicles with dual autonomous driving systems for safety | |
US11456890B2 (en) | Open and safe monitoring system for autonomous driving platform | |
CN111399495B (zh) | 具有灵活主机和客户端配置的自动驾驶计算与存储扩展装置 | |
US11703599B2 (en) | Partial point cloud-based pedestrians' velocity estimation method | |
CN111860198A (zh) | 用于自主驾驶车辆adv的处理点云数据的方法、装置和系统、及计算机可读介质 | |
US11592581B2 (en) | Dual inertial measurement units for inertial navigation system | |
EP3757711B1 (en) | A vehicle-platoons implementation under autonomous driving system designed for single vehicle | |
CN113428173B (zh) | 用于自动驾驶车辆的静态曲率误差补偿控制逻辑 | |
US11662745B2 (en) | Time determination of an inertial navigation system in autonomous driving systems | |
US11679761B2 (en) | Forward collision warning alert system for autonomous driving vehicle safety operator | |
US11527076B2 (en) | Point cloud-based low-height obstacle detection system | |
US20240045027A1 (en) | Adaptive lidar data processing for driverless vehicle | |
WO2024050674A1 (en) | Dual path ethernet-based sensor device fault monitoring | |
US20240051569A1 (en) | Long-term evolution computing platform for autonomous vehicles based on shell and nut architecture | |
WO2024036618A1 (en) | Dynamic signal transfer configuration for driverless vehicle remote monitoring | |
CN113376657B (zh) | 用于自动驾驶车辆lidar数据的自动标记系统 | |
US11440567B2 (en) | System to handle communication delays between an autonomous driving system and vehicle | |
US20240070056A1 (en) | Manufacture test system for computation hardware used in driverless vehicle | |
US20230065284A1 (en) | Control and planning with localization uncertainty | |
US20200182972A1 (en) | Light detection and range (lidar) device with component stacking for coaxial readout without splitter mirror for autonomous driving vehicles | |
CN116009539A (zh) | 操作自主驾驶车辆的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |