CN116958928A - 用于使用众包来生成遮挡地图的系统和方法 - Google Patents
用于使用众包来生成遮挡地图的系统和方法 Download PDFInfo
- Publication number
- CN116958928A CN116958928A CN202211303203.9A CN202211303203A CN116958928A CN 116958928 A CN116958928 A CN 116958928A CN 202211303203 A CN202211303203 A CN 202211303203A CN 116958928 A CN116958928 A CN 116958928A
- Authority
- CN
- China
- Prior art keywords
- sensor
- host vehicle
- occlusion
- road
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 141
- 208000006440 Open Bite Diseases 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 9
- 238000005259 measurement Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012358 sourcing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3826—Terrain data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于使用众包来生成遮挡地图的方法包括从主车辆接收遮挡数据。遮挡数据包括多个虚拟检测线,每个虚拟检测线从传感器延伸且与路外区域相交。该方法还包括标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点。该方法还包括使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域,其中,未遮挡区域是未遮挡数据的一部分。该方法还包括使用未遮挡数据生成遮挡地图。该方法还包括将遮挡地图传输到主车辆。该方法还包括确定由海拔峰值引起的遮挡。
Description
技术领域
本公开涉及用于使用众包来生成遮挡地图的系统和方法。
背景技术
在本部分中提供的信息是为了总体上呈现本公开的上下文的目的。在本部分中描述的程度上,当前署名的发明人的工作以及在提交时可能不以其它方式作为现有技术的描述的各方面,既不明示地也不暗示地被认为是针对本公开的现有技术。
一些车辆包括配置为检测道路上的动态对象(例如,车辆和行人)的传感器。然而,不可检测和/或地图上未标明(unmapped)的静态对象(例如,植物、建筑物、装卸码头处的卡车等)和海拔道路变化可能会从车辆传感器遮挡动态对象(例如,车辆和行人)。因此,自主和半自主车辆期望获得有关这些遮挡的信息,以便能够选择避免遇到从传感器遮挡的动态对象的路线,导致令人无法接受的短反应时间,并可能与动态对象接触。
由于建筑物/大型停放车辆/树木等,在接近交叉路口时传感器的有效视场和范围可能低于传感器限制。类似地,海拔变化可以减少车辆的有用前视距离。对有效视场的了解可以为路线选择和操控行为提供信息,以避免或减轻被遮挡的道路风险,例如沿着自主驾驶路线的十字路口的无保护转弯。本公开提出了用于生成遮挡地图的系统和方法,该系统和方法考虑了场景中的路外(off-road)静态和3-D对象以及道路中的海拔变化。该方法使用随时间从同一区域的多个车辆收集的云上的感知数据来构建该区域的遮挡地图。不需要但可以使用LiDAR数据或具有3-D信息的高清地图。数据收集对车辆传感器套件是不可知的(agnostic),即具有不同传感器套件的车辆可能对收集的数据做出贡献。不同的传感器形态和传感器安装高度可能导致车辆可以适当使用的多个遮挡地图。使用在遮挡区域中不同时间收集的数据,可以在遮挡地图中考虑驾驶场景的时间变化(例如正在生长的树木和植物、停放用于装/卸的卡车、校车和雪堆)。
发明内容
本公开描述了用于创建指示从传感器遮挡的区域的遮挡地图的众包系统和方法。通过使用当前公开的方法和系统,自主和半自主车辆可以了解从其传感器遮挡的区域,并因此做出更好的路线决策以避免接触道路上的对象,例如其它车辆和/或行人。
在本公开的一个方面,一种用于使用众包来生成遮挡地图的方法包括从至少一个主车辆接收遮挡数据。主车辆包括至少一个传感器。传感器配置为检测多个动态对象。遮挡数据包括多个虚拟检测线,每个虚拟检测线从主车辆和多个远程车辆中的每一个的传感器延伸到由所述至少一个传感器检测到的多个动态对象中的一个。所述多个虚拟检测线中的每个线与路外区域相交。该方法还包括标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点。该方法还包括使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域,其中,未遮挡区域是未遮挡数据的一部分。该方法还包括使用未遮挡数据生成遮挡地图。该方法还包括将遮挡地图传输到主车辆。本段中描述的方法通过允许自主和半自主车辆了解从其传感器遮挡的区域并因此做出更好的路线决策以避免与道路上的对象(例如其它车辆和/或行人)接触来改进车辆技术。
在本公开的一个方面,该方法还包括使用遮挡地图控制主车辆。标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点包括通过将多个虚拟检测线中的每个的宽度扩展预定宽度值来创建用于所述多个虚拟检测线中的每个的矩形。
在本公开的一个方面,遮挡数据包括时间分类数据。时间分类数据包括关于被划分为时间段的每个主车辆的至少一个传感器的遮挡观察的信息。
在本公开的一个方面,遮挡数据包括传感器分类数据。传感器分类数据包括关于传感器形态和传感器安装高度以及相对于车身的传感器安装取向(确定传感器观察方向)的信息。
在本公开的一个方面,该方法还包括由远程服务器接收遮挡数据。远程服务器相对于主车辆和多个远程车辆远程地定位。
在本公开的一个方面中,使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域以预定时间间隔周期性地进行。
在本公开的一个方面,该方法还包括由主车辆从远程服务器接收遮挡地图。该方法还包括在导航地图中绘制跨越传感器的标称视场的多个虚拟视场线。该方法还包括确定虚拟视场线中的一个或多个是否穿过被遮挡路外区域。被遮挡路外区域在未遮挡区域之外但在路外区域内。该方法还包括标记位于路外区域内并且位于距每个多个虚拟视场线预定距离内的所有被遮挡点以识别完全遮挡区域。使用遮挡地图控制主车辆包括使用完全遮挡区域控制主车辆。
在本公开的一个方面,一种用于使用众包来生成遮挡地图的方法包括收集传感器数据。传感器数据源自于主车辆的传感器并且包括传感器的道路边缘感测的有效范围。传感器的道路边缘感测的有效范围是从主车辆到传感器能够检测到的相对于主车辆的最远道路边缘的距离。该方法还包括确定主车辆的传感器的道路边缘感测的有效范围是否小于预定阈值。该方法包括,响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,记录主车辆的传感器的道路边缘感测的有效范围。该方法还包括将主车辆的传感器的道路边缘感测的有效范围传输到远程服务器。本段中描述的方法通过允许自主和半自主车辆了解从其传感器遮挡的区域并因此做出更好的路线决策以避免与道路上的对象(例如其它车辆和/或行人)接触来改进车辆技术。
在本公开的一个方面,该方法还包括:响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,收集从主车辆的GNSS收发器接收的全球导航卫星系统(GNSS)数据,以确认主车辆所行驶的道路具有影响主车辆中的传感器的道路边缘感测的有效范围的海拔峰值。
在本公开的一个方面,该方法还包括:响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,从主车辆的IMU收集惯性测量单元(IMU)数据,以确认主车辆所行驶的道路是否具有影响主车辆中的传感器的有效感测范围的海拔峰值。
在本公开的一个方面,该方法还包括,响应于使用IMU数据和GNSS数据确认主车辆所行驶的道路具有影响主车辆中的传感器的有效感测范围的海拔峰值,将GNSS数据和IMU数据传输到远程服务器。
在本公开的一个方面,传感器数据包括关于传感器形态和传感器安装高度以及相对于车身的安装取向的信息。
在本公开的一个方面,该方法还包括将传感器数据传输到远程服务器。
在本公开的一个方面,一种用于使用众包来生成遮挡地图的系统包括远程服务器,所述远程服务器包括服务器控制器。服务器控制器被编程为从一个或多个主车辆接收遮挡数据。每个主车辆包括至少一个传感器。传感器配置为检测多个动态对象。遮挡数据包括多个虚拟检测线,每个虚拟检测线从主车辆的至少一个传感器延伸到由一个传感器检测到的多个动态对象中的一个。多个虚拟检测线中的每个线与路外区域相交。服务器控制器还被编程为标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点。服务器控制器被编程为使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域。未遮挡区域是未遮挡数据的一部分。服务器控制器被编程为使用未遮挡数据生成遮挡地图。服务器控制器还被编程为将遮挡地图传输到主车辆。本段中描述的系统通过允许自主和半自主车辆了解从其传感器遮挡的区域并因此做出更好的路线决策以避免与道路上的对象(例如其它车辆和/或行人)接触来改进车辆技术。
在本公开的一个方面,车辆控制器被编程为使用遮挡地图来控制主车辆。服务器控制器配置为通过将多个虚拟检测线中的每个的宽度扩展预定宽度值来创建用于所述多个虚拟检测线中的每个的矩形。
在本公开的一个方面,遮挡数据包括时间分类数据。时间分类数据包括关于被划分为时间段的主车辆和多个远程车辆中的每一个的至少一个传感器的遮挡观察的信息。
在本公开的一个方面,遮挡数据包括传感器分类数据。传感器分类数据包括关于传感器形态和传感器安装高度以及相对于车身的传感器安装取向的信息。
在本公开的一个方面,远程服务器相对于主车辆和多个远程车辆远程地定位。
在本公开的一个方面中,服务器控制器配置为以预定时间间隔周期性地使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域。
在本公开的一个方面,该系统还包括与远程服务器通信的主车辆。主车辆包括配置为从远程服务器接收遮挡地图的车辆控制器。车辆控制器配置为在导航地图中投影跨越至少一个传感器的标称视场的多个虚拟视场线。车辆控制器配置为确定虚拟视场线中的一个或多个是否穿过被遮挡路外区域。被遮挡路外区域在未遮挡区域之外但在路外区域内。车辆控制器配置为标记位于路外区域内并且位于距每个多个虚拟视场线预定距离内的所有被遮挡点,以识别完全遮挡区域。车辆控制器配置为使用遮挡地图控制主车辆,包括基于完全遮挡区域控制主车辆。
方案1. 一种用于使用众包来生成遮挡地图的方法,包括:
从主车辆接收遮挡数据,其中,主车辆包括至少一个传感器,所述至少一个传感器配置为检测多个动态对象,遮挡数据包括多个虚拟检测线,每个虚拟检测线从主车辆的至少一个传感器延伸到由所述至少一个传感器检测到的多个动态对象中的一个,所述多个虚拟检测线中的每个线与路外区域相交;
标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点;以及
使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域,其中,未遮挡区域是未遮挡数据的一部分;
使用未遮挡数据生成遮挡地图;以及
将遮挡地图传输到主车辆。
方案2. 根据方案1所述的方法,还包括:
使用遮挡地图控制主车辆;以及
其中,标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点包括通过将多个虚拟检测线中的每个的宽度扩展预定宽度值来创建用于所述多个虚拟检测线中的每个的矩形。
方案3. 根据方案1所述的方法,其中,遮挡数据包括时间分类数据,其中,时间分类数据包括关于被划分为时间段的每个主车辆的至少一个传感器的遮挡观察的信息。
方案4. 根据方案1所述的方法,其中,遮挡数据包括传感器分类数据,其中,传感器分类数据包括关于传感器形态、传感器安装取向以及传感器安装高度的信息。
方案5. 根据方案1所述的方法,其中,接收遮挡数据包括由远程服务器接收遮挡数据,其中,远程服务器相对于主车辆远程地定位。
方案6. 根据方案1所述的方法,其中,使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域以预定时间间隔周期性地进行。
方案7. 根据方案2所述的方法,还包括:
由主车辆从远程服务器接收遮挡地图;
在导航地图中投影跨越至少一个传感器的标称视场的多个虚拟视场线;
确定虚拟视场线中的一个或多个是否穿过被遮挡路外区域,其中,被遮挡路外区域在未遮挡区域之外但在路外区域内;
标记位于路外区域内并且位于距每个多个虚拟视场线预定距离内的所有被遮挡点以识别完全遮挡区域;以及
使用遮挡地图控制主车辆,包括使用完全遮挡区域控制主车辆。
方案8. 一种用于使用众包来生成遮挡地图的方法,包括:
收集传感器数据,其中,传感器数据源自于主车辆的传感器并且包括传感器的道路边缘感测的有效范围,传感器的道路边缘感测的有效范围是从主车辆到传感器能够检测到的相对于主车辆的最远道路边缘的距离;
确定主车辆的传感器的道路边缘感测的有效范围是否小于预定阈值;
响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,记录主车辆的传感器的道路边缘感测的有效范围;以及
将主车辆的传感器的道路边缘感测的有效范围传输到远程服务器。
方案9. 根据方案8所述的方法,还包括:响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,收集从主车辆的GNSS收发器接收的全球导航卫星系统(GNSS)数据,以确认主车辆所行驶的道路具有影响主车辆中的传感器的道路边缘感测的有效范围的海拔峰值。
方案10. 根据方案9所述的方法,还包括:响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,从主车辆的IMU收集惯性测量单元(IMU)数据,以确认主车辆所行驶的道路是否具有影响主车辆中的传感器的有效感测范围的海拔峰值。
方案11. 根据方案10所述的方法,响应于使用IMU数据和GNSS数据确认主车辆所行驶的道路具有影响主车辆中的传感器的有效感测范围的海拔峰值,将GNSS数据和IMU数据传输到远程服务器。
方案12. 根据方案9所述的方法,其中,传感器数据包括关于传感器形态的信息,传感器数据包括关于传感器安装高度以及传感器安装取向的信息。
方案13. 根据方案11所述的方法,还包括将传感器数据传输到远程服务器。
方案14. 一种用于使用众包来生成遮挡地图的系统,包括:
远程服务器,所述远程服务器包括服务器控制器;
其中,服务器控制器被编程为:
从主车辆接收遮挡数据,其中,主车辆包括至少一个传感器,所述至少一个传感器配置为检测多个动态对象,遮挡数据包括多个虚拟检测线,每个虚拟检测线从主车辆的至少一个传感器延伸到由所述至少一个传感器检测到的多个动态对象中的一个,所述多个虚拟检测线中的每个线与路外区域相交;
标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点;以及
使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域,其中,未遮挡区域是未遮挡数据的一部分;
使用未遮挡数据生成遮挡地图;以及
将遮挡地图传输到主车辆。
方案15. 根据方案14所述的系统,其中,服务器控制器被编程为:
使用遮挡地图来控制主车辆;以及
其中,服务器控制器配置为通过将多个虚拟检测线中的每个的宽度扩展预定宽度值来创建用于所述多个虚拟检测线中的每个的矩形。
方案16. 根据方案14所述的系统,其中,遮挡数据包括时间分类数据,其中,时间分类数据包括关于被划分为时间段的每个主车辆的至少一个传感器的遮挡观察的信息。
方案17. 根据方案14所述的系统,其中,遮挡数据包括传感器分类数据,其中,传感器分类数据包括关于传感器形态、传感器安装取向以及传感器安装高度的信息。
方案18. 根据方案14所述的系统,其中,远程服务器相对于主车辆远程地定位。
方案19. 根据方案14所述的系统,其中,服务器控制器配置为以预定时间间隔周期性地使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域。
方案20. 根据方案15所述的系统,还包括:
与远程服务器通信的主车辆,其中,主车辆包括车辆控制器,所述车辆控制器配置为:
从远程服务器接收遮挡地图;
在导航地图中投影跨越至少一个传感器的标称视场的多个虚拟视场线;
确定虚拟视场线中的一个或多个是否穿过被遮挡路外区域,其中,被遮挡路外区域在未遮挡区域之外但在路外区域内;
标记位于路外区域内并且位于距每个多个虚拟视场线预定距离内的所有被遮挡点,以识别完全遮挡区域;以及
使用遮挡地图控制主车辆,包括基于完全遮挡区域控制主车辆。
本公开的其它应用领域将从下文提供的详细描述变得显而易见。应当理解的是,详细描述和具体示例仅旨在用于说明的目的,并且不旨在限制本公开的范围。
当结合附图时,根据包括权利要求和示例性实施例的详细描述,当前公开的系统和方法的上述特征和优点以及其它特征和优点将是容易显而易见的。
附图说明
本公开将从详细描述和附图得到更全面的理解,在附图中:
图1是描绘包括用于使用众包来生成遮挡地图的系统的车辆的实施例的框图;
图2是用于使用众包来生成遮挡地图的方法的流程图,其中,该方法包括数据收集步骤、数据处理步骤、部署步骤和控制步骤;
图3是用于执行图1的方法的数据收集步骤的方法的流程图;
图4是图1的数据收集步骤的示意图;
图5是用于执行图1的方法的数据处理步骤的方法的流程图;
图6是导航地图的示意图,描绘在图5的数据处理步骤期间由远程服务器接收的虚拟检测线;
图7是在图5的数据处理步骤期间扩展由远程服务器接收的虚拟检测线的过程的示意图;
图8是确定路外区域内的未遮挡区域的过程的示意图;
图9是用于部署在图5的方法中生成的遮挡地图的方法的流程图;
图10是描绘虚拟视场线的导航地图的示意图;
图11是描绘遮挡点的导航地图的示意图;
图12是当道路海拔影响感测时使用众包来生成遮挡地图的方法的流程图;和
图13是当道路海拔影响感测时的情况的示意图;
图14是当道路海拔影响感测时的情况的数据处理过程的流程图;
图15是当道路海拔影响感测时的情况的部署过程的流程图。
具体实施方式
现在将详细参考附图中示出的本公开的几个示例。只要可能,在附图和描述中使用相同或相似的附图标记来指代相同或相似的部分或步骤。
参考图1,主车辆10总体上包括底盘12、车身14、前轮和后轮17,并且可以被称为车辆系统。在所示实施例中,主车辆10包括两个前轮17a和两个后轮17b。车身14布置在底盘12上并且基本上包围主车辆10的部件。车身14和底盘12可以共同形成车架。车轮17每个在车身14的相应角部附近可旋转地联接到底盘12 。主车辆10包括联接到前轮17a的前轴19和联接到后轮17b的后轴25。
在各种实施例中,主车辆10是自主车辆或半自主车辆,并且可以认为是用于使用众包来生成遮挡地图的系统98的一部分。系统98可以被称为控制系统。在本公开中,术语“众包”是指从多个车辆寻找信息。主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。主车辆10在所示实施例中被描述为皮卡车,但是应当理解是,也可以使用其它车辆,包括卡车、轿车、双门轿车、运动型多功能车辆(SUV)、休闲车辆(RV)等。在一个实施例中,主车辆10可以是所谓的二级、三级、四级或五级自动化系统。四级系统表示“高度自动化”,指的是由自动驾驶系统以特定驾驶模式执行动态驾驶任务的方面,即使人类驾驶员没有对干预请求做出适当响应也是如此。五级系统表示“完全自动化”,指的是在可以由人类驾驶员管理的多种道路和环境条件下由自动驾驶系统全时执行动态驾驶任务的方面。在3级车辆中,车辆系统在其如此设计的区域内执行整个动态驾驶任务(DDT)。仅当一些事情出错或车辆即将离开其能够操作的区域时主车辆10实质上“要求”驾驶员接管时,才预期车辆操作者负责DDT接管(fallback)。在2级车辆中,系统提供转向、制动/加速支持、车道居中和自适应巡航控制。
如图所示,主车辆10总体上包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个车辆控制器34和通信系统36。在各种实施例中,推进系统20可以包括电机(例如牵引马达)和/或燃料电池推进系统。主车辆10还可包括电连接到推进系统20的电池(或电池组)21。因此,电池21配置为存储电能并向推进系统20提供电能。在某些实施例中,推进系统20可以包括内燃发动机。传动系统22配置成根据可选择的速度比将功率从推进系统20传输到车轮17。根据各种实施例,传动系统22可包括有级传动比(step-ratio)自动变速器、连续可变变速器或其它合适的变速器。然而,可设想的是,如果推进系统20配置为电动马达,主车辆10可以不包括传动系统22。制动系统26配置为向车轮17提供制动扭矩。在各种实施例中,制动系统26可以包括摩擦制动器、线控制动器、诸如电机的再生制动系统和/或其它合适的制动系统。转向系统24影响车轮17的位置并且可以包括方向盘33。尽管出于说明目的被描述为包括方向盘33,但在本公开范围内设想的一些实施例中,转向系统24可以不包括方向盘33。
传感器系统28包括一个或多个传感器40(即,感测装置),其感测主车辆10的外部环境和/或内部环境的可观察状况。传感器40与车辆控制器34通信并且可以包括但不限于一个或多个雷达、一个或多个光检测和测距(LiDAR)传感器、一个或多个接近传感器、一个或多个里程表、一个或多个探地雷达(GPR)传感器、一个或多个转向角传感器、一个或多个全球导航卫星系统(GNSS)收发器45(例如,全球定位系统(GPS)收发器)、一个或多个轮胎压力传感器、一个或多个照相机(例如,光学照相机和/或红外照相机)、一个或多个陀螺仪、一个或多个加速度计、一个或多个倾角计、一个或多个速度传感器、一个或多个超声波传感器、一个或多个惯性测量单元(IMU)41和/或其它传感器。每个传感器40配置为生成指示所感测的主车辆10的外部环境和/或内部环境的可观察状况的信号。因为传感器系统28向车辆控制器34提供数据,所以传感器系统28及其传感器40被认为是信息源(或简称为源)。
如上文讨论的那样,传感器系统28包括一个或多个全球导航卫星系统(GNSS)收发器45(例如,全球定位系统(GPS)收发器),其配置为检测和监测路线数据(即,路线信息)。GNSS收发器45配置为与GNSS通信以定位主车辆10在地球中的位置。GNSS收发器45与车辆控制器34电子通信。
致动器系统30包括一个或多个致动器装置42,其控制一个或多个车辆特征,例如但不限于推进系统20、传动系统22、转向系统24和制动系统26。在各种实施例中,车辆特征还可以包括内部和/或外部车辆特征,例如但不限于车门、行李箱和舱室特征,例如空气、音乐、照明等。
数据存储装置32存储用于自动控制主车辆10的数据。在各种实施例中,数据存储装置32存储可导航环境的定义地图。在各种实施例中,定义地图可以由远程系统预先定义并从远程系统获得。例如,定义地图可以由远程系统组装并且传送到主车辆10(无线地和/或以有线方式)并且存储在数据存储装置32中。数据存储装置32可以是车辆控制器34的一部分,与车辆控制器34独立,或者是车辆控制器34的一部分和独立系统的一部分。
主车辆10还可以包括与主车辆10的车辆控制器34或另一控制器通信的一个或多个气囊35。气囊35包括可充气气囊并且配置为在收起配置和展开配置之间过渡以缓冲施加到主车辆10的外力的影响。传感器40可以包括气囊传感器,例如IMU,其配置为检测外力并生成指示这种外力的大小的信号。车辆控制器34配置成基于来自一个或多个传感器40(例如气囊传感器)的信号命令气囊35展开。因此,车辆控制器34配置成确定气囊35何时展开。
车辆控制器34包括至少一个车辆处理器44和车辆非暂态性计算机可读存储装置或介质46。车辆处理器44可以是定制的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与车辆控制器34相关的多个处理器中的辅助处理器、基于半导体的微处理器(微芯片或芯片组的形式)、宏处理器、其组合或通常用于执行指令的装置。例如,车辆计算机可读存储装置或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保持活动存储器(KAM)中的易失性和非易失性存储装置。KAM是持久性或非易失性存储器,其可以在车辆处理器44停机时用于存储各种操作变量。车辆计算机可读存储装置或介质46可以使用多种存储器装置来实施,例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的另一种电、磁、光或组合存储器装置,其中一些表示可执行指令,由车辆控制器34在控制主车辆10时使用。主车辆10的车辆控制器34可以被编程为执行如下详细描述的方法100和400。
指令可以包括一个或多个单独的程序,每个程序包括用于实施逻辑功能的可执行指令的有序列表。当由车辆处理器44执行时,指令接收并处理来自传感器系统28的信号,执行用于自动控制主车辆10的部件的逻辑、计算、方法和/或算法,并且基于逻辑、计算、方法和/或算法生成至致动器系统30的控制信号以自动控制主车辆10的部件。尽管在图1中示出了单个车辆控制器34,但主车辆10的实施例可包括多个车辆控制器34,它们经过合适的通信介质或通信介质的组合通信,并且协作以处理传感器信号,执行逻辑、计算、方法和/或算法,并且生成控制信号以自动控制主车辆10的特征。
在各种实施例中,车辆控制器34的一个或多个指令实施在控制系统98中。主车辆10包括用户界面23,其可以是仪表板中的触摸屏。用户界面23可以包括但不限于警报器,例如用于提供可听声音的一个或多个扬声器27、车辆座椅或其它对象中的触觉反馈、一个或多个显示器29、一个或多个麦克风31和/或适合向主车辆10的车辆用户提供通知的其它装置。用户界面23与车辆控制器34电子通信并且配置为接收由用户(例如,车辆操作者或车辆乘客)的输入。例如,用户界面23可以包括触摸屏和/或配置为接收来自车辆用户11(图6)的输入的按钮。因此,车辆控制器34配置为经由用户界面23接收来自用户的输入。主车辆10可以包括一个或多个显示器29,该显示器29配置为向用户(例如,车辆操作者或乘客)显示信息且可以是增强现实(AR)显示器。
通信系统36与车辆控制器34通信并且配置无线地将信息传送到一个或多个远程服务器48且从其接收信息,例如但不限于,远程呼叫中心(例如GENERAL MOTORS 的 ON-STAR)处的远程系统。远程服务器48可以是基于云的系统。在本公开中,术语“远程服务器”是指为称为“客户端”的其它程序或装置提供功能的一件计算机硬件或软件(计算机程序)。在这种情况下,客户端是远程车辆47和主车辆210。在本公开中,术语“远程车辆”是指没有物理连接到主车辆或远程服务器48的车辆。如本文所使用的那样,术语“远程服务器”是指没有物理连接到主车辆10和/或远程车辆47的服务器。远程服务器48可以包括服务器控制器49和服务器非暂时性计算机可读存储装置或介质51。服务器处理器49可以是定制处理器、中央处理单元(CPU)、图形处理单元(GPU)、与车辆控制器34相关联的多个处理器中的辅助处理器、基于半导体的微处理器(形式为微芯片或芯片组)、宏处理器、其组合,或者通常是用于执行指令的装置。例如,服务器计算机可读存储装置或介质51可以包括只读存储器(ROM)、随机存取存储器(RAM)和保持活动存储器(KAM)中的易失性和非易失性存储装置。KAM是持久性或非易失性存储器,其可以在车辆处理器44停机时用于存储各种操作变量。服务器计算机可读存储装置或介质51可以使用多种存储器装置来实施,例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的另一种电、磁、光或组合存储器装置,其中一些表示可执行指令,由控制系统98使用。远程服务器48还可以包括通信收发器37,以将数据无线传输到主车辆10和/或远程车辆47。服务器控制器49可以被编程为执行下面详细描述的方法200。
在某些实施例中,主车辆10的通信系统36是配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来通信的无线通信系统。因此,通信系统36可以包括一个或多个天线和/或通信收发器37,用于接收和/或传输信号,例如协作感测消息(CSM)。通信收发器37可以被认为是传感器40。通信系统36配置为在主车辆10和远程服务器48之间无线地传送信息。此外,远程车辆47可以包括上述主车辆10的部件中的全部或一些。远程服务器48与一个或多个主车辆10通信。
参考图2,本公开描述了用于使用众包来生成遮挡地图的方法100。方法100开始于框102,其需要从一个或多个主车辆10收集遮挡数据。如上文讨论的那样,每个主车辆10包括一个或多个传感器40,例如照相机和/或激光雷达传感器。与它们的类型无关,传感器40配置为检测一个或多个动态对象43(图4),例如其它远程车辆47。为了收集遮挡数据,一个或多个主车辆10的车辆控制器34接收来自一个或多个传感器40的遮挡数据。然后,一个或多个主车辆10的车辆控制器34使用例如通信收发器37将遮挡数据传输到远程服务器48。远程服务器48相对于主车辆10远程地定位。一旦远程服务器48从一个或多个主车辆10接收到遮挡数据(即,众包),方法100前进到框104。
在框104处,远程服务器48处理从一个或多个主车辆10接收的遮挡数据以确定哪些路外区域没有被遮挡。换句话说,远程服务器48确定路外区域62(图4)内的未遮挡区域以产生未遮挡区域数据。未遮挡区域数据包括关于路外区域62(图4)内的未遮挡区域的信息。接下来,方法100进行到框106。
在框106处,远程服务器48将未遮挡区域数据传输(或部署)到主车辆10。然后,车辆控制器34使用未遮挡区域数据确定主车辆10的每个传感器40的遮挡区域。结果,车辆控制器34使用从远程服务器48接收的未遮挡数据生成遮挡地图。随后,方法100继续到框108。
在框108处,车辆控制器34使用遮挡地图控制主车辆10以避免与其它对象(例如远程车辆47)接触。遮挡地图帮助车辆控制器34识别传感器40无法检测到的区域,从而提供增强的信息以控制主车辆10的移动。
参考图3和4,用于从主车辆10收集遮挡数据的方法102开始于框202。在框202处,一个或多个主车辆10的传感器40检测对象,例如行人和/或其它远程车辆47。如上文讨论的那样,传感器40配置为检测对象,例如远程车辆47和/或行人。然后,车辆控制器34使用例如从GNSS收发器45获得的数据和/或使用V2V和/或V2I通信从通信收发器37接收的数据来确定(或估计)3D世界中动态对象43(例如,远程车辆47和/或行人)的位置(即,估计位置53)。在本公开中,术语“动态对象”是指正在移动的对象。如果传感器系统28通过遮挡跟踪动态对象43,则车辆控制器34检查当前报告的位置是否由一个或多个传感器40直接观察,或者它是否是基于先前观察的跟踪投影。如果传感器系统28基于先前观察确定跟踪投影,则车辆控制器34要么忽略该观察,要么将其标记为动态对象的投影位置。然后方法100进行到框206。
在框204处,主车辆的车辆控制器34确定是否存在尚未处理的由传感器40检测到的任何动态对象43。换句话说,车辆控制器34 确定所有步骤210、212和214是否已针对由传感器40检测到的每个动态对象43执行。如果已经处理所有被检测动态对象43,则方法102进行到框206。在框206处,方法100结束。如果被检测动态对象43中的一个或多个尚未被处理,则方法102进行到框208。
在框208处,车辆控制器34选择尚未处理的被检测动态对象43中的一个。接下来,方法100进行到框210。在框210处,对于检测动态对象43的主车辆10的每个传感器40,车辆控制器34确定(即,寻找)从传感器40延伸到被检测动态对象43的估计位置53的线(即,虚拟检测线56)。然后,方法102进行到框212。
在框212处,车辆控制器34确定虚拟检测线56是否与导航地图58中的一个或多个相邻路外区域62相交。在本公开中,术语“路外区域”是指不覆盖道路 60的区域。在本公开中,术语“道路”是指从一个地方通向另一个地方的路,该路具有旨在用于车辆的专门准备表面,不包括人行道或旨在用于行人的其它路(除了为行人穿过驾驶表面指定的区域(例如,有标记的人行横道)之外)。如本文所使用的那样,术语“导航地图”是指主车辆10的当前路线的地图。导航地图58可以存储在车辆计算机可读存储介质46上。导航地图58可以包括沿主车辆10路线的道路60和遮挡物68,例如树70、建筑物71和/或停放的卡车73(即,静止的卡车)。不与路外区域62相交的虚拟检测线56被命名为道路检测线64。道路检测线64不上传到服务器48。如果虚拟检测线56不与导航地图58中的一个或多个路外区域62相交,则方法102返回到框204。如果检测线56与一个或多个路外区域62相交,则方法102进行到框214。
在框214处,车辆控制器34将虚拟检测线56和动态对象43的对应估计位置53(包括观察-投影状态,如果相关)上传到远程服务器48。此外,车辆控制器34将与虚拟检测线56相对应的时间戳、传感器形态以及传感器安装高度和相对于车身的传感器安装取向(其确定传感器观察方向)上传到远程服务器48。在本公开中,术语“时间戳”是指在传感器40检测到动态对象43时的时间的数字记录。如本文所使用的那样,术语“传感器形态”是指用于检测动态对象43的传感器40的类型。传感器形态可以是照相机、激光雷达等。术语“传感器安装高度”是指从地面到传感器40的位置的高度。每个传感器40具有相对于车身14 的传感器安装取向。传感器安装取向确定传感器观察方向。为了说明的目的,图4还示出了在传感器40未检测到动态对象43的情况下从传感器40延伸的一些非检测线66。上传到远程服务器48的虚拟检测线56、动态对象43的估计位置53、用于检测动态对象43的每个传感器40的传感器形态、每个虚拟检测线56的时间戳、传感器安装取向和用于检测动态对象43的每个传感器40的传感器安装高度统称为遮挡数据。因此,遮挡数据包括但不限于,与每个被检测动态对象43相对应的虚拟检测线56、每个被检测动态对象43的估计位置53、用于检测动态对象43的每个传感器40的传感器形态、每个虚拟检测线56的时间戳、传感器安装取向和用于检测动态对象43的每个传感器40的传感器安装高度。
参考图5-8,图5是用于处理由一个或多个主车辆10的传感器40收集的数据的方法104的流程图。方法104开始于框302并且以预定时间间隔(例如,每二十四小时)周期性地执行。在框302处,远程服务器48的服务器控制器49从主车辆10接收遮挡数据,包括虚拟检测线56和时间戳。方法100然后进行到框304。
在框304处,服务器控制器49删除比预定天数更早的虚拟检测线56。为此,服务器控制器49可以使用每个虚拟检测线56的时间戳来确定哪个虚拟检测线比预定天数更早。然后,方法104进行到框306。
在框306处,服务器控制器49将最近上传的虚拟检测线56添加到线列表中,如图6所示。然后,方法104继续到框308。在框308处,服务器控制器49基于时间和传感器形态差异将遮挡数据(例如,上传到远程服务器48的虚拟检测线56)分类为多个类别。一旦远程服务器48接收到预定量的遮挡数据,服务器控制器49使用遮挡数据中的时间戳将每个遮挡观察分类为时间段(例如,不同的季节、一天中的时间、工作日-周末等)。此外,一旦远程服务器48接收到预定量的遮挡数据,服务器控制器49使用遮挡数据中的每个传感器40的传感器形态、传感器安装取向和传感器安装高度来将遮挡观察分类为传感器形态(例如,照相机、LiDAR、雷达及其组合)段和传感器安装高度(例如,高、中、低)段。换句话说,遮挡数据包括时间分类数据,并且其包括关于划分为时间段的主车辆10的一个或多个传感器40的遮挡观察的信息。此外,遮挡数据包括传感器分类数据,其包括关于检测一个或多个动态对象43的每个传感器40的传感器形态、传感器安装取向和传感器安装高度的信息。然后,方法104进行到框310。
在框310处,服务器控制器49确定上传到远程服务器48的不早于预定天数的任何遮挡数据是否尚未被处理。换句话说,服务器控制器49确定步骤314、316和318是否已经针对上传到远程服务器48的不早于预定天数的所有遮挡数据执行。如果服务器控制器49确定上传到远程服务器48的不早于预定天数的所有遮挡数据都已经被处理,则方法104进行到框311。在框311处,远程服务器48将遮挡地图72传输到所有相关车辆,遮挡地图72指示在相邻路外区域62中的一个内的一个或多个未遮挡区域78(图8),所有相关车辆可以包括在遮挡物68附近(即,距其预定距离)的主车辆10。由于遮挡地图72指示路外区域62内的未遮挡区域,因此通过推断,遮挡地图72指示该路外区域62内的遮挡传感器40的区域。如果服务器控制器49确定上传到远程服务器48的不早于预定天数的遮挡数据中的一些尚未被处理,则方法104前进到框312 。替代地,服务器控制器49将上传的尚未处理数据的量确定为标准。
在框312处,远程服务器48的服务器控制器49确定相邻路外区域62中的任一个是否尚未被处理。为此,服务器控制器49确定步骤314、316和318是否已经针对所有相邻路外区域62执行。步骤314、316和318针对每个相邻路外区域62执行,直到所有相邻路外区域62都被处理。然后,方法104进行到框316。
在框316处,服务器控制器49将所选择相邻路外区域62内距每个虚拟检测线56的距离等于或小于预定距离的所有点标记为“清晰”。被标记为清晰的点被称为未遮挡点74。为了标记遮挡点74,服务器控制器49可以通过将每个虚拟检测线56的宽度扩展预定宽度值来创建用于所述多个虚拟检测线56中的每一个的矩形76,如图7所示。预定宽度值可以通过测试系统98来确定。然后,服务器控制器49使用未遮挡点74(即,所选择相邻路外区域62内距每个虚拟检测线56的距离等于或小于预定距离的点)和/或矩形76来确定(例如,计算)路外区域62内的未遮挡区域78,如图8所示。步骤316以预定时间间隔(例如,每二十四小时)周期性地执行,以向主车辆10的操作者提供可能的最新信息。然后,方法104进行到框318。
在框318处,路外区域62内的未遮挡区域78针对当前数据类别(即,时间类别和传感器类别)被存储在远程服务器48上。例如,路外区域62内的未遮挡区域78可以存储在服务器计算机可读存储介质51上。路外区域62内的未遮挡区域78连同对应的时间分类数据和传感器分类数据统称为未遮挡数据。因此,术语“未遮挡数据”是指基于来自传感器40的输入指示路外区域62内的未遮挡区域78的数据连同关于时间分类数据和传感器分类数据的信息。如上文所讨论的那样,传感器分类数据包括关于用于捕获动态对象43的传感器40的传感器形态(例如,照相机、LiDAR、雷达及其组合)、传感器安装取向和传感器安装高度(例如,高、中、低)的信息。未遮挡数据的至少部分可以是遮挡地图72的形式,该遮挡地图72识别在相邻路外区域62中的一个内的一个或多个未遮挡区域78(图8)。然后方法104返回到框310。
如上文所讨论的那样,在框311处,服务器控制器49周期性地将未遮挡数据传输到所有相关车辆。相关车辆可包括位于距遮挡物68的距离等于或小于预定距离值的主车辆10。一旦未遮挡数据成熟且被验证,服务器控制器49可以周期性地将未遮挡数据传输到所有相关车辆。换句话说,一旦从收集遮挡观察开始已经经过预定量的时间并且一旦生成预定量的未遮挡数据,服务器控制器49就可以将该未遮挡数据传输到相关车辆。在框311之后,方法104进行到框320。在框320处,方法104结束。
参考图9-11,图9是用于将未遮挡区域数据部署到位于距遮挡物68预定距离处的主车辆10的方法106的流程图。方法106开始于框402。在框402处,位于距遮挡物68预定距离内的主车辆10接收包括遮挡地图72的未遮挡数据。车辆控制器34可以从远程服务器48接收主车辆10的当前路线或主车辆10周围区域的最新遮挡数据。远程服务器48和主车辆10之间的数据通信可以基于每个路线的请求或具有适合于目标车辆(例如,主车辆)的传感器配置的全套遮挡地图72(用于多个时间类别)的周期性下载。然后,方法106继续到框404。
在框404处,主车辆10 47 的车辆控制器34确定是否存在遮挡地图72的多个时间版本。换句话说,车辆控制器34确定是否存在使用由传感器40在不同时间收集的遮挡观察生成的遮挡地图72的多个版本。如果不存在遮挡地图72的多个时间版本,则方法106进行到框408。如果存在遮挡地图72的多个时间版本,则方法106进行到框406。在框406处,车辆控制器34选择与当前使用时间相对应的遮挡地图72的时间版本。然后,方法106进行到框408。
在框408处,车辆控制器34确定是否存在任何尚未处理的传感器40。换句话说,车辆控制器34确定已经对主车辆10的配置为检测动态对象43的所有传感器40执行步骤410、412、414、416和418。如果没有尚未处理的传感器40,则方法106进行到框409,这将在下面进行描述。如果一个或多个传感器40尚未处理,则方法106进行到框410。
在框410处,车辆控制器34在导航地图58中绘制(即,经由几何投影创建)多个虚拟视场线80,其在导航地图58中跨越一个或多个传感器40的标称视场82。每个虚拟视场线80从传感器40中的一个延伸并且位于传感器40的标称视场82内。在框410之后,方法106继续到框412。在框412处,车辆控制器34确定是否任何虚拟视场线80尚未被处理。换句话说,车辆控制器34确定是否已经针对每个虚拟视场线80执行步骤414、416和416。如果已经处理所有虚拟视场线80,则方法106返回到框408。如果虚拟视场线80中的一个或多个尚未被处理,则方法106进行到框414。在414处,车辆控制器34选择尚未处理的虚拟视场线80中的一个。然后,方法106进行到框416。在框416处,车辆控制器34确定每个传感器40的任何虚拟视场线80是否与被遮挡路外区域84相交。被遮挡路外区域84是相邻路外区域62内但在未遮挡区域78之外的区域。然后,方法106继续到框416。
在框416处,车辆控制器34将距与遮挡路外区域78相交的虚拟视场线 80处于预定距离或更少处的所有点标记为传感器40的“遮挡”。如图11所示,这些点被称为遮挡点86。框409的过程与框416中的过程相同。然而,框409还需要生成完全遮挡区域81,其对应于与所有传感器40的遮挡路外区域84相交。车辆控制器34可以使用完全遮挡区域81来控制主车辆10的移动。 在框409之后,方法106继续到框420。在框420处,方法106结束。
参考图12和13,图12是当道路海拔影响感测时生成遮挡地图的方法500的流程图,其对应于方法100的数据收集步骤102。方法400开始于框502。在框502处,主车辆10的车辆控制器34收集源自配置为检测动态对象43(例如,远程车辆47)的一个或多个传感器40(例如,照相机、LiDAR、雷达等)的传感器数据。传感器数据包括配置为检测动态对象43的每个传感器40的有效感测范围88。在本公开中,术语“有效感测范围”是从主车辆10的传感器40到传感器40能够检测到的最远动态对象43的距离。传感器数据还包括车道/道路边缘感测90的有效范围。如本文所使用的那样,术语“道路边缘感测的有效范围”是指从主车辆10的传感器40到传感器40能够检测到的最远道路边缘90(相对于主车辆10)的距离。在本公开中,术语“车道感测的有效范围”是指从主车辆10的传感器40到传感器40能够检测到的最远车道标记(相对于主车辆10)的距离。传感器数据还包括来自传感器40的传感器读数的关于动态对象43(例如主车辆10前面的远程车辆47)的出现或消失的信息。然后,方法400继续到框504。
在框504处,主车辆10的车辆控制器34确定道路边缘感测的有效范围或车道感测的有效范围是否小于相应预定阈值。此外,在框504处,主车辆10的车辆控制器34确定在主车辆10前面的远程车辆47是否在距主车辆10的小于预期的距离处从传感器读数中消失(如果远程车辆47正在移动远离主车辆10),或者在小于预期的距离处出现(如果远程车辆47正在朝着主车辆10移动)。如果道路边缘感测的有效范围或车道感测的有效范围等于或大于相应预定阈值,或者如果主车辆10前面的远程车辆47在距主车辆10等于或大于预期的距离处从传感器读数中消失或出现,则方法400进行到框506。在框506处,方法400结束。如果道路边缘感测的有效范围或车道感测的有效范围小于相应预定阈值,或者如果主车辆10前面的远程车辆47在距主车辆10小于预期的距离处从传感器读数中消失或出现,则方法400进行到框408。
在框408处,车辆控制器34开始记录道路边缘感测的有效范围、车道感测的有效范围、主车辆前面的远程车辆47从传感器读数中消失的距离和/或主车辆前面的远程车辆47出现在传感器读数中的距离。此外,在框408处,车辆控制器34开始记录来自IMU 41的IMU数据和/或从GNSS收发器45(例如,GPS收发器)接收的GNSS数据。然后,方法400继续到框510。
在框510处,主车辆10的车辆控制器10使用GNSS数据和/或IMU数据来确定道路62的道路海拔是否具有不利地影响传感器40的有效感测范围88的海拔峰值91。如果车辆控制器10没有检测到解释传感器40的有效感测范围88减小的峰值91,则方法500继续到框506。如果车辆控制器10检测到解释传感器40的有效感测范围88减小的海拔峰值91,则方法500进行到框512。
在框512处,车辆控制器34使用通信收发器37将传感器数据(例如,GNSS数据、IMU数据(包括俯仰)、传感器形态和/或传感器安装高度)上传到远程服务器48以用于进一步分类。方法500还可以包括数据处理过程600和部署过程700。
参考图14,数据处理过程600发生在远程服务器48中并开始于框602。在框602处,远程服务器48接收从由不同车辆高度类别分类的各种车辆(例如,主车辆10和/或远程车辆47)收集的传感器数据。然后,在框604处,远程服务器48融合在特定方向上的多个车辆/批次(pass)的观察。接下来,在框606处,远程服务器48确定具有道路边缘感测的有效范围和/或车道感测的有效范围的预定比例损失的区域。随后,在框608处,远程服务器48调整超出所述区域的车道和道路边缘方差估计以增加不确定性。然后,在框610处,远程服务器48确定对于车辆和弱势道路使用者(VRU),哪些区域具有有效感测范围88的预定比例损失。接下来,在框612处,远程服务器48在整体遮挡地图中添加或更新区域—包括范围的最大减小。可选地,在框614处,远程服务器48使用遮挡地图来降低具有遮挡区域的路段的路线偏好和/或取消自主驾驶路线的路段的资格。然后,在框616处,通过回归或其它方法,考虑传感器形态、传感器安装取向和传感器安装高度,远程服务器48确定海拔变化-范围减小的模型。
图15是在框702处开始的部署过程700的流程图。在框702处,远程服务器48将遮挡地图和遮挡模型部署到目标车辆,例如主车辆10。接下来,在框704处,在接收到遮挡地图和遮挡模型之后,车辆控制器34命令用户界面23向车辆操作者提供遇到的遮挡区域的警告。然后,在框706处,车辆控制器34可以可选地调整运动控制参数以增强对遮挡区域中的舒适度的响应性。然后,在框706处,当以自主驾驶模式操作时,车辆控制器34可以可选地命令主车辆10基于对象感测范围的最大减小来降低其在遮挡区域中的速度。因此,在框706处,车辆控制器34基于关于遮挡地图的信息控制目标车辆(例如,主车辆10)。
虽然上文描述了示例性实施例,但是这些实施例并不旨在描述由权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述性而非限制性的词语,并且应当理解的是,可在不脱离本公开的精神和范围的情况下进行各种改变。如前文所述的那样,各种实施例的特征可被组合,以形成可能未明确描述或图示的当前公开的系统和方法的进一步实施例。虽然各种实施例可能已经描述为关于一个或多个期望的特性提供优点或优于其它实施例或现有技术的实施方式,但是本领域普通技术人员会认识到,一个或多个特征或特性可被折衷,以实现期望的总体系统属性,这取决于具体应用和实施方式。这些属性可包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、大小、可维护性、重量、可制造性、易于组装等。如此,关于一个或多个特性被描述为与其它实施例或现有技术的实施方式相比不那么期望的实施例不在本公开的范围之外,并且对于特定应用而言可能是期望的。
附图为简化形式,且并未按精确比例绘制。仅为方便和清楚起见,方向术语(诸如顶部、底部、左、右、向上、上、上方、下方、下、后和前)可以相对于附图使用。这些和类似的方向术语不应解释为以任何方式限制本公开的范围。
本文描述了本公开的实施例。然而,应当理解的是,所公开的实施例仅仅是示例,其它实施例可以采取不同的和可选的形式。附图不必按比例绘制;一些特征可能被夸大或最小化以示出特定部件的细节。因此,本文公开的具体结构和功能细节不应被解释为限制性的,而仅仅作为教导本领域技术人员以各种方式使用当前公开的系统和方法的代表性基础。如本领域的普通技术人员将理解的那样,参考任何一个附图图示和描述的各种特征可以与一个或多个其它附图中图示的特征相组合,以产生没有明确图示或描述的实施例。所图示特征的组合为典型应用提供了代表性实施例。然而,与本公开的教导一致的特征的各种组合和修改对于特定的应用或实施方式可能是期望的。
本公开的实施例在本文可以按照功能和/或逻辑框部件和各个处理步骤来描述。应当理解的是,这种框部件可以由配置成执行指定功能的多种硬件、软件和/或固件部件来实施。例如,本公开的实施例可以采用各种集成电路部件(例如,存储器元件、数字信号处理元件、逻辑元件、查找表等),其可以在一个或多个微处理器或其它控制装置的控制下执行各种功能。另外,本领域技术人员将理解的是,本公开的实施例可以结合多种系统来实践,且本文所述的系统仅仅是本公开的示例性实施例。
为了简要起见,本文可以不详细描述与信号处理、数据融合、信号发送、控制、以及系统的其它功能方面(和系统的各个操作部件)有关的技术。另外,本文所包括的各个附图中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是,在本公开的实施例中可以存在替代或附加的功能关系或物理连接。
前述描述本质上仅是说明性的,并且绝不旨在限制本公开、其应用或使用。本公开的宽泛教导可以以各种形式实施。因此,虽然本公开包括特定示例,但是本公开的真实范围不应如此限制,因为在研究附图、说明书和所附权利要求书后,其它修改将变得显而易见。
Claims (10)
1.一种用于使用众包来生成遮挡地图的方法,包括:
从主车辆接收遮挡数据,其中,主车辆包括至少一个传感器,所述至少一个传感器配置为检测多个动态对象,遮挡数据包括多个虚拟检测线,每个虚拟检测线从主车辆的至少一个传感器延伸到由所述至少一个传感器检测到的多个动态对象中的一个,所述多个虚拟检测线中的每个线与路外区域相交;
标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点;以及
使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域,其中,未遮挡区域是未遮挡数据的一部分;
使用未遮挡数据生成遮挡地图;以及
将遮挡地图传输到主车辆。
2.根据权利要求1所述的方法,还包括:
使用遮挡地图控制主车辆;以及
其中,标记位于路外区域内并且位于距每个多个虚拟检测线预定距离内的所有未遮挡点包括通过将多个虚拟检测线中的每个的宽度扩展预定宽度值来创建用于所述多个虚拟检测线中的每个的矩形。
3.根据权利要求1所述的方法,其中,遮挡数据包括时间分类数据,其中,时间分类数据包括关于被划分为时间段的每个主车辆的至少一个传感器的遮挡观察的信息。
4.根据权利要求1所述的方法,其中,遮挡数据包括传感器分类数据,其中,传感器分类数据包括关于传感器形态、传感器安装取向以及传感器安装高度的信息。
5.根据权利要求1所述的方法,其中,接收遮挡数据包括由远程服务器接收遮挡数据,其中,远程服务器相对于主车辆远程地定位。
6.根据权利要求1所述的方法,其中,使用先前已经在路外区域内标记的未遮挡点确定路外区域内的未遮挡区域以预定时间间隔周期性地进行。
7.根据权利要求2所述的方法,还包括:
由主车辆从远程服务器接收遮挡地图;
在导航地图中投影跨越至少一个传感器的标称视场的多个虚拟视场线;
确定虚拟视场线中的一个或多个是否穿过被遮挡路外区域,其中,被遮挡路外区域在未遮挡区域之外但在路外区域内;
标记位于路外区域内并且位于距每个多个虚拟视场线预定距离内的所有被遮挡点以识别完全遮挡区域;以及
使用遮挡地图控制主车辆,包括使用完全遮挡区域控制主车辆。
8.一种用于使用众包来生成遮挡地图的方法,包括:
收集传感器数据,其中,传感器数据源自于主车辆的传感器并且包括传感器的道路边缘感测的有效范围,传感器的道路边缘感测的有效范围是从主车辆到传感器能够检测到的相对于主车辆的最远道路边缘的距离;
确定主车辆的传感器的道路边缘感测的有效范围是否小于预定阈值;
响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,记录主车辆的传感器的道路边缘感测的有效范围;以及
将主车辆的传感器的道路边缘感测的有效范围传输到远程服务器。
9.根据权利要求8所述的方法,还包括:响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,收集从主车辆的GNSS收发器接收的全球导航卫星系统(GNSS)数据,以确认主车辆所行驶的道路具有影响主车辆中的传感器的道路边缘感测的有效范围的海拔峰值。
10.根据权利要求9所述的方法,还包括:响应于确定主车辆的传感器的道路边缘感测的有效范围小于预定阈值,从主车辆的IMU收集惯性测量单元(IMU)数据,以确认主车辆所行驶的道路是否具有影响主车辆中的传感器的有效感测范围的海拔峰值。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/720466 | 2022-04-14 | ||
US17/720,466 US11815361B2 (en) | 2022-04-14 | 2022-04-14 | System and method for generating an occlusion map using crowdsourcing |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116958928A true CN116958928A (zh) | 2023-10-27 |
Family
ID=88191635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211303203.9A Pending CN116958928A (zh) | 2022-04-14 | 2022-10-24 | 用于使用众包来生成遮挡地图的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11815361B2 (zh) |
CN (1) | CN116958928A (zh) |
DE (1) | DE102022126830A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10684372B2 (en) * | 2017-10-03 | 2020-06-16 | Uatc, Llc | Systems, devices, and methods for autonomous vehicle localization |
US10552689B2 (en) * | 2017-11-09 | 2020-02-04 | Here Global B.V. | Automatic occlusion detection in road network data |
US11347231B2 (en) * | 2019-08-07 | 2022-05-31 | Waymo Llc | Object localization for autonomous driving by visual tracking and image reprojection |
-
2022
- 2022-04-14 US US17/720,466 patent/US11815361B2/en active Active
- 2022-10-14 DE DE102022126830.6A patent/DE102022126830A1/de active Pending
- 2022-10-24 CN CN202211303203.9A patent/CN116958928A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11815361B2 (en) | 2023-11-14 |
DE102022126830A1 (de) | 2023-10-19 |
US20230332919A1 (en) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11650603B2 (en) | Detecting general road weather conditions | |
CN109814544B (zh) | 用于在自主车辆中操纵绕过障碍物的系统和方法 | |
US10317907B2 (en) | Systems and methods for obstacle avoidance and path planning in autonomous vehicles | |
US9507345B2 (en) | Vehicle control system and method | |
US10179588B2 (en) | Autonomous vehicle control system | |
CN112298207B (zh) | 当存在失去行驶能力的自主车辆时维持道路安全 | |
US11625038B2 (en) | Autonomous driving device | |
US11242040B2 (en) | Emergency braking for autonomous vehicles | |
US11235876B2 (en) | Drone-based vehicle illumination | |
CN110888429A (zh) | 车辆导航和控制 | |
CA3155591C (en) | Functional safety in autonomous driving | |
EP4274771A1 (en) | Methods and systems for monitoring vehicle motion with driver safety alerts | |
CN113064143A (zh) | 用于具有多LiDAR传感器的自动驾驶车辆的再校准确定系统 | |
US11904856B2 (en) | Detection of a rearward approaching emergency vehicle | |
CN113264042B (zh) | 隐藏危险情况警示 | |
US10780821B2 (en) | System for alerting a vehicle occupant to a ground surface condition adjacent a vehicle door | |
US10446027B1 (en) | Differentiating roadways by elevation | |
WO2017157865A1 (en) | Navigation aid | |
CN116978214A (zh) | 使用附近交通模式来验证自主车辆性能的方法和系统 | |
CN116811578A (zh) | 用于在增强现实显示器上提供盲揭示警告的系统和方法 | |
US11815361B2 (en) | System and method for generating an occlusion map using crowdsourcing | |
WO2022004448A1 (ja) | 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム | |
US11320272B2 (en) | Localization adaptation based on weather estimation | |
JP2023062484A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
CN112622894A (zh) | 滑水预防 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |