CN116635746A - 用于从lidar数据检测道路标记点的系统、方法和计算机程序产品 - Google Patents

用于从lidar数据检测道路标记点的系统、方法和计算机程序产品 Download PDF

Info

Publication number
CN116635746A
CN116635746A CN202180086502.9A CN202180086502A CN116635746A CN 116635746 A CN116635746 A CN 116635746A CN 202180086502 A CN202180086502 A CN 202180086502A CN 116635746 A CN116635746 A CN 116635746A
Authority
CN
China
Prior art keywords
point
points
intensity
lidar
inner segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180086502.9A
Other languages
English (en)
Inventor
E·A·韦斯特曼
X·辛吉勒夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Argo AI LLC
Original Assignee
Argo AI LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Argo AI LLC filed Critical Argo AI LLC
Publication of CN116635746A publication Critical patent/CN116635746A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4813—Housing arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3848—Data obtained from both position sensors and additional sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops
    • G08G1/137—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops the indicator being in the form of a map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

用于从LiDAR数据检测道路标记点的系统、方法和自动驾驶车辆可以获得由LiDAR系统生成的LiDAR数据集；对于LiDAR系统的每个激光发射器，通过以下方式处理与该激光发射器相关联的点云：对于点云中的每个点，基于该点处的强度梯度，确定该点是否对应于梯度边缘点；以及基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定该候选梯度边缘点对是否对应于道路标记边缘；以及根据对多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对。

Description

用于从LIDAR数据检测道路标记点的系统、方法和计算机程序 产品
相关申请的交叉引用
本申请要求于2020年12月21日提交的美国专利申请第17/128946号的优先权，其全部内容通过引用明确地合并于此。
背景技术
1.领域
本公开一般涉及物体检测，并且在一些非限制性实施例或方面中，涉及从LiDAR(光检测与测距)数据检测道路标记点。
2.技术考虑
在许多自动驾驶系统中使用高清地图。例如，3D LiDAR地图可以提供参考，定位子系统可以在线配准LiDAR扫描，以便以高精度在地图内定位车辆。将语义信息(例如，将点标记为道路、人行道、道路标记、植被、建筑物等)添加到地图中的LiDAR点和在线扫描可以帮助配准(registration)算法，并且提供地图内车辆的更本地化的估计。
发明内容
因此，提供了用于从LiDAR数据检测道路标记点的改进的系统、方法、产品、装置和/或设备。检测到的道路标记点可以用于生成和/或更新用于控制自动驾驶车辆和/或促进自动驾驶车辆的至少一个自动驾驶操作的地图(例如，3D LiDAR地图等)，诸如在自动驾驶车辆所在的地理区域的3D LiDAR地图中定位自动驾驶车辆等。
根据一些非限制性实施例或方面，提供了一种获得由LiDAR系统生成的LiDAR数据集的方法和系统，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：对于点云中的每个点，基于该点处的强度梯度，确定该点是否对应于梯度边缘点；以及基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘；根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及使用被确定为对应于道路标记边缘的候选梯度边缘点对来生成包括道路标记边缘的地图、促进自动驾驶车辆的至少一个自动驾驶操作或其任意组合中的至少一个。
根据一些非限制性实施例或方面，提供了一种自动驾驶车辆，所述自动驾驶车辆包括：LiDAR系统，所述LiDAR系统被配置为生成LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；以及计算设备，所述计算设备被编程和/或被配置为：获得由LiDAR系统生成的LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点；以及基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边点对是否对应于道路标记边缘；根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆所在的地理区域的3D LiDAR地图中定位自动驾驶车辆。
在以下编号的条款中阐述了进一步的实施例或方面：
条款1.一种计算机实现的方法，包括：获得由LiDAR系统生成的LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点；以及基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘；根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及使用被确定为对应于道路标记边缘的候选梯度边缘点对来生成包括道路标记边缘的地图、促进自动驾驶车辆的至少一个自动驾驶操作或其任意组合中的至少一个。
条款2.根据条款1所述的计算机实现的方法，其中，对于所述多个激光发射器中的每个激光发射器，处理与该激光发射器相关联的所述多个点云中的点云还包括：基于与点相关联的方位角、与点相关联的时间或其任意组合中的至少一个对点云中的点进行排序。
条款3.根据条款1或2所述的计算机实现的方法，其中，对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点还包括：基于点云中的包括该点和另一个点的相邻点对在该点处的强度梯度以及所述相邻点对之间的强度的相对差，确定该点是否对应于梯度边缘点。
条款4.根据条款1-3中任一项所述的计算机实现的方法，其中，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘是基于以下参数中的至少一个：点的内部段的角弧，点的内部段的欧几里得距离，点的内部段中的连续点之间的最大距离，点的内部段中的点的最小强度，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比，点的内部段的平均内部强度与点的外部段的平均外部强度之间的差，点的内部段的标准偏差，或其任意组合。
条款5.根据条款1-4中任一项所述的计算机实现的方法，其中，使用多线程分别且并行地处理与所述多个激光发射器相关联的所述多个点云中的点云。
条款6.根据条款1-5中任一项所述的计算机实现的方法，其中，所述多个LiDAR点云中的每个LiDAR点云对应于所述LiDAR系统的单个360度扫描。
条款7.根据条款1-6中任一项所述的计算机实现的方法，还包括：基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆所在的地理区域的3D LiDAR地图中定位自动驾驶车辆。
条款8.一种系统，包括：一个或多个处理器，所述一个或多个处理器被编程和/或被配置为：获得由LiDAR系统生成的LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点；以及基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边点对是否对应于道路标记边缘；根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及使用被确定为对应于道路标记边缘的候选梯度边缘点对来生成包括道路标记边缘的地图、促进自动驾驶车辆的至少一个自动驾驶操作或其任意组合中的至少一个。
条款9.根据条款8所述的系统，其中，所述一个或多个处理器还被编程和/或被配置为对于所述多个激光发射器中的每个激光发射器，通过以下方式来处理与该激光发射器相关联的所述多个点云中的点云：基于与点相关联的方位角、与点相关联的时间或其任意组合中的至少一个对点云中的点进行排序。
条款10.根据条款8或9所述的系统，其中，对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点还包括：基于点云中的包括该点和另一个点的相邻点对在该点处的强度梯度以及所述相邻点对之间的强度的相对差，确定该点是否对应于梯度边缘点。
条款11.根据条款8-10中任一项所述的系统，其中，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘是基于以下参数中的至少一个：点的内部段的角弧，点的内部段的欧几里得距离，点的内部段中的连续点之间的最大距离，点的内部段中的点的最小强度，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比，点的内部段的平均内部强度与点的外部段的平均外部强度之间的差，点的内部段的标准偏差，或其任意组合。
条款12.根据条款8-11中任一项所述的系统，其中，所述一个或多个处理器还被编程和/或被配置为使用多线程分别且并行地处理与所述多个激光发射器相关联的所述多个点云中的点云。
条款13.根据条款8-12中任一项所述的系统，其中，所述多个LiDAR点云中的每个LiDAR点云对应于所述LiDAR系统的单个360度扫描。
条款14.根据条款8-13中任一项所述的系统，其中，所述一个或多个处理器还被编程和/或被配置为：基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆所在的地理区域的3DLiDAR地图中定位自动驾驶车辆。
条款15.一种自动驾驶车辆，包括：LiDAR系统，所述LiDAR系统被配置为生成LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；以及计算设备，所述计算设备被编程和/或被配置为：获得由LiDAR系统生成的LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点；以及基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边点对是否对应于道路标记边缘；根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆所在的地理区域的3D LiDAR地图中定位自动驾驶车辆。
条款16.根据条款15所述的自动驾驶车辆，其中，所述计算设备还被编程和/或被配置为对于所述多个激光发射器中的每个激光发射器，通过以下方式来处理与该激光发射器相关联的所述多个点云中的点云：基于与点相关联的方位角、与点相关联的时间或其任意组合中的至少一个对点云中的点进行排序。
条款17.根据条款15或16所述的自动驾驶车辆，其中，对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点还包括：基于点云中的包括该点和另一个点的相邻点对在该点处的强度梯度以及所述相邻点对之间的强度的相对差，确定该点是否对应于梯度边缘点。
条款18.根据条款15-17中任一项所述的自动驾驶车辆，其中，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘是基于以下参数中的至少一个：点的内部段的角弧，点的内部段的欧几里得距离，点的内部段中的连续点之间的最大距离，点的内部段中的点的最小强度，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比，点的内部段的平均内部强度与点的外部段的平均外部强度之间的差，点的内部段的标准偏差，或其任意组合。
条款19.根据条款15-18中任一项所述的自动驾驶车辆，其中，所述一个或多个处理器还被编程和/或被配置为使用多线程分别且并行地处理与所述多个激光发射器相关联的所述多个点云中的点云。
条款20.根据条款15-19中任一项所述的自动驾驶车辆，其中，所述多个LiDAR点云中的每个LiDAR点云对应于所述LiDAR系统的单个360度扫描。
附图说明
以下参考附图中所示的示例性实施例更详细地解释附加优点和细节，在附图中：
图1是可以实现本文中描述的系统、方法、产品、装置和/或设备的环境的非限制性实施例或方面的图；
图2是用于车辆的说明性架构的图示；
图3是用于LiDAR系统的说明性架构的图示；
图4是说明性计算设备的图示；
图5是用于从LiDAR数据检测道路标记点的处理的非限制性实施例或方面的流程图；
图6是用于从LiDAR数据检测道路标记点的处理的非限制性实施例或方面的流程图；
图7示出了示例点云强度信号的曲线图相对于该信号的示例强度梯度的曲线图；以及
图8是包括从LiDAR数据生成的道路标记点的示例地图。
具体实施方式
应当理解，本公开可以采用各种替选的变化和步骤序列，除非明确地相反指定。还应当理解，在附图中所示的并且在以下说明书中所描述的具体设备和处理仅仅是示例性的和非限制性的实施例或方面。因此，与本文中公开的实施例或方面有关的具体尺寸和其他物理特性不应被认为是限制性的。
除非明确地如此描述，否则本文中使用的任何方面、组件、元件、结构、动作、步骤、功能、指令等都不应被解释为关键的或必要的。此外，如本文中所使用的，冠词“一个(a)”和“一(an)”旨在包括一个或多个项目，并且可以与“一个或多个”和“至少一个”可互换地使用。此外，如本文中所使用的，术语“集合(set)”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，并且可以与“一个或多个”或“至少一个”可互换地使用。如果仅旨在一个项目，则使用术语“一个(one)”或类似语言。此外，如本文中所使用的，术语“具有(has)”、“拥有(have)”、“有(having)”等旨在是开放式术语。此外，除非另外明确地说明，否则短语“基于(based on)”旨在表示“至少部分地基于”。
如本文中所使用的，术语“通信”可以是指数据(例如，信息、信号、消息、指令、命令等)的接收(reception)、接收(receipt)、发送、传输、提供等。对于一个单元(例如，设备、系统、设备或系统的组件、其组合等)，与另一个单元通信意味着这一个单元能够直接或间接地从另一个单元接收信息和/或向另一个单元发送信息。这可以是指本质上是有线和/或无线的直接或间接连接(例如，直接通信连接、间接通信连接等)。此外，即使所发送的信息可以在第一单元和第二单元之间被修改、处理、中继和/或路由，两个单元也可以彼此通信。例如，即使第一单元被动地接收信息而不主动地向第二单元发送信息，第一单元也可以与第二单元通信。作为另一示例，如果至少一个中间单元处理从第一单元接收到的信息并且将处理后的信息传送到第二单元，则第一单元可以与第二单元通信。
将明显的是，本文中描述的系统和/或方法可以以硬件、软件、或硬件和软件的组合的不同形式来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码并不受实现方式的限制。因此，本文中在没有参考具体软件代码的情况下描述了系统和/或方法的操作和行为，应当理解，软件和硬件可以被设计为基于本文中的描述来实现系统和/或方法。
本文中结合阈值描述了一些非限制性实施例或方面。如本文中所使用的，满足阈值可以是指值大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、等于阈值等。
术语“车辆”是指能够承载一个或多个人类乘客和/或货物并且由任何形式的能量提供动力的任何移动形式的运输工具。术语“车辆”包括但不限于汽车、卡车、货车、火车、自动驾驶车辆、飞机、空中无人机等。“自动驾驶车辆”是具有处理器、编程指令和传动系统组件的车辆，这些组件可由处理器控制而无需人类操作员。自动驾驶车辆可以是完全自动驾驶的，因为它对于大多数或所有驾驶状况和功能不需要人类操作员，或者它可以是半自动驾驶的，因为在某些状况下或者对于某些操作可能需要人类操作员，或者人类操作员可以超越车辆的自动驾驶系统并且可以控制车辆。
如本文中所使用的，术语“计算设备”可以是指被配置为处理数据的一个或多个电子设备。在一些示例中，计算设备可以包括用于接收、处理和输出数据的需要组件，诸如处理器、显示器、存储器、输入设备、网络接口等。计算设备可以是移动设备。作为示例，移动设备可以包括蜂窝电话(例如，智能电话或标准蜂窝电话)、便携式计算机、可穿戴设备(例如，手表、眼镜、镜片、衣服等)、PDA和/或其他类似设备。计算设备也可以是台式计算机或其他形式的非移动计算机。
如本文中所使用的，术语“服务器”和/或“处理器”可以是指或包括一个或多个计算设备，这些计算设备由网络环境(诸如因特网)中的多方操作或者促进多方的通信和处理，尽管应当理解，可以通过一个或多个公共或专用网络环境来促进通信，并且各种其他布置也是可能的。此外，在网络环境中直接或间接通信的多个计算设备(例如，服务器、POS设备、移动设备等)可以构成“系统”。如本文中所使用的，对“服务器”或“处理器”的引用可以是指被描述为执行先前步骤或功能的先前描述的服务器和/或处理器、不同的服务器和/或处理器、和/或服务器和/或处理器的组合。例如，如说明书和权利要求中所使用的，被描述为执行第一步骤或功能的第一服务器和/或第一处理器可以是指被描述为执行第二步骤或功能的相同或不同的服务器和/或处理器。
如本文中所使用的，术语“用户界面”或“图形用户界面”可以是指所生成的显示，诸如用户可以直接或间接(例如，通过键盘、鼠标、触摸屏等)与其交互的一个或多个图形用户界面(GUI)。
现有的语义分割算法依赖于计算昂贵的神经网络来处理相机图像，以便从LiDAR数据中提取语义标签。在移动平台(诸如自动驾驶车辆)上，仅使用LiDAR数据的更快的语义点标注器可能比计算昂贵的神经网络解决方案更可取。
尽管可能无法单独从LiDAR数据来识别所有语义类别，但是所绘制的道路标记可能具有一些属性，这些属性可以有助于将它们与LiDAR数据中的其他元素区分开来。例如，来自道路标记的LiDAR回波可能趋向于具有比来自未被绘制的路面(诸如沥青或混凝土)的LiDAR回波更高的测量强度。LiDAR回波可以进一步发生在LiDAR扫描的相对可预测的区域中(例如，在车辆附近的地平面上等)，这使得道路标记成为从LiDAR扫描来识别的良好或更好的特征。用于从LiDAR点云检测道路标记的现有技术通常依赖于获得测量点的校准强度值。然而，强度值单独可能不足以区分道路标记点，因为在诸如建筑物、路缘、车辆等其他表面上可能存在检测到的许多其他高强度点。
本公开的非限制性实施例或方面提供了获得由LiDAR系统生成的LiDAR数据集的系统、方法和自动驾驶车辆，该LiDAR数据集定义了与LiDAR系统的多个激光发射器相关联的多个点云；对于多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的多个点云中的点云：对于点云中的每个点，基于该点处的强度梯度，确定该点是否对应于梯度边缘点；以及基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定至少一个候选梯度边缘点对是否对应于道路标记边缘；根据对多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及使用被确定为对应于道路标记边缘的候选梯度边缘点对来生成包括道路标记边缘的地图、促进自动驾驶车辆的至少一个自动驾驶操作或其任意组合中的至少一个。
以此方式，本公开的非限制性实施例或方面提供了使用具有未校准强度的LiDAR点云来识别和/或确定LiDAR扫描中的哪些点对应于道路表面上绘制的道路标记(例如，车道分隔线、转向箭头、人行横道、自行车道等)。因此，本公开的非限制性实施例或方面可以适用于各种不同的传感器和环境，而不需要针对特定车辆或传感器进行广泛的训练和/或调整或校准，并且不需要依赖于计算昂贵的神经网络来处理相机图像以便从LiDAR数据中提取语义标签。
现在参考图1，图1是可以实现本文中描述的系统、方法、产品、装置和/或设备的示例环境100的示意图。如图1中所示，环境100可以包括自动驾驶车辆102、地图系统104和/或通信网络106。
自动驾驶车辆102可以包括一个或多个设备，这一个或多个设备能够经由通信网络106从地图系统104接收信息和/或数据，和/或经由通信网络106将信息和/或者数据传送到地图系统104。例如，自动驾驶车辆102可以包括计算设备，诸如服务器、一组服务器和/或其他类似设备。
地图系统104可以包括一个或多个设备，这一个或多个设备能够经由通信网络106从自动驾驶车辆102接收信息和/或数据，和/或经由通信网络106将信息和/或者数据传送到自动驾驶车辆102。例如，地图系统104可以包括计算设备，诸如服务器、一组服务器和/或其他类似设备。
通信网络106可以包括一个或多个有线和/或无线网络。例如，通信网络106可以包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如，公共交换电话网络(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、和/或这些或其他类型的网络的组合。
图1中所示的设备和系统的数量和布置被提供作为示例。与图1中所示的设备和/或系统相比，可以存在额外的设备和/或系统、更少的设备和/或系统、不同的设备和/或系统、或者不同布置的设备和/或系统。此外，图1中所示的两个或多个设备和/或系统可以被实现在单个设备和/或系统内，或者图1中所示的单个设备和/或系统可以被实现为多个分布式设备和/或系统。例如，自动驾驶车辆102可以合并地图系统104的功能，使得自动驾驶车辆102可以在不与地图系统104通信的情况下操作。附加地或替选地，环境100的一组设备和/或系统(例如，一个或多个设备或系统)可以执行被描述为由环境100的另一组设备或系统执行的一个或更多个功能。
现在参考图2，图2是用于车辆的说明性系统架构200的图示。自动驾驶车辆102可以包括与图2中所示的系统架构200相同或相似的系统架构。
如图2中所示，系统架构200可以包括发动机或电动机202以及用于测量车辆的各种参数的各种传感器204-218。在具有燃料动力发动机的燃气动力或混合动力车辆中，传感器可以包括例如发动机温度传感器204、电池电压传感器206、发动机每分钟转数(“RPM”)传感器208和/或节气门位置传感器210。在电动或混合动力车辆中，车辆可以具有电动机，并且可以具有传感器，诸如电池监测传感器212(例如，用于测量电池的电流、电压和/或温度)、电动机电流传感器214、电动机电压传感器216和/或电动机位置传感器218(诸如解析器(resolver)和编码器)。
系统架构200可以包括操作参数传感器，操作参数传感器可以是两种类型的车辆所共有的，并且可以包括例如：位置传感器236，诸如加速度计、陀螺仪和/或惯性测量单元；速度传感器238；和/或里程计传感器240。系统架构200可以包括时钟242，系统200使用时钟242在操作期间确定车辆时间。时钟242可以被编码到车辆车载计算设备220中，它可以是单独的设备，或者多个时钟可以是可用的。
系统架构200可以包括各种传感器，这些传感器进行操作以收集有关车辆运行和/或行驶的环境的信息。这些传感器可以包括例如：位置传感器260(例如，全球定位系统(“GPS”)设备)；物体检测传感器，诸如一个或多个相机262；LiDAR传感器系统264；和/或雷达和/或声纳系统266。传感器可以包括环境传感器268，诸如降水传感器和/或环境温度传感器。物体检测传感器可以使得系统架构200能够检测在车辆的任何方向上的给定距离范围内的物体，并且环境传感器268可以收集关于车辆的运行和/或行驶的区域内的环境状况的数据。
在系统架构200的操作期间，将信息从系统架构200中的传感器传送到车载计算设备220。车载计算设备220分析由传感器捕获的数据，并且基于分析结果可选地控制车辆的操作。例如，车载计算设备220可以经由制动控制器222来控制制动；经由转向控制器224来控制方向；经由节气门控制器226(例如，在燃气动力车辆中)或电动机速度控制器228(诸如电流水平控制器(例如，电动车辆中))来控制速度和加速度；差速齿轮控制器230(例如在具有变速器的车辆中)；和/或其他控制器(诸如辅助设备控制器254)。
可以将地理位置信息从位置传感器260传送到车载计算设备220，车载计算设备可以访问与位置信息相对应的环境的地图，以确定环境的已知固定特征，诸如街道、建筑物、停车标志和/或停车/行车信号。将来自相机262的捕获图像和/或从诸如LiDAR 264之类的传感器捕获的物体检测信息从这些传感器传送到车载计算设备220。物体检测信息和/或捕获图像被车载计算设备220处理，以检测在车辆附近的物体。用于基于传感器数据和/或捕获图像进行物体检测的任何已知或将要已知的技术都可以在本文档中公开的实施例中使用。
现在参考图3，图3是说明性LiDAR系统300的图示。图2中的LiDAR系统264可以与LiDAR系统300相同或基本上相似。
如图3中所示，LiDAR系统300可以包括壳体306，壳体306可以围绕中心轴线(诸如轮毂或轴316)可旋转360°。壳体306可以包括由对光透明的材料制成的发射器/接收器孔径312。尽管在图2中示出了单个孔径，但是本公开的非限制性实施例或方面在这方面不受限制。在其他情况下，可以提供用于发射和/或接收光的多个孔径。无论哪种方式，当壳体306围绕内部组件旋转时，LiDAR系统300都可以通过一个或多个孔径312发射光，并且接收朝向一个或多个孔径312反射回来的光。在替选方案中，壳体306的外壳(shell)可以是固定圆顶(dome)，至少部分地由对光透明的材料制成，其中在壳体306内部具有可旋转组件。
在旋转外壳或固定圆顶内部是光发射器系统304，该光发射器系统304被配置为并且被定位为经由一个或多个激光发射器芯片或其他发光器件、通过壳体306的孔径312或者通过透明圆顶来生成并且发射光脉冲。发射器系统304可以包括任意数量的各个发射器(例如，8个发射器、64个发射器、128个发射器等)。发射器可以发射基本上相同强度或不同强度的光。由光发射器系统304发射的各个光束可以具有在整个阵列上不相同的明确定义的偏振状态。作为示例，一些光束可以具有垂直偏振，并且其他光束可以具有水平偏振。LiDAR系统300可以包括光检测器308，该光检测器308包含被定位为并且被配置为接收反射回到系统中的光的光电检测器或光电检测器阵列。发射器系统304和光检测器308可以与旋转外壳一起旋转，或者发射器系统304和光检测器308可以在壳体306的固定圆顶内部旋转。一个或多个光学元件结构310可以被定位在发光单元304和/或光检测器308的前面，以用作聚焦并且引导穿过光学元件结构310的光的一个或多个透镜和/或波片。
一个或多个光学元件结构310可以被定位在反射镜的前面，以聚焦并且引导穿过光学元件结构310的光。如以下在本文中所描述的，LiDAR系统300可以包括光学元件结构310，该光学元件结构310被定位在反射镜的前面并且连接到LiDAR系统300的旋转元件，使得光学元件结构310与反射镜一起旋转。替选地或附加地，光学元件结构310可以包括多个这样的结构(例如，透镜、波片等)。在一些非限制性实施例或方面中，多个光学元件结构310可以以阵列形式布置在壳体306的外壳部分上或者与壳体306的外壳部分集成。
在一些非限制性实施例或方面中，每个光学元件结构310可以包括分束器，该分束器将系统接收到的光与系统生成的光分离。分束器可以包括例如四分之一波波片或半波波片，以执行分离并且确保接收到的光被引导到接收器单元而不是发射器系统(这可以在没有这样的波片的情况下发生，因为发射的光和接收到的光应该表现出相同或相似的偏振)。
LiDAR系统300可以包括为发光单元304、电动机316和电子部件供电的电源单元318。LiDAR系统300可以包括具有诸如处理器322和包含编程指令的非瞬态计算机可读存储器320之类的元件的分析器314，编程指令被配置为使得系统能够接收由光检测器单元收集的数据，分析该数据以测量所接收到的光的特性，并且生成信息，所连接的系统可以使用该信息来做出关于在从中收集数据的环境中操作的决定。分析器314可以如图所示地与LiDAR系统300集成，或者分析器314中的一些或全部可以在LiDAR系统300外部，并且经由有线和/或无线通信网络或链路通信地连接到LiDAR系统300。
现在参考图4，图4是计算设备400的说明性架构的图示。计算设备400可以对应于自动驾驶车辆102的一个或多个设备(例如，自动驾驶车辆102的系统的一个或多个设备)(例如，系统架构200的一个或多个设备等)和/或地图系统104的一个或多个设备。在一些非限制性实施例或方面中，自动驾驶车辆102的一个或多个设备(例如，自动驾驶车辆102的系统的一个或多个设备)(例如，系统架构200的一个或多个设备等)和/或地图系统104的一个或多个设备可以包括至少一个计算设备400和/或计算设备400的至少一个组件。
图4中所示的组件的数量和布置被提供作为示例。在一些非限制性实施例或方面中，与图4中所示的组件相比，计算设备400可以包括额外的组件、更少的组件、不同的组件、或不同布置的组件。附加地或替选地，计算设备400的一组组件(例如，一个或多个组件)可以执行被描述为由设备400的另一组组件执行的一个或多个功能。
如图4中所示，计算设备400包括用户接口402、中央处理单元(“CPU”)406、系统总线410、通过系统总线410连接到计算设备400的其他部分并且可由计算设备400的其他部分访问的存储器412、系统接口460以及连接到系统总线410的硬件实体414。用户接口402可以包括输入设备和输出设备，它们促进用于控制计算设备400的操作的用户-软件交互。输入设备可以包括但不限于物理和/或触摸键盘450。输入设备可以经由有线和/或无线连接(例如连接)连接到计算设备400。输出设备可以包括但不限于扬声器452、显示器454和/或发光二极管456。系统接口460被配置为促进与外部设备(例如，网络节点，诸如接入点等)进行有线和/或无线通信。
硬件实体414中的至少一些可以执行涉及访问和使用存储器412的动作，存储器412可以是随机存取存储器(“RAM”)、盘驱动器、闪存、紧凑盘只读存储器(“CD-ROM”)和/或能够存储指令和数据的其他硬件设备。硬件实体414可以包括盘驱动器单元416，该盘驱动器单元416包括计算机可读存储介质418，在该计算机可读存储介质418上存储被配置为实现本文中所描述的方法、过程或功能中的一个或多个的一组或多组指令420(例如，软件代码)。指令420、应用424和/或参数426也可以在由计算设备400执行和/或使用期间完全或至少部分地驻留在存储器412内和/或CPU 406内。存储器412和CPU 406可以包括机器可读介质。这里使用的术语“机器可读介质”可以是指存储一组或多组指令420的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关联的高速缓存和服务器)。这里使用的术语“机器可读介质”可以是指能够存储、编码或携带一组指令420以供计算设备400执行并且使得计算设备400执行本公开的方法中的任何一个或多个方法的任何介质。
现在参考图5，图5是用于从LiDAR数据检测道路标记点的处理500的非限制性实施例或方面的流程图。在一些非限制性实施例或方面中，处理500的一个或多个步骤可以由地图系统104(例如，地图系统104的一个或多个设备等)执行(例如，完全地、部分地等)。在一些非限制性实施例或方面中，处理500的一个或多个步骤可以由与地图系统104分离或包括地图系统104的另一设备或一组设备(诸如自动驾驶车辆102(例如，系统架构200等))执行(例如，完全地、部分地等)。
如图5中所示，在步骤502处，处理500包括获得LiDAR数据集。例如，自动驾驶车辆102和/或地图系统104可以获得由LiDAR系统(例如，LiDAR系统300等)生成的LiDAR数据集。LiDAR数据集可以定义与LiDAR系统的多个激光发射器相关联的多个点云。例如，每个点云可以与单个激光发射器相关联。对于点云中的每个点，LiDAR数据集可以定义相对于共同传感器坐标系(frame)的欧几里得X、Y和Z值、测量强度(例如，在0-255的尺度上等)、与测量强度相关联的时间、和/或用于获得测量强度的激光发射器的激光发射器编号或索引。
在一些非限制性实施例或方面中，多个LiDAR点云中的每个LiDAR点云对应于LiDAR系统300的单个360度扫描。例如，LiDAR数据集可以包括单个累积的LiDAR扫描，并且该扫描可以是运动补偿的并且提供围绕LiDAR系统300的场景的全360度覆盖。
在一些非限制性实施例或方面中，多个LiDAR点云的测量强度是未校准的强度。例如，由不同的LiDAR系统和/或不同的激光发射器/接收器在同一点测量的测量强度值可能在不进行校准的情况下在不同的LiDAR系统和/或不同的激光发射器/接收器之间变化。
如图5中所示，在步骤504处，处理500包括通过激光发射器关联来处理LiDAR数据集的点云。例如，对于多个激光发射器中的每个激光发射器，自动驾驶车辆102和/或地图系统104可以处理与该激光发射器相关联的多个点云中的点云。作为示例，由LiDAR数据集定义的点(例如，单个360度LiDAR扫描中的点等)可以基于起源(origin)的激光发射器被分离成不相交的集合。
在一些非限制性实施例或方面中，使用多线程和/或多处理分别并且并行地处理与多个激光发射器相关联的多个点云中的点云。例如，可以通过使用多线程分别并且并行地处理与每个激光发射器相关联的点。
下面参考图6提供了关于处理500的步骤504的非限制性实施例或方面的进一步细节，图6是用于从LiDAR数据检测道路标记点的处理600的非限制性实施例或方面的流程图。在一些非限制性实施例或方面中，处理600的一个或多个步骤可以由地图系统104(例如，地图系统104的一个或多个设备等)执行(例如，完全地、部分地等)。在一些非限制性实施例或方面中，处理600的一个或多个步骤可以由与地图系统104分离或包括地图系统104的另一设备或一组设备(诸如自动驾驶车辆102(例如，系统架构200等))执行(例如，完全地、部分地等)。
如图6中所示，在步骤602处，处理600包括对点云中的点进行排序。例如，对于多个激光发射器中的每个激光发射器，为了处理与该激光发射器相关联的多个点云中的点云，自动驾驶车辆102和/或地图系统104可以基于与点相关联的方位角、与点相关联的时间或其任意组合中的至少一个对点云中的点进行排序。作为示例，点云中的点可以被预排序成阵列，并且根据强度被测量时的方位角或强度被测量时的时间进行排序，以便获得测量强度的相干空间信号。在这样的示例中，阵列中的相邻点也是物理世界中的相邻测量。
如图6中所示，在步骤604处，处理600包括确定点云中的梯度边缘点。例如，对于点云中的每个点，自动驾驶车辆102和/或地图系统104可以基于该点处的强度梯度来确定该点是否对应于梯度边缘点。作为示例，对于点云中的每个点，自动驾驶车辆102和/或地图系统104可以基于点云中的包括该点和另一个点的相邻点对在该点处的强度梯度以及该相邻点对之间的强度的相对差来确定该点是否对应于梯度边缘点。作为示例，如果点云中的相邻点对中的点的强度梯度的绝对值(例如，相邻点之间的强度差的绝对值除以点之间的距离等)满足第一阈值(例如，强度的梯度在强度梯度阈值以上等)，并且相邻点之间的强度的相对差满足第二阈值(例如强度的相对差值在相对强度阈值以上等)，则自动驾驶车辆102和/或地图系统104可以确定点云中的相邻点对中的点对应于梯度边缘点。例如，并且如图7中所示，LiDAR系统300的单个360度扫描可以产生LiDAR系统300的单个激光发射器在从0到2π的点索引上的点云，并且点云中的每个点处的强度梯度可以被确定为该点和相邻点之间的强度差除以点之间的距离。根据相邻点的强度差，可以确定相邻点之一是否对应于梯度边缘。
如图6中所示，在步骤606处，处理600包括确定候选梯度边缘点对是否对应于道路标记。例如，自动驾驶车辆102和/或地图系统104可以基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定至少一个候选梯度边缘点对是否对应于道路标记边缘。作为示例，确定至少一个候选梯度边缘点对是否对应于道路标记边缘可以基于以下参数中的至少一个：点的内部段的角弧，点的内部段的欧几里得距离，点的内部段中的连续点之间的最大距离(例如，最大原始X、Y和Z距离，最大Z梯度距离等)，点的内部段中的点的最小强度，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比，点的内部段的平均内部强度与点的外部段的平均外部强度之间的差，点的内部段的标准偏差，或其任意组合。在这样的示例中，可以执行正和负梯度边缘点对之间的穷举搜索，以识别用于确定道路标记的候选梯度边缘点对。
在一些非限制性实施例或方面中，如果点的内部段的角弧满足第一阈值(例如，点的内部段的角弧小于角弧阈值等)，点的内部段的欧几里得距离满足第二阈值(例如，点的内部段的欧几里得距离小于欧几里得距离阈值等)，点的内部段中的连续点之间的最大距离满足第三阈值(例如，点的内部段中的连续点之间的最大距离小于最大距离阈值等)，点的内部段中的点的最小强度满足第四阈值(例如，点的内部段中的点的最小强度大于最小强度阈值等)，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比满足第五阈值(例如，内部/外部比大于内部/外部比阈值等)，点的内部段的平均内部强度和点的外部段的平均外部强度之间的差满足第六阈值(例如，内部/外部平均差大于内部/外部平均差阈值等)，以及点的内部段的标准偏差满足第七阈值(例如，点的内部段的标准偏差小于标准偏差阈值等)，则自动驾驶车辆102和/或地图系统104可以确定至少一个候选梯度边缘点对对应于道路标记边缘。
在一些非限制性实施例或方面中，可以基于候选梯度边缘点对之间的点的内部段中的点的数量来确定或缩放候选梯度边缘点对之外的点的外部段中的点的数量。例如，点的外部段中的最小数量的点可以被设定为两个点，并且随着点的内部段中的点的数量增加而按比例增加。
在一些非限制性实施例或方面中，候选边缘点对可以通过以下方式来选择：从点的预排序阵列的开头移动并且选择在阵列中识别的第一正梯度边缘点作为候选点对中的第一候选点，以及从点的预排序阵列的结尾移动并且选择在阵列中识别的第一负梯度边缘点作为候选点对中的第二候选点。如果候选点对被确定为不对应于道路标记边缘，则通过从阵列的结尾继续在阵列中移动来将下一个负梯度边缘点识别为第二候选端点。如果候选点对被确定为对应于道路标记边缘，则这些点之间的点可以被忽略，并且通过从阵列的开头继续在阵列中移动来将下一个正梯度边缘点识别为下一个候选点对中的第一候选点。
再次参考图5，在步骤506处，处理500包括聚集被确定为对应于道路标记边缘的候选梯度边缘点对。例如，自动驾驶车辆102和/或地图系统104可以根据对多个点云的处理(例如，根据对于每个激光发射器执行的步骤606的输出等)，聚集被确定为对应于道路标记边缘的候选梯度边缘点对。
如图5中所示，在步骤508处，处理500包括促进自动驾驶操作和生成地图中的至少一个。例如，自动驾驶车辆102和/或地图系统104可以使用被确定为对应于道路标记边缘的候选梯度边缘点对来生成和/或更新包括道路标记边缘的地图、促进自动驾驶车辆的至少一个自动驾驶操作或其任意组合中的至少一个。
图8是包括从LiDAR数据生成的道路标记边缘的示例地图800。例如，自动驾驶车辆102和/或地图系统104可以基于被确定为对应于道路标记边缘的候选梯度边缘点对来生成新地图和/或更新现有地图。地图800，无论它是新地图还是现有地图的更新，都可以显示在GUI上，诸如在自动驾驶车辆102的显示器454上填充的GUI。除了其他特征之外，地图还可以包括道路标记，其中至少道路标记边缘是通过处理500来生成和/或确定的。参考图8，这些道路标记可以包括限定车道802的边缘的实线、划分车道的虚线804、指示特定车道的特殊用途的专用道路标记806，在这种情况下是飞机形状的专用道路标记806，以指示通往机场的车道等等。
在一些非限制性实施例或方面中，自动驾驶车辆102和/或地图系统104可以基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆102所在的地理区域的3D LiDAR地图中定位自动驾驶车辆102。例如，自动驾驶车辆102和/或地图系统104可以将被确定为对应于道路标记边缘的候选梯度边缘点对与3D LiDAR地图中包括的道路标记边缘进行比较，以及基于在3D LiDAR地图中具有匹配边缘的边缘相对于用于捕获LiDAR数据集的自动驾驶车辆102的公共传感器坐标系的欧几里得X、Y和Z值，在3D LiDAR地图中定位自动驾驶车辆102。
尽管为了说明和描述的目的已经详细描述了实施例或方面，但是应当理解的是，这样的细节仅用于该目的，并且实施例或方面不限于所公开的实施例或方面，而是相反，旨在涵盖在所附权利要求的精神和范围内的修改和等同布置。例如，应当理解，本公开考虑到，在可能的范围内，任何实施例或方面的一个或多个特征可以与任何其他实施例或方面的一个或多个特征相结合。实际上，这些特征中的任何特征都可以以权利要求中未具体记载和/或说明书中未公开的方式进行组合。尽管下面列出的每个从属权利要求可以直接从属于仅一个权利要求，但是可能实现方式的公开包括每个从属权利要求与权利要求集合中的每个其他权利要求的组合。

Claims (20)

1.一种计算机实现的方法，包括：
获得由LiDAR系统生成的LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；
对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：
对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点；以及
基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘；
根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及
使用被确定为对应于道路标记边缘的候选梯度边缘点对来生成包括道路标记边缘的地图、促进自动驾驶车辆的至少一个自动驾驶操作或其任意组合中的至少一个。
2.根据权利要求1所述的计算机实现的方法，其中，对于所述多个激光发射器中的每个激光发射器，处理与该激光发射器相关联的所述多个点云中的点云还包括：
基于与点相关联的方位角、与点相关联的时间或其任意组合中的至少一个对点云中的点进行排序。
3.根据权利要求1和2中任一项所述的计算机实现的方法，其中，对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点还包括：
基于点云中的包括该点和另一个点的相邻点对在该点处的强度梯度以及所述相邻点对之间的强度的相对差，确定该点是否对应于梯度边缘点。
4.根据权利要求1-3中任一项所述的计算机实现的方法，其中，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘是基于以下参数中的至少一个：点的内部段的角弧，点的内部段的欧几里得距离，点的内部段中的连续点之间的最大距离，点的内部段中的点的最小强度，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比，点的内部段的平均内部强度与点的外部段的平均外部强度之间的差，点的内部段的标准偏差，或其任意组合。
5.根据权利要求1-4中任一项所述的计算机实现的方法，其中，使用多线程分别且并行地处理与所述多个激光发射器相关联的所述多个点云中的点云。
6.根据权利要求1-5中任一项所述的计算机实现的方法，其中，所述多个LiDAR点云中的每个LiDAR点云对应于所述LiDAR系统的单个360度扫描。
7.根据权利要求1-6中任一项所述的计算机实现的方法，还包括：
基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆所在的地理区域的3D LiDAR地图中定位自动驾驶车辆。
8.一种系统，包括：
一个或多个处理器，所述一个或多个处理器被编程和/或被配置为：
获得由LiDAR系统生成的LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；
对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：
对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点；以及
基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边点对是否对应于道路标记边缘；
根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及
使用被确定为对应于道路标记边缘的候选梯度边缘点对来生成包括道路标记边缘的地图、促进自动驾驶车辆的至少一个自动驾驶操作或其任意组合中的至少一个。
9.根据权利要求8所述的系统，其中，所述一个或多个处理器还被编程和/或被配置为对于所述多个激光发射器中的每个激光发射器，通过以下方式来处理与该激光发射器相关联的所述多个点云中的点云：
基于与点相关联的方位角、与点相关联的时间或其任意组合中的至少一个对点云中的点进行排序。
10.根据权利要求8和9中任一项所述的系统，其中，对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点还包括：
基于点云中的包括该点和另一个点的相邻点对在该点处的强度梯度以及所述相邻点对之间的强度的相对差，确定该点是否对应于梯度边缘点。
11.根据权利要求8-10中任一项所述的系统，其中，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘是基于以下参数中的至少一个：点的内部段的角弧，点的内部段的欧几里得距离，点的内部段中的连续点之间的最大距离，点的内部段中的点的最小强度，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比，点的内部段的平均内部强度与点的外部段的平均外部强度之间的差，点的内部段的标准偏差，或其任意组合。
12.根据权利要求8-11中任一项所述的系统，其中，所述一个或多个处理器还被编程和/或被配置为使用多线程分别且并行地处理与所述多个激光发射器相关联的所述多个点云中的点云。
13.根据权利要求8-12中任一项所述的系统，其中，所述多个LiDAR点云中的每个LiDAR点云对应于所述LiDAR系统的单个360度扫描。
14.根据权利要求8-13中任一项所述的系统，其中，所述一个或多个处理器还被编程和/或被配置为：
基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆所在的地理区域的3D LiDAR地图中定位自动驾驶车辆。
15.一种自动驾驶车辆，包括：
LiDAR系统，所述LiDAR系统被配置为生成LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；以及
计算设备，所述计算设备被编程和/或被配置为：
获得由LiDAR系统生成的LiDAR数据集，所述LiDAR数据集定义了与所述LiDAR系统的多个激光发射器相关联的多个点云；
对于所述多个激光发射器中的每个激光发射器，通过以下方式处理与该激光发射器相关联的所述多个点云中的点云：
对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点；以及
基于在至少一个候选梯度边缘点对之间的点的内部段中的点的强度和在所述至少一个候选梯度边缘点对之外的点的外部段中的点的强度，确定所述至少一个候选梯度边点对是否对应于道路标记边缘；
根据对所述多个点云的处理，聚集被确定为对应于道路标记边缘的候选梯度边缘点对；以及
基于被确定为对应于道路标记边缘的候选梯度边缘点对，在自动驾驶车辆所在的地理区域的3D LiDAR地图中定位自动驾驶车辆。
16.根据权利要求15所述的自动驾驶车辆，其中，所述计算设备还被编程和/或被配置为对于所述多个激光发射器中的每个激光发射器，通过以下方式来处理与该激光发射器相关联的所述多个点云中的点云：
基于与点相关联的方位角、与点相关联的时间或其任意组合中的至少一个对点云中的点进行排序。
17.根据权利要求15和16中任一项所述的自动驾驶车辆，其中，对于点云中的每个点，基于该点处的强度梯度来确定该点是否对应于梯度边缘点还包括：
基于点云中的包括该点和另一个点的相邻点对在该点处的强度梯度以及所述相邻点对之间的强度的相对差，确定该点是否对应于梯度边缘点。
18.根据权利要求15-17中任一项所述的自动驾驶车辆，其中，确定所述至少一个候选梯度边缘点对是否对应于道路标记边缘是基于以下参数中的至少一个：点的内部段的角弧，点的内部段的欧几里得距离，点的内部段中的连续点之间的最大距离，点的内部段中的点的最小强度，点的内部段中的点的最小强度与点的内部段中的点的最大强度之比，点的内部段的平均内部强度与点的外部段的平均外部强度之间的差，点的内部段的标准偏差，或其任意组合。
19.根据权利要求15-18中任一项所述的自动驾驶车辆，其中，所述一个或多个处理器还被编程和/或被配置为使用多线程分别且并行地处理与所述多个激光发射器相关联的所述多个点云中的点云。
20.根据权利要求15-19中任一项所述的自动驾驶车辆，其中，所述多个LiDAR点云中的每个LiDAR点云对应于所述LiDAR系统的单个360度扫描。
CN202180086502.9A 2020-12-21 2021-12-16 用于从lidar数据检测道路标记点的系统、方法和计算机程序产品 Pending CN116635746A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/128,946 US11834065B2 (en) 2020-12-21 2020-12-21 System, method, and computer program product for detecting road marking points from LiDAR data
US17/128,946 2020-12-21
PCT/US2021/063766 WO2022140148A1 (en) 2020-12-21 2021-12-16 System, method, and computer program product for detecting road marking points from lidar data

Publications (1)

Publication Number Publication Date
CN116635746A true CN116635746A (zh) 2023-08-22

Family

ID=82024035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180086502.9A Pending CN116635746A (zh) 2020-12-21 2021-12-16 用于从lidar数据检测道路标记点的系统、方法和计算机程序产品

Country Status (4)

Country Link
US (1) US11834065B2 (zh)
EP (1) EP4264327A1 (zh)
CN (1) CN116635746A (zh)
WO (1) WO2022140148A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115840227B (zh) * 2023-02-27 2023-07-04 福思(杭州)智能科技有限公司 道路边缘的检测方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8699755B2 (en) 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity
US9990535B2 (en) * 2016-04-27 2018-06-05 Crown Equipment Corporation Pallet detection using units of physical length
US10845820B2 (en) 2016-12-30 2020-11-24 DeepMap Inc. Route generation using high definition maps for autonomous vehicles
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization
US10664974B2 (en) 2018-02-23 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for object detection using edge characteristics
TWI690439B (zh) 2018-11-01 2020-04-11 財團法人車輛研究測試中心 道路標線之光達偵測方法及其系統
US11555903B1 (en) * 2018-11-30 2023-01-17 Zoox, Inc. Sensor calibration using dense depth maps
US11221399B2 (en) * 2018-12-12 2022-01-11 Waymo Llc Detecting spurious objects for autonomous vehicles
JP7127071B2 (ja) 2019-01-30 2022-08-29 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド 自動運転車のための地図区画システム
US11482008B2 (en) * 2019-07-05 2022-10-25 Nvidia Corporation Directing board repositioning during sensor calibration for autonomous vehicles
CN110673107B (zh) 2019-08-09 2022-03-08 北京智行者科技有限公司 基于多线激光雷达的路沿检测方法及装置
US11567207B2 (en) * 2019-08-16 2023-01-31 Oregon State University Apparatus and method for efficient point cloud feature extraction and segmentation framework
JP2023532482A (ja) * 2020-06-24 2023-07-28 モービルアイ ビジョン テクノロジーズ リミテッド 開いている扉を検出するためのシステムおよび方法
US20220051094A1 (en) * 2020-08-14 2022-02-17 Nvidia Corporation Mesh based convolutional neural network techniques
US20220122363A1 (en) * 2020-10-21 2022-04-21 Motional Ad Llc IDENTIFYING OBJECTS USING LiDAR

Also Published As

Publication number Publication date
US20220194413A1 (en) 2022-06-23
EP4264327A1 (en) 2023-10-25
WO2022140148A1 (en) 2022-06-30
US11834065B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
JP7297017B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
El-Sheimy et al. Indoor navigation: State of the art and future trends
US10739459B2 (en) LIDAR localization
US11255974B2 (en) Method of determining position of vehicle and vehicle using the same
US11340355B2 (en) Validation of global navigation satellite system location data with other sensor data
EP3327464B1 (en) Algorithm and infrastructure for robust and efficient vehicle localization
EP3570061B1 (en) Drone localization
US20190147320A1 (en) "Matching Adversarial Networks"
US11726208B2 (en) Autonomous vehicle localization using a Lidar intensity map
WO2019068235A1 (en) METHOD FOR PREDICTING A STATE OF AN OBJECT IN THE ENVIRONMENT USING A MODEL OF ACTION OF A NEURONAL NETWORK
US20220244067A1 (en) Submap geographic projections
US11668573B2 (en) Map selection for vehicle pose system
US20220065657A1 (en) Systems and methods for vehicle mapping and localization using synthetic aperture radar
US20210318419A1 (en) Lidar intensity calibration
Moras et al. Drivable space characterization using automotive lidar and georeferenced map information
CN116348739A (zh) 基于光线投射和语义类图像的地图生成系统和方法
CN116635746A (zh) 用于从lidar数据检测道路标记点的系统、方法和计算机程序产品
US20220242440A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
CN117716312A (zh) 用于解决自主车辆的雷达系统的层次模糊性的方法、系统和计算机程序产品
US20230074860A1 (en) Machine learning-based point cloud alignment classification
US11698270B2 (en) Method, system, and computer program product for iterative warping of maps for autonomous vehicles and simulators
Mohammed In vehicle smartphone based position estimates on urban roads for lane departures using road level GIS information
KR20230057273A (ko) 동시 온라인 라이다 강도 교정 및 도로 표시 변경 검출을 위한 시스템 및 방법
CN117109628A (zh) 使用运动捕获传感器数据的组件标定

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination