CN115294544A - 驾驶场景分类方法、装置、设备及存储介质 - Google Patents
驾驶场景分类方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115294544A CN115294544A CN202211066942.0A CN202211066942A CN115294544A CN 115294544 A CN115294544 A CN 115294544A CN 202211066942 A CN202211066942 A CN 202211066942A CN 115294544 A CN115294544 A CN 115294544A
- Authority
- CN
- China
- Prior art keywords
- data
- driving
- road
- scene
- driving scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 claims description 30
- 230000007613 environmental effect Effects 0.000 claims description 25
- 238000013461 design Methods 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009469 supplementation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种驾驶场景分类方法、装置、设备及存储介质，涉及自动驾驶技术领域，该驾驶场景分类方法包括：获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据；基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据；基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据；根据道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。本申请能够大大提高驾驶场景分类的效率。
Description
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种驾驶场景分类方法、装置、设备及存储介质。
背景技术
随着自动驾驶技术的发展，自动驾驶车辆逐渐得到发展和应用。自动驾驶车辆利用多传感器融合感知道路环境，结合高精定位技术和高精地图技术进行全局驾驶路径规划，通过决策控制系统代替驾驶员的操控，来自动地驾驶车辆。其中，为提高自动驾驶能力，降低安全风险，通过对驾驶场景进行分类来累积驾驶场景数据在自动驾驶领域至关重要。
目前，在对驾驶场景进行分类的时候，通常是对采集的驾驶场景数据，采用人工标注的方式进行驾驶场景分类，得到采集的驾驶场景数据对应的驾驶场景，从而累积驾驶场景经验数据，用于自动驾驶算法的研发迭代和测试验证。但是，通过上述人工标注的方式进行驾驶场景分类的效率低。
发明内容
本申请提供一种驾驶场景分类方法、装置、设备及存储介质，以解决通过人工标注的方式进行驾驶场景分类的效率低的问题。
第一方面，本申请提供一种驾驶场景分类方法，包括：
获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据；
基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据；
基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据；
根据道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。
可选的，地图包括导航地图和高精地图，道路数据包括第一道路数据和第二道路数据，基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据，包括：基于行驶轨迹，获取导航地图中与行驶轨迹匹配的道路的道路标识信息；根据道路标识信息，从导航地图获取第一道路数据，和/或，根据道路标识信息，从高精地图获取第二道路数据。
可选的，基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据，包括：针对每一帧图像和图像对应的点云数据，进行目标检测和分类，识别车辆的行驶环境，得到车辆的环境数据，环境数据包括静态要素信息、动态要素信息和环境信息中的至少一种。
可选的，确定驾驶场景数据对应的驾驶场景之后，该驾驶场景分类方法还包括：基于预设驾驶场景设计，根据道路数据和环境数据对驾驶场景数据进行筛选，获取人工场景分类作业数据；将人工场景分类作业数据分包派发至作业人员。
可选的，将人工场景分类作业数据分包派发至作业人员之后，该驾驶场景分类方法还包括：获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第一标签数据，第一标签数据包括环境信息、道路信息、交通设施以及施工作业中的至少一种；根据第一标签数据对应的标签时间，将第一标签数据关联至驾驶场景数据。
可选的，将人工场景分类作业数据分包派发至作业人员之后，该驾驶场景分类方法还包括：获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第二标签数据，第二标签数据包括自车驾驶行为和障碍物目标驾驶行为；根据第二标签数据对应的标签时间，将第二标签数据关联至驾驶场景数据。
可选的，获取车辆行驶过程中的驾驶场景数据，包括：对驾驶场景数据进行解析处理，获得解析成功的驾驶场景数据；对解析成功的驾驶场景数据进行数据质量检查处理，获得数据质量检查处理后的驾驶场景数据。
第二方面，本申请提供一种驾驶场景分类装置，包括：
第一获取模块，用于获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据；
第二获取模块，用于基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据；
第一处理模块，用于基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据；
确定模块，用于根据道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。
可选的，地图包括导航地图和高精地图，道路数据包括第一道路数据和第二道路数据，第二获取模块具体用于：基于行驶轨迹，获取导航地图中与行驶轨迹匹配的道路的道路标识信息；根据道路标识信息，从导航地图获取第一道路数据，和/或，根据道路标识信息，从高精地图获取第二道路数据。
可选的，第一处理模块具体用于：针对每一帧图像和图像对应的点云数据，进行目标检测和分类，识别车辆的行驶环境，得到车辆的环境数据，环境数据包括静态要素信息、动态要素信息和环境信息中的至少一种。
可选的，该驾驶场景分类装置还包括第二处理模块，用于确定模块确定驾驶场景数据对应的驾驶场景之后，基于预设驾驶场景设计，根据道路数据和环境数据对驾驶场景数据进行筛选，获取人工场景分类作业数据；将人工场景分类作业数据分包派发至作业人员。
可选的，第二处理模块还用于：将人工场景分类作业数据分包派发至作业人员之后，获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第一标签数据，第一标签数据包括环境信息、道路信息、交通设施以及施工作业中的至少一种；根据第一标签数据对应的标签时间，将第一标签数据关联至驾驶场景数据。
可选的，第二处理模块还用于：将人工场景分类作业数据分包派发至作业人员之后，获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第二标签数据，第二标签数据包括自车驾驶行为和障碍物目标驾驶行为；根据第二标签数据对应的标签时间，将第二标签数据关联至驾驶场景数据。
可选的，第一获取模块具体用于：获取车辆行驶过程中的驾驶场景数据之后，对驾驶场景数据进行解析处理，获得解析成功的驾驶场景数据；对解析成功的驾驶场景数据进行数据质量检查处理，获得数据质量检查处理后的驾驶场景数据。
第三方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现如本申请第一方面所述的驾驶场景分类方法。
第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序指令，计算机程序指令被处理器执行时，实现如本申请第一方面所述的驾驶场景分类方法。
第五方面，本申请提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如本申请第一方面所述的驾驶场景分类方法。
本申请提供的驾驶场景分类方法、装置、设备及存储介质，通过获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据；基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据；基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据；实现自动获得道路数据和环境数据，而不需要通过人工标注的方式来得到道路数据和环境数据，进而根据道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。因此，能够大大提高驾驶场景分类的效率，降低人工成本，获得的对应有驾驶场景的驾驶场景数据能够有效地用于提升自动驾驶技术能力。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的应用场景示意图；
图2为本申请一实施例提供的驾驶场景分类方法的流程图；
图3为本申请一实施例提供的驾驶场景的图像的示意图；
图4为本申请一实施例提供的驾驶场景的图像对应的点云数据的示意图；
图5为本申请另一实施例提供的驾驶场景分类方法的流程图；
图6为本申请一实施例提供的驾驶场景分类装置的结构示意图；
图7为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的技术方案中，所涉及的金融数据或用户数据等信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
随着自动驾驶车辆的发展和应用，目前的L2.5-L4级别的自动驾驶车辆的自动驾驶能力仅限于部分道路场景行驶，操作主体由“人的驾驶”到“人机共驾”再到“自动驾驶”逐渐转移。如何让自动驾驶能力代替更多人的驾驶场景，需要累积大量驾驶场景数据，通过机器学习和深度学习技术不断提高自动驾能力。道路在不同的驾驶场景具有多样性，比如道路等级、道路结构、行驶速度、交通参与者和静态障碍物等。为提高自动驾驶能力，降低安全风险，通过对驾驶场景进行分类来累积驾驶场景数据在自动驾驶领域至关重要。而目前通过人工标注的方式进行驾驶场景分类，存在驾驶场景分类的效率低的问题。
基于上述问题，本申请提供一种驾驶场景分类方法、装置、设备及存储介质，通过获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和点云数据，基于驾驶场景数据自动进行驾驶场景分类，添加更多的环境信息、道路信息、交通设施以及交通参与者相关信息，从而累积驾驶场景经验数据，能够大大提高驾驶场景分类的效率，进而将驾驶场景数据用于自动驾驶算法的研发迭代和测试验证，以提高自动驾驶技术能力。
以下，首先对本申请提供的方案的应用场景进行示例说明。
图1为本申请一实施例提供的应用场景示意图。如图1所示，本应用场景中，通过车辆101的采集设备(图1中未示出)，采集车辆101在道路103上行驶过程中的驾驶场景数据，采集设备可以包括但不限于相机、雷达、全球导航卫星系统(Global NavigationSatellite System，GNSS)等。车辆101将采集的驾驶场景数据发送至服务器集群102，其中，服务器集群102包括多个服务器1021和存储器1022。服务器1021用于基于采集的驾驶场景数据，进行驾驶场景分类，确定采集的驾驶场景数据对应的驾驶场景，即获得了驾驶场景分类的结果数据，将该结果数据存储在存储器1022中。
需要说明的是，图1仅是本申请实施例提供的一种应用场景的示意图，本申请实施例不对图1中包括的设备进行限定，也不对图1中设备之间的位置关系进行限定。
下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图2为本申请一实施例提供的驾驶场景分类方法的流程图。本申请实施例的方法可以应用于电子设备中，该电子设备可以是服务器或服务器集群等。如图2所示，本申请实施例的方法包括：
S201、获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据。
该步骤中，车辆行驶过程中的驾驶场景数据比如是其它设备向执行本方法实施例的电子设备发送的。具体地，其它设备包括但不限于众包车辆、采集车辆、测试车辆等，用于采集车辆行驶过程中的驾驶场景数据。具体地，以众包车辆为例，众包车辆可以通过以下三个步骤来采集众包车辆行驶过程中的驾驶场景数据：
第一步，对众包车辆的采集设备进行标定和设置，配置采集设备；其中，采集设备可以理解为传感器，传感器包括但不限于相机、雷达、GNSS等。为确保车辆行驶过程中的驾驶场景数据采集的质量，需要对采集设备进行标定和设置，具体比如包括对不同传感器之间坐标系的转换配置、设备内外参配置、传感器帧率设置以及数据存储帧率设置等，以满足对采集到的驾驶场景数据的解析和使用需求。其中，比如可以通过三维和二维投影的转换方法来对不同传感器之间的坐标系进行转换，具体的三维和二维投影的转换方法可参考目前相关技术，此处不再赘述；设备内外参配置比如为相机的安装角、相机的焦距以及自车坐标系等相关参数配置；传感器帧率设置比如为驾驶场景的图像的帧率设置以及图像对应的点云数据的帧率设置。
第二步，众包车辆采集众包车辆行驶过程中的驾驶场景数据，驾驶场景数据离线存储落盘；通过众包车辆进行驾驶场景数据采集，采集的驾驶场景数据存储在众包车辆上的可移动离线存储设备中，可移动离线存储设备包括但不限于磁盘阵列、机械硬盘、移动硬盘等。
第三步，众包车辆将采集的驾驶场景数据打包，将打包后的驾驶场景数据同步至执行本方法实施例的电子设备，执行本方法实施例的电子设备可以理解为数据中心，相应地，执行本方法实施例的电子设备可以获取到车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据。
可选的，获取车辆行驶过程中的驾驶场景数据，可以包括：对驾驶场景数据进行解析处理，获得解析成功的驾驶场景数据；对解析成功的驾驶场景数据进行数据质量检查处理，获得数据质量检查处理后的驾驶场景数据。
可以理解，执行本方法实施例的电子设备在获取到驾驶场景数据后，可以对驾驶场景数据进行解析处理，获得解析成功的驾驶场景数据。对于解析失败的驾驶场景数据，需要通过上述三个步骤来重新获取车辆行驶过程中的驾驶场景数据。对解析成功的驾驶场景数据可以进行数据质量检查处理，获得数据质量检查处理后的驾驶场景数据，若数据质量检查的结果为检查失败，则需要通过上述三个步骤来重新获取车辆行驶过程中的驾驶场景数据。
示例性地，图3为本申请一实施例提供的驾驶场景的图像的示意图，如图3所示，示出了驾驶场景的图像，其中，车辆在道路上行驶，道路上有红绿灯。图4为本申请一实施例提供的驾驶场景的图像对应的点云数据的示意图，如图4所示，示出了驾驶场景的图像对应的点云数据。
S202、基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据。
该步骤中，在获得了车辆的行驶轨迹后，可以基于车辆的行驶轨迹，进行地图匹配，获取地图中与行驶轨迹匹配的道路对应的道路数据。其中，道路数据包括但不限于道路等级、道路结构、车道数量和车道限速等。对于具体如何基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据，可参考后续实施例，此处不再赘述。
S203、基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据。
该步骤中，在获得了驾驶场景的图像和图像对应的点云数据后，可以基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据。其中，环境数据包括但不限于天气、季节、光照条件、标牌、红绿灯、地面标识、锥桶、障碍物、车辆和行人等。对于具体如何基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据，可参考后续实施例，此处不再赘述。
需要说明的是，本申请不对S202和S203步骤执行的先后顺序进行限定。
S204、根据道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。
可以理解，在获得了道路数据和环境数据，可以将相同时刻的道路数据和环境数据进行关联，来确定驾驶场景数据对应的驾驶场景。
进一步地，可选的，根据同一时刻的道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。
示例性地，比如根据道路数据，确定车辆当前所处的道路为十字路口，根据与道路数据同一时刻的环境数据，可以得到该十字路口处对应的天气、红绿灯、地面标识、车辆和行人等环境数据，进而可以确定驾驶场景数据对应的驾驶场景。
在获得了驾驶场景数据对应的驾驶场景后，即积累了驾驶场景数据，可以将对应有驾驶场景的驾驶场景数据用于自动驾驶算法的研发迭代和测试验证，以提高自动驾驶技术能力。
本申请实施例提供的驾驶场景分类方法，通过获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据；基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据；基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据；实现自动获得道路数据和环境数据，而不需要通过人工标注的方式来得到道路数据和环境数据，进而根据道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。因此，能够大大提高驾驶场景分类的效率，降低人工成本，获得的对应有驾驶场景的驾驶场景数据能够有效地用于提升自动驾驶技术能力。
图5为本申请另一实施例提供的驾驶场景分类方法的流程图。在上述实施例的基础上，本申请实施例对驾驶场景分类方法进行进一步说明。如图5所示，本申请实施例的方法可以包括：
S501、获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据。
该步骤的具体描述可以参见图2所示实施例中S201的相关描述，此处不再赘述。
考虑到地图包括导航地图和高精地图，道路数据包括第一道路数据和第二道路数据，本申请实施例中，图2中S202步骤可以进一步包括如下的S502和S503两个步骤：
S502、基于行驶轨迹，获取导航地图中与行驶轨迹匹配的道路的道路标识信息。
示例性地，可以通过GNSS卫星信号获取全球定位系统(Global PositioningSystem，GPS)数据，即得到车辆的行驶轨迹；基于车辆的行驶轨迹，可以通过导航地图提供的地图匹配接口，获取GPS点(即当前自车的位置)在导航地图中对应道路的道路标识信息(比如用linkID表示)，即获得了获取导航地图中与行驶轨迹匹配的道路的道路标识信息。
S503、道路数据包括第一道路数据和第二道路数据，根据道路标识信息，从导航地图获取第一道路数据，和/或，根据道路标识信息，从高精地图获取第二道路数据。
示例性地，在获得了道路标识信息后，可以根据道路标识信息，通过导航地图提供的获取道路数据的接口来直接获取第一道路数据；可以根据道路标识信息，通过高精地图提供的获取道路数据的接口来直接获取第二道路数据。可以理解，从导航地图获取的第一道路数据和从高精地图获取的第二道路数据，为不同维度的道路数据。
本申请实施例中，图2中S203步骤可以进一步包括如下的S504步骤：
S504、针对每一帧图像和图像对应的点云数据，进行目标检测和分类，识别车辆的行驶环境，得到车辆的环境数据。
其中，环境数据包括静态要素信息、动态要素信息和环境信息中的至少一种。
该步骤中，场景分类算法比如为自动感知识别算法和分类算法。具体地，可以通过深度学习模型算法，比如目标检测算法、语义分割算法和图像分类算法对每一帧图像和图像对应的点云数据进行推理，获取环境数据，其中，环境数据包括静态要素信息、动态要素信息和环境信息中的至少一种。具体地，环境数据包括但不限于天气、季节、光照条件、标牌、红绿灯、地面标识、锥桶、障碍物、车辆和行人等。其中，静态要素信息比如为标牌、地面标识、锥桶、障碍物，动态要素信息比如为红绿灯、车辆和行人，环境信息比如为天气、季节、光照条件。
S505、基于预设驾驶场景设计，根据道路数据和环境数据对驾驶场景数据进行筛选，获取人工场景分类作业数据。
该步骤中，道路数据包括第一道路数据和第二道路数据，在获得了道路数据和环境数据后，可以基于预设驾驶场景设计，对道路数据和环境数据进行筛选，以确定是否还需要人工补充进行精细化的数据标注。基于筛选结果，对于需要人工补充进行精细化的数据标注的驾驶场景数据，则获取人工场景分类作业数据。其中，预设驾驶场景设计包括常规场景设计、法律法规的场景设计、自动驾驶功能场景设计、行车安全场景设计以及极端危险场景设计中的至少一种。可以理解，不同的预设驾驶场景设计对应有不同的道路数据和环境数据。可选的，若对道路数据和环境数据筛选失败，则执行S301步骤，即重新获取车辆行驶过程中的驾驶场景数据。
S506、将人工场景分类作业数据分包派发至作业人员。
该步骤中，在获得了人工场景分类作业数据后，可以对人工场景分类作业数据进行数据提取和数据分包，将分包后的人工场景分类作业数据派发至作业人员。
S507、获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第一标签数据。
其中，第一标签数据包括环境信息、道路信息、交通设施以及施工作业中的至少一种。
示例性地，作业人员在接收到分包后的人工场景分类作业数据后，参考分包后的人工场景分类作业数据中的图像和点云数据进行详细打标。具体地，通过观察显示的图像和图像对应的点云数据，添加要素和场景标签，即标注第一标签数据，第一标签数据包括环境信息、道路信息、交通设施以及施工作业中的至少一种。
S508、根据第一标签数据对应的标签时间，将第一标签数据关联至驾驶场景数据。
可以理解，人工标注的第一标签数据对应有标签时间，因此，可以根据第一标签数据对应的标签时间，将第一标签数据关联至驾驶场景数据。
S509、获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第二标签数据。
其中，第二标签数据包括自车驾驶行为和障碍物目标驾驶行为。
示例性地，作业人员在接收到分包后的人工场景分类作业数据后，参考分包后的人工场景分类作业数据中的图像和点云数据进行详细打标。具体地，通过观察显示的图像和图像对应的点云数据，添加要素和场景标签，即标注第二标签数据，第二标签数据包括自车驾驶行为和障碍物目标驾驶行为。
需要说明的是，本申请不对S507和S509步骤执行的先后顺序进行限定。
S510、根据第二标签数据对应的标签时间，将第二标签数据关联至驾驶场景数据。
可以理解，人工标注的第二标签数据对应有标签时间，因此，可以根据第二标签数据对应的标签时间，将第二标签数据关联至驾驶场景数据。
S511、根据道路数据、环境数据、第一标签数据和第二标签数据，确定驾驶场景数据对应的驾驶场景。
该步骤中，可以根据同一时刻的道路数据、环境数据、第一标签数据和第二标签数据，确定驾驶场景数据对应的驾驶场景。其中，已经获得的道路数据、环境数据、第一标签数据和第二标签数据可以理解为标签成果数据，可以将标签成果数据进行统一入库数据处理，作为累积的场景标签经验数据，用于自动驾驶算法的研发迭代和测试验证。
本申请实施例提供的驾驶场景分类方法，通过获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据；基于行驶轨迹，获取导航地图中与行驶轨迹匹配的道路的道路标识信息，根据道路标识信息，从导航地图获取第一道路数据，和/或，根据道路标识信息，从高精地图获取第二道路数据；针对每一帧图像和图像对应的点云数据，进行目标检测和分类，识别车辆的行驶环境，得到车辆的环境数据；实现自动获得道路数据和环境数据；基于预设驾驶场景设计，根据道路数据和环境数据对驾驶场景数据进行筛选，获取人工场景分类作业数据，进行人工精细化的数据标注，来获得满足预设驾驶场景设计的标注数据，而不需要人工对所有的驾驶场景数据进行标注，进而根据道路数据、环境数据、人工标注的第一标签数据和第二标签数据，确定驾驶场景数据对应的驾驶场景。因此，能够大大提高驾驶场景分类的效率，获得的对应有驾驶场景的驾驶场景数据能够有效地用于提升自动驾驶技术能力。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图6为本申请一实施例提供的驾驶场景分类装置的结构示意图，如图6所示，本申请实施例的驾驶场景分类装置600包括：第一获取模块601、第二获取模块602、第一处理模块603和确定模块604。其中：
第一获取模块601，用于获取车辆行驶过程中的驾驶场景数据，驾驶场景数据包括车辆的行驶轨迹、驾驶场景的图像和图像对应的点云数据。
第二获取模块602，用于基于行驶轨迹，获取地图中与行驶轨迹匹配的道路对应的道路数据。
第一处理模块603，用于基于图像和图像对应的点云数据，识别车辆的行驶环境，得到车辆的环境数据。
确定模块604，用于根据道路数据和环境数据，确定驾驶场景数据对应的驾驶场景。
在一些实施例中，地图包括导航地图和高精地图，道路数据包括第一道路数据和第二道路数据，第二获取模块602可以具体用于：基于行驶轨迹，获取导航地图中与行驶轨迹匹配的道路的道路标识信息；根据道路标识信息，从导航地图获取第一道路数据，和/或，根据道路标识信息，从高精地图获取第二道路数据。
在一些实施例中，第一处理模块603可以具体用于：针对每一帧图像和图像对应的点云数据，进行目标检测和分类，识别车辆的行驶环境，得到车辆的环境数据，环境数据包括静态要素信息、动态要素信息和环境信息中的至少一种。
在一些实施例中，该驾驶场景分类装置600还可以包括第二处理模块605，用于确定模块确定驾驶场景数据对应的驾驶场景之后，基于预设驾驶场景设计，根据道路数据和环境数据对驾驶场景数据进行筛选，获取人工场景分类作业数据；将人工场景分类作业数据分包派发至作业人员。
可选的，第二处理模块605还可以用于：将人工场景分类作业数据分包派发至作业人员之后，获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第一标签数据，第一标签数据包括环境信息、道路信息、交通设施以及施工作业中的至少一种；根据第一标签数据对应的标签时间，将第一标签数据关联至驾驶场景数据。
可选的，第二处理模块605还可以用于：将人工场景分类作业数据分包派发至作业人员之后，获取作业人员参考人工场景分类作业数据中的图像和点云数据标注的第二标签数据，第二标签数据包括自车驾驶行为和障碍物目标驾驶行为；根据第二标签数据对应的标签时间，将第二标签数据关联至驾驶场景数据。
在一些实施例中，第一获取模块601可以具体用于：获取车辆行驶过程中的驾驶场景数据之后，对驾驶场景数据进行解析处理，获得解析成功的驾驶场景数据；对解析成功的驾驶场景数据进行数据质量检查处理，获得数据质量检查处理后的驾驶场景数据。
本实施例的装置，可以用于执行上述任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图7为本申请一实施例提供的电子设备的结构示意图。示例性地，电子设备可以被提供为一服务器或计算机。参照图7，电子设备700包括处理组件701，其进一步包括一个或多个处理器，以及由存储器702所代表的存储器资源，用于存储可由处理组件701的执行的指令，例如应用程序。存储器702中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件701被配置为执行指令，以执行上述任一方法实施例。
电子设备700还可以包括一个电源组件703被配置为执行电子设备700的电源管理，一个有线或无线网络接口704被配置为将电子设备700连接到网络，和一个输入输出(I/O)接口705。电子设备700可以操作基于存储在存储器702的操作系统，例如WindowsServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上驾驶场景分类方法的方案。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上的驾驶场景分类方法的方案。
上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits，ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于驾驶场景分类装置中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种驾驶场景分类方法，其特征在于，包括：
获取车辆行驶过程中的驾驶场景数据，所述驾驶场景数据包括所述车辆的行驶轨迹、驾驶场景的图像和所述图像对应的点云数据；
基于所述行驶轨迹，获取地图中与所述行驶轨迹匹配的道路对应的道路数据；
基于所述图像和所述图像对应的点云数据，识别所述车辆的行驶环境，得到所述车辆的环境数据；
根据所述道路数据和所述环境数据，确定所述驾驶场景数据对应的驾驶场景。
2.根据权利要求1所述的驾驶场景分类方法，其特征在于，所述地图包括导航地图和高精地图，所述道路数据包括第一道路数据和第二道路数据，所述基于所述行驶轨迹，获取地图中与所述行驶轨迹匹配的道路对应的道路数据，包括：
基于所述行驶轨迹，获取所述导航地图中与所述行驶轨迹匹配的道路的道路标识信息；
根据所述道路标识信息，从所述导航地图获取所述第一道路数据，和/或，根据所述道路标识信息，从所述高精地图获取所述第二道路数据。
3.根据权利要求1所述的驾驶场景分类方法，其特征在于，所述基于所述图像和所述图像对应的点云数据，识别所述车辆的行驶环境，得到所述车辆的环境数据，包括：
针对每一帧所述图像和所述图像对应的点云数据，进行目标检测和分类，识别所述车辆的行驶环境，得到所述车辆的环境数据，所述环境数据包括静态要素信息、动态要素信息和环境信息中的至少一种。
4.根据权利要求1至3中任一项所述的驾驶场景分类方法，其特征在于，所述确定所述驾驶场景数据对应的驾驶场景之后，还包括：
基于预设驾驶场景设计，根据所述道路数据和所述环境数据对所述驾驶场景数据进行筛选，获取人工场景分类作业数据；
将所述人工场景分类作业数据分包派发至作业人员。
5.根据权利要求4所述的驾驶场景分类方法，其特征在于，所述将所述人工场景分类作业数据分包派发至作业人员之后，还包括：
获取所述作业人员参考所述人工场景分类作业数据中的图像和点云数据标注的第一标签数据，所述第一标签数据包括环境信息、道路信息、交通设施以及施工作业中的至少一种；
根据所述第一标签数据对应的标签时间，将所述第一标签数据关联至所述驾驶场景数据。
6.根据权利要求4所述的驾驶场景分类方法，其特征在于，所述将所述人工场景分类作业数据分包派发至作业人员之后，还包括：
获取所述作业人员参考所述人工场景分类作业数据中的图像和点云数据标注的第二标签数据，所述第二标签数据包括自车驾驶行为和障碍物目标驾驶行为；
根据所述第二标签数据对应的标签时间，将所述第二标签数据关联至所述驾驶场景数据。
7.根据权利要求1至3中任一项所述的驾驶场景分类方法，其特征在于，所述获取车辆行驶过程中的驾驶场景数据，包括：
对驾驶场景数据进行解析处理，获得解析成功的驾驶场景数据；
对解析成功的驾驶场景数据进行数据质量检查处理，获得数据质量检查处理后的驾驶场景数据。
8.一种驾驶场景分类装置，其特征在于，包括：
第一获取模块，用于获取车辆行驶过程中的驾驶场景数据，所述驾驶场景数据包括所述车辆的行驶轨迹、驾驶场景的图像和所述图像对应的点云数据；
第二获取模块，用于基于所述行驶轨迹，获取地图中与所述行驶轨迹匹配的道路对应的道路数据；
第一处理模块，用于基于所述图像和所述图像对应的点云数据，识别所述车辆的行驶环境，得到所述车辆的环境数据；
确定模块，用于根据所述道路数据和所述环境数据，确定所述驾驶场景数据对应的驾驶场景。
9.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至7中任一项所述的驾驶场景分类方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，实现如权利要求1至7中任一项所述的驾驶场景分类方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的驾驶场景分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211066942.0A CN115294544A (zh) | 2022-09-01 | 2022-09-01 | 驾驶场景分类方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211066942.0A CN115294544A (zh) | 2022-09-01 | 2022-09-01 | 驾驶场景分类方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115294544A true CN115294544A (zh) | 2022-11-04 |
Family
ID=83831448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211066942.0A Pending CN115294544A (zh) | 2022-09-01 | 2022-09-01 | 驾驶场景分类方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115294544A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117612140A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 道路场景的识别方法、装置和存储介质及电子设备 |
| CN117601903A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 车辆行驶场景的生成方法、装置和存储介质及电子设备 |
| CN117612127A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 场景生成方法、装置和存储介质及电子设备 |
-
2022
- 2022-09-01 CN CN202211066942.0A patent/CN115294544A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117612140A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 道路场景的识别方法、装置和存储介质及电子设备 |
| CN117601903A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 车辆行驶场景的生成方法、装置和存储介质及电子设备 |
| CN117612127A (zh) * | 2024-01-19 | 2024-02-27 | 福思(杭州)智能科技有限公司 | 场景生成方法、装置和存储介质及电子设备 |
| CN117612140B (zh) * | 2024-01-19 | 2024-04-19 | 福思(杭州)智能科技有限公司 | 道路场景的识别方法、装置和存储介质及电子设备 |
| CN117601903B (zh) * | 2024-01-19 | 2024-04-26 | 福思(杭州)智能科技有限公司 | 车辆行驶场景的生成方法、装置和存储介质及电子设备 |
| CN117612127B (zh) * | 2024-01-19 | 2024-04-26 | 福思(杭州)智能科技有限公司 | 场景生成方法、装置和存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109214248B (zh) | 用于识别无人驾驶车辆的激光点云数据的方法和装置 | |
| US10977501B2 (en) | Object classification using extra-regional context | |
| CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| CN115294544A (zh) | 驾驶场景分类方法、装置、设备及存储介质 | |
| KR20200121274A (ko) | 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체 | |
| CN110785774A (zh) | 用于自动驾驶车辆中的闭环感知的方法和系统 | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
| JP2023508705A (ja) | データ伝送方法および装置 | |
| CN111339876B (zh) | 用于识别场景中各区域类型的方法和装置 | |
| US11521375B2 (en) | Method and system for improved object marking in sensor data | |
| WO2020007589A1 (en) | Training a deep convolutional neural network for individual routes | |
| CN113253299B (zh) | 障碍物检测方法、装置及存储介质 | |
| US11829959B1 (en) | System and methods for fully autonomous potholes detection and road repair determination | |
| DE102022100413A1 (de) | Objekterkennung unter verwendung von radar-und-lidar-zusammenführung | |
| CN110765224A (zh) | 电子地图的处理方法、车辆视觉重定位的方法和车载设备 | |
| CN114140396A (zh) | 基于无人机图像的路面破损检测方法、系统、装置和介质 | |
| CN114241373A (zh) | 一种端到端的车辆行为检测方法、系统、设备及存储介质 | |
| CN111427331B (zh) | 无人驾驶车辆的感知信息展示方法、装置和电子设备 | |
| CN109765886B (zh) | 车辆跟随的目标轨迹识别方法 | |
| CN116430404A (zh) | 相对位置的确定方法和装置、存储介质及电子装置 | |
| CN114722931A (zh) | 车载数据处理方法、装置、数据采集设备和存储介质 | |
| CN110446106B (zh) | 一种前置摄像头文件的识别方法、电子设备及存储介质 | |
| CN114415726A (zh) | 一种基于图像分析的无人机避障控制系统及方法 | |
| JP2019101605A (ja) | 送信データのデータ構造 | |
| CN109144052A (zh) | 用于自动驾驶车辆的导航系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |