CN114973173A - 驾驶场景数据的分类方法、装置、电子设备及存储介质 - Google Patents

驾驶场景数据的分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114973173A
CN114973173A CN202210471927.8A CN202210471927A CN114973173A CN 114973173 A CN114973173 A CN 114973173A CN 202210471927 A CN202210471927 A CN 202210471927A CN 114973173 A CN114973173 A CN 114973173A
Authority
CN
China
Prior art keywords
vehicle
data
scene
point cloud
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210471927.8A
Other languages
English (en)
Inventor
胡方健
李京峰
朱文和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Leading Technology Co Ltd
Original Assignee
Nanjing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Leading Technology Co Ltd filed Critical Nanjing Leading Technology Co Ltd
Priority to CN202210471927.8A priority Critical patent/CN114973173A/zh
Publication of CN114973173A publication Critical patent/CN114973173A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开一种驾驶场景数据的分类方法、装置、电子设备及存储介质，属于数据分析技术领域，该方法包括：获取第一车辆在指定时间段内的驾驶场景数据，驾驶场景数据至少包括第一车辆上的雷达采集的多帧点云数据，基于每帧点云数据，对第一车辆和第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量，基于相对位置特征向量，确定在采集该帧点云数据时的场景表征向量，对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量，基于场景特征向量进行驾驶场景分类，得到第一车辆在指定时间段内的驾驶场景分类结果。这样，提供了一种借助于雷达对驾驶场景进行分类的方案。

Description

驾驶场景数据的分类方法、装置、电子设备及存储介质
技术领域
本申请涉及数据分析技术领域，尤其涉及一种驾驶场景数据的分类方法、装置、电子设备及存储介质。
背景技术
目前，一般是借助于自动驾驶仿真系统来测试自动驾驶算法的性能，为了实现对自动驾驶算法的全面评估，自动驾驶仿真系统的测试场景应覆盖实际驾驶过程中的各种驾驶场景如跟车行驶、超车、变道等。
为此，相关技术中，会采集驾驶场景数据提供给自动驾驶仿真系统使用，以便自动驾驶仿真系统能够模拟出各种真实的驾驶场景，然而，由于驾驶场景数据通常是海量的，为了保证所提供的驾驶场景数据能够覆盖各种实际驾驶场景，出现了在向自动驾驶仿真系统提供驾驶场景数据前对驾驶场景数据进行分类的需求。
发明内容
本申请实施例提供一种驾驶场景数据的分类方法、装置、电子设备及存储介质，用以提供一种对驾驶场景数据进行分类的方案。
第一方面，本申请实施例提供一种驾驶场景数据的分类方法，包括：
获取第一车辆在指定时间段内的驾驶场景数据，所述驾驶场景数据至少包括所述第一车辆上的雷达采集的多帧点云数据；
基于每帧点云数据，对所述第一车辆和所述第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量；
基于所述相对位置特征向量，确定在采集所述点云数据时的场景表征向量；
对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量；
基于所述场景特征向量进行驾驶场景分类，得到所述第一车辆在指定时间段内的驾驶场景分类结果。
在一些实施例中，基于每帧点云数据，对所述第一车辆和所述第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量，包括：
对所述点云数据进行分析，以确定所述点云数据中属于所述第二车辆的目标点云数据；
基于所述目标点云数据，生成所述第一车辆和所述第二车辆之间鸟瞰图视角的位置参考图；
对所述位置参考图进行特征提取，得到所述相对位置特征向量。
在一些实施例中，对所述位置参考图进行特征提取，得到所述相对位置特征向量，包括：
通过特征提取模型对所述位置参考图进行特征提取，得到所述相对位置特征向量；
其中，所述特征提取模型是根据以下步骤建立的：
将获取的位置参考图样本输入编码网络中进行特征提取；
将提取结果输入解码网络中进行特征解析，得到预测图像；
基于所述预测图像和所述位置参考图样本，调整所述编码网络和/或所述解码网络的网络参数，直至确定所述预测图像和所述位置参考图样本之间的差异小于预设差异时，将当前的编码网络确定为所述特征提取模型。
在一些实施例中，所述驾驶场景数据还包括所述第一车辆的控制表征数据，所述控制表征数据用于表征所述第一车辆的控制状态，还包括：
从所述控制表征数据中选择采集时间与所述点云数据的采集时间匹配的目标控制表征数据；
对所述目标控制表征数据进行分析，得到所述第一车辆的控制特征向量；
基于所述相对位置特征向量，确定在采集所述点云数据时的场景表征向量，包括：
对所述相对位置特征向量和所述控制特征向量进行融合处理，得到在采集所述点云数据时的场景表征向量。
在一些实施例中，对所述目标控制表征数据进行分析，得到所述第一车辆的控制特征向量，包括：
对所述目标控制表征数据中的每类数据进行归一化处理，得到该类数据的归一化值；
对各类数据的归一化值进行组合，得到所述第一车辆的控制特征向量。
在一些实施例中，对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量，包括：
按照点云数据的采集顺序，将各场景表征向量输入特征分析模型中进行分析，得到场景特征向量；
其中，所述特征分析模型是根据以下步骤建立的：
获取车辆样本的场景表征向量序列；
将所述车辆样本的场景表征向量序列输入序列分析网络中进行关联分析；
将分析结果输入序列解析网络中进行驾驶场景解析，得到预测向量序列；
基于所述预测向量序列和所述场景表征向量序列，调整所述序列分析网络和/或所述序列解析网络的网络参数，直至确定所述预测向量序列和所述场景表征向量序列之间的差异小于设定差异时，将当前的序列分析网络确定为所述特征分析模型。
第二方面，本申请实施例提供一种驾驶场景数据的分类装置，包括：
获取模块，用于获取第一车辆在指定时间段内的驾驶场景数据，所述驾驶场景数据至少包括所述第一车辆上的雷达采集的多帧点云数据；
位置分析模块，用于基于每帧点云数据，对所述第一车辆和所述第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量；
确定模块，用于基于所述相对位置特征向量，确定在采集所述点云数据时的场景表征向量；
关系分析模块，用于对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量；
分类模块，用于基于所述场景特征向量进行驾驶场景分类，得到所述第一车辆在所述指定时间段内的驾驶场景分类结果。
在一些实施例中，所述位置分析模块具体用于：
对所述点云数据进行分析，以确定所述点云数据中属于所述第二车辆的目标点云数据；
基于所述目标点云数据，生成所述第一车辆和所述第二车辆之间鸟瞰图视角的位置参考图；
对所述位置参考图进行特征提取，得到所述相对位置特征向量。
在一些实施例中，所述位置分析模块具体用于：
通过特征提取模型对所述位置参考图进行特征提取，得到所述相对位置特征向量；
其中，所述特征提取模型是根据以下步骤建立的：
将获取的位置参考图样本输入编码网络中进行特征提取；
将提取结果输入解码网络中进行特征解析，得到预测图像；
基于所述预测图像和所述位置参考图样本，调整所述编码网络和/或所述解码网络的网络参数，直至确定所述预测图像和所述位置参考图样本之间的差异小于预设差异时，将当前的编码网络确定为所述特征提取模型。
在一些实施例中，所述驾驶场景数据还包括所述第一车辆的控制表征数据，所述控制表征数据用于表征所述第一车辆的控制状态，还包括：
控制分析模块，用于从所述控制表征数据中选择采集时间与所述点云数据的采集时间匹配的目标控制表征数据；对所述目标控制表征数据进行分析，得到所述第一车辆的控制特征向量；
所述确定模块，具体用于对所述相对位置特征向量和所述控制特征向量进行融合处理，得到在采集所述点云数据时的场景表征向量。
在一些实施例中，所述控制分析模块具体用于：
对所述目标控制表征数据中的每类数据进行归一化处理，得到该类数据的归一化值；
对各类数据的归一化值进行组合，得到所述第一车辆的控制特征向量。
在一些实施例中，所述关系分析模块具体用于：
按照点云数据的采集顺序，将各场景表征向量输入特征分析模型中进行分析，得到场景特征向量；
其中，所述特征分析模型是根据以下步骤建立的：
获取车辆样本的场景表征向量序列；
将所述车辆样本的场景表征向量序列输入序列分析网络中进行关联分析；
将分析结果输入序列解析网络中进行驾驶场景解析，得到预测向量序列；
基于所述预测向量序列和所述场景表征向量序列，调整所述序列分析网络和/或所述序列解析网络的网络参数，直至确定所述预测向量序列和所述场景表征向量序列之间的差异小于设定差异时，将当前的序列分析网络确定为所述特征分析模型。
第三方面，本申请实施例提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
存储器存储有可被至少一个处理器执行的计算机程序，该计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述驾驶场景数据的分类方法。
第四方面，本申请实施例提供一种存储介质，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行上述驾驶场景数据的分类方法。
本申请实施例中，获取第一车辆在指定时间段内的驾驶场景数据，驾驶场景数据至少包括第一车辆上的雷达采集的多帧点云数据，基于每帧点云数据，对第一车辆和第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量，基于相对位置特征向量，确定在采集该帧点云数据时的场景表征向量，对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量，基于场景特征向量进行驾驶场景分类，得到第一车辆在指定时间段内的驾驶场景分类结果。这样，提供了一种借助于雷达对驾驶场景进行分类的方案。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种驾驶场景数据的分类方法的流程图；
图2为本申请实施例提供的一种确定相对位置特征向量的方法流程图；
图3为本申请实施例提供的又一种驾驶场景数据的分类方法的流程图；
图4为本申请实施例提供的一种对驾驶场景数据进行分类的过程示意图；
图5为本申请实施例提供的一种位置参考图；
图6为本申请实施例提供的一种卷积自编码器的网络结构示意图；
图7为本申请实施例提供的一种LSTM的结构示意图；
图8为本申请实施例提供的一种驾驶场景数据的分类装置的结构示意图；
图9为本申请实施例提供的一种用于实现驾驶场景数据的分类方法的电子设备的硬件结构示意图。
具体实施方式
为了提供一种对驾驶场景数据进行分类的方案，本申请实施例提供了一种驾驶场景数据的分类方法、装置、电子设备及存储介质。
以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
一般地，车辆上可以安装雷达，雷达在车辆运行过程中可以进行数据采集，得到多帧点云数据，其中，一帧点云数据是指雷达在一个扫描周期内扫描到的多个激光点。
图1为本申请实施例提供的一种驾驶场景数据的分类方法的流程图，该流程包括以下步骤。
在步骤11中，获取第一车辆在指定时间段内的驾驶场景数据，驾驶场景数据至少包括第一车辆上的雷达采集的多帧点云数据。
其中，第一车辆可以是无人驾驶车辆也可以是人工驾驶车辆，只要第一车辆上安装有雷达即可。
在步骤12中，基于每帧点云数据，对第一车辆和第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量。
其中，第二车辆可能有一个、两个、三个或更多个。相对位置特征向量可用于表征第一车辆与周围的第二车辆之间的相对位置关系。
具体实施时，可按照图2所示的流程确定相对位置特征向量，该流程包括以下步骤。
在步骤121中，对每帧点云数据进行分析，以确定该帧点云数据中属于第一车辆周围的第二车辆的目标点云数据。
比如，利用3D点云检测算法对每帧点云数据中的激光点进行分析，以确定哪些是属于第一车辆周围的第二车辆的激光点，其中，每个激光点都包含有位置信息，所以基于激光点即可得知第二车辆与第一车辆之间的相对位置信息。
在步骤122中，基于目标点云数据，生成第一车辆和第二车辆之间鸟瞰图视角的位置参考图。
比如，生成一张初始时各像素的像素值为0.5的图像，将这张图像中的指定区域作为第一车辆的位置区域，并将该位置区域中的像素值设置成0，基于目标点云数据，确定第二车辆与第一车辆之间的相对位置信息，基于相对位置信息在该图像中确定第二车辆的位置区域，并将该图像中第二车辆的位置区域中的像素值设置成1，从而得到第一车辆和第二车辆之间鸟瞰图视角的位置参考图。
在步骤123中，对位置参考图进行特征提取，得到第一车辆和第二车辆之间的相对位置特征向量。
比如，通过特征提取模型对位置参考图进行特征提取，得到第一车辆和第二车辆之间的相对位置特征向量。
具体实施时，可根据以下步骤建立特征提取模型：
将获取的位置参考图样本输入编码网络中进行特征提取，将提取结果输入解码网络中进行特征解析，得到预测图像，基于预测图像和位置参考图样本，调整编码网络和/或解码网络的网络参数，直至确定预测图像和位置参考图样本之间的差异小于预设差异时，将当前的编码网络确定为特征提取模型。
即，用编码网络对参考图样本进行编码，用解码网络对编码结果进行解码，直至确定解码得到的预测图像与参考图样本足够相似(即两者之间的差异小于预设差异)时，将当前的编码网络确定为特征提取模型。这样，不必手动对位置参考图样本进行标注就可得到提取效果比较好的特征提取模型。
在步骤13中，基于相对位置特征向量，确定在采集该帧点云数据时的场景表征向量。
比如，将相对位置特征向量，确定为在采集该帧点云数据时的场景表征向量。
在步骤14中，对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量。
比如，按照点云数据的采集顺序，将各场景表征向量输入特征分析模型中进行分析，得到场景特征向量。即按照采集时间从早到晚的顺序，将在采集各帧点云数据时的场景表征向量组成场景表征向量序列，然后，将场景表征向量序列输入到特征分析模型中进行分析。
具体实施时，可根据以下步骤建立特征分析模型：
获取车辆样本的场景表征向量序列，将车辆样本的场景表征向量序列输入序列分析网络中进行关联分析，将分析结果输入序列解析网络中进行驾驶场景解析，得到预测向量序列，基于预测向量序列和场景表征向量序列，调整序列分析网络和/或序列解析网络的网络参数，直至确定预测向量序列和场景表征向量序列之间的差异小于设定差异时，将当前的序列分析网络确定为特征分析模型。
即，用序列分析网络对车辆样本的场景表征向量序列进行关联分析，用序列解析网络对分析结果进行解析，直至确定解析得到的预测向量序列和场景表征向量序列足够像(即两者之间的差异小于设定差异)时，将当前的序列分析网络确定为特征分析模型。这样，不必手动对车辆样本的场景表征向量序列进行标注即可得到分析效果比较好的特征分析模型。
在步骤15中，基于场景特征向量进行驾驶场景分类，得到第一车辆在指定时间段内的驾驶场景分类结果。
比如，采用k-means++聚类算法对场景特征向量进行驾驶场景分类，得到第一车辆在指定时间段内的驾驶场景分类结果，其中，驾驶场景的分类如跟车行驶、超车、变道等众多类别。
考虑到像车速、加速度、转向角等控制表征数据可用于表征第一车辆的控制状态，而不同驾驶场景中第一车辆的控制状态也会有所不同，即第一车辆的控制状态也可从一定程度上反映出第一车辆所处的驾驶场景。为此，本申请实施例还可结合第一车辆上的雷达采集的点云数据、以及第一车辆的控制表征数据进行驾驶场景分类。
图3为本申请实施例提供的又一种驾驶场景数据的分类方法的流程图，该流程包括以下步骤。
在步骤31中，获取第一车辆在指定时间段内的驾驶场景数据，驾驶场景数据包括雷达在第一车辆行驶过程中采集的多帧点云数据和第一车辆的控制表征数据。
其中，控制表征数据如车速、加速度、转向角等，可表征第一车辆的控制状态。
在步骤32中，基于每帧点云数据，对第一车辆和第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量。
该步骤的实施可参见步骤12的实施，在此不再赘述。
在步骤33中，从控制表征数据中选择采集时间与该帧点云数据的采集时间匹配的目标控制表征数据。
其中，采集时间匹配如采集时间差小于指定值、采集时间相同等。
在步骤34中，对目标控制表征数据进行分析，得到第一车辆的控制特征向量。
比如，对目标控制表征数据中的每类数据进行归一化处理，得到该类数据的归一化值，然后，对各类数据的归一化值进行组合，得到第一车辆的控制特征向量。
在步骤35中，对相对位置特征向量和控制特征向量进行融合处理，得到在采集该帧点云数据时的场景表征向量。
其中，融合如将相对位置特征向量和控制特征向量拼接起来。
在步骤36中，对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量。
该步骤的实施可参见步骤14的实施，在此不再赘述。
在步骤37中，基于场景特征向量进行驾驶场景分类，得到第一车辆在指定时间段内的驾驶场景分类结果。
这样，结合雷达采集到的第一车辆的多帧点云数据和第一车辆的控制表征数据，对第一车辆的驾驶场景进行分类，考虑的维度比较多，利于提升分类准确性。
下面结合具体实施例对本申请实施例的方案进行介绍。
图4为本申请实施例提供的一种对驾驶场景数据进行分类的过程示意图，主要包括以下几个部分：(1)点云数据编码(2)特征提取(3)特征融合(4)关联关系分析(5)聚类分类。下面结合图4分别对这几个部分进行介绍。
(1)对点云数据进行编码，得到位置参考图。
具体实施时，可利用3D点云检测算法从每帧点云数据中检测出本车周围的其他交通参与者(主要指周围车辆)，以鸟瞰图视角，生成本车与周围车辆之间的位置参考图。
比如，先生成一张各像素的像素值均为0.5的图像，然后，可基于本车与周围车辆之间的相对位置信息，在图像中分别确定本车的位置区域和周围车辆的位置区域，然后，将本车的位置区域中的像素值设置成0，将周围车辆的位置区域中的像素值设置成1，从而得到本车与周围车辆之间鸟瞰图视角的位置参考图，参见图5。
(2)特征提取。
对每个位置参考图进行特征提取，得到FV(即相对位置特征向量)，从而完成帧到向量(Frame2vector)的编码。
在一些实施例中，特征提取可通过卷积自编码器(Convolutional VariationalAutoencoder)进行。图6为本申请实施例提供的一种卷积自编码器的网络结构示意图，G为位置参考图，G经过卷积神经网络(Convolutional Neural Networks，CNN)构成的Encoder(编码)转成FV，FV经过CNN网络构成的Decoder(解码)生成
Figure BDA0003622986250000111
(即预测图像)。
训练CNN网络的loss函数公式如下：
Figure BDA0003622986250000112
其中，Gi为第i个位置参考图样本，
Figure BDA0003622986250000113
为第i个预测图像。
在训练Encoder过程中，通过最小化损失函数LCVA，通过梯度下降算法使LCVA下降，当小于预设值时，训练完成的Encoder即特征提取模型。
这样，采用自监督方法训练特征提取模型，无需要手动标注样本，可降低模型训练成本。
需要说明的是，图6所示的为训练阶段的网络结构示意图，在模型使用阶段，获取的是从Encoder输出的FV，无需再使用Decoder对FV进行处理。
(3)特征融合。
为了区分不同时刻的FV，用时刻t作为下标对FV进行区分。针对t时刻采集的点云数据对应的FVt，可获取t时刻的车辆控制器局域网络(Controller Area Network，CAN)信息中的控制表征数据如车速、加速度、转向角等，对每类数据进行归一化，即对车速、加速度、转向角等分别进行归一化处理，用各类数据的归一化值组合生成CVt向量(即控制特征向量)。比如[车速，加速度，…]归一化后的CVt为[0.1，0.3，…]。
之后，对FVt和CVt进行连接，可得到Vt向量(即t时刻本车的场景表征向量)。
(4)关联关系分析。
对多个时刻的Vt进行关联关系分析，得到Vclu(即场景特征向量)。
在一些实施例中，可利用长短时记忆网络(Long short-term memory，LSTM)组成的序列-序列(sequence to sequence，Seq2seq)网络进行关联关系分析。图7为本申请实施例提供的一种LSTM的结构示意图，车辆样本场景表征向量序列Vi＝[Vt-n,…,Vt-1,Vt,Vt+1,…]输入前面的Seq2seq网络(即序列分析网络)中进行关联分析，得到Vclu，将Vclu输入后面的Seq2seq网络(即序列解析网络)中进行驾驶场景解析，得到
Figure BDA0003622986250000121
(即预测向量序列)。
训练的损失函数定义如下：
Figure BDA0003622986250000122
其中，Vi表示车辆样本的第i个场景表征向量序列，
Figure BDA0003622986250000123
表示第i个输出序列。
最小化损失函数Lseq2seq，通过梯度下降算法使Lseq2seq下降，当小于设定值时，可训练前面的Seq2seq网络对序列的关联关系分析能力，训练好的前面的Seq2seq网络即特征分析模型。
这样，采用自监督方法训练特征分析模型，无需要手动标注样本，可降低模型训练成本。
类似地，图7所示的为训练阶段的网络结构示意图，在模型使用阶段，获取的是从前面的Seq2seq网络输出的Vclu，无需再使用后面的Seq2seq网络对Vclu进行处理。
(5)驾驶场景分类。
采用k-means++聚类算法对Vclu进行驾驶场景分类，得到如跟车行驶、超车、变道等类别。
本申请实施例中，无需手动标注样本，即可自动分类超车、变道等驾驶场景，分类成本较低，并且，基于点云数据对本车周围的其他车辆和其他车辆的相对距离进行编码，同时结合本车CAN信息中的车速、加速度、方向转角等信息进行驾驶场景分类，分类准确度也比较高。
基于相同的技术构思，本申请实施例还提供一种驾驶场景数据的分类装置，驾驶场景数据的分类装置解决问题的原理与上述驾驶场景数据的分类方法相似，因此驾驶场景数据的分类装置的实施可参见驾驶场景数据的分类方法的实施，重复之处不再赘述。
图8为本申请实施例提供的一种驾驶场景数据的分类装置的结构示意图，包括获取模块801、位置分析模块802、确定模块803、关系分析模块804、分类模块805。
获取模块801，用于获取第一车辆在指定时间段内的驾驶场景数据，所述驾驶场景数据至少包括所述第一车辆上的雷达采集的多帧点云数据；
位置分析模块802，用于基于每帧点云数据，对所述第一车辆和所述第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量；
确定模块803，用于基于所述相对位置特征向量，确定在采集所述点云数据时的场景表征向量；
关系分析模块804，用于对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量；
分类模块805，用于基于所述场景特征向量进行驾驶场景分类，得到所述第一车辆在所述指定时间段内的驾驶场景分类结果。
在一些实施例中，所述位置分析模块802具体用于：
对所述点云数据进行分析，以确定所述点云数据中属于所述第二车辆的目标点云数据；
基于所述目标点云数据，生成所述第一车辆和所述第二车辆之间鸟瞰图视角的位置参考图；
对所述位置参考图进行特征提取，得到所述相对位置特征向量。
在一些实施例中，所述位置分析模块802具体用于：
通过特征提取模型对所述位置参考图进行特征提取，得到所述相对位置特征向量；
其中，所述特征提取模型是根据以下步骤建立的：
将获取的位置参考图样本输入编码网络中进行特征提取；
将提取结果输入解码网络中进行特征解析，得到预测图像；
基于所述预测图像和所述位置参考图样本，调整所述编码网络和/或所述解码网络的网络参数，直至确定所述预测图像和所述位置参考图样本之间的差异小于预设差异时，将当前的编码网络确定为所述特征提取模型。
在一些实施例中，所述驾驶场景数据还包括所述第一车辆的控制表征数据，所述控制表征数据用于表征所述第一车辆的控制状态，还包括：
控制分析模块806，用于从所述控制表征数据中选择采集时间与所述点云数据的采集时间匹配的目标控制表征数据；对所述目标控制表征数据进行分析，得到所述第一车辆的控制特征向量
所述确定模块803，具体用于对所述相对位置特征向量和所述控制特征向量进行融合处理，得到在采集所述点云数据时的场景表征向量。
在一些实施例中，所述控制分析模块806具体用于：
对所述目标控制表征数据中的每类数据进行归一化处理，得到该类数据的归一化值；
对各类数据的归一化值进行组合，得到所述第一车辆的控制特征向量。
在一些实施例中，所述关系分析模块804具体用于：
按照点云数据的采集顺序，将各场景表征向量输入特征分析模型中进行分析，得到场景特征向量；
其中，所述特征分析模型是根据以下步骤建立的：
获取车辆样本的场景表征向量序列；
将所述车辆样本的场景表征向量序列输入序列分析网络中进行关联分析；
将分析结果输入序列解析网络中进行驾驶场景解析，得到预测向量序列；
基于所述预测向量序列和所述场景表征向量序列，调整所述序列分析网络和/或所述序列解析网络的网络参数，直至确定所述预测向量序列和所述场景表征向量序列之间的差异小于设定差异时，将当前的序列分析网络确定为所述特征分析模型。
本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，本申请各实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
在介绍了本申请示例性实施方式的驾驶场景数据的分类方法和装置之后，接下来，介绍根据本申请的另一示例性实施方式的电子设备。
下面参照图9来描述根据本申请的这种实施方式实现的电子设备130。图9显示的电子设备130仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，电子设备130以通用电子设备的形式表现。电子设备130的组件可以包括但不限于：上述至少一个处理器131、上述至少一个存储器132、连接不同系统组件(包括存储器132和处理器131)的总线133。
总线133表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储器132可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1321和/或高速缓存存储器1322，还可以进一步包括只读存储器(ROM)1323。
存储器132还可以包括具有一组(至少一个)程序模块1324的程序/实用工具1325，这样的程序模块1324包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备130也可以与一个或多个外部设备134(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与电子设备130交互的设备通信，和/或与使得该电子设备130能与一个或多个其它电子设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口135进行。并且，电子设备130还可以通过网络适配器136与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器136通过总线133与用于电子设备130的其它模块通信。应当理解，尽管图中未示出，可以结合电子设备130使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
在示例性实施例中，还提供了一种存储介质，当存储介质中的计算机程序由电子设备的处理器执行时，电子设备能够执行上述驾驶场景数据的分类方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，本申请的电子设备可以至少包括至少一个处理器，以及与这至少一个处理器通信连接的存储器，其中，存储器存储有可被这至少一个处理器执行的计算机程序，计算机程序被这至少一个处理器执行时可使这至少一个处理器执行本申请实施例提供的任一驾驶场景数据的分类方法的步骤。
在示例性实施例中，还提供一种计算机程序产品，当计算机程序产品被电子设备执行时，电子设备能够实现本申请提供的任一示例性方法。
并且，计算机程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、闪存、光纤、光盘只读存储器(Compact Disk Read Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例中用于驾驶场景数据的分类的程序产品可以采用CD-ROM并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络如局域网(Local AreaNetwork，LAN)或广域网(Wide Area Network，WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种驾驶场景数据的分类方法，其特征在于，包括：
获取第一车辆在指定时间段内的驾驶场景数据，所述驾驶场景数据至少包括所述第一车辆上的雷达采集的多帧点云数据；
基于每帧点云数据，对所述第一车辆和所述第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量；
基于所述相对位置特征向量，确定在采集所述点云数据时的场景表征向量；
对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量；
基于所述场景特征向量进行驾驶场景分类，得到所述第一车辆在所述指定时间段内的驾驶场景分类结果。
2.如权利要求1所述的方法，其特征在于，基于每帧点云数据，对所述第一车辆和所述第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量，包括：
对所述点云数据进行分析，以确定所述点云数据中属于所述第二车辆的目标点云数据；
基于所述目标点云数据，生成所述第一车辆和所述第二车辆之间鸟瞰图视角的位置参考图；
对所述位置参考图进行特征提取，得到所述相对位置特征向量。
3.如权利要求2所述的方法，其特征在于，对所述位置参考图进行特征提取，得到所述相对位置特征向量，包括：
通过特征提取模型对所述位置参考图进行特征提取，得到所述相对位置特征向量；
其中，所述特征提取模型是根据以下步骤建立的：
将获取的位置参考图样本输入编码网络中进行特征提取；
将提取结果输入解码网络中进行特征解析，得到预测图像；
基于所述预测图像和所述位置参考图样本，调整所述编码网络和/或所述解码网络的网络参数，直至确定所述预测图像和所述位置参考图样本之间的差异小于预设差异时，将当前的编码网络确定为所述特征提取模型。
4.如权利要求1所述的方法，其特征在于，所述驾驶场景数据还包括所述第一车辆的控制表征数据，所述控制表征数据用于表征所述第一车辆的控制状态，还包括：
从所述控制表征数据中选择采集时间与所述点云数据的采集时间匹配的目标控制表征数据；
对所述目标控制表征数据进行分析，得到所述第一车辆的控制特征向量；
基于所述相对位置特征向量，确定在采集所述点云数据时的场景表征向量，包括：
对所述相对位置特征向量和所述控制特征向量进行融合处理，得到在采集所述点云数据时的场景表征向量。
5.如权利要求4所述的方法，其特征在于，对所述目标控制表征数据进行分析，得到所述第一车辆的控制特征向量，包括：
对所述目标控制表征数据中的每类数据进行归一化处理，得到该类数据的归一化值；
对各类数据的归一化值进行组合，得到所述第一车辆的控制特征向量。
6.如权利要求1～5任一所述的方法，其特征在于，对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量，包括：
按照点云数据的采集顺序，将各场景表征向量输入特征分析模型中进行分析，得到场景特征向量；
其中，所述特征分析模型是根据以下步骤建立的：
获取车辆样本的场景表征向量序列；
将所述车辆样本的场景表征向量序列输入序列分析网络中进行关联分析；
将分析结果输入序列解析网络中进行驾驶场景解析，得到预测向量序列；
基于所述预测向量序列和所述场景表征向量序列，调整所述序列分析网络和/或所述序列解析网络的网络参数，直至确定所述预测向量序列和所述场景表征向量序列之间的差异小于设定差异时，将当前的序列分析网络确定为所述特征分析模型。
7.一种驾驶场景数据的分类装置，其特征在于，包括：
获取模块，用于获取第一车辆在指定时间段内的驾驶场景数据，所述驾驶场景数据至少包括所述第一车辆上的雷达采集的多帧点云数据；
位置分析模块，用于基于每帧点云数据，对所述第一车辆和所述第一车辆周围的第二车辆之间的相对位置关系进行分析，得到相对位置特征向量；
确定模块，用于基于所述相对位置特征向量，确定在采集所述点云数据时的场景表征向量；
关系分析模块，用于对在采集各帧点云数据时的场景表征向量之间的关联关系进行分析，得到场景特征向量；
分类模块，用于基于所述场景特征向量进行驾驶场景分类，得到所述第一车辆在指定时间段内的驾驶场景分类结果。
8.如权利要求7所述的装置，其特征在于，所述驾驶场景数据还包括所述第一车辆的控制表征数据，所述控制表征数据用于表征所述第一车辆的控制状态，还包括：
控制分析模块，用于从所述控制表征数据中选择采集时间与所述点云数据的采集时间匹配的目标控制表征数据；对所述目标控制表征数据进行分析，得到所述第一车辆的控制特征向量
所述确定模块，具体用于对所述相对位置特征向量和所述控制特征向量进行融合处理，得到在采集所述点云数据时的场景表征向量。
9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-6任一所述的方法。
10.一种存储介质，其特征在于，当所述存储介质中的计算机程序由电子设备的处理器执行时，所述电子设备能够执行如权利要求1-6任一所述的方法。
CN202210471927.8A 2022-04-29 2022-04-29 驾驶场景数据的分类方法、装置、电子设备及存储介质 Pending CN114973173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210471927.8A CN114973173A (zh) 2022-04-29 2022-04-29 驾驶场景数据的分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210471927.8A CN114973173A (zh) 2022-04-29 2022-04-29 驾驶场景数据的分类方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114973173A true CN114973173A (zh) 2022-08-30

Family

ID=82979486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210471927.8A Pending CN114973173A (zh) 2022-04-29 2022-04-29 驾驶场景数据的分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114973173A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360602A (zh) * 2023-05-16 2023-06-30 中国第一汽车股份有限公司 一种脑机接口功能改进、测试方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116360602A (zh) * 2023-05-16 2023-06-30 中国第一汽车股份有限公司 一种脑机接口功能改进、测试方法、装置、设备及介质
CN116360602B (zh) * 2023-05-16 2023-08-18 中国第一汽车股份有限公司 一种脑机接口功能改进、测试方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110347873B (zh) 视频分类方法、装置、电子设备及存储介质
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
CN110363220B (zh) 行为类别检测方法、装置、电子设备和计算机可读介质
CN112396093B (zh) 驾驶场景分类方法、装置、设备及可读存储介质
CN113095346A (zh) 数据标注的方法以及数据标注的装置
US11420623B2 (en) Systems for determining object importance in on-road driving scenarios and methods thereof
CN111400548B (zh) 一种基于深度学习与马尔科夫链的推荐方法及设备
CN111199541A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN111723728A (zh) 基于双向交互网络的行人搜索方法、系统、装置
CN112906823B (zh) 目标对象识别模型训练方法、识别方法及识别装置
CN113762327B (zh) 机器学习方法、机器学习系统以及非暂态电脑可读取媒体
CN114926766A (zh) 识别方法及装置、设备、计算机可读存储介质
CN112926461B (zh) 神经网络训练、行驶控制方法及装置
CN117079299B (zh) 数据处理方法、装置、电子设备及存储介质
CN111563398A (zh) 用于确定目标物的信息的方法和装置
CN114882437A (zh) 一种识别模型的训练方法、装置、电子设备和存储介质
US20220207866A1 (en) Method, device, and computer readable storage medium for image processing
CN117292338B (zh) 基于视频流解析的车辆事故识别和分析方法
CN114973173A (zh) 驾驶场景数据的分类方法、装置、电子设备及存储介质
CN114529890A (zh) 状态检测方法、装置、电子设备及存储介质
CN112509321A (zh) 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质
CN109934185B (zh) 数据处理方法及装置、介质和计算设备
CN114445716B (zh) 关键点检测方法、装置、计算机设备、介质及程序产品
CN115131291A (zh) 对象计数模型的训练方法、装置、设备以及存储介质
CN116777814A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination