CN113239964B - 车辆数据的处理方法、装置、设备和存储介质 - Google Patents

Abstract

本申请公开了一种车辆数据的处理方法、装置、设备和存储介质，该方法包括：获取车辆数据，车辆数据是车辆在不同工况下运行产生的数据，该车辆数据是时序数据；将车辆数据按照其时序划分为K个样本片段，K个样本片段中的每个样本片段包含目标特征向量，K为自然数，K≥2；根据目标特征向量的直方图的类型对每个样本片段进行聚类，得到N_c个数据集，N_c为自然数，N_c≥2；对每个数据集进行抽样，得到抽样数据，该抽样数据用于训练和测试所述目标算法模型。本申请通过对每个数据集进行抽样，从而实现对训练和测试所需的车辆数据进行精简，提高了对目标算法模型进行训练和测试的效率。

Description

车辆数据的处理方法、装置、设备和存储介质

技术领域

本申请涉及技术领域，具体涉及一种车辆控制技术领域，具体涉及一种车辆数据的处理方法、装置、设备和存储介质。

背景技术

随着车辆智能化、网联化发展，通过算法模型(例如机器学习模型、数字孪生模型或物理模型)进行数据处理的需求越来越多。

相关技术中，可通过算法模型对车辆数据进行处理，得到需要预测的目标参数，从而根据目标参数对车辆进行控制。在建立算法模型时，需要准备训练数据，通过训练数据训练算法模型。

然而，由于训练数据中往往存在噪声或者异常值，这类数据参与训练会使得算法模型过拟合，导致算法模型的泛化能力较差；同时，由于训练数据量较大，算法模型的推断复杂度和推断时间会呈指数上升，导致算法模型难以即时响应，其处理效率较低。

发明内容

本申请提供了一种车辆数据的处理方法、装置、设备和存储介质，可以解决相关技术中提供的对算法模型进行训练处理效率较低的问题。

一方面，本申请实施例提供了一种车辆数据的处理方法，包括：

获取车辆数据，所述车辆数据是所述车辆在不同工况下运行产生的数据，所述车辆数据是时序数据；

将所述车辆数据按照其时序划分为K个样本片段，所述K个样本片段中的每个样本片段包含目标特征向量，所述目标特征向量由目标数据构成，所述目标数据与目标算法模型的输出数据的类型相同，K为自然数，K≥2；

根据所述目标特征向量的直方图的类型对所述样本片段进行聚类，得到N_c个数据集，N_c为自然数，N_c≥2；

对每个所述数据集进行抽样，得到抽样数据，所述抽样数据用于训练和测试所述目标算法模型。

可选的，当所述目标数据为不定长的数据时，所述根据所述目标特征向量的类型对每个所述样本片段进行聚类之前，还包括：

通过预设的采样频率对所述目标数据进行重采样，得到定长的目标数据，所述定长的目标数据构成所述目标特征向量。

可选的，所述预设的采样频率是符合Nyquist采样定理的频率。

可选的，所述根据所述目标特征向量的直方图的类型对所述样本片段进行聚类，包括：

对每个样本片段中的定长的目标特征向量进行积分，得到目标特征向量的积分；

根据所述目标特征向量的积分计算所述目标特征向量的直方图；

按照所述目标特征向量的直方图的类型对所述车辆数据进行聚类。

可选的，所述根据所述目标特征向量的积分计算所述目标特征向量的直方图，包括：

对所述目标特征向量的积分进行归一化，得到归一化后的积分；

根据所述归一化后的积分计算所述目标特征向量的直方图。

可选的，所述直方图用预设个数的Bin进行描述。

可选的，所述方法还包括：

将所述抽样数据划分为训练数据和测试数据，所述训练数据用于对所述目标算法模型进行训练，所述测试数据用于对所述目标算法模型进行测试。

可选的，所述训练数据多于所述测试数据。

可选的，所述目标算法模型包括提升树模型。

另一方面，本申请实施例提供了一种处理装置，包括：

获取模块，用于获取车辆数据，所述车辆数据是所述车辆在不同工况下运行产生的数据，所述车辆数据是时序数据；

处理模块，用于将所述车辆数据按照其时序划分为K个样本片段，所述K个样本片段中的每个样本片段包含目标特征向量，所述目标特征向量由目标数据构成，所述目标数据与目标算法模型的输出数据的类型相同，K为自然数，K≥2；根据所述目标特征向量的直方图的类型对每个所述样本片段进行聚类，得到N_c个数据集，N_c为自然数，N_c≥2；对每个所述数据集进行抽样，得到抽样数据，所述抽样数据用于训练和测试所述目标算法模型。

另一方面，本申请实施例提供了一种计算机设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述指令或程序由所述处理器加载并执行以实现如上任一所述的车辆数据的处理方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上任一所述的车辆数据的处理方法。

本申请技术方案，至少包括如下优点：

通过将车辆数据按照其时序划分为K个样本片段，根据每个样本片段中目标特征向量的直方图的类型对每个样本片段进行聚类，对每个数据集进行抽样，得到抽样数据，从而实现对训练和测试所需的车辆数据进行精简，提高了对目标算法模型进行训练和测试的效率；同时，由于抽样数据是根据不同类型的目标特征向量的直方图聚类抽样得到的，因此数据覆盖的范围更加全面，从而训练得到的算法模型更为准确。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的计算机设备的框图；

图2是本申请一个示例性实施例提供的车辆数据的处理方法的流程图；

图3是本申请一个示例性实施例提供的车辆数据的处理方法的流程图；

图4是本申请一个示例性实施例提供的处理装置的框图。

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

参考图1，其示出了本申请一个示例性实施例提供的计算机设备的框图，该计算机设备可以是服务器、个人计算机(personal computer，PC)或配备于车辆中的电子控制器(electronic control unit，ECU)，其包括：处理器110以及存储器120。

处理器110可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)或者CPU和NP的组合。处理器110还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complex programmable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。

存储器120通过总线或其它方式与处理器110相连，存储器120中存储有至少一条指令、至少一段程序、代码集或指令集，上述至少一条指令、至少一段程序、代码集或指令集由处理器110加载并执行以实现以下任一实施例中提供的车辆数据的处理方法。存储器120可以为易失性存储器(volatile memory)，非易失性存储器(non-volatile memory)或者它们的组合。易失性存储器可以为随机存取存储器(random-access memory，RAM)，例如静态随机存取存储器(static random access memory，SRAM)，动态随机存取存储器(dynamicrandom access memory，DRAM)。非易失性存储器可以为只读存储器(read only memoryimage，ROM)，例如可编程只读存储器(programmable read only memory，PROM)，可擦除可编程只读存储器(erasable programmable read only memory，EPROM)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)。非易失性存储器也可以为快闪存储器(flash memory)，磁存储器，例如磁带(magnetic tape)，软盘(floppy disk)，硬盘。非易失性存储器也可以为光盘。

参考图2，其示出了本申请一个示例性实施例提供的车辆数据的处理方法的流程图，该方法可由图1实施例中的计算机设备执行，该方法包括：

步骤201，获取车辆数据，该车辆数据是车辆在不同工况下运行产生的数据，该车辆数据是时序数据。

示例性的，可通过以下任一方式获取车辆数据：(1)当执行该方法的是服务器时，则可通过车辆中的电子控制器上传该车辆中的车辆数据，或由人工的方式获取得到车辆数据后，向服务器上传车辆数据；(2)当执行该方法的是个人计算机时，可通过人工的方式获取得到车辆数据后，将其录入个人计算机中。

步骤202，将车辆数据按照其时序划分为K个样本片段，K个样本片段中的每个样本片段包含目标特征向量，K为自然数，K≥2。

示例性的，获取得到的车辆数据包括第0时刻至第T时刻的车辆数据，则可将获取得到的车辆数据按照其时序划分为K(K为预设数量)个数据片段。例如，当K＝4时，则可将车辆数据划分为属于[0，t1]、(t1，t2]、(t2，t3]以及(t3，T]这四个时间区间的数据片段，其中，时刻t1、t2、t3∈(0，T)。

每个数据片段包括目标数据，目标数据与目标算法模型的输出数据的类型相同，由目标数据构成的特征向量即为目标特征向量。例如，若目标算法模型是预测可燃混合气中的空气质量与燃油质量的比值(又可被称为过量空气系数，以下简称为“可燃比”)的模型，则目标数据是每个数据片段所包含的空燃比数据。

步骤203，根据目标特征向量的直方图的类型对样本片段进行聚类，得到N_c个数据集，N_c为自然数，N_c≥2。

其中，直方图反应了目标数据的分布。例如，第i个数据片段(i为自然数，1≤i≤K)的目标向量的直方图可预设个数的Bin描述，每个Bin包含目标数据的取值空间。

其中，Bin的预设个数的取值区间为[3，N)，N为自然数，其代表每个数据片段中采集的目标数据的平均个数。例如，车辆数据被划分为三个数据片段(K＝3)，共采集的目标数据的个数为300个，则每个数据片段中的目标数据的平均个数为100个，故预设个数的取值范围为[3,100)。

通过预设个数的Bin用直方图描述每个目标数据片段，能够降低聚类的速度，提高效率。

示例性的，如表一所示，可使用10个Bin(B0、B1、B2、B3、B4、B5、B6、B7、B8和B9)描述目标向量的直方图，以第一数据片段(segID＝01的数据片段)为例，其中分布于编号为B0的Bin的目标数据的个数为10，分布于编号为B1的Bin的目标数据的个数为9，分布于编号为B2的Bin的目标数据的个数为9，分布于编号为B3的Bin的目标数据的个数为9，分布于编号为B4的Bin的目标数据的个数为9，分布于编号为B5的Bin的目标数据的个数为9，分布于编号为B6的Bin的目标数据的个数为9，分布于编号为B7的Bin的目标数据的个数为9，分布于编号为B8的Bin的目标数据的个数为9，分布于编号为B9的Bin的目标数据的个数为9。

表一

B0	B1	B2	B3	B4	B5	B6	B7	B8	B9	segID
											10	9	9	9	9	9	9	9	9	9	01
9	10	9	10	9	8	9	8	9	9	02
											9	10	9	9	9	9	8	9	9	9	03

步骤204，对每个数据集进行抽样，得到抽样数据，该抽样数据用于训练和测试目标算法模型。

可选的，在步骤204之后，还包括：将抽样数据划分为训练数据和测试数据，训练数据用于对目标算法模型进行训练，测试数据用于对目标算法模型进行测试；可选的，训练数据的数量多于测试数据。

可选的，该目标算法模型可包括但不限于提升树(boosting tree)模型。

综上所述，本申请实施例中，通过将车辆数据按照其时序划分为K个样本片段，根据每个样本片段中目标特征向量的直方图的类型对每个样本片段进行聚类，对每个数据集进行抽样，得到抽样数据，从而实现对训练和测试所需的车辆数据进行精简，提高了对目标算法模型进行训练和测试的效率；同时，由于抽样数据是根据不同类型的目标特征向量的直方图聚类抽样得到的，因此数据覆盖的范围更加全面，从而训练得到的算法模型更为准确。

本申请实施例中，若目标数据在不同次观测中，其样本的长度不一样(即，该目标数据是不定长的数据)时，可通过预设的采样频率(例如，该采样频率是符合Nyquist采样定理的频率)对车辆数据进行重采样，得到定长的目标数据，由定长的目标数据构成目标特征向量。

参考图3，其示出了本申请一个示例性实施例提供的车辆数据的处理方法的流程图，该方法可由图1实施例中的计算机设备执行，该方法可以是图2实施例中步骤203的一种可选的实施方式，该方法包括：

步骤301，对每个样本片段中的目标特征向量进行积分，得到目标特征向量的积分。

通过对目标特征向量进行积分，能够得到单调递增的数据，从而便于后期的数据处理。

步骤302，根据目标特征向量的积分计算目标特征向量的直方图。

可选的，若只关心输出曲线的形状，则可对目标特征向量的积分进行归一化，得到归一化后的积分；根据归一化后的积分计算目标特征向量的直方图。

根据所述归一化后的积分计算所述目标特征向量的直方图。

步骤303，按照目标特征向量的直方图的类型对车辆数据进行聚类。

参考图4，其示出了本申请一个示例性实施例提供的处理装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为上述实施例中的计算机设备，该装置包括：

获取模块410，用于获取车辆数据。

处理模块420，用于将车辆数据按照其时序划分为K个样本片段，K个样本片段中的每个样本片段包含目标特征向量；根据目标特征向量的直方图的类型对每个所述样本片段进行聚类，得到N_c个数据集；对每个数据集进行抽样，得到抽样数据，抽样数据用于训练和测试目标算法模型。

可选的，处理模块420，还用于通过预设的采样频率对车辆数据进行重采样，得到定长的目标数据，定长的目标数据构成目标特征向量。

可选的，该预设的采样频率是符合Nyquist采样定理的频率。

可选的，处理模块420，还用于对每个样本片段中的目标特征向量进行积分，得到目标特征向量的积分；根据目标特征向量的积分计算目标特征向量的直方图；按照目标特征向量的直方图的类型对车辆数据进行聚类。

可选的，处理模块420，还用于对目标特征向量的积分进行归一化，得到归一化后的积分；根据归一化后的积分计算目标特征向量的直方图。

可选的，该直方图用预设个数的Bin进行描述。

可选的，处理模块420，还用于将抽样数据划分为训练数据和测试数据，训练数据用于对目标算法模型进行训练，测试数据用于对所述目标算法模型进行测试。

可选的，训练数据多于测试数据。

可选的，目标算法模型包括提升树模型。

本申请还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一实施例所述的车辆数据的处理方法。

本申请还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述各个方法实施例提供的车辆数据的处理方法。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。

Claims (11)

1.一种车辆数据的处理方法，其特征在于，包括：

获取车辆数据，所述车辆数据是所述车辆在不同工况下运行产生的数据，所述车辆数据是时序数据；

将所述车辆数据按照其时序划分为K个样本片段，所述K个样本片段中的每个样本片段包含目标特征向量，所述目标特征向量由目标数据构成，所述目标数据与目标算法模型的输出数据的类型相同，K为自然数，K≥2；

根据所述目标特征向量的直方图的类型对所述样本片段进行聚类，得到N_c个数据集，所述直方图用预设个数的Bin进行描述，所述Bin包括目标数据的取值空间，N_c为自然数，N_c≥2；

对每个所述数据集进行抽样，得到抽样数据，所述抽样数据用于训练和测试所述目标算法模型。

2.根据权利要求1所述的方法，其特征在于，当所述目标数据为不定长的特征向量时，所述根据所述目标特征向量的直方图的类型对每个所述样本片段进行聚类之前，还包括：

通过预设的采样频率对所述车辆数据进行重采样，得到定长的目标数据，所述定长的目标数据构成所述目标特征向量。

3.根据权利要求2所述的方法，其特征在于，所述预设的采样频率是符合Nyquist采样定理的频率。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标特征向量的直方图的类型对所述样本片段进行聚类，包括：

对每个样本片段中的目标特征向量进行积分，得到目标特征向量的积分；

根据所述目标特征向量的积分计算所述目标特征向量的直方图；

按照所述目标特征向量的直方图的类型对所述样本片段进行聚类。

5.根据权利要求4所述的方法，其特征在于，所述根据所述目标特征向量的积分计算所述目标特征向量的直方图，包括：

对所述目标特征向量的积分进行归一化，得到归一化后的积分；

根据所述归一化后的积分计算所述目标特征向量的直方图。

6.根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：

将所述抽样数据划分为训练数据和测试数据，所述训练数据用于对所述目标算法模型进行训练，所述测试数据用于对所述目标算法模型进行测试。

7.根据权利要求6所述的方法，其特征在于，所述训练数据多于所述测试数据。

8.根据权利要求6所述的方法，其特征在于，所述目标算法模型包括提升树模型。

9.一种处理装置，其特征在于，包括：

获取模块，用于获取车辆数据，所述车辆数据是所述车辆在不同工况下运行产生的数据，所述车辆数据是时序数据；

处理模块，用于将所述车辆数据按照其时序划分为K个样本片段，所述K个样本片段中的每个样本片段包含目标特征向量，所述目标特征向量由目标数据构成，所述目标数据与目标算法模型的输出数据的类型相同，K为自然数，K≥2；根据所述目标特征向量的直方图的类型对每个所述样本片段进行聚类，得到N_c个数据集，所述直方图用预设个数的Bin进行描述，所述Bin包括目标数据的取值空间，N_c为自然数，N_c≥2；对每个所述数据集进行抽样，得到抽样数据，所述抽样数据用于训练和测试所述目标算法模型。

10.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或程序，所述指令或程序由所述处理器加载并执行以实现如权利要求1至8中任一所述的车辆数据的处理方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至8中任一所述的车辆数据的处理方法。