CN112598133B - 车辆数据的处理方法、装置、设备和存储介质 - Google Patents

车辆数据的处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN112598133B
CN112598133B CN202011480936.0A CN202011480936A CN112598133B CN 112598133 B CN112598133 B CN 112598133B CN 202011480936 A CN202011480936 A CN 202011480936A CN 112598133 B CN112598133 B CN 112598133B
Authority
CN
China
Prior art keywords
data
condition
layering
ith
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011480936.0A
Other languages
English (en)
Other versions
CN112598133A (zh
Inventor
刘鹏
陆唯佳
李兵洋
龚昊
庄杰
宋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
United Automotive Electronic Systems Co Ltd
Original Assignee
United Automotive Electronic Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by United Automotive Electronic Systems Co Ltd filed Critical United Automotive Electronic Systems Co Ltd
Priority to CN202011480936.0A priority Critical patent/CN112598133B/zh
Publication of CN112598133A publication Critical patent/CN112598133A/zh
Application granted granted Critical
Publication of CN112598133B publication Critical patent/CN112598133B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请公开了一种车辆数据的处理方法、装置、设备和存储介质,该方法包括:根据第i次分层条件将训练数据划分为Si个集合,第i次分层条件包括第i次分层的集合个数和每个集合的抽样个数ni,i为自然数,i≥2,ni、Si为自然数,ni≥1,Si≥2,第i次分层条件是调参模型基于第一次分层条件至第i‑1次分层条件计算得到的;根据第i次分层条件对Si个集合中每个集合中的数据进行抽样,得到每个集合的抽样数据;根据抽样数据训练目标算法模型,得到第i次训练后的算法模型;当不满足输出条件时,通过调参模型基于第一次分层条件至第i次分层条件计算得到第i+1次分层条件,重复上述步骤,直至满足输出条件。

Description

车辆数据的处理方法、装置、设备和存储介质
技术领域
本申请涉及车辆控制技术领域,具体涉及一种车辆数据的处理方法、装置、设备和存储介质。
背景技术
随着车辆智能化、网联化发展,通过机器学习的算法模型进行数据处理的需求越来越多。其中,算法模型的类型包括监督学习、无监督学习以及半监督学习等。
相关技术中,可通过监督学习的算法模型对车辆数据进行处理,其中,监督学习是指通过已标记的训练数据来推断一个功能使其达到要求性能的机器学习任务。在建立监督学习的算法模型时,需要准备训练数据,通过训练数据训练算法模型。
然而,由于训练数据中往往存在噪声或者异常值,这类数据参与训练会使得算法模型过拟合,导致算法模型的泛化能力较差;同时,由于训练数据量较大,算法模型的推断复杂度和推断时间会呈指数上升,导致算法模型难以即时响应,其处理效率较低。
发明内容
本申请提供了一种车辆数据的处理方法、装置、设备和存储介质,可以解决相关技术中提供的通过监督学习的算法模型对车辆数据进行处理的效率较低且准确度较差的问题。
一方面,本申请实施例提供了一种车辆数据的处理方法,包括:
根据第i次分层条件将训练数据划分为Si个集合,所述第i次分层条件包括第i次分层的集合个数和所述Si个集合中每个集合的抽样个数ni,i为自然数,i≥2,ni、Si为自然数,ni≥1,Si≥2,所述第i次分层条件是调参模型基于第一次分层条件至第i-1次分层条件计算得到的,所述训练数据包括所述车辆数据;
根据所述第i次分层条件对所述Si个集合中每个集合中的训练数据进行抽样,得到所述每个集合的抽样数据;
根据所述抽样数据训练目标算法模型,得到第i次训练后的算法模型,所述目标算法模型是对车辆的参数进行预测的机器学习模型;
当不满足输出条件时,通过所述调参模型基于第一次分层条件至所述第i次分层条件计算得到第i+1次分层条件,重复上述步骤,直至满足所述输出条件,所述满足输出条件是指所述第i次训练后的算法模型的评价满足评价条件和/或对所述目标算法模型的训练次数达到预设次数。
可选的,所述对所述Si个集合中每个集合中的数据进行抽样,得到抽样数据,包括:
对所述训练数据进行归一化,得到归一化后的数据;
根据所述每个集合的抽样个数对所述每个集合中的归一化后的数据进行聚类,得到所述每个集合的中心坐标;
根据所述每个集合的中心坐标,对所述每个集合中的归一化后的数据进行抽样,得到所述抽样数据。
可选的,所述根据所述每个集合的抽样个数对所述每个集合中的归一化后的数据进行聚类,包括:
将所述抽样个数作为所述每个集合的K值,通过K均值聚类方法对所述每个集合中的归一化后的数据进行所述聚类。
可选的,所述根据所述每个集合的中心坐标,对所述每个集合中的归一化后的数据进行抽样,包括:
抽取距离所述中心坐标最近的ni个归一化后的数据作为所述抽样数据。
可选的,所述根据所述每个集合的中心坐标,对所述每个集合中的归一化后的数据进行抽样,包括:
抽取距离所述中心坐标最近的ni/2个归一化后的数据,以及距离所述中心坐标最远的ni/2个归一化后的数据作为所述抽样数据。
可选的,所述调参模型包括贝叶斯模型,所述贝叶斯模型包括期望提升函数和代理函数。
可选的,所述通过调参模型基于第一次分层条件至所述第i次分层条件计算得到第i+1次分层条件,包括:
对所述第i次训练后的算法模型进行评价,得到第i次评价结果;
根据第一次评价结果至所述第i次评价结果,以及所述第i次分层条件,通过所述代理函数进行函数空间拟合,得到预测值;
通过所述期望提升函数根据所述预测值和标准差输出所述第i+1次分层条件。
可选的,所述代理函数包括高斯回归模型。
另一方面,本申请实施例提供了一种车辆数据的处理装置,包括:
分层模块,用于根据第i次分层条件将训练数据划分为Si个集合,所述第i次分层条件包括第i次分层的集合个数和所述Si个集合中每个集合的抽样个数ni,i为自然数,i≥2,ni、Si为自然数,ni≥1,Si≥2,所述第i次分层条件是调参模型基于第一次分层条件至第i-1次分层条件计算得到的,所述训练数据包括所述车辆数据;
压缩模块,用于根据所述第i次分层条件对所述每个集合中的训练数据进行抽样,得到所述每个集合的抽样数据;
训练模块,用于根据所述抽样数据训练目标算法模型,所述目标算法模型是对车辆的参数进行预测的机器学习模型;
调参模块,用于当不满足输出条件时,基于第一次分层条件至所述第i次分层条件计算得到第i+1次分层条件,将所述第i+1次分层条件输入至所述分层模块,直至满足所述输出条件,所述输出条件用于指示对所述目标算法模型的评价满足评价条件和/或对所述目标算法模型的训练次数达到预设次数。
另一方面,本申请实施例提供了一种数据处理设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如上任一所述的车辆数据的处理方法。
另一方面,本申请实施例提供了一种电子控制器,所述电子控制器配备于车辆中,包括处理器和存储器,所述存储器中存储有如上任一所述的满足所述输出条件的目标算法模型,所述目标算法模型由所述处理器加载并运行。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如上任一所述的车辆数据的处理方法。
本申请技术方案,至少包括如下优点:
通过调参模型输出分层条件,基于分层条件对训练数据进行分层和抽样得到抽样数据,从而根据抽样数据建立或训练得到目标算法模型,通过判断目标算法模型和/或训练次数是否满足输出条件,当不满足输出条件时对分层天津进行迭代,由于训练算法模型的数据是通过分层和抽样得到的,且分层条件是通过调参模型输出得到的,因此能够提高车辆数据处理的效率和准确度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的车辆数据的处理方法的实施环境的示意图;
图2是本申请一个示例性实施例提供的车辆数据的处理方法的流程图;
图3是本申请一个示例性实施例提供的车辆数据的处理方法的流程图;
图4是本申请一个示例性实施例提供的车辆数据的处理方法的流程图;
图5是本申请一个示例性实施例提供的车辆数据的处理方法的流程图;
图6是本申请一个示例性实施例提供的调参模型的示意图;
图7是本申请一个示例性实施例提供的车辆数据的处理装置的框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例,都属于本申请保护的范围。
在本申请的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电气连接;可以是直接相连,也可以通过中间媒介间接相连,还可以是两个元件内部的连通,可以是无线连接,也可以是有线连接。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
此外,下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
参考图1,其示出了本申请一个示例性实施例提供的车辆数据的处理方法的实施环境的示意图,如图1所示,其包括数据获取设备110和数据处理设备130。其中:
数据获取设备110是获取建立或训练目标算法模型所需的目标数据(该目标数据可以是训练目标算法模型的训练数据,也可以是调用目标算法模型进行数据处理的输入数据)的设备,数据获取设备110可以是以下设备中的至少一种:
(1)电子控制器(electronic control unit,ECU):车辆中配备的ECU获取到目标数据(该目标数据可以是ECU中存储的变量数据)后,可将目标数据发送至车辆中配备的通信设备,通信设备将目标数据通过无线网络发送至数据处理设备120。
(2)发动机控制系统(engine management system,EMS):车辆中的EMS获取得到目标数据(该目标数据可以是车辆中各个传感器感应得到的车辆参数数据)后,可将目标数据发送至车辆中配备的通信设备,通信设备将目标数据通过无线网络发送至数据处理设备120。
(3)开发设备:开发人员搜集到车辆上的目标数据(例如ECU中存储的变量数据和/或车辆中各个传感器感应得到的车辆参数数据)后,利用开发设备通过有线或无线网络发送至数据处理设备120。
数据处理设备120,其包括处理器121和存储器122,存储器122中存储有目标算法模型1221和调参模型1222,目标算法模型1221和调参模型1222中包括至少一条指令,该指令可由处理器122加载并执行以实现如下任一方法实施例中所提供的车辆数据的处理方法。可选的,本实施例中,数据处理设备130可以是服务器。
在一个可选的实施例中,数据处理设备可以是离线的设备(例如,其可以是离线的个人计算机(personal computer,PC)),可将上述任一数据获取设备获取得到的车辆数据输入至离线的数据处理设备中,通过数据处理设备的处理器加载和执行以实现如下任一方法实施例中提供的车辆数据的处理方法。
参考图2,其示出了本申请一个示例性实施例提供的车辆数据的处理方法的流程图,该方法可由图1实施例中的数据处理设备120执行,该方法包括:
步骤201,根据第i次分层条件将训练数据划分为Si个集合,第i次分层条件包括第i次分层的集合个数和Si个集合中每个集合的抽样个数ni,i为自然数,i≥2,ni、Si为自然数,ni≥1,Si≥2,第i次分层条件是调参模型基于第一次分层条件至第i-1次分层条件计算得到的。
其中,训练数据包括车辆数据,其可通过图1实施例中的数据获取设备110获取得到;分层条件是将训练数据划分为至少两个集合的划分条件,其包括集合个数和抽样总数,将训练数据划分为至少两个集合的步骤又可成为分层或分区。
例如,第i次分层条件包括集合个数Si和每个集合的抽样个数ni,Si个集合的抽样总数为Ni(Ni为自然数,Ni=ni×Si≥2),其指示了在对训练数据的第i次压缩(即分层和抽样)的过程中,需要将训练数据划分为Si个集合,需要在每个集合中抽取ni个训练数据。
可选的,“根据第i次分层条件将训练数据划分为Si个集合”包括但不限于:根据第i次分层条件中的集合数Si,计算目标特征的(Si-1)个分位数作为分层边界;根据训练数据的目标特征所归属的由(Si-1)个分位数组成的区间,将训练数据划分为Si个集合。
示例性的,集合个数Si=4,则需要将训练数据划分为4个集合,需要3个分层边界,数据处理设备计算训练数据中的目标特征(例如扭矩预测值)的下四分位数、中位数、上四分位数作为分层边界,将目标特征小于下四分位数的训练数据划分至第一集合,将目标特征大于等于下四分位数且小于中位数的训练数据划分至第二集合,将目标特征大于等于中位数且小于上四分位数的划分至第三集合,将目标特征大于上四分位数的划分至第四集合。
步骤202,根据第i次分层条件对Si个集合中每个集合中的数据进行抽样,得到每个集合的抽样数据。
示例性的,在对训练数据进行分层(即将训练数据划分为至少两个个集合)后,对Si个集合中每个集合进行抽样,得到Ni个抽样数据。通过对每个集合进行抽样,能够降低训练数据的数量,从而提高目标算法模型的训练效率;同时,由于分层条件时由调参模型基于上一次分层条件计算得到的,因此能够提高数据抽样的准确度,从而提高训练得到的目标算法模型的数据处理的准确度。
步骤203,根据抽样数据训练目标算法模型,得到第i次训练后的算法模型,目标算法模型是对车辆的参数进行预测的机器学习模型。
例如,该目标算法模型可以是对车辆的扭矩进行预测的机器学习模型,可将目标数据输入目标算法模型,输出车辆的扭矩值。
步骤203中,“根据抽样数据训练目标算法模型”可包括:将抽样数据(其包括每组数据的标定结果)输入目标算法模型得到训练结果;将训练结果与抽样数据的标定结果进行比较,得到计算损失,该计算损失用于指示训练结果与标定结果之间的误差;根据计算损失,采用误差反向传播算法训练得到第i次训练后的算法模型。
步骤204,检测是否满足输出条件。
当满足输出条件时,停止迭代,输出抽样数据和第i次训练后的算法模型;当不满足输出条件时,进行步骤205。
其中,满足输出条件是指对第i次训练后的算法模型的评价满足评价条件和/或对目标算法模型的训练次数达到预设次数。示例性的,可对第i次训练后的算法模型进行评价,得到第i次评价结果,当第i次评价结果满足评价条件(例如,其评分高于标准值)时,确定满足输出条件;和/或,当对目标算法模型的训练次数超过次数阈值时,确定满足输出条件。
步骤205,通过调参模型基于第一次分层条件至第i次分层条件计算得到第i+1次分层条件。
其中,调参模型是对分层条件进行优化的机器学习模型,例如,其可以包括采用贝叶斯优化算法、随机森林算法等算法模型的机器学习模型。
通过调参模型基于第i次分层条件计算得到第i+1次分层条件后,令i=1+1,重复步骤201至步骤205,直至满足输出条件。
综上所述,本申请实施例中,通过调参模型输出分层条件,基于分层条件对训练数据进行分层和抽样得到抽样数据,从而根据抽样数据建立或训练得到目标算法模型,通过判断目标算法模型和/或训练次数是否满足输出条件,当不满足输出条件时对分层天津进行迭代,由于训练算法模型的数据是通过分层和抽样得到的,且分层条件是通过调参模型输出得到的,因此能够提高车辆数据处理的效率和准确度。
参考图3,其示出了本申请一个示例性实施例提供的车辆数据的处理方法的流程图,该方法可以是图2实施例中步骤202的一种可选的实施方式,该方法可由图1实施例中的数据处理设备120执行,包括:
步骤2021,对训练数据进行归一化,得到归一化后的数据。
调参模型在参数调节的过程中,核函数需要考虑训练数据的各向异性,从而增加了设计难度,由于算法模型的设计难度的增加,会在一定程度上降低算法模型的预测准确度,鉴于此,通过对训练数据进行归一化,降低了训练数据的特征尺度不一致对训练所造成的影响,提高了目标算法模型的预测准确度。
步骤2022,根据每个集合的抽样个数对每个集合中的归一化后的数据进行聚类,得到每个集合的中心坐标。
可选的,可根据每个集合的抽样个数,通过K均值聚类方法或bi-K均值聚类方法对每个集合中的归一化后的数据进行聚类,得到每个集合的中心坐标。
例如,可将抽样个数ni作为每个集合的K值,通过K均值聚类方法对每个集合中的归一化后的数据进行聚,得到每个集合的中心坐标。
步骤2023,根据每个集合的中心坐标,对每个集合中的归一化后的数据进行抽样,得到抽样数据。
可选的,步骤2024中,对于Si个集合中的任一集合,抽取距离该集合的中心坐标最近的ni个归一化后的数据作为该集合的抽样数据。其中,该距离可以是欧式距离。可选的,抽取距离该集合的中心坐标最近的ni个归一化后的数据后,再去除该ni个归一化后的数据中的重复数据,得到该集合中的抽样数据。
可选的,步骤2024中,对于Si个集合中的任一集合,抽取距离该集合的中心坐标最近的ni/2个归一化后的数据,以及距离该集合的中心坐标最远的ni/2个归一化后的数据作为该集合的抽样数据。其中,该距离可以是欧式距离。可选的,抽取距离该集合的中心坐标最近的ni/2个归一化后的数据,以及距离该集合的中心坐标最远的ni/2个归一化后的数据后,再去除该ni个归一化后的数据中的重复数据,得到该集合中的抽样数据。采用该实施例抽取的抽样数据能更好的表征整个训练数据集的分布,基于该实施例抽取的抽样数据训练的目标算法模型能够在保证精度的同时推断速度更快。
参考图4,其示出了本申请一个示例性实施例提供的车辆数据的处理方法的流程图,如图4所示,输入训练数据和分层条件(包括集合个数和每个集合的抽样个数,其由调参模型1222输出),对训练数据进行分层后,进行数据压缩(即,对训练数据进行分层抽样后进行数据提取),通过压缩后的数据训练目标算法模型,对目标算法模型进行建模评价,判断评价得到的评分和/或训练次数是否满足要求,若不满足要求,则将分层条件输入至调参模型1222,通过调参模型1222基于本次分层条件输出下一次分层条件,不断迭代,直至满足要求,输出压缩后的数据和目标算法模型。其中,可通过初始分层条件对调参模型1222进行初始化。
参考图5,其示出了本申请一个示例性实施例提供的车辆数据的处理方法的流程图,该方法可以是图2实施例中步骤206的一种可选的实施方式,该方法可由图1实施例中的数据处理设备120执行,包括:
步骤2061,对第i次训练后的算法模型进行评价,得到第i次评价结果。
同时,数据处理设备中存储有第一次评价结果至第(i-1)次评价结果。
步骤2062,根据第一次评价结果至第i次评价结果,以及第i次分层条件,通过代理函数进行函数空间拟合,得到预测值。
示例性的,调参模型包括代理函数和期望提升函数,其中,代理函数包括高斯回归模型,代理函数接收第i次分层条件和i次评价结果(其包括第一次分层条件和基于第一次分层条件得到的抽样数据训练的目标算法模型的评价结果、第二次分层条件和基于第二次分层条件得到的抽样数据训练的目标算法模型的评价结果,……,第(i-1)次分层条件和基于第(i-1)次分层条件得到的抽样数据训练的目标算法模型的评价结果,以及第i次分层条件和基于第i次分层条件得到的抽样数据训练的目标算法模型的评价结果),进行函数空间拟合,输出预测值。
步骤2063,通过期望提升函数根据预测值和标准差输出第i+1次分层条件。
示例性的,期望提升函数接收代理函数输出的预测值,根据标准差输出最大值点作为第i+1次分层条件。
参考图6,其示出了本申请一个示例性实施例提供的调参模型的示意图,如图5所示,该调参模型包括代理函数610和期望提升函数620。可选的,该调参模型包括贝叶斯模型。以下,以该调参模型包括贝叶斯模型,代理函数610包括高斯回归模型为例,对调参模型进行说明:
贝叶斯模型的初始化过程:(1)贝叶斯模型接收初始分层条件、基于初始分层条件压缩的数据建立的目标算法模型的评价结果,以及初始分层条件中各元素的上下界;(2)计算期望提升函数的最大值点,将该最大值点作为下次分层的分层条件。
迭代过程:(1)代理函数610接收基于本次输出的分层条件所训练的目标算法模型的评价结果以及前(i-1)次的评价结果作为新增输入进行函数空间拟合;(2)期望提升函数620根据当前高斯过程回归的预测值和标准差输出最大值点作为下次分层的分层条件。
参考图7,其示出了本申请一个示例性实施例提供的车辆数据的处理装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为图1实施例中的数据处理设备120。该装置包括:
分层模块710,用于根据第i次分层条件将训练数据划分为Si个集合。
压缩模块720,用于根据第i次分层条件对Si个集合中每个集合中的数据进行抽样,得到每个集合的抽样数据。
训练模块730,用于根据抽样数据训练目标算法模型,得到第i次训练后的算法模型。
调参模块740,用于当不满足输出条件时,基于第一次分层条件至第i次分层条件计算得到第i+1次分层条件;将第i+1次分层条件输入至分层模块710。
可选的,压缩模块720,还用于对训练数据进行归一化,得到归一化后的数据;根据每个集合的抽样个数对每个集合中的归一化后的数据进行聚类,得到每个集合的中心坐标;根据每个集合的中心坐标,对每个集合中的归一化后的数据进行抽样,得到抽样数据。
可选的,压缩模块720,还用于将抽样个数作为每个集合的K值,通过K均值聚类方法对每个集合中的归一化后的数据进行聚类。
可选的,压缩模块720,还用于抽取距离中心坐标最近的ni个归一化后的数据作为抽样数据。
可选的,压缩模块720,还用于抽取距离中心坐标最近的ni/2个归一化后的数据,以及距离中心坐标最远的ni/2个归一化后的数据作为抽样数据。
可选的,调参模块740包括贝叶斯模型,贝叶斯模型包括期望提升函数和代理函数;调参模块740,还用于对第i次训练后的算法模型进行评价,得到第i次评价结果;根据第一次评价结果至第i次评价结果,以及第i次分层条件,通过代理函数进行函数空间拟合,得到预测值;通过期望提升函数根据预测值和标准差输出第i+1次分层条件。
可选的,代理函数包括高斯回归模型。
本申请实施例中,通过上述方法输出的目标算法模型可存储于车辆中配备的电子控制器的存储器中,该电子控制器还处理器,目标算法模型可由处理器加载并运行。
本申请还提供一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述任一实施例所述的车辆数据的处理方法。
本申请还提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述各个方法实施例提供的车辆数据的处理方法。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本申请创造的保护范围之中。

Claims (12)

1.一种车辆数据的处理方法,其特征在于,包括:
根据第i次分层条件将训练数据划分为Si个集合,所述第i次分层条件包括第i次分层的集合个数和所述Si个集合中每个集合的抽样个数ni,i为自然数,i≥2,ni、Si为自然数,ni≥1,Si≥2,所述第i次分层条件是调参模型基于第一次分层条件至第i-1次分层条件计算得到的,所述训练数据包括所述车辆数据;
根据所述第i次分层条件对所述Si个集合中每个集合中的训练数据进行抽样,得到所述每个集合的抽样数据;
根据所述抽样数据训练目标算法模型,得到第i次训练后的算法模型,所述目标算法模型是对车辆的参数进行预测的机器学习模型;
当不满足输出条件时,通过所述调参模型基于第一次分层条件至所述第i次分层条件计算得到第i+1次分层条件,重复上述步骤,直至满足所述输出条件,所述满足输出条件是指所述第i次训练后的算法模型的评价满足评价条件和/或对所述目标算法模型的训练次数达到预设次数。
2.根据权利要求1所述的方法,其特征在于,所述对所述Si个集合中每个集合中的数据进行抽样,得到抽样数据,包括:
对所述训练数据进行归一化,得到归一化后的数据;
根据所述每个集合的抽样个数对所述每个集合中的归一化后的数据进行聚类,得到所述每个集合的中心坐标;
根据所述每个集合的中心坐标,对所述每个集合中的归一化后的数据进行抽样,得到所述抽样数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述每个集合的抽样个数对所述每个集合中的归一化后的数据进行聚类,包括:
将所述抽样个数作为所述每个集合的K值,通过K均值聚类方法对所述每个集合中的归一化后的数据进行所述聚类。
4.根据权利要求2所述的方法,其特征在于,所述根据所述每个集合的中心坐标,对所述每个集合中的归一化后的数据进行抽样,包括:
抽取距离所述中心坐标最近的ni个归一化后的数据作为所述抽样数据。
5.根据权利要求2所述的方法,其特征在于,所述根据所述每个集合的中心坐标,对所述每个集合中的归一化后的数据进行抽样,包括:
抽取距离所述中心坐标最近的ni/2个归一化后的数据,以及距离所述中心坐标最远的ni/2个归一化后的数据作为所述抽样数据。
6.根据权利要求1至5任一所述的方法,其特征在于,所述调参模型包括贝叶斯模型,所述贝叶斯模型包括期望提升函数和代理函数。
7.根据权利要求6所述的方法,其特征在于,所述通过调参模型基于第一次分层条件至所述第i次分层条件计算得到第i+1次分层条件,包括:
对所述第i次训练后的算法模型进行评价,得到第i次评价结果;
根据第一次评价结果至所述第i次评价结果,以及所述第i次分层条件,通过所述代理函数进行函数空间拟合,得到预测值;
通过所述期望提升函数根据所述预测值和标准差输出所述第i+1次分层条件。
8.根据权利要求7所述的方法,其特征在于,所述代理函数包括高斯回归模型。
9.一种车辆数据的处理装置,其特征在于,包括:
分层模块,用于根据第i次分层条件将训练数据划分为Si个集合,所述第i次分层条件包括第i次分层的集合个数和所述Si个集合中每个集合的抽样个数ni,i为自然数,i≥2,ni、Si为自然数,ni≥1,Si≥2,所述第i次分层条件是调参模型基于第一次分层条件至第i-1次分层条件计算得到的,所述训练数据包括所述车辆数据;
压缩模块,用于根据所述第i次分层条件对所述每个集合中的训练数据进行抽样,得到所述每个集合的抽样数据;
训练模块,用于根据所述抽样数据训练目标算法模型,得到第i次训练后的算法模型,所述目标算法模型是对车辆的参数进行预测的机器学习模型;
调参模块,用于当不满足输出条件时,基于第一次分层条件至所述第i次分层条件计算得到第i+1次分层条件,将所述第i+1次分层条件输入至所述分层模块,直至满足所述输出条件,所述满足输出条件是指所述第i次训练后的算法模型的评价满足评价条件和/或对所述目标算法模型的训练次数达到预设次数。
10.一种数据处理设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至8中任一所述的车辆数据的处理方法。
11.一种电子控制器,其特征在于,所述电子控制器配备于车辆中,包括处理器和存储器,所述存储器中存储有如权利要求1至8中所述的满足所述输出条件的目标算法模型,所述目标算法模型由所述处理器加载并运行。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至8任一所述的车辆数据的处理方法。
CN202011480936.0A 2020-12-16 2020-12-16 车辆数据的处理方法、装置、设备和存储介质 Active CN112598133B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011480936.0A CN112598133B (zh) 2020-12-16 2020-12-16 车辆数据的处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011480936.0A CN112598133B (zh) 2020-12-16 2020-12-16 车辆数据的处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN112598133A CN112598133A (zh) 2021-04-02
CN112598133B true CN112598133B (zh) 2023-07-28

Family

ID=75196168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011480936.0A Active CN112598133B (zh) 2020-12-16 2020-12-16 车辆数据的处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN112598133B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239964B (zh) * 2021-04-13 2024-03-01 联合汽车电子有限公司 车辆数据的处理方法、装置、设备和存储介质
CN113239963B (zh) * 2021-04-13 2024-03-01 联合汽车电子有限公司 车辆数据的处理方法、装置、设备、车辆和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105258A1 (zh) * 2017-11-30 2019-06-06 中国银联股份有限公司 基于机器学习的数据分类方法及系统
CN110598842A (zh) * 2019-07-17 2019-12-20 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质
WO2020087281A1 (zh) * 2018-10-30 2020-05-07 深圳市大疆创新科技有限公司 超参数的优化方法及装置
CN111191791A (zh) * 2019-12-02 2020-05-22 腾讯云计算(北京)有限责任公司 机器学习模型的应用方法、训练方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105258A1 (zh) * 2017-11-30 2019-06-06 中国银联股份有限公司 基于机器学习的数据分类方法及系统
WO2020087281A1 (zh) * 2018-10-30 2020-05-07 深圳市大疆创新科技有限公司 超参数的优化方法及装置
CN110598842A (zh) * 2019-07-17 2019-12-20 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质
CN111191791A (zh) * 2019-12-02 2020-05-22 腾讯云计算(北京)有限责任公司 机器学习模型的应用方法、训练方法、装置、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于抽样融合改进的大数据聚类方法;刘岩;王存睿;;微电子学与计算机(04);全文 *
多算法多模型与在线第二次学习结合的短期电力负荷预测方法;周末;金敏;;计算机应用(11);全文 *

Also Published As

Publication number Publication date
CN112598133A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112598133B (zh) 车辆数据的处理方法、装置、设备和存储介质
US11120127B2 (en) Reconstruction-based anomaly detection
US20230131283A1 (en) Method for generating universal learned model
CN108763398B (zh) 数据库配置参数处理方法、装置、计算机设备和存储介质
CN110926782B (zh) 断路器故障类型判断方法、装置、电子设备及存储介质
CN112188531B (zh) 异常检测方法、装置、电子设备及计算机存储介质
CN113835408A (zh) 用于自主驾驶交通工具的稳健多模态传感器融合
JP2022524244A (ja) 将来の動作の予測分類
CN111428418A (zh) 一种轴承故障的诊断方法、装置、计算机设备和存储介质
CN115013298B (zh) 污水泵的实时性能在线监测系统及其监测方法
CN112269769A (zh) 数据压缩方法、装置、计算机设备及存储介质
CN113239963B (zh) 车辆数据的处理方法、装置、设备、车辆和存储介质
CN106788885B (zh) 一种心电信号压缩率自适应调节无线传输系统和传输方法
US20180137409A1 (en) Method of constructing an artifical intelligence super deep layer learning model, device, mobile terminal, and software program of the same
CN117113729A (zh) 一种基于数字孪生的电力设备在线状态监测系统
CN115062480A (zh) 生产工艺参数的推荐方法及相关装置和程序介质
CN116743637B (zh) 一种异常流量的检测方法、装置、电子设备及存储介质
CN112566170B (zh) 网络质量评估方法、装置、服务器及存储介质
CN115221471B (zh) 一种异常数据的识别方法、装置、存储介质及计算机设备
CN111275059A (zh) 一种图像处理方法、装置和计算机可读存储介质
CN110866682A (zh) 基于历史数据的地下电缆预警方法和装置
CN115907003A (zh) 基于度量学习的联邦学习恶意模型更新的检测方法及系统
US20220222573A1 (en) Running tests in data digest machine-learning model
CN115249126A (zh) 基于特征向量空间的核电站设备综合状态评估方法和装置
CN112784165A (zh) 关联关系预估模型的训练方法以及预估文件热度的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant