CN115827790A - 一种数据处理方法及装置 - Google Patents
一种数据处理方法及装置 Download PDFInfo
- Publication number
- CN115827790A CN115827790A CN202111098426.1A CN202111098426A CN115827790A CN 115827790 A CN115827790 A CN 115827790A CN 202111098426 A CN202111098426 A CN 202111098426A CN 115827790 A CN115827790 A CN 115827790A
- Authority
- CN
- China
- Prior art keywords
- target data
- dimension
- data
- tag
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供一种数据处理方法及装置,涉及自动驾驶技术领域。该方法包括:获取第一指令,该第一指令可以用于指示车辆的目标数据;获取目标数据对应的配置文件,该配置文件可以用于定义该目标数据的数据存储策略;其中,该配置文件包括目标数据的第一标签,第一标签可以用于指示该目标数据的留存维度;根据该数据存储策略,对目标数据进行分层存储。在该方法中,通过上述方法,可以获取目标数据的配置文件,该配置文件包括可以用于指示目标数据的留存维度的标签;如此,可以基于该配置文件确定目标数据留存的必要程度,并根据目标数据留存的必要程度确定目标数据的存储策略,使得目标数据的存储满足用户的存储需求。
Description
技术领域
本申请实施例涉及自动驾驶技术领域,尤其涉及一种数据处理方法及装置。
背景技术
随着汽车行业的发展,车辆可以包括多种业务场景(例如娱乐场景、驾驶场景等),在不同的业务场景下,车辆会产生大量的业务数据,若将这些业务数据长期存储,会造成存储空间的浪费。
为了节约数据存储空间,一些技术方案中,为业务数据配置了生命周期,并根据业务数据的生命周期对业务数据进行存储管理,一旦业务数据的生命周期达到,自动将该业务数据删除。然而,对于车辆的业务而言,这些业务数据中既存在与高价值的数据,也存在低价值的数据,若业务数据的生命周期配置不合理,仅仅根据业务数据的生命周期对业务数据的存储进行管理,导致业务数据中高价值的数据被删除,进而导致该业务数据相关的业务价值损失;或者,导致业务数据中低价值的数据存储时间较长,造成数据存储空间的浪费。
另一些方案中,通过人工筛选业务数据中高价值的数据和低价值的数据,并进行相应的操作。然而,对于车辆的海量数据,这种处理方式需要消耗大量的人力,且效率低下。
有鉴于此,如何提供一种合理的数据存储策略,以满足用户对不同的数据的存储需求,以及提升数据处理的效率,是个亟需解决的问题。
发明内容
本申请提供一种数据处理方法及装置,用以满足用户对车辆的不同业务数据的数据存储需求,以及提升数据处理的效率,是个亟需解决的问题。
第一方面,本申请实施例提供了一种数据处理方法,该方法可应用于数据处理装置,该数据处理装置可以部署在车辆侧或服务器侧,或者该数据处理装置可以是独立设备,也可以是装置中的芯片或部件,还可以是软件模块,本申请实施例对该数据处理装置的产品形态以及部署方式不做限定。
该方法包括:获取第一指令,该第一指令可以用于指示车辆的目标数据;获取目标数据对应的配置文件,该配置文件可以用于定义目标数据的数据存储策略;其中,配置文件包括目标数据的第一标签,第一标签可以用于指示目标数据的留存维度;根据数据存储策略,对目标数据进行分层存储。
其中,“留存维度”可以理解为用于确定目标数据的留存的必要程度的参数。“目标数据留存的必要程度”可以理解为目标数据的重要性和/或目标数据存储的必要性。例如,目标数据留存的必要程度越高,则表示目标数据越重要;又例如,目标数据留存的必要程度越高,则表示目标数据越需要进行存储;再例如,目标数据留存的必要程度越高,则表示目标数据越重要以及越需要存储。
通过上述方法,可以获取目标数据的配置文件,该配置文件包括用于指示目标数据的留存维度的标签;如此,可以基于该配置文件确定目标数据留存的必要程度,并根据目标数据留存的必要程度确定目标数据的存储策略,使得目标数据的存储满足用户的存储需求,且有效提升目标数据存储管理的效率。
应理解,“目标数据”即车辆关联的需要进行数据存储管理的数据,可以是根据用户输入的第一指令确定的。例如,目标数据可以是车辆的一个业务场景中的特定类型的业务数据,也可以是车辆的一个业务场景中的所有业务数据,也可以是车辆行驶过程中所经过的环境数据,还可以是车辆的多个业务场景中的同一类型的业务数据,本申请实施例不作具体的限制。又例如,目标数据可以是车辆的电子控制单元(electronic control unit,ECU)关联的传感器采集的数据。再例如,目标数据可以是车辆自身的性能参数(例如,车辆的最高车速、最大爬坡度、加速度等)和外观参数(例如,车身长度、颜色)等。再例如,目标数据可以是车辆关联的车载设备(例如,车载蓝牙设备、智能座舱设备、车载音箱)产生的数据。
在一种可能的设计中,留存维度包括价值维度和/或稀有维度,该价值维度可以用于指示目标数据的留存价值,该稀有维度可以用于指示目标数据在车辆关联的数据库中出现的频率。
需要说明的是,价值维度所指示目标数据的留存价值的高低是相对于不同的业务场景而言。也就是说,对于不同的业务场景,同一类型的目标数据对应的留存价值也不一样。
示例性的,目标数据以车载音箱播放音乐的历史数据为例,对于娱乐场景而言,该历史数据可以用于分析车辆关联的用户的喜好,进而为用户推荐更加符合用户需求的智能场景,因此对于娱乐场景来说,车载音箱播放音乐的历史数据对应的留存价值较高;对于驾驶场景而言,车载音箱播放音乐的历史数据并不能用于优化车辆的智能驾驶能力,因此对于驾驶场景来说,车载音箱播放音乐的历史数据对应的留存价值较低。
需要说明的是,该稀有维度可以用于指示目标数据在车辆关联的数据库中出现的频率。也就是说,该稀有维度用于指示目标数据在第一预设时长内在车辆关联的数据库中出现的次数。相应的,稀有维度对应的量化值可以根据目标数据在第一预设时长内在车辆关联的数据库中出现的次数确定。例如,在第一预设时长内,目标数据在车辆关联的数据库中出现的次数越低,则稀有维度对应的量化值越大。其中,第一预设时长可以是一天、一个星期、一个月等,本申请实施例不作具体的限定。
示例性的,第一预设时长以一个月为例,若目标数据为车辆紧急制动的数据,车辆紧急制动的数据在一个月内仅出现了2次,则稀有维度对应的量化值为80;若目标数据为车辆直行的数据,车辆直行的数据在一个月内出现了2000次,则稀有维度对应的量化值为5。
在该设计中,配置文件中第一标签可以指示目标数据的价值维度和/或稀有维度,进而数据处理装置可以根据目标数据的价值维度和/或稀有维度,确定目标数据的数据存储策略。如此,使得目标数据的数据存储策略,更加符合用户的数据存储需求。
在一些可能的设计中,留存维度还可以包括频率维度、时间维度中的一项或多项。进而数据处理装置可以基于价值维度、稀有维度、频率维度、时间维度中的一项或多项,确定目标数据留存的必要程度。其中,频率维度(也可称作“活跃维度”)可以用于指示目标数据的使用频率,时间维度可以用于指示目标数据的产生时间(也可称作“新鲜维度”)。
需要说明的是,频率维度可以用于指示目标数据的使用频率。也就是说,频率维度可以用于指示目标数据在第二预设时长内被使用的次数。相应的,频率维度对应的量化值可以根据目标数据在第二预设时长内被使用的次数确定。其中,“使用”包括访问、传输等操作。其中,第二预设时长可以是一天、一个星期、一个月等,本申请实施例不作具体的限定。
示例性,第二预设时长以一个星期为例,若目标数据为车载音响播放音乐的数据,车载音响播放音乐的数据在一个星期传输了1次,则频率维度对应的量化值为50;若目标数据为车辆直行的数据,车辆直行的数据在一个星期内没有被使用,则频率维度对应的量化值为0。
应理解,上述第一预设时长和第二预设时长的取值可以相同或不同,本申请实施例不作具体的限制。
需要说明的是,时间维度可以用于指示目标数据的产生时间。相应的,时间维度的量化值可以根据目标数据的产生时间的确定。例如,目标数据的产生时间越晚,时间维度的量化值越大;目标数据的产生时间越早,时间维度的量化值越小。示例性的,目标数据1的产生时间为2021年9月10日,其对应的时间维度的量化值为H1;目标数据2的产生时间为2021年9月15日,其对应的时间维度的量化值为H2;目标数据2的产生时间晚于目标数据1的产生时间,则H2大于H1。
需要说明的是,数据处理装置获取配置文件,有多种实现方式:
方式1,通过用户输入获取的。
在方式1中,用户可以自定义目标数据的配置文件,使得根据该配置文件为目标数据确定的数据存储策略,更加符合用户的存储需求。
方式2,通过历史配置信息获取的。
其中,历史配置信息可以是用户为与目标数据类型相同的业务数据配置的配置文件。
在方式2中,数据处理装置可以快速获取配置文件的方式,进而有效提升目标数据进行存储管理的效率。
在一种可能的设计中,上述配置文件还可以包括权重信息,该权重信息包括价值维度对应的第一权重信息和/或稀有维度对应的第二权重信息;进而数据处理装置可以根据该权重信息,确定目标数据的数据存储策略。
应理解,不同的业务场景中,用户对同一业务数据的关注维度不一样。因此,在该设计中,通过为配置文件的不同留存维度设置不同的权重信息,使得根据该配置文件确定的数据存储策略能够更好的匹配多种业务场景的存储需求。
在一种可能的设计中,上述第一标签还可以关联子标签,该子标签可以包括上述车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和上述车辆的感知目标对应的标签中的至少一项。
在该设计中,通过为配置文件中的第一标签设置子标签,可以从更细粒度的多个维度去确定目标数据的存储策略,使得目标数据的存储策略更加贴近用户的存储需求。
在一种可能的设计中,目标数据可以关联车辆的驾驶场景。也就是说,数据处理装置可以为不同驾驶场景的目标数据,制定不同的数据存储策略。如此,使得驾驶场景的目标数据存储更加符合用户的需求,有助于驾驶场景相关的算法优化。
第二方面,本申请实施例提供了一种数据处理装置。
示例性的,该装置可以包括:
获取模块,用于获取第一指令,第一指令用于指示车辆的目标数据;
获取模块,还用于获取目标数据对应的配置文件,该配置文件可以用于定义目标数据的数据存储策略;其中,配置文件包括目标数据的第一标签,第一标签用于指示目标数据的留存维度;
处理模块,用于根据数据存储策略,对目标数据进行分层存储。
在一种可能的设计中,上述留存维度包括价值维度和/或稀有维度,价值维度用于指示目标数据的留存价值,稀有维度用于指示目标数据在车辆关联的数据库中出现的频率。
可选的,留存维度可还以包括频率维度和/或时间维度。其中,频率维度(也可称作“活跃维度”)可以用于指示目标数据的使用频率,时间维度可以用于指示目标数据的产生时间(也可称作“时间维度”)。
需要说明的是,获取模块中获取配置文件时,有多种实现方式:
方式1,通过用户输入获取配置文件。
方式2,通过历史配置信息获取配置文件。
其中,历史配置信息可以是用户为与目标数据类型相同的业务数据配置的配置文件。
在一种可能的设计中,上述配置文件还包括权重信息,处理模块还可以根据权重信息,确定数据存储策略。示例性的,该权重信息可以包括价值维度对应的第一权重信息和/或稀有维度对应的第二权重信息。
在一种可能的设计中,第一标签关联子标签,子标签包括车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和车辆的感知目标对应的标签中的至少一项。
在一种可能的设计中,目标数据关联车辆的驾驶场景。
在一种可能的设计中,数据处理装置可以是服务器或车辆或芯片或集成电路。
第三方面,本申请实施例还提供了一种服务器。
示例性的,服务器包括存储器和处理器;存储器用于存储计算机程序;处理器用于执行存储器中存储的计算程序,实现如上述第一方面或第一方面中任一项可能的设计的数据处理方法。
在一种可能的设计中,服务器为单服务器或由多个子服务器构成的服务器集群,当服务器为由多个子服务器构成的服务器集群时,多个子服务器联合执行上述第一方面以及上述第一方面任一可能的设计中的数据处理方法。
第四方面,本申请实施例还提供了一种车辆。
示例性的,该车辆包括存储器和处理器;存储器用于存储计算机程序;处理器用于执行存储器中存储的计算程序,实现如上述第一方面以及上述第一方面中任一项可能的设计的数据处理方法。
第五方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,当计算机程序被运行时,实现如上述第一方面以及第一方面中任一项可能的设计的数据处理方法。
第六方面,本申请实施例提供了一种芯片系统,该芯片系统包括至少一个处理器,当程序指令在至少一个处理器中执行时,使得上述第一方面以及上述第一方面可能的设计中任一的数据处理方法得以实现。
在一种可能的设计中,该芯片系统还包括通信接口,通信接口用于输入或输出信息。
在一种可能的设计中,该芯片系统还包括存储器,该存储器通过通信接口耦合处理器,用于存储上述指令,以便处理器通过通信接口读取存储器中存储的指令。
在一种可能的设计中,上述处理器可以为处理电路,本申请对此不作限定。
第七方面,本申请实施例还提供了一种包括指令的计算机程序产品,当其在上述数据处理装置运行时,以执行如上述第一方面以及上述第一方面可选的设计中任一的方法。
上述第二方面到第七方面的有益效果,请参见上述第一方面的有益效果的描述,这里不再重复赘述。
附图说明
图1为本申请实施例适用的一种可能的系统架构示意图;
图2为本申请实施例适用的数据处理装置的系统架构示意图;
图3为本申请实施例提供的一种数据处理方法的流程示意图;
图4为本申请实施例提供的一种确定目标数据的界面示意图;
图5A为本申请实施例提供的留存维度配置的界面示意图之一;
图5B为本申请实施例提供的留存维度配置的界面示意图之二;
图6A为本申请实施例提供的价值维度的标签配置的界面示意图;
图6B为本申请实施例提供的稀有维度的标签配置的界面示意图;
图7A为本申请实施例提供的目标数据关联数据标签的场景示意图之一;
图7B为本申请实施例提供的目标数据关联数据标签的场景示意图之二;
图8为本申请实施例提供的一种数据处理装置的结构示意图;
图9为本申请实施例提供的一种芯片系统的结构示意图。
具体实施方式
首先,对本申请实施例中涉及的部分用语进行解释说明,以便于理解。
1)目标数据,车辆关联的需要进行存储管理的数据,可以是用户指定的,也可以是预先配置的。例如,目标数据可以是车辆的一个业务场景中的特定类型的业务数据,也可以是车辆的一个业务场景中的所有业务数据,也可以是车辆行驶过程中的环境数据(比如,弯道、十字路口,雨天、雷雨大风天气,以及不同的路面材质等),还可以是车辆的多个业务场景中的同一类型的业务数据,本申请实施例不作具体的限制。又例如,目标数据可以是车辆的ECU关联的传感器(例如,雷达、相机)采集的数据。再例如,目标数据可以是车辆自身的性能参数(例如,车辆的最高车速、最大爬坡度、加速度等)和外观参数(例如,车身长度、颜色)等。再例如,目标数据可以是车辆关联的车载设备(例如,车载蓝牙设备、智能座舱设备、车载音箱)产生的数据。
2)留存维度,可以理解为用于确定目标数据留存的必要程度的参数。“目标数据留存的必要程度”可以理解为目标数据的重要性和/或目标数据存储的必要性。例如,目标数据留存的必要程度越高,则表示目标数据越重要;又例如,目标数据留存的必要程度越高,则表示目标数据越需要进行存储;再例如,目标数据留存的必要程度越高,则表示目标数据越重要以及越需要存储。
在一些可能的实施例中,留存维度可以包括价值维度、稀有维度、频率维度、时间维度中的一项或多项,在该实施例中,可以基于价值维度、稀有维度、频率维度、时间维度中的一项或多项,确定目标数据留存的必要程度。
其中,价值维度可以用于指示目标数据的留存价值,稀有维度可以用于指示目标数据在其所属车辆关联的数据库中出现的频率,频率维度(也可称作“活跃维度”)可以用于指示目标数据的使用频率,时间维度可以用于指示目标数据的产生时间(也可称作“新鲜维度”)。
需要说明的是,价值维度所指示目标数据的留存价值的高低是相对于不同的业务场景而言。也就是说,对于不同的业务场景,同一类型的目标数据对应的留存价值也不一样。示例性的,目标数据以车载音箱播放音乐的历史数据为例,对于娱乐场景而言,该历史数据可以用于分析车辆关联的用户的喜好,进而为用户推荐更加符合用户需求的智能场景,因此对于娱乐场景来说,车载音箱播放音乐的历史数据对应的留存价值较高;对于驾驶场景而言,车载音箱播放音乐的历史数据并不能用于优化车辆的智能驾驶能力,因此对于驾驶场景来说,车载音箱播放音乐的历史数据对应的留存价值较低。
需要说明的是,该稀有维度可以用于指示目标数据在车辆关联的数据库中出现的频率。也就是说,该稀有维度用于指示目标数据在第一预设时长内在车辆关联的数据库中出现的次数。相应的,稀有维度对应的量化值可以根据目标数据在第一预设时长内在车辆关联的数据库中出现的次数确定。例如,在第一预设时长内,目标数据在车辆关联的数据库中出现的次数越低,则稀有维度对应的量化值越大。其中,第一预设时长可以是一天、一个星期、一个月等,本申请实施例不作具体的限定。示例性的,第一预设时长以一个月为例,若目标数据为车辆紧急制动的数据,车辆紧急制动的数据在一个月内仅出现了2次,则稀有维度对应的量化值为80;若目标数据为车辆直行的数据,车辆直行的数据在一个月内出现了2000次,则稀有维度对应的量化值为5。
需要说明的是,频率维度可以用于指示目标数据的使用频率。也就是说,频率维度可以用于指示目标数据在第二预设时长内被使用的次数。相应的,频率维度对应的量化值可以根据目标数据在第二预设时长内被使用的次数确定。其中,“使用”包括访问、传输等操作。其中,第二预设时长可以是一天、一个星期、一个月等,本申请实施例不作具体的限定。示例性,第二预设时长以一个星期为例,若目标数据为车载音响播放音乐的数据,车载音响播放音乐的数据在一个星期传输了1次,则频率维度对应的量化值为50;若目标数据为车辆直行的数据,车辆直行的数据在一个星期内没有被使用,则频率维度对应的量化值为0。
应理解,上述第一预设时长和第二预设时长的取值可以相同或不同,本申请实施例不作具体的限制。
需要说明的是,时间维度可以用于指示目标数据的产生时间。相应的,时间维度的量化值可以根据目标数据的产生时间的确定。例如,目标数据的产生时间越晚,时间维度的量化值越大;目标数据的产生时间越早,时间维度的量化值越小。示例性的,目标数据1的产生时间为2021年9月10日,其对应的时间维度的量化值为H1;目标数据2的产生时间为2021年9月15日,其对应的时间维度的量化值为H2;目标数据2的产生时间晚于目标数据1的产生时间,则H2大于H1。
可以理解的是,以上仅仅是对留存维度的举例说明,并非限定,详细的示例请见下文的描述。
3)本申请实施例中的术语“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a和b,a和c,b和c,或a和b和c。
以及,在本申请实施例的描述中,以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请实施例提供一种数据处理方法,该方法可以应用于数据处理装置,该方法包括:获取第一指令,该第一指令可以用于指示车辆的目标数据;获取目标数据对应的配置文件,该配置文件可以用于定义该目标数据的数据存储策略;其中,该配置文件包括目标数据的第一标签,第一标签可以用于指示该目标数据的留存维度;根据该数据存储策略,对目标数据进行分层存储。在该方法中,可以基于目标数据的配置文件,确定目标数据的数据存储策略,使得目标数据的存储可以满足用户的存储需求,且有效提升数据处理的效率。
在详细介绍本申请实施例的技术方案之前,首先结合附图对本申请实施例适用的场景进行介绍。
示例性的,图1示出了本申请实施例适用的应用场景的示意图。在该应用场景中,可以包括车辆100和服务器200,车辆100和服务器200可以通过网络通信。
其中,车辆100的部分或所有功能受计算平台150控制。计算平台150可包括至少一个处理器151,处理器151可以执行存储在例如存储器152这样的非暂态计算机可读介质中的指令153。在一些实施例中,计算平台150还可以是采用分布式方式控制车辆100的个体组件或子系统的多个计算设备。处理器151可以是任何常规的处理器,诸如中央处理单元(central processing unit,CPU)。替选地,处理器151还可以包括诸如图像处理器(graphic process unit,GPU),现场可编程门阵列(field programmable gate array,FPGA)、片上系统(system on chip,SOC)、专用集成芯片(application specificintegrated circuit,ASIC)或它们的组合。
除了指令153以外,存储器152还可存储数据,例如车辆100在驾驶场景中产生的数据(例如,道路地图、路线信息、车辆的速度信息等),又例如车辆100的传感器采集的数据(例如,图像数据、点云数据)。
应理解,图1中车辆的结构不应理解为对本申请实施例的限制。
可选地,上述车辆100可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车等,本申请实施例不做特别的限定。
另外,如图1所示的应用场景中还可以包括服务器200。一个实施例中,服务器200还可以通过虚拟机来实现。
其中,车辆100可以单独实现上述数据处理方法,服务器200也可以单独实现上述数据处理方法,车辆100也可以和服务器200通信交互实现上述数据处理方法。
在一种可能的实施方式中,车辆100可以获取第一指令,该第一指令可以用于指示车辆的目标数据;车辆100可以获取该目标数据对应的配置文件,该配置文件包括目标数据的第一标签,第一标签可以用于指示该目标数据的留存维度,进而车辆100可以根据该配置文件,确定该目标数据的数据存储策略;以及根据该数据存储策略,对目标数据进行分层存储。如此,车辆100可以为目标数据制定合理的数据存储策略,使得目标数据的存储满足用户的需求。
在另一种可能的实施方式中,服务器200可以获取第一指令,该第一指令可以用于指示车辆的目标数据;服务器200可以获取该目标数据对应的配置文件,该配置文件包括目标数据的第一标签,第一标签可以用于指示该目标数据的留存维度,进而服务器200可以根据该配置文件,确定车辆100的目标数据的数据存储策略;以及根据该数据存储策略,对目标数据进行分层存储。如此,服务器200可以为车辆的目标数据制定数据存储策略,有效减少车辆的计算量,且有效提升目标数据的数据处理效率。
在另一种可能的实施方式中,车辆100可以获取第一指令,该第一指令可以用于指示车辆的目标数据;将第一指令发送至服务器200,进而服务器200可以根据第一指令获取该目标数据对应的配置文件,该配置文件包括目标数据的第一标签,第一标签可以用于指示该目标数据的留存维度,进而服务器200可以根据该配置文件,确定该目标数据的数据存储策略;以及根据该数据存储策略,对目标数据进行分层存储。如此,车辆100和服务器200通过信息交互确定目标数据的数据存储策略,可以有效减少服务器200的计算量,且进一步提升目标数据的数据处理效率。
以上介绍了本申请实施例适用的场景,以下结合具体的附图介绍本申请实施例适用的数据处理装置。
示例性的,图2示出了用于实现上述数据处理方法的数据处理装置的可能的结构示意图。参阅图2所示,该数据处理装置可以包括配置管理模块301、数据预处理模块302、数据留存处理模块303和数据留存执行模块304。
其中,配置管理模块301可以用于管理目标数据的配置文件。在一些可能的实施例中,配置管理模块301还可以响应于用户的输入,生成目标数据的配置文件。
其中,数据预处理模块302可以对目标数据的格式进行处理。在一些可能的实施例中,可以对目标数据进行分类标识,例如根据配置文件包含的标签信息,对目标数据进行分类标识。
其中,数据留存处理模块303可以用于根据配置文件确定目标数据的数据存储策略。
其中,数据留存执行模块304可以用于根据数据存储策略,对目标数据执行相应的数据存储操作。
在一种可能的实施方式中,配置管理模块301可以获取第一指令,该第一指令可以用于指示车辆的目标数据;配置管理模块301获取该目标数据对应的配置文件,并将该配置文件分别发送至数据预处理模块302和数据留存处理模块303;数据预处理模块302根据配置文件中的标签信息对目标数据进行数据标注(即打上相应的数据标签),然后将标注后的目标数据输入数据留存处理模块303;数据留存处理模块303根据配置文件中的标签信息对应的预设算法,确定标注后目标数据的数据存储策略,并将该数据存储策略发送至数据留存执行模块304;数据留存执行模块304可以根据数据存储策略,对目标数据执行相应的数据存储操作。如此,使得目标数据的存储满足用户的需求,且有效提升目标数据的数据处理效率。
需要说明的是,上述数据处理装置可以是具有数据处理功能的车辆,或者车辆中具有数据处理功能的车载设备(on board unit,OBU)。其中,车载设备可以包括但不限于车载终端、车载控制器、车载模块、车载模组、车载部件、车载芯片、车载单元、ECU、域控制器(domain controller,DC)等装置。该数据处理装置还可以是服务器或设置于服务器中的芯片,该服务器可以是车联网服务器,或者云端服务器,本申请实施例不作具体的限制。
下面结合具体附图,对本申请实施例提供的数据处理方法进行详细说明。
请参见图3,图3为本申请实施例提供的一种数据处理方法的流程示意图,该方法可以由数据处理装置执行。下面对图3所示的各步骤进行说明。
S301、获取第一指令,第一指令用于指示车辆的目标数据。
在一种可能的实施方式中,第一指令是通过用户输入获取的。而第一指令可以用于指示目标数据,也就是说,目标数据可以是由用户指定的。如此,用户可以根据自身需求,选择需要进行数据管理的目标数据,使得车辆的数据管理更有针对性,有效提升车辆的数据处理效率。
应理解,目标数据可以是车辆的一个业务场景中的特定类型的业务数据,也可以是车辆的一个业务场景中的所有业务数据,还可以是车辆的多个业务场景中的同一类型的业务数据,本申请实施例不作具体的限制。或者,目标数据可以是车辆的ECU关联的传感器(例如,雷达、相机)采集的数据。又或者,目标数据可以是车辆自身的性能参数(例如,车辆的最高车速、最大爬坡度、加速度等)和外观参数(例如,车身长度、颜色)等。又或者,目标数据可以是车辆关联的车载设备(例如,车载蓝牙设备、智能座舱设备、车载音箱)产生的数据。
其中,第一指令可以是语音指令、文字指令、触摸操作、点击操作等,本申请实施例不作限制。
示例性的,请参见图4,图4示出了本申请实施例提供的用户界面示意图之一,在该用户界面中配置了业务场景:驾驶场景1、驾驶场景2和娱乐场景3,其中,驾驶场景1包括类型1、类型2、类型3的业务数据,驾驶场景2包括类型1、类型4、类型5的业务数据,娱乐场景3包括类型4、类型5、类型6的业务数据。数据处理装置可以获取用户对该用户界面中的图标的点击操作,进而确定第一指令,并确定第一指令指示的目标数据。例如,数据处理装置检测到用户针对“驾驶场景1”的点击操作,则将驾驶场景1关联的所有数据(即类型1、2、3关联的数据)作为目标数据;又例如,数据处理装置检测到用户针对“驾驶场景1中的类型2”的点击操作,则将驾驶场景1中类型2关联的数据作为目标数据;又例如,数据处理装置检测到用户针对“驾驶场景2中的类型4”的点击操作,则将驾驶场景2中的类型4关联的数据作为目标数据。
可以理解的是,本申请实施例对用户界面中业务场景的数量和内容不作限定,上述示例仅仅是举例,而非限定。
S302、获取目标数据对应的配置文件。
其中,该配置文件可以用于定义目标数据的数据存储策略。应理解,配置文件中可以包含多种信息。
下面介绍本申请实施例中的配置文件可能包含的各种信息。
1、目标数据的第一标签。
其中,目标数据的第一标签可以用于指示目标数据的留存维度,留存维度可以理解为用于确定目标数据留存的必要程度的参数。其中,“目标数据留存的必要程度”可以理解为目标数据的重要性和/或目标数据存储的必要性。例如,目标数据留存的必要程度越高,则表示目标数据越重要;又例如,目标数据留存的必要程度越高,则表示目标数据越需要进行存储;再例如,目标数据留存的必要程度越高,则表示目标数据越重要以及越需要存储。
应理解,第一标签可以是一个或多个标签,本申请实施例不作具体的限制。
在一种可能的实施方式中,留存维度可以包括价值维度、稀有维度、频率维度、时间维度中的一项或多项。其中,价值维度可以用于指示目标数据的留存价值,稀有维度可以用于指示目标数据在其所属车辆关联的数据库中出现的频率,频率维度(也可称作“活跃维度”)可以用于指示目标数据的使用频率,时间维度可以用于指示目标数据的产生时间(也可称作“新鲜维度”)。相应的,第一标签可以用于指示价值维度、稀有维度、频率维度、时间维度中的一项或多项。关于“价值维度、稀有维度、频率维度、时间维度”的解释和说明,请参见前文术语部分的描述,这里不再赘述。
示例性的,留存维度包括价值维度、稀有维度、频率维度、时间维度,则第一标签可以用于指示目标数据的价值维度、稀有维度、频率维度、时间维度。
又示例性的,留存维度包括价值维度和稀有维度,则第一标签可以用于指示目标数据的价值维度和稀有维度。
又示例性的,留存维度包括价值维度,则第一标签可以用于指示目标数据的价值维度。
2、第一标签的子标签。
上述第一标签还可以关联子标签,该子标签可以包括目标数据所属车辆的驾驶行为、背景车辆的驾驶行为和目标数据所属车辆的感知目标中的至少一项。
应理解,第一标签指示不同的留存维度时,第一标签关联的子标签可以相同或不同。
示例1,第一标签用于指示目标数据的价值维度,该第一标签关联的子标签可以是目标数据所属车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和目标数据所属车辆的感知目标对应的标签。
示例2,第一标签用于指示目标数据的稀有维度,则该第一标签关联的子标签可以是目标数据所属车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和目标数据所属车辆的感知目标对应的标签。
示例3,第一标签用于指示目标数据的价值维度和稀有维度,则该第一标签包括价值维度对应的标签1和稀有维度对应的标签2,标签1关联的子标签可以是目标数据所属车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和目标数据所属车辆的感知目标对应的标签,标签2关联的子标签可以是目标数据所属车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和目标数据所属车辆的感知目标对应的标签。
示例4,第一标签用于指示目标数据的时间维度,则该第一标签关联的子标签可以为目标数据的产生时间。
示例5,第一标签用于指示目标数据的频率维度,则该第一标签关联的子标签为目标数据的使用频率。其中,使用频率是目标数据在预设时长内被使用(例如,访问、传输等)的次数,预设时长可以是一天、一个星期、一个月等,本申请实施例不作具体的限定。
3、子标签关联的分类标签。
可选的,上述子标签还可以关联多个分类标签。
示例性的,子标签为目标数据所属车辆的驾驶行为对应的标签时,该子标签可以关联直行、急转弯、超车等分类标签。
又示例性的,子标签为背景车辆的驾驶行为对应的标签时,该子标签可以关联直行、急转弯、超车等分类标签。
又示例性的,子标签为感知目标对应的标签时,该子标签可以关联轿车、行人、卡车、障碍物等分类标签。
4、权重信息。
其中,权重信息可以包括第一标签的权重信息、子标签的权重信息、以及子标签关联的分类标签的权重信息中的一种或多种,本申请实施例不作具体的限制。
上述配置文件包括第一标签的权重信息时,数据处理装置可以根据该权重信息,确定目标数据的数据存储策略。
应理解,第一标签的权重信息可以是留存维度中一个或多个维度对应的权重信息。
示例1,第一标签用于指示目标数据的价值维度时,该权重信息可以包括价值维度对应的第一权重信息。
示例2,第一标签用于指示目标数据的稀有维度时,该权重信息可以包括稀有维度对应的第二权重信息。
示例3,第一标签用于指示目标数据的价值维度和稀有维度时,该权重信息可以包括价值维度对应的第一权重信息和稀有维度对应的第二权重信息。
示例4,第一标签用于指示目标数据的时间维度,该权重信息可以包括时间维度对应的第三权重信息。
示例5,第一标签用于指示目标数据的频率维度,该权重信息可以包括频率维度对应的第四权重信息。
示例6,第一标签用于指示目标数据的价值维度、稀有维度、时间维度、频率维度时,该权重信息可以包括价值维度对应的第一权重信息、稀有维度对应的第二权重信息、时间维度对应的第三权重信息和频率维度对应的第四权重信息。
可以理解的是,上述示例仅仅是举例,而非对留存维度的限定。
其中,上述第一权重信息、第二权重信息、第三权重信息和第四权重信息的具体取值可以相同或不同,本申请实施例不作具体的限制。
示例1,第一权重信息、第二权重信息、第三权重信息和第四权重信息可以均为25%,则目标数据的价值维度、稀有维度、时间维度、频率维度对应权重信息均一样。
示例2,上述第一权重信息和第二权重信息均为30%,第三权重信息和第四权重信息均为20%,则目标数据的价值维度和稀有维度对应的权重信息为30%,目标数据的时间维度、频率维度对应权重信息为20%。
示例3,上述第一权重信息可以为50%、第二权重信息可以为30%、第三权重信息可以为15%、第四权重信息可以为5%,则目标数据的价值维度对应的权重信息为50%,目标数据的稀有维度对应的权重信息为30%,目标数据的时间维度对应的权重信息为15%,目标数据的频率维度对应权重信息为5%。
应理解,上述权重信息中包括的各个子标签的权重信息有多种实现方式。
示例1,第一标签关联的子标签为目标数据所属车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和目标数据所属车辆的感知目标对应的标签,则配置文件中子标签对应的权重信息为所属车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和目标数据所属车辆的感知目标对应的标签各自对应的权重信息。
示例2,第一标签关联的子标签为目标数据所属车辆的驾驶行为对应的标签,则配置文件中子标签对应的权重信息为所属车辆的驾驶行为对应的标签的权重信息。
示例3,第一标签关联的子标签为背景车辆的驾驶行为对应的标签,则配置文件中子标签对应的权重信息为背景车辆的驾驶行为对应的标签的权重信息。
示例4,第一标签关联的子标签为目标数据所属车辆的感知目标对应的标签,则配置文件中子标签对应的权重信息为目标数据所属车辆的感知目标对应的标签的权重信息。
其中,目标数据所属车辆的驾驶行为对应的标签、背景车辆对应的标签的驾驶行为和目标数据所属车辆的感知目标对应的标签各自对应的权重信息,可以相同或不同,本申请实施例不作具体的限定。
在其他的实施例中,第一标签的子标签还可以有多种实现,上述示例仅仅是举例而非限定。
相应的,子标签关联的分类标签的权重信息也有多种实现方式。
示例性的,当子标签的分类标签包括直行、急转弯和超车时,配置文件中分类标签的权重信息为直行、急转弯和超车各自对应的权重信息。
又示例性的,当子标签的分类标签包括直行时,配置文件中分类标签的权重信息为直行对应的权重信息。
又示例性的,当子标签的分类标签包括急转弯时,配置文件中分类标签的权重信息为急转弯对应的权重信息。
5、留存维度对应的量化值的取值范围。
应理解,留存维度对应的量化值即目标数据留存的必要的程度的量化表现形式。
其中,留存维度对应的量化值的不同取值范围,可以关联不同的数据存储策略。
示例性的,留存维度对应的量化值的取值范围可以包括第一范围和第二范围,第一范围关联的数据存储策略为将目标数据删除,第二范围关联的数据存储策略为对目标数据进行分层存储。其中,第一范围与第二范围不同。例如,第一范围可以为0-30,第二范围可以为31-100。又例如,第一范围可以为0-20,第二范围可以为21-100。再例如,第一范围可以为0-10,第二范围可以为11-100。以上仅仅是对第一范围和第二范围的举例说明,并非限定。
在一种可能的实施方式中,上述第一范围和第二范围可以是预先配置的,也可以用户自定义的。
需要说明的是,数据处理装置获取目标数据对应的配置文件有多种实现方式,包括但不限于以下方式:
方式1,通过用户输入获取配置文件。
应理解,通过用户输入获取配置文件的过程可以是:根据用户的配置信息,生成相应的配置文件的过程。
在一种可能的实施方式中,数据处理装置还可以提供留存维度配置界面,进而用户可以在该留存维度配置界面中选择一个或多个维度作为目标数据的留存维度,并针对选中的维度设置相应的权重信息;进而数据处理装置可以根据用户的配置信息,生成对应的配置文件。
示例性的,请参见图5A,图5A所示的留存维度配置界面中设置有价值维度、稀有维度、时间维度、频率维度,用户可以在该留存维度配置界面中选择一个或多个维度作为目标数据的留存维度,并针对选中的维度设置相应的权重信息。
例如,用户选择了价值维度、稀有维度、时间维度、频率维度作为目标数据的留存维度,并将价值维度对应的第一权重信息设置为35%、稀有维度对应的第二权重信息设置为30%、时间维度对应的第三权重信息设置为20%、频率维度对应的第四权重信息设置为15%,进而数据处理装置可以根据价值维度、稀有维度、时间维度对应的权重信息,生成配置文件1。
又例如,用户选择了价值维度、稀有维度、时间维度作为目标数据的留存维度,并将价值维度对应的第一权重信息设置为40%、稀有维度对应的第二权重信息设置为30%、时间维度对应的第三权重信息设置为30%,进而数据处理装置可以根据价值维度、稀有维度、时间维度对应的权重信息,生成配置文件2。
又例如,用户选择了价值维度和稀有维度作为目标数据的留存维度,并将价值维度对应的第一权重信息设置为75%、稀有维度对应的第二权重信息设置为25%,进而数据处理装置可以根据价值维度和稀有维度对应的权重信息,生成配置文件3。
又例如,用户选择了价值维度作为目标数据的留存维度,并将价值维度对应的第一权重信息设置为100%,进而数据处理装置可以根据价值维度对应的权重信息,生成配置文件4。
又例如,用户选择了稀有维度作为目标数据的留存维度,并将稀有维度对应的第二权重信息设置为80%,进而数据处理装置可以根据稀有维度对应的权重信息,生成配置文件5。
又例如,用户选择了频率维度作为目标数据的留存维度,并将频率维度对应的第四权重信息设置为90%,进而数据处理装置可以根据频率维度对应的权重信息,生成配置文件6。
可选的,如图5A所示,用户还可以自定义目标数据的留存维度。如此,进一步提升目标数据的留存维度的配置灵活性。
示例性的,用户自定义目标数据的业务维度,该业务维度可以用于指示目标数据对应的业务场景。相应的,该业务维度对应的量化值与目标数据的业务场景关联。例如,若目标数据的业务场景为驾驶场景,则该业务维度对应的量化值较高;若目标数据的业务场景为娱乐场景,则该业务维度对应的量化值较低。
可以理解的是,上述示例仅仅是对留存维度配置界面的举例,而非限定。
在一种可选的实施方式中,数据处理装置还可以提供子标签配置界面,进而用户还可以在该配置界面中配置每个维度关联的子标签。
示例性的,请参见图5B,在图5B所示的子标签配置界面中,用户将价值维度关联子标签设置为自车驾驶行为(目标数据所属车辆的驾驶行为)对应的标签、感知目标对应的标签、背景车辆的驾驶行为对应的标签,以及将稀有维度关联子标签设置为自车驾驶行为对应的标签和背景车辆的驾驶行为对应的标签,时间维度的子标签设置为目标数据的产生时间对应的标签,频率维度的子标签设置为目标数据的使用频率对应的标签。
可选的,如图5A所示,用户还可以自定义价值维度、稀有维度、时间维度、频率维度中的任一个维度所关联的子标签。
示例1,对于价值维度,用户可以将价值维度关联的子标签设定为业务场景对应的标签或新增业务场景对应的标签;或者,用户可以将价值维度关联的子标签设定为传感器类型对应的标签或新增传感器类型对应的标签;或者,用户可以将价值维度关联的子标签设定为ECU对应的标签或新增ECU对应的标签。
示例2,对于稀有维度,用户可以将稀有维度关联的子标签设定为业务场景对应的标签或新增业务场景对应的标签;或者,用户可以将稀有维度关联的子标签设定为ECU对应的标签或新增ECU对应的标签。
示例3,对于时间维度,用户可以将时间维度关联的子标签设定为目标数据已存储时长对应的标签或新增目标数据已存储时长对应的标签。
可以理解的是,上述示例仅仅是对子标签配置界面的举例,而非限定。
在一种可选的实施方式中,数据处理装置还可以提供子标签关联的分类标签的配置界面,进而用户还可以在该配置界面中配置每个子标签关联的分类标签。
示例性的,请参见图6A,在图6A所示的分类标签配置界面中,目标数据的留存维度以价值维度为例,价值维度关联的子标签以自车的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和感知目标对应的标签为例,用户将自车驾驶行为的分类标签设置为直行、急转弯、超车,以及将背景车辆的驾驶行为的分类标签设置为直行、急转弯、减速,将感知目标的分类标签设置为轿车、行人和卡车,并为每个分类标签设置相应的权重信息。
又示例性的,请参见图6B,在图6B所示的分类标签配置界面中,目标数据的留存维度以稀有维度为例,稀有维度关联的子标签以自车的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和感知目标对应的标签为例,用户将自车驾驶行为的分类标签设置为紧急制动(即紧急刹车)、急转弯、超车,以及将背景车辆的驾驶行为的分类标签设置为紧急制动、急转弯、减速,将感知目标的分类标签设置为障碍物、行人和卡车,并为每个分类标签设置相应的权重信息。
可选的,如图6A所示或图6B所示,用户还可以自定义每个子标签关联的分类标签,或者上传自定义算法文件。其中,自定义的算法文件中可以包括用户自定义的分类标签以及该分类标签对应的权重信息。如此,进一步使得数据处理装置可以根据用户的配置,生成的配置文件更加符合用户的需求。
在方式1中,用户可以自定义目标数据的配置文件,使得根据该配置文件为目标数据确定的数据存储策略,更加符合用户的存储需求。
可以理解的是,上述示例仅仅是对分类标签配置界面的举例,而非限定。
方式2,通过历史配置信息获取配置文件。
其中,历史配置信息可以是用户针对目标数据关联的数据类型配置的配置文件,或者,可以是用户针对目标数据关联的业务场景配置的配置文件,本申请是实施例不作具体的限制。
示例1,目标数据关联的数据类型为车辆的驾驶行为数据,则历史配置信息为车辆的驾驶数据对应的配置文件。或者,目标数据关联的数据类型为车载雷达采集的数据,则历史配置信息为车载雷达采集的数据对应的配置文件。或者,目标数据关联的数据类型为车载电池的性能参数为例,则历史配置信息为车载电池的性能参数对应的配置文件。示例2,目标数据关联的业务场景为车辆的充电场景,则历史配置信息为车辆的充电场景对应的配置文件。或者,目标数据关联的业务场景为车辆的娱乐场景,则历史配置信息为车辆的娱乐场景对应的配置文件。或者,目标数据关联的业务场景为车辆的驾驶场景,则历史配置信息为车辆的驾驶场景对应的配置文件。
在一种可能的实施方式中,数据处理装置在获取到第一指令之后,可以根据第一指令确定目标数据对应的数据类型,并将该数据类型的配置文件作为目标数据的配置文件。
示例性的,数据处理装置检测到第一指令,第一指令指示的目标数据对应的数据类型为车辆的驾驶数据,则数据处理装置将车辆的驾驶数据对应的配置文件作为目标数据的配置文件。
在另一种可能的实施方式中,数据处理装置在获取到第一指令之后,可以根据第一指令确定目标数据对应的业务场景,并将该业务场景的配置文件作为目标数据的配置文件。
示例性的,数据处理装置检测到第一指令,第一指令指示的目标数据对应的业务场景为驾驶场景,则数据处理装置将驾驶场景对应的配置文件作为目标数据的配置文件。
可选的,目标数据还可以关联车辆的驾驶场景。相应的,数据处理装置可以针对不同的驾驶场景预先设定不同的配置文件,在数据处理装置识别出目标数据所属的驾驶场景时,可以自动获取该驾驶场景对应的配置文件,并将驾驶场景对应的配置文件作为目标数据的配置文件。如此,用户只需要进行驾驶场景的选择,不需要对目标数据的流程维度逐一进行配置。其中,该驾驶场景可以包括三急一快场景、后车超车场景、前车切入场景、直线行驶场景等,本申请实施例不作具体的限制。
在方式2中,数据处理装置可以快速获取配置文件,进而有效提升对目标数据进行存储管理的效率。
在一种可能的实施方式中,数据处理装置获取到目标数据和配置文件之后,还可以根据配置文件中留存维度关联的标签信息(例如,第一标签、子标签、分类标签等)对目标数据进行预处理。其中,预处理的过程例如可以是对目标数据进行语义识别,实现分类标注,为目标数据打上相应的标签信息。
示例性的,目标数据以数据1、数据2和数据3为例,数据处理装置对目标数据进行预处理之后,数据1和数据2可以关联标签1,数据3可以关联标签2。如此,使得目标数据适配于配置文件中留存维度的计算方式,便于数据处理装置根据配置文件,确定目标数据的数据存储策略。
可以理解的是,上述示例仅仅是对目标数据的举例,而非限定。
S303、根据配置文件,确定目标数据的数据存储策略。
在一种可能的实施方式中,数据处理装置根据配置文件,确定目标数据的数据存储策略的过程可以是:根据配置文件,确定目标数据的留存维度对应的量化值,并根据该量化值,确定目标数据的数据存储策略。
其中,基于目标数据的留存维度的量化值,确定数据存储策略的过程可以是:根据留存维度对应的量化值的取值范围与数据存储策略之间的映射关系,确定目标数据的数据存储策略。
示例性的,请参见表1,在表1中,留存维度对应的量化值的取值范围包括第一范围、第二范围;若留存维度的量化值属于第一范围,则目标数据的数据存储策略为将目标数据直接删除;或者,若留存维度的量化值属于第二范围,则目标数据的数据存储策略为对目标数据进行分层存储。
表1
量化值的取值范围 | 数据存储策略 |
第一范围 | 将目标数据直接删除 |
第二范围 | 对目标数据进行分层存储 |
例如,第一范围可以为0-30,第二范围可以为31-100。若目标数据的留存维度的量化值为25,目标数据的留存维度的量化值属于第一范围,则将目标数据直接删除。或者,若目标数据的留存维度的量化值为76,目标数据的留存维度的量化值属于第二范围,则对目标数据进行分层存储。
其中,留存维度的量化值可以根据留存维度中一个或多个维度对应的取值和权重信息确定。
示例性的,当目标数据的留存维度包括价值维度和稀有维度时,价值维度对应量化值为80、权重为70%,稀有维度对应量化值为60、权重为30%,则留存维度的量化值为80*70%+60*30%=74。
又示例性的,当目标数据的留存维度包括价值维度、稀有维度、时间维度和频率维度时,价值维度对应量化值为80、权重为50%,稀有维度对应量化值为60、权重为20%,时间维度对应量化值为60、权重为10%,频率维度对应量化值为40、权重为10%,则留存维度的量化值为80*60%+60*20%+60*10%+40*10%=70。
又示例性的,当目标数据的留存维度包括价值维度时,价值维度对应量化值为80、权重为100%,则留存维度的量化值为80*100%=80。
又示例性的,当目标数据的留存维度包括稀有维度时,稀有维度对应量化值为90、权重为90%,则留存维度的量化值为90*90%=81。
在一种可能的实施方式中,价值维度的量化值是根据价值维度关联的子标签在目标数据中出现的次数、权重和质量参数确定的。其中,子标签的质量参数可以是根据子标签的对应的权重信息确定。
示例性的,价值维度的量化值M可以根据如下公式计算:
其中,n为目标数据的价值维度关联的子标签的数量,tagi为目标数据的价值维度关联的第i个子标签,Ntagi为目标数据中携带第i个子标签的数据出现的次数,θtagi为第i个子标签的权重,Qtagi为第i个子标签的质量参数;θmax为目标数据中权重最大的子标签对应的权重信息,Nmax为目标数据中携带权重最大的子标签的数据出现的次数,Qmax为目标数据中权重最大的子标签的质量参数。
示例性的,请参见图7A,价值维度关联的子标签以自车驾驶行为对应的标签为例,该自车驾驶行为关联的分类标签包括主车加速、主车急加速、主车超车。图7A中的数据1中只有部分数据关联分类标签自车加速、自车急加速,图7A中的数据2中有关联分类标签自车加速、自车急加速、自车超车的数据,且数据2中分类标签自车加速、自车急加速、自车超车出现的次数较多。因此根据上述公式计算可以得出数据2的价值维度的量化值大于数据1的价值维度的量化值。
在一种可能的实施方式中,稀有维度的量化值是根据稀有维度关联的子标签在车辆关联的数据库中出现的次数确定的。
示例性的,稀有维度的量化值N可以根据如下公式确定:
其中,tagi为目标数据的价值维度关联的第i个子标签,Ntagi为第i个子标签在车辆关联的数据库中出现的次数。
示例性的,请参见图7B,稀有维度关联的子标签以自车驾驶行为对应的标签为例,该自车驾驶行为关联的分类标签包括自车急转弯、自车超车、自车紧急制动。图7B中的数据1中只有少部分数据关联分类标签自车紧急制动,图7B中的数据2中有关联分类标签自车急转弯、自车超车的大量数据,但分类标签自车急转弯和自车超车在车辆关联的数据库出现的次数较多,而分类标签自车紧急制动在车辆关联的数据库出现的次数较少,则根据上述公式计算可以得出数据1的稀有维度的量化值大于数据2的稀有维度的量化值。
在一种可能的实施方式中,时间维度的量化值是根据目标数据的产生时间与时间维度的量化值之间的映射关系确定。
在一种可能的实施方式中,频率维度的量化值是根据目标数据在预设时长内被使用的次数确定的。
示例性的,请参见表2,表2示出了一个星期内目标数据被使用的次数与频率维度的量化值之间的映射关系。当一个星期内目标数据被使用的次数为0-1次,则频率维度的量化值为10;当一个星期内目标数据被使用的次数为2-5次,则频率维度的量化值为30;当一个星期内目标数据被使用的次数为6-10次,则频率维度的量化值为50,当一个星期内目标数据被使用的次数为10次以上,则频率维度的量化值为90。
表2
被使用的次数 | 频率维度的量化值 |
0-1 | 10 |
2-5 | 30 |
6-10 | 50 |
10以上 | 90 |
应理解,此处仅仅是举例,而非对目标数据的使用次数与频率维度的量化值之间的映射关系的限定。
S304、根据该数据存储策略,对目标数据进行分层存储。
示例性的,若数据存储策略为直接将目标数据删除,则数据处理装置直接将目标数据删除。
在一种可能的实施方式中,分层存储可以包括冷存储和热存储。“热存储”是指访问比较活跃的存储,在热存储方式中,数据处理装置可以较快获取目标数据。“冷存储”是指访问不太频繁的存储,在冷存储方式中,目标数据的存储安全性较高。
可以理解的是,“分层存储”是指对留存维度的不同量化值范围内的数据采用不同的存储策略。
示例性1,请参见表3,留存维度的量化值范围包括范围1和范围2,范围1为21-50,范围1对应的数据存储策略为对目标数据进行冷存储;范围2为51-100,则范围2对应的数据存储策略为对目标数据进行热存储。若目标数据的留存维度的量化值处于范围1内,则对目标数据进行冷存储;或者,若目标数据的留存维度的量化值处于范围2内,则对目标数据进行热存储。
表3
留存维度的量化值范围 | 数据存储策略 |
21-50 | 冷存储 |
51-100 | 热存储 |
示例性2,请参见表4,留存维度的量化值范围包括范围3、范围4和范围5,范围3为20-40,范围3对应的数据存储策略为利用固态硬盘(solid state drive,SSD)存储的方式对目标数据进行存储;范围4为41-80,则范围4对应的数据存储策略为利用混合硬盘(hybrid hard drive,HHD)存储的方式对目标数据进行存储;范围5为81-100,则范围5对应的数据存储策略为利用磁盘(disk)存储的方式对目标数据进行存储。若目标数据的留存维度的量化值处于范围3内,则利用SSD存储的方式对目标数据进行存储;若目标数据的留存维度的量化值处于范围4内,则利用HHD存储的方式对目标数据进行存储;若目标数据的留存维度的量化值处于范围4内,则利用磁盘(disk)存储的方式对目标数据进行存储。
表4
留存维度的量化值范围 | 数据存储策略 |
20-40 | disk存储 |
41-80 | HHD存储 |
81-100 | SSD存储 |
其中,SSD是用固态电子存储芯片阵列而制成的硬盘,由控制单元和存储单元(FLASH芯片、动态随机存储器(dynamic random access memory,DRAM)芯片)组成。SSD的读写速度快、具备防震抗摔性、低功耗、无噪音、工作温度范围大、轻便等优点,但成本较高。HHD是既包含传统硬盘又有闪存(flash memory)模块的大容量存储设备,HHD的数据存储与恢复更快、系统启动时间减少、功耗低、硬盘寿命长,但硬盘中数据的寻道时间更长硬盘的自旋变化更频繁、系统的硬件总成本比SSD的成本高。磁盘(disk)存储的硬件成本较低,但读写速度慢。因此,基于目标数据的留存维度的量化值对应的取值范围,选择不同的数据存储方式,使得数据处理装置可以结合目标数据的特性进行数据存储,使得数据存储的成本更加符合用户的需求。
在图3所示的实施例中,用户可以根据自身需求针对不同的目标数据配置不同的信息,进而数据处理装置可以根据用户配置的信息生成相应的数据存储策略,并执行相应的数据存储操作,使得车辆关联的目标数据的留存满足相关的业务需求。
下面结合具体的附图,介绍本申请实施例涉及的装置。
图8示出了本申请上述实施例中所涉及的数据处理装置的一种可能的结构示意图,该装置800可以用于实现上述图3所示实施例中的方法。其中,该装置800可以是服务器或车辆,或是服务器中的芯片或者集成电路,或是车辆中的芯片或者集成电路,本申请实施例不作具体的限定。
示例性的,该装置可以包括:
获取模块801,用于获取第一指令,第一指令用于指示车辆的目标数据;
获取模块801,还用于获取目标数据对应的配置文件,该配置文件可以用于定义目标数据的数据存储策略;其中,配置文件包括目标数据的第一标签,第一标签用于指示目标数据的留存维度;
处理模块802,用于根据数据存储策略,对目标数据进行分层存储。
在一种可能的设计中,上述留存维度包括价值维度和/或稀有维度,价值维度用于指示目标数据的留存价值,稀有维度用于指示目标数据在车辆关联的数据库中出现的频率。
可选的,留存维度可还以包括价值频率维度和/或时间维度。其中,频率维度(也可称作“活跃维度”)可以用于指示目标数据的使用频率,时间维度可以用于指示目标数据的产生时间(也可称作“新鲜维度”)。
需要说明的是,获取模块801获取配置文件时,有多种实现方式:
方式1,通过用户输入获取配置文件。
方式2,通过历史配置信息获取配置文件。
其中,历史配置信息可以是用户为与目标数据类型相同的业务数据配置的配置文件。
在一种可能的设计中,上述配置文件还可以包括权重信息,进而处理模块802还可以根据该权重信息,确定数据存储策略。其中,该权重信息可以包括价值维度对应的第一权重信息和/或稀有维度对应的第二权重信息。
在一种可能的设计中,第一标签关联子标签,子标签包括车辆的驾驶行为、背景车辆的驾驶行为和车辆的感知目标中的至少一项。
在一种可能的设计中,目标数据关联车辆的驾驶场景。其中,该驾驶场景可以包括三急一快场景、后车超车场景、前车切入场景、直线行驶场景等,本申请实施例不作具体的限制。
本申请实施例还提供了一种车辆,该车辆可以包括处理器,处理器用于执行上述图3所示实施例中的数据处理方法。
在一种可能的实施方式中,还包括存储器,用于存储计算机程序或指令。
在一种可能的实施方式中,还包括收发器,用于接收或发送信息。
本申请实施例还提供了一种服务器,该服务器包括处理器,处理器用于执行上述图3所示实施例中的数据处理方法。
在一种可能的实施方式中,还包括存储器,用于存储计算机程序或指令。
在一种可能的实施方式中,还包括收发器,用于接收或发送信息。
在一种可能的实施方式中,服务器为单服务器或由多个子服务器构成的服务器集群,当服务器为由多个子服务器构成的服务器集群时,多个子服务器联合执行上述数据处理方法。
本申请实施例还提供了一种芯片系统,请参见图9,该芯片系统900包括至少一个处理器,当程序指令在至少一个处理器901中执行时,使得上述图3所示实施例中的数据处理方法得以实现。
在一种可能的实施方式中,该芯片系统还包括通信接口903,通信接口用于输入或输出信息。
在一种可能的实施方式中,该芯片系统还包括存储器902,该存储器902通过通信接口903耦合处理器,用于存储上述指令,以便处理器通过通信接口903读取存储器中存储的指令。
应理解,本申请实施例中不限定上述处理器901、存储器902以及通信接口903之间的连接介质。本申请实施例在图9中以存储器902、处理器901以及通信接口903之间通过通信总线904连接,总线在图9中以粗线表示,其它部件之间的连接方式,仅是示意性说明,并不作为限定。总线可以包括地址总线、数据总线、控制总线等。为了便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线等。
本申请实施例还提供了一种包括指令的计算机程序产品,当其在上述装置上运行时,以执行如上述图3所示实施例中的数据处理方法。
本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,当计算机程序被运行时,实现如上述图3所示实施例中的数据处理方法。
上述各实施例可以相互结合以实现不同的技术效果。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。另外,在本申请各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
本申请实施例提供的方法中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,简称DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,数字视频光盘(digital video disc,简称DVD))、或者半导体介质等。
在本申请实施例中,在无逻辑矛盾的前提下,各实施例之间可以相互引用,例如方法实施例之间的方法和/或术语可以相互引用,例如装置实施例之间的功能和/或术语可以相互引用,例如装置实施例和方法实施例之间的功能和/或术语可以相互引用。
本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (15)
1.一种数据处理方法,其特征在于,所述方法包括:
获取第一指令,所述第一指令用于指示车辆的目标数据;
获取所述目标数据对应的配置文件,所述配置文件用于定义所述目标数据的数据存储策略;其中,所述配置文件包括所述目标数据的第一标签;其中,所述第一标签用于指示所述目标数据的留存维度;
根据所述数据存储策略,对所述目标数据进行分层存储。
2.根据权利要求1所述的方法,其特征在于,所述留存维度包括价值维度和/或稀有维度,所述价值维度用于指示所述目标数据的留存价值,所述稀有维度用于指示所述目标数据在所述车辆关联的数据库中出现的频率。
3.根据权利要求1或2所述的方法,其特征在于,所述配置文件为通过用户输入获取的,或,为通过历史配置信息获取的。
4.根据权利要求2或3所述的方法,其特征在于,所述配置文件还包括权重信息,所述方法还包括:
根据所述权重信息,确定所述数据存储策略;
其中,所述权重信息包括所述价值维度对应的第一权重信息和/或所述稀有维度对应的第二权重信息。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述第一标签关联子标签,所述子标签包括所述车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和所述车辆的感知目标对应的标签中的至少一项。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述目标数据关联所述车辆的驾驶场景。
7.一种数据处理装置,其特征在于,包括:
获取模块,用于获取第一指令,所述第一指令用于指示车辆的目标数据;
所述获取模块,还用于获取所述目标数据对应的配置文件,所述配置文件用于定义所述目标数据的数据存储策略;其中,所述配置文件包括所述目标数据的第一标签;其中,所述第一标签用于指示所述目标数据的留存维度;
处理模块,用于根据所述数据存储策略,对所述目标数据进行分层存储。
8.根据权利要求7所述的装置,其特征在于,所述留存维度包括价值维度和/或稀有维度,所述价值维度用于指示所述目标数据的留存价值,所述稀有维度用于指示所述目标数据在所述车辆关联的数据库中出现的频率。
9.根据权利要求7或8所述的装置,其特征在于,所述配置文件为通过用户输入获取的,或,为通过历史配置信息获取的。
10.根据权利要求8或9所述的装置,其特征在于,所述配置文件还包括权重信息,
所述处理模块,还用于根据所述权重信息,确定所述数据存储策略;
其中,所述权重信息包括所述价值维度对应的第一权重信息和/或所述稀有维度对应的第二权重信息。
11.根据权利要求7-10任一项所述的装置,其特征在于,所述第一标签关联子标签,所述子标签包括所述车辆的驾驶行为对应的标签、背景车辆的驾驶行为对应的标签和所述车辆的感知目标对应的标签中的至少一项。
12.根据权利要求7-11任一项所述的装置,其特征在于,所述目标数据关联所述车辆的驾驶场景。
13.一种车辆,其特征在于,包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器中存储的计算程序,实现如权利要求1-6中任一项所述的方法。
14.一种服务器,其特征在于,所述服务器包括存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述存储器中存储的计算程序,实现如权利要求1-6中任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,所述指令被运行时,使得上述执行根据如权利要求1-6中任一项所述的方法被执行。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111098426.1A CN115827790A (zh) | 2021-09-18 | 2021-09-18 | 一种数据处理方法及装置 |
PCT/CN2022/119076 WO2023040975A1 (zh) | 2021-09-18 | 2022-09-15 | 一种数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111098426.1A CN115827790A (zh) | 2021-09-18 | 2021-09-18 | 一种数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115827790A true CN115827790A (zh) | 2023-03-21 |
Family
ID=85515388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111098426.1A Pending CN115827790A (zh) | 2021-09-18 | 2021-09-18 | 一种数据处理方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115827790A (zh) |
WO (1) | WO2023040975A1 (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003057040A (ja) * | 2001-08-09 | 2003-02-26 | Aisin Aw Co Ltd | ナビゲーション装置、データ記録方法、読出/書込方法のプログラム及び記録媒体 |
JP2003059204A (ja) * | 2001-08-09 | 2003-02-28 | Aisin Aw Co Ltd | ナビゲーション装置、データ記録方法、読出/書込方法のプログラム及び記録媒体 |
JP4789420B2 (ja) * | 2004-03-04 | 2011-10-12 | トヨタ自動車株式会社 | 車両制御システムにおけるデータ処理装置 |
JP2014186466A (ja) * | 2013-03-22 | 2014-10-02 | Sumitomo Wiring Syst Ltd | データ記憶装置及びデータ記憶方法 |
US9823859B2 (en) * | 2014-11-06 | 2017-11-21 | Western Digital Technologies, Inc. | Mechanical shock mitigation for data storage |
US11163453B2 (en) * | 2019-11-01 | 2021-11-02 | Samsung Electronics Co., Ltd. | Memory device, memory system including memory device and vehicle-based system including memory system |
CN112527204A (zh) * | 2020-12-15 | 2021-03-19 | 深圳星火半导体科技有限公司 | 存储方法及装置 |
-
2021
- 2021-09-18 CN CN202111098426.1A patent/CN115827790A/zh active Pending
-
2022
- 2022-09-15 WO PCT/CN2022/119076 patent/WO2023040975A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023040975A1 (zh) | 2023-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210097781A1 (en) | Route-based vehicle selection | |
US9919715B2 (en) | Vehicle mode scheduling with learned user preferences | |
US11410472B2 (en) | Comparing vehicle performance | |
CN106652515A (zh) | 车辆自动控制方法、装置和系统 | |
US20200077292A1 (en) | Data collection apparatus, data collection system, data collection method, and on-vehicle device | |
CN109712392A (zh) | 基于区块链的停车信息处理方法、装置、设备和存储介质 | |
CN105930771A (zh) | 一种驾驶行为评分方法及装置 | |
CN107525515B (zh) | 应用于新能源汽车的充电设备搜索方法、系统及电子设备 | |
CN108422949B (zh) | 用于无人驾驶车辆的信息共享方法、装置、系统及设备 | |
CN112249032A (zh) | 一种自动驾驶决策方法、系统、设备及计算机存储介质 | |
CN107547578A (zh) | 数据的推送方法、装置和设备 | |
CN109840654A (zh) | 车辆驾驶行为的分析方法、装置、系统和计算机设备 | |
US20150073933A1 (en) | Vehicle powertrain selector | |
CN101678769A (zh) | 布局切换装置、移动体用画面生成装置、移动体用信息显示系统、移动体、控制方法 | |
CN112802359A (zh) | 一种停车场管理方法、装置及服务器 | |
CN113589938A (zh) | 具备弹幕功能的车载终端信息分享系统 | |
CN206734223U (zh) | 车辆数据处理系统 | |
WO2021237465A1 (zh) | 数据处理方法、装置及设备 | |
CN115827790A (zh) | 一种数据处理方法及装置 | |
CN112918488A (zh) | 车辆控制方法、装置及存储介质 | |
CN104992560B (zh) | 一种行驶路线数据的处理方法及服务器 | |
CN214267843U (zh) | 一种高稳定电动车仪表驱动模组 | |
CN115598606A (zh) | 一种采集数据的点云融合方法、装置以及电子设备 | |
CN114529888A (zh) | 非机动车驾驶识别方法、装置、计算机及可读存储介质 | |
CN112660046A (zh) | 设备控制方法、装置、计算机设备、存储介质及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |