CN111104366B - 数据归档方法、装置、服务器以及存储介质 - Google Patents
数据归档方法、装置、服务器以及存储介质 Download PDFInfo
- Publication number
- CN111104366B CN111104366B CN201911226944.XA CN201911226944A CN111104366B CN 111104366 B CN111104366 B CN 111104366B CN 201911226944 A CN201911226944 A CN 201911226944A CN 111104366 B CN111104366 B CN 111104366B
- Authority
- CN
- China
- Prior art keywords
- data
- retrieval
- identifier
- data file
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000015654 memory Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/164—File meta data generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据归档方法、装置、服务器以及存储介质，属于自动驾驶领域。方法包括：根据电子设备上传的至少一个数据包，获取多个数据文件；对于任一数据文件，确定数据文件对应的至少一个第一检索标识；将数据文件存储在本地存储空间，建立数据文件的存储路径与至少一个第一检索标识的对应关系。由于服务器可以将多个电子设备上传的数据包中包括的数据文件存储到本地存储空间，并且，服务器确定了每个数据文件的检索标识，建立了存储路径与检索标识的对应关系，实现了对多个电子设备的数据的归档，使得用户在基于服务器检索需要的数据文件时，服务器可以通过检索标识确定数据文件及存储路径，从而使得每个数据文件都便于查找。
Description
技术领域
本申请涉及自动驾驶领域，特别涉及一种数据归档方法、装置、服务器以及存储介质。
背景技术
随着计算机技术的进步，自动驾驶技术的研究成为了热点。自动驾驶的数据来自于车辆上部署的传感器，如摄像头、毫米波雷达以及激光雷达等。车辆行驶过程中传感器采集到数据的数据量十分的庞大，且随着传感器数量的增加，数据量也随之增加。在实际运营过程中，通过搜集大量的数据，并对搜集到的数据进行分析可以指导改进运营方案，还可以用于训练自动驾驶模型，来优化自动驾驶模型的算法。因此如何对数据进行存储以方便进行分析是一个亟需解决的问题。
相关技术中，采用的方式是将各车辆对应的数据通过互联网上传到第三方云存储服务器。但是，由于网络带宽的限制，数据上传到第三方云存储服务器需要花费大量的时间，且在需要对数据进行分析时，无法快速找到相关的数据。
发明内容
本申请实施例提供了一种数据归档方法、装置、服务器以及存储介质，可以解决相关技术中由于网络带宽的限制，数据上传到第三方云存储服务器需要花费大量的时间，且在需要对数据进行分析时，无法快速找到相关的数据的问题。所述技术方案如下：
一方面，提供了一种数据归档方法，所述方法包括：
根据电子设备上传的至少一个数据包，获取多个数据文件，每个数据包包括传感器在自动驾驶车辆行驶过程中采集得到的至少一个数据文件；
对于任一数据文件，确定所述数据文件对应的至少一个第一检索标识；
将所述数据文件存储在本地存储空间，建立所述数据文件的存储路径与所述至少一个第一检索标识的对应关系。
在一种可能的实现方式中，所述根据电子设备上传的至少一个数据包，获取多个数据文件，包括：
接收电子设备上传的至少一个数据包；
获取每个数据包对应的车辆标识；
按照车辆标识对所述至少一个数据包进行解压，得到多个数据文件。
在另一种可能的实现方式中，按照车辆标识对所述至少一个数据包进行解压，得到多个数据文件之后，所述方法还包括：
对于任一数据文件，将所述数据文件对应的车辆标识添加到所述数据文件的元数据中。
在另一种可能的实现方式中，所述确定所述数据文件对应的至少一个第一检索标识，包括：
对所述数据文件进行元数据抽取，得到至少一条第一元数据；
建立所述至少一条第一元数据与所述数据文件的对应关系；
将所述至少一条第一元数据作为所述数据文件对应的至少一个第一检索标识。
在另一种可能的实现方式中，所述将所述至少一条第一元数据作为所述数据文件对应的至少一个第一检索标识之后，所述方法还包括：
获取已存储的检索信息，所述检索信息包括至少一个第二检索标识；
对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中不存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识添加到所述检索信息中。
在另一种可能的实现方式中，所述方法还包括：
对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识对应的信息与所述第二检索标识对应的信息进行合并。
另一方面，提供了一种数据归档装置，其特征在于，所述装置包括：
获取模块，用于根据电子设备上传的数据包，获取多个数据文件，每个数据文件包括传感器在自动驾驶车辆行驶过程中采集的至少一条行驶数据；
确定模块，用于对于任一数据文件，确定所述数据文件对应的至少一个第一检索标识；
存储模块，用于将所述数据文件存储在本地存储空间，建立所述数据文件的存储路径与所述至少一个第一检索标识的对应关系。
在一种可能的实现方式中，所述获取模块，还用于接收电子设备上传的至少一个数据包；获取每个数据包对应的车辆标识；按照车辆标识对所述至少一个数据包进行解压，得到多个数据文件。
在另一种可能的实现方式中，所述装置还包括：
第一添加模块，用于对于任一数据文件，将所述数据文件对应的车辆标识添加到所述数据文件的元数据中。
在另一种可能的实现方式中，所述确定模块，还用于对所述数据文件进行元数据抽取，得到至少一条第一元数据；建立所述至少一条第一元数据与所述数据文件的对应关系；将所述至少一条第一元数据作为所述数据文件对应的至少一个第一检索标识。
在另一种可能的实现方式中，所述装置还包括：
所述获取模块，还用于获取已存储的检索信息，所述检索信息包括至少一个第二检索标识；
第二添加模块，用于对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中不存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识添加到所述检索信息中。
在另一种可能的实现方式中，所述装置还包括：
合并模块，用于对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识对应的信息与所述第二检索标识对应的信息进行合并。
另一方面，提供了一种服务器，其特征在于，所述服务器包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现所述的数据归档方法所执行的操作。
另一方面，提供了一种计算机可读存储介质，其特征在于，应用于服务器，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述的数据归档方法所执行的操作。
通过本申请实施例提供的方法，由于服务器可以将多个电子设备上传的数据包中包括的数据文件存储到本地存储空间，并且，服务器确定了每个数据文件的检索标识，建立了存储路径与检索标识的对应关系，实现了对多个电子设备的数据的归档，使得用户在基于服务器检索需要的数据文件时，服务器可以通过检索标识确定数据文件及存储路径，从而使得每个数据文件都便于查找。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据归档系统的系统架构示意图。
图2是本申请实施例提供的一种数据归档方法的流程图。
图3是本申请实施例提供的另一种数据归档方法的流程图。
图4是本申请实施例提供的另一种数据归档方法的流程图。
图5是本申请实施例提供的一种数据归档装置的结构示意图。
图6是本申请实施例提供的一种服务器的结构示意图。
图1是本申请实施例提供的一种数据归档系统的系统架构示意图。如图1所示，该数据归档系统包括：车载终端101、电子设备102以及服务器103。
其中，车载终端101部署在支持自动驾驶的车辆上，该车载终端101用于将车辆上部署的传感器采集的至少一个数据文件打包为至少一个数据包。电子设备102可以为终端或者服务器，该电子设备102可以部署在车辆的车库中。电子设备102可以从车载终端101获取该至少一个数据包。其中数据包的大小可以相同也可以不同，例如车载终端101可以将传感器10分钟内采集的数据文件打包为一个数据包，或者可以将50GB的数据文件打包为一个数据包。该电子设备103可以将获取到的至少一个数据包上传至服务器103。该服务器103用于接收至少一个电子设备103上传的数据包，按照本申请实施例提供的数据归档方法，对接收到数据包进行处理，得到多个数据文件，确定数据文件的检索标识，对数据文件进行归档。
可选的，该数据归档系统中可以包括一个服务器103，该服务器103可以接收多个电子设备102上传的数据包，并按照本申请实施例提供的数据归档方法，进行数据归档。每个电子设备102可以从至少一个车载终端101中获取数据包，而每个车载终端101对应一辆支持自动驾驶的车辆。
图2是本申请实施例提供的一种数据归档方法的流程图，参见图2，方法包括：
201、服务器根据电子设备上传的至少一个数据包，获取多个数据文件，每个数据包包括传感器在自动驾驶车辆行驶过程中采集得到的至少一个数据文件。
202、服务器对于任一数据文件，确定数据文件对应的至少一个第一检索标识。
203、服务器将数据文件存储在本地存储空间，建立数据文件的存储路径与至少一个第一检索标识的对应关系。
在本申请实施例中，由于服务器可以将多个电子设备上传的数据包中包括的数据文件存储到本地存储空间，并且，服务器确定了每个数据文件的检索标识，建立了存储路径与检索标识的对应关系，实现了对多个电子设备的数据的归档，使得用户在基于服务器检索需要的数据文件时，服务器可以通过检索标识确定数据文件及存储路径，从而使得每个数据文件都便于查找。
在一种可能的实现方式中，根据电子设备上传的至少一个数据包，获取多个数据文件，包括：
接收电子设备上传的至少一个数据包；
根据至少一个数据包的上传顺序，确定每个数据包对应的车辆标识；
按照车辆标识对至少一个数据包进行解压，得到多个数据文件。
在另一种可能的实现方式中，，按照车辆标识对至少一个数据包进行解压，得到多个数据文件之后，方法还包括：
对于任一数据文件，将数据文件对应的车辆标识添加到数据文件的元数据中。
在另一种可能的实现方式中，确定数据文件对应的至少一个第一检索标识，包括：
对数据文件进行元数据抽取，得到至少一条第一元数据；
建立至少一条第一元数据与数据文件的对应关系；
将至少一条第一元数据作为数据文件对应的至少一个第一检索标识。
在另一种可能的实现方式中，将至少一条第一元数据作为数据文件对应的至少一个第一检索标识之后，方法还包括：
获取已存储的检索信息，检索信息包括至少一个第二检索标识；
对于至少一个第一检索标识中的任一第一检索标识，当检索信息中不存在与第一检索标识相同的第二检索标识时，将第一检索标识添加到检索信息中。
在另一种可能的实现方式中，方法还包括：
对于至少一个第一检索标识中的任一第一检索标识，当检索信息中存在与第一检索标识相同的第二检索标识时，将第一检索标识对应的信息与第二检索标识对应的信息进行合并。
图3是本申请实施例提供的另一种数据归档方法的流程图，参见图3所示，方法包括：
301、服务器根据电子设备上传的至少一个数据包，获取多个数据文件，每个数据包包括传感器在自动驾驶车辆行驶过程中采集得到的至少一个数据文件。
在本申请实施例中，自动驾驶的车辆上会部署有多种多样的传感器，如摄像头、毫米波雷达、激光雷达、速度传感、加速度传感器、温度传感器以及湿度传感器等。车辆在行驶过程中可以通过上述传感器来实时采集周边环境的状态信息以及车辆本身的状态信息，例如温度、风速、车速、周围车辆的数量、已行驶的公里数、剩余的燃料数等。上述传感器采集的状态信息可以由各传感器通过数据文件的形式发送给车载终端。车载终端可以对接收到的数据文件进行打包处理，得到至少一个数据包。电子设备可以从至少一个车载终端中获取该至少一个数据包，将该至少一个数据包上传至上述服务器中。
在一种可能的实现方式中，电子设备上传数据包时可以通过多线程服务对多个车辆对应的数据包并行上传，为了使同一车辆的数据文件相邻存储，服务器可以根据数据包对应的车辆标识对数据包进行处理，得到多个数据文件。相应的，本步骤可以为：服务器可以接收电子设备上传的至少一个数据包。服务器可以获取每个数据包对应的车辆标识。服务器可以按照车辆标识对上述至少一个数据包进行解压，得到多个数据文件。服务器可以将解压得到的多个数据文件按照解压的顺序进行存储。
例如，电子设备从10辆自动驾驶的车辆的车载终端中分别获取到10辆车对应的数据包，每辆车对应的数据包包括至少一个数据包，每个数据包都有其对应的车辆的车辆标识。服务器在接收到电子设备上传的10辆车对应的数据包后，获取每个数据包的车辆标识，按照车辆标识对数据包逐个进行解压，如先解压车辆标识为1的数据包，再解压车辆标识为2的数据包，最后解压车辆标识为10的数据包，从而得到多个数据文件。
在一种可能的实现方式中，电子设备上传数据包时可以按照车辆标识依次上传多个车辆对应的数据包，服务器可以根据数据包的上传顺序对该至少一个数据包进行解压，得到多个数据文件。
例如，电子设备根据预设的车辆标识顺序将上述10辆车对应的数据包依次上传到服务器，车辆标识为1的车辆对应的数据包最先上传，车辆标识为10的车辆对应的数据包最后上传。服务器在接收到数据包后，根据数据包的上传顺序，依次解压每个数据包。
在一种可能的实现方式中，对于服务器解压得到的多个数据文件中的每个数据文件，服务器可以将该数据文件对应的车辆标识添加到该数据文件的元数据中。其中，元数据又称为中介数据、中继数据，是用来描述数据文件的数据，主要描述数据属性，如采集时间、对应的传感器标识等。
例如，服务器解压车辆标识为1的一个数据包，得到3个数据文件，则服务器可以为这3个数据文件添加一条元数据，该元数据指示这3个数据文件对应的车辆标识为1。
302、服务器对于任一数据文件，确定该数据文件对应的至少一个第一检索标识。
在本申请实施例中，服务器可以通过从数据文件中抽取元数据的方式，来确定数据文件对应的至少一个第一检索标识。相应的，本步骤可以为：服务器对于任一数据文件，可以对该数据文件进行元数据抽取，得到至少一条第一元数据。服务器可以建立该至少一条第一元数据与该数据文件的对应关系。服务器可以将该至少一条第一元数据作为该数据文件对应的至少一个第一检索标识。
例如，对于任一数据文件，服务器可以从该数据文件中抽取出采集时间、对应的传感器标识、对应的车辆标识以及是否报警等元数据。服务器可以建立上述多个元数据与该数据文件的对应关系，然后将该多个元数据作为该数据文件的第一检索标识。即通过该多个检索标识进行检索时，都可以检索到该数据文件。
303、服务器将数据文件存储在本地存储空间，建立数据文件的存储路径与至少一个第一检索标识的对应关系。
在本申请实施例中，服务器对于任一数据文件，在得到该数据文件对应的至少一个第一检索标识之后，可以将该数据文件进行存储。服务器设置有本地存储空间，该本地存储空间可以为服务器的数据库。例如，服务器可以将该数据文件压缩后存储到本地存储空间中，以节约本地存储空间的容量。服务器在存储该数据文件后，可以获取该数据文件的存储路径，建立该存储路径与该至少一个第一检索标识的对应关系，也即通过该数据文件的任一检索标识都可以确定该数据文件的存储路径。
例如，服务器将数据文件A存储在本地存储空间的XXX/YYY/ZZZ/这一存储路径下后，建立该数据文件A的存储路径与该数据文件A的第一检索标识a1、a2、a3的对应关系，即a1对应数据文件A，数据文件A对应存储路径XXX/YYY/ZZZ/A，a1对应存储路径XXX/YYY/ZZZ/A。
304、服务器获取已存储的检索信息，检索信息包括至少一个第二检索标识。
在本申请实施例中，服务器在首个数据文件的第一检索标识确定之后，可以获取已存储的检索信息，该检索信息获取一次即可，不需要重复获取。该检索信息中包括的至少一个第二检索标识，是服务器根据历史存储的数据文件得到的检索标识，通过该至少一个第二检索标识，服务器可以检索任一历史存储的数据文件。
其中，服务器已存储的检索信息中包括采集时间、传感器标识、车辆标识等。该采集时间可以是时间段，时间段的范围可以是年、月、日或者时刻。传感器标识可以是传感器型号、传感器类型或者传感器编号等。车辆标识可以为车辆编号、车辆型号或者车辆类型等。
例如，用户在需要检索数据文件时，可以在服务器提供的检索页面中输入检索内容，服务器对该检索内容进行解析，将解析后的内容与已存储的检索信息中包括的至少一个第二检索标识进行匹配，当任一检索标识匹配成功时，服务器可以获取与该第二检索标识具有对应关系的至少一个数据文件，以及该至少一个数据文件对应的存储路径。
需要说明的是，服务器可以在获取已存储的检索信息后，对于上述任一数据文件，在确定该数据文件对应的至少一个第一检索标识后，服务器对于至少一个第一检索标识中的任一第一检索标识，可以确定该检索信息中是否存在与该第一检索标识相同的第二检索标识，当不存在时，服务器可以执行步骤305，当不存在时，服务器可以执行步骤306。
305、服务器对于至少一个第一检索标识中的任一第一检索标识，当检索信息中不存在与第一检索标识相同的第二检索标识时，将第一检索标识添加到检索信息中，结束。
在本申请实施例中，当检索信息中不存在与第一检索标识相同的第二检索标识时，表示该第一检索标识是新出现的检索标识，目前仅有该数据文件与该检索标识对应。此时，服务器可以将该第一检索标识添加到该检索信息中，以使用户可以通过该第一检索标识检索到该数据文件。
例如，新添了一辆车辆标识为11的车，则服务器对该车辆对应的多个数据文件进行元数据抽取后，得到多个检索信息中不存在的第一检索标识，如车辆标识11，车辆的传感器编号等。服务器可以将上述检索标识添加到上述检索信息中。
306、服务器对于至少一个第一检索标识中的任一第一检索标识，当检索信息中存在与第一检索标识相同的第二检索标识时，将第一检索标识对应的信息与第二检索标识对应的信息进行合并。
在本申请实施例中，当检索信息中存在与第一检索标识相同的第二检索标识时，表示该第一检索标识是已经出现过的检索标识，有其他数据文件也具有该检索标识。此时，服务器可以将该第一检索标识对应的信息与该第二检索标识对应的信息进行合并。即将该第二检索标识与该数据文件以及该数据文件的存储路径进行对应。
例如，服务器其中已存储的检索信息中包括车辆标识1这一第二检索标识。对于车辆标识为1的车辆对应的数据文件中的任一数据文件，服务器对该数据文件进行元数据抽取，得到的至少一个元数据中必然包括车辆标识1这一元数据。由于检索信息中已存在该检索标识，因此，服务器可以为已存储的车辆标识1添加与该数据文件以及该数据文件的存储路径的对应关系。
需要说明的是，上述步骤302至步骤306示例性的示出了服务器对一个数据文件的处理，对其他数据文件，服务器可以重复执行上述步骤302至步骤306，直到服务器完成多个数据文件的存储。
还需要说明的是，上述步骤310至步骤306是服务器就与电子设备上传的至少一个数据包进行数据归档的可选的实现方式。实际上，该归档方法应用于图1所示的数据归档系统中时，车载终端用于对传感器采集到的数据进行切割和压缩，得到多个数据包，电子设备用于上传该多个数据包，服务器用于确定每个数据文件的检索标识，服务器还用于对多个数据文件进行归档。相应的，该过程可以参见图4所示，图4是本申请实施例提供的另一种数据归档方法的流程图。
在本申请实施例中，由于服务器可以将多个电子设备上传的数据包中包括的数据文件存储到本地存储空间，并且，服务器确定了每个数据文件的检索标识，建立了存储路径与检索标识的对应关系，实现了对多个电子设备的数据的归档，使得用户在基于服务器检索需要的数据文件时可以通过检索标识确定数据文件及存储路径，从而使得每个数据文件都便于查找。
图5是本申请实施例提供的一种数据归档装置的结构示意图。参见图5，装置包括：获取模块501、确定模块502以及存储模块503。
获取模块501，用于根据电子设备上传的数据包，获取多个数据文件，每个数据文件包括传感器在自动驾驶车辆行驶过程中采集的至少一条行驶数据；
确定模块502，用于对于任一数据文件，确定数据文件对应的至少一个第一检索标识；
存储模块503，用于将数据文件存储在本地存储空间，建立数据文件的存储路径与至少一个第一检索标识的对应关系。
在一种可能的实现方式中，获取模块501，还用于接收电子设备上传的至少一个数据包；获取每个数据包对应的车辆标识；按照车辆标识对至少一个数据包进行解压，得到多个数据文件。
在另一种可能的实现方式中，装置还包括：
第一添加模块，用于对于任一数据文件，将数据文件对应的车辆标识添加到数据文件的元数据中。
在另一种可能的实现方式中，确定模块502，还用于对数据文件进行元数据抽取，得到至少一条第一元数据；建立至少一条第一元数据与数据文件的对应关系；将至少一条第一元数据作为数据文件对应的至少一个第一检索标识。
在另一种可能的实现方式中，装置还包括：
获取模块501，还用于获取已存储的检索信息，检索信息包括至少一个第二检索标识；
第二添加模块，用于对于至少一个第一检索标识中的任一第一检索标识，当检索信息中不存在与第一检索标识相同的第二检索标识时，将第一检索标识添加到检索信息中。
在另一种可能的实现方式中，装置还包括：
合并模块，用于对于至少一个第一检索标识中的任一第一检索标识，当检索信息中存在与第一检索标识相同的第二检索标识时，将第一检索标识对应的信息与第二检索标识对应的信息进行合并。
在本申请实施例中，由于服务器可以将多个电子设备上传的数据包中包括的数据文件存储到本地存储空间，并且，由于服务器确定了每个数据文件的检索标识，建立了存储路径与检索标识的对应关系，实现了对多个电子设备的数据的归档，使得用户在基于服务器检索需要的数据文件时，服务器可以通过检索标识确定数据文件及存储路径，从而每个数据文件都便于查找。
图6是本申请实施例提供的一种服务器的结构示意图，该服务器600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(CentralProcessingUnits，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，应用于服务器，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例中的数据归档方法。例如，该计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
上述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种数据归档方法，其特征在于，所述方法应用在服务器，所述方法包括：
根据电子设备上传的至少一个数据包，获取多个数据文件，每个数据包包括传感器在自动驾驶车辆行驶过程中采集得到的至少一个数据文件；
对于任一数据文件，确定所述数据文件对应的至少一个第一检索标识；
将所述数据文件存储在本地存储空间，建立所述数据文件的存储路径与所述至少一个第一检索标识的对应关系；
所述确定所述数据文件对应的至少一个第一检索标识，包括：
对所述数据文件进行元数据抽取，得到至少一条第一元数据，所述元数据是用于描述数据属性的数据；
建立所述至少一条第一元数据与所述数据文件的对应关系；
将所述至少一条第一元数据作为所述数据文件对应的至少一个第一检索标识；
获取已存储的检索信息，所述检索信息包括至少一个第二检索标识，所述第二检索标识是所述服务器根据历史存储的数据文件得到的检索标识，所述检索标识用于所述服务器检索任一历史存储的数据文件；
对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中不存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识添加到所述检索信息中。
2.根据权利要求1所述的方法，其特征在于，所述根据电子设备上传的至少一个数据包，获取多个数据文件，包括：
接收电子设备上传的至少一个数据包；
获取每个数据包对应的车辆标识；
按照车辆标识对所述至少一个数据包进行解压，得到多个数据文件。
3.根据权利要求2所述的方法，其特征在于，按照车辆标识对所述至少一个数据包进行解压，得到多个数据文件之后，所述方法还包括：
对于任一数据文件，将所述数据文件对应的车辆标识添加到所述数据文件的元数据中。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识对应的信息与所述第二检索标识对应的信息进行合并。
5.一种数据归档装置，其特征在于，应用于服务器，所述装置包括：
获取模块，用于根据电子设备上传的数据包，获取多个数据文件，每个数据文件包括传感器在自动驾驶车辆行驶过程中采集的至少一条行驶数据；
确定模块，用于对于任一数据文件，确定所述数据文件对应的至少一个第一检索标识；
存储模块，用于将所述数据文件存储在本地存储空间，建立所述数据文件的存储路径与所述至少一个第一检索标识的对应关系；
所述确定模块，还用于对所述数据文件进行元数据抽取，得到至少一条第一元数据；建立所述至少一条第一元数据与所述数据文件的对应关系；将所述至少一条第一元数据作为所述数据文件对应的至少一个第一检索标识，所述元数据是用于描述数据属性的数据；
所述获取模块，还用于获取已存储的检索信息，所述检索信息包括至少一个第二检索标识，所述第二检索标识是所述服务器根据历史存储的数据文件得到的检索标识，所述检索标识用于所述服务器检索任一历史存储的数据文件；
第二添加模块，用于对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中不存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识添加到所述检索信息中。
6.根据权利要求5所述的装置，其特征在于，所述获取模块，还用于接收电子设备上传的至少一个数据包；获取每个数据包对应的车辆标识；按照车辆标识对所述至少一个数据包进行解压，得到多个数据文件。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第一添加模块，用于对于任一数据文件，将所述数据文件对应的车辆标识添加到所述数据文件的元数据中。
8.根据权利要求5所述的装置，其特征在于，所述装置还包括：
合并模块，用于对于所述至少一个第一检索标识中的任一第一检索标识，当所述检索信息中存在与所述第一检索标识相同的第二检索标识时，将所述第一检索标识对应的信息与所述第二检索标识对应的信息进行合并。
9.一种服务器，其特征在于，所述服务器包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条指令，所述指令由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求4任一项所述的数据归档方法所执行的操作。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至权利要求4任一项所述的数据归档方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911226944.XA CN111104366B (zh) | 2019-12-04 | 2019-12-04 | 数据归档方法、装置、服务器以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911226944.XA CN111104366B (zh) | 2019-12-04 | 2019-12-04 | 数据归档方法、装置、服务器以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111104366A CN111104366A (zh) | 2020-05-05 |
| CN111104366B true CN111104366B (zh) | 2024-01-19 |
Family
ID=70421948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911226944.XA Active CN111104366B (zh) | 2019-12-04 | 2019-12-04 | 数据归档方法、装置、服务器以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111104366B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112015416A (zh) * | 2020-08-27 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 开发网页的校验方法、装置、电子设备及计算机可读介质 |
| CN115208826B (zh) * | 2021-04-12 | 2023-12-01 | 中移(上海)信息通信科技有限公司 | 一种数据处理方法、装置及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154024A (zh) * | 2017-12-20 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种数据检索方法、装置及电子设备 |
| CN108897859A (zh) * | 2018-06-29 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种元数据检索方法、装置、设备及计算机可读存储介质 |
| CN109783440A (zh) * | 2018-12-19 | 2019-05-21 | 平安普惠企业管理有限公司 | 数据存储方法及数据检索方法、装置、介质、电子设备 |
-
2019
- 2019-12-04 CN CN201911226944.XA patent/CN111104366B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154024A (zh) * | 2017-12-20 | 2018-06-12 | 北京奇艺世纪科技有限公司 | 一种数据检索方法、装置及电子设备 |
| CN108897859A (zh) * | 2018-06-29 | 2018-11-27 | 郑州云海信息技术有限公司 | 一种元数据检索方法、装置、设备及计算机可读存储介质 |
| CN109783440A (zh) * | 2018-12-19 | 2019-05-21 | 平安普惠企业管理有限公司 | 数据存储方法及数据检索方法、装置、介质、电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111104366A (zh) | 2020-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110321387B (zh) | 数据同步方法、设备及终端设备 | |
| CN111104366B (zh) | 数据归档方法、装置、服务器以及存储介质 | |
| CN108875328B (zh) | 一种身份验证方法、装置及存储介质 | |
| CN104010035A (zh) | 一种应用程序分发的方法及系统 | |
| CN111241217B (zh) | 数据处理的方法、装置和系统 | |
| CN112597138A (zh) | 数据去重方法、装置、计算机设备和计算机可读存储介质 | |
| CN102118451B (zh) | 用户资源的上传处理方法及装置 | |
| CN110087144A (zh) | 视频文件处理方法、装置、电子设备和计算机存储介质 | |
| CN111258974A (zh) | 一种车辆离线场景数据处理方法及系统 | |
| CN108319688B (zh) | 一种用于对用户进行阅读提醒的方法与设备 | |
| CN113329070A (zh) | 一种车辆运行数据的获取方法、装置、设备及存储介质 | |
| CN114584584A (zh) | 车辆行驶数据的处理系统、方法及存储介质 | |
| CN117493671A (zh) | 信息处理方法、装置、电子设备及计算机存储介质 | |
| CN111782869B (zh) | 视频大数据事件库构建方法、装置及计算机设备 | |
| CN112286706A (zh) | 安卓应用的应用信息远程快速获取方法及相关设备 | |
| CN112860456B (zh) | 日志处理方法和装置 | |
| CN116366675A (zh) | 车联网安全数据管理方法、装置、系统、设备和介质 | |
| CN112511657B (zh) | 用于智能网联车辆数据远程管理的信息处理方法及装置 | |
| CN114118440A (zh) | 模型迭代方法、装置、电子设备和计算机可读存储介质 | |
| CN112639746A (zh) | 数据库装置、程序以及数据处理方法 | |
| CN114547491A (zh) | 时序图谱构建方法、装置、设备及介质 | |
| CN108984519B (zh) | 基于双模式的事件语料库自动构建方法、装置及存储介质 | |
| CN112328464A (zh) | 指标数据存储、相关性分析方法及计算机可读存储介质 | |
| CN112133327B (zh) | 一种音频样本的提取方法、设备、终端及存储介质 | |
| CN111538914A (zh) | 地址信息的处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200615 Address after: 215100 16 / F, Lingyu Business Plaza, 66 qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant after: SUZHOU ZHIJIA TECHNOLOGY Co.,Ltd. Applicant after: Zhijia (Cayman) Co. Applicant after: Zhijia (USA) Address before: 215100 16 / F, Lingyu Business Plaza, 66 qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant before: SUZHOU ZHIJIA TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210312 Address after: 16 / F, Lingyu Business Plaza, 66 qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant after: SUZHOU ZHIJIA TECHNOLOGY Co.,Ltd. Applicant after: Zhijia (USA) Address before: 215100 16 / F, Lingyu Business Plaza, 66 qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province Applicant before: SUZHOU ZHIJIA TECHNOLOGY Co.,Ltd. Applicant before: Zhijia (Cayman) Co. Applicant before: Zhijia (USA) |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |