CN111459883B - 数据的处理方法及装置 - Google Patents
数据的处理方法及装置 Download PDFInfo
- Publication number
- CN111459883B CN111459883B CN202010246437.9A CN202010246437A CN111459883B CN 111459883 B CN111459883 B CN 111459883B CN 202010246437 A CN202010246437 A CN 202010246437A CN 111459883 B CN111459883 B CN 111459883B
- Authority
- CN
- China
- Prior art keywords
- file
- data
- target
- index file
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据的处理方法及装置。其中,该方法包括:确定索引文件集中的索引文件的当前状态信息,其中,索引文件集中存储有多个索引文件,多个索引文件中的每一个索引文件分别包括多个数据存储文件;基于当前状态信息确定待进行数据传输的目标索引文件;获取目标索引文件的多个数据存储文件的数据传输状态信息;基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台。本发明解决了相关技术中数据采集索引文件查询效率较低,容易导致设备复位的技术问题。
Description
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种数据的处理方法及装置。
背景技术
目前,在集车辆与发动机智能管理于一体的控制系统中,数据存储一般是通过以下方式来实现:每个驾驶循环会生成一个数据存储文件,以时间(例如,年月日、及时分秒)进行命名的;除了数据存储文件之外还需要一个文件用于记录SD卡中存储了多少文件,每个文件的文件名是什么,这样才能有效保证数据文件可以正常被查找到,数据才能正常传输。在数据文件中的数据传输之后,就会把数据文件删除。上述方式,在数据文件不多的情况下,影响不会太大,但是随着控制系统控制的设备的运行时间的增长,数据文件就会越多,索引文件里面的信息也会越来越多,如果一直在查询索引信息函数里面运行,则会导致共轨行设备硬件的看门狗起作用,导致设备复位。
针对上述相关技术中数据采集索引文件查询效率较低,容易导致设备复位的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据的处理方法及装置,以至少解决相关技术中数据采集索引文件查询效率较低,容易导致设备复位的技术问题。
根据本发明实施例的一个方面,提供了一种数据的处理方法,应用于车载终端,包括:确定索引文件集中的索引文件的当前状态信息,其中,所述索引文件集中存储有多个索引文件,所述多个索引文件中的每一个索引文件分别包括多个数据存储文件;基于所述当前状态信息确定待进行数据传输的目标索引文件;获取所述目标索引文件的多个数据存储文件的数据传输状态信息;基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台。
可选地,在所述确定索引文件集中的索引文件的当前状态信息之前,所述数据的处理方法还包括:采集所述车载终端监控的目标车辆的车辆数据;将所述车辆数据存储至对应的索引文件中。
可选地,所述将所述车辆数据存储至对应的索引文件中,包括:生成所述目标车辆在当前驾驶循环对应的索引文件;从所述目标车辆的电子控制单元获取所述当前驾驶循环内的数据;将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中。
可选地,所述将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中,包括:确定所述索引文件的数据存储格式,其中,所述数据存储格式包括:文件头、文件名称、文件总长度、文件主键、文件已读长度、正在传输的文件在索引文件中的偏移值;基于所述数据存储格式将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中。
可选地,所述基于所述当前状态信息确定待进行数据传输的目标索引文件,包括:确定所述当前状态信息为未传输状态或传输中的第一索引文件;确定所述第一索引文件中的文件格式符合预先设置的文件格式的第二索引文件;将所述第二索引文件作为所述目标索引文件。
可选地,所述获取所述目标索引文件的多个数据存储文件的数据传输状态信息,包括:获取所述目标索引文件的文件总长度;基于所述文件总长度读取所述目标索引文件的预定字节,得到所述目标索引文件的索引信息偏移值;基于所述索引信息偏移值确定所述目标索引文件的多个数据存储文件的数据传输状态信息。
可选地,所述基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台,包括:基于所述目标索引文件的多个数据存储文件的数据传输状态信息确定所述目标数据存储文件;确定所述目标数据存储文件存在于所述目标索引文件;将所述目标数据存储文件中的数据传输至所述云平台。
可选地,在所述基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台之后,所述数据的处理方法还包括:获取所述云平台的反馈消息,其中,所述反馈消息用于指示是否完整接收到传输数据;基于所述反馈消息确定所述云平台完整接收到所述传输数据;删除所述目标数据存储文件。
可选地,在所述删除所述目标数据存储文件之后,所述数据的处理方法还包括:确定所述目标数据存储文件为所述目标索引文件中的最后一个数据存储文件;删除所述目标索引文件。
根据本发明实施例的另外一个方面,还提供了一种数据的处理装置,应用于车载终端,包括:第一确定单元,用于确定索引文件集中的索引文件的当前状态信息,其中,所述索引文件集中存储有多个索引文件,所述多个索引文件中的每一个索引文件分别包括多个数据存储文件;第二确定单元,用于基于所述当前状态信息确定待进行数据传输的目标索引文件;第一获取单元,用于获取所述目标索引文件的多个数据存储文件的数据传输状态信息;第三确定单元,用于基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台。
可选地,所述数据的处理装置还包括:采集单元,用于在所述确定索引文件集中的索引文件的当前状态信息之前,采集所述车载终端监控的目标车辆的车辆数据;存储单元,用于将所述车辆数据存储至对应的索引文件中。
可选地,所述存储单元,包括:生成模块,用于生成所述目标车辆在当前驾驶循环对应的索引文件;第一获取模块,用于从所述目标车辆的电子控制单元获取所述当前驾驶循环内的数据;存储模块,用于将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中。
可选地,所述存储模块,包括:确定子模块,用于确定所述索引文件的数据存储格式,其中,所述数据存储格式包括:文件头、文件名称、文件总长度、文件主键、文件已读长度、正在传输的文件在索引文件中的偏移值;存储子模块,用于基于所述数据存储格式将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中。
可选地,所述第二确定单元,包括:第一确定模块,用于确定所述当前状态信息为未传输状态或传输中的第一索引文件;第二确定模块,用于确定所述第一索引文件中的文件格式符合预先设置的文件格式的第二索引文件;第三确定模块,用于将所述第二索引文件作为所述目标索引文件。
可选地,所述第一获取单元,包括:第一获取模块,用于获取所述目标索引文件的文件总长度;第二获取模块,用于基于所述文件总长度读取所述目标索引文件的预定字节,得到所述目标索引文件的索引信息偏移值;第四确定模块,用于基于所述索引信息偏移值确定所述目标索引文件的多个数据存储文件的数据传输状态信息。
可选地,所述第三确定单元,包括:第五确定模块,用于基于所述目标索引文件的多个数据存储文件的数据传输状态信息确定所述目标数据存储文件;第六确定模块,用于确定所述目标数据存储文件存在于所述目标索引文件;传输模块,用于将所述目标数据存储文件中的数据传输至所述云平台。
可选地,所述数据的处理装置还包括:第二获取单元,用于在所述基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台之后,获取所述云平台的反馈消息,其中,所述反馈消息用于指示是否完整接收到传输数据;第四确定单元,用于基于所述反馈消息确定所述云平台完整接收到所述传输数据;第一删除单元,用于删除所述目标数据存储文件。
可选地,所述数据的处理装置还包括:第五确定单元,用于在所述删除所述目标数据存储文件之后,确定所述目标数据存储文件为所述目标索引文件中的最后一个数据存储文件;第二删除单元,用于删除所述目标索引文件。
根据本发明实施例的另外一个方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,所述程序执行上述中任意一项所述的数据的处理方法。
根据本发明实施例的另外一个方面,还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的数据的处理方法。
在本发明实施例中,采用确定索引文件集中的索引文件的当前状态信息,其中,索引文件集中存储有多个索引文件,多个索引文件中的每一个索引文件分别包括多个数据存储文件;基于当前状态信息确定待进行数据传输的目标索引文件;获取目标索引文件的多个数据存储文件的数据传输状态信息;基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台,通过本发明实施例提供的数据的处理方法,实现了在索引文件中增加数据传输状态的记录标识,以基于该记录标识来确定当前需要传输的目标索引文件的目的,达到了提高索引文件遍历查询的效率的技术效果,进而解决了相关技术中数据采集索引文件查询效率较低,容易导致设备复位的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据的处理方法的流程图;
图2是现有技术中的索引文件查询遍历的流程图;
图3是根据本发明实施例的可选的数据的处理方法的流程图;
图4是根据本发明实施例的数据的处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种数据的处理方法的方法实施例,需要说明的是,应用于车载终端,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的数据的处理方法的流程图,如图1所示,该数据的处理方法包括如下步骤:
步骤S102,确定索引文件集中的索引文件的当前状态信息,其中,索引文件集中存储有多个索引文件,多个索引文件中的每一个索引文件分别包括多个数据存储文件。
可选的,这里的索引文件,保存数据存储文件名称的文件,相当于一个文件名称目录。
可选的,数据存储文件是每一个驾驶循环生成的一个存储数据的文件。
可选的,当前状态信息用于表示索引文件的对应的数据存储文件的数据传输状态。
可选的,由于ECU获取的车辆的数据是在不同驾驶循环中获取的,因此,上述索引文件集中包括多个索引文件。在多个索引文件中的每一个索引文件分别对应多个数据存储文件,每个索引文件中的数据存储文件可以是存储在当前驾驶循环内不同类型的车辆数据,例如,耗油,喷油间隔,喷油间隔,喷油量等。
步骤S104,基于当前状态信息确定待进行数据传输的目标索引文件。
可选的,这里的目标索引文件是指待进行数据传输的文件,例如,尚未进行数据传输的文件,已经进行数据传输但尚未传输完毕的文件。
步骤S106,获取目标索引文件的多个数据存储文件的数据传输状态信息。
可选的,这里的多个数据存储文件的数据传输状态信息可以用于表示多个数据存储文件中每一个数据存储文件的传输状态。
步骤S108,基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台。
由上可知,在本发明实施例中,可以确定索引文件集中的索引文件的当前状态信息,其中,索引文件集中存储有多个索引文件,多个索引文件中的每一个索引文件分别包括多个数据存储文件;然后基于当前状态信息确定待进行数据传输的目标索引文件;接着获取目标索引文件的多个数据存储文件的数据传输状态信息;并基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台,实现了在索引文件中增加数据传输状态的记录标识,以基于该记录标识来确定当前需要传输的目标索引文件的目的,达到了提高索引文件遍历查询的效率的技术效果。
值得注意的是,由于在本发明实施例中,将索引文件的信息进行扩展,以记录当前需要传输的数据,相对于相关技术中仅仅是以索引文件的创建时间来确定待进行数据传输的索引文件,随着时间的增长,索引文件会越来越多,导致查询效率较低,若一直在查询索引信息函数里面进行查询操作,则会导致设备硬件的看门狗其作用,导致设备复位的弊端,提高了索引文件的遍历查询效率的技术效果。
通过本发明实施例提供的数据的处理方法,解决了相关技术中数据采集索引文件查询效率较低,容易导致设备复位的技术问题。
在一种可选的实施例中,在确定索引文件集中的索引文件的当前状态信息之前,该数据的处理方法还包括:采集车载终端监控的目标车辆的车辆数据;将车辆数据存储至对应的索引文件中。
其中,将车辆数据存储至对应的索引文件中,包括:生成目标车辆在当前驾驶循环对应的索引文件;从目标车辆的电子控制单元获取当前驾驶循环内的数据;将当前驾驶循环内的数据存储至当前驾驶循环对应的索引文件中。
具体地,将当前驾驶循环内的数据存储至当前驾驶循环对应的索引文件中,包括:确定索引文件的数据存储格式,其中,数据存储格式包括:文件头、文件名称、文件总长度、文件主键、文件已读长度、正在传输的文件在索引文件中的偏移值;基于数据存储格式将当前驾驶循环内的数据存储至当前驾驶循环对应的索引文件中。
其中,表1是原有的索引文件的信息存储结构,如表1所示,该索引文件的命名方式为:文件名、文件名称、文件总长度、配置文件KEY。
表1
0 | 文件头 | WORD | 2323 |
2 | 文件名称 | BYTE[13] | |
15 | 文件总长度 | DWORD | |
19 | 配置文件KEY | DWORD |
在索引文件按照如表1所示的格式进行命名的方式,上传数据查询索引文件的方式,先从第一个文件开始查询,查询一下该索引文件是不是存在,若不存在,则查找下一个;若该索引文件存在,则开始传输这个索引文件里面的数据。
图2是现有技术中的索引文件查询遍历的流程图,如图2所示,可以先判断索引文件是否存在,若不存在,则结束;反之,则检查索引文件格式(需要说明的是,单个索引文件信息的整数倍);判断索引文件格式是否正确,若否,则结束;反之,获取一个索引文件名称;确定该索引文件是否存在,若否,则返回获取一个索引文件名称;若是,则开始传输数据。
其中,表2是根据本发明实施例的索引文件的信息存储结构,如表2所示,该索引文件的命名方式为:文件名、文件名称、文件总长度、配置文件KEY。
其中,表1是原有的索引文件的信息存储结构,如表1所示,该索引文件的命名方式为:文件头、文件名称、文件总长度、文件主键、文件已读长度、正在传输的文件在索引文件中的偏移值。
表2
在一种可选的实施例中,基于当前状态信息确定待进行数据传输的目标索引文件,包括:确定当前状态信息为未传输状态或传输中的第一索引文件;确定第一索引文件中的文件格式符合预先设置的文件格式的第二索引文件;将第二索引文件作为目标索引文件。
在一种可选的实施例中,获取目标索引文件的多个数据存储文件的数据传输状态信息,包括:获取目标索引文件的文件总长度;基于文件总长度读取目标索引文件的预定字节,得到目标索引文件的索引信息偏移值;基于索引信息偏移值确定目标索引文件的多个数据存储文件的数据传输状态信息。
在该实施例中,可以基于索引文件的命名格式,确定正在传输文件传输的数据长度;另外,也需要确定正在传输的文件在索引文件中的偏移值,从而将索引文件的信息进行扩展,增加文件已读长度和传输文件索引偏移,进行索引文件信息读取的断点记录。
根据本发明上述实施例,基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台,包括:基于目标索引文件的多个数据存储文件的数据传输状态信息确定目标数据存储文件;确定目标数据存储文件存在于目标索引文件;将目标数据存储文件中的数据传输至云平台。
在该实施例中,可以将目标数据存储文件中的数据传输至云平台,以便于在云平台基于接收到的数据对车辆进行监控,以降低车辆的安全隐患,提高车辆的安全性。
另外,由于在本发明实施例中,增加了断点记录的参数和功能,提高了索引文件遍历查询的效率,从而无需一直在查询索引信息函数里面运行,也不会导致设备硬件的看门狗起作用,降低设备复位的概率。
在一种可选的实施例中,在基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台之后,数据的处理方法还包括:获取云平台的反馈消息,其中,反馈消息用于指示是否完整接收到传输数据;基于反馈消息确定云平台完整接收到传输数据;删除目标数据存储文件。
另外,在删除目标数据存储文件之后,数据的处理方法还包括:确定目标数据存储文件为目标索引文件中的最后一个数据存储文件;删除目标索引文件。
图3是根据本发明实施例的可选的数据的处理方法的流程图,如图3所示,首先,可以判断索引文件是否存在,若否,结束;放置,则检查索引文件格式(需要说明的是,单个索引信息的整数倍);判断索引文件格式是否正确,若否,则结束;反之,获取索引文件总长度;读取索引文件最后四个字节,得到索引信息偏移;按照索引信息的偏移长度,找到要传输的文件名;判定文件是否存在,若是,则开始传输数据;反之,则查找下一个文件名,判定该文件是否存在,若是,则开始传输数据。
通过本发明实施例提供的数据的处理方法,使得设备在一个驾驶循环结束时,将后面两个参数,尤其最后一个参数更新到索引文件的最后八个字节处;下一个驾驶循环上电后,设备先读取索引文件的最后四个字节,把偏移值取出来,从而增加一个索引文件查询断点的记录机制,节约了查询时间,大大提高了传输效率,降低了硬件运行复杂程度。
根据本发明实施例的另外一个方面,还提供了一种数据的处理装置,应用于车载终端,图4是根据本发明实施例的数据的处理装置的示意图,如图4所示,该数据的处理装置包括:第一确定单元41,第二确定单元43,第一获取单元45以及第三确定单元47。下面对该数据的处理装置进行详细说明。
第一确定单元41,用于确定索引文件集中的索引文件的当前状态信息,其中,索引文件集中存储有多个索引文件,多个索引文件中的每一个索引文件分别包括多个数据存储文件。
第二确定单元43,用于基于当前状态信息确定待进行数据传输的目标索引文件。
第一获取单元45,用于获取目标索引文件的多个数据存储文件的数据传输状态信息。
第三确定单元47,用于基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台。
此处需要说明的是,上述第一确定单元41,第二确定单元43,第一获取单元45以及第三确定单元47对应于实施例1中的步骤S102至S108,上述单元与对应的步骤所实现的示例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述单元作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
由上可知,在本申请上述实施例中,可以利用第一确定单元确定索引文件集中的索引文件的当前状态信息,其中,索引文件集中存储有多个索引文件,多个索引文件中的每一个索引文件分别包括多个数据存储文件;然后利用第二确定单元基于当前状态信息确定待进行数据传输的目标索引文件;接着利用第一获取单元获取目标索引文件的多个数据存储文件的数据传输状态信息;并利用第三确定单元基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台。通过本发明实施例提供的数据的处理装置,实现了在索引文件中增加数据传输状态的记录标识,以基于该记录标识来确定当前需要传输的目标索引文件的目的,达到了提高索引文件遍历查询的效率的技术效果,进而解决了相关技术中数据采集索引文件查询效率较低,容易导致设备复位的技术问题。
在一种可选的实施例中,该数据的处理装置还包括:采集单元,用于在确定索引文件集中的索引文件的当前状态信息之前,采集车载终端监控的目标车辆的车辆数据;存储单元,用于将车辆数据存储至对应的索引文件中。
在一种可选的实施例中,存储单元,包括:生成模块,用于生成目标车辆在当前驾驶循环对应的索引文件;第一获取模块,用于从目标车辆的电子控制单元获取当前驾驶循环内的数据;存储模块,用于将当前驾驶循环内的数据存储至当前驾驶循环对应的索引文件中。
在一种可选的实施例中,存储模块,包括:确定子模块,用于确定索引文件的数据存储格式,其中,数据存储格式包括:文件头、文件名称、文件总长度、文件主键、文件已读长度、正在传输的文件在索引文件中的偏移值;存储子模块,用于基于数据存储格式将当前驾驶循环内的数据存储至当前驾驶循环对应的索引文件中。
在一种可选的实施例中,第二确定单元,包括:第一确定模块,用于确定当前状态信息为未传输状态或传输中的第一索引文件;第二确定模块,用于确定第一索引文件中的文件格式符合预先设置的文件格式的第二索引文件;第三确定模块,用于将第二索引文件作为目标索引文件。
在一种可选的实施例中,第一获取单元,包括:第一获取模块,用于获取目标索引文件的文件总长度;第二获取模块,用于基于文件总长度读取目标索引文件的预定字节,得到目标索引文件的索引信息偏移值;第四确定模块,用于基于索引信息偏移值确定目标索引文件的多个数据存储文件的数据传输状态信息。
在一种可选的实施例中,第三确定单元,包括:第五确定模块,用于基于目标索引文件的多个数据存储文件的数据传输状态信息确定目标数据存储文件;第六确定模块,用于确定目标数据存储文件存在于目标索引文件;传输模块,用于将目标数据存储文件中的数据传输至云平台。
在一种可选的实施例中,该数据的处理装置还包括:第二获取单元,用于在基于数据传输状态信息确定待进行数据传输的目标数据存储文件,并将目标数据存储文件的数据传输至云平台之后,获取云平台的反馈消息,其中,反馈消息用于指示是否完整接收到传输数据;第四确定单元,用于基于反馈消息确定云平台完整接收到传输数据;第一删除单元,用于删除目标数据存储文件。
在一种可选的实施例中,该数据的处理装置还包括:第五确定单元,用于在删除目标数据存储文件之后,确定目标数据存储文件为目标索引文件中的最后一个数据存储文件;第二删除单元,用于删除目标索引文件。
根据本发明实施例的另外一个方面,还提供了一种存储介质,存储介质包括存储的程序,其中,程序执行上述中任意一项的数据的处理方法。
根据本发明实施例的另外一个方面,还提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的数据的处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (11)
1.一种数据的处理方法,其特征在于,应用于车载终端,包括:
确定索引文件集中的索引文件的当前状态信息,其中,所述索引文件集中存储有多个索引文件,所述多个索引文件中的每一个索引文件分别包括多个数据存储文件,所述每一个索引文件中的数据存储文件用于存储所述车载终端对应的目标车辆在当前驾驶循环内不同类型的车辆数据;
基于所述当前状态信息确定待进行数据传输的目标索引文件;
获取所述目标索引文件的多个数据存储文件的数据传输状态信息;
基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台
其中,所述获取所述目标索引文件的多个数据存储文件的数据传输状态信息,包括:
获取所述目标索引文件的文件总长度;
基于所述文件总长度读取所述目标索引文件的预定字节,得到所述目标索引文件的索引信息偏移值;
基于所述索引信息偏移值确定所述目标索引文件的多个数据存储文件的数据传输状态信息。
2.根据权利要求1所述的方法,其特征在于,在所述确定索引文件集中的索引文件的当前状态信息之前,所述方法还包括:
采集所述车载终端监控的目标车辆的车辆数据;
将所述车辆数据存储至对应的索引文件中。
3.根据权利要求2所述的方法,其特征在于,所述将所述车辆数据存储至对应的索引文件中,包括:
生成所述目标车辆在当前驾驶循环对应的索引文件;
从所述目标车辆的电子控制单元获取所述当前驾驶循环内的数据;
将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中。
4.根据权利要求3所述的方法,其特征在于,所述将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中,包括:
确定所述索引文件的数据存储格式,其中,所述数据存储格式包括:文件头、文件名称、文件总长度、文件主键、文件已读长度、正在传输的文件在索引文件中的偏移值;
基于所述数据存储格式将所述当前驾驶循环内的数据存储至所述当前驾驶循环对应的索引文件中。
5.根据权利要求1所述的方法,其特征在于,所述基于所述当前状态信息确定待进行数据传输的目标索引文件,包括:
确定所述当前状态信息为未传输状态或传输中的第一索引文件;
确定所述第一索引文件中的文件格式符合预先设置的文件格式的第二索引文件;
将所述第二索引文件作为所述目标索引文件。
6.根据权利要求1所述的方法,其特征在于,所述基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台,包括:
基于所述目标索引文件的多个数据存储文件的数据传输状态信息确定所述目标数据存储文件;
确定所述目标数据存储文件存在于所述目标索引文件;
将所述目标数据存储文件中的数据传输至所述云平台。
7.根据权利要求1至6中任一项所述的方法,其特征在于,在所述基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台之后,所述方法还包括:
获取所述云平台的反馈消息,其中,所述反馈消息用于指示是否完整接收到传输数据;
基于所述反馈消息确定所述云平台完整接收到所述传输数据;
删除所述目标数据存储文件。
8.根据权利要求7所述的方法,其特征在于,在所述删除所述目标数据存储文件之后,所述方法还包括:
确定所述目标数据存储文件为所述目标索引文件中的最后一个数据存储文件;
删除所述目标索引文件。
9.一种数据的处理装置,其特征在于,应用于车载终端,包括:
第一确定单元,用于确定索引文件集中的索引文件的当前状态信息,其中,所述索引文件集中存储有多个索引文件,所述多个索引文件中的每一个索引文件分别包括多个数据存储文件,所述每一个索引文件中的数据存储文件用于存储所述车载终端对应的目标车辆在当前驾驶循环内不同类型的车辆数据;
第二确定单元,用于基于所述当前状态信息确定待进行数据传输的目标索引文件;
第一获取单元,用于获取所述目标索引文件的多个数据存储文件的数据传输状态信息;
第三确定单元,用于基于所述数据传输状态信息确定待进行数据传输的目标数据存储文件,并将所述目标数据存储文件的数据传输至云平台;
其中,所述第一获取单元,包括:第一获取模块,用于获取所述目标索引文件的文件总长度;第二获取模块,用于基于所述文件总长度读取所述目标索引文件的预定字节,得到所述目标索引文件的索引信息偏移值;第四确定模块,用于基于所述索引信息偏移值确定所述目标索引文件的多个数据存储文件的数据传输状态信息。
10.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序执行权利要求1至8中任意一项所述的数据的处理方法。
11.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至8中任意一项所述的数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010246437.9A CN111459883B (zh) | 2020-03-31 | 2020-03-31 | 数据的处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010246437.9A CN111459883B (zh) | 2020-03-31 | 2020-03-31 | 数据的处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111459883A CN111459883A (zh) | 2020-07-28 |
CN111459883B true CN111459883B (zh) | 2023-08-18 |
Family
ID=71683469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010246437.9A Active CN111459883B (zh) | 2020-03-31 | 2020-03-31 | 数据的处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111459883B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685343A (zh) * | 2012-09-03 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 文件传输方法和系统 |
CN104519090A (zh) * | 2013-09-27 | 2015-04-15 | 深圳市腾讯计算机系统有限公司 | 文件传输方法及装置 |
CN105701096A (zh) * | 2014-11-25 | 2016-06-22 | 腾讯科技(深圳)有限公司 | 索引生成方法、数据查询方法、装置及系统 |
CN105893433A (zh) * | 2015-12-09 | 2016-08-24 | 乐视云计算有限公司 | 文件存储方法、访问方法及装置 |
CN110139073A (zh) * | 2019-05-10 | 2019-08-16 | 浙江大华技术股份有限公司 | 车辆视频监控数据发送方法、装置以及计算机设备 |
CN110222074A (zh) * | 2019-06-14 | 2019-09-10 | 北京金山云网络技术有限公司 | 索引查找方法、查找装置、电子设备及存储介质 |
CN110597762A (zh) * | 2018-05-25 | 2019-12-20 | 杭州海康威视系统技术有限公司 | 文件处理方法、装置、设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130046540A (ko) * | 2011-10-28 | 2013-05-08 | 삼성에스디에스 주식회사 | 데이터 전송 장치 및 방법 |
-
2020
- 2020-03-31 CN CN202010246437.9A patent/CN111459883B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103685343A (zh) * | 2012-09-03 | 2014-03-26 | 腾讯科技(深圳)有限公司 | 文件传输方法和系统 |
CN104519090A (zh) * | 2013-09-27 | 2015-04-15 | 深圳市腾讯计算机系统有限公司 | 文件传输方法及装置 |
CN105701096A (zh) * | 2014-11-25 | 2016-06-22 | 腾讯科技(深圳)有限公司 | 索引生成方法、数据查询方法、装置及系统 |
CN105893433A (zh) * | 2015-12-09 | 2016-08-24 | 乐视云计算有限公司 | 文件存储方法、访问方法及装置 |
CN110597762A (zh) * | 2018-05-25 | 2019-12-20 | 杭州海康威视系统技术有限公司 | 文件处理方法、装置、设备及存储介质 |
CN110139073A (zh) * | 2019-05-10 | 2019-08-16 | 浙江大华技术股份有限公司 | 车辆视频监控数据发送方法、装置以及计算机设备 |
CN110222074A (zh) * | 2019-06-14 | 2019-09-10 | 北京金山云网络技术有限公司 | 索引查找方法、查找装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111459883A (zh) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113609347B (zh) | 数据存储及查询方法、装置及数据库系统 | |
CN110597887B (zh) | 一种基于区块链网络的数据管理方法、装置及存储介质 | |
CN111475105B (zh) | 监控数据存储方法、设备、服务器及存储介质 | |
CN113901131B (zh) | 基于索引的链上数据查询方法及装置 | |
CN111008183B (zh) | 一种用于业务风控日志数据的存储方法及系统 | |
CN112748877A (zh) | 一种文件的整合上传方法及装置、文件的下载方法及装置 | |
CN111459883B (zh) | 数据的处理方法及装置 | |
CN116756253A (zh) | 关系型数据库的数据存储、查询方法、装置、设备和介质 | |
CN110928923A (zh) | 一种基于区块链的数据存储方法及系统 | |
CN113656438B (zh) | 数据树的数据查询方法及装置 | |
CN106446080B (zh) | 数据查询的方法、查询服务设备、客户端设备和数据系统 | |
CN113256301B (zh) | 数据屏蔽方法、装置、服务器及介质 | |
CN110569221B (zh) | 具有版本功能的文件系统管理方法、装置、设备和存储介质 | |
CN111159244B (zh) | 数据查询方法及装置 | |
CN110363515B (zh) | 权益卡账户信息查询方法、系统、服务器及可读存储介质 | |
CN114064722A (zh) | 智能客服流量处理方法、装置、电子设备和存储介质 | |
CN110059109B (zh) | 数据查询的装置、方法及存储介质 | |
CN115694841B (zh) | 基于区块链和ipfs网络的元数据流通方法、装置及存储介质 | |
CN111858609A (zh) | 区块链模糊查询方法及装置 | |
CN110377584A (zh) | 一种基于元数据的数据结构版本兼容的存取方法及装置 | |
CN112580029B (zh) | 网络系统及全隔离网终端病毒查杀方法和装置 | |
CN116700628B (zh) | 区块链数据处理方法、装置、计算机设备和存储介质 | |
CN110532239B (zh) | 文件系统管理方法、装置、设备及存储介质 | |
CN116760703B (zh) | 一种配置平滑方法、系统、设备和可读存储介质 | |
CN111813679B (zh) | 基于python执行测试用例的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |