CN113609085B - 汽车数据快速存储方法 - Google Patents

汽车数据快速存储方法 Download PDF

Info

Publication number
CN113609085B
CN113609085B CN202110948061.0A CN202110948061A CN113609085B CN 113609085 B CN113609085 B CN 113609085B CN 202110948061 A CN202110948061 A CN 202110948061A CN 113609085 B CN113609085 B CN 113609085B
Authority
CN
China
Prior art keywords
file
data
file block
blocks
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110948061.0A
Other languages
English (en)
Other versions
CN113609085A (zh
Inventor
高晓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hilta Suzhou Information Technology Co ltd
Original Assignee
Hilta Suzhou Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hilta Suzhou Information Technology Co ltd filed Critical Hilta Suzhou Information Technology Co ltd
Priority to CN202110948061.0A priority Critical patent/CN113609085B/zh
Publication of CN113609085A publication Critical patent/CN113609085A/zh
Application granted granted Critical
Publication of CN113609085B publication Critical patent/CN113609085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Storage Device Security (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了汽车数据快速存储方法，包括步骤：一：在内存中构建文件的数据结构；二：在内存中创建文件块索引指针结构；三：在第一个文件块中记录数据和第一帧时间，在第一个文件块的报文中进行顺序填充，第一个文件块中的报文填充满后，顺序填充第二个文件块；四：将已完成的文件块进行加密、压缩处理；五：多个文件块循环填充；六：当出现碰撞或者异常时，将内存数据和所有有效的文件块独立并行写入非易失存储介质上；七：读取存储后的文件进行解密，获取原始报文数据。在数据存储时，将所有文件块填满后，循环顺序地覆盖原有数据，在出现事故或故障发生时将最终数据写入到非易失性存储介质中，减少写入时间，延长存储介质的使用寿命。

Description

汽车数据快速存储方法
技术领域
本发明涉及数据存储技术领域，特别涉及汽车数据快速存储方法。
背景技术
现有的数据存储方法是将所有的数据全部记录在内存中，比较占用空间，在出现事故或发生故障时，将内存中所有的数据写入到非易失性存储器中，保持时间较长，且非易失性存储器写入的次数较多，减短了使用寿命。
发明内容
本发明解决的技术问题是提供一种将数据循环记录到文件块中、减少占用内存空间、在出现事故或故障时，能够将内存中的数据写入到非易失性存储器中，减少保存时间的汽车数据快速存储方法。
本发明解决其技术问题所采用的技术方案是：汽车数据快速存储方法，包括如下步骤：
步骤一：在内存中构建文件的数据结构，所述数据结构包括一组文件块、各个文件块的内存地址和文件块保存后的文件名，所述文件块包括文件块头和报文，所述文件块头包含标识文件块的Magic魔术字，文件块加密方式、压缩方式、报文数量和该文件块所有报文压缩后的长度；
步骤二：在内存中创建文件块索引指针结构；
步骤三：在第一个文件块中开始记录数据并记录第一帧时间，在第一个文件块中的报文中进行顺序填充，第一个文件块中的报文填充满后，顺序填充第二个文件块；
步骤四：将已完成的第一个文件块进行加密、压缩处理，将第一个文件块中的报文数量和压缩后的长度写入到第一个文件块头中；
步骤五：多个文件块循环填充；
步骤六：当出现碰撞或者异常时，将内存数据和所有有效的文件块独立并行写入非易失存储介质上，每个有效文件块保存成一个独立文件；
步骤七：通过电脑读取存储后的文件进行解密，解压后获取原始报文数据。
一组文件块通过内存中数据指针索引起来。
进一步的是：所述步骤一中的文件名以该文件块第一帧数据的时间戳命名。
进一步的是：所述每一帧数据包含该报文相对文件块中第一帧报文时间偏移、报文类型、报文原始长度、具体报文和CRC校验。
进一步的是：各个文件块相互独立。
本发明的有益效果是：本发明在数据存储时，将数据循环记录在内存中，数据将所有的文件块填满后，循环顺序地将原有的数据覆盖，节省了内存的空间，在出现事故或故障发生时才将最终要的数据写入到非易失性存储介质中，减少了写入时间，同时延长了存储介质的使用寿命。
附图说明
图1为汽车数据快速存储方法的流程图；
具体实施方式
下面结合附图和具体实施方式对本发明进一步说明。
如图1所示，本申请的实施例提供了一种汽车数据快速存储方法，包括如下步骤：
步骤一：在内存中构建文件的数据结构，所述数据结构包括一组文件块、各个文件块的内存地址和文件块保存后的文件名，所述文件块包括文件块头和报文，所述文件块头包含标识文件块的Magic魔术字，文件块加密方式、压缩方式、报文数量和该文件块所有报文压缩后的长度；所述文件块是否加密和压缩是可以选择的；所述一组文件块包括多个文件块；
步骤二：在内存中创建文件块索引指针结构；
步骤三：在第一个文件块中开始记录数据并记录第一帧时间，在第一个文件块中的报文中进行顺序填充，第一个文件块中的报文填充满后，顺序填充第二个文件块；
步骤四：将已完成的第一个文件块进行加密、压缩处理，将第一个文件块中的报文数量和压缩后的长度写入到第一个文件块头中；
步骤五：多个文件块循环填充，当所有设定的文件块写满后，覆盖第一个文件块中的数据，再次循环顺序写入数据；
步骤六：当出现碰撞或者异常时，将内存数据和所有有效的文件块独立并行写入非易失存储介质上，每个有效文件块保存成一个独立文件；减少写入时间，同时减少非易失存储介质的使用次数，提高非易失存储介质的使用寿命；
步骤七：通过电脑读取存储后的文件进行解密，解压后获取原始报文数据，便于回溯分析碰撞或者故障的原因。
一组文件块通过内存中数据指针索引起来。
在上述基础上，所述步骤一中的文件名以该文件块第一帧数据的时间戳命名。
在上述基础上，所述每一帧数据包含该报文相对文件块中第一帧报文时间偏移、报文类型、报文原始长度、具体报文和CRC校验。
在上述基础上，各个文件块相互独立，即使其中一个文件块损坏也不影响其他文件块的记录、读取。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.汽车数据快速存储方法，其特征在于：包括如下步骤：
步骤一：在内存中构建文件的数据结构，所述数据结构包括一组文件块、各个文件块的内存地址和文件块保存后的文件名，所述文件块包括文件块头和报文，所述文件块头包含标识文件块的Magic魔术字，文件块加密方式、压缩方式、报文数量和该文件块所有报文压缩后的长度；
步骤二：在内存中创建文件块索引指针结构；
步骤三：在第一个文件块中开始记录数据并记录第一帧时间，在第一个文件块中的报文中进行顺序填充，第一个文件块中的报文填充满后，顺序填充第二个文件块；
步骤四：将已完成的第一个文件块进行加密、压缩处理，将第一个文件块中的报文数量和压缩后的长度写入到第一个文件块头中；
步骤五：多个文件块循环填充；
步骤六：当出现碰撞或者异常时，将内存数据和所有有效的文件块独立并行写入非易失存储介质上，每个有效文件块保存成一个独立文件；
步骤七：通过电脑读取存储后的文件进行解密，解压后获取原始报文数据；
一组文件块通过内存中数据指针索引起来。
2.如权利要求1所述的汽车数据快速存储方法，其特征在于：所述步骤一中的文件名以该文件块第一帧数据的时间戳命名。
3.如权利要求1所述的汽车数据快速存储方法，其特征在于：所述每一帧数据包含该报文相对文件块中第一帧报文时间偏移、报文类型、报文原始长度、具体报文和CRC校验。
4.如权利要求1所述的汽车数据快速存储方法，其特征在于：各个文件块相互独立。
CN202110948061.0A 2021-08-18 2021-08-18 汽车数据快速存储方法 Active CN113609085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110948061.0A CN113609085B (zh) 2021-08-18 2021-08-18 汽车数据快速存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110948061.0A CN113609085B (zh) 2021-08-18 2021-08-18 汽车数据快速存储方法

Publications (2)

Publication Number Publication Date
CN113609085A CN113609085A (zh) 2021-11-05
CN113609085B true CN113609085B (zh) 2023-08-15

Family

ID=78308864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110948061.0A Active CN113609085B (zh) 2021-08-18 2021-08-18 汽车数据快速存储方法

Country Status (1)

Country Link
CN (1) CN113609085B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021650A (zh) * 2017-11-30 2018-05-11 冶金自动化研究设计院 一种时序数据的高效存储和读取系统
CN111930309A (zh) * 2020-07-31 2020-11-13 中国人民解放军海军工程大学 基于数据分块技术的文件循环存储方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9229748B2 (en) * 2010-01-29 2016-01-05 Code Systems Corporation Method and system for improving startup performance and interoperability of a virtual application

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021650A (zh) * 2017-11-30 2018-05-11 冶金自动化研究设计院 一种时序数据的高效存储和读取系统
CN111930309A (zh) * 2020-07-31 2020-11-13 中国人民解放军海军工程大学 基于数据分块技术的文件循环存储方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹鹤敏 ; 黄海于 ; .大文件分块上传和下载软件的设计与实现.电子技术应用.2013,(08),全文. *

Also Published As

Publication number Publication date
CN113609085A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN100578470C (zh) 基于裸设备的音视频数据存取方法和装置
US6633724B1 (en) Realtime data recording method
US7840859B2 (en) Block interleaving with memory table of reduced size
GB2404830A (en) Data with multiple sets of error correction codes
CN102483714A (zh) 恢复索引页
CN107741947B (zh) 基于hdfs文件系统的随机数密钥的存储与获取方法
CA2603099A1 (en) Non-invasive encryption for relational database management systems
CN116244313B (zh) Json数据存储和访问方法、装置、计算机设备及介质
CN113609085B (zh) 汽车数据快速存储方法
CN102314322B (zh) 一种基于raid阵列的数据处理方法和设备
US7506199B2 (en) Method and apparatus for recording and reproducing information
CN105589733A (zh) 一种数据处理方法和装置
CN112463880B (zh) 一种区块链数据存储方法及相关装置
CN110222035A (zh) 一种基于异或校验与日志恢复的数据库页面高效容错方法
CN109521954B (zh) 一种配网ftu定点文件管理方法及装置
US20040019750A1 (en) Seek minimized recoverable streaming file system
CN103377664A (zh) 数据记录再现装置和数据库装置
CN104598171A (zh) 基于元数据的阵列重建方法及装置
CN105653385A (zh) 一种车载录像方法
JP2009301148A (ja) 分配記憶制御システム、分配記憶制御方法、および分配記憶制御プログラム
CN111414341B (zh) 一种物联网环境下的数据归一化描述方法
CN108509213B (zh) 用于移动游戏数据存取更新及保护方法
CN1918647A (zh) 用于再现唯一性媒体标识符的再现设备和方法
CN110399098A (zh) 一种数据处理方法及电子设备
US9812166B2 (en) Recording and reproducing device for reconstructing user data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant