CN113805798A - 车载日志的空间优化存储方法、装置、电子设备及介质 - Google Patents

车载日志的空间优化存储方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113805798A
CN113805798A CN202110902173.2A CN202110902173A CN113805798A CN 113805798 A CN113805798 A CN 113805798A CN 202110902173 A CN202110902173 A CN 202110902173A CN 113805798 A CN113805798 A CN 113805798A
Authority
CN
China
Prior art keywords
frame
exclusive
log
vehicle
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110902173.2A
Other languages
English (en)
Inventor
陶波
戴虎
宋赢硕
马永恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casco Signal Ltd
Original Assignee
Casco Signal Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casco Signal Ltd filed Critical Casco Signal Ltd
Priority to CN202110902173.2A priority Critical patent/CN113805798A/zh
Publication of CN113805798A publication Critical patent/CN113805798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种车载日志的空间优化存储方法、装置、电子设备及介质，该方法包括以下步骤：步骤1：接收运行日志；步骤2：对接收的日志进行排序；步骤3：选取需要存储为原始日志的帧；步骤4：确定需要存储为与原始帧异或的帧；步骤5：将需要存为异或日志的帧和原始帧进行异或；步骤6：将原始帧和异或帧存入磁盘；步骤7：对数据进行异或还原。与现有技术相比，本发明具有节省磁盘存储空间、压缩率高优点。

Description

车载日志的空间优化存储方法、装置、电子设备及介质
技术领域
本发明涉及轨道交通车载日志存储领域，尤其是涉及一种车载日志的空间优化存储方法、装置、电子设备及介质。
背景技术
车载软件运行日志是列车运行故障排查的必要依据。目前，车载软件的运行日志的存储，主要是车载运行日志记录单元将其他车载设备的运行日志接收过来之后，直接对其压缩后存入磁盘，由于每帧日志中的零很少，压缩率就会很低，使得日志文件占用太多的磁盘空间，日志记录的时长短，要想存储更长时间的日志，就需要扩大磁盘容量，这样就会增大存储成本。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种车载日志的空间优化存储方法、装置、电子设备及介质。
本发明的目的可以通过以下技术方案来实现：
根据本发明的第一方面，提供了一种车载日志的空间优化存储方法，该方法包括以下步骤：
步骤1：接收运行日志；
步骤2：对接收的日志进行排序；
步骤3：选取需要存储为原始日志的帧；
步骤4：确定需要存储为与原始帧异或的帧；
步骤5：将需要存为异或日志的帧和原始帧进行异或；
步骤6：将原始帧和异或帧存入磁盘；
步骤7：对数据进行异或还原。
作为优选的技术方案，所述的步骤1具体为：接收来自其他车载设备发送的运行日志。
作为优选的技术方案，所述的步骤2具体为：对接收的日志按照周期进行排序。
作为优选的技术方案，所述的步骤5还包括：在异或帧尾部加上原始帧的周期号以及是否为异或帧的标志位。
作为优选的技术方案，所述的步骤6具体为：将原始帧和异或帧进行压缩存入磁盘。
作为优选的技术方案，所述的步骤7具体为：利用上位机对日志进行解压，并根据是否为异或帧的标志位对数据进行异或还原。
根据本发明的第二方面，提供了一种车载日志的空间优化存储装置，该装置包括：
日志接收模块，用于接收来自车载设备发送的运行日志；
日志排序模块，用于对接收的日志按照周期进行排序；
选取模块，用于选取需要存储为原始日志的帧；
确定模块，用于确定需要存储为与原始帧异或的帧；
异或处理模块，用于将需要存为异或日志的帧和原始帧进行异或，并在异或帧尾部加上原始帧的周期号以及是否为异或帧的标志位；
存储模块，用于将原始帧和异或帧进行压缩存入磁盘；
行异或还原模块，用于利用上位机对日志进行解压，并根据是否为异或帧的标志位对数据进行异或还原。
作为优选的技术方案，所述的日志接收模块接收来自其他车载设备发送的运行日志。
根据本发明的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现所述的方法。
根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现所述的方法。
与现有技术相比，本发明具有以下优点：
1)由于车载日志在一定时间内的日志变化不大，经过异或运算后，异或帧里面会出现很多零，所以压缩时CPU消耗降低，节省日志存储单元的系统资源；
2)生成的日志文件小，一定时间内的日志下载时间短，提高日志下载效率；
3)有限的磁盘空间能存储时长更长的日志记录，降低日志存储成本。
附图说明
图1为车载存储单元对日志异或处理示意图；
图2为本发明方法的流程图；
图3为本发明装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本发明一种车载日志的空间优化存储方法，车载日志存储单元收到其他车载软件的运行日志时，将其排序，选择基准原始日志帧，将需要异或的帧与基准原始帧进行异或运算，对处理后的日志进行压缩，并存入磁盘，由于经过异或的帧，其内容有很多零，大幅提高压缩率，使得在有限的存储空间上存储更长时间的日志，从而降低存储成本。
如图1所示，本车载日志的空间优化存储方法的基本思路为：车载日志记录单元接收来自其它车载设备发送的运行日志，将接收的日志根据周期号进行排序，根据配置的存储为异或帧的数目计算存为原始帧的周期号，把需要存储为异或帧的日志与原始帧进行异或运算，将原始帧的尾部加上该帧的周期号及原始帧的标志，将异或的帧的尾部加上与其异或的原始帧的周期号和异或帧的标志。将经过处理的原始帧和异或帧进行压缩并写入磁盘，上位机软件将存储的日志文件解压，根据每帧尾部添加的是否为异或帧的标识及周期号，将标识为异或的帧根据其尾部的周期号查找到与其异或的原始帧进行异或运算，从而将日志还原，如图2所示，具体包括以下步骤：
步骤S101：接收来自其他车载软件发送的运行日志；
车载其他设备将其自身生成的日志周期性发送给车载日志存储单元；
步骤S102：对接收的日志按照周期进行排序；
车载其他设备在发送日志时，由于网络等原因，车载日志存储单元在收到日志时，可能各个设备的每帧数据不是按照顺序排列的，车载日志存储单元需要对接收的各个设备的每帧日志按照周期号进行排序；
步骤S103：选取需要存储为原始日志的帧；
车载日志存储单元将排序好的日志，根据周期号及步骤4所确定的需要进行异或的帧进行计算，得到需要存储为原始帧的日志，需要进行异或的帧将以此帧为基准进行异或；
步骤S104：确定需要存储为与原始帧异或的帧数；
根据实际需求，确定需要存储为异或帧的数目，在一定范围内，异或帧数越多，则压缩率越高，存储的日志文件占用空间越小，存储的日志时长越长；
步骤S105：将需要存为异或日志的帧和原始帧进行异或，并在异或帧的尾部加上原始帧的周期号及是否为异或帧的标志位；
根据步骤3选取的原始日志帧，在其尾部加上自身的周期号，并添加原始帧的标志，紧随其后的需要进行异或的帧，将日志内容与原始日志帧进行异或，并在异或结果的日志尾部添加原始帧的周期号和异或帧的标志；
步骤S106：将原始帧和异或帧进行压缩存入磁盘；
将原始帧和经过异或运算处理的帧通过特定的压缩算法进行压缩，并存入磁；
步骤S107：上位机对日志进行解压，并根据是否为异或帧的标志位对数据进行异或还原；
上位机对车载存储单元存储的日志进行解压，并根据每帧后面的周期号和是否为异或帧的标志位，对日志进行还原，如果尾部的标志位为异或帧的标志，则根据周期号找到原始帧，并和原始帧进行异或运算，这样就得到了原始数据，存储的日志得以还原。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
如图3所示，本发明车载日志的空间优化存储装置，该装置包括：
日志接收模块1，用于接收来自车载设备发送的运行日志；
日志排序模块2，用于对接收的日志按照周期进行排序；
选取模块3，用于选取需要存储为原始日志的帧；
确定模块4，用于确定需要存储为与原始帧异或的帧；
异或处理模块5，用于将需要存为异或日志的帧和原始帧进行异或，并在异或帧尾部加上原始帧的周期号以及是否为异或帧的标志位；
存储模块6，用于将原始帧和异或帧进行压缩存入磁盘；
异或还原模块7，用于利用上位机对日志进行解压，并根据是否为异或帧的标志位对数据进行异或还原。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明电子设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元执行上文所描述的各个方法和处理，例如方法S101～S107。例如，在一些实施例中，方法S101～S107可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S101～S107的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S101～S107。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车载日志的空间优化存储方法，其特征在于，该方法包括以下步骤：
步骤1：接收运行日志；
步骤2：对接收的日志进行排序；
步骤3：选取需要存储为原始日志的帧；
步骤4：确定需要存储为与原始帧异或的帧；
步骤5：将需要存为异或日志的帧和原始帧进行异或；
步骤6：将原始帧和异或帧存入磁盘；
步骤7：对数据进行异或还原。
2.根据权利要求1所述的一种车载日志的空间优化存储方法，其特征在于，所述的步骤1具体为：接收来自其他车载设备发送的运行日志。
3.根据权利要求1所述的一种车载日志的空间优化存储方法，其特征在于，所述的步骤2具体为：对接收的日志按照周期进行排序。
4.根据权利要求1所述的一种车载日志的空间优化存储方法，其特征在于，所述的步骤5还包括：在异或帧尾部加上原始帧的周期号以及是否为异或帧的标志位。
5.根据权利要求1所述的一种车载日志的空间优化存储方法，其特征在于，所述的步骤6具体为：将原始帧和异或帧进行压缩存入磁盘。
6.根据权利要求5所述的一种车载日志的空间优化存储方法，其特征在于，所述的步骤7具体为：利用上位机对日志进行解压，并根据是否为异或帧的标志位对数据进行异或还原。
7.一种车载日志的空间优化存储装置，其特征在于，该装置包括：
日志接收模块，用于接收来自车载设备发送的运行日志；
日志排序模块，用于对接收的日志按照周期进行排序；
选取模块，用于选取需要存储为原始日志的帧；
确定模块，用于确定需要存储为与原始帧异或的帧；
异或处理模块，用于将需要存为异或日志的帧和原始帧进行异或，并在异或帧尾部加上原始帧的周期号以及是否为异或帧的标志位；
存储模块，用于将原始帧和异或帧进行压缩存入磁盘；
行异或还原模块，用于利用上位机对日志进行解压，并根据是否为异或帧的标志位对数据进行异或还原。
8.根据权利要求7所述的一种车载日志的空间优化存储装置，其特征在于，所述的日志接收模块接收来自其他车载设备发送的运行日志。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN202110902173.2A 2021-08-06 2021-08-06 车载日志的空间优化存储方法、装置、电子设备及介质 Pending CN113805798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110902173.2A CN113805798A (zh) 2021-08-06 2021-08-06 车载日志的空间优化存储方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110902173.2A CN113805798A (zh) 2021-08-06 2021-08-06 车载日志的空间优化存储方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN113805798A true CN113805798A (zh) 2021-12-17

Family

ID=78893385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110902173.2A Pending CN113805798A (zh) 2021-08-06 2021-08-06 车载日志的空间优化存储方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113805798A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001095640A2 (en) * 2000-06-07 2001-12-13 Transact In Memory, Inc. A method and system for highly-parallel logging and recovery operation in main-memory transaction processing systems
US20170351461A1 (en) * 2016-06-01 2017-12-07 Fujitsu Limited Non-transitory computer-readable storage medium, and data compressing device
US20190354452A1 (en) * 2018-05-21 2019-11-21 Microsoft Technology Licensing, Llc Parity log with delta bitmap
US20210226973A1 (en) * 2018-11-30 2021-07-22 Panasonic Intellectual Property Corporation Of America Vehicle log transmission device, vehicle log analysis system, and vehicle log transmission/reception method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001095640A2 (en) * 2000-06-07 2001-12-13 Transact In Memory, Inc. A method and system for highly-parallel logging and recovery operation in main-memory transaction processing systems
US20020116404A1 (en) * 2000-06-07 2002-08-22 Transact In Memory, Inc. Method and system for highly-parallel logging and recovery operation in main-memory transaction processing systems
US20170351461A1 (en) * 2016-06-01 2017-12-07 Fujitsu Limited Non-transitory computer-readable storage medium, and data compressing device
US20190354452A1 (en) * 2018-05-21 2019-11-21 Microsoft Technology Licensing, Llc Parity log with delta bitmap
US20210226973A1 (en) * 2018-11-30 2021-07-22 Panasonic Intellectual Property Corporation Of America Vehicle log transmission device, vehicle log analysis system, and vehicle log transmission/reception method

Similar Documents

Publication Publication Date Title
US20090284400A1 (en) Method and System for Reducing Required Storage During Decompression of a Compressed File
CN103346800B (zh) 一种数据压缩方法及装置
KR20120084180A (ko) 데이터 압축 장치, 이의 동작 방법, 및 이를 포함하는 데이터 처리 장치
CN108334419B (zh) 一种数据恢复的方法和装置
CN111552669A (zh) 数据处理方法、装置、计算设备和存储介质
CN111224807B (zh) 分布式日志处理方法、装置、设备及计算机存储介质
CN111694692B (zh) 一种数据存储纠删方法、装置、设备及可读存储介质
CN113805798A (zh) 车载日志的空间优化存储方法、装置、电子设备及介质
CN110008236B (zh) 一种数据分布式自增编码方法、系统、设备及介质
CN111190871A (zh) 日志生成方法、装置、计算机设备及存储介质
US11881873B1 (en) Huffman correction encoding method and system, and relevant components
CN114253479B (zh) 一种can总线入侵检测方法及系统
CN115765756A (zh) 一种高速透明传输的无损数据压缩方法、系统及装置
CN111125161B (zh) 数据的实时处理方法、装置、设备及存储介质
CN110247666B (zh) 一种硬件并行压缩的系统及方法
CN112486976A (zh) 数据处理方法、装置、网络设备及存储介质
CN116055350B (zh) 一种基于Json的数据通信质量检测方法
CN111510153B (zh) 数列的压缩、解压缩方法和装置以及电子设备
CN115858324B (zh) 基于ai的it设备故障处理方法、装置、设备和介质
CN113759884B (zh) 一种分散控制系统输入输出点产物文件生成方法和系统
CN114070471B (zh) 一种测试数据包传输方法、装置、系统、设备和介质
CN113093702B (zh) 故障数据的预测方法和装置、电子设备和存储介质
CN103729315B (zh) 一种地址压缩、解压缩的方法、压缩器和解压缩器
CN115129506A (zh) 一种数据传输的系统、方法以及网络设备
KR101818440B1 (ko) 데이터 압축 장치, 이의 동작 방법, 및 이를 포함하는 데이터 처리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination