CN117112718A - 一种车载电脑系统数据快速存储方法 - Google Patents
一种车载电脑系统数据快速存储方法 Download PDFInfo
- Publication number
- CN117112718A CN117112718A CN202311332122.6A CN202311332122A CN117112718A CN 117112718 A CN117112718 A CN 117112718A CN 202311332122 A CN202311332122 A CN 202311332122A CN 117112718 A CN117112718 A CN 117112718A
- Authority
- CN
- China
- Prior art keywords
- phrases
- dictionary
- target dictionary
- phrase
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000007906 compression Methods 0.000 claims abstract description 124
- 230000006835 compression Effects 0.000 claims abstract description 124
- 238000013144 data compression Methods 0.000 claims abstract description 35
- 230000008859 change Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000013500 data storage Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/31—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及数据压缩技术领域,具体涉及一种车载电脑系统数据快速存储方法,包括:对车载电脑系统数据进行预处理,并将经过预处理后的车载电脑系统数据记为待压缩数据;根据待压缩数据获取任意时刻下的压缩字典更新变化率得到压缩字典记为目标字典;根据目标字典获取目标字典中短语的历史检索贡献程度;根据目标字典获取当前时刻下目标字典中短语的预测检索贡献程度;根据目标字典中短语的历史检索贡献程度以及当前时刻下目标字典中短语的预测检索贡献程度,获取目标字典中短语的检索优先级;根据目标字典中短语的检索优先级对待压缩数据进行数据压缩。本发明通过优化字典区检索顺序,实现车载电脑系统数据的快速压缩。
Description
技术领域
本发明涉及数据压缩技术领域,具体涉及一种车载电脑系统数据快速存储方法。
背景技术
在车辆的驾驶过程中,需要对行车过程中数据进行记录,而后通过车载电脑进行分析以及存储,例如最为常见的车辆的日志数据,具体为车辆系统和传感器在对车辆运行的过程中进行记录从而产生大量日志数据,用于故障诊断、性能监控等。而日志数据因为产生的来源极多,所以为了减少存储空间和数据传输的开销,需要对日志数据进行压缩。
但是现有的技术中对于车载电脑系统数据进行压缩的时候往往是利用通用的压缩算法例如LZW数据压缩算法,其具体的原理为在压缩初始的时候建立一个压缩字典,而后通过更新压缩字典的方式来对压缩字典进行扩充,同时利用扩充后的压缩字典对车载电脑系统数据压缩。但是因为车载电脑系统数据类型多,所以在利用LZW算法进行压缩的时候,其对应的字典会十分的冗余,导致在进行字典检索的时候,整体检索时间过长从而使得压缩速度下降,现有的解决方式是对于字典进行基于冗余度的更新,即对字典中的某些局域时间段内的低频字符进行删除来进行压缩速度的提高,但是这种方式会使车载电脑系统数据的压缩率下降。
发明内容
本发明提供一种车载电脑系统数据快速存储方法,以解决现有的问题:在提高车载电脑系统数据压缩速度的同时,避免车载电脑系统数据压缩率下降。
本发明的采用如下技术方案:
本发明一个实施例提供了一种车载电脑系统数据快速存储方法,该方法包括以下步骤:
对车载电脑系统数据进行预处理,并将经过预处理后的车载电脑系统数据记为待压缩数据;
根据待压缩数据获取任意时刻下的压缩字典更新变化率;根据压缩字典更新变化率获取目标字典;
根据目标字典中短语的长度、压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中短语被引用的次数、目标字典中短语录入目标字典的时刻以及目标字典建立完成的时刻,获取目标字典中短语的历史检索贡献程度;
获取当前时刻下目标字典中短语的预测检索贡献程度;
根据目标字典中短语的历史检索贡献程度以及当前时刻下目标字典中短语的预测检索贡献程度,获取目标字典中短语的检索优先级;根据目标字典中短语的检索优先级获取在目标字典建立完成之前以及目标字典建立完成包括完成之后的两种情况下,目标字典中所有短语的检索优先级;
根据所有情况下目标字典中所有短语的检索优先级,获取新的目标字典并对待压缩数据进行数据压缩。
优选的,所述获取任意时刻下的压缩字典更新变化率,包括的具体计算公式为:
式中,表示第/>个时刻的压缩字典更新变化率;/>表示第/>个时刻的压缩字典内所有短语的信息熵之和;/>表示第/>个时刻的压缩字典内所有短语的信息熵之和;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示以自然常数为底数的指数函数。
优选的,所述根据压缩字典更新变化率获取目标字典,包括的具体方法为:
首先预设一个时间范围,计算时间范围/>内所有时刻的压缩字典更新变化率,以时间范围/>内所有时刻的压缩字典更新变化率中的最大值对应时刻下的压缩字典,作为目标字典。
优选的,所述获取目标字典中短语的历史检索贡献程度,包括的具体计算公式为:
式中,表示目标字典中的第/>个短语的历史检索贡献程度;/>表示目标字典中的第个短语包含的字符数量;/>表示目标字典中的第/>个短语包含的字符数量;/>表示压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数;压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数;/>表示目标字典中的第/>个短语录入目标字典的时刻;/>表示目标字典中的第/>个短语录入目标字典的时刻;/>表示目标字典中短语的总数,/>表示目标字典建立完成的时刻;表示以自然常数为底数的指数函数。
优选的,所述获取当前时刻下目标字典中短语的预测检索贡献程度,包括的具体计算公式为:
对于当前时刻下目标字典中的第个短语,首先将当前时刻下目标字典中第/>个短语的联系短语趋势项与当前时刻下目标字典中的第/>个短语的自身趋势项相乘,然后对得到的乘积进行线性归一化,将得到的线性归一化的值作为当前时刻下目标字典中的第/>个短语的预测检索贡献程度。
优选的,所述当前时刻下目标字典中第个短语的联系短语趋势项与当前时刻下目标字典中的第/>个短语的自身趋势项的具体获取公式为:
式中,表示当前时刻下目标字典中的第/>个短语的自身趋势项;/>表示目标字典中的第/>个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数;/>表示目标字典中的第/>个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数;/>表示目标字典建立完成的时刻;/>表示当前时刻;/>表示目标字典中短语的总数;/>表示自然常数;
利用当前时刻下目标字典中的第个短语的自身趋势项的获取方法,计算得到当前时刻下目标字典中的第/>个短语的联系短语自身趋势项/>;
通过当前时刻下目标字典中的第个短语的联系短语自身趋势项/>,获取当前时刻下目标字典中第/>个短语的联系短语趋势项,其具体的计算公式为:
式中,表示当前时刻下目标字典中第/>个短语的联系短语趋势项;/>表示目标字典中第/>个短语的联系短语数量;/>表示当前时刻下目标字典中的第/>个短语的第/>个联系短语自身的趋势项。
优选的,所述目标字典中第个短语的联系短语数量,包括的具体获取方法为:
对于目标字典中第个短语,首先预设一个范围/>;在目标字典中将距离目标字典中第/>个短语最近的/>个短语作为数据库,计算数据库中所有短语对于目标字典中第/>个短语的支持度;再预设一个支持度阈值/>;对于数据库中的第/>个短语,当数据库中的第/>个短语对于目标字典中第/>个短语的支持度大于/>时,则数据库中的第/>个短语是目标字典中第/>个短语的联系短语。
优选的,所述获取目标字典中短语的检索优先级,包括的具体计算公式为:
式中,表示目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的历史检索贡献程度;/>表示当前时刻下目标字典中的第/>个短语的预测检索贡献程度;表示从目标字典建立完成的时刻到更新LZW数据压缩算法中字典区检索顺序的时刻之间,目标字典区中的第/>个短语被引用的次数与目标字典区中的其他短语被引用次数的差值;/>表示预设的检索优先级衰减系数;/>表示以自然常数为底数的指数函数。
优选的,所述获取在目标字典建立完成之前以及目标字典建立完成包括完成之后的两种情况下,目标字典中所有短语的检索优先级,包括的具体方法为:
式中,表示在目标字典建立完成之前的情况下计算的目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的历史检索贡献程度;/>表示当前时刻下目标字典中的第/>个短语的预测检索贡献程度;
式中,表示在目标字典建立完成包括完成之后的情况下计算的目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的检索优先级。
优选的,所述根据所有情况下目标字典中所有短语的检索优先级,获取新的目标字典并对待压缩数据进行数据压缩,包括的具体方法为:
在对待压缩数据进行数据压缩时,依照检索目标字典中的短语优先级对目标字典中的短语进行降序排序,得到新的目标字典,以新的目标字典对待压缩数据进行数据压缩。
本发明的技术方案的有益效果是:由于车载电脑系统数据类型多,若使用现有的数据压缩算法对车载电脑系统数据进行压缩,会导致在进行字典检索的时候,整体检索时间过长从而使得压缩速度下降,而通过对字典中的某些局域时间段内的低频字符进行删除来进行压缩速度的提高,又会引起车载电脑系统数据的压缩率下降,使无法兼顾压缩速度与压缩率。
而本发明通过已经压缩的车载电脑系统数据与LZW压缩字典的特征进行字典内已经录入的不同的短语的检索顺序动态调整;得到新的压缩字典用新的压缩字典,对车载电脑系统数据进行压缩,达到兼顾压缩速度与压缩率的目的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种车载电脑系统数据快速存储方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种车载电脑系统数据快速存储方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种车载电脑系统数据快速存储方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种车载电脑系统数据快速存储方法的步骤流程图,该方法包括以下步骤:
步骤S001:对车载电脑系统数据进行预处理,并将经过预处理后的车载电脑系统数据记为待压缩数据。
需要说明的是,车载电脑系统数据记录的信息包括:发动机转速、发动机负荷等发动机参数信息;车速、油耗等汽车运行状况信息;故障指示灯、汽车故障码等故障诊断和警告信息;续航里程、空调状态等辅助信息。所以车辆行车电脑记录的信息种类多,为能够更好地对车载电脑系统数据快速存储,所以需要对车载电脑系统数据进行预处理。
具体的,对车载电脑系统数据使用ASCII编码进行编码,得到经过ASCII编码后的车载电脑系统数据记为待压缩数据;其中由于ASCII编码作为一种公知的技术,所以在本实施例中不再赘述。
至此,通过上述方法得到经过预处理后的车载电脑系统数据记为待压缩数据。
步骤S002:根据待压缩数据获取任意时刻下的压缩字典更新变化率;根据压缩字典更新变化率获取目标字典。
需要说明的是,本实施例是基于LZW数据压缩算法对待压缩数据进行压缩的,由于LZW数据压缩算法对待压缩数据压缩时需要建立压缩字典,值得一提的是LZW压缩字典是由待压缩数据中的字符以及字符段组成的,在本实施例中将压缩字典中的字符以及字符段记为短语;由于在压缩字典建立前期,此时压缩字典内包含的短语数量少,在压缩字典内进行短语检索的检索时间短,使待压缩数据能得到快速压缩;而随着对待压缩数据进行压缩,压缩字典内的短语数量越来越多,从而使得对新的待压缩数据进行压缩时,需要在短语数量多的压缩字典内进行检索,此时压缩字典内进行短语检索的检索时间长,不能使待压缩数据得到快速压缩。
值得一提的是,在LZW的压缩字典之内,不同的短语在车载电脑系统数据的不同压缩阶段被使用的概率是不同的,可以基于此特性对LZW压缩字典中的不同短语进行分析,选择一个合适的时间进行压缩模型的建立,具体的压缩模型建立时间可通过压缩字典更新变化率得到,根据压缩字典更新变化率获取压缩模型建立的最佳时间。
需要进一步说明的是,对于第个时刻,当第/>个时刻的压缩字典内增加的短语数量越多,说明压缩字典的建立越不完善;当第/>个时刻的压缩字典内增加的短语数量越少,说明压缩字典的建立越完善,由于检索模型是根据压缩字典建立得到的,而以不完善的压缩字典构建的检索模型需要频繁的维护;同时在压缩字典更新的短语中分为两种更新分别为有效更新与无效更新,其中有效更新为在未更新的压缩字典中的所有短语均与更新的短语完全不同,例如未更新的压缩字典中的短语为:1、12、3、34、5,而更新的短语为6,此时即为有效更新;而无效更新为在未更新的压缩字典中的存在短语与更新的短语不是完全不同,例如未更新的压缩字典中的短语为:1、12、123,而更新的短语为1234,时即为无效更新;由于在本实施例中无效更新对压缩字典中短语检索模型的构建影响小,为避免更新压缩字典中的短语均为无效更新的情况,所以本实施例根据压缩字典中短语的信息熵得到压缩字典更新情况。
具体的,对于第个时刻,通过第/>个时刻的压缩字典内所有短语的信息熵、第个时刻的压缩字典内所有短语的信息熵、第/>个时刻的压缩字典内增加的短语数量以及第/>个时刻之前的所有时刻的压缩字典内增加的短语的数量,得到第/>个时刻的压缩字典更新变化率,值得一提的是在本实施例中所述的时刻为:压缩一个短语所用的时间记为一个时刻;其具体的计算公式为:
式中,表示第/>个时刻的压缩字典更新变化率;/>表示第/>个时刻的压缩字典内所有短语的信息熵之和;/>表示第/>个时刻的压缩字典内所有短语的信息熵的大小之和,由于信息熵的计算作为一种公知的技术,所以在本实施例中不再赘述,值得一提的是,在本实施例中计算短语的信息熵时,是以单个字符作为信息熵的基础计算单位,例如短语19,计算信息熵时则以1、9作为基础单位计算短语19的信息熵;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示以自然常数为底数的指数函数。
需要进一步说明的是,的值越大则表示第/>个时刻更新的短语中有效更新越多,/>的值越大则表示第/>个时刻更新的短语数量越多;/>的值越大则表示字典越趋于完善。
至此,通过上述方法得到第个时刻的压缩字典更新变化率,同理得到任意时刻的压缩字典更新变化率。
然后利用所有时刻的压缩字典更新变化率,得到最完善的压缩字典的具体过程如下:
首先预设一个时间范围,时间范围/>的具体大小可结合实际情况设置,本实施例不做硬性要求,在本实施例中以时间范围/>等于LZW数据压缩算法的预计压缩时间的十分之一进行叙述,而LZW数据压缩算法的预计压缩时间可在LZW数据压缩算法进行数据压缩得到,计算时间范围/>内所有时刻的压缩字典更新变化率,以时间范围/>内所有时刻的压缩字典更新变化率中的最大值对应时刻下的压缩字典,作为最完善的压缩字典。
至此,得到最完善的压缩字典记为目标字典。
步骤S003:根据目标字典中短语的长度、压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中短语被引用的次数、目标字典中短语录入目标字典的时刻以及目标字典建立完成的时刻,获取目标字典中短语的历史检索贡献程度。
需要说明的是,在利用LZW数据压缩算法对待压缩数据进行压缩时,不同短语的检索贡献程度是不同的,所以在进行目标字典检索时,使检索贡献程度大的短语优先进行检索可以极大程度的提升,所以本实施例根据目标字典中每个短语获取历史检索贡献程度分析,获取预测检索贡献程度,依次建立目标字典中每个短语的检索模型。
具体的,对于目标字典中的第个短语,统计从压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数;然后根据目标字典中第/>个短语的长度、压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数、目标字典中第/>个短语录入目标字典的时刻以及目标字典建立完成的时刻,获取目标字典中所有短语的历史检索贡献程度,其具体的计算公式为:
式中,表示目标字典中的第/>个短语的历史检索贡献程度;/>表示目标字典中的第个短语包含的字符数量;/>表示目标字典中的第/>个短语包含的字符数量;/>表示压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数;压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数;/>表示目标字典中的第/>个短语录入目标字典的时刻;/>表示目标字典中的第/>个短语录入目标字典的时刻;/>表示目标字典中短语的总数,/>表示目标字典建立完成的时刻;表示以自然常数为底数的指数函数。
需要说明的是,由于本实施例是基于LZW数据压缩算法对待压缩数据进行压缩的,需要在目标字典中找到与被压缩的数据最长匹配段,故从目标字典中的包含的字符数量越多,则短语的历史检索贡献程度越大;而目标字典中的短语被引用次数越多,则该短语越频繁地被检索出来,所以该短语的历史检索贡献程度越大;值得一提的是由于目标字典中每个短语的录入时刻不同,而越早录入目标字典的短语理论上被引用的次数就越多,但因录入目标字典时间的差异造成的引用次数的差异不能反映短语被检索的频率,所以需要根据目标字典中每个短语的录入时间消除这种差异。
需要进一步说明的是,对于目标字典中的第个短语,当/>越大则目标字典中的第/>个短语的历史检索贡献程度就越大。
至此,通过上述方法得到目标字典中的第个短语的历史检索贡献程度,同理得到目标字典中所有短语的历史检索贡献程度。
步骤S004:获取当前时刻下目标字典中短语的预测检索贡献程度。
需要说明的是,短语的历史检索贡献程度表示的历史上目标字典中的短语检索贡献程度,不能直接作为短语的预测检索贡献程度;所以本实施例根据短语的历史检索贡献程度获取短语的预测检索贡献程度。
具体的,对于目标字典中的第个短语,首先统计目标字典中的第/>个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数记为/>;同理统计目标字典中的第/>个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数记为/>;然后根据/>与/>获取当前时刻下目标字典中的第/>个短语的自身趋势项,其具体的计算公式为:
式中,表示当前时刻下目标字典中的第/>个短语的自身趋势项;/>表示目标字典中的第/>个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数;/>表示目标字典中的第/>个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数;/>表示目标字典建立完成的时刻;/>表示当前时刻;/>表示目标字典中短语的总数;/>表示自然常数。
需要进一步说明的是,对于目标字典中的第个短语,当目标字典中的第/>个短语被引用的次数随着压缩时间的增加而增多时,说明目标字典中的第/>个短语在未来被引用的可能性大,且目标字典中的第/>个短语被引用的次数随着压缩时间的增加而增多的增多幅度越大,目标字典中的第/>个短语在未来就越可能被引用。
需要注意的是,由于本实施例中的待压缩数据是经过预处理的车载电脑系统数据,而经过预处理的车载电脑系统数据中,有些数据呈固定搭配的形式,即在目标字典中,某个短语出现时,必然有着另一个短语出现,而对存在固定搭配短语的自身趋势项进行分析时,因固定搭配的短语无法独立出现,所以需要结合其他短语的自身趋势项进行分析。
具体的,对于目标字典中第个短语,首先预设一个范围/>,范围/>的具体大小可结合具体情况设置,本实施例不做硬性要求,在本实施例中以/>进行计算;在目标字典中将距离目标字典中第/>个短语最近的/>个短语作为数据库,计算数据库中所有短语对于目标字典中第/>个短语的支持度,其中支持度的计算作为一种公知的现有技术,故在本实施例中不再赘述;再预设一个支持度阈值/>,支持度阈值/>的具体大小可结合具体情况设置,本实施例不做硬性要求,在本实施例中以/>进行叙述;对于数据库中的第/>个短语,当数据库中的第/>个短语对于目标字典中第/>个短语的支持度大于/>时,则数据库中的第/>个短语是目标字典中第/>个短语的联系短语;最后根据目标字典中第/>个短语的联系短语在当前时刻下目标字典中的自身趋势项,获取当前时刻下目标字典中的第/>个短语的联系短语趋势项,其具体的计算公式为:
式中,表示当前时刻下目标字典中第/>个短语的联系短语趋势项;/>表示目标字典中第/>个短语的联系短语数量;/>表示当前时刻下目标字典中的第/>个短语的第/>个联系短语自身的趋势项。
需要进一步说明的是,对于目标字典中的第个短语,当前时刻下目标字典中第/>个短语的联系短语趋势项越大,则目标字典中的第/>个短语在未来就越可能被引用。
最后根据当前时刻下目标字典中短语的自身趋势项以及当前时刻下目标字典中短语的联系短语趋势项,预测目标字典中短语的预测检索贡献程度,其具体的计算公式为:
式中,表示当前时刻下目标字典中的第/>个短语的预测检索贡献程度;/>表示当前时刻下目标字典中第/>个短语的联系短语趋势项;/>表示当前时刻下目标字典中的第/>个短语的自身趋势项;/>表示线性归一化函数。
值得一提的是,对于目标字典中的第个短语,当前时刻下目标字典中的第/>个短语的预测检索贡献程度越大,则说明目标字典中的第/>个短语在未来就越可能被引用。
至此,得到当前时刻下目标字典中的第个短语的预测检索贡献程度,同理得到当前时刻下目标字典中所有短语的预测检索贡献程度。
步骤S005:根据目标字典中短语的历史检索贡献程度以及当前时刻下目标字典中短语的预测检索贡献程度,获取目标字典中短语的检索优先级;根据目标字典中短语的检索优先级获取在目标字典建立完成之前以及目标字典建立完成包括完成之后的两种情况下,目标字典中所有短语的检索优先级。
需要说明的是,本实施例作为一种车载电脑系统数据快速存储方法,具体是通过优化LZW数据压缩算法中字典区检索顺序,并每隔秒就更新一次LZW数据压缩算法中字典区检索顺序,其中/>为预设的更新LZW数据压缩算法中字典区检索顺序的时间,/>的具体大小可结合实际情况设置,本实施例不做硬性要求,在本实施例中以/>等于LZW数据压缩算法的压缩时间的三十分之一进行叙述,而LZW数据压缩算法的压缩时间可在LZW数据压缩算法进行数据压缩得到,实现提高车载电脑系统数据的压缩速度。
具体的,根据目标字典中短语的历史检索贡献程度以及当前时刻下目标字典中短语的预测检索贡献程度,获取目标字典中短语的检索优先级,其具体的计算过程如下:
式中,表示目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的历史检索贡献程度;/>表示当前时刻下目标字典中的第/>个短语的预测检索贡献程度;表示从目标字典建立完成的时刻到更新LZW数据压缩算法中字典区检索顺序的时刻之间,目标字典区中的第/>个短语被引用的次数与目标字典区中的其他短语被引用次数的差值;/>表示预设的检索优先级衰减系数;/>的具体大小可结合实际情况设置,本实施例不做硬性要求,在本实施例中以/>进行计算;/>表示以自然常数为底数的指数函数。
需要进一步说明的是,对于目标字典中的第个短语,/>的值越大则目标字典中的第/>个短语的检索优先级就越高;而当目标字典建立完成的时刻之后,若目标字典中的第/>个短语被引用的次数变少,则需要对目标字典中的第/>个短语的检索优先级进行降低,所有设置检索优先级衰减函数/>。
需要注意的是,在不同时刻下对目标字典中的短语优先级计算分为两种情况,分别为在目标字典建立完成之前的情况以及目标字典建立完成包括完成之后的情况。
由于在目标字典建立完成之前的情况下计算的目标字典中短语的检索优先级,所以不需要考虑检索优先级衰减,具体的计算在目标字典建立完成之前目标字典内短语的优先级计算公式为:
式中,表示在目标字典建立完成之前的情况下计算的目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的历史检索贡献程度;/>表示当前时刻下目标字典中的第/>个短语的预测检索贡献程度。
而在目标字典建立完成包括完成之后的情况下计算的目标字典中短语的检索优先级,则需要考虑检索优先级衰减,具体的计算在目标字典建立完成之前目标字典内短语的优先级计算公式为:
式中,表示在目标字典建立完成包括完成之后的情况下计算的目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的检索优先级。
至此,得到所有情况下目标字典中所有短语的检索优先级。
步骤S006:根据所有情况下目标字典中所有短语的检索优先级,获取新的目标字典并对待压缩数据进行数据压缩。
需要说明的是,在对待压缩数据进行压缩时,当检索到引用短语后即可终止检索,所以检索到引用短语的速度越快,则压缩速度越快;故可以根据所有情况下目标字典中所有短语的检索优先级,对目标字典中的短语进行检索,达到提高待压缩数据的压缩速度。
具体的,在对待压缩数据进行数据压缩时,依照检索目标字典中的短语优先级进行检索,先目标字典中优先级高的短语,后检索目标字典中优先级高的短语。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种车载电脑系统数据快速存储方法,其特征在于,该方法包括以下步骤:
对车载电脑系统数据进行预处理,并将经过预处理后的车载电脑系统数据记为待压缩数据;
根据待压缩数据获取任意时刻下的压缩字典更新变化率;根据压缩字典更新变化率获取目标字典;
根据目标字典中短语的长度、压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中短语被引用的次数、目标字典中短语录入目标字典的时刻以及目标字典建立完成的时刻,获取目标字典中短语的历史检索贡献程度;
获取当前时刻下目标字典中短语的预测检索贡献程度;
根据目标字典中短语的历史检索贡献程度以及当前时刻下目标字典中短语的预测检索贡献程度,获取目标字典中短语的检索优先级;根据目标字典中短语的检索优先级获取在目标字典建立完成之前以及目标字典建立完成包括完成之后的两种情况下,目标字典中所有短语的检索优先级;
根据所有情况下目标字典中所有短语的检索优先级,获取新的目标字典并对待压缩数据进行数据压缩。
2.根据权利要求1所述一种车载电脑系统数据快速存储方法,其特征在于,所述获取任意时刻下的压缩字典更新变化率,包括的具体计算公式为:
式中,表示第/>个时刻的压缩字典更新变化率;/>表示第/>个时刻的压缩字典内所有短语的信息熵之和;/>表示第/>个时刻的压缩字典内所有短语的信息熵之和;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示第/>个时刻的压缩字典内增加的短语数量;/>表示以自然常数为底数的指数函数。
3.根据权利要求1所述一种车载电脑系统数据快速存储方法,其特征在于,所述根据压缩字典更新变化率获取目标字典,包括的具体方法为:
首先预设一个时间范围,计算时间范围/>内所有时刻的压缩字典更新变化率,以时间范围/>内所有时刻的压缩字典更新变化率中的最大值对应时刻下的压缩字典,作为目标字典。
4.根据权利要求1所述一种车载电脑系统数据快速存储方法,其特征在于,所述获取目标字典中短语的历史检索贡献程度,包括的具体计算公式为:
式中,表示目标字典中的第/>个短语的历史检索贡献程度;/>表示目标字典中的第/>个短语包含的字符数量;/>表示目标字典中的第/>个短语包含的字符数量;/>表示压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数;/>压缩字典建立开始的时刻到目标字典建立完成的时刻之间目标字典中的第/>个短语被引用的次数;/>表示目标字典中的第/>个短语录入目标字典的时刻;/>表示目标字典中的第/>个短语录入目标字典的时刻;/>表示目标字典中短语的总数,/>表示目标字典建立完成的时刻;/>表示以自然常数为底数的指数函数。
5.根据权利要求1所述一种车载电脑系统数据快速存储方法,其特征在于,所述获取当前时刻下目标字典中短语的预测检索贡献程度,包括的具体计算公式为:
对于当前时刻下目标字典中的第个短语,首先将当前时刻下目标字典中第/>个短语的联系短语趋势项与当前时刻下目标字典中的第/>个短语的自身趋势项相乘,然后对得到的乘积进行线性归一化,将得到的线性归一化的值作为当前时刻下目标字典中的第/>个短语的预测检索贡献程度。
6.根据权利要求5所述一种车载电脑系统数据快速存储方法,其特征在于,所述当前时刻下目标字典中第个短语的联系短语趋势项与当前时刻下目标字典中的第/>个短语的自身趋势项的具体获取公式为:
式中,表示当前时刻下目标字典中的第/>个短语的自身趋势项;/>表示目标字典中的第个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数;/>表示目标字典中的第/>个短语从开始压缩待压缩数据的时刻到当前时刻为止的引用次数;/>表示目标字典建立完成的时刻;/>表示当前时刻;/>表示目标字典中短语的总数;/>表示自然常数;
利用当前时刻下目标字典中的第个短语的自身趋势项的获取方法,计算得到当前时刻下目标字典中的第/>个短语的第/>个联系短语自身趋势项/>;
通过当前时刻下目标字典中的第个短语的联系短语自身趋势项/>,获取当前时刻下目标字典中第/>个短语的联系短语趋势项,其具体的计算公式为:
式中,表示当前时刻下目标字典中第/>个短语的联系短语趋势项;/>表示目标字典中第/>个短语的联系短语数量;/>表示当前时刻下目标字典中的第/>个短语的第/>个联系短语自身的趋势项。
7.根据权利要求6所述一种车载电脑系统数据快速存储方法,其特征在于,所述目标字典中第个短语的联系短语,包括的具体获取方法为:
对于目标字典中第个短语,首先预设一个范围/>;在目标字典中将距离目标字典中第/>个短语最近的/>个短语作为数据库,计算数据库中所有短语对于目标字典中第/>个短语的支持度;再预设一个支持度阈值/>;对于数据库中的第/>个短语,当数据库中的第/>个短语对于目标字典中第/>个短语的支持度大于/>时,则数据库中的第/>个短语是目标字典中第/>个短语的联系短语。
8.根据权利要求1所述一种车载电脑系统数据快速存储方法,其特征在于,所述获取目标字典中短语的检索优先级,包括的具体计算公式为:
式中,表示目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的历史检索贡献程度;/>表示当前时刻下目标字典中的第/>个短语的预测检索贡献程度;/>表示从目标字典建立完成的时刻到更新LZW数据压缩算法中字典区检索顺序的时刻之间,目标字典区中的第/>个短语被引用的次数与目标字典区中的其他短语被引用次数的差值;/>表示预设的检索优先级衰减系数;/>表示以自然常数为底数的指数函数。
9.根据权利要求1所述一种车载电脑系统数据快速存储方法,其特征在于,所述获取在目标字典建立完成之前以及目标字典建立完成包括完成之后的两种情况下,目标字典中所有短语的检索优先级,包括的具体方法为:
式中,表示在目标字典建立完成之前的情况下计算的目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的历史检索贡献程度;/>表示当前时刻下目标字典中的第/>个短语的预测检索贡献程度;
式中,表示在目标字典建立完成包括完成之后的情况下计算的目标字典中的第/>个短语的检索优先级;/>表示目标字典中的第/>个短语的检索优先级。
10.根据权利要求1所述一种车载电脑系统数据快速存储方法,其特征在于,所述根据所有情况下目标字典中所有短语的检索优先级,获取新的目标字典并对待压缩数据进行数据压缩,包括的具体方法为:
在对待压缩数据进行数据压缩时,依照检索目标字典中的短语优先级对目标字典中的短语进行降序排序,得到新的目标字典,以新的目标字典对待压缩数据进行数据压缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311332122.6A CN117112718B (zh) | 2023-10-16 | 2023-10-16 | 一种车载电脑系统数据快速存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311332122.6A CN117112718B (zh) | 2023-10-16 | 2023-10-16 | 一种车载电脑系统数据快速存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117112718A true CN117112718A (zh) | 2023-11-24 |
CN117112718B CN117112718B (zh) | 2024-01-26 |
Family
ID=88809320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311332122.6A Active CN117112718B (zh) | 2023-10-16 | 2023-10-16 | 一种车载电脑系统数据快速存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117112718B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117294314A (zh) * | 2023-11-27 | 2023-12-26 | 微山信威食品有限公司 | 一种果蔬罐头生产信息数据记录管理方法 |
CN117539913A (zh) * | 2023-12-08 | 2024-02-09 | 杭州易靓好车互联网科技有限公司 | 一种汽车交易平台保险数据管理方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005148987A (ja) * | 2003-11-13 | 2005-06-09 | Nippon Telegr & Teleph Corp <Ntt> | オブジェクト識別方法とその装置、プログラム及び記録媒体 |
JP2008305385A (ja) * | 2007-05-10 | 2008-12-18 | Sony Corp | 文字入力装置、サーバ装置、辞書ダウンロードシステム、変換候補語句の提示方法、情報処理方法、プログラム |
US20150130646A1 (en) * | 2013-09-03 | 2015-05-14 | Compart AG | Method and system for lzw based decompression |
US20150178305A1 (en) * | 2013-12-23 | 2015-06-25 | Ingo Mueller | Adaptive dictionary compression/decompression for column-store databases |
CN108768403A (zh) * | 2018-05-30 | 2018-11-06 | 中国人民解放军战略支援部队信息工程大学 | 基于lzw的无损数据压缩、解压方法及lzw编码器、解码器 |
US20200274550A1 (en) * | 2017-09-11 | 2020-08-27 | Nyriad Limited | Dictionary-based data compression |
CN112100455A (zh) * | 2020-08-18 | 2020-12-18 | 北京理工大学 | 基于字符串并行搜索的lzw字典搜索方法 |
US20210367613A1 (en) * | 2020-05-19 | 2021-11-25 | Sap Se | Data compression techniques |
WO2021258848A1 (zh) * | 2020-06-24 | 2021-12-30 | 平安科技(深圳)有限公司 | 数据字典生成方法、数据查询方法、装置、设备及介质 |
CN115840799A (zh) * | 2023-02-24 | 2023-03-24 | 南通专猎网络科技有限公司 | 一种基于深度学习的知识产权综合管理系统 |
CN116346941A (zh) * | 2023-05-29 | 2023-06-27 | 东莞市驰铭精工科技有限公司 | 一种用于微波天线的通讯传输方法 |
-
2023
- 2023-10-16 CN CN202311332122.6A patent/CN117112718B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005148987A (ja) * | 2003-11-13 | 2005-06-09 | Nippon Telegr & Teleph Corp <Ntt> | オブジェクト識別方法とその装置、プログラム及び記録媒体 |
JP2008305385A (ja) * | 2007-05-10 | 2008-12-18 | Sony Corp | 文字入力装置、サーバ装置、辞書ダウンロードシステム、変換候補語句の提示方法、情報処理方法、プログラム |
US20150130646A1 (en) * | 2013-09-03 | 2015-05-14 | Compart AG | Method and system for lzw based decompression |
US20150178305A1 (en) * | 2013-12-23 | 2015-06-25 | Ingo Mueller | Adaptive dictionary compression/decompression for column-store databases |
US20200274550A1 (en) * | 2017-09-11 | 2020-08-27 | Nyriad Limited | Dictionary-based data compression |
CN108768403A (zh) * | 2018-05-30 | 2018-11-06 | 中国人民解放军战略支援部队信息工程大学 | 基于lzw的无损数据压缩、解压方法及lzw编码器、解码器 |
US20210367613A1 (en) * | 2020-05-19 | 2021-11-25 | Sap Se | Data compression techniques |
WO2021258848A1 (zh) * | 2020-06-24 | 2021-12-30 | 平安科技(深圳)有限公司 | 数据字典生成方法、数据查询方法、装置、设备及介质 |
CN112100455A (zh) * | 2020-08-18 | 2020-12-18 | 北京理工大学 | 基于字符串并行搜索的lzw字典搜索方法 |
CN115840799A (zh) * | 2023-02-24 | 2023-03-24 | 南通专猎网络科技有限公司 | 一种基于深度学习的知识产权综合管理系统 |
CN116346941A (zh) * | 2023-05-29 | 2023-06-27 | 东莞市驰铭精工科技有限公司 | 一种用于微波天线的通讯传输方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117294314A (zh) * | 2023-11-27 | 2023-12-26 | 微山信威食品有限公司 | 一种果蔬罐头生产信息数据记录管理方法 |
CN117294314B (zh) * | 2023-11-27 | 2024-03-19 | 微山信威食品有限公司 | 一种果蔬罐头生产信息数据记录管理方法 |
CN117539913A (zh) * | 2023-12-08 | 2024-02-09 | 杭州易靓好车互联网科技有限公司 | 一种汽车交易平台保险数据管理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117112718B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117112718B (zh) | 一种车载电脑系统数据快速存储方法 | |
KR101400816B1 (ko) | 개별적으로 액세스 가능한 데이터 유닛의 기억 관리 방법 및 시스템 | |
EP2889787A2 (en) | Adaptive dictionary compression/decompression for column-store databases | |
JP5587493B2 (ja) | アクショナブルな属性を、個人識別を表すデータに帰する方法及びシステム | |
US7152063B2 (en) | Scheme for filtering documents on network using relevant and non-relevant profiles | |
CN115858476B (zh) | 用于web开发系统中自定义表单获取数据的高效存储方法 | |
CN111667068A (zh) | 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统 | |
CN114415965B (zh) | 一种数据迁移方法、装置、设备及存储介质 | |
EP1828939A1 (en) | System and method for adaptive query identification and acceleration | |
CN117041359B (zh) | 一种信息数据高效压缩传输方法 | |
CN116915259B (zh) | 基于物联网的仓配数据优化储存方法及系统 | |
US20240273121A1 (en) | Database data compression method and storage device | |
CN111817722A (zh) | 数据压缩方法、装置及计算机设备 | |
CN117312500B (zh) | 一种基于ann和bert的语义检索模型建立方法 | |
CN116961675A (zh) | 一种医疗护理数据智能处理方法 | |
CN117896482A (zh) | 一种车辆行车记录仪的数据智能存储方法 | |
CN110083487A (zh) | 一种基于数据局部性的引用数据块碎片消除方法及系统 | |
US8719022B2 (en) | Compressed phonetic representation | |
EP1321862A2 (en) | Hash function based transcription database | |
CN113839799B (zh) | 一种告警关联规则挖掘方法及装置 | |
CN108595553A (zh) | 一种基于关系型数据库的工业数采时序数据压缩存储和解压查询方法 | |
CN117235088A (zh) | 一种存储系统的缓存更新方法、装置、设备、介质及平台 | |
CN109993304B (zh) | 一种基于语义分割的检测模型压缩方法 | |
CN113212244A (zh) | 一种新能源车辆动力电池寿命预测方法及系统 | |
JP2021052263A (ja) | データ圧縮装置およびデータ圧縮方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |