CN115833843B - 一种车辆运行监控数据存储优化方法及管理平台 - Google Patents
一种车辆运行监控数据存储优化方法及管理平台 Download PDFInfo
- Publication number
- CN115833843B CN115833843B CN202310107261.2A CN202310107261A CN115833843B CN 115833843 B CN115833843 B CN 115833843B CN 202310107261 A CN202310107261 A CN 202310107261A CN 115833843 B CN115833843 B CN 115833843B
- Authority
- CN
- China
- Prior art keywords
- data
- model
- compressed
- function
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013500 data storage Methods 0.000 title claims abstract description 16
- 238000005457 optimization Methods 0.000 title claims abstract description 13
- 238000007726 management method Methods 0.000 title claims abstract description 12
- 230000014759 maintenance of location Effects 0.000 claims abstract description 120
- 230000006870 function Effects 0.000 claims description 164
- 230000008859 change Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 238000007906 compression Methods 0.000 description 20
- 230000006835 compression Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及电数据处理技术领域,具体涉及一种车辆运行监控数据存储优化方法及管理平台,该方法包括:采集车辆运行的监控数据,并选取待压缩数据;对待压缩数据进行拟合得到至少两个函数模型,获取每个函数模型的损失值,基于损失值获取对应函数模型的匹配程度,根据匹配程度选取所有函数模型中的保留模型;对待压缩数据依次增加数据得到新待压缩数据,基于每个新待压缩数据获取保留模型的新匹配程度;根据新匹配程度得到对应保留模型的适用量;根据保留模型的适用量以及新匹配程度得到保留模型的优选程度;根据优选程度得到最终模型并对监控数据进行存储。本发明能够提高对车辆运行监控数据存储的效率。
Description
技术领域
本发明涉及电数据处理技术领域,具体涉及一种车辆运行监控数据存储优化方法及管理平台。
背景技术
目前城市交通拥堵加剧、污染严重并且事故频发,进而使得人们对车辆运行数据也更加重视,可通过无线传感器、GPS、车载传感器以及雷达等多种手段采集实时的车辆运行信息,对车辆运行信息进行分析监控。
由于采集到的数据量较大,使得对车辆运行信息的数据进行压缩处理时,车辆运行信息中包含很多无效、冗余的信息;现有的压缩算法通常对重复的数据具有较好的压缩效果,但车辆运行信息中重复的数据较少,并且压缩的冗余数据十分有限,导致数据的压缩效果较差且效率较低。
发明内容
为了解决现有对车辆运行数据压缩效果较差且压缩效率低的问题,本发明的目的在于提供一种车辆运行监控数据存储优化方法及管理平台,所采用的技术方案具体如下:
第一方面,本发明一个实施例提供了一种车辆运行监控数据存储优化方法,该方法包括以下步骤:
采集车辆运行的监控数据,在所述监控数据中选取预设数量的数据为待压缩数据;
对所述待压缩数据进行拟合得到至少两个函数模型,获取每个所述函数模型的损失值,基于所述损失值获取对应所述函数模型的匹配程度,根据所述匹配程度选取所有所述函数模型中的至少两个保留模型;
对所述待压缩数据依次增加数据得到新待压缩数据,基于每个所述新待压缩数据获取所述保留模型的新匹配程度;根据所述新匹配程度得到对应所述保留模型的适用量;根据所述保留模型的适用量以及所述新匹配程度得到所述保留模型的优选程度;
优选程度最大的所述保留模型为最终模型,根据所有所述最终模型对所述监控数据进行存储。
优选的,所述获取每个所述函数模型的损失值的步骤,包括:
对于任意所述函数模型,根据所述函数模型得到每个采集时刻下的函数值,计算每个采集时刻下的函数值与该采集时刻下实际值之间的差值的平方,所述待压缩数据中所有采集时刻下函数值与实际值之间差值的平方的求和结果为对应所述函数模型的损失值。
优选的,所述基于所述损失值获取对应所述函数模型的匹配程度的步骤,包括:
预设误差阈值;
对于任意所述函数模型,获取任一采集时刻下函数模型对应的函数值与该采集时刻下的实际值之间的差值绝对值,若所述差值绝对值小于误差阈值,标记所述待压缩数据中该采集时刻下的数据为匹配点;
在所述函数模型下,获取所述待压缩数据中所有的匹配点数量,将所述匹配点数量与所述待压缩数据中数据总数量的比值记为所述函数模型的匹配比例;
将所述函数模型的损失值的倒数与所述匹配比例的乘积作为所述函数模型的匹配程度。
优选的,所述根据所述匹配程度选取所有所述函数模型中的至少两个保留模型的步骤,包括:
将所有所述函数模型对应的匹配程度进行降序排列,选取排列后的前预设个数的匹配程度对应的所述函数模型作为保留模型。
优选的,所述基于每个所述新待压缩数据获取所述保留模型的新匹配程度的步骤,包括:
对于任意所述保留模型,获取所述新待压缩数据中所有的匹配点,将所述新待压缩数据中的匹配点数量与所述新待压缩数据中数据总数量的比值记为所述保留模型的匹配比例;
将所述保留模型的损失值的倒数与所述保留模型的匹配比例的乘积作为所述保留模型的新匹配程度。
优选的,所述根据所述新匹配程度得到对应所述保留模型的适用量的步骤,包括:
选取所有所述保留模型对应的最小匹配程度;
当所述新匹配程度小于所述最小匹配程度时,所述新匹配程度对应的所述新待压缩数据的数据总数量为对应所述保留模型的适用量。
优选的,所述根据所述保留模型的适用量以及所述新匹配程度得到所述保留模型的优选程度的步骤,包括:
构建所述保留模型对应的变化曲线图,所述变化曲线图的横坐标为不同数据总数量的新待压缩数据,所述变化曲线图的纵坐标为新待压缩数据下所述保留模型的新匹配程度;
所述保留模型的优选程度的计算公式为:
其中,表示保留模型的优选程度;表示保留模型对应的适用量;表示在适用量为时,保留模型的新匹配程度;表示最小匹配程度;表示保留模型对应的变化曲线图中新匹配程度的最大值。
优选的,所述优选程度最大的所述保留模型为最终模型的步骤之后,还包括:
获取所述最终模型对应的新待压缩数据在所述监控数据中的下一数据,以下一数据作为起始数据,根据所述起始数据和预设数量重新获取监控数据中的第二待压缩数据,对第二待压缩数据进行分析得到最终模型,以此类推,直至获取所述监控数据中所有数据对应的最终模型。
优选的,所述根据所有所述最终模型对所述监控数据进行存储的步骤,包括:
将每个所述最终模型对应的数据记为一个匹配组,根据每个匹配组对应的所述最终模型的类型以及所述最终模型的参数构建函数信息;
获取匹配组中每个数据对应的误差数据,所述误差数据为匹配组中每个位置数据的实际值与函数值的差值;
根据每个匹配组的函数信息和误差数据对所述监控数据进行存储,存储形式为:[数据头]+[函数信息]+[分隔符]+[误差数据]+[函数信息]+[分隔符]+[误差数据]+…+[数据尾]。
第二方面,本发明另一个实施例提供了一种管理平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器在执行所述计算机程序时,实现上述一种车辆运行监控数据存储优化方法中任意一项所述方法的步骤。
本发明具有如下有益效果:为了解决现有对车辆运行监控数据的压缩效果差导致存储效果不好的问题,本发明提供了一种车辆运行监控数据存储优化方法及管理平台;首先采集车辆运行的监控数据,由于监控数据的数据量庞大,以预设数量的数据作为待压缩数据进行初步分析,能够有效减少单次分析的计算量,提高分析效率;由于车辆正常运行中各类型监控数据的变化范围不会过大,且在数据变化时会存在一定的规律性,因此本实施例中通过对待压缩数据对应的函数模型进行辅助压缩,为了确保函数模型的准确性,拟合该待压缩数据对应的多种函数模型,从拟合出的所有的函数模型中选取最合适的函数模型进行后续的压缩;在对函数模型进行选取时,首先考虑函数模型对待压缩数据的拟合效果,通过计算函数模型对应的损失值反映拟合的整体误差,然后根据整体误差获取对应函数模型的匹配程度,也即是获取函数模型对待压缩数据的拟合程度,匹配程度越大,说明函数模型对该待压缩数据的拟合效果越好,因此基于匹配程度对待压缩数据对应的所有函数模型进行初步筛选,得到其中的保留模型,通过实际误差和匹配程度筛选出的保留模型更加可靠;进一步的,为了更好的对车辆运行的监控数据进行压缩且保证压缩的效率,选取出的最终模型应该尽可能满足较多的数据,因此在待压缩数据的基础上继续增加数据,以得到不断更新的新待压缩数据,利用新待压缩数据对所有的保留模型进行分析可得到新匹配程度,进而得到每个保留模型的适用量,也即是获取了每个保留模型能够满足的数据的数量,适用量越大,说明保留模型的适用性越强,越可能作为最终模型,因此根据每个保留模型的适用量以及新匹配程度得到优选程度,以优选程度最大的保留模型作为最终模型,保证了最终模型选取准确性的同时,还确保了最终模型所适用的数据量,提高对车辆监控数据实际压缩时的压缩效率,基于更准确的最终模型对车辆运行的监控数据进行压缩并存储,在准确保留车辆监控数据的同时,提高压缩了压缩效率和压缩效果,进而使得对车辆监控数据的存储更加可靠,存储效果更佳。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种车辆运行监控数据存储优化方法流程图;
图2为本发明一个实施例所提供的一种新匹配程度变化曲线图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种车辆运行监控数据存储优化方法及管理平台,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种车辆运行监控数据存储优化方法及管理平台的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种车辆运行监控数据存储优化方法流程图,该方法包括以下步骤:
步骤S100,采集车辆运行的监控数据,在监控数据中选取预设数量的数据为待压缩数据。
在车辆运行过程中会产生各种数据,通过不同的传感器构成的模块可采集得到车辆运行中的不同数据,例如GPS定位模块、GPRS网络模块、温度传感器模块以及烟感传感器模块等,将车辆正常运行过程中获取的每种类型的数据作为对应的监控数据,其中,每种数据的变化范围不会过大,并且会存在较多的重复数据,但产生的数据中连续重复的数据较少,这会导致在对车辆各种数据进行传统压缩的时候,压缩效率较低以及压缩效果较差。
由于车辆运行的监控数据的数据量庞大,为了便于后续分析,本实施例中设定预设数量n,以监控数据中前n个采集时刻下的数据作为待压缩数据进行初始分析,也即是待压缩数据中数据总数量为n。
步骤S200,对待压缩数据进行拟合得到至少两个函数模型,获取每个函数模型的损失值,基于损失值获取对应函数模型的匹配程度,根据匹配程度选取所有函数模型中的至少两个保留模型。
考虑到车辆数据的变化一般会满足某种变化趋势,例如对于车辆的速度数据,其一般会逐渐变大或者逐渐减小,因此本发明实施例中通过数据的趋势变化对待压缩数据进行压缩分析。
由于车辆数据的变化会满足某种变化的趋势,因此对于待压缩数据而言,一部分待压缩数据可能满足某种线性模型,另一部分待压缩数据可能满足其他的函数模型,对于满足函数模型的待压缩数据而言,在对这些数据进行存储时,可以通过数据对应的函数模型进行压缩存储。
具体的,对待压缩数据进行拟合,本发明实施例中采用最小二乘法对待压缩数据进行拟合,自变量为待压缩数据中不同的采集时刻,也可以理解为是数据的位置序号,因变量为每个采集时刻下对应的车辆数据,由此可拟合出待压缩数据满足的函数模型,为了保证拟合的准确性,本实施例中设置待压缩数据拟合的函数模型为多种,例如线型、幂函数型、指数型以及高斯型等;同时,每种类型的函数模型在拟合时均对应一个参数范围,也即是每种类型的函数模型的参数可在该参数范围内调整,参数不同,对应的函数模型也会不同;对待压缩数据对应的多种函数模型进行筛选,以提高后续基于函数模型进行压缩的准确性。
以待压缩数据对应的任意一个函数模型为例,获取该函数模型的损失值,对于任意函数模型,根据函数模型得到每个采集时刻下的函数值,计算每个采集时刻下的函数值与该采集时刻下实际值之间的差值的平方,待压缩数据中所有采集时刻下函数值与实际值之间差值的平方的求和结果为对应函数模型的损失值;损失值的具体计算方法为:
其中,表示函数模型的损失值;表示在第个采集时刻下函数模型的函数值;表示第个采集时刻下的实际值;表示待压缩数据中数据总数量。
当每个时刻下的实际值与函数值的差异越小时,差异的平方的取值越小,说明该函数模型拟合的较为准确,其对应的损失值的结果越小;利用差异的平方来反映损失值的目的是为了避免差异为负数导致累加结果较小。
待压缩数据对应的每个函数模型的损失值体现了该函数模型整体的误差,而实际处理中往往存在少数的较大误差数据,较大误差的数据会拉高整体的误差,为了避免此类较大误差的数据影响,需要计算当前待压缩数据在每个函数模型中的匹配比例,进而根据每个函数模型的匹配比例获取函数模型对应的匹配程度。
预设误差阈值;对于任意函数模型,获取任一采集时刻下函数模型对应的函数值与该采集时刻下的实际值之间的差值绝对值,若差值绝对值小于误差阈值,标记待压缩数据中该采集时刻下的数据为匹配点;在函数模型下,获取待压缩数据中所有的匹配点数量,将匹配点数量与待压缩数据中数据总数量的比值记为函数模型的匹配比例;将函数模型的损失值的倒数与匹配比例的乘积作为函数模型的匹配程度。
首先,本发明实施例中设定误差阈值,取经验值为0.05,在其他实施例中实施者可自行设定,判断待压缩数据中每个数据的误差是否小于该误差阈值,以第个采集时刻下的实际值为例,也即是待压缩数据中的第个数据,获取第个数据的实际值与函数值之间的误差为,当第个数据的函数值与实际值之间的误差小于误差阈值时,说明该数据与对应函数模型之间的匹配度较好,将第个数据标记为匹配点;统计待压缩数据中所有匹配点的数量,将待压缩数据中所有匹配点的数量与待压缩数据的总数量的比值记为待压缩数据在对应函数模型中的匹配比例;由于不同函数模型中匹配点的数量可能不同,因此不同函数模型对应的匹配比例不同。
然后,根据函数模型对应的匹配比例以及损失值获取对应函数模型的匹配程度,以任意一个函数模型为例,该函数模型的匹配程度的具体计算方法为:
其中,表示函数模型的匹配程度;表示在该函数模型下,待压缩数据中匹配点的数量;表示待压缩数据中所有数据的总数量;表示函数模型的损失值;表示函数模型对应的匹配比例。
在该函数模型下,待压缩数据中匹配点的数量较多时,表明待压缩数据中较多数据的实际值与函数值之间的差异较小,也即是该函数模型对待压缩数据的拟合效果越好,匹配比例表征了匹配点的数量在总数量中的占比,可直接反映出该函数模型对待压缩数据的拟合效果,匹配比例越大,说明该函数模型对待压缩数据的拟合效果越好,则待压缩数据与该函数模型之间的匹配程度越大;同时,损失值反映了函数模型与待压缩数据之间的整体误差,误差越大,表明拟合的效果越差,因此损失值的取值越大,对应的匹配程度越小。
上述在对待压缩数据进行函数拟合时,得到每种函数模型对应的参数范围,在该参数范围内调整对应类型的函数模型时,会得到多个不同的函数模型,也即是本实施例中待压缩数据对应多个函数模型;基于获取一个函数模型的匹配程度相同的方法,获取所有函数模型对应的匹配程度,将匹配程度从大到小进行排序,匹配程度越大,表明函数模型的拟合效果越好,本实施例基于每个函数模型的匹配程度对待压缩数据对应的函数模型进行初步筛选,设定保留的函数模型的预设个数为s,s为正整数,例如s取值为5,在其他实施例中实施者根据情况自行设定,也即是将匹配程度排序的前s个函数模型进行保留,保留下的函数模型为匹配程度较大的函数模型,将保留下的函数模型记为保留模型,后续通过对保留模型继续分析,以筛选出最终模型。
步骤S300,对待压缩数据依次增加数据得到新待压缩数据,基于每个新待压缩数据获取保留模型的新匹配程度;根据新匹配程度得到对应保留模型的适用量;根据保留模型的适用量以及新匹配程度得到保留模型的优选程度。
由步骤S200中的方法得到待压缩数据对应的保留下的函数模型,也即是得到每个待压缩数据的保留模型,对待压缩数据对应的多个保留模型继续进行筛选;步骤S200中获取保留模型时,计算出了每个保留模型的匹配程度,将所有保留模型中的最小匹配程度进行记录,将保留模型中的最小匹配程度作为后续分析的阈值。
每个保留模型的匹配程度是基于待压缩数据中的n个数据获取的,由于车辆运行的监控数据的数据量较大,为了节约计算成本,需要尽可能的选择满足较多数据的保留模型,因此对每个保留模型能满足的数据量进行分析。对于任意保留模型,获取新待压缩数据中所有的匹配点,将新待压缩数据中的匹配点数量与新待压缩数据中数据总数量的比值记为保留模型的匹配比例;将保留模型的损失值的倒数与保留模型的匹配比例的乘积作为保留模型的新匹配程度。
具体的,对原始的待压缩数据进行更新,在待压缩数据之后添加监控数据中的下一采集时刻的数据,也即是在原有的n个数据的基础上继续添加数据,本实施例中设置每次数据的添加数量为1,则将原始的n个数据的待压缩数据更新为n+1个数据的新待压缩数据;由于每个保留模型的匹配程度是基于待压缩数据获取的,因此根据此时的新待压缩数据可以得到每个保留模型对应的新匹配程度,新匹配程度的获取方法与步骤S200中匹配程度的获取方法一致,也即是首先获取新待压缩数据与保留模型之间的匹配比例,匹配比例是新待压缩数据中的匹配点数量与新待压缩数据中所有数据总数量的比值,然后基于匹配比例与保留模型的损失值的倒数的乘积得到新匹配程度;通过对待压缩数据不断的添加新数据会得到不同的新待压缩数据,根据每个新待压缩数据均可得到每个保留模型的新匹配程度,为了避免新待压缩数据的数据量过于庞大,本实施例中设定数据添加停止条件,该停止条件为:当根据新待压缩数据计算的保留模型的新匹配程度小于上述记录的保留模型中的最小匹配程度时,停止对新待压缩数据的更新。
作为一个示例,假设在添加到第20个数据时,也即是新待压缩数据中存在n+20个数据时,基于此时的新待压缩数据获取的保留模型的新匹配程度小于上述记录的保留模型中的最小匹配程度,则停止对新待压缩数据的数据添加,并将n+19记录为对应保留模型的适用量。
需要说明的是,由于每个保留模型在基于待压缩数据进行匹配程度计算时,会得到不同的匹配程度,因此每个保留模型对应的适用量不同,也即是利用新待压缩数据进行每个保留模型的新匹配程度计算时,可能某个保留模型的新匹配程度已经小于上述记录的保留模型中的最小匹配程度,但其他保留模型的新匹配程度仍然大于或等于上述记录的保留模型中的最小匹配程度,此时应该对新待压缩数据继续进行数据的添加,直至每个保留模型的新匹配程度小于上述记录的保留模型中的最小匹配程度;由此也可以推断出,每个保留模型所对应的新待压缩数据的数据量不同,也即是每个保留模型所对应的适用量不同。
请参阅图2,其示出一种新匹配程度变化曲线图,图中的表示上述保留模型中的最小匹配程度;在对原始的待压缩数据更新过程中,通过不同的新待压缩数据可得到每个保留模型对应的不同的新匹配程度,以新待压缩数据的数据量为横轴,对应的保留模型的新匹配程度为纵轴,得到保留模型的新匹配程度的变化曲线图;同理可得到每个保留模型对应的变化曲线图。
由于本实施例的目的是尽可能的选择满足较多数据的保留模型,因此适用量越大的保留模型,被选择的可能性也越大,以任意保留模型为例,保留模型的优选程度越大,该保留模型为最终模型的可能性越大,优选程度的具体计算方法为:
其中,表示保留模型的优选程度;表示保留模型对应的适用量;表示保留模型对应的新匹配程度,也即是在适用量为时,保留模型的新匹配程度;表示原始的待压缩数据下所有保留模型中的最小匹配程度,也即是图2中的;表示保留模型对应的变化曲线图中新匹配程度的最大值;的目的是对保留模型对应的新匹配程度进行归一化处理,归一化后的新匹配程度越大,保留模型对应的优选程度越大;同时,保留模型对应的适用量越大,说明该保留模型能满足的数据数量越多,保留模型对应的优选程度越大。
基于获取一个保留模型的优选程度相同的方法,获取所有保留模型对应的优选程度。
步骤S400,优选程度最大的保留模型为最终模型,根据所有最终模型对监控数据进行存储。
在步骤S300中获取了不同保留模型的优选程度,将优选程度最大的保留模型作为最终模型,并且已知最终模型对应的适用量,假设最终模型对应的适用量为,则将该个数据作为一组,该组数据对应一个最终模型;然后以监控数据中的第p+1个数据作为起始数据,获取n个数据继续作为第二待压缩数据进行分析,也即是第p+1个数据到第p+1+n个数据为第二待压缩数据,对第二待压缩数据进行分析得到对应的最终模型;由此能够将车辆运行的监控数据划分为多组数据,每组数据对应一个最终模型,为了便于区分,本实施例中将监控数据划分为每组数据记为一个匹配组,则监控数据对应多个匹配组,每个匹配组中的数据对应一个最终模型;根据每个匹配组的最终模型对该匹配组中的数据进行存储。
具体的,本实施例中通过函数参数+误差数据的方式进行数据存储,首先,获取最终模型的函数信息,函数信息的表示形式为[LX,C1,C2,C3,…],其中,LX表示最终模型的类型,例如线型、幂函数型、指数型以及高斯型等,为了确保函数信息中均为数据,实施者可将不同的类型利用不同的数据进行表示;C1、C2以及C3表示最终模型的参数,由于最终模型的类型不同,其对应的参数数量也会不同。
作为一个示例,对于函数信息[2,2,103]而言,其表示该最终模型为第2类型的函数,该最终模型的参数一为2,参数二为103。
然后,对匹配组中的数据进行误差数据转换,对于匹配组中任意一个数据而言,将该数据所在采集时刻代入该匹配组对应的最终模型中得到函数值,将该数据的数值与该函数值作差,也即是该采集时刻下实际值与函数值的差值,所得到的差值为该数据对应的误差数据;以此类推,基于匹配组中的数据以及匹配组对应的最终模型得到该匹配组中每个数据的误差数据。
最后,利用函数参数+误差数据的方式进行数据存储,也即是根据匹配组对应的最终模型的函数信息和匹配组中每个数据的误差数据进行存储,则车辆运行的监控数据最终的数据存储的具体表现形式为:[数据头]+[函数信息]+[分隔符]+[误差数据]+[函数信息]+[分隔符]+[误差数据]+…+[数据尾]。
作为一个优选示例,假设车辆运行的监控数据为:105,108,109,110,113,由于三位数字存储占用的空间较大,因此利用本实施例中的方法对该监控数据进行存储,假设此时监控数据中所有数据为一个匹配组,该匹配组对应的最终模型为线性模型,且线性关系的参数取值分别为:a=2,b=103,则此时最终模型对应的函数信息为[2,2,103],函数信息中的第一个2是指最终模型为第2类型,也即是线性模型,函数信息中的第二个2是指该最终模型的参数一a=2,函数信息中的103是指该最终模型的参数二b=103;在最终模型的基础上获取匹配组中所有数据对应的误差数据为[0,-1,0,1,0],则该匹配组对应的最终存储数据为:[数据头]+[2,2,103]+[分隔符]+[0,-1,0,1,0]+[数据尾];也即是此时车辆运行的监控数据对应的数据存储为:[数据头]+[2,2,103]+[分隔符]+[0,-1,0,1,0]+[数据尾]。
需要说明的是,数据存储中的数据头、分隔符以及数据尾是为了便于数据识别而定义的字符串,实施者可根据实际需要自行定义。
进一步的,在对存储的数据进行解压缩恢复时,首先通过函数信息还原对应的最终模型,然后以数据所在采集时刻作为自变量代入该最终模型中,得到因变量取值,也即是对应的函数值;最后根据函数值对应数据的位置得到对应的误差数据,以函数值与对应的误差数据相加得到原数据,以完成对存储数据的解压缩恢复。
综上所述,本发明实施例中通过采集车辆运行的监控数据,在监控数据中选取预设数量的数据为待压缩数据;对待压缩数据进行拟合得到至少两个函数模型,获取每个函数模型的损失值,基于损失值获取对应函数模型的匹配程度,根据匹配程度选取所有函数模型中的保留模型;对待压缩数据依次增加数据得到新待压缩数据,基于每个新待压缩数据获取保留模型的新匹配程度;根据新匹配程度得到对应保留模型的适用量;根据保留模型的适用量以及新匹配程度得到保留模型的优选程度;优选程度最大的保留模型为最终模型,根据所有最终模型对监控数据进行存储;本发明提高了对车辆运行监控数据压缩的压缩效率和压缩效果。
基于与上述方法实施例相同的发明构思,本发明实施例还提供了一种管理平台,该管理平台包括:存储器、处理器以及存储在所述存储器中并可在处理器上运行的计算机程序。处理器执行所述计算机程序时实现上述一种车辆运行监控数据存储优化方法实施例中的步骤,例如图1所示的步骤。该一种车辆运行监控数据存储优化方法在上述实施例中已经详细说明,不再赘述。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种车辆运行监控数据存储优化方法,其特征在于,该方法包括以下步骤:
采集车辆运行的监控数据,在所述监控数据中选取预设数量的数据为待压缩数据;
对所述待压缩数据进行拟合得到至少两个函数模型,获取每个所述函数模型的损失值,基于所述损失值获取对应所述函数模型的匹配程度,根据所述匹配程度选取所有所述函数模型中的至少两个保留模型;
对所述待压缩数据依次增加数据得到新待压缩数据,基于每个所述新待压缩数据获取所述保留模型的新匹配程度;根据所述新匹配程度得到对应所述保留模型的适用量;根据所述保留模型的适用量以及所述新匹配程度得到所述保留模型的优选程度;
优选程度最大的所述保留模型为最终模型,根据所有所述最终模型对所述监控数据进行存储;
所述基于所述损失值获取对应所述函数模型的匹配程度的步骤,包括:
预设误差阈值;
对于任意所述函数模型,获取任一采集时刻下函数模型对应的函数值与该采集时刻下的实际值之间的差值绝对值,若所述差值绝对值小于误差阈值,标记所述待压缩数据中该采集时刻下的数据为匹配点;
在所述函数模型下,获取所述待压缩数据中所有的匹配点数量,将所述匹配点数量与所述待压缩数据中数据总数量的比值记为所述函数模型的匹配比例;
将所述函数模型的损失值的倒数与所述匹配比例的乘积作为所述函数模型的匹配程度。
2.根据权利要求1所述的一种车辆运行监控数据存储优化方法,其特征在于,所述获取每个所述函数模型的损失值的步骤,包括:
对于任意所述函数模型,根据所述函数模型得到每个采集时刻下的函数值,计算每个采集时刻下的函数值与该采集时刻下实际值之间的差值的平方,所述待压缩数据中所有采集时刻下函数值与实际值之间差值的平方的求和结果为对应所述函数模型的损失值。
3.根据权利要求1所述的一种车辆运行监控数据存储优化方法,其特征在于,所述根据所述匹配程度选取所有所述函数模型中的至少两个保留模型的步骤,包括:
将所有所述函数模型对应的匹配程度进行降序排列,选取排列后的前预设个数的匹配程度对应的所述函数模型作为保留模型。
4.根据权利要求1所述的一种车辆运行监控数据存储优化方法,其特征在于,所述基于每个所述新待压缩数据获取所述保留模型的新匹配程度的步骤,包括:
对于任意所述保留模型,获取所述新待压缩数据中所有的匹配点,将所述新待压缩数据中的匹配点数量与所述新待压缩数据中数据总数量的比值记为所述保留模型的匹配比例;
将所述保留模型的损失值的倒数与所述保留模型的匹配比例的乘积作为所述保留模型的新匹配程度。
5.根据权利要求1所述的一种车辆运行监控数据存储优化方法,其特征在于,所述根据所述新匹配程度得到对应所述保留模型的适用量的步骤,包括:
选取所有所述保留模型对应的最小匹配程度;
当所述新匹配程度小于所述最小匹配程度时,所述新匹配程度对应的所述新待压缩数据的数据总数量为对应所述保留模型的适用量。
6.根据权利要求5所述的一种车辆运行监控数据存储优化方法,其特征在于,所述根据所述保留模型的适用量以及所述新匹配程度得到所述保留模型的优选程度的步骤,包括:
构建所述保留模型对应的变化曲线图,所述变化曲线图的横坐标为不同数据总数量的新待压缩数据,所述变化曲线图的纵坐标为新待压缩数据下所述保留模型的新匹配程度;
所述保留模型的优选程度的计算公式为:
其中,表示保留模型的优选程度;表示保留模型对应的适用量;表示在适用量为时,保留模型的新匹配程度;表示最小匹配程度;表示保留模型对应的变化曲线图中新匹配程度的最大值。
7.根据权利要求1所述的一种车辆运行监控数据存储优化方法,其特征在于,所述优选程度最大的所述保留模型为最终模型的步骤之后,还包括:
获取所述最终模型对应的新待压缩数据在所述监控数据中的下一数据,以下一数据作为起始数据,根据所述起始数据和预设数量重新获取监控数据中的第二待压缩数据,对第二待压缩数据进行分析得到最终模型,以此类推,直至获取所述监控数据中所有数据对应的最终模型。
8.根据权利要求7所述的一种车辆运行监控数据存储优化方法,其特征在于,所述根据所有所述最终模型对所述监控数据进行存储的步骤,包括:
将每个所述最终模型对应的数据记为一个匹配组,根据每个匹配组对应的所述最终模型的类型以及所述最终模型的参数构建函数信息;
获取匹配组中每个数据对应的误差数据,所述误差数据为匹配组中每个位置数据的实际值与函数值的差值;
根据每个匹配组的函数信息和误差数据对所述监控数据进行存储,存储形式为:[数据头]+[函数信息]+[分隔符]+[误差数据]+[函数信息]+[分隔符]+[误差数据]+…+[数据尾]。
9.一种管理平台,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器在执行所述计算机程序时,实现如权利要求1-8任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310107261.2A CN115833843B (zh) | 2023-02-14 | 2023-02-14 | 一种车辆运行监控数据存储优化方法及管理平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310107261.2A CN115833843B (zh) | 2023-02-14 | 2023-02-14 | 一种车辆运行监控数据存储优化方法及管理平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115833843A CN115833843A (zh) | 2023-03-21 |
CN115833843B true CN115833843B (zh) | 2023-05-09 |
Family
ID=85521124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310107261.2A Active CN115833843B (zh) | 2023-02-14 | 2023-02-14 | 一种车辆运行监控数据存储优化方法及管理平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115833843B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021169473A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳前海微众银行股份有限公司 | 模型性能优化方法、装置、设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8255412B2 (en) * | 2008-12-17 | 2012-08-28 | Microsoft Corporation | Boosting algorithm for ranking model adaptation |
WO2011129819A1 (en) * | 2010-04-13 | 2011-10-20 | Empire Technology Development Llc | Combined-model data compression |
CN113055017A (zh) * | 2019-12-28 | 2021-06-29 | 华为技术有限公司 | 数据压缩方法及计算设备 |
CN112863653A (zh) * | 2021-03-01 | 2021-05-28 | 武汉中旗生物医疗电子有限公司 | 一种心电数据压缩方法及装置 |
CN113051237B (zh) * | 2021-03-30 | 2022-12-09 | 中国科学院空天信息创新研究院 | 时间序列遥感数据的压缩存储方法 |
CN115510299A (zh) * | 2021-06-07 | 2022-12-23 | 中国移动通信集团浙江有限公司 | 数据分类方法、模型压缩方法、装置、设备及程序产品 |
CN113258934A (zh) * | 2021-06-24 | 2021-08-13 | 北京海兰信数据科技股份有限公司 | 一种数据压缩方法、系统及设备 |
CN115664425A (zh) * | 2022-11-03 | 2023-01-31 | 河南辉煌科技股份有限公司 | 基于指定精度的信号监测系统模拟量压缩存储方法及系统 |
-
2023
- 2023-02-14 CN CN202310107261.2A patent/CN115833843B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021169473A1 (zh) * | 2020-02-28 | 2021-09-02 | 深圳前海微众银行股份有限公司 | 模型性能优化方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115833843A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109376772B (zh) | 一种基于神经网络模型的电力负荷组合预测方法 | |
CN111245912B (zh) | 智能楼宇信息监控方法、装置、服务器及智能楼宇系统 | |
CN113742387A (zh) | 数据处理方法、设备及计算机可读存储介质 | |
CN113836756B (zh) | 一种立体卷铁心变压器的退火工艺智能监测方法及系统 | |
CN111126819B (zh) | 一种城市行驶工况智能分析方法 | |
CN115801901A (zh) | 一种企业生产排放数据压缩处理方法 | |
CN113467851B (zh) | 一种基于车辆聚类的动态车辆计算任务卸载方法和装置 | |
CN116760908B (zh) | 基于数字孪生的农业信息优化管理方法及系统 | |
CN117313222B (zh) | 基于bim技术的建筑施工数据处理方法 | |
CN116089777B (zh) | 一种基于信息智能匹配的新能源智能结算方法及系统 | |
CN113689594A (zh) | 一种新的汽车行驶工况构造方法 | |
CN112966853A (zh) | 基于时空残差混合模型的城市路网短时交通流预测方法 | |
CN114742211B (zh) | 一种面向微控制器的卷积神经网络部署和优化方法 | |
CN114066052A (zh) | 基于改进tcn修正累积误差的可调节负荷功率多步预测方法 | |
CN113537063A (zh) | 一种基于综合遥感技术的森林环境遥感监测方法及终端 | |
CN117078048A (zh) | 基于数字孪生的智慧城市资源管理方法及系统 | |
CN115659194A (zh) | 一种人工智能云诊断终端平台数据管理方法及系统 | |
CN113642938A (zh) | 一种智能化生产管理方法及系统 | |
CN112632127A (zh) | 设备运行实时数据采集及时序的数据处理方法 | |
CN115833843B (zh) | 一种车辆运行监控数据存储优化方法及管理平台 | |
CN115221218A (zh) | 车辆数据的质量评估方法、装置、计算机设备和存储介质 | |
CN116743180A (zh) | 一种储能电源数据智能存储方法 | |
CN111026741A (zh) | 基于时间序列相似性的数据清洗方法及装置 | |
CN112991093B (zh) | 一种基于边缘计算的窃电检测方法及系统 | |
CN113127464B (zh) | 农业大数据环境特征处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |