CN117914954A - 一种危险化学品储运过程中数据传输方法及系统 - Google Patents
一种危险化学品储运过程中数据传输方法及系统 Download PDFInfo
- Publication number
- CN117914954A CN117914954A CN202410319367.3A CN202410319367A CN117914954A CN 117914954 A CN117914954 A CN 117914954A CN 202410319367 A CN202410319367 A CN 202410319367A CN 117914954 A CN117914954 A CN 117914954A
- Authority
- CN
- China
- Prior art keywords
- time
- time period
- ith
- acquisition
- air pressure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000008569 process Effects 0.000 title claims abstract description 49
- 239000000126 substance Substances 0.000 title claims abstract description 48
- 230000005540 biological transmission Effects 0.000 title claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 76
- 230000005856 abnormality Effects 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000011156 evaluation Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 8
- 239000000383 hazardous chemical Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 25
- 238000007906 compression Methods 0.000 abstract description 12
- 230000006835 compression Effects 0.000 abstract description 12
- 230000000694 effects Effects 0.000 abstract description 8
- 230000008859 change Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 239000007789 gas Substances 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 3
- CSCPPACGZOOCGX-UHFFFAOYSA-N Acetone Chemical compound CC(C)=O CSCPPACGZOOCGX-UHFFFAOYSA-N 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明涉及数据传输技术领域,具体涉及一种危险化学品储运过程中数据传输方法及系统。方法包括:获取危险化学品储运过程中储运车厢中的气压值和温度值;根据每个时间段与其他时间段内气压值之间的差异,得到每个时间段与其他时间段之间的相似程度;结合每个采集时刻的气压值、温度值、每个采集时刻所在的时间段的异常程度,得到每个采集时刻的综合异常值;基于每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,确定对应的替换可能性指标,进而对所对应的时间段内的气压值进行替换处理并传输。本发明提高了储运车厢中监测数据的压缩效果。
Description
技术领域
本发明涉及数据传输技术领域,具体涉及一种危险化学品储运过程中数据传输方法及系统。
背景技术
危险化学品在进行储运时,为了保证运输过程中的安全,对储运车厢中各项数据的监测极为重要。通过对储运车厢内的监测数据的采集及传输使得在终端可以对储运车厢中的危险化学品的状态进行判断,并且及时对特殊情况做出反应和处理,其中数据压缩是对采集到的数据样本进行处理的关键步骤,为了保证数据样本压缩的高效和压缩率,利用LZ77编码对储运车厢中的监测数据进行编码处理,实现对监测数据的压缩。
在利用LZ77编码对危险化学品储运车厢中的监测数据进行编码处理的过程中,由于储运过程中所处环境温度、海拔等外界情况的变化均会导致所采集到的数据出现极具随机性的变化,同时,因为LZ77编码对于数据样本中包含较长且频繁出现的重复模式的数据压缩表现较好,对于当前具有较高随机性的监测数据该算法的压缩效果相对有限。
发明内容
为了解决现有方法在对危险化学品储运车厢中的监测数据进行压缩处理时存在的压缩效果相对有限的问题,本发明的目的在于提供一种危险化学品储运过程中数据传输方法及系统,所采用的技术方案具体如下:
第一方面,本发明提供了一种危险化学品储运过程中数据传输方法,该方法包括以下步骤:
获取危险化学品储运过程中储运车厢中每个时间段内不同采集时刻的气压值和温度值;
根据每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异,得到每个时间段与其他时间段之间的相似程度;基于每个时间段内及其相邻的时间段内相邻采集时刻的气压值之间的差异和所述相似程度,获得每个时间段的异常程度;基于所述异常程度确定正常时间段;结合每个采集时刻的气压值、温度值、每个采集时刻的气压值与正常数据段内气压值之间的差异以及正常数据段内气压值的离散程度,得到每个采集时刻的异常评价值;
根据每个采集时刻的异常评价值、每个采集时刻所在的时间段的异常程度、每个采集时刻所在的时间段与其他时间段之间的时间间隔,得到每个采集时刻的综合异常值;基于每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,确定每个时间段对应的替换可能性指标;基于所述替换可能性指标和所述综合异常值对所对应的时间段内的气压值进行替换处理获得替换后的数据;
对所述替换后的数据进行编码处理并传输。
优选的,所述根据每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异,得到每个时间段与其他时间段之间的相似程度,包括:
分别将每个时间段内相邻两个采集时刻的气压值之间的差值的绝对值,作为对应两个相邻采集时刻的第一差异;
对于第i个时间段和除第i个时间段外的第m个时间段:分别将第i个时间段内每两个相邻采集时刻的第一差异与除第i个时间段外的第m个时间段内对应的两个相邻采集时刻的第一差异之间的差值绝对值,作为对应的气压差异评价值;将第i个时间段内第1个采集时刻的气压值与除第i个时间段外的第m个时间段内第1个采集时刻的气压值之间的差值绝对值,作为第i个时间段与除第i个时间段外的第m个时间段的差异指标;
根据所述气压差异评价值和所述差异指标,得到第i个时间段和除第i个时间段外的第m个时间段之间的相似程度,所述气压差异评价值和所述差异指标均与所述相似程度呈负相关关系。
优选的,所述基于每个时间段内及其相邻的时间段内相邻采集时刻的气压值之间的差异和所述相似程度,获得每个时间段的异常程度,包括:
对于第i个时间段:
计算第i个时间段与其他所有时间段之间的相似程度的和值;
将第i-1个时间段、第i个时间段以及第i+1个时间段中所有每两个相邻采集时刻的第一差异之和记为第一特征值;
基于所述第一特征值和所述和值,获得第i个时间段的异常程度,所述第一特征值与所述异常程度呈正相关关系,所述和值与所述异常程度呈负相关关系。
优选的,所述基于所述异常程度确定正常时间段,包括:
将异常程度小于预设异常程度阈值的时间段,作为正常时间段。
优选的,采用如下公式计算第r个采集时刻的异常评价值:
其中,表示第r个采集时刻的异常评价值,/>表示第r个采集时刻的气压值,/>表示第r个采集时刻的温度值,R表示储运的气体对应的气体常数,G表示储运的气体的物质的量,V表示储运车厢的体积,/>表示正常时间段内所有采集时刻的气压值的平均值,/>表示正常时间段内所有采集时刻的气压值的标准差,norm( )表示归一化函数,/>为预设第三调整参数,/>大于0。优选的,所述根据每个采集时刻的异常评价值、每个采集时刻所在的时间段的异常程度、每个采集时刻所在的时间段与其他时间段之间的时间间隔,得到每个采集时刻的综合异常值,包括:
对于第i个时间段内第u个采集时刻:
根据第i个时间段内第u个采集时刻的异常评价值、其他时间段内第u个采集时刻的异常评价值、第i个时间段的异常程度、第i个时间段与其他时间段之间的时间间隔,得到第i个时间段内第u个采集时刻的综合异常值。
优选的,采用如下公式计算第i个时间段内第u个采集时刻的综合异常值:
其中,/>表示第i个时间段内第u个采集时刻的综合异常值,/>表示第i个时间段内第u个采集时刻的异常评价值,/>表示第v个时间段内第u个采集时刻的异常评价值,M表示时间段的数量,/>表示第i个时间段与第v个时间段之间的时间间隔,/>表示第i个时间段的异常程度,为预设第一阈值;
所述第i个时间段与第v个时间段之间的时间间隔的获取过程为:将第i个时间段内第1个采集时刻与第v个时间段内第1个采集时刻之间的时间差异,作为第i个时间段与第v个时间段之间的时间间隔。
优选的,所述基于每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,确定每个时间段对应的替换可能性指标,包括:
对于第i个时间段,采用如下公式计算第i个时间段对应的替换可能性指标:
其中,表示第i个时间段对应的替换可能性指标,/>表示第i个时间段与第i-1个时间段之间的相似程度,/>表示第i个时间段内第j个采集时刻的异常评价值,n表示每个时间段内采集时刻的数量,/>表示第i-1个时间段内第j个采集时刻的异常评价值,/>表示第i个时间段对应的调整系数,norm( )表示归一化函数。
优选的,所述基于所述替换可能性指标和所述综合异常值对所对应的时间段内的气压值进行替换处理获得替换后的数据,包括:
按照时间段的先后顺序,依次判断相邻的两个时间段中后一时间段是否被前一时间段所替换,若是,则分别判断后一时间段内每个采集时刻的综合异常值是否小于预设综合阈值,若小于,则用前一时间段内每个采集时刻的气压值替换后一时间段内对应采集时刻的气压值;若大于或等于,则后一时间段内对应采集时刻的气压值不进行替换;将全部替换完成后的数据记为替换后的数据;
所述依次判断相邻的两个时间段中后一时间段是否被前一时间段所替换,包括:
若相邻的两个时间段中后一时间段对应的替换可能性指标大于预设替换阈值,则判定相邻的两个时间段中后一时间段被前一个时间内的数据替换;若相邻的两个时间段中后一时间段对应的替换可能性指标小于或等于预设替换阈值,则判定相邻的两个时间段中后一时间段不被前一个时间内的数据替换。
第二方面,本发明提供了一种危险化学品储运过程中数据传输系统,包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述所述的一种危险化学品储运过程中数据传输方法。
本发明至少具有如下有益效果:
本发明首先获取了危险化学品储运过程中储运车厢中每个时间段内不同采集时刻的气压值和温度值,然后根据每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异情况,确定了每个时间段与其他时间段之间的相似程度,根据每个采集时刻的气压值、温度值、每个采集时刻的气压值与正常数据段内气压值之间的差异、正常数据段内气压值的离散程度以及每个采集时刻所在的时间段与其他时间段之间的时间间隔,确定了每个采集时刻的综合异常值,进一步地,结合每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,将相似的、且不包含异常数据的时间段内的数据进行替换,获得了替换后的数据,使得每个时间段的数据值在数据样本中的出现频率提高,进而对替换后的数据进行压缩处理,提高了储运车厢中监测数据的压缩效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明实施例所提供的一种危险化学品储运过程中数据传输方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种危险化学品储运过程中数据传输方法及系统进行详细说明如下。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种危险化学品储运过程中数据传输方法及系统的具体方案。
一种危险化学品储运过程中数据传输方法实施例:
本实施例所针对的具体场景为:当对有毒气体或易燃气体(例如:乙醇、丙酮、丙烷)进行储运的过程中,由于环境温度、海拔高度等环境因素影响储运车厢内气压变化,导致所采集的储运车厢内的监测数据存在较大的随机性,即监测数据在一个区间内随机变化且不存在规律性,从而使得LZ77编码的压缩效果不佳,但是由于对危险化学品运输过程中储运车厢进行监测的过程中需要保证其采集到的监测数据的准确,因此对于样本中其他的非异常数据则根据数据分段间的相似性进行替换,从而使得数据样本中的数据点出现重复,满足LZ77编码对监测数据的压缩效果提高的要求。
本实施例提出了一种危险化学品储运过程中数据传输方法,如图1所示,本实施例的一种危险化学品储运过程中数据传输方法包括以下步骤:
步骤S1,获取危险化学品储运过程中储运车厢中每个时间段内不同采集时刻的气压值和温度值。
本实施例在危险化学品的储运车厢中设置温度传感器和气压传感器,用于对危险化学品储运过程中储运车厢中的温度值和气压值进行采集,本实施例设置每1秒采集一次储运车厢中的监测数据,在具体应用中,实施者可根据具体情况进行设置;本实施例中的监测数据包括温度值和气压值,因此每1秒采集一个温度值和一个气压值,至此,本实施例获取了危险化学品储运过程中储运车厢中每个采集时刻的气压值和温度值,本实施例设置每个时间段的时长为1分钟,也即采集到了危险化学品储运过程中储运车厢中每个时间段内不同采集时刻的气压值和温度值,在具体应用中,实施者可根据具体情况设置时间段的时长。
至此,本实施例获取了危险化学品储运过程中储运车厢中每个时间段内不同采集时刻的气压值和温度值。
步骤S2,根据每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异,得到每个时间段与其他时间段之间的相似程度;基于每个时间段内及其相邻的时间段内相邻采集时刻的气压值之间的差异和所述相似程度,获得每个时间段的异常程度;基于所述异常程度确定正常时间段;结合每个采集时刻的气压值、温度值、每个采集时刻的气压值与正常数据段内气压值之间的差异以及正常数据段内气压值的离散程度,得到每个采集时刻的异常评价值。
为了提高LZ77算法对危险化学品储运车厢中的监测数据的压缩效果,对采集到的监测数据进行相似替换,本实施例已经获取了不同时间段内的监测数据,针对每个时间段,结合其内部数据的异常程度以及与其他时间段内数据之间的关系,确定每个时间段与其他时间段之间的相似程度以及每个采集时刻的综合异常值。最后,结合数每个时间段与其他时间段之间的相似程度以及每个采集时刻的综合异常值,在时序数据样本上利用最大相似段对不同时间段内的数据进行替换操作,实现对监测数据的更新。
在对危险化学品进行储运的过程中,车厢内的各项数据应当处于一个较为平稳的状态最为安全,当环境温度等外部因素发生变化时车厢内的数据会跟随其发生变化。本实施例将分别对每个时间段内的监测数据进行分析,通过分析不同时间段内的监测数据之间的相似性对异常数据的筛选提高参考。对于任意两个时间段,这两个时间段在起始时刻的气压值的差异越小且任意位置相邻数据点的数据差值越小时,说明这两个时间段的数据相似程度越高。基于此,本实施例接下来将对每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异进行分析,确定每个时间段与其他时间段之间的相似程度。
具体地,分别将每个时间段内相邻两个采集时刻的气压值之间的差值的绝对值,作为对应两个相邻采集时刻的第一差异;需要说明的是:每个时间段内每相邻两个采集时刻均对应一个第一差异。对于第i个时间段和除第i个时间段外的第m个时间段:分别将第i个时间段内每两个相邻采集时刻的第一差异与除第i个时间段外的第m个时间段内对应的两个相邻采集时刻的第一差异之间的差值绝对值,作为对应的气压差异评价值;将第i个时间段内第1个采集时刻的气压值与除第i个时间段外的第m个时间段内第1个采集时刻的气压值之间的差值绝对值,作为第i个时间段与除第i个时间段外的第m个时间段的差异指标。根据所述气压差异评价值和所述差异指标,得到第i个时间段和除第i个时间段外的第m个时间段之间的相似程度,所述气压差异评价值和所述差异指标均与所述相似程度呈负相关关系。其中,负相关关系表示因变量会随着自变量的增大而减小,因变量会随着自变量的减小而增大,可以为相减关系、相除关系等,由实际应用进行确定。作为一个具体实施方式,给出相似程度的计算公式,第i个时间段和除第i个时间段外的第m个时间段之间的相似程度的具体计算公式为:
其中,表示第i个时间段和除第i个时间段外的第m个时间段之间的相似程度,n表示每个时间段内采集时刻的数量,/>表示第i个时间段内第1个采集时刻的气压值,/>表示除第i个时间段外的第m个时间段内第1个采集时刻的气压值,/>表示第i个时间段内第j个采集时刻与第j+1个采集时刻对应的气压差异评价值,/>表示除第i个时间段外的第m个时间段内第j个采集时刻与第j+1个采集时刻对应的气压差异评价值,表示预设第一调整参数,/>表示预设第二调整参数,norm( )表示归一化函数,/>表示取绝对值符号。
本实施例在相似程度计算公式中引入预设第一调整参数预设第二调整参数是为了防止分母为0,本实施例中预设第一调整参数和预设第二调整参数均为0.01,在具体应用中,实施者可根据具体情况进行设置。表示第i个时间段与除第i个时间段外的第m个时间段的差异指标,用于反映第i个时间段内第1个采集时刻的气压值与除第i个时间段外的第m个时间段内第1个采集时刻的气压值之间的差异情况;表示气压差异评价值。当差异指标越小、气压差异评价值越小时,说明第i个时间段和除第i个时间段外的第m个时间段内的监测数据越相似,即第i个时间段和除第i个时间段外的第m个时间段之间的相似程度越大。
采用上述方法,能够获得每个时间段与其他时间段之间的相似程度。
当某个时间段中存在异常数据时,会导致其与其他时间段之间的相似性发生变化,由于安全状态下储运车厢内部的气压应当保证在一个稳定的区间内,而异常数据会表现出较大的偏离并且随时间变化偏离程度增大,由于采集到的储运车厢中的气压值是时序数据,即当前时间段与其前一个时间段之间存在连续关系,前一个时间段影响后一个时间段,因此本实施例将基于每个时间段内及其相邻的时间段内相邻采集时刻的气压值之间的差异和对应的相似程度,对每个时间段的异常程度进行评价。
具体地,对于第i个时间段:
计算第i个时间段与其他所有时间段之间的相似程度的和值;将第i-1个时间段、第i个时间段以及第i+1个时间段这三个时间段中所有每两个相邻采集时刻的第一差异之和记为第一特征值。基于所述第一特征值和所述和值,获得第i个时间段的异常程度,所述第一特征值与所述异常程度呈正相关关系,所述和值与所述异常程度呈负相关关系。其中,正相关关系表示因变量会随着自变量的增大而增大,因变量会随着自变量的减小而减小,具体关系可以为相乘关系、相加关系、指数函数的幂等,由实际应用进行确定;负相关关系表示因变量会随着自变量的增大而减小,因变量会随着自变量的减小而增大,可以为相减关系、相除关系等,由实际应用进行确定。作为一个具体实施方式,给出异常程度的具体计算公式,第i个时间段的异常程度的具体计算公式为:
其中,表示第i个时间段的异常程度,/>表示第i个时间段和除第i个时间段外的第m个时间段之间的相似程度,M表示时间段的数量,K表示第i-1个时间段、第i个时间段以及第i+1个时间段这三个时间段中对应的所有第一差异的数量,/>表示第i-1个时间段、第i个时间段以及第i+1个时间段这三个时间段中对应的第k个第一差异,norm( )表示归一化函数。
表示第i个时间段与其他所有时间段之间的相似程度的和值,/>表示第一特征值,用于反映三个时间段内气压数据的变化程度。当第i个时间段与其他所有时间段之间的相似程度的和值越小、第一特征值越大时,说明危险化学品在第i个时间段越可能出现了异常,即第i个时间段的异常程度越大。
采用上述方法,能够获得每个时间段的异常程度,异常程度越大,说明对应时间段中的气压值越可能为异常数据,危险化学品储运过程中越可能出现了异常,因此本实施例将异常程度小于预设异常程度阈值的时间段,作为正常时间段。本实施例中预设异常程度阈值为0.5,在具体应用中,实施者可根据具体情况进行设置。
当某个时间段的异常程度越大时,说明该时间段内的监测数据越可能出现了异常。在危险化学品的运输过程中,当气压数据出现突然的降低或增大均可能造成安全问题,因此需要对数据的偏离程度进行分析,数据的偏离程度越大,则其越可能为异常数据。同时,当车厢内气压上升时会伴随储运车厢内温度变化,因此异常气压值对应的采集时刻的温度值越不符合当前的容器内气压,则对应采集时刻出现异常的可能性越大。基于此,本实施例结合每个采集时刻的气压值、温度值、每个采集时刻的气压值与正常数据段内气压值之间的差异以及正常数据段内气压值的离散程度,得到每个采集时刻的异常评价值;第r个采集时刻的异常评价值的具体计算公式为:
其中,表示第r个采集时刻的异常评价值,/>表示第r个采集时刻的气压值,/>表示第r个采集时刻的温度值,R表示储运的气体对应的气体常数,G表示储运的气体的物质的量,V表示储运车厢的体积,/>表示正常时间段内所有采集时刻的气压值的平均值,/>表示正常时间段内所有采集时刻的气压值的标准差,norm( )表示归一化函数,/>为预设第三调整参数,/>大于0。
本实施例在异常评价值的计算公式中引入预设第三调整参数是为了防止分母为0,本实施例中预设第三调整参数为0.01,在具体应用中,实施者可根据具体情况进行设置。
采用上述方法,能够获得每个采集时刻的异常评价值。
步骤S3,根据每个采集时刻的异常评价值、每个采集时刻所在的时间段的异常程度、每个采集时刻所在的时间段与其他时间段之间的时间间隔,得到每个采集时刻的综合异常值;基于每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,确定每个时间段对应的替换可能性指标;基于所述替换可能性指标和所述综合异常值对所对应的时间段内的气压值进行替换处理获得替换后的数据。
对于一个时间段,通过分析其与相邻数据段之间的差异以及三个连续数据段内的数据变化情况,得到一个时间段的异常程度。但是由于数据点异常程度的分析是根据,对于一个时间段内的数据来说,当数据段本身的异常程度越大时,其内部的异常数据点对于其他正常的时间段具有较为明显的异常表现程度,而对应其数据段内部则异常的表现程度越低,即一个异常数据在多个异常数据组成的数据段中表现为正常。因此,结合时间段的异常程度对每个采集时刻的异常评价值进行修正,当某个时间段的异常程度越大且该时间段内采集时刻的异常评价值越小时,则修正采集时刻的异常评价值使其增大,反之异常程度越大且该时间段内采集时刻的异常评价值越大时,则修正采集时刻的异常评价值使其减小,当该时间段的异常程度越小时修正的必要性越小。同时,根据每个采集时刻的异常评价值、每个采集时刻所在的时间段的异常程度、每个采集时刻所在的时间段与其他时间段之间的时间间隔,得到每个采集时刻的综合异常值。
具体地,对于第i个时间段内第u个采集时刻:根据第i个时间段内第u个采集时刻的异常评价值、其他时间段内第u个采集时刻的异常评价值、第i个时间段的异常程度、第i个时间段与其他时间段之间的时间间隔,得到第i个时间段内第u个采集时刻的综合异常值。第i个时间段内第u个采集时刻的综合异常值的具体计算公式为:
其中,表示第i个时间段内第u个采集时刻的综合异常值,/>表示第i个时间段内第u个采集时刻的异常评价值,/>表示第v个时间段内第u个采集时刻的异常评价值,M表示时间段的数量,/>表示第i个时间段与第v个时间段之间的时间间隔,/>表示第i个时间段的异常程度,/>为预设第一阈值。
第i个时间段与第v个时间段之间的时间间隔的获取过程为:将第i个时间段内第1个采集时刻与第v个时间段内第1个采集时刻之间的时间差异,作为第i个时间段与第v个时间段之间的时间间隔。本实施例中预设第一阈值为0.4,在具体应用中,实施者可根据具体情况进行设置。
采用上述方法,能够获得每个时间段内每个采集时刻的综合异常值。
在对危险化学品进行储运的过程中,储运车厢内的气压值在正常情况下应该保持相对稳定的状态,在某些特殊情况下才会出现气压过高或过低的情况,因此采集到的气压值中大部分数据都较为近似,而为了保留采集到的数据中的特殊数据,根据时间段之间的相似特征以及时间段的异常程度对时间段内的数据进行替换,从而更新现有的数据样本。
通过上述步骤的分析得到任意两个时间段之间的相似程度以及每个采集时刻的综合异常值,接下来结合时间段间的相似程度对相邻的时间段进行分析。本实施例将首先基于第二个时间段与第一个时间段内每个采集时刻的综合异常值以及第二个时间段与第一个时间段之间的相似程度,获得第二个时间段对应的替换可能性指标,基于第二个时间段对应的替换可能性指标判断第二个时间段内的数据是否能被第一个时间段内的数据替换,若是,则分别判断第二个时间段内每个采集时刻的综合异常值是否小于预设综合阈值,若小于,则用第一个时间段内每个采集时刻的气压值替换第二个时间段内对应位置的气压值,也即用第一个时间段内第一个采集时刻的气压值替换第二个时间段内第一个采集时刻的气压值,用第一个时间段内第二个采集时刻的气压值替换第二个时间段内第二个采集时刻的气压值,用第一个时间段内第三个采集时刻的气压值替换第二个时间段内第三个采集时刻的气压值,以此类推,用第一个时间段内最后一个采集时刻的气压值替换第二个时间段内最后一个时刻的气压值;然后基于第三个时间段与第二个时间段内每个采集时刻的综合异常值以及第三个时间段与第二个时间段之间的相似程度,获得第三个时间段对应的替换可能性指标,基于第三个时间段对应的替换可能性指标判断第三个时间段内的数据是否能被第一个时间段内的数据替换,若是,则分别判断第三个时间段内每个采集时刻的综合异常值是否小于预设综合阈值,若小于,则用第二个时间段内每个采集时刻的气压值替换第三个时间段内对应位置的气压值。需要说明的是:相邻两个时间段中后一个时间段内的数据在用前一个时间段内的数据进行替换时,是用前一个时间段内替换完成后的数据进行替换处理的。
当两个时间段中存在异常程度较大或相邻数据分段之间的相似程度较小时,跳过当前数据分段从下一个数据分段开始继续分析数据分段的替换可能性。同时,若当前时间段距离上一次跳过替换的时间段的间隔越长,则当前时间段进行替换的可能性越低。基于此,本实施例将基于每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,确定每个时间段对应的替换可能性指标。第i个时间段对应的替换可能性指标的具体计算公式为:
其中,表示第i个时间段对应的替换可能性指标,/>表示第i个时间段与第i-1个时间段之间的相似程度,/>表示第i个时间段内第j个采集时刻的异常评价值,n表示每个时间段内采集时刻的数量,/>表示第i-1个时间段内第j个采集时刻的异常评价值,/>表示第i个时间段对应的调整系数,norm( )表示归一化函数。
第i个时间段对应的调整系数的获取过程为:若第i个时间段之前不存在替换过的时间段,则令第i个时间段对应的调整系数为1;若第i个时间段之前不存在替换过的时间段,则将与第i个时间段时间间隔最近的上一个替换过的时间段记为参考时间段,将i与参考时间段的序号之间的差值作为第i个时间段对应的调整系数。当第i个时间段与第i-1个时间段之间的相似程度越大、第i个时间段对应的调整系数越小、第i个时间段以及第i-1个时间段内采集时刻的异常评价值越小时,说明第i个时间段内的气压值越应当被替换,也即第i个时间段对应的替换可能性指标越大。
采用上述方法,能够获得每个时间段对应的替换可能性指标,按照时间段的先后顺序,依次判断相邻的两个时间段中后一时间段是否被前一时间段所替换,若是,则分别判断后一时间段内每个采集时刻的综合异常值是否小于预设综合阈值,若小于,则用前一时间段内每个采集时刻的气压值替换后一时间段内对应采集时刻的气压值;若大于或等于,则后一时间段内对应采集时刻的气压值不进行替换;将全部替换完成后的数据记为替换后的数据。所述依次判断相邻的两个时间段中后一时间段是否被前一时间段所替换,包括:若相邻的两个时间段中后一时间段对应的替换可能性指标大于预设替换阈值,则判定相邻的两个时间段中后一时间段被前一个时间内的数据替换;若相邻的两个时间段中后一时间段对应的替换可能性指标小于或等于预设替换阈值,则判定相邻的两个时间段中后一时间段不被前一个时间内的数据替换。本实施例中预设综合阈值和预设替换阈值均为0.5,在具体应用中,实施者可根据具体情况进行设置。
至此,本实施例获得了替换后的数据。
步骤S4,对所述替换后的数据进行编码处理并传输。
本实施例已经基于采集到的数据的相似程度以及异常程度对数据进行了替换操作,获得了替换后的数据,接下来将对替换后的数据进行编码处理,以达到更好的压缩效果。
具体地,采用LZ77编码算法对替换后的数据进行编码处理,设置算法的滑动窗口长度为8、前向缓冲区长度为4,得到编码后的数据。LZ77编码算法为现有技术,此处不再过多赘述。
通过上述步骤的分析处理,得到当危险化学品储运过程中储运车厢内的监测数据的编码结果,通过各种通信协议和网络实现将编码后的数据传输到目标终端,并在接收端上将编码还原为原始数据,完成对危险化学品储运过程中储运车厢内的监测数据的传输。
本实施例首先获取了危险化学品储运过程中储运车厢中每个时间段内不同采集时刻的气压值和温度值,然后根据每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异情况,确定了每个时间段与其他时间段之间的相似程度,根据每个采集时刻的气压值、温度值、每个采集时刻的气压值与正常数据段内气压值之间的差异、正常数据段内气压值的离散程度以及每个采集时刻所在的时间段与其他时间段之间的时间间隔,确定了每个采集时刻的综合异常值,进一步地,结合每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,将相似的、且不包含异常数据的时间段内的数据进行替换,获得了替换后的数据,使得每个时间段的数据值在数据样本中的出现频率提高,进而对替换后的数据进行压缩处理,提高了储运车厢中监测数据的压缩效果。
一种危险化学品储运过程中数据传输系统实施例:
本实施例一种危险化学品储运过程中数据传输系统包括存储器和处理器,所述处理器执行所述存储器存储的计算机程序,以实现上述所述的一种危险化学品储运过程中数据传输方法。
由于一种智能戒指身份数据采集方法已经在一种危险化学品储运过程中数据传输方法实施例中进行了说明,所以本实施例不再对一种危险化学品储运过程中数据传输方法进行赘述。
需要说明的是:以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围。
Claims (10)
1.一种危险化学品储运过程中数据传输方法,其特征在于,该方法包括以下步骤:
获取危险化学品储运过程中储运车厢中每个时间段内不同采集时刻的气压值和温度值;
根据每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异,得到每个时间段与其他时间段之间的相似程度;基于每个时间段内及其相邻的时间段内相邻采集时刻的气压值之间的差异和所述相似程度,获得每个时间段的异常程度;基于所述异常程度确定正常时间段;结合每个采集时刻的气压值、温度值、每个采集时刻的气压值与正常数据段内气压值之间的差异以及正常数据段内气压值的离散程度,得到每个采集时刻的异常评价值;
根据每个采集时刻的异常评价值、每个采集时刻所在的时间段的异常程度、每个采集时刻所在的时间段与其他时间段之间的时间间隔,得到每个采集时刻的综合异常值;基于每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,确定每个时间段对应的替换可能性指标;基于所述替换可能性指标和所述综合异常值对所对应的时间段内的气压值进行替换处理获得替换后的数据;
对所述替换后的数据进行编码处理并传输。
2.根据权利要求1所述的一种危险化学品储运过程中数据传输方法,其特征在于,所述根据每个时间段内每个采集时刻的气压值与其他时间段内每个采集时刻的气压值之间的差异,得到每个时间段与其他时间段之间的相似程度,包括:
分别将每个时间段内相邻两个采集时刻的气压值之间的差值的绝对值,作为对应两个相邻采集时刻的第一差异;
对于第i个时间段和除第i个时间段外的第m个时间段:分别将第i个时间段内每两个相邻采集时刻的第一差异与除第i个时间段外的第m个时间段内对应的两个相邻采集时刻的第一差异之间的差值绝对值,作为对应的气压差异评价值;将第i个时间段内第1个采集时刻的气压值与除第i个时间段外的第m个时间段内第1个采集时刻的气压值之间的差值绝对值,作为第i个时间段与除第i个时间段外的第m个时间段的差异指标;
根据所述气压差异评价值和所述差异指标,得到第i个时间段和除第i个时间段外的第m个时间段之间的相似程度,所述气压差异评价值和所述差异指标均与所述相似程度呈负相关关系。
3.根据权利要求2所述的一种危险化学品储运过程中数据传输方法,其特征在于,所述基于每个时间段内及其相邻的时间段内相邻采集时刻的气压值之间的差异和所述相似程度,获得每个时间段的异常程度,包括:
对于第i个时间段:
计算第i个时间段与其他所有时间段之间的相似程度的和值;
将第i-1个时间段、第i个时间段以及第i+1个时间段中所有每两个相邻采集时刻的第一差异之和记为第一特征值;
基于所述第一特征值和所述和值,获得第i个时间段的异常程度,所述第一特征值与所述异常程度呈正相关关系,所述和值与所述异常程度呈负相关关系。
4.根据权利要求1所述的一种危险化学品储运过程中数据传输方法,其特征在于,所述基于所述异常程度确定正常时间段,包括:
将异常程度小于预设异常程度阈值的时间段,作为正常时间段。
5.根据权利要求1所述的一种危险化学品储运过程中数据传输方法,其特征在于,采用如下公式计算第r个采集时刻的异常评价值:
其中,表示第r个采集时刻的异常评价值,/>表示第r个采集时刻的气压值,/>表示第r个采集时刻的温度值,R表示储运的气体对应的气体常数,G表示储运的气体的物质的量,V表示储运车厢的体积,/>表示正常时间段内所有采集时刻的气压值的平均值,/>表示正常时间段内所有采集时刻的气压值的标准差,norm( )表示归一化函数,/>为预设第三调整参数,/>大于0。
6.根据权利要求1所述的一种危险化学品储运过程中数据传输方法,其特征在于,所述根据每个采集时刻的异常评价值、每个采集时刻所在的时间段的异常程度、每个采集时刻所在的时间段与其他时间段之间的时间间隔,得到每个采集时刻的综合异常值,包括:
对于第i个时间段内第u个采集时刻:
根据第i个时间段内第u个采集时刻的异常评价值、其他时间段内第u个采集时刻的异常评价值、第i个时间段的异常程度、第i个时间段与其他时间段之间的时间间隔,得到第i个时间段内第u个采集时刻的综合异常值。
7.根据权利要求6所述的一种危险化学品储运过程中数据传输方法,其特征在于,采用如下公式计算第i个时间段内第u个采集时刻的综合异常值:
其中,表示第i个时间段内第u个采集时刻的综合异常值,/>表示第i个时间段内第u个采集时刻的异常评价值,/>表示第v个时间段内第u个采集时刻的异常评价值,M表示时间段的数量,/>表示第i个时间段与第v个时间段之间的时间间隔,/>表示第i个时间段的异常程度,/>为预设第一阈值;
所述第i个时间段与第v个时间段之间的时间间隔的获取过程为:将第i个时间段内第1个采集时刻与第v个时间段内第1个采集时刻之间的时间差异,作为第i个时间段与第v个时间段之间的时间间隔。
8.根据权利要求1所述的一种危险化学品储运过程中数据传输方法,其特征在于,所述基于每个时间段与其相邻的前一个时间段内每个采集时刻的综合异常值以及相似程度,确定每个时间段对应的替换可能性指标,包括:
对于第i个时间段,采用如下公式计算第i个时间段对应的替换可能性指标:
其中,表示第i个时间段对应的替换可能性指标,/>表示第i个时间段与第i-1个时间段之间的相似程度,/>表示第i个时间段内第j个采集时刻的异常评价值,n表示每个时间段内采集时刻的数量,/>表示第i-1个时间段内第j个采集时刻的异常评价值,/>表示第i个时间段对应的调整系数,norm( )表示归一化函数。
9.根据权利要求1所述的一种危险化学品储运过程中数据传输方法,其特征在于,所述基于所述替换可能性指标和所述综合异常值对所对应的时间段内的气压值进行替换处理获得替换后的数据,包括:
按照时间段的先后顺序,依次判断相邻的两个时间段中后一时间段是否被前一时间段所替换,若是,则分别判断后一时间段内每个采集时刻的综合异常值是否小于预设综合阈值,若小于,则用前一时间段内每个采集时刻的气压值替换后一时间段内对应采集时刻的气压值;若大于或等于,则后一时间段内对应采集时刻的气压值不进行替换;将全部替换完成后的数据记为替换后的数据;
所述依次判断相邻的两个时间段中后一时间段是否被前一时间段所替换,包括:
若相邻的两个时间段中后一时间段对应的替换可能性指标大于预设替换阈值,则判定相邻的两个时间段中后一时间段被前一个时间内的数据替换;若相邻的两个时间段中后一时间段对应的替换可能性指标小于或等于预设替换阈值,则判定相邻的两个时间段中后一时间段不被前一个时间内的数据替换。
10.一种危险化学品储运过程中数据传输系统,包括存储器和处理器,其特征在于,所述处理器执行所述存储器存储的计算机程序,以实现如权利要求1-9任一项所述的一种危险化学品储运过程中数据传输方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410319367.3A CN117914954A (zh) | 2024-03-20 | 2024-03-20 | 一种危险化学品储运过程中数据传输方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410319367.3A CN117914954A (zh) | 2024-03-20 | 2024-03-20 | 一种危险化学品储运过程中数据传输方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117914954A true CN117914954A (zh) | 2024-04-19 |
Family
ID=90696356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410319367.3A Pending CN117914954A (zh) | 2024-03-20 | 2024-03-20 | 一种危险化学品储运过程中数据传输方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117914954A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006257939A (ja) * | 2005-03-16 | 2006-09-28 | Toyota Motor Corp | エアフローメータの異常検出装置及びエンジン制御装置 |
CN106742890A (zh) * | 2017-01-10 | 2017-05-31 | 苏州苏净保护气氛有限公司 | 一种油气回收装置的安全监控系统及其控制方法 |
US20180314835A1 (en) * | 2017-04-26 | 2018-11-01 | Elasticsearch B.V. | Anomaly and Causation Detection in Computing Environments |
CN116859831A (zh) * | 2023-05-15 | 2023-10-10 | 广东思创智联科技股份有限公司 | 一种基于物联网的工业大数据处理方法及系统 |
-
2024
- 2024-03-20 CN CN202410319367.3A patent/CN117914954A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006257939A (ja) * | 2005-03-16 | 2006-09-28 | Toyota Motor Corp | エアフローメータの異常検出装置及びエンジン制御装置 |
CN106742890A (zh) * | 2017-01-10 | 2017-05-31 | 苏州苏净保护气氛有限公司 | 一种油气回收装置的安全监控系统及其控制方法 |
US20180314835A1 (en) * | 2017-04-26 | 2018-11-01 | Elasticsearch B.V. | Anomaly and Causation Detection in Computing Environments |
CN116859831A (zh) * | 2023-05-15 | 2023-10-10 | 广东思创智联科技股份有限公司 | 一种基于物联网的工业大数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110895526A (zh) | 一种大气监测系统中数据异常的修正方法 | |
CN117093879B (zh) | 一种数据中心智能化运营管理方法及系统 | |
Sullivan et al. | A self-starting control chart for multivariate individual observations | |
CN117238058B (zh) | 基于数据分析的汽车用起动机监测方法 | |
CN115801901A (zh) | 一种企业生产排放数据压缩处理方法 | |
CN115001853B (zh) | 一种异常数据的识别方法、装置、存储介质及计算机设备 | |
CN117540238B (zh) | 一种工业数字化信息采集装置用数据安全管理方法 | |
CN116915259B (zh) | 基于物联网的仓配数据优化储存方法及系统 | |
CN116320042A (zh) | 边缘计算的物联终端监测控制系统 | |
CN116757553B (zh) | 一种农业有机废弃物资源利用数字化信息管理系统 | |
CN108107086A (zh) | 一种基于阵列气体传感器的气体检测方法及气体传感器 | |
CN114842371B (zh) | 一种无监督视频异常检测方法 | |
CN117540304B (zh) | 一种粘合剂生产数据处理方法 | |
CN113988723A (zh) | 一种基于用电数据异常分析的用户行为锁定方法和系统 | |
CN116796209B (zh) | 一种用于检测试剂盒存储环境温度监测的数据处理方法 | |
CN117914954A (zh) | 一种危险化学品储运过程中数据传输方法及系统 | |
CN117573667B (zh) | 一种煤矿井间数据优化清洗方法及系统 | |
CN117373600B (zh) | 一种医疗检测车数据优化存储方法 | |
CN115695564B (zh) | 一种物联网数据的高效传输方法 | |
CN113347014B (zh) | 基于时间序列的工业控制系统态势组合预测方法 | |
CN115221471A (zh) | 一种异常数据的识别方法、装置、存储介质及计算机设备 | |
CN117692012B (zh) | 一种智能睡袋温度数据远程监测传输方法 | |
CN117155402B (zh) | 基于rpa技术的公卫健康智能体检服务系统 | |
CN117879789B (zh) | 基于高速加密的卫星通信报文数据传输方法 | |
CN110516693A (zh) | 一种基于特征值局部性的相似数据检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |