CN117856799B - 一种展厅烟雾探测器数据的高效采集分析方法 - Google Patents
一种展厅烟雾探测器数据的高效采集分析方法 Download PDFInfo
- Publication number
- CN117856799B CN117856799B CN202410256942.XA CN202410256942A CN117856799B CN 117856799 B CN117856799 B CN 117856799B CN 202410256942 A CN202410256942 A CN 202410256942A CN 117856799 B CN117856799 B CN 117856799B
- Authority
- CN
- China
- Prior art keywords
- data
- smoke concentration
- concentration time
- data point
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000779 smoke Substances 0.000 title claims abstract description 223
- 238000004458 analytical method Methods 0.000 title claims abstract description 9
- 238000007906 compression Methods 0.000 claims abstract description 119
- 230000006835 compression Effects 0.000 claims abstract description 119
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000000694 effects Effects 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000005457 optimization Methods 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 13
- 230000008859 change Effects 0.000 description 12
- 230000003247 decreasing effect Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013506 data mapping Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Fire-Detection Mechanisms (AREA)
Abstract
本发明涉及数据处理技术领域,尤其涉及一种展厅烟雾探测器数据的高效采集分析方法,该方法对烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据;对新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果;根据聚类结果对新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,根据优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列;构建待压缩存储序列的二维空间矩阵,根据二维空间矩阵获取游程编码的最优压缩方式;利用最优压缩方式对待压缩存储序列进行游程编码,以完成对展厅烟雾探测器的数据采集压缩,通过对监测数据进行替换优化,提高了监测数据的编码压缩效果。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种展厅烟雾探测器数据的高效采集分析方法。
背景技术
展厅烟雾探测器在防火安全方面具有非常重要的意义,其可以对当前空间内产生的烟雾含量值进行实时监测和警报,为火灾风险评估提供数据支持,其次烟雾探测器的实时监测有助于保障展厅参观者和工作人员的人身安全。通常情况下,展厅烟雾探测器主要通过监测展厅内的烟雾浓度数据来判断烟雾密度大小,进而根据监测结果实现预警处理,但由于该监测过程为实时统计的高频率数据采集处理,使得展厅烟雾探测器的监测过程中会产生大量的烟雾浓度含量数据值,因此,需要对展厅烟雾探测器监测的烟雾浓度含量数据值进行数据压缩采集处理,释放系统的存储压力且更加高效地实现数据的分析。
现有技术中,通过利用传统压缩算法对展厅烟雾探测器监测的烟雾浓度含量数据值进行数据压缩采集处理,其中传统压缩算法有游程编码、零值编码和字典编码等,但由于传统压缩算法过于依赖原始数据集,即均对于重复相似性高得数据集的压缩效果较好,对于重复相似性低(数据值差异或变化较大)的数据集的压缩效果较差,而展厅烟雾探测器的监测过程中所产生的烟雾浓度含量的数据变化整体呈现非线性且具有随机性,因此,传统的游程编码算法对于展厅烟雾探测器所获取的烟雾浓度监测数据的压缩处理效果不佳;
故,如何提高展厅烟雾探测器所获取的烟雾浓度监测数据的压缩处理效果,以进行更加精致的预警成为亟需解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种展厅烟雾探测器数据的高效采集分析方法,以解决如何提高展厅烟雾探测器所获取的烟雾浓度监测数据的压缩处理效果,以进行更加精致的预警的问题。
本发明实施例中提供了一种展厅烟雾探测器数据的高效采集分析方法,所述高效采集分析方法包括以下步骤:
根据预设的采样频率获取展厅烟雾探测器在目标时段内采集的烟雾浓度时序数据,对所述烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据;
对所述新烟雾浓度时序数据进行差分处理,得到一阶差分序列和二阶差分序列,根据所述一阶差分序列和所述二阶差分序列,对所述新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果;
根据所述聚类结果对所述新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,根据所述优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列;
构建所述待压缩存储序列的二维空间矩阵,根据所述二维空间矩阵获取游程编码的每个预设压缩方式下的压缩效果评估参数,根据所有压缩效果评估参数,获取所述游程编码的最优压缩方式;
利用所述最优压缩方式对所述待压缩存储序列进行游程编码,以完成对所述展厅烟雾探测器的数据采集压缩。
优选的,所述根据所述一阶差分序列和所述二阶差分序列,对所述新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果,包括:
以一阶差分值为横轴,以二阶差分值为纵轴,构建二维聚类空间,根据所述一阶差分序列和所述二阶差分序列,将所述新烟雾浓度时序数据中的数据点映射在所述二维聚类空间中,并使用K-means聚类算法对所述二维聚类空间中的数据点进行聚类,以将所述新烟雾浓度时序数据中的数据点划分为第一聚类簇、第二聚类簇和第三聚类簇,其中,所述第一聚类簇、所述第二聚类簇和所述第三聚类簇之间的数据点数值的重要程度依次增加。
优选的,所述根据所述聚类结果对所述新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,包括:
获取所述第一聚类簇在所述新烟雾浓度时序数据中的至少一个数据子序列,
针对数据点数量超过预设数量阈值的任一数据子序列中的任一数据点,获取所述数据子序列中的起始数据点和末尾数据点,获取所述起始数据点和所述末尾数据点之间的数值差值,根据所述起始数据点和所述末尾数据点分别在所述数据子序列中的位置编号,计算位置编号差值,计算所述数值差值与所述位置编号差值之间的第一比值;
获取所述第一比值与所述末尾数据点的位置编号之间的第一乘积,将所述起始数据点的位置编号与所述第一乘积的差值作为所述数据点的函数截距,获取所述数据点在所述数据子序列中的位置编号,获取所述数据点在所述数据子序列中的位置编号与所述第一比值之间的第二乘积,将所述第二乘积与所述数据点的函数截距之间的相加结果作为所述数据点的替换值。
优选的,所述根据所述聚类结果对所述新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,包括:
针对所述第二聚类簇中的任一数据点,根据所述数据点在新烟雾浓度时序数据中的位置,在所述新烟雾浓度时序数据中获取与所述数据点属于前相邻且属于所述第三聚类簇中的数据点作为第一目标数据点,在所述新烟雾浓度时序数据中获取与所述数据点属于后相邻且属于所述第三聚类簇中的数据点作为第二目标数据点,获取所述第一目标数据点和所述第二目标数据点之间的数值均值;
根据所述第一目标数据点和所述数据点分别在新烟雾浓度时序数据中的位置编号,获取第一位置差异距离,根据所述第二目标数据点和所述数据点分别在新烟雾浓度时序数据中的位置编号,获取第二位置差异距离,计算所述第一位置差异距离和所述第二位置差异距离之间的加和结果;
将所述数值均值和所述加和结果之间的比值作为所述数据点的替换值。
优选的,所述根据所述二维空间矩阵获取游程编码的每个预设压缩方式下的压缩效果评估参数,包括:
针对任一预设压缩方式,在所述二维空间矩阵中获取所述预设压缩方式下连续相等数值所对应的至少一个连续数据段,根据每个所述连续数据段所包含的数据点数量,获取最大数据点数量以及数据点数量超过预设的第一数量阈值的连续数据段数量;
获取所述待压缩存储序列的序列长度,计算所述序列长度与所述最大数据点数量之间的第二比值,对所述连续数据段数量进行归一化处理,得到对应的归一化值,将所述第二比值和所述归一化值进行加权求和的结果作为所述预设压缩方式的压缩效果评估参数。
优选的,所述根据所述优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列,包括:
对所述优化烟雾浓度时序数据中的数据点进行一阶差分处理,得到初始差分序列,将所述优化烟雾浓度时序数据中的第一个数据点和所述初始差分序列组成待压缩存储序列。
优选的,所述对所述烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据,包括:
根据所述烟雾浓度时序数据中所有数据点的数值中的小数部分的数据量,获取小数部分的最大数据量,根据所述小数部分的最大数据量,获取统一倍数;
分别获取所述烟雾浓度时序数据中的每个数据点的数值与所述统一倍数之间的乘积,得到新烟雾浓度时序数据。
优选的,所述根据所有压缩效果评估参数,获取所述游程编码的最优压缩方式,包括:
对比所有压缩效果参数,将最大的压缩效果参数所对应的预设压缩方式作为所述游程编码的最优压缩方式。
优选的,所述预设压缩方式包括横向压缩和纵向压缩。
本发明实施例与现有技术相比存在的有益效果是:
本发明根据预设的采样频率获取展厅烟雾探测器在目标时段内采集的烟雾浓度时序数据,对所述烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据;对所述新烟雾浓度时序数据进行差分处理,得到一阶差分序列和二阶差分序列,根据所述一阶差分序列和所述二阶差分序列,对所述新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果;根据所述聚类结果对所述新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,根据所述优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列;构建所述待压缩存储序列的二维空间矩阵,根据所述二维空间矩阵获取游程编码的每个预设压缩方式下的压缩效果评估参数,根据所有压缩效果评估参数,获取所述游程编码的最优压缩方式;利用所述最优压缩方式对所述待压缩存储序列进行游程编码,以完成对所述展厅烟雾探测器的数据采集压缩。其中,根据烟雾浓度时序数据中的数据差异,将烟雾浓度时序数据划分为多个类别,并分别根据每个类别的数据变化特征,对类别中的每个数据值进行优化替换处理,在提高烟雾浓度时序数据的数据重复冗余性的同时,还能保留原始数据的数据变化特征,进而基于优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列,并利用最优压缩方式对待压缩存储序列进行游程编码,使得在大大释放采集存储压力的同时,便于分析目标时段内烟雾浓度特征,从而实现更为精准的报警或预警。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种展厅烟雾探测器数据的高效采集分析方法的方法流程图;
图2是本发明实施例所提供的一种采样频率和烟雾浓度数据对应的采样示意图;
图3是本发明实施例所提供的一种二维聚类空间的示意图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本公开,而不能理解为对本公开的限制。
需要说明的是,本公开的说明书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与本公开的一些方面相一致的装置和方法的例子。
为了说明本发明的技术方案,下面通过具体实施例来进行说明。
参见图1,是本发明实施例一提供的一种展厅烟雾探测器数据的高效采集分析方法的方法流程图,如图1所示,该高效采集分析方法可以包括:
步骤S101,根据预设的采样频率获取展厅烟雾探测器在目标时段内采集的烟雾浓度时序数据,对烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据。
建立一个实时监测系统,用于通过网络连接将展厅烟雾探测器采集的数据传输到中央服务器或云端存储。本发明实施例中,设定目标时段的采样频率并定时通过展厅烟雾探测器采集烟雾浓度数据,单位为ppm(每百万分之一),其中,参照附图2,其为一种采样频率和烟雾浓度数据对应的采样示意图,图2中,从8点开始采集且采样频率为5分钟,则8点05分采集的烟雾浓度数据为1.2,8点10分采集的烟雾浓度数据为2.0,8点15分采集的烟雾浓度数据为3.5,8点20分采集的烟雾浓度数据为4.8,8点25分采集的烟雾浓度数据为6.2,8点30采集的烟雾浓度数据为7.9,以此类推,将采集到的烟雾浓度数据依次存入一个集合中,从而得到目标时段内采集的烟雾浓度时序数据。
考虑到烟雾浓度数据以小数形式显示,为了便于分析以及转换为计算机可识别的二进制编码,需要对对烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据,值得说明的是,具体取整处理可根据具体场景下的数据特征形式进行,目的旨在减少后续制度转换的复杂程度。
优选的,对所述烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据,包括:
根据所述烟雾浓度时序数据中所有数据点的数值中的小数部分的数据量,获取小数部分的最大数据量,根据所述小数部分的最大数据量,获取统一倍数;
分别获取所述烟雾浓度时序数据中的每个数据点的数值与所述统一倍数之间的乘积,得到新烟雾浓度时序数据。
在一实施方式中,以图2中的烟雾浓度时序数据为例,对烟雾浓度时序数据中的每个数据点的数值进行统一乘倍处理,具体取整处理的计算表达式为:
其中,表示对数据点的数值进行取整处理后的数值,/>表示数据点的数值进行取整处理前的数值,也即是原始数值,/>表示统一倍数。
对图2中的烟雾浓度时序数据进行取整处理后,得到的新烟雾浓度时序数据为[5,12,20,35,48,62,79]。
步骤S102,对新烟雾浓度时序数据进行差分处理,得到一阶差分序列和二阶差分序列,根据一阶差分序列和二阶差分序列,对新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果。
烟雾浓度数据会随着采集时间而变化,该类变化具有一定的不确定性,例如:烟雾浓度逐渐升高、突然增高或呈现持续稳定的状态等,该类变化趋势对于判断火灾风险至关重要。同时展厅烟雾探测器距离火源的远近、烟雾扩散的环境风向影响均会对展厅烟雾探测器监测到的烟雾浓度数据带来变化,因此,监测到的烟雾浓度数据理论上伴随着一定的数值起伏波动,故对于当前场景下获取的新烟雾浓度时序数据而言,其使用传统例如游程编码压缩算法会存在较大的不适用和不稳定性,即无法保证压缩效果。
考虑到烟雾浓度数值的逐渐升高在监测场景下的重要性远远大于烟雾浓度数值的逐渐递减,且较大幅度的增高比起较小幅度的增高或持续稳定不变的重要性更大,因此可对新烟雾浓度时序数据进行特征分析,以获取替换的最优烟雾浓度时序数据。则首先对新烟雾浓度时序数据进行差分处理,得到一阶差分序列和二阶差分序列,其中,一阶差分和二阶差分的计算表达式如下:
其中,为一阶差分值,/>为二阶差分值,/>表示新烟雾浓度时序数据中的任一数据点的数值,/>表示新烟雾浓度时序数据中的任一数据点的位数。
在一实施方式中,以图2中的烟雾浓度时序数据为例,对应的新烟雾浓度时序数据的一阶差分序列为[7,8,15,13,26,17]以及二阶差分序列为[1,7,-2,13,-9]。
需要说明的是,一阶差分序列可反映烟雾浓度数据的变化情况,即烟雾浓度递增、递减或持续稳定的特征(正负符号即可区分递增或递减),由于场景中存在递增、递减以及持续不变的烟雾浓度数值情况,因此,一阶差分序列中理论上会存在相比于新烟雾浓度时序数据而言有更大的重复冗余特征;二阶差分序列可反映出烟雾浓度递增或递减的程度大小,即数值为正,即可表明递增或递减程度高,数值为负则表明递增或递减程度减弱。
进一步的,构建聚类空间,对新烟雾浓度时序数据中存在两次差分对应的数值的数据点进行映射以及聚类划分所对应的聚类结果,具体的:以一阶差分值为横轴,以二阶差分值为纵轴,构建二维聚类空间,根据所述一阶差分序列和所述二阶差分序列,将所述新烟雾浓度时序数据中的数据点映射在所述二维聚类空间中,并使用K-means聚类算法对所述二维聚类空间中的数据点进行聚类,以将所述新烟雾浓度时序数据中的数据点划分为第一聚类簇、第二聚类簇和第三聚类簇,其中,所述第一聚类簇、所述第二聚类簇和所述第三聚类簇之间的数据点数值的重要程度依次增加。
在一实施方式中,参照图3,其为本发明实施例所提供的一种二维聚类空间的示意图,图3中,横轴和纵轴分别表示一阶差分值和二阶差分值,且中点为0点,‘+、-’分别代表数据的正方向和负方向;虚线为理论上需要划分的三大部分:,对应第一聚类簇、第二聚类簇和第三聚类簇;位于横轴0点左侧的数据点代表其一阶差分值为负,则表示当前数据点对应的烟雾浓度变化呈现减小的趋势,重要性较低;反之,位于横轴0点右侧的数据点代表一阶差分值为正,表示当前数据点的烟雾浓度变化呈现增高上升趋势,重要性较高;而对于均位于横轴0点右侧的数据点,/>区域中的数据点表示二阶差分值为负,而/>区域中的数据点表示二阶差分值为正,前者递增程度相较于后者较低,也即是/>区域的数据点的重要性小于/>区域的数据点,而/>区域的数据点的重要性低于/>区域的数据点,相当于,第一聚类簇的数据点的重要性小于第二聚类簇的数据点,而第二聚类簇的数据点的重要性低于第三聚类簇的数据点。
值得说明的是,K-means聚类算法属于现有技术,此处不再详细赘述。
步骤S103,根据聚类结果对新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,根据优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列。
在对新烟雾浓度时序数据进行聚类划分得到对应的聚类结果之后,即可根据聚类结果对新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,首先,针对聚类结果中的第一聚类簇:
获取所述第一聚类簇在所述新烟雾浓度时序数据中的至少一个数据子序列,
针对数据点数量超过预设数量阈值的任一数据子序列中的任一数据点,获取所述数据子序列中的起始数据点和末尾数据点,获取所述起始数据点和所述末尾数据点之间的数值差值,根据所述起始数据点和所述末尾数据点分别在所述数据子序列中的位置编号,计算位置编号差值,计算所述数值差值与所述位置编号差值之间的第一比值;
获取所述第一比值与所述末尾数据点的位置编号之间的第一乘积,将所述起始数据点的位置编号与所述第一乘积的差值作为所述数据点的函数截距,获取所述数据点在所述数据子序列中的位置编号,获取所述数据点在所述数据子序列中的位置编号与所述第一比值之间的第二乘积,将所述第二乘积与所述数据点的函数截距之间的相加结果作为所述数据点的替换值。
在一实施方式中,在新烟雾浓度时序数据中获取第一聚类簇中的数据点所组成的至少一个数据子序列,并将数据点数量超过2的数据子序列作为目标子序列,对于数据点数量不超过2的数据子序列,不需要对该数据子序列中的数据点的数值进行替换优化处理,则以任一目标子序列中的第j个数据点为例,若第j个数据点在一阶差分序列对应的一阶差分值为负数,则表示烟雾浓度数据之间的差异减小或递减,因此,对于烟雾浓度场景下,差异递减的烟雾浓度数据的具体数值或趋势并不重要,故,对第j个数据点的数值进行如下公式的替换处理:
其中,表示第j个数据点的替换值,/>表示第j个数据点所在目标子序列中的末尾数据点(最后一个数据点)的数值,/>示第j个数据点所在目标子序列中的起始数据点(第一个数据点)的数值,/>表示第j个数据点所在目标子序列中的末尾数据点(最后一个数据点)的位置编号,/>表示第j个数据点所在目标子序列中的起始数据点(第一个数据点)的位置编号,/>表示第j个数据点在目标子序列中的位置编号,/>表示第j个数据点的函数截距,且/>。
需要说明的是,通过上述替换处理公式,可将当前属于第一聚类簇且在新烟雾浓度时序数据中属于连续的数据点的递减差值相等,便于后于的差分游程编码的压缩处理。
然后,针对聚类结果中的第二聚类簇:
针对所述第二聚类簇中的任一数据点,根据所述数据点在新烟雾浓度时序数据中的位置,在所述新烟雾浓度时序数据中获取与所述数据点属于前相邻且属于所述第三聚类簇中的数据点作为第一目标数据点,在所述新烟雾浓度时序数据中获取与所述数据点属于后相邻且属于所述第三聚类簇中的数据点作为第二目标数据点,获取所述第一目标数据点和所述第二目标数据点之间的数值均值;
根据所述第一目标数据点和所述数据点分别在新烟雾浓度时序数据中的位置编号,获取第一位置差异距离,根据所述第二目标数据点和所述数据点分别在新烟雾浓度时序数据中的位置编号,获取第二位置差异距离,计算所述第一位置差异距离和所述第二位置差异距离之间的加和结果;
将所述数值均值和所述加和结果之间的比值作为所述数据点的替换值。
在一实施方式中,对于新烟雾浓度时序数据中属于第二聚类簇中的数据点,其表示当前时刻采集的烟雾浓度数值具有递增的趋势,但递增程度相较于上一采集时刻较缓,因此,针对第二聚类簇中的第i个数据点,记第i个数据点在新烟雾浓度时序数据中的位置编号为,在新烟雾浓度时序数据中与第i个数据点属于前相邻且属于第三聚类簇中的数据点的位置编号记为/>,在新烟雾浓度时序数据中与第i个数据点属于前相邻且属于第三聚类簇中的数据点的位置编号记为/>,则利用如下公式对第i个数据点的数值进行替换处理:
其中,表示第i个数据点的替换值,/>表示在新烟雾浓度时序数据中与第i个数据点属于前相邻且属于第三聚类簇中的数据点的位置编号,也即是第一目标数据点的位置编号,/>表示在新烟雾浓度时序数据中与第i个数据点属于后相邻且属于第三聚类簇中的数据点的位置编号,也即是第二目标数据点的位置编号,/>表示第二目标数据点和第i个数据点之间的第二位置差异距离,/>表示第一目标数据点和第i个数据点之间的第一位置差异距离。
需要说明的是,通过对第i个数据点的第一目标数据点和第二目标数据点进行均值计算,可将递增程度较低且随机的数据点进行优化,得到较为同频的递增数据值,便于后续的差分游程编码压缩处理。
最后,针对聚类结果中的第三聚类簇:由于第三聚类簇中的每个数据点的数值变化具有逐步稳定递增,且递增程度逐步增大的特征,则认为该聚类簇中的每个数据点的数值非常重要,对于异常预警是有效数据,因此,对于第三聚类簇中的每个数据点的数值,保持数值不变,也即是不需要进行替换处理。
至此,根据聚类结果中的第一聚类簇、第二聚类簇和第三聚类簇中的数据点的变化特征,分别进行自适应替换优化处理,从而得到优化烟雾浓度时序数据。
进一步的,通过上述替换处理对新烟雾浓度时序数据进行优化替换处理,从而得到了优化烟雾浓度时序数据,而对优化烟雾浓度时序数据使用差分游程编码的压缩处理,即可达到最大程度的数据重复冗余性,能够大大提升压缩效率,因此,根据优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列,具体的:对所述优化烟雾浓度时序数据中的数据点进行一阶差分处理,得到初始差分序列,将所述优化烟雾浓度时序数据中的第一个数据点和所述初始差分序列组成待压缩存储序列。
举例说明:记录优化烟雾浓度时序数据中的第一个数据点,再记录优化烟雾浓度时序数据中的第二个数据点和第一数据点之间的数值差值,再记录优化烟雾浓度时序数据中的第三个数据点和第二数据点之间的数值差值,依次类推,将所有的记录结果作为待压缩存储序列。
步骤S104,构建待压缩存储序列的二维空间矩阵,根据二维空间矩阵获取游程编码的每个预设压缩方式下的压缩效果评估参数,根据所有压缩效果评估参数,获取游程编码的最优压缩方式。
由于一维数据序列中的数值相互之间的相关性较弱,导致游程编码方式受限,因此,对于待压缩存储序列,首先对待压缩存储序列进行二维空间矩阵的映射处理,具体为:构建一个尺寸的矩阵,其中,/>的具体数值根据待压缩存储序列中的数据点数量设定,尽量保证整除,若矩阵中存在空余单位矩阵,则进行补0处理。
对待压缩存储序列中的数值使用光栅扫描方式(逐行映射)进行二维空间矩阵的数据映射处理,得到了映射后的二维空间矩阵,此时游程编码可选择的压缩方式更为灵活,本发明实施例中,预设压缩方式包括横向压缩和纵向压缩,因此,根据二维空间矩阵中的数据点分布,分别获取每个预设压缩方式下的压缩效果评估参数,具体为:
针对任一预设压缩方式,在所述二维空间矩阵中获取所述预设压缩方式下连续相等数值所对应的至少一个连续数据段,根据每个所述连续数据段所包含的数据点数量,获取最大数据点数量以及数据点数量超过预设的第一数量阈值的连续数据段数量;
获取所述待压缩存储序列的序列长度,计算所述序列长度与所述最大数据点数量之间的第二比值,对所述连续数据段数量进行归一化处理,得到对应的归一化值,将所述第二比值和所述归一化值进行加权求和的结果作为所述预设压缩方式的压缩效果评估参数。
在一实施方式中,任一预设压缩方式的压缩效果评估参数的计算表达式为:
其中,E表示当前压缩方式的压缩效果评估参数,表示当前压缩方式下连续相等数值所对应的最大数据点数量,也即是最长的连续数据段,M表示待压缩存储序列的序列长度,/>表示归一化函数,/>表示当前压缩方式下的连续相等数值的数据点数量超过预设的第一数量阈值的连续数据段数量,/>表示第一权重,/>表示第二权重。
优选的,本发明实施例中,设置,预设的第一数量阈值/>。
需要说明的是,当前压缩方式下存在的最长的连续数据段越大,对应该压缩方式下的压缩效果越好,同时,待压缩存储序列中存在超过预设第一数量阈值的连续数据段的数量越多,说明数据重复冗余性越好,对应该压缩方式下的压缩效果越好。
至此,利用上述任一预设压缩方式的压缩效果评估参数的获取方法,能够获取对待压缩存储序列进行游程编码压缩时所采用的每种预设压缩方式的压缩效果评估参数,进而能够根据所有压缩效果评估参数,获取游程编码的最优压缩方式,也即对比所有压缩效果参数,将最大的压缩效果参数所对应的预设压缩方式作为游程编码的最优压缩方式。
步骤S105,利用最优压缩方式对待压缩存储序列进行游程编码,以完成对展厅烟雾探测器的数据采集压缩。
在得到最优压缩方式之后,即可利用最优压缩方式对待压缩存储序列进行游程编码,从而得到对应的压缩结果,以完成对展厅烟雾探测器的数据采集压缩。同时记录构建的二维空间矩阵的尺寸、最优压缩方式的压缩方向以及待压缩存储序列中的第一个数据值。在获取原始数据时,对压缩效果解压还原二维空间矩阵,并根据压缩方向还原二维空间矩阵中的数值,再根据光栅扫描将其进行降维处理,获取还原的优化烟雾浓度时序数据,最后,对优化烟雾浓度时序数据进行差值的还原处理,得到原始的烟雾浓度时序数据,虽然该方式对监测数据具有一定的损失性,但该有损处理可削弱非重要数据对烟雾浓度数据分析所带来的影响,可实现高效采集压缩,并保证更为精准的报警或预警。
综上所述,本发明实施例根据预设的采样频率获取展厅烟雾探测器在目标时段内采集的烟雾浓度时序数据,对烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据;对新烟雾浓度时序数据进行差分处理,得到一阶差分序列和二阶差分序列,根据一阶差分序列和二阶差分序列,对新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果;根据聚类结果对新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,根据优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列;构建待压缩存储序列的二维空间矩阵,根据二维空间矩阵获取游程编码的每个预设压缩方式下的压缩效果评估参数,根据所有压缩效果评估参数,获取游程编码的最优压缩方式;利用最优压缩方式对待压缩存储序列进行游程编码,以完成对展厅烟雾探测器的数据采集压缩。其中,根据烟雾浓度时序数据中的数据差异,将烟雾浓度时序数据划分为多个类别,并分别根据每个类别的数据变化特征,对类别中的每个数据值进行优化替换处理,在提高烟雾浓度时序数据的数据重复冗余性的同时,还能保留原始数据的数据变化特征,进而基于优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列,并利用最优压缩方式对待压缩存储序列进行游程编码,使得在大大释放采集存储压力的同时,便于分析目标时段内烟雾浓度特征,从而实现更为精准的报警或预警。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (5)
1.一种展厅烟雾探测器数据的高效采集分析方法,其特征在于,所述高效采集分析方法包括:
根据预设的采样频率获取展厅烟雾探测器在目标时段内采集的烟雾浓度时序数据,对所述烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据;
对所述新烟雾浓度时序数据进行差分处理,得到一阶差分序列和二阶差分序列,根据所述一阶差分序列和所述二阶差分序列,对所述新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果;
根据所述聚类结果对所述新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,根据所述优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列;
构建所述待压缩存储序列的二维空间矩阵,根据所述二维空间矩阵获取游程编码的每个预设压缩方式下的压缩效果评估参数,根据所有压缩效果评估参数,获取所述游程编码的最优压缩方式;
利用所述最优压缩方式对所述待压缩存储序列进行游程编码,以完成对所述展厅烟雾探测器的数据采集压缩;
所述根据所述二维空间矩阵获取游程编码的每个预设压缩方式下的压缩效果评估参数,包括:
针对任一预设压缩方式,在所述二维空间矩阵中获取所述预设压缩方式下连续相等数值所对应的至少一个连续数据段,根据每个所述连续数据段所包含的数据点数量,获取最大数据点数量以及数据点数量超过预设的第一数量阈值的连续数据段数量;
获取所述待压缩存储序列的序列长度,计算所述序列长度与所述最大数据点数量之间的第二比值,对所述连续数据段数量进行归一化处理,得到对应的归一化值,将所述第二比值和所述归一化值进行加权求和的结果作为所述预设压缩方式的压缩效果评估参数;
所述根据所述一阶差分序列和所述二阶差分序列,对所述新烟雾浓度时序数据中的数据点进行聚类,得到对应的聚类结果,包括:
以一阶差分值为横轴,以二阶差分值为纵轴,构建二维聚类空间,根据所述一阶差分序列和所述二阶差分序列,将所述新烟雾浓度时序数据中的数据点映射在所述二维聚类空间中,并使用K-means聚类算法对所述二维聚类空间中的数据点进行聚类,以将所述新烟雾浓度时序数据中的数据点划分为第一聚类簇、第二聚类簇和第三聚类簇,其中,所述第一聚类簇、所述第二聚类簇和所述第三聚类簇之间的数据点数值的重要程度依次增加;
所述根据所述聚类结果对所述新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,包括:
获取所述第一聚类簇在所述新烟雾浓度时序数据中的至少一个数据子序列,
针对数据点数量超过预设数量阈值的任一数据子序列中的任一数据点,获取所述数据子序列中的起始数据点和末尾数据点,获取所述起始数据点和所述末尾数据点之间的数值差值,根据所述起始数据点和所述末尾数据点分别在所述数据子序列中的位置编号,计算位置编号差值,计算所述数值差值与所述位置编号差值之间的第一比值;
获取所述第一比值与所述末尾数据点的位置编号之间的第一乘积,将所述起始数据点的位置编号与所述第一乘积的差值作为所述数据点的函数截距,获取所述数据点在所述数据子序列中的位置编号,获取所述数据点在所述数据子序列中的位置编号与所述第一比值之间的第二乘积,将所述第二乘积与所述数据点的函数截距之间的相加结果作为所述数据点的替换值;
所述根据所述聚类结果对所述新烟雾浓度时序数据进行优化替换处理,得到优化烟雾浓度时序数据,包括:
针对所述第二聚类簇中的任一数据点,根据所述数据点在新烟雾浓度时序数据中的位置,在所述新烟雾浓度时序数据中获取与所述数据点属于前相邻且属于所述第三聚类簇中的数据点作为第一目标数据点,在所述新烟雾浓度时序数据中获取与所述数据点属于后相邻且属于所述第三聚类簇中的数据点作为第二目标数据点,获取所述第一目标数据点和所述第二目标数据点之间的数值均值;
根据所述第一目标数据点和所述数据点分别在新烟雾浓度时序数据中的位置编号,获取第一位置差异距离,根据所述第二目标数据点和所述数据点分别在新烟雾浓度时序数据中的位置编号,获取第二位置差异距离,计算所述第一位置差异距离和所述第二位置差异距离之间的加和结果;
将所述数值均值和所述加和结果之间的比值作为所述数据点的替换值。
2.根据权利要求1所述的高效采集分析方法,其特征在于,所述根据所述优化烟雾浓度时序数据中的数据点差异,获取待压缩存储序列,包括:
对所述优化烟雾浓度时序数据中的数据点进行一阶差分处理,得到初始差分序列,将所述优化烟雾浓度时序数据中的第一个数据点和所述初始差分序列组成待压缩存储序列。
3.根据权利要求1所述的高效采集分析方法,其特征在于,所述对所述烟雾浓度时序数据中的每个数据点的数值进行取整处理,得到新烟雾浓度时序数据,包括:
根据所述烟雾浓度时序数据中所有数据点的数值中的小数部分的数据量,获取小数部分的最大数据量,根据所述小数部分的最大数据量,获取统一倍数;
分别获取所述烟雾浓度时序数据中的每个数据点的数值与所述统一倍数之间的乘积,得到新烟雾浓度时序数据。
4.根据权利要求1所述的高效采集分析方法,其特征在于,所述根据所有压缩效果评估参数,获取所述游程编码的最优压缩方式,包括:
对比所有压缩效果参数,将最大的压缩效果参数所对应的预设压缩方式作为所述游程编码的最优压缩方式。
5.根据权利要求1所述的高效采集分析方法,其特征在于,所述预设压缩方式包括横向压缩和纵向压缩。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410256942.XA CN117856799B (zh) | 2024-03-07 | 2024-03-07 | 一种展厅烟雾探测器数据的高效采集分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410256942.XA CN117856799B (zh) | 2024-03-07 | 2024-03-07 | 一种展厅烟雾探测器数据的高效采集分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117856799A CN117856799A (zh) | 2024-04-09 |
CN117856799B true CN117856799B (zh) | 2024-05-31 |
Family
ID=90532777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410256942.XA Active CN117856799B (zh) | 2024-03-07 | 2024-03-07 | 一种展厅烟雾探测器数据的高效采集分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117856799B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115219067A (zh) * | 2022-09-20 | 2022-10-21 | 金乡县成启仓储服务有限公司 | 一种用于大蒜仓储实时状态监测方法 |
CN116259005A (zh) * | 2023-02-04 | 2023-06-13 | 国网浙江省电力有限公司嘉兴供电公司 | 一种基于屋顶光伏消防的智能监控系统 |
CN116523240A (zh) * | 2023-05-04 | 2023-08-01 | 国网甘肃省电力公司陇南供电公司 | 一种基于mcmc方法预测的微电网评价反馈调度方法 |
CN117176175A (zh) * | 2023-11-01 | 2023-12-05 | 深圳对对科技有限公司 | 一种用于计算机的数据传输方法 |
CN117220441A (zh) * | 2023-09-20 | 2023-12-12 | 北京中电普华信息技术有限公司 | 基于全景监控下的信息监测智能预警方法 |
CN117278058A (zh) * | 2023-11-06 | 2023-12-22 | 湖南工商大学 | 一种气候投融资项目数据采集处理方法 |
CN117435145A (zh) * | 2023-12-20 | 2024-01-23 | 北京清水爱派建筑设计股份有限公司 | 一种数字化建筑信息优化存储方法及系统 |
CN117556279A (zh) * | 2024-01-12 | 2024-02-13 | 江苏雷博微电子设备有限公司 | 基于电参数分析的匀胶显影机运行状态监测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3407198A1 (en) * | 2017-05-22 | 2018-11-28 | Siemens Aktiengesellschaft | System, device and method for frozen period detection in sensor datasets |
-
2024
- 2024-03-07 CN CN202410256942.XA patent/CN117856799B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115219067A (zh) * | 2022-09-20 | 2022-10-21 | 金乡县成启仓储服务有限公司 | 一种用于大蒜仓储实时状态监测方法 |
CN116259005A (zh) * | 2023-02-04 | 2023-06-13 | 国网浙江省电力有限公司嘉兴供电公司 | 一种基于屋顶光伏消防的智能监控系统 |
CN116523240A (zh) * | 2023-05-04 | 2023-08-01 | 国网甘肃省电力公司陇南供电公司 | 一种基于mcmc方法预测的微电网评价反馈调度方法 |
CN117220441A (zh) * | 2023-09-20 | 2023-12-12 | 北京中电普华信息技术有限公司 | 基于全景监控下的信息监测智能预警方法 |
CN117176175A (zh) * | 2023-11-01 | 2023-12-05 | 深圳对对科技有限公司 | 一种用于计算机的数据传输方法 |
CN117278058A (zh) * | 2023-11-06 | 2023-12-22 | 湖南工商大学 | 一种气候投融资项目数据采集处理方法 |
CN117435145A (zh) * | 2023-12-20 | 2024-01-23 | 北京清水爱派建筑设计股份有限公司 | 一种数字化建筑信息优化存储方法及系统 |
CN117556279A (zh) * | 2024-01-12 | 2024-02-13 | 江苏雷博微电子设备有限公司 | 基于电参数分析的匀胶显影机运行状态监测方法及系统 |
Non-Patent Citations (3)
Title |
---|
Theta phase precession of grid and place cell firing in open environments;Jeewajee, A等;《PHILOSOPHICAL TRANSACTIONS OF THE ROYAL SOCIETY B-BIOLOGICAL SCIENCES》;20140205;全文 * |
基于时间相关性的差分消零数据压缩算法研究;范欢欢;严军;赵勇;蒋莉;孟伟;;电子测量技术;20180623(第12期);全文 * |
工业物联高频时序数据压缩技术研究;陈辉;《万方数据》;20221118;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117856799A (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116192971B (zh) | 智能云能源运维服务平台数据管理方法 | |
CN116828070B (zh) | 一种智慧电网数据优化传输方法 | |
CN112037009A (zh) | 一种基于随机森林算法的消费信贷场景的风险评估方法 | |
CN116032294B (zh) | 一种用于大气监测数据的智能处理方法 | |
CN114090646A (zh) | 异常用电辨识方法及系统 | |
CN112395608A (zh) | 网络安全威胁监测方法、装置和可读存储介质 | |
CN117856799B (zh) | 一种展厅烟雾探测器数据的高效采集分析方法 | |
US11847619B2 (en) | System-state monitoring method and device and storage medium | |
CN117896442B (zh) | 一种基于物联网的综合能源数据管理系统 | |
CN117148045A (zh) | 配电网运行状态的故障研判管理系统 | |
CN111797899B (zh) | 一种低压台区kmeans聚类方法及系统 | |
CN103793438A (zh) | 一种基于MapReduce的并行聚类方法 | |
CN111870241B (zh) | 基于优化的多维样本熵的癫痫发作信号检测方法 | |
CN116595102B (zh) | 一种改进聚类算法的大数据管理方法及系统 | |
CN115964347B (zh) | 一种市场监管监测中心数据的智能存储方法 | |
CN114036845B (zh) | 一种风电场群模型构建方法 | |
CN114090659A (zh) | 一种融合大数法则的数据分析方法 | |
CN113271106B (zh) | 一种稀疏表示的电厂数据压缩方法 | |
CN118655362B (zh) | 一种具有电能质量分析功能的融合一体终端 | |
CN117519449B (zh) | 一种服务器主板电源控制方法、装置及设备 | |
CN117725383B (zh) | 基于聚类筛选对光伏电力电网的能源分析方法 | |
CN118199653B (zh) | 一种粮储安全监控系统 | |
CN118211092B (zh) | 一种电机控制器数据存储方法及系统 | |
CN113868207B (zh) | 一种信息冗余抖动特征的压缩展示方法及系统 | |
Margham et al. | Optimal Order of Hippocampal Place Cell Models Constructed Using Expansions of Zernike Polynomials and Power Series |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |