CN116256025B - 一种超滤水装置曝气数据监测系统 - Google Patents

一种超滤水装置曝气数据监测系统 Download PDF

Info

Publication number
CN116256025B
CN116256025B CN202310537459.4A CN202310537459A CN116256025B CN 116256025 B CN116256025 B CN 116256025B CN 202310537459 A CN202310537459 A CN 202310537459A CN 116256025 B CN116256025 B CN 116256025B
Authority
CN
China
Prior art keywords
data
trend
type
vector
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310537459.4A
Other languages
English (en)
Other versions
CN116256025A (zh
Inventor
陈杰
陈康
赵应群
施林伟
廖乃上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Nolai Intelligent Water Equipment Co ltd
Original Assignee
Jiangsu Nolai Intelligent Water Equipment Co ltd
Beijing Shiku Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Nolai Intelligent Water Equipment Co ltd, Beijing Shiku Technology Co ltd filed Critical Jiangsu Nolai Intelligent Water Equipment Co ltd
Priority to CN202310537459.4A priority Critical patent/CN116256025B/zh
Publication of CN116256025A publication Critical patent/CN116256025A/zh
Application granted granted Critical
Publication of CN116256025B publication Critical patent/CN116256025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02WCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO WASTEWATER TREATMENT OR WASTE MANAGEMENT
    • Y02W10/00Technologies for wastewater treatment
    • Y02W10/10Biological treatment of water, waste water, or sewage

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及数据处理技术领域,提出了一种超滤水装置曝气数据监测系统,包括:采集曝气数据的多种类型数据;获取每种类型数据中每个数据点的变化序列,得到每种类型数据中每个数据点的趋势向量;获取若干候选分段值,得到每种类型数据在不同候选分段值下的数据矩阵及趋势矩阵,根据趋势矩阵获取每种类型数据的最优分段值,得到每种类型数据的最优数据矩阵及最优趋势矩阵;获取每种类型数据的趋势特征向量及转换向量,根据所有趋势特征向量获取混合数据及顺序标记序列,对混合数据进行压缩;将压缩后的混合数据、顺序标记序列及转换向量进行传输,完成曝气数据的监测。本发明旨在结合曝气数据中不同类型数据的趋势相关性提高压缩率。

Description

一种超滤水装置曝气数据监测系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种超滤水装置曝气数据监测系统。
背景技术
超滤水装置曝气数据包括多种类型数据,例如气泡数据、溶解氧浓度以及曝气流量,由于曝气数据中数据量较大,因此在监测过程中首先需要对曝气数据进行压缩处理,再传输到监测模块中进行曝气数据监测,现有技术中通常采用移动平均、分段及差分等方法进行数据压缩,然而这些方法都属于有损压缩,会对数据造成损失,导致异常数据的丢失或数据失真。
曝气数据中不同类型数据存在趋势变化的相关性,一个类型数据的变化往往会引起其他类型数据的变化,因此考虑通过将不同类型数据根据趋势相关性转换到趋势空间中,由于趋势变化的相近,提高了不同类型数据的相关性,进而得到较大压缩率,提高了压缩效果的同时保证了原始数据的准确性。
发明内容
本发明提供一种超滤水装置曝气数据监测系统,以解决现有的曝气数据压缩造成数据丢失及失真的问题,所采用的技术方案具体如下:
本发明一个实施例提供了一种超滤水装置曝气数据监测系统,该系统包括:
曝气数据采集模块,采集曝气数据的多种类型数据;
曝气数据压缩模块:获取每种类型数据的数据长度,根据数据长度获取若干窗口长度,根据每个窗口长度对每种类型数据进行移动平均,获取每种类型数据中每个数据点的变化序列,根据变化序列获取每种类型数据中每个数据点的趋势向量;
根据类型数据长度获取若干候选分段值,根据候选分段值获取每种类型数据在每个候选分段值下的数据矩阵,将数据矩阵中每个元素替换为数据点对应的趋势向量,记为每种类型数据在每个候选分段值下的趋势矩阵,根据趋势矩阵获取每种类型数据在每个候选分段值下的描述向量,根据描述向量获取每种类型数据的最优分段值,将每种类型数据在最优分段值下的数据矩阵及趋势矩阵,记为每种类型数据的最优数据矩阵及最优趋势矩阵;
根据最优趋势矩阵获取每种类型数据的趋势特征向量,根据每种类型数据的趋势特征向量及最优数据矩阵,得到每种类型数据的转换向量,根据多种类型数据的趋势特征向量获取混合数据及顺序标记序列,对混合数据进行压缩得到压缩后的混合数据;
曝气数据监测模块,将压缩后的混合数据、顺序标记序列及每种类型数据的转换向量进行传输,完成曝气数据的监测。
可选的,所述获取每种类型数据中每个数据点的变化序列,包括的具体方法为:
以任意一种类型数据为目标类型数据,根据每个窗口长度对目标类型数据进行平均,得到每个窗口长度对应的目标类型数据的一个平滑序列;
将目标类型数据中任意一个数据点作为目标数据点,将目标数据点在不同窗口长度的平滑序列中对应的数据值,根据窗口长度从小到大排列作为目标数据点的变化序列;获取每种类型数据中每个数据点的变化序列。
可选的,所述根据变化序列获取每种类型数据中每个数据点的趋势向量,包括的具体方法为:
以任意一种类型数据为目标类型数据,将目标类型数据中每个数据点作为图结构中的节点,将每个数据点的变化序列作为每个数据点对应节点的节点值,将两个节点对应的变化序列之间的余弦相似度作为两个节点之间的边值,得到目标类型数据的图结构;
获取图结构中每个节点的嵌入向量,将每个节点的嵌入向量作为对应数据点的趋势向量;获取每种类型数据中每个数据点的趋势向量。
可选的,所述根据候选分段值获取每种类型数据在每个候选分段值下的数据矩阵,包括的具体方法为:
以任意一种类型数据为目标类型数据,任意一个候选分段值作为目标候选分段 值,首先计算空位置的数量
Figure SMS_2
Figure SMS_6
表示目标候选分段值,
Figure SMS_9
表示数据长度;将空位 置数量
Figure SMS_1
除以
Figure SMS_5
得到商与余数,商记为
Figure SMS_8
,余数记为
Figure SMS_10
;将矩阵倒数第一列至倒数第
Figure SMS_3
列全部 填充为0,再把矩阵的倒数第
Figure SMS_4
列中倒数第一行至倒数第
Figure SMS_7
行的元素填充为0;
获取目标候选分段值构成的矩阵中没有填充0的其他位置,按照从左到右从上到下的数据分别将目标类型数据进行填入,则得到了目标类型数据在目标候选分段值下的数据矩阵;
对每个候选分段值构成的矩阵进行填充0操作,并得到每种类型数据在每个候选分段值下的数据矩阵。
可选的,所述根据趋势矩阵获取每种类型数据在每个候选分段值下的描述向量,包括的具体方法为:
以任意一种类型数据为目标类型数据,任意一个候选分段值作为目标候选分段值,目标类型数据在目标候选分段值下的趋势矩阵为目标趋势矩阵,将目标趋势矩阵中每一行的所有元素的趋势向量首尾拼接在一起,则每行构成一个行向量,将目标趋势矩阵中每一行的行向量作为因子分析的输入,输出得到一个公共因子向量,将公共因子向量作为目标趋势矩阵的描述向量,得到目标类型数据在目标候选分段值下的描述向量;
获取每种类型数据在每个候选分段值下的描述向量。
可选的,所述根据描述向量获取每种类型数据的最优分段值,包括的具体方法为:
以任意一种类型数据为目标类型数据,任意一个候选分段值作为目标候选分段值,目标类型数据在目标候选分段值下的描述向量为目标描述向量,将目标描述向量与目标类型数据在其他每个候选分段值下的描述向量的余弦相似度之和,作为目标描述向量的优选程度;
获取目标类型数据在每个候选分段值下的描述向量的优选程度,将优选程度最大值对应的描述向量对应的候选分段值,作为目标类型数据的最优分段值;
获取每种类型数据的最优分段值。
可选的,所述根据最优趋势矩阵获取每种类型数据的趋势特征向量,包括的具体方法为:
以任意一种类型数据为目标类型数据,目标类型数据的最优趋势矩阵记为目标最优趋势矩阵,获取目标最优趋势矩阵中任意一行所有元素的趋势向量,将获取的趋势向量降维成一维的标量,对目标最优趋势矩阵每一行的所有趋势向量都分别降维成一个标量,则每一行的标量构成了一个列向量,记为目标类型数据的趋势特征向量。
可选的,所述根据多种类型数据的趋势特征向量获取混合数据及顺序标记序列,包括的具体方法为:
计算任意两个趋势特征向量之间的DTW距离,将每个趋势特征向量与其他每个趋势特征向量之间的DTW距离之和作为每个趋势特征向量的匹配距离,获取每个趋势特征向量的匹配距离;
将匹配距离最小的趋势特征向量作为第一向量,获取第一向量中每个标量与其他每个趋势特征向量中每个标量的匹配关系,提取第一向量中与其他趋势特征向量中标量存在一对一匹配关系的标量,将这些标量记为第一标量;统计每个第一标量的一对一匹配标量数量,即每个第一标量存在多少个一对一匹配关系的其他趋势特征向量中标量,将第一标量按照一对一匹配标量数量降序排列,得到的序列记为第一标量序列;获取每个第一标量一对一匹配的其他趋势特征向量中标量,记为每个第一标量的其他标量,将每个第一标量的其他标量根据对应的趋势特征向量与第一向量的DTW距离升序排列,得到每个第一标量的其他标量序列;将每个第一标量分别插入到对应的其他标量序列的第一个位置,得到每个第一标量的第一匹配序列;将第一匹配序列按照第一标量序列中元素的顺序首尾相连拼接,得到的结果记为第一混合序列;
将匹配距离第二小的趋势特征向量作为第二向量,提取第二向量中与其他趋势特征向量中标量存在一对一匹配关系的标量,将这些标量记为第二标量;统计每个第二标量的一对一匹配标量数量,降序排列得到第二标量序列;将第二标量一对一匹配的其他趋势特征向量中标量记为第二标量的其他向量,将每个第二标量的其他标量根据对应的趋势特征向量与第二向量的DTW距离升序排列,得到每个第二标量的其他标量序列;分别插入第二标量得到每个第二标量的第二匹配序列,将第二匹配序列按照第二标量序列中元素的顺序首尾相连拼接,得到的结果记为第二混合序列;
将匹配距离第三小的趋势特征向量作为第三向量,获取第三混合序列;将所有趋势特征向量根据匹配距离从小到大排列,最小的趋势特征向量为第一向量得到第一混合序列,第二小的趋势特征向量为第二向量得到第二混合序列,依次对每个趋势特征向量得到相应的混合序列;直到所有趋势特征向量中不再包含没有归入到任意一个混合序列中的标量,则停止混合序列的获取,此时对于所有趋势特征向量中的剩余标量,首先根据匹配距离从小到大的顺序,将第一向量中的剩余标量按照第一向量中的顺序进行排列,再将第二向量中的剩余标量按照第二向量中的顺序继续排列,直到对匹配距离最大的趋势特征向量的剩余标量排列完成,得到的序列记为剩余混合序列;
将每个趋势特征向量对应的混合序列按照匹配距离从小到大的顺序首尾相连拼接,并在拼接序列最后接入剩余混合序列,完成所有趋势特征向量的拼接,记为混合数据;
将混合数据中每个元素对应的趋势特征向量所属类型数据以及在趋势特征向量中的位序,按照混合数据中的顺序进行存储,记为顺序标记序列。
本发明的有益效果是:本发明通过不同种类型数据之间的变化趋势相近,一种类型数据的变化往往会导致另一种类型数据的相近变化这个特点,将每种类型数据通过转换向量转换到趋势空间中,得到趋势特征向量,通过对趋势特征向量数据进行匹配得到混合数据,提高数据相关性;进而通过对混合数据进行数据压缩,一方面压缩基于趋势特征向量进行,本身相比原始数据数据量更小,同时通过匹配得到混合数据,提高相关性,对混合数据进行压缩,得到了更高的压缩效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种超滤水装置曝气数据监测系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明一个实施例所提供的一种超滤水装置曝气数据监测系统结构框图,该系统包括:
曝气数据采集模块S101,采集曝气数据的多种类型数据。
本实施例的目的是对超滤水装置曝气数据进行压缩并监测,因此首先需要采集曝气数据;超滤水装置的曝气数据监测过程中有多种数据,本实施例以下面的三种类型数据为例进行采集并说明:
气泡数量:随着曝气量的增加,气泡数量也会增加;
溶解氧浓度:随着曝气量的增加和水温的降低,溶解氧浓度也随之上升;
曝气流量:随着气泡数量的变化,曝气流量也相应的变化;一般来说,随着曝气量的增加,曝气流量也会增加。
本实施例对多种类型的数据进行采集,这些数据都是时序序列,每个时序序列中的数据点分别表示每个时刻下的气泡数量、溶解氧浓度以及曝气流量;其中气泡数量通过气泡计数器获取,溶解氧浓度通过水中的氧气浓度传感器获取,曝气流量通过流量传感器获取;本实施例中曝气数据每一小时进行一次监测,即通过近一个小时的曝气数据进行监测,时序数据本实施例每一分钟进行一次采样。
至此,完成了对于曝气数据中多种类型数据的采集。
曝气数据压缩模块S102:
需要说明的是,不同类型数据之间的变化趋势相近,一种类型数据的变化往往会导致另一种数据相近的变化,因此考虑通过将不同种数据转换到趋势空间中,对变化趋势数据进行压缩,由于不同种数据的变化趋势相近,即相关性较大,可以有效提高压缩效果;为了获得较大的压缩率,需要将每种类型数据转换成一个趋势特征向量,这个趋势特征向量可被高效的压缩,同时这个趋势特征向量还必须包含每种类型数据的趋势或变化规律,然后将这个趋势特征向量进行压缩传输,而不是直接对每种类型数据进行压缩传输,从而达到根据不同种类型数据之间的趋势相关性来实现数据压缩并高效传输的目的。
本实施例中首先根据每种类型数据的变化规律获得每个数据点的趋势向量,再根 据每种类型数据中所有数据点的趋势向量获得每种类型数据的趋势特征向量,以保证每种 类型数据的趋势特征向量能够反映每种类型数据的趋势或规律,避免在对趋势特征向量传 输时损坏每种数据重要特征的情况;然后再将每种类型数据转化成一个矩阵
Figure SMS_12
,只要求解出 一个向量
Figure SMS_15
,使得
Figure SMS_17
,那么便可实现上述目的;其中
Figure SMS_13
表示每种类型数据的趋势特征 向量,
Figure SMS_14
表示向量
Figure SMS_16
的转置,为了使得向量
Figure SMS_18
可以被求解,本实施例中需要保证
Figure SMS_11
是可逆的矩 阵。
(1)对每种类型数据通过不同窗口长度进行移动平均,获取每种类型数据中每个数据点的变化序列,根据变化序列获取每种类型数据中每个数据点的趋势向量。
需要说明的是,计算数据趋势最常用的是MA即移动平均法,由于要计算的是不同种类型数据的趋势,对于不同种类型数据而言,数据值不同,则不能直接用数据值作为趋势;因此将数据点在不同窗口尺度下的数据值来作为每个数据的变化序列,通过变化序列来表示每个数据点的趋势;同时由于趋势相近的数据点往往在时间上连续,因此需要计算一段时间内的数据趋势,即每个数据点的趋势表征值需要含有邻近数据的趋势信息,因此通过图嵌入的方法得到每个数据点的趋势向量。
具体的,首先获取每种类型数据的数据长度,由于每种类型数据采样的时间及频 率均相等,因此每种类型数据的数据长度相等,本实施例用
Figure SMS_19
表示每种类型数据的数据长 度,计算
Figure SMS_20
作为窗口长度选取区间,将窗口长度选取区间中的整数作为窗口长 度,得到若干窗口长度;以任意一种类型数据为例,根据每个窗口长度分别对该类型数据通 过移动平均法进行滑窗计算,得到每个窗口长度对应的该种类型数据的一个平滑序列,将 该类型数据中任意一个数据点在不同窗口长度的平滑序列中对应的数据值,根据窗口长度 从小到大排列作为该数据点的变化序列;按照上述方法获取每种类型数据中每个数据点的 变化序列;需要说明的是,通过移动平均法根据窗口长度进行滑窗计算为公知技术,本实施 例不再赘述。
进一步的,以任意一种类型数据为例,将每个数据点作为图结构中的节点,将每个 数据点的变化序列作为每个数据点对应节点的节点值,将两个节点对应的变化序列之间的 余弦相似度作为两个节点之间的边值,则根据该种类型数据中所有数据点构建得到了一个 图结构;通过GraphSAGE方法,得到该图结构中每个节点的嵌入向量,将每个节点的嵌入向 量作为对应数据点的趋势向量,其中GraphSAGE方法获取嵌入向量为现有技术,本实施例不 再赘述;需要说明的是,本实施例中将每个节点的嵌入向量设置为
Figure SMS_21
维,采用
Figure SMS_22
进行叙 述;嵌入向量可以表示每个节点与周围节点的变化序列之间的相近关系,则趋势向量即包 含了邻近数据的趋势信息;按照上述方法获取每种类型数据中每个数据点的趋势向量。
至此,获取到了每种类型数据中每个数据点的趋势向量。
(2)根据类型数据长度获取若干候选分段值,得到每种类型数据在不同候选分段值下的数据矩阵,根据数据矩阵及趋势向量得到若干趋势矩阵,根据趋势矩阵获取每种类型数据在每个候选分段值下的描述向量,根据描述向量获取每种类型数据的最优分段值,得到每种类型数据的最优数据矩阵及最优趋势矩阵。
本实施例通过对每种类型数据进行分段来将每种类型数据分别转换成一个矩阵,对每种类型数据进行分段并得到矩阵的方法为:
首先根据每种类型数据长度
Figure SMS_23
,计算
Figure SMS_24
的开平方值并向上取整,表示为
Figure SMS_25
,将
Figure SMS_26
作为候选分段选取区间,将候选分段区间中的整数作为候选分段盒子,则得到了若干候选 分段值,候选分段值用
Figure SMS_27
表示;需要说明的是,需要将长度为
Figure SMS_28
的数据填充到长宽均为
Figure SMS_29
的矩 阵中,则矩阵中会有剩余位置无法填充到数据,形成空位置,本实施例需要将这些空位置进 行补0操作,为了尽可能保留矩阵与类型数据之间的趋势变化关系,需要一种对于矩阵的补 0方法。
具体的,对于任意一个候选分段值,首先计算空位置的数量
Figure SMS_31
Figure SMS_35
表示 该候选分段值,
Figure SMS_39
表示数据长度;将空位置数量
Figure SMS_33
除以
Figure SMS_36
得到商与余数,商记为
Figure SMS_40
,余数记为
Figure SMS_42
;将矩阵倒数第一列至倒数第
Figure SMS_30
列全部填充为0,再把矩阵的倒数第
Figure SMS_34
列中倒数第一行 至倒数第
Figure SMS_38
行的元素填充为0;需要说明的是,当
Figure SMS_41
时,不执行“将矩阵倒数第一列至倒 数第
Figure SMS_32
列全部填充为0”这一操作;获取该候选分段值构成的矩阵中没有填充0的其他位置, 按照从左到右从上到下的数据分别将每种类型数据进行填入,则得到了每种类型数据在该 候选分段值下的数据矩阵;按照上述方法对每个候选分段值构成的矩阵进行填充0操作,进 而得到每种类型数据在每个候选分段值下的数据矩阵;同时对于任意一个数据矩阵,将数 据矩阵中每个元素替换为数据点对应的趋势向量,填充0的元素用
Figure SMS_37
维的0向量进行替换,则 得到了该数据矩阵对应的趋势矩阵;按照上述方法获取每种类型数据在每个候选分段值下 的趋势矩阵。
进一步需要说明的是,每种数据在每个候选分段值下都对应一个数据矩阵及一个趋势矩阵,则需要确定一个最优分段值来得到最优数据矩阵及最优趋势矩阵,其中最优分段值下的最优趋势矩阵可以最大程度地反映每种类型数据的趋势变化关系,则需要对每个趋势矩阵获取一个描述向量,同种类型数据不同候选分段值下不同趋势矩阵的描述向量进行比对,与其他描述向量相似度最大的描述向量对应的候选分段值即为该种类型数据的最优分段值。
具体的,以任意一种类型数据在任意一个候选分段值下的趋势矩阵为例,将该趋势矩阵中每一行的所有元素的趋势向量首尾拼接在一起,则每行构成一个行向量,将该趋势矩阵中每一行的行向量作为因子分析的输入,输出得到一个公共因子向量,将公共因子向量作为该趋势矩阵的描述向量,则得到了该种类型数据在该候选分段值下的描述向量,其中因子分析为公知技术,本实施例不再赘述;按照上述方法获取该种类型数据在每个候选分段值下的描述向量,计算任意两个描述向量之间的余弦相似度,将任意一个描述向量与其他每个描述向量的余弦相似度之和作为该描述向量的优选程度,获取每个描述向量的优选程度,将优选程度最大值对应的描述向量对应的候选分段值,作为该种类型数据的最优分段值,该种类型数据在最优分段值下的数据矩阵记为该种类型数据的最优数据矩阵,最优数据矩阵对应的趋势矩阵记为该种类型数据的最优趋势矩阵;按照上述方法获取每种类型数据的最优分段值,以及每种类型数据的最优数据矩阵及最优趋势矩阵。
至此,获取了每种类型矩阵的最优分段值、最优数据矩阵以及最优趋势矩阵;最优趋势矩阵可以最大程度地反映每种类型数据的变化趋势,根据最优趋势矩阵后续量化得到的趋势特征向量会更加准确。
(3)根据最优趋势矩阵获取每种类型数据的趋势特征向量,根据趋势特征向量及最优数据矩阵获取每种类型数据的转换向量,根据多种类型数据的趋势特征向量获取混合数据及顺序标记序列,对混合数据进行压缩。
需要说明的是,获取到每种类型数据的最优趋势矩阵后,需要根据最优趋势矩阵 获取趋势特征向量,趋势特征向量为一个列向量,趋势特征向量的维度即为对应类型数据 的最优分段值,趋势特征向量即为
Figure SMS_43
中的
Figure SMS_44
,同时
Figure SMS_45
为最优数据矩阵,则再得到一个 转换向量
Figure SMS_46
,即可根据趋势特征向量进行压缩,同时在解压过程中通过趋势特征向量及转换 向量即可得到最优数据矩阵,进而还原得到每种类型数据。
具体的,以任意一种类型数据的最优趋势矩阵为例,获取该最优趋势矩阵中任意 一行所有元素的趋势向量,不包括填充成0元素对应的0向量,将获取的趋势向量降维成一 维的标量,对该最优趋势矩阵每一行的所有趋势向量都分别降维成一个标量,则每一行的 标量构成了一个列向量,记为该种类型数据的趋势特征向量,表示为
Figure SMS_47
;其中本实施例采用 PCA算法进行降维,PCA算法为现有技术,本实施例不再赘述;已知该种类型数据的最优数据 矩阵为
Figure SMS_48
,趋势特征向量为
Figure SMS_49
,则可以求解出
Figure SMS_50
Figure SMS_51
,记为该种类型数据的转换向量; 按照上述方法获取每种类型数据的趋势特征向量及转换向量。
进一步的,获取到每种类型数据的趋势特征向量后,由于每种类型数据的最优分段值不一定相同,则每种类型数据的趋势特征向量不一定相同,计算任意两个趋势特征向量之间的DTW距离,将任意一个趋势特征向量与其他每个趋势特征向量之间的DTW距离之和作为该趋势特征向量的匹配距离,获取每个趋势特征向量的匹配距离,将匹配距离最小的趋势特征向量作为第一向量;根据DTW计算过程中第一向量与其他每个趋势特征向量的DTW匹配关系,获取第一向量中每个标量与其他每个趋势特征向量中每个标量的匹配关系,首先提取第一向量中与其他趋势特征向量中标量存在一对一匹配关系的标量,将这些标量记为第一标量,统计每个第一标量的一对一匹配标量数量,即每个第一标量存在多少个一对一匹配关系的其他趋势特征向量中标量,将第一标量按照一对一匹配标量数量降序排列,一对一匹配标量数量相等的第一标量根据第一向量的前后顺序排列,得到的序列记为第一标量序列;获取每个第一标量一对一匹配的其他趋势特征向量中标量,记为每个第一标量的其他标量,对于任意一个第一标量,将该第一标量的其他标量根据对应的趋势特征向量与第一向量的DTW距离升序排列,即DTW距离小的其他标量排列在前,对每个第一标量的其他标量进行排列,得到每个第一标量的其他标量序列,同时将每个第一标量分别插入到对应的其他标量序列的第一个位置,得到每个第一标量的第一匹配序列,将第一匹配序列按照第一标量序列中元素的顺序首尾相连拼接,得到的结果记为第一混合序列;此时,第一混合序列包括了第一向量中的匹配标量,以及匹配标量一对一匹配的其他趋势特征向量中的其他标量。
进一步的,将匹配距离第二小的趋势特征向量作为第二向量,提取第二向量中与其他趋势特征向量中标量存在一对一匹配关系的标量,将这些标量记为第二标量;需要说明的是,此时的其他趋势特征向量不包括第一向量;统计每个第二标量的一对一匹配标量数量,降序排列得到第二标量序列;将第二标量一对一匹配的其他趋势特征向量中标量记为第二标量的其他向量,对于任意一个第二标量,将该第二标量的其他标量根据对应的趋势特征向量与第二向量的DTW距离升序排列,得到每个第二标量的其他标量序列,分别插入第二标量得到每个第二标量的第二匹配序列,将第二匹配序列按照第二标量序列中元素的顺序首尾相连拼接,得到的结果记为第二混合序列;将匹配距离第三小的趋势特征向量作为第三向量,并按照上述方法获取第三混合序列;将所有趋势特征向量根据匹配距离从小到大排列,最小的趋势特征向量为第一向量得到第一混合序列,第二小的趋势特征向量为第二向量得到第二混合序列,依次对每个趋势特征向量得到相应的混合序列;需要说明的是,每个趋势特征向量中每个标量分析一对一匹配关系过程中,均不包括已经在之前的趋势特征向量的混合序列中的标量,例如第二标量分析过程中其他趋势特征向量不包括第一向量,第三标量分析过程中其他趋势特征向量不包括第一向量及第二向量;直到所有趋势特征向量中不再包含没有归入到任意一个混合序列中的标量,则停止混合序列的获取,此时对于所有趋势特征向量中的剩余标量,首先根据匹配距离从小到大的顺序,将第一向量中的剩余标量按照第一向量中的顺序进行排列,再将第二向量中的剩余标量按照第二向量中的顺序继续排列,直到对匹配距离最大的趋势特征向量的剩余标量排列完成,得到的序列记为剩余混合序列。
进一步的,将每个趋势特征向量对应的混合序列按照匹配距离从小到大的顺序首尾相连拼接,并在拼接序列最后接入剩余混合序列,则完成了对于所有趋势特征向量的拼接,记为混合数据;同时将混合数据中每个元素对应的趋势特征向量所属类型数据以及在趋势特征向量中的位序,按照混合数据中的顺序进行存储,记为顺序标记序列;对混合数据进行LZ77压缩,得到压缩后的混合数据;此时,由于混合数据是基于趋势特征向量并进行DTW匹配拼接获取,混合数据中包含了不同种类型数据趋势相近的部分,进而可以提高压缩率。
至此,获取到了每种类型数据的趋势特征向量及转换向量,并获取了混合数据及顺序标记序列。
曝气数据监测模块S103,将压缩后的混合数据、顺序标记序列及每种类型数据的转换向量进行传输,完成曝气数据的监测。
需要说明的是,压缩后的混合数据极大程度降低了曝气数据的数据量,通过对压缩后的混合数据解压,并通过顺序标记序列还原成每种类型数据的趋势特征向量,再通过趋势特征向量结合转换向量即可得到每种类型数据,根据每种类型数据完成曝气数据的监测。
具体的,首先将压缩后的混合数据、顺序标记序列及每种类型数据的转换向量进行传输;监测模块接收到传输数据后,对压缩后的混合数据通过LZ77算法进行解压缩,得到混合数据,根据顺序标记序列将混合数据还原为每种类型数据的趋势特征向量,根据趋势特征向量及对应的转换向量,得到每种类型数据的最优数据矩阵,其中通过两个向量还原得到矩阵为现有技术,本实施例不再赘述;获取到每种类型数据的最优数据矩阵后,从矩阵每行末端开始向前去0,遍历到每行第一个非0元素时即停止去0,对于去0后的矩阵逐行遍历元素,则得到了每种类型数据;监测模块根据处理得到的每种类型数据进行监测,则完成了曝气数据监测。
至此,完成了超滤水装置曝气数据的监测。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种超滤水装置曝气数据监测系统,其特征在于,该系统包括:
曝气数据采集模块,采集曝气数据的多种类型数据;
曝气数据压缩模块,获取每种类型数据的数据长度,根据数据长度获取若干窗口长度,根据每个窗口长度对每种类型数据进行移动平均,获取每种类型数据中每个数据点的变化序列,根据变化序列获取每种类型数据中每个数据点的趋势向量;
根据类型数据长度获取若干候选分段值,根据候选分段值获取每种类型数据在每个候选分段值下的数据矩阵,将数据矩阵中每个元素替换为数据点对应的趋势向量,记为每种类型数据在每个候选分段值下的趋势矩阵,根据趋势矩阵获取每种类型数据在每个候选分段值下的描述向量,根据描述向量获取每种类型数据的最优分段值,将每种类型数据在最优分段值下的数据矩阵及趋势矩阵,记为每种类型数据的最优数据矩阵及最优趋势矩阵;
根据最优趋势矩阵获取每种类型数据的趋势特征向量,根据每种类型数据的趋势特征向量及最优数据矩阵,得到每种类型数据的转换向量,根据多种类型数据的趋势特征向量获取混合数据及顺序标记序列,对混合数据进行压缩得到压缩后的混合数据;
曝气数据监测模块,将压缩后的混合数据、顺序标记序列及每种类型数据的转换向量进行传输,完成曝气数据的监测;
所述根据多种类型数据的趋势特征向量获取混合数据及顺序标记序列,包括的具体方法为:
计算任意两个趋势特征向量之间的DTW距离,将每个趋势特征向量与其他每个趋势特征向量之间的DTW距离之和作为每个趋势特征向量的匹配距离,获取每个趋势特征向量的匹配距离;
将匹配距离最小的趋势特征向量作为第一向量,获取第一向量中每个标量与其他每个趋势特征向量中每个标量的匹配关系,提取第一向量中与其他趋势特征向量中标量存在一对一匹配关系的标量,将这些标量记为第一标量;统计每个第一标量的一对一匹配标量数量,即每个第一标量存在多少个一对一匹配关系的其他趋势特征向量中标量,将第一标量按照一对一匹配标量数量降序排列,得到的序列记为第一标量序列;获取每个第一标量一对一匹配的其他趋势特征向量中标量,记为每个第一标量的其他标量,将每个第一标量的其他标量根据对应的趋势特征向量与第一向量的DTW距离升序排列,得到每个第一标量的其他标量序列;将每个第一标量分别插入到对应的其他标量序列的第一个位置,得到每个第一标量的第一匹配序列;将第一匹配序列按照第一标量序列中元素的顺序首尾相连拼接,得到的结果记为第一混合序列;
将匹配距离第二小的趋势特征向量作为第二向量,提取第二向量中与其他趋势特征向量中标量存在一对一匹配关系的标量,将这些标量记为第二标量;统计每个第二标量的一对一匹配标量数量,降序排列得到第二标量序列;将第二标量一对一匹配的其他趋势特征向量中标量记为第二标量的其他向量,将每个第二标量的其他标量根据对应的趋势特征向量与第二向量的DTW距离升序排列,得到每个第二标量的其他标量序列;分别插入第二标量得到每个第二标量的第二匹配序列,将第二匹配序列按照第二标量序列中元素的顺序首尾相连拼接,得到的结果记为第二混合序列;
将匹配距离第三小的趋势特征向量作为第三向量,获取第三混合序列;将所有趋势特征向量根据匹配距离从小到大排列,最小的趋势特征向量为第一向量得到第一混合序列,第二小的趋势特征向量为第二向量得到第二混合序列,依次对每个趋势特征向量得到相应的混合序列;直到所有趋势特征向量中不再包含没有归入到任意一个混合序列中的标量,则停止混合序列的获取,此时对于所有趋势特征向量中的剩余标量,首先根据匹配距离从小到大的顺序,将第一向量中的剩余标量按照第一向量中的顺序进行排列,再将第二向量中的剩余标量按照第二向量中的顺序继续排列,直到对匹配距离最大的趋势特征向量的剩余标量排列完成,得到的序列记为剩余混合序列;
将每个趋势特征向量对应的混合序列按照匹配距离从小到大的顺序首尾相连拼接,并在拼接序列最后接入剩余混合序列,完成所有趋势特征向量的拼接,记为混合数据;
将混合数据中每个元素对应的趋势特征向量所属类型数据以及在趋势特征向量中的位序,按照混合数据中的顺序进行存储,记为顺序标记序列。
2.根据权利要求1所述的一种超滤水装置曝气数据监测系统,其特征在于,所述获取每种类型数据中每个数据点的变化序列,包括的具体方法为:
以任意一种类型数据为目标类型数据,根据每个窗口长度对目标类型数据进行平均,得到每个窗口长度对应的目标类型数据的一个平滑序列;
将目标类型数据中任意一个数据点作为目标数据点,将目标数据点在不同窗口长度的平滑序列中对应的数据值,根据窗口长度从小到大排列作为目标数据点的变化序列;获取每种类型数据中每个数据点的变化序列。
3.根据权利要求1所述的一种超滤水装置曝气数据监测系统,其特征在于,所述根据变化序列获取每种类型数据中每个数据点的趋势向量,包括的具体方法为:
以任意一种类型数据为目标类型数据,将目标类型数据中每个数据点作为图结构中的节点,将每个数据点的变化序列作为每个数据点对应节点的节点值,将两个节点对应的变化序列之间的余弦相似度作为两个节点之间的边值,得到目标类型数据的图结构;
获取图结构中每个节点的嵌入向量,将每个节点的嵌入向量作为对应数据点的趋势向量;获取每种类型数据中每个数据点的趋势向量。
4.根据权利要求1所述的一种超滤水装置曝气数据监测系统,其特征在于,所述根据候选分段值获取每种类型数据在每个候选分段值下的数据矩阵,包括的具体方法为:
以任意一种类型数据为目标类型数据,任意一个候选分段值作为目标候选分段值,首先计算空位置的数量
Figure QLYQS_2
,/>
Figure QLYQS_4
表示目标候选分段值,/>
Figure QLYQS_7
表示数据长度;将空位置数量/>
Figure QLYQS_3
除以/>
Figure QLYQS_6
得到商与余数,商记为/>
Figure QLYQS_9
,余数记为/>
Figure QLYQS_10
;将矩阵倒数第一列至倒数第/>
Figure QLYQS_1
列全部填充为0,再把矩阵的倒数第/>
Figure QLYQS_5
列中倒数第一行至倒数第/>
Figure QLYQS_8
行的元素填充为0;
获取目标候选分段值构成的矩阵中没有填充0的其他位置,按照从左到右从上到下的数据分别将目标类型数据进行填入,则得到了目标类型数据在目标候选分段值下的数据矩阵;
对每个候选分段值构成的矩阵进行填充0操作,并得到每种类型数据在每个候选分段值下的数据矩阵。
5.根据权利要求1所述的一种超滤水装置曝气数据监测系统,其特征在于,所述根据趋势矩阵获取每种类型数据在每个候选分段值下的描述向量,包括的具体方法为:
以任意一种类型数据为目标类型数据,任意一个候选分段值作为目标候选分段值,目标类型数据在目标候选分段值下的趋势矩阵为目标趋势矩阵,将目标趋势矩阵中每一行的所有元素的趋势向量首尾拼接在一起,则每行构成一个行向量,将目标趋势矩阵中每一行的行向量作为因子分析的输入,输出得到一个公共因子向量,将公共因子向量作为目标趋势矩阵的描述向量,得到目标类型数据在目标候选分段值下的描述向量;
获取每种类型数据在每个候选分段值下的描述向量。
6.根据权利要求1所述的一种超滤水装置曝气数据监测系统,其特征在于,所述根据描述向量获取每种类型数据的最优分段值,包括的具体方法为:
以任意一种类型数据为目标类型数据,任意一个候选分段值作为目标候选分段值,目标类型数据在目标候选分段值下的描述向量为目标描述向量,将目标描述向量与目标类型数据在其他每个候选分段值下的描述向量的余弦相似度之和,作为目标描述向量的优选程度;
获取目标类型数据在每个候选分段值下的描述向量的优选程度,将优选程度最大值对应的描述向量对应的候选分段值,作为目标类型数据的最优分段值;
获取每种类型数据的最优分段值。
7.根据权利要求1所述的一种超滤水装置曝气数据监测系统,其特征在于,所述根据最优趋势矩阵获取每种类型数据的趋势特征向量,包括的具体方法为:
以任意一种类型数据为目标类型数据,目标类型数据的最优趋势矩阵记为目标最优趋势矩阵,获取目标最优趋势矩阵中任意一行所有元素的趋势向量,将获取的趋势向量降维成一维的标量,对目标最优趋势矩阵每一行的所有趋势向量都分别降维成一个标量,则每一行的标量构成了一个列向量,记为目标类型数据的趋势特征向量。
CN202310537459.4A 2023-05-15 2023-05-15 一种超滤水装置曝气数据监测系统 Active CN116256025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310537459.4A CN116256025B (zh) 2023-05-15 2023-05-15 一种超滤水装置曝气数据监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310537459.4A CN116256025B (zh) 2023-05-15 2023-05-15 一种超滤水装置曝气数据监测系统

Publications (2)

Publication Number Publication Date
CN116256025A CN116256025A (zh) 2023-06-13
CN116256025B true CN116256025B (zh) 2023-07-14

Family

ID=86682826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310537459.4A Active CN116256025B (zh) 2023-05-15 2023-05-15 一种超滤水装置曝气数据监测系统

Country Status (1)

Country Link
CN (1) CN116256025B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738221B (zh) * 2023-08-15 2023-10-20 湖南天联城市数控有限公司 一种带压管道气体分析方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8221631B1 (en) * 2011-08-04 2012-07-17 Honeywell International Inc. Aeration basin with off gas monitoring
CN109019905A (zh) * 2018-10-18 2018-12-18 河南倍杰特环保技术有限公司 一种基于曝气控制的水处理系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4149164A (en) * 1977-12-27 1979-04-10 The United States Of America As Represented By The Secretary Of The Navy Digital plotting system for graphic information
US7449113B2 (en) * 2002-09-24 2008-11-11 Advanced Aeration Control, Llc Controlling wastewater treatment processes
GB2537836A (en) * 2015-04-27 2016-11-02 Plano Eng Ltd Method and apparatus for analysing the efficiency of air diffusers in wastewater aeration basins
CN214654121U (zh) * 2021-01-21 2021-11-09 江苏诺莱智慧水务装备有限公司 一种基于Eco-iGDM技术的膜污染控制装置
CN215676641U (zh) * 2021-09-09 2022-01-28 西安尚善能源科技有限公司 一种中央空调循环冷却水处理系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8221631B1 (en) * 2011-08-04 2012-07-17 Honeywell International Inc. Aeration basin with off gas monitoring
CN109019905A (zh) * 2018-10-18 2018-12-18 河南倍杰特环保技术有限公司 一种基于曝气控制的水处理系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SAX的往复压缩机气阀故障诊断;张玉龙;段梦兰;段礼祥;张丛健;;石油机械(03);全文 *

Also Published As

Publication number Publication date
CN116256025A (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN107832837B (zh) 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法
CN116256025B (zh) 一种超滤水装置曝气数据监测系统
US6501860B1 (en) Digital signal coding and decoding based on subbands
CN101783788B (zh) 文件压缩、解压缩方法、装置及压缩文件搜索方法、装置
CN101197988B (zh) 压缩数据量控制方法和图像数据压缩装置
JP2009089399A (ja) データ圧縮システムおよび方法
CN103841424B (zh) 随机存取存储器中压缩数据的系统及方法
KR101969848B1 (ko) 유전자 데이터를 압축하는 방법 및 장치
US20200185058A1 (en) Gene sequencing data compression preprocessing, compression and decompression method, system, and computer-readable medium
WO2019080670A1 (zh) 基因测序数据压缩解压方法、系统及计算机可读介质
Hadiatna et al. Design and implementation of data logger using lossless data compression method for Internet of Things
US20060215917A1 (en) Decoding apparatus, dequantizing method, and program thereof
CN113312325B (zh) 轨迹数据传输方法、装置、设备及存储介质
CN113873094A (zh) 一种混沌压缩感知图像加密方法
CN116827351B (zh) 一种石墨烯发热墙面温度智能监测系统
CN115695564B (zh) 一种物联网数据的高效传输方法
CN114900195B (zh) 一种用于粉罐车的安全状态监测系统
CN116320501A (zh) 红外数据压缩方法及可读存储介质
CA2610467C (en) Matrix compression arrangements
Annalakshmi Lossy image compression techniques
Thakker et al. Lossy Image Compression-A Comparison Between Wavelet Transform, Principal Component Analysis, K-Means and Autoencoders
KR20160148029A (ko) 코딩 메커니즘을 갖는 통신 시스템 및 그 동작 방법
Huilgol et al. Lossless Image Compression using Proposed Equations and JPEG-LS Prediction
Kamal et al. Iteration free fractal compression using genetic algorithm for still colour images
CN108419080B (zh) 一种jpegls上下文计算的流水线化优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230801

Address after: 226331 Plant 2, No. 60 Shengde Road, Tongzhou Bay Jianghai Linkage Development Demonstration Zone, Nantong City, Jiangsu Province

Patentee after: Jiangsu nolai intelligent water equipment Co.,Ltd.

Address before: 100000 802, Unit 2, Floor 8, Building 18, No. A7, Tongji Middle Road, Daxing District, Beijing Economic-Technological Development Area

Patentee before: Beijing Shiku Technology Co.,Ltd.

Patentee before: Jiangsu nolai intelligent water equipment Co.,Ltd.

TR01 Transfer of patent right