CN117354645B - 净水厂进出水质的在线巡检方法 - Google Patents
净水厂进出水质的在线巡检方法 Download PDFInfo
- Publication number
- CN117354645B CN117354645B CN202311641736.2A CN202311641736A CN117354645B CN 117354645 B CN117354645 B CN 117354645B CN 202311641736 A CN202311641736 A CN 202311641736A CN 117354645 B CN117354645 B CN 117354645B
- Authority
- CN
- China
- Prior art keywords
- data
- data segment
- level
- segments
- subsequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 106
- 238000007689 inspection Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000000746 purification Methods 0.000 title claims abstract description 29
- 108091026890 Coding region Proteins 0.000 claims abstract description 14
- 238000012512 characterization method Methods 0.000 claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- UCKMPCXJQFINFW-UHFFFAOYSA-N Sulphide Chemical compound [S-2] UCKMPCXJQFINFW-UHFFFAOYSA-N 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000007906 compression Methods 0.000 abstract description 7
- 230000006835 compression Effects 0.000 abstract description 7
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000002351 wastewater Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012994 industrial processing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2323—Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Abstract
本发明涉及水质巡检过程的数据编码压缩领域,具体涉及一种净水厂进出水质的在线巡检方法。所述方法包括:通过分析数据集中各第一子序列的各数据段每个分层信息的相似性情况得到各数据段之间的综合相似度,通过设计损失函数来保障划分的数据段之间的综合相似性尽可能得到符合预期的数据段集合,对数据段集合进行类别划分得到数据段类别集合,在每个第一子序列中利用表征序列替换掉所属类别集合中的各数据段得到第二子序列,对第二子序列进行压缩编码得到编码序列,将编码序列进行传输至中心处理器处理得到水质检测结果。本发明得到的编码序列数据量较小,提高了传输效率,使得每个水质巡检位置能够快速准确地得到水质检测结果。
Description
技术领域
本发明涉及水质巡检过程的数据编码压缩技术领域,具体涉及一种净水厂进出水质的在线巡检方法。
背景技术
在工业生产过程中需利用水质净化器来对净水厂水质进行净化处理,由于净水厂中所应用的水质净化器较多,为了实现对水质净化过程的准确监测,会设置多个水质巡检位置,通过巡检过程完成对整个工厂水质净化过程的检测。在净水厂中一般采用外置传感器,传感器采集到的数据传输到净化器中心处理器中,中心处理器通过处理传感器数据来对水质净化器进行控制,实现在线检测。为了保障水质净化器处理的实时性,需保障传输的实时性,而传感器采集到的数据较多,并且水质巡检位置较多,因此为了实现对净水过程的在线检测,需要传输大量水质数据给净化器中心处理器。若不能对这些数据进行有效编码压缩,减少数据量,则会影响中心处理器的数据处理效率,不能保证每个水质巡检位置都能实时准确地获得水质检测结果,进而影响了水质在线巡检效率。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种净水厂进出水质的在线巡检方法,所采用的技术方案具体如下:
一种净水厂进出水质的在线巡检方法,所述方法包括:
根据每个水质巡检位置处的水质净化器传感器获取多个传感器数据序列和高斯滤波核尺寸,将每个传感器数据序列分割处理得到多个第一子序列,将所有第一子序列构成数据集;
构建神经网络并进行初始化,将数据集中的每个第一子序列输入到神经网络中得到多个数据段;
根据第一子序列和多个数据段构建第一损失函数;
根据多个数据段的个数得到第二损失函数;
获取每个数据段、每个第一子序列的多个层级的分层信息,根据数据段、每个第一子序列的多个层级的分层信息和高斯滤波核尺寸得到每个层级的重要性权重,根据每个层级的重要性权重和每两个数据段的同一层级的分层信息的相似性情况得到每两个数据段的综合相似度;
根据每两个数据段的综合相似度构建第三损失函数;
将第一损失函数、第二损失函数和第三损失函数加和得到综合损失函数;
利用数据集基于综合损失函数对神经网络进行训练得到训练完成的神经网络;
将新采集的第一子序列输入到训练完成的神经网络中得到多个新的数据段,获取每两个新的数据段的综合相似度,根据每两个新的数据段的综合相似度对所有新的数据段进行类别划分得到若干数据段类别,根据若干数据段类别和第一子序列得到第二子序列,通过对第二子序列进行编码处理得到编码序列;
将编码序列传输至中心处理器并进行水质检测,遍历每个水质巡检位置,获得每个水质巡检位置处的水质检测结果。
进一步地,所述根据第一子序列和多个数据段构建第一损失函数,包括:
其中,N表示每个子序列段的数据段的个数,表示第/>个数据段,/>表示将数据段/>按次序拼接在一起,/>表示第一子序列,/>为第一损失函数。
进一步地,所述获取每个数据段、每个第一子序列的多个层级的分层信息,包括:
对于任意一个数据段,利用高斯金字塔算法对所述数据段进行下采样处理得到多个层级,获取每个层级的下采样段;将每个层级的下采样段进行上采样得到每个层级的上采样段,将每个层级的上采样段减去上一层级的上采样段得到每个层级的差值上采样段;将每个层级的上采样段与减去上一层级的上采样段得到所述数据段的每个层级的分层信息,获取所述数据段的多个层级的分层信息;
获取第一子序列的多个层级的分层信息。
进一步地,所述根据数据段、每个第一子序列的多个层级的分层信息和高斯滤波核尺寸得到每个层级的重要性权重,包括:
其中,表示层级的序号,/>表示第k个层级的基础重要性权重,/>表示第k个层级的高斯滤波核尺寸;
对于任意一个第一子序列,每个层级的分层信息与其他第一子序列的同层级的分层信息计算皮尔逊相关系数,将每个层级的分层信息与其他所有第一子序列的同层级的分层信息得到的所有皮尔逊相关系数求均值得到每个层级的重要性修正系数;将每个层级的基础重要信息权重和重要性修正系数相乘得到每个层级的重要性权重。
进一步地,所述根据每个层级的重要性权重和每两个数据段的同一层级的分层信息的相似性情况得到每两个数据段的综合相似度,包括:
将任意两个数据段中的其中一个数据段分别记为第一数据段,另外一个数据段记为第二数据段;
对于每两个数据段,将第一数据段的每个层级的分层信息与第二数据段的同层级的分层信息计算的相似度得到每个层级的相似度值,将每个层级的相似度值与重要性权重相乘得到每个层级的乘积值,将所有层级的乘积值加和得到综合相似度。
进一步地,所述根据每两个数据段的综合相似度构建第三损失函数,包括:
其中表示第/>个数据段与第/>个其他数据段之间的综合相似度,/>表示每个第一子序列分割出的数据段的个数,/>为第三损失函数,/>为每个第一子序列分割出的数据段中除了第/>个数据段之外的其他数据段的个数。
进一步地,所述根据每两个新的数据段的综合相似度对所有新的数据段进行类别划分得到若干数据段类别,包括:
以每个数据段为节点,将每两个数据段的综合相似度作为所属两个数据段对应节点的边权值得到无向图,将无向图进行谱聚类得到若干数据段类别。
进一步地,所述根据若干数据段类别和第一子序列得到第二子序列,包括:
对于任意一个数据段类别,计算每个数据段与其他所有数据段的综合相似度均值,将综合相似度均值最大值对应的数据段作为所属数据段类别的表征数据段;将所述数据段类别中的各数据段作为表征数据段的待替换数据段,在第一子序列中将表征数据段分别替换掉各待替换数据段得到第二子序列。
进一步地,所述神经网络为卷积神经网络。
进一步地,所述传感器数据序列由水质净化器传感器采集,所述水质净化器传感器至少包括pH值传感器、硫化物传感器和温湿度传感器。
本发明具有如下有益效果:本发明实施例中每个水质巡检位置处的工业净化器的外置传感器会实时采集数据进而产生大量数据,数据量会导致传输效率较低无法水质在线巡检过程的实时性,为了提高传输效率需对每个传感器数据进行压缩处理。传感器数据会存在一些相似的序列段,这些相似的序列段存在些许差异,但是这些些许差异不会对整体信息有影响,因而可以将满足相似要求的每个序列段用一个表征序列替换,这样就会导致在整个序列中相同序列出现频率较好,霍夫曼编码对于出现频率较高的序列段编码较短,因而就会简短编码序列段,使得压缩效果更好,每个水质巡检位置处的数据均能快速的传输至中心处理器,进而提高了水质巡检效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的种一种净水厂进出水质的在线巡检方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种净水厂进出水质的在线巡检方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种净水厂进出水质的在线巡检方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种净水厂进出水质的在线巡检方法流程图,该方法包括:
步骤S1:获取传感器数据序列,进行划分得到第一子序列集合,进而得到数据集。
本发明实施例中,根据净水厂的水质净化器的数量以及位置设置多个水质巡检位置,每个水质巡检位置处包含多个水质净化器传感器,第一子序列由水质净化器传感器采集,所述水质净化器传感器至少包括pH值传感器、硫化物传感器和温湿度传感器。这些传感器集成在一起安装在一个嵌入式平台上,嵌入式平台能够对采集的传感器数据进行简单的压缩处理。
每个传感器每间隔1s采集一次数据,采集S次数据得到每个传感器的长度为S的净化器数据序列,将每个传感器的净化器数据序列均匀分割成多个长度为F的第一子序列,同理完成所有传感器的净化器数据序列的分割处理得到多个第一子序列,将所有第一子序列构成数据集,本实施例以S取60000,F取600为例进行叙述,其他实施例可以取其他值,本实施例不进行具体限制。
步骤S2:计算分割得到第一子序列数据段之间的综合相似度,基于综合相似度设计综合损失函数,完成网络训练。
步骤S2的具体步骤如下:
1、网络介绍:进行数据序列分割的网络为DNN网络,网络结构为Encoder-FC结构,网络的输入为步骤一中得到的数据集中的每个第一子序列,输出为多个数据段;需要说明的是,每个数据段为第一子序列的部分片段,网络中每输入一个第一子序列就会输出与该第一子序列对应的多个数据段。
2、设计第一损失函数:将第一子数据序列/>输入到网络中得到数据段集合,网络只是实现数据序列分割,因而分割前后数据不能发生变化,所有应该保障第一子序列/>与数据段集合中包含的内容相同,即数据段集合中的所有数据段拼接在一起等于第一子序列,因而基于此构建出损失函数O1:
其中表示第/>个数据段,/>表示将数据段/>按次序拼接在一起。/>表示第一子序列,N表示每个子序列段的数据段的个数。
3、设计第二损失函数:为了保障后续的压缩效果,需将数据段分割的尽可能长,这样很长一个数据段只需用一个简短编码序列,这样就会节省大量数据量。因而应保障第一子序列分割得到的数据段的数量尽可能少,基于此来构建损失函数O2:
其中表示每个第一子序列分割的数据段的数量。
4、设计第三损失函数:
在利用编码的方式进行数据压缩时,编码个数越少,其数据压缩程度越大;由于不同的数据利用不同的编码,因而为了节约编码个数,需使数据序列中存在更多相同的数据段。为了使数据序列中拥有更多相同的数据段,需满足分割出的数据段之间的相似度尽可能大。
同时由于数据段中包含各种信息,其中一些高频的细节信息为噪声信息的可能性较大,这种高频信息对数据分析作用不大,因而这种高频信息不重要,因而需根据数据段中各种信息描述细节的情况来确定每种信息的重要性权重。
基于分割出的数据段之间的相似度情况,以及数据段中每种信息的重要性情况来设计第三损失函数:
获取第三损失函数的具体步骤如下:
(1)获取每个数据段的分层信息:
对于任意一个第一子序列的数据段集合中任意一个数据段,利用高斯金字塔对该数据段进行L-1次高斯滤波和下采样处理,获取每个层级的下采样段得到L个层级下采样段,L为层级的总数量。层级越高对应的下采样段越短,第一层级对应的下采样段为该数据段,将每个下采样段进行上采样处理得到上采样段,上采样段的长度与该数据段的长度相同。将每个层级的上采样段与下一层级的上采样段相减得到每个层级的分层信息,由于第L个层级的上采样段没有对应的下一层级的上采样段,因而只能得到第一层级到第L-1层级的L-1个层级的分层信息。
同理,获取每个第一子序列的多个分层信息。
(2)获取每个层级的重要性权重:
由于层级越高保留的细节信息越小,而细节信息一般为传感器序列的噪声、或短期内的小型变动信息,这些信息对水质净化控制分析不重要。通过每次滤波处理和下采样处理会在每个层级去除一些信息,越低层去除的细节信息越多,筛出信息的细节情况可以根据高斯滤波核的大小、次数和下采样的次数来决定。
对于任意一个第一子序列的任意一个数据段,该数据段的每个层级的基础重要性权重为:
其中,k表示层级的序号,表示第k个层级的高斯滤波核尺寸。/>表示第k个层级的基础重要性权重。需要说明的是,数据段的每个层级的基础重要性应与第一子序列对应层级的基础重要性权重相等。
同时工业加工时产生的废水会存在一定的关联关系,当一个传感器采集到的废水信息数据也会存在一定关联关系,这种关联数据对于后续数据分析较为重要,越重要的信息进行相似性评估时应该重要性权重越高。
将第一子序列的第k个层级的分层信息与其他每个第一子序列的第k个层级的分层信息计算皮尔逊相关系数,将第一子序列/>的第k个层级的分层信息与其他所有第一子序列的第k个层级的分层信息的皮尔逊相关系数求均值作为第k层级的修正系数,将第k个层级的修正系数记为/>,同理得到每个层级的修正系数。
将每个层级的基础重要性权重和修正系数相乘作为每个层级的重要性权重。
(3)计算每个数据段的综合相似度:
利用DTW算法计算每个数据段的第k个层级的分层信息与其他各数据段的第k个层级的分层信息计算相似度值。每两个数据段的第k个层级的分层信息的相似度记为每两个数据段的第k个层级的相似度,同理得到每两个数据段的每个层级的相似度。
每个数据段的每个分层信息的相似度只能反应每个数据段的不同细节情况的信息相似度情况。由于每个信息相似度会包含不同细节情况的信息,每种细节情况的信息重要性不同,因而需结合个分层信息重要性情况计算每两个数据段的综合相似度,具体如下:
对于任意两个数据段,将这两个数据段的第k层级的相似度值与第k个层级的重要性权重相乘得到第k个层级的乘积值,同理得到每个层级的乘积值,将这两个数据段的所有层级的乘积值加和得到这两个数据段的综合相似度。将第n个数据段与第m个其他数据段之间计算的综合相似度记为。
(4)根据综合相似度设计第三损失函数:
本实施例通过将满足相似要求的数据段共用一个编码序列,这样即可节省编码序列,从而提高数据压缩程度。因而相似的数据段越多,其所用的编码序列越少,因而需分割出更多相似的数据段。基于此来设计第三损失函数,具体操作为:
其中表示第/>个数据段与第/>个其他数据段之间的综合相似度,/>表示每个第一子序列分割出的数据段的个数,/>为第三损失函数,/>为每个第一子序列分割出的数据段中除了第/>个数据段之外的其他数据段的个数,即/>。
(5)计算综合损失函数:
5、进行网络训练:
使综合损失函数尽可能小,将数据集各第一子序列输入到神经网络中进行网络训练,随着训练网络的损失值逐渐变小,直至收敛,完成网络训练。在本发明一个实施例中,神经网络选用卷积神经网络。
步骤S3:根据第一子序列得到第二子序列,对第二子序列进行编码得到编码序列。
将新采集的传感器第一子序列输入到训练完成的网络中得到多个数据段。按照步骤S2中介绍的方法计算每两个数据段的综合相似度。将每个数据段作为节点,将每两个数据段的综合相似度作为对应两节点的边权值,构建出无向图,对无向图进行谱聚类得到多个数据段类别。
对于任意一个数据段类别,计算每个数据段与其他所有数据段的综合相似度均值,将综合相似度均值最大值对应的数据段作为所属数据段类别的表征数据段;将所述数据段类别中的各数据段作为表征数据段的待替换数据段,在第一子序列中将表征数据段分别替换掉各待替换数据段得到第二子序列;
将编码序列传输至净化器的中心处理器,中心处理器对编码序列进行解压处理得到水质数据。在本发明一个实施例中,系统在调用水质数据后对数据进行数据清洗、数据整理、标准化等数据预处理操作;进一步对于数据进行分析,能够通过散点图、趋势分析等数据整合分析方法进一步确定异常水质数据,实现对于水质数据的检测。在本发明另一个实施例中,还可通过水质等级数据的统计特征值以及概率分布等分析方法进一步确定水质等级数据中的异常数据;还可以通过与历史数据相对比、关联水质数据相对比等对比方法确定异常数据。其中具体算法为本领域技术人员熟知的技术手段,在此不做赘述。通过遍历所有水质巡检位置,可获得每个水质巡检位置处的水质检测结果,若某个水质巡检位置处产生了异常水质数据,则说明对应位置处的水质净化器存在某些故障或者问题,工作人员可及时进行维护处理,即通过水质的在线巡检保障了净水厂中水质净化的效率。
综上所述,本发明实施例通过分析数据片段之间的每个分层信息的综合相似度情况来设计损失函数,进而实现每个第一子序列的分割,实现分割得到的数据段尽可能长,同时分割得到更多综合相似度较高的数据段,从而将综合相似度满足要求的数据段共用一个编码序列,提高压缩的效果,提高水质净化传感器数据传输的效率,保障了水质巡检过程中数据传输的实时性,使得净水厂能够根据巡检结果快速准确地得到水质检测结果。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (8)
1.一种净水厂进出水质的在线巡检方法,其特征在于,所述方法包括:
根据每个水质巡检位置处的水质净化器传感器获取多个传感器数据序列和高斯滤波核尺寸,将每个传感器数据序列分割处理得到多个第一子序列,将所有第一子序列构成数据集;
构建神经网络并进行初始化,将数据集中的每个第一子序列输入到神经网络中得到多个数据段;
根据第一子序列和多个数据段构建第一损失函数;
根据多个数据段的个数得到第二损失函数;
获取每个数据段、每个第一子序列的多个层级的分层信息,根据数据段、每个第一子序列的多个层级的分层信息和高斯滤波核尺寸得到每个层级的重要性权重,根据每个层级的重要性权重和每两个数据段的同一层级的分层信息的相似性情况得到每两个数据段的综合相似度;
根据每两个数据段的综合相似度构建第三损失函数;
将第一损失函数、第二损失函数和第三损失函数加和得到综合损失函数;
利用数据集基于综合损失函数对神经网络进行训练得到训练完成的神经网络;
将新采集的第一子序列输入到训练完成的神经网络中得到多个新的数据段,获取每两个新的数据段的综合相似度,根据每两个新的数据段的综合相似度对所有新的数据段进行类别划分得到若干数据段类别,根据若干数据段类别和第一子序列得到第二子序列,通过对第二子序列进行编码处理得到编码序列;
将编码序列传输至中心处理器并进行水质检测,遍历每个水质巡检位置,获得每个水质巡检位置处的水质检测结果;
所述根据每两个新的数据段的综合相似度对所有新的数据段进行类别划分得到若干数据段类别,包括:
以每个数据段为节点,将每两个数据段的综合相似度作为所属两个数据段对应节点的边权值得到无向图,将无向图进行谱聚类得到若干数据段类别;
所述根据若干数据段类别和第一子序列得到第二子序列,包括:
对于任意一个数据段类别,计算每个数据段与其他所有数据段的综合相似度均值,将综合相似度均值最大值对应的数据段作为所属数据段类别的表征数据段;将所述数据段类别中的各数据段作为表征数据段的待替换数据段,在第一子序列中将表征数据段分别替换掉各待替换数据段得到第二子序列。
2.根据权利要求1所述的一种净水厂进出水质的在线巡检方法,其特征在于,所述根据第一子序列和多个数据段构建第一损失函数,包括:
其中,N表示每个子序列段的数据段的个数,表示第/>个数据段,/>表示将数据段/>按次序拼接在一起,/>表示第一子序列,/>为第一损失函数。
3.根据权利要求1所述的一种净水厂进出水质的在线巡检方法,其特征在于,所述获取每个数据段、每个第一子序列的多个层级的分层信息,包括:
对于任意一个数据段,利用高斯金字塔算法对所述数据段进行下采样处理得到多个层级,获取每个层级的下采样段;将每个层级的下采样段进行上采样得到每个层级的上采样段,将每个层级的上采样段减去上一层级的上采样段得到每个层级的差值上采样段;将每个层级的上采样段与减去上一层级的上采样段得到所述数据段的每个层级的分层信息,获取所述数据段的多个层级的分层信息;
获取第一子序列的多个层级的分层信息。
4.根据权利要求1所述的一种净水厂进出水质的在线巡检方法,其特征在于,所述根据数据段、每个第一子序列的多个层级的分层信息和高斯滤波核尺寸得到每个层级的重要性权重,包括:
其中,表示层级的序号,/>表示第k个层级的基础重要性权重,/>表示第k个层级的高斯滤波核尺寸;
对于任意一个第一子序列,每个层级的分层信息与其他第一子序列的同层级的分层信息计算皮尔逊相关系数,将每个层级的分层信息与其他所有第一子序列的同层级的分层信息得到的所有皮尔逊相关系数求均值得到每个层级的重要性修正系数;将每个层级的基础重要信息权重和重要性修正系数相乘得到每个层级的重要性权重。
5.根据权利要求1所述的一种净水厂进出水质的在线巡检方法,其特征在于,所述根据每个层级的重要性权重和每两个数据段的同一层级的分层信息的相似性情况得到每两个数据段的综合相似度,包括:
将任意两个数据段中的其中一个数据段分别记为第一数据段,另外一个数据段记为第二数据段;
对于每两个数据段,将第一数据段的每个层级的分层信息与第二数据段的同层级的分层信息计算的相似度得到每个层级的相似度值,将每个层级的相似度值与重要性权重相乘得到每个层级的乘积值,将所有层级的乘积值加和得到综合相似度。
6.根据权利要求1所述的一种净水厂进出水质的在线巡检方法,其特征在于,所述根据每两个数据段的综合相似度构建第三损失函数,包括:
其中表示第/>个数据段与第/>个其他数据段之间的综合相似度,/>表示每个第一子序列分割出的数据段的个数,/>为第三损失函数,/>为每个第一子序列分割出的数据段中除了第/>个数据段之外的其他数据段的个数。
7.根据权利要求1所述的一种净水厂进出水质的在线巡检方法,其特征在于,所述神经网络为卷积神经网络。
8.根据权利要求1所述的一种净水厂进出水质的在线巡检方法,其特征在于,所述传感器数据序列由水质净化器传感器采集,所述水质净化器传感器至少包括pH值传感器、硫化物传感器和温湿度传感器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311641736.2A CN117354645B (zh) | 2023-12-04 | 2023-12-04 | 净水厂进出水质的在线巡检方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311641736.2A CN117354645B (zh) | 2023-12-04 | 2023-12-04 | 净水厂进出水质的在线巡检方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117354645A CN117354645A (zh) | 2024-01-05 |
CN117354645B true CN117354645B (zh) | 2024-03-19 |
Family
ID=89371377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311641736.2A Active CN117354645B (zh) | 2023-12-04 | 2023-12-04 | 净水厂进出水质的在线巡检方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117354645B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015121535A1 (en) * | 2014-02-14 | 2015-08-20 | Nokia Technologies Oy | Method, apparatus and computer program product for image-driven cost volume aggregation |
US9442564B1 (en) * | 2015-02-12 | 2016-09-13 | Amazon Technologies, Inc. | Motion sensor-based head location estimation and updating |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2012278931B2 (en) * | 2011-07-06 | 2015-06-18 | Fred Bergman Healthcare Pty Ltd | Improvements relating to event detection algorithms |
WO2020033410A1 (en) * | 2018-08-06 | 2020-02-13 | Walmart Apollo, Llc | Artificial intelligence system and method for generating a hierarchical data structure |
CN116671106A (zh) * | 2020-12-24 | 2023-08-29 | 华为技术有限公司 | 使用分割信息的信令解码 |
US20230325639A1 (en) * | 2022-04-12 | 2023-10-12 | Nokia Technologies Oy | Apparatus and method for joint training of multiple neural networks |
-
2023
- 2023-12-04 CN CN202311641736.2A patent/CN117354645B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015121535A1 (en) * | 2014-02-14 | 2015-08-20 | Nokia Technologies Oy | Method, apparatus and computer program product for image-driven cost volume aggregation |
US9442564B1 (en) * | 2015-02-12 | 2016-09-13 | Amazon Technologies, Inc. | Motion sensor-based head location estimation and updating |
Non-Patent Citations (2)
Title |
---|
"Similarity detection method of science fiction painting based on multi-strategy improved sparrow search algorithm and Gaussian pyramid";Gang Chen et al;《Multimedia Tools and Applications》;全文 * |
基于分层级各向异性滤波的图像景深渲染算法;欧阳志恒;崔光茫;赵巨峰;朱礼尧;公晓丽;;光学技术(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117354645A (zh) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112364567B (zh) | 一种基于退化轨迹相似度一致检验的剩余寿命预测方法 | |
CN112288193A (zh) | 基于注意力机制的gru深度学习的海洋站表层盐度预测方法 | |
CN114548592A (zh) | 一种基于cemd和lstm的非平稳时间序列数据预测方法 | |
CN113392732B (zh) | 一种局部放电超声信号抗干扰方法及系统 | |
CN108875532A (zh) | 一种基于稀疏编码和长度后验概率的视频动作检测方法 | |
CN116842364A (zh) | 一种异步电机滚动轴承故障方法 | |
CN114487673A (zh) | 一种基于Transformer的电力设备故障检测模型和电子设备 | |
CN112700162A (zh) | 轨道交通空调运行状态的评估方法及装置 | |
CN114548199A (zh) | 一种基于深度迁移网络的多传感器数据融合方法 | |
CN116226604A (zh) | 一种水文序列总体变异度诊断度量方法、装置及设备 | |
CN117354645B (zh) | 净水厂进出水质的在线巡检方法 | |
CN114580934A (zh) | 基于无监督异常检测的食品检测数据风险的早预警方法 | |
CN115290326A (zh) | 一种滚动轴承故障智能诊断方法 | |
CN112785088A (zh) | 一种基于dcae-lstm短期日负荷曲线预测方法 | |
CN116522993A (zh) | 一种基于对抗自编码网络的化工过程故障检测方法 | |
CN116561927A (zh) | 数字孪生驱动的小样本旋转机械剩余寿命预测方法及系统 | |
CN116318172A (zh) | 一种设计仿真软件数据自适应压缩方法 | |
CN114563671A (zh) | 一种基于CNN-LSTM-Attention神经网络的高压电缆局部放电诊断方法 | |
CN115829157A (zh) | 基于变分模态分解和Autoformer模型的化工水质指标预测方法 | |
CN115618751A (zh) | 一种钢板力学性能预测方法 | |
CN115660140A (zh) | 一种基于人工智能订正的多模式集合气候预测方法 | |
CN111768803B (zh) | 基于卷积神经网络和多任务学习的通用音频隐写分析方法 | |
CN112889075B (zh) | 使用非对称双曲正切激活函数改进预测性能 | |
CN110164418B (zh) | 基于卷积网格长短时记忆递归神经网络的自动语音识别加速方法 | |
CN115423737A (zh) | 基于多块主成分分析网络的晶圆图缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |