CN113420710A - 一种基于多分辨率小波的传感器数据降噪方法 - Google Patents

一种基于多分辨率小波的传感器数据降噪方法 Download PDF

Info

Publication number
CN113420710A
CN113420710A CN202110768843.6A CN202110768843A CN113420710A CN 113420710 A CN113420710 A CN 113420710A CN 202110768843 A CN202110768843 A CN 202110768843A CN 113420710 A CN113420710 A CN 113420710A
Authority
CN
China
Prior art keywords
data
sensor
signal
function
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110768843.6A
Other languages
English (en)
Inventor
张源
张同卫
李硕
张芬芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoneng Longyuan Lantian Energy Saving Technology Co ltd
Original Assignee
Guoneng Longyuan Lantian Energy Saving Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoneng Longyuan Lantian Energy Saving Technology Co ltd filed Critical Guoneng Longyuan Lantian Energy Saving Technology Co ltd
Priority to CN202110768843.6A priority Critical patent/CN113420710A/zh
Publication of CN113420710A publication Critical patent/CN113420710A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G06F2218/04—Denoising
    • G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)

Abstract

本发明涉及一种基于多分辨率小波的传感器数据降噪方法，包括：S01、获取供热系统的一次管网中每一传感器在指定时段内的数据，将每一传感器的数据作为原始信号；S02、基于所述原始信号进行KS检测，获取最优分解层数J；S03、采用预先选择的小波函数和基函数以最优分解层数J对所述原始信号进行处理并重构，获得降噪后的目标信号。本发明的方法解决现有方法的局限性，实现原始信号的降噪可以自适应地在不同分辨率下进行，避免了由于需要设定窗口尺寸导致的问题。该方法有使用简单，泛用性强。

Description

一种基于多分辨率小波的传感器数据降噪方法
技术领域
本发明涉及数据降噪技术领域，尤其涉及一种基于多分辨率小波的传感器数据降噪方法。
背景技术
在智能楼宇领域以及智能市政中，存在着大量的传感器，这些传感器或密集或稀疏地分布，用来收集各类信息数据，例如温度、压力、流量、功率、湿度和热量等数据。大量分布式的传感器采集得到的数据是大数据分析以及智能化处理的基础。由于传感器的数量多且分布广，难免其中会有部分传感器出现异常，特别是现在部署大量的无线传感器的空间中，如何保障采集的传感器的基础数据的可信与可靠显得尤为关键。
传感器上传的数据可以被认为由两部分组成：一是被测对象属性的事迹值，二是产生于测量过程的随机误差。云计算、大数据平台以及相关的人工智能算法，在很大程度上无法将数据中真实有用的值，同测量过程中不可控的随机误差相分开。特别是一些算法对随机误差类的噪声非常敏感，可能会由于数据中存在的噪声导致计算失败，或者计算出错误的值。因此，数据的降噪就显得额外重要。
传统工业物联网(InternetofThings，IoT)无法得到广泛应用的原因，很大程度上是由于测量数据的不可靠，以及随机误差导致的。传统的降噪技术，例如滑动平均、硬阈值方法、短时窗口傅里叶变换等，在一定程度上能够抑制噪声。
然而，大量各异的传感器被应用于建筑信息的测量中，不同的传感器、安装位置不同的传感器其噪声的特性有区别，而上述方法难以做到自适应。例如，滑动平均的窗口具体取多大就是一个很典型的问题，滑动平均窗口取大了，导致过度平均，以及测量值在时间和空间上的滑移，会导致数据的失真；短时窗口傅里叶变换的窗口大小必须与数据震荡周期的整数倍相同，否则会导致频谱泄露，使得重构后的信号失真。
为此，如何实现各类传感器数据在不同分辨率下的降噪成为亟需解决的技术问题。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于多分辨率小波的传感器数据降噪方法。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于多分辨率小波的传感器数据降噪方法，包括：
S01、获取供热系统的一次管网中每一传感器在指定时段内的数据，将每一传感器的数据作为原始信号；
S02、基于所述原始信号进行KS检测，获取最优分解层数J；
S03、采用预先选择的小波函数和基函数以最优分解层数J对所述原始信号进行处理并重构，获得降噪后的目标信号。
可选地，所述S01之前，所述方法还包括：
从云端设备中获取每一传感器在指定时间段内的数据，将获取的每一传感器的数据作为原始信号；
或者，从云端设备中获取经过异常数据检测之后的每一传感器在指定时间段内的数据，将获取的每一传感器的数据作为原始信号。
可选地，S03包括：
S03-1、从预设的滤波函数中选择一组小波函数ψ(x)和基函数φ(x)；所述小波函数为高分辨率滤波函数，所述基函数为低分辨率滤波函数；
S03-2、基于最优分解层数J和小波函数ψ(x)、基函数φ(x)对所述原始信号进行分解处理，得到分解后的高分辨率信号和低分辨率信号；
S03-3、采用软阈值方式对所述高分辨率信号和低分辨率信号进行处理，得到处理后的两种信号；对处理后的两种信号进行重构，获得目标信号。
可选地，S03-2包括：
基于最优分解层数J和小波函数ψ(x)、采用下述公式对所述原始信号进行分解处理，得到分解后的低分辨率信号，基于最优分解层数J和基函数φ(x)，采用下述公式对原始信号进行分解处理，得到分解后的高分辨率信号；
Figure BDA0003152938370000031
Figure BDA0003152938370000032
获取高分辨率信号
Figure BDA0003152938370000034
和低分辨率信号
Figure BDA0003152938370000035
其中，Proj是一个计算符号，表示投影，V为一个空间的符号，Vj+1为一个j+1层的空间符号；
Figure BDA0003152938370000033
表示第Vj+1空间的拆解投影过程，
Figure BDA0003152938370000036
表示V-J空间组装投影过程，小波函数和基函数均为有长度的序列，k表示小波函数或基函数在长度序列中的位置；Z表示k的取值的总长度数值；Cj,k表V空间中的投影结果，Dj,k为W空间中的投影结果；Wj表示一个j层的空间符号；
W表示另一个空间的符号；W-i表示一个-i层的空间符号，W和V满足空间建立的关系，f(x)表示原始信号；
j为分辨率，为从1开始取值的整数，J＝1时表示原始信号，J＜1时表示降采样信号，J＝-1为进行一次分解得到的信号，J＝-2为进行两次分解，f(x)中x为信号的索引，若要处理一天1440分钟的数据，则f(x)中x的取值为从1到1440的离散序列，f(1)为第一分钟传感器所上传的数据，i＝(-J,-J+1,…,-1)；
ψ(x)为小波函数，φ(x)为基函数，J为分解层数，i＝(-J,-J+1,…,-1)。
可选地，S03-3包括：
对
Figure BDA0003152938370000042
和
Figure BDA0003152938370000043
通过软阈值方法进行处理；
基于处理后的
Figure BDA0003152938370000044
和
Figure BDA0003152938370000045
按照公式三进行重构，得到降噪后的目标信号T(x)；
公式三：
Figure BDA0003152938370000041
可选地，所述传感器的数据包括下述的一种或多种：
压力传感器的数据、温度传感器的数据、流量数据、热量数据。
可选地，对云端设备中的传感器数据进行异常检测包括：
P01、获取区域供热运行系统各传感器采集的数据，将所有传感器在每一时间点的数据作为一个待测向量数据；
P02、将每一个待测向量数据和预先训练获取的超球面的向量空间进行比较，判断是否存在处于超球面外部的一个维度以上的数据；所述向量空间的数据维度和待测向量数据的数据维度相同；
P03，若存在，将落在超球面外部的各维度的数据作为检测出的异常数据；
其中，基于区域供热运行系统上一年的数据获取支持向量机的最小支持半径Rv，基于获取的Rv建立超球面的向量空间。
可选地，P01之前，所述方法还包括：
M01、获取区域供热运行系统上一年各传感器采集的数据；
M02、对上一年的数据进行筛选，并标注异常数据标签和正常数据标签，将完成标注的每一时间点的所有传感器的数据作为一个训练数据向量，得到所有训练数据向量组成的训练数据集；
M03、基于所述训练数据集，采用遗传算法优化预设的目标函数，获取支持向量机的最小支持半径Rv。
可选地，M03包括：
M03-1、构建具有正则项的目标函数L：
M03-2、基于构建的目标函数L，给目标函数中的正则项v一个随机数，并使拉格朗日乘子α∈PN，且
Figure BDA0003152938370000051
αi与xi一一对应，获取向量空间的支持半径R；P为实数，
M03-3、采用支持半径R对训练数据集进行分类，获得分类结果的正确率；
重复M03-2至M03-3，直到迭代达到终止条件，则将达到终止条件时对应的正则项v作为最后选定的正则项，同时获得正则项对应的最小支持半径Rv；
其中，x＝(x1,x2,…xi,xN)为训练数据集，xi为第i个传感器的训练数据；
Figure BDA0003152938370000052
Figure BDA0003152938370000053
定义核函数k(x,y)＝φ(x)·φ(y)；
Figure BDA0003152938370000054
N为训练数据集的向量总数，即N个传感器；i、j分别表示从1到N取值，即传感器的编号；φ(xi)为核函数；α为拉格朗日乘子，用于将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，以获取原函数极值的各个变量的解，作为非约束优化的目标，基于遗传算法得到解，m为向量维度。
第二方面，本发明实施例还提供一种电子设备，包括：存储器、处理器和总线，所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行第一方面任一所述的基于多分辨率小波的传感器数据降噪方法。
(三)有益效果
本发明的方法为了克服现有方法的局限性，通过引入自适应窗口的小波函数，使得对于信号的降噪可以自适应地在不同分辨率下进行，避免了由于需要设定窗口尺寸导致的问题。本发明的方法在使用中可以减少参数量，因此实际应用中能够广泛推广，且操作简便，并能够自适应调整窗口大小。
附图说明
图1为本发明一实施例提供的一种基于多分辨率小波的传感器数据降噪方法的流程示意图；
图2为本发明另一实施例提供的基于多分辨率小波的传感器数据降噪方法的示意图；
图3为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
实施例一
如图1所示，图1示出了本发明一实施例提供的基于多分辨率小波的传感器数据降噪方法的流程示意图，本实施例的方法的执行主体为任一计算机或电子设备，其降噪方法可包括下述的步骤：
S01、获取供热系统的一次管网中每一传感器在指定时段内的数据，将每一传感器的数据作为原始信号。
举例来说，从云端设备中获取每一传感器在指定时间段内的数据，将获取的每一传感器的数据作为原始信号。
在实际应用中，还可以从云端设备中获取经过异常数据检测之后的每一传感器在指定时间段内的数据，将获取的每一传感器的数据作为原始信号。
在本实施例中，所述传感器的数据可包括下述的一种或多种：压力传感器的数据、温度传感器的数据、流量数据、热量数据。
S02、基于所述原始信号进行KS检测，获取最优分解层数J；
S03、采用预先选择的小波函数和基函数以最优分解层数J对所述原始信号进行处理并重构，获得降噪后的目标信号。
举例来说，S03可包括：
S03-1、从预设的滤波函数中选择一组小波函数ψ(x)和基函数φ(x)；所述小波函数为高分辨率滤波函数，所述基函数为低分辨率滤波函数；
S03-2、基于最优分解层数J和小波函数ψ(x)、基函数φ(x)对所述原始信号进行分解处理，得到分解后的高分辨率信号和低分辨率信号；
S03-3、采用软阈值方式对所述高分辨率信号和低分辨率信号进行处理，得到处理后的两种信号；对处理后的两种信号进行重构，获得目标信号。
例如，
Figure BDA0003152938370000081
Figure BDA0003152938370000082
得到
Figure BDA0003152938370000084
和
Figure BDA0003152938370000085
其中，j为分辨率，j＝1时为原始分辨率，i＝(-J,-J+1,…,-1)。
x为变量。
对
Figure BDA0003152938370000086
和
Figure BDA0003152938370000087
通过软阈值方法进行处理；
基于处理后的
Figure BDA0003152938370000088
和
Figure BDA0003152938370000089
按照公式一进行重构，得到降噪后的目标信号T(x)；
公式一：
Figure BDA0003152938370000083
其中，j为分辨率，为从1开始取值的整数，J＝1时表示原始信号，J＜1时表示降采样信号，例如，进行一次分解得到的信号，J＝-1，进行两次分解J＝-2，随着分解层数的增加，信号中细节信号逐渐丢失，时间序列曲线越来越平滑。f(x)为时间序列信号，x为信号的索引，若要处理一天1440分钟的数据，则f(x)中x的取值为从1到1440的离散序列，f(1)为第一分钟传感器所上传的数据。i＝(-J,-J+1,…,-1)。
Proj是一个计算符号，表示投影，V为一个空间的符号，Vj+1为一个j+1层的空间符号；
Figure BDA0003152938370000091
表示第Vj+1空间的拆解投影过程，
Figure BDA0003152938370000092
表示V-J空间组装投影过程，小波函数和基函数均为有长度的序列，k表示小波函数或基函数在长度序列中的位置；Z表示k的取值的总长度数值；Cj,k表V空间中的投影结果，Dj,k为W空间中的投影结果；
W表示另一个空间的符号；W-i表示一个-i层的空间符号，W和V满足空间建立的关系，f(x)表示原始信号；ψ对应的是Wj，Φ对应的是Vj。
本实施例的方法，通过引入自适应窗口的小波函数，使得对于信号的降噪可以自适应地在不同分辨率下进行，避免了由于需要设定窗口尺寸导致的问题。本发明的方法在使用中可以减少参数量，因此实际应用中能够广泛推广，且操作简便，并能够自适应调整窗口大小。
实施例二
当前，对供热系统的一次管网进行水力计算的时候，精确的压力、流量传感器数据是非常重要的。这些传感器通常安装在各个热力站、管井以及部分重要管道上，持续地采集着安装点的压力和流量数据。
传感器的数据实时上传到云端设备的云端数据库中进行存储。当需要进行水力计算时，首先算法会从数据库中取出对应时间段的数据。此时，启动本发明实施例的方法，以对对应时间段内的数据进行降噪处理。具体地，可包括下述步骤：
第一步：将一个传感器目标时间段的数据从数据库中取出，作为原始信号；
第二步：对信号进行Kolmogorov-Smirnov检验(即KS检验)，求得最佳的分解层数J，例如可以调用KS检验的工具包对原始信号进行处理，获得最佳分解层数J。
本实施例中KS检验可理解为：首先进行层数为一层的分解，再此基础上对传感器的时间序列信号进行降噪，然后与原始信号进行比较。如果两次区别较大，则增加分解层数，只到第J次和第J+1次的区别不再显著，此时选择最佳分解层数为J。
第三步：选择小波函数ψ(x)和基函数φ(x)。
在实际应用中，提前定义好两个滤波器，即小波函数和基函数就是对应的滤波器，进而供后续计算进行选择使用。
利用选择的小波函数ψ(x)和基函数φ(x)对原始信号进行分解
Figure BDA0003152938370000101
Figure BDA0003152938370000102
得到
Figure BDA0003152938370000107
和
Figure BDA0003152938370000108
对
Figure BDA0003152938370000109
和
Figure BDA00031529383700001010
通过软阈值方法进行处理。例如，设定一个阈值T，如果时间序列的信号，在某一时刻的绝对值大于阈值，则将该信号的值设置为阈值T。上述时间序列信号，是指投影到小波空间的细节信号，即
Figure BDA00031529383700001011
而非原始的传感器信号。
进而，利用处理后的
Figure BDA00031529383700001012
和
Figure BDA00031529383700001013
Figure BDA00031529383700001014
进行重构，得到降噪后的目标信号T(x)；
即采用下述公式进行重构处理：
Figure BDA0003152938370000103
为了更清楚理解上述过程，下面对部分公式的原理进行说明。
设原始信号
Figure BDA0003152938370000104
Figure BDA0003152938370000105
为实数，(原始信号可为上述的传感器的数据)，其中
Figure BDA0003152938370000106
表示可测的、平方可积的一维函数空间。
多分辨率，即指在不同的函数空间中对原信号进行观测，从而获得多分辨率的分析特性。
设在分辨率为2j的空间
Figure BDA00031529383700001115
上对原始信号f(x)进行观测。空间
Figure BDA00031529383700001116
在构成上一定是由一组标准正交基所张成的：
Figure BDA00031529383700001118
其中2-j/2φ(2jx-k),k∈Z构建函数空间
Figure BDA0003152938370000111
的正交基，Z为整数，表示函数序列的长度。j为给定的随机数，表示分辨率。实际运用的时候分辨率的取值是从最大分解层数到1之间取值，最大分解层数由KS方法取得，例如最大分解层数为10，则J的取值是：-10,-9,...-1,0,1。
因此，原始信号f(x)在观测空间
Figure BDA00031529383700001117
上的投影为
Figure BDA0003152938370000112
其中φj,k(x)＝φ(2jx-k),k∈Z，Cj,k为原始信号在分辨率为2j空间内的离散近似。Cj,k＝<f(x),φj,k(x)>，其中<f(x),φj,k(x)>表示f(x)与φj,k(x)的内积，计算公式为：
Figure BDA0003152938370000113
当原始信号从高分辨率空间
Figure BDA0003152938370000114
投影到低分辨率空间
Figure BDA0003152938370000115
时，不可避免地会损失部分信息，这部分信息可以在
Figure BDA0003152938370000116
与
Figure BDA0003152938370000117
空间的正交补空间
Figure BDA0003152938370000118
上表示出来。用数学的方式表示则为：
Figure BDA0003152938370000119
Figure BDA00031529383700001110
其中
Figure BDA00031529383700001111
为直和计算符。
Figure BDA00031529383700001112
同样可以由一组标准正交基张成的，可理解为补差信号。定义张成
Figure BDA00031529383700001113
空间的标准正交基为小波函数ψj,k(x)，j与k的定义与φj,k(x)中的一致。这样一来，细节信号可表示为
Figure BDA00031529383700001114
在
Figure BDA0003152938370000121
上的投影。因此有：
Figure BDA0003152938370000122
Figure BDA0003152938370000123
对一维信号的内积(即滤波处理)可以被表示为对信号的滤波，设原函数与φj,k的内积过程可以被表示为与低通滤波器l(n)的卷积(即小波函数对信号的卷积)；设原函数与ψj,k的内积过程可以被表示为与高通滤波器h(n)的卷积(即基函数对信号的卷积)。
当原始信号的分辨率为1时，即j＝0时，原始信号可以由
Figure BDA0003152938370000125
和
Figure BDA0003152938370000126
重组，其中J>0表示分解的层数。原始信号的分辨率最高。通过对最低分辨率的信号离散进行近似，以及对各分辨率下细节的离散进行阈值化后重建，即可得到降噪后的信号。因此，原始信号f(x)在分辨率为1时，其通过上述方法重构的表示为：
Figure BDA0003152938370000124
该处x为分钟的变量，x从1到1440取值的曲线，传感器的曲线，T(x)为即对应最后的降噪后的传感器的数据，T(x)右边就是重构的过程。
实施例三
本实施例提供一种数据异常检测的方法，该数据异常检测的方法可应用在传感器数据降噪之前，其用于对所有传感器在某个时间点的数据进行异常检测，其包括下述的步骤：
P01、获取区域供热运行系统上水时间段内各传感器采集的数据，将所有传感器在每一时间点的数据作为一个待测向量数据。
举例来说，本实施例中的电子设备可从云端设备中获取区域供热运行系统上水时间段内各传感器采集的数据。本实施例中，云端设备接收并存储区域供热运行系统中各传感器采集并借助于中继设备上传的数据。
本实施例中传感器的数据包括：压力传感器的数据、温度传感器的数据，和/或流量传感器的数据。
P02、将每一个待测向量数据和预先训练获取的超球面的向量空间进行比较，判断是否存在处于超球面外部的一个维度以上的数据；所述向量空间的数据维度和待测向量数据的数据维度相同。
本实施例中，基于区域供热运行系统上一年的数据获取支持向量机的最小支持半径Rv，基于获取的Rv建立超球面的向量空间。
P03，若存在，将落在超球面外部的各维度的数据作为检测出的异常数据；
在实际应用中，可将检测出的异常数据去除，获得去除异常数据的所有传感器的数据并存储。特别地，针对去除异常数据的所有传感器的数据，对每一传感器的指定时间内的数据进行降噪处理，如上实施例一和实施例的降噪处理方式，并获取降噪的数据；采用降噪的数据作为输入，采用预先建立的预测模型进行分析或预测，以确定区域供热运行系统的输出或运行是否正常。
本实施例的方法运行在电子设备中，属于一种计算机程序，其能够采用历史数据建立向量机支持的超球面向量空间，进而将采集的待测向量数据与建立的超球面向量空间进行匹配，进而分辨出异常数据，其能够适应各种场景下传感器的数据，检测准确率高，且检测简便，参数少。
为更好的理解上述步骤中的预先训练获取的超球面的向量空间，在实际应用中，上述图1的S01之前，所述方法还包括下述的图中未示出的步骤：
M01、获取区域供热运行系统上一年的上水时间段内各传感器采集的数据；
M02、对上一年的数据进行筛选，并标注异常数据标签和正常数据标签，将完成标注的每一时间点的所有传感器的数据作为一个训练数据向量，得到所有训练数据向量组成的训练数据集；
M03、基于所述训练数据集，采用遗传算法优化预设的目标函数，获取支持向量机的最小支持半径Rv。
具体地，M03可包括：
M03-1、构建具有正则项的目标函数L：
M03-2、基于构建的目标函数L，给目标函数中的正则项v一个随机数，并使拉格朗日乘子
Figure BDA0003152938370000141
且
Figure BDA0003152938370000142
对应的x，获取向量空间的支持半径R；拉格朗日乘子α为一个N维向量。
M03-3、采用支持半径R对训练数据集进行分类，获得分类结果的正确率；
重复M03-2至M03-3，直到迭代达到终止条件(如终止条件可为迭代次数达到第一预设阈值；或者，终止条件为正确率高于95％～98％)，将达到终止条件时对应的正则项v作为最后选定的正则项，同时获得正则项对应的最小支持半径Rv；
其中，x＝(x1,x2,…xi,xN)为训练数据集，xi为第i个传感器的训练数据；
Figure BDA0003152938370000143
Figure BDA0003152938370000151
定义核函数k(x,y)＝φ(x)·φ(y)；
Figure BDA0003152938370000152
N为训练数据集的向量总数即传感器的总数；i、j分别表示从1到N取值即传感器的编号；φ(xi)为核函数，其定义如上式中等号右侧所示，αi为拉格朗日乘子，其目的是将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解，其作为非约束优化的目标，通过遗传算法进行求解。
因此，本实施例将SVM技术应用于工业IoT传感器数据的异常数据处理中，扩展了传统SVM的运用范围，通过工业IoT传感器将传感器采集到的数据实时上传到云端，在云端设备中，运用上述方法对于异常数据进行识别。
根据本发明实施例的另一方面，本发明实施例还提供一种电子设备，本实施例的电子设备可包括：存储器、处理器和总线，所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行上述第一方面任一所述的基于多分辨率小波的传感器数据降噪方法。
根据本发明实施例的再一方面，本发明实施例还提供一种计算机存储介质，该计算机存储介质可包括：所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面任一所述的基于多分辨率小波的传感器数据降噪方法。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于多分辨率小波的传感器数据降噪方法，其特征在于，包括：
S01、获取供热系统的一次管网中每一传感器在指定时段内的数据，将每一传感器的数据作为原始信号；
S02、基于所述原始信号进行KS检测，获取最优分解层数J；
S03、采用预先选择的小波函数和基函数以最优分解层数J对所述原始信号进行处理并重构，获得降噪后的目标信号。
2.根据权利要求1所述的方法，其特征在于，所述S01之前，所述方法还包括：
从云端设备中获取每一传感器在指定时间段内的数据，将获取的每一传感器的数据作为原始信号；
或者，从云端设备中获取经过异常数据检测之后的每一传感器在指定时间段内的数据，将获取的每一传感器的数据作为原始信号。
3.根据权利要求1所述的方法，其特征在于，S03包括：
S03-1、从预设的滤波函数中选择一组小波函数ψ(x)和基函数φ(x)；所述小波函数为高分辨率滤波函数，所述基函数为低分辨率滤波函数；
S03-2、基于最优分解层数J和小波函数ψ(x)、基函数φ(x)对所述原始信号进行分解处理，得到分解后的高分辨率信号和低分辨率信号；
S03-3、采用软阈值方式对所述高分辨率信号和低分辨率信号进行处理，得到处理后的两种信号；对处理后的两种信号进行重构，获得目标信号。
4.根据权利要求3所述的方法，其特征在于，S03-2包括：
基于最优分解层数J和小波函数ψ(x)、采用下述公式对所述原始信号进行分解处理，得到分解后的低分辨率信号，基于最优分解层数J和基函数φ(x)，采用下述公式对原始信号进行分解处理，得到分解后的高分辨率信号；
Figure FDA0003152938360000021
Figure FDA0003152938360000022
Figure FDA0003152938360000023
Figure FDA0003152938360000024
获取高分辨率信号
Figure FDA0003152938360000025
和低分辨率信号
Figure FDA0003152938360000026
其中，Proj是一个计算符号，表示投影，V为一个空间的符号，Vj+1为一个j+1层的空间符号；
Figure FDA0003152938360000027
表示第Vj+1空间的拆解投影过程，
Figure FDA0003152938360000028
表示V-J空间组装投影过程，小波函数和基函数均为有长度的序列，k表示小波函数或基函数在长度序列中的位置；Z表示k的取值的总长度数值；Cj，k表V空间中的投影结果，Dj，k为W空间中的投影结果；Wj表示一个j层的空间符号；
W表示另一个空间的符号；W-i表示一个-i层的空间符号，W和V满足空间建立的关系，f(x)表示原始信号；
j为分辨率，为从1开始取值的整数，J＝1时表示原始信号，J＜1时表示降采样信号，J＝-1为进行一次分解得到的信号，J＝-2为进行两次分解，f(x)中x为信号的索引，若要处理一天1440分钟的数据，则f(x)中x的取值为从1到1440的离散序列，f(1)为第一分钟传感器所上传的数据，i＝(-J，-J+1，...，-1)；
ψ(x)为小波函数，φ(x)为基函数，J为分解层数，i＝(-J，-J+1，...，-1)。
5.根据权利要求4所述的方法，其特征在于，S03-3包括：
对
Figure FDA0003152938360000031
和
Figure FDA0003152938360000032
通过软阈值方法进行处理；
基于处理后的
Figure FDA0003152938360000033
和
Figure FDA0003152938360000034
按照公式三进行重构，得到降噪后的目标信号T(x)；
公式三：
Figure FDA0003152938360000035
6.根据权利要求1至5任一所述的方法，其特征在于，所述传感器的数据包括下述的一种或多种：
压力传感器的数据、温度传感器的数据、流量数据、热量数据。
7.根据权利要求2所述的方法，其特征在于，对云端设备中的传感器数据进行异常检测包括：
P01、获取区域供热运行系统各传感器采集的数据，将所有传感器在每一时间点的数据作为一个待测向量数据；
P02、将每一个待测向量数据和预先训练获取的超球面的向量空间进行比较，判断是否存在处于超球面外部的一个维度以上的数据；所述向量空间的数据维度和待测向量数据的数据维度相同；
P03，若存在，将落在超球面外部的各维度的数据作为检测出的异常数据；
其中，基于区域供热运行系统上一年的数据获取支持向量机的最小支持半径Rv，基于获取的Rv建立超球面的向量空间。
8.根据权利要求7所述的方法，其特征在于，P01之前，所述方法还包括：
M01、获取区域供热运行系统上一年各传感器采集的数据；
M02、对上一年的数据进行筛选，并标注异常数据标签和正常数据标签，将完成标注的每一时间点的所有传感器的数据作为一个训练数据向量，得到所有训练数据向量组成的训练数据集；
M03、基于所述训练数据集，采用遗传算法优化预设的目标函数，获取支持向量机的最小支持半径Rv。
9.根据权利要求8所述的方法，其特征在于，M03包括：
M03-1、构建具有正则项的目标函数L：
M03-2、基于构建的目标函数L，给目标函数中的正则项v一个随机数，并使拉格朗日乘子α∈PN，且
Figure FDA0003152938360000041
αi与xi一一对应，获取向量空间的支持半径R；P为实数，
M03-3、采用支持半径R对训练数据集进行分类，获得分类结果的正确率；
重复M03-2至M03-3，直到迭代达到终止条件，则将达到终止条件时对应的正则项v作为最后选定的正则项，同时获得正则项对应的最小支持半径Rv；
其中，x＝(x1，x2，...xi，xN)为训练数据集，xi为第i个传感器的训练数据；
Figure FDA0003152938360000042
Figure FDA0003152938360000043
定义核函数k(x，y)＝φ(X)·φ(y)；
Figure FDA0003152938360000044
N为训练数据集的向量总数，即N个传感器；i、j分别表示从1到N取值，即传感器的编号；φ(xi)为核函数；αi为拉格朗日乘子，用于将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，以获取原函数极值的各个变量的解，作为非约束优化的目标，基于遗传算法得到解，m为向量维度。
10.一种电子设备，其特征在于，包括：存储器、处理器和总线，所述处理器与所述存储器通过所述总线连接；
所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至9任一所述的基于多分辨率小波的传感器数据降噪方法。
CN202110768843.6A 2021-07-07 2021-07-07 一种基于多分辨率小波的传感器数据降噪方法 Pending CN113420710A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110768843.6A CN113420710A (zh) 2021-07-07 2021-07-07 一种基于多分辨率小波的传感器数据降噪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110768843.6A CN113420710A (zh) 2021-07-07 2021-07-07 一种基于多分辨率小波的传感器数据降噪方法

Publications (1)

Publication Number Publication Date
CN113420710A true CN113420710A (zh) 2021-09-21

Family

ID=77720426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110768843.6A Pending CN113420710A (zh) 2021-07-07 2021-07-07 一种基于多分辨率小波的传感器数据降噪方法

Country Status (1)

Country Link
CN (1) CN113420710A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987972A (zh) * 2021-11-05 2022-01-28 中国石油大学(北京) 水击压力波波速确定方法、装置及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323221A1 (en) * 2016-05-03 2017-11-09 Sas Institute Inc. Fast training of support vector data description using sampling
CN107563008A (zh) * 2017-08-08 2018-01-09 三峡大学 基于svd变换和支持向量空间的刀具运行可靠性评估方法
CN109409281A (zh) * 2018-10-22 2019-03-01 河南科技大学 一种基于改进的小波阈值函数的降噪方法
CN109816119A (zh) * 2019-02-02 2019-05-28 南京邮电大学 一种基于无监督学习的无线传感器异常数据检测方法
WO2019132740A1 (ru) * 2017-12-29 2019-07-04 Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет имени М.В. Ломоносова" Способ обработки векторных сигналов для распознавания образов на основе вейвлет - анализа
CN110793094A (zh) * 2019-10-28 2020-02-14 浙江大学 一种城市集中供热系统综合灵活调度方法和系统
CN111611674A (zh) * 2019-11-20 2020-09-01 天津大学 一种供热系统仿真运行工况可视化方法
CN212961803U (zh) * 2020-07-01 2021-04-13 国网(北京)综合能源规划设计研究院有限公司 一种多能互补供热系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170323221A1 (en) * 2016-05-03 2017-11-09 Sas Institute Inc. Fast training of support vector data description using sampling
CN107563008A (zh) * 2017-08-08 2018-01-09 三峡大学 基于svd变换和支持向量空间的刀具运行可靠性评估方法
WO2019132740A1 (ru) * 2017-12-29 2019-07-04 Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет имени М.В. Ломоносова" Способ обработки векторных сигналов для распознавания образов на основе вейвлет - анализа
CN109409281A (zh) * 2018-10-22 2019-03-01 河南科技大学 一种基于改进的小波阈值函数的降噪方法
CN109816119A (zh) * 2019-02-02 2019-05-28 南京邮电大学 一种基于无监督学习的无线传感器异常数据检测方法
CN110793094A (zh) * 2019-10-28 2020-02-14 浙江大学 一种城市集中供热系统综合灵活调度方法和系统
CN111611674A (zh) * 2019-11-20 2020-09-01 天津大学 一种供热系统仿真运行工况可视化方法
CN212961803U (zh) * 2020-07-01 2021-04-13 国网(北京)综合能源规划设计研究院有限公司 一种多能互补供热系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
周祖德，等: "数字制造装备与过程的智能控制", 31 December 2020, 武汉理工大学出版社, pages: 128 *
张锦南，等: "物联网与智能卡技术", 31 May 2020, 北京邮电大学出版社, pages: 181 - 182 *
耿则勋，等: "小波变换及在遥感图像处理中的应用", 30 November 2016, 华中科技大学出版社, pages: 230 - 182 *
马咏雪: "基于SVDD的模拟电路异常检测方法研究及应用", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 2, 15 February 2017 (2017-02-15), pages 12 - 30 *
马咏雪: "基于SVDD的模拟电路异常检测方法研究及应用", 中国优秀硕士学位论文全文数据库 信息科技辑, pages 12 - 30 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113987972A (zh) * 2021-11-05 2022-01-28 中国石油大学(北京) 水击压力波波速确定方法、装置及电子设备
CN113987972B (zh) * 2021-11-05 2022-09-27 中国石油大学(北京) 水击压力波波速确定方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Li et al. Data-driven bearing fault identification using improved hidden Markov model and self-organizing map
Liu et al. A hybrid WA–CPSO-LSSVR model for dissolved oxygen content prediction in crab culture
Qiu et al. Robust performance degradation assessment methods for enhanced rolling element bearing prognostics
CN110361778B (zh) 一种基于生成对抗网络的地震数据重建方法
CN115018021B (zh) 基于图结构与异常注意力机制的机房异常检测方法及装置
CN115412455B (zh) 一种基于时间序列的服务器多性能指标异常检测方法及装置
Baraldi et al. Reconstruction of missing data in multidimensional time series by fuzzy similarity
Wan et al. A critical study of different dimensionality reduction methods for gear crack degradation assessment under different operating conditions
CN112862127B (zh) 一种传感器数据的异常处理方法、装置、电子设备及介质
CN110083593B (zh) 电站运行参数清洗及修复方法、修复系统
Hajihosseini et al. Fault detection and isolation in the challenging Tennessee Eastman process by using image processing techniques
CN115484102A (zh) 一种面向工业控制系统的异常检测系统和方法
CN111476278A (zh) 一种气体浓度智能化检测系统
CN116557787B (zh) 管网状态智能评估系统及其方法
CN113420710A (zh) 一种基于多分辨率小波的传感器数据降噪方法
Wang et al. Uncertainty quantification of bearing remaining useful life based on convolutional neural network
Rani et al. Fault detection and isolation using probabilistic wavelet neural operator auto-encoder with application to dynamic processes
CN117419828B (zh) 基于光纤传感器的新能源电池温度监测方法
CN113139586B (zh) 模型训练方法、设备异常诊断方法、电子设备及介质
CN112990106B (zh) 水下物体检测方法、装置、计算机设备和存储介质
CN114444790A (zh) 基于稳态特征构图的燃气轮机上多种测点时序预测方法
CN111930728B (zh) 一种设备的特征参数和故障率的预测方法及系统
CN113110403A (zh) 一种基于稀疏约束的工业过程离群点检测与故障诊断方法和系统
Jiang et al. A timeseries supervised learning framework for fault prediction in chiller systems
CN110990383A (zh) 一种基于工业大数据集的相似度计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination