CN108551412B - 监控数据降噪处理方法和装置 - Google Patents
监控数据降噪处理方法和装置 Download PDFInfo
- Publication number
- CN108551412B CN108551412B CN201810415006.3A CN201810415006A CN108551412B CN 108551412 B CN108551412 B CN 108551412B CN 201810415006 A CN201810415006 A CN 201810415006A CN 108551412 B CN108551412 B CN 108551412B
- Authority
- CN
- China
- Prior art keywords
- signal
- phase space
- matrix
- component
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 76
- 230000009467 reduction Effects 0.000 title claims abstract description 37
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims abstract description 124
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims description 38
- 238000010276 construction Methods 0.000 claims description 8
- 229940037201 oris Drugs 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 4
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 238000005183 dynamical system Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/067—Generation of reports using time frame reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
Abstract
本发明实施例提供一种监控数据降噪处理方法和装置，属于通信技术领域。方法包括：获取监控数据，监控数据为单变量的时间序列信号；基于单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵，并对相空间矩阵进行奇异值分解，计算相空间矩阵的有效重构阶秩，得到相空间矩阵的主奇异值；利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，实现对监控数据的降噪处理。本发明实施例提供的监控数据降噪处理方法和装置可以提高监控数据的准确性，进而提升GTM调度质量。
Description
技术领域
本发明涉及通信技术领域，特别涉及一种监控数据降噪处理方法和装置。
背景技术
GTM(Global Traffic Manager,全局流量管理)是基于智能DNS(Domain NameSystem，域名系统)、分布式监控体系及大数据处理平台、覆盖各运营商和各区域的解析线路以及不断更新的IP库，实现24小时宕机自动检测及主备源的智能切换，进而为用户提供可靠、稳定和安全的流量调度服务。
目前，GTM调度主要依赖于IDC(Internet Data Center,互联网数据中心)机房监控节点对目标主机进行的监控探测。通常是选取多个监控节点对一个目标主机进行监控探测，监控节点将监控数据返回给GTM调度中心，GTM调度中心再对监控节点返回的监控数据进行分析。如果对目标主机的探测结果存在不可用的情况，则提高探测频率，继续对目标主机进行探测，直至返回的探测结果全部为不可用状态。若返回的探测结果全部为不可用状态，则进行调度切换。
上述方法中，GTM调度中心根据监控节点返回的监控数据实现对目标主机的探测及调度切换。但是，监控节点返回的监控数据存在不准确性，例如，当出现网络波动、监控节点故障等状况时。当监控节点返回的监控数据准确性较差时，由于GTM调度中心不能识别监控数据的准确性，导致调度错误。
发明内容
本发明的实施例提供一种监控数据降噪处理方法和装置，用以提高监控数据的准确性。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本发明实施例提供一种监控数据降噪处理方法，包括：
获取监控数据，所述监控数据为单变量的时间序列信号；
基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵；
对所述相空间矩阵进行奇异值分解；
计算相空间矩阵的有效重构阶秩，获得相空间矩阵的主奇异值；
利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，实现对所述监控数据的降噪处理。
在第一方面的第一种可能的实现方式中，所述利用相空间矩阵的主奇异值进行信号重构，包括：
构造相空间矩阵的主元素矩阵，计算出重构信号的各个主分量；
根据计算出的各个主分量及各个主分量对应的经验正交函数EOF，计算出重构信号。
在第一方面的第二种可能的实现方式中，所述利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，包括：
重构第1个主奇异值对应的逼近矩阵；
计算重构信号分量和重构信号剩余分量；
判断重构信号剩余分量是否为噪声成分信号；
若剩余分量是噪声成分，则降噪后的信号为：
式中，p为相空间矩的有效重构阶秩，
为重构信号分量。
结合第一方面或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，若剩余分量不是噪声成分，则通过改变嵌入维数和延迟时间对相空间矩阵进行调整，直至计算出的重构信号剩余分量是噪声成分；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
结合第一方面或第一方面的第二种可能的实现方式，在第四种可能的实现方式中，若剩余分量不是噪声成分，则将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构，相空间再重构的次数最大值为p；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
第二方面，本发明实施例提供一种监控数据降噪处理装置，包括：
获取模块，用于获取监控数据，所述监控数据为单变量的时间序列信号；
构造模块，用于基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵；
分解模块，用于对所述相空间矩阵进行奇异值分解；
计算模块，用于计算相空间矩阵的有效重构阶秩，获得相空间矩阵的主奇异值；
所述构造模块，还用于利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，实现对所述监控数据的降噪处理。
在第二方面的第一种可能的实现方式中，所述构造模块还用于构造相空间矩阵的主元素矩阵，计算出重构信号的各个主分量；
所述计算模块，还用于根据计算出的各个主分量及各个主分量对应的经验正交函数EOF，计算出重构信号。
在第二方面的第二种可能的实现方式中，所述构造模块还用于重构第1个主奇异值对应的逼近矩阵；
所述计算模块还用于计算重构信号分量和重构信号剩余分量；
所述的装置还包括判断模块，所述判断模块用于判断重构信号剩余分量是否为噪声成分信号；
若剩余分量是噪声成分，则降噪后的信号为：
式中，p为相空间矩的有效重构阶秩，
为重构信号分量。
结合第二方面或第二方面的第二种可能的实现方式，在第三种可能的实现方式中，若剩余分量不是噪声成分，则所述构造模块还用于通过改变嵌入维数和延迟时间对相空间矩阵进行调整，直至计算出的重构信号剩余分量是噪声成分；
然后由计算模块基于重构信号分量
计算降噪后的信号
计算公式为：
结合第二方面或第二方面的第二种可能的实现方式，在第四种可能的实现方式中，若剩余分量不是噪声成分，则所述构造模块还用于将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构，相空间再重构的次数最大值为p；
然后由计算模块基于重构信号分量
计算降噪后的信号
计算公式为：
本发明实施例提供的技术方案，在获取监控数据后，针对监控数据时间序列信号在嵌入维空间中进行相空间重构，在嵌入维空间中可以恢复诸如吸引子等非线性特征，重构出的原动力系统的相空间矩阵是与原动力系统在拓扑意义下等价的模型，进一步的通过对相空间矩阵进行奇异值分解，计算相空间矩阵的有效重构阶秩，得到相空间矩阵的主奇异值，并利用相空间矩阵的主奇异值进行信号重构，能体现系统的全局特征，达到很好的预测效果。因此，本发明实施例提供的技术方案可以提高监控数据的准确性，进而提升GTM调度质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明监控数据降噪处理方法实施例一的流程图；
图2为本发明监控数据降噪处理装置实施例一的结构示意图；
图3为本发明监控数据降噪处理装置实施例二的结构示意图；
图4为本发明另一个实施例提供的监控数据降噪处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明监控数据降噪处理方法实施例一的流程图，本实施例的降噪处理方法适用于GTM调度中心根据监控节点返回的监控数据实现对目标主机的探测及调度切换，该方法可以由处理装置来执行，该处理装置可以通过软件方式实现，配置于GTM调度设备中。如图1所示，本实施例的方法可以包括以下内容。
S101、获取监控数据，监控数据为单变量的时间序列信号。
按照时间的顺序把事件变化发展的过程记录下来，就构成了一个时间序列。监控节点返回的监控数据为一维向量，表示为单变量的时间序列信号x(k)，k＝1,2,…,N。
S102、基于单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵。
把一个时间序列看成是由一个确定性的非线性动力系统产生的，一个系统在某一时刻的状态称为相，决定状态的几何空间称为相空间。为了由时间序列来恢复并刻画原动力系统，本实施例中，基于单变量的时间序列信号x(k)在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵X，
其中，d为嵌入维数，L为延迟时间，r＝N-(d-1)L，N为单变量的时间序列信号的长度。如果嵌入维数d和延迟时间L选择恰当，则相空间矩阵可描述原系统。
延迟时间L的选择是从研究数据序列相关性入手，选择方法有自相关法、复自相关法、平均位移法等。嵌入维数d的选择方法有虚假邻点法、关联积分法、奇异值分解法等。
S103、对相空间矩阵进行奇异值分解。
具体的，如果时间序列不含噪声，相空间矩阵奇异值分解可得p个较大的主奇异值，其余奇异值均为零；如果信号含有噪声，由于噪声的影响将使得所有奇异值均大于零，p个较大的主奇异值对应信号的特征成分，而近似为零的奇异值对应信号中的噪声成分。保留p个较大的主奇异值，其余的奇异值设为零，便可重构原信号，降低噪声。
嵌入相空间矩阵可写为：
其中，
为系统的确定信号，P为噪声信号，令Λ2＝0，得
的最小二乘估计式
将
相应各列相加取平均，可获得含噪声较少的时间序列。
对相空间矩阵X进行奇异值分解，
X＝UΛVT
式中，U为r×d阶的正交矩阵，Λ＝diag(λ1,λ2,…,λd)，λ1,λ2,…,λd为相空间矩阵X的奇异值，且λ1≥λ2≥…≥λd>0，V为矩阵XTX对应于特征值为
的特征向量而成的正交矩阵。
V的每一列(即特征值
对应的特征向量)为X在嵌入空间的“主轴”，也称为经验正交函数(EOF)。正交变换Y＝XV称为X的主元素矩阵，是X在“主轴”上的投影，由XTX的特征值
对应的特征向量Vk(k＝1,2,…,d)，可得第k个主分量为Yk＝XVk，利用主分量及EOF便可还原原信号。
S104、计算相空间矩阵的有效重构阶秩，得到相空间矩阵的主奇异值。
如何选择和确定相空间矩阵的有效重构阶秩p，即选取哪些主分量重构信号。具体的，计算相空间矩阵X的有效重构阶秩p，计算公式为：
式中，
m＝dk-k(k+1)/2，
x＝(x(1),…,x(N))T。
其中，pk为前k个特征向量形成的正交矩阵对应的先验密度，d为总的维度数量，k为第k个维度，i或j为矩阵的第i列或者第j列，λi和λj为相空间矩阵的第i或者j个奇异值，
或
为λi或λj的估计，N是重构后的维度，m是在计算过程中的的参照计数值，x为重构后的相空间矩阵，x(1)或者x(N)为重构矩阵的第1列或者第N列。
计算出相空间矩阵X的有效重构阶秩p，则λ1,λ2,…,λd中的前p个奇异值即为相空间矩阵X的主奇异值。
S105、利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号。
具体的，利用相空间矩阵X的主奇异值进行信号重构，获得降噪后的信号，可以包括：
构造相空间矩阵X的主元素矩阵Y，
Y＝XV
由XTX的特征值
对应的特征向量Vk，计算出重构信号的各个主分量Yk＝XVk，k＝1，2，…，p；
根据计算出的各个主分量及各个主分量对应的经验正交函数EOF，计算出重构信号，计算公式为：
降噪后的信号为：
式中，α＝max(1,k-r+1),β＝min(d,k)。
其余的主分量及相应的EOF重构了噪声信号：
利用相空间矩阵X的主奇异值进行信号重构，获得降噪后的信号，即实现对所述监控数据的降噪处理。
本实施例中，在获取监控数据后，针对监控数据时间序列信号在嵌入维空间中进行相空间重构，在嵌入维空间中可以恢复诸如吸引子等非线性特征，重构出的原动力系统的相空间矩阵是与原动力系统在拓扑意义下等价的模型，进一步的通过对相空间矩阵进行奇异值分解，计算相空间矩阵的有效重构阶秩，得到相空间矩阵的主奇异值，并利用相空间矩阵的主奇异值进行信号重构，能体现系统的全局特征，达到很好的预测效果。因此，本发明实施例提供的技术方案可以提高监控数据的准确性，进而提升GTM调度质量。
如上所述的监控数据降噪处理方法，其中，利用相空间矩阵X的主奇异值进行信号重构，获得降噪后的信号，具体还可以包括：
重构第1个主奇异值对应的逼近矩阵Y1，
计算重构信号分量，计算公式为：
式中，α＝max(1,k-r+1),β＝min(d,k)；
计算重构信号剩余分量，计算公式为：
判断重构信号剩余分量r[k]是否为噪声成分信号；
若剩余分量r[k]是噪声成分，则降噪后的信号为：
若剩余分量r[k]不是噪声成分，则通过改变嵌入维数d和延迟时间L对相空间矩阵X进行调整，直至计算出的重构信号剩余分量r[k]是噪声成分；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
如上所述的监控数据降噪处理方法，其中，若剩余分量r[k]不是噪声成分，则将剩余分量r[k]，k＝1,2,…,N，作为单变量的时间序列信号在嵌入维空间中进行相空间再重构，相空间再重构的次数最大值为p；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
例如，监控数据为一含噪信号x＝(x(1),…,x(N))T，本实施例的降噪处理方法可以包括以下步骤。
(1)构造含噪信号x＝(x(1),…,x(N))T的延迟－协方差矩阵X，并进行奇异值分解X＝UΛVT。
(2)根据奇异值的大小按MBMS准则确定最大奇异值的个数p，即重构阶次p。
(3)重构第一个奇异值对应的逼近矩阵Y1，
(4)根据下式估计信号分量
(5)利用自相关分析法判别剩余信号分量
是否为噪声成分。若是噪声，则执行步骤(6)；若不是噪声，则将该剩余分量视为新的含噪信号，并执行步骤(1)、(3)、(4)、(5)，直到循环p次结束，则降噪后的信号为
(6)获得降噪后的信号
由于噪声的影响，使得前p个较大的主奇异值并不能完全表征系统的确定信号，本实施例中，通过采用迭代的奇异值降噪算法，进一步提高了监控数据的准确性。
图2为本发明监控数据降噪处理装置实施例一的结构示意图，本实施例的监控数据降噪处理装置可以包括：获取模块201、构造模块202、分解模块203和计算模块204。其中，获取模块201用于获取监控数据，监控数据为单变量的时间序列信号x(k)，k＝1,2,…,N；构造模块202用于基于单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵X，
其中，d为嵌入维数，L为延迟时间，r＝N-(d-1)L，N为单变量的时间序列信号的长度；分解模块203用于对相空间矩阵X进行奇异值分解，
X＝UΛVT
式中，U为r×d阶的正交矩阵，Λ＝diag(λ1,λ2,…,λd)，λ1,λ2,…,λd为相空间矩阵X的奇异值，且λ1≥λ2≥…≥λd>0，V为矩阵XTX对应于特征值为
的特征向量而成的正交矩阵；计算模块204用于计算相空间矩阵X的有效重构阶秩p，则λ1,λ2,…,λd中的前p个奇异值为相空间矩阵X的主奇异值；构造模块202还用于利用相空间矩阵X的主奇异值进行信号重构，获得降噪后的信号，实现对监控数据的降噪处理。
在具体应用中，计算模块204还可以用于计算相空间矩阵X的有效重构阶秩p，具体计算公式为：
式中，
m＝dk-k(k+1)/2，
x＝(x(1),…,x(N))T。
本实施例的监控数据降噪处理装置可以用于执行图1所示方法实施例的方法，其实现原理和所要达到的技术效果类似，在此不再赘述。
如上所述的装置，其中，构造模块202还用于构造相空间矩阵X的主元素矩阵Y，
Y＝XV
由XTX的特征值
对应的特征向量Vk，由计算模块204计算出重构信号的各个主分量Yk＝XVk，k＝1，2，…，p；
计算模块204还用于根据计算出的各个主分量及各个主分量对应的经验正交函数EOF，计算出重构信号，计算公式为：
降噪后的信号为：
式中，α＝max(1,k-r+1),β＝min(d,k)。
图3为本发明监控数据降噪处理装置实施例二的结构示意图，如图3所示，构造模块202还用于重构第1个主奇异值对应的逼近矩阵Y1，
Y1＝U1λ1V1 T；
计算模块204还用于计算重构信号分量，计算公式为：
式中，α＝max(1,k-r+1),β＝min(d,k)；
计算模块204还用于计算重构信号剩余分量，计算公式为：
所述的装置还包括判断模块301，判断模块301用于判断重构信号剩余分量r[k]是否为噪声成分信号；
若剩余分量r[k]是噪声成分，则降噪后的信号为：
如上的装置，其中，若剩余分量r[k]不是噪声成分，则构造模块202还用于通过改变嵌入维数d和延迟时间L对相空间矩阵X进行调整，直至计算模块204计算出的重构信号剩余分量r[k]是噪声成分；
然后由计算模块204基于重构信号分量
计算降噪后的信号
计算公式为：
图4为本发明另一个实施例提供的监控数据降噪处理装置的结构示意图，如图4所示，该监控数据降噪处理装置包括至少一个处理器401(例如CPU)，存储器403，和至少一个通信总线404，用于实现装置之间的连接通信。处理器401用于执行存储器403中存储的可执行模块，例如计算机程序。存储器403可能包含高速随机存取存储器(RAM：Random AccessMemory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
在一些实施方式中，存储器403存储了程序405，程序405可以被处理器401执行，这个程序包括执行一种监控数据降噪处理方法，该方法包括：
获取监控数据，所述监控数据为单变量的时间序列信号；
基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵；
对所述相空间矩阵进行奇异值分解；
计算相空间矩阵的有效重构阶秩，获得相空间矩阵的主奇异值；
利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，实现对所述监控数据的降噪处理。
上述执行监控数据降噪处理方法的程序，优选地，所述利用相空间矩阵的主奇异值进行信号重构，包括：
构造相空间矩阵的主元素矩阵，计算出重构信号的各个主分量；
根据计算出的各个主分量及各个主分量对应的经验正交函数EOF，计算出重构信号。
上述执行监控数据降噪处理方法的程序，优选地，所述利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，包括：
重构第1个主奇异值对应的逼近矩阵；
计算重构信号分量和重构信号剩余分量；
判断重构信号剩余分量是否为噪声成分信号；
若剩余分量是噪声成分，则降噪后的信号为：
式中，p为相空间矩的有效重构阶秩，
为重构信号分量。
上述执行监控数据降噪处理方法的程序，优选地，若剩余分量不是噪声成分，则通过改变嵌入维数和延迟时间对相空间矩阵进行调整，直至计算出的重构信号剩余分量是噪声成分；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
上述执行监控数据降噪处理方法的程序，优选地，若剩余分量不是噪声成分，则将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构，相空间再重构的次数最大值为p；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种监控数据降噪处理方法，其特征在于，包括：
获取监控数据，所述监控数据为单变量的时间序列信号；
基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵；
对所述相空间矩阵进行奇异值分解；
计算相空间矩阵的有效重构阶秩p，获得相空间矩阵的主奇异值，有效重构阶秩p的计算公式为：
式中，
m＝dk-k(k+1)/2，
x＝(x(1),…,x(N))T；
其中，pk为前k个特征向量形成的正交矩阵对应的先验密度，d为总的维度数量，k为第k个维度，i或j为矩阵的第i列或者第j列，λi和λj为相空间矩阵的第i或者j个奇异值，
或
为λi或λj的估计，N是重构后的维度，m是在计算过程中的的参照计数值，x为重构后的相空间矩阵，x(1)或者x(N)为重构矩阵的第1列或者第N列；
且λ1,λ2,…,λd中的前p个奇异值即为相空间矩阵X的主奇异值；
利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，实现对所述监控数据的降噪处理。
2.如权利要求1所述的方法，其特征在于，所述利用相空间矩阵的主奇异值进行信号重构，包括：
构造相空间矩阵的主元素矩阵，计算出重构信号的各个主分量；
根据计算出的各个主分量及各个主分量对应的经验正交函数EOF，计算出重构信号。
3.如权利要求1所述的方法，其特征在于，所述利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，包括：
重构第1个主奇异值对应的逼近矩阵；
计算重构信号分量和重构信号剩余分量；
判断重构信号剩余分量是否为噪声成分信号；
若剩余分量是噪声成分，则降噪后的信号为：
式中，p为相空间矩的有效重构阶秩，
为重构信号分量。
4.如权利要求3所述的方法，其特征在于，若剩余分量不是噪声成分，则通过改变嵌入维数和延迟时间对相空间矩阵进行调整，直至计算出的重构信号剩余分量是噪声成分；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
5.如权利要求3所述的方法，其特征在于，若剩余分量不是噪声成分，则将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构，相空间再重构的次数最大值为p；
然后基于重构信号分量
计算降噪后的信号
计算公式为：
6.一种监控数据降噪处理装置，其特征在于，包括：
获取模块，用于获取监控数据，所述监控数据为单变量的时间序列信号；
构造模块，用于基于所述单变量的时间序列信号在嵌入维空间中进行相空间重构，得到原动力系统的相空间矩阵；
分解模块，用于对所述相空间矩阵进行奇异值分解；
计算模块，用于计算相空间矩阵的有效重构阶秩p，获得相空间矩阵的主奇异值，有效重构阶秩p的计算公式为：
式中，
m＝dk-k(k+1)/2，
x＝(x(1),…,x(N))T；
其中，pk为前k个特征向量形成的正交矩阵对应的先验密度，d为总的维度数量，k为第k个维度，i或j为矩阵的第i列或者第j列，λi和λj为相空间矩阵的第i或者j个奇异值，
或
为λi或λj的估计，N是重构后的维度，m是在计算过程中的的参照计数值，x为重构后的相空间矩阵，x(1)或者x(N)为重构矩阵的第1列或者第N列；
且λ1,λ2,…,λd中的前p个奇异值即为相空间矩阵X的主奇异值；
所述构造模块，还用于利用相空间矩阵的主奇异值进行信号重构，获得降噪后的信号，实现对所述监控数据的降噪处理。
7.如权利要求6所述的装置，其特征在于，所述构造模块还用于构造相空间矩阵的主元素矩阵，计算出重构信号的各个主分量；
所述计算模块，还用于根据计算出的各个主分量及各个主分量对应的经验正交函数EOF，计算出重构信号。
8.如权利要求6所述的装置，其特征在于，所述构造模块还用于重构第1个主奇异值对应的逼近矩阵；
所述计算模块还用于计算重构信号分量和重构信号剩余分量；
所述的装置还包括判断模块，所述判断模块用于判断重构信号剩余分量是否为噪声成分信号；
若剩余分量是噪声成分，则降噪后的信号为：
式中，p为相空间矩的有效重构阶秩，
为重构信号分量。
9.如权利要求7所述的装置，其特征在于，若剩余分量不是噪声成分，则所述构造模块还用于通过改变嵌入维数和延迟时间对相空间矩阵进行调整，直至计算出的重构信号剩余分量是噪声成分；
然后由计算模块基于重构信号分量
计算降噪后的信号
计算公式为：
10.如权利要求7所述的装置，其特征在于，若剩余分量不是噪声成分，则所述构造模块还用于将剩余分量作为单变量的时间序列信号在嵌入维空间中进行相空间再重构，相空间再重构的次数最大值为p；
然后由计算模块基于重构信号分量
计算降噪后的信号
计算公式为：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810415006.3A CN108551412B (zh) | 2018-05-03 | 2018-05-03 | 监控数据降噪处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810415006.3A CN108551412B (zh) | 2018-05-03 | 2018-05-03 | 监控数据降噪处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108551412A CN108551412A (zh) | 2018-09-18 |
| CN108551412B true CN108551412B (zh) | 2021-05-25 |
Family
ID=63513449
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810415006.3A Expired - Fee Related CN108551412B (zh) | 2018-05-03 | 2018-05-03 | 监控数据降噪处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108551412B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111756408B (zh) * | 2020-06-28 | 2021-05-04 | 广东石油化工学院 | 一种利用模型预测的plc信号重构方法和系统 |
| CN112270655A (zh) * | 2020-11-06 | 2021-01-26 | 南京航空航天大学 | 一种基于相空间重构和奇异谱分析的图像去噪方法 |
| CN116404653B (zh) * | 2023-03-30 | 2024-02-02 | 广东电网有限责任公司佛山供电局 | 一种变压器有载调压的方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103810394A (zh) * | 2014-02-28 | 2014-05-21 | 东北电力大学 | 旋转设备故障信号奇异值分解降噪的设计方法 |
| CN104101864A (zh) * | 2013-04-10 | 2014-10-15 | 南京信息工程大学 | 基于eof分解的导航x波段雷达海浪参数反演算法 |
| CN107688120A (zh) * | 2016-11-17 | 2018-02-13 | 丹阳华神电器有限公司 | 基于模糊熵的含噪信号处理方法及迭代奇异谱软阈值去噪方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8917907B2 (en) * | 2011-02-28 | 2014-12-23 | Seiko Epson Corporation | Continuous linear dynamic systems |
| CN104748961A (zh) * | 2015-03-30 | 2015-07-01 | 中国矿业大学 | 基于svd分解降噪和相关性eemd熵特征的齿轮故障诊断方法 |
-
2018
- 2018-05-03 CN CN201810415006.3A patent/CN108551412B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104101864A (zh) * | 2013-04-10 | 2014-10-15 | 南京信息工程大学 | 基于eof分解的导航x波段雷达海浪参数反演算法 |
| CN103810394A (zh) * | 2014-02-28 | 2014-05-21 | 东北电力大学 | 旋转设备故障信号奇异值分解降噪的设计方法 |
| CN107688120A (zh) * | 2016-11-17 | 2018-02-13 | 丹阳华神电器有限公司 | 基于模糊熵的含噪信号处理方法及迭代奇异谱软阈值去噪方法 |
Non-Patent Citations (3)
| Title |
|---|
| "Singular-spectrum analysis:A toolkit for short,noisy chaotic signals";Robert Vautard,et al.,;《ELSEVIER》;19920915;第95-126页 * |
| "动态称重系统关键技术研究";李磊，;《中国优秀硕士学位论文全文数据库-工程科技Ⅱ辑》;20090815(第8期);C034-446起全文 * |
| "基于奇异谱分析的心音信号小波包去噪算法研究";卢德林，郭兴明，;《振动与冲动》;20130915;第32卷(第18期);第63-69页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108551412A (zh) | 2018-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108551412B (zh) | 监控数据降噪处理方法和装置 | |
| US8443080B2 (en) | System and method for determining application dependency paths in a data center | |
| WO2022141871A1 (zh) | 时序数据异常检测方法、装置、设备及存储介质 | |
| US20200169085A1 (en) | Method for recognizing contingencies in a power supply network | |
| US8244787B2 (en) | Optimum nonlinear correntropy filter | |
| CN115800272B (zh) | 基于拓扑识别的电网故障分析方法、系统、终端及介质 | |
| EP3422517A1 (en) | A method for recognizing contingencies in a power supply network | |
| CN112506752A (zh) | 基于时序数据趋势预测的运维方法、装置及设备 | |
| Wang et al. | Incremental causal graph learning for online root cause analysis | |
| Popescu | Detection and diagnosis of model parameter and noise variance changes with application in seismic signal processing | |
| KR102377295B1 (ko) | 인체 식별 방법, 장치 및 저장 매체 | |
| CN111260024A (zh) | 基于长短期记忆和典型相关结合的故障检测方法及系统 | |
| CN111464354B (zh) | 一种细粒度的网络流量计算方法、装置及存储介质 | |
| CN114501131B (zh) | 一种视频分析方法、装置、存储介质及电子设备 | |
| CN115758273A (zh) | 一种时序数据异常检测方法、装置、设备及介质 | |
| CN113158714A (zh) | 基于小波熵与eemd的故障特征自适应提取方法 | |
| CN112000578A (zh) | 人工智能系统的测试方法和装置 | |
| CN113610632B (zh) | 基于区块链的银行网点人脸识别方法及装置 | |
| Yang et al. | Singular spectrum analysis based quick online detection of disturbance start time in power grid | |
| Lee et al. | Detection and recovery of occluded face images based on correlation between pixels | |
| Gorji et al. | Multivariate denoising and missing data estimation for heavy-tailed signals | |
| CN113037523B (zh) | 网络流量流向预测方法、装置以及存储介质 | |
| CN112583748B (zh) | 一种信道估计方法、装置及电子设备 | |
| CN113434821B (zh) | 一种分布式粒子m-h滤波方法及系统 | |
| KR102026926B1 (ko) | 동적상태추정 기반 지능형 산업기기 보호 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210525 |