CN112633427B - 一种基于离群点检测的超高次谐波发射信号检测方法 - Google Patents

一种基于离群点检测的超高次谐波发射信号检测方法 Download PDF

Info

Publication number
CN112633427B
CN112633427B CN202110277704.3A CN202110277704A CN112633427B CN 112633427 B CN112633427 B CN 112633427B CN 202110277704 A CN202110277704 A CN 202110277704A CN 112633427 B CN112633427 B CN 112633427B
Authority
CN
China
Prior art keywords
data
dist
data set
point
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202110277704.3A
Other languages
English (en)
Other versions
CN112633427A (zh
Inventor
周群
周慧
桂泽森
刘雪山
贺明智
翟义然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110277704.3A priority Critical patent/CN112633427B/zh
Publication of CN112633427A publication Critical patent/CN112633427A/zh
Application granted granted Critical
Publication of CN112633427B publication Critical patent/CN112633427B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R23/00—Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
    • G01R23/16—Spectrum analysis; Fourier analysis
    • G01R23/165—Spectrum analysis; Fourier analysis using filters
    • G01R23/167—Spectrum analysis; Fourier analysis using filters with digital filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Complex Calculations (AREA)

Abstract

本发明涉及超高次谐波检测技术领域，具体地说，涉及一种基于离群点检测的超高次谐波发射信号检测方法，其包括以下步骤：一、输入数据并进行数据预处理；二、确定预处理后数据集的概率分布模型；三、DBSCAN离群点检测：首先根据k‑dist曲线斜率变化，自适应确定半径参数Eps，接着确定最小聚类点数MinPts，最后利用DBSCAN算法聚类；四、检测效果分析。本发明提出的算法准确检测出了设备在不同频率点处的发射情况，有利于分析研究超高次谐波的发射特性。

Description

一种基于离群点检测的超高次谐波发射信号检测方法
技术领域
本发明涉及超高次谐波检测技术领域，具体地说，涉及一种基于离群点检测的超高次谐波发射信号检测方法。
背景技术
在电力系统电力电子化的大趋势下，光伏逆变器、电动汽车充电桩、节能灯等受控于开关频率的电力电子设备广泛应用于电网，由此所带来的高频电磁干扰等问题吸引了越来越来研究人员的关注。许多可再生能源发电厂都通过高开关频率的功率器件与电网相连，导致超高次谐波流入点电网，另一部分超高次谐波源则是与负载相连的电子变换器。这些开关器件以其重量更轻，尺寸更小，能源效率更高等优势得到广泛使用，但是也引发了2kHz以上超高次谐波的发射。
早在2005年就有学者发现，2-150kHz频段范围内的干扰水平不断上升，造成设备损坏的现象越来越多。直至2014年，首次提出“超高次谐波”这一概念，即将2~150kHz频率范围内的电压与电流的波形畸变定义超高次谐波，此后该定义逐渐得到国内外研究学者的一致认同。
准确测量超高次谐波是分析研究其特性的基础，因此关于测量方法的研究是众多学者关注的重点。现有关于超高次谐波的测量方法主要有三种：
（1）方法A是基于IEC 61000-4-7附录B中2-9kHz的测量方法，在此基础上将200Hz频带集合范围扩宽到2-150kHz。该方法用到了测量的全部数据，是一种无间隙的处理方法，信号覆盖范围达100%。
（2）方法B是基于IEC 61000-4-30附录B中所描述的32段0.5ms等间隔采样方法，该方法带宽为2000Hz，因仅对200ms中16ms时间窗进行采样分析，较方法A来说采样数据量大大减小，适用于现场测试，但信号覆盖范围仅达8%，这是以牺牲频域分辨率为代价的。
（3）方法C是基于标准CISPR 16-1-2中提出的测量方法，该方法适用于在实验室条件下对待测设备进行免疫性水平以及发射水平测量，不适用于现场测试。
由于现有标准中的方法都存在一定的局限性不能准确反映实际的排放情况，有研究提出一种基于开关频率的集合方法，这种方法能够更准确反映出信号在开关频率以及开关频率整数倍处幅值变化情况，但是开关频率准确识别是先决条件，在有多个设备且工作开关频率不一致情况下应用受限。此外，也有研究为降低超高次谐波处理数据量，对时域采样方法进行了改进，仅对200ms时间窗的首、末两周波进行采样，然后分别进行频谱分析，两者均值作为最后的测量结果。该方法能够在一定程度上减少了需处理的数据量，提升运算速度。但是，由于超高次谐波频域宽，幅值小，时变性强等特点，仅对两周波信号进行分析影响了测量结果的准确性。采样数据量的减少同样也会导致无法准确定位超高次谐波发射频率，影响测量结果。
综上所述，由于缺少标准化的超高次谐波测量方法，不同方法的测量结果一致性差。超高次谐波频带宽、幅值小，实际工程应用中对采样频率要求较高，产生的数据量大，标准IEC 61000-4-7与IEC 61000-4-30中的提出的两种不同角度集合方法都是旨在更高效的处理超高次谐波源发射测量数据。若直接存储原始数据，虽保证了频率分辨率但数据量太大，对处理、存储、传输设备是很大的负担，现场测量中不适用。应用频谱集合虽能在一定程度上减小数据量，但集合后频率分辨率大大降低，不适用于需要精确测量场合。因此，现有的超高次谐波测量方法无法解决高频率分辨率与低数据量之间的矛盾。
发明内容
本发明的内容是提供一种基于离群点检测的超高次谐波发射信号检测方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种基于离群点检测的超高次谐波发射信号检测方法，其包括以下步骤：
一、输入数据并进行数据预处理；
二、确定概率分布模型：计算预处理后数据集的峰度与偏度，获得数据集的概率分布模型，确定离群点检测阈值，提取大于阈值范围的数据集N。
三、DBSCAN离群点检测，包括：
3.1）、参数确定：根据输入数据集N计算出距离分布矩阵
Figure 77358DEST_PATH_IMAGE001
，将
Figure 791237DEST_PATH_IMAGE001
中 每行按照升序排序，得到矩阵
Figure 102132DEST_PATH_IMAGE002
，其中矩阵
Figure 28500DEST_PATH_IMAGE002
的第i列表示距离每个数据点 最近的第i个距离值的集合；将
Figure 374031DEST_PATH_IMAGE003
矩阵每列升序排列，得到k-dist图；根据k-dist曲 线斜率变化自适应确定半径取值；
3.2）、根据斜率变化自适应确定Eps，包括：
a、计算各点斜率并去除斜率为零的计算结果，得到数据集Q；
b、计算数据集Q的偏度与峰度，确定其概率分布类型；
c、若数据集Q为正态分布，取第一个大于平均值与标准差之和的数据点所对应的距离值作为半径；若数据集Q为偏态分布，取第一个大于中位数与2倍绝对中位偏差之和的点所对应的距离值作为半径；
3.3)、确定最小聚类点数MinPts；
3.4）、DBSCAN算法计算：DBSCAN通过检查数据集中每点的Eps邻域来搜索簇，如果点P的Eps邻域包含的点数多于MinPts，则创建一个以P为核心对象的簇，然后DBSCAN迭代地聚集从这些核心对象直接密度可达与密度可达的对象；当没有新的点添加到任何簇时算法结束；
四、检测效果分析：通过超高次谐波检测率指标来衡量信号检测情况。
作为优选，步骤一中，数据预处理是：首先利用椭圆型数字滤波器滤除2kHz以下的低次谐波，其次对余下包含超高次谐波发射信号的测量数据进行傅里叶变换。
作为优选，步骤二中，偏度是反映总体分布非对称或偏移性的一种度量，当偏度为 正，表示呈右偏分布，当偏度为负，表示呈左偏分布；峰度反映总体分布密度函数在众数附 近“峰”的尖削程度，正态分布的峰度为0；其偏度
Figure 727651DEST_PATH_IMAGE004
、峰度
Figure 525843DEST_PATH_IMAGE005
定义如下式所示：
Figure 255902DEST_PATH_IMAGE006
；
Figure 455939DEST_PATH_IMAGE007
；
其中m n,k (k=2,3,4)为总体的k阶中心距，n为样本量。X 1 ，X 2 ，……，X n 是从总体X中抽 取的n个样本；
Figure 714882DEST_PATH_IMAGE008
表示取样本平均值；
提出假设H 0：X是正态分布数据总体，H 1：X不是正态分布数据总体；
Figure 370DEST_PATH_IMAGE009
；
Figure 268540DEST_PATH_IMAGE010
；
Figure 57505DEST_PATH_IMAGE011
；
Figure 18507DEST_PATH_IMAGE012
；
式中：
Figure 791291DEST_PATH_IMAGE013
，
Figure 331994DEST_PATH_IMAGE014
，分别表示样本偏度标准差与样本峰度标准差，
Figure 506623DEST_PATH_IMAGE015
，
Figure 372948DEST_PATH_IMAGE016
，
Figure 367449DEST_PATH_IMAGE017
为偏度、峰度统计量的值； 当
Figure 977422DEST_PATH_IMAGE018
，
Figure 6558DEST_PATH_IMAGE019
值大时，就会拒绝H 0；z为检验统计量，取显著性 检验水平
Figure 309363DEST_PATH_IMAGE020
，z α/4表示检验临界值，则H 0的拒绝域为：
Figure 525581DEST_PATH_IMAGE021
；
Figure 939245DEST_PATH_IMAGE022
；
当结果大于1.96时，即证明数据不满足正态分布，进一步可根据偏度值的正负判断属于右/左偏分布；对一组数据从小到大排序，找出中位数，将所得的中位数与每一项原始数据求差得绝对值，再对求得的绝对值求出中位数即MAD，阈值为原数据的中位数与2倍MAD的和，对于单变量数据集X 1，X 2 ,…，X n ，计算公式如下式所示：
Figure 557308DEST_PATH_IMAGE023
；
Figure 31015DEST_PATH_IMAGE024
；
其中
Figure 734528DEST_PATH_IMAGE025
，X i 表示数据集中的原始数据，
Figure 686304DEST_PATH_IMAGE026
表示取数据集的中位 数，T为检测阈值上限；将超过T值的数据作为包含超高次谐波发射信息的点，基于此进行下 一步聚类处理。
作为优选，步骤三中，
Figure 690032DEST_PATH_IMAGE027
计算方法如下式所示：
Figure 69061DEST_PATH_IMAGE028
；
其中，n为数据集N的对象点数；对象i和对象j为数据集N中的任意两个对象，dist (i,j)表示对象i和对象j之间的距离；
Figure 525450DEST_PATH_IMAGE029
是一个n行n列的实对称矩阵。
作为优选，步骤三中，距离度量采用欧几里德计算公式，如下式所示：
Figure 280916DEST_PATH_IMAGE030
；
其中X、Y表示两个数量为n的单变量数据集，
Figure 607992DEST_PATH_IMAGE031
， x i 、y i 表示数据集中任意 两个对象。
作为优选，步骤三中，斜率计算公式为：
Figure 423502DEST_PATH_IMAGE032
；
k_dist(i)为k_dist曲线中第i点的对应的距离值，k_dist(i+1)为k_dist曲线中第i+1点对应的距离值,d(i)表示i点的斜率值。
作为优选，步骤三中，设定最小点数MinPts等于6。
作为优选，步骤三中，DBSCAN算法处理过程为：
a、输入数据集N与参数Eps、MinPts；
b、选择未访问点P，确定领域集合E；
c、判断E内数据点数是否大于MinPts，若是，则P为核心点，进行下一步；若否，P为离群点；
d、创建新簇C，将P邻域内所有点添加至C；
e、遍历E中其他未被处理对象，将直接密度可达与密度可达对象加入C；
f、判断E中是否有未处理对象，若是，返回步骤e，若否，进行下一步；
g、N中是否有未处理对象，若是，返回步骤b，若否，输出结果。
作为优选，步骤四中，超高次谐波检测率的计算公式如下：
超过次谐波检测率=（检测出超高次谐波数据点数/超高次谐波发射数据总数）*100%。
本发明是为了克服现有方法的不足，针对数据量与频率分辨率这一关键矛盾提出了一种新的测量算法。由于在2-150kHz频段内存在大量的噪声干扰信号，此时以开关频率及开关频率整数倍处为发射中心且发射幅值呈对称分布的少量超高次谐波发射信号就表现出明显的离群点特性。关于离群点，其产生原因可为测量或传输错误造成，或是信号产生变异造成或是某一类特定信号导致。本发明利用离群点理论中偏态分布模型与改进DBSCAN聚类算法对超高次谐波发射信号进行检测，解决了超高次谐波处理数据量与频域分辨率之间的矛盾，实现了高精度、低存储量测量。
附图说明
图1为实施例1中一种基于离群点检测的超高次谐波发射信号检测方法的流程图；
图2为实施例1中DBSCAN算法处理流程图；
图3为实施例1中采样电流波形图；
图4为实施例1中按照标准IEC 61000-4-7、IEC 61000-4-30处理结果图；
图5为实施例1中根据提出的基于离群点检测的超高次谐波发射DBSCAN检测结果图；
图6为实施例中检测结果与IEC 61000-4-7、IEC 61000-4-30处理结果对比图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示，本实施例提供了一种基于离群点检测的超高次谐波发射信号检测方法，其包括以下步骤：
一、输入数据并进行数据预处理；数据预处理是：首先利用椭圆型数字滤波器滤除2kHz以下的低次谐波，其次对余下包含超高次谐波发射信号的测量数据进行傅里叶变换。
在实验室条件下，利用Tektronix MDO3024示波器设备，对载波频率为50kHz的单相桥式换流设备，以500kHz采样频率、200ms采样窗长对网侧电流进行采样。图3是本实施例采样电流波形图，利用所述IEC 61000-4-7（方法A）与IEC 61000-4-30（方法B）两种方式对滤波后的信号进行处理，所得结果图4所示。从分析结果可知超高次谐波较普通谐波来说，幅值很小，发射集中在载波频率以及载波频率整数倍处，其幅值随着超高次谐波阶数的增加而降低。
二、确定概率分布模型：计算预处理后数据集的峰度与偏度，获得数据集的概率分布模型，确定离群点检测阈值，提取大于阈值范围的数据集N。
通常基于统计学的离群点检测方法是构建一个正态分布模型，利用3σ原则，将具有低概率的数据点作为离群点。但是，在实际测量中发现，超高次谐波频段信号存在明显的偏头、厚尾现象，不满足正态分布特性。因此在应用偏态分布模型前需要首先对数据分布特性进行校验。
本实施例首先根据数据点的概率分布模型确定阈值。常用样本偏度、峰度来检测 分布特性，偏度是反映总体分布非对称或偏移性的一种度量，当偏度为正，表示呈右偏分 布，当偏度为负，表示呈左偏分布；峰度反映总体分布密度函数在众数附近“峰”的尖削程 度，正态分布的峰度为0；其偏度
Figure 101608DEST_PATH_IMAGE033
、峰度
Figure 926344DEST_PATH_IMAGE034
定义如下式所示：
Figure 373506DEST_PATH_IMAGE036
；
Figure 94337DEST_PATH_IMAGE038
；
其中m n,k (k=2,3,4)为总体的k阶中心距，n为样本量。设X 1 ，X 2 ，……，X n 是从总体X中 抽取的n个样本；
Figure 259739DEST_PATH_IMAGE039
表示取样本平均值；
提出假设H 0：X是正态分布数据总体，H 1：X不是正态分布数据总体；
Figure 357008DEST_PATH_IMAGE040
；
Figure 189835DEST_PATH_IMAGE041
；
Figure 815989DEST_PATH_IMAGE042
；
Figure 734266DEST_PATH_IMAGE043
；
式中：
Figure 369647DEST_PATH_IMAGE044
，
Figure 791401DEST_PATH_IMAGE045
分别表示样本偏度标准差与样本峰度标准差，
Figure 854035DEST_PATH_IMAGE046
，
Figure 994029DEST_PATH_IMAGE047
，
Figure 698680DEST_PATH_IMAGE048
为为偏度、峰度统计量的值；当
Figure 974940DEST_PATH_IMAGE049
，
Figure 474055DEST_PATH_IMAGE050
值过大时，就会拒绝H 0；z为检验统计 量，取显著性检验水平
Figure 101345DEST_PATH_IMAGE051
，z α/4表示检验临界值，则H 0的拒绝域为：
Figure 344108DEST_PATH_IMAGE052
；
Figure 740454DEST_PATH_IMAGE053
；
当结果大于1.96时，即证明数据不满足正态分布，进一步可根据偏度值的正负判断属于右/左偏分布；对于偏态分布数据若采用算数平均值会造成对数据分布的过高估计，此时用中位数来体现集中趋势，用绝对中位偏差（MAD）表达离散趋势更为合理。对一组数据从小到大排序，找出中位数，将所得的中位数与每一项原始数据求差得绝对值，再对求得的绝对值求出中位数即MAD，阈值为原数据的中位数与2倍MAD的和，对于单变量数据集X 1，X 2 ,…，X n ，计算公式如下式所示：
Figure 410470DEST_PATH_IMAGE054
：
Figure 525056DEST_PATH_IMAGE055
；
其中
Figure 305931DEST_PATH_IMAGE056
，X i 表示数据集中的原始数据，
Figure 822363DEST_PATH_IMAGE057
表示取数据集的中 位数，T为检测阈值上限；由于基于数据分布特性的检测方法仅能在一定程度上识别出异常 数据，无法对数据进行准确提取和处理。因此，将超过T值的数据作为包含超高次谐波发射 信息的点，基于此进行下一步聚类处理。
三、DBSCAN离群点检测；
基于聚类算法的离群点检测是用于发现与其他对象不具有强相关特性的对象。DBSCAN算法根据空间中数据点的分布稠密程度进行聚类，不需要提前指定簇的个数，能够发现任意形状数据簇，对离群点更为敏感，但是这种算法需要提前设定聚类邻域半径Eps和聚类簇最少聚类点数MinPts。
传统的DBSCAN算法中参数Eps与MinPts需要根据经验人为设定，参数设置对聚类结果影响很大。半径参数Eps选择过大时，可能会导致部分离群点无法被检测出来，Eps过小则会导致数据被错误的划分为离群点。本实施例中提出根据k-dist斜率变化情况，能够实现自适应确定半径参数。
DBSCAN离群点检测包括：
3.1）、参数确定：根据输入数据集N计算出距离分布矩阵
Figure 663280DEST_PATH_IMAGE058
Figure 542460DEST_PATH_IMAGE058
计算方法如下式所示：
Figure 127025DEST_PATH_IMAGE059
；
其中，n为数据集N的对象点数；对象i和对象j为数据集N中的任意两个对象，dist (i,j)表示对象i和对象j之间的距离；
Figure 497964DEST_PATH_IMAGE060
是一个n行n列的实对称矩阵。
将
Figure 509782DEST_PATH_IMAGE061
中每行按照升序排序，得到矩阵
Figure 333382DEST_PATH_IMAGE062
，其中矩阵
Figure 721638DEST_PATH_IMAGE062
的第i 列表示距离每个数据点最近的第i个距离值的集合；将
Figure 947083DEST_PATH_IMAGE062
矩阵每列升序排列，得到 k-dist图；其中，距离度量采用欧几里德计算公式，如下式所示：
Figure 395382DEST_PATH_IMAGE063
；
其中X、Y表示两个数量为n的单变量数据集，
Figure 971856DEST_PATH_IMAGE064
，x i 、y i 表示数据集中任意 两个对象。
对于密度分布较为均匀的数据集来说，其k-dist图变化规律近似一致。在曲线较为平缓阶段，表明在这个距离范围内数据点分布较多，当曲线斜率变化较大时，说明在这个半径范围内，数据点分布较少，传统的半径值选取方式是取k-dist曲线急剧变化的点，但是这种方法需要人为参与，且取值结果具有不确定性。根据k-dist曲线斜率变化自适应确定半径取值；斜率计算公式为：
Figure 898224DEST_PATH_IMAGE065
；
k_dist(i)为k_dist曲线中第i点的对应的距离值，k_dist(i+1)为k_dist曲线中第i+1点对应的距离值,d(i)表示i点的斜率值。
3.2）、根据斜率变化自适应确定Eps，包括：
a、计算各点斜率并去除斜率为零的计算结果，得到数据集Q；
b、计算数据集Q的偏度与峰度，确定其概率分布类型；
c、若数据集Q为正态分布，取第一个大于平均值与标准差之和的数据点所对应的距离值作为半径；若数据集Q为偏态分布，取第一个大于中位数与2倍绝对中位偏差之和的点所对应的距离值作为半径；根据以上方法可实现自适应确定Eps取值。
3.3)、确定最小聚类点数MinPts；最小点数MinPts大于等于6，避免将三组以上对称分布的超高次谐波发射数据作为非离群点。
3.4）、DBSCAN算法计算：DBSCAN通过检查数据集中每点的Eps邻域来搜索簇，如果点P的Eps邻域包含的点数多于MinPts，则创建一个以P为核心对象的簇，然后DBSCAN迭代地聚集从这些核心对象直接密度可达与密度可达的对象；当没有新的点添加到任何簇时算法结束；DBSCAN算法在进行聚类的时候，会对所有核心点的所有邻域进行处理，导致算法的执行效率受到制约，消耗的时间较多。因此首先通过偏态模型阈值检测去除了大部分噪声数据点，两者相结合大大削减了该算法实现的复杂程度。
如图2所示，DBSCAN算法处理过程为：
a、输入数据集N与参数Eps、MinPts；
b、选择未访问点P，确定领域集合E；
c、判断E内数据点数是否大于MinPts，若是，则P为核心点，进行下一步；若否，P为离群点；
d、创建新簇C，将P邻域内所有点添加至C；
e、遍历E中其他未被处理对象，将直接密度可达与密度可达对象加入C；
f、判断E中是否有未处理对象，若是，返回步骤e，若否，进行下一步；
g、N中是否有未处理对象，若是，返回步骤b，若否，输出结果。
基于斜率计算结果，得去零后斜率点集的偏度为25.15、峰度为712.54。数据集同样呈极度右偏特性，对应中位数与2倍绝对中位偏差之和为0.0287。进一步得到DBSCAN参数Eps=1.657，MinPts=6，检测结果如图5所示。检测结果表明：
（1）本实施例中基于离群点理论的偏态分布模型与自整定参数的DBSCAN方法准确识别出了开关频率为50kHz的超谐波发射信号，第一组发射位于49.95kHz与50.05kHz处，第二组发射位于49.85kHz与50.15kHz处，第三组发射位于49.75kHz与50.25kHz处；
（2）本实施例提出的方法检测结果符合在开关频率及开关频率整数倍处的发射规律，随着超高次谐波阶数增加，幅值逐渐减小。
四、检测效果分析：按照PWM换流器产生的谐波发射仅发生
Figure 978176DEST_PATH_IMAGE066
频率点附近； 换流器的高频脉冲电流，注入系统引起了网侧超高次谐波电压，发射集中在载波频率以及 载波频率整数倍处；在m倍载波频率（中心频率）处，发射以载波频率为中心呈对称分布等超 高次谐波发射特性，通过超高次谐波检测率指标来衡量信号检测情况，超高次谐波检测率 的计算公式如下：
超过次谐波检测率=（检测出超高次谐波数据点数/超高次谐波发射数据总数）*100%。
按照上式评估本实施例中方法检测效果，本实施例提出的方法在开关频率处的最 大可检测范围至
Figure 597376DEST_PATH_IMAGE067
，且有效检测率超过70%，涵盖了绝大部分超高次谐波谐波发射， 论证了偏态分布模型与自整定参数的DBSCAN聚类的频域整合算法应用于超高次谐波信号 检测的有效性。
如图6所示，为本实施例的检测结果与IEC 61000-4-7、IEC 61000-4-30处理结果对比图。
目前超高次谐波测量方法各有不同，测量结果无法统一。数据经集合处理后虽数据量减少但频域分辨率不高，集合带宽更宽意味着集合到一个频带的噪声越多，测量结果所受干扰更大，对于设备信噪比的要求也就更高。本实施例从确保高分辨率与低数据存储量的角度出发，提出了一种新型的频域整合检测算法。
在采样频率、采样时长相同的条件下，从储存数据量上看，偏态分布模型与改进DBSCAN聚类结合的处理方法最终结果的数据量与IEC 61000-4-7方法同一量级，与原始数据5Hz分辨率下存储量相比，本实施例所提算法数据量所占比例不超过原始数据存储量的0.05%。从频域分辨率上看，新提出的方法能够实现与原始信号频谱图同分辨率，其分辨率是方法B分辨率的400倍，最大程度保证了发射信号频率精确定位的问题。
不同集合带宽的结果在一定程度上都包含了其他干扰信号，导致测量结果出现偏差，在需要定量分析超高次谐波发射信号的情况下不适用。本实施例提出的算法准确检测出了设备在不同频率点处的发射情况，有利于分析研究超高次谐波的发射特性。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：包括以下步骤：
一、输入数据并进行数据预处理；
二、确定概率分布模型：计算预处理后数据集的峰度与偏度，获得数据集的概率分布模型，确定离群点检测阈值，提取大于阈值范围的数据集N；
三、DBSCAN离群点检测，包括：
3.1)、参数确定：根据输入数据集N计算出距离分布矩阵DISTn×n，将DISTn×n中每行按照升序排序，得到矩阵KNNn×n，其中矩阵KNNn×n的第i列表示距离每个数据点最近的第i个距离值的集合；将KNNn×n矩阵每列升序排列，得到k-dist图；根据k-dist曲线中斜率变化自适应确定半径取值；
3.2)、根据斜率变化自适应确定聚类邻域半径Eps，包括：
a、计算各点斜率并去除斜率为零的计算结果，得到数据集Q；
b、计算数据集Q的偏度与峰度，确定其概率分布类型；
c、若数据集Q为正态分布，取第一个大于平均值与标准差之和的数据点所对应的距离值作为半径；若数据集Q为偏态分布，取第一个大于中位数与2倍绝对中位偏差之和的点所对应的距离值作为半径；
3.3)、确定最小聚类点数MinPts；
3.4)、DBSCAN算法计算：DBSCAN通过检查数据集中每点的Eps邻域来搜索簇，如果点P的Eps邻域包含的点数多于MinPts，则创建一个以P为核心对象的簇，然后DBSCAN迭代地聚集从这些核心对象直接密度可达与密度可达的对象；当没有新的点添加到任何簇时算法结束；
四、检测效果分析：通过超高次谐波检测率指标来衡量信号检测情况。
2.根据权利要求1所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤一中，数据预处理是：首先利用椭圆型数字滤波器滤除2kHz以下的低次谐波，其次对余下包含超高次谐波发射信号的测量数据进行傅里叶变换。
3.根据权利要求2所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤二中，偏度是反映总体分布非对称或偏移性的一种度量，当偏度为正，表示呈右偏分布，当偏度为负，表示呈左偏分布；峰度反映总体分布密度函数在众数附近“峰”的尖削程度，正态分布的峰度为0；其偏度β1、峰度β2定义如下式所示：
Figure FDA0003027768260000021
Figure FDA0003027768260000022
其中mn,k(k＝2,3,4)为总体的k阶中心距，n为样本量；X1，X2，……，Xn是从总体X中抽取的n个样本；
Figure FDA0003027768260000023
表示取样本平均值；
提出假设H0：X是正态分布数据总体，H1：X不是正态分布数据总体；
Figure FDA0003027768260000024
Figure FDA0003027768260000025
u1＝β1/σ1；
u2＝(β2-μ2)/σ2；
式中：σ1，σ2分别表示样本偏度标准差与样本峰度标准差，
Figure FDA0003027768260000026
u1，u2为偏度、峰度统计量的值；当|u1|，|u2|值大时，就会拒绝H0；z为检验统计量，取显著性检验水平α＝0.1，zα/4表示检验临界值，则H0的拒绝域为：
|u1|＝|β1/σ1|≥zα/4＝1.96；
|u2|＝|(β2-μ2)/σ2|≥zα/4＝1.96；
当结果大于1.96时，即证明数据不满足正态分布，进一步根据偏度值的正负判断属于右/左偏分布；对一组数据从小到大排序，找出中位数，将所得的中位数与每一项原始数据求差得绝对值，再对求得的绝对值求出中位数即MAD，阈值为原数据的中位数与2倍MAD的和，对于单变量数据集X1，X2,…，Xn，计算公式如下式所示：
MAD＝median(|Xi-median(X)|)；
T＝median(X)+2MAD；
其中1≤i≤n，Xi表示数据集中的原始数据，median(X)表示取数据集的中位数，T为检测阈值上限；将超过T值的数据作为包含超高次谐波发射信息的点，基于此进行下一步聚类处理。
4.根据权利要求3所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤三中，DISTn×n计算方法如下式所示：
DISTn×n＝{dist(i,j)|1≤i≤n,1≤j≤n}；
其中，n为数据集N的对象点数，对象i和对象j为数据集N中的任意两个对象，dist(i,j)表示对象i和对象j之间的距离；DISTn×n是一个n行n列的实对称矩阵。
5.根据权利要求4所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤三中，距离度量采用欧几里德计算公式，如下式所示：
Figure FDA0003027768260000031
其中X、Y表示两个数量为n的单变量数据集，1≤i≤n，xi、yi表示数据集中任意两个对象。
6.根据权利要求5所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤三中，斜率计算公式为：
d(i)＝|k_dist(i)-k_dist(i+1)|；
k_dist(i)为k_dist曲线中第i点的对应的距离值，k_dist(i+1)为k_dist曲线中第i+1点对应的距离值,d(i)表示i点的斜率值。
7.根据权利要求6所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤三中，最小点数MinPts等于6。
8.根据权利要求7所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤三中，DBSCAN算法处理过程为：
a、输入数据集N与参数Eps、MinPts；
b、选择未访问点P，确定领域集合E；
c、判断E内数据点数是否大于MinPts，若是，则P为核心点，进行下一步；若否，P为离群点；
d、创建新簇C，将P邻域内所有点添加至C；
e、遍历E中其他未被处理对象，将直接密度可达与密度可达对象加入C；
f、判断E中是否有未处理对象，若是，返回步骤e，若否，进行下一步；
g、N中是否有未处理对象，若是，返回步骤b，若否，输出结果。
9.根据权利要求8所述的一种基于离群点检测的超高次谐波发射信号检测方法，其特征在于：步骤四中，超高次谐波检测率的计算公式如下：
超过次谐波检测率＝(检测出超高次谐波数据点数/超高次谐波发射数据总数)*100％。
CN202110277704.3A 2021-03-15 2021-03-15 一种基于离群点检测的超高次谐波发射信号检测方法 Expired - Fee Related CN112633427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110277704.3A CN112633427B (zh) 2021-03-15 2021-03-15 一种基于离群点检测的超高次谐波发射信号检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110277704.3A CN112633427B (zh) 2021-03-15 2021-03-15 一种基于离群点检测的超高次谐波发射信号检测方法

Publications (2)

Publication Number Publication Date
CN112633427A CN112633427A (zh) 2021-04-09
CN112633427B true CN112633427B (zh) 2021-05-28

Family

ID=75297679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110277704.3A Expired - Fee Related CN112633427B (zh) 2021-03-15 2021-03-15 一种基于离群点检测的超高次谐波发射信号检测方法

Country Status (1)

Country Link
CN (1) CN112633427B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113639888B (zh) * 2021-08-06 2023-07-04 江苏徐工工程机械研究院有限公司 环境实验舱温度均匀性判定方法及测量装置
CN115902389B (zh) * 2021-08-26 2024-04-05 本源量子计算科技（合肥）股份有限公司 量子比特频率的测量方法、量子测控系统及量子计算机
CN113925479B (zh) * 2021-08-27 2023-10-03 上海赫千电子科技有限公司 一种基于智能车载盒子的生命监测方法及装置
CN114646805B (zh) * 2022-05-23 2022-09-16 四川大学 超高次谐波测量装置及其校正方法
CN115694625A (zh) * 2022-08-31 2023-02-03 四川天邑康和通信股份有限公司 一种异常pon终端的检测方法及装置
CN115902397A (zh) * 2023-01-06 2023-04-04 四川大学 一种基于简化压缩感知模型的快速超谐波估计方法
CN116756597B (zh) * 2023-08-16 2023-11-14 山东泰开电力电子有限公司 基于人工智能的风电机组谐波数据实时监测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326923A (zh) * 2016-08-23 2017-01-11 福州大学 一种顾及位置重复和密度峰值点的签到位置数据聚类方法
CN106405518A (zh) * 2016-12-07 2017-02-15 中国船舶重工集团公司第七二四研究所 一种复杂体制雷达信号等级关联聚类分选方法
CN108931206A (zh) * 2018-08-01 2018-12-04 湖南大学 用于钢轨轮廓离群点检测及有效廓形识别的方法
WO2019166859A1 (en) * 2018-03-01 2019-09-06 Barreto Nogueira Adriano Determination or prediction of biological age, rate of aging, or disease installation or outcome by monitoring of the cyclic variation of temperature or other body parameters
CN111931868A (zh) * 2020-09-24 2020-11-13 常州微亿智造科技有限公司 时间序列数据异常检测方法和装置
CN112188531A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 异常检测方法、装置、电子设备及计算机存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102360378A (zh) * 2011-10-10 2012-02-22 南京大学 一种时序数据离群点检测方法
US10318886B2 (en) * 2015-10-30 2019-06-11 Citrix Systems, Inc. Anomaly detection with K-means clustering and artificial outlier injection
CN105844102B (zh) * 2016-03-25 2018-05-08 中国农业大学 一种自适应无参空间离群点检测方法
US10445527B2 (en) * 2016-12-21 2019-10-15 Sap Se Differential privacy and outlier detection within a non-interactive model
CN107895053B (zh) * 2017-12-13 2021-09-24 福州大学 基于话题簇动量模型的新兴热点话题检测系统及方法
CN108805747A (zh) * 2018-06-13 2018-11-13 山东科技大学 一种基于半监督学习的异常用电用户检测方法
CN109993198B (zh) * 2018-12-26 2021-06-22 中国科学院信息工程研究所 一种基于特征同构共享描述的多源异构离群点检测方法
CN110188810A (zh) * 2019-05-23 2019-08-30 西北工业大学 一种基于密度聚类的在线野值检测、识别与修正方法
US11663700B2 (en) * 2019-06-29 2023-05-30 Intel Corporation Automatic elimination of noise for big data analytics
CN110728842B (zh) * 2019-10-23 2021-10-08 江苏智通交通科技有限公司 基于路口车辆合理行驶范围的异常行驶预警方法
CN110932585A (zh) * 2019-12-10 2020-03-27 国网河南省电力公司电力科学研究院 减小变流器开关频率处超高次谐波幅值的调制方法和装置
CN111415676B (zh) * 2020-03-10 2022-10-18 山东大学 一种基于分离矩阵初始化频点选择的盲源分离方法及系统
CN111523595A (zh) * 2020-04-23 2020-08-11 国网天津市电力公司 一种基于离群点检测算法的电缆缺陷研判方法
CN111652303A (zh) * 2020-05-28 2020-09-11 辽宁工程技术大学 基于非独立同分布下谱聚类的离群值检测方法
CN112084229A (zh) * 2020-07-27 2020-12-15 北京市燃气集团有限责任公司 一种识别城镇燃气用户异常用气行为的方法及装置
CN112230056B (zh) * 2020-09-07 2022-04-26 国网河南省电力公司电力科学研究院 一种基于OFMMK-Means聚类和复合分位数回归多谐波源贡献计算方法
CN112398342B (zh) * 2021-01-21 2021-04-06 四川大学 组合型单电感双输出开关变换器变频控制装置、方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326923A (zh) * 2016-08-23 2017-01-11 福州大学 一种顾及位置重复和密度峰值点的签到位置数据聚类方法
CN106405518A (zh) * 2016-12-07 2017-02-15 中国船舶重工集团公司第七二四研究所 一种复杂体制雷达信号等级关联聚类分选方法
WO2019166859A1 (en) * 2018-03-01 2019-09-06 Barreto Nogueira Adriano Determination or prediction of biological age, rate of aging, or disease installation or outcome by monitoring of the cyclic variation of temperature or other body parameters
CN108931206A (zh) * 2018-08-01 2018-12-04 湖南大学 用于钢轨轮廓离群点检测及有效廓形识别的方法
CN112188531A (zh) * 2019-07-01 2021-01-05 中国移动通信集团浙江有限公司 异常检测方法、装置、电子设备及计算机存储介质
CN111931868A (zh) * 2020-09-24 2020-11-13 常州微亿智造科技有限公司 时间序列数据异常检测方法和装置

Also Published As

Publication number Publication date
CN112633427A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112633427B (zh) 一种基于离群点检测的超高次谐波发射信号检测方法
CN109974782B (zh) 基于大数据敏感特征优化选取的设备故障预警方法及系统
CN103197218B (zh) 一种高压电缆绝缘缺陷局放带电检测诊断方法
WO2014101579A1 (zh) 基于奇异值分解算法的变压器局部放电模式识别方法
CN104198898A (zh) 基于脉冲序列分析的局部放电发展过程诊断方法
CN104155585A (zh) 基于gk模糊聚类的gis局部放电类型识别方法
CN108009730A (zh) 一种光伏电站系统健康状态分析方法
CN109270345A (zh) 一种电网谐波信号的检测方法
CN102867421B (zh) 一种识别有效停车泊位占有率中离群数据的方法
CN109947815B (zh) 一种基于离群点算法的窃电辨识方法
CN111753699A (zh) 一种直流充电桩数字计量准确度提升的方法
CN115128345B (zh) 一种基于谐波监测的电网安全预警方法及系统
CN114325256A (zh) 一种电力设备局部放电识别方法、系统、设备及存储介质
CN216848010U (zh) 一种边缘计算的电缆局放在线监测装置
CN112462355A (zh) 一种基于时频三特征提取的对海目标智能检测方法
CN111626360A (zh) 用于检测锅炉故障类型的方法、装置、设备和存储介质
CN114139820A (zh) 一种用于非侵入式电能负荷预测的改进模态分解方法
CN115983507B (zh) 送端源电网断面宽频振荡风险预测方法及系统
CN110879927A (zh) 一种用于海目标检测的海杂波幅度统计分布现场建模方法
Luo et al. Research on remaining useful life prediction method of rolling bearing based on health indicator extraction and trajectory enhanced particle filter
CN107527022B (zh) 信号周期计算方法
CN115902528B (zh) 一种直流牵引网振荡与短路故障辨识方法
CN116128690B (zh) 一种碳排放量成本值计算方法、装置、设备及介质
CN107861108A (zh) 一种基于功率谱盒维数的海上目标检测方法
CN116561569A (zh) 一种基于EO特征选择结合AdaBoost算法的工业电力负荷辨识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210528

CF01 Termination of patent right due to non-payment of annual fee