CN112633427A - 一种基于离群点检测的超高次谐波发射信号检测方法 - Google Patents
一种基于离群点检测的超高次谐波发射信号检测方法 Download PDFInfo
- Publication number
- CN112633427A CN112633427A CN202110277704.3A CN202110277704A CN112633427A CN 112633427 A CN112633427 A CN 112633427A CN 202110277704 A CN202110277704 A CN 202110277704A CN 112633427 A CN112633427 A CN 112633427A
- Authority
- CN
- China
- Prior art keywords
- data
- point
- data set
- detection
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000013450 outlier detection Methods 0.000 title claims abstract description 20
- 230000008859 change Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 60
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 8
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 238000005070 sampling Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000000691 measurement method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 101100533306 Mus musculus Setx gene Proteins 0.000 description 2
- 101000604097 Xenopus laevis Homeobox protein notochord Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000012443 analytical study Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- KNVAYBMMCPLDOZ-UHFFFAOYSA-N propan-2-yl 12-hydroxyoctadecanoate Chemical compound CCCCCCC(O)CCCCCCCCCCC(=O)OC(C)C KNVAYBMMCPLDOZ-UHFFFAOYSA-N 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R23/00—Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
- G01R23/16—Spectrum analysis; Fourier analysis
- G01R23/165—Spectrum analysis; Fourier analysis using filters
- G01R23/167—Spectrum analysis; Fourier analysis using filters with digital filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Complex Calculations (AREA)
Abstract
本发明涉及超高次谐波检测技术领域,具体地说,涉及一种基于离群点检测的超高次谐波发射信号检测方法,其包括以下步骤:一、输入数据并进行数据预处理;二、确定预处理后数据集的概率分布模型;三、DBSCAN离群点检测:首先根据k‑dist曲线斜率变化,自适应确定半径参数Eps,接着确定最小聚类点数MinPts,最后利用DBSCAN算法聚类;四、检测效果分析。本发明提出的算法准确检测出了设备在不同频率点处的发射情况,有利于分析研究超高次谐波的发射特性。
Description
技术领域
本发明涉及超高次谐波检测技术领域,具体地说,涉及一种基于离群点检测的超高次谐波发射信号检测方法。
背景技术
在电力系统电力电子化的大趋势下,光伏逆变器、电动汽车充电桩、节能灯等受控于开关频率的电力电子设备广泛应用于电网,由此所带来的高频电磁干扰等问题吸引了越来越来研究人员的关注。许多可再生能源发电厂都通过高开关频率的功率器件与电网相连,导致超高次谐波流入点电网,另一部分超高次谐波源则是与负载相连的电子变换器。这些开关器件以其重量更轻,尺寸更小,能源效率更高等优势得到广泛使用,但是也引发了2kHz以上超高次谐波的发射。
早在2005年就有学者发现,2-150kHz频段范围内的干扰水平不断上升,造成设备损坏的现象越来越多。直至2014年,首次提出“超高次谐波”这一概念,即将2~150kHz频率范围内的电压与电流的波形畸变定义超高次谐波,此后该定义逐渐得到国内外研究学者的一致认同。
准确测量超高次谐波是分析研究其特性的基础,因此关于测量方法的研究是众多学者关注的重点。现有关于超高次谐波的测量方法主要有三种:
(1)方法A是基于IEC 61000-4-7附录B中2-9kHz的测量方法,在此基础上将200Hz频带集合范围扩宽到2-150kHz。该方法用到了测量的全部数据,是一种无间隙的处理方法,信号覆盖范围达100%。
(2)方法B是基于IEC 61000-4-30附录B中所描述的32段0.5ms等间隔采样方法,该方法带宽为2000Hz,因仅对200ms中16ms时间窗进行采样分析,较方法A来说采样数据量大大减小,适用于现场测试,但信号覆盖范围仅达8%,这是以牺牲频域分辨率为代价的。
(3)方法C是基于标准CISPR 16-1-2中提出的测量方法,该方法适用于在实验室条件下对待测设备进行免疫性水平以及发射水平测量,不适用于现场测试。
由于现有标准中的方法都存在一定的局限性不能准确反映实际的排放情况,有研究提出一种基于开关频率的集合方法,这种方法能够更准确反映出信号在开关频率以及开关频率整数倍处幅值变化情况,但是开关频率准确识别是先决条件,在有多个设备且工作开关频率不一致情况下应用受限。此外,也有研究为降低超高次谐波处理数据量,对时域采样方法进行了改进,仅对200ms时间窗的首、末两周波进行采样,然后分别进行频谱分析,两者均值作为最后的测量结果。该方法能够在一定程度上减少了需处理的数据量,提升运算速度。但是,由于超高次谐波频域宽,幅值小,时变性强等特点,仅对两周波信号进行分析影响了测量结果的准确性。采样数据量的减少同样也会导致无法准确定位超高次谐波发射频率,影响测量结果。
综上所述,由于缺少标准化的超高次谐波测量方法,不同方法的测量结果一致性差。超高次谐波频带宽、幅值小,实际工程应用中对采样频率要求较高,产生的数据量大,标准IEC 61000-4-7与IEC 61000-4-30中的提出的两种不同角度集合方法都是旨在更高效的处理超高次谐波源发射测量数据。若直接存储原始数据,虽保证了频率分辨率但数据量太大,对处理、存储、传输设备是很大的负担,现场测量中不适用。应用频谱集合虽能在一定程度上减小数据量,但集合后频率分辨率大大降低,不适用于需要精确测量场合。因此,现有的超高次谐波测量方法无法解决高频率分辨率与低数据量之间的矛盾。
发明内容
本发明的内容是提供一种基于离群点检测的超高次谐波发射信号检测方法,其能够克服现有技术的某种或某些缺陷。
根据本发明的一种基于离群点检测的超高次谐波发射信号检测方法,其包括以下步骤:
一、输入数据并进行数据预处理;
二、确定概率分布模型:计算预处理后数据集的峰度与偏度,获得数据集的概率分布模型,确定离群点检测阈值,提取大于阈值范围的数据集N。
三、DBSCAN离群点检测,包括:
3.1)、参数确定:根据输入数据集N计算出距离分布矩阵,将中
每行按照升序排序,得到矩阵,其中矩阵的第i列表示距离每个数据
点最近的第i个距离值的集合;将矩阵每列升序排列,得到k-dist图;根据k-dist
曲线斜率变化自适应确定半径取值;
3.2)、根据斜率变化自适应确定Eps,包括:
a、计算各点斜率并去除斜率为零的计算结果,得到数据集Q;
b、计算数据集Q的偏度与峰度,确定其概率分布类型;
c、若数据集Q为正态分布,取第一个大于平均值与标准差之和的数据点所对应的距离值作为半径;若数据集Q为偏态分布,取第一个大于中位数与2倍绝对中位偏差之和的点所对应的距离值作为半径;
3.3)、确定最小聚类点数MinPts;
3.4)、DBSCAN算法计算:DBSCAN通过检查数据集中每点的Eps邻域来搜索簇,如果点P的Eps邻域包含的点数多于MinPts,则创建一个以P为核心对象的簇,然后DBSCAN迭代地聚集从这些核心对象直接密度可达与密度可达的对象;当没有新的点添加到任何簇时算法结束;
四、检测效果分析:通过超高次谐波检测率指标来衡量信号检测情况。
作为优选,步骤一中,数据预处理是:首先利用椭圆型数字滤波器滤除2kHz以下的低次谐波,其次对余下包含超高次谐波发射信号的测量数据进行傅里叶变换。
作为优选,步骤二中,偏度是反映总体分布非对称或偏移性的一种度量,当偏度为
正,表示呈右偏分布,当偏度为负,表示呈左偏分布;峰度反映总体分布密度函数在众数附
近“峰”的尖削程度,正态分布的峰度为0;其偏度、峰度定义如下式所示:
提出假设H 0:X是正态分布数据总体,H 1:X不是正态分布数据总体;
当结果大于1.96时,即证明数据不满足正态分布,进一步可根据偏度值的正负判断属于右/左偏分布;对一组数据从小到大排序,找出中位数,将所得的中位数与每一项原始数据求差得绝对值,再对求得的绝对值求出中位数即MAD,阈值为原数据的中位数与2倍MAD的和,对于单变量数据集X 1,X 2 ,…,X n ,计算公式如下式所示:
作为优选,步骤三中,距离度量采用欧几里德计算公式,如下式所示:
作为优选,步骤三中,斜率计算公式为:
k_dist(i)为k_dist曲线中第i点的对应的距离值,k_dist(i+1)为k_dist曲线中第i+1点对应的距离值,d(i)表示i点的斜率值。
作为优选,步骤三中,设定最小点数MinPts等于6。
作为优选,步骤三中,DBSCAN算法处理过程为:
a、输入数据集N与参数Eps、MinPts;
b、选择未访问点P,确定领域集合E;
c、判断E内数据点数是否大于MinPts,若是,则P为核心点,进行下一步;若否,P为离群点;
d、创建新簇C,将P邻域内所有点添加至C;
e、遍历E中其他未被处理对象,将直接密度可达与密度可达对象加入C;
f、判断E中是否有未处理对象,若是,返回步骤e,若否,进行下一步;
g、N中是否有未处理对象,若是,返回步骤b,若否,输出结果。
作为优选,步骤四中,超高次谐波检测率的计算公式如下:
超过次谐波检测率=(检测出超高次谐波数据点数/超高次谐波发射数据总数)*100%。
本发明是为了克服现有方法的不足,针对数据量与频率分辨率这一关键矛盾提出了一种新的测量算法。由于在2-150kHz频段内存在大量的噪声干扰信号,此时以开关频率及开关频率整数倍处为发射中心且发射幅值呈对称分布的少量超高次谐波发射信号就表现出明显的离群点特性。关于离群点,其产生原因可为测量或传输错误造成,或是信号产生变异造成或是某一类特定信号导致。本发明利用离群点理论中偏态分布模型与改进DBSCAN聚类算法对超高次谐波发射信号进行检测,解决了超高次谐波处理数据量与频域分辨率之间的矛盾,实现了高精度、低存储量测量。
附图说明
图1为实施例1中一种基于离群点检测的超高次谐波发射信号检测方法的流程图;
图2为实施例1中DBSCAN算法处理流程图;
图3为实施例1中采样电流波形图;
图4为实施例1中按照标准IEC 61000-4-7、IEC 61000-4-30处理结果图;
图5为实施例1中根据提出的基于离群点检测的超高次谐波发射DBSCAN检测结果图;
图6为实施例中检测结果与IEC 61000-4-7、IEC 61000-4-30处理结果对比图。
具体实施方式
为进一步了解本发明的内容,结合附图和实施例对本发明作详细描述。应当理解的是,实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示,本实施例提供了一种基于离群点检测的超高次谐波发射信号检测方法,其包括以下步骤:
一、输入数据并进行数据预处理;数据预处理是:首先利用椭圆型数字滤波器滤除2kHz以下的低次谐波,其次对余下包含超高次谐波发射信号的测量数据进行傅里叶变换。
在实验室条件下,利用Tektronix MDO3024示波器设备,对载波频率为50kHz的单相桥式换流设备,以500kHz采样频率、200ms采样窗长对网侧电流进行采样。图3是本实施例采样电流波形图,利用所述IEC 61000-4-7(方法A)与IEC 61000-4-30(方法B)两种方式对滤波后的信号进行处理,所得结果图4所示。从分析结果可知超高次谐波较普通谐波来说,幅值很小,发射集中在载波频率以及载波频率整数倍处,其幅值随着超高次谐波阶数的增加而降低。
二、确定概率分布模型:计算预处理后数据集的峰度与偏度,获得数据集的概率分布模型,确定离群点检测阈值,提取大于阈值范围的数据集N。
通常基于统计学的离群点检测方法是构建一个正态分布模型,利用3σ原则,将具有低概率的数据点作为离群点。但是,在实际测量中发现,超高次谐波频段信号存在明显的偏头、厚尾现象,不满足正态分布特性。因此在应用偏态分布模型前需要首先对数据分布特性进行校验。
本实施例首先根据数据点的概率分布模型确定阈值。常用样本偏度、峰度来检测
分布特性,偏度是反映总体分布非对称或偏移性的一种度量,当偏度为正,表示呈右偏分
布,当偏度为负,表示呈左偏分布;峰度反映总体分布密度函数在众数附近“峰”的尖削程
度,正态分布的峰度为0;其偏度、峰度定义如下式所示:
提出假设H 0:X是正态分布数据总体,H 1:X不是正态分布数据总体;
当结果大于1.96时,即证明数据不满足正态分布,进一步可根据偏度值的正负判断属于右/左偏分布;对于偏态分布数据若采用算数平均值会造成对数据分布的过高估计,此时用中位数来体现集中趋势,用绝对中位偏差(MAD)表达离散趋势更为合理。对一组数据从小到大排序,找出中位数,将所得的中位数与每一项原始数据求差得绝对值,再对求得的绝对值求出中位数即MAD,阈值为原数据的中位数与2倍MAD的和,对于单变量数据集X 1,X 2 ,…,X n ,计算公式如下式所示:
其中,X i 表示数据集中的原始数据,表示取数据
集的中位数,T为检测阈值上限;由于基于数据分布特性的检测方法仅能在一定程度上识别
出异常数据,无法对数据进行准确提取和处理。因此,将超过T值的数据作为包含超高次谐
波发射信息的点,基于此进行下一步聚类处理。
三、DBSCAN离群点检测;
基于聚类算法的离群点检测是用于发现与其他对象不具有强相关特性的对象。DBSCAN算法根据空间中数据点的分布稠密程度进行聚类,不需要提前指定簇的个数,能够发现任意形状数据簇,对离群点更为敏感,但是这种算法需要提前设定聚类邻域半径Eps和聚类簇最少聚类点数MinPts。
传统的DBSCAN算法中参数Eps与MinPts需要根据经验人为设定,参数设置对聚类结果影响很大。半径参数Eps选择过大时,可能会导致部分离群点无法被检测出来,Eps过小则会导致数据被错误的划分为离群点。本实施例中提出根据k-dist斜率变化情况,能够实现自适应确定半径参数。
DBSCAN离群点检测包括:
对于密度分布较为均匀的数据集来说,其k-dist图变化规律近似一致。在曲线较为平缓阶段,表明在这个距离范围内数据点分布较多,当曲线斜率变化较大时,说明在这个半径范围内,数据点分布较少,传统的半径值选取方式是取k-dist曲线急剧变化的点,但是这种方法需要人为参与,且取值结果具有不确定性。根据k-dist曲线斜率变化自适应确定半径取值;斜率计算公式为:
k_dist(i)为k_dist曲线中第i点的对应的距离值,k_dist(i+1)为k_dist曲线中第i+1点对应的距离值,d(i)表示i点的斜率值。
3.2)、根据斜率变化自适应确定Eps,包括:
a、计算各点斜率并去除斜率为零的计算结果,得到数据集Q;
b、计算数据集Q的偏度与峰度,确定其概率分布类型;
c、若数据集Q为正态分布,取第一个大于平均值与标准差之和的数据点所对应的距离值作为半径;若数据集Q为偏态分布,取第一个大于中位数与2倍绝对中位偏差之和的点所对应的距离值作为半径;根据以上方法可实现自适应确定Eps取值。
3.3)、确定最小聚类点数MinPts;最小点数MinPts大于等于6,避免将三组以上对称分布的超高次谐波发射数据作为非离群点。
3.4)、DBSCAN算法计算:DBSCAN通过检查数据集中每点的Eps邻域来搜索簇,如果点P的Eps邻域包含的点数多于MinPts,则创建一个以P为核心对象的簇,然后DBSCAN迭代地聚集从这些核心对象直接密度可达与密度可达的对象;当没有新的点添加到任何簇时算法结束;DBSCAN算法在进行聚类的时候,会对所有核心点的所有邻域进行处理,导致算法的执行效率受到制约,消耗的时间较多。因此首先通过偏态模型阈值检测去除了大部分噪声数据点,两者相结合大大削减了该算法实现的复杂程度。
如图2所示,DBSCAN算法处理过程为:
a、输入数据集N与参数Eps、MinPts;
b、选择未访问点P,确定领域集合E;
c、判断E内数据点数是否大于MinPts,若是,则P为核心点,进行下一步;若否,P为离群点;
d、创建新簇C,将P邻域内所有点添加至C;
e、遍历E中其他未被处理对象,将直接密度可达与密度可达对象加入C;
f、判断E中是否有未处理对象,若是,返回步骤e,若否,进行下一步;
g、N中是否有未处理对象,若是,返回步骤b,若否,输出结果。
基于斜率计算结果,得去零后斜率点集的偏度为25.15、峰度为712.54。数据集同样呈极度右偏特性,对应中位数与2倍绝对中位偏差之和为0.0287。进一步得到DBSCAN参数Eps=1.657,MinPts=6,检测结果如图5所示。检测结果表明:
(1)本实施例中基于离群点理论的偏态分布模型与自整定参数的DBSCAN方法准确识别出了开关频率为50kHz的超谐波发射信号,第一组发射位于49.95kHz与50.05kHz处,第二组发射位于49.85kHz与50.15kHz处,第三组发射位于49.75kHz与50.25kHz处;
(2)本实施例提出的方法检测结果符合在开关频率及开关频率整数倍处的发射规律,随着超高次谐波阶数增加,幅值逐渐减小。
四、检测效果分析:按照PWM换流器产生的谐波发射仅发生频率点附近;
换流器的高频脉冲电流,注入系统引起了网侧超高次谐波电压,发射集中在载波频率以及
载波频率整数倍处;在m倍载波频率(中心频率)处,发射以载波频率为中心呈对称分布等超
高次谐波发射特性,通过超高次谐波检测率指标来衡量信号检测情况,超高次谐波检测率
的计算公式如下:
超过次谐波检测率=(检测出超高次谐波数据点数/超高次谐波发射数据总数)*100%。
按照上式评估本实施例中方法检测效果,本实施例提出的方法在开关频率处的最
大可检测范围至,且有效检测率超过70%,涵盖了绝大部分超高次谐波谐波发射,
论证了偏态分布模型与自整定参数的DBSCAN聚类的频域整合算法应用于超高次谐波信号
检测的有效性。
如图6所示,为本实施例的检测结果与IEC 61000-4-7、IEC 61000-4-30处理结果对比图。
目前超高次谐波测量方法各有不同,测量结果无法统一。数据经集合处理后虽数据量减少但频域分辨率不高,集合带宽更宽意味着集合到一个频带的噪声越多,测量结果所受干扰更大,对于设备信噪比的要求也就更高。本实施例从确保高分辨率与低数据存储量的角度出发,提出了一种新型的频域整合检测算法。
在采样频率、采样时长相同的条件下,从储存数据量上看,偏态分布模型与改进DBSCAN聚类结合的处理方法最终结果的数据量与IEC 61000-4-7方法同一量级,与原始数据5Hz分辨率下存储量相比,本实施例所提算法数据量所占比例不超过原始数据存储量的0.05%。从频域分辨率上看,新提出的方法能够实现与原始信号频谱图同分辨率,其分辨率是方法B分辨率的400倍,最大程度保证了发射信号频率精确定位的问题。
不同集合带宽的结果在一定程度上都包含了其他干扰信号,导致测量结果出现偏差,在需要定量分析超高次谐波发射信号的情况下不适用。本实施例提出的算法准确检测出了设备在不同频率点处的发射情况,有利于分析研究超高次谐波的发射特性。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。
Claims (9)
1.一种基于离群点检测的超高次谐波发射信号检测方法,其特征在于:包括以下步骤:
一、输入数据并进行数据预处理;
二、确定概率分布模型:计算预处理后数据集的峰度与偏度,获得数据集的概率分布模型,确定离群点检测阈值,提取大于阈值范围的数据集N;
三、DBSCAN离群点检测,包括:
3.1)、参数确定:根据输入数据集N计算出距离分布矩阵,将中每行按
照升序排序,得到矩阵,其中矩阵的第列表示距离每个数据点最近
的第个距离值的集合;将矩阵每列升序排列,得到k-dist图;根据k-dist曲线
中斜率变化自适应确定半径取值;
3.2)、根据斜率变化自适应确定Eps,包括:
a、计算各点斜率并去除斜率为零的计算结果,得到数据集Q;
b、计算数据集Q的偏度与峰度,确定其概率分布类型;
c、若数据集Q为正态分布,取第一个大于平均值与标准差之和的数据点所对应的距离值作为半径;若数据集Q为偏态分布,取第一个大于中位数与2倍绝对中位偏差之和的点所对应的距离值作为半径;
3.3)、确定最小聚类点数MinPts;
3.4)、DBSCAN算法计算:DBSCAN通过检查数据集中每点的Eps邻域来搜索簇,如果点P的Eps邻域包含的点数多于MinPts,则创建一个以P为核心对象的簇,然后DBSCAN迭代地聚集从这些核心对象直接密度可达与密度可达的对象;当没有新的点添加到任何簇时算法结束;
四、检测效果分析:通过超高次谐波检测率指标来衡量信号检测情况。
2.根据权利要求1所述的一种基于离群点检测的超高次谐波发射信号检测方法,其特征在于:步骤一中,数据预处理是:首先利用椭圆型数字滤波器滤除2kHz以下的低次谐波,其次对余下包含超高次谐波发射信号的测量数据进行傅里叶变换。
3.根据权利要求2所述的一种基于离群点检测的超高次谐波发射信号检测方法,其特
征在于:步骤二中,偏度是反映总体分布非对称或偏移性的一种度量,当偏度为正,表示呈
右偏分布,当偏度为负,表示呈左偏分布;峰度反映总体分布密度函数在众数附近“峰”的尖
削程度,正态分布的峰度为0;其偏度、峰度定义如下式所示:
当结果大于1.96时,即证明数据不满足正态分布,进一步根据偏度值的正负判断属于右/左偏分布;对一组数据从小到大排序,找出中位数,将所得的中位数与每一项原始数据求差得绝对值,再对求得的绝对值求出中位数即MAD,阈值为原数据的中位数与2倍MAD的和,对于单变量数据集X1,X2,…,Xn,计算公式如下式所示:
7.根据权利要求6所述的一种基于离群点检测的超高次谐波发射信号检测方法,其特征在于:步骤三中,最小点数MinPts等于6。
8.根据权利要求7所述的一种基于离群点检测的超高次谐波发射信号检测方法,其特征在于:步骤三中,DBSCAN算法处理过程为:
a、输入数据集N与参数Eps、MinPts;
b、选择未访问点P,确定领域集合E;
c、判断E内数据点数是否大于MinPts,若是,则P为核心点,进行下一步;若否,P为离群点;
d、创建新簇C,将P邻域内所有点添加至C;
e、遍历E中其他未被处理对象,将直接密度可达与密度可达对象加入C;
f、判断E中是否有未处理对象,若是,返回步骤e,若否,进行下一步;
g、N中是否有未处理对象,若是,返回步骤b,若否,输出结果。
9.根据权利要求8所述的一种基于离群点检测的超高次谐波发射信号检测方法,其特征在于:步骤四中,超高次谐波检测率的计算公式如下:
超过次谐波检测率=(检测出超高次谐波数据点数/超高次谐波发射数据总数)*100%。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110277704.3A CN112633427B (zh) | 2021-03-15 | 2021-03-15 | 一种基于离群点检测的超高次谐波发射信号检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110277704.3A CN112633427B (zh) | 2021-03-15 | 2021-03-15 | 一种基于离群点检测的超高次谐波发射信号检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112633427A true CN112633427A (zh) | 2021-04-09 |
CN112633427B CN112633427B (zh) | 2021-05-28 |
Family
ID=75297679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110277704.3A Expired - Fee Related CN112633427B (zh) | 2021-03-15 | 2021-03-15 | 一种基于离群点检测的超高次谐波发射信号检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112633427B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113639888A (zh) * | 2021-08-06 | 2021-11-12 | 江苏徐工工程机械研究院有限公司 | 环境实验舱温度均匀性判定方法及测量装置 |
CN113925479A (zh) * | 2021-08-27 | 2022-01-14 | 上海赫千电子科技有限公司 | 一种基于智能车载盒子的生命监测方法及装置 |
CN114646805A (zh) * | 2022-05-23 | 2022-06-21 | 四川大学 | 超高次谐波测量装置及其校正方法 |
CN115694625A (zh) * | 2022-08-31 | 2023-02-03 | 四川天邑康和通信股份有限公司 | 一种异常pon终端的检测方法及装置 |
CN115902397A (zh) * | 2023-01-06 | 2023-04-04 | 四川大学 | 一种基于简化压缩感知模型的快速超谐波估计方法 |
CN115902389A (zh) * | 2021-08-26 | 2023-04-04 | 合肥本源量子计算科技有限责任公司 | 量子比特频率的测量方法、量子测控系统及量子计算机 |
CN116756597A (zh) * | 2023-08-16 | 2023-09-15 | 山东泰开电力电子有限公司 | 基于人工智能的风电机组谐波数据实时监测方法 |
CN118395219A (zh) * | 2024-06-28 | 2024-07-26 | 中电建路桥集团有限公司 | 用于隧道衬砌施工的结构性能检测方法及系统 |
Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360378A (zh) * | 2011-10-10 | 2012-02-22 | 南京大学 | 一种时序数据离群点检测方法 |
CN105844102A (zh) * | 2016-03-25 | 2016-08-10 | 中国农业大学 | 一种自适应无参空间离群点检测算法 |
CN106326923A (zh) * | 2016-08-23 | 2017-01-11 | 福州大学 | 一种顾及位置重复和密度峰值点的签到位置数据聚类方法 |
CN106405518A (zh) * | 2016-12-07 | 2017-02-15 | 中国船舶重工集团公司第七二四研究所 | 一种复杂体制雷达信号等级关联聚类分选方法 |
US20170124478A1 (en) * | 2015-10-30 | 2017-05-04 | Citrix Systems, Inc. | Anomaly detection with k-means clustering and artificial outlier injection |
CN107895053A (zh) * | 2017-12-13 | 2018-04-10 | 福州大学 | 基于话题簇动量模型的新兴热点话题检测系统及方法 |
CN108805747A (zh) * | 2018-06-13 | 2018-11-13 | 山东科技大学 | 一种基于半监督学习的异常用电用户检测方法 |
CN108931206A (zh) * | 2018-08-01 | 2018-12-04 | 湖南大学 | 用于钢轨轮廓离群点检测及有效廓形识别的方法 |
CN109993198A (zh) * | 2018-12-26 | 2019-07-09 | 中国科学院信息工程研究所 | 一种基于特征同构共享描述的多源异构离群点检测方法 |
CN110188810A (zh) * | 2019-05-23 | 2019-08-30 | 西北工业大学 | 一种基于密度聚类的在线野值检测、识别与修正方法 |
WO2019166859A1 (en) * | 2018-03-01 | 2019-09-06 | Barreto Nogueira Adriano | Determination or prediction of biological age, rate of aging, or disease installation or outcome by monitoring of the cyclic variation of temperature or other body parameters |
US10445527B2 (en) * | 2016-12-21 | 2019-10-15 | Sap Se | Differential privacy and outlier detection within a non-interactive model |
CN110728842A (zh) * | 2019-10-23 | 2020-01-24 | 江苏智通交通科技有限公司 | 基于路口车辆合理行驶范围的异常行驶预警方法 |
CN110932585A (zh) * | 2019-12-10 | 2020-03-27 | 国网河南省电力公司电力科学研究院 | 减小变流器开关频率处超高次谐波幅值的调制方法和装置 |
CN111415676A (zh) * | 2020-03-10 | 2020-07-14 | 山东大学 | 一种基于分离矩阵初始化频点选择的盲源分离方法及系统 |
CN111523595A (zh) * | 2020-04-23 | 2020-08-11 | 国网天津市电力公司 | 一种基于离群点检测算法的电缆缺陷研判方法 |
CN111652303A (zh) * | 2020-05-28 | 2020-09-11 | 辽宁工程技术大学 | 基于非独立同分布下谱聚类的离群值检测方法 |
CN111931868A (zh) * | 2020-09-24 | 2020-11-13 | 常州微亿智造科技有限公司 | 时间序列数据异常检测方法和装置 |
CN112084229A (zh) * | 2020-07-27 | 2020-12-15 | 北京市燃气集团有限责任公司 | 一种识别城镇燃气用户异常用气行为的方法及装置 |
CN112149375A (zh) * | 2019-06-29 | 2020-12-29 | 英特尔公司 | 大数据分析的噪声自动消除 |
CN112188531A (zh) * | 2019-07-01 | 2021-01-05 | 中国移动通信集团浙江有限公司 | 异常检测方法、装置、电子设备及计算机存储介质 |
CN112230056A (zh) * | 2020-09-07 | 2021-01-15 | 国网河南省电力公司电力科学研究院 | 基于OFMMK-Means聚类和复合分位数回归多谐波源贡献计算方法 |
CN112398342A (zh) * | 2021-01-21 | 2021-02-23 | 四川大学 | 组合型单电感双输出开关变换器变频控制装置、方法 |
-
2021
- 2021-03-15 CN CN202110277704.3A patent/CN112633427B/zh not_active Expired - Fee Related
Patent Citations (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102360378A (zh) * | 2011-10-10 | 2012-02-22 | 南京大学 | 一种时序数据离群点检测方法 |
US20170124478A1 (en) * | 2015-10-30 | 2017-05-04 | Citrix Systems, Inc. | Anomaly detection with k-means clustering and artificial outlier injection |
CN105844102A (zh) * | 2016-03-25 | 2016-08-10 | 中国农业大学 | 一种自适应无参空间离群点检测算法 |
CN106326923A (zh) * | 2016-08-23 | 2017-01-11 | 福州大学 | 一种顾及位置重复和密度峰值点的签到位置数据聚类方法 |
CN106405518A (zh) * | 2016-12-07 | 2017-02-15 | 中国船舶重工集团公司第七二四研究所 | 一种复杂体制雷达信号等级关联聚类分选方法 |
US10445527B2 (en) * | 2016-12-21 | 2019-10-15 | Sap Se | Differential privacy and outlier detection within a non-interactive model |
CN107895053A (zh) * | 2017-12-13 | 2018-04-10 | 福州大学 | 基于话题簇动量模型的新兴热点话题检测系统及方法 |
WO2019166859A1 (en) * | 2018-03-01 | 2019-09-06 | Barreto Nogueira Adriano | Determination or prediction of biological age, rate of aging, or disease installation or outcome by monitoring of the cyclic variation of temperature or other body parameters |
CN108805747A (zh) * | 2018-06-13 | 2018-11-13 | 山东科技大学 | 一种基于半监督学习的异常用电用户检测方法 |
CN108931206A (zh) * | 2018-08-01 | 2018-12-04 | 湖南大学 | 用于钢轨轮廓离群点检测及有效廓形识别的方法 |
CN109993198A (zh) * | 2018-12-26 | 2019-07-09 | 中国科学院信息工程研究所 | 一种基于特征同构共享描述的多源异构离群点检测方法 |
CN110188810A (zh) * | 2019-05-23 | 2019-08-30 | 西北工业大学 | 一种基于密度聚类的在线野值检测、识别与修正方法 |
CN112149375A (zh) * | 2019-06-29 | 2020-12-29 | 英特尔公司 | 大数据分析的噪声自动消除 |
CN112188531A (zh) * | 2019-07-01 | 2021-01-05 | 中国移动通信集团浙江有限公司 | 异常检测方法、装置、电子设备及计算机存储介质 |
CN110728842A (zh) * | 2019-10-23 | 2020-01-24 | 江苏智通交通科技有限公司 | 基于路口车辆合理行驶范围的异常行驶预警方法 |
CN110932585A (zh) * | 2019-12-10 | 2020-03-27 | 国网河南省电力公司电力科学研究院 | 减小变流器开关频率处超高次谐波幅值的调制方法和装置 |
CN111415676A (zh) * | 2020-03-10 | 2020-07-14 | 山东大学 | 一种基于分离矩阵初始化频点选择的盲源分离方法及系统 |
CN111523595A (zh) * | 2020-04-23 | 2020-08-11 | 国网天津市电力公司 | 一种基于离群点检测算法的电缆缺陷研判方法 |
CN111652303A (zh) * | 2020-05-28 | 2020-09-11 | 辽宁工程技术大学 | 基于非独立同分布下谱聚类的离群值检测方法 |
CN112084229A (zh) * | 2020-07-27 | 2020-12-15 | 北京市燃气集团有限责任公司 | 一种识别城镇燃气用户异常用气行为的方法及装置 |
CN112230056A (zh) * | 2020-09-07 | 2021-01-15 | 国网河南省电力公司电力科学研究院 | 基于OFMMK-Means聚类和复合分位数回归多谐波源贡献计算方法 |
CN111931868A (zh) * | 2020-09-24 | 2020-11-13 | 常州微亿智造科技有限公司 | 时间序列数据异常检测方法和装置 |
CN112398342A (zh) * | 2021-01-21 | 2021-02-23 | 四川大学 | 组合型单电感双输出开关变换器变频控制装置、方法 |
Non-Patent Citations (8)
Title |
---|
MEGHAN K. CAIN等: "Univariate and multivariate skewness and kurtosis for measuring nonnormality: Prevalence, influence and estimation", 《CROSSMARK》 * |
XUESHAN LIU等: "High-Efficiency Resonant LED Backlight Driver With Passive Current Balancing and Dimming", 《IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS》 * |
YEWANG CHEN等: "KNN-BLOCK DBSCAN: Fast Clustering for Large-Scale Data", 《IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS: SYSTEMS》 * |
吕寻斋等: "谐振式单开关多路低纹波输出LED驱动器", 《电子技术学报》 * |
周述晗等: "电压型变频纹波控制单电感三输出开关变换器", 《中国电机工程学报》 * |
尹娜等: "基于混合式聚类算法的离群点挖掘在异常检测中的应用研究", 《计算机科学》 * |
惠飞等: "基于凝聚层次的驾驶行为聚类与异常检测方法", 《计算机工程》 * |
朱露: "基于Eps参数自适应估计的DBSCAN算法改进及其在离群点检测中应用", 《中国优秀硕士学位论文全文数据库·基础科学辑》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113639888A (zh) * | 2021-08-06 | 2021-11-12 | 江苏徐工工程机械研究院有限公司 | 环境实验舱温度均匀性判定方法及测量装置 |
CN113639888B (zh) * | 2021-08-06 | 2023-07-04 | 江苏徐工工程机械研究院有限公司 | 环境实验舱温度均匀性判定方法及测量装置 |
CN115902389B (zh) * | 2021-08-26 | 2024-04-05 | 本源量子计算科技(合肥)股份有限公司 | 量子比特频率的测量方法、量子测控系统及量子计算机 |
CN115902389A (zh) * | 2021-08-26 | 2023-04-04 | 合肥本源量子计算科技有限责任公司 | 量子比特频率的测量方法、量子测控系统及量子计算机 |
CN113925479B (zh) * | 2021-08-27 | 2023-10-03 | 上海赫千电子科技有限公司 | 一种基于智能车载盒子的生命监测方法及装置 |
CN113925479A (zh) * | 2021-08-27 | 2022-01-14 | 上海赫千电子科技有限公司 | 一种基于智能车载盒子的生命监测方法及装置 |
CN114646805A (zh) * | 2022-05-23 | 2022-06-21 | 四川大学 | 超高次谐波测量装置及其校正方法 |
CN115694625A (zh) * | 2022-08-31 | 2023-02-03 | 四川天邑康和通信股份有限公司 | 一种异常pon终端的检测方法及装置 |
CN115902397A (zh) * | 2023-01-06 | 2023-04-04 | 四川大学 | 一种基于简化压缩感知模型的快速超谐波估计方法 |
CN116756597A (zh) * | 2023-08-16 | 2023-09-15 | 山东泰开电力电子有限公司 | 基于人工智能的风电机组谐波数据实时监测方法 |
CN116756597B (zh) * | 2023-08-16 | 2023-11-14 | 山东泰开电力电子有限公司 | 基于人工智能的风电机组谐波数据实时监测方法 |
CN118395219A (zh) * | 2024-06-28 | 2024-07-26 | 中电建路桥集团有限公司 | 用于隧道衬砌施工的结构性能检测方法及系统 |
CN118395219B (zh) * | 2024-06-28 | 2024-10-18 | 中电建路桥集团有限公司 | 用于隧道衬砌施工的结构性能检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112633427B (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112633427B (zh) | 一种基于离群点检测的超高次谐波发射信号检测方法 | |
CN102809718B (zh) | 一种gis超高频局部放电信号识别方法 | |
CN103197218B (zh) | 一种高压电缆绝缘缺陷局放带电检测诊断方法 | |
Chilukuri et al. | Multiresolution S-transform-based fuzzy recognition system for power quality events | |
CN102854445B (zh) | 一种局部放电脉冲电流的波形特征提取方法 | |
CN104198898A (zh) | 基于脉冲序列分析的局部放电发展过程诊断方法 | |
CN103323702A (zh) | 复合电能质量扰动信号识别方法 | |
WO2014101579A1 (zh) | 基于奇异值分解算法的变压器局部放电模式识别方法 | |
CN104155585A (zh) | 基于gk模糊聚类的gis局部放电类型识别方法 | |
CN108009730A (zh) | 一种光伏电站系统健康状态分析方法 | |
CN104331583B (zh) | 一种基于实测海杂波数据的多重分形建模方法 | |
CN104535905A (zh) | 基于朴素贝叶斯分类的局部放电诊断方法 | |
CN102867421B (zh) | 一种识别有效停车泊位占有率中离群数据的方法 | |
CN106845334A (zh) | 一种基于数学形态学的新型噪声提取方法 | |
CN111753699A (zh) | 一种直流充电桩数字计量准确度提升的方法 | |
CN112462355A (zh) | 一种基于时频三特征提取的对海目标智能检测方法 | |
CN114397569A (zh) | 基于vmd参数优化、样本熵的断路器故障电弧检测方法 | |
CN113514743A (zh) | 一种基于多维特征的gis局部放电模式识别系统构建方法 | |
EP4001936B1 (en) | Automatic partial discharge and noise signals separation using arithmetic coding in time domain and magnitude distributions in frequency domain | |
CN113608073A (zh) | 变频谐振下电缆局部放电脉冲分离方法 | |
CN114139820A (zh) | 一种用于非侵入式电能负荷预测的改进模态分解方法 | |
CN115983507B (zh) | 送端源电网断面宽频振荡风险预测方法及系统 | |
CN113627289A (zh) | 一种基于深度学习的电力设备识别方法及其装置 | |
CN115902528B (zh) | 一种直流牵引网振荡与短路故障辨识方法 | |
CN104865508A (zh) | 基于数据分组量化的局部放电识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210528 |
|
CF01 | Termination of patent right due to non-payment of annual fee |