CN108333468B - 一种有源配电网下不良数据的识别方法及装置 - Google Patents

Abstract

本发明公开了一种有源配电网下不良数据的识别方法及装置，方法包括：从采集的有源配电网数据中提取特征值；对特征值所对应数据的连续属性进行离散化，得到离散化数据序列；进行多尺度的离散二进小波变换,得到各尺度下的小波变换序列，及计算各尺度离散小波变换值并相乘后归一化处理，得到一个尺度下的小波变换系数，将其与离散小波变换值比较，判断该系数属于有效或无效系数类；重构小波变换系数，逆变换得到降噪后数字信号；采用模糊ISODATA算法进行聚类，并利用KNN分类算法进行分类，获得最终分类结果；进行投票筛选，识别此数据属于不良数据或良数据，并标识出不良数据。本发明进行不良数据的有效识别，提高了电力系统安全运行的稳定性。

Description

一种有源配电网下不良数据的识别方法及装置

技术领域

本发明涉及一种有源配电网下不良数据的识别方法及装置，属于数据处理的技术领域。

背景技术

随着城镇化建设和电力系统的快速发展、用电需求不断的增长，配电网在不停地改造和扩建，其规模也在不断扩大。配电网处于电力系统的末端，具有电网规模大、地域分布广、设备种类多、运行方式多变、网络连接多样等鲜明特点。含有包括光伏发电、风电、燃气轮机等分布式电源的配电网即有源配电网。在现代电力系统应用中，有源配电网下不良数据的识别成为另一种去除粗大误差和提高数据质量的方法，不良数据的识别问题通常归到状态估计的研究范畴。传统的有效识别方法有残差搜索辨识法、非二次准则辨识法、零残差辨识法和估计辨识法。由于自动化、电力信息采集等应用的分布推广应用，配电网将产生大规模异构，多态数据的指数增长，数据收集的规模可以达到当今信息行业关注的大数据水平。这就对数据计算的快速性以及分析算法的运行效率提出了更高的要求。

有源配电网中不良数据的识别是指在发现某次量测采样中存在不良数据后，确定哪些量测是不良数据。鉴于分布式电源可以看作是分布式馈线对非线性负载的谐波负载，而分布式电源开关也可能引起电压波动，分布式电源接入无疑会在一定程度上增加对电能质量的扰动。在数据的量测、传输过程中，都可能引起故障而导致数据缺失或异常。相对传统的一些不良数据识别方法，目前有一些新理论和新方法。基于数据挖掘的模糊数学法、神经网络法、聚类分析法、间隙统计法等。由于配电网工况种类的多样性和运行环境的复杂性,多种复杂因素都会影响配电网线路最大负载电流,很难通过单一算法对不良数据进行有效识别和处理。不良数据的存在可能会影响调度员做出错误的决策，进而影响电力系统的正常运行，甚至可能威胁整个电力系统的安全。因此，为了确保电力系统的稳定安全运行，对不良数据的处理有着非常重要的意义。

基于有源配电网下不良数据的有效识别方法主要需考虑两个方面的问题：(1)如何从大量数据中提取数据之间的相关性，并能快速识别相似度和相异度。通过算法从有源配电网下的海量数据中识别出异常的信息点。(2)如何保证在识别完有源配电网下不良数据的同时，最大化保证原有数据的特征性和完整性。

发明内容

本发明所要解决的技术问题在于克服现有技术的不足，提供一种有源配电网下不良数据的识别方法及装置，解决有源配电网下不良数据的识别中提取数据之间的相关性并能快速识别相似度和相异度，同时保证原有数据的特征性和完整性的问题。通过使用本方法可以使得有源配电网中的不良数据得到快速有效的识别，保证有源配电网的安全稳定运行

本发明具体采用以下技术方案解决上述技术问题：

一种有源配电网下不良数据的识别方法，包括以下步骤：

对采集的有源配电网数据提取特征值；对提取的特征值所对应数据的连续属性进行离散化，利用快速查找的方法得到离散化数据序列；

对所得到的离散化数据序列进行多尺度的离散二进小波变换,得到各尺度下的小波变换序列，及计算得到各尺度的离散小波变换值；

将各尺度的离散小波变换值进行相乘后归一化处理，得到其中一个尺度下的小波变换系数，并将其与所得该尺度的离散小波变换值比较，判断该系数属于有效系数类或无效系数类；

重构所判断属于有效系数类的小波变换系数，进行离散二进小波逆变换，采用拉普拉斯模型和最大后验概率估计得到降噪后数字信号；

采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，得到降噪后数字信号的普通分类结果；并利用KNN分类算法对普通分类结果进行分类，获得最终分类结果；

对所得最终分类结果进行投票筛选，识别出数据属于不良数据或良数据，并标识出不良数据。

进一步地，作为本发明的一种优选技术方案：所述方法中对离散化数据序列进行三个尺度的离散二进小波变换。

进一步地，作为本发明的一种优选技术方案：所述方法中对相乘的各尺度的离散小波变换值归一化处理，得到第一尺度下的小波变换系数。

进一步地，作为本发明的一种优选技术方案：所述方法中采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，包括：

对降噪后数字信号中的每个元素抽取若干个特征得到特征集合；

定义喜好指标来度量对模糊子集A的所属程度；

将降噪后数字信号分类得到布尔矩阵，及定义不良数据集合的喜好度和良数据集合的喜好度，将其带入聚类中心迭代公式，计算聚类中心并经迭代获得最优解。

进一步地，作为本发明的一种优选技术方案，所述方法中对所得最终分类结果进行投票筛选，包括：

对所得最终分类结果进行投票，并对每个投票依据距离进行加权；

判断加权后的距离与设置的距离阈值的大小，根据判断结果识别此数据属于不良数据或良数据。

进一步地，作为本发明的一种优选技术方案，所述方法中根据判断结果识别此数据属于不良数据或良数据具体为：

当加权后的距离大于设置的距离阈值时，识别该数据为不良数据；

当加权后的距离小于设置的距离阈值时，识别该数据为良数据。

一种有源配电网下不良数据的识别装置，包括：

数据离散器，用于对采集的有源配电网数据提取特征值；对提取的特征值所对应数据的连续属性进行离散化，利用快速查找的方法得到离散化的数据序列；

噪声过滤器，用于对所得到的离散化的数据序列进行多尺度的离散二进小波变换,得到各尺度下的小波变换序列，及计算得到各尺度的离散小波变换值并相乘后归一化处理，得到其中一个尺度下的小波变换系数，将其与所得该尺度的离散小波变换值比较，判断该系数属于有效系数类或无效系数类；重构所判断属于有效系数类的小波变换系数，进行离散二进小波逆变换，采用拉普拉斯模型和最大后验概率估计得到降噪后数字信号；

样本聚类器，用于采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，得到降噪后数字信号的普通分类结果；

目标识别器，用于并利用KNN分类算法对普通分类结果进行分类，获得最终分类结果，并对所得最终分类结果进行投票筛选，识别此数据属于不良数据或良数据，并标识出不良数据

本发明采用上述技术方案，能产生如下技术效果：

本发明的有源配电网下不良数据的识别方法及装置，来解决有源配电网下对不良数据的识别问题。通过使用小波降噪对数据进行滤除噪声处理，然后利用改进的ISODATA算法将数据进行聚类分析，再用KNN算法对数据进行分类，利用投票的方式来筛选可疑数据，进而识别出可疑不良数据，从而解决了有源配电网下对不良数据的有效识别，提高了电力系统安全运行的稳定性。对有源配电网下不良数据进行有效识别，从而很好地保证有源配电网安全可靠的运行。

附图说明

图1为本发明有源配电网下不良数据的识别方法的流程示意图。

图2为本发明有源配电网下不良数据的识别装置的示意图。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

如图1所示，本发明设计了一种有源配电网下不良数据的识别方法，通过使用本方法可以使得有源配电网中的不良数据得到快速有效的识别，保证有源配电网的安全稳定运行。本方法具体包括以下步骤：

步骤1：首先，在有源配电网下采集到的大批量数据中提取特征值，对数据进行初始化。进入步骤2。

步骤2：把步骤1中提取特征值所对应的数据的连续属性进行离散化处理，通过合并边界点属性并且检验不一致度性，定义属性分辨计数器，利用快速查找的方法得到离散化数据序列C_n进入步骤3。

步骤3：对步骤2中的离散化数据序列{C_n|n＝1,2···N}，其中N为序列的长度，进行多尺度的离散二进小波变换，得到各尺度下的小波变换序列

再利用变换公式其中j＝0、1、2…J其中J为尺度数，计算得到离散小波变换值。

本实施例中优选设置第一、二、三尺度，计算得到各自的小波变换序列。进入步骤4。

步骤4：将第一、二、三尺度下的小波系数对应相乘，进一步增强突出点并且压低噪声。即进入步骤5。

步骤5：将步骤4中相乘的各尺度的离散小波变换值进行归一化处理，形成滤噪器，得到新的第一尺度下的小波变换系数。进入步骤6；

步骤6：将步骤5得到的第一个尺度下的小波变换系数与步骤3所得该尺度的离散小波变换值比较，判断该系数属于有效系数类或无效系数类。若认为该数据的系数属于有效系数类，存储的位置，反之属于无效系数类，予以置零。

步骤7：重构所判断属于有效系数类的小波变换系数，进行离散二进小波逆变换，采用拉普拉斯模型和最大后验概率估计得到降噪后数字信号X＝{x₁,x₂···x_n}。进入步骤8；

步骤8：采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，得到降噪后数字信号的普通分类结果。具体如下：

对进行小波降噪后数字信号中的每个元素抽取p个特征得到包含P个特征的数据集合X_i＝{x_i1,x_i2···x_ip}，其中，(i＝1,2···n)，进入步骤9。

步骤9：定义喜好指标η_A(u)来度量对模糊子集A的所属程度。η_A(u)∈(0,1),喜好度η_A(u)越接近1，则u∈A的可能性越大。进入步骤10；

步骤10：将降噪后数字信号X＝{x₁,x₂···x_n}分为c类，用一个c×n阶布尔矩阵U表示。采用量测突变检测来形成初始分类矩阵U⁰。当本采样时刻的量测量和前一时刻的量测量预测值之差大于所设定门槛值ζ时,此对应量测值x_i的不良数据集合的喜好度η_A(u)为一个0.5和1之间的数,对于良数据集合的喜好度η_B(u)为一个0和0.5之间的数,且满足η_A(u)+η_B(u)＝1；否则相反。进入步骤11；

步骤11：根据聚类中心迭代公式，计算聚类中心选择无穷范数其中w_j一般由喜好度代替，u_ik代表第i类下的第k个数据点。修改U^l。进入步骤12；

步骤12：比较U^l和U^l+1，若|U^l+1-U^l|＜ε，其中ε表示一个阈值，此阈值根据聚类精度以及具体情况而设定，则停止迭代，否则置l＝l+1,转向步骤11。进入步骤13；

步骤13：最后,将得到最优解(U,V)，得到X的普通分类结果，具体分成许多聚类簇。再利用KNN分类算法对得到的许多聚类簇进行分类，获得的最终分类结果为分成三大类。进入步骤14；

步骤14：对所得最终分类结果进行投票筛选，识别此数据属于不良数据或良数据，并标识出不良数据。通过投票的方式对三个大簇进行投票筛选，对每个投票依据距离进行加权，设置一个距离阈值，采用欧氏距离，若距离大于这个阈值，可直接判定为不良数据。否则为良数据，即正常数据。进入步骤15；

步骤15：对进行投票之后的数据进行目标选择，识别出不良数据。进入步骤16；

步骤16：循环结束。

本方法通过使用本发明中提出的方法可以根据当前有源配电网中的大量数据，利用小波降噪和模糊ISODATA聚类方法相结合，并且利用KNN分类算法和投票的方式对有源配电网下不良数据进行有效识别，从而很好地保证有源配电网安全可靠的运行。

在此基础上，本发明还提出一种有源配电网下不良数据的识别装置，如图2所示，它主要包括四个部分:数据离散器、噪声过滤器、样本聚类器、目标识别器。图中数据离散器是将采集到的不确定的连续属性进行离散化处理，得到离散的数字信号；噪声过滤器是将采集到的大量信息进行降噪处理；样本聚类器是将数据用ISODATA聚类的算法来把数据进行聚类；目标识别器是把由聚类得到的数据进行分类并且有目标的识别，进而有效的识别出不良数据。其功能具体如下：

1、所述数据离散器，用于从采集的有源配电网数据中提取特征值；对提取的特征值所对应数据的连续属性进行离散化，利用快速查找的方法得到离散化的数据序列。

通过把连续属性进行离散化，最重要的是如何确定切点。由于数据的属性值是杂乱无序的，首先需要把连续属性值进行排序，本申请采用降序模式，得到降序排序后，在边界点属性中查找切点，这样进行分割属性值集合形成group1。这些属性值用双向链式存储的方式进行存储以便进行快速查找。然后，定义一个属性分辨计数器，它可以有效识别相邻属性中相同的部分，并进行合并和计数，即合并临界区间形成group2。在group2中含有一些属性相同但不相邻的数据，对它们用快速查找的方法进行提取，合并剩余的数据形成group3。这样，就实现了有效的把连续的属性离散化。

2、所述噪声过滤器，用于对所得到的离散化的数据序列进行多尺度的离散二进小波变换,得到各尺度下的小波变换序列，及计算得到各尺度的离散小波变换值并相乘后归一化处理，得到其中一个尺度下的小波变换系数，将其与所得该尺度的离散小波变换值比较，判断该系数属于有效系数类或无效系数类；重构所判断属于有效系数类的小波变换系数，进行离散二进小波逆变换，采用拉普拉斯模型和最大后验概率估计得到降噪后数字信号。

由于噪声数据会增加识别不良数据的工作量，干扰对不良数据进行数据挖掘的价值。对噪声数据的滤除，关键要考虑如何区分噪声和不良数据产生的奇异点信息。本发明基于小波系数在不同尺度下的相关性，以及尺度传播特性，利用小波变换可以放大在时间序列中的突变效果，滤除噪声数据，降低噪声数据对进行电网不良数据的研究的影响。离散小波变换可以有效的将信号分解成尺度系数和小波系数，其中，尺度系数集中了信号的轮廓信息，小波系数集中了信号的细节信息，对含噪信号进行多尺度离散二进小波变换，信号能量和噪声能量被分解到各个尺度上。本专利基于小波系数在不同尺度下的相关性，利用噪声信号的小波变换系数随尺度的增加而急剧减小的特性，将第一、二、三尺度上的小波系数相乘，进一步增强信号在突变点处的表现并压低噪声，起到一个空间滤噪器的效果。然后利用各尺度上小波系数之间的残余相关性来对小波系数进行分类，划分成有效系数类和无效系数类，对各尺度上的有效小波系数进行在尺度内模型上的最大后验概率估计，利用拉普拉斯建模的思想，得到降噪后小波系数估计值，重构信号，便得到了降噪后数字信号。其具体过程为：

(1)J个尺度下离散二进小波变换计算公式：

j＝0、1…J其中J为尺度数；

其中{C_n}_n∈z为一个由采样得到的数字信号；L为低通滤波器；H为高通滤波器；为第j尺度下的近似信号；为第j尺度下的细节信号，这样，从原始信号的离散采样值出发，反复迭代，即可求出全部离散小波变换的值

(2)将第一、二、三尺度下的小波系数对应相乘，进一步增强突出点并且压低噪声，即将相乘的结果归一化处理形成滤噪器，得到新的第一尺度下的小波变换系数。

(3)若认为该点系数属于有效系数类，存储的位置，反之属于无效系数类，予以置零。

(4)重构信号：

y_j＝x_j+n_j

式中y_j为实测信号第j尺度下小波系数，x_j为真实信号第j尺度下小波系数，n_j为噪声信号第j尺度下小波系数。因此基于贝叶斯框架，对信号小波系数先验分布进行拉普拉斯建模，然后利用最大后验概率估计，从实测系数y_j得到真实信号系数x_j的估计，进行小波逆变换，进行信号重构，得到降噪后的数字信号X＝{x1,x₂···x_n}。

3、所述样本聚类器，用于采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，得到降噪后数字信号的普通分类结果。

去除不良噪声等干扰的数据之后，要想识别出有效的不良数据，需要对所得数据进行聚类处理。本发明采用的是改进的模糊ISODATA算法，ISODATA算法是基于K-means算法的升级版本，不需要人为的去规定K值，能够实现自动地聚类并且改变聚类中心的数目和位置，当属于某个类别的样本数过少时把这个类别去除，当属于某个类别的样本数过多、分散程度较大时把这个类别分为两个子类别。此方法适合高维度、海量的数据集并且人们很难准确地估计出K的大小的情况。有源配电网下数据比较复杂，运用此方法可以很好的解决对不良数据有效识别的问题，精准度得到提升。该算法能够在聚类过程中根据各个类所包含样本的实际情况动态调整聚类中心的数目。如果某个类中样本分散程度较大并且样本数量较大，则对其进行分裂操作；如果某两个类别靠得比较近，则对它们进行合并操作。找出在某种条件下的最优分类矩阵U。采用量测突变检测来形成初始分类矩阵u⁰，计算聚类中心，选择无穷范数，不断地修改u^l，进行迭代，获取最优解。具体过程如下：

(1)定义喜好指标η_A(u)来度量对模糊子集A的所属程度。η_A(u)∈(0,1),喜好度η_A(u)越接近1，则u∈A的可能性越大。当本采样时刻的量测量和前一时刻的量测量预测值之差大于所设定门槛值ζ时,此对应量测值x_i的不良数据集合的喜好度η_A(u)为一个0.5和1之间的数,对于良数据集合的喜好度η_B(u)为一个0和0.5之间的数,且满足η_A(u)+η_B(u)＝1；否则相反。

(2)选择聚类中心：

不良数据聚类中心：

良数据聚类中心：

其中η_A(u_k)和η_B(u_k)代表不良数据和良数据集合的喜好度，u_k代表第k个数据。

(3)选择无穷范数：

其中ω_j一般由喜好度代替，u_ik代表第i类下的第k个数据。

(4)修改U^l：

其中，代表第k个数据到不同聚类中心的范数的比值之和。

(5)比较U^l和U^l+1，若|U^l+1-U^l|＜ε，则停止迭代，否则置l＝l+1。

4、所述目标识别器，用于并利用KNN分类算法对普通分类结果进行分类，获得最终分

标类结果，并对所得最终分类结果进行投票筛选，识别此数据属于不良数据或良数据，并识出不良数据。

目标识别器主要是把经过降噪和聚类的样本数据进行不良数据目标的识别过程，即把正常数据和不良数据进行区分，并标识出不良数据。利用KNN算法和投票的方式，把聚类的小簇归类成三个大簇，然后投票选择，把不良数据目标有效地识别出来。基本的KNN算法中对K的选择很重要，由于聚类结果是模糊聚类，所以选择对每个投票依据距离进行加权，使得K值的选择变得相对比较不敏感。具体过程如下：

(1)基于距离权重的投票：

其中，z是测试对象，为属性值构成的向量；L为对象的类别标签集合；C_z即z的类别；I(.)是一个指标函数，当其值为true时返回值为1，否则返回0。

(2)距离测量的选择：

(3)进行投票：

设置一个距离阈值，若某一个数据点距离聚类中心的距离小于这个阈值，则实行多数投票来判定此数据点属于不良数据或良数据，若某一个数据点距离聚类中心的距离大于这个阈值，考虑到投票过程的时间复杂度，则实行一票否决，作为不良数据行列。这个距离阈值可以通过均值距离来设定。

在配电网大数据信息系统中数据的各个属性并不是同等重要的，甚至有些属性是冗余的，所以选择对每个投票依据距离进行加权，使得K值的选择变得相对比较不敏感。通过分类后得出良数据和不良数据的结果，实现对不良数据的有效识别。

通过上述过程，可以根据当前有源配电网中的大量数据，利用小波降噪和模糊ISODATA聚类方法相结合，并且利用KNN分类算法和投票的方式对有源配电网下不良数据进行有效识别，从而很好地保证有源配电网安全可靠的运行。

综上，有源配电网中的大数据具有维度多、数据量大、数据种类多的特点，当有源配电网中出现了不良数据，可以利用本发明进行不良数据的有效识别，进而有效识别出不良数据，提高了电力系统安全运行的稳定性。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (7)

1.一种有源配电网下不良数据的识别方法，其特征在于，包括以下步骤：

对采集的有源配电网数据提取特征值；对提取的特征值所对应数据的连续属性进行离散化，得到离散化数据序列；

对所得到的离散化数据序列进行多尺度的离散二进小波变换,得到第一、第二、第三尺度下的小波变换序列，及计算得到第一、第二、第三尺度的离散小波变换值；

将第一、第二、第三尺度的离散小波变换值进行相乘后归一化处理，得到其中一个尺度下的小波变换系数，并将其与所得该尺度的离散小波变换值比较，判断该系数属于有效系数类或无效系数类；

重构所判断属于有效系数类的小波变换系数，进行离散二进小波逆变换，及采用拉普拉斯模型和最大后验概率估计得到降噪后数字信号；

采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，得到降噪后数字信号的普通分类结果；并利用KNN分类算法对普通分类结果进行分类，获得最终分类结果；

对所得最终分类结果进行投票筛选，识别出数据属于不良数据或良数据，并标识出不良数据。

2.根据权利要求1所述有源配电网下不良数据的识别方法，其特征在于，所述方法中对离散化数据序列进行三个尺度的离散二进小波变换。

3.根据权利要求1所述有源配电网下不良数据的识别方法，其特征在于，所述方法中对相乘的第一、第二、第三尺度的离散小波变换值归一化处理，得到第一尺度下的小波变换系数。

4.根据权利要求1所述有源配电网下不良数据的识别方法，其特征在于，所述方法中采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，包括：

对降噪后数字信号中的每个元素抽取若干个特征得到特征集合；

定义喜好指标来度量对模糊子集的所属程度；

将降噪后数字信号分类得到布尔矩阵，及定义不良数据集合的喜好度和良数据集合的喜好度，将布尔矩阵带入聚类中心迭代公式，计算聚类中心并经迭代获得最优解。

5.根据权利要求1所述有源配电网下不良数据的识别方法，其特征在于，所述方法中对所得最终分类结果进行投票筛选，包括：

对所得最终分类结果进行投票，并对每个投票依据距离进行加权；

判断加权后的距离与设置的距离阈值的大小，根据判断结果识别此数据属于不良数据或良数据。

6.根据权利要求5所述有源配电网下不良数据的识别方法，其特征在于：所述方法中根据判断结果识别此数据属于不良数据或良数据具体为：

当加权后的距离大于设置的距离阈值时，识别该数据为不良数据；

当加权后的距离小于设置的距离阈值时，识别该数据为良数据。

7.一种有源配电网下不良数据的识别装置，其特征在于，包括：

数据离散器，用于对采集的有源配电网数据提取特征值；对提取的特征值所对应数据的连续属性进行离散化，利用快速查找的方法得到离散化数据序列；

噪声过滤器，用于对所得到的离散化数据序列进行多尺度的离散二进小波变换,得到第一、第二、第三尺度下的小波变换序列，及计算得到第一、第二、第三尺度的离散小波变换值并相乘后归一化处理，得到其中一个尺度下的小波变换系数，将其与所得该尺度的离散小波变换值比较，判断该系数属于有效系数类或无效系数类；重构所判断属于有效系数类的小波变换系数，进行离散二进小波逆变换，采用拉普拉斯模型和最大后验概率估计得到降噪后数字信号；

样本聚类器，用于采用模糊ISODATA算法对降噪后数字信号进行聚类，经自迭代获得最优解，得到降噪后数字信号的普通分类结果；

目标识别器，用于并利用KNN分类算法对普通分类结果进行分类，获得最终分类结果，并对所得最终分类结果进行投票筛选，识别出数据属于不良数据或良数据，并标识出不良数据。