CN109948738B - 涂装烘干室的能耗异常检测方法、装置 - Google Patents

涂装烘干室的能耗异常检测方法、装置 Download PDF

Info

Publication number
CN109948738B
CN109948738B CN201910288234.3A CN201910288234A CN109948738B CN 109948738 B CN109948738 B CN 109948738B CN 201910288234 A CN201910288234 A CN 201910288234A CN 109948738 B CN109948738 B CN 109948738B
Authority
CN
China
Prior art keywords
abnormal
energy consumption
sample
forest model
isolated forest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910288234.3A
Other languages
English (en)
Other versions
CN109948738A (zh
Inventor
周开乐
揣玉伟
万山越
温露露
黄晓茜
杨正谦
曹冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910288234.3A priority Critical patent/CN109948738B/zh
Publication of CN109948738A publication Critical patent/CN109948738A/zh
Application granted granted Critical
Publication of CN109948738B publication Critical patent/CN109948738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提供一种涂装烘干室的能耗异常检测方法、装置,涉及能耗检测领域。本发明通过孤立森林模型将异常能耗数据识别出来,可以减少烘干室生产过程中异常产生的能耗浪费,从而降低了车间的生产成本,促进能源高效使用,并且,能及时对设备进行维护,延长设备使用寿命。

Description

涂装烘干室的能耗异常检测方法、装置
技术领域
本发明涉及能耗检测技术领域,具体涉及一种涂装烘干室的能耗异常检测方法、装置。
背景技术
汽车等需要涂装的产品制造过程中,涂装车间能耗占整车制造能耗的70%以上,其中烘干工序在车身涂装过程中的能耗占比最大,其能耗对整体的涂装车间的能耗管理有着很大的影响。因此,降低涂装车间烘干工序的能耗至关重要。现有的烘干室能耗管理方法包括:烘干工艺优化,烘干室结构优化,数据分析的方法。其中,数据分析的方法能对涂装车间设备的能耗异常的监控,它有助于提高车间能耗的高效利用,有助于提高车间生产的智能管理。
现有的技术主要通过统计学习的方法、人工神经网络等方法对能耗数据进行分析,识别出异常数据。
然而现有的技术存在着很多不足,例如统计方法以通过对数据的分布区分整体数据的集中程度,以此识别出异常数据,但是数据的整体分布进行区分识别,缺少对数据内部各维度的细粒度分析;人工神经网络由于其计算量较大,部署车间生产环境要求较高,同时算法解释性较差,难以适应大型汽车生产环境,由此可知,现有的数据分析的方法的推广性差,不适应于较大维度样本的异常检测。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种涂装烘干室的能耗异常检测方法、装置,解决了现有的数据分析的方法不适应于较大维度样本的异常检测的技术问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
本发明提供一种涂装烘干室的能耗异常检测方法,该方法运用经过训练的孤立森林模型检测待测能耗数据,识别出待测能耗数据中的异常数据;
其中,所述孤立森林模型的训练过程包括以下步骤:
S1、采集历史能耗数据,所述能耗数据包括若干个数据特征,以历史正常的能耗数据建立初始正常样本和初始异常样本,基于初始正常样本中的每个数据特征的正态分布计算初始正常样本的概率分布;
S2、基于初始正常样本的概率分布确定子采样的阈值;
S3、基于初始正常样本和初始异常样本建立训练集和测试集;
S4、对训练集中的正常样本进行子采样,结合训练集中的异常样本建立孤立树;
S5、基于所述孤立树建立孤立森林模型;
S6、更新所述阈值,优化所述孤立森林模型;
S7、利用孤立森林模型识别测试集中的异常数据,并计算通过孤立森林模型识别测试集中的异常数据与测试集中原本的异常样本的F1分数,通过所述F1分数检测通过步骤S1~S6训练的孤立森林模型的精确度。
优选的,该方法还包括:
在识别出待测能耗数据中的异常数据之后,将待测的能耗数据中的正常数据以一定周期迭代到训练孤立森林模型中的步骤S1中的历史能耗数据,更新历史能耗数据,进行新一轮的孤立森林模型训练。
优选的,在步骤S2中,所述阈值为初始正常样本中偏离样本数据中心最远的能耗数据。
优选的,在步骤S3中,所述训练集包括正常样本
Figure GDA0002838008040000031
和异常样本
Figure GDA0002838008040000032
所述测试集包括正常样本
Figure GDA0002838008040000033
和异常样本
Figure GDA0002838008040000034
所述正常样本
Figure GDA0002838008040000035
和所述正常样本
Figure GDA0002838008040000036
构成所述初始正常样本,所述异常样本
Figure GDA0002838008040000037
和所述异常样本
Figure GDA0002838008040000038
构成初始异常样本;
所述正常样本
Figure GDA0002838008040000039
中的能耗数据与所述正常样本
Figure GDA00028380080400000310
中的能耗数据的数量之比等于所述异常样本
Figure GDA00028380080400000311
中的能耗数据与所述异常样本
Figure GDA00028380080400000312
中的能耗数据的数量之比。
优选的,在步骤S6中,优化所述孤立森林模型的具体步骤为:
利用孤立森林模型识别训练集
Figure GDA00028380080400000313
中的异常样本,得到γ个经过异常可能性排序的异常样本及样本异常得分组合
Figure GDA00028380080400000314
对异常得分组合S进行检验,将其中的异常样本和误判异常的正常样本分开为Sa和Sn,用Sa更新阈值,直到对数似然损失函数值收敛。
本发明还提供一种涂装烘干室的能耗异常检测装置,该装置包括:
能耗数据检测单元,所述能耗数据检测单元用于通过孤立森林模型检测待测能耗数据,识别出待测能耗数据中的异常数据;
孤立森林模型训练单元,所述孤立森林模型训练单元用于训练孤立森林模型;
其中,所述孤立森林模型训练单元包括:
历史能耗数据采集模块,所述历史能耗数据采集模块用于采集历史能耗数据,以历史正常的能耗数据建立初始正常样本和初始异常样本,基于初始正常样本中的每个数据特征的正态分布计算初始正常样本的概率分布;
子采样阈值确定模块,所述子采样阈值确定模块用于基于初始正常样本的概率分布确定子采样的阈值;
训练集和测试集构建模块,所述训练集和测试集构建模块用于基于初始正常样本和初始异常样本建立训练集和测试集;
孤立树构建模块,所述孤立树构建模块用于对训练集中的正常样本进行子采样,结合训练集中的异常样本建立孤立树;
孤立森林模型构建模块,所述孤立森林模型构建模块用于基于所述孤立树建立孤立森林模型;
孤立森林模型优化模块,所述孤立森林模型优化模块用于更新所述阈值,优化所述孤立森林模型;
孤立森林模型检测模块,所述孤立森林模型检测模块用于利用孤立森林模型识别测试集中的异常数据,并计算通过孤立森林模型识别测试集中的异常数据与测试集中原本的异常样本的F1分数,通过所述F1分数检测孤立森林模型的精确度。
(三)有益效果
本发明提供了一种涂装烘干室的能耗异常检测方法、装置。与现有技术相比,具备以下有益效果:
本发明利用正态分布对能耗数据进行初步的异常检测,确定子采样的阈值,然后基于阈值范围内的能耗数据建立孤立森林模型,该方法适用于较大维度样本的异常检测;通过孤立森林模型对阈值修正,通过缩小阈值更新子采样的范围,从而提高孤立森林模型对异常能耗数据的准确率;通过F1分数检测孤立森林模型的精确度,通过精确度可判断训练好的孤立森林模型是否可用,提高模型的可靠性。本发明通过孤立森林模型将异常能耗数据识别出来,可以减少烘干室生产过程中异常产生的能耗浪费,从而降低了车间的生产成本,促进能源高效使用,并且,能及时对设备进行维护,延长设备使用寿命。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1本发明实施例的一种涂装烘干室的能耗异常检测方法的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例通过提供一种涂装烘干室的能耗异常检测方法、装置,解决了现有的数据分析的方法不适应于较大维度样本的异常检测的技术问题,通过孤立森林模型将涂装烘干室的异常能耗数据识别出来,可以减少烘干室生产过程中异常产生的能耗浪费,从而降低了车间的生产成本,促进能源高效使用,并且,能及时对设备进行维护,延长设备使用寿命。
本申请实施例中的技术方案为解决上述技术问题,总体思路如下:
本发明实施例利用正态分布对能耗数据进行初步的异常检测,确定子采样的阈值,然后基于阈值范围内的能耗数据建立孤立森林模型,该方法适用于较大维度样本的异常检测,通过孤立森林模型对阈值修正,通过缩小阈值更新子采样的范围,从而提高孤立森林模型对异常能耗数据的准确率;通过F1分数检测孤立森林模型的精确度,通过精确度可判断训练好的孤立森林模型是否可用,提高模型的可靠性。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本发明实施例提供了一种涂装烘干室的能耗异常检测方法,如图1所示,该方法运用经过训练的孤立森林模型检测待测能耗数据,识别出待测能耗数据中的异常数据;
其中,所述孤立森林模型的训练过程包括以下步骤S1~S7:
S1、采集历史能耗数据,所述能耗数据包括若干个数据特征,以历史正常的能耗数据建立初始正常样本和初始异常样本,基于初始正常样本中的每个数据特征的正态分布计算初始正常样本的概率分布;
S2、基于初始正常样本的概率分布确定子采样的阈值;
S3、基于初始正常样本和初始异常样本建立训练集和测试集,
S4、对训练集中的正常样本进行子采样,结合训练集中的异常样本建立孤立树;
S5、基于所述孤立树建立孤立森林模型;
S6、更新所述阈值,优化所述孤立森林模型;
S7、利用孤立森林模型识别测试集中的异常数据,并计算通过孤立森林模型识别测试集中的异常数据与测试集中原本的异常样本的F1分数,通过所述F1分数检测孤立森林模型的精确度。
本发明实施例利用正态分布对能耗数据进行初步的异常检测,确定子采样的阈值,然后基于阈值范围内的能耗数据建立孤立森林模型,该方法适用于较大维度样本的异常检测,通过孤立森林模型对阈值修正,通过缩小阈值更新子采样的范围,从而提高孤立森林模型对异常能耗数据的准确率;通过F1分数检测孤立森林模型的精确度,通过精确度可判断训练好的孤立森林模型是否可用,提高模型的可靠性。本发明通过孤立森林模型将异常能耗数据识别出来,可以减少烘干室生产过程中异常产生的能耗浪费,从而降低了车间的生产成本,促进能源高效使用,并且,能及时对设备进行维护,延长设备使用寿命。
下面结合实例对各个步骤进行详细描述:
本发明实施例的一种涂装烘干室的能耗异常检测方法,该方法包括训练孤立森林模型和运用孤立森林模型检测待测能耗数据;
其中训练孤立森林模型包括以下步骤S1~S7:
S1、采集历史能耗数据,通过物联网传感设备采集相关设备过去一个月(M=30天)的能耗数据,采集时间间隔为T=15分钟,共有m=2880条数据,其中包括17条异常能耗数据,则2863条正常能耗数据构成初始正常样本,17条异常能耗数据构建成初始异常样本。其中,每条数据包含风机震动频率F、助风机出口压PS1、调节阀压PS2、加热温C、电机电流A、加热室风速S、燃气进入量V1、送风量V2、废气排放量V3共n=9个数据特征。设所有数据为X,其中正常样本数为2863,每个样本具有9个数据特征,每个数据特征都服从高斯分布即正态分布,根据X中的初始正常样本估计总体的正态分布,确定初始特征均值μ123,···,μ9和特征方差σ123,···,σ9,则有样本概率密度:
Figure GDA0002838008040000081
其中:
特征均值
Figure GDA0002838008040000082
特征方差
Figure GDA0002838008040000083
正常样本
Figure GDA0002838008040000084
S2、基于初始正常样本的概率分布确定子采样的阈值,以初始正常样本中偏离样本数据中心最远的pi(x)为阈值,令θ=pi(x),则对于新样本x*
Figure GDA0002838008040000091
f(x*)值为1时代表样本处于正态分布的大概率范围内,即很大可能性是正常的;f(x*)值为0时代表样本处于正态分布的左右两端的小概率范围内,即很大可能是异常的。在进行子采样时,为了使子采样得到的样本数中正常样本尽可能多,因此子采样只在f(x*)值为1的样本中进行。
S3、基于初始正常样本和初始异常样本建立训练集和测试集,具体过程为:
设所采集的历史能耗数据中初始正常样本为
Figure GDA0002838008040000092
初始异常样本为
Figure GDA0002838008040000093
将Xn和Xa按照8:2的比例建立训练集和测试集
Figure GDA0002838008040000094
总的训练集和测试集按照8:2的比例确定。
S4、对训练集中的正常样本
Figure GDA0002838008040000095
进行子采样,结合训练集中的异常样本
Figure GDA0002838008040000096
建立孤立树,具体过程为:
在p(x)≥θ的区域等距分成s个子区域,根据每个区域面积比例随机子采样,设置subsampling size的大小得到
Figure GDA0002838008040000097
即子采样,在这个过程中是在步骤S3得到的
Figure GDA0002838008040000098
中进行,subsampling size子采样数量,与
Figure GDA0002838008040000099
(异常样本
Figure GDA00028380080400000910
不进行子采样)一起生成孤立树的iTreei的训练集,即
Figure GDA00028380080400000911
通过训练生成一个孤立树,同时子采样防止样本数据量太大影响孤立森林的异常识别准确率。在孤立森林中,小数据集往往能取得更好的效果,样本数据较多会降低孤立森林孤立异常点的能力,因为正常样本会干扰隔离的过程,降低隔离异常的能力。
S5、基于所述孤立树建立孤立森林模型,具体过程为:
设置孤立森林中棵孤立树的数目以及每个孤立树的高度,其中每棵都是以为训练集建成。孤立森林的核心思想就是异常样本很容易被孤立隔离开来,例如所有样本点分布在一个二维坐标中,异常点被视为原理群体的外部数据点,能够经过很少的划分就能把异常点和正常点隔离开。
S6、优化孤立森林模型,具体过程为:
利用孤立森林识别训练集
Figure GDA0002838008040000101
中的异常样本,得到γ个经过异常可能性排序的异常样本及样本异常得分组合
Figure GDA0002838008040000102
对得到的S进行检验,将其中的异常样本和误判异常的正常样本分开为Sa和Sn。用Sa更新θ值,即存在处于正态分布θ区域内的数据也为异常值,通过缩小θ更新子采样的范围,从而提高孤立森林的异常识别准确率,直到对数似然损失函数值收敛。
S7、利用孤立森林模型识别测试集中的异常数据,并计算通过孤立森林模型识别测试集中的异常数据与测试集中原本的异常样本
Figure GDA0002838008040000103
的F1分数;通过所述F1分数检测孤立森林模型的精确度,若达到设定的F1分数,则输出步骤S6中的孤立森林模型,否则,则说明模型建立失败,则需合并新的能耗数据重新建立模型。如设定F1分数大于80%,当计算得到的F1分数为90%时,则说明孤立森林模型建立成功,可以使用该孤立森林模型检测待测能耗数据;当计算得到的F1分数为78%,则说明孤立森林模型建立失败,则需要则需合并新的能耗数据重新建立模型。F1分数的设定值可根据实现需要进行设定,当涂装烘干室内对异常能耗数据比较敏感、重视时,将F1分数的值设置得相对高一点,如90%,94%。
运用孤立森林模型检测待测能耗数据的过程如下:
利用训练好的孤立森林模型检测待测能耗数据,识别出待测能耗数据中的异常数据。为了进一步提高孤立森林模型对异常能耗数据的准确率,将待测的能耗数据中的正常数据以一定周期迭代到训练孤立森林模型中的步骤S1中的历史能耗数据,优选为以天为周期进行新一轮的孤立森林模型训练。更新特征均值μ123,···,μ9和方差σ123,···,σ9
Figure GDA0002838008040000111
以及
Figure GDA0002838008040000112
同时更新θ为
Figure GDA0002838008040000113
从而生成更新后的模型。
本发明的另一个实施例提供了一种涂装烘干室的能耗异常检测装置,该装置包括:能耗数据检测单元和孤立森林模型训练单元。
能耗数据检测单元用于通过孤立森林模型检测待测能耗数据,识别出待测能耗数据中的异常数据;
孤立森林模型训练单元用于训练孤立森林模型。
其中,孤立森林模型训练单元包括:历史能耗数据采集模块、子采样阈值确定模块、训练集和测试集构建模块、孤立树构建模块、孤立森林模型构建模块、孤立森林模型优化模块、孤立森林模型检测模块。
其中:
历史能耗数据采集模块用于采集历史能耗数据,以历史正常的能耗数据建立初始正常样本和初始异常样本,基于初始正常样本中的每个数据特征的正态分布计算初始正常样本的概率分布;
子采样阈值确定模块用于基于初始正常样本的概率分布确定子采样的阈值;
训练集和测试集构建模块用于基于初始正常样本和初始异常样本建立训练集和测试集;
孤立树构建模块用于对训练集中的正常样本进行子采样,结合训练集中的异常样本建立孤立树;
孤立森林模型构建模块用于基于所述孤立树建立孤立森林模型;
孤立森林模型优化模块用于更新所述阈值,优化所述孤立森林模型;
孤立森林模型检测模块用于利用孤立森林模型识别测试集中的异常数据,并计算通过孤立森林模型识别测试集中的异常数据与测试集中原本的异常样本的F1分数,通过所述F1分数检测孤立森林模型的精确度。
综上所述,与现有技术相比,具备以下有益效果:
本发明实施例利用正态分布对能耗数据进行初步的异常检测,确定子采样的阈值,然后基于阈值范围内的能耗数据建立孤立森林模型,该方法适用于较大维度样本的异常检测,通过孤立森林模型对阈值修正,通过缩小阈值更新子采样的范围,从而提高孤立森林模型对异常能耗数据的准确率;通过F1分数检测孤立森林模型的精确度,通过精确度可判断训练好的孤立森林模型是否可用,提高模型的可靠性;并在一定周期内通过合并新的能耗数据,更新孤立森林模型,进一步提高孤立森林模型对异常能耗数据的准确率。本发明通过孤立森林模型将异常能耗数据识别出来,可以减少烘干室生产过程中异常产生的能耗浪费,从而降低了车间的生产成本,促进能源高效使用,并且,能及时对设备进行维护,延长设备使用寿命。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种涂装烘干室的能耗异常检测方法,其特征在于,该方法运用经过训练的孤立森林模型检测待测能耗数据,识别出待测能耗数据中的异常数据;
其中,所述孤立森林模型的训练过程包括以下步骤:
S1、采集历史能耗数据,所述能耗数据包括若干个数据特征,以历史正常的能耗数据建立初始正常样本和初始异常样本,基于初始正常样本中的每个数据特征的正态分布计算初始正常样本的概率分布;
S2、基于初始正常样本的概率分布确定子采样的阈值;
S3、基于初始正常样本和初始异常样本建立训练集和测试集;
S4、对训练集中的正常样本进行子采样,结合训练集中的异常样本建立孤立树;
S5、基于所述孤立树建立孤立森林模型;
S6、更新所述阈值,优化所述孤立森林模型;
S7、利用孤立森林模型识别测试集中的异常数据,并计算通过孤立森林模型识别测试集中的异常数据与测试集中原本的异常样本的F1分数,通过所述F1分数检测通过步骤S1~S6训练的孤立森林模型的精确度;
所述训练集包括正常样本
Figure FDA0002838008030000011
和异常样本
Figure FDA0002838008030000012
所述测试集包括正常样本
Figure FDA0002838008030000013
和异常样本
Figure FDA0002838008030000014
所述正常样本
Figure FDA0002838008030000015
和所述正常样本
Figure FDA0002838008030000016
构成所述初始正常样本,所述异常样本
Figure FDA0002838008030000017
和所述异常样本
Figure FDA0002838008030000018
构成初始异常样本;
所述正常样本
Figure FDA0002838008030000021
中的能耗数据与所述正常样本
Figure FDA0002838008030000022
中的能耗数据的数量之比等于所述异常样本
Figure FDA0002838008030000023
中的能耗数据与所述异常样本
Figure FDA0002838008030000024
中的能耗数据的数量之比;
优化所述孤立森林模型的具体步骤为:
利用孤立森林模型识别训练集
Figure FDA0002838008030000025
中的异常样本,得到γ个经过异常可能性排序的异常样本及样本异常得分组合
Figure FDA0002838008030000026
对异常得分组合S进行检验,将其中的异常样本和误判异常的正常样本分开为Sa和Sn,用Sa更新阈值,直到对数似然损失函数值收敛。
2.如权利要求1所述的涂装烘干室的能耗异常检测方法,其特征在于,该方法还包括:
在识别出待测能耗数据中的异常数据之后,将待测的能耗数据中的正常数据以一定周期迭代到训练孤立森林模型中的步骤S1中的历史能耗数据,更新历史能耗数据,进行新一轮的孤立森林模型训练。
3.如权利要求1所述的涂装烘干室的能耗异常检测方法,其特征在于,在步骤S2中,所述阈值为初始正常样本中偏离样本数据中心最远的能耗数据。
4.一种涂装烘干室的能耗异常检测装置,其特征在于,包括:
能耗数据检测单元,所述能耗数据检测单元用于通过孤立森林模型检测待测能耗数据,识别出待测能耗数据中的异常数据;
孤立森林模型训练单元,所述孤立森林模型训练单元用于训练孤立森林模型;
其中,所述孤立森林模型训练单元包括:
历史能耗数据采集模块,所述历史能耗数据采集模块用于采集历史能耗数据,以历史正常的能耗数据建立初始正常样本和初始异常样本,基于初始正常样本中的每个数据特征的正态分布计算初始正常样本的概率分布;
子采样阈值确定模块,所述子采样阈值确定模块用于基于初始正常样本的概率分布确定子采样的阈值;
训练集和测试集构建模块,所述训练集和测试集构建模块用于基于初始正常样本和初始异常样本建立训练集和测试集;
孤立树构建模块,所述孤立树构建模块用于对训练集中的正常样本进行子采样,结合训练集中的异常样本建立孤立树;
孤立森林模型构建模块,所述孤立森林模型构建模块用于基于所述孤立树建立孤立森林模型;
孤立森林模型优化模块,所述孤立森林模型优化模块用于更新所述阈值,优化所述孤立森林模型;
孤立森林模型检测模块,所述孤立森林模型检测模块用于利用孤立森林模型识别测试集中的异常数据,并计算通过孤立森林模型识别测试集中的异常数据与测试集中原本的异常样本的F1分数,通过所述F1分数检测孤立森林模型的精确度;
所述训练集包括正常样本
Figure FDA0002838008030000031
和异常样本
Figure FDA0002838008030000032
所述测试集包括正常样本
Figure FDA0002838008030000033
和异常样本
Figure FDA0002838008030000034
所述正常样本
Figure FDA0002838008030000035
和所述正常样本
Figure FDA0002838008030000036
构成所述初始正常样本,所述异常样本
Figure FDA0002838008030000037
和所述异常样本
Figure FDA0002838008030000038
构成初始异常样本;
所述正常样本
Figure FDA0002838008030000041
中的能耗数据与所述正常样本
Figure FDA0002838008030000042
中的能耗数据的数量之比等于所述异常样本
Figure FDA0002838008030000043
中的能耗数据与所述异常样本
Figure FDA0002838008030000044
中的能耗数据的数量之比;
优化所述孤立森林模型的具体步骤为:
利用孤立森林模型识别训练集
Figure FDA0002838008030000045
中的异常样本,得到γ个经过异常可能性排序的异常样本及样本异常得分组合
Figure FDA0002838008030000046
对异常得分组合S进行检验,将其中的异常样本和误判异常的正常样本分开为Sa和Sn,用Sa更新阈值,直到对数似然损失函数值收敛。
CN201910288234.3A 2019-04-11 2019-04-11 涂装烘干室的能耗异常检测方法、装置 Active CN109948738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910288234.3A CN109948738B (zh) 2019-04-11 2019-04-11 涂装烘干室的能耗异常检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910288234.3A CN109948738B (zh) 2019-04-11 2019-04-11 涂装烘干室的能耗异常检测方法、装置

Publications (2)

Publication Number Publication Date
CN109948738A CN109948738A (zh) 2019-06-28
CN109948738B true CN109948738B (zh) 2021-03-09

Family

ID=67014573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910288234.3A Active CN109948738B (zh) 2019-04-11 2019-04-11 涂装烘干室的能耗异常检测方法、装置

Country Status (1)

Country Link
CN (1) CN109948738B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517154A (zh) * 2019-07-23 2019-11-29 平安科技(深圳)有限公司 数据模型训练方法、系统及计算机设备
CN110399268B (zh) * 2019-07-26 2023-09-26 创新先进技术有限公司 一种异常数据检测的方法、装置及设备
CN112001507A (zh) * 2020-08-27 2020-11-27 山东超越数控电子股份有限公司 提供船舶发动机系统检修策略的方法、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777873A (zh) * 2018-06-04 2018-11-09 江南大学 基于加权混合孤立森林的无线传感网络异常数据检测方法
CN109345137A (zh) * 2018-10-22 2019-02-15 广东精点数据科技股份有限公司 一种基于农业大数据的异常值检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105320A1 (ja) * 2016-12-06 2018-06-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
CN106597901B (zh) * 2016-12-22 2019-03-29 广州邦讯信息系统有限公司 基于云服务的分布式综合能耗管理与分析方法及系统
CN107292350A (zh) * 2017-08-04 2017-10-24 电子科技大学 大规模数据的异常检测方法
CN107302547B (zh) * 2017-08-21 2021-07-02 深信服科技股份有限公司 一种web业务异常检测方法及装置
CN107657288B (zh) * 2017-10-26 2020-07-03 国网冀北电力有限公司 一种基于孤立森林算法的电力调度流数据异常检测方法
CN109543765A (zh) * 2018-08-23 2019-03-29 江苏海平面数据科技有限公司 一种基于改进IForest的工业数据去噪方法
CN109308306B (zh) * 2018-09-29 2021-07-06 重庆大学 一种基于孤立森林的用户用电异常行为检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777873A (zh) * 2018-06-04 2018-11-09 江南大学 基于加权混合孤立森林的无线传感网络异常数据检测方法
CN109345137A (zh) * 2018-10-22 2019-02-15 广东精点数据科技股份有限公司 一种基于农业大数据的异常值检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Power Data Cleaning Method Based on Isolation Forest and LSTM Neural Network;XingNan L.等;《ICCCS 2018: Cloud Computing and Security》;20180926;全文 *

Also Published As

Publication number Publication date
CN109948738A (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
CN112699913B (zh) 一种台区户变关系异常诊断方法及装置
CN109948738B (zh) 涂装烘干室的能耗异常检测方法、装置
CN111507376B (zh) 一种基于多种无监督方法融合的单指标异常检测方法
CN110991786B (zh) 基于相似日负荷曲线的10kV静态负荷模型参数辨识方法
CN110766059A (zh) 一种变压器故障的预测方法、装置和设备
CN106991047B (zh) 一种用于对面向对象软件缺陷进行预测的方法及系统
CN109766952B (zh) 基于偏最小二乘法和极限学习机的光伏阵列故障检测方法
CN108304567B (zh) 高压变压器工况模式识别与数据分类方法及系统
CN110111113B (zh) 一种异常交易节点的检测方法及装置
CN105095238A (zh) 用于检测欺诈交易的决策树生成方法
CN111915418A (zh) 一种互联网金融欺诈行为在线检测方法及其装置
CN110795690A (zh) 风电场运行异常数据检测方法
CN113298162A (zh) 一种基于K-means算法的桥梁健康监测方法及系统
CN111126820A (zh) 反窃电方法及系统
CN113128567A (zh) 一种基于用电量数据的异常用电行为识别方法
CN115021679A (zh) 一种基于多维离群点检测的光伏设备故障检测方法
CN116448161A (zh) 一种基于人工智能的环境监测设备故障诊断方法
CN110544047A (zh) 一种不良数据辨识方法
CN113484817A (zh) 基于tsvm模型的智能电能表自动化检定系统异常检测方法
CN112329868A (zh) 基于clara聚类的制造加工设备群能效状态评价方法
CN116561692A (zh) 一种动态更新的实时量测数据检测方法
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
CN114330440B (zh) 基于模拟学习判别的分布式电源负荷异常识别方法及系统
CN110929800B (zh) 一种基于sax算法的商业体异常用电检测方法
CN114066239A (zh) 一种用户用电量异常检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant