CN110175247B - 一种优化基于深度学习的异常检测模型的方法 - Google Patents

一种优化基于深度学习的异常检测模型的方法 Download PDF

Info

Publication number
CN110175247B
CN110175247B CN201910192345.4A CN201910192345A CN110175247B CN 110175247 B CN110175247 B CN 110175247B CN 201910192345 A CN201910192345 A CN 201910192345A CN 110175247 B CN110175247 B CN 110175247B
Authority
CN
China
Prior art keywords
samples
sample
sample library
effective
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910192345.4A
Other languages
English (en)
Other versions
CN110175247A (zh
Inventor
张永军
沈涛
闫思宇
文韩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910192345.4A priority Critical patent/CN110175247B/zh
Publication of CN110175247A publication Critical patent/CN110175247A/zh
Application granted granted Critical
Publication of CN110175247B publication Critical patent/CN110175247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种优化基于深度学习的异常检测模型的方法，该方法主要包括：收集工业生产中产品的图像数据作为基础，形成原始样本集；构造一个深度卷积网络，并利用神经网络模型，预测生产中的图片样本；对预测样本进行标注，计算有效样本概率区间；将计算得到的有效样本输入样本库，进行模型训练迭代直至样本库类间平衡。本发明通过筛选预测样本中的有效样本，实现了样本库的类间平衡，优化模型泛化性能，预测效果提高明显。

Description

一种优化基于深度学习的异常检测模型的方法
技术领域
本发明涉及机器学习领域，特别是涉及一种基于深度学习的异常检测模型的迭代优化方法。
背景技术
随着科技的进步，工业产品设备日趋复杂和精密，系统组成环节和影响因素的增加以及运行环境和工况的复杂化，使得产品异常检测面临很大的挑战。深度学习模型在特征学习方面具有突出的优势，所学特征能更好地刻画数据的丰富信息，提高分类性能，已大量应用于异常检测。然而在实际的工业过程中，相对于正常工业过程而言，采集到的产品图像数据中瑕疵图像过少，将异常检测中大量的正常样本和少量瑕疵样本都加入样本库训练模型，会导致样本库类间数据量相差较大时，模型倾向于将样本判别为数据量大的样本，即可获得较低的损失，没有动力继续优化参数模型，泛化能力降低。
目前，针对样本库不平衡样本的处理手段主要分为两大类：数据层面和算法层面。数据层面通过数据重采样或者数据合成，利用已有样本生成正负平衡的样本。算法层面通过代价敏感学习算法，通过改变损失值和评价指标，使得分类器满足代价敏感的特性。这两种方法都是在固定的样本集上进行模型优化，适用于不能持续获取样本的情况，不能有效地扩充样本库数据量，优化效果有限。
在可持续获取样本的情况下，通常将模型检测后的正负样本再次加入样本库，扩充样本库数据，实现模型的优化。然而，这种方式并没有考虑到预测样本中类间的不平衡。这会使得样本库类间数据量相差继续加大，导致模型偏向预测为正常样本，泛化能力降低。如果将所有预测样本加入样本库再进行不平衡样本的处理，则会增加数据预处理的成本，需要反复进行人工的模型迭代和性能评估。
发明内容
为了解决在可持续获取样本的情况下，现有技术数据预处理成本较高，需要花费较多的工时和人工成本对样本库不平衡样本进行预处理的问题，本发明提出了一种基于深度学习异常检测模型的样本库扩充方法。该方法的流程如下：
步骤S1:收集工业生产中产品的图像数据，作为基础，形成原始样本集；
步骤S2:构造一个基于异常检测的深度卷积网络；
步骤S3:利用神经网络模型，预测生产中的图片样本；
步骤S4:对预测样本进行标注，计算有效样本概率区间；
步骤S5：判断是否满足样本库平衡条件；
步骤S6:如不满足，则根据计算的有效样本概率区间，将有效样本输入样本库，进行模型迭代，直至建好一个满足平衡条件的样本库；
本发明中提出有效样本概率区间公式如下：
Figure BDA0001993623840000021
其中，NP为正样本数，NN为负样本数，P为预测样本数，PF为预测错误的样本数，σ为sigmoid函数，
Figure BDA0001993623840000022
β为自定义的超参数。
本发明的有益效果是：本发明采用深度学习异常检测模型判决阈值的调整，对判断概率区间位于模糊地带的样本加入训练集，剔除了预测样本集中的无效样本，解决样本库的类间不平衡问题，实现了模型泛化性能的优化。
附图说明
图1是基于深度学习异常检测模型的优化流程示意图；
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种基于深度学习异常检测模型的优化方法，运用深度学习构建模型，将模型检测过程运用到采集样本中，通过判定有效样本的概率区间，决定是否加入样本库；通过检测样本的召回率，和样本库的正负样本比调整异常检测模型判定有效样本的概率区间。
实施例一：初始模型训练
(1)基础样本准备：在工业生产中采集生产产品的图像数据，以1000张作为基础数量。
(2)训练模型：基于深度学习异常检测算法，训练异常检测模型。
实施例二：实时检测
(1)模型检测：在实时输入样本数据的同时，进行模型检测，输出样本的分类概率。
(2)计算有效样本概率区间：令原始数据集中，正样本数为NP，负样本数为NN，预测样本数为P，预测错误的样本数为PF，σ为sigmoid函数，令有效样本的概率区间，即模型预测的模糊区间为：
Figure BDA0001993623840000023
其中参数
Figure BDA0001993623840000024
定义为0.5，参数β定义为0.5。式中影响因子有：原始数据集中正负样本的比例系数，当类间不平衡时，应加大判定负样本的区间；模型检测的准确率，当准确率变高，模糊区间范围减小；超参数，可以人为调整大小，以增大模型泛化能力。
(3)提取有效样本：将预测错误的样本和样本分类概率在模糊区间的样本提取出来，加入样本库。
实施例三：判断是否满足样本库平衡条件
(1)判断样本库是否满足需求：正负样本数量满足NP<5*NN。
(2)循环处理：当样本库未达到需求时，开启循环，对新的样本库进行模型训练，迭代优化异常检测模型。

Claims (4)

1.一种优化基于深度学习的异常检测模型的方法，其特征在于，该方法包括以下步骤：
S1:收集工业生产中产品的图像数据，作为基础，形成原始样本集；
S2:构造一个基于异常检测的深度卷积网络；
S3:利用神经网络模型，预测生产中的图片样本；
S4:对预测样本进行标注，计算有效样本概率区间；
S5：判断是否满足样本库平衡条件；
S6:如不满足，则根据计算的有效样本概率区间，提取有效样本，加入样本库，进行模型迭代，直至建好一个满足平衡条件的样本库；
有效样本概率区间公式如下：
Figure FDA0003037779300000011
其中，NP为正样本数，NN为负样本数，P为预测样本数，PF为预测错误的样本数，σ为sigmoid函数，
Figure FDA0003037779300000012
β为自定义的超参数。
2.根据权利要求1所述的方法，其特征在于：S5步骤中判断是否满足样本库平衡条件：正负样本数量满足NP<5*NN。
3.根据权利要求1所述的方法，其特征在于：S6步骤中将有效样本，即预测错误的样本和样本分类概率在模糊区间的样本提取出来，加入样本库。
4.根据权利要求1所述的方法，其特征在于：当样本库未满足样本库平衡条件时，在S2-S6步骤开启循环，在预测的不平衡样本集中筛选有效样本，实现样本库类间平衡。
CN201910192345.4A 2019-03-13 2019-03-13 一种优化基于深度学习的异常检测模型的方法 Active CN110175247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910192345.4A CN110175247B (zh) 2019-03-13 2019-03-13 一种优化基于深度学习的异常检测模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910192345.4A CN110175247B (zh) 2019-03-13 2019-03-13 一种优化基于深度学习的异常检测模型的方法

Publications (2)

Publication Number Publication Date
CN110175247A CN110175247A (zh) 2019-08-27
CN110175247B true CN110175247B (zh) 2021-06-08

Family

ID=67689179

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910192345.4A Active CN110175247B (zh) 2019-03-13 2019-03-13 一种优化基于深度学习的异常检测模型的方法

Country Status (1)

Country Link
CN (1) CN110175247B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061933A (zh) * 2019-11-21 2020-04-24 深圳壹账通智能科技有限公司 图片样本库构建方法、装置、可读存储介质及终端设备
CN111478904B (zh) * 2020-04-08 2022-05-03 莆田学院 一种基于概念漂移的物联网设备通信异常检测方法及装置
CN111897695B (zh) * 2020-07-31 2022-06-17 平安科技（深圳）有限公司 获取kpi异常数据样本的方法、装置和计算机设备
CN113132359A (zh) * 2021-03-30 2021-07-16 深圳市吉方工控有限公司 一种网络安全数据信息检测方法
CN113591404B (zh) * 2021-09-29 2021-12-07 杭州宇谷科技有限公司 一种基于深度学习的电池异常检测系统及方法
CN115905807B (zh) * 2022-11-18 2023-10-20 中国市政工程西南设计研究总院有限公司 一种基于深度学习的粗格栅优化运行方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909981A (zh) * 2015-12-23 2017-06-30 阿里巴巴集团控股有限公司 模型训练、样本平衡方法及装置以及个人信用评分系统
CN107729993A (zh) * 2017-10-30 2018-02-23 国家新闻出版广电总局广播科学研究院 利用训练样本及折中度量的3d卷积神经网络构建方法
CN108875161A (zh) * 2018-05-31 2018-11-23 长江勘测规划设计研究有限责任公司 基于卷积神经网络深度学习的流量等级预测方法
CN109101997A (zh) * 2018-07-11 2018-12-28 浙江理工大学 一种采样受限主动学习的溯源方法
CN109447151A (zh) * 2018-10-26 2019-03-08 成都国星宇航科技有限公司 一种基于深度学习的遥感数据分析方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107291739A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 网络用户健康状况的评价方法、系统及设备
CN106656637B (zh) * 2017-02-24 2019-11-26 国网河南省电力公司电力科学研究院 一种电网异常检测方法及装置
JP6845071B2 (ja) * 2017-04-12 2021-03-17 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
CN109063748B (zh) * 2018-07-16 2021-11-16 重庆大学 基于数据增强的目标检测方法
CN109284666B (zh) * 2018-07-24 2019-07-26 电子科技大学中山学院 一种基于图像识别与大数据的服饰推荐方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909981A (zh) * 2015-12-23 2017-06-30 阿里巴巴集团控股有限公司 模型训练、样本平衡方法及装置以及个人信用评分系统
CN107729993A (zh) * 2017-10-30 2018-02-23 国家新闻出版广电总局广播科学研究院 利用训练样本及折中度量的3d卷积神经网络构建方法
CN108875161A (zh) * 2018-05-31 2018-11-23 长江勘测规划设计研究有限责任公司 基于卷积神经网络深度学习的流量等级预测方法
CN109101997A (zh) * 2018-07-11 2018-12-28 浙江理工大学 一种采样受限主动学习的溯源方法
CN109447151A (zh) * 2018-10-26 2019-03-08 成都国星宇航科技有限公司 一种基于深度学习的遥感数据分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Load cell design and construct with fault detection by Probabilistic Neural Network;A. Moradkhani;《2008 IEEE International Conference on Mechatronics and Automation》;20080808;1-6 *
一种改进的随机森林并行分类方法在运营商大数据的应用;李慧;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);I138-5554 *

Also Published As

Publication number Publication date
CN110175247A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110175247B (zh) 一种优化基于深度学习的异常检测模型的方法
McCoy et al. Machine learning applications in minerals processing: A review
WO2024021246A1 (zh) 基于持续学习的跨设备增量轴承故障诊断方法
CN112904810B (zh) 基于有效特征选择的流程工业非线性过程监测方法
CN111985825A (zh) 一种用于滚磨机定向仪的晶面质量评估方法
CN112836735B (zh) 一种优化的随机森林处理不平衡数据集的方法
CN112069787A (zh) 一种基于词嵌入的日志参数异常检测方法
CN114282443A (zh) 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法
CN115795380A (zh) 一种基于孤立森林和加权随机森林的烟气制酸数据清洗及优化方法
Wayahdi et al. Evaluation of the K-Nearest Neighbor Model With K-Fold Cross Validation on Image Classification
CN114152442A (zh) 基于迁移卷积神经网络的滚动轴承跨工况故障检测方法
CN113343123A (zh) 一种生成对抗多关系图网络的训练方法和检测方法
Hnamte et al. Network Intrusion Detection using Deep Convolution Neural Network
CN113609480B (zh) 基于大规模网络流的多路学习入侵检测方法
CN110599460A (zh) 基于混合卷积神经网络的地下管网检测评估云系统
CN115330362A (zh) 一种工程进度数据处理方法及系统
CN115526407A (zh) 基于因果机器学习的电网大数据安全检测预警方法及系统
CN115374931A (zh) 一种基于元对抗训练的深度神经网络鲁棒性增强方法
CN114638809A (zh) 基于pa-mlfpn工件表面多尺度微小缺陷检测方法
CN114298413A (zh) 一种水电机组振摆趋势预测方法
CN113008998A (zh) 一种基于pcnn的隐蔽工程内部缺陷判断方法
CN111738081A (zh) 一种难样本重训练的深度神经网络声呐目标检测方法
Gong et al. Multi-class classification method based on support vector machine with hyper-sphere for steel surface defects
CN114943304B (zh) 一种基于贝叶斯的3c电子产品装配误差传递方法
CN117740632B (zh) 一种基于差分进化算法的pta粒径动态软测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant