CN107979602A - 一种蜂窝网络中基于半监督统计的异常检测方法 - Google Patents

一种蜂窝网络中基于半监督统计的异常检测方法 Download PDF

Info

Publication number
CN107979602A
CN107979602A CN201711252701.4A CN201711252701A CN107979602A CN 107979602 A CN107979602 A CN 107979602A CN 201711252701 A CN201711252701 A CN 201711252701A CN 107979602 A CN107979602 A CN 107979602A
Authority
CN
China
Prior art keywords
matrix
data
training set
supervised
statistics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711252701.4A
Other languages
English (en)
Other versions
CN107979602B (zh
Inventor
杜清河
比拉勒·侯赛因
张小沛
李军
秦鹏翔
孙黎
任品毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201711252701.4A priority Critical patent/CN107979602B/zh
Publication of CN107979602A publication Critical patent/CN107979602A/zh
Application granted granted Critical
Publication of CN107979602B publication Critical patent/CN107979602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种蜂窝网络中基于半监督统计的异常检测方法,包括以下步骤:1)将被检测地区划分为a行b列的方格,其中,每一方格代表一块区域;2)读取各方格的数据文件,对各方格的数据文件进行预处理,得各方格对应的数据矩阵,选取任意一个数据矩阵作为待检测数据矩阵;3)对待检测数据矩阵进行分解,得训练集、交叉验证集及测试集;4)基于训练集计算特征均值μtrain、特征方差及训练集概率密度5)得最佳阈值ε;6)得测试集概率密度7)判断对应方格是否出现异常;8)直至遍历所有数据矩阵为止,完成蜂窝网络中基于半监督统计的异常检测,该方法能够对蜂窝网络中的异常进行检测。

Description

一种蜂窝网络中基于半监督统计的异常检测方法
技术领域
本发明涉及一种异常检测方法,具体涉及一种蜂窝网络中基于半监督统计的异常检测方法。
背景技术
2011年,全球每月数据流量达到400PB(petabyte)。而到2016年底,全球每月数据流量达到7.2EB(Exabyte)。这5年间,全球每月数据流量增长了18倍。预计从2016年到2021年,全球每月数据流量还会翻7倍,到2021年流量将达到49EB(Exabyte)。为了支持未来5G网络高性能的需求,可以通过利用毫米波频谱来获得更高的数据传输速率;可以通过引入超密集蜂窝网络增加蜂窝密度;可以通过利用认知无线电,实施大规模的多输入多输出(MIMO)提高容量和可靠性;还可以利用全双工(FD)收音机等等。这些技术和方式会使得数据急剧积累(即大数据),将给网络带来更复杂的特性。
大数据不同于传统的数据。大数据是指在一定时间范围内无法有效利用现有常规技术管理和处理的数据集合。它的特点是大量、高速、多样、低价值密度和真实性。
数据科学或数据驱动研究是一个广泛的领域,它可以分析大数据,提取其所包含的有用信息以解决特定的问题。
机器学习是用数据或以往的经验来优化计算机程序的性能标准,以此来实现大规模数据(大数据)自动化分析和研究。
半监督学习是机器学习的一种,半监督学习使用两类数据:一类是少量的带有标记的数据,一类是大量的未标记的数据。
当前蜂窝网络的一种特殊情况是蜂窝中断,也称之为休眠蜂窝。这是由于基站不能向用户提供正常服务造成的。基站网络性能下降将导致用户不满,进而导致客户流失。这种特殊情况运营商很多时候不能及时发现,因为从网络的角度来看它仍然是可以运行的。所以当这种现象发生时,系统不会自动识别并报警。只有当不满的用户增多并进行投诉之后系统才会察觉,并且可能需要几个小时到几天的时间来检测和修复。这种缓慢低效的方式将不断增加运营开支。事实上,美国每年在单独管理蜂窝中断上的花费超过150亿美元。
随机接入信道(RACH)程序发生故障,基站侧负载过大、软件/固件问题,或发送故障、接受故障等都可能出现休眠蜂窝。因此,如果能自动快速检测出休眠蜂窝,就可以快速正确地采取补救措施,这一意义非常重大。异常的定义取决于应用领域和需要解决的问题。异常指的是一个明显偏离其规范的网络异常或不预期行为。它可能是一个休眠蜂窝或是流量活动突然激增的蜂窝。流量活动突然激增的蜂窝如果不及时采取措施,比如向感兴趣区域分配额外资源,则可能导致网络拥塞,为了解决上述问题,需要开发出一种方法,该方法能够对蜂窝网络中的异常进行检测。
发明内容
本发明的目的在于克服上述现有技术的缺点,提供了一种蜂窝网络中基于半监督统计的异常检测方法,该方法能够对蜂窝网络中的异常进行检测。
为达到上述目的,本发明所述的蜂窝网络中基于半监督统计的异常检测方法包括以下步骤:
1)将被检测地区划分为a行b列的方格,其中,每一方格代表一块区域;
2)读取各方格的数据文件,对各方格的数据文件进行预处理,得各方格对应的数据矩阵,选取任意一个数据矩阵作为待检测数据矩阵;
3)对待检测数据矩阵进行分解,得训练集、交叉验证集及测试集;
4)基于训练集计算特征均值μtrain、特征方差及训练集概率密度
5)利用交叉验证集得最佳阈值ε;
6)利用测试集得测试集概率密度
7)利用测试集概率密度及最佳阈值ε判断对应方格是否出现异常;
8)利用训练集概率密度及最佳阈值ε判断对应方格是否出现异常;
9)从剩余数据矩阵任意选取一个数据矩阵作为待检测数据矩阵,然后重复步骤3)至步骤8),直至遍历所有数据矩阵为止,完成蜂窝网络中基于半监督统计的异常检测。
各方格的CDR数据文件均包括方格ID、时间戳、国家地区代码、收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动及由任何网络流量产生的活动。
步骤2)的具体操作为:
2a)将各方格的CDR数据文件中丢失数据的值设定为0;
2b)整合时间戳相同的CDR数据文件,将时间戳相同的CDR数据文件中的收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动整合为一项并用活动代替;将CDR数据文件中的数据以1h为间隔进行统计及记录,则一天的数据分为24组,将D天的数据全部提取,构成D×24的矩阵H,矩阵H中的每一行代表一整天的活动,矩阵H中的每一列代表D天中某一时间段的活动,矩阵H的每个值代表一小时的活动;
2c)从矩阵H中提取第h列形成一维矩阵,然后将一维矩阵进行转置,得矩阵Row=[y1,h,y2,h,…yi,h,…,yD,h],i表示该元素属于矩阵H的第i行,h表示该元素属于矩阵H的第h列,yi,h表示该元素为第i天中从h-1时到h时的活动。
将矩阵Row分成三段,得训练集、初始交叉验证集及测试集,其中,训练集为70%的矩阵Row,初始交叉验证集为15%的矩阵Row,测试集为15%的矩阵Row。
从训练集中获取若干异常值A,再将获取得到的异常值A插入到初始交叉验证集中,得交叉验证集,其中,|A-μtrain|>2σtrain,μtrain为训练集的均值,σtrain为训练集的标准差。
步骤4)中训练集的概率密度符合均值为μj、方差为的高斯模型,其中,概率密度m为训练集的矩阵列数,n为训练集的矩阵行数,表示训练集中第j行第i列的元素,由于训练集为一维矩阵,则有训练集的均值训练集的方差训练集的概率密度 表示训练集中第i个元素。
步骤5)的具体操作为:
5a)计算的概率密度其中,
表示交叉验证集的第i个元素;
5b)初始化阈值ε及综合评价指标F1,令ε=0,F1=0,且当前综合评价指标F1为最佳综合评价指标,并将初始化阈值ε作为最优阈值;
5c)当则将判定为异常;当则将判定为正常;
5d)计算TP、FP、TN及FN;
5e)计算精确率precision、召回率Recall及综合评价指标F1,其中,
精确度precision为:
召回率Recall为:
综合评价指标F1为:
5f)当步骤5e)计算得到的综合评价指标F1值>最佳综合评价指标,将当前F1设置为最佳综合评价指标,并将当前阈值ε作为最优阈值;
5g)调整当前阈值ε的大小,重复步骤5c)至步骤5f),直至最佳综合评价指标及最优阈值不在变化为止,该最优阈值ε为最佳阈值。
为测试集的第i个元素。
步骤7)中,当则对应方格出现异常;当则对应方格正常。
步骤8)中,当则对应方格出现异常;当则对应方格正常。
本发明具有以下有益效果:
本发明所述的蜂窝网络中基于半监督统计的异常检测方法在具体操作时,基于半监督统计实现蜂窝网络的异常检测,具体的,将被检测地区划分为若干方格,然后依次对每个方格的数据文件进行异常检测,从而实现对整个蜂窝网络的异常检测,操作简单,方便,经仿真实验,本发明能够成功的利用近乎实时的大数据来确定被检测区域的状态,同时不需要依赖客户投诉及识别传动试验,检测成本较低。
附图说明
图1a为验证性实验中区域划分结果的示意图;
图1b为原始数据集的矩阵示意图;
图2a为方格与米兰市的结合图;
图2b为1号方格从2013年11月1日到2014年1月1日共计62天11:00-12:00时间段的数据矩阵的可视化图形;
图3为1号方格从2013年11月1日到2014年1月1日共计62天11:00-12:00时间段的数据划分为训练集、交叉验证集、测试集的示意图;
图4为1号方格从2013年11月1日到2014年1月1日共计62天11:00-12:00时间段训练集和测试集的异常检测结果图;
图5为5638-5640方格的具体位置及划分示意图;
图6a为14:00-15:00时间段中5638-5640方格的异常检测图;
图6b为15:00-16:00时间段中5638-5640方格的异常检测图;
图6c为16:00-17:00时间段中5638-5640方格的异常检测图;
图6d为21:00-22:00时间段中5638-5640方格的异常检测图;
图7a为200个方格的准确率图;
图7b为200个方格的FPR性能指标图;
图8为200网格各项性能的指标图。
具体实施方式
下面结合附图对本发明做进一步详细描述:
本发明所述的蜂窝网络中基于半监督统计的异常检测方法包括以下步骤:
1)将被检测地区划分为a行b列的方格,其中,每一方格代表一块区域;
2)读取各方格的数据文件,对各方格的数据文件进行预处理,得各方格对应的数据矩阵,选取任意一个数据矩阵作为待检测数据矩阵;
3)对待检测数据矩阵进行分解,得训练集、交叉验证集及测试集;
4)基于训练集计算特征均值μtrain、特征方差及训练集概率密度
5)利用交叉验证集得最佳阈值ε;
6)利用测试集得测试集概率密度
7)利用测试集概率密度及最佳阈值ε判断对应方格是否出现异常;
8)利用训练集概率密度及最佳阈值ε判断对应方格是否出现异常;
9)从剩余数据矩阵任意选取一个数据矩阵作为待检测数据矩阵,然后重复步骤3)至步骤8),直至遍历所有数据矩阵为止,完成蜂窝网络中基于半监督统计的异常检测。
各方格的CDR数据文件均包括方格ID、时间戳、国家地区代码、收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动及由任何网络流量产生的活动。
步骤2)的具体操作为:
2a)将各方格的CDR数据文件中丢失数据的值设定为0;
2b)整合时间戳相同的CDR数据文件,将时间戳相同的CDR数据文件中的收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动整合为一项并用活动代替;将CDR数据文件中的数据以1h为间隔进行统计及记录,则一天的数据分为24组,将D天的数据全部提取,构成D×24的矩阵H,矩阵H中的每一行代表一整天的活动,矩阵H中的每一列代表D天中某一时间段的活动,矩阵H的每个值代表一小时的活动;
2c)从矩阵H中提取第h列形成一维矩阵,然后将一维矩阵进行转置,得矩阵Row=[y1,h,y2,h,…yi,h,…,yD,h],i表示该元素属于矩阵H的第i行,h表示该元素属于矩阵H的第h列,yi,h表示该元素为第i天中从h-1时到h时的活动。
将矩阵Row分成三段,得训练集、初始交叉验证集及测试集,其中,训练集为70%的矩阵Row,初始交叉验证集为15%的矩阵Row,测试集为15%的矩阵Row。
从训练集中获取若干异常值A,再将获取得到的异常值A插入到初始交叉验证集中,得交叉验证集,其中,|A-μtrain|>2σtrain,μtrain为训练集的均值,σtrain为训练集的标准差。
步骤4)中训练集的概率密度符合均值为μj、方差为的高斯模型,其中,概率密度m为训练集的矩阵列数,n为训练集的矩阵行数,表示训练集中第j行第i列的元素,由于训练集为一维矩阵,则有训练集的均值训练集的方差训练集的概率密度 表示训练集中第i个元素。
步骤5)的具体操作为:
5a)计算的概率密度其中,
表示交叉验证集的第i个元素;
5b)初始化阈值ε及综合评价指标F1,令ε=0,F1=0,且当前综合评价指标F1为最佳综合评价指标,并将初始化阈值ε作为最优阈值;
5c)当则将判定为异常;当则将判定为正常;
5d)计算TP、FP、TN及FN,其中,TP表示数据是异常值,算法判断该数据是异常值的个数;FP表示数据是异常值,算法判断该数据是正常值的个数;TN表示数据是正常值,算法判断该数据是正常值的个数;FN表示表示数据是正常值,算法判断该数据是异常值的个数。
5e)计算精确率precision、召回率Recall及综合评价指标F1,其中,
精确度precision为:
召回率Recall为:
综合评价指标F1为:
5f)当步骤5e)计算得到的综合评价指标F1值>最佳综合评价指标,将当前F1设置为最佳综合评价指标,并将当前阈值ε作为最优阈值;
5g)调整当前阈值ε的大小,重复步骤5c)至步骤5f),直至最佳综合评价指标及最优阈值不在变化为止,该最优阈值ε为最佳阈值。
为测试集的第i个元素。
步骤7)中,当则对应方格出现异常;当则对应方格正常。
步骤8)中,当则对应方格出现异常;当则对应方格正常。
验证性实验
选取米兰地区从2013年11月1日到2014年1月1日共计62天的CDR数据集,并选用11:00-12:00时间段对本发明进行说明。将整个地区进行划分为100×100方格,每个方格的边长为0.235km;每一块方格的面积为0.055km2,从米兰地区10000个方格中选取200个来检测该算法的性能,我们选择的时间段是早上(7:00-8:00);中午(12:00-13:00);晚上(23:00-24:00)三个时间段。图7、图8和表1分别描述了不同方格的性能指标。
参考图,性能标准有:
准确率
错误率
图8与表1为200网格各项性能的指标。本发明的总体检测准确率在92%左右,同时总体错误率保持在7%左右,比例相对较低。本发明所获得的准确率(Accuracy)比M.S.Parwez等提出的方法的准确率(Accuracy)高出2%。本发明可以检测到与用户流量活动高激增有关的异常。92%的总体准确率(Accuracy)是本发明可信的证据,即当本发明预测蜂窝是异常时,它更可能是异常而非正常。此外,97%高召回率(Recall)表示,本发明能够捕捉到很大一部分异常,即本发明的判决范围很广;F1大约为94%,可以看出,上午(7:00-8:00)时间的准确率(Accuracy)、F1评分和召回率(Recall)都略高于与下午(12:00-13:00)和晚上(23:00-24:00),而精确度(Precision)方面,下午高于其他时间。夜间FPR相对较高,为17%。
表1

Claims (10)

1.一种蜂窝网络中基于半监督统计的异常检测方法,其特征在于,包括以下步骤:
1)将被检测地区划分为a行b列的方格,其中,每一方格代表一块区域;
2)读取各方格的数据文件,对各方格的数据文件进行预处理,得各方格对应的数据矩阵,选取任意一个数据矩阵作为待检测数据矩阵;
3)对待检测数据矩阵进行分解,得训练集、交叉验证集及测试集;
4)基于训练集计算特征均值μtrain、特征方差及训练集概率密度
5)利用交叉验证集得最佳阈值ε;
6)利用测试集得测试集概率密度
7)利用测试集概率密度及最佳阈值ε判断对应方格是否出现异常;
8)利用训练集概率密度及最佳阈值ε判断对应方格是否出现异常;
9)从剩余数据矩阵任意选取一个数据矩阵作为待检测数据矩阵,然后重复步骤3)至步骤8),直至遍历所有数据矩阵为止,完成蜂窝网络中基于半监督统计的异常检测。
2.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,各方格的CDR数据文件均包括方格ID、时间戳、国家地区代码、收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动及由任何网络流量产生的活动。
3.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,步骤2)的具体操作为:
2a)将各方格的CDR数据文件中丢失数据的值设定为0;
2b)整合时间戳相同的CDR数据文件,将时间戳相同的CDR数据文件中的收到短信的活动、发送短信的活动、呼入电话的活动、呼出电话的活动整合为一项并用活动代替;将CDR数据文件中的数据以1h为间隔进行统计及记录,则一天的数据分为24组,将D天的数据全部提取,构成D×24的矩阵H,矩阵H中的每一行代表一整天的活动,矩阵H中的每一列代表D天中某一时间段的活动,矩阵H的每个值代表一小时的活动;
2c)从矩阵H中提取第h列形成一维矩阵,然后将一维矩阵进行转置,得矩阵Row=[y1,h,y2,h,…yi,h,…,yD,h],i表示该元素属于矩阵H的第i行,h表示该元素属于矩阵H的第h列,yi,h表示该元素为第i天中从h-1时到h时的活动。
4.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,将矩阵Row分成三段,得训练集、初始交叉验证集及测试集,其中,训练集为70%的矩阵Row,初始交叉验证集为15%的矩阵Row,测试集为15%的矩阵Row。
5.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,从训练集中获取若干异常值A,再将获取得到的异常值A插入到初始交叉验证集中,得交叉验证集,其中,|A-μtrain|>2σtrain,μtrain为训练集的均值,σtrain为训练集的标准差。
6.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,步骤4)中训练集的概率密度符合均值为μj、方差为的高斯模型,其中,概率密度m为训练集的矩阵列数,n为训练集的矩阵行数,表示训练集中第j行第i列的元素,由于训练集为一维矩阵,则有训练集的均值训练集的方差训练集的概率密度 表示训练集中第i个元素。
7.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,步骤5)的具体操作为:
5a)计算的概率密度其中,
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>C</mi> <mi>V</mi> </mrow> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <msqrt> <mrow> <mn>2</mn> <msub> <mi>&amp;pi;&amp;sigma;</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> </msqrt> </mfrac> <mi>exp</mi> <mrow> <mo>(</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>(</mo> <msubsup> <mi>x</mi> <mrow> <mi>C</mi> <mi>V</mi> </mrow> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </msubsup> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mrow> <mi>t</mi> <mi>r</mi> <mi>a</mi> <mi>i</mi> <mi>n</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>)</mo> </mrow> </mrow>
表示交叉验证集的第i个元素;
5b)初始化阈值ε及综合评价指标F1,令ε=0,F1=0,且当前综合评价指标F1为最佳综合评价指标,并将初始化阈值ε作为最优阈值;
5c)当则将判定为异常;当则将判定为正常;
5d)计算TP、FP、TN及FN;
5e)计算精确率precision、召回率Recall及综合评价指标F1,其中,精确度precision为:
<mrow> <mi>Pr</mi> <mi>e</mi> <mi>c</mi> <mi>i</mi> <mi>s</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> <mo>=</mo> <mfrac> <mrow> <mi>T</mi> <mi>P</mi> </mrow> <mrow> <mi>T</mi> <mi>P</mi> <mo>+</mo> <mi>F</mi> <mi>P</mi> </mrow> </mfrac> </mrow>
召回率Recall为:
<mrow> <mi>Re</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mi>l</mi> <mo>=</mo> <mfrac> <mrow> <mi>T</mi> <mi>P</mi> </mrow> <mrow> <mi>T</mi> <mi>P</mi> <mo>+</mo> <mi>F</mi> <mi>N</mi> </mrow> </mfrac> </mrow>
综合评价指标F1为:
<mrow> <msub> <mi>F</mi> <mn>1</mn> </msub> <mo>=</mo> <mn>2</mn> <mfrac> <mrow> <mi>Pr</mi> <mi>e</mi> <mi>c</mi> <mi>i</mi> <mi>s</mi> <mi>o</mi> <mi>n</mi> <mo>&amp;times;</mo> <mi>Re</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mi>l</mi> </mrow> <mrow> <mi>Pr</mi> <mi>e</mi> <mi>c</mi> <mi>i</mi> <mi>s</mi> <mi>i</mi> <mi>o</mi> <mi>n</mi> <mo>+</mo> <mi>Re</mi> <mi>c</mi> <mi>a</mi> <mi>l</mi> <mi>l</mi> </mrow> </mfrac> </mrow>
5f)当步骤5e)计算得到的综合评价指标F1值>最佳综合评价指标,将当前F1设置为最佳综合评价指标,并将当前阈值ε作为最优阈值;
5g)调整当前阈值ε的大小,重复步骤5c)至步骤5f),直至最佳综合评价指标及最优阈值不在变化为止,该最优阈值ε为最佳阈值。
8.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于, 为测试集的第i个元素。
9.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,步骤7)中,当则对应方格出现异常;当则对应方格正常。
10.根据权利要求1所述的蜂窝网络中基于半监督统计的异常检测方法,其特征在于,步骤8)中,当则对应方格出现异常;当则对应方格正常。
CN201711252701.4A 2017-12-01 2017-12-01 一种蜂窝网络中基于半监督统计的异常检测方法 Active CN107979602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711252701.4A CN107979602B (zh) 2017-12-01 2017-12-01 一种蜂窝网络中基于半监督统计的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711252701.4A CN107979602B (zh) 2017-12-01 2017-12-01 一种蜂窝网络中基于半监督统计的异常检测方法

Publications (2)

Publication Number Publication Date
CN107979602A true CN107979602A (zh) 2018-05-01
CN107979602B CN107979602B (zh) 2020-03-17

Family

ID=62008835

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711252701.4A Active CN107979602B (zh) 2017-12-01 2017-12-01 一种蜂窝网络中基于半监督统计的异常检测方法

Country Status (1)

Country Link
CN (1) CN107979602B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664402A (zh) * 2018-05-14 2018-10-16 北京航空航天大学 一种基于软件网络特征学习的故障预测方法
CN108880620A (zh) * 2018-08-20 2018-11-23 广东石油化工学院 电力线通信信号重构方法
CN109495327A (zh) * 2018-12-28 2019-03-19 西安交通大学 一种基于大数据分析的用户活动异常检测和流量预测方法
CN110839256A (zh) * 2019-09-26 2020-02-25 西安交通大学 一种蜂窝网络数据异常检测方法
CN111970305A (zh) * 2020-08-31 2020-11-20 福州大学 基于半监督降维和Tri-LightGBM的异常流量检测方法
CN112097365A (zh) * 2020-07-10 2020-12-18 珠海派诺科技股份有限公司 基于预测和分类模型的空调故障检测与辩识方法及装置
CN113015194A (zh) * 2019-12-19 2021-06-22 西安交通大学 一种异常检测方法
CN115240428A (zh) * 2022-07-29 2022-10-25 浙江数智交院科技股份有限公司 隧道运营异常的检测方法、装置、电子设备与存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902744A (zh) * 2010-07-28 2010-12-01 南京航空航天大学 基于sniffer的无线传感网的入侵检测方法
CN101980480A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 半监督异常入侵检测方法
CN102291279A (zh) * 2011-08-18 2011-12-21 西北工业大学 P2p网络流量检测方法
CN104484602A (zh) * 2014-12-09 2015-04-01 中国科学院深圳先进技术研究院 一种入侵检测方法、装置
CN104598813A (zh) * 2014-12-09 2015-05-06 西安电子科技大学 一种基于集成学习和半监督svm的计算机入侵检测方法
US20170171228A1 (en) * 2015-12-11 2017-06-15 Secureworks Holding Corporation Method for Semi-Supervised Learning Approach to Add Context to Malicious Events
CN107392015A (zh) * 2017-07-06 2017-11-24 长沙学院 一种基于半监督学习的入侵检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902744A (zh) * 2010-07-28 2010-12-01 南京航空航天大学 基于sniffer的无线传感网的入侵检测方法
CN101980480A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 半监督异常入侵检测方法
CN102291279A (zh) * 2011-08-18 2011-12-21 西北工业大学 P2p网络流量检测方法
CN104484602A (zh) * 2014-12-09 2015-04-01 中国科学院深圳先进技术研究院 一种入侵检测方法、装置
CN104598813A (zh) * 2014-12-09 2015-05-06 西安电子科技大学 一种基于集成学习和半监督svm的计算机入侵检测方法
US20170171228A1 (en) * 2015-12-11 2017-06-15 Secureworks Holding Corporation Method for Semi-Supervised Learning Approach to Add Context to Malicious Events
CN107392015A (zh) * 2017-07-06 2017-11-24 长沙学院 一种基于半监督学习的入侵检测方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664402B (zh) * 2018-05-14 2020-05-26 北京航空航天大学 一种基于软件网络特征学习的故障预测方法
CN108664402A (zh) * 2018-05-14 2018-10-16 北京航空航天大学 一种基于软件网络特征学习的故障预测方法
CN108880620B (zh) * 2018-08-20 2021-06-11 广东石油化工学院 电力线通信信号重构方法
CN108880620A (zh) * 2018-08-20 2018-11-23 广东石油化工学院 电力线通信信号重构方法
CN109495327A (zh) * 2018-12-28 2019-03-19 西安交通大学 一种基于大数据分析的用户活动异常检测和流量预测方法
CN109495327B (zh) * 2018-12-28 2020-05-19 西安交通大学 一种基于大数据分析的用户活动异常检测和流量预测方法
CN110839256A (zh) * 2019-09-26 2020-02-25 西安交通大学 一种蜂窝网络数据异常检测方法
CN113015194A (zh) * 2019-12-19 2021-06-22 西安交通大学 一种异常检测方法
CN112097365A (zh) * 2020-07-10 2020-12-18 珠海派诺科技股份有限公司 基于预测和分类模型的空调故障检测与辩识方法及装置
CN111970305A (zh) * 2020-08-31 2020-11-20 福州大学 基于半监督降维和Tri-LightGBM的异常流量检测方法
CN111970305B (zh) * 2020-08-31 2022-08-12 福州大学 基于半监督降维和Tri-LightGBM的异常流量检测方法
CN115240428A (zh) * 2022-07-29 2022-10-25 浙江数智交院科技股份有限公司 隧道运营异常的检测方法、装置、电子设备与存储介质
CN115240428B (zh) * 2022-07-29 2024-05-14 浙江数智交院科技股份有限公司 隧道运营异常的检测方法、装置、电子设备与存储介质

Also Published As

Publication number Publication date
CN107979602B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN107979602B (zh) 一种蜂窝网络中基于半监督统计的异常检测方法
Parwez et al. Big data analytics for user-activity analysis and user-anomaly detection in mobile wireless network
Shafiq et al. Characterizing and modeling internet traffic dynamics of cellular devices
CN106685750B (zh) 系统异常检测方法和装置
CN107797894B (zh) App用户行为分析方法和装置
CN111092757A (zh) 一种异常数据的检测方法、系统及设备
US8275575B2 (en) Determining component failure rates using accelerated life data
CN105227369B (zh) 基于众包模式的移动Apps对无线网路资源利用的分析方法
CN106612216A (zh) 网站访问异常的检测方法及装置
CN105490854A (zh) 实时日志收集方法、系统和应用服务器集群
CN111259073A (zh) 基于日志、流量和业务访问的业务系统运行状态智能研判系统
CN105871879A (zh) 网元异常行为自动检测方法及装置
CN111459702B (zh) 基于mdt数据的室内分布系统故障监控方法和装置
CN116593897A (zh) 动力电池故障诊断方法、系统、车辆及存储介质
CN111476375A (zh) 一种确定识别模型的方法、装置、电子设备及存储介质
CN105429792B (zh) 用户行为流量获取方法及装置、用户行为分析方法及系统
Chernogorov et al. N-gram analysis for sleeping cell detection in LTE networks
CN100511241C (zh) 用于周期现象的聚类技术
CN110807014B (zh) 一种基于交叉验证的台区数据异常甄别方法和装置
CN116756505B (zh) 一种基于大数据的光伏设备智能管理系统及方法
CN107734534B (zh) 一种网络负荷评估方法及装置
EP2621156A1 (en) Subscriber portfolio management system
CN111080362A (zh) 广告监测系统及方法
CN112445687A (zh) 一种计算设备的卡顿检测方法及相关装置
Janer et al. Incorporating space, time, and magnitude measures in a network characterization of earthquake events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant