CN111669368B - 端到端网络感知异常检测及分析方法、系统、装置和介质 - Google Patents

端到端网络感知异常检测及分析方法、系统、装置和介质 Download PDF

Info

Publication number
CN111669368B
CN111669368B CN202010376683.6A CN202010376683A CN111669368B CN 111669368 B CN111669368 B CN 111669368B CN 202010376683 A CN202010376683 A CN 202010376683A CN 111669368 B CN111669368 B CN 111669368B
Authority
CN
China
Prior art keywords
user
network
perception
internet
anomaly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010376683.6A
Other languages
English (en)
Other versions
CN111669368A (zh
Inventor
林宇扬
关泽明
梁展岳
梁振宇
陈卫康
杨万山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastone Century Technology Co ltd
Original Assignee
Eastone Century Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastone Century Technology Co ltd filed Critical Eastone Century Technology Co ltd
Priority to CN202010376683.6A priority Critical patent/CN111669368B/zh
Publication of CN111669368A publication Critical patent/CN111669368A/zh
Application granted granted Critical
Publication of CN111669368B publication Critical patent/CN111669368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00IoT infrastructure
    • G16Y30/10Security thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/146Tracing the source of attacks

Abstract

本发明公开了一种物联网业务端到端网络感知异常检测及异常原因溯源定界的方法、系统、装置和存储介质。提出的基于孤立森林算法的物联网业务端到端网络感知异常检测方法,基于机器学习算法使物联网业务网络感知评估更为科学,提高评估的准确率,使其结果更为贴近真实用户感知;提出的基于决策树算法的物联网业务端到端网络感知异常原因的溯源定界方法,能够实现物联网业务端到端问题自动分析定界,无需人工分析与设定基础阈值,可确保物联网业务感知问题定位的准确率与时效性;本发明提出的一种专用于物联网业务端到端网络感知异常检测与异常原因溯源定界方法,弥补了现有方案适用领域的空缺。本发明广泛运用于通信技术与数据挖掘技术领域。

Description

端到端网络感知异常检测及分析方法、系统、装置和介质
技术领域
本发明涉及通信技术与数据挖掘技术领域,尤其涉及一种物联网业务端到端网络感知异常检测及异常原因溯源定界的方法、系统、装置和存储介质。
背景技术
近年物联网业务迅速发展。物联网业务承载于无线网络之上,在提供丰富的行业应用的同时也面临着端到端业务实现流程复杂,涉及用户侧系统、终端、无线、传输、数通、核心网、物联网基地多元协同,为客户感知提升提出巨大挑战。本方案基于物联网业务信令数据,使用孤立森林算法建立物联网业务感知异常告警体系及提出一种基于决策树算法的端到端问题分析定界方法,实现对物联网业务感知问题的发现与处理,有效确保用户的物联网业务感知。
公开号为102300238A的专利《宽带网络感知客户的系统及方法》公开了一种宽带网络感知客户的系统及其方法,它包括宽带网络质量感知系统和宽带网络服务感知系统,分别包括若干感知装置,每个感知装置包括若干测评器,每个测评器包括若干测评模块,其评测方法包括:分别设置加权系数;将属于同一一级指标的各项二级指标得分乘以相应的加权系数,相加获得该一级指标得分;将属于同一维度的各项一级指标得分乘以相应的加权系数,相加获得该维度的得分;将各项维度的得分乘以相应的加权系数,相加获得网络客户感知度值。本发明将感知度的评测分为若干维度,将维度细化为若干一级指标后再细化为若干二级指标进行全面评测,实现了对客户感知度全面、客观、准确量化的描述和评测,能够反应用户的真实感知。但是,该方案各感知指标的加权系数为人为设定,过于简单,可解释性较差,加权系数设定不准,有可能对用户网络感知评估造成较大的影响。
公开号为106792876A的专利《端到端网络感知评估方法和系统》公开了一种端到端网络感知评估方法和系统,涉及信息技术领域。其中的方法包括:采集日志文件数据;利用大数据处理技术对日志文件数据进行处理,获取日志文件数据对应的KQI数据和KPI数据;将日志文件数据对应的KQI数据和KPI数据与基础阈值进行关联比对,确定网络健康评估结果。本发明能够及时感知网络是否处于健康状态,广泛适用于用户上网感知的综合异常检测与健康评估。但是,2.该方案基于业务经验设定指标基础阈值来评估用户网络感知,设定依据过于单一,感知评估准确率较低。
综上可知,现有技术均是对于普通业务的网络感知评估方法,由于物联网业务网络流程更为复杂,与普通业务网络流程存在差异,现有方案无法直接作为物联网业务网络感知评估方法,适用性较差。
发明内容
针对上述至少一个技术问题,本发明的目的在于提供一种物联网业务端到端网络感知异常检测及异常原因溯源定界的方法、系统、装置和存储介质。
本发明所采取的技术方案是:一方面,本发明实施例包括一种物联网业务端到端网络感知异常检测方法,包括:
采集物联网用户号码的信令数据,所述信令数据包括2G信令数据、3G信令数据、4G信令数据和5G信令数据;
根据采集得到的所述信令数据,计算用户小时粒度网络质量感知指标,生成网络质量感知指标维表;
使用孤立森林算法建立网络感知异常检测模型;
以小时为周期,每次输入每一周期的网络质量感知指标维表至所述网络异常检测模型中,以进行异常检测;
所述网络异常检测模型输出每一周期的网络感知异常用户。
进一步地,所述网络异常检测模型输出每一周期的网络感知异常用户这一步骤,包括:
根据输入的每一周期的网络质量感知指标维表,使用孤立森林算法计算用户的异常得分;
根据所述异常得分,获取评估结果,所述评估结果包括所述用户是网络感知异常用户或所述用户不是网络感知异常用户;
根据所述评估结果,输出每一周期的网络感知异常用户。
进一步地,所述异常得分是通过以下公式计算得到的:
Figure BDA0002480196390000021
式中,E(h(x))表示用户x的模型自变量在所有孤立树中的平均高度,所述模型自变量为用户小时粒度网络质量感知指标;s(x)表示用户x的异常得分,c(n)表示总样本数为n个二叉排序树查找不成功的平均查找路径长度,c(n)具体的计算公式为:c(n)=2H(n-1)-(2(n-1)/n),H()表示谐波数。
进一步地,所述根据输入的每一周期的网络质量感知指标维表,使用孤立森林算法计算用户的异常得分这一步骤还包括:
在所述网络感知异常检测模型中,将H(n-1)赋值为H(n-1)=ln(n-1)+0.5772156649,计算用户的异常得分情况,所述异常得分情况包括:
当用户当前小时的异常得分s为(0,0.3),则标记该用户为“网络感知正常用户”;
当用户当前小时的异常得分s为[0.3,0.8),则标记该用户为“网络感知疑似异常用户”;
当用户当前小时的异常得分s为[0.8,1],则标记该用户为“网络感知异常用户”。
另一方面,本发明实施例还包括一种物联网业务端到端网络感知异常原因溯源定界方法,包括:
建立分析模型,所述分析模型用于对网络感知异常原因进行溯源定界;
统计所述物联网业务端到端网络感知异常检测方法检测出的用户网络感知异常情况;
若同一用户连续3小时被标记为“网络感知异常用户”或连续5小时被标记为“网络感知疑似异常用户”,利用所述分析模型对所述用户进行感知异常原因分析;
所述分析模型输出所述用户对应的网络感知异常原因。
进一步地,利用所述分析模型对所述用户进行感知异常原因分析这一步骤,具体包括:
提取所述用户的网络质量感知指标维表;
在所述网络质量感知指标维表中抽取感知异常对应小时或感知疑似异常对应小时的网络感知指标数据;
将所述网络感知指标数据输入所述分析模型中;
所述分析模型根据输入的所述网络感知指标数据对所述用户进行感知异常原因分析。
进一步地,所述的一种物联网业务端到端网络感知异常原因溯源定界方法,还包括对所述分析模型进行训练的步骤,包括:
以历史异常用户的网络感知指标作为模型自变量,人工溯源定界分析的结果作为模型因变量,输入所述分析模型,所述人工溯源定界分析的结果为网络异常原因标签,所述网络异常原因标签包括:“用户面指标劣化”、“业务面移动性指标劣化”、“业务面接入性指标劣化”、“业务面承载会话指标劣化”、“业务面保持性指标劣化”和“控制面指标劣化”;
使用决策树算法训练所述分析模型;
通过准确率指标、精度指标和召回率指标评估模型性能,调整参数优化所述分析模型。
另一方面,本发明实施例还包括一种物联网业务端到端网络感知异常检测及异常原因溯源定界装置,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行所述的一种物联网业务端到端网络感知异常检测及异常原因溯源定界方法。
另一方面,本发明实施例还包括一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于执行所述的一种物联网业务端到端网络感知异常检测及异常原因溯源定界方法。
本发明的有益效果是:
(1)本发明提出一种基于孤立森林算法的物联网业务端到端网络感知异常检测方法,基于机器学习算法使物联网业务网络感知评估更为科学,提高评估的准确率,使其结果更为贴近真实用户感知;
(2)本发明还提出一种基于决策树算法的物联网业务端到端网络感知异常原因的溯源定界方法,能够实现物联网业务端到端问题自动分析定界,无需人工分析与设定基础阈值,可确保物联网业务感知问题定位的准确率与时效性;
(3)本发明提出的一种专用于物联网业务端到端网络感知异常检测与异常原因溯源定界方法,弥补了现有方案适用领域的空缺。
附图说明
图1为实施例所述物联网业务端到端网络感知异常检测方法的步骤流程图;
图2为实施例所述物联网业务端到端网络感知异常原因溯源定界方法的步骤流程图;
图3为实施所述物联网业务端到端网络感知异常检测及异常原因溯源定界系统框图。
具体实施方式
如图1所示,本发明实施例包括一种物联网业务端到端网络感知异常检测方法,具体包括以下步骤:
S1.采集物联网用户号码的信令数据,所述信令数据包括2G信令数据、3G信令数据、4G信令数据和5G信令数据;
S2.根据采集得到的所述信令数据,计算用户小时粒度网络质量感知指标,生成网络质量感知指标维表;
S3.使用孤立森林算法建立网络感知异常检测模型;
S4.以小时为周期,每次输入每一周期的网络质量感知指标维表至所述网络异常检测模型中,以进行异常检测;
S5.所述网络异常检测模型输出每一周期的网络感知异常用户。
本实施例中,所述步骤S1,也就是采集物联网用户号码的信令数据,所述信令数据包括2G信令数据、3G信令数据、4G信令数据和5G信令数据后,需要对原始信令进行编解码,生成2G、3G、4G和5G信令的用户面与控制面话单。物联网用户定义为用户号码为物联网用户号段或用户上网使用的APN为物联网专用APN的用户。
关于步骤S2,基于所述用户控制面和用户面信令数据,计算用户小时粒度网络质量感知指标,生成网络质量感知指标维表,具体字段如下表所示:
网络质量感知指标维表
Figure BDA0002480196390000051
Figure BDA0002480196390000061
以小时为周期,每次输入每一周期的网络质量感知指标维表,以维表中序号3-41号的字段作为模型自变量,使用孤立森林算法建立网络感知异常检测模型,输出当前小时网络感知异常用户。使用孤立森林算法输出的异常得分评估用户是否网络感知异常用户,某个用户的异常得分s(x)定义如下:
Figure BDA0002480196390000062
式中,E(h(x))表示用户x的模型自变量在所有孤立树中的平均高度,所述模型自变量为用户小时粒度网络质量感知指标;s(x)表示用户x的异常得分,c(n)表示总样本数为n个二叉排序树查找不成功的平均查找路径长度,c(n)具体的计算公式为:c(n)=2H(n-1)-(2(n-1)/n),H()表示谐波数。
在所述网络感知异常检测模型中,将赋值为后,计算用户的异常得分情况,所述异常得分情况包括:
当用户当前小时的异常得分s为(0,0.3),则标记该用户为“网络感知正常用户”;
当用户当前小时的异常得分s为[0.3,0.8),则标记该用户为“网络感知疑似异常用户”;
当用户当前小时的异常得分s为[0.8,1],则标记该用户为“网络感知异常用户”。
本实施例中,根据异常得分情况,所述网络感知异常检测模型可输出输出当前小时网络感知异常用户。
另一方面,本实施例还包括一种物联网业务端到端网络感知异常原因溯源定界方法,参照图2,其具体包括以下步骤:
D1.建立分析模型,所述分析模型用于对网络感知异常原因进行溯源定界;
D2.统计所述物联网业务端到端网络感知异常检测方法检测出的用户网络感知异常情况;
D3.若同一用户连续3小时被标记为“网络感知异常用户”或连续5小时被标记为“网络感知疑似异常用户”,利用所述分析模型对所述用户进行感知异常原因分析;
D4.所述分析模型输出所述用户对应的网络感知异常原因。
本实施例中,步骤D3,也就是利用所述分析模型对所述用户进行感知异常原因分析这一步骤,具体包括:
D301.提取所述用户的网络质量感知指标维表;
D302.在所述网络质量感知指标维表中抽取感知异常对应小时或感知疑似异常对应小时的网络感知指标数据;
D303.将所述网络感知指标数据输入所述分析模型中;
D304.所述分析模型根据输入的所述网络感知指标数据对所述用户进行感知异常原因分析。
具体地,比如用户A连续3小时被标记为“网络感知异常用户”,则提取用户A对应的小时的网络质量感知指标维表,比如用户A分别在10:00~11:00、11:00~12:00和12:00~13:00这连续3小时都被标记为“网络感知异常用户”,则分别提取用户A在10:00~11:00的网络质量感知指标维表1,在11:00~12:00的网络质量感知指标维表2和在12:00~13:00的网络质量感知指标维表3,将网络质量感知指标维表1、网络质量感知指标维表2和网络质量感知指标维表3中的网络感知指标数据输入分析模型中,分析模型可输出用户A对应网络感知异常原因。同样地,比如用户B连续5小时被标记为“网络感知疑似异常用户”,按照同样的方式提取用户B对应的小时的网络质量感知指标维表,并将提取出的网络质量感知指标维表中的网络感知指标数据输入分析模型中,分析模型可输出用户B对应网络感知异常原因。
本实施例中,在利用分析模型对用户进行感知异常原因分析之前,需要对所述分析模型进行训练,具体地,网络感知异常原因分为“用户面指标劣化”、“业务面移动性指标劣化”、“业务面接入性指标劣化”、“业务面承载会话指标劣化”、“业务面保持性指标劣化”和“控制面指标劣化”六类标签。以历史异常用户的网络感知指标作为模型自变量(网络质量感知指标维表中编号3-41号的字段),人工溯源定界分析的结果(网络异常原因六类标签)作为模型因变量,输入分析模型,使用决策树算法训练模型,再通过准确率、精度、召回率等指标评估模型性能,调整参数优化模型,得到训练好的分析模型。
综上所述,本发明实施例中所述在边缘计算网络中分配任务的方法具有以下优点:
(1)本发明实施例提出一种基于孤立森林算法的物联网业务端到端网络感知异常检测方法,基于机器学习算法使物联网业务网络感知评估更为科学,提高评估的准确率,使其结果更为贴近真实用户感知;
(2)本发明实施例还提出一种基于决策树算法的物联网业务端到端网络感知异常原因的溯源定界方法,能够实现物联网业务端到端问题自动分析定界,无需人工分析与设定基础阈值,可确保物联网业务感知问题定位的准确率与时效性;
(3)本发明实施例提出的一种专用于物联网业务端到端网络感知异常检测与异常原因溯源定界方法,弥补了现有方案适用领域的空缺。
另一方面,本实施例还包括一种物联网业务端到端网络感知异常检测及异常原因溯源定界系统,包括:
用户信令数据采集模块,用于采集物联网用户号码的信令数据,所述信令数据包括2G信令数据、3G信令数据、4G信令数据和5G信令数据;
网络感知指标计算模块,用于根据采集得到的所述信令数据,计算用户小时粒度网络质量感知指标,生成网络质量感知指标维表;
网络感知异常用户检测模块,用于通过网络感知异常检测模型检测出网络感知异常用户;
网络感知异常原因溯源定界模块,用于通过分析模型分析出所述网络感知异常用户对应的网络感知异常原因。
另一方面,本发明实施例还包括一种物联网业务端到端网络感知异常检测及异常原因溯源定界装置,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行所述的一种物联网业务端到端网络感知异常检测及异常原因溯源定界方法。
另一方面,本发明实施例还包括一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于执行所述的一种物联网业务端到端网络感知异常检测及异常原因溯源定界方法。
所述系统可以是服务器或者个人计算机等设备,通过将所述一种物联网业务端到端网络感知异常检测及异常原因溯源定界的方法编写成计算机程序并写入服务器或者个人计算机中,可以得到所述在边缘计算网络中分配任务的系统,通过运行该系统,可以实现与所述在边缘计算网络中分配任务的方法相同的技术效果。
本实施例中,所述一种在边缘计算网络中分配任务的装置包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行实施例所述方法。
所述存储器还可以单独生产出来,并用于存储与一种物联网业务端到端网络感知异常检测及异常原因溯源定界的方法相应的计算机程序。当这个存储器与处理器连接时,其存储的计算机程序将被处理器读取出来并执行,从而实施所述一种物联网业务端到端网络感知异常检测及异常原因溯源定界的方法,达到实施例中所述的技术效果。
需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。此外,除非另有定义,本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本公开范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例,并且除非另外要求,否则不会对本发明的范围施加限制。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本实施例描述的过程的操作,除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种物联网业务端到端网络感知异常检测方法,其特征在于,包括:
采集物联网用户号码的信令数据,所述信令数据包括2G信令数据、3G信令数据、4G信令数据和5G信令数据,根据所述信令数据生成用户控制面和用户面信令数据;
基于所述用户控制面和用户面信令数据,计算用户小时粒度网络质量感知指标,生成网络质量感知指标维表;
使用孤立森林算法建立网络感知异常检测模型;
以小时为周期,每次输入每一周期的网络质量感知指标维表至所述网络异常检测模型中,以进行异常检测;
所述网络异常检测模型输出每一周期的网络感知异常用户;
其中,所述物联网用户定义为用户号码为物联网用户号段或用户上网使用的APN为物联网专用APN的用户。
2.根据权利要求1所述的一种物联网业务端到端网络感知异常检测方法,其特征在于,所述网络异常检测模型输出每一周期的网络感知异常用户这一步骤,包括:
根据输入的每一周期的网络质量感知指标维表,使用孤立森林算法计算用户的异常得分;
根据所述异常得分,获取评估结果,所述评估结果包括所述用户是网络感知异常用户或所述用户不是网络感知异常用户;
根据所述评估结果,输出每一周期的网络感知异常用户。
3.根据权利要求2所述的一种物联网业务端到端网络感知异常检测方法,其特征在于,所述异常得分是通过以下公式计算得到的:
Figure FDA0003897548200000011
式中,E(h(x))表示用户x的模型自变量在所有孤立树中的平均高度,所述模型自变量为用户小时粒度网络质量感知指标;s(x)表示用户x的异常得分,c(n)表示总样本数为n个二叉排序树查找不成功的平均查找路径长度,c(n)具体的计算公式为:c(n)=2H(n-1)-(2(n-1)/n),H()表示谐波数。
4.根据权利要求3所述的一种物联网业务端到端网络感知异常检测方法,其特征在于,所述根据输入的每一周期的网络质量感知指标维表,使用孤立森林算法计算用户的异常得分这一步骤还包括:
在所述网络感知异常检测模型中,将H(n-1)赋值为H(n-1)=ln(n-1)+0.5772156649,计算用户的异常得分情况,所述异常得分情况包括:
当用户当前小时的异常得分s为(0,0.3),则标记该用户为“网络感知正常用户”;
当用户当前小时的异常得分s为[0.3,0.8),则标记该用户为“网络感知疑似异常用户”;
当用户当前小时的异常得分s为[0.8,1],则标记该用户为“网络感知异常用户”。
5.一种物联网业务端到端网络感知异常原因溯源定界方法,其特征在于,包括:
建立分析模型,所述分析模型用于对网络感知异常原因进行溯源定界;
统计权利要求1-4任一项所述检测方法检测出的用户网络感知异常情况;
若同一用户连续3小时被标记为“网络感知异常用户”或连续5小时被标记为“网络感知疑似异常用户”,利用所述分析模型对所述用户进行感知异常原因分析;
所述分析模型输出所述用户对应的网络感知异常原因。
6.根据权利要求5所述的一种物联网业务端到端网络感知异常原因溯源定界方法,其特征在于,利用所述分析模型对所述用户进行感知异常原因分析这一步骤,具体包括:
提取所述用户的网络质量感知指标维表;
在所述网络质量感知指标维表中抽取感知异常对应小时或感知疑似异常对应小时的网络感知指标数据;
将所述网络感知指标数据输入所述分析模型中;
所述分析模型根据输入的所述网络感知指标数据对所述用户进行感知异常原因分析。
7.根据权利要求5所述的一种物联网业务端到端网络感知异常原因溯源定界方法,其特征在于,还包括对所述分析模型进行训练的步骤,包括:
以历史异常用户的网络感知指标作为模型自变量,人工溯源定界分析的结果作为模型因变量,输入所述分析模型,所述人工溯源定界分析的结果为网络异常原因标签,所述网络异常原因标签包括:“用户面指标劣化”、“业务面移动性指标劣化”、“业务面接入性指标劣化”、“业务面承载会话指标劣化”、“业务面保持性指标劣化”和“控制面指标劣化”;
使用决策树算法训练所述分析模型;
通过准确率指标、精度指标和召回率指标评估模型性能,调整参数优化所述分析模型。
8.一种物联网业务端到端网络感知异常检测及异常原因溯源定界系统,其特征在于,包括:
用户信令数据采集模块,用于采集物联网用户号码的信令数据,所述信令数据包括2G信令数据、3G信令数据、4G信令数据和5G信令数据,根据所述信令数据生成用户控制面和用户面信令数据;
网络感知指标计算模块,用于基于所述用户控制面和用户面信令数据,计算用户小时粒度网络质量感知指标,生成网络质量感知指标维表;
网络感知异常用户检测模块,用于通过网络感知异常检测模型检测出网络感知异常用户;
网络感知异常原因溯源定界模块,用于通过分析模型分析出所述网络感知异常用户对应的网络感知异常原因;
其中,所述物联网用户定义为用户号码为物联网用户号段或用户上网使用的APN为物联网专用APN的用户。
9.一种物联网业务端到端网络感知异常检测及异常原因溯源定界装置,其特征在于,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行权利要求1-7任一项所述的方法。
10.一种存储介质,其中存储有处理器可执行的指令,其特征在于,所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-7任一项所述的方法。
CN202010376683.6A 2020-05-07 2020-05-07 端到端网络感知异常检测及分析方法、系统、装置和介质 Active CN111669368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010376683.6A CN111669368B (zh) 2020-05-07 2020-05-07 端到端网络感知异常检测及分析方法、系统、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010376683.6A CN111669368B (zh) 2020-05-07 2020-05-07 端到端网络感知异常检测及分析方法、系统、装置和介质

Publications (2)

Publication Number Publication Date
CN111669368A CN111669368A (zh) 2020-09-15
CN111669368B true CN111669368B (zh) 2022-12-06

Family

ID=72383379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010376683.6A Active CN111669368B (zh) 2020-05-07 2020-05-07 端到端网络感知异常检测及分析方法、系统、装置和介质

Country Status (1)

Country Link
CN (1) CN111669368B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115250244B (zh) * 2021-04-28 2023-07-11 中国移动通信集团湖南有限公司 一种网络质量评价方法和装置
CN113822379B (zh) * 2021-11-22 2022-02-22 成都数联云算科技有限公司 工艺制程异常分析方法、装置、电子设备及存储介质
CN114625627B (zh) * 2022-05-16 2022-07-22 南京争锋信息科技有限公司 一种基于大数据多维分析的用户智能感知方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777873A (zh) * 2018-06-04 2018-11-09 江南大学 基于加权混合孤立森林的无线传感网络异常数据检测方法
CN109600363A (zh) * 2018-11-28 2019-04-09 南京财经大学 一种物联网终端网络画像及异常网络访问行为检测方法
CN109948669A (zh) * 2019-03-04 2019-06-28 腾讯科技(深圳)有限公司 一种异常数据检测方法及装置
CN110322368A (zh) * 2019-07-03 2019-10-11 厦门理工学院 一种谐波数据异常检测方法、终端设备及存储介质
CN110503570A (zh) * 2019-07-16 2019-11-26 国网江苏省电力有限公司滨海县供电分公司 一种异常用电数据检测方法、系统、设备、存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771313B2 (en) * 2018-01-29 2020-09-08 Cisco Technology, Inc. Using random forests to generate rules for causation analysis of network anomalies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108777873A (zh) * 2018-06-04 2018-11-09 江南大学 基于加权混合孤立森林的无线传感网络异常数据检测方法
CN109600363A (zh) * 2018-11-28 2019-04-09 南京财经大学 一种物联网终端网络画像及异常网络访问行为检测方法
CN109948669A (zh) * 2019-03-04 2019-06-28 腾讯科技(深圳)有限公司 一种异常数据检测方法及装置
CN110322368A (zh) * 2019-07-03 2019-10-11 厦门理工学院 一种谐波数据异常检测方法、终端设备及存储介质
CN110503570A (zh) * 2019-07-16 2019-11-26 国网江苏省电力有限公司滨海县供电分公司 一种异常用电数据检测方法、系统、设备、存储介质

Also Published As

Publication number Publication date
CN111669368A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111669368B (zh) 端到端网络感知异常检测及分析方法、系统、装置和介质
CN106951925B (zh) 数据处理方法、装置、服务器及系统
US11507963B2 (en) Method and device of analysis based on model, and computer readable storage medium
CN112102309A (zh) 一种确定图像质量评估结果的方法、装置及设备
CN110717542A (zh) 一种情绪识别方法、装置和设备
CN112215288B (zh) 目标企业的类别确定方法及装置、存储介质、电子装置
US20200057948A1 (en) Automatic prediction system, automatic prediction method and automatic prediction program
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN111178537A (zh) 一种特征提取模型训练方法及设备
CN114386931A (zh) 一种基于ai技术的图像分析系统及方法
CN114564345A (zh) 一种服务器异常检测方法、装置、设备及存储介质
CN114238402A (zh) 告警数据处理方法、装置、存储介质以及电子设备
CN105117980A (zh) 一种电网设备状态的自动评价方法
CN109743200B (zh) 基于资源特征的云计算平台计算任务成本预测方法及系统
CN116777692A (zh) 基于数据分析的在线学习方法、装置、设备及存储介质
US11448634B2 (en) Analysis apparatus, stratum age estimation apparatus, analysis method, stratum age estimation method, and program
CN111209394A (zh) 文本分类处理方法和装置
CN112398706B (zh) 数据评估标准确定方法、装置及存储介质、电子设备
CN106462614B (zh) 信息分析系统、信息分析方法以及信息分析程序
CN113592789A (zh) 暗光图像识别方法、装置、设备及存储介质
CN111046262A (zh) 一种数据标注方法、装置及计算机存储介质
CN111210053A (zh) 一种资源信息的配置方法、装置及服务器
CN116403074B (zh) 基于主动标注的半自动图像标注方法及标注装置
CN117475448B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN113538130B (zh) 异常检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant