CN116743606A - 一种异常流量监测方法、装置、设备及存储介质 - Google Patents

一种异常流量监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116743606A
CN116743606A CN202310934816.0A CN202310934816A CN116743606A CN 116743606 A CN116743606 A CN 116743606A CN 202310934816 A CN202310934816 A CN 202310934816A CN 116743606 A CN116743606 A CN 116743606A
Authority
CN
China
Prior art keywords
model
short message
target model
reference range
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310934816.0A
Other languages
English (en)
Inventor
任心怡
吴国防
王瑜
孙宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202310934816.0A priority Critical patent/CN116743606A/zh
Publication of CN116743606A publication Critical patent/CN116743606A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • H04W4/14Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种异常流量监测方法、装置、设备及存储介质,涉及通信领域,该方法包括:获取第一时长内短信业务的业务数据;根据第一时长内的短信业务的业务数据和异常流量监测模型,确定第一时长之后的第二时长内短信业务业务流量的参考范围;根据第二时长内短信流量业务流量的参考范围,确定短信流量的异常监测结果。该方法适用于短信业务的流量监测过程中,用于解决目前流量检测方案普适性不强的问题。

Description

一种异常流量监测方法、装置、设备及存储介质
技术领域
本申请涉及通信领域,尤其涉及一种异常流量监测方法、装置、设备及存储介质。
背景技术
随着通信技术和互联网的快速发展,短信业务在各行业的需求越来越丰富,例如信验证码、通知短息、订单短信、触发短信等。
对于短信业务流量的异常现象,及时发现并处理,是短信业务一项重要的工作。
现有的监测异常流量的方法,需要针对不同的系统流量设置不同的阈值,并且无法区分闲时和忙时的业务流量,普适性不强。
发明内容
基于上述技术问题,本申请提供一种异常流量监测方法、装置、设备及存储介质。可以通过构建异常流量监测模型预测信息业务的业务流量的参考范围,以此确定短信业务的异常监测结果
第一方面,本申请提供一种异常流量监测方法,该方法包括:获取第一时长内短信业务的业务数据;根据第一时长内的短信业务的业务数据和异常流量监测模型,确定第一时长之后的第二时长内短信业务业务流量的参考范围;根据第二时长内短信流量业务流量的参考范围,确定短信流量的异常监测结果。
一种可能的实现方式中,异常流量监测模型包括第一模型、第二模型、第三模型、以及第四模型,根据第一时长内的短信业务的业务数据和异常流量监测模型,确定第一时长之后的第二时长内短信流量业务流量的参考范围,包括:分别将第一时长内短信业务的业务数据输入第一模型、第二模型、第三模型、以及第四模型;得到第一模型预测的第二时长内短信业务业务流量的第一参考范围、得到第二模型预测的第二时长内短信业务业务流量的第二参考范围、得到第三模型预测的第二时长内短信业务业务流量的第三参考范围、以及得到第四模型预测的第二时长内短信业务业务流量的第四参考范围;对第一参考范围、第二参考范围、第三参考范围、以及第四参考范围进行加权求和,得到第二时长内短信业务业务流量的参考范围。
一种可能的实现方式中,根据第二时长内短信流量业务流量的参考范围,确定短信业务的异常流量监测结果,包括:获取第二时长内短信业务的实际业务流量;若实际业务流量高于参考范围的上限,或者,实际业务流量低于参考范围的下限,则确定短信业务的异常流量监测结果为异常。
可能地,获取训练样本集;训练样本包括多个训练样本,每个训练样本包括第三时长内短息业务的业务数据、以及第三时长内短信业务的业务数据对应的标签;标签为第三时长之后的第四时长内短信业务业务流量的参考范围;基于训练样本集对预设模型进行训练,得到异常流量监测模型。
一种可能的实现方式中,预设模型包括第一模型、第二模型、第三模型、以及第四模型,基于训练样本集对预设模型进行训练,得到异常流量监测模型,包括:分别基于训练样本集对第一模型、第二模型、第三模型、以及第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型;分别获取第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率;根据第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率,分别确定第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自对应的加权权重;根据第一目标模型、第一目标模型对应的加权权重、第二目标模型、第二目标模型对应的加权权重、第三目标模型、第三目标模型对应的加权权重、第四目标模型、以及第三目标模型对应的加权权重,得到异常监测模型。
一种可能的实现方式中,分别基于训练样本集对第一模型、第二模型、第三模型、以及第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型,包括:分别基于训练样本集利用对抗模式对第一目标模型、第二目标模型、第三目标模型、第四目标模型进行训练,得到完成训练的第一目标模型、完成训练的第二目标模型、完成训练的第三目标模型、以及完成训练的第四目标模型。
本申请提供的异常流量监测方法,可以获取第一时长内短信业务的业务数据,根据第一时长内短信业务的业务数据和异常流量监测模型,确定第一时长后的第二时长内短信业务流量的参考范围,根据第二时长内短信业务业务流量的参考范围,确定短信业务的异常流量监测结果,从而对用户业务流量是否发生异常进行准确、及时地预测。
此外,本申请利用异常流量监测模型进行预测,可以得到不同时段的参考范围,该参考范围是动态可变的,因此能够针对闲时、忙时、以及重大节假日场景进行动态监测。
第二方面,本申请提供一种异常流量监测装置,该装置包括:获取模块和处理模块。
获取模块,用于获得第一时长内的短信业务指标数据。
处理模块。用于根据第一时长内的短信业务的业务数据和异常流量监测模型,确定第一时长之后的第二时长内短信业务业务流量的参考范围;根据第二时长内短信流量业务流量的参考范围,确定短信流量的异常监测结果。
可选地,异常流量监测模型包括第一模型、第二模型、第三模型、以及第四模型,处理模块,具体用于分别将第一时长内短信业务的业务数据输入第一模型、第二模型、第三模型、以及第四模型;得到第一模型预测的第二时长内短信业务业务流量的第一参考范围、得到第二模型预测的第二时长内短信业务业务流量的第二参考范围、得到第三模型预测的第二时长内短信业务业务流量的第三参考范围、以及得到第四模型预测的第二时长内短信业务业务流量的第四参考范围;对第一参考范围、第二参考范围、第三参考范围、以及第四参考范围进行加权求和,得到第二时长内短信业务业务流量的参考范围。
可选地,处理模块,具体用于获取第二时长内短信业务的实际业务流量;若实际业务流量高于参考范围的上限,或者,实际业务流量低于参考范围的下限,则确定短信业务的异常流量监测结果为异常。
可选地,获取模块,还用于获取训练样本集;训练样本包括多个训练样本,每个训练样本包括第三时长内短息业务的业务数据、以及第三时长内短信业务的业务数据对应的标签;标签为第三时长之后的第四时长内短信业务业务流量的参考范围;处理模块,还用于基于训练样本集对预设模型进行训练,得到异常流量监测模型。
可选地,预设模型包括第一模型、第二模型、第三模型、以及第四模型,处理模块,具体用于分别基于训练样本集对第一模型、第二模型、第三模型、以及第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型;分别获取第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率;根据第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率,分别确定第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自对应的加权权重;根据第一目标模型、第一目标模型对应的加权权重、第二目标模型、第二目标模型对应的加权权重、第三目标模型、第三目标模型对应的加权权重、第四目标模型、以及第三目标模型对应的加权权重,得到异常监测模型。
可选地,具体用于分别基于训练样本集利用对抗模式对第一目标模型、第二目标模型、第三目标模型、第四目标模型进行训练,得到完成训练的第一目标模型、完成训练的第二目标模型、完成训练的第三目标模型、以及完成训练的第四目标模型。
第三方面,本申请提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述第一方面所述相关方法的步骤,以实现上述第一方面所述的方法。
第四方面,本申请提供一种电子设备,该电子设备包括:处理器和存储器;存储器存储有处理器可执行的指令;处理器被配置为执行指令时,使得电子设备实现上述第一方面所述的方法。
第五方面,本申请提供一种计算机可读存储介质,该计算机可读存储介质包括:计算机软件指令;当计算机软件指令在电子设备中运行时,使得电子设备实现上述第一方面所述的方法。
上述第二方面至第五方面的有益效果可以参考第一方面所述,不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的异常流量监测系统的组成示意图。
图2为本申请实施例提供的电子设备的组成示意图。
图3为本申请实施例提供的异常流量监测方法的一种流程示意图。
图4为本申请实施例提供的异常流量监测方法的另一种流程示意图。
图5为本申请实施例提供的异常监测示意图。
图6为本申请实施例提供的异常流量监测方法的又一种流程示意图。
图7为本申请实施例提供的异常流量监测方法的又一种流程示意图。
图8为本申请实施例提供的异常流量监测方法的又一种流程示意图。
图9为本申请实施例提供的异常流量监测方法的又一种流程示意图。
图10为本申请实施例提供的异常流量监测装置的组成示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中,“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分,本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。
随着技术的发展和移动互联网的发展,短信业务在各行业都发挥着越来越重要的作用,例如短信验证码、通知短息、订单短信、触发短信等方面的应用。要快速检测、定位和处理短信业务中出现的故障。
目前,主要通过流量矩阵法、残差方法、相对残差法、泊松分布法等方法对短信流量进行分析。
流量矩阵法将业务流量视为一个时间信号的序列,将其构造成一个流量矩阵。对流量矩阵进行主成分分解,在对这两部分进行经验模态分解,快速检测出异常流量。
残差方法使用回归方程式得出观测值的预测值,将观测值减去预测值得出残差,以残差表示流量是否出现异常。
相对残差法通过对流量的残差进行归一化处理,将真实值与预测值的差值除以预测值作为结果,以此表示流量是否出现异常。
泊松分布法是描述单位时间内随机事件发生次数的概率。大部分时间正常业务流量出现的概率远远大于异常量,通过业务流量出现异常的概率来检测异常流量。
但是,这些方法适用性不广,需要根据不同系统流量设置不同阈值。当流量出现较大变化时,也无法做出准确判断。
在此基础上,本申请实施例提供一种异常流量监测方法、装备、设备及存储介质,可以通过构建异常流量监测模型预测信息业务的业务流量的参考范围,以此确定短信业务的异常流量监测结果。
以下结合附图进行介绍。
图1为本申请实施例提供的异常流量监测系统的组成示意图。如图1所示,该系统包括:数据源装置100和异常流量监测装置200。数据源装置100和异常流量监测装置200之间可以通过有线网络或者无线网络连接。
数据源装置100可以是计算机或服务器等具有计算处理功能的计算设备。其中,服务器可以是单独的一个服务器,或者,也可以是由多个服务器构成的服务器集群。部分实施方式中,服务器集群还可以是分布式集群。可选地,服务器还可以在云平台实现,例如,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)以及多云(multi-cloud)等,或者他们的任意组合。
数据源装置100用于获取并储存短信业务的业务数据。
例如,数据源装置100可以与短信平台连接,数据源装置100可以接收并储存短信平台发送短信业务的业务数据。
在一些实施例中,数据源装置100还用于向异常流量监测装置200发送短信业务的业务数据。
如上所述,数据源装置100和异常流量监测装置200之间可以通过有线网络或无线网络连接。该有线网络或无线网络可以包括能够将短信业务的业务数据从数据源装置100传输到异常流量监测装置200的一个或多个媒体或设备。
异常流量监测装置200的具体形态可以参照上述数据源装置100所述,此处不再赘述。
例如,该异常流量监测装置200可以是网管设备。
异常流量监测装置200可以用于根据数据源装置100获取到的短信业务的业务数据,确定短信业务业务流量的监测结果,具体监测过程可以参照下述方法实施例提供的异常流量监测方法所述,此处不再赘述。
需要说明的是,上述图1中以数据源装置100和异常流量监测装置200为各自独立的装置为例进行了介绍。可选地,数据源装置100和异常流量监测装置200也可以合设为一体。也即,数据源装置100或者其对应的功能、以及异常流量监测装置200或者其对应的功能可以集成在一个装置上。例如,具有异常流量监测功能的数据源装置。本申请实施例对此不做限制。
本申请实施例提供的异常流量监测方法的执行主体为上述异常流量监测装置200。如上所述,该异常流量监测装置200可以是计算机或服务器等具有计算处理功能的电子设备。可选地,该异常流量监测装置200也可以是前述电子设备的处理器(例如中央处理器(central processing unit,CPU));或者,该异常流量监测装置200还可以是前述电子设备中安装的具有监测异常流量功能的应用程序(application,APP);再或者,该异常流量监测装置200还可以是部署于前述电子设备中的软件系统或平台;又或者,该异常流量监测装置200还可以是前述电子设备中具有监测异常流量功能的功能模块等。本申请实施例对此不作限制。
为了描述简单,以下统一以异常流量监测装置200为电子设备为例进行介绍。
图2为本申请实施例提供的电子设备的组成示意图。如图2上述,该电子设备可以包括:处理器10、存储器20、通信线路30、以及通信接口40、以及输入输出接口50。
其中,处理器10、存储器20、通信接口40以及输入输出接口50之间可以通过通信线路30连接。
处理器10,用于执行存储器20中存储的指令,以实现本申请下述实施例提供的异常流量监测方法。处理器10可以是CPU、通用处理器网络处理器(network processor,NP)、数字信号处理器(digital signal processing,DSP)、微处理器、微控制器(micro controlunit,MCU)/单片微型计算机(single chip microcomputer)/单片机、可编程逻辑器件(programmable logic device,PLD)或它们的任意组合。处理器10还可以是其它任意具有处理功能的装置,例如电路、器件或软件模块,本申请实施例对此不作限制。在一种示例中,处理器10可以包括一个或多个CPU,例如图2中的CPU0和CPU1。作为一种可选的实现方式,电子设备可以包括多个处理器,例如,除处理器10之外,还可以包括处理器60(图2中以虚线为例示出)。
存储器20,用于存储指令。例如,指令可以是计算机程序。可选地,存储器20可以是只读存储器(read-only memory,ROM)或可存储静态信息和/或指令的其他类型的静态存储设备,也可以是存取存储器(random access memory,RAM)或者可存储信息和/或指令的其他类型的动态存储设备,还可以是电可擦可编程只读存储器(electrically erasableprogrammable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备等,本申请实施例对此不作限制。
需要说明的是,存储器20可以独立于处理器10存在,也可以和处理器10集成在一起。存储器20可以位于电子设备内,也可以位于电子设备外,本申请实施例对此不作限制。
通信线路30,用于在电子设备所包括的各部件之间传送信息。
通信接口40,用于与其他设备(例如上述数据源装置100)或其它通信网络进行通信。该其它通信网络可以为以太网,无线接入网(radio access network,RAN),无线局域网(wireless local area networks,WLAN)等。通信接口40可以是模块、电路、收发器或者任何能够实现通信的装置。
输入输出接口50,用于实现用户和电子设备之间的人机交互。例如实现用户和电子设备之间的动作交互或信息交互。
示例性地,输入输出接口50可以是鼠标、键盘、显示屏、或者触控显示屏等。通过鼠标、键盘、显示屏、或者触控显示屏等可以实现用户和电子设备之间的动作交互或信息交互。
需要说明的是,图2中示出的结构并不构成对电子设备的限定,除图2所示的部件之外,电子设备可以包括比图示更多或更少的部件,或者某些部件的组合,或者不同的部件布置。
以下对本申请实施例提供的异常流量监测方法进行介绍。
图3为本申请实施例提供的异常流量监测方法的流程示意图。如图3所示,该方法包括S101至S103。
S101、电子设备获取第一时长内短信业务的业务数据。
其中,第一时长可以由技术人员预设在上述电子设备或者数据源装置100中。例如,第一时长是24小时、或者48小时、又或者72小时等。本申请实施例对对第一时长的具体时长不作限制。如上所述,短信业务的业务数据可以包括短信业务量、短信成功率、峰值业务量、以及短信时延等的一种或多种。短信业务量是用户接收和发送的短信的总条数。短信成功率是指用户提交要发送短信的手机号码与最终成功收到短信的手机号码之间的比率。峰值业务量是用户接收和发送短息的总条数最多点的数值。短信时延是短信从发送方发送到接收方所需要的时间。
可选地,电子设备接收数据源装置100发送的第一时长内短信业务的业务数据。
例如,第一时长可以预设在电子设备中,电子设备可以向数据源装置100发送请求信息,请求信息用于请求获取第一时长内短信业务的业务数据。
再例如,第一时长可以预设在数据源装置100中,电子设备可以接受数据源装置100按照预设周期发送的第一时长内短信业务的业务数据。
可选地,如上所述,电子设备(异常流量监测装置200)可以是网管设备,网管设备可以通过接口机接收短信平台(数据源装置100)发送的话单文件,并将话单文件转移到指定的文件传输协议(file transfer protocol,FTP)目录,并按照预设的解析规则将话单文件聚合到分布式文件系统(Hadoop distributed file system,HDFS)中,并对HDFS中的话单文件进行数据清洗,根据数据清洗之后的话单文件得到第一时长内短信业务的业务数据。
S102、电子设备根据第一时长内的短信业务的业务数据和异常流量监测模型,确定第一时长之后的第二时长内短信业务业务流量的参考范围。
S102的具体过程可以参照下述图6中的S1021至S1023所述,此处不再赘述。
其中,参考范围可以包括上限和下限。
可选地,参考范围的上限和下限可以是两个业务流量阈值集合。例如,上限可以表示为A=[a1,a2,a3,a4],其中,a1至a4表示不同时刻各自对应的流量上限阈值,下限可以表示为B=[b1,b2,b3,b4],其中b1至b4表示不同时刻各自对应的业务流量下限阈值。
可选地,电子设备可以获取业务流量统计图,该业务流量统计图的横轴为时间轴,纵轴表示业务流量,在这种情况下,上限和下限可以为统计图中的两条阈值线,两条阈值线中处于上方的阈值线为上限,两条阈值线中处于下方的阈值线为下限。
S103、电子设备根据第二时长内短信流量业务流量的参考范围,确定短信流量的异常监测结果。
其中,第二时长可以由技术人员预设在电子设备和数据源装置100中,第二时长的时长可以和第一时长的时长相同,或者,第二时长的时长与第一时长的时长不同。本申请实施例对第一时长和第二时长的时长关系不做限制。
可选地,图4为本申请实施例提供的异常流量监测方法的另一种流程示意图。如图4所示,上述S103可以具体包括S1031和S1032。
S1031、电子设备获取第二时长内短信业务的实际业务流量。
可选地,电子设备接收到数据源装置发送的第二时长内短信业务的实际业务流量。
例如,如上所述,电子设备可以通过有线网络或无线网络和数据源装置100连接,则电子设备可以通过该有线网络或无线网络接收数据源装置100发送的第二时长内短信业务的实际业务流量。
S1032、电子设备根据第二时长内短信流量业务流量的参考范围、以及实际业务流量,确定短信业务的异常流量监测结果。
可选地,若短信业务的实际业务流量高于参考范围的上限,或者,短信业务的实际业务流量低于参考范围的下限,则电子设备可以确定短信业务的异常流量监测结果为异常。
可选地,若短信业务的实际业务流量低于参考范围的上限,且高于参考范围的下限值,则电子设备可以确定短信业务的异常流量监测结果为正常。
需要说明的是,若短信业务的实际业务流量等于参考范围的上限,则电子设备可以确定短信业务的异常流量监测结果为正常或者异常;若短信业务的实际业务流量等于参考范围的下限,则电子设备可以确定短信业务的异常流量监测结果为正常或者异常。本申请实施例对此不作限制。
示例性地,图5为本申请实施例提供的异常监测示意图。如图5所示,
在2023-03-09 00:05至2023-03-09 03:35之间,短信业务的实际业务流量处于异常流量监测模型的参考范围之间,则电子设备可以确定短信业务的异常流量监测结果为正常。
在2023-03-09 03:35至2023-03-09 07:05之间,短信业务的实际业务流量高于异常流量监测模型的参考范围,则电子设备可以确定短信业务的异常流量监测结果为异常。
在2023-03-09 07:05至2023-03-09 10:35之间,短信业务的实际业务流量高于异常流量监测模型的参考范围,则电子设备可以确定短信业务的异常流量监测结果为异常。
在2023-03-09 10:35至2023-03-09 14:05之间,短信业务的实际业务流量高于异常流量监测模型的参考范围,则电子设备可以确定短信业务的异常流量监测结果为异常。
一些可能的实施例中,电子设备还可以统计短信业务不同时间段的异常监测结果,并视图化展示该不同时间段的异常监测结果。
一些可能的实施例中,在连续N个时间段的异常监测结果均为异常的情况下,电子设备可以发出告警。例如,电子设备可以与管理人员的管理设备连接,电子设备可以向管理设备发出告警信息。
其中,N为正整数。N可以由管理人员预设在电子设备中,例如,N可以设置为3、4或者5等。本申请实施例对N的具体取值不作限制。
一些可能的实施例中,电子设备还可以获取异常原因和优化方案。例如,电子设备可以接收管理人员输入的异常原因和优化方案。
本申请实施例提供的异常流量监测方法中,电子设备可以获取第一时长内短信业务的业务数据,根据第一时长内短信业务的业务数据和异常流量监测模型,确定第一时长后的第二时长内短信业务流量的参考范围,根据第二时长内短信业务业务流量的参考范围,确定短信业务的异常流量监测结果,从而对用户业务流量是否发生异常进行准确、及时地预测。
此外,本申请利用异常流量监测模型进行预测,可以得到不同时段的参考范围,该参考范围是动态可变的,因此能够针对闲时、忙时、以及重大节假日场景进行动态监测。
以下对上述S102进行介绍。
一些可能的实施例中,上述异常流量监测模型可以包括第一模型、第二模型、第三模型、以及第四模型,异常流量监测模型的输出结果是对第一模型、第二模型、第三模型、以及第四模型的输出结果进行加权求和之后得到的。在这种情况下,图6为本申请实施例提供的异常流量监测方法的另一种流程示意图。如图6所示,上述S102可以具体包括S1021至S1023。
S1021、电子设备分别将第一时长内短信业务的业务数据输入第一模型、第二模型、第三模型、以及第四模型。
其中,第一模型可以是轻量级梯度特生计算机算法(light gradient boostingmachine,LightGBM)模型。第二模型可以是门控循环单元(gate recurrent unit,GRU)回归模型。第三模型可以是转换器(transformers)模型。第四模型可以是端到端(sequence toSequence,seq2Seq)模型。
S1022、电子设备根据第一模型、第二模型、第三模型、以及第四模型的训练结果分别得到第一模型预测的第二时长内短信业务业务流量的第一参考范围、第二模型预测的第二时长内短信业务业务流量的第二参考范围、第三模型预测的第二时长内短信业务业务流量的第三参考范围、第四模型预测的第二时长内短信业务业务流量的第四参考范围。
S1023、电子设备对第一参考范围、第二参考范围、第三参考范围、以及第四参考范围进行加权求和,得到第二时长内短信业务的参考范围。
其中,加权求和的权重通过根据第一模型、第二模型、第三模型、以及第四模型各自训练时的准确率得到。具体可以参照下述实施例中异常流量监测模型的训练过程所述,此处不再赘述。
一种可能的实施例中,在利用异常流量监测模型预测业务流量的参考范围之前,电子设备还可以获取异常流量监测模型。
一种可能的实现方式中,电子设备可以直接从其他设备中获取训练完成的异常流量监测模型。
例如,电子设备从其他设备上下载,或者利用中间存储介质转存训练完成的异常流量监测模型。
另一种可能的实现方式中,电子设备可以利用训练样本集训练得到流量监测模型。在这种情况下,图7为本申请实施例提供的异常流量监测方法的又一种流程示意图。如图7所示,在上述S101之前,该方法还可以包括S201至S202。
S201、电子设备获取训练样本集。
其中,训练样本集包括多个训练样本,每个训练样本包括第三时长内短信业务的业务数据、以及第三时长内短信业务的业务数据对应的标签。
第三时长的时长可以和第一时长的时长相同。标签为第三时长之后的第四时长内短信业务业务流量的参考范围。
S202、电子设备基于训练样本集对预设模型进行训练,得到异常流量监测模型。
可选地,预设模型包括第一模型、第二模型、第三模型、以及第四模型,在这种情况下,图8为本申请实施例提供的异常监测方法的又一种流程示意图。如图8所示,上述S202可以具体包括S2021至S2024。
S2021、电子设备分别基于训练样本集对第一模型、第二模型、第三模型、以及第四模型进行训练,得到完成训练的第一目标模型、完成训练的第二目标模型、完成训练的第三目标模型、以及完成训练的第四目标模型。
例如,以第一模型为例,如上所述,训练样本集可以包括多个训练样本。第一电子设备每次将一个训练样本输入第一模型,得到一个预测值(第一模型预测的第四时长内短信业务业务流量的参考范围),根据预测值和训练样本中的标签(第四时长内短信业务业务流量的参考范围)计算损失函数(loss),并调整神经网络的参数。以此类推,迭代训练直至第一模型收敛。
可选地,第一模型收敛(结束训练)的条件可以包括:第一电子设备将训练样本输入第一模型的次数达到预设的次数阈值,或者,预测值和标签的误差小于预设的误差阈值。
可选地,电子设备可以分别基于训练样本集利用对抗训练模式对第一模型、第二模型、第三模型、以及第四模型进行训练,得到完成训练的第一目标模型、完成训练的第二目标模型、完成训练的第三目标模型、以及完成训练的第四目标模型。
其中,利用对抗训练模式进行训练也即利用训练样本生成对抗样本对预设模型进行训练,具体过程可以参照相关技术中所述,此处不再赘述。
S2022、电子设备分别获取第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率。
S2023、电子设备根据第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率,电子设备分别确定第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自对应的加权权重。
可选地,以第一目标模型为例,电子设备可以按照下述公式(1)来计算第一目标模型的加权权重:
公式(1)中,XA表示第一目标模型的加权权重,a表示第一目标模型的准确率,b表示第一目标模型的准确率,c表示第一目标模型的准确率,d表示第四目标模型的准确率。
S2024、根据第一目标模型、第一目标模型对应的加权权重、第二目标模型、第二目标模型对应的加权权重、第三目标模型、第三目标模型对应的加权权重、第四目标模型、以及第四目标模型对应的加权权重,得到异常流量监测模型。
可选地,在训练之后,电子设备还可以对训练完成的预设模型进行测试。也即,该方法还包括:
S1、电子设备获取测试样本集。
其中,测试样本集包括多个测试样本。每个测试样本包括第三时长内短信业务的业务数据、以及第三时长内短信业务的业务数据对应的标签,该标签为第三时长后的第四时长内短信业务业务流量的参考范围。
S2、电子设备基于测试样本集对完成训练的预设模型进行测试,得到异常流量监测模型。
例如,电子设备可以基于测试样本集对完成训练的预设模型进行测试,得到测试结果,并根据测试结果计算准确率和召回率,在准确率和召回率均高于各自对应的阈值的情况下,电子设备可以将该完成训练的的预设模型作为异常流量监测模型。准确率和召回率的具体计算过程可以参照相关技术所述,此处不再赘述。
基于上述实施例的理解,图9为本申请实施例提供的异常流量监测方法的又一种流程示意图。如图9所示,该异常监测方法可以包括:创建异常监测任务、数据提取、特征分析、算法调优、模型训练、模型评估、以及模型使用共计七个部分。
其中,创建异常监测任务部分,电子设备可以接收管理人员输入或选择的选择指标,并根据选择指标选择样本数据。
数据提取部分可以对选择出的样本数据进一步抽取。
特征分析部分可以对抽取的样本数据进行分析,抽查样本数据的集中程度、离散程度和分布形状。
算法调优、模型训练、模型评估、以及模型使用部分可以参照上述实施例中所述,此处不再赘述。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术目标应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术目标可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在示例性的实施例中,本申请实施例还提供了一种异常流量监测装置,该异常流量监测装置可以应用于上述异常流量监测装置200,图10为本申请实施例提供的异常流量监测装置的组成示意图。如图10所示,该装置可以包括:获取模块601和处理模块602。获取模块601,用于获取第一时间内的业务流量的业务数据。处理模块602,用于根据第一时长内的短信业务的业务数据和异常流量监测模型,确定第一时长之后的第二时长内短信业务业务流量的参考范围;根据第二时长内短信流量业务流量的参考范围,确定短信流量的异常监测结果。
一些可能的实施例中,异常流量监测模块包括第一模型、第二模型、第三模型、以及第四模型,处理模块602,具体用于分别将第一时长内短信业务的业务数据输入第一模型、第二模型、第三模型、以及第四模型;分别得到第一模型预测的第二时长内短信业务业务流量的第一参考范围、第二模型预测的第二时长内短信业务业务流量的第二参考范围、第三模型预测的第二时长内短信业务业务流量的第三参考范围、以及第四模型预测的第二时长内短信业务业务流量的第四参考范围;对第一参考范围、第二参考范围、第三参考范围、以及第四参考范围进行加权求和,得到第二时长内短信业务的参考范围。
又一些可能的实施例中,处理模块601,具体用于获取第二时长内的短信业务的实际业务流量;根据短信业务的实际业务流量确定短信业务的异常流量监测结果。
又一些可能的实施例中,获取模块601,还用于获取训练样本集;训练样本包括多个训练样本,每个训练样本包括第三时长内短信业务的业务数据、以及第三时长内短信业务的业务数据所对应的标签;标签为第三时长之后的第四时长内短信业务业务流量的参考范围。处理模块602,还用于基于训练样本集对月神模型进行训练,得到异常流量监测模型。
又一些可能的实施例中,预设模型包括第一模型、第二模型、第三模型、以及第四模型,处理模块602,具体用于分别基于训练样本集对第一模型、第二模型、第三模型、以及第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型;分别获取第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率;根据第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自的准确率,分别确定第一目标模型、第二目标模型、第三目标模型、以及第四目标模型各自对应的加权权重;根据第一目标模型、第一目标模型对应的加权权重、第二目标模型、第二目标模型对应的加权权重、第三目标模型、第三目标模型对应的加权权重、第四目标模型、以及第四目标模型对应的加权权重,得到异常流量监测模型。
又一些可能的实施例中,处理模块602,具体用于分别基于训练样本集利用对抗模式对第一模型、第二模型、第三模型、以及第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型。
在示例性的实施例中,本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关方法步骤,以实现前述方法实施例中的方法。
在示例性的实施例中,本申请实施例还提供了一种可读存储介质,包括软件指令,当其在电子设备上运行时,使得电子设备执行上述实施例提供的任意一种方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机执行指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机执行指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机执行指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看附图、公开内容、以及所附权利要求书,可理解并实现公开实施例的其他变化。在权利要求中,“包括”(Comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种异常流量监测方法,其特征在于,所述方法包括:
获取第一时长内短信业务的业务数据;
根据所述第一时长内的短信业务的业务数据和异常流量监测模型,确定所述第一时长之后的第二时长内短信业务业务流量的参考范围;
根据所述第二时长内短信流量业务流量的参考范围,确定短信流量的异常监测结果。
2.根据权利要求1所述的方法,其特征在于,所述异常流量监测模型包括第一模型、第二模型、第三模型、以及第四模型,所述根据所述第一时长内的短信业务的业务数据和异常流量监测模型,确定所述第一时长之后的第二时长内短信流量业务流量的参考范围,包括:
分别将所述第一时长内短信业务的业务数据输入所述第一模型、所述第二模型、所述第三模型、以及所述第四模型;
得到所述第一模型预测的所述第二时长内短信业务业务流量的第一参考范围、得到所述第二模型预测的所述第二时长内短信业务业务流量的第二参考范围、得到所述第三模型预测的所述第二时长内短信业务业务流量的第三参考范围、以及得到所述第四模型预测的所述第二时长内短信业务业务流量的第四参考范围;
对所述第一参考范围、所述第二参考范围、所述第三参考范围、以及所述第四参考范围进行加权求和,得到所述第二时长内短信业务业务流量的参考范围。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述第二时长内短信流量业务流量的参考范围,确定短信业务的异常流量监测结果,包括:
获取所述第二时长内短信业务的实际业务流量;
若所述实际业务流量高于所述参考范围的上限,或者,所述实际业务流量低于所述参考范围的下限,则确定所述短信业务的异常流量监测结果为异常。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取训练样本集;所述训练样本包括多个训练样本,每个训练样本包括第三时长内短息业务的业务数据、以及所述第三时长内短信业务的业务数据对应的标签;所述标签为所述第三时长之后的第四时长内短信业务业务流量的参考范围;
基于所述训练样本集对预设模型进行训练,得到所述异常流量监测模型。
5.根据权利要求4所述的方法,其特征在于,所述预设模型包括第一模型、第二模型、第三模型、以及第四模型,所述基于所述训练样本集对预设模型进行训练,得到所述异常流量监测模型,包括:
分别基于所述训练样本集对所述第一模型、所述第二模型、所述第三模型、以及所述第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型;
分别获取所述第一目标模型、所述第二目标模型、所述第三目标模型、以及所述第四目标模型各自的准确率;
根据所述第一目标模型、所述第二目标模型、所述第三目标模型、以及所述第四目标模型各自的准确率,分别确定所述第一目标模型、所述第二目标模型、所述第三目标模型、以及所述第四目标模型各自对应的加权权重;
根据所述第一目标模型、所述第一目标模型对应的加权权重、所述第二目标模型、所述第二目标模型对应的加权权重、所述第三目标模型、所述第三目标模型对应的加权权重、所述第四目标模型、以及所述第三目标模型对应的加权权重,得到所述异常监测模型。
6.根据权利要求5所述的方法,其特征在于,所述分别基于所述训练样本集对所述第一模型、所述第二模型、所述第三模型、以及所述第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型,包括:
分别基于所述训练样本集利用对抗模式对所述第一目标模型、所述第二目标模型、所述第三目标模型、所述第四目标模型进行训练,得到完成训练的第一目标模型、完成训练的第二目标模型、完成训练的第三目标模型、以及完成训练的第四目标模型。
7.一种异常流量监测装置,其特征在于,所述装置包括:获取模块和处理模块;
所述获取模块,用于获得第一时长内的短信业务指标数据;
所述处理模块,用于根据所述第一时长内的短信业务的业务数据和异常流量监测模型,确定所述第一时长之后的第二时长内短信业务业务流量的参考范围;根据所述第二时长内短信流量业务流量的参考范围,确定短信流量的异常监测结果。
8.根据权利要求7所述的装置,其特征在于,所述异常流量监测模型包括第一模型、第二模型、第三模型、以及第四模型,所述处理模块,具体用于分别将所述第一时长内短信业务的业务数据输入所述第一模型、所述第二模型、所述第三模型、以及所述第四模型;得到所述第一模型预测的所述第二时长内短信业务业务流量的第一参考范围、得到所述第二模型预测的所述第二时长内短信业务业务流量的第二参考范围、得到所述第三模型预测的所述第二时长内短信业务业务流量的第三参考范围、以及得到所述第四模型预测的所述第二时长内短信业务业务流量的第四参考范围;对所述第一参考范围、所述第二参考范围、所述第三参考范围、以及所述第四参考范围进行加权求和,得到所述第二时长内短信业务业务流量的参考范围;
和/或,
所述处理模块,具体用于获取所述第二时长内短信业务的实际业务流量;若所述实际业务流量高于所述参考范围的上限,或者,所述实际业务流量低于所述参考范围的下限,则确定所述短信业务的异常流量监测结果为异常;
和/或,
所述获取模块,还用于获取训练样本集;所述训练样本包括多个训练样本,每个训练样本包括第三时长内短息业务的业务数据、以及所述第三时长内短信业务的业务数据对应的标签;所述标签为所述第三时长之后的第四时长内短信业务业务流量的参考范围;所述处理模块,还用于基于所述训练样本集对预设模型进行训练,得到所述异常流量监测模型;
和/或,
所述预设模型包括第一模型、第二模型、第三模型、以及第四模型,所述处理模块,具体用于分别基于所述训练样本集对所述第一模型、所述第二模型、所述第三模型、以及所述第四模型进行训练,得到训练完成的第一目标模型、训练完成的第二目标模型、训练完成的第三目标模型、以及训练完成的第四目标模型;分别获取所述第一目标模型、所述第二目标模型、所述第三目标模型、以及所述第四目标模型各自的准确率;根据所述第一目标模型、所述第二目标模型、所述第三目标模型、以及所述第四目标模型各自的准确率,分别确定所述第一目标模型、所述第二目标模型、所述第三目标模型、以及所述第四目标模型各自对应的加权权重;根据所述第一目标模型、所述第一目标模型对应的加权权重、所述第二目标模型、所述第二目标模型对应的加权权重、所述第三目标模型、所述第三目标模型对应的加权权重、所述第四目标模型、以及所述第三目标模型对应的加权权重,得到所述异常监测模型;
和/或,
所述处理模块,具体用于分别基于所述训练样本集利用对抗模式对所述第一目标模型、所述第二目标模型、所述第三目标模型、所述第四目标模型进行训练,得到完成训练的第一目标模型、完成训练的第二目标模型、完成训练的第三目标模型、以及完成训练的第四目标模型。
9.一种电子设备,其特征在于,所述电子设备包括:处理器和存储器;
所述存储器存储有所述处理器可执行的指令;
所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括:计算机软件指令;
当所述计算机软件指令在电子设备中运行时,使得所述电子设备实现如权利要求1-6任一项所述的方法。
CN202310934816.0A 2023-07-27 2023-07-27 一种异常流量监测方法、装置、设备及存储介质 Pending CN116743606A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310934816.0A CN116743606A (zh) 2023-07-27 2023-07-27 一种异常流量监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310934816.0A CN116743606A (zh) 2023-07-27 2023-07-27 一种异常流量监测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116743606A true CN116743606A (zh) 2023-09-12

Family

ID=87909767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310934816.0A Pending CN116743606A (zh) 2023-07-27 2023-07-27 一种异常流量监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116743606A (zh)

Similar Documents

Publication Publication Date Title
CN106992994B (zh) 一种云服务的自动化监控方法和系统
CN106130816A (zh) 一种内容分发网络监控方法、监控服务器及系统
CN107528749A (zh) 基于云防护日志的网站可用性检测方法、装置及系统
US9491186B2 (en) Method and apparatus for providing hierarchical pattern recognition of communication network data
Hong et al. DAC‐Hmm: detecting anomaly in cloud systems with hidden Markov models
CN110825589B (zh) 用于微服务系统的异常检测方法及其装置和电子设备
CN110139278B (zh) 车联网下安全型防御合谋攻击的系统的方法
CN115204733A (zh) 数据审计方法、装置、电子设备及存储介质
KR20180130295A (ko) 통신망의 장애를 예측하는 장치 및 방법
WO2024007615A1 (zh) 模型训练方法、装置及相关设备
CN106484601B (zh) 客户端的用户数据分析方法及系统
CN116743606A (zh) 一种异常流量监测方法、装置、设备及存储介质
CN114116128B (zh) 容器实例的故障诊断方法、装置、设备和存储介质
CN116701191A (zh) 量化回测的优化方法、装置、设备、存储介质及程序产品
CN110704614A (zh) 对应用中的用户群类型进行预测的信息处理方法及装置
CN112596985B (zh) 一种it资产探测方法、装置、设备和介质
CN115150289A (zh) 基于复合监控的异常处理方法及系统
CN110413482B (zh) 检测方法和装置
CN111651753A (zh) 用户行为分析系统及方法
CN113850499B (zh) 一种数据处理方法、装置、电子设备和存储介质
CN116915463B (zh) 一种调用链数据安全分析方法、装置、设备及存储介质
CN116882724B (zh) 一种业务流程优化方案的生成方法、装置、设备及介质
CN113596051B (zh) 检测方法、检测装置、电子设备、介质和计算机程序
CN115514613B (zh) 告警策略获得方法、装置
CN117176728B (zh) 基于云边协同技术的工业物联网调度方法及调度系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination