CN114006865B - 基于多维度指标的用户流量控制系统、方法、终端及介质 - Google Patents

基于多维度指标的用户流量控制系统、方法、终端及介质 Download PDF

Info

Publication number
CN114006865B
CN114006865B CN202111615399.0A CN202111615399A CN114006865B CN 114006865 B CN114006865 B CN 114006865B CN 202111615399 A CN202111615399 A CN 202111615399A CN 114006865 B CN114006865 B CN 114006865B
Authority
CN
China
Prior art keywords
user
index
real
time
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111615399.0A
Other languages
English (en)
Other versions
CN114006865A (zh
Inventor
汤小波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Linkedcare Information Technology Co ltd
Original Assignee
Shanghai Linkedcare Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Linkedcare Information Technology Co ltd filed Critical Shanghai Linkedcare Information Technology Co ltd
Priority to CN202111615399.0A priority Critical patent/CN114006865B/zh
Publication of CN114006865A publication Critical patent/CN114006865A/zh
Application granted granted Critical
Publication of CN114006865B publication Critical patent/CN114006865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/20Traffic policing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/069Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003Managing SLA; Interaction between SLA and QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/10Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明的基于多维度指标的用户流量控制系统、方法、终端及介质,解决了现有技术中针对ToB SaaS业务用户多,流量大,可用性要求高以及各用户服务等级不同的特点,如何通过流控方案来提升系统整体稳定性,还保障了用户服务等级协议的技术问题。本发明提供一种基于多维度指标的用户流量控制系统,针对ToB SaaS业务特点,结合工作实践,基于用户画像,用户管理,实时指标计算及流控算法等手段,实现通用的ToB SaaS产品的服务等级方案,保障用户业务可用性,还大大的提升了SaaS服务整体稳定性。

Description

基于多维度指标的用户流量控制系统、方法、终端及介质
技术领域
本发明应用于数据管理领域,特别是涉及一种基于多维度指标的用户流量控制系统、方法、终端及介质。
背景技术
通常提到的SaaS,是Software-as-a-Service的缩写名称,意思为软件即服务。SaaS是一种软件交付模式,在这种交付模式中,软件仅需透过互联网,不须经过传统的安装步骤即可使用,软件及其相关的数据集中托管于云端服务。用户可以根据工作实际需求,通过互联网向厂商定购所需的应用软件服务,按定购的服务多少和时间长短向厂商支付费用,并通过互联网获得Saas平台供应商提供的服务。
通常提到的ToB SaaS,作为SaaS的一种形态,相对于传统软件交付模式,有如下特点及可能遇到的挑战:ToB SaaS主流交付模式为云端部署,云端部署给用户带来高扩展性,快速迭代以及低运维成本,但是在同时服务上万乃至数十万用户的情况下,很难保证整体服务等级协议SLA;ToB SaaS收费模式为订阅模式,即只在订阅/使用软件产品/服务时才会收取相应的费用,这种方式会带来大量的经常性收入,使得企业营收有较强的可预测性;但是针对这一特点,为了满足不同的服务等级/用户特征,SaaS厂商也面临着是否能够提供对应的服务水平来优先保障高等级用户权限的困难;ToB SaaS作为SaaS的一种形态,面向的用户是企业,相对于2C SaaS,其业务特征更明显,则需要要求更高的稳定性以及更需要提取业务关键路径。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于多维度指标的用户流量控制系统、方法、终端及介质,用于解决现有技术中针对ToB SaaS业务用户多,流量大,可用性要求高以及各用户服务等级不同的特点,如何通过流控方案来提升系统整体稳定性,还保障了用户服务等级协议的技术问题。
为实现上述目的及其他相关目的,本发明提供一种基于多维度指标的用户流量控制系统,所述系统包括:用户管理模块,用于记录各用户分别对应各用户属性指标的管理信息;实时指标计算引擎,用于根据获取的来自接入网关的访问日志计算获得各实时指标的计算结果;其中,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种;用户画像模块,连接所述用户管理模块以及实施指标计算引擎,用于根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果,对各用户设置一或多个用户标签,并构建对应各用户的用户画像;其中,所述用户标签包括:与所述用户属性指标相关的用户属性标签和/或与对应用户实时属性指标相关的用户实时属性标签;流量控制规则引擎,连接所述实时指标计算引擎以及用户画像模块,用于基于异常指标规则,根据各实时指标的计算结果以及各用户的用户画像,识别并输出一或多个异常指标;流控模块,连接所述流量控制规则引擎,用于基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行一或多个维度的流量控制。
于本发明的一实施例中,所述实时指标计算引擎包括:指标识别单元,用于根据获取的来自接入网关的访问日志中的日志字段,识别对应各实时指标;计算单元,连接所述指标识别单元,用于基于对应各实时指标的计算公式,根据所述访问日志计算获得对应各指标的计算结果。
于本发明的一实施例中,所述用户画像模块包括:接收单元,用于接收所述各用户属性指标的管理信息以及对应各用户的用户实时指标的计算结果;标签化单元,连接所述接收单元,用于基于标签分类模型,根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果获得对应各用户的一或多个用户标签;其中,所述标签分类模型由各用户标签以及用户历史指标数据训练获得;所述用户历史指标数据包括:各用户属性指标的历史管理信息以及用户实时属性指标的计算结果;用户画像单元,连接所述标签化单元,用于根据各用户对应的各用户标签,分别对构建各用户的用户画像。
于本发明的一实施例中,所述异常指标规则包括:预定义规则和/或异常点检测规则;
其中,所述预定义规则包括:对需异常设置的指标分别进行条件预定义,以筛选不符合预定义条件的指标作为异常指标;所述异常点检测规则包括:对各指标对应的数据异常点进行检测,将具有异常点的数据所对应的指标作为异常指标。
于本发明的一实施例中,所述用户属性指标包括:注册时间、软件版本、用户活跃度、管理员账号、用户等级、预约情况、续费周期中的一种或多种。
于本发明的一实施例中,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种;其中,所述用户实时属性指标包括:用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度、用户功能实时属性指标以及用户账号实时属性指标;所述功能实时属性指标包括:各功能的使用量和/或数据变化量;所述账号实时属性指标包括:多设备同账号登录情况、同设备多账号登录情况、账号登陆IP异常情况、以及账号越权登录情况中的一种或多种。
于本发明的一实施例中,所述访问日志包括:网关日志、埋点日志以及数据变更日志中的一种或多种。
为实现上述目的及其他相关目的,本发明提供一种基于多维度指标的用户流量控制方法,所述方法包括:记录各用户分别对应各用户属性指标的管理信息;根据获取的来自接入网关的访问日志计算获得各实时指标的计算结果;其中,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种;根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果,对各用户设置一或多个用户标签,并构建对应各用户的用户画像;其中,所述用户标签包括:与所述用户属性指标相关的用户属性标签和/或与对应用户实时属性指标相关的用户实时属性标签;基于异常指标规则,根据各实时指标的计算结果以及各用户的用户画像,识别并输出一或多个异常指标;基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行一或多个维度的流量控制。
为实现上述目的及其他相关目的,本发明提供一种交付计划生成终端,包括:存储器,用于存储计算机程序;处理器,用于执行所述的基于多维度指标的用户流量控制方法。
为实现上述目的及其他相关目的,本发明提供一种计算机存储介质,存储有计算机程序,所述计算机程序运行时实现所述的基于多维度指标的用户流量控制方法。
如上所述,本发明是一种基于多维度指标的用户流量控制系统、方法、终端及介质,具有以下有益效果:本发明提供一种基于多维度指标的用户流量控制系统,针对ToBSaaS业务特点,结合工作实践,基于用户画像,用户管理,实时指标计算及流控算法等手段,实现通用的ToB SaaS产品的服务等级方案,保障用户业务可用性,还大大的提升了SaaS服务整体稳定性。
附图说明
图1显示为本发明一实施例中的基于多维度指标的用户流量控制系统的结构示意图。
图2显示为本发明一实施例中的用户标签的分类情况示意图。
图3显示为本发明一实施例中的离线训练过程示意图。
图4显示为本发明一实施例中的基于多维度指标的用户流量控制方法的流程示意图。
图5显示为本发明一实施例中的基于多维度指标的用户流量控制终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,在下述描述中,参考附图,附图描述了本发明的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本发明的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本发明。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在通篇说明书中,当说某部分与另一部分“连接”时,这不仅包括“直接连接”的情形,也包括在其中间把其它元件置于其间而“间接连接”的情形。另外,当说某种部分“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素,排除在外,而是意味着可以还包括其它构成要素。
其中提到的第一、第二及第三等术语是为了说明多样的部分、成分、区域、层及/或段而使用的,但并非限定于此。这些术语只用于把某部分、成分、区域、层或段区别于其它部分、成分、区域、层或段。因此,以下叙述的第一部分、成分、区域、层或段在不超出本发明范围的范围内,可以言及到第二部分、成分、区域、层或段。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
本发明实施例中提供一种基于多维度指标的用户流量控制方法,解决了现有技术中针对ToB SaaS业务用户多,流量大,可用性要求高以及各用户服务等级不同的特点,如何通过流控方案来提升系统整体稳定性,还保障了用户服务等级协议的技术问题。本发明提供一种基于多维度指标的用户流量控制系统,针对ToB SaaS业务特点,结合工作实践,基于用户画像,用户管理,实时指标计算及流控算法等手段,实现通用的ToB SaaS产品的服务等级方案,保障用户业务可用性,还大大的提升了SaaS服务整体稳定性。
下面以附图为参考,针对本发明的实施例进行详细说明,以便本发明所述技术领域的技术人员能够容易地实施。本发明可以以多种不同形态体现,并不限于此处说明的实施例。
如图1所示,展示本发明实施例中的基于多维度指标的用户流量控制系统的结构示意图。
所述系统包括:
用户管理模块11,用于记录各用户分别对应各用户属性指标的管理信息;
实时指标计算引擎12,用于根据获取的来自接入网关的访问日志计算获得各实时指标的计算结果;其中,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种;
用户画像模块13,连接所述用户管理模块11以及实施指标计算引擎12,用于根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果,对各用户设置一或多个用户标签,并构建对应各用户的用户画像;其中,所述用户标签包括:与所述用户属性指标相关的用户属性标签和/或与对应用户实时属性指标相关的用户实时属性标签;
流量控制规则引擎14,连接所述实时指标计算引擎12以及用户画像模块13,用于基于异常指标规则,根据各实时指标的计算结果以及各用户的用户画像,识别并输出一或多个异常指标;
流控模块15,连接流量控制规则引擎14,用于基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行一或多个维度的流量控制。
可选的,所述用户属性指标包括:对应各用户的注册时间、对应各用户使用的软件版本、对应各用户的用户活跃度、管理员账号、用户等级、各用户对应各服务的预约情况、各用户账号的续费周期中的一种或多种。
可选的,所述用户管理模块11一般以SaaS企业内部的用户管理系统实现;对ToBSaaS用户提供相关固定属性管理信息。也就是说,该模块可以对各用户属性指标进行相应的信息管理。且所述用户管理模块记录的管理信息也是用户画像模块13的重要数据源。
可选的,所述实时指标计算引擎12包括:指标识别单元,用于根据获取的来自接入网关的访问日志中的日志字段,识别对应各实时指标;计算单元,连接所述指标识别单元,用于基于对应各实时指标的计算公式,根据所述访问日志计算获得对应各指标的计算结果。
具体的,所述指标识别单元根据获取到的接入网关的访问日志中的日志字段,来确定所述访问日志包含的各实时指标;需要注意的是,每个日志字段已预先与所述各实施指标建立关联关系;所述计算单元根据预设的或实时设置的与各实时指标对应的计算公式,根据所述访问日志计算对应各指标的计算结果。
在本实施例中的另外一种实施方式中,所述指标识别单元以及计算单元分别基于实时指标信息列表来根据获取到的接入网关的访问日志中的日志字段,来确定所述访问日志包含的各实时指标,以及根据所述访问日志计算获得对应各指标的计算结果;其中,所述实时指标信息列表包括:实时指标名称、与各实时指标对应的日志类型、日志字段以及与各实时指标对应的计算公式。举例来说,所述实时指标信息列表包括:功能A访问量指标、IP访问量指标、用户甲功能A数据变化量指标以及用户甲访问IP列表指标分别对应的日志类型、日志字段以及计算公式。当实时指标为功能A访问量,日志类型为埋点日志,日志字段为URL,公式为Count (URL=功能A);当实时指标为IP访问量,日志类型为网关日志,日志字段为ClientIP,公式为Count(KeyBy(ClientIP));当实时指标为用户甲功能A数据变化量,日志类型为数据变更日志,日志字段为Table,Tenant,公式为Count( Tenant=甲 && Table =A);当实时指标为用户甲访问IP列表,日志类型为网关日志,日志字段为Tenant,ClientIP,公式为List(KeyBy(ClientIP) where Tenant=甲)。
可选的,所述访问日志包括:网关日志、埋点日志以及数据变更日志中的一种或多种。
可选的,所述实时指标计算引擎12用于基于Kafka,Flink等实时计算技术,消费接入网关的访问日志,实现灵活的指标实时计算,且所述所述实时指标计算引擎12的各实时指标的计算结果也是用户画像模块13以及所述流量控制规则引擎14的重要数据源。
可选的,所述用户实时属性指标包括:用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度、用户功能实时属性指标以及用户账号实时属性指标;其中,所述用户功能实时属性指标包括:各用户对应各功能的使用量和/或数据变化量;所述用户账号实时属性指标包括:各用户的多设备同账号登录情况、账号登陆IP异常情况以及账号越权登录情况中的一种或多种。
可选的,所述功能实时属性指标包括:各功能的使用量和/或数据变化量;所述账号实时属性指标包括:多设备同账号登录情况、同设备多账号登录情况、账号登陆IP异常情况、以及账号越权登录情况中的一种或多种。
可选的,所述用户画像模块13包括:接收单元,用于接收所述各用户属性指标的管理信息以及提取的对应各用户的各实时指标的计算结果;标签化单元,连接所述接收单元,用于基于标签分类模型,根据所述各用户属性指标的管理信息以及提取的对应用户实时属性指标的计算结果获得对应各用户的一或多个用户标签;其中,所述标签分类模型由各用户标签以及用户历史指标数据训练获得;所述用户历史指标数据包括:各用户属性指标的历史管理信息以及用户实时属性指标的计算结果;用户画像单元,连接所述标签化模块,用于根据各用户对应的各用户标签,分别对构建各用户的用户画像。
具体的,所述接收单元,用于接收来自所述用户管理模块11所述各用户属性指标的管理信息以及来自所述实时指标计算引擎12对应各用户的用户实时指标的计算结果;当各数据接收结束后,所述标签化单元基于标签分类模型,根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果获得对应各用户的一或多个用户标签;其中,所述标签分类模型由各用户标签以及用户历史指标数据训练获得;需要说明的是,所述用户历史指标数据可以为历史储存的所述各用户属性指标的管理信息以及用户实时属性指标的计算结果也可以为实时获取的所述各用户属性指标的管理信息以及用户实时属性指标的计算结果。所述用户画像单元,根据各用户对应的各用户标签,分别对构建各用户的用户画像;其中,所述用户画像对应各用户的所有用户标签。
可选的,所述用户标签的的种类包括:用户身份属性标签、用户行为标签、用户消费标签以及用户风险控制标签;
其中,所述用户身份属性标签包括:分别对应注册时间、软件版本、用户活跃度、管理员账号、用户等级、预约情况、续费周期的注册时间、软件版本、用户活跃度、管理员账号、用户等级、预约情况、续费周期标签中的一种或多种;所述用户行为标签包括:分别对应用户实时属性指标中用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度标签中的一种或多种;所述用户消费标签为对应用户功能实时属性指标中各指标中的任意一个或多个标签;所述用户风险控制标签为对应用户账号实时属性指标中各指标中的任意一个或多个标签。
可选的,所述用户行为标签以及用户消费标签可以根据在一定预设时间内的各实指标计算结果设定;例如,预设时间间断为一周,所述用户标签的分类情况如图2所示。
可选的,所述标签化单元要利用大数据的整体架构对标签化的过程进行开发实现,对数据进行加工,将标签管理化。优选的,所述标签化单元可以依靠Hive,Hbase等大数据技术,为了提高数据的实时性,还可以用到Flink,Kafka等实时计算技术。
可选的,所述所述用户画像模块13可以将获得的用户画像进行图表展示或可视化展示。
可选的,流量控制规则引擎14应用的所述异常指标规则包括:预定义规则和/或异常点检测规则;其中,所述预定义规则包括:对需异常设置的指标分别进行条件预定义,以筛选不符合预定义条件的指标作为异常指标;所述异常点检测规则包括:对各指标对应的数据异常点进行检测,将具有异常点的数据所对应的指标作为异常指标。
具体的,所述预定义规则主要针对明确的异常业务场景,对需异常设置的指标分别进行条件预定义,以筛选不符合预定义条件的指标作为异常指标;举例来说,若未开通功能A的用户甲尝试访问功能A,并在一定时间内达到一定阈值,则判定为异常;若用户甲的相同账号同一时间段内,在不同设备终端登录访问,则判定为异常;若用户甲在非活跃时段,出现大量业务查询类访问,则判定为异常。
对于异常点检测规则,主要针对无先验经验的异常时序数据检测,举例如下:若用户甲访问功能A的访问量,突然出现异常点,则判定为异常;若用户甲访问功能A产生的数据量,突然出现异常点,则判定为异常;若用户甲访问功能A的会话数,突然出现异常点,则判定为异常。
可选的,由于ToB SaaS业务存在用户多,访问量大等特点,因此实际中各类异常或者软件故障可能会非常多,通过人工检测几乎是不可能的,因此所述流量控制规则引擎14需要使用机器学习和数据挖掘技术进行自动化异常点检测;
优选的,由于RNN模型比较适合处理序列变化的数据,符合时序特征的场景,而他的改进版LSTM模型,能够通过控制传输状态来选择性地记住较重要的长期数据,能在更长的序列上有良好的表现,业界也有很多成功的应用。因此所述流量控制规则引擎14优先采用所述 RNN模型来进行异常点检测。其中包括:离线训练以及在线计算检测过程。
利用RNN模型进行离线训练的过程包括:基于历史数据进行清洗,对缺失值进行插补以及节假日数据的剔除,然后对这个序列做特征提取,特征工程的目标是把时序序列分为三大类,周期型、平稳型、非周期。我们使用了多尺度滑动窗口时序特征的方法,将一个滑动窗口内的数据和前n个周期做统计量上的对比,均值、方差、变化率等这些,这样基本上就可以把明显的周期性和平稳型数据给分离出来。剩下的时序中,有些是波动很大的随机序列,有的则是带有趋势的周期性序列,通过时序分析法把周期性去掉,再用频域分析尝试分解成频谱。对于带有明显频谱的,则归类为周期型时序,而频谱杂乱的,则归类为非周期性。分出来之后定义LSTM需要的各个变量,然后是调用TensorFlow进行LSTM模型训练、验证和调参的过程,如图3所示。
在线计算检测过程包括:在线计算检测阶段,滑动窗口取最近的10个数据点,用前5个点作为模型的输入来预测后1个点的值,循环输入模型直到预测出后5个点的值,并用这几个预测数据点和实际值进行比较。除非遇到极端情况,否则只一个点是无法判断是否异常的,所以我们需要推测过去的5个点,结合一些基本的规则,来对这5个点的实际数据做出异常判断。这里还是需要结合最基本的规则,而什么样的数据类型采用哪些基本的规则,经过反复尝试发现是不同的。
可选的,所述流控模块15,用于结合Openresty等技术框架实现基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行流量控制。所述流控模块15供接入网关在接入层面进行流控,在提供细粒度的流控同时,在流量入口尽早流控。
可选的,所述流量控制规则可以基于各异常指标进行一或多个维度的流量控制。所述维度包括:用户维度、功能维度以及自定义维度。其中,所述用户维度包括:用户身份维度和/或用户身份功能维度。举例来说,用户身份维度流控,如用户甲限流;功能维度流控,如功能A限流;用户身份功能维度,如用户甲的功能A限流。需要注意的是,所述维度的区分可以为大类维度也可以为单个指标对应的小维度,例如IP维度流控,如某IP限流。
上述实施例原理相似的是,本发明提供一种基于多维度指标的用户流量控制系统。
以下结合附图提供具体实施例:
如图4展示本发明实施例中的一种基于多维度指标的用户流量控制方法的流程示意图。
所述方法包括:
步骤S41:记录各用户分别对应各用户属性指标的管理信息。
可选的,所述用户属性指标包括:对应各用户的注册时间、对应各用户使用的软件版本、对应各用户的用户活跃度、管理员账号、用户等级、各用户对应各服务的预约情况、各用户账号的续费周期中的一种或多种。
可选的,一般记录工作以SaaS企业内部的用户管理系统实现;对ToB SaaS用户提供相关固定属性管理信息。也就是说,可以对各用户属性指标进行相应的信息管理。且所述用户管理模块记录的管理信息也是用户画像步骤的重要数据源。
步骤S42:根据获取的来自接入网关的访问日志计算获得各实时指标的计算结果;其中,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种。
可选的,该步骤包括:据获取的来自接入网关的访问日志中的日志字段,识别对应各实时指标;基于对应各实时指标的计算公式,根据所述访问日志计算获得对应各指标的计算结果。具体的,根据获取到的接入网关的访问日志中的日志字段,来确定所述访问日志包含的各实时指标;需要注意的是,每个日志字段已预先与所述各实施指标建立关联关系;根据预设的或实时设置的与各实时指标对应的计算公式,根据所述访问日志计算对应各指标的计算结果。
在本实施例中的另外一种实施方式中,基于实时指标信息列表来根据获取到的接入网关的访问日志中的日志字段,来确定所述访问日志包含的各实时指标,以及根据所述访问日志计算获得对应各指标的计算结果;其中,所述实时指标信息列表包括:实时指标名称、与各实时指标对应的日志类型、日志字段以及与各实时指标对应的计算公式。
可选的,所述访问日志包括:网关日志、埋点日志以及数据变更日志中的一种或多种。
可选的,所述用户实时属性指标包括:用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度、用户功能实时属性指标以及用户账号实时属性指标;其中,所述用户功能实时属性指标包括:各用户对应各功能的使用量和/或数据变化量;所述用户账号实时属性指标包括:各用户的多设备同账号登录情况、账号登陆IP异常情况以及账号越权登录情况中的一种或多种。
可选的,所述功能实时属性指标包括:各功能的使用量和/或数据变化量;所述账号实时属性指标包括:多设备同账号登录情况、同设备多账号登录情况、账号登陆IP异常情况、以及账号越权登录情况中的一种或多种。
步骤S43:根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果,对各用户设置一或多个用户标签,并构建对应各用户的用户画像;其中,所述用户标签包括:与所述用户属性指标相关的用户属性标签和/或与对应用户实时属性指标相关的用户实时属性标签。
可选的,该步骤包括:接收所述各用户属性指标的管理信息以及提取的对应各用户的各实时指标的计算结果;基于标签分类模型,根据所述各用户属性指标的管理信息以及提取的对应用户实时属性指标的计算结果获得对应各用户的一或多个用户标签;其中,所述标签分类模型由各用户标签以及用户历史指标数据训练获得;根据各用户对应的各用户标签,分别对构建各用户的用户画像。
可选的,所述用户标签的的种类包括:用户身份属性标签、用户行为标签、用户消费标签以及用户风险控制标签;
其中,所述用户身份属性标签包括:分别对应注册时间、软件版本、用户活跃度、管理员账号、用户等级、预约情况、续费周期的注册时间、软件版本、用户活跃度、管理员账号、用户等级、预约情况、续费周期标签中的一种或多种;所述用户行为标签包括:分别对应用户实时属性指标中用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度标签中的一种或多种;所述用户消费标签为对应用户功能实时属性指标中各指标中的任意一个或多个标签;所述用户风险控制标签为对应用户账号实时属性指标中各指标中的任意一个或多个标签基于异常指标规则,根据各实时指标的计算结果以及各用户的用户画像,识别并输出一或多个异常指标;基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行一或多个维度的流量控制;需要说明的是,所述用户行为标签以及用户消费标签可以根据在一定预设时间内的各实指标计算结果设定。
可选的,利用大数据的整体架构对标签化的过程进行开发实现,对数据进行加工,将标签管理化。优选的,依靠Hive,Hbase等大数据技术,为了提高数据的实时性,还可以用到Flink,Kafka等实时计算技术。
可选的,将获得的用户画像进行图表展示或可视化展示。
步骤S44:基于异常指标规则,根据各实时指标的计算结果以及各用户的用户画像,识别并输出一或多个异常指标。
可选的,所述异常指标规则包括:预定义规则和/或异常点检测规则;其中,所述预定义规则包括:对需异常设置的指标分别进行条件预定义,以筛选不符合预定义条件的指标作为异常指标;所述异常点检测规则包括:对各指标对应的数据异常点进行检测,将具有异常点的数据所对应的指标作为异常指标。
可选的,由于ToB SaaS业务存在用户多,访问量大等特点,因此实际中各类异常或者软件故障可能会非常多,通过人工检测几乎是不可能的,因此需要使用机器学习和数据挖掘技术进行自动化异常点检测;优选的,采用所述 RNN模型来进行异常点检测。其中异常点检测过程包括:离线训练以及在线计算检测过程。
利用RNN模型进行离线训练的过程包括:基于历史数据进行清洗,对缺失值进行插补以及节假日数据的剔除,然后对这个序列做特征提取,特征工程的目标是把时序序列分为三大类,周期型、平稳型、非周期进行分别训练。在线计算检测过程包括:在线计算检测阶段,滑动窗口取最近的10个数据点,用前5个点作为模型的输入来预测后1个点的值,循环输入模型直到预测出后5个点的值,并用这几个预测数据点和实际值进行比较。
步骤S45:基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行一或多个维度的流量控制。
可选的,结合Openresty等技术框架实现基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行流量控制。
可选的,所述流量控制规则可以基于各异常指标进行一或多个维度的流量控制。所述维度包括:用户维度、功能维度以及自定义维度。其中,所述用户维度包括:用户身份维度和/或用户身份功能维度。
如图5展示本发明实施例中的交付计划生成终端50的结构示意图。
所述交付计划生成终端50包括:存储器51及处理器52所述存储器51用于存储计算机程序;所述处理器52运行计算机程序实现如图4所述的基于多维度指标的用户流量控制方法。
可选的,所述存储器51的数量均可以是一或多个,所述处理器52的数量均可以是一或多个,而图5中均以一个为例。
可选的,所述交付计划生成终端50中的处理器52会按照如图1所述的步骤,将一个或多个以应用程序的进程对应的指令加载到存储器51中,并由处理器52来运行存储在第一存储器51中的应用程序,从而实现如图4所述基于多维度指标的用户流量控制方法中的各种功能。
可选的,所述存储器51,可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备;所述处理器52,可能包括但不限于中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的,所述处理器52可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明还提供计算机可读存储介质,存储有计算机程序,所述计算机程序运行时实现如图4所示的基于多维度指标的用户流量控制方法。所述计算机可读存储介质可包括,但不限于,软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品,也可以是已接入计算机设备使用的部件。
综上所述,本发明基于多维度指标的用户流量控制系统、方法、终端及介质,用于解决现有技术中针对ToB SaaS业务用户多,流量大,可用性要求高以及各用户服务等级不同的特点,如何通过流控方案来提升系统整体稳定性,还保障了用户服务等级协议的技术问题。本发明提供一种基于多维度指标的用户流量控制系统,针对ToB SaaS业务特点,结合工作实践,基于用户画像,用户管理,实时指标计算及流控算法等手段,实现通用的ToBSaaS产品的服务等级方案,保障用户业务可用性,还大大的提升了SaaS服务整体稳定性。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅示例性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于多维度指标的用户流量控制系统,其特征在于,所述系统包括:
用户管理模块,用于记录各用户分别对应各用户属性指标的管理信息;其中,所述用户属性指标包括:注册时间、软件版本、用户活跃度、管理员账号、用户等级、预约情况、续费周期中的一种或多种;
实时指标计算引擎,用于根据获取的来自接入网关的访问日志计算获得各实时指标的计算结果;其中,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种;其中,所述用户实时属性指标包括:用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度、用户功能实时属性指标以及用户账号实时属性指标;
用户画像模块,连接所述用户管理模块以及实施指标计算引擎,用于根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果,对各用户设置一或多个用户标签,并构建对应各用户的用户画像;其中,所述用户标签包括:与所述用户属性指标相关的用户属性标签和/或与对应用户实时属性指标相关的用户实时属性标签;
流量控制规则引擎,连接所述实时指标计算引擎以及用户画像模块,用于基于异常指标规则,根据各实时指标的计算结果以及各用户的用户画像,识别并输出一或多个异常指标;
流控模块,连接所述流量控制规则引擎,用于基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行一或多个维度的流量控制。
2.根据权利要求1中所述的基于多维度指标的用户流量控制系统,其特征在于,所述实时指标计算引擎包括:
指标识别单元,用于根据获取的来自接入网关的访问日志中的日志字段,识别对应各实时指标;
计算单元,连接所述指标识别单元,用于基于对应各实时指标的计算公式,根据所述访问日志计算获得对应各指标的计算结果。
3.根据权利要求1中所述的基于多维度指标的用户流量控制系统,其特征在于,所述用户画像模块包括:
接收单元,用于接收所述各用户属性指标的管理信息以及对应各用户的用户实时指标的计算结果;
标签化单元,连接所述接收单元,用于基于标签分类模型,根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果获得对应各用户的一或多个用户标签;其中,所述标签分类模型由各用户标签以及用户历史指标数据训练获得;所述用户历史指标数据包括:各用户属性指标的历史管理信息以及用户实时属性指标的计算结果;
用户画像单元,连接所述标签化单元,用于根据各用户对应的各用户标签,分别对构建各用户的用户画像。
4.根据权利要求1中所述的基于多维度指标的用户流量控制系统,其特征在于,所述异常指标规则包括:预定义规则和/或异常点检测规则;
其中,所述预定义规则包括:对需异常设置的指标分别进行条件预定义,以筛选不符合预定义条件的指标作为异常指标;所述异常点检测规则包括:对各指标对应的数据异常点进行检测,将具有异常点的数据所对应的指标作为异常指标。
5.根据权利要求1中所述的基于多维度指标的用户流量控制系统,其特征在于,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种;其中,所述用户实时属性指标包括:用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度、用户功能实时属性指标以及用户账号实时属性指标;所述功能实时属性指标包括:各功能的使用量和/或数据变化量;所述账号实时属性指标包括:多设备同账号登录情况、同设备多账号登录情况、账号登陆IP异常情况、以及账号越权登录情况中的一种或多种。
6.根据权利要求1中所述的基于多维度指标的用户流量控制系统,其特征在于,所述访问日志包括:网关日志、埋点日志以及数据变更日志中的一种或多种。
7.一种基于多维度指标的用户流量控制方法,其特征在于,所述方法包括:
记录各用户分别对应各用户属性指标的管理信息;其中,所述用户属性指标包括:注册时间、软件版本、用户活跃度、管理员账号、用户等级、预约情况、续费周期中的一种或多种;
根据获取的来自接入网关的访问日志计算获得各实时指标的计算结果;其中,所述实时指标包括:用户实时属性指标、功能实时属性指标以及账号实时属性指标中的一种或多种;其中,所述用户实时属性指标包括:用户访问量、用户活跃度、用户活跃时间、用户下单情况以及用户访问深度、用户功能实时属性指标以及用户账号实时属性指标;
根据所述各用户属性指标的管理信息以及用户实时属性指标的计算结果,对各用户设置一或多个用户标签,并构建对应各用户的用户画像;其中,所述用户标签包括:与所述用户属性指标相关的用户属性标签和/或与对应用户实时属性指标相关的用户实时属性标签;
基于异常指标规则,根据各实时指标的计算结果以及各用户的用户画像,识别并输出一或多个异常指标;
基于各异常指标设置的一或多个流量控制规则生成对应各异常指标的限流指令,以供接入网关对该异常指标按其对应的流量控制规则进行一或多个维度的流量控制。
8.一种基于多维度指标的用户流量控制终端,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行如权利要求7所述的基于多维度指标的用户流量控制方法。
9.一种计算机存储介质,其特征在于,存储有计算机程序,所述计算机程序运行时实现如权利要求7所述的基于多维度指标的用户流量控制方法。
CN202111615399.0A 2021-12-28 2021-12-28 基于多维度指标的用户流量控制系统、方法、终端及介质 Active CN114006865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111615399.0A CN114006865B (zh) 2021-12-28 2021-12-28 基于多维度指标的用户流量控制系统、方法、终端及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111615399.0A CN114006865B (zh) 2021-12-28 2021-12-28 基于多维度指标的用户流量控制系统、方法、终端及介质

Publications (2)

Publication Number Publication Date
CN114006865A CN114006865A (zh) 2022-02-01
CN114006865B true CN114006865B (zh) 2022-04-15

Family

ID=79932096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111615399.0A Active CN114006865B (zh) 2021-12-28 2021-12-28 基于多维度指标的用户流量控制系统、方法、终端及介质

Country Status (1)

Country Link
CN (1) CN114006865B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201617023D0 (en) * 2015-10-09 2016-11-23 Fisher Rosemount Systems Inc Data analytic services for distributed industrial performance monitoring
CN108021929A (zh) * 2017-11-16 2018-05-11 华南理工大学 基于大数据的移动端电商用户画像建立与分析方法及系统
CN111291236A (zh) * 2018-12-07 2020-06-16 交通运输部路网监测与应急处置中心 一种高速路网用户画像信息获取与分析方法及系统
CN112287015A (zh) * 2020-10-14 2021-01-29 北京易观智库网络科技有限公司 画像生成系统及其方法、电子设备及存储介质
CN113079143A (zh) * 2021-03-24 2021-07-06 北京锐驰信安技术有限公司 一种基于流数据的异常检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768924B2 (en) * 2007-09-28 2010-08-03 Fujitsu Limited Using a link attribute to inform nodes of the availability of traffic management resources
CN106504099A (zh) * 2015-09-07 2017-03-15 国家计算机网络与信息安全管理中心 一种构建用户画像的系统
US11323374B2 (en) * 2019-09-25 2022-05-03 Juniper Networks, Inc. Visualizing network traffic plans based on egress peer engineering
CN113783828B (zh) * 2020-11-25 2023-09-05 北京沃东天骏信息技术有限公司 一种业务系统监控方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201617023D0 (en) * 2015-10-09 2016-11-23 Fisher Rosemount Systems Inc Data analytic services for distributed industrial performance monitoring
CN108021929A (zh) * 2017-11-16 2018-05-11 华南理工大学 基于大数据的移动端电商用户画像建立与分析方法及系统
CN111291236A (zh) * 2018-12-07 2020-06-16 交通运输部路网监测与应急处置中心 一种高速路网用户画像信息获取与分析方法及系统
CN112287015A (zh) * 2020-10-14 2021-01-29 北京易观智库网络科技有限公司 画像生成系统及其方法、电子设备及存储介质
CN113079143A (zh) * 2021-03-24 2021-07-06 北京锐驰信安技术有限公司 一种基于流数据的异常检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
运营商网络流量的大数据业务探析;李想;《信息通信》;20150515(第05期);全文 *

Also Published As

Publication number Publication date
CN114006865A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
JP6952058B2 (ja) メモリ使用量判断技術
US20190356684A1 (en) Detecting robotic internet activity across domains utilizing one-class and domain adaptation machine-learning models
US20210319375A1 (en) Churn prediction in a broadband network
US10592666B2 (en) Detecting anomalous entities
Moore et al. Transforming reactive auto-scaling into proactive auto-scaling
US11507716B2 (en) Predicting life expectancy of machine part
CN111309539A (zh) 一种异常监测方法、装置和电子设备
US10229160B2 (en) Search results based on a search history
CN114430826A (zh) 用于预测计算工作负载的时间序列分析
CN111694718A (zh) 内网用户异常行为识别方法、装置、计算机设备及可读存储介质
JP6531079B2 (ja) スマートアラートのためのシステム及び方法
CN111262750B (zh) 一种用于评估基线模型的方法及系统
CN114978568A (zh) 使用机器学习进行数据中心管理
US11316743B2 (en) Network bandwidth management
CN115794532A (zh) 多指标智能动态阈值监控方法及系统
WO2016018382A1 (en) Creating a security report for a customer network
TWI848245B (zh) 企業管理系統及其執行方法
CN109685255A (zh) 一种预测用户流失的方法和装置
CN111740865B (zh) 一种流量波动趋势预测方法、装置及电子设备
Krasov et al. Behavioral analysis of resource allocation systems in cloud infrastructure
US20190354991A1 (en) System and method for managing service requests
US20230244754A1 (en) Automatic anomaly thresholding for machine learning
Fu et al. SPC methods for nonstationary correlated count data with application to network surveillance
CN114006865B (zh) 基于多维度指标的用户流量控制系统、方法、终端及介质
CN113849333B (zh) 一种基于WN-Spline基线域算法的数据中心自驱排障方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: User traffic control system, method, terminal, and medium based on multi-dimensional indicators

Effective date of registration: 20231127

Granted publication date: 20220415

Pledgee: China Minsheng Banking Corp Shanghai branch

Pledgor: SHANGHAI LINKEDCARE INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023310000785

PE01 Entry into force of the registration of the contract for pledge of patent right