CN111581508B - 业务监控方法、装置、设备及存储介质 - Google Patents

业务监控方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111581508B
CN111581508B CN202010368126.XA CN202010368126A CN111581508B CN 111581508 B CN111581508 B CN 111581508B CN 202010368126 A CN202010368126 A CN 202010368126A CN 111581508 B CN111581508 B CN 111581508B
Authority
CN
China
Prior art keywords
monitoring
service
data
dimension
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010368126.XA
Other languages
English (en)
Other versions
CN111581508A (zh
Inventor
路斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Guangzhou Baiguoyuan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Baiguoyuan Information Technology Co Ltd filed Critical Guangzhou Baiguoyuan Information Technology Co Ltd
Priority to CN202010368126.XA priority Critical patent/CN111581508B/zh
Publication of CN111581508A publication Critical patent/CN111581508A/zh
Application granted granted Critical
Publication of CN111581508B publication Critical patent/CN111581508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种业务监控方法、装置、设备及存储介质。该方法包括:按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成监控维度下的待监控数据;获取预先对应监控维度下确定的聚类簇心集合;根据待监控数据及聚类簇心集合中的至少一个聚类簇心数据,确定目标业务在监控维度下的业务监控结果。本发明实施例提供的技术方案,通过确定功能业务与不同监控维度下所对应聚类簇心集合中聚类簇心的关系来确定功能业务在监控维度下的监控结果,不再考虑信息条数与设定阈值的关系,避免了设定阈值受时间推移或业务量积累而带来的设定阈值频繁手动重设的问题,同时能够更好的适应大规模业务量下业务信息的有效监控。

Description

业务监控方法、装置、设备及存储介质
技术领域
本发明实施例涉及监控技术领域,尤其涉及业务监控方法、装置、设备及存储介质。
背景技术
随着互联网技术的发展,社交类应用产品已成为生活的一部分被用户广泛使用。在一些社交类应用产品中,通常提供有支付功能,以用于用户在各消费场景下的消费支付,一般的,社交类应用平台会在该支付功能下设置多个支付渠道供用户选择使用。
在实际应用中,用户通过社交类应用平台中的支付功能完成支付后会形成相对应的业务信息,社交类应用平台可以通过不同的业务维度(如支付渠道、消费用户以及所处国家等维度)来进行业务信息条数的统计,并通过对各业务维度下业务信息条数的监控来确定该业务维度的业务支付情况是否存在异常。如可以监控某个支付渠道在一个时间段内的业务信息条数,以通过该业务信息条数来确定该支付渠道下的业务支付情况是否存在异常,以便及时查找异常原因并进行相应的处理。
现有对某些应用产品的功能业务进行监控的方法,在以某个维度确定了相关业务量后,主要靠历史经验设定判定阈值,通过业务量与判定阈值的比对来实现业务监控。然而,该判定阈值往往随着时间的推移或业务量的不断累积周期性进行调整,该种调整需要过多的人为参与,且对于不同维度的业务情况均需要设定适合该维度的判定阈值,当需要监控的维度较多时,现有操作大大增加了阈值设定难度;此外,现有的业务信息监控方法不适合对大规模业务量下的业务信息进行有效监控。
发明内容
有鉴于此,本发明实施例提供了业务监控方法、装置、设备及存储介质,以在保证监控结果准确性的同时降低业务监控的实现难度。
第一方面,本发明实施例提供了一种业务监控方法,包括:
按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据;
获取预先对应所述监控维度下确定的聚类簇心集合;
根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据,确定所述目标业务在所述监控维度下的业务监控结果。
第二方面,本发明实施例提供一种业务监控装置,包括:
业务信息筛选模块,用于按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据;
簇心集合获取模块,用于获取预先对应所述监控维度下确定的聚类簇心集合;
监控结果确定模块,用于根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据,确定所述目标业务在所述监控维度下的业务监控结果。
第三方面,本发明实施例提供了一种计算机设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明第一方面实施例提供的业务监控方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明第一方面实施例提供的业务监控方法。
本发明实施例提供的业务监控方案中,对所获取业务信息进行业务监控时,首先按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据;并获取预先对应所述监控维度下确定的聚类簇心集合;之后根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据确定出所述目标业务在所述监控维度下的业务监控结果。上述技术方案,相比于现有的对某些应用产品的功能业务进行监控的方法,不再只单考虑业务信息量与设定阈值的关系确定监控结果,而是在不同监控维度下增设了聚类簇心集合,并从功能业务聚类特性的角度,通过确定功能业务与不同监控维度下所对应聚类簇心集合中聚类簇心的关系来确定功能业务在监控维度下的监控结果;本技术方案由于不再考虑信息条数与设定阈值的关系,由此避免了设定阈值受时间推移或业务量积累而带来的设定阈值频繁手动重设的问题,同时,本技术方案在监控维度下对功能业务的监控操作不需要人工参与,由此也能够更好的适应大规模业务量下业务信息的有效监控。
附图说明
图1为本发明实施例一提供的一种业务监控方法的流程示意图;
图2为本发明实施例二提供的一种业务监控方法的流程示意图;
图3为本发明实施例二提供的一种业务监控方法中确定所选定监控维度下聚类簇心集合的实现示意图;
图4为本发明实施例二提供的一种使用Gap Statistic法确定聚类簇数K值的效果展示图;
图5为本发明实施例三提供的一种业务监控装置的结构框图;
图6为本发明实施例四提供的一种计算机设备的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施例方式作进一步地详细描述。应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。此外,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种业务监控方法的流程示意图,该方法适用于对各监控维度目标业务的业务信息监控的情况,该方法可以由本发明实施例的业务监控装置来执行,该业务监控装置可以由硬件和/或软件来实现,并集成在本发明实施例所提供的计算机设备中。
需要说明的是,本实施例可应用于消费支付场景下根据消费订单中不同业务信息对其进行订单监控,该业务信息可包括支付币种、支付渠道等信息类型。现有的业务监控方法实现时,常通过业务信息条数与设定阈值的关系确定监控结果,该设定阈值主要依靠历史经验设定,随着时间的推移和业务量的增加该设定阈值需要不断进行调整和更新,否则会导致业务监控结果的失实,但这种调整更新方法需要大量人工参与且难以随监控维度改变而轻易获取适合改变后监控维度的设定阈值。本实施例为解决该问题,在不同监控维度下增设了聚类簇心集合,根据目标业务信息与聚类簇心集合中各聚类簇心的关系完成对包含对应业务信息的目标业务的监控,减少了监控操作中的人工参与,使其更适应为大规模业务量下业务信息提供有效监控。
具体地,如图1所示,本发明实施例一提供的一种业务监控方法,可以包括如下步骤:
S101、按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据。
在本实施例中,目标业务可理解为在多个类型的业务中选取的某种业务类型的业务;平台上可包含多种类型的业务,如消费支付类、用户直播互动类、短视频上传下载类或用户账户注册类等。监控维度可理解为由目标业务中所形成业务信息中的一项或多项信息构成的监控筛选条件,其中,业务信息可理解为交易完成后生成的包含对应交易内容、时间等信息的数据记录;该业务信息中可以包括业务发生时间,业务执行渠道,用户信息,产品类型,完成业务所处国家等信息;以消费支付类业务为例,对该业务进行监控的其中一个监控维度所含盖的监控筛选条件可以是:处于美国的用户在5分钟内使用支付宝支付人民币。
在本实施例中,所述待监控数据可理解为根据监控维度中包含的监控筛选条件对目标业务下的业务信息进行筛选后结合所筛选出的目标业务信息的信息条数而形成的数据向量,以向量化表示的待监控数据可包括该监控维度下各数值化的业务特征,以及目标业务信息的信息条数。
具体的,本执行主体首先可以从业务平台中获取的全部业务信息中提取出包含目标业务类型的业务信息,根据选定的监控维度中的筛选条件对上述包含目标业务类型的业务信息进行筛选,得到目标业务信息,并根据监控维度中包含的业务属性信息与目标业务信息的信息条数生成监控维度下的待监控数据。
S102、获取预先对应所述监控维度下确定的聚类簇心集合。
在本实施例中,聚类可理解为一种研究分类问题的统计分析方法,往往可以通过研究对象的一些特性,实现相同特征研究对象的聚类,具体的,聚类实现过程可以是先将由研究对象构成的数据集通过一些相似度计算策略(如欧氏距离计算)划分为若干类,使得各个类之内的数据最为相似,而各个类之间的数据相似度差别尽可能的大。其中,类也可表示为簇,可理解为具有相似性数据的集合;聚类簇心可理解为每个簇所对应的中心点,进行聚类分析时主要依赖簇心来确定是否将数据划分到一个簇中;聚类簇心集合可理解为基于聚类所形成的各个簇的聚类簇心所构成的数据集合。
需要说明的是,本实施例中的聚类簇心集合是根据选定的监控维度预先确定的,本实施例可以基于目标业务在该监控维度下的历史业务信息经通过由聚类算法训练得到的多个聚类簇心组成的聚类簇心集合,可选的,聚类簇心集合中聚类簇心的个数可由用户进行初始设定,也可根据优化算法计算得出最优数量进行设定,本发明实施例对此不进行限制。
示例性的,当聚类算法为K-Means聚类算法时,所述聚类簇心集合由经K-Means算法聚类得到的K个类的中心数据组成,每个聚类簇心为其所属类中所有数据的均值。其中,K值可采用多种方式确定,例如:将采用Canopy算法进行粗略聚类产生的簇的个数作为K值、使用X-Means方法结合贝叶斯信息准则(Bayesian Information Criterion,BIC)判定得到、使用Gap Statistic公式确定、使用轮廓系数(Silhouette Coefficient)中使系数较大对应的数值作为K值、使用交叉验证法确定使距离中心的距离的平方差变小的数值作为K值、利用Affinity Propagation方法估计的最优聚类数目作为K值等。
本实施例中,对于同一个目标业务而言,如果所选定的监控维度不同,其筛选出的业务信息也有所不同,因此,基于筛选出的历史业务信息进行聚类训练所形成的聚类簇心集合是与所选定的监控维度关联的,本步骤需要获得与监控维度匹配的聚类簇心集合进行后续操作。
S103、根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据,确定所述目标业务在所述监控维度下的业务监控结果。
在本实施例中,根据上述表述可以知道聚类簇心集合中包括了至少一个聚类簇心,各所述聚类簇心相当于一个具备与所述待监控数据相同表示形式的数据,本步骤记该数据为聚类簇心数据。示例性的,当待监控数据采用向量化表示时,各聚类簇心数据同样以向量化形式表示,且各聚类簇心数据具体可以是目标业务在所选定监控维度下筛选出的历史业务信息按照监控维度形成监控数据后,通过聚类训练形成的向量化数据。
具体的,本步骤基于待监控数据对目标业务的监控过程可描述为:先随机从上述获取的聚类簇心集合中选取一个聚类簇心数据,在确定待监控数据与该聚类簇心数据的距离值不满足正常距离范围时,可以再重新选择一个聚类簇心数据并重复上述判断,直至聚类簇心集合中没有未选定的聚类簇心数据时所确定的距离值都不满足正常距离范围,就可确定该目标业务在所选定监控维度下的业务监控结果为业务异常。
本发明实施例提供的业务监控方案中,对所获取业务信息进行业务监控时,首先按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据;并获取预先对应所述监控维度下确定的聚类簇心集合;之后根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据确定出所述目标业务在所述监控维度下的业务监控结果。上述技术方案,相比于现有的对某些应用产品的功能业务进行监控的方法,不再考虑业务信息条数与设定阈值的关系确定监控结果,而是在不同监控维度下增设了聚类簇心集合,并从功能业务聚类特性的角度,通过确定功能业务与不同监控维度下所对应聚类簇心集合中聚类簇心的关系来确定功能业务在监控维度下的监控结果;本技术方案由于不再考虑信息条数与设定阈值的关系,由此避免了设定阈值受时间推移或业务量积累而带来的设定阈值频繁手动重设的问题,同时,本技术方案在监控维度下对功能业务的监控操作不需要人工参与,由此也能够更好的适应大规模业务量下业务信息的有效监控。
实施例二
图2给出了本发明实施例二提供的一种业务监控方法的流程示意图,本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化,实现了通过聚类算法对业务监控判断条件的确定,解决了传统业务监控方法中需要人为参与并根据历史经验设定业务监控判定阈值的问题。
具体可包括如下步骤:
S201、确定所选定监控维度对应的维度特征,并按照各所述维度特征筛选所述目标业务的业务信息获得至少一个目标业务信息。
在本实施例中,对于一个目标业务来说,其所形成的各条业务信息中可以包含的属性信息有业务所归属地域信息(如归属于亚洲、欧洲或非洲等)、业务所服务对象(如账号为XX的用户等)、业务信息的生成时间以及业务消费支付渠道(如支付宝或者微信)等,而本实施例进行监控维度设置时,不同的监控维度主要从其具备的维度特征来进行区别,监控维度的维度特征除了包含监控时间段外,还主要考虑通过业务信息所包括的各属性信息中确定,以便于通过维度特征对各业务信息进行筛选。
示例性的,若目标业务为一个消费场景下的支付业务,目标业务运行时所产生的业务信息则相当于交付支付时生成的支付订单,该支付订单上可包括订单完成时间所处的时间范围、消费者账户信息、支付渠道、购买产品类型、支付币种、订单生成国家、商户信息等各类信息,而该支付订单中所包含的各种信息类型均可作为监控维度的某种维度特征存在,如可以确定所选定监控维度包括的维度特征可以有业务所归属地域为亚洲中国、监控时间段为1小时、业务消费支付渠道为微信。
具体的,本步骤可以根据所选定的监控维度实际具备的多个维度特征,在目标业务的业务信息中按照上述多个维度特征进行筛选,从而确定出符合各维度特征的目标业务信息,其中,目标业务的业务信息中至少存在一个具有上述多个维度特征的目标业务信息。
S202、统计各所述目标业务信息的信息条数,将所述维度特征经数值编码处理与所述信息条数结合形成以向量化表示的待监控数据。
可以理解的是,所选定监控维度对应的维度特征中存在非数据表示的信息,这些非数字信息不便于向量化数据的后续计算,本实施考虑对维度特征中的各非数字信息进行数值编码处理。示例性的,若所选定监控维度的维度特征中第一维度特征为支付渠道,该维度特征经数值编码处理后得到对应关系为(支付宝:1,微信:2,银联:3,现金:4);第二维度特征为支付币种,该维度特征经数值编码处理后得到的对应关系为(CNY:1,USD:2,THB:3,IDR:4)。
具体的,本步骤需要对经过筛选得到的目标业务信息进行统计,将其总数作为目标业务信息的信息条数;将选定的监控维度中的各维度特征分别用不同的数值进行表示后,可以结合目标业务信息的信息条数生成一组向量化表示的待监控数据,所选定监控维度的所有维度特征及信息条数的数值依次存放于该向量中。
接上述维度特征的数值处理示例,当所选定的监控维度为对通过微信支付人民币在当前时刻前5分钟内的业务信息进行监控时,可以确定出其维度特征包含了支付渠道、支付币种以及监控时长,按照该维度特征经过筛选后,假设得到的信息条数为200,则目标业务对应该监控维度生成的待监控数据向量可表示为(2,1,200)。
S203、根据目标业务的历史业务信息,确定所述目标业务在所述监控维度下的聚类簇心集合。
需要说明的是,本步骤可理解为通过聚类分析算法对目标业务所在监控维度下的历史业务信息进行处理以形成聚类簇心集合的预训练步骤,本步骤与S201及S202在执行顺序上并不存在先后关系,仅需保证在本执行主体需要聚类簇心集合时能够提供对应监控维度下的聚类簇心集合。
本步骤主要用于实现目标业务在所选定监控维度下所具备聚类簇心集合的确定,具体的,所述聚类簇心集合与所选定的监控维度对应,其可以通过目标业务下满足该监控维度的维度特征的各历史业务信息通过聚类训练获得。所述历史业务信息具体可理解为:一段预设时间内目标业务的所有业务信息,其中,这段预设时间应处于待监控数据中所包含业务信息的生成时间之前。示例性的,可获取待监控数据中最早生成的业务信息生成时间点前一个月内目标业务的所有业务信息,将上述业务信息作为目标业务的历史业务信息。
可以理解的是,该聚类簇心集合中所包括聚类簇心数据的个数表明了目标业务聚类后可能具备的聚类簇数,在目标业务运行正常的情况下,在该监控维度下所形成的待监控数据也应该归属在任一聚类簇心数据所对应的聚类簇下。
进一步地,图3为本发明实施例提供的一种业务监控方法中确定所选定监控维度下聚类簇心集合的实现示意图,如图3所示,根据目标业务的历史业务信息,确定所述目标业务在所述监控维度下的聚类簇心集合,具体包括如下步骤:
S2031、按照所述监控维度筛选所述目标业务在设定历史时间内的历史业务信息。
具体的,获取目标业务在设定历史时间内的历史业务信息,根据监控维度中的监控时间段将设定历史时间段进行分割,并在每个监控时间段内筛选得到处于该时间范围并满足监控维度中其他维度特征的历史业务信息。
示例性的,若目标业务为一个消费场景下的支付业务,当选定的监控维度为监控时间段为1小时,支付渠道为微信,支付币种为人民币时,则将设定历史时间按小时进行分段,获取分段后每分段中对应的历史业务信息,同时在上述历史业务信息中筛选出支付渠道为微信,支付币种为人民币的历史业务信息作为筛选后的历史业务信息。
S2032、根据所述监控维度的维度特征整合各所述历史业务信息,形成至少一个以向量化表示的样本监控数据。
具体的,根据监控维度中的维度特征统计具有相同维度特征的历史业务信息的个数作为历史信息条数,并将维度特征经数值编码处理后与历史信息条数相结合,使每组具有同样维度特征的历史信息生成一个以向量化表示的样本监控数据,其中,所有维度特征及历史信息条数的数值依次存放于该样本监控数据向量中,且经监控维度筛选后的历史信息至少生成一个以向量化表示的样本监控数据。
接上述历史业务信息筛选示例,若设定历史时间为一天,则筛选出该天内的所有符合支付渠道为微信,支付币种为人民币的历史业务信息,并根据历史业务信息中业务信息生成时间将其划分入设定历史时间的24个监控时间段内,若该设定历史时间内17:00-18:00中符合监控维度的历史业务信息条数为300条时,采用如S202中的维度特征数值编码方式,则上述历史业务信息对应该监控维度生成的其中一条样本监控数据可表示为(2,1,300),且在设定历史时间内有24个如上述向量表示的样本监控数据。
S2033、采用聚类划分策略对各所述样本监控数据进行聚类划分,形成设定簇数的聚类集合。
其中,聚类划分策略可理解为一种聚类算法,即按照某个特定标准(如距离准则)将一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时使得不在同一个簇中的数据对象的差异性也尽可能大。聚类算法可分为划分法(Partitioning Methods)、层次法(Hierarchical Methods)、基于密度的方法(Density-based Methods)、基于网格的方法(Grid-based Methods)、基于模型的方法(Model-basedMethods),具体可包括K-Means算法、K-Medoids算法、Clara算法及Clarans算法等。
示例性的,当采用K-Means算法对各所述样本监控数据进行聚类划分时,首先将各所述样本监控数据放入同一个训练数据集,并从该训练数据集中选择K个样本监控数据作为初始簇心向量;然后计算样本监控数据与各簇心的欧氏距离,并将样本监控数据划入与之距离最近的簇中。在划分一个样本监控数据进入簇中后重新计算各簇心向量,若新的簇心向量与原簇心向量相同,认为样本监控数据并未并入该簇,保持簇心为当前均值向量不变;若新的簇心向量与原簇心向量不同,认为样本监控数据已并入该簇,则将计算得到的新的簇心作为下一次进行欧氏距离计算的簇心。在更新簇心后重新执行上述步骤,直至当前簇心均不发生更新,此时得到的簇心为将各所述样本监控数据划分为K类时得到的最优簇心。
进一步地,所述设定簇数预先基于选定的簇心个数确定算法确定。
其中,簇心个数确定算法可理解为用于对类别未知的数据集合进行处理,确定使数据集合经过聚类分析处理后生成的簇簇内相似度最高、簇间差异性最高的簇的个数的算法。具体的,可包括数据集法、差距统计法、离差平方和法、NBClust法、Clustree法、GapStatistic(“肘子”法)等。
示例性的,当采用Gap Statistic法确定聚类簇数时,不再需要传统K值确定方法中的肉眼判断,而只需找出使Gap Statistic最大的K值即可。Gap Statistic的定义为:
Gap(K)=E(log Dk)-log Dk
其中,E(log Dk)指的是log Dk的期望,该数值一般使用蒙特卡洛模拟产生,通过在样本所在区域内(若高维则为立方体区域)按照均匀分布随机地产生和原始样本数一样多的随机样本,并对这个随机样本做K均值处理,从而得到一个Dk,重复多次上述操作即可得到多个log Dk,对其求平均值即可得到E(log Dk)的近似值。
具体的,Gap(K)可看作是随机样本的损失和实际样本的损失之差,当取到实际样本的最佳簇数时,实际样本的损失应相对较小,随机样本损失与实际样本损失之差也相应达到最大,即Gap(K)取得最大值时对应的K值即为最佳簇数。图4为本实施例提供的一种使用Gap Statistic法确定聚类簇数K值的效果展示图;如图4所示,展示了所选定的K值不同时,采用Gap Statistic法得到的Gap(K)的分布图,可以看出当选K为3时,其具备的具备不同的Gap(K)值最大,由此可确定聚类时形成3个聚类簇的效果最优。
S2034、提取各所述聚类集合的聚类簇心数据,并形成包含各所述聚类簇心数据的聚类簇心集合。
具体的,采用上述K-means算法基于各样本监控数据进行聚类训练时,当设定簇数的聚类集合的聚类簇心均达到稳定状态不再变动时,可提取每个聚类集合中聚类簇心构成聚类簇心集合,可以知道的是,聚类簇心集合的聚类簇心为一个向量化表示的聚类簇心数据,本步骤可以保存上述生成的聚类簇心集合,以用于确定待监控数据在监控维度下的业务监控结果。
S204、获取预先对应所述监控维度下确定的聚类簇心集合。
S205、从所述聚类簇心集合中选定一个聚类簇心数据作为当前聚类簇心数据。
示例性的,以随机抽取的方式从所述聚类簇心集合中选择一个聚类簇心数据作为当前聚类簇心数据。
S206、确定所述待监控数据与所述当前聚类簇心数据的关联距离值。
在本实施例中,关联距离值可理解为待监控数据与当前聚类簇心数据间的欧氏距离,即通过确定待监控数据与当前聚类簇心数据在监控维度下向量中各维度的距离,并将各维度的距离整合得到的距离。
示例性的,若待监控数据的向量可表示为(x1,x2,...,xn),当前聚类簇心数据的向量可表示为(y1,y2,...,yn),则二者间的欧氏距离可表示为:
Figure BDA0002477218550000151
S207、判断所述关联距离值是否大于预设定的距离阈值,若否,则执行S208;若是,则执行S209。
S208、确定所述目标业务在所述监控维度下的业务监控结果为业务正常运行。
在本实施例中,预设定的距离阈值可理解为根据维度特征等确定的适用于判断待监控数据是否处于正常运行状态的参数值,由于该距离阈值仅是一个距离判定值,其在初始设定后并不会随时间推移或业务量的累积进行调整,大幅度节省了人力成本。
具体的,当关联距离值小于或等于预设定的距离阈值时,可认为该待监控数据与当前聚类簇心数据对应表示的业务趋势走向相符,该待监控数据中的业务量处于该监控维度下的正常波动范围,此时确定目标业务在所述监控维度下的业务监控结果为业务正常运行。
S209、判断所述聚类簇心集合是否存在未选定聚类簇心数据,若是,则执行S210;若否,则执行S211。
具体的,当关联距离值大于预设定的距离阈值时,可认为该待监控数据与当前聚类簇心数据对应表示的业务趋势走向不符,此时对所述聚类簇心集合进行查询,判断所述聚类簇心集合中是否存在未被选定过的聚类簇心数据。
S210、从未选定聚类簇心数据中选定一个聚类簇心数据作为新的当前聚类簇心数据,并返回S206。
具体的,若聚类簇心集合中存在未选定聚类簇心数据,则可重新选定聚类簇心数据进行待监控数据与所述当前聚类簇心数据的关联距离值的计算,以根据关联距离值判断该待监控数据与当前聚类簇心数据对应表示的业务趋势走向是否相符,此时从聚类簇心集合中未选定聚类簇心数据中随机选取一个作为新的当前聚类簇心数据,并返回执行S206及后续步骤,直到得到业务监控结果。
S211、确定所述目标业务在所述监控维度下的业务监控结果为业务异常运行。
具体的,若聚类簇心集合中不存在未选定聚类簇心数据,则表明当前聚类簇心数据为聚类簇心集合中的最后一个聚类簇心数据,且由于待监控数据与所有聚类簇心数据的关联距离值均大于预设定的距离阈值,认为该待监控数据中的业务量超出了该监控维度下的正常波动范围,此时确定所述目标业务在所述监控维度下的业务监控结果为业务异常运行。
S212,当所述业务监控结果为业务异常运行时,生成所述目标业务在所述监控维度下的业务异常报告并进行告警。
具体的,当业务监控结果为业务异常运行时,说明目标业务在该监控维度下的信息条数走向超出正常范围,此时,可判断该信息条数走向是低于正常范围还是高于正常范围,当低于正常范围时,生成对应的低于正常范围的业务异常报告并将该报告发送至系统终端以进行告警;当高于正常范围时,生成对应的高于正常范围的业务异常报告并将该报告发送至系统终端以进行告警,示例性的,该业务异常报告可包括待监控数据低于最低业务量阈值或高于最高业务量阈值的差值,造成异常的可能原因(是否存在刷单现象等),该异常发生时间等。
S213、存储所述监控维度下对应的待监控数据,并在满足聚类簇心更新条件时,采用所存储的待监控数据更新所述监控维度对应的聚类簇心集合。
在本实施例中,聚类簇心更新条件可为当存储的所述监控维度下对应的待监控数据达到预设数值时或当距离上一次聚类簇心更新达到预设时长时对用以聚类得到聚类簇心的样本监控数据进行更新的条件。
具体的,在每次对目标业务进行业务监控时均将该监控维度下对应的待监控数据进行存储,并在满足聚类簇心更新条件时,利用存储的待监控数据替换与待监控数据同等数量或同等时间长度的用以聚类得到聚类簇心的样本监控数据,其中,被替换的样本监控数据应为所有样本监控数据中距离当前时刻最长时间的部分样本监控数据。在样本监控数据更新完成后,对更新后的样本监控数据采用聚类划分策略处理以得到新的所述监控维度下对应的聚类簇心集合。
本发明实施例提供的业务监控方案中,通过对不同维度下获取的目标业务的历史业务信息进行筛选整合,进行聚类处理后得到对应的聚类簇心集合,用以得到该目标业务在不同维度下对应具备的聚类趋势。通过判断待监控数据与对应聚类簇心集合中聚类簇心数据的关联距离值以确定该待监控数据所表示的业务是否满足该业务应具有的聚类趋势,并以此来确定上述监控维度下的业务监控结果。无需人为依据历史经验设定判定阈值,而是为聚类簇心设定一个距离阈值作为距离判定值,由此避免了设定阈值手时间推移或业务量积累而带来的设定阈值需要频繁手动重设的问题,同时在满足聚类簇心更新条件时自适应的更新聚类簇心集合,有效保证了监控结果的准确度,并能够更好的适应大规模业务量下业务信息的有效监控,节约了人工成本。
实施例三
图5给出了本发明实施例三提供的一种业务监控装置的结构框图,该装置适用于对一段时间内目标业务进行业务信息条数进行监控的情况,该装置可以由硬件和/或软件实现,并一般集成在计算机设备上,如图5所示,该业务监控装置包括:业务信息筛选模块31、簇心集合获取模块32以及监控结果确定模块33。
其中,业务信息筛选模块31,用于按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据;簇心集合获取模块32,用于获取预先对应所述监控维度下确定的聚类簇心集合;监控结果确定模块33,用于根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据,确定所述目标业务在所述监控维度下的业务监控结果。
本发明实施例的技术方案在不同监控维度下增设了聚类簇心集合,通过确定目标业务的待监控数据与不同监控维度下所对应聚类簇心集合中聚类簇心的关系来确定目标业务在监控维度下的监控结果;本技术方案由于不再考虑信息条数与设定阈值的关系,由此避免了设定阈值受时间推移或业务量积累而带来的设定阈值频繁手动重设的问题,同时,本技术方案在监控维度下对功能业务的监控操作不需要人工参与,由此也能够更好的适应大规模业务量下业务信息的有效监控。
可选的,该装置还包括:
簇心集合确定模块,用于根据目标业务的历史业务信息,确定所述目标业务在所述监控维度下的聚类簇心集合。
业务异常告警模块,用于当所述业务监控结果为业务异常运行时,生成所述目标业务在所述监控维度下的业务异常报告并进行告警。
簇心集合更新模块,用于存储所述监控维度下对应的待监控数据,并在满足聚类簇心更新条件时,采用所存储的待监控数据更新所述监控维度对应的聚类簇心集合。
本发明实施例所提供的业务监控装置可执行本发明任意实施例所提供的业务监控方法,具备执行方法相应的功能模块和有益效果。
实施例四
图6给出了本发明实施例四提供的一种计算机设备的硬件结构示意图,具体地,该计算机设备包括:处理器和存储装置。存储装置中存储有至少一条指令,且指令由所述处理器执行,使得所述计算机设备执行如上述方法实施例所述的业务监控方法。
参照图6,该计算机设备具体可以包括:处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45。该计算机设备中处理器40的数量可以是一个或者多个,图6中以一个处理器40为例。该计算机设备中存储装置41的数量可以是一个或者多个,图6中以一个存储装置41为例。该计算机设备的处理器40、存储装置41、显示屏42、输入装置43、输出装置44以及通信装置45可以通过总线或者其他方式连接,图6中以通过总线连接为例。
存储装置41作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例对应的程序指令/模块(例如,上述实施例所提供业务监控装置中的业务信息筛选模块31、簇心集合获取模块32以及监控结果确定模块33等)。存储装置41可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作装置、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储装置41可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置41可进一步包括相对于处理器40远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一般而言,显示屏42用于根据处理器40的指示显示数据,还用于接收作用于显示屏42的触摸操作,并将相应的信号发送至处理器40或其他装置。可选的,当显示屏42为红外屏时,其还包括红外触摸框,该红外触摸框设置在显示屏42的四周,其还可以用于接收红外信号,并将该红外信号发送至处理器40或者其他计算机设备。
通信装置45,用于与其他计算机设备建立通信连接,其可以是有线通信装置和/或无线通信装置。
输入装置43可用于接收输入的数字或者字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入,还可以是用于获取图像的摄像头以及获取视频数据中音频的拾音计算机设备。输出装置44可以包括显示屏等视频计算机设备以及扬声器等音频计算机设备。需要说明的是,输入装置43和输出装置44的具体组成可以根据实际情况设定。
处理器40通过运行存储在存储装置41中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的业务监控方法。
具体的,实施例中,处理器40执行存储装置41中存储的一个或多个程序时,具体实现如下操作:按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成监控维度下的待监控数据;获取预先对应监控维度下确定的聚类簇心集合;根据待监控数据及聚类簇心集合中的至少一个聚类簇心数据,确定目标业务在监控维度下的业务监控结果。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例提供的业务监控方法。示例性的,上述实施例所述的业务监控方法包括:按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成监控维度下的待监控数据;获取预先对应监控维度下确定的聚类簇心集合;根据待监控数据及聚类簇心集合中的至少一个聚类簇心数据,确定目标业务在监控维度下的业务监控结果。
需要说明的是,对于装置、计算机设备、存储介质实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是机器人,个人计算机,服务器,或者网络设备等)执行本发明任意实施例所述的业务监控方法。
值得注意的是,上述业务监控装置中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行装置执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种业务监控方法,其特征在于,包括:
按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据;
获取预先对应所述监控维度下确定的聚类簇心集合;
根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据,确定所述目标业务在所述监控维度下的业务监控结果;
其中,所述根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据,确定所述目标业务在所述监控维度下的业务监控结果,包括:
从所述聚类簇心集合中选定一个聚类簇心数据作为当前聚类簇心数据;
确定所述待监控数据与所述当前聚类簇心数据的关联距离值;
如果所述关联距离值小于或等于预设定的距离阈值,则确定所述目标业务在所述监控维度下的业务监控结果为业务正常运行。
2.根据权利要求1所述的方法,其特征在于,所述按照选定的监控维度筛选目标业务的业务信息,并根据所筛选业务信息形成所述监控维度下的待监控数据,包括:
确定所选定监控维度对应的维度特征,并按照各所述维度特征筛选所述目标业务的业务信息获得至少一个目标业务信息;
统计各所述目标业务信息的信息条数,将所述维度特征经数值编码处理与所述信息条数结合形成以向量化表示的待监控数据。
3.根据权利要求2所述的方法,其特征在于,还包括:
根据目标业务的历史业务信息,确定所述目标业务在所述监控维度下的聚类簇心集合。
4.根据权利要求3所述的方法,其特征在于,所述根据目标业务的历史业务信息,确定所述目标业务在所述监控维度下的聚类簇心集合,包括:
按照所述监控维度筛选所述目标业务在设定历史时间内的历史业务信息;
根据所述监控维度的维度特征整合各所述历史业务信息,形成至少一个以向量化表示的样本监控数据;
采用聚类划分策略对各所述样本监控数据进行聚类划分,形成设定簇数的聚类集合;
提取各所述聚类集合的聚类簇心数据,并形成包含各所述聚类簇心数据的聚类簇心集合。
5.根据权利要求4所述的方法,其特征在于,所述设定簇数预先基于选定的簇心个数确定算法确定。
6.根据权利要求1所述的方法,其特征在于,还包括:
如果所述关联距离值大于预设定的距离阈值,则当所述聚类簇心集合中存在未选定聚类簇心数据时,从未选定聚类簇心数据中选定一个聚类簇心数据作为新的当前聚类簇心数据,并继续执行关联距离值的确定操以及关联距离值与所述距离阈值的比对操作。
7.根据权利要求6所述的方法,其特征在于,还包括:
当所述聚类簇心集合中不存在未选定聚类簇心数据时,确定所述目标业务在所述监控维度下的业务监控结果为业务异常运行。
8.根据权利要求1-6任一项所述的方法,其特征在于,在确定所述目标业务在所述监控维度下的业务监控结果之后,还包括:
当所述业务监控结果为业务异常运行时,生成所述目标业务在所述监控维度下的业务异常报告并进行告警。
9.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
存储所述监控维度下对应的待监控数据,并在满足聚类簇心更新条件时,采用所存储的待监控数据更新所述监控维度对应的聚类簇心集合。
10.一种业务监控装置,其特征在于,包括:
业务信息筛选模块,用于按照选定的监控维度筛选目标业务的业务信息,并根据筛选出的目标业务信息形成所述监控维度下的待监控数据;
簇心集合获取模块,用于获取预先对应所述监控维度下确定的聚类簇心集合;
监控结果确定模块,用于根据待监控数据及所述聚类簇心集合中的至少一个聚类簇心数据,确定所述目标业务在所述监控维度下的业务监控结果;
其中,所述监控结果确定模块,具体用于:
从所述聚类簇心集合中选定一个聚类簇心数据作为当前聚类簇心数据;
确定所述待监控数据与所述当前聚类簇心数据的关联距离值;
如果所述关联距离值小于或等于预设定的距离阈值,则确定所述目标业务在所述监控维度下的业务监控结果为业务正常运行。
11.一种业务监控设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9任一项所述的业务监控方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9任一项所述的业务监控方法。
CN202010368126.XA 2020-04-30 2020-04-30 业务监控方法、装置、设备及存储介质 Active CN111581508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010368126.XA CN111581508B (zh) 2020-04-30 2020-04-30 业务监控方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010368126.XA CN111581508B (zh) 2020-04-30 2020-04-30 业务监控方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111581508A CN111581508A (zh) 2020-08-25
CN111581508B true CN111581508B (zh) 2023-05-26

Family

ID=72127608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010368126.XA Active CN111581508B (zh) 2020-04-30 2020-04-30 业务监控方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111581508B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114896393B (zh) * 2022-04-15 2023-06-27 中国电子科技集团公司第十研究所 一种数据驱动的文本增量聚类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103886398B (zh) * 2012-12-20 2018-01-12 中国电信股份有限公司 一种跨系统异构环境下的业务监控方法和系统
CN107741955B (zh) * 2017-09-15 2020-06-23 平安科技(深圳)有限公司 业务数据监控方法、装置、终端设备及存储介质
CN110457175B (zh) * 2019-07-08 2023-04-18 创新先进技术有限公司 业务数据处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111581508A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN107678845B (zh) 应用程序管控方法、装置、存储介质及电子设备
CN106156791B (zh) 业务数据分类方法和装置
CN110991875A (zh) 一种平台用户质量评估系统
CN110119948B (zh) 基于时变权重动态组合的电力用户信用评价方法及系统
CN112101692B (zh) 移动互联网质差用户的识别方法及装置
CN106408325A (zh) 基于用户支付信息的用户消费行为预测分析方法及系统
CN114186626A (zh) 一种异常检测方法、装置、电子设备及计算机可读介质
CN108206813A (zh) 基于k均值聚类算法的安全审计方法、装置及服务器
CN108197795B (zh) 恶意团体账户识别方法、装置、终端及存储介质
CN109978575B (zh) 一种挖掘用户流量经营场景的方法及装置
CN112416590A (zh) 服务器系统资源调整方法、装置、计算机设备及存储介质
CN111581508B (zh) 业务监控方法、装置、设备及存储介质
WO2018036402A1 (zh) 模型中关键变量的探测方法及装置
CN108171570A (zh) 一种数据筛选方法、装置及终端
CN107330709B (zh) 确定目标对象的方法及装置
CN110677269B (zh) 通信用户关系的确定方法、装置和计算机可读存储介质
CN113852510A (zh) 一种网络安全态势预测方法和装置、电子设备、存储介质
CN105930430B (zh) 一种基于非累积属性的实时欺诈检测方法及装置
CN111915378A (zh) 用户属性预测方法、装置、计算机设备及存储介质
CN110443320A (zh) 事件相似度的确定方法及装置
CN115439928A (zh) 一种操作行为识别方法及装置
CN114626940A (zh) 数据分析方法、装置及电子设备
CN113011503B (zh) 一种电子设备的数据取证方法、存储介质及终端
CN110245775B (zh) 用户收支数据的分析方法、装置及计算机设备
CN114238280A (zh) 构建金融敏感信息标准库的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231008

Address after: 31a, 15 / F, building 30, maple mall, bangrang Road, Brazil, Singapore

Patentee after: Baiguoyuan Technology (Singapore) Co.,Ltd.

Address before: 5-13 / F, West Tower, building C, 274 Xingtai Road, Shiqiao street, Panyu District, Guangzhou, Guangdong 510000

Patentee before: GUANGZHOU BAIGUOYUAN INFORMATION TECHNOLOGY Co.,Ltd.