CN116186603A - 异常用户的识别方法及装置、计算机存储介质、电子设备 - Google Patents
异常用户的识别方法及装置、计算机存储介质、电子设备 Download PDFInfo
- Publication number
- CN116186603A CN116186603A CN202211651427.9A CN202211651427A CN116186603A CN 116186603 A CN116186603 A CN 116186603A CN 202211651427 A CN202211651427 A CN 202211651427A CN 116186603 A CN116186603 A CN 116186603A
- Authority
- CN
- China
- Prior art keywords
- traffic
- user
- time sequence
- sequence data
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 186
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000013136 deep learning model Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 238000009499 grossing Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000001186 cumulative effect Effects 0.000 description 11
- 238000012163 sequencing technique Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000001629 suppression Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 239000012634 fragment Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Game Theory and Decision Science (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Tourism & Hospitality (AREA)
- Debugging And Monitoring (AREA)
Abstract
本公开涉及人工智能技术领域,提供了一种异常用户的识别方法、异常用户的识别装置、计算机存储介质、电子设备,其中,异常用户的识别方法包括:根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据;根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据;基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户。本公开中的异常用户的识别方法能够及时发现异常用户。
Description
技术领域
本公开涉及人工智能技术领域,特别涉及一种异常用户的识别方法、异常用户的识别装置、计算机存储介质及电子设备。
背景技术
目前,我国电信业竞争日趋激烈复杂,各家同类企业提供的服务质量都相差不大,客户的争夺和忠诚客户的建立与培养是竞争的焦点和关键。业务量使用情况是反映客户忠诚度的重要指标,通过刻画用户业务量使用情况,识别业务突降的异常用户,实施激活、维系等措施,能够推进精细化运营,有效防止用户流失。
目前存在一些利用历史数据来进行异常用户识别的方案,然而,上述方案存在异常用户发现不及时的问题,对业务造成影响。
鉴于此,本领域亟需开发一种新的异常用户的识别方法及装置。
需要说明的是,上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开的目的在于提供一种异常用户的识别方法、异常用户的识别装置、计算机存储介质及电子设备,进而至少在一定程度上克服由于相关技术的限制而导致的异常用户发现不及时的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种异常用户的识别方法,包括:根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据;根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据;基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户。
在本公开的示例性实施例中,所述预测业务量时序数据包括第一预测业务量时序数据和第二预测业务量时序数据;所述根据所述历史业务量时序数据预测所述用户在未来时段的预测业务量时序数据,包括:基于小波变换,将所述历史业务量时序数据分解为高频子序列和低频子序列;将所述高频子序列输入训练好的高斯回归模型中,以通过所述训练好的高斯回归模型预测得到所述用户在未来时段内的第一预测业务量时序数据;将所述低频子序列输入训练好的深度学习模型中,以通过所述训练好的深度学习模型预测得到所述用户在所述未来时段内的第二预测业务量时序数据;对所述第一预测业务量时序数据和所述第二业务量时序数据进行逆变换,得到所述用户在未来时段的预测业务量时序数据。
在本公开的示例性实施例中,所述未来时段包括多个连续的单位时段,所述第一预测业务量时序数据包括每个所述单位时段对应的预测业务量指标;所述通过所述训练好的高斯回归模型预测得到所述用户在未来时段内的第一预测业务量时序数据,包括:通过所述高斯回归模型生成所述预测业务量指标对应的联合概率分布;根据所述联合概率分布和所述预测业务量指标的先验分布,计算所述预测业务量指标的后验分布;根据所述后验分布的均值,确定所述每个单位时段对应的预测业务量指标;根据所述多个连续的单位时段分别对应的预测业务量指标,确定所述第一预测业务量时序数据。
在本公开的示例性实施例中,所述未来时段包括多个连续的单位时段,所述第一预测业务量时序数据包括每个所述单位时段对应的预测业务量指标;所述通过所述训练好的深度学习模型预测得到所述用户在所述未来时段内的第二预测业务量时序数据,包括:通过所述深度学习模型利用所述高频子序列生成每个所述预测业务量指标的似然函数;对所述似然函数进行多次采样,得到多个采样值;将所述多个采样值对应的期望值确定为所述每个单位时段对应的预测业务量指标;根据所述多个连续的单位时段分别对应的预测业务量指标,确定所述第二预测业务量时序数据。
在本公开的示例性实施例中,在根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据之后,所述方法还包括:针对所述每个用户对应的融合业务量时序数据,计算所述融合业务量时序数据中包含的多个业务量指标的平均值;若所述平均值满足预设条件,将该用户从所述多个用户中剔除,以更新所述多个用户;其中,所述预设条件包括以下任意一个或多个:所述平均值等于第一预设阈值;所述平均值在预设排序序列中的排序结果满足预设要求;所述预设排序序列是根据所述每个用户对应的融合业务量时序数据中包含的多个业务量指标的平均值进行排序得到的。
在本公开的示例性实施例中,在更新所述多个用户之后,所述方法还包括:对更新后的每个用户对应的融合业务量时序数据进行平滑处理。
在本公开的示例性实施例中,所述对更新后的每个用户对应的融合业务量时序数据进行平滑处理,包括:针对所述融合业务量时序数据中的每个业务量指标,获取所述每个业务量指标关联的N个特征业务量指标;N为正整数;利用所述每个业务量指标和所述N个特征业务量指标的平均值,更新所述每个业务量指标,以实现对所述融合业务量时序数据的平滑处理。
在本公开的示例性实施例中,所述基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户,包括:针对所述每个用户对应的融合业务量时序数据,以预设数据截取宽度的滑动窗口对所述融合业务量时序数据进行数据的滑动截取,得到多个时序数据片段;利用四分位距算法识别每个所述时序数据片段中的目标业务量指标是否为异常值;确定所述多个时序数据片段中的异常值的数目;根据所述异常值的数目及所述异常值的分布特征,确定所述每个用户是否为所述异常用户,以从所述多个用户中识别出所述异常用户。
在本公开的示例性实施例中,所述利用四分位距算法识别每个所述时序数据片段中的目标业务量指标是否为异常值,包括:对所述每个时序数据片段中包含的多个业务量指标进行排序,得到排序序列;获取每个所述排序序列的下四分位数和上四分位数,根据所述下四分位数和所述上四分位数确定所述排序序列的四分位距;利用所述下四分位数和所述四分位距,确定一参考值;若所述目标业务量指标小于所述参考值,确定所述目标业务量指标为所述异常值;若所述目标业务量指标大于或等于所述参考值,确定所述目标业务量指标不是所述异常值。
在本公开的示例性实施例中,在利用所述下四分位数和所述四分位距,确定一参考值之后,所述方法还包括:获取所述目标业务量指标相关联的M个指定业务量指标的平均值;M为大于1的整数;若所述目标业务量指标小于所述参考值,并且,所述M个指定业务量指标的平均值大于或等于所述参考值,确定所述目标业务量指标为所述异常值;若所述目标业务量指标大于或等于所述参考值,或,所述M个指定业务量指标的平均值大于或等于所述参考值,确定所述目标业务量指标不是所述异常值。
在本公开的示例性实施例中,所述异常值的分布特征包括连续分布的异常值的数目;所述根据所述异常值的数目及所述异常值的分布特征,确定所述每个用户是否为所述异常用户,包括:若所述异常值的数目大于或等于第二预设阈值,并且,连续分布的所述异常值的数目大于或等于第三预设阈值,确定该用户为所述异常用户;若所述异常值的数目小于所述第二预设阈值,或,连续分布的所述异常值的数目小于所述第三预设阈值,确定该用户不是所述异常用户。
根据本公开的第二方面,提供一种异常用户的识别装置,包括:数据确定模块,用于根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据;预测模块,用于根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;融合模块,用于根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据;异常用户识别模块,用于基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户。
根据本公开的第三方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的异常用户的识别方法。
根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的异常用户的识别方法。
由上述技术方案可知,本公开示例性实施例中的异常用户的识别方法、异常用户的识别装置、计算机存储介质及电子设备至少具备以下优点和积极效果:
在本公开的一些实施例所提供的技术方案中,一方面,根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据,根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据,构建了“历史”+“未来”形式的融合业务量时序数据,实现了业务量异常情况的提前预判。另一方面,基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户,能够解决相关技术中仅通过历史数据进行异常用户识别,导致异常用户发现不及时等问题,从而有利于及时发现异常用户,提前实施激活、维系等措施,推进精细化运营,能有效防止用户流失,提升用户忠诚度。
本公开应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开实施例中异常用户的识别方法的流程示意图;
图2示出本公开实施例中如何根据历史业务量时序数据预测每个用户在未来时段的预测业务量时序数据的流程示意图;
图3示出本公开实施例中如何通过训练好的高斯回归模型预测得到用户在未来时段内的第一预测业务量时序数据的流程示意图;
图4示出本公开实施例中如何通过训练好的深度学习模型预测得到用户在未来时段内的第二预测业务量时序数据的流程示意图;
图5示出本公开实施例中如何根据历史业务量时序数据预测每个用户在未来时段的预测业务量时序数据的整体流程示意图;
图6示出本公开实施例中如何基于每个用户对应的融合业务量时序数据,从多个用户中识别出异常用户的流程示意图;
图7示出本公开实施例中如何利用四分位距算法识别每个时序数据片段中的目标业务量指标是否为异常值的流程示意图;
图8示出本公开实施例中另一种识别每个时序数据片段中的目标业务量指标是否为异常值的流程示意图;
图9示出本公开实施例中如何根据异常值的数目及异常值的分布特征,确定每个用户是否为异常用户的流程示意图;
图10示出本公开实施例中部分累计异常数目、部分连续异常数目所命中的用户数目,及其所对应的离网率监督因子的变化趋势的示意图;
图11示出本公开实施例中如何识别异常用户的整体流程图;
图12示出本公开示例性实施例中异常用户的识别装置的结构示意图;
图13示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
相关技术中,以业务量为流量数据为例说明,一般存在以下几种检测异常业务量数据的方案:
第一种是基于统计学的异常检测方法,具体的,是按照获取历史周期内网络的流量数据;使用平均值法计算上下限阈值,将流量数据分别与流量上限阈值、流量下限阈值进行比对,当流量数据高于流量上限阈值或者流量数据低于流量下限阈值时,则判定流量数据异常。然而,该方案存在以下缺陷:在观测值很少的情况下,会造成样本量不足,可能会改变变量的原有分布,从而造成分析结果的不准确,以及,无法适应网络条件的日益复杂和流量数据的快速增加情况。
第二种是基于机器学习的异常检测方法,具体的,是在获取历史周期内流量数据的基础上引入了标准欧氏距离来衡量异常度,对孤立森林初次检测的结果使用标准欧氏距离来量化疑似异常值的异常度,并使用X均值算法和簇数为2的K均值算法来对距离值进行分类。然而,该方案存在以下缺陷:孤立森林仅对全局稀疏点敏感,不擅长处理局部的相对稀疏点,不适用于特别高维的数据。
第三种也是基于机器学习的异常检测算法,具体的,是收集历史周期内的网络流量数据,并对网络流量数据进行预处理,利用LSTM(Long Short Term Memory,长短期记忆)模型对处理后的网络流量数据进行特征预提取;建立决策树改进支持向量机模型,通过折交叉验证算法选取最优化参数,构建最优化模型;训练得到改进后的向量机模型,用于对提取到的网络流量数据特征进行分类,对分类效果进行评估。然而,该方案存在以下缺陷:该方法为有监督学习,获取异常标签数据较为困难。
可见,上述方案均是基于历史数据进行数据异常分析,存在异常业务量发现晚、发现不及时等缺点,因而,也无法及时发现相关异常用户。
在本公开的实施例中,首先提供了一种异常用户的识别方法,至少在一定程度上克服相关技术中异常用户发现不及时的缺陷。
图1示出本公开实施例中异常用户的识别方法的流程示意图,该异常用户的识别方法的执行主体可以是对异常用户进行识别的服务器。
参考图1,根据本公开的一个实施例的异常用户的识别方法包括以下步骤:
步骤S110,根据多个用户中每个用户对应的历史业务量指标,确定每个用户对应的历史业务量时序数据;
步骤S120,根据历史业务量时序数据预测每个用户在未来时段的预测业务量时序数据;
步骤S130,根据历史业务量时序数据和预测业务量时序数据,生成每个用户对应的融合业务量时序数据;
步骤S140,基于每个用户对应的融合业务量时序数据,从多个用户中识别出异常用户。
在图1所示实施例所提供的技术方案中,一方面,根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据,根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据,构建了“历史”+“未来”形式的融合业务量时序数据,实现了业务量异常情况的提前预判。另一方面,基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户,能够解决相关技术中仅通过历史数据进行异常用户识别,导致异常用户发现不及时等问题,从而有利于及时发现异常用户,提前实施激活、维系等措施,推进精细化运营,能有效防止用户流失,提升用户忠诚度。
以下对图1中的各个步骤的具体实现过程进行详细阐述:
本公开中的异常用户指的是业务量突降用户,即业务量快速大幅度降低的用户,其中,业务量指标可以是流量、话务量、短信量、彩信量等,可以根据实际情况自行设定,本公开对此不作特殊限定,以下实施例中以流量为例进行说明。
在步骤S110中,根据多个用户中每个用户对应的历史业务量指标,确定每个用户对应的历史业务量时序数据。
本步骤中,多个用户可以是某运营商的所有在网用户中除业务量抑制用户之外的其他用户,其中,业务量抑制用户指的是:预先为部分用户赠送了一些免费业务量额度,例如:12月份为某用户赠送了10GB(千兆字节,1千兆字节=1024兆字节)流量包,在12月25号时,上述10GB流量剩余0.5GB,此时,可能会唤起用户的业务量抑制行为(例如:用户会在12月剩余的6天中尽量不用或少用流量),从而,会出现用户的流量相较25号之前而言,用量大幅度下降的情况,该类用户即视为业务量抑制用户。为了避免后续将其识别为业务量突降的异常用户,可以预先识别出这些业务量抑制用户,进而,将这些业务量抑制用户剔除,即将运营商的在网用户中除上述业务量抑制用户之外的其他用户确定为上述多个用户。
历史业务量指标可以是在当前时间之前45天内每天使用的流量,具体的时长可以根据实际情况自行设定,本公开对此不作特殊限定。
示例性的,在得到多个用户中每个用户对应的历史业务量指标之后,可以将历史业务量指标按照时间先后进行拼接,得到上述每个用户对应的历史业务量时序数据x(t),t=1,2,…,T。
在得到每个用户对应的历史业务量时序数据之后,可以进入步骤S120中,根据历史业务量时序数据预测每个用户在未来时段的预测业务量时序数据。
本步骤中,示例性的,未来时段可以是当前日期之后的7天、14天等,可以根据实际情况自行设定,本公开对此不作特殊限定,以下实施例中以14天为例进行说明。当未来时段为14天时,则该14天中的每一天称为一个单位时段。
可以参考图2,图2示出本公开实施例中如何根据历史业务量时序数据预测每个用户在未来时段的预测业务量时序数据的流程示意图,包含步骤S201-步骤S204:
在步骤S201中,基于小波变换,将历史业务量时序数据分解为高频子序列和低频子序列。
本步骤中,小波变换是对基本小波的尺度和平移进行离散化。小波变换不仅可以知道时间序列中频率的成分,还可以知道这些频率出现在时域上的具体位置,即可以得到时频谱。
小波变换的公式可以表示为:DWT(x(t))=[h(t),l(t)],其原理在于:将上述历史业务量时序数据分别输入低通滤波器和高通滤波器中,对高通滤波器输出的数据进行降采样,可以得到上述高频子序列h(t),对低通滤波器输出的数据进行降采样,可以得到上述低频子序列l(t)。
其中,高频子序列h(t)反映了时序的突变性与无规律性,低频子序列l(t)反映了时序的周期性和长期依赖性。
在步骤S202中,将高频子序列输入训练好的高斯回归模型中,以通过训练好的高斯回归模型预测得到用户在未来时段内的第一预测业务量时序数据。
本步骤中,高斯过程模型是使用高斯过程(Gaussian Process,GP)先验对数据进行回归分析的基于核的非参数概率模型。
在训练好上述高斯回归模型之后,可以参考图3,图3示出本公开实施例中如何通过训练好的高斯回归模型预测得到用户在未来时段内的第一预测业务量时序数据的流程示意图,包含步骤S301-步骤S304:
在步骤S301中,通过高斯回归模型生成预测业务量指标对应的联合概率分布。
本步骤中,假设mi为用户i的高频子序列,mi=[m1 i,m2 i,…,mn i],n为序列长度,进而,可以利用mi生成样本集D:(x,y),令f(xi)=yi,从而可以得到向量f=[f(x1),f(x2),…,f(xn)],f服从联合概率分布N(0,K),K为协方差矩阵。
进而,可以使用RBF核函数对协方差矩阵进行计算,RBF核函数可以表示为:其中,∝为超参数,l是需要通过学习确定的参数。具体的,可以通过最大似然概率法求得最优的超参数,以计算出上述协方差矩阵,从而,确定出上述联合概率分布。
步骤S302中,根据联合概率分布和预测业务量指标的先验分布,计算预测业务量指标的后验分布。
本步骤中,高斯回归模型可以通过贝叶斯公式,根据联合概率分布p(f,f*)和预测业务量指标的先验分布p(f),计算出待预测值的业务量指标的后验分布p(f*|f)。其中,贝叶斯公式如下述公式1所示:
在步骤S303中,根据后验分布的均值,确定每个单位时段对应的预测业务量指标。
本步骤中,高斯回归模型可以对上述后验分布取均值,将该均值确定为每个单位时段的预测业务量指标。
在步骤S304中,根据多个连续的单位时段分别对应的预测业务量指标,确定第一预测业务量时序数据。
本步骤中,可以将上述多个连续的单位时段分别对应的预测业务量指标按照时间顺序进行拼接,得到上述第一预测业务量时序数据h'。
接着参考图2,在步骤S203中,将低频子序列输入训练好的深度学习模型中,以通过训练好的深度学习模型预测得到用户在未来时段内的第二预测业务量时序数据。
本步骤中,上述深度学习模型可以是通过以下方式训练得到的:
假设zi为用户i的低频子序列,zi=[z1 i,z2 i,…,zn i],n为序列长度。训练时,在每一个时间步t,模型的输入包括协变量xi,t,上一个时间步的取值zi,t-1,以及上一个时间步的状态hi,t-1。利用上述输入参数先计算当前的隐状态h(hi,t-1,zi,t-1,xi,t,∈),进而计算似然函数l(z|θ)的参数θhi,t=θ(hi,t,ε),最后通过最大化对数似然:l=∑i∑tlogl(zi,t|θ(hi,t))来确定出模型的参数。
其中似然函数可以由高斯分布形成,似然函数可以表示为:参数θ可以使用数学期望值μ和标准差σ将高斯分布参数化,数学期望μ由神经网络输出的仿射变换函数给出,而σ由跟随着softplus激活函数的仿射变换得到。
在训练好上述深度学习模型之后,可以参考图4,图4示出本公开实施例中如何通过训练好的深度学习模型预测得到用户在未来时段内的第二预测业务量时序数据的流程示意图,包含步骤S401-步骤S404:
在步骤S401中,通过深度学习模型利用高频子序列生成每个预测业务量指标的似然函数。
本步骤中,深度学习模型可以将高频子序列转换为隐状态向量,进而,利用隐状态向量预测出预测业务量指标的似然函数。
在步骤S402中,对似然函数进行多次采样,得到多个采样值。
本步骤中,可以对似然函数进行多次采样,得到多个采样值。
在步骤S403中,将多个采样值对应的期望值确定为每个单位时段对应的预测业务量指标。
本步骤中,可以计算上述多个采样值对应的期望值,并将该期望值确定为每个单位时段对应的预测业务量指标。
其中,期望值(mathematic expectation)(或均值,亦简称期望)是试验中每次可能结果的概率乘以其结果的总和,它反映随机变量平均取值的大小。
在步骤S404中,根据多个连续的单位时段分别对应的预测业务量指标,确定第二预测业务量时序数据。
本步骤中,可以对多个连续的单位时段分别对应的预测业务量指标进行拼接得到上述第二预测业务量时序数据l'。
本公开通过针对不同类型的时间序列数据匹配不同的预测模型,具体的,针对低频规律性数据采用深度学习模型,针对高频规律性弱的数据采用高斯回归模型的概率分布预测结果,能够解决传统的业务量预测仅采用某一类预测方法,未考虑业务量时序数据的稳定性和连续性,从而导致的预测误差问题,比传统的利用同一模型直接预测的效果更佳,准确率更高。
接着参考图2,在步骤S204中,对第一预测业务量时序数据和第二业务量时序数据进行逆变换,得到用户在未来时段的预测业务量时序数据。
本步骤中,可以对第一预测业务量时序数据h'和第二业务量时序数据l'进行离散小波逆变换,得到用户在未来时段的预测业务量时序数据。
其中,离散小波逆变换的公式可以表示为如下公式2:
IDWT(h',l')=[x(T+1),x(T+2),x(T+3),…,x(T+14)] 公式2
参考图5,图5示出本公开实施例中如何根据历史业务量时序数据预测每个用户在未来时段的预测业务量时序数据的整体流程示意图,包含步骤S501-步骤S509:
在步骤S501中,获取用户的历史业务量时序数据;
在步骤S502中,对历史业务量时序数据进行离散小波变换;
在步骤S503中,判断离散小波变换得到的序列是否为低频子序列;
若是低频子序列,则进入步骤S504中,利用深度学习模型(DeepAR模型)预测未来时段的预测业务量时序数据;进入步骤S505中,输出第二预测业务量时序数据;
若不是低频子序列,则进入步骤S506中,利用高斯回归模型(GPR模型)预测未来时段的预测业务量时序数据;进入步骤S507中,输出第一预测业务量时序数据;
在步骤S508中,离散小波逆变换;
在步骤S509中,得到用户在未来时段的预测业务量时序数据。
本公开通过采用离散小波变换将历史业务量时序数据转换为高频子序列与低频子序列,分别采用高斯回顾模型和深度自回归学习模型对高低频子序列进行预测,最后使用离散小波逆变换并重构,以对未来的用户业务量进行预测,提高了预测的准确度。
接着参考图1,在步骤S130中,根据历史业务量时序数据和预测业务量时序数据,生成每个用户对应的融合业务量时序数据。
本步骤中,示例性的,可以将上述历史业务量时序数据和上述预测业务量时序数据进行拼接,得到每个用户对应的融合业务量时序数据。
本公开通过对用户未来的业务量进行预测,并将预测业务量与历史业务量相融合,得到具有可预见性的业务量时序数据,基于“历史”+“预测”相结合的方式,能够解决相关技术中仅利用历史业务量识别异常业务量和异常用户所导致的识别不及时,识别具有滞后性的问题,从而能够及时发现异常用户,避免对业务造成不良影响。
在步骤S130之后,可以利用上述融合业务量时序数据对上述多个用户进行更新。
在一种可选的实施方式中,可以判断当前时间之前的半个月内业务量指标为0的天数,若业务量指标为0的天数大于7天,则可以确定该用户为静默用户而并非业务量突降的异常用户,将该用户从上述多个用户中剔除。
在另一种可选的实施方式中,针对每个用户对应的融合业务量时序数据,可以先计算该融合业务量数据中包含的多个业务量指标的平均值,进而,判断该平均值是否等于第一预设阈值,在该平均值等于第一预设阈值的时候,可以将该用户从上述多个用户中剔除,无需处理该用户的相关数据,也无需识别该用户是否为异常用户。
示例性的,上述第一预设阈值可以是0,从而,在计算出融合业务量数据序列中包含的所有的业务量指标的平均值之后,若该平均值为0,可以确定当前用户为静默用户而并非业务量突降的异常用户,进而,可以将该用户从上述多个用户中剔除。
在再一种可选的实施方式中,可以计算每个用户对应的融合业务量时序数据中包含的业务量指标的平均值,进而,将上述多个用户对应的多个平均值进行排序,在排序之后,可以将排序结果位于前20%的用户从上述多个用户中剔除。
从而,可以从多个用户中剔除相关静默用户,排除必然不符合业务量突降情况,从而,减少需要处理的数据量,提升后续异常用户的识别速度。
在更新上述多个用户之后,还可以对更新后的每个用户对应的融合业务量时序数据进行平滑处理。具体的,可以针对每个用户对应的融合业务量时序数据中的每个业务量指标,获取每个业务量指标关联的N个特征业务量指标,利用每个业务量指标和N个特征业务量指标的平均值,更新每个业务量指标,以实现对融合业务量时序数据的平滑处理。
示例性的,以N为2,上述每个业务量指标关联的N个特征业务量指标为:该业务量指标对应的日期之前两天的业务量指标为例进行说明,则针对融合业务量数据中包含的任一业务量指标Fn,可以采用以下公式3对其进行更新:
从而,可以采用上述公式对融合业务量时序数据中的每个业务量指标进行更新处理,以实现对融合业务量数据的平滑处理,从而降低融合业务量数据的突变性。
在剔除部分用户并对剩余用户对应的融合业务量时序数据进行平滑处理之后,可以进入步骤S140中,基于每个用户对应的融合业务量时序数据,从多个用户中识别出异常用户。
本步骤中,可以参考图6,图6示出本公开实施例中如何基于每个用户对应的融合业务量时序数据,从多个用户中识别出异常用户的流程示意图,包含步骤S601-步骤S604:
在步骤S601中,针对每个用户对应的融合业务量时序数据,以预设数据截取宽度的滑动窗口对融合业务量时序数据进行数据的滑动截取,得到多个时序数据片段。
本步骤中,以上述融合业务量时序数据包含过去45天的历史业务量时序数据+未来14天(即第一天到第14天)的预测业务量时序数据为例进行说明,以未来的第一天表示为T为例,则上述历史业务量时序数据所对应的日期可以表示为(T-45,T-44,T-43,……,T-1),上述预测业务量时序数据所对应的日期可以表示为(T,T+1,T+2,T+3,……,T+13),从而,上述融合业务量时序数据所对应的日期可以表示为(T-45,T-44,T-43,……,T-1,T,T+1,T+2,T+3,……,T+13)。
以上述预设数据宽度的滑动窗口长度为37(包含30天的历史业务量指标+7天的预测业务量指标)为例,则示例性的,可以先从融合业务量时序数据中截取日期(T-30,T-29,T-28,……,T-1,T,T+1,……,T+6)所对应的第一时序片段;再从融合业务量时序数据中截取日期(T-29,T-28,……,T-1,T,T+1,……,T+7)所对应的第二时序数据片段;接着从融合业务量时序数据中截取日期(T-28,T-28,……,T-1,T,T+1,……,T+8)所对应的第三时序片段;……;类似的,直至从融合业务量时序数据中截取(T-24,T-28,……,T-1,T,T+1,……,T+13)所对应的第八时序数据片段。
本公开通过构建窗口大小固定的滑动窗口,并根据日期进行窗口的滑动,考虑到了数据的不固定性以及数据规律变化,很大程度上减少了数据噪音对数据处理结果的影响,提升了后续数据处理结果的准确度。
在步骤S602中,利用四分位距算法识别每个时序数据片段中的目标业务量指标是否为异常值。
本步骤中,在得到多个时序数据片段之后,可以利用四分位距算法识别每个时序数据片段中的目标业务量指标是否为异常值。
具体的,可以利用四分位距算法识别上述第一时序数据片段中日期T所对应的目标业务量指标是否为异常值,识别上述第二时序数据片段中的日期T+1所对应的目标业务量指标是否为异常值,识别上述第三时序数据片段中日期T+2所对应的目标业务量指标是否为异常值,识别上述第四时序数据片段中日期T+3所对应的目标业务量指标是否为异常值,……,识别上述第八时序数据片段中日期T+7所对应的目标业务量指标是否为异常值。
参考图7,图7示出本公开实施例中如何利用四分位距算法识别每个时序数据片段中的目标业务量指标是否为异常值的流程示意图,包含步骤S701-步骤S705:
在步骤S701中,对每个时序数据片段中包含的多个业务量指标进行排序,得到排序序列。
本步骤中,以上述第一时序数据片段为例,可以对上述第一时序数据片段中包含的多个业务量指标按照从小到大的顺序进行排序,得到一排序序列。
在步骤S702中,获取排序序列的下四分位数和上四分位数,根据下四分位数和上四分位数确定排序序列的四分位距。
本步骤中,在得到上述排序序列之后,可以获取排序序列的下四分位数Q1和上四分位数Q3。其中,下四分位数指的是排序序列中处在25%位置上的数值,上四分位数指的是排序序列中处在75%位置上述的数值。
在计算出上四分位数和下四分位数之后,可以根据上四分位数和下四分位数的差值,确定上述四分位距,即四分位距IQR=Q3-Q1。
在步骤S703中,利用下四分位数和四分位距,确定一参考值。
本步骤中,示例性的,可以基于以下公式4确定上述参考值Wd:
Wd= Q1-1.5*IQR 公式4
在步骤S704中,若目标业务量指标小于参考值,确定目标业务量指标为异常值。
本步骤中,可以将上述第一时序数据片段中日期T所对应的目标业务量指标与上述参考值Wd进行比较,若其小于Wd,则可以确定第一时序数据片段中日期T所对应的目标业务量指标为异常值。
在步骤S705中,若目标业务量指标大于或等于参考值,确定目标业务量指标不是异常值。
本步骤中,若第一时序数据片段中日期T所对应的目标业务量指标大于或等于Wd,则可以确定第一时序数据片段中日期T所对应的目标业务量指标不是异常值。
需要说明的是,在上述步骤S703之后,为了提高异常值检测的准确度,还可以参考图8,图8示出本公开实施例中另一种识别每个时序数据片段中的目标业务量指标是否为异常值的流程示意图,包含步骤S801-步骤S803:
在步骤S801中,获取目标业务量指标相关联的M个指定业务量指标的平均值。
本步骤中,以M为7为例进行说明,M个指定业务量指标可以是目标业务量指标对应的日期T之后7天每天的业务量指标,从而,可以基于以下公式5获取上述M个指定业务量指标的平均值:
其中,Vp表示上述日期T之后7天的业务量指标的平均值,F1、F2、F3、F4、F5、F6、F7表示上述目标业务量指标对应的日期T之后7天每天的业务量指标。
在步骤S802中,若目标业务量指标小于参考值,并且,M个指定业务量指标的平均值大于或等于参考值,确定目标业务量指标为异常值。
本步骤中,若上述第一时序数据片段中日期T所对应的目标业务量指标小于Wd,并且,Vp小于Wd,则可以确定第一时序数据片段中日期T所对应的目标业务量指标为异常值。
在步骤S803中,若目标业务量指标大于或等于参考值,或,M个指定业务量指标的平均值大于或等于参考值,确定目标业务量指标不是异常值。
本步骤中,若上述第一时序数据片段中日期T所对应的目标业务量指标大于或等于Wd,并且,Vp大于或等于Wd,则可以确定第一时序数据片段中日期T所对应的目标业务量指标不是异常值。
类似的,可以确定出每个时序数据片段中的目标业务量指标是否为异常值。
本公开中通过引入离网率监督因子,创新了异常值识别方案,实现了异常值的精准识别,解决了传统异常检测仅是数据层面的异常检测、易受数据波动性等影响、存在异常检测不合理、不准确等缺点,提升了异常值识别结果的准确度。
接着参考图6,在步骤S603中,确定多个时序数据片段中的异常值的数目。
本步骤中,可以确定上述多个时序数据片段中的异常值的数目,即上述8个数据时序数据片段中总共包含几个异常的目标业务量指标,可称为累计异常数目。
参照上述步骤S602的相关解释,若识别出上述8个数据时序数据片段中异常的目标业务量指标为:日期T+1对应的目标业务量指标、日期T+4对应的目标业务量指标、日期T+5对应的目标业务量指标、日期T+6对应的目标业务量指标、日期T+7对应的目标业务量指标,则可以确定出累计异常数目为5。
在步骤S604中,根据异常值的数目及异常值的分布特征,确定每个用户是否为异常用户,以从多个用户中识别出异常用户。
本步骤中,异常值的分布特征可以是上述连续的异常值的数目(可称为连续异常数目),示例性的,参考上述步骤S603的相关解释可知,连续的异常值的数目为4(即对应于日期T+4对应的目标业务量指标、日期T+5对应的目标业务量指标、日期T+6对应的目标业务量指标、日期T+7对应的目标业务量指标)。
参考图9,图9示出本公开实施例中如何根据异常值的数目及异常值的分布特征,确定每个用户是否为异常用户的流程示意图,包含步骤S901-步骤S902:
在步骤S901中,若异常值的数目大于或等于第二预设阈值,并且,连续分布的异常值的数目大于或等于第三预设阈值,确定当前用户为异常用户。
本步骤中,首先对如何确定上述第二预设阈值和上述第四阈值的具体实施方式进行说明:
可以统计上述更新后的多个用户中每个用户对应的累计异常数目和连续异常数目,并统计出累计异常数目的数值范围,例如:3-8,以及,连续异常数目的数值范围,例如:3-8。
进而,可以基于以下公式6计算不同的累计异常数目、不同的连续异常数目所对应的离网率监督因子:
其中,上述离网率指的是不同的累计异常数目、不同的连续异常数目所命中的用户数目中,在预设天数(例如:20天)内发生离网行为的离网用户(例如:注销SIM卡的用户)所占的比重。举例而言,假设累计异常数目3、连续异常数目3总共命中100个用户,而上述100个用户中存在20个离网用户,则计异常数目3、连续异常数目3对应的离网率为20/100=20%。
覆盖率指的是上述离网用户占运营商的所有用户的比重,以运营商下有10000个用户为例进行说明,则覆盖率可以是20/10000=0.2%。
参考表1,表1示出上述不同的累计异常数目、不同的连续异常数目所对应的离网率监督因子:
表1
此外,参考图10,图10示出本公开实施例中部分累计异常数目、部分连续异常数目所命中的用户数目,及其所对应的离网率监督因子的变化趋势的示意图,由图10可知,连续异常数目4天、累计异常数目6天总共命中245个用户,对应的离网率监督因子为5.5%;连续异常数目5天、累计异常数目6天总共命中185个用户,对应的离网率监督因子为5.9%;连续异常数目5天、累计异常数目7天总共命中155个用户,对应的离网率监督因子为5.1%;连续异常数目5天、累计异常数目8天总共命中的用户数目为135个用户,对应的离网率监督因子为4.7%。因此,连续异常数目5天、累计异常数目6天所对应的离网率监督因子的数值最大。
进一步的,本公开通过对不同的连续异常数目、不同的累计异常数目所对应的离网率和覆盖率进行监控分析得到:连续异常数目4天、累计异常数目6天对应离网用户的覆盖率最大,离网率最低;连续异常数目5天、累计异常数目6天对应离网用户的覆盖率降低,离网率升高;连续异常数目5天、累计异常数目7天对应离网用户的覆盖率持续下降,离网率持续上升;连续异常数目5天、累计异常数目8天对应离网用户的覆盖率最高,离网率最高。
因此,基于上述分析,联合表1、图10,可以将最大的离网率监督因子所对应的累计异常数目(6)确定为上述第二预设阈值,将最大的离网率监督因子所对应的连续异常数目(5)确定为上述第三预设阈值。
进而,若上述用户对应的异常值的数目大于或等于第二预设阈值,并且,连续分布的异常值的数目大于或等于第三预设阈值,则可以确定该用户为业务量突降的异常用户。
在步骤S902中,若异常值的数目小于第二预设阈值,或,连续分布的异常值的数目小于第三预设阈值,确定用户不是上述异常用户。
本步骤中,若某个用户对应的异常值的数目小于上述第二预设阈值,或,连续分布的异常值的数目小于第三预设阈值,可以确定该用户不是异常用户。
参考图11,图11示出本公开实施例中如何识别异常用户的整体流程图,包含步骤S1101-步骤S1105:
在步骤S1101中,构造融合业务量时序数据(历史+未来);
在步骤S1102中,预处理;
在步骤S1103中,基于滑动窗口的异常值识别;
在步骤S1104中,基于离网率监督因子的异常用户识别;
在步骤S1105中,输出异常用户识别结果。
基于以上技术方案,本公开至少具有以下技术效果:
第一,通过构建“历史”+“未来”的融合业务量时序数据,实现了业务量异常值的提前预判,从而实现对业务量异常用户的提前预判;
第二,基于离散小波结合高斯回归模型和深度自回归模型,实现了未来时段业务量的精准预测;
第三,通过在识别异常用户时引入离网率监督因子,提供了一种新的异常用户的判定方法,提升了业务量异常用户的识别准确度。
本公开还提供了一种异常用户的识别装置,图12示出本公开示例性实施例中异常用户的识别装置的结构示意图;如图12所示,异常用户的识别装置1200可以包括数据确定模块1210、预测模块1220、融合模块1230和异常用户识别模块1240。其中:
数据确定模块1210,用于根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据;
预测模块1220,用于根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;
融合模块1230,用于根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据;
异常用户识别模块1240,用于基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户。
在本公开的示例性实施例中,所述预测业务量时序数据包括第一预测业务量时序数据和第二预测业务量时序数据;所述预测模块1220根据所述历史业务量时序数据预测所述用户在未来时段的预测业务量时序数据,包括:基于小波变换,将所述历史业务量时序数据分解为高频子序列和低频子序列;将所述高频子序列输入训练好的高斯回归模型中,以通过所述训练好的高斯回归模型预测得到所述用户在未来时段内的第一预测业务量时序数据;将所述低频子序列输入训练好的深度学习模型中,以通过所述训练好的深度学习模型预测得到所述用户在所述未来时段内的第二预测业务量时序数据;对所述第一预测业务量时序数据和所述第二业务量时序数据进行逆变换,得到所述用户在未来时段的预测业务量时序数据。
在本公开的示例性实施例中,所述未来时段包括多个连续的单位时段,所述第一预测业务量时序数据包括每个所述单位时段对应的预测业务量指标;所述预测模块1220通过所述训练好的高斯回归模型预测得到所述用户在未来时段内的第一预测业务量时序数据,包括:通过所述高斯回归模型生成所述预测业务量指标对应的联合概率分布;根据所述联合概率分布和所述预测业务量指标的先验分布,计算所述预测业务量指标的后验分布;根据所述后验分布的均值,确定所述每个单位时段对应的预测业务量指标;根据所述多个连续的单位时段分别对应的预测业务量指标,确定所述第一预测业务量时序数据。
在本公开的示例性实施例中,所述未来时段包括多个连续的单位时段,所述第一预测业务量时序数据包括每个所述单位时段对应的预测业务量指标;所述预测模块1220通过所述训练好的深度学习模型预测得到所述用户在所述未来时段内的第二预测业务量时序数据,包括:通过所述深度学习模型利用所述高频子序列生成每个所述预测业务量指标的似然函数;对所述似然函数进行多次采样,得到多个采样值;将所述多个采样值对应的期望值确定为所述每个单位时段对应的预测业务量指标;根据所述多个连续的单位时段分别对应的预测业务量指标,确定所述第二预测业务量时序数据。
在本公开的示例性实施例中,在根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据之后,所述融合模块1230,被配置为:
针对所述每个用户对应的融合业务量时序数据,计算所述融合业务量时序数据中包含的多个业务量指标的平均值;若所述平均值满足预设条件,将该用户从所述多个用户中剔除,以更新所述多个用户;其中,所述预设条件包括以下任意一个或多个:所述平均值等于第一预设阈值;所述平均值在预设排序序列中的排序结果满足预设要求;所述预设排序序列是根据所述每个用户对应的融合业务量时序数据中包含的多个业务量指标的平均值进行排序得到的。
在本公开的示例性实施例中,在更新所述多个用户之后,所述融合模块1230,被配置为:
对更新后的每个用户对应的融合业务量时序数据进行平滑处理。
在本公开的示例性实施例中,所述融合模块1230对更新后的每个用户对应的融合业务量时序数据进行平滑处理,包括:针对所述融合业务量时序数据中的每个业务量指标,获取所述每个业务量指标关联的N个特征业务量指标;N为正整数;利用所述每个业务量指标和所述N个特征业务量指标的平均值,更新所述每个业务量指标,以实现对所述融合业务量时序数据的平滑处理。
在本公开的示例性实施例中,所述异常用户识别模块1240基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户,包括:针对所述每个用户对应的融合业务量时序数据,以预设数据截取宽度的滑动窗口对所述融合业务量时序数据进行数据的滑动截取,得到多个时序数据片段;利用四分位距算法识别每个所述时序数据片段中的目标业务量指标是否为异常值;确定所述多个时序数据片段中的异常值的数目;根据所述异常值的数目及所述异常值的分布特征,确定所述每个用户是否为所述异常用户,以从所述多个用户中识别出所述异常用户。
在本公开的示例性实施例中,所述异常用户识别模块1240利用四分位距算法识别每个所述时序数据片段中的目标业务量指标是否为异常值,包括:对所述每个时序数据片段中包含的多个业务量指标进行排序,得到排序序列;获取每个所述排序序列的下四分位数和上四分位数,根据所述下四分位数和所述上四分位数确定所述排序序列的四分位距;利用所述下四分位数和所述四分位距,确定一参考值;若所述目标业务量指标小于所述参考值,确定所述目标业务量指标为所述异常值;若所述目标业务量指标大于或等于所述参考值,确定所述目标业务量指标不是所述异常值。
在本公开的示例性实施例中,在利用所述下四分位数和所述四分位距,确定一参考值之后,所述异常用户识别模块1240,被配置为:
获取所述目标业务量指标相关联的M个指定业务量指标的平均值;M为大于1的整数;若所述目标业务量指标小于所述参考值,并且,所述M个指定业务量指标的平均值大于或等于所述参考值,确定所述目标业务量指标为所述异常值;若所述目标业务量指标大于或等于所述参考值,或,所述M个指定业务量指标的平均值大于或等于所述参考值,确定所述目标业务量指标不是所述异常值。
在本公开的示例性实施例中,所述异常值的分布特征包括连续分布的异常值的数目;所述异常用户识别模块1240根据所述异常值的数目及所述异常值的分布特征,确定所述每个用户是否为所述异常用户,包括:若所述异常值的数目大于或等于第二预设阈值,并且,连续分布的所述异常值的数目大于或等于第三预设阈值,确定该用户为所述异常用户;若所述异常值的数目小于所述第二预设阈值,或,连续分布的所述异常值的数目小于所述第三预设阈值,确定该用户不是所述异常用户。
上述异常用户的识别装置中各模块的具体细节已经在对应的异常用户的识别方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望值的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的方法。
此外,在本公开实施例中还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图13来描述根据本公开的这种实施方式的电子设备1300。图13显示的电子设备1300仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图13所示,电子设备1300以通用计算设备的形式表现。电子设备1300的组件可以包括但不限于:上述至少一个处理单元1310、上述至少一个存储单元1320、连接不同系统组件(包括存储单元1320和处理单元1310)的总线1330以及显示单元1340。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1310执行,使得所述处理单元1310执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元1310可以执行如图1中所示的:步骤S110,根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据;步骤S120,根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;步骤S130,根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据;步骤S140,基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户。
存储单元1320可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)13201和/或高速缓存存储单元13202,还可以进一步包括只读存储单元(ROM)13203。
存储单元1320还可以包括具有一组(至少一个)程序模块13205的程序/实用工具13204,这样的程序模块13205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1330可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1300也可以与一个或多个外部设备1400(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1300交互的设备通信,和/或与使得该电子设备1300能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1350进行。并且,电子设备1300还可以通过网络适配器1360与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1360通过总线1330与电子设备1300的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1300使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种异常用户的识别方法,其特征在于,包括:
根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据;
根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;
根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据;
基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户。
2.根据权利要求1所述的方法,其特征在于,所述预测业务量时序数据包括第一预测业务量时序数据和第二预测业务量时序数据;
所述根据所述历史业务量时序数据预测所述用户在未来时段的预测业务量时序数据,包括:
基于小波变换,将所述历史业务量时序数据分解为高频子序列和低频子序列;
将所述高频子序列输入训练好的高斯回归模型中,以通过所述训练好的高斯回归模型预测得到所述用户在未来时段内的第一预测业务量时序数据;
将所述低频子序列输入训练好的深度学习模型中,以通过所述训练好的深度学习模型预测得到所述用户在所述未来时段内的第二预测业务量时序数据;
对所述第一预测业务量时序数据和所述第二业务量时序数据进行逆变换,得到所述用户在未来时段的预测业务量时序数据。
3.根据权利要求2所述的方法,其特征在于,所述未来时段包括多个连续的单位时段,所述第一预测业务量时序数据包括每个所述单位时段对应的预测业务量指标;
所述通过所述训练好的高斯回归模型预测得到所述用户在未来时段内的第一预测业务量时序数据,包括:
通过所述高斯回归模型生成所述预测业务量指标对应的联合概率分布;
根据所述联合概率分布和所述预测业务量指标的先验分布,计算所述预测业务量指标的后验分布;
根据所述后验分布的均值,确定所述每个单位时段对应的预测业务量指标;
根据所述多个连续的单位时段分别对应的预测业务量指标,确定所述第一预测业务量时序数据。
4.根据权利要求2所述的方法,其特征在于,所述未来时段包括多个连续的单位时段,所述第一预测业务量时序数据包括每个所述单位时段对应的预测业务量指标;
所述通过所述训练好的深度学习模型预测得到所述用户在所述未来时段内的第二预测业务量时序数据,包括:
通过所述深度学习模型利用所述高频子序列生成每个所述预测业务量指标的似然函数;
对所述似然函数进行多次采样,得到多个采样值;
将所述多个采样值对应的期望值确定为所述每个单位时段对应的预测业务量指标;
根据所述多个连续的单位时段分别对应的预测业务量指标,确定所述第二预测业务量时序数据。
5.根据权利要求1所述的方法,其特征在于,在根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据之后,所述方法还包括:
针对所述每个用户对应的融合业务量时序数据,计算所述融合业务量时序数据中包含的多个业务量指标的平均值;
若所述平均值满足预设条件,将该用户从所述多个用户中剔除,以更新所述多个用户;
其中,所述预设条件包括以下任意一个或多个:所述平均值等于第一预设阈值;
所述平均值在预设排序序列中的排序结果满足预设要求;所述预设排序序列是根据所述每个用户对应的融合业务量时序数据中包含的多个业务量指标的平均值进行排序得到的。
6.根据权利要求5所述的方法,其特征在于,在更新所述多个用户之后,所述方法还包括:
对更新后的每个用户对应的融合业务量时序数据进行平滑处理。
7.根据权利要求6所述的方法,其特征在于,所述对更新后的每个用户对应的融合业务量时序数据进行平滑处理,包括:
针对所述融合业务量时序数据中的每个业务量指标,获取所述每个业务量指标关联的N个特征业务量指标;N为正整数;
利用所述每个业务量指标和所述N个特征业务量指标的平均值,更新所述每个业务量指标,以实现对所述融合业务量时序数据的平滑处理。
8.一种异常用户的识别装置,其特征在于,包括:
数据确定模块,用于根据多个用户中每个用户对应的历史业务量指标,确定所述每个用户对应的历史业务量时序数据;
预测模块,用于根据所述历史业务量时序数据预测所述每个用户在未来时段的预测业务量时序数据;
融合模块,用于根据所述历史业务量时序数据和所述预测业务量时序数据,生成所述每个用户对应的融合业务量时序数据;
异常用户识别模块,用于基于所述每个用户对应的融合业务量时序数据,从所述多个用户中识别出异常用户。
9.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7中任意一项所述的异常用户的识别方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~7中任意一项所述的异常用户的识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211651427.9A CN116186603A (zh) | 2022-12-21 | 2022-12-21 | 异常用户的识别方法及装置、计算机存储介质、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211651427.9A CN116186603A (zh) | 2022-12-21 | 2022-12-21 | 异常用户的识别方法及装置、计算机存储介质、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116186603A true CN116186603A (zh) | 2023-05-30 |
Family
ID=86447076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211651427.9A Pending CN116186603A (zh) | 2022-12-21 | 2022-12-21 | 异常用户的识别方法及装置、计算机存储介质、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116186603A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236653A (zh) * | 2023-11-13 | 2023-12-15 | 北京国电通网络技术有限公司 | 基于业务量预测的车辆调度方法、装置、电子设备 |
-
2022
- 2022-12-21 CN CN202211651427.9A patent/CN116186603A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236653A (zh) * | 2023-11-13 | 2023-12-15 | 北京国电通网络技术有限公司 | 基于业务量预测的车辆调度方法、装置、电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109657805B (zh) | 超参数确定方法、装置、电子设备及计算机可读介质 | |
CN111709765A (zh) | 一种用户画像评分方法、装置和存储介质 | |
US11373760B2 (en) | False detection rate control with null-hypothesis | |
CN112561320A (zh) | 机构风险预测模型的训练方法、机构风险预测方法和装置 | |
CN112883990A (zh) | 数据分类方法及装置、计算机存储介质、电子设备 | |
CN114399321A (zh) | 一种业务系统稳定性分析方法、装置和设备 | |
CN113705726A (zh) | 流量的分类方法、装置、电子设备及计算机可读介质 | |
CN116186603A (zh) | 异常用户的识别方法及装置、计算机存储介质、电子设备 | |
CN115545886A (zh) | 逾期风险识别方法、装置、设备及存储介质 | |
US20230004862A1 (en) | Method for training ranking learning model, ranking method, device and medium | |
CN112486784A (zh) | 诊断和优化数据分析系统的方法、设备和介质 | |
CN117149581A (zh) | 一种基于关联规则算法的异常信息分析预警方法及系统 | |
CN116257758A (zh) | 模型训练方法、人群拓展方法、介质、装置和计算设备 | |
CN114511022B (zh) | 特征筛选、行为识别模型训练、异常行为识别方法及装置 | |
US20220171985A1 (en) | Item recommendation with application to automated artificial intelligence | |
US11586520B2 (en) | Automated data linkages across datasets | |
Su et al. | An online outlier detection method based on wavelet technique and robust RBF network | |
CN109408531B (zh) | 缓慢下跌型数据的检测方法及装置、电子设备、存储介质 | |
CN113553501A (zh) | 一种基于人工智能的用户画像预测的方法及装置 | |
CN113094584A (zh) | 推荐学习资源的确定方法和装置 | |
CN112348584A (zh) | 一种车辆估值方法、装置及设备 | |
CN111461344A (zh) | 高阶特征的自动生成方法、系统、设备和介质 | |
US11645555B2 (en) | Feature selection using Sobolev Independence Criterion | |
US20240134937A1 (en) | Method, electronic device, and computer program product for detecting model performance | |
CN117408261A (zh) | 会话监控方法、系统、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |