CN112256732A - 一种异常检测方法、装置、电子设备及存储介质 - Google Patents

一种异常检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112256732A
CN112256732A CN202011026148.4A CN202011026148A CN112256732A CN 112256732 A CN112256732 A CN 112256732A CN 202011026148 A CN202011026148 A CN 202011026148A CN 112256732 A CN112256732 A CN 112256732A
Authority
CN
China
Prior art keywords
data
monitoring
risk
index
root cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011026148.4A
Other languages
English (en)
Other versions
CN112256732B (zh
Inventor
郑智献
史忠伟
陈宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 58 Information Technology Co Ltd
Original Assignee
Beijing 58 Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 58 Information Technology Co Ltd filed Critical Beijing 58 Information Technology Co Ltd
Priority to CN202011026148.4A priority Critical patent/CN112256732B/zh
Publication of CN112256732A publication Critical patent/CN112256732A/zh
Application granted granted Critical
Publication of CN112256732B publication Critical patent/CN112256732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种异常检测方法、装置、电子设备及存储介质。所述方法，包括：获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征，所述聚合数据为待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；根据明细数据，通过预设的持续性风险召回模型，获取待检测数据中的持续性风险数据；根据聚合数据，通过预设的突发性风险召回模型，获取待检测数据中的突发性风险数据；其中，持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型中的至少一种，突发性风险召回模型包括prophet算法模型。从而极大提升了风险感知的时效性和覆盖率。

Description

一种异常检测方法、装置、电子设备及存储介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种异常检测方法、装置、电子设备及存储介质。
背景技术
在风控场景下，其体系流程主要有风险感知、问题分析、风险识别三个阶段。第一阶段为风险感知即发现风险问题，第二阶段为问题分析即对发现的问题进行归纳分析总结类型，第三阶段为风险识别即构建风险识别模型，进行线上拦截。其中，风险感知作为风控体系的前置阶段有着重要的作用。当前风险感知的方式主要通过日常巡检抽样发现问题，该方式的时效低且覆盖率有限，并且考虑到黑产行为具有对抗性强、形变速度快等的特性，所以需要一种高时效、高覆盖率的自动发现风险的能力。
发明内容
本发明实施例提供一种异常检测方法、装置、电子设备及存储介质，以解决现有的异常检测过程的时效性、覆盖率较差的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种异常检测方法，包括：
获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征中的至少一种，所述聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；
根据所述明细数据，通过预设的持续性风险召回模型，获取所述待检测数据中的持续性风险数据；
根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据；
其中，所述持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型、具有部分观测异常的异常检测算法模型中的至少一种，所述突发性风险召回模型包括prophet算法模型。
可选地，所述根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据的步骤，包括：
针对预设的监控指标体系内包含的任一监控指标维度，获取每个时间单位内，所述监控指标维度在每个指标属性值时的数据量的真实值；
针对任一监控周期，根据所述监控周期之前预设时间段内的数据量的真实值，通过Prophet算法模型，获取所述监控周期内数据量的预测值和警报阈值范围，所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值，所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围；
响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围，根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值，通过多维度根因分析算法，获取所述监控周期的多维度根因分析结果；
获取与所述多维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述监控周期为所述时间单位的整数倍，所述多维度根因分析结果包括至少一个指标维度组合，所述指标维度组合内包括多个指标属性值，且每个所述指标属性值所属的监控指标维度不完全相同。
可选地，所述Prophet算法模型的输入参数还包括所述监控周期的日期属性，所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
可选地，所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围，所述方法还包括：
针对任一所述监控指标维度，以及所述监控指标维度下的任一指标属性值，响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围，以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果；
获取与所述单维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
可选地，所述多维度根因分析算法包括HotSpot根因分析算法。
可选地，所述方法还包括：
基于预设的用户分数库，和/或关系算法对风险数据进行过滤，得到最终的风险数据，所述关系算法包括Louvain算法，所述风险数据包括持续性风险数据、突发性风险数据中的至少一种。
可选地，所述明细数据的存储介质为Tidb，所述聚合数据的存储介质为Opentsdb。
第二方面，本发明实施例提供了一种异常检测装置，包括：
数据处理模块，用于获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征中的至少一种，所述聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；
第一风险数据获取模块，用于根据所述明细数据，通过预设的持续性风险召回模型，获取所述待检测数据中的持续性风险数据；
第二风险数据获取模块，用于根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据；
其中，所述持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型、具有部分观测异常的异常检测算法模型中的至少一种，所述突发性风险召回模型包括prophet算法模型。
可选地，所述第二风险数据获取模块，包括：
监控指标子模块，用于针对预设的监控指标体系内包含的任一监控指标维度，获取每个时间单位内，所述监控指标维度在每个指标属性值时的数据量的真实值；
时序预测子模块，用于针对任一监控周期，根据所述监控周期之前预设时间段内的数据量的真实值，通过Prophet算法模型，获取所述监控周期内数据量的预测值和警报阈值范围，所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值，所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围；
多维度根因分析子模块，用于响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围，根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值，通过多维度根因分析算法，获取所述监控周期的多维度根因分析结果；
第一风险数据获取子模块，用于获取与所述多维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述监控周期为所述时间单位的整数倍，所述多维度根因分析结果包括至少一个指标维度组合，所述指标维度组合内包括多个指标属性值，且每个所述指标属性值所属的监控指标维度不完全相同。
可选地，所述Prophet算法模型的输入参数还包括所述监控周期的日期属性，所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
可选地，所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围，所述第二风险数据获取模块，还包括：
单维度根因分析子模块，用于针对任一所述监控指标维度，以及所述监控指标维度下的任一指标属性值，响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围，以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果；
第二风险数据获取子模块，用于获取与所述单维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
可选地，所述多维度根因分析算法包括HotSpot根因分析算法。
可选地，所述装置还包括：
风险数据过滤模块，用于基于预设的用户分数库，和/或关系算法对风险数据进行过滤，得到最终的风险数据，所述关系算法包括Louvain算法，所述风险数据包括持续性风险数据、突发性风险数据中的至少一种。
可选地，所述明细数据的存储介质为Tidb，所述聚合数据的存储介质为Opentsdb。
第三方面，本发明实施例另外提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的异常检测方法的步骤。
第四方面，本发明实施例另外提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的异常检测方法的步骤。
在本发明实施例中，考虑风险数据的突发性和持续性等不同表现，分别采用不同的模型检测突发性风险数据和持续性风险数据，该风险感知过程能在10分钟内自动感知到60％作用的线上未知风险，极大提升风险感知的时效性和覆盖率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种异常检测方法的步骤流程图；
图2是本发明实施例中的一种ADOA算法的总体框架示意图；
图3是本发明实施例中的另一种异常检测方法的步骤流程图；
图4是本发明实施例中的一种用于异常检测的HotSpot架构示意图；
图5是本发明实施例中的一种突发性风险数据的检测过程的架构示意图；
图6是本发明实施例中的一种风险感知过程的算法框架示意图；
图7是本发明实施例中的一种异常检测装置的结构示意图；
图8是本发明实施例中的另一种异常检测装置的结构示意图；
图9是本发明实施例中的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，示出了本发明实施例中一种异常检测方法的步骤流程图。
步骤110，获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征中的至少一种，所述聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；
步骤120，根据所述明细数据，通过预设的持续性风险召回模型，获取所述待检测数据中的持续性风险数据；
步骤130，根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据；其中，所述持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型、具有部分观测异常的异常检测算法模型中的至少一种，所述突发性风险召回模型包括prophet算法模型。
在实际应用中，风险问题的数据异常波动表现可分为突发性和持续性。突发性表现为短时间内风险问题爆发，波动极大。持续性表现为日常规律性风险问题的发生，波动幅度较小并且具有一定周期规律。
因此，在本发明实施例中，为了有效感知上述的突发性风险、持续性风险等，可以针对突发性风险设计时序prophet算法，针对持续性风险设计网格密度聚类(grid_density)算法、孤立森林(isolation_Forest)算法、正样本无标签学习算法(PUlearning)、具有部分观测异常的异常检测算法模型等无监督/半监督算法。
具体地，可以分别获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征中的至少一种，所述聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；进而分别根据所述明细数据，通过预设的持续性风险召回模型，获取所述待检测数据中的持续性风险数据；根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据；其中，所述持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型(Positive-Unlabeled learning，PU learning)、具有部分观测异常的异常检测(Anomaly Detection with partial Observed Anomalies，ADOA)算法模型中的至少一种，所述突发性风险召回模型包括prophet算法模型。
其中数据明细可以理解为与每条待检测数据相关的数据，例如数据内容、数据生成时间、数据所属业务、生产数据的设备参数、生成数据的端口、数据所属的区域，等等。数据特征可以包括数据的变化趋势、变化幅度等与数据的特征相关的数据。
其中，ADOA算法主要有两个阶段：
首先，第一阶段通过处理异常之间的差异，对观测到的异常(ObservedAnomalies)进行聚类(cluster)，对未标记的实例(Unlabeled instances)进行过滤(filter)，得到潜在的异常(potentialAnomalies)和可靠的正常实例(ReliableNormals)。然后第二阶段，利用上述实例，根据每个实例的标签置信度，为每个实例附加一个权重，并建立一个加权的多类模型，进一步将不同的异常与正常实例区分开来。如图2所示为一种ADOA算法的总体框架示意图。
而聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据。其中监控指标体系内包含的监控指标维度可以根据具体的应用场景下的需求进行自定义设置，对此本发明实施例不加以限定。例如，假设监控指标维度包括城市、用户类别、端口号等，那么则可以分别按照数据所属城市(例如北京、上海、广州等)，对待检测数据进行聚合统计，得到不同城市下的待检测数据，依次也可以分别按照各个待检测数据对应在用户类别、端口号等不同监控指标维度下的具体的指标属性值，对待检测数据进行聚合统计，得到不每个监控指标维度下的聚合统计数据。
而且，在本发明实施例中，可以通过任何可用方式获取待检测数据的明细数据和聚合数据，对此本发明实施例不加以限定。
在本发明实施例中，考虑风险数据的突发性和持续性等不同表现，分别采用不同的模型检测突发性风险数据和持续性风险数据，该风险感知过程能在10分钟内自动感知到60％作用的线上未知风险，极大提升风险感知的时效性和覆盖率。
参照图3，在本发明实施例中，所述步骤130进一步可以包括：
步骤131，针对预设的监控指标体系内包含的任一监控指标维度，获取每个时间单位内，所述监控指标维度在每个指标属性值时的数据量的真实值。
步骤132，针对任一监控周期，根据所述监控周期之前预设时间段内的数据量的真实值，获取所述监控周期内数据量的预测值和警报阈值范围，所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值，所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围。
步骤133，响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围，根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值，通过多维度根因分析算法，获取所述监控周期的多维度根因分析结果。其中，所述监控周期为所述时间单位的整数倍，所述多维度根因分析结果包括至少一个指标维度组合，所述指标维度组合内包括多个指标属性值，且每个所述指标属性值所属的监控指标维度不完全相同。
步骤134，获取与所述多维度根因分析结果对应的数据，作为所述突发性风险数据。
如上述，在风控场景下，考虑到黑产行为具有对抗性强、形变速度快等的特性，所以需要一种高时效、高覆盖率的自动发现风险的能力。
例如，在微聊场景等社交平台而言，黑产行为对抗性强、形变速度快，已有的线上策略无法拦截形变的黑产，并且发现其行为部分存在着集中爆发的现象，比如短时间内B端骚扰C端进行灌水。
其中，黑产行为可以理解为制造网络黑产的行为，网络黑产，指以互联网为媒介，以网络技术为主要手段，为计算机信息系统安全和网络空间管理秩序，甚至国家安全、社会政治稳定带来潜在威胁(重大安全隐患)的非法行为，主要有“黑客攻击”、“盗取账号”、“钓鱼网站”等。B端指的是企业用户商家(Business)，顾名思义就是面向商家、企业级、业务部门提供的服务产品，是间接服务于用户的。C端指的是消费者个人用户(Consumer)。顾名思义就是面向个人用户提供服务的产品，是直接服务于用户的。灌水可以理解为向论坛中发大量无意义的帖子的意思，为一种黑产行为。
所以需要一种基于波动检测的漏出风险的发现能力，以提供产品运营侧有效线索来进行形变黑产的快速打击。因此在本发明实施例中，通过序列预测，结合多维度根因分析进行数据的异常检测，以快速、近实时定位形变黑产并且给出根因，提供运营侧关键线索，给予精准打击处理。
而且一般而言，在进行异常检测时，可以根据需求预先设置监控指标体系，其中可以包含一个或多个监控指标维度。例如，可以设置城市、端口IP号、用户身份、终端类型、年龄段等作为不同的监控指标维度。而且对于不同的指标监控维度还可以设置不同的指标属性值，例如，对于城市而言，可以设置指标属性值包括北京、上海、广州、深圳等城市名，对于用户身份而言，可以设置指标属性值包括vip用户、非vip用户，等等。那么在基于监控指标维度对数据进行划分时，可以获取每个时间单位内，所述监控指标维度在每个指标属性值时的数据量的真实值。当然，在本发明实施例中，也可以根据待检测数据自身对应的指标属性值，划分待检测数据。例如，可以根据各个待检测数据的生成位置所属的全部城市名，作为城市监控指标维度下的指标属性值。
例如，对于对于城市而言，可以分别获取每个时间单位内，根据每个待检测数据的生成位置所属的城市名，对待检测数据进行聚合归类，得到待检测数据中在北京、上海、广州、深圳等每个城市下的数据量的真实值；相应地，对于用户身份而言，可以分别获取每个时间单位内，vip用户产生的数据量的真实值、非vip用户产生的数据量的真实值，等等。
其中的数据量可以理解为数据的数量。时间单位的时间长度可以根据需求进行自定义设置，对此本发明实施例不加以限定。例如，对于上述的微聊场景，各个监控指标维度下的数据量的统计口径为微聊消息的数量。监控指标维度可以有城市、IP端口、用户类型(例如是否为vip(very importantperson，重要人物)、用户性别等)等。可以设置时间单位为1分钟，监控指标维度为城市，且指标属性值为北京时，其对应的数据量的真实值可以包括每1分钟内北京的用户消息量为100w(万)，等等。
而且，在本发明实施例中，可以通过任何可用方式获取各个监控指标维度在每个指标属性值时的数据量的真实值，对此本发明实施例不加以限定。例如，针对每个监控指标维度，可以根据该监控指标维度下的指标属性值，按照各个数据所属的指标属性值，对每个时间单位内的数据进行划分，进而可以统计每个时间单位内的数据在每个监控指标维度下的每个指标属性值时的数据量，等等。
而且，为了针对数据进行异常检测，针对任一监控周期，可以回溯其之前的历史时间段内的数据量的真实值，预测该监控周期内的数据量，并且可以给出报警上下阈值，也即警报阈值范围。也即，根据所述监控周期之前预设时间段内的数据量的真实值，获取所述监控周期内数据量的预测值和警报阈值范围。其中，为了方便后续进行根因分析时定位异常数据所在的监控指标维度，可以设置预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值，所述警报阈值范围则可以包括针对所述监控周期内的全部数据量的警报阈值范围。
而且，为了获取每个所述监控指标维度在每个指标属性值时的数据量的预测值，可以针对每个监控指标维度下的每个指标属性值，根据监控周期之前预设时间段内该监控指标维度在该指标属性值时的数据量的真实值，预测该监控周期内的该监控指标维度在该指标属性值时的数据量的预测值、警报阈值范围等，为了获取监控周期内的全部数据量的警报阈值范围，则可以根据该监控周期之前预设时间段内的全部数据量的真实值，预测得到相应监控周期内的全部数据量的警报阈值范围。
其中，监控周期和预设时间段的时间长度均可以根据需求进行自定义设置，对此本发明实施例不加以限定。例如，可以设置监控周期为上述的时间单位，或者可以为时间单位的整数倍，等等。例如，可以设置监控周期为5分钟，预设时间段为相应监控周期的前一周，等等。
而且，在本发明实施例中，可以通过任何可用方式根据所述监控周期之前预设时间段内的数据量的真实值，获取所述监控周期内数据量的预测值和警报阈值范围，对此本发明实施例不加以限定。例如，可以通过时序预测，也即基于[T-t,…,T-1]时刻的历史时间序列数据预测T时刻，也即当前的监控周期的数据量的预测值，得到每个监控周期内数据量的预测值和警报阈值范围，等等。
如果该监控周期内全部数据量的真实值超出其警报阈值范围，为了准确定位产生异常的指标维度，则可以根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值，通过多维度根因分析算法，获取所述监控周期的数据异常的多维度根因分析结果，所述多维度根因分析结果包括至少一个指标维度组合，每个所述指标维度组合内包括多个指标属性值，且每个所述指标属性值所属的监控指标维度不完全相同。
比如一个指标维度组合可以由北京、联通这两个指标属性值的组合造成了总流量的波动异常。且其中“北京”为监控指标维度“城市”下的指标属性值，“联通”为监控指标维度“通讯服务商”下的指标属性值。
其中，多维度根因分析算法包括任意一种多维度根因分析算法，例如蒙特卡洛树搜索(MCTS)定位多维指标异常、AIOps(Artificial Intelligence for IT Operations，智能化运维)多维指标突变定位、利用聚类算法(比如Affinity Propagation)定位多维指标异常，等等。
相比于ARIMA时序预测，Prophet算法模型不仅能自适应产出预测值和报警上下阈值，也即警报阈值范围，而且Prophet算法模型还可以充分考虑节假日等特殊日期内数据的合理变化情况，极大提升时序预测的准确率。
用Prophet做出的预测，能够以对普通人更加直观的方式进行定制。Prophet有针对周期性的平滑参数(smoothing parameters for seasonality)，允许开发者调整与历史周期的匹配程度。它还有针对趋势的平滑参数，能够调整对历史趋势变化的紧跟程度。对于增长曲线(growth curves)，能根据需求自定义设置上限，即capacities，把关于“该预测如何增长(或下降)”的先验信息注入进去。最后，还能设置不规则日期，来对超级碗、感恩节、黑色星期五之类的特殊日子进行建模。
在它的核心，Prophet是一个可加回归模型(additive regressionmodel)，它有四个组成部分：一个分段的线性或逻辑增长曲线趋势。Prophet通过提取数据中的转变点，自动检测趋势变化。一个按年的周期组件，可以使用傅里叶级数(Fourier series)建模而成。一个按周的周期组件，可以使用虚拟变量(dummyvariables)。用户根据需求自定义设置的重要节日表，其中可以包括节假日信息。
另外，在本发明实施例中，也可以根据具体的应用场景设置根据需求设置Prophet中包含的周期组件，对此本发明实施例不加以限定。例如，如果为了预估小时粒度的短期数据量，可以设置Prophet中包含一个按小时的周期组件，而如果预估分钟粒度的短期数据量，可以设置Prophet中包含一个按分钟的周期组件，等等。
在获取得到多维度根因分析结果之后，则可以进一步获取与所述多维度根因分析结果对应的数据，作为所述突发性风险数据。例如，假设多维度根因分析结果中包括一个指标维度组合为北京和联通，那么则可以从待检测数据中获取同时满足该指标维度组合的数据，作为突发性风险数据。
另外，由于在获取上述多维度根因分析结果时，以监控周期为单位，而且各个监控周期的多维度根因分析结果可以有所不同，那么在本发明实施例中，可以根据每个监控周期的多维度根因分析结果，从相应监控周期内的待检测数据中获取与相应多维度根因分析结果对应的数据，作为相应监控周期内的突发性风险数据。
可选地，在本发明实施例中，所述Prophet算法模型的输入参数还包括所述监控周期的日期属性，所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
如上述，在本发明实施例中，为了提高充分考虑节假日等特殊日期内数据的合理变化情况，极大提升时序预测的准确率。在进行数据预测时，还可以设置Prophet算法模型的输入参数在包括监控周期之前预设时间段内的数据量的真实值之外，还包括所述监控周期的日期属性，所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。其中的节假日类型可以根据需求进行自定义设置，对此本发明实施例不加以限定。例如，可以设置节假日类型包括周末、清明节、劳动节、国庆节、周年庆、黑色星期五，等等。而且，在本发明实施例中，可以通过任何可用方式获取每个监控周期的日期属性，对此本发明实施例不加以限定。
另外，在本发明实施例中，根据需求也可以设置Prophet算法模型的输入参数还包括监控周期之前的预设时间段的日期属性，对此本发明实施例不加以限定。
可选地，在本发明实施例中，所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围，所述步骤130还可以包括：
步骤135，针对任一所述监控指标维度，以及所述监控指标维度下的任一指标属性值，响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围，以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果；其中，所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
步骤136，获取与所述单维度根因分析结果对应的数据，作为所述突发性风险数据。
如上述，在进行数据监控时，可以分别根据不同的监控指标维度进行数据监控，也即获取监控指标体系内包含的各个监控指标维度在其对应的各个指标属性值时的数据量的真实值，而且在数据预测时，也可以针对每个所述监控指标维度，获取其在每个指标属性值时的数据量的预测值，以及每个监控指标维度下的数据量的警报阈值范围。那么在进行异常检测时，为了准确定位至每个指标监控维度，也可以监控指标维度为单位进行数据分析。
具体地，针对每个所述监控指标维度，如果某一监控指标维度在某一指标属性值时的数据量的真实值超出该其警报阈值范围，则可以该监控指标维度下的该指标属性值作为导致所述监控周期内的数据异常的单个指标维度。通过对每个监控指标维度下的每个指标属性值进行上述分析的情况下，则可以得到单维度根因分析结果，所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
进而可以根据每个指标属性值，从待检测数据中获取与之对应的数据作为一种突发性风险数据。例如，可以单维度根因分析结果内包括上海、VIP用户等指标属性值时，分别获取上海对应的数据，VIP用户对应的数据，即为突发性风险数据。
当然，也可以根据每个监控周期的单维度根因分析结果，从相应监控周期内的待检测数据中获取与相应单维度根因分析结果对应的数据，作为相应监控周期内的突发性风险数据。
而且，对于同一监控周期而言，如果其单维度根因分析结果和多维度根因分析结果内包含部分重合的指标属性值，为了避免获取重复的数据，提高风险数据，也即异常数据的获取效率，对于同一监控周期，如果其多维度根因分析结果内包含的各个指标维度组合与其单维度根因分析结果内包含的指标属性值存在部分重合，那么则可以从存在部分重合的指标维度组合和指标属性值中，获取限定范围较大的指标属性值对应的数据，而无需获取相应指标维度组合对应的数据。
例如，假设对于某一监控周期，其多维度根因分析结果内包含一指标维度组合为北京和联通的组合，其单维度根因分析结果内包含一指标属性值北京，那么在获取北京对应的数据时，其中必然包括北京和联通的组合对应的数据，因此可以直接获取获取北京对应的数据，而无需获取北京和联通的组合对应的数据。
当然，在本发明实施例中，也可以获取全部多维度根因分析结果和单维度根因分析结果对应的数据，在获取得到数据之后再对全部数据进行去重处理，去除其中重复的数据，使得每条数据仅出现一次，对此本发明实施例不加以限定。
此时，通过多维度根因分析算法可以获取得到组合根因，也即导致所述监控周期内的数据异常的多维度根因分析结果，比如由北京、联通这两个不同监控指标维度下的指标属性值的组合造成了全部数据量整体的波动异常。而通过针对每个监控指标维度下的数据量的预测比较，可以产出单维度报警，也即确定导致数据异常，也即数据量波动的单个指标维度。
可选地，在本发明实施例中，所述多维度根因分析算法包括HotSpot根因分析算法，也即多维属性的KPI异常定位(HotSpot：Anomaly Localization forAdditive KPIsWith Multi-DimensionalAttributes)算法。其中，KPI即为KeyPerformance Indicators(关键绩效指标)，在本发明实施例中，KPI可以包括上述的各个监控指标维度。
其中，在HotSpot算法中，提出了一个假设Ripple Effect(连锁反应)：如果维度组合(A＝a,*,*)是异常的，那么维度组合(A＝a,B＝b,C＝c)都会以相同的比例出现异常变化基于Ripple Effect，这个工作提出了一个评估一个维度组合集合是不是根因的指标叫potential score(潜在得分)。在HotSpot算法中，异常定位是一个大空间的搜索问题，采用MCTS(Monte Carlo Tree Search，蒙特卡罗树搜索)作为基本搜索算法，提出了一个潜在的分数度量(在异常定位中具有物理意义)，也即上述的potential score metric作为每个集合的潜在度量和MCTS中的值函数，应用层次修剪方法(hierarchical pruning approach，类似于Apriori算法原理)来减少搜索空间。搜索从第一层开始，逐层进行，在每个长方体内应用MCTS，如图4所示为一种异常检测(anomaly detection)的HotSpot架构示意图。各个参数的含义如表(1)所示：
表(1)
Figure BDA0002702157150000161
其中，上表中属性可以理解本发明实施例中的监控指标维度(例如城市、端口IP、用户身份、设备类型、年龄)，而属性值则可以为监控指标维度的指标属性值，例如城市的指标属性值可以包括北京、上海、广东、深圳，等等。那么此时在获取监控指标体系内包含的各个监控指标维度下的数据量的真实值时，可以监控指标维度为单位，获取相应监控指标维度分别在不同指标属性值的情况下的数据量的真实值，例如对于监控指标维度中的城市而言，则可以分别获取北京、上海、广东、深圳，等等各个具体城市下的数据量的真实值，相应地进行数据预测时，也可以获取监控指标维度为单位，获取相应监控指标维度分别在不同指标属性值的情况下的数据量的预测值和警报阈值范围。最终得到的导致所述监控周期内的数据异常的一个或多个指标维度组合，也即得到多维度根因分析结果(Root CauseSet)。
可选地，在本发明实施例中，所述方法还可以包括：
步骤137，根据根因分析结果，调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种；所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
在实际应用中，导致数据异常的原因可能仅限于部分原因，例如部分城市的数据异常、或者是部分端口的数据异常等，那么在进行数据监控时，为了降低监控成本，可以重点监控上述城市、端口等存在较高异常风险下的数据。
因此，在本发明实施例中，在获取得到根因分析结果之后，可以根据根因分析结果，调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。其中，根因分析结果可以包括上述的多维度根因分析结果、单维度根因分析结果中的至少一种。具体的调整策略可以根据需求进行自定义设置，对此本发明实施例不加以限定。
例如，针对每个监控周期的根因分析结果内包含的指标属性值，以及每个所述指标属性值所属的监控指标维度，将监控指标体系内包含的其他监控指标维度删除，仅保留根因分析结果内包含的指标属性值所属的监控指标维度，而且进一步地可以将保留下来的监控指标维度内的其他指标属性值删除，仅保留当前的根因分析结果内包含的指标属性值。进而在后续进行数据检测时，可以仅检测监控指标体系内设置的各个指标属性值下的数据，而无需监控其他数据。
而且，由于根因分析结果可以实时产生并更新，也即随着时间的增长，可以不断获取每个监控周期的根因分析结果，在本发明实施例中，可以在每次获取一个监控周期的根因分析结果之后，即根据当前的根因分析结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种，也可以根据需求设置监控指标体系的调整周期，根据每个调整周期内的根因分析结果，调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种，对此本发明实施例不加以限定。
其中，调整周期的时间长度可以根据需求进行自定义设置，对此本发明实施例不加以限定。一般而言可以设置调整周期为上述的监控周期的整数倍。
可选地，在本发明实施例中，所述步骤137进一步可以包括：
步骤1371，获取所述根因分析结果对应的数据明细；
步骤1372，根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估，并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
基于HotSpot算法等多维度根因分析算法的根因分析能有效找出组合根因，缩小黑产范围以达到精准打击。但是，在实际应用中，可能存在部分数据异常是由于特殊业务需求导致的，那么在基于上述异常分析过程则容易将上述数据认为是黑产行为导致的黑产数据，影响数据监控的准确性。
因此，在本发明实施例中，在对监控指标体系进行调整之前，还可以根据根因分析结果，获取与之对应的数据明细，进而根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估，获取最终需要进行监控的监控指标维度，以及每个监控指标维度的指标属性值。具体的评估方式可以根据需求进行自定义设置，对此本发明实施例不加以限定。
其中，数据明细可以理解为与根因分析结果对应的数据相关的任何可用信息，例如数据内容、数据的生成时间、数据所属业务、数据在每个监控指标维度下所属的指标属性值，等等。
例如，可以通过多个样本数据训练一用于评估监控指标维度和指标属性值的机器学习模块，进而通过该机器学习模型对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估，并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
当然，在本发明实施例中，也可以基于异常产出的黑产明细进行抽样人审，对各监控指标维度和指标属性值的数据做准确率评估，以此反馈调整监控指标体系。
如图5所示为一种数据异常检测的架构示意图。其中，(1)监控指标模块用于设置监控指标体系，并基于监控指标体系进行数据监控。(2)时序预测模块，基于监控指标体系获得各维度时序数据，通过prophet算法回溯历史一周预测当前时刻消息量，并且给出报警上下阈值，也即警报阈值范围。(3)报警模块。若当前实际值偏离prophet预测的上下阈值则产生流量异常报警。其中子流量报警主要为城市、ip端口等单个监控指标维度的数据量异常报警，总流量报警是指不区分维度的总消息量异常报警。当总流量发生异常报警时可以触发根因分析算法模块。(4)异常产出模块。总流量异常的根因分析算法模块产出组合根因，比如由北京、联通这两个根因组合造成了总流量的波动异常。子流量异常产出单维度报警。并且可以将组合维度和单维度报警的黑产明细对产品运营侧进行推送。基于HotSpot算法的根因分析能有效找出组合根因，缩小黑产范围以达到精准打击。(5)最终基于异常产出的黑产明细进行抽样人审等方式，对各维度指标产出做准确率评估，以此反馈调整监控指标体系。
相比于ARIMA时序预测，该波动检测框架下的prophet算法不仅能自适应产出报警上下阈值并且充分考虑了节假日，极大提升了时序预测的准确率。此外增加了HotSpot算法的根因分析模块，快速提供形变黑产线索给予精准打击。并且波动检测系统自动能大部分感知漏出风险。
参照图3，在本发明实施例中，所述方法还可以包括：
步骤140，基于预设的用户分数库，和/或关系算法对风险数据进行过滤，得到最终的风险数据，所述关系算法包括Louvain算法，所述风险数据包括持续性风险数据、突发性风险数据中的至少一种。
在本发明实施例中，在获取得到持续性风险数据、突发性风险数据之后，为了进一步提高风险数据的召回准确率，在获取得到风险数据之后，还可以进一步基于预设的用户分数库，和/或关系算法对风险数据进行过滤。
其中，用户分数库内可以包括各个用户的分数，在获取得到风险数据之后，则可以根据各个风险数据所对应用户的分数，从风险数据中获取用户分数在预设分数范围内的风险数据作为最终的风险数据。其中的预设分数范围可以根据不同应用场景的具体需求进行自定义设置，对此本发明实施例不加以限定。而且，可以通过任何可用方法获取每个用户的分数，对此本发明实施例不加以限定。
例如，可以根据每个用户对应的历史数据中风险数据的数量、比例、频率，用户最近一次发布的风险数据的时间与当前时刻之间的时间距离等等确定每个用户的分数，而且在本发明实施例中，也可以周期性地获取最新的数据对每个用户的分数并更新用户分数库，对此本发明实施例不加以限定。
例如，可以设置用户分数库为一种白名单库，而且其建设逻辑为：
基于机审策略的处理方式作为加减权重。当前时间为t，策略命中时间为t_s，初始权重w0＝100，黑策略权重：t-t_s>＝0越小权重系数越大，白策略权重：t-t_s>＝0越大权重系数越越小。
deltaDay＝tcur-tprocess
Figure BDA0002702157150000201
其中，tcur表示当前时间，tprocess表示策略命中时间，
Figure BDA0002702157150000202
表示黑策略权重，
Figure BDA0002702157150000203
表示白策略权重，N表示回溯时间发生动作且命中黑策略次数，T表示回溯的时间，以下为处理方式减分权重的示例。
违规类型 减分 违规类型 减分
验证码 2.44 加黑名单 30
认证 3.66 强制弹出 30
挑战 5.01 锁定用户 30
拦截 6.09 加静默名单 8.35
推人审 7
基于上述方式得到的白名单用户分数合理性可以如下所述：分值大于100白用户准确率80％，召回率约54.4％。分值小于-250黑用户准确率81.9％，召回率约32.1％。以3.21号数据为例，经模式过滤-白名单规则过滤后准确率可以从20％提升至60％左右，召回量相对于流量粗分基本保持不变。
其中，可以每日更新Hive用户分数库，存储于Hbase。而且，可以监控上游各个spark算法任务状态(例如上述的突发性风险数据检测任务、基于关系算法的风险数据过滤任务等)，执行完成后可以调用Hbase中的用户分数库
Louvain算法是一种基于图数据的社区发现算法，属于图的聚类算法。Louvain是基于模块度(Modularity)的社区发现算法，通过模块度来衡量一个社区的紧密程度。如果一个节点加入到某一社区中会使得该社区的模块度有最大程度的增加，则该节点就应当属于该社区。如果加入其它社区后没有使其模块度增加，则留在自己当前社区中。通过Louvain算法可以过滤掉初始的风险数据，也即异常数据(例如上述的黑产数据)中风险度相对较低的风险数据。
如图6所示为本发明实施例中的一种风险感知，也即异常检测算法框架示意图。该框架可以分为三个模块，分别为数据层、风险召回层、过滤层。
其中，数据层中可以获取并存储不同形态数据如明细或者聚合数据以支持的风险召回层算法。分为实时明细数据和聚合数据，存储介质分别可以为Tidb及Opentsdb。明细数据主要可以包括消息明细及特征，聚合数据可以包括在某监控指标维度的聚合统计类数值。
风险召回层通过对不同的风险问题表现设计无监督/半监督算法，召回风险流量，也即风险数据。而且，由于风险问题的波动表现可分为突发性和持续性。突发性表现为短时间内风险问题爆发，波动极大。持续性表现为日常规律性风险问题的发生，波动幅度较小并且具有一定周期规律。因此，针对突发性风险设计时序prophet算法，针对持续性风险设计网格密度聚类(grid_density)和孤立森林(isolation_Forest)等无监督/半监督算法。
过滤层可以过滤经风险召回层误召的用户、数据等，以提高召回准确率。该层可以设计关系算法和用户分数库以做过滤。
而且，如图6所示其中的常规黑产检测(也即持续性风险数据检测)、基于用户分数库、关系算法的过滤过程可以借助Spark平台实现，突发黑产检测(也即突发性风险数据检测)则可以在内存中实现，用户分数库的存储介质可以为HBase。其中，HBase是一个分布式的、面向列的开源数据库，Spark是一个实现快速通用的集群计算平台。
可选地，所述明细数据的存储介质为Tidb，所述聚合数据的存储介质为Opentsdb(Opentime series database，开发时间序列数据库。)
参照图7，示出了本发明实施例中一种异常检测装置的结构示意图。
本发明实施例的异常检测装置包括：数据处理模块210、第一风险数据获取模块220和第二风险数据获取模块230。
下面分别详细介绍各模块的功能以及各模块之间的交互关系。
数据处理模块210，用于获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征中的至少一种，所述聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；
第一风险数据获取模块220，用于根据所述明细数据，通过预设的持续性风险召回模型，获取所述待检测数据中的持续性风险数据；
第二风险数据获取模块230，用于根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据；
其中，所述持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型中的至少一种，所述突发性风险召回模型包括prophet算法模型。
参照图8，在本发明实施例中，所述所述第二风险数据获取模块230，进一步可以包括：
监控指标子模块231，用于针对预设的监控指标体系内包含的任一监控指标维度，获取每个时间单位内，所述监控指标维度在每个指标属性值时的数据量的真实值；
时序预测子模块232，用于针对任一监控周期，根据所述监控周期之前预设时间段内的数据量的真实值，通过Prophet算法模型，获取所述监控周期内数据量的预测值和警报阈值范围，所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值，所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围；
多维度根因分析子模块233，用于响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围，根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值，通过多维度根因分析算法，获取所述监控周期的多维度根因分析结果；
第一风险数据获取子模块234，用于获取与所述多维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述监控周期为所述时间单位的整数倍，所述多维度根因分析结果包括至少一个指标维度组合，所述指标维度组合内包括多个指标属性值，且每个所述指标属性值所属的监控指标维度不完全相同。
可选地，在本发明实施例中，所述Prophet算法模型的输入参数还包括所述监控周期的日期属性，所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
参照图8，在本发明实施例中，所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围，所述第二风险数据获取模块230，还可以包括：
单维度根因分析子模块235，用于针对任一所述监控指标维度，以及所述监控指标维度下的任一指标属性值，响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围，以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果；
第二风险数据获取子模块236，用于获取与所述单维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
可选地，在本发明实施例中，所述装置还可以包括：
监控指标调整模块，用于根据根因分析结果，调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种；所述根因分析结果包括所述多维度根因分析结果、所述单维度根因分析结果中的至少一种。
可选地，在本发明实施例中，所述监控指标调整模块，进一步可以包括：
数据明细获取子模块，用于获取所述根因分析结果对应的数据明细；
监控指标调整子模块，用于根据所述数据明细对所述根因分析结果对应的各个监控指标维度和指标属性值进行评估，并根据评估结果调整所述监控指标体系内包含的监控指标维度、指标属性值中的至少一种。
可选地，在本发明实施例中，所述多维度根因分析算法包括HotSpot根因分析算法。
参照图8，在本发明实施例中，所述装置还可以包括：
风险数据过滤模块240，用于基于预设的用户分数库，和/或关系算法对风险数据进行过滤，得到最终的风险数据，所述关系算法包括Louvain算法，所述风险数据包括持续性风险数据、突发性风险数据中的至少一种。
可选地，在本发明实施例中，所述明细数据的存储介质为Tidb，所述聚合数据的存储介质为Opentsdb。
本发明实施例提供的异常检测装置能够实现图1至图3的方法实施例中实现的各个过程，为避免重复，这里不再赘述。
优选的，本发明实施例还提供了一种电子设备，包括：处理器，存储器，存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述异常检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述异常检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-OnlyMemory，简称ROM)、随机存取存储器(RandomAccess Memory，简称RAM)、磁碟或者光盘等。图9为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备500包括但不限于：射频单元501、网络模块502、音频输出单元503、输入单元504、传感器505、显示单元506、用户输入单元507、接口单元508、存储器509、处理器510、以及电源511等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
应理解的是，本发明实施例中，射频单元501可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器510处理；另外，将上行的数据发送给基站。通常，射频单元501包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元501还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块502为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元503可以将射频单元501或网络模块502接收的或者在存储器509中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元503还可以提供与电子设备500执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元503包括扬声器、蜂鸣器以及受话器等。
输入单元504用于接收音频或视频信号。输入单元504可以包括图形处理器(Graphics Processing Unit，GPU)5041和麦克风5042，图形处理器5041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元506上。经图形处理器5041处理后的图像帧可以存储在存储器509(或其它存储介质)中或者经由射频单元501或网络模块502进行发送。麦克风5042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元501发送到移动通信基站的格式输出。
电子设备500还包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板5061的亮度，接近传感器可在电子设备500移动到耳边时，关闭显示面板5061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器505还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元506用于显示由用户输入的信息或提供给用户的信息。显示单元506可包括显示面板5061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板5061。
用户输入单元507可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元507包括触控面板5071以及其他输入设备5072。触控面板5071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板5071上或在触控面板5071附近的操作)。触控面板5071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器510，接收处理器510发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板5071。除了触控面板5071，用户输入单元507还可以包括其他输入设备5072。具体地，其他输入设备5072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板5071可覆盖在显示面板5061上，当触控面板5071检测到在其上或附近的触摸操作后，传送给处理器510以确定触摸事件的类型，随后处理器510根据触摸事件的类型在显示面板5061上提供相应的视觉输出。虽然在图9中，触控面板5071与显示面板5061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板5071与显示面板5061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元508为外部装置与电子设备500连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元508可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备500内的一个或多个元件或者可以用于在电子设备500和外部装置之间传输数据。
存储器509可用于存储软件程序以及各种数据。存储器509可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器509可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器510是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器509内的软件程序和/或模块，以及调用存储在存储器509内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器510可包括一个或多个处理单元；优选的，处理器510可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器510中。
电子设备500还可以包括给各个部件供电的电源511(比如电池)，优选的，电源511可以通过电源管理系统与处理器510逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备500包括一些未示出的功能模块，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
本领域普通技术人员可以意识到，结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种异常检测方法，其特征在于，包括：
获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征中的至少一种，所述聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；
根据所述明细数据，通过预设的持续性风险召回模型，获取所述待检测数据中的持续性风险数据；
根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据；
其中，所述持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型、具有部分观测异常的异常检测算法模型中的至少一种，所述突发性风险召回模型包括prophet算法模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据的步骤，包括：
针对预设的监控指标体系内包含的任一监控指标维度，获取每个时间单位内，所述监控指标维度在每个指标属性值时的数据量的真实值；
针对任一监控周期，根据所述监控周期之前预设时间段内的数据量的真实值，通过Prophet算法模型，获取所述监控周期内数据量的预测值和警报阈值范围，所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值，所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围；
响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围，根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值，通过多维度根因分析算法，获取所述监控周期的多维度根因分析结果；
获取与所述多维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述监控周期为所述时间单位的整数倍，所述多维度根因分析结果包括至少一个指标维度组合，所述指标维度组合内包括多个指标属性值，且每个所述指标属性值所属的监控指标维度不完全相同。
3.根据权利要求2所述的方法，其特征在于，所述Prophet算法模型的输入参数还包括所述监控周期的日期属性，所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
4.根据权利要求2所述的方法，其特征在于，所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围，所述方法还包括：
针对任一所述监控指标维度，以及所述监控指标维度下的任一指标属性值，响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围，以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果；
获取与所述单维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
5.根据权利要求权利要求2所述的方法，其特征在于，所述多维度根因分析算法包括HotSpot根因分析算法。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
基于预设的用户分数库，和/或关系算法对风险数据进行过滤，得到最终的风险数据，所述关系算法包括Louvain算法，所述风险数据包括持续性风险数据、突发性风险数据中的至少一种。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述明细数据的存储介质为Tidb，所述聚合数据的存储介质为Opentsdb。
8.一种异常检测装置，其特征在于，包括：
数据处理模块，用于获取待检测数据的明细数据和聚合数据，其中，所述明细数据包括每个所述待检测数据的数据明细、数据特征中的至少一种，所述聚合数据为所述待检测数据在监控指标体系内包含的每个监控指标维度下的聚合统计数据；
第一风险数据获取模块，用于根据所述明细数据，通过预设的持续性风险召回模型，获取所述待检测数据中的持续性风险数据；
第二风险数据获取模块，用于根据所述聚合数据，通过预设的突发性风险召回模型，获取所述待检测数据中的突发性风险数据；
其中，所述持续性风险召回模型包括网格密度聚类算法模型、孤立森林算法模型、正样本无标签学习算法模型、具有部分观测异常的异常检测算法模型中的至少一种，所述突发性风险召回模型包括prophet算法模型。
9.根据权利要求8所述的装置，其特征在于，所述第二风险数据获取模块，包括：
监控指标子模块，用于针对预设的监控指标体系内包含的任一监控指标维度，获取每个时间单位内，所述监控指标维度在每个指标属性值时的数据量的真实值；
时序预测子模块，用于针对任一监控周期，根据所述监控周期之前预设时间段内的数据量的真实值，通过Prophet算法模型，获取所述监控周期内数据量的预测值和警报阈值范围，所述预测值包括每个所述监控指标维度在每个指标属性值时的数据量的预测值，所述警报阈值范围包括所述监控周期内的全部数据量的警报阈值范围；
多维度根因分析子模块，用于响应于所述监控周期内全部数据量的真实值超出所述警报阈值范围，根据所述监控周期内每个所述监控指标维度在每个指标属性值时的数据量的预测值和真实值，通过多维度根因分析算法，获取所述监控周期的多维度根因分析结果；
第一风险数据获取子模块，用于获取与所述多维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述监控周期为所述时间单位的整数倍，所述多维度根因分析结果包括至少一个指标维度组合，所述指标维度组合内包括多个指标属性值，且每个所述指标属性值所属的监控指标维度不完全相同。
10.根据权利要求9所述的装置，其特征在于，所述Prophet算法模型的输入参数还包括所述监控周期的日期属性，所述日期属性包括所述监控周期是否属于节假日、所述监控周期所属的节假日类型中的至少一种。
11.根据权利要求9所述的装置，其特征在于，所述警报阈值范围还包括每个所述监控指标维度在每个指标属性值时的数据量的警报阈值范围，所述第二风险数据获取模块，还包括：
单维度根因分析子模块，用于针对任一所述监控指标维度，以及所述监控指标维度下的任一指标属性值，响应于所述监控指标维度在所述指标属性值时的数据量的真实值超出所述监控指标维度在所述指标属性值时的警报阈值范围，以所述指标属性值时的所述监控指标维度作为所述监控周期的单维度根因分析结果；
第二风险数据获取子模块，用于获取与所述单维度根因分析结果对应的数据，作为所述突发性风险数据；
其中，所述单维度根因分析结果内包括至少一个监控指标维度下的至少一个指标属性值。
12.根据权利要求权利要求9所述的装置，其特征在于，所述多维度根因分析算法包括HotSpot根因分析算法。
13.根据权利要求8-12中任一项所述的装置，其特征在于，所述装置还包括：
风险数据过滤模块，用于基于预设的用户分数库，和/或关系算法对风险数据进行过滤，得到最终的风险数据，所述关系算法包括Louvain算法，所述风险数据包括持续性风险数据、突发性风险数据中的至少一种。
14.根据权利要求8-12中任一项所述的装置，其特征在于，所述明细数据的存储介质为Tidb，所述聚合数据的存储介质为Opentsdb。
15.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的异常检测方法的步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的异常检测方法的步骤。
CN202011026148.4A 2020-09-25 2020-09-25 一种异常检测方法、装置、电子设备及存储介质 Active CN112256732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011026148.4A CN112256732B (zh) 2020-09-25 2020-09-25 一种异常检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011026148.4A CN112256732B (zh) 2020-09-25 2020-09-25 一种异常检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112256732A true CN112256732A (zh) 2021-01-22
CN112256732B CN112256732B (zh) 2023-10-24

Family

ID=74234187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011026148.4A Active CN112256732B (zh) 2020-09-25 2020-09-25 一种异常检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112256732B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114325232A (zh) * 2021-12-28 2022-04-12 微梦创科网络科技（中国）有限公司 一种故障定位方法和装置
CN117576324A (zh) * 2024-01-16 2024-02-20 青岛蓝海软通信息技术有限公司 基于数字孪生的城市三维空间模型构建方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657288A (zh) * 2017-10-26 2018-02-02 国网冀北电力有限公司 一种基于孤立森林算法的电力调度流数据异常检测方法
CN109976930A (zh) * 2017-12-28 2019-07-05 腾讯科技（深圳）有限公司 异常数据的检测方法、系统及存储介质
CN110069810A (zh) * 2019-03-11 2019-07-30 北京百度网讯科技有限公司 电池故障预测方法、装置、设备和可读存储介质
CN110399935A (zh) * 2019-08-02 2019-11-01 哈工大机器人（合肥）国际创新研究院 基于孤立森林机器学习的机器人实时异常监测方法及系统
CN110543965A (zh) * 2019-07-19 2019-12-06 中国工商银行股份有限公司 基线预测方法、基线预测装置、电子设备和介质
CN110717535A (zh) * 2019-09-30 2020-01-21 北京九章云极科技有限公司 一种基于数据分析处理系统的自动建模方法及系统
US20200210393A1 (en) * 2018-09-14 2020-07-02 Verint Americas Inc. Framework and method for the automated determination of classes and anomaly detection methods for time series
CN111565171A (zh) * 2020-03-31 2020-08-21 北京三快在线科技有限公司 异常数据的检测方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657288A (zh) * 2017-10-26 2018-02-02 国网冀北电力有限公司 一种基于孤立森林算法的电力调度流数据异常检测方法
CN109976930A (zh) * 2017-12-28 2019-07-05 腾讯科技（深圳）有限公司 异常数据的检测方法、系统及存储介质
US20200210393A1 (en) * 2018-09-14 2020-07-02 Verint Americas Inc. Framework and method for the automated determination of classes and anomaly detection methods for time series
CN110069810A (zh) * 2019-03-11 2019-07-30 北京百度网讯科技有限公司 电池故障预测方法、装置、设备和可读存储介质
CN110543965A (zh) * 2019-07-19 2019-12-06 中国工商银行股份有限公司 基线预测方法、基线预测装置、电子设备和介质
CN110399935A (zh) * 2019-08-02 2019-11-01 哈工大机器人（合肥）国际创新研究院 基于孤立森林机器学习的机器人实时异常监测方法及系统
CN110717535A (zh) * 2019-09-30 2020-01-21 北京九章云极科技有限公司 一种基于数据分析处理系统的自动建模方法及系统
CN111565171A (zh) * 2020-03-31 2020-08-21 北京三快在线科技有限公司 异常数据的检测方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵?;李英娜;李川;杨莉;: "基于模糊聚类和孤立森林的用电数据异常检测", 陕西理工大学学报(自然科学版), no. 04 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114325232A (zh) * 2021-12-28 2022-04-12 微梦创科网络科技（中国）有限公司 一种故障定位方法和装置
CN114325232B (zh) * 2021-12-28 2023-07-25 微梦创科网络科技（中国）有限公司 一种故障定位方法和装置
CN117576324A (zh) * 2024-01-16 2024-02-20 青岛蓝海软通信息技术有限公司 基于数字孪生的城市三维空间模型构建方法及系统
CN117576324B (zh) * 2024-01-16 2024-04-12 青岛蓝海软通信息技术有限公司 基于数字孪生的城市三维空间模型构建方法及系统

Also Published As

Publication number Publication date
CN112256732B (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN111092852B (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
CN111726341B (zh) 一种数据检测方法、装置、电子设备及存储介质
CN112256748B (zh) 一种异常检测方法、装置、电子设备及存储介质
CN111368290A (zh) 一种数据异常检测方法、装置及终端设备
CN110995810B (zh) 一种基于人工智能的对象识别方法和相关装置
CN106874936B (zh) 图像传播监测方法及装置
CN112256732B (zh) 一种异常检测方法、装置、电子设备及存储介质
CN111753520B (zh) 一种风险预测方法、装置、电子设备及存储介质
CN113128693B (zh) 一种信息处理方法、装置、设备及存储介质
CN107659566B (zh) 对服务器异常访问的识别频率确定方法、装置及服务器
Jing et al. Network intrusion detection method based on relevance deep learning
CN114510708A (zh) 实时数据仓库构建、异常检测方法、装置、设备及产品
CN116318907B (zh) 基于大数据和神经网络分析计算机网络态势的方法及系统
CN107122464A (zh) 一种辅助决策系统及方法
CN115398861A (zh) 异常文件检测方法及相关产品
CN115333928B (zh) 网络预警方法、装置、电子设备及存储介质
CN114301757B (zh) 一种网络资产处理方法、装置、设备以及存储介质
CN111818548B (zh) 一种数据的处理方法、装置及设备
CN114840570A (zh) 数据处理方法、装置、电子设备及存储介质
CN114328985A (zh) 一种数据处理方法和相关装置
CN114971504A (zh) 一种实体类型确定方法和相关装置
CN107566187B (zh) 一种sla违例监测方法、装置和系统
Zeng et al. Using poisson distribution to enhance CNN-based NB-IoT LDoS attack detection
CN117454196B (zh) 一种基于时序预测的异常检测方法、装置、设备及介质
CN116257356A (zh) 基于人工智能的智慧城市数据处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant