CN111443997A - 一种数据异常识别方法及装置 - Google Patents

一种数据异常识别方法及装置 Download PDF

Info

Publication number
CN111443997A
CN111443997A CN202010165461.XA CN202010165461A CN111443997A CN 111443997 A CN111443997 A CN 111443997A CN 202010165461 A CN202010165461 A CN 202010165461A CN 111443997 A CN111443997 A CN 111443997A
Authority
CN
China
Prior art keywords
strategy
identification
execution plan
distributed computing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010165461.XA
Other languages
English (en)
Other versions
CN111443997B (zh
Inventor
孙茂华
张华�
陈锣斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010165461.XA priority Critical patent/CN111443997B/zh
Publication of CN111443997A publication Critical patent/CN111443997A/zh
Application granted granted Critical
Publication of CN111443997B publication Critical patent/CN111443997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/465—Distributed object oriented systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Hardware Redundancy (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本说明书一个或多个实施例提供了一种数据异常识别方法及装置，其中，该方法包括：在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略。将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码。利用分布式计算引擎基于生成的物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。

Description

一种数据异常识别方法及装置
技术领域
本文件涉及大数据处理领域，尤其涉及一种数据异常识别方法及装置。
背景技术
目前，随着计算机通信技术的快速发展，以及随着互联网时代的到来，互联网在人们日常的学习、工作和生活中得到广泛的应用。人们日常的各种事务都可以通过互联网来处理和呈现。其中，为了确保互联网业务处理的安全性，对风险业务进行拦截处理，降低不必要的损失，因此，引入数据异常识别机制，通过预先配置数据异常识别策略，再基于该数据异常识别策略进行异常识别处理，得到相应的异常识别结果，以便基于该异常识别结果指导后续的数据处理决策，例如，当识别出目标数据为异常数据，存在一定风险时，可以对该目标数据进行拦截处理等等。
然而，由于互联网业务处理量不断激增，待异常识别的业务数据也随之越来越多，对海量数据进行快速异常识别的需求越来越明显，例如，需要对流式数据进行实时异常识别；并且由于新的业务场景、新的异常识别需求的不断出现，导致已配置好的原始异常识别策略不够完整、识别准确度低，需要对识别策略进行优化更新，以应对变异的攻击手段，从而提高风控安全性。由此可知，需要提供一种异常识别效率高、能够应对识别策略多变的针对海量数据的异常识别的技术方案。
发明内容
本说明书一个或多个实施例的目的是提供一种数据异常识别方法。该数据异常识别方法包括：
在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略。将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码。利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
本说明书一个或多个实施例的目的是提供一种数据异常识别装置。该数据异常识别装置包括：
识别策略获取模块，其在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略。识别策略加载模块，其将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码。数据异常识别模块，其利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
本说明书一个或多个实施例的目的是提供一种数据异常识别设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器。
所述计算机可执行指令在被执行时使所述处理器在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略。将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码。利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
本说明书一个或多个实施例的目的是提供一种存储介质，用于存储计算机可执行指令。所述可执行指令在被处理器执行时在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略。将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码。利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的数据异常识别系统的应用场景示意图；
图2为本说明书一个或多个实施例提供的数据异常识别方法的第一种流程示意图；
图3为本说明书一个或多个实施例提供的数据异常识别方法的第二种流程示意图；
图4为本说明书一个或多个实施例提供的数据异常识别方法的第三种流程示意图；
图5为本说明书一个或多个实施例提供的数据异常识别方法的第四种流程示意图；
图6为本说明书一个或多个实施例提供的数据异常识别方法中生成物理执行计划的一种具体实现原理示意图；
图7为本说明书一个或多个实施例提供的数据异常识别方法的第五种流程示意图；
图8为本说明书一个或多个实施例提供的数据异常识别方法中生成物理执行计划的另一种具体实现原理示意图；
图9为本说明书一个或多个实施例提供的数据异常识别方法的第六种流程示意图；
图10为本说明书一个或多个实施例提供的数据异常识别方法的实现原理示意图；
图11a为本说明书一个或多个实施例提供的数据异常识别装置的第一种模块组成示意图；
图11b为本说明书一个或多个实施例提供的数据异常识别装置的第二种模块组成示意图；
图12为本说明书一个或多个实施例提供的数据异常识别设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一个或多个一部分实施例，而不是全部的实施例。基于本说明书一个或多个中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本本文件的保护范围。
需要说明的是，在不冲突的情况下，本说明书中的一个或多个实施例以及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本说明书一个或多个实施例。
本说明书一个或多个实施例提供了一种数据异常识别方法及装置，通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
图1为本说明书一个或多个实施例提供的数据异常识别系统的应用场景示意图，如图1所示，该系统包括：策略配置服务端、分布式计算系统和分布式存储系统，其中，该策略配置服务端可以是基于数据异常识别业务进行数据识别策略配置的后台服务器，该策略配置服务端可以是独立的服务器，也可以是由多个服务器组成的服务器集群；该分布式计算系统是基于流式执行计划对流式数据进行相应的实时数据计算处理的分布式服务器，该分布式计算系统可以是由多个服务器组成的服务器集群；该分布式存储系统用于存储策略配置服务端所上传的变更后的目标异常识别策略。
其中，上述数据异常识别的具体过程为：
(1)策略配置服务端，针对目标异常识别业务，向分布式计算系统提交分布式计算任务，其中，该分布式计算任务为用于指示基于预设异常识别策略对数据进行异常识别的流式计算任务；
(2)分布式计算系统，基于接收到的分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划；
具体的，分布式计算系统通过对接收到的分布式计算任务进行处理逻辑解析，确定对应的分布式计算主程序和识别策略框架代码，即将固定不变的计算程序代码与动态变化的识别策略代码分离，并将识别策略相关代码转换为参数化的识别策略框架代码；
(3)策略配置服务端，若确定需要对已生成的异常识别策略进行变更，则对原始异常识别策略进行变更操作，得到变更后的目标异常识别策略；并将该目标异常识别策略存储至分布式存储系统；
(4)分布式计算系统，检测策略配置服务端是否存在针对接收到的分布式计算任务对应的异常识别策略的变更操作；
(5)分布式计算系统，在检测到异常识别策略存在变更时，从分布式存储系统获取变更后的目标异常识别策略；
(6)分布式计算系统，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
(7)分布式计算系统，利用分布式计算引擎基于上述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
在上述应用场景中，通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
图2为本说明书一个或多个实施例提供的数据异常识别方法的第一种流程示意图，图2中的方法能够由图1中的分布式计算系统执行，如图2所示，该方法至少包括以下步骤：
S202，在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
具体的，由于数据异常识别需求的不断升级、或者攻击方的攻击手段不断更新，为了提高数据异常识别准确度，以及更准确地满足新的异常识别需求、或者应对变异的攻击手段，策略配置服务端需要对原始异常识别策略进行变更，得到变更后的目标异常识别策略，对应的，分布式计算系统也需要对分布式执行计划中的异常识别策略进行更新，因此，分布式计算系统通过对策略配置服务端进行策略变更监测，一旦发现异常识别策略变更，自动获取最新的目标异常识别策略。
S204，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
其中，上述逻辑执行计划是预先基于策略配置服务端所提交的分布式计算任务所生成的；具体的，分布式计算系统通过对接收到的分布式计算任务进行处理逻辑解析，确定对应的分布式计算主程序和识别策略框架代码，即固定不变的计算程序代码与动态变化的识别策略代码分离，并将识别策略相关代码转换为参数化的识别策略框架代码，而不是直接将识别策略代码硬编码到计算程序代码中；再基于分布式计算主程序和识别策略框架代码，生成相应的逻辑执行计划；
具体的，在获取到变更后的目标异常识别策略后，在预先生成的逻辑执行计划中动态加载该目标异常识别策略，以动态更新逻辑执行计划中的识别策略框架代码，得到相应的物理执行计划。
S206，利用分布式计算引擎基于生成的物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果；其中，该目标业务数据包括：流式业务数据；
具体的，在得到识别策略更新后的物理执行计划后，利用分布式计算引擎自动执行该物理执行计划，以基于最新的数据异常识别策略判断目标业务数据是否为异常业务数据，再基于得到的异常数据识别结果对目标业务数据进行相应的决策处理，也就是说，在流式计算的执行计划中引入异常识别策略，借助分布式计算引擎的数据处理能力，实现实时、快速对流式业务数据进行异常识别以及相应的流式计算处理。
本说明书一个或多个实施例中，通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
其中，针对用于表征与分布式计算主程序分离的识别策略相关的逻辑框架代码的生成过程，为了提高识别策略框架代码的生成效率和灵活性，在具体实施时，可以引入采用用户自定义函数UDF生成方式来生成识别策略框架代码，对应的，上述识别策略框架代码包括：基于用户自定义函数UDF所生成的参数化的策略自定义逻辑函数；
对应的，如图3所示，上述S204，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，具体包括：
S2041，将获取到的目标异常识别策略动态加载至策略自定义逻辑函数中，得到策略更新后的逻辑执行计划，其中，该逻辑执行计划包括：分布式计算主程序和策略自定义逻辑函数；
S2042，将策略更新后的逻辑执行计划，确定为用于流式数据处理的物理执行计划。
其中，上述用户自定义函数UDF(User Defined Function)，是一个按某种计算引起的规范实现的程序；对应的，基于用户自定义函数UDF所生成的参数化的策略自定义逻辑函数是用于动态加载最新的异常识别策略的逻辑框架；
具体的，基于目标异常识别策略的各参数字段的取值，对参数化的策略自定义逻辑函数中的变量参数进行赋值，得到包含策略动态加载后的策略自定义逻辑函数的逻辑执行计划，即得到识别策略更新后的物理执行计划。
进一步的，需要预先针对策略配置服务端所提交的分布式计算任务生成相应的可动态加载识别策略的逻辑执行计划，以便后续采用策略动态加载的方式快速对逻辑执行计划进行异常识别策略更新，得到相应的物理执行计划，基于此，如图4所示，在上述S202，获取变更后的目标异常识别策略之前，还包括：
S208，接收策略配置服务端针对目标异常识别业务所提交的分布式计算任务；
具体的，策略配置服务端在将分布式计算任务提交至分布式计算系统后，如果后续针对该分布式计算任务具有异常识别策略变更需求，无需再次提交分布式计算任务，而是直接将变更后的目标异常识别策略存储至预设分布式存储系统即可，对应的，分布式计算系统将自动下载该变更后的目标异常识别策略，并采用策略动态加载的方式自动更新分布式计算任务中的异常识别策略。
S210，基于接收到的分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划；
具体的，分布式计算系统通过对接收到的分布式计算任务进行处理逻辑解析，确定对应的分布式计算主程序和识别策略框架代码，即将固定不变的计算程序代码与动态变化的识别策略代码分离，并将识别策略相关代码转换为参数化的识别策略框架代码。
S212，存储针对上述分布式计算任务所生成的逻辑执行计划。
具体的，分布式计算系统可以包括：主任务节点和多个子任务节点，针对基于逻辑执行计划动态加载最新的异常识别策略，得到物理执行计划的过程，可以由主任务节点监测策略配置服务端是否存在识别策略变更，再由子任务节点获取变更后的目标异常识别策略，并将该目标异常识别策略动态加载到逻辑执行计划中，因此，主任务节点需要将生成的逻辑执行计划发送至各子任务节点，以使各子任务节点存储该逻辑执行计划，以及将最新的异常识别策略动态加载至该逻辑执行计划中，得到所需的物理执行计划。
其中，分布式计算系统在接收到策略配置服务端所提交的分布式计算任务之后，先生成对应的包含分布式计算主程序和识别策略框架代码的逻辑执行计划，以便后续检测到异常识别策略变更时，再采用策略动态加载方式，基于该逻辑执行计划进行识别策略动态加载，得到相应的物理执行计划，具体的，上述S202，在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，具体包括：
在检测到针对分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
对应的，上述S204，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，具体包括：
步骤一，确定与上述分布式计算任务对应的逻辑执行计划；
步骤二，将获取到的目标异常识别策略动态加载至确定出的逻辑执行计划中，得到相应的物理执行计划；
具体的，策略配置服务端可以基于不同的异常识别业务，向分布式计算系统提交多个不同的分布式计算任务，因此，分布式计算系统需要预先针对每个分布式计算任务生成并存储相应的逻辑执行计划，这样在检测到策略配置服务端针对某一分布式计算任务进行识别策略变更时，需要先查找预先生成的与当前策略变更的分布式计算任务对应的逻辑执行计划；然后，在该逻辑执行计划中动态加载最新的异常识别策略，得到相应的物理执行计划。
其中，为了提高识别策略框架代码的生成效率和灵活性，可以引入用户自定义函数UDF，基于此，如图5所示，上述S210，基于上述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划，具体包括：
S2101，利用预设的用户自定义函数UDF生成方式，基于上述分布式计算任务对应的数据异常识别策略的数据模式，生成参数化的策略自定义逻辑函数；
具体的，采用用户自定义函数UDF自动生成技术，将策略配置服务端所提交的分布式计算任务对应的数据异常识别策略的数据全模式进行字段名称和类型参数化，并将参数化的字段名称和类型作为变量传入用户自定义函数UDF模版，自动生成策略自定义逻辑函数。
S2102，将生成的策略自定义逻辑函数，确定为上述分布式计算任务对应的识别策略框架代码；
S2103，基于上述识别策略框架代码和上述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划。
在具体实施时，如图6所示，给出了数据异常识别方法中生成逻辑执行计划的一种具体实现原理示意图，具体为：
分布式计算系统利用预设的用户自定义函数UDF生成方式，生成参数化的策略自定义逻辑函数；
将生成的策略自定义逻辑函数，确定为用于动态加载识别策略的识别策略框架代码；
基于上述识别策略框架代码和分布式计算任务对应的分布式计算主程序，生成逻辑执行计划；
在检测到针对分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
将获取到的目标异常识别策略动态加载至上述逻辑执行计划的策略自定义逻辑函数中，得到相应的物理执行计划。
进一步的，考虑到在对逻辑执行计划中的识别策略进行动态更新，得到物理执行计划的过程中，还需要自动检测异常识别策略变更情况和自动下载变更后的目标异常识别策略，为了提高异常识别策略变更检测和目标异常识别策略下载的配置灵活性，基于此，如图7所示，上述S2103，基于上述识别策略框架代码和上述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划，具体包括：
S21031，利用预设的用户自定义函数UDF生成方式，生成表征启动一个策略变更监听线程的线程自定义函数；以及，
S21032，生成表征采用预设拉取方式下载识别策略的策略拉取自定义函数；
具体的，针对异常识别策略变更检测的程序代码生成过程，采用用户自定义函数UDF生成方式，自动生成相应的线程自定义函数；同样的，针对目标异常识别策略下载的程序代码生成过程，采用用户自定义函数UDF生成方式，自动生成相应的策略拉取自定义函数；
其中，上述线程自定义函数用于触发分布式计算系统中主任务节点检测策略配置服务端的识别策略变更情况，上述策略拉取自定义函数用于触发分布式计算系统中的子任务节点从策略配置服务端下载变更后的目标异常识别策略，即异常识别策略变更检测运行于主任务节点(JobManager)，而异常识别策略下载运行于子任务节点(TaskManager)。
S21033，基于上述线程自定义函数、策略拉取自定义函数、识别策略框架代码、以及分布式计算主程序，生成逻辑执行计划；
具体的，针对每个分布式计算任务所生成的逻辑执行计划中不仅包括：固定不变的分布式计算主程序代码和用于动态加载策略的识别策略框架代码，还包括可变的线程自定义函数和策略拉取自定义函数，这样能够进一步提高策略动态加载过程的配置灵活性。
在具体实施时，如图8所示，给出了数据异常识别方法中生成逻辑执行计划的另一种具体实现原理示意图，具体为：
分布式计算系统利用预设的用户自定义函数UDF生成方式，生成参数化的策略自定义逻辑函数；
将生成的策略自定义逻辑函数，确定为用于动态加载识别策略的识别策略框架代码；以及，
利用预设的用户自定义函数UDF生成方式，生成表征启动一个策略变更监听线程的线程自定义函数；以及，
利用预设的用户自定义函数UDF生成方式，生成表征采用预设拉取方式下载识别策略的策略拉取自定义函数；
基于上述识别策略框架代码、线程自定义函数、策略拉取自定义函数和分布式计算任务对应的分布式计算主程序，生成逻辑执行计划；
在检测到针对分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
将获取到的目标异常识别策略动态加载至上述逻辑执行计划的策略自定义逻辑函数中，得到相应的物理执行计划
其中，上述分布式计算系统可以包括：主任务节点和多个子任务节点；
对应的，针对分布式计算系统获取最新的数据异常识别策略的过程，具体的，如图9所示，上述S202，在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，具体包括：
S2021，主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更；
具体的，针对识别策略变更情况的检测过程，可以是由分布式计算系统中的主任务节点采用监听机制定期轮训策略配置服务端，来判断是否存在异常识别策略的更新操作，也可以由策略配置服务端主动向分布式计算系统中的主任务节点上报识别策略变更情况。
若存在，则执行S2022，主任务节点触发子任务节点获取变更后的目标异常识别策略，其中，该目标异常识别策略是策略配置服务端存储至分布式数据存储系统的；
具体的，策略配置服务端在对原始异常识别策略进行变更，得到目标异常识别策略后，将该目标异常识别策略存储至预设分布式存储系统中，以便分布式计算系统自动下载最新的数据异常识别策略，其中，该目标异常识别策略可以是策略配置服务端采用预设格式文件编译方式对变更后的数据异常识别策略进行编译得到并上传至分布式存储系统的，该预设格式文件包括：jar文件、或归档文件。
具体的，针对变更后的目标异常识别策略的下载过程，可以是由分布式计算系统中的主任务节点采用心跳机制通知子任务节点下载目标异常识别策略，也可以是由分布式计算系统中的主任务节点自动下载目标异常识别策略，再将目标异常识别策略广播给各子任务节点。
其中，针对主任务节点确定是否存在策略变更的过程，具体的，上述S2021，主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更，具体包括：
主任务节点利用预设守护线程采用监听机制，定期轮训检测策略配置服务端是否存在异常识别策略变更操作；若是，则确定数据异常识别策略存在变更；
或者，
主任务节点判断是否接收到策略配置服务端发送的策略变更通知消息；若是，则确定数据异常识别策略存在变更。
具体的，针对主任务节点检测策略是否变更的过程，采用由主任务节点定期轮训策略配置服务端，而不是存储有最新识别策略的分布式存储系统，这样能够使得工程实现更简单，并且不依赖底层分布式存储类型，针对分布式存储类型升级的情况，具有比较好的扩展性。
其中，针对主任务节点触发子任务节点下载最新的异常识别策略的过程，具体的，上述S2022，主任务节点触发子任务节点获取变更后的目标异常识别策略，具体包括：
主任务节点采用预设心跳机制，向子任务节点发送识别策略下载请求，以使子任务节点从分布式数据存储系统中下载变更后的目标异常识别策略；
或者，
主任务节点从分布式数据存储系统中下载变更后的目标异常识别策略，并将该目标异常识别策略广播至各子任务节点。
具体的，针对子任务节点获取最新的异常识别策略的过程，优选地，采用由主任务节点自动下载目标异常识别策略，再将目标异常识别策略广播给各子任务节点的方式，这样分布式存储系统只需响应主任务节点的下载请求，而无需响应子任务节点的多个下载请求，从而减少分布式存储系统的负载压力。
在一个具体实施例中，如图10所示，给出了数据异常识别方法的具体实现原理过程，具体为：
S1001，策略配置服务端，向分布式计算系统中的主任务节点提交针对目标异常识别业务所生成的分布式计算任务；
S1002，分布式计算系统中的主任务节点，基于接收到的分布式计算任务，生成相应的逻辑执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
S1003，分布式计算系统中的主任务节点，向子任务节点发送用于表征执行流式计算任务的分配指示信息，其中，该分配指示信息包括：逻辑执行计划和原始异常识别策略；
S1004，分布式计算系统中的子任务节点，利用分布式计算引擎基于逻辑执行计划和原始异常识别策略，对流式数据进行异常识别，得到相应的数据异常识别结果；
S1005，策略配置服务端，对原始异常识别策略进行变更操作，得到变更后的异常识别策略；
S1006，策略配置服务端，采用预设jar文件编译方式对变更后的数据异常识别策略进行编译得到目标异常识别策略；
S1007，策略配置服务端，将目标异常识别策略上传至分布式存储系统中；
S1008，分布式计算系统中的主任务节点，利用预设守护线程采用监听机制，定期轮训检测策略配置服务端是否存在异常识别策略变更操作；
S1009，分布式计算系统中的主任务节点，在检测到策略变更操作时，采用预设心跳机制，向子任务节点发送识别策略下载请求；
S1010，分布式计算系统中的子任务节点，从分布式存储系统中下载目标异常识别策略；
S1011，分布式计算系统中的子任务节点，将目标异常识别策略动态加载至逻辑执行计划中，得到物理执行计划；
S1012，分布式计算系统中的子任务节点，利用分布式计算引擎基于生成的物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
本说明书一个或多个实施例中的数据异常识别方法，首先，在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；然后，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码；最后，利用分布式计算引擎基于生成的物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
对应上述图2至图10描述的数据异常识别方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种数据异常识别装置，设置于分布式计算系统，图11a为本说明书一个或多个实施例提供的数据异常识别装置的第一种模块组成示意图，该装置用于执行图2至图10描述的数据异常识别方法，如图11a所示，该装置包括：
识别策略获取模块1101，其在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
识别策略加载模块1102，其将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
数据异常识别模块1103，其利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
本说明书一个或多个实施例中，通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
可选地，所述识别策略框架代码包括：基于用户自定义函数UDF所生成的参数化的策略自定义逻辑函数；
所述识别策略加载模块1102，其：
将所述目标异常识别策略动态加载至所述策略自定义逻辑函数中，得到策略更新后的逻辑执行计划；
将所述策略更新后的逻辑执行计划，确定为用于流式数据处理的物理执行计划。
可选地，所述分布式计算系统包括：主任务节点和多个子任务节点；
所述识别策略获取模块1101，其：
所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更；
若存在，则所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，其中，所述目标异常识别策略是所述策略配置服务端存储至分布式数据存储系统的。
可选地，所述识别策略获取模块1101，其：
所述主任务节点利用预设守护线程采用监听机制，定期轮训检测策略配置服务端是否存在异常识别策略变更操作；若是，则确定数据异常识别策略存在变更；
或者，
所述主任务节点判断是否接收到策略配置服务端发送的策略变更通知消息；若是，则确定数据异常识别策略存在变更。
可选地，所述识别策略获取模块1101，其：
所述主任务节点采用预设心跳机制，向所述子任务节点发送识别策略下载请求，以使所述子任务节点从分布式数据存储系统中下载变更后的目标异常识别策略；
或者，
所述主任务节点从分布式数据存储系统中下载变更后的目标异常识别策略，并将所述目标异常识别策略广播至各所述子任务节点。
可选地，所述目标异常识别策略是所述策略配置服务端采用预设格式文件编译方式对变更后的数据异常识别策略进行编译得到的。
可选地，如图11b所示，所述装置还包括：逻辑计划生成模块1104，其：
接收策略配置服务端针对目标异常识别业务所提交的分布式计算任务；
基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划；
存储针对所述分布式计算任务所生成的所述逻辑执行计划。
可选地，所述识别策略获取模块1101，其：
在检测到针对所述分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
对应的，所述识别策略加载模块1102，其：
确定与所述分布式计算任务对应的逻辑执行计划；
将所述目标异常识别策略动态加载至确定出的所述逻辑执行计划中，得到相应的物理执行计划。
可选地，所述逻辑计划生成模块1104，其：
利用预设的用户自定义函数UDF生成方式，基于所述分布式计算任务对应的数据异常识别策略的数据模式，生成参数化的策略自定义逻辑函数；
将所述策略自定义逻辑函数，确定为所述分布式计算任务对应的识别策略框架代码；
基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划。
可选地，所述逻辑计划生成模块1104，其：
利用预设的用户自定义函数UDF生成方式，生成表征启动一个策略变更监听线程的线程自定义函数；以及，
生成表征采用预设拉取方式下载识别策略的策略拉取自定义函数；
基于所述线程自定义函数、所述策略拉取自定义函数、所述识别策略框架代码、以及分布式计算主程序，生成逻辑执行计划。
本说明书一个或多个实施例中的数据异常识别装置，首先，在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；然后，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码；最后，利用分布式计算引擎基于生成的物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
需要说明的是，本说明书中关于数据异常识别装置的实施例与本说明书中关于数据异常识别方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据异常识别方法的实施，重复之处不再赘述。
进一步地，对应上述图2至图10所示的方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种数据异常识别设备，该设备用于执行上述的数据异常识别方法，如图12所示。
数据异常识别设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1201和存储器1202，存储器1202中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1202可以是短暂存储或持久存储。存储在存储器1202的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对数据异常识别设备中的一系列计算机可执行指令。更进一步地，处理器1201可以设置为与存储器1202通信，在数据异常识别设备上执行存储器1202中的一系列计算机可执行指令。数据异常识别设备还可以包括一个或一个以上电源1203，一个或一个以上有线或无线网络接口1204，一个或一个以上输入输出接口1205，一个或一个以上键盘1206等。
在一个具体的实施例中，数据异常识别设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据异常识别设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
本说明书一个或多个实施例中，通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
可选地，计算机可执行指令在被执行时，所述识别策略框架代码包括：基于用户自定义函数UDF所生成的参数化的策略自定义逻辑函数；
所述将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，包括：
将所述目标异常识别策略动态加载至所述策略自定义逻辑函数中，得到策略更新后的逻辑执行计划；
将所述策略更新后的逻辑执行计划，确定为用于流式数据处理的物理执行计划。
可选地，计算机可执行指令在被执行时，所述分布式计算系统包括：主任务节点和多个子任务节点；
所述在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，包括：
所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更；
若存在，则所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，其中，所述目标异常识别策略是所述策略配置服务端存储至分布式数据存储系统的。
可选地，计算机可执行指令在被执行时，所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更，包括：
所述主任务节点利用预设守护线程采用监听机制，定期轮训检测策略配置服务端是否存在异常识别策略变更操作；若是，则确定数据异常识别策略存在变更；
或者，
所述主任务节点判断是否接收到策略配置服务端发送的策略变更通知消息；若是，则确定数据异常识别策略存在变更。
可选地，计算机可执行指令在被执行时，所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，包括：
所述主任务节点采用预设心跳机制，向所述子任务节点发送识别策略下载请求，以使所述子任务节点从分布式数据存储系统中下载变更后的目标异常识别策略；
或者，
所述主任务节点从分布式数据存储系统中下载变更后的目标异常识别策略，并将所述目标异常识别策略广播至各所述子任务节点。
可选地，计算机可执行指令在被执行时，所述目标异常识别策略是所述策略配置服务端采用预设格式文件编译方式对变更后的数据异常识别策略进行编译得到的。
可选地，计算机可执行指令在被执行时，在获取变更后的目标异常识别策略之前，还包括：
接收策略配置服务端针对目标异常识别业务所提交的分布式计算任务；
基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划；
存储针对所述分布式计算任务所生成的所述逻辑执行计划。
可选地，计算机可执行指令在被执行时，所述在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，包括：
在检测到针对所述分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
对应的，所述将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，包括：
确定与所述分布式计算任务对应的逻辑执行计划；
将所述目标异常识别策略动态加载至确定出的所述逻辑执行计划中，得到相应的物理执行计划。
可选地，计算机可执行指令在被执行时，所述基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划，包括：
利用预设的用户自定义函数UDF生成方式，基于所述分布式计算任务对应的数据异常识别策略的数据模式，生成参数化的策略自定义逻辑函数；
将所述策略自定义逻辑函数，确定为所述分布式计算任务对应的识别策略框架代码；
基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划。
可选地，计算机可执行指令在被执行时，所述基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划，包括：
利用预设的用户自定义函数UDF生成方式，生成表征启动一个策略变更监听线程的线程自定义函数；以及，
生成表征采用预设拉取方式下载识别策略的策略拉取自定义函数；
基于所述线程自定义函数、所述策略拉取自定义函数、所述识别策略框架代码、以及分布式计算主程序，生成逻辑执行计划。
本说明书一个或多个实施例中的数据异常识别设备，首先，在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；然后，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码；最后，利用分布式计算引擎基于生成的物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
需要说明的是，本说明书中关于数据异常识别设备的实施例与本说明书中关于数据异常识别方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据异常识别方法的实施，重复之处不再赘述。
进一步地，对应上述图2至图10所示的方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
本说明书一个或多个实施例中，通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述识别策略框架代码包括：基于用户自定义函数UDF所生成的参数化的策略自定义逻辑函数；
所述将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，包括：
将所述目标异常识别策略动态加载至所述策略自定义逻辑函数中，得到策略更新后的逻辑执行计划；
将所述策略更新后的逻辑执行计划，确定为用于流式数据处理的物理执行计划。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述分布式计算系统包括：主任务节点和多个子任务节点；
所述在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，包括：
所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更；
若存在，则所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，其中，所述目标异常识别策略是所述策略配置服务端存储至分布式数据存储系统的。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更，包括：
所述主任务节点利用预设守护线程采用监听机制，定期轮训检测策略配置服务端是否存在异常识别策略变更操作；若是，则确定数据异常识别策略存在变更；
或者，
所述主任务节点判断是否接收到策略配置服务端发送的策略变更通知消息；若是，则确定数据异常识别策略存在变更。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，包括：
所述主任务节点采用预设心跳机制，向所述子任务节点发送识别策略下载请求，以使所述子任务节点从分布式数据存储系统中下载变更后的目标异常识别策略；
或者，
所述主任务节点从分布式数据存储系统中下载变更后的目标异常识别策略，并将所述目标异常识别策略广播至各所述子任务节点。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述目标异常识别策略是所述策略配置服务端采用预设格式文件编译方式对变更后的数据异常识别策略进行编译得到的。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，在获取变更后的目标异常识别策略之前，还包括：
接收策略配置服务端针对目标异常识别业务所提交的分布式计算任务；
基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划；
存储针对所述分布式计算任务所生成的所述逻辑执行计划。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，包括：
在检测到针对所述分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
对应的，所述将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，包括：
确定与所述分布式计算任务对应的逻辑执行计划；
将所述目标异常识别策略动态加载至确定出的所述逻辑执行计划中，得到相应的物理执行计划。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划，包括：
利用预设的用户自定义函数UDF生成方式，基于所述分布式计算任务对应的数据异常识别策略的数据模式，生成参数化的策略自定义逻辑函数；
将所述策略自定义逻辑函数，确定为所述分布式计算任务对应的识别策略框架代码；
基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划，包括：
利用预设的用户自定义函数UDF生成方式，生成表征启动一个策略变更监听线程的线程自定义函数；以及，
生成表征采用预设拉取方式下载识别策略的策略拉取自定义函数；
基于所述线程自定义函数、所述策略拉取自定义函数、所述识别策略框架代码、以及分布式计算主程序，生成逻辑执行计划。
本说明书一个或多个实施例中的存储介质存储的计算机可执行指令在被处理器执行时，首先，在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；然后，将获取到的目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，该逻辑执行计划包括：分布式计算主程序和识别策略框架代码；最后，利用分布式计算引擎基于生成的物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。通过预先生成包含识别策略框架代码的逻辑执行计划，实现将异常识别策略和数据处理主程序分离，再采用策略动态加载的方式，将最新的数据异常识别策略动态加载到逻辑执行计划中，得到用于流式数据处理的物理执行计划，再利用分布式计算引擎基于该物理执行计划对目标业务数据进行异常识别，这样通过借助分布式计算引擎对流式数据进行异常识别，能够大大提高海量数据异常识别效率，同时，针对每次异常识别策略的变更操作，直接基于最新的数据异常识别策略动态更新预先生成的逻辑执行计划，得到所需的数据执行计划，无需重启流式计算任务来重新生成相应的数据执行计划，提高了针对数据执行计划中异常识别策略的更新效率和灵活性，从而实现有效应对异常识别策略变更频繁的应用场景。
需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于数据异常识别方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的数据异常识别方法的实施，重复之处不再赘述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HD Cal、JHDL(Java Hardware Description Language)、Lava、Lola、My HDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书一个或多个的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书一个或多个的实施例而已，并不用于限制本说明书一个或多个。对于本领域技术人员来说，本说明书一个或多个可以有各种更改和变化。凡在本说明书一个或多个的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个的权利要求范围之内。

Claims (22)

1.一种数据异常识别方法，应用于分布式计算系统，所述方法包括：
在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
2.根据权利要求1所述的方法，其中，所述识别策略框架代码包括：基于用户自定义函数UDF所生成的参数化的策略自定义逻辑函数；
所述将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，包括：
将所述目标异常识别策略动态加载至所述策略自定义逻辑函数中，得到策略更新后的逻辑执行计划；
将所述策略更新后的逻辑执行计划，确定为用于流式数据处理的物理执行计划。
3.根据权利要求1所述的方法，其中，所述分布式计算系统包括：主任务节点和多个子任务节点；
所述在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，包括：
所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更；
若存在，则所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，其中，所述目标异常识别策略是所述策略配置服务端存储至分布式数据存储系统的。
4.根据权利要求3所述的方法，其中，所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更，包括：
所述主任务节点利用预设守护线程采用监听机制，定期轮训检测策略配置服务端是否存在异常识别策略变更操作；若是，则确定数据异常识别策略存在变更；
或者，
所述主任务节点判断是否接收到策略配置服务端发送的策略变更通知消息；若是，则确定数据异常识别策略存在变更。
5.根据权利要求3所述的方法，其中，所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，包括：
所述主任务节点采用预设心跳机制，向所述子任务节点发送识别策略下载请求，以使所述子任务节点从分布式数据存储系统中下载变更后的目标异常识别策略；
或者，
所述主任务节点从分布式数据存储系统中下载变更后的目标异常识别策略，并将所述目标异常识别策略广播至各所述子任务节点。
6.根据权利要求3所述的方法，其中，所述目标异常识别策略是所述策略配置服务端采用预设格式文件编译方式对变更后的数据异常识别策略进行编译得到的。
7.根据权利要求1至6任一项所述的方法，其中，在获取变更后的目标异常识别策略之前，还包括：
接收策略配置服务端针对目标异常识别业务所提交的分布式计算任务；
基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划；
存储针对所述分布式计算任务所生成的所述逻辑执行计划。
8.根据权利要求7所述的方法，其中，所述在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略，包括：
在检测到针对所述分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
对应的，所述将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，包括：
确定与所述分布式计算任务对应的逻辑执行计划；
将所述目标异常识别策略动态加载至确定出的所述逻辑执行计划中，得到相应的物理执行计划。
9.根据权利要求7所述的方法，其中，所述基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划，包括：
利用预设的用户自定义函数UDF生成方式，基于所述分布式计算任务对应的数据异常识别策略的数据模式，生成参数化的策略自定义逻辑函数；
将所述策略自定义逻辑函数，确定为所述分布式计算任务对应的识别策略框架代码；
基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划。
10.根据权利要求9所述的方法，其中，所述基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划，包括：
利用预设的用户自定义函数UDF生成方式，生成表征启动一个策略变更监听线程的线程自定义函数；以及，
生成表征采用预设拉取方式下载识别策略的策略拉取自定义函数；
基于所述线程自定义函数、所述策略拉取自定义函数、所述识别策略框架代码、以及分布式计算主程序，生成逻辑执行计划。
11.一种数据异常识别装置，设置于分布式计算系统，所述识别装置包括：
识别策略获取模块，其在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
识别策略加载模块，其将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
数据异常识别模块，其利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
12.根据权利要求11所述的装置，其中，所述识别策略框架代码包括：基于用户自定义函数UDF所生成的参数化的策略自定义逻辑函数；
所述识别策略加载模块，其：
将所述目标异常识别策略动态加载至所述策略自定义逻辑函数中，得到策略更新后的逻辑执行计划；
将所述策略更新后的逻辑执行计划，确定为用于流式数据处理的物理执行计划。
13.根据权利要求11所述的装置，其中，所述分布式计算系统包括：主任务节点和多个子任务节点；
所述识别策略获取模块，其：
所述主任务节点确定策略配置服务端所配置的数据异常识别策略是否存在变更；
若存在，则所述主任务节点触发所述子任务节点获取变更后的目标异常识别策略，其中，所述目标异常识别策略是所述策略配置服务端存储至分布式数据存储系统的。
14.根据权利要求13所述的装置，其中，所述识别策略获取模块，其：
所述主任务节点利用预设守护线程采用监听机制，定期轮训检测策略配置服务端是否存在异常识别策略变更操作；若是，则确定数据异常识别策略存在变更；
或者，
所述主任务节点判断是否接收到策略配置服务端发送的策略变更通知消息；若是，则确定数据异常识别策略存在变更。
15.根据权利要求13所述的装置，其中，所述识别策略获取模块，其：
所述主任务节点采用预设心跳机制，向所述子任务节点发送识别策略下载请求，以使所述子任务节点从分布式数据存储系统中下载变更后的目标异常识别策略；
或者，
所述主任务节点从分布式数据存储系统中下载变更后的目标异常识别策略，并将所述目标异常识别策略广播至各所述子任务节点。
16.根据权利要求13所述的装置，其中，所述目标异常识别策略是所述策略配置服务端采用预设格式文件编译方式对变更后的数据异常识别策略进行编译得到的。
17.根据权利要求11至16任一项所述的装置，其中，所述装置还包括：逻辑计划生成模块，其：
接收策略配置服务端针对目标异常识别业务所提交的分布式计算任务；
基于所述分布式计算任务对应的分布式计算主程序和识别策略框架代码，生成逻辑执行计划；
存储针对所述分布式计算任务所生成的所述逻辑执行计划。
18.根据权利要求17所述的装置，其中，所述识别策略获取模块，其：
在检测到针对所述分布式计算任务进行识别策略变更时，获取变更后的目标异常识别策略；
对应的，所述识别策略加载模块，其：
确定与所述分布式计算任务对应的逻辑执行计划；
将所述目标异常识别策略动态加载至确定出的所述逻辑执行计划中，得到相应的物理执行计划。
19.根据权利要求17所述的装置，其中，所述逻辑计划生成模块，其：
利用预设的用户自定义函数UDF生成方式，基于所述分布式计算任务对应的数据异常识别策略的数据模式，生成参数化的策略自定义逻辑函数；
将所述策略自定义逻辑函数，确定为所述分布式计算任务对应的识别策略框架代码；
基于所述识别策略框架代码和所述分布式计算任务对应的分布式计算主程序，生成逻辑执行计划。
20.根据权利要求19所述的装置，其中，所述逻辑计划生成模块，其：
利用预设的用户自定义函数UDF生成方式，生成表征启动一个策略变更监听线程的线程自定义函数；以及，
生成表征采用预设拉取方式下载识别策略的策略拉取自定义函数；
基于所述线程自定义函数、所述策略拉取自定义函数、所述识别策略框架代码、以及分布式计算主程序，生成逻辑执行计划。
21.一种数据异常识别设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
22.一种存储介质，用于存储计算机可执行指令，所述可执行指令在被处理器执行时实现以下方法：
在检测到异常识别策略存在变更时，获取变更后的目标异常识别策略；
将所述目标异常识别策略动态加载至预先生成的逻辑执行计划中，得到相应的物理执行计划，其中，所述逻辑执行计划包括：分布式计算主程序和识别策略框架代码；
利用分布式计算引擎基于所述物理执行计划，对目标业务数据进行异常识别处理，得到相应的数据异常识别结果。
CN202010165461.XA 2020-03-11 2020-03-11 一种数据异常识别方法及装置 Active CN111443997B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010165461.XA CN111443997B (zh) 2020-03-11 2020-03-11 一种数据异常识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010165461.XA CN111443997B (zh) 2020-03-11 2020-03-11 一种数据异常识别方法及装置

Publications (2)

Publication Number Publication Date
CN111443997A true CN111443997A (zh) 2020-07-24
CN111443997B CN111443997B (zh) 2023-06-23

Family

ID=71655799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010165461.XA Active CN111443997B (zh) 2020-03-11 2020-03-11 一种数据异常识别方法及装置

Country Status (1)

Country Link
CN (1) CN111443997B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256948A (zh) * 2020-10-13 2021-01-22 北京字跳网络技术有限公司 数据处理方法、装置和电子设备
CN117149667A (zh) * 2023-10-31 2023-12-01 宁德时代新能源科技股份有限公司 异常数据获取方法、装置、设备和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130091539A1 (en) * 2011-10-11 2013-04-11 Honeywell International Inc. System and method for insider threat detection
US20140137239A1 (en) * 2012-11-14 2014-05-15 International Business Machines Corporation Application-Level Anomaly Detection
US20150033351A1 (en) * 2003-07-01 2015-01-29 Securityprofiling, Llc Anti-vulnerability system, method, and computer program product
CN105426504A (zh) * 2015-11-27 2016-03-23 陕西艾特信息化工程咨询有限责任公司 一种基于内存计算的分布式数据分析处理方法
US20170010931A1 (en) * 2015-07-08 2017-01-12 Cisco Technology, Inc. Correctly identifying potential anomalies in a distributed storage system
US20170104775A1 (en) * 2015-10-08 2017-04-13 Cisco Technology, Inc. Anomaly detection supporting new application deployments
CN109582485A (zh) * 2018-10-26 2019-04-05 阿里巴巴集团控股有限公司 一种配置变更异常检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150033351A1 (en) * 2003-07-01 2015-01-29 Securityprofiling, Llc Anti-vulnerability system, method, and computer program product
US20130091539A1 (en) * 2011-10-11 2013-04-11 Honeywell International Inc. System and method for insider threat detection
US20140137239A1 (en) * 2012-11-14 2014-05-15 International Business Machines Corporation Application-Level Anomaly Detection
US20170010931A1 (en) * 2015-07-08 2017-01-12 Cisco Technology, Inc. Correctly identifying potential anomalies in a distributed storage system
US20170104775A1 (en) * 2015-10-08 2017-04-13 Cisco Technology, Inc. Anomaly detection supporting new application deployments
CN105426504A (zh) * 2015-11-27 2016-03-23 陕西艾特信息化工程咨询有限责任公司 一种基于内存计算的分布式数据分析处理方法
CN109582485A (zh) * 2018-10-26 2019-04-05 阿里巴巴集团控股有限公司 一种配置变更异常检测方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256948A (zh) * 2020-10-13 2021-01-22 北京字跳网络技术有限公司 数据处理方法、装置和电子设备
CN117149667A (zh) * 2023-10-31 2023-12-01 宁德时代新能源科技股份有限公司 异常数据获取方法、装置、设备和计算机可读存储介质
CN117149667B (zh) * 2023-10-31 2024-04-05 宁德时代新能源科技股份有限公司 异常数据获取方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN111443997B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN109104327B (zh) 一种业务日志生成方法、装置及设备
CN109003091A (zh) 一种风险防控处理方法、装置及设备
KR102167747B1 (ko) 사용자 이용 패턴을 신경망 알고리즘으로 분석하여 다음 어플리케이션을 예측하는 모바일 디바이스 메모리 관리 장치 및 방법
CN112417461A (zh) 设备固件的模糊测试方法及系统
CN111966334B (zh) 一种业务处理方法、装置及设备
CN111443997A (zh) 一种数据异常识别方法及装置
CN111783018B (zh) 一种页面处理方法、装置及设备
CN111639011B (zh) 一种数据监控方法、装置及设备
CN110634030A (zh) 应用的业务指标挖掘方法、装置及设备
CN112965882B (zh) 一种数据故障分析的方法及装置
CN111753328B (zh) 隐私数据的泄露风险检测方法及系统
CN113568841A (zh) 一种针对小程序的风险检测方法、装置及设备
CN115712866A (zh) 数据处理方法、装置及设备
CN107562703B (zh) 字典树重构方法及系统
CN110659047A (zh) 算法模型更新方法和装置、电子设备、计算机可读存储介质
CN112712125A (zh) 事件流的模式匹配方法、装置、存储介质及处理器
CN115543945A (zh) 一种模型压缩的方法、装置、存储介质及电子设备
CN116304704A (zh) 一种模型训练方法、装置、存储介质及电子设备
CN115567371A (zh) 一种异常检测方法、装置、设备及可读存储介质
CN107291439B (zh) 一种目标增量数据构建方法及装置
CN114722972A (zh) 一种异常检测的方法及装置
CN110737524B (zh) 一种任务规则管理方法、装置、设备及介质
CN110674184B (zh) 一种构造异动检测模型库的方法、系统及设备
CN114780167B (zh) 基于ReactNative的预加载方法及系统
CN108628615A (zh) 一种废弃代码检测方法、装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033644

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant