CN114666193B - 针对cdn的异常检测方法、计算设备及存储介质 - Google Patents

针对cdn的异常检测方法、计算设备及存储介质 Download PDF

Info

Publication number
CN114666193B
CN114666193B CN202210204456.4A CN202210204456A CN114666193B CN 114666193 B CN114666193 B CN 114666193B CN 202210204456 A CN202210204456 A CN 202210204456A CN 114666193 B CN114666193 B CN 114666193B
Authority
CN
China
Prior art keywords
data
detected
abnormality detection
detection
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210204456.4A
Other languages
English (en)
Other versions
CN114666193A (zh
Inventor
黄威涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202210204456.4A priority Critical patent/CN114666193B/zh
Publication of CN114666193A publication Critical patent/CN114666193A/zh
Application granted granted Critical
Publication of CN114666193B publication Critical patent/CN114666193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0266—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using meta-data, objects or commands for formatting management information, e.g. using eXtensible markup language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0823—Configuration setting characterised by the purposes of a change of settings, e.g. optimising configuration for enhancing reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供一种针对CDN的异常检测方法、计算设备及存储介质。在本申请实施例中，获取CDN网络中节点的预置格式的待检测数据，待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。能够实现减少检测的响应时间、同时满足数据增长需求的异常检测。

Description

针对CDN的异常检测方法、计算设备及存储介质
技术领域
本申请涉及数据检测领域，尤其涉及一种针对CDN的异常检测方法、计算设备及存储介质。
背景技术
随着服务需求的增多，数据格式的多样化，告警需求的定制及告警指标的增长，使得大数据处理系统的作业开发、维护成本也越来越高，作业的稳定性也不能保障。
而传统告警中的异常检测方式是通过让数据先入库、定时轮询数据库再检测，但这种方式已经满足不了持续增长的数据量，也渐渐满足不了日益增长的需求。
发明内容
本申请的多个方面提供一种针对CDN的异常检测方法、计算设备及存储介质，能够实现减少检测的响应时间、同时满足数据增长需求的异常检测。
本申请实施例提供一种针对CDN的异常检测方法，包括：获取CDN网络中节点的预置格式的待检测数据，所述待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
本申请实施例提供一种网路节点的异常检测方法，包括：获取网络中节点的预置格式的待检测数据，所述待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
本申请实施例还提供一种计算设备，包括：存储器、处理器；所述存储器，用于存储计算机程序；所述处理器，执行所述计算机程序，以用于：获取CDN网络中节点的预置格式的待检测数据，所述待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器实现上述方法中的步骤。
在本申请实施例中，获取CDN网络中节点的预置格式的待检测数据，待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
其中，针对待检测数据，根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息，可以对不同类型的多种待检测数据进行标准化数据源的抽取，以便后续能统一检测处理，从而可以减少检测的响应时间，且有利于检测能力的水平扩展。
由于可方便水平扩展，当数据量持续增长，通过水平扩展即可解决可扩展性的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请一示例性实施例的针对CDN的异常检测方法的流程示意图；
图2为本申请一示例性实施例的针对CDN的异常检测过程的示意图；
图3为本申请一示例性实施例的针对CDN的异常检测系统的结构示意图；
图4为本申请一示例性实施例提供的针对CDN的异常检测装置的结构示意图；
图5为本申请一示例性实施例提供的计算设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
根据前文可知，对于多源数据接入和定制化告警需求等，作业开发和维护成本越来越高，且传统的异常检测方式已经不能满足当前的需求，这些痛点带来了重大挑战。
针对上述问题，本申请实施例提供了一种针对CDN的异常检测方法、计算设备及存储介质，使得能够实现减少检测的响应时间、同时满足数据增长需求的异常检测。
下面结合方法实施例，针对CDN的异常检测过程进行详细说明。
图1为本申请一示例性实施例的一种针对CDN的异常检测方法的流程示意图。本申请实施例提供的该方法100由大数据处理系统中的处理节点执行，具体的可以是执行设备，如服务器。该方法100包括以下步骤：
101：获取CDN网络中节点的预置格式的待检测数据。
其中，待检测数据包括不同类型的多个待检测数据。
102：根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
103：根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
需要说明的是，大数据处理系统是指一种数据实时计算，实时处理的系统。大数据处理系统可以由多个处理节点(也可以称为作业节点)组成，多个处理节点可以通过调度中心进行调度。如图2所示，调度中心207负责多个处理节点之间的动态调度。
以下针对上述步骤进行详细地阐述：
101：获取CDN网络中节点的预置格式的待检测数据。
其中，待检测数据包括不同类型的多个待检测数据。该待检测数据可以来自CDN(Content Delivery Network，内容分发网络)网络中边缘节点，也可以来自其它网络(如内容中心网络CCN，Content Centric Network)中网络节点的，此处不作具体限制，不同的数据来源会带来不同类型的数据。不同类型可以是指不同服务对应的类型数据，如可以是访问电商的商品数据、访问视频资源的数据、商品购买数据以及模型训练的记录数据等等。
其中预置格式可以是主流支持的格式，如JSON格式或者其它格式如XML格式。
例如，大数据系统中的处理节点可以实时获取CDN网络中多个边缘节点发送来的JSON格式的待检测数据。
需要说明的是，预置格式可以在CDN网络中的边缘节点处进行格式的设置，即边缘节点可以负责将待检测数据设置为预置格式再上传至处理节点。
为了更好地进行预置格式的转换或设置，可以通过数据接入模块，如ETL(Extract-Transform-Load，抽取(extract)、转换(transform)、加载(load))工具来实现。该模块可以部署在数据源的设备上，如边缘节点。也可以将其直接部署在一个独立的设备上作为数据的格式转换。
即通过提供的数据接入模块来实现预置格式的设置。
具体的，获取CDN网络中节点的预置格式的待检测数据，包括：通过采集脚本采集CDN网络中多个边缘节点的待检测数据，发送至数据接入模块；通过数据接入模块对采集到待检测数据进行预置格式的转换，得到预置格式的待检测数据；通过数据接入模块，将预置格式的待检测数据发送至日志服务平台，并通过日志服务平台获取到预置格式的待检测数据。
其中，对待检测数据进行采集的时候，可以通过采集脚本进行数据采集，该采集脚本是运行在处理节点植入的代理程序中，并通过该代理程序运行该采集脚本来采集不同类型的待检测数据，然后通过ETL工具拆分成统一JSON格式的数据，并进行上传。
日志服务平台(SLS)是指云原生观测分析平台，为数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。
例如，根据前文所述，如图2所示，图2示出了异常检测的过程200，其中，通过在边缘节点的代理程序中运行采集脚本采集实时待检测数据，即实时数据203，并通过数据接入模块202，如ETL工具转换为JSON格式的待检测数据，并发送至日志服务平台2014，更具体的可以是日志服务平台2014的Logstore日志存储中。然后可以通过该Logstore日志存储获取对应的待检测数据。如，通过大数据处理系统订阅Logstore日志存储中的待检测数据，即将Logstore与处理节点的作业job进行绑定，如Logstore1与作业job1一对一绑定，由作业job1负责接收Logstore1中的待检测数据。然后再由对应的处理节点执行作业job1，即对待检测数据进行后续异常检测的处理。
需要说明的是，对于数据采集而言，通过采集侧层面来进行数据采集，即通过数据接入模块来实现数据的最终采集。其中，数据接入模块的方式可以包括：一种是通过前文所述的方式，下发采集脚本至边缘节点，将待检测数据通过预置格式统一采集到SLS的Logstore。另一种可以是用户自己已采集到SLS的待检测数据，然后可以通过配置导入到SLS的Logstore，在导入数据前，待检测数据已是预置格式了，由此保持格式统一，如可以是前文所述以JSON格式存在固定字段值VALUE。
此外，代理程序除了可以通过运行采集脚本采集数据外，也可以实现其它需求功能，如定时发送所在边缘节点的心跳数据，至大数据处理系统，以使的对整个系统的链路进行监测，保障整个系统的稳定性。
102：根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
其中，异常检测对象是指，指向报警的对象或报警的目标，如主机host或域名等，当出现异常时，是将对应的主机作为报警的对象或报警的目标。可以通过tagKey(标签键)、tagValue(标签值)作为异常检测对象字段。如tagKey：主机host，tagValue：主机host名称。或，tagKey："domain"，tagValue："www.YY.com"。其中，domain是指域名，www.YY.com可以是指某电商网址。
异常检测信息字段与异常检测对象字段对应，其中，异常检测信息是指用于确定或衡量是否异常的信息，如域名的5xx告警。异常检测信息可以包括异常类型(如域名的5xx告警)以及对应的参数或数据(域名的5xx告警对应的数值0.01)。可以通过fieldKey(域键)、fieldValue(域值)作为异常检测信息字段。如fieldKey："5xx"，fieldValue："0.01"。
例如，根据前文所述，处理节点在接收到待检测数据后，根据上述字段提取待检测数据中的tagKey、tagValue、fieldKey、fieldValue。应理解，tagKey和fieldKey可以是预先设置定义好的，如tagKey为域名，fieldKey为5xx。
具体的，根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息，包括：根据异常检测对象的键以及对应的异常检测信息的键，从待检测数据中获取对应的目标异常检测对象的数值以及对应的目标异常检测信息的数值。
根据前文所述的方式，根据tagKey以及fieldKey两个键，来获取对应的数值。就不再赘述了。
为了能够更加方便地从待检测数据中抽取对应的数值，可以通过数据模型来提供上述异常检测对象字段和对应的异常检测信息字段，从而进行数值提取。
具体的，该方法100还包括：提供数据模型，所述数据模型用于提供预置检测字段中的异常检测对象字段和对应的异常检测信息字段；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息，包括：通过数据模型，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
例如，根据前文所述，处理节点可以通过可以利用统一的数据模型抽象出需要处理的字段。这套数据模型，它可以包含四个字段：tagKey、tagValue、fieldKey、fieldValue。利用这套数据模型，就可以抽象出所有待检测数据的数据源。
如域名的5xx告警，通过数据模型接收到JSON格式的待检测数据，可以该数据格式为：{"domain":"www.YY.com","5xx":"0.01"}，经过数据模型抽象并标准化后为：{"tagKey":"domain","tagValue":"www.YY.com","fieldKey":"5xx","fieldValue":"0.01"}。按照这套标准抽取出同一种数据模型对应的输出数据后，后续的检测便可统一处理。
由于待检测数据是不同类型的，其由于服务不同，所以类型不同。所以它需要监测的字段也不同。但通过上述方式可以进行数据的同一提取。
其中，如图2所示，更具体的可以是通过标准化模块2015来提供数据模型，以实现上述数据的提取。就不再赘述了。
103：根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
其中，检测表达式可以是将数据通过预置规则进行连接的式子，用于检测或告警，或用于确定是否异常。如正则表达式，如描述一个参数或指标超过阈值就异常或报警的情况。
检测表达式可以通过检测规则或告警规则生成。
例如，根据前文所述，处理节点在提取出待检测数据中的{"tagKey":"domain","tagValue":"www.YY.com","fieldKey":"5xx","fieldValue":"0.01"}后，可以通过"tagKey":"domain"以及"fieldKey":"5xx"来确定对应的检测表达式，然后可以将数据输入至检测表达式中，如可以将数据中的"fieldValue":"0.01"作为检测表达式的输入，从而确定待检测数据中的域名是否有异常。当有异常的时候，可以确定指向的对象是域名domain存在异常。
为了能够更快更好更方便地对待检测数据进行异常检测，还可以通过对待检测数据仅汇聚以及确定汇聚后的指标数值以进行异常检测。
具体的，在提取完数据后在获取到目标异常检测对象以及目标异常检测信息后，该方法100还包括：针对多个待检测数据，基于目标异常检测对象字段，对目标异常检测对象以及目标异常检测信息进行汇聚；根据汇聚后的信息，确定多个待检测数据的目标异常检测信息的指标数值，指标数值可代表多个待检测数据的目标异常检测信息；根据汇聚后的目标异常检测对象对应的指标数值，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
其中，确定多个待检测数据的目标异常检测信息的指标数值可以是通过确定均值的方式、最大值或最小值等方式来确定指标数值，其它方式也可以作为确定方式此处不过多限定。
例如，根据前文所述，处理节点可以通过上述提取到的多个数据，如{"tagKey":"domain","tagValue":"www.YY.com","fieldKey":"5xx","fieldValue":"0.01"}等进行汇聚。可以以tagKey为基准，以预置时间(如1分钟)为时间基准进行数据汇聚。得到汇聚后的信息，应理解，tagKey对应的不再单单是tagValue":"www.YY.com"，这一个网址，还可以是其它的网址，如www.CC.com等汇聚后的网址。由此可以生成多个预置时间对应的汇聚信息。
在汇聚完信息后，根据汇聚后的信息中汇聚的fieldValue的数值的均值作为指标数值。然后根据前文所述的方式，来输入至对应的检测表达式中确定是否存在异常，就不再过多赘述了。
其中，如图2所示，通过窗口汇聚2016对应的处理模块来实现上述汇聚信息。通过指标计算2017对应的处理模块来实现上述指标数值的计算。然后通过表达式执行2018对应的处理模块来实现上述通过检测表达式确定是否异常。
当出现异常后，可以通过告警中心来进行告警。
具体的，该方法100还包括：当通过预置检测表达式确定对应待检测数据中的目标异常检测对象异常，则通过告警模块发送异常信息至告警中心，以使告警中心根据异常信息以及异常信息的持续时间提供告警信息至对应的用户。
例如，根据前文所述，如图2所示，当确定存在异常，则处理节点可以通过告警模块205将异常信息或者告警信息发送至告警中心，当告警中心接收到该异常信息后可以直接进行告警。也可以持续等待，当持续接收到该类型异常信息，且存在异常的持续时间(即异常信息的持续时间)达到阈值，则进行告警，可以发送告警信息给对应的用户。
除此以外，还可以通过告警模块205将异常信息或者告警信息发送至事件中心，以使事件中心进行闭环处理。
另，告警模块205还可以通过处理节点接收前文所述的定时发送的边缘节点的心跳数据，由此来确定边缘节点是否存在异常，以进行告警。
需要说明的是，如图2所示，平台侧层面处，可以通过大数据处理系统订阅上述sls的数据，然后可以利用大数据处理系统Sql(Structured Query Language，结构化查询语言)定义数据的标准化、汇聚和指标计算，然后将计算的结果交给支持的自定义UDF函数(user-defined function，用户自定义函数)、UDAF函数(User-Defined AggregationFuncation，用户定义聚合函数)、UDTF函数(User-Defined Table-Generating Functions，用户定义表生成函数)来分析程序进行异常检测，实现通过表达式确定异常检测，最后将异常检测结果输出，形成告警。
如图2所示，处理节点可以执行标准化模块2015，直至表达式执行2018对应的执行过程，以及通过告警模块205发送异常信息或告警信息的过程。由此，在大数据处理系统的支持下，可以水平扩展多个处理节点来实现异常检测的功能，提升了水平扩展的能力。如可以在不同的地理位置中进行水平扩展，设置出多个处理单元，如处理单元A2011、处理单元B2012和处理单元C2013等。且如图2所示，上述处理单元的过程属于流式工作流程，串行地实现了异常检测以及报警的功能，由此可以保证大量级数据下的低时延处理和稳定性。
而在现有技术中通过将待检测数据先入库再定时查询的检测方式，需要涉及对数据库DB的频繁的IO(Input/Output，输入/输出)，数据量大时DB压力变大，容易被打挂。此外，在数据量少的时候，可以通过CasebyCase的处理方式，可以通过将多个数据源划分为若干个不同的数据源，来实现异常的检测。但是随着个性化需求多，大数据处理系统的作业开发任务非常多，维护成本非常高，作业的稳定性也不能很好保障。
本申请实施例还可以通过可视化层面，使得用户可以任意配置检测指标的数目、指标类型等检测规则，满足绝大多数定制化告警需求。
具体的，该方法100还包括：提供检测规则的配置界面，基于用户的配置操作，确定并获取检测规则；根据获取到的检测规则确定对应的检测表达式，并将检测表达式存储至数据库中；从数据库中加载检测表达式至用于执行检测表达式的处理模块的cache存储器中，以使处理模块执行cache存储器中的检测表达式，用于确定待检测数据中的目标异常检测对象是否异常。
例如，根据前文所述，可以通过用户的智能终端，如电脑，将配置界面的配置信息提供给用户。如用户通过电脑登录控制台来拉取大数据处理系统的配置信息，并进行在配置界面上展示配置信息。用户可以在配置界面上进行检测规则的配置，如配置检测指标的数目、检测指标类型、以及检测的条件(如大于阈值就异常)以及所涉及到的算法或模型等。配置好后可以将该检测规则发送至大数据处理系统的后端服务器，如图2所示的控制台206，由该后端服务器将检测规则转换成检测表达式存入RDS(Relational DatabaseService，关系型数据库服务)，再通过配置加载模块，同步到表达式执行的处理模块的cache中，以实现上述通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
根据前文可知，除了在检测表达式的阈值的检测、环比等函数的异常检测外，还可以自定义新的检测函数和智能算法，如WMA(均值算法)、KDE(核密度估计，Kernel DensityEstimation)等。还可以定时去训练模型。
具体的，该方法100还包括：通过数据接入模块，将预置格式的待检测数据发送至智能中心，以使智能中心根据待检测数据对预置模型或预置算法进行训练，生成对应的模型或算法；当检测表达式通过对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常，则从智能中心获取对应的模型或算法，并根据检测表达式以及对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常。
例如，根据前文所述，如图2所示，根据数据接入模块202还可以将预置时间内的大量JSON格式的数据发送至智能中心204，以使智能中心204接收到该JSON格式的数据，并将JSON格式的数据作为模型或算法的训练数据，进行自定义算法和模型的训练。可以通过智能中心204中的自定义算法2041对应的自定义算法模块实现算法的生成，以及通过模型训练2042对应的模型训练模块训练模型生成模型。
根据前文可知，在生成对应的异常表达式前，可以给用户提供智能中心204中的自定义算法或模型，由用户进行选择和配置。当用户选择和配置后，则根据用户的选择和配置生成对应的异常表达式。如果异常表达式需要用到智能中心204中的自定义算法或模型，则拉取智能中心204中对应的模型或算法，以供异常表达式在执行的时候可以利用智能中心的模型或算法，当然也可以在异常表达式执行的时候，将指标数值发送至智能中心204中对应的模型或算法拿到最终输出结果，再来确定是否异常。就不再过多赘述了。
此外，该方法100通过大数据处理系统的多个处理节点进行异常检测，不同处理节点对应不同的采集脚本采集到的待检测数据，并进行异常检测；当多个处理节点中的任一处理节点的处理能力不能满足对当前待检测数据进行异常检测，则将对应的当前待检测数据动态调度到其它处理节点进行异常检测。
根据前文可知，大数据处理系统具有多个处理节点可以处理前文所述的异常检测。采集脚本可以将采集到的待检测数据作为采集项发送至Logstore。此时，一个采集项对应一个Logstore，采集项1对应Logstore1，然后Logstore1与作业job1一对一绑定，由作业job1负责接收Logstore1中的作为采集项1的待检测数据。然后再由对应的处理节点执行作业job1，即对待检测数据进行后续异常检测的处理。
如图2所示，大数据处理系统可以基于字段标准化(即标注化模块实现)、窗口汇聚、指标计算、表达式执行的对应模块多模块部署，并可以通过其中的监测单元对处理节点的水位进行监测，如处理节点的处理负荷进行监测，可以通过处理节点的性能参数来确定，如处理器使用率、内存使用率、以及网络带宽等。确定处理节点的处理负荷，可以通过权重算法来确定最终的水位数值，当超过阈值则确定水位过高需要调度。则可以通过调度中心207，实现动态调度。动态调度的时候，则可以是将上述对应的采集项1从Logstore1转给Logstore2，使得Logstore2将该采集项1发送给job2，以使得job2通过其它处理节点来执行。
在通过检测表达式检测异常的时候，有时需要对对应的代码进行修改，为了方便修改代码，可以通过脚本来执行对应代码。
具体的，该方法100还包括：获取执行代码，执行代码用于执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤；根据执行代码生成执行脚本，并根据执行脚本执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
例如，根据前文所述，可以将告警的分析代码，即执行检测表达式的对应代码，从UDF中抽离出来，形成groovyscript脚本，可以实现从远程拉取并热加载，从而实现一个通用的UDF方案。该方案不仅可以解决修改分析逻辑的时候需要频繁打包UDF的问题，还能解决运行过程中增删日志的功能，另外通过在同一个操作器operator上并行执行不同分析脚本，还可以解决资源浪费问题。通过执行该脚本可以实现通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
当更新执行代码的情况下，该方法100还包括：修改执行脚本中的执行代码，并生成更新后的执行脚本，并通过获取以及加载更新后的脚本执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
例如，根据前文可知，当需要修改检测表达式的时候，则需要更新执行代码，则自动或手动对代码进行修改，修改后生成对应的更新后的执行脚本。更新后从远程拉取并热加载，执行更新后的执行脚本来实现异常的检测。
本申请实施例，解放了定制化的人力资源，缩短了监测需求的响应时间，用户自己可方便快捷配置数据接入和配置告警。它既保证了告警实时性，又保证了告警的稳定性和可靠性，亦保证了整个系统的可扩展性。
图3为本申请一示例性实施例提供的一种针对CDN的异常检测系统的结构示意图。如图3所示，该系统300可以包括：第一设备301，第一设备301可以具有多个，并且可以组成大数据处理系统305。该系统300还可以包括第二设备302以及第三设备303，此外还可以具有第四设备304，第四设备304可以具有多个，并且可以组成CDN网络306。
其中，第一设备301是指可以在网络虚拟环境中提供计算处理服务的设备，可以是指利用网络进行CDN的异常监测以及大数据处理的设备。在物理实现上，第一设备301可以是任何能够提供计算服务，响应服务请求，并进行二进制文件的相似度确定的设备，例如可以是云服务器、云主机、虚拟中心、常规服务器等等。第一设备301的构成主要包括处理器、内存、硬盘、系统总线等，和通用的计算机架构类似。
其它设备与第一设备301的实现形态相似，就不再赘述了。
具体的，第一设备301，获取CDN网络中节点的预置格式的待检测数据，待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
此外，在获取到目标异常检测对象以及目标异常检测信息后，第一设备301，针对多个待检测数据，基于目标异常检测对象字段，对目标异常检测对象以及目标异常检测信息进行汇聚；根据汇聚后的信息，确定多个待检测数据的目标异常检测信息的指标数值，指标数值可代表多个待检测数据的目标异常检测信息；根据汇聚后的目标异常检测对象对应的指标数值，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
具体的，第一设备301，通过采集脚本采集CDN网络306中多个第四设备304的待检测数据，发送至数据接入模块；通过数据接入模块对采集到待检测数据进行预置格式的转换，得到预置格式的检测数据；通过数据接入模块，将预置格式的待检测数据发送至第二设备302，并通过第二设备302获取到预置格式的检测数据。
具体的，第一设备301，提供数据模型，数据模型用于提供预置检测字段中的异常检测对象字段和对应的异常检测信息字段；通过数据模型，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
具体的，第一设备301，根据异常检测对象的键以及对应的异常检测信息的键，从待检测数据中获取对应的目标异常检测对象的数值以及对应的目标异常检测信息的数值。
此外，第一设备301，当通过预置检测表达式确定对应待检测数据中的目标异常检测对象异常，则通过告警模块发送异常信息至第三设备303，以使第三设备303根据异常信息以及异常信息的持续时间提供告警信息至对应的用户。
此外，第一设备301，提供检测规则的配置界面，基于用户的配置操作，确定并获取检测规则；根据获取到的检测规则确定对应的检测表达式，并将所述检测表达式存储至数据库中；从数据库中加载检测表达式至用于执行检测表达式的处理模块的cache存储器中，以使处理模块执行cache存储器中的检测表达式，用于确定待检测数据中的目标异常检测对象是否异常。
此外，第一设备301，通过数据接入模块，将预置格式的待检测数据发送至智能中心，以使智能中心根据待检测数据对预置模型或预置算法进行训练，生成对应的模型或算法；当检测表达式通过对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常，则从智能中心获取对应的模型或算法，并根据检测表达式以及对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常。
其中，通过大数据处理系统305的多个第一设备301进行异常检测，不同第一设备301对应不同的采集脚本采集到的待检测数据，并进行异常检测；当多个第一设备301中的任一第一设备301的处理能力不能满足对当前待检测数据进行异常检测，则将对应的当前待检测数据动态调度到其它第一设备301进行异常检测。
未能详尽的内容请参考前文所述，就不再赘述了。
在异常检测的场景中，通过CDN网络306中第四设备304，如边缘节点，中植入的代理程序，并通过该代理程序运行该采集脚本来采集不同类型的待检测数据，然后通过ETL工具拆分成统一JSON格式的数据，并进行上传，发送至第二设备302，如日志服务平台，更具体的可以是日志服务平台的Logstore日志存储中，即执行步骤311：采集待检测数据。然后由作业job负责接收Logstore中的待检测数据。然后再由对应的第一设备301，如处理节点执行作业job，即对待检测数据进行后续异常检测的处理。即执行步骤313：发送待检测数据。
处理节点通过数据模型接收到JSON格式的待检测数据，可以该数据格式为：{"domain":"www.YY.com","5xx":"0.01"}，经过数据模型抽象并标准化后为：
{"tagKey":"domain","tagValue":"www.YY.com","fieldKey":"5xx","fieldValue":"0.01"}。按照这套标准抽取出同一种数据模型对应的输出数据后，后续的检测便可统一处理。
处理节点可以通过上述提取到的多个数据，如{"tagKey":"domain","tagValue":"www.YY.com","fieldKey":"5xx","fieldValue":"0.01"}等进行汇聚。可以以tagKey为基准，以预置时间(如1分钟)为时间基准进行数据汇聚。得到汇聚后的信息，应理解，tagKey对应的不再单单是tagValue":"www.YY.com"，这一个网址，还可以是其它的网址，如www.CC.com等汇聚后的网址。由此可以生成多个预置时间对应的汇聚信息。
在汇聚完信息后，根据汇聚后的信息中汇聚的fieldValue的数值的均值作为指标数值。然后根据前文所述的方式，来输入至对应的检测表达式中确定是否存在异常。
当确定存在异常，则处理节点可以通过告警模块将异常信息或者告警信息发送至第三设备303，如告警中心。即执行步骤313：发送异常信息。当告警中心接收到该异常信息后可以直接进行告警。也可以持续等待，当持续接收到该类型异常信息，且存在异常的持续时间(即异常信息的持续时间)达到阈值，则进行告警，可以发送告警信息给对应的用户。
此处未详细记载的内容可以参考前文所述的内容，就不再赘述。
在上述本实施例中，第一设备301与其它设备进行网络连接。若第一设备301与其它设备是通信连接，该移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD-SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、WiMax、5G等中的任意一种。
图4为本申请一示例性实施例提供的一种针对CDN的异常检测装置的结构框架示意图。该装置400可以应用于大数据处理系统中的处理节点，具体的可以是服务器。该装置400包括：获取模块401、确定模块402；以下针对各个模块的功能进行详细的阐述：
获取模块401，用于获取CDN网络中节点的预置格式的待检测数据。
其中，待检测数据包括不同类型的多个待检测数据。
获取模块401，用于根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
确定模块402，用于根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
此外，在获取到目标异常检测对象以及目标异常检测信息后，该装置400还包括：汇聚模块，用于针对多个待检测数据，基于目标异常检测对象字段，对目标异常检测对象以及目标异常检测信息进行汇聚；确定模块402，还用于根据汇聚后的信息，确定多个待检测数据的目标异常检测信息的指标数值，指标数值可代表多个待检测数据的目标异常检测信息；确定模块402，还用于根据汇聚后的目标异常检测对象对应的指标数值，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
具体的，获取模块401，包括：采集单元，用于通过采集脚本采集CDN网络中多个边缘节点的待检测数据，发送至数据接入模块；转换单元，用于通过数据接入模块对采集到待检测数据进行预置格式的转换，得到预置格式的待检测数据；发送单元，用于通过数据接入模块，将预置格式的待检测数据发送至日志服务平台，并通过日志服务平台获取到预置格式的待检测数据。
此外，该装置400还包括：提供模块，用于提供数据模型，数据模型用于提供预置检测字段中的异常检测对象字段和对应的异常检测信息字段；获取模块401，用于通过数据模型，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
具体的，获取模块401，用于根据异常检测对象的键以及对应的异常检测信息的键，从所述待检测数据中获取对应的目标异常检测对象的数值以及对应的目标异常检测信息的数值。
此外，该装置400还包括：告警模块，用于当通过预置检测表达式确定对应待检测数据中的目标异常检测对象异常，则通过告警模块发送异常信息至告警中心，以使告警中心根据异常信息以及异常信息的持续时间提供告警信息至对应的用户。
此外，提供模块，还用于提供检测规则的配置界面，基于用户的配置操作，确定并获取检测规则；该装置400还包括：存储模块，用于根据获取到的检测规则确定对应的检测表达式，并将检测表达式存储至数据库中；加载模块，用于从数据库中加载检测表达式至用于执行检测表达式的处理模块的cache存储器中，以使处理模块执行cache存储器中的检测表达式，用于确定待检测数据中的目标异常检测对象是否异常。
此外，该装置400还包括：发送模块，用于通过数据接入模块，将预置格式的待检测数据发送至智能中心，以使智能中心根据待检测数据对预置模型或预置算法进行训练，生成对应的模型或算法；当检测表达式通过对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常，获取模块401，还用于从智能中心获取对应的模型或算法，并根据检测表达式以及对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常。
其中，通过大数据处理系统的多个处理节点进行异常检测，不同处理节点对应不同的采集脚本采集到的待检测数据，并进行异常检测；当多个处理节点中的任一处理节点的处理能力不能满足对当前待检测数据进行异常检测，则将对应的当前待检测数据动态调度到其它处理节点进行异常检测。
此外，获取模块401，还用于获取执行代码，执行代码用于执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤；该装置400还包括：生成模块，用于根据执行代码生成执行脚本，并根据执行脚本执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
此外，当更新所述执行代码的情况下，该装置400还包括：修改模块，用于修改执行脚本中的执行代码，并生成更新后的执行脚本，并通过获取以及加载更新后的脚本执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
本装置400中未能详尽的内容请参考前文所述，就不再赘述。
以上描述了图4所示的装置400的内部功能和结构，在一个可能的设计中，图4所示的装置400的结构可实现为服务器。如图5所示，该设备500可以包括：存储器501、处理器502；
存储器501，用于存储计算机程序。
处理器502，用于执行计算机程序，以用于：获取CDN网络中节点的预置格式的待检测数据，待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
此外，在获取到目标异常检测对象以及目标异常检测信息后，处理器502，还用于：针对多个待检测数据，基于目标异常检测对象字段，对目标异常检测对象以及目标异常检测信息进行汇聚；根据汇聚后的信息，确定多个待检测数据的目标异常检测信息的指标数值，指标数值可代表多个待检测数据的目标异常检测信息；根据汇聚后的目标异常检测对象对应的指标数值，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
具体的，处理器502，具体用于：通过采集脚本采集CDN网络中多个边缘节点的待检测数据，发送至数据接入模块；通过数据接入模块对采集到待检测数据进行预置格式的转换，得到预置格式的待检测数据；通过数据接入模块，将预置格式的待检测数据发送至日志服务平台，并通过日志服务平台获取到预置格式的待检测数据。
此外，处理器502，还用于：提供数据模型，数据模型用于提供预置检测字段中的异常检测对象字段和对应的异常检测信息字段；处理器502，具体用于：通过数据模型，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
具体的，处理器502，具体用于：根据异常检测对象的键以及对应的异常检测信息的键，从所述待检测数据中获取对应的目标异常检测对象的数值以及对应的目标异常检测信息的数值。
此外，处理器502，还用于：当通过预置检测表达式确定对应待检测数据中的目标异常检测对象异常，则通过告警模块发送异常信息至告警中心，以使告警中心根据异常信息以及异常信息的持续时间提供告警信息至对应的用户。
此外，处理器502，还用于：提供检测规则的配置界面，基于用户的配置操作，确定并获取检测规则；根据获取到的检测规则确定对应的检测表达式，并将检测表达式存储至数据库中；从数据库中加载检测表达式至用于执行检测表达式的处理模块的cache存储器中，以使处理模块执行cache存储器中的检测表达式，用于确定待检测数据中的目标异常检测对象是否异常。
此外，处理器502，还用于：通过数据接入模块，将预置格式的待检测数据发送至智能中心，以使智能中心根据待检测数据对预置模型或预置算法进行训练，生成对应的模型或算法；当检测表达式通过对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常，则从智能中心获取对应的模型或算法，并根据检测表达式以及对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常。
其中，通过大数据处理系统的多个处理节点进行异常检测，不同处理节点对应不同的采集脚本采集到的待检测数据，并进行异常检测；当多个处理节点中的任一处理节点的处理能力不能满足对当前待检测数据进行异常检测，则将对应的当前待检测数据动态调度到其它处理节点进行异常检测。
此外，处理器502，还用于：获取执行代码，执行代码用于执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤；根据执行代码生成执行脚本，并根据执行脚本执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
此外，处理器502，还用于：修改执行脚本中的执行代码，并生成更新后的执行脚本，并通过获取以及加载更新后的脚本执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
本设备500中未能详尽的内容请参考前文所述，就不再赘述。
本发明实施例提供了一种计算机存储介质，计算机程序被一个或多个处理器执行时，致使一个或多个处理器实现图1-图2方法实施例中一种针对CDN的异常检测方法的步骤。就不再过多赘述了。
本申请一示例性实施例的一种网路节点的异常检测方法。本申请实施例提供的该方法600由大数据处理系统中的处理节点执行，具体的可以是执行设备，如服务器。该方法600包括以下步骤：
601：获取网络节点的预置格式的待检测数据。
其中，待检测数据包括不同类型的多个待检测数据。
602：根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
603：根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
需要说明的是，由于上述步骤601-603的具体实施方式前文已经阐述过了。
此外，在获取到目标异常检测对象以及目标异常检测信息后，该方法600还包括：针对多个待检测数据，基于目标异常检测对象字段，对目标异常检测对象以及目标异常检测信息进行汇聚；根据汇聚后的信息，确定多个待检测数据的目标异常检测信息的指标数值，所述指标数值可代表多个待检测数据的目标异常检测信息；根据汇聚后的目标异常检测对象对应的指标数值，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
具体的，获取网络节点的预置格式的待检测数据，包括：通过采集脚本采集CDN网络中多个边缘节点的待检测数据，发送至数据接入模块；通过数据接入模块对采集到待检测数据进行预置格式的转换，得到预置格式的待检测数据；通过数据接入模块，将预置格式的待检测数据发送至日志服务平台，并通过日志服务平台获取到预置格式的待检测数据。
此外，该方法600还包括：提供数据模型，所述数据模型用于提供预置检测字段中的异常检测对象字段和对应的异常检测信息字段；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息，包括：通过数据模型，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
具体的，根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息，包括：根据异常检测对象的键以及对应的异常检测信息的键，从待检测数据中获取对应的目标异常检测对象的数值以及对应的目标异常检测信息的数值。
此外，该方法600还包括：当通过预置检测表达式确定对应待检测数据中的目标异常检测对象异常，则通过告警模块发送异常信息至告警中心，以使告警中心根据异常信息以及异常信息的持续时间提供告警信息至对应的用户。
此外，该方法600还包括：提供检测规则的配置界面，基于用户的配置操作，确定并获取检测规则；根据获取到的检测规则确定对应的检测表达式，并将所述检测表达式存储至数据库中；从数据库中加载所述检测表达式至用于执行检测表达式的处理模块的cache存储器中，以使所述处理模块执行cache存储器中的检测表达式，用于确定待检测数据中的目标异常检测对象是否异常。
此外，该方法600还包括：通过数据接入模块，将预置格式的待检测数据发送至智能中心，以使智能中心根据待检测数据对预置模型或预置算法进行训练，生成对应的模型或算法；当检测表达式通过对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常，则从所述智能中心获取对应的模型或算法，并根据检测表达式以及对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常。
其中，该方法600通过大数据处理系统的多个处理节点进行异常检测，不同处理节点对应不同的采集脚本采集到的待检测数据，并进行异常检测；当多个处理节点中的任一处理节点的处理能力不能满足对当前待检测数据进行异常检测，则将对应的当前待检测数据动态调度到其它处理节点进行异常检测。
此外，该方法600还包括：获取执行代码，执行代码用于执行通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤；根据所述执行代码生成执行脚本，并根据所述执行脚本执行所述通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
此外，当更新执行代码的情况下，该方法600还包括：修改执行脚本中的执行代码，并生成更新后的执行脚本，并通过获取以及加载更新后的脚本执行所述通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
本申请一示例性实施例提供的一种网络节点的异常检测装置。该装置700可以应用于大数据处理系统中的处理节点，具体的可以是服务器。该装置700包括：获取模块701、确定模块702；以下针对各个模块的功能进行详细的阐述：
获取模块701，用于获取网络节点的预置格式的待检测数据。
其中，待检测数据包括不同类型的多个待检测数据。
获取模块701，用于根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
确定模块702，用于根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
需要说明的是，由于本实施例的具体实施方式前文已经阐述过了，此处就不再赘述，本实施例未能详细阐述的部分可以参考前文所述的内容。就不再赘述了。
以上描述了装置700的内部功能和结构，在一个可能的设计中，装置700的结构可实现为服务器。该设备800可以包括：存储器801、处理器802；
存储器801，用于存储计算机程序。
处理器802，用于执行计算机程序，以用于：获取网络节点的预置格式的待检测数据，所述待检测数据包括不同类型的多个待检测数据；根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
需要说明的是，由于本实施例的具体实施方式前文已经阐述过了，此处就不再赘述，本实施例未能详细阐述的部分可以参考前文所述的内容。就不再赘述了。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102、103等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程多媒体数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程多媒体数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程多媒体数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程多媒体数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种针对CDN的异常检测方法，其特征在于，包括：
获取CDN网络中节点的预置格式的待检测数据，所述待检测数据包括不同类型的多个待检测数据；
根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；
根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
2.一种网路节点的异常检测方法，其特征在于，包括：
获取网络节点的预置格式的待检测数据，所述待检测数据包括不同类型的多个待检测数据；
根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；
根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
3.根据权利要求2所述的方法，其特征在于，在获取到目标异常检测对象以及目标异常检测信息后，所述方法还包括：
针对多个待检测数据，基于目标异常检测对象字段，对目标异常检测对象以及目标异常检测信息进行汇聚；
根据汇聚后的信息，确定多个待检测数据的目标异常检测信息的指标数值，所述指标数值可代表多个待检测数据的目标异常检测信息；
根据汇聚后的目标异常检测对象对应的指标数值，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
4.根据权利要求2所述的方法，其特征在于，所述获取网络节点的预置格式的待检测数据，包括：
通过采集脚本采集CDN网络中多个边缘节点的待检测数据，发送至数据接入模块；
通过数据接入模块对采集到待检测数据进行预置格式的转换，得到预置格式的待检测数据；
通过数据接入模块，将预置格式的待检测数据发送至日志服务平台，并通过日志服务平台获取到预置格式的待检测数据。
5.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
提供数据模型，所述数据模型用于提供预置检测字段中的异常检测对象字段和对应的异常检测信息字段；
根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息，包括：
通过数据模型，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息。
6.根据权利要求2所述的方法，其特征在于，所述根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息，包括：
根据异常检测对象的键以及对应的异常检测信息的键，从所述待检测数据中获取对应的目标异常检测对象的数值以及对应的目标异常检测信息的数值。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当通过预置检测表达式确定对应待检测数据中的目标异常检测对象异常，则通过告警模块发送异常信息至告警中心，以使告警中心根据异常信息以及异常信息的持续时间提供告警信息至对应的用户。
8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
提供检测规则的配置界面，基于用户的配置操作，确定并获取检测规则；
根据获取到的检测规则确定对应的检测表达式，并将所述检测表达式存储至数据库中；
从数据库中加载所述检测表达式至用于执行检测表达式的处理模块的cache存储器中，以使所述处理模块执行cache存储器中的检测表达式，用于确定待检测数据中的目标异常检测对象是否异常。
9.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过数据接入模块，将预置格式的待检测数据发送至智能中心，以使智能中心根据待检测数据对预置模型或预置算法进行训练，生成对应的模型或算法；
当检测表达式通过对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常，则从所述智能中心获取对应的模型或算法，并根据检测表达式以及对应的模型或算法确定对应待检测数据中的目标异常检测对象是否异常。
10.根据权利要求2所述的方法，其特征在于，所述方法通过大数据处理系统的多个处理节点进行异常检测，不同处理节点对应不同的采集脚本采集到的待检测数据，并进行异常检测；
当多个处理节点中的任一处理节点的处理能力不能满足对当前待检测数据进行异常检测，则将对应的当前待检测数据动态调度到其它处理节点进行异常检测。
11.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取执行代码，所述执行代码用于执行所述通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤；
根据所述执行代码生成执行脚本，并根据所述执行脚本执行所述通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
12.根据权利要求11所述的方法，其特征在于，当更新所述执行代码的情况下，所述方法还包括：
修改所述执行脚本中的执行代码，并生成更新后的执行脚本，并通过获取以及加载更新后的脚本执行所述通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常的步骤。
13.一种计算设备，其特征在于，包括：存储器、处理器；
所述存储器，用于存储计算机程序；
所述处理器，执行所述计算机程序，以用于：
获取CDN网络中节点的预置格式的待检测数据，所述待检测数据包括不同类型的多个待检测数据；
根据预置检测字段中的异常检测对象字段和对应的异常检测信息字段，从所述待检测数据中获取对应的目标异常检测对象以及对应的目标异常检测信息；
根据获取到的目标异常检测对象以及目标异常检测信息，通过预置检测表达式确定对应待检测数据中的目标异常检测对象是否异常。
14.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被一个或多个处理器执行时，致使所述一个或多个处理器实现权利要求1-12任一项所述方法中的步骤。
CN202210204456.4A 2022-03-03 2022-03-03 针对cdn的异常检测方法、计算设备及存储介质 Active CN114666193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210204456.4A CN114666193B (zh) 2022-03-03 2022-03-03 针对cdn的异常检测方法、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210204456.4A CN114666193B (zh) 2022-03-03 2022-03-03 针对cdn的异常检测方法、计算设备及存储介质

Publications (2)

Publication Number Publication Date
CN114666193A CN114666193A (zh) 2022-06-24
CN114666193B true CN114666193B (zh) 2023-08-22

Family

ID=82026552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210204456.4A Active CN114666193B (zh) 2022-03-03 2022-03-03 针对cdn的异常检测方法、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN114666193B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110022221A (zh) * 2018-01-08 2019-07-16 车伯乐（北京）信息科技有限公司 一种系统接口数据的监控方法、装置及系统
CN111884857A (zh) * 2020-07-29 2020-11-03 中国工商银行股份有限公司 网络设备的监控方法、装置、计算设备和介质
CN111918233A (zh) * 2020-07-03 2020-11-10 西北工业大学 一种适用于无线航空网络的异常检测方法
WO2021104270A1 (zh) * 2019-11-26 2021-06-03 中兴通讯股份有限公司 配置异常检测方法、服务器以及存储介质
CN113946546A (zh) * 2021-12-20 2022-01-18 阿里云计算有限公司 异常检测方法、计算机存储介质及程序产品
CN113989731A (zh) * 2020-07-27 2022-01-28 阿里巴巴集团控股有限公司 一种信息的检测方法、计算设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031957B2 (en) * 2010-10-08 2015-05-12 Salesforce.Com, Inc. Structured data in a business networking feed

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110022221A (zh) * 2018-01-08 2019-07-16 车伯乐（北京）信息科技有限公司 一种系统接口数据的监控方法、装置及系统
WO2021104270A1 (zh) * 2019-11-26 2021-06-03 中兴通讯股份有限公司 配置异常检测方法、服务器以及存储介质
CN111918233A (zh) * 2020-07-03 2020-11-10 西北工业大学 一种适用于无线航空网络的异常检测方法
CN113989731A (zh) * 2020-07-27 2022-01-28 阿里巴巴集团控股有限公司 一种信息的检测方法、计算设备及存储介质
CN111884857A (zh) * 2020-07-29 2020-11-03 中国工商银行股份有限公司 网络设备的监控方法、装置、计算设备和介质
CN113946546A (zh) * 2021-12-20 2022-01-18 阿里云计算有限公司 异常检测方法、计算机存储介质及程序产品

Also Published As

Publication number Publication date
CN114666193A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN107145489B (zh) 一种基于云平台的客户端应用的信息统计方法和装置
CN107729210B (zh) 分布式服务集群的异常诊断方法和装置
US10164847B2 (en) Data transfer monitor system, data transfer monitor method and base system
Rios Big data infrastructure for analyzing data generated by wireless sensor networks
CN109271363B (zh) 一种文件存储的方法及设备
US20160267157A1 (en) System and method for large scale data processing of source data
CN114090378A (zh) 一种基于Kapacitor的自定义监控告警方法
CN108540304B (zh) 基于工业大数据的远程采集监视系统及方法
CN114201540A (zh) 工业多源数据采集及存储系统
CN111339052A (zh) 一种非结构化日志数据处理方法及装置
CN114666193B (zh) 针对cdn的异常检测方法、计算设备及存储介质
CN114598719A (zh) 智慧城市物联事件管理方法、装置及可读介质
CN113506098A (zh) 基于多源数据的电厂元数据管理系统及方法
WO2021147319A1 (zh) 一种数据处理方法、装置、设备及介质
CN114387124B (zh) 一种核电工业互联网平台的时序数据存储方法
CN111414355A (zh) 一种海上风电场数据监测存储系统及方法、装置
US10411959B1 (en) Data analytics for the internet of things
US10567469B1 (en) Embedding hypermedia resources in data interchange format documents
US10536390B1 (en) Requesting embedded hypermedia resources in data interchange format documents
CN114546780A (zh) 数据监控方法、装置、设备、系统及存储介质
US20170337644A1 (en) Data driven invocation of realtime wind market forecasting analytics
CN113222223A (zh) 实时数仓的风控联动预警方法、系统、设备及存储介质
CN113254723A (zh) 一种云网络架构下的大数据存储方法及装置
CN111721355A (zh) 铁路接触网监测数据采集系统
JP2020154381A (ja) 情報処理システム、情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant