CN109901991A - 一种分析异常调用的方法、装置和电子设备 - Google Patents

一种分析异常调用的方法、装置和电子设备 Download PDF

Info

Publication number
CN109901991A
CN109901991A CN201910006745.1A CN201910006745A CN109901991A CN 109901991 A CN109901991 A CN 109901991A CN 201910006745 A CN201910006745 A CN 201910006745A CN 109901991 A CN109901991 A CN 109901991A
Authority
CN
China
Prior art keywords
exception
exception example
dimensional information
mark
upstream source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910006745.1A
Other languages
English (en)
Other versions
CN109901991B (zh
Inventor
张文洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910006745.1A priority Critical patent/CN109901991B/zh
Publication of CN109901991A publication Critical patent/CN109901991A/zh
Application granted granted Critical
Publication of CN109901991B publication Critical patent/CN109901991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本申请实施例提供了一种分析异常调用的方法、装置和电子设备,该方法包括:接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。

Description

一种分析异常调用的方法、装置和电子设备
技术领域
本申请涉及数据处理技术领域,尤其涉及一种分析异常调用的方法、装置和电子设备。
背景技术
随着互联网业务的快速迭代发展,互联网网站应用规模也越来越大,当规模扩大到一定程度时,就会出现服务的拆分,做应用服务化面向服务的架构(缩写:SOA)。拆分完应用后,各个业务应用的职责单一,只负责各自模块的业务,但是应用之间的依赖调用会越来越复杂,可能一个应用需要依赖很多个其它上游系统的应用。但是上游系统并不是一直都很稳定和高效的,那么当依赖的上游系统出现问题或故障时,需要明确地知道系统本身依赖了哪些上游系统,以及这些上游系统的调用量的占比是多少,通过这些信息可以方便排查问题源头,比如:在出现问题的时候发现90%的调用量都来自于上游系统A,那么很有可能就是上游系统A出问题了,这时需要重点排查上游系统A。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容
本申请实施例的目的是提供一种分析异常调用的方法、装置和电子设备,能够为分析接口异常提供基础数据。
为解决上述技术问题,本申请实施例是通过以下各方面实现的。
第一方面,本申请实施例提供了一种分析异常调用的方法,包括:接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
第二方面,本申请实施例提供了一种分析异常调用的装置,包括:接收模块,接收检测异常实例的请求,所述请求包括所述异常实例的标识;查询模块,根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;分布式处理模块,通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
第三方面,本申请实施例提供了一种电子设备,包括:存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机可执行指令,所述计算机可执行指令被所述处理器执行时实现步骤:接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机可执行指令,所述计算机可执行指令被处理器执行时实现步骤:接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
在本申请实施例中,通过接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源,能够从接口实例角度出发,通过分布式多机协作处理的方式,实时计算得到接口服务的所有实例(接口的各种表现形态),为分析接口异常、发现接口服务内外部变化提供依赖的基础数据。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出本申请实施例提供的一种分析异常调用的方法的一种流程示意图;
图2示出本申请实施例提供的一种分析异常调用的方法的另一种流程示意图;
图3示出本申请实施例提供的搜索引擎中的数据存储结构示例图;
图4示出本申请实施例提供的一种分析异常调用的方法的另一种流程示意图;
图5示出本申请实施例提供的一种调用的方法的一种流程示意图;
图6示出本申请实施例提供的一种分析异常调用的装置的结构示意图;
图7示出执行本申请实施例提供的一种分析异常调用的方法的电子设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
图1示出本申请实施例提供的一种分析异常调用的方法的一种流程示意图,该方法可以由电子设备执行,例如终端设备或服务端设备。换言之,所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示,该方法可以包括以下步骤。
步骤S10:接收检测异常实例的请求,所述请求包括所述异常实例的标识。
实例包括接口实例,指具有相同入参、相同出参和相同内部调用结构的一类请求的集合。系统,例如猎鹰项目,通过对业务日志的实时分析,判断应用对外提供的方法服务和应用内部的方法调用是否存在异常。异常实例包括系统识别出的有问题的调用实例。
步骤S20:根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息。
在设置搜索引擎时,可以预先在搜索引擎中插入异常实例的标识与上游来源的维度信息之间的对应关系。
步骤S30:通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
分布式处理包括将需要巨大计算能力才能解决的问题分解成多个更小的计算任务,并分配到多台机器并行处理,最后合并得到最终结果。上游来源包括分布式系统中系统的调用方。
由此,本申请实施例提供的一种分析异常调用的方法,通过接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源,能够从接口实例角度出发,通过分布式多机协作处理的方式,实时计算得到接口服务的所有实例(接口的各种表现形态),为分析接口异常、发现接口服务内外部变化提供依赖的基础数据。
图2示出本申请实施例提供的一种分析异常调用的方法的一种流程示意图,该方法可以由电子设备执行,例如终端设备或服务端设备。换言之,所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示,该方法可以包括以下步骤。
步骤S10:接收检测异常实例的请求,所述请求包括所述异常实例的标识。
实例包括接口实例,指具有相同入参、相同出参和相同内部调用结构的一类请求的集合。系统,例如猎鹰项目,通过对业务日志的实时分析,判断应用对外提供的方法服务和应用内部的方法调用是否存在异常。异常实例包括系统识别出的有问题的调用实例。
步骤S20:根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息。
在设置搜索引擎时,可以预先在搜索引擎中插入异常实例的标识与上游来源的维度信息之间的对应关系。
在一种可能的实现方式中,该对应关系包括插入在搜索引擎中的上游来源维度信息的埋点。
图3示出本申请实施例提供的搜索引擎中的数据存储结构示例图。如图所示,在一种可能的实现方式中,所述上游来源维度信息被划分为多个键,基于所述多个键在搜索引擎中插入有所述埋点。在一种可能的实现方式中,在同一所述键中包括维度信息的描述字段和出现的频次。
上游系统发起调用请求来调用本系统的相关接口,并在超文本传输协议(缩写:HTTP,英文:HyperText Transfer Protocol)请求头上带上相关额外维度的统计信息,比如:区域Zone信息,上游名称,调用时间等。相关维度的统计信息按照附图3的格式插入到ZSearch搜索引擎中,方便进行多维度地进行聚合查询,之后在异常调用分析的时候,只需要从ZSearch中查询出异常实例的相关上游来源统计数据进行聚合分析即可,其中,ZSearch搜索引擎是基于ElasticSearch的一种准实时搜索引擎系统,ElasticSearch是一个基于检索引擎工具包Lucene的搜索服务器,ElasticSearch提供了一个分布式多用户能力的全文搜索引擎,是企业级搜索引擎,设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。Zone为应用部署时的逻辑区域划分。
如图3所示,在同一个维度里面,均有两个字段信息,分别为:1.维度信息的描述字段(比如:上游系统名称/Zone信息名称等);2.出现的频次。按照这样的存储结构存储好后,统计分析的时候只需要一次聚合查询就能统计出该维度的所有占比信息,比如:通过一次聚合查询就可以查询出所有上游系统的占比信息,对上游upStream的上游名称upStreamName进行求和sum聚合运算即可。由此,可以很方便地对多个维度进行聚合处理,从而得出多维度的统计数据,业务需要扩展统计的维度的时候可以通过在搜索引擎中动态地添加统计维度字段以动态地扩展统计维度。
步骤S30:通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
分布式处理包括将需要巨大计算能力才能解决的问题分解成多个更小的计算任务,并分配到多台机器并行处理,最后合并得到最终结果。上游来源包括分布式系统中系统的调用方。
在一种可能的实现方式中,在本步骤中,可以通过分布式处理模型,利用多个节点并行处理根据与所述异常实例对应的维度信息确定所述异常实例的上游来源的任务。
步骤S40:根据上游来源的维度信息的描述字段和出现的频次,计算所述上游来源的占比。
由此,本申请实施例提供的一种分析异常调用的方法,通过接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源,能够从全新的接口实例角度出发,通过分布式多机协作处理的方式,实时计算得到接口服务的所有实例(接口的各种表现形态),为分析接口异常、发现接口服务内外部变化提供依赖的基础数据。
此外,本申请实施例提供的一种分析异常调用的方法,能够方便地进行多维度地进行聚合查询,在统计分析时只需要一次聚合查询就能统计出某维度的所有占比信息。
图4示出本申请实施例提供的一种分析异常调用的方法的另一种流程示意图,该方法可以由电子设备执行,例如终端设备或服务端设备。换言之,所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示,该方法可以包括以下步骤。
步骤S10:接收检测异常实例的请求,所述请求包括所述异常实例的标识。
实例包括接口实例,指具有相同入参、相同出参和相同内部调用结构的一类请求的集合。系统,例如猎鹰项目,通过对业务日志的实时分析,判断应用对外提供的方法服务和应用内部的方法调用是否存在异常。异常实例包括系统识别出的有问题的调用实例。
步骤S20:根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息。
在设置搜索引擎时,可以预先在搜索引擎中插入异常实例的标识与上游来源的维度信息之间的对应关系。
在一种可能的实现方式中,该对应关系包括插入在搜索引擎中的上游来源维度信息的埋点。
图3示出本申请实施例提供的搜索引擎中的数据存储结构示例图。如图所示,在一种可能的实现方式中,所述上游来源维度信息被划分为多个键,基于所述多个键在搜索引擎中插入有所述埋点。在一种可能的实现方式中,在同一所述键中包括维度信息的描述字段和出现的频次。
上游系统发起调用请求来调用本系统的相关接口,并在http请求头上带上相关额外维度的统计信息,比如:区域Zone信息,上游名称,调用时间等。相关维度的统计信息按照附图3的格式插入到ZSearch搜索引擎中,方便进行多维度地进行聚合查询,之后在异常调用分析的时候,只需要从ZSearch中查询出异常实例的相关上游来源统计数据进行聚合分析即可,其中Zone应用部署时的逻辑区域划分。
如图3所示,在同一个维度里面,均有两个字段信息,分别为:1.维度信息的描述字段(比如:上游系统名称/Zone信息名称等);2.出现的频次。按照这样的存储结构存储好后,统计分析的时候只需要一次聚合查询就能统计出该维度的所有占比信息,比如:通过一次聚合查询就可以查询出所有上游系统的占比信息,对upStream的upStreamName进行sum聚合运算即可。
步骤S30:通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
分布式处理包括将需要巨大计算能力才能解决的问题分解成多个更小的计算任务,并分配到多台机器并行处理,最后合并得到最终结果。上游来源包括分布式系统中系统的调用方。
在一种可能的实现方式中,在本步骤中,可以通过分布式处理模型,利用多个节点并行处理根据与所述异常实例对应的维度信息确定所述异常实例的上游来源的任务。
在一种可能的实现方式中,本步骤可以具体包括以下步骤。
S31:通过主管Master节点将所述任务负载均衡地分发给各个映射器Mapper节点。
S32:通过所述Mapper节点按照指定维度对所述任务进行划分,并将划分后的所述任务分发至规约器Reducer节点。
S33:通过所述Reducer节点按照单个维度统计所述异常实例的上游来源,将基于单个维度统计的所述异常实例的上游来源发送至检测器Detector节点。
S34:通过所述Detector节点对基于单个维度统计的所述异常实例的上游来源进行汇总并输出。
Detector节点对按照单个维度统计的所述异常实例的上游来源进行汇总统计并输出统计结果。
由此,本申请实施例可以将很复杂很大的计算任务分发给各个节点,当异常流量突增的时候,可以动态扩容,降低成本,时效性好,能够完美地满足业务需求。
步骤S40:根据上游来源的维度信息的描述字段和出现的频次,计算所述上游来源的占比。
由此,本申请实施例提供的一种分析异常调用的方法,通过接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源,能够从全新的接口实例角度出发,通过分布式多机协作处理的方式,实时计算得到接口服务的所有实例(接口的各种表现形态),为分析接口异常、发现接口服务内外部变化提供依赖的基础数据。
此外,本申请实施例提供的一种分析异常调用的方法,能够方便地进行多维度地进行聚合查询,在统计分析时只需要一次聚合查询就能统计出某维度的所有占比信息。
图5示出本申请实施例提供的一种调用的方法的一种流程示意图,该方法可以由电子设备执行,例如终端设备或服务端设备。换言之,所述方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。如图所示,该方法可以包括以下步骤。
步骤S1:接收上游系统发送的调用请求。
所述调用请求包括上游系统的维度信息。上游系统发起调用请求来调用本系统的相关接口,并在http请求头上带上相关额外维度的统计信息,比如:Zone信息,上游名称,调用时间等。
步骤S2:将所述上游系统的维度信息按照预定格式插入搜索引擎中。
在一种可能的实现方式中,可以将上游系统的维度信息按照附图3的格式插入到ZSearch搜索引擎中,方便进行多维度的聚合查询。
在一种可能的实现方式中,本步骤可以包括插入在搜索引擎中的上游来源维度信息的埋点。其中,所述上游来源维度信息被划分为多个键,基于所述多个键在搜索引擎中插入有所述埋点。其中,在同一所述键中包括维度信息的描述字段和出现的频次。
图6示出本申请实施例提供的一种分析异常调用的装置的结构示意图,该装置100包括:接收模块110、查询模块120和分布式处理模块130。
接收模块110,接收检测异常实例的请求,所述请求包括所述异常实例的标识。查询模块120,根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息。分布式处理模块130,通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
在一种可能的实现方式中,其中,所述插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系包括:插入在搜索引擎中的上游来源维度信息的埋点。
在一种可能的实现方式中,所述上游来源维度信息被划分为多个键,基于所述多个键在搜索引擎中插入有所述埋点。
在一种可能的实现方式中,在同一所述键中包括维度信息的描述字段和出现的频次。
在一种可能的实现方式中,分布式处理模块130还用于在根据所述异常实例对应的维度信息确定所述异常实例的上游来源之后,根据所述上游来源的维度信息的描述字段和出现的频次,计算所述上游来源的占比。
在一种可能的实现方式中,分布式处理模块130用于通过分布式处理模型,利用多个节点并行处理根据与所述异常实例对应的维度信息确定所述异常实例的上游来源的任务。
在一种可能的实现方式中,分布式处理模块130用于通过主管Master节点将所述任务负载均衡地分发给各个映射器Mapper节点;通过所述映射器Mapper节点按照指定维度对所述任务进行划分,并将划分后的所述任务分发至规约器Reducer节点;通过所述规约器Reducer节点基于单个维度统计所述异常实例的上游来源,并将基于单个维度统计的所述异常实例的上游来源发送至所述检测器Detector节点;通过所述检测器Detector节点对基于单个维度统计的所述异常实例的上游来源进行汇总并输出。
本申请实施例提供的该装置100,可执行前文方法实施例中所述的各方法,并实现前文方法实施例中所述的各方法的功能和有益效果,在此不再赘述。
图7示出执行本申请实施例提供的一种分析异常调用的方法的电子设备的硬件结构示意图,参考该图,在硬件层面,电子设备包括处理器,可选地,包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(Random-Access Memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,该图中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成定位目标用户的装置。处理器,执行存储器所存放的程序,并具体用于执行:接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
上述如本申请图1所示实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
该电子设备还可执行前文方法实施例中所述的各方法,并实现前文方法实施例中所述的各方法的功能和有益效果,在此不再赘述。
当然,除了软件实现方式之外,本申请的电子设备并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
本申请实施例还提出了一种计算机可读存储介质,所述计算机可读介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
其中,所述的计算机可读存储介质包括只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
进一步地,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,实现以下流程:接收检测异常实例的请求,所述请求包括所述异常实例的标识;根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
总之,以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种分析异常调用的方法,包括:
接收检测异常实例的请求,所述请求包括所述异常实例的标识;
根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;
通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
2.根据权利要求1所述的方法,其中,所述插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系包括:
插入在搜索引擎中的上游来源维度信息的埋点。
3.根据权利要求2所述的方法,其中,所述上游来源维度信息被划分为多个键,基于所述多个键在搜索引擎中插入有所述埋点。
4.根据权利要求3所述的方法,其中,在同一所述键中包括维度信息的描述字段和出现的频次。
5.根据权利要求4所述的方法,其中,在根据所述异常实例对应的维度信息确定所述异常实例的上游来源之后,还包括:
根据所述上游来源的维度信息的描述字段和出现的频次,计算所述上游来源的占比。
6.根据权利要求1所述的方法,其中,通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源包括:
通过分布式处理模型,利用多个节点并行处理根据与所述异常实例对应的维度信息确定所述异常实例的上游来源的任务。
7.根据权利要求6所述的方法,其中,通过映射规约器MapReduce模型,利用多个节点并行处理根据与所述异常实例对应的维度信息确定所述异常实例的上游来源的任务包括:
通过主管Master节点将所述任务负载均衡地分发给各个映射器Mapper节点;
通过所述Mapper节点按照指定维度对所述任务进行划分,并将划分后的所述任务分发至规约器Reducer节点;
通过所述Reducer节点基于单个维度统计所述异常实例的上游来源,并将基于单个维度统计的所述异常实例的上游来源发送至检测器Detector节点;
通过所述Detector节点对基于单个维度统计的所述异常实例的上游来源进行汇总并输出。
8.一种分析异常调用的装置,包括:
接收模块,接收检测异常实例的请求,所述请求包括所述异常实例的标识;
查询模块,根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;
分布式处理模块,通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
9.一种电子设备,包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使用所述处理器执行以下操作:
接收检测异常实例的请求,所述请求包括所述异常实例的标识;
根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;
通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
10.一种计算机可读介质,所述计算机可读介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行以下操作:
接收检测异常实例的请求,所述请求包括所述异常实例的标识;
根据所述异常实例的标识,通过插入在搜索引擎中的异常实例的标识与上游来源维度信息之间的对应关系,查询与所述异常实例对应的维度信息;
通过分布式处理,根据所述异常实例对应的维度信息确定所述异常实例的上游来源。
CN201910006745.1A 2019-01-04 2019-01-04 一种分析异常调用的方法、装置和电子设备 Active CN109901991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910006745.1A CN109901991B (zh) 2019-01-04 2019-01-04 一种分析异常调用的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910006745.1A CN109901991B (zh) 2019-01-04 2019-01-04 一种分析异常调用的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN109901991A true CN109901991A (zh) 2019-06-18
CN109901991B CN109901991B (zh) 2022-05-13

Family

ID=66943591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910006745.1A Active CN109901991B (zh) 2019-01-04 2019-01-04 一种分析异常调用的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN109901991B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647447A (zh) * 2019-08-01 2020-01-03 百度时代网络技术(北京)有限公司 用于分布式系统的异常实例检测方法、装置、设备和介质
CN110719200A (zh) * 2019-10-12 2020-01-21 北京百度网讯科技有限公司 信息识别方法和装置
CN112364286A (zh) * 2020-11-23 2021-02-12 北京八分量信息科技有限公司 基于ueba进行异常侦测的方法、装置及相关产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198572A1 (en) * 2012-01-31 2013-08-01 Ncr Corporation Managing code-tracing data
CN104657392A (zh) * 2013-11-25 2015-05-27 腾讯科技(深圳)有限公司 一种实现检索异常还原的方法及装置
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN108304447A (zh) * 2017-12-07 2018-07-20 北京趣拿软件科技有限公司 异常信息的处理方法、装置、存储介质和处理器
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130198572A1 (en) * 2012-01-31 2013-08-01 Ncr Corporation Managing code-tracing data
CN104657392A (zh) * 2013-11-25 2015-05-27 腾讯科技(深圳)有限公司 一种实现检索异常还原的方法及装置
CN106790718A (zh) * 2017-03-16 2017-05-31 北京搜狐新媒体信息技术有限公司 服务调用链路分析方法及系统
CN108304447A (zh) * 2017-12-07 2018-07-20 北京趣拿软件科技有限公司 异常信息的处理方法、装置、存储介质和处理器
CN109104302A (zh) * 2018-07-18 2018-12-28 杭州鑫合汇互联网金融服务有限公司 一种全链路追踪监控方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110647447A (zh) * 2019-08-01 2020-01-03 百度时代网络技术(北京)有限公司 用于分布式系统的异常实例检测方法、装置、设备和介质
CN110647447B (zh) * 2019-08-01 2023-04-14 百度时代网络技术(北京)有限公司 用于分布式系统的异常实例检测方法、装置、设备和介质
CN110719200A (zh) * 2019-10-12 2020-01-21 北京百度网讯科技有限公司 信息识别方法和装置
CN110719200B (zh) * 2019-10-12 2023-07-18 北京百度网讯科技有限公司 信息识别方法和装置
CN112364286A (zh) * 2020-11-23 2021-02-12 北京八分量信息科技有限公司 基于ueba进行异常侦测的方法、装置及相关产品

Also Published As

Publication number Publication date
CN109901991B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN109347787B (zh) 一种身份信息的识别方法及装置
JP6716727B2 (ja) ストリーミングデータ分散処理方法及び装置
CN109901991A (zh) 一种分析异常调用的方法、装置和电子设备
CN109327353B (zh) 业务流量确定方法、装置及电子设备
CN109299334B (zh) 一种知识图谱的数据处理方法及装置
CN110503435B (zh) 基于区块链的交易预警方法、装置及设备
CN108846749A (zh) 一种基于区块链技术的分片化的交易执行系统及方法
CN102890714A (zh) 数据索引方法及装置
CN108765159A (zh) 一种基于区块链的上链与状态处理方法、装置及互联系统
CN110781971A (zh) 一种商户类型识别方法、装置、设备和可读介质
CN109408522A (zh) 一种用户特征数据的更新方法和装置
CN104579909A (zh) 一种用户信息的分类、用户分组信息的获取方法和设备
CN109063056A (zh) 一种数据查询方法、系统及终端设备
CN109299096A (zh) 一种流水数据的处理方法、装置及设备
CN104408183A (zh) 数据系统的数据导入方法和装置
WO2013173194A1 (en) A user recommendation method and device
CN109271453A (zh) 一种数据库容量的确定方法和装置
WO2024114163A1 (zh) 资源转移处理的方法及装置
CN108399175A (zh) 一种数据存储、查询方法及其装置
CN109246093A (zh) 风险链接识别方法及装置
CN109697234B (zh) 实体的多属性信息查询方法、装置、服务器和介质
CN110046194A (zh) 一种扩展节点关系图的方法、装置和电子设备
CN111651522A (zh) 一种数据同步方法及装置
CN110020780A (zh) 信息输出的方法、装置和电子设备
CN110245136B (zh) 数据检索方法及装置、设备及存储设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200921

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200921

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

GR01 Patent grant
GR01 Patent grant