CN106933724A - 一种分布式信息追踪系统、信息处理方法及装置 - Google Patents

一种分布式信息追踪系统、信息处理方法及装置 Download PDF

Info

Publication number
CN106933724A
CN106933724A CN201710157589.XA CN201710157589A CN106933724A CN 106933724 A CN106933724 A CN 106933724A CN 201710157589 A CN201710157589 A CN 201710157589A CN 106933724 A CN106933724 A CN 106933724A
Authority
CN
China
Prior art keywords
information
recalls
identification information
recalls information
querying condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710157589.XA
Other languages
English (en)
Other versions
CN106933724B (zh
Inventor
李元甲
于兰恒
舒志龙
李晓情
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sohu New Media Information Technology Co Ltd
Original Assignee
Beijing Sohu New Media Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sohu New Media Information Technology Co Ltd filed Critical Beijing Sohu New Media Information Technology Co Ltd
Priority to CN201710157589.XA priority Critical patent/CN106933724B/zh
Publication of CN106933724A publication Critical patent/CN106933724A/zh
Application granted granted Critical
Publication of CN106933724B publication Critical patent/CN106933724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/544Buffers; Shared memory; Pipes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/234Monitoring or handling of messages for tracking messages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865Monitoring of software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/875Monitoring of systems including the internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/54Indexing scheme relating to G06F9/54
    • G06F2209/548Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种分布式信息追踪系统、信息处理方法及装置,通过信息收集设备采集业务处理阶段的调用信息,并将调用信息发送至消息通道中,并通过信息分析设备从消息通道中获取调用信息,对调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链,因此本发明可依赖于调用信息来得到调用链,相对于现有技术来说省去将调用信息转换为相应日志格式并写入本地文件的过程,从而提高分析实时性,并且信息分析设备通过对调用信息的实时分析即可得到调用链,相对于现有需要经过实时分析、离线分析和合并分析这三个子步骤的分析才能够得到一个调用链来说,进一步提高分析实时性且降低分析复杂度。

Description

一种分布式信息追踪系统、信息处理方法及装置
技术领域
本发明属于分布式系统技术领域,更具体的说,尤其涉及一种分布式信息追踪系统、信息处理方法及装置。
背景技术
微服务架构可以将一个完整业务拆分成多个具有独立的特定功能的微服务,微服务的这一特点使得微服务架构中用于实现微服务的各个功能模块的部署是分布式的,这样一个完整业务的请求需要经过微服务架构中的多个功能模块,也就是说一个完整业务的请求通过微服务架构中包括功能模块的多台设备协作完成,这种协作完成请求的方式会存在分布广泛且调用关系复杂的问题,因此需要提供一种分布式信息追踪系统,通过分布式信息追踪系统获取各个阶段的调用信息,并根据各个阶段的调用信息得到一个调用链,其中调用链是一次服务调用追踪链路,以根据调用链确定一个完整业务的请求经过哪些功能模块以及调用哪些信息。
目前分布式信息追踪系统基于服务调用过程产生的日志来得到完整的调用链,其处理过程分为日志采集、日志分析和日志存储三个步骤,其中日志采集通过读写配置,将执行完整业务的请求时经过的功能模块以及所需其他信息等调用信息进行采集,并将采集到的调用信息转换成相应格式日志写入到本地文件中,日志分析包括三个子步骤:实时分析子步骤、离线分析子步骤和合并分析子步骤,通过这三个子步骤对本地文件中存储的调用信息进行分析,得到一个调用链,而日志存储则用于存储调用链以及上述调用信息。
虽然上述分布式信息追踪系统可自动得到调用链,但是这个分布式信息追踪系统依赖于日志,由分布式信息追踪系统中的信息收集设备将调用信息写入到本地文件中,再由信息收集设备发送至信息分析设备,这种调用信息先写后发的方式会降低分析的实时性,且信息分析设备需要经过实时分析、离线分析和合并分析这三个子步骤的分析才能够得到一个调用链,进一步降低分析实时性,且提高分析复杂度。
发明内容
有鉴于此,本发明的目的在于提供一种分布式信息追踪系统、信息处理方法及装置,用于提高分析实时性以及降低分析复杂度。技术方案如下:
本发明提供一种分布式信息追踪系统,所述系统包括:信息收集设备和信息分析设备,所述信息收集设备和所述信息分析设备之间建立有消息通道;
所述信息收集设备用于采集业务处理阶段的调用信息,并将所述调用信息发送至所述消息通道中;
所述信息分析设备,用于从所述消息通道中获取所述调用信息,对所述调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链,并为所述具有相同标识信息的调用信息设置查询条件,以得到所述标识信息与查询条件的对应关系。
优选的,所述信息分析设备,还用于以所述标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中;
所述系统还包括:信息查询设备,用于获取用户输入的查询条件,并根据所述查询条件从所述对应关系中获取所述查询条件对应的标识信息,根据所述标识信息从所述数据库中查询具有所述标识信息的调用信息。
优选的,所述信息收集设备用于根据预设采样率以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对所述调用请求进行采样跟踪,以得到业务处理阶段的调用信息,并在服务调用的处理完成时间和所述服务调用的结束时间将所述调用信息发送至消息通道中,其中所述服务调用的处理完成时间早于所述服务调用的结束时间,且所述服务调用的处理完成时间发送的所述调用信息不同于所述服务调用的结束时间发送的所述调用信息。
优选的,所述信息收集设备还用于将所述调用信息暂存至消息队列中。
优选的,所述信息分析设备,用于从所述消息通道中获取所述调用信息后,对所述调用信息进行清洗过滤,对对清洗过滤后的调用信息进行实时分析。
本发明还提供一种基于分布式信息追踪系统的信息处理方法,所述方法包括:
采集业务处理阶段的调用信息;
对所述调用信息进行实时分析,得到具有相同标识信息的调用信息;
根据具有相同标识信息的调用信息得到对应的调用链;
为所述具有相同标识信息的调用信息设置查询条件,以得到所述标识信息与查询条件的对应关系。
优选的,所述方法还包括:以所述标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中;
获取用户输入的查询条件,并根据所述查询条件从所述对应关系中获取所述查询条件对应的标识信息;
根据所述标识信息从所述数据库中查询具有所述标识信息的调用信息。
优选的,所述采集业务处理阶段的调用信息,包括:根据预设采样率以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对所述调用请求进行采样跟踪,以得到业务处理阶段的调用信息。
本发明还提供一种基于分布式信息追踪系统的信息处理装置,所述装置包括:
获取单元,用于采集业务处理阶段的调用信息;
分析单元,用于对所述调用信息进行实时分析,得到具有相同标识信息的调用信息;
获得单元,用于根据具有相同标识信息的调用信息得到对应的调用链;
设置单元,用于为所述具有相同标识信息的调用信息设置查询条件,以得到所述标识信息与查询条件的对应关系。
优选的,所述获取单元,还用于获取用户输入的查询条件,并根据所述查询条件从所述对应关系中获取所述查询条件对应的标识信息;
所述装置还包括:存储单元,用于以所述标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中;
查询单元,用于根据所述标识信息从所述数据库中查询具有所述标识信息的调用信息。
与现有技术相比,本发明提供的上述技术方案具有如下优点:
借由上述技术方案,分布式信息追踪系统通过信息收集设备采集业务处理阶段的调用信息,并将调用信息发送至消息通道中,并通过分布式信息追踪系统中的信息分析设备从消息通道中获取调用信息,对调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链,因此本发明提供的分布式信息追踪系统可依赖于调用信息来得到调用链,相对于现有技术来说省去将调用信息转换为相应日志格式并写入本地文件的过程,从而提高分析实时性,并且信息分析设备通过对调用信息的实时分析即可得到调用链,相对于现有需要经过实时分析、离线分析和合并分析这三个子步骤的分析才能够得到一个调用链来说,进一步提高分析实时性且降低分析复杂度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的分布式信息追踪系统的系统架构图;
图2是本发明实施例提供的分布式信息追踪系统的结构示意图;
图3是本发明实施例提供的基于分布式信息追踪系统的信息处理方法的信令交互图;
图4是本发明实施例提供的信息采样点的示意图;
图5是本发明实施例提供的设置界面的示意图;
图6是本发明实施例提供的基于分布式信息追踪系统的信息处理装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的分布式信息追踪系统的实现架构图,参照图1,该分布式信息追踪系统可以包括:信息收集器10、消息中间件集群20、计算集群30、搜索服务集群40、数据库50和客户端60。
其中,信息收集器10架设在第三方应用侧,集成于应用集群中,应用集群中的各个服务器包括一个完整业务处理所需的功能模块,各个服务器中包括的功能模块不同,且各个服务器可以包括至少一个功能模块,信息收集器10则用于在服务器接收到调用请求,根据预设采样率在服务调用的开始时间至服务调用的结束时间内对所述调用请求进行采样跟踪,以得到业务处理阶段的调用信息,并将调用信息发送至消息中间件集群20中,业务处理阶段是应用集群中任意一个服务器对调用请求的处理阶段,因此对于任意一个服务器来说,信息收集器10采集到的调用信息会有所不同,这样信息收集器10发送至消息中间件集群20中的调用信息也会不同。
消息中间件集群20架设在网络侧,用于接收信息收集器10发送的调用信息,并提供消息队列缓冲功能消息队列缓冲功能消息队列缓冲功能,以暂存调用信息,实现调用信息的异步传输。在本发明实施例中,消息中间件集群20的异步传输功能可以基于Kafka实现,其中Kafka是由LinkedIn开发的一个分布式的消息系统,具体如何实现本发明实施例不再详述。
计算集群30架构在网络侧,用于对不同服务器的调用信息进行实时分析,得到完整的调用链,以及用于建立索引,所述索引用于指示调用链的标识信息与查询条件的对应关系,这样通过搜索服务集群40就可以基于输入的查询条件来得到与其对应的调用链的标识信息,根据调用链的标识信息确定对应的调用链,以支持通过多种查询条件来查询调用链。在本发明实施例中,计算集群30可以基于Storm实现,Storm是一个免费开源、分布式、高容错的实时计算系统,其经常用于实时分析、在线机器学习和持续计算等领域,因此基于Storm可以提高计算集群30的处理速度。
并且计算集群30还可以将调用链的标识信息以及调用链对应的调用信息存储至数据库50中,其中信息存储方式可以是:以调用链的标识信息为行健,将调用链对应的调用信息存储至数据库的同一行中,当然除上述信息之外,数据库50中也还可以存储与标识信息对应的查询条件,查询条件也可以存储至与其对应的标识信息的数据库的同一行中。在本发明实施例中,数据库可以是Hbase,HBase是一个开源的非关系型分布式数据库,其相对于其他类型的数据库来说,存储能力较优,且在采用适当的查询算法时,查询速度也可以满足用户需求。
客户端60可以装载在智能手机、平板电脑、笔记本电脑等电子设备商,并且客户端60可以提供信息查询界面,信息查询界面作为客户端60与搜索服务集群40之间的信息交互工具,通过信息查询界面获取用户输入的查询条件,以使得搜索服务集群40可以根据查询条件来查询调用链。其中信息查询界面可以基于web容器实现,并在获得查询结果后将查询结果在信息查询界面中以可视化方式呈现。
当然,客户端60可以是单独开发的,与搜索服务集群40相配合的客户端;或者用户可以通过应用市场(APP STORE)或应用官方网站,将客户端下载到电子设备本地。客户端也可以是以浏览器的形式存在。
对于搜索服务集群40来说,其可以基于ElasticSearch实现,其中ElasticSearch是一个基于Lucene的搜索服务器,其可以提供一个分布式多用户能力的全文搜索引擎,搜索服务集群40通过全文搜索引擎进行信息查询。
在本发明实施例中,上述信息收集器10和消息中间件集群20可以组成分布式信息追踪系统中的信息收集设备,计算集群30可以视为分布式信息追踪系统中的信息分析设备,而搜索服务集群40可以视为分布式信息追踪系统中的信息查询设备,对于数据库50来说,其可以位于分布式信息追踪系统中,也可以是独立于分布式信息追踪系统的一个数据库,而对于客户端60来说,其独立于分布式信息追踪系统,并为用户提供信息查询界面。如图2所示,分布式信息追踪系统中信息收集设备100、信息分析设备200和信息查询设备300的功能如下:
信息收集设备100和信息分析设备200之间建立有消息通道。信息收集设备100用于采集业务处理阶段的调用信息,并将调用信息发送至消息通道中;信息分析设备200,用于从消息通道中获取调用信息,对调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链,并为具有相同标识信息的调用信息设置查询条件,以得到标识信息与查询条件的对应关系。
信息分析设备200,还用于以标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中;信息查询设备300,用于获取用户输入的查询条件,并根据查询条件从对应关系中获取查询条件对应的标识信息,根据标识信息从数据库中查询具有标识信息的调用信息。
在这里需要说明的一点是:上述图1仅示出了分布式信息追踪系统中信息收集设备、信息分析设备和信息查询设备的可能组成,信息收集设备、信息分析设备和信息查询设备的组成并不限定于上述所示。
下面将以信息收集设备100、信息分析设备200和信息查询设备300之间的信息交互过程,对三者进行详细说明,如图3所示,其示出了本发明实施例提供的基于分布式信息追踪系统的信息处理方法的信令交互,可以包括以下步骤:
101:信息收集设备根据预设采样率以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对调用请求进行采样跟踪,以得到业务处理阶段的调用信息。
其中预设采样率可以根据实际情况自行设定,如根据服务的处理效率自行设定,如对于流量位于第一流量范围内的服务可以使用第一采样率,例如0.01%;而对于流量位于第二流量范围内的服务可以使用第二采样率,例如1%。,第一流量范围的最小值大于第二流量范围的最大值,或者第一流量范围的最小值位于所述第二流量范围内,即流量越高,其采样的预设采样率越小。
而在服务调用过程中,信息收集设备可以以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对调用请求进行采样跟踪,如图4所示,在服务调用的开始时间至服务调用的结束时间设定四个信息采样点,其中CS:Client Start,客户端创建调用请求,这是一次服务调用的开始时间。SR:Server Receive,服务端接收调用请求并开始处理,与CS的不同之处在于其在CS基础上包括了网络延迟和时钟抖动。SS:Server Send,服务端处理完成调用请求并回复客户端,这是一次服务调用的处理完成时间,与SR的不同之处是在SR基础上包括了服务端处理调用请求的时间。CR:Client Receive,客户端接收回复,这是一次服务调用的结束时间。
在上述四个信息采样点,对服务端,如上述图1所示应用集群中的某个服务器处理调用请求进行采样跟踪,以得到服务器处理调用请求时所需的调用信息,并且在处理一个调用请求的第一个业务处理阶段时会生成一个标志信息,第二个业务处理阶段至第N个业务处理阶段的调用信息会沿用此标志信息,即一个调用请求的不同业务处理阶段的标识信息相同,但不同于其他调用请求的标识信息,以使得每个调用请求的标识信息唯一。
102:信息收集设备在服务调用的处理完成时间和服务调用的结束时间将调用信息发送至信息分析设备中,如可以发送至消息通道中,再由信息分析设备从消息通道中获取。
从上述图4可以看出,服务调用的处理完成时间早于服务调用的结束时间,且在不同时间内具有不同操作,因此服务调用的处理完成时间发送的调用信息不同于服务调用的结束时间发送的调用信息。而之所以在这两个时间上发送调用信息是因为:这两个时间得到的调用信息相较于其他两个时间得到的调用信息更加完善,且相对于在四个时间均发送调用信息可以减少信息交互次数。
对于消息通道来说,可以通过上述图1所示消息中间件集群来实现,以通过消息中间件集群在信息收集设备和信息分析设备之间传递调用信息,且消息中间件集群可以提供消息队列缓冲功能,这样信息收集设备就可以通过中间件集群来暂存调用信息至消息队列中,实现调用信息的异步传输。
103:信息分析设备对获取的调用信息进行清洗过滤。其中信息分析设备对获取的调用信息进行清洗过滤的过程是:清洗掉调用信息中的非法信息以及噪声数据,将处理后的调用信息转换成对象,以便于信息分析设备处理。
104:信息分析设备对处理后的调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链。其中调用信息包括时间、服务名称、方法名称和异常信息等,并且可根据业务需要扩展调用信息,例如在上述调用信息中增加用户标识和新闻标识等,这样通过调用信息,尤其是调用信息中的时间(指处理调用请求的时间)就可以组成一个完整的调用链。
105:信息分析设备为具有相同标识信息的调用信息设置查询条件,以得到标识信息与查询条件的对应关系。
在本发明实施例中,为了支持多种查询条件,可以为标识信息设置多种查询条件,并将查询条件和标识信息的对应关系以索引方式记录。而为了支持多种查询条件,在信息分析设备上可以提供一个设置界面,在该设置界面上设置多个查询参数,如图5所示,通过信息分析设备可以选择不同的查询参数,每次选取的查询参数对应为一个查询条件。
在将查询条件和标识信息的对应关系以索引方式记录时,索引记录的信息包括:包括时间、服务名称、方法名称和异常信息等,并且可根据业务需要扩展业务索引,例如在上述索引中增加用户标识和新闻标识等。
106:信息分析设备以标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中,即将相同标识信息的调用信息和标识信息记录在数据库的同一行中,这样便于后期查询。
107:信息查询设备获取用户输入的查询条件,并根据查询条件从对应关系中获取查询条件对应的标识信息,根据标识信息从数据库中查询具有标识信息的调用信息。
其中用户输入的查询条件是用户通过客户端显示的信息查询界面得到的,信息查询界面可以是以浏览器形式存在或者以非浏览器形式,非浏览器形式可以是在客户端的桌面上显示信息查询界面的快捷方式,在快捷方式被触发后,会在客户端的显示区域上渲染出信息查询界面,而浏览器形式是将信息查询界面嵌入在浏览器中显示。
在本发明实施例中,以不同形式显示的信息查询界面的示意图可以类似于图5所示界面,在信息查询界面中设置多个查询参数,用户可以在多个查询参数中选取至少一个查询参数,得到由选取的查询参数组成的查询条件。但是通过信息查询界面得到的查询条件与信息分析设备设置的查询条件可能不会完全相同,为此在本发明实施例中可以进行不完全匹配,即输入的查询条件和设置的查询条件中有部分相同,则视两个查询条件相同。
在根据查询条件得到调用信息后,调用信息可以在信息查询界面中以可视化方式呈现,以便于用户查看,并且除反馈调用信息之外,还可以在信息查询界面中展示调用耗时、异常信息以及关键业务信息等。
借由上述技术方案,分布式信息追踪系统通过信息收集设备采集业务处理阶段的调用信息,并将调用信息发送至消息通道中,并通过分布式信息追踪系统中的信息分析设备从消息通道中获取调用信息,对调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链,因此本发明提供的分布式信息追踪系统可依赖于调用信息来得到调用链,相对于现有技术来说省去将调用信息转换为相应日志格式并写入本地文件的过程,从而提高分析实时性,并且信息分析设备通过对调用信息的实时分析即可得到调用链,相对于现有需要经过实时分析、离线分析和合并分析这三个子步骤的分析才能够得到一个调用链来说,进一步提高分析实时性且降低分析复杂度。
此外,本发明实施例中各个设备是无状态的,因此可以在各个设备中增加功能模块或者在分布式信息追踪系统中增加上述各个设备,实现系统的横向扩展,以适应大量数据处理的要求。
请参阅图6,其示出了本发明实施例提供的基于分布式信息追踪系统的信息处理装置的结构,可以包括:获取单元11、分析单元12、获得单元13和设置单元14。
获取单元11,用于采集业务处理阶段的调用信息。具体的,获取单元11根据预设采样率以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对调用请求进行采样跟踪,以得到业务处理阶段的调用信息。
其中预设采样率可以根据实际情况自行设定,如根据服务的处理效率自行设定,如对于流量位于第一流量范围内的服务可以使用第一采样率,例如0.01%;而对于流量位于第二流量范围内的服务可以使用第二采样率,例如1%。,第一流量范围的最小值大于第二流量范围的最大值,或者第一流量范围的最小值位于所述第二流量范围内,即流量越高,其采样的预设采样率越小。
而在服务调用过程中,获取单元11可以以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对调用请求进行采样跟踪,如上述图4所示,在服务调用的开始时间至服务调用的结束时间设定四个信息采样点,在这四个信息采样点来采集跟踪,具体请参阅上述流程图中的相关说明。
分析单元12,用于对调用信息进行实时分析,得到具有相同标识信息的调用信息。
获得单元13,用于根据具有相同标识信息的调用信息得到对应的调用链。其中调用信息包括时间、服务名称、方法名称和异常信息等,并且可根据业务需要扩展调用信息,例如在上述调用信息中增加用户标识和新闻标识等,这样通过调用信息,尤其是调用信息中的时间(指处理调用请求的时间)就可以组成一个完整的调用链。
而在对调用信息进行实时分析前,分析单元12还可以对获取的调用信息进行清洗过滤。其中对获取的调用信息进行清洗过滤的过程是:清洗掉调用信息中的非法信息以及噪声数据,将处理后的调用信息转换成对象,以便于后续分析处理。
设置单元14,用于为具有相同标识信息的调用信息设置查询条件,以得到标识信息与查询条件的对应关系。在本发明实施例中,为了支持多种查询条件,可以为标识信息设置多种查询条件,并将查询条件和标识信息的对应关系以索引方式记录。而为了支持多种查询条件,可以参阅上述图5所示方式,对此本发明实施例不再详述。
在本发明实施例中,获取单元11还用于获取用户输入的查询条件,并根据查询条件从对应关系中获取查询条件对应的标识信息。
相对应的,基于分布式信息追踪系统的信息处理装置还包括:存储单元,用于以标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中。
查询单元,用于根据标识信息从数据库中查询具有标识信息的调用信息。
在根据查询条件得到调用信息后,调用信息可以在信息查询界面中以可视化方式呈现,以便于用户查看,并且除反馈调用信息之外,还可以在信息查询界面中展示调用耗时、异常信息以及关键业务信息等。
借由上述技术方案,在采集业务处理阶段的调用信息,可以对调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链,因此本发明实施例可依赖于调用信息来得到调用链,相对于现有技术来说省去将调用信息转换为相应日志格式并写入本地文件的过程,从而提高分析实时性,并且通过对调用信息的实时分析即可得到调用链,相对于现有需要经过实时分析、离线分析和合并分析这三个子步骤的分析才能够得到一个调用链来说,进一步提高分析实时性且降低分析复杂度。
此外,本发明实施例中各个单元是无状态的,因此可以在装置中增加单元模块就可以实现装置的横向扩展,以适应大量数据处理的要求。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种分布式信息追踪系统,其特征在于,所述系统包括:信息收集设备和信息分析设备,所述信息收集设备和所述信息分析设备之间建立有消息通道;
所述信息收集设备用于采集业务处理阶段的调用信息,并将所述调用信息发送至所述消息通道中;
所述信息分析设备,用于从所述消息通道中获取所述调用信息,对所述调用信息进行实时分析,得到具有相同标识信息的调用信息,根据具有相同标识信息的调用信息得到对应的调用链,并为所述具有相同标识信息的调用信息设置查询条件,以得到所述标识信息与查询条件的对应关系。
2.根据权利要求1所述的系统,其特征在于,所述信息分析设备,还用于以所述标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中;
所述系统还包括:信息查询设备,用于获取用户输入的查询条件,并根据所述查询条件从所述对应关系中获取所述查询条件对应的标识信息,根据所述标识信息从所述数据库中查询具有所述标识信息的调用信息。
3.根据权利要求1所述的系统,其特征在于,所述信息收集设备用于根据预设采样率以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对所述调用请求进行采样跟踪,以得到业务处理阶段的调用信息,并在服务调用的处理完成时间和所述服务调用的结束时间将所述调用信息发送至消息通道中,其中所述服务调用的处理完成时间早于所述服务调用的结束时间,且所述服务调用的处理完成时间发送的所述调用信息不同于所述服务调用的结束时间发送的所述调用信息。
4.根据权利要求3所述的系统,其特征在于,所述信息收集设备还用于将所述调用信息暂存至消息队列中。
5.根据权利要求1所述的系统,其特征在于,所述信息分析设备,用于从所述消息通道中获取所述调用信息后,对所述调用信息进行清洗过滤,对对清洗过滤后的调用信息进行实时分析。
6.一种基于分布式信息追踪系统的信息处理方法,其特征在于,所述方法包括:
采集业务处理阶段的调用信息;
对所述调用信息进行实时分析,得到具有相同标识信息的调用信息;
根据具有相同标识信息的调用信息得到对应的调用链;
为所述具有相同标识信息的调用信息设置查询条件,以得到所述标识信息与查询条件的对应关系。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:以所述标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中;
获取用户输入的查询条件,并根据所述查询条件从所述对应关系中获取所述查询条件对应的标识信息;
根据所述标识信息从所述数据库中查询具有所述标识信息的调用信息。
8.根据权利要求6所述的方法,其特征在于,所述采集业务处理阶段的调用信息,包括:根据预设采样率以服务调用的开始时间为起始时间,以服务调用的结束时间为终止时间对所述调用请求进行采样跟踪,以得到业务处理阶段的调用信息。
9.一种基于分布式信息追踪系统的信息处理装置,其特征在于,所述装置包括:
获取单元,用于采集业务处理阶段的调用信息;
分析单元,用于对所述调用信息进行实时分析,得到具有相同标识信息的调用信息;
获得单元,用于根据具有相同标识信息的调用信息得到对应的调用链;
设置单元,用于为所述具有相同标识信息的调用信息设置查询条件,以得到所述标识信息与查询条件的对应关系。
10.根据权利要求9所述的装置,其特征在于,所述获取单元,还用于获取用户输入的查询条件,并根据所述查询条件从所述对应关系中获取所述查询条件对应的标识信息;
所述装置还包括:存储单元,用于以所述标识信息为行健,将具有相同标识信息的调用信息存储至数据库的同一行中;
查询单元,用于根据所述标识信息从所述数据库中查询具有所述标识信息的调用信息。
CN201710157589.XA 2017-03-16 2017-03-16 一种分布式信息追踪系统、信息处理方法及装置 Active CN106933724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710157589.XA CN106933724B (zh) 2017-03-16 2017-03-16 一种分布式信息追踪系统、信息处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710157589.XA CN106933724B (zh) 2017-03-16 2017-03-16 一种分布式信息追踪系统、信息处理方法及装置

Publications (2)

Publication Number Publication Date
CN106933724A true CN106933724A (zh) 2017-07-07
CN106933724B CN106933724B (zh) 2020-06-05

Family

ID=59432319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710157589.XA Active CN106933724B (zh) 2017-03-16 2017-03-16 一种分布式信息追踪系统、信息处理方法及装置

Country Status (1)

Country Link
CN (1) CN106933724B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法
CN108304447A (zh) * 2017-12-07 2018-07-20 北京趣拿软件科技有限公司 异常信息的处理方法、装置、存储介质和处理器
CN108664372A (zh) * 2018-05-08 2018-10-16 平安科技(深圳)有限公司 测试过程的监控装置、方法及计算机可读存储介质
CN109271396A (zh) * 2018-09-27 2019-01-25 杭州数梦工场科技有限公司 一种调用链数据的处理方法、装置、设备及存储介质
CN109672741A (zh) * 2018-12-25 2019-04-23 鼎信信息科技有限责任公司 微服务监控方法、装置、计算机设备和存储介质
CN109818823A (zh) * 2018-12-29 2019-05-28 北京奥鹏远程教育中心有限公司 全链路跟踪系统
CN109831351A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 链路跟踪方法、装置、终端及存储介质
CN110245035A (zh) * 2019-05-20 2019-09-17 平安普惠企业管理有限公司 一种链路跟踪方法及装置
CN111259275A (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种数据追踪方法、设备及存储介质
CN111711544A (zh) * 2020-05-15 2020-09-25 北京奇艺世纪科技有限公司 链路拨测方法、装置、电子设备及存储介质
CN112422349A (zh) * 2020-12-03 2021-02-26 广州瀚信通信科技股份有限公司 面向nfv的网管系统、方法、设备及介质
CN113949624A (zh) * 2021-09-17 2022-01-18 远景智能国际私人投资有限公司 链路采样数的分配方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040111706A1 (en) * 2002-12-07 2004-06-10 Mogul Jeffrey Clifford Analysis of latencies in a multi-node system
CN101454756A (zh) * 2006-06-16 2009-06-10 国际商业机器公司 对分布式事务的离散元素的跟踪
CN104219316A (zh) * 2014-09-12 2014-12-17 微梦创科网络科技(中国)有限公司 一种分布式系统中的调用请求处理方法及装置
CN106375458A (zh) * 2016-09-08 2017-02-01 上海银天下科技有限公司 服务调用系统、方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040111706A1 (en) * 2002-12-07 2004-06-10 Mogul Jeffrey Clifford Analysis of latencies in a multi-node system
CN101454756A (zh) * 2006-06-16 2009-06-10 国际商业机器公司 对分布式事务的离散元素的跟踪
CN104219316A (zh) * 2014-09-12 2014-12-17 微梦创科网络科技(中国)有限公司 一种分布式系统中的调用请求处理方法及装置
CN106375458A (zh) * 2016-09-08 2017-02-01 上海银天下科技有限公司 服务调用系统、方法及装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766205B (zh) * 2017-10-10 2019-11-22 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法
CN107766205A (zh) * 2017-10-10 2018-03-06 武汉大学 一种面向微服务调用过程跟踪的监控系统及方法
CN108304447A (zh) * 2017-12-07 2018-07-20 北京趣拿软件科技有限公司 异常信息的处理方法、装置、存储介质和处理器
CN108664372A (zh) * 2018-05-08 2018-10-16 平安科技(深圳)有限公司 测试过程的监控装置、方法及计算机可读存储介质
CN109271396A (zh) * 2018-09-27 2019-01-25 杭州数梦工场科技有限公司 一种调用链数据的处理方法、装置、设备及存储介质
CN109271396B (zh) * 2018-09-27 2020-06-12 杭州数梦工场科技有限公司 一种调用链数据的处理方法、装置、设备及存储介质
CN111259275B (zh) * 2018-12-03 2023-12-15 阿里巴巴集团控股有限公司 一种数据追踪方法、设备及存储介质
CN111259275A (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种数据追踪方法、设备及存储介质
CN109672741A (zh) * 2018-12-25 2019-04-23 鼎信信息科技有限责任公司 微服务监控方法、装置、计算机设备和存储介质
CN109831351A (zh) * 2018-12-29 2019-05-31 深圳云天励飞技术有限公司 链路跟踪方法、装置、终端及存储介质
CN109831351B (zh) * 2018-12-29 2021-03-05 深圳云天励飞技术有限公司 链路跟踪方法、装置、终端及存储介质
CN109818823A (zh) * 2018-12-29 2019-05-28 北京奥鹏远程教育中心有限公司 全链路跟踪系统
CN110245035A (zh) * 2019-05-20 2019-09-17 平安普惠企业管理有限公司 一种链路跟踪方法及装置
WO2020233015A1 (zh) * 2019-05-20 2020-11-26 平安普惠企业管理有限公司 一种链路跟踪方法及装置
CN111711544A (zh) * 2020-05-15 2020-09-25 北京奇艺世纪科技有限公司 链路拨测方法、装置、电子设备及存储介质
CN112422349A (zh) * 2020-12-03 2021-02-26 广州瀚信通信科技股份有限公司 面向nfv的网管系统、方法、设备及介质
CN112422349B (zh) * 2020-12-03 2023-04-07 广州瀚信通信科技股份有限公司 面向nfv的网管系统、方法、设备及介质
CN113949624A (zh) * 2021-09-17 2022-01-18 远景智能国际私人投资有限公司 链路采样数的分配方法、装置、设备及介质
CN113949624B (zh) * 2021-09-17 2023-07-21 远景智能国际私人投资有限公司 链路采样数的分配方法、装置、设备及介质

Also Published As

Publication number Publication date
CN106933724B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN106933724A (zh) 一种分布式信息追踪系统、信息处理方法及装置
US20230177008A1 (en) Session-Based Processing Method and System
CN106790718A (zh) 服务调用链路分析方法及系统
CN100449543C (zh) 一种日志保存方法及装置
CN110489633B (zh) 一种基于图书馆数据的智慧大脑服务系统
CN110147398A (zh) 一种数据处理方法、装置、介质和电子设备
CN106095391B (zh) 基于大数据平台和算法模型的计算方法及系统
CN106295382B (zh) 一种信息风险防控方法及装置
CN109189782A (zh) 一种区块链商品交易查询中的索引方法
CN102902775B (zh) 互联网实时计算的方法和系统
CN101833570A (zh) 一种移动终端页面推送优化的方法和装置
US20200159764A1 (en) Method for Processing and Displaying Real-Time Social Data on Map
CN101557427A (zh) 提供分流信息、实现客户端分流的方法、系统及服务器
CN106874319A (zh) 点击量的分布式统计方法及装置
CN107977678A (zh) 用于输出信息的方法和装置
CN109033404A (zh) 日志数据处理方法、装置和系统
CN110297995A (zh) 用于收藏信息的方法和装置
CN105812833A (zh) 文件处理方法和装置
CN106775219A (zh) 一种光标联动方法和装置
CN108011936A (zh) 用于推送信息的方法和装置
CN103856359B (zh) 获取信息的方法和系统
CN106227797A (zh) 一种海量日志信息的处理方法
JP4602104B2 (ja) サイト情報収集システム
CN106998276A (zh) 数据处理、存储、查询方法和数据处理系统
CN114417221A (zh) 一种基于互联网的大数据运算系统及其实施方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant