CN116302827A - 一种便于管理的微服务架构系统 - Google Patents

一种便于管理的微服务架构系统 Download PDF

Info

Publication number
CN116302827A
CN116302827A CN202310290292.6A CN202310290292A CN116302827A CN 116302827 A CN116302827 A CN 116302827A CN 202310290292 A CN202310290292 A CN 202310290292A CN 116302827 A CN116302827 A CN 116302827A
Authority
CN
China
Prior art keywords
data
service
micro
architecture system
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310290292.6A
Other languages
English (en)
Inventor
滕雪松
张俊磊
包楠
吴志成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yiche Interconnection Information Technology Co ltd
Original Assignee
Beijing Bitauto Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bitauto Mdt Infotech Ltd filed Critical Beijing Bitauto Mdt Infotech Ltd
Priority to CN202310290292.6A priority Critical patent/CN116302827A/zh
Publication of CN116302827A publication Critical patent/CN116302827A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3096—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents wherein the means or processing minimize the use of computing system or of computing system component resources, e.g. non-intrusive monitoring which minimizes the probe effect: sniffing, intercepting, indirectly deriving the monitored data from other directly available data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324—Display of status information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种便于管理的微服务架构系统，属于微服务架构技术领域，包括上报单元、接收单元、计算与存储单元和查询与展示单元，本发明的微服务架构系统通过加载“探针‑非侵入式”的方式收集应用调用链路信息，并对采集的调用链路信息进行分析，生成应用间关系和服务间关系以及服务指标，可以无侵入式收集各服务的数据，并且对数据进行整合处理；本发明的微服务架构系统能够根据获取的数据自动绘制服务之间的调用关系图，并能识别常见的服务用不同颜色展示，可以非常直观的看到服务与服务之间的调用状态；本发明的微服务架构系统发现微服务拓扑和相互依赖性可节省开发人员的时间，并缩短平均修复时间（MTTR）。

Description

一种便于管理的微服务架构系统
技术领域
本发明属于微服务架构技术领域，具体涉及一种便于管理的微服务架构系统。
背景技术
微服务架构系统是面向服务的体系结构(SOA)架构样式的一种变体，它提倡将单一应用程序划分成一组微服务，微服务之间互相协调、互相配合，为用户提供最终的业务，微服务架构存在服务多，之间调用关系复杂等特点，对于微服务的监控和管理提出了很大的挑战，实际业务中，应用之间的关联与依赖非常复杂，需要通过全局视角检查具体的局部异常，如何能够直观的展示服务拓扑图，并能够实时获取系统上下游服务之间调用关系是需要尽快解决的问题。
根据公开号：CN114546756A一种微服务架构系统中链路数据的监控方法及系统，其采用Java探针方式动态截取微服务架构系统中各个微服务的链路数据中的监控信息，将所述监控信息注入到分别为各个微服务设置的资源文件中；将所述资源文件发送给分布式发布订阅系统进行缓存；对所述资源文件的监控信息，以监控标识为索引进行处理，处理为对应监控标识的监控信息后，存储在分布式文件存储搜索服务器中，可以监控微服务架构系统中的各个微服务的链路数据，从中提取所需的监控数据并进行后续的分析处理；根据公开号：CN109889416B一种基于微服务架构的智能家居系统及构建方法，其在使用微服务架构后，系统的每个功能被分配给了不同的微服务，每个微服务可以单独执行，单独部署甚至可以使用不同语言进行开发，微服务架构极大程度的降低了系统的耦合度，将一开始所有的功能都集中在一个实例上的模式转化为多个单独的实例相互协调而完成业务的模式；但是一般在系统发生问题时，比如系统异常或者系统性能出现问题时，通常都是从系统记录的日志文件中找出蛛丝马脚，而对于微服务架构下的分布式部署，日志文件的分散，想从日志中查找问题工作量很大，对于用户某一次请求调用后端哪些服务，每个服务执行情况，想从日志中获得难度更大，且对于传统的监控告警平台也仅针对平台资源的监控包括cpu、内存、网络带宽情况等，对业务微服务应用的指标（平均响应时间等）的监控显得无从下手，无法做到无侵入式收集各服务的数据，使得关键性能不方便实时展示，无法直观的获知展示服务拓扑关系。
发明内容
本发明的目的在于提供一种便于管理的微服务架构系统，以解决上述背景技术中提出的服务数据收集方式不足和服务拓扑关系与关键性能实时展示方式不足的问题。
为实现上述目的，本发明提供如下技术方案：一种便于管理的微服务架构系统，包括：上报单元、接收单元、计算与存储单元和查询与展示单元；
上报单元包含自研Agent模块，自研Agent模块内部通过各种增强插件对服务内部的SpringMVC请求、Spring异步任务和HTTP请求，并通过上报模块借助logback日志输出系统以HTTP的方式将采集数据发送到接收单元；
接收单元通过Flume服务集群进行数据接收，并将接收的数据，传递到kafka消息队列，供下游的计算与存储单元使用；
计算与存储单元对上报过来的数据进行整合分析处理并落入相关的数据存储，计算结果数据也会存入mysql作为指标查询的数据源，这些数据源可供查询和展示单元使用；
查询和展示单元包含监控平台、数据中心、日志查询、链路追踪和拓扑关系图，其可作为Web可视化平台，用来展示落地的数据。
作为一种优选的实施方式，其中自研Agent模块在应用服务启动时，使用Javaagent做字节码植入，进行无侵入式的收集，MySQL、Redis、ES，MQ等数据数据访问请求进行数据采集。
作为一种优选的实施方式，其中数据采集中的采集信息包含了TraceID和Span信息，TraceID用于标记单次的服务调用链，会透传到整个调用链的所有调用单元，SpanID和SpanParentID将单次调用链中的各个调用单元进行串联，形成调用关系图。
作为一种优选的实施方式，其中Span信息记录了单个调用单元内部的时间点信息，TraceID和Span信息构成了链路追踪和拓扑关系图的基础数据来源。
作为一种优选的实施方式，其中计算与存储单元应用时先通过flink接收来自kafka的相关主题消息，然后，将原始数据存入hdfs作为后续离线计算的数据源，将原始数据存入elasticsearch作为明细日志查询数据源。
作为一种优选的实施方式，其中原始数据进行实时维度汇聚指标计算和实时拓扑关系计算并存入mysql作为指标查询和拓扑关系查询数据源，离线计算任务负责部分实时性不高的指标计算。
作为一种优选的实施方式，其中监控平台用户展示整体流量、整体耗时等信息，其中数据中心提供各种维度的数据报表，其中日志查询提供链路日志查询和异常日志查询功能。
作为一种优选的实施方式，其中链路追踪可以根据TraceID查询单次服务调用链的所有调用单元的数据信息，其中拓扑关系图用来展示应用服务间调用实时拓扑关系。
与现有技术相比，本发明的有益效果是：
该种便于管理的微服务架构系统通过加载“探针-非侵入式”的方式收集应用调用链路信息，并对采集的调用链路信息进行分析，生成应用间关系和服务间关系以及服务指标，可以无侵入式收集各服务的数据，并且对数据进行整合处理；
该种便于管理的微服务架构系统能够根据获取的数据自动绘制服务之间的调用关系图，并能识别常见的服务用不同颜色展示，可以非常直观的看到服务与服务之间的调用状态，连线中间的点能点击，可显示两个服务之间链路的平均响应时间、健康度、重复报警等信息，点击某个服务，可以突出显示与该服务存在调用关系的服务及彼此调用关系，实现了展示关键路径，降低了调用链分析难度；
该种便于管理的微服务架构系统发现微服务拓扑和相互依赖性可节省开发人员的时间，并缩短平均修复时间（MTTR），开发人员不必花费数小时就可以找出服务关联和映射应用程序组件，应用程序拓扑的可视化可以帮助开发人员识别和减少服务依赖性中的瓶颈，以友好直观的方式展示服务拓扑关系，并对关键性能实时展示。
附图说明
图1是本发明的微服务架构系统图；
图2是本发明的上报单元的系统图；
图3是本发明的接收单元的系统图；
图4是本发明的计算与存储单元的系统图；
图5是本发明的查询与展示单元的系统图。
实施方式
下面结合实施例对本发明做进一步的描述。
以下实施例用于说明本发明，但不能用来限制本发明的保护范围。实施例中的条件可以根据具体条件做进一步的调整，在本发明的构思前提下对本发明的方法简单改进都属于本发明要求保护的范围。
请参阅图1-5，本发明提供一种便于管理的微服务架构系统，包括：上报单元、接收单元、计算与存储单元和查询与展示单元；
具体的，如图1和2所示，上报单元：包含自研Agent模块，应用服务启动时，使用Javaagent做字节码植入，进行无侵入式的收集，自研Agent模块内部通过各种增强插件对服务内部的SpringMVC请求，Spring异步任务，HTTP请求，MySQL、Redis、ES，MQ等数据数据访问请求进行数据采集，采集信息中包含了TraceID和Span信息，TraceID用于标记单次的服务调用链，会透传到整个调用链的所有调用单元，SpanID和SpanParentID将单次调用链中的各个调用单元进行串联，形成调用关系图，Span的时间信息记录了单个调用单元内部的时间点信息，TraceID和Span信息构成了链路追踪和拓扑关系图的基础数据来源，并通过上报模块借助logback日志输出系统以HTTP的方式将采集数据发送到接收单元。
具体的，如图1和3所示，接收单元：通过Flume服务集群进行数据接收，并将接收的数据，传递到kafka消息队列，供下游的计算与存储单元使用。
具体的，如图1和4所示，计算与存储单元：对上报过来的数据进行整合分析处理并落入相关的数据存储，首先，通过flink接收来自kafka的相关主题消息，然后，将原始数据存入hdfs作为后续离线计算的数据源，将原始数据存入elasticsearch作为明细日志查询数据源，将原始数据进行实时维度汇聚指标计算和实时拓扑关系计算并存入mysql作为指标查询和拓扑关系查询数据源，离线计算任务负责部分实时性不高的指标计算，计算结果数据也会存入mysql作为指标查询的数据源，这些数据源可供查询和展示单元使用。
具体的，如图1和5所示，查询和展示单元：作为Web可视化平台，用来展示落地的数据，其中，监控平台用户展示整体流量、整体耗时等信息，数据中心提供各种维度的数据报表，日志查询提供链路日志查询和异常日志查询功能，链路追踪可以根据TraceID查询单次服务调用链的所有调用单元的数据信息，拓扑关系图用来展示应用服务间调用实时拓扑关系。
本系统比当前市面系统多了如下处理：
1)通过加载“探针-非侵入式”的方式收集应用调用链路信息，并对采集的调用链路信息进行分析，生成应用间关系和服务间关系以及服务指标，可以无侵入式收集各服务的数据，并且对数据进行整合处理。
2)能够根据获取的数据自动绘制服务之间的调用关系图，并能识别常见的服务用不同颜色展示，可以非常直观的看到服务与服务之间的调用状态，连线中间的点能点击，可显示两个服务之间链路的平均响应时间、健康度、重复报警等信息，点击某个服务，可以突出显示与该服务存在调用关系的服务及彼此调用关系，实现了展示关键路径，降低了调用链分析难度。
3)发现微服务拓扑和相互依赖性可节省开发人员的时间，并缩短平均修复时间（MTTR），开发人员不必花费数小时就可以找出服务关联和映射应用程序组件。应用程序拓扑的可视化可以帮助开发人员识别和减少服务依赖性中的瓶颈，以友好直观的方式展示服务拓扑关系，并对关键性能实时展示。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种便于管理的微服务架构系统，其特征在于，包括：上报单元、接收单元、计算与存储单元和查询与展示单元；
上报单元包含自研Agent模块，自研Agent模块内部通过各种增强插件对服务内部的SpringMVC请求、Spring异步任务和HTTP请求，并通过上报模块借助logback日志输出系统以HTTP的方式将采集数据发送到接收单元；
接收单元通过Flume服务集群进行数据接收，并将接收的数据，传递到kafka消息队列，供下游的计算与存储单元使用；
计算与存储单元对上报过来的数据进行整合分析处理并落入相关的数据存储，计算结果数据也会存入mysql作为指标查询的数据源，这些数据源可供查询和展示单元使用；
查询和展示单元包含监控平台、数据中心、日志查询、链路追踪和拓扑关系图，其可作为Web可视化平台，用来展示落地的数据。
2.根据权利要求1所述的便于管理的微服务架构系统，其特征在于：其中自研Agent模块在应用服务启动时，使用Javaagent做字节码植入，进行无侵入式的收集，MySQL、Redis、ES，MQ等数据数据访问请求进行数据采集。
3.根据权利要求2所述的便于管理的微服务架构系统，其特征在于：其中数据采集中的采集信息包含了TraceID和Span信息，TraceID用于标记单次的服务调用链，会透传到整个调用链的所有调用单元，SpanID和SpanParentID将单次调用链中的各个调用单元进行串联，形成调用关系图。
4.根据权利要求3所述的便于管理的微服务架构系统，其特征在于：其中Span信息记录了单个调用单元内部的时间点信息，TraceID和Span信息构成了链路追踪和拓扑关系图的基础数据来源。
5.根据权利要求1所述的便于管理的微服务架构系统，其特征在于：其中计算与存储单元应用时先通过flink接收来自kafka的相关主题消息，然后，将原始数据存入hdfs作为后续离线计算的数据源，将原始数据存入elasticsearch作为明细日志查询数据源。
6.根据权利要求5所述的便于管理的微服务架构系统，其特征在于：其中原始数据进行实时维度汇聚指标计算和实时拓扑关系计算并存入mysql作为指标查询和拓扑关系查询数据源，离线计算任务负责部分实时性不高的指标计算。
7.根据权利要求1所述的便于管理的微服务架构系统，其特征在于：其中监控平台用户展示整体流量、整体耗时等信息，其中数据中心提供各种维度的数据报表，其中日志查询提供链路日志查询和异常日志查询功能。
8.根据权利要求1所述的便于管理的微服务架构系统，其特征在于：其中链路追踪可以根据TraceID查询单次服务调用链的所有调用单元的数据信息，其中拓扑关系图用来展示应用服务间调用实时拓扑关系。
CN202310290292.6A 2023-03-23 2023-03-23 一种便于管理的微服务架构系统 Pending CN116302827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310290292.6A CN116302827A (zh) 2023-03-23 2023-03-23 一种便于管理的微服务架构系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310290292.6A CN116302827A (zh) 2023-03-23 2023-03-23 一种便于管理的微服务架构系统

Publications (1)

Publication Number Publication Date
CN116302827A true CN116302827A (zh) 2023-06-23

Family

ID=86786877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310290292.6A Pending CN116302827A (zh) 2023-03-23 2023-03-23 一种便于管理的微服务架构系统

Country Status (1)

Country Link
CN (1) CN116302827A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640544A (zh) * 2023-11-24 2024-03-01 苏州空天信息研究院 一种分布式的服务调用治理系统及其方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117640544A (zh) * 2023-11-24 2024-03-01 苏州空天信息研究院 一种分布式的服务调用治理系统及其方法

Similar Documents

Publication Publication Date Title
US10979290B2 (en) Discovery and mining of performance information of a device for anticipatorily sending updates to the device
US8185619B1 (en) Analytics system and method
Chow et al. On load balancing for distributed multiagent computing
Debusmann et al. SLA-driven management of distributed systems using the common information model
US20120323941A1 (en) Processing Queries for Event Data in a Foreign Representation
US7552438B1 (en) Resource management device
US20070005302A1 (en) System for metric introspection in monitoring sources
Muthusamy et al. SLA-driven business process management in SOA
CN114490268A (zh) 全链路监控方法、装置、设备、存储介质和程序产品
CN114172949A (zh) 一种微服务链路监控追踪方法和系统
CN116302827A (zh) 一种便于管理的微服务架构系统
EP3616061B1 (en) Hyper dynamic java management extension
US20180063290A1 (en) Networked device management data collection
Weng et al. Kmon: An in-kernel transparent monitoring system for microservice systems with ebpf
CN114745295A (zh) 数据采集方法、装置、设备和可读存储介质
Sandur et al. Jarvis: Large-scale server monitoring with adaptive near-data processing
US9037705B2 (en) Routing of performance data to dependent calculators
Aversa et al. Agents based monitoring of heterogeneous cloud infrastructures
US7478398B2 (en) Management apparatus and method for data collection including accumulating messages and determining message handlers for processing the accumulated messages
KR100999792B1 (ko) 스마트 객체들에 대한 통합적 모니터링을 할 수 있는 유비쿼터스 모니터링 시스템
CN110928938B (zh) 一种接口中间件系统
CN113486099A (zh) 一种内存计算服务框架及实现系统
CN115525440A (zh) 微服务调用数据处理方法、装置、介质及设备
Valerio et al. Capturing workflow event data for monitoring, performance analysis, and management of scientific workflows
KR20170122875A (ko) 데이터 분산 서비스 기반의 통합 로그 관리 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20231101

Address after: Units D, E, F, G, H, J, 10th Floor, Office Building 3, New Century Hotel, No. 6 Capital Gymnasium South Road, Haidian District, Beijing, 100080

Applicant after: BEIJING YICHE INTERCONNECTION INFORMATION TECHNOLOGY CO.,LTD.

Address before: No.10, 3rd Floor, Tengda Building, No. 168 Xizhimenwai Street, Haidian District, Beijing, 100080

Applicant before: Beijing BITAUTO Mdt InfoTech Ltd.