CN117435421A - 一种数据采集方法、装置、电子设备及存储介质 - Google Patents

一种数据采集方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN117435421A
CN117435421A CN202311258272.7A CN202311258272A CN117435421A CN 117435421 A CN117435421 A CN 117435421A CN 202311258272 A CN202311258272 A CN 202311258272A CN 117435421 A CN117435421 A CN 117435421A
Authority
CN
China
Prior art keywords
acquisition
data
log information
target
target server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311258272.7A
Other languages
English (en)
Inventor
贾诗童
王松年
孙光耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Digital Currency Institute of the Peoples Bank of China
Original Assignee
Digital Currency Institute of the Peoples Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Digital Currency Institute of the Peoples Bank of China filed Critical Digital Currency Institute of the Peoples Bank of China
Priority to CN202311258272.7A priority Critical patent/CN117435421A/zh
Publication of CN117435421A publication Critical patent/CN117435421A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/547—Messaging middleware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请关于一种数据采集方法、装置、电子设备及存储介质，涉及通信技术领域。该方法包括：响应于日志数据的产生，在目标服务器的性能参数满足预设条件的情况下，该目标服务器基于目标采集率生成多个采集任务；目标服务器执行该多个采集任务，并且向消息中间件发送已执行的采集任务对应的日志信息，电子设备从该消息中间件获取目标服务器采集的日志信息。本申请提高的数据采集方法，可以在保证服务器的性能的情况下，提高数据采集的效率，因此该电子设备可以直接从该消息中间件中获取该目标服务器采集的日志信息，提高了数据获取的实时性。

Description

一种数据采集方法、装置、电子设备及存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种数据采集方法、装置、电子设备及存储介质。
背景技术
目前，服务器被监控时，可以本地采集该服务器产生的日志信息，将该日志信息存储在磁盘中，然后通过同步工具向监控服务器发送该日志信息。
但是，上述方法中，服务器产生的日志的数量可能较多，服务器需要采集的数据也较多，此时，该服务器可能无法将磁盘中的数据实时同步至监控服务器，导致占用较多的磁盘资源，并且服务器的采集服务压力较大，降低了服务器的性能。
发明内容
本申请提供一种数据采集方法、装置、电子设备及存储介质，解决了相关技术中服务器产生的日志的数量可能较多，服务器需要采集的数据也较多，此时，该服务器可能无法将磁盘中的数据实时同步至监控服务器，导致占用较多的磁盘资源，并且服务器的采集服务压力较大，降低了服务器的性能的技术问题。
本申请实施例的技术方案如下：
根据本申请实施例的第一方面，提供一种数据采集方法，应用于目标服务器。该方法可以包括：响应于日志数据的产生，在该目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，其中，一个采集任务用于指示从该日志数据中采集M条日志信息，该日志数据中包括N条日志信息，M和N为正整数，M小于N；执行该多个采集任务，并且向消息中间件发送已执行的采集任务对应的日志信息，以使得电子设备从该消息中间件中获取该已执行的采集任务对应的日志信息。
可选地，上述数据采集方法还包括：在该日志数据的数据量大于或等于第一数据量阈值，或者该日志数据的数据量小于或等于第二数据量阈值的情况下，按照预设步长调整该目标采集率，该第一数据量阈值小于第二数据量阈值。
可选地，上述数据采集方法还包括：将该多个采集任务添加至线程池的任务队列，该任务队列用于指示该多个采集任务之间的执行顺序；基于该线程池按照该多个采集任务之间的执行顺序执行该多个采集任务。
可选地，上述将该多个采集任务添加至线程池的任务队列，具体包括：在该多个采集任务的数量小于或等于目标差值的情况下，将该多个采集任务添加至该任务队列，该目标差值为该任务队列的长度与该任务队列中待执行的采集任务的数量之间的差值。
可选地，上述将该多个采集任务添加至线程池的任务队列，具体包括：在该多个采集任务的数量大于目标差值的情况下，将该多个采集任务中X个采集任务添加至该任务队列，并且删除该多个采集任务中除该X个采集任务以外的采集任务，该目标差值等于X，X为大于或等于0的整数。
可选地，一条日志信息包括请求标识、调用方标识以及被调用方标识，该日志数据中包括链路日志信息和错误日志信息。
根据本申请实施例的第二方面，提供一种数据采集方法，应用于电子设备。该方法可以包括：从消息中间件中获取该目标服务器采集的日志信息，该日志信息为该目标服务器向该消息中间件发送的已执行的采集任务对应的日志信息，该已执行的采集任务为该目标服务器响应于日志数据的产生，在该目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，并且执行的采集任务，其中，一个采集任务用于指示从该日志数据中采集M条日志信息，该日志数据中包括N条日志信息，M和N为正整数，M小于N。
可选地，上述数据采集方法还包括：获取该目标服务器的性能参数；在该目标服务器的性能参数不满足该预设条件的情况下，向该目标服务器发送数据采集关闭通知，该数据采集关闭通知用于通知该目标服务器停止采集该日志数据。
可选地，一条日志信息包括请求标识、调用方标识以及被调用方标识，该日志信息包括链路日志信息和错误日志信息，该数据采集方法还包括：基于目标请求的请求标识确定出多个链路日志信息以及至少一个错误日志信息；基于该多个链路日志信息中每个链路日志信息包括的调用方标识以及被调用方标识，生成该目标请求对应的链路图；基于该至少一个错误日志信息中每个错误日志信息包括的调用方标识和被调用方标识，确定该每个错误日志信息在该目标请求对应的链路图中的位置。
根据本申请实施例的第三方面，提供一种数据采集装置，应用于目标服务器。该装置可以包括：处理模块和发送模块；该处理模块，被配置为响应于日志数据的产生，在该目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，其中，一个采集任务用于指示从该日志数据中采集M条日志信息，该日志数据中包括N条日志信息，M和N为正整数，M小于N；该处理模块，还被配置为执行该多个采集任务；该发送模块，被配置为向消息中间件发送已执行的采集任务对应的日志信息，以使得电子设备从该消息中间件中获取该已执行的采集任务对应的日志信息。
可选地，上述处理模块，还被配置为在该日志数据的数据量大于或等于第一数据量阈值，或者该日志数据的数据量小于或等于第二数据量阈值的情况下，按照预设步长调整该目标采集率，该第一数据量阈值小于第二数据量阈值。
可选地，上述处理模块，具体被配置为将该多个采集任务添加至线程池的任务队列，该任务队列用于指示该多个采集任务之间的执行顺序；该处理模块，还具体被配置为基于该线程池按照该多个采集任务之间的执行顺序执行该多个采集任务。
可选地，上述处理模块，还具体被配置为在该多个采集任务的数量小于或等于目标差值的情况下，将该多个采集任务添加至该任务队列，该目标差值为该任务队列的长度与该任务队列中待执行的采集任务的数量之间的差值。
可选地，上述处理模块，还具体被配置为在该多个采集任务的数量大于目标差值的情况下，将该多个采集任务中X个采集任务添加至该任务队列，并且删除该多个采集任务中除该X个采集任务以外的采集任务，该目标差值等于X，X为大于或等于0的整数。
可选地，一条日志信息包括请求标识、调用方标识以及被调用方标识，该日志数据中包括链路日志信息和错误日志信息。
根据本申请实施例的第四方面，提供一种数据采集装置，应用于电子设备。该装置可以包括：获取模块；该获取模块，被配置为从消息中间件中获取该目标服务器采集的日志信息，该日志信息为该目标服务器向该消息中间件发送的已执行的采集任务对应的日志信息，该已执行的采集任务为该目标服务器响应于日志数据的产生，在该目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，并且执行的采集任务，其中，一个采集任务用于指示从该日志数据中采集M条日志信息，该日志数据中包括N条日志信息，M和N为正整数，M小于N。
可选地，该数据采集装置还包括发送模块；该获取模块，还被配置为获取该目标服务器的性能参数；该发送模块，被配置为在该目标服务器的性能参数不满足该预设条件的情况下，向该目标服务器发送数据采集关闭通知，该数据采集关闭通知用于通知该目标服务器停止采集该日志数据。
可选地，一条日志信息包括请求标识、调用方标识以及被调用方标识，该日志信息包括链路日志信息和错误日志信息，该数据采集装置还包括确定模块和处理模块；该确定模块，被配置为基于目标请求的请求标识确定出多个链路日志信息以及至少一个错误日志信息；该处理模块，被配置为基于该多个链路日志信息中每个链路日志信息包括的调用方标识以及被调用方标识，生成该目标请求对应的链路图；该确定模块，还被配置为基于该至少一个错误日志信息中每个错误日志信息包括的调用方标识和被调用方标识，确定该每个错误日志信息在该目标请求对应的链路图中的位置。
根据本申请实施例的第五方面，提供一种电子设备，可以包括：处理器和被配置为存储处理器可执行指令的存储器；其中，处理器被配置为执行该指令，以实现上述第一方面中任一种可选地数据采集方法，或者实现上述第二方面中任一种可选地数据采集方法。
根据本申请实施例的第六方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得该电子设备能够执行上述第一方面中任一种可选地数据采集方法，或者能够执行上述第二方面中任一种可选地数据采集方法。
根据本申请实施例的第七方面，提供一种计算机程序产品，该计算机程序产品包括计算机指令，当该计算机指令在电子设备的处理器上运行时，使得该电子设备执行如第一方面中任一种可选地数据采集方法，或者执行如第二方面中任一种可选地数据采集方法。
本申请的实施例提供的技术方案至少带来以下有益效果：
基于上述任一方面，本申请中，在目标服务器的性能参数满足预设条件的情况下，说明该目标服务器的性能较好，可以执行采集日志数据的任务，此时，响应于日志数据的产生，该目标服务器可以基于目标采集率生成多个采集任务，然后执行该多个采集任务，并且向消息中间件发送已执行的采集任务对应的日志信息，该电子设备可以从该消息中间中获取该目标服务器采集的日志信息。本申请中，目标服务器可以在性能较高的情况下，生成多个采集任务，由于该目标服务器在执行该采集任务之后直接将该采集任务对应的日志信息发送至消息中间件，而无需存储至本地磁盘，降低了磁盘的占用，可以在保证服务器的性能的情况下，提高数据采集的效率，因此该电子设备可以直接从该消息中间件中获取该目标服务器采集的日志信息，提高了数据获取的实时性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理，并不构成对本申请的不当限定。
图1示出了本申请实施例提供的一种数据采集系统示意图；
图2示出了本申请实施例提供的一种目标服务器的内部结构示意图；
图3示出了本申请实施例提供的一种电子设备的内部结构示意图；
图4示出了本申请实施例提供的一种数据采集方法的流程示意图；
图5示出了本申请实施例提供的又一种数据采集方法的流程示意图；
图6示出了本申请实施例提供的又一种数据采集方法的流程示意图；
图7示出了本申请实施例提供的又一种数据采集方法的流程示意图；
图8示出了本申请实施例提供的一种数据采集装置的结构示意图；
图9示出了本申请实施例提供的又一种数据采集装置的结构示意图；
图10示出了本申请实施例提供的又一种数据采集装置的结构示意图；
图11示出了本申请实施例提供的又一种数据采集装置的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
还应当理解的是，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素和/或组件的存在或添加。
需要说明的是，本申请所涉及的数据(包括但不限于日志数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
相关技术中，在数据采集时存在服务器产生的日志的数量可能较多，服务器需要采集的数据也较多，此时，该服务器可能无法将磁盘中的数据实时同步至监控服务器的问题，进而导致占用较多的磁盘资源，并且服务器的采集服务压力较大，降低了服务器的性能。
基于此，本申请实施例提供一种数据采集方法，目标服务器可以在性能较高的情况下，生成多个采集任务，由于该目标服务器在执行该采集任务之后直接将该采集任务对应的日志信息发送至消息中间件，而无需存储至本地磁盘，降低了磁盘的占用，可以在保证服务器的性能的情况下，提高数据采集的效率，因此该电子设备可以直接从该消息中间件中获取该目标服务器采集的日志信息，提高了数据获取的实时性。
本申请实施例提供的数据采集方法、装置、电子设备及存储介质，应用于数据采集场景中。当产生日志数据时，可以依据本申请实施例提供的方法，在目标服务器的性能参数满足预设条件的情况下，生成多个采集任务，然后执行该多个采集任务，并且向消息中间件发送已执行的采集任务对应的日志信息，然后电子设备可以从消息中间件中获取该目标服务器采集的日志信息。
以下结合附图对本申请实施例提供的数据采集方法进行示例性说明：
图1为本申请实施例提供的一种数据采集系统示意图，如图1所示，该数据采集系统中可以包括服务器101、消息中间件102以及电子设备103，服务器101可以通过有线网络或无线网络与消息中间件102以及电子设备103之间建立连接。
其中，服务器101可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
消息中间件102可以为kafka。
电子设备103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(content delivery network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器，也可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等，本申请对该电子设备103的具体形态不作特殊限制。
具体的，服务器101可以向消息中间件102发送采集的日志信息，消息中间件可以接收服务器101发送的日志信息，并且向电子设备103发送该服务器101采集的日志信息，该电子设备103可以从消息中间件102获取服务器101采集的日志信息。
示例性的，如图2所示，执行本申请实施例的目标服务器可以包括监测模块、自定义数据采集模块、智能采集调整模块、线程池降级模块以及消息发送模块。
具体的，该监测模块用于监测产生的日志数据的数据量大小。
该自定义数据采集模块用于基于目标采集率生成多个采集任务，并且执行该多个采集任务。
该智能采集调整模块用于基于日志数据的数据量大小调整目标采集率。
该线程池降级模块用于在线程池的任务队列任务存放满了之后，删除后续的采集任务。
该消息发送模块用于向消息中间件发送采集的日志信息。
示例性的，如图3所示，执行本申请实施例的电子设备可以包括中间消息件降级模块、全局开关模块以及链路绘制模块。
具体的，该中间消息件降级模块用于在预设时长内没有接收到日志信息的情况下，向中间消息件发送接收失败通知。
该全局开关模块用于按照单个机器、机房或者城市等维度选择开启或者关闭其他服务器的日志数据的采集。
该链路绘制模块用于生成目标请求对应的链路图以及确定错误日志在该链路图中的位置。
结合上述图1所示的数据采集系统，下面从数据采集系统中各个设备交互的角度，对本申请实施例提供的数据采集方法进行描述。
如图4所示，该数据采集方法可以包括S101-S103。
S101、响应于日志数据的产生，目标服务器在目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务。
其中，一个采集任务用于指示从所述日志数据中采集M条日志信息，所述日志数据中包括N条日志信息，M和N为正整数，M小于N。
本申请实施例中，该日志数据为该目标服务器处理某一请求时生成的日志数据。
应理解，该目标采集率为该多个采集任务采集的日志信息的数量之和与该日志数据中包括的日志信息的数量之间的比值。
可以理解的是，在目标服务器的性能参数满足预设条件的情况下，说明该目标服务器此时的性能较高，可以执行采集日志数据的任务，此时，该目标服务器可以生成多个采集任务。
可选地，性能参数可以包括中央处理器(central processing units，CPU)、图形处理器(graphics processing unit，GPU)，该预设条件可以为CPU大于或等于CPU阈值，或者GPU大于或等于GPU阈值。
在一种可选的实现方式中，该目标服务器中可以包括多个接口，每个接口均可以产生日志数据，该目标服务器可以响应于每个接口的日志数据的产生，生成该多个采集任务。
在另一种可选的实现方式中，该目标服务器也可以响应于日志数据的产生，间隔预设时长生成该多个采集任务，该多个采集任务用于基于目标采集率采集该预设时长内产生的日志数据。
需要说明的是，该多个采集任务中每个采集任务需要采集的日志信息的数量可以相同可以不同。
S102、目标服务器执行多个采集任务，并且向消息中间件发送已执行的采集任务对应的日志信息，以使得电子设备从消息中间件中获取已执行的采集任务对应的日志信息。
应理解，该目标服务器执行一个采集任务，可以从该日志数据中采集该采集任务对应的M条日志信息，该已执行的采集任务对应的日志信息，为该目标服务器执行该采集任务之后，得到的该采集任务用于指示从该目标日志数据中采集的M条日志信息。
可以理解的是，该目标服务器执行该多个采集任务，可以在每执行一个采集任务之后，将该已执行的采集任务对应的M条日志信息发送至消息中间件。
应理解，该消息中间件用于接收数据，并且向其他服务器发送数据。
可选地，该消息中间件可以为kafka。
在一种可选的实现方式中，该目标服务器向该消息中间件发送该已执行的采集任务对应的日志信息时，可以包括该目标服务器的标识。
可选地，该目标服务器中可以包括自定义数据采集模块和消息发送模块，该目标服务器可以通过自定义采集模块生成该多个采集任务，然后执行该多个采集任务，得到采集的日志信息，然后通过消息发送模块将该采集的任务信息发送至消息中间件。
S103、电子设备从消息中间件中获取目标服务器采集的日志信息。
其中，该日志信息为该目标服务器向该消息中间件发送的已执行的采集任务对应的日志信息，该已执行的采集任务为该目标服务器响应于日志数据的产生，在该目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，并且执行的采集任务，其中，一个采集任务用于指示从该日志数据中采集M条日志信息，该日志数据中包括N条日志信息，M和N为正整数，M小于N。
本申请实施例中，该电子设备用于监控多个服务器(包括目标服务器)。
在一种可选的实现方式中，该电子设备可以基于该目标服务器的标识从该消息中间件获取该目标服务器采集的日志信息。
在另一种可选的实现方式中，该电子设备可以接收该消息中间件发送的目标服务器采集的日志信息。
在本申请实施例的一种实现方式中，该消息中间件可以每间隔预设时长向该电子设备发送该目标服务器的日志信息，在该电子设备预设时长内未接收到该消息中间件发送的日志信息的情况下，该电子设备可以向该消息中间件发送接收失败通知，该接收失败通知用于通知不再接收当前日志信息，请求将该当前日志信息保存至该消息中间件的发送失败缓存区，并且通知该消息中间件发送一条日志信息。
可以理解的是，在该电子设备预设时长内未接收到该消息中间件发送的日志信息的情况下，说明该消息中间件消息发送延时，可能该消息中间件出现异常，此时，该电子设备还可以发出黄色告警，提示相关负责人关注消息中间件的客户端和服务端的健康状态。
可选地，在该电子设备在目标时长内发出黄色告警的次数大于或等于次数阈值的情况下，可以将该黄色告警升级为红色告警。
可选地，在该消息中间件回复正常之后，该电子设备可以向该消息中间件发送消息重发请求，该消息重发请求用于请求重新发送该消息中间件保存至发送失败缓存区的日志信息重新发送至该电子设备。
可选地，该电子设备中可以包括中间消息件降级模块，该电子设备可以通过中间消息件降级模块在预设时长内没有接收到日志信息的情况下，向中间消息件发送接收失败通知。
上述实施例提供的技术方案至少带来以下有益效果：由S101-S103可知，在目标服务器的性能参数满足预设条件的情况下，说明该目标服务器的性能较好，可以执行采集日志数据的任务，此时，响应于日志数据的产生，该目标服务器可以基于目标采集率生成多个采集任务，然后执行该多个采集任务，并且向消息中间件发送已执行的采集任务对应的日志信息，该电子设备可以从该消息中间中获取该目标服务器采集的日志信息。本申请实施例中，目标服务器可以在性能较高的情况下，生成多个采集任务，由于该目标服务器在执行该采集任务之后直接将该采集任务对应的日志信息发送至消息中间件，而无需存储至本地磁盘，降低了磁盘的占用，可以在保证服务器的性能的情况下，提高数据采集的效率，因此该电子设备可以直接从该消息中间件中获取该目标服务器采集的日志信息，提高了数据获取的实时性。
在本申请实施例的一种实现方式中，在日志数据的数据量大于或等于第一数据量阈值，或者日志数据的数据量小于或等于第二数据量阈值的情况下，目标服务器可以按照预设步长调整目标采集率。
其中，该第一数据量阈值小于第二数据量阈值。
可以理解的是，在日志数据的数据量大于或等于第一数据量阈值，说明该目标服务器产生的日志数据的数量较多，此时，基于该目标采集率采集该日志数据可能导致需要采集的日志数据的数量较多，生成的采集任务较多，此时，该目标服务器可以调整该目标采集率；在该日志数据的数据量小于或等于第二数据量阈值的情况下，说明该目标服务器产生的日志数据的数量较少，生成的采集任务较少，可能影响数据监控的有效性，此时该目标服务器也可以调整该目标采集率。
具体的，该目标服务器可以在日志数据的数据量大于或等于第一数据量阈值的情况下，按照预设步长减小目标采集率，在日志数据的数据量小于或等于第二数据量阈值的情况下，按照预设步长增大目标采集率。
应理解，该目标服务器调整该目标采集率之后，可以基于该调整后的目标采集率生成多个采集任务。
在一种可选的实现方式中，该调整后的目标采集率小于或等于100％，并且大于或等于0％。
可选地，该预设步长可以为5％。
在一种可选的实现方式中，该目标服务器也可以在日志数据的产生速率大于或等于第一速率阈值，或者该日志数据的产生速率小于或等于第二速率阈值的情况下，调整该目标采集率。
可选地，该目标服务器可以记录每一次调整后的目标采集率，然后基于多次调整后的目标采集率，制作相应的大数据模型，给日后设置采集率提供参考。
可选地，该目标服务器中可以部署监控脚本，该监控脚本用于监控该日志数据产生的数量。
可选地，该目标服务器中可以包括监测模块和智能采集模块，该目标服务器可以通过监测模块监测日志数据的数据量大小，然后通过智能采集模块智能调整目标采集率。
本申请实施例中，该目标服务器在需要采集的日志数据的数量较大的情况下，调整该目标采集率，可以保证目标服务器的服务性能，在该目标服务区需要采集的日志数据的数据量较小的情况下，调整该目标采集率，可以提高监控的有效性。
结合图4，如图5所示，上述执行多个采集任务，可以包括S1021-S1022。
S1021、目标服务器将多个采集任务添加至线程池的任务队列。
其中，任务队列用于指示该多个采集任务之间的执行顺序。
本申请实施例中，该目标服务器可以创建一个用来向消息中间件发送数据的线程池的任务队列，然后将采集任务添加至该线程池的任务队列中等待执行。
可以理解的是，该任务队列中可能已经存在待执行的采集任务，此时，该任务队列用于指示该任务队列中包括的采集任务之间的执行顺序。
应理解，在该任务队列中已经存在待执行的采集任务的情况下，该目标服务器可以将该多个采集任务添加至该任务队列中其他采集任务之后。
在一种可选的实现方式中，该目标服务器中可以包括多个线程，每个线程均可以生成采集任务并且将生成的采集任务添加至线程池的任务队列中。
可选地，该目标服务器可以在创建该任务队列时，设置该任务队列的长度。
可选地，该任务队列中可能有待执行的采集任务，该目标服务器可以将该多个采集任务添加至该任务队列中包括的待执行的采集任务之后，
S1022、目标服务器基于线程池按照多个采集任务之间的执行顺序执行多个采集任务。
本申请实施例中，该目标服务器将多个采集任务添加至线程池的任务队列，由于该任务队列用于指示该多个采集任务之间的执行顺序，因此，该目标服务器可以基于该多个采集任务之间的执行顺序执行该多个采集任务，可以保证采集任务执行的有序性。
在本申请实施例的一种实现方式中，在该多个采集任务的数量小于或等于目标差值的情况下，目标服务器可以将该多个采集任务添加至该任务队列，该目标差值为该任务队列的长度与该任务队列中待执行的采集任务的数量之间的差值。
应理解，该任务队列为一定长度的任务队列，该任务队列的长度用于表征该任务队列可以存放的待执行的采集任务的数量。
可以理解的是，在该多个采集任务的数量小于或等于目标差值的情况下，说明该任务队列中的剩余长度较长，足以存放该多个采集任务，该目标服务器可以将该多个采集任务添加至该任务队列。
示例性的，假设该任务队列的长度为10，该任务队列中已存在的待执行的采集任务的数量为5，该多个采集任务的数量为3，此时，该目标服务器可以将该多个采集任务添加至该任务队列。
本申请实施例中，该目标服务器在该任务队列的剩余长度较长的情况下，将该多个采集任务添加至该任务队列，可以提高数据采集的准确性。
在本申请实施例的另一种实现方式中，在多个采集任务的数量大于目标差值的情况下，目标服务器可以将多个采集任务中X个采集任务添加至该任务队列，并且删除该多个采集任务中除该X个采集任务以外的采集任务。
其中，该目标差值等于X，X为大于或等于0的整数。
应理解，该X为该任务队列的剩余长度，即该任务队列中还可以存放的采集任务的数量。
可以理解的是，在该多个采集任务的数量大于目标差值的情况下，说明该任务队列的剩余长度大于该多个采集任务的数量，该目标服务器无法将该多个采集任务全部添加至该任务队列，此时，该目标服务器可以将多个采集任务中的X个采集任务添加至该任务队列，以使得该任务队列中剩余长度为0。
应理解，在该任务队列的剩余长度为0的情况下，说明该任务长度已满，该线程池待执行的任务较多，此时，该目标服务器可以删除多个采集任务中除该X个采集任务以外的采集任务。
可选地，该目标服务器中可以包括线程池降级模块，该目标服务器可以通过线程池降级模块将该多余的采集任务删除。
本申请实施例中，该目标服务器在该任务队列的剩余长度较短的情况下，将该任务队列填满，并且删除无法添加至任务队列的采集任务，可以减少采集的数据量，保证服务器的服务性能。
结合图4，如图6所示，该数据采集方法还包括S105-S106。
S105、电子设备获取目标服务器的性能参数。
可选地，该电子设备可以在该目标服务器中部署监控脚本，监控该目标服务器的性能参数。
S106、在目标服务器的性能参数不满足预设条件的情况下，电子设备向目标服务器发送数据采集关闭通知。
其中，该数据采集关闭通知用于通知目标服务器停止采集日志数据。
可以理解的是，在该目标服务器的性能参数不满足预设条件的情况下，说明该目标服务器执行的任务量可能较大，可能是该目标服务器产生的数据量激增，基于上述方法依然无法降低采集的数据量，此时，为了防止该目标服务器性能较差，该电子设备可以停止采集该目标服务器的日志数据，具体的，该电子设备可以向该目标服务器发送数据采集关闭通知。
可以理解的是，该目标服务器在接收到该数据采集关闭通知之后，响应于日志数据的产生，可以无需生成该多个采集任务。
可选地，该电子设备可以包括全局开关模块，该电子设备可以通过全局开关模块按照单个机器、机房或者城市等维度选择开启或者关闭其他服务器的日志数据的采集。
本申请实施例中，该电子设备在目标服务器的性能较差的情况下，不再采集该目标服务器的日志数据，可以降低数据采集对目标服务器性能的影响，提高了目标服务器的服务性能。
在本申请实施例的一种实现方式中，一条日志信息包括请求标识、调用方标识以及被调用方标识，上述日志数据中包括链路日志信息和错误日志信息。
结合图4，如图7所示，该电子设备获取到的该目标服务器的日志信息也包括链路日志信息和错误日志信息，该数据采集方法还包括S107-S109。
S107、基于目标请求的请求标识确定出多个链路日志信息以及至少一个错误日志信息。
应理解，该链路日志信息中和该错误日志信息中均包括该请求标识，因此，该电子设备可以基于该目标请求的请求标识确定出该多个链路日志信息以及至少一个错误日志信息。
在一种可选的实现方式中，该电子设备可以接收目标终端发送的链路查询请求，该链路查询请求中包括该目标请求的标识，让该电子设备可以基于目标请求的标识确定出多个链路日志信息以及至少一个错误日志信息。
S108、电子设备基于多个链路日志信息中每个链路日志信息中包括的调用方标识以及被调用方标识，生成目标请求对应的链路图。
具体的，该电子设备可以基于每个链路日志信息中包括的调用方和被调用方的标识，将该每个链路日志信息中包括的调用方和被调用方连接起来，可以得到该目标请求对应的链路图。
S109、电子设备基于至少一个错误日志信息中每个错误日志信息包括的调用方标识和被调用方标识，确定每个错误日志信息在目标请求对应的链路图中的位置。
可以理解的是，该电子设备可以确定出该每个错误日志信息中包括的调用方标识在目标链路的位置，以及该每个错误日志信息中包括的被调用方标识在该链路图的位置，然后将该调用方标识的位置与该被调用方标识的位置之间的链路，确定为该每个错误日志信息在该链路图中的位置。
可选地，该电子设备还可以显示该链路图以及在该链路图中显示该至少一个错误日志信息。
在一种可选的实现方式中，该电子设备还可以向终端发送该链路图以及该至少一个错误日志信息在该链路图中的位置。
可选地，该电子设备中可以包括链路绘制模块，该电子设备可以通过链路绘制模块生成目标请求对应的链路图以及确定错误日志在该链路图中的位置。
本申请实施例中，电子设备基于目标请求的请求标识生成目标请求对应的链路图，以及确定该至少一个错误日志在该链路图的位置，可以准确的定位该错误日志出现的位置，便于对该错误日志中包括的报错信息进行分析，能够提高数据监控的有效性。
可以理解的，在实际实施时，本申请实施例该的电子设备/服务器可以包含有用于实现前述对应数据采集方法的一个或多个硬件结构和/或软件模块，这些执行硬件结构和/或软件模块可以构成一个电子设备。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
基于这样的理解，本申请实施例还对应提供一种数据采集装置，图8示出了本申请实施例提供的数据采集装置的一种结构示意图。如图8所示，该数据采集装置20可以包括：处理模块201和发送模块202。
处理模块201，被配置为响应于日志数据的产生，在该目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，其中，一个采集任务用于指示从该日志数据中采集M条日志信息，该日志数据中包括N条日志信息，M和N为正整数，M小于N。
处理模块201，还被配置为执行该多个采集任务。
发送模块202，被配置为向消息中间件发送已执行的采集任务对应的日志信息，以使得电子设备从该消息中间件中获取该已执行的采集任务对应的日志信息。
可选地，处理模块201，还被配置为在该日志数据的数据量大于或等于第一数据量阈值，或者该日志数据的数据量小于或等于第二数据量阈值的情况下，按照预设步长调整该目标采集率，该第一数据量阈值小于第二数据量阈值。
可选地，处理模块201，具体被配置为将该多个采集任务添加至线程池的任务队列，该任务队列用于指示该多个采集任务之间的执行顺序。
处理模块201，还具体被配置为基于该线程池按照该多个采集任务之间的执行顺序执行该多个采集任务。
可选地，处理模块201，还具体被配置为在该多个采集任务的数量小于或等于目标差值的情况下，将该多个采集任务添加至该任务队列，该目标差值为该任务队列的长度与该任务队列中待执行的采集任务的数量之间的差值。
可选地，处理模块，还具体被配置为在该多个采集任务的数量大于目标差值的情况下，将该多个采集任务中X个采集任务添加至该任务队列，并且删除该多个采集任务中除该X个采集任务以外的采集任务，该目标差值等于X，X为大于或等于0的整数。
可选地，一条日志信息包括请求标识、调用方标识以及被调用方标识，该日志数据中包括链路日志信息和错误日志信息。
如上该，本申请实施例可以根据上述方法示例对数据采集装置进行功能模块的划分。其中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，还需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的数据采集装置，其中各个模块执行操作的具体方式、以及具备的有益效果，均已经在前述方法实施例中进行了详细描述，此处不再赘述。
图9是本申请提供的另一种数据采集装置的结构示意图。如图9，该数据采集装置30可以包括至少一个处理器301以及用于存储处理器可执行指令的存储器303。其中，处理器301被配置为执行存储器303中的指令，以实现上述实施例中的数据采集方法。
另外，数据采集装置30还可以包括通信总线302以及至少一个通信接口304。
处理器301可以是一个CPU，微处理单元，ASIC，或一个或多个用于控制本申请方案程序执行的集成电路。
通信总线302可包括一通路，在上述组件之间传送信息。
通信接口304，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
存储器303可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
其中，存储器303用于存储执行本申请方案的指令，并由处理器301来控制执行。处理器301用于执行存储器303中存储的指令，从而实现本申请方法中的功能。
在具体实现中，作为一种实施例，处理器301可以包括一个或多个CPU，例如图9中的CPU0和CPU1。
在具体实现中，作为一种实施例，数据采集装置30可以包括多个处理器，例如图9中的处理器301和处理器307。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，数据采集装置30还可以包括输出设备305和输入设备306。输出设备305和处理器301通信，可以以多种方式来显示信息。例如，输出设备305可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备306和处理器301通信，可以以多种方式接受用户的输入。例如，输入设备306可以是鼠标、键盘、触摸屏设备或传感设备等。
本领域技术人员可以理解，图9中示出的结构并不构成对数据采集装置30的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
图10示出了本申请实施例提供的数据采集装置的另一种结构示意图。如图10所示，该数据采集装置40可以包括：获取模块401。
获取模块401，被配置为从消息中间件中获取该目标服务器采集的日志信息，该日志信息为该目标服务器向该消息中间件发送的已执行的采集任务对应的日志信息，该已执行的采集任务为该目标服务器响应于日志数据的产生，在该目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，并且执行的采集任务，其中，一个采集任务用于指示从该日志数据中采集M条日志信息，该日志数据中包括N条日志信息，M和N为正整数，M小于N。
可选地，该数据采集模块40还包括发送模块402。
获取模块401，还被配置为获取该目标服务器的性能参数。
发送模块402，被配置为在该目标服务器的性能参数不满足该预设条件的情况下，向该目标服务器发送数据采集关闭通知，该数据采集关闭通知用于通知该目标服务器停止采集该日志数据。
可选地，一条日志信息包括请求标识、调用方标识以及被调用方标识，该日志信息包括链路日志信息和错误日志信息，该数据采集装置40还包括确定模块403和处理模块404。
确定模块403，被配置为基于目标请求的请求标识确定出多个链路日志信息以及至少一个错误日志信息。
处理模块404，被配置为基于该多个链路日志信息中每个链路日志信息包括的调用方标识以及被调用方标识，生成该目标请求对应的链路图。
确定模块403，还被配置为基于该至少一个错误日志信息中每个错误日志信息包括的调用方标识和被调用方标识，确定该每个错误日志信息在该目标请求对应的链路图中的位置。
如上所述，本申请实施例可以根据上述方法示例对数据采集装置进行功能模块的划分。其中，上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。另外，还需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的数据采集装置，其中各个模块执行操作的具体方式、以及具备的有益效果，均已经在前述方法实施例中进行了详细描述，此处不再赘述。
图11是本申请提供的另一种数据采集装置的结构示意图。如图11，该数据采集装置50可以包括至少一个处理器501以及用于存储处理器可执行指令的存储器503。其中，处理器501被配置为执行存储器503中的指令，以实现上述实施例中的数据采集方法。
另外，数据采集装置50还可以包括通信总线502以及至少一个通信接口504。
处理器501可以是一个处理器(central processing units，CPU)，微处理单元，ASIC，或一个或多个用于控制本申请方案程序执行的集成电路。
通信总线502可包括一通路，在上述组件之间传送信息。
通信接口504，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
存储器503可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起。
其中，存储器503用于存储执行本申请方案的指令，并由处理器501来控制执行。处理器501用于执行存储器503中存储的指令，从而实现本申请方法中的功能。
在具体实现中，作为一种实施例，处理器501可以包括一个或多个CPU，例如图11中的CPU0和CPU1。
在具体实现中，作为一种实施例，数据采集装置50可以包括多个处理器，例如图11中的处理器501和处理器507。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，数据采集装置50还可以包括输出设备505和输入设备506。输出设备505和处理器501通信，可以以多种方式来显示信息。例如，输出设备505可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备506和处理器501通信，可以以多种方式接受用户的输入。例如，输入设备506可以是鼠标、键盘、触摸屏设备或传感设备等。
本领域技术人员可以理解，图11中示出的结构并不构成对数据采集装置50的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
另外，本申请还提供一种计算机可读存储介质，包括指令，当指令由电子设备的处理器执行时，使得电子设备执行如上述实施例所提供的数据采集方法。
另外，本申请还提供一种计算机程序产品，包括指令，当指令由电子设备的处理器执行时，使得电子设备执行如上述实施例所提供的数据采集方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

Claims (13)

1.一种数据采集方法，其特征在于，应用于目标服务器，包括：
响应于日志数据的产生，在所述目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，其中，一个采集任务用于指示从所述日志数据中采集M条日志信息，所述日志数据中包括N条日志信息，M和N为正整数，M小于N；
执行所述多个采集任务，并且向消息中间件发送已执行的采集任务对应的日志信息，以使得电子设备从所述消息中间件中获取所述已执行的采集任务对应的日志信息。
2.根据权利要求1所述的数据采集方法，其特征在于，所述方法还包括：
在所述日志数据的数据量大于或等于第一数据量阈值，或者所述日志数据的数据量小于或等于第二数据量阈值的情况下，按照预设步长调整所述目标采集率，所述第一数据量阈值小于第二数据量阈值。
3.根据权利要求1所述的数据采集方法，其特征在于，所述执行所述多个采集任务，包括：
将所述多个采集任务添加至线程池的任务队列，所述任务队列用于指示所述多个采集任务之间的执行顺序；
基于所述线程池按照所述多个采集任务之间的执行顺序执行所述多个采集任务。
4.根据权利要求3所述的数据采集方法，其特征在于，所述将所述多个采集任务添加至线程池的任务队列，包括：
在所述多个采集任务的数量小于或等于目标差值的情况下，将所述多个采集任务添加至所述任务队列，所述目标差值为所述任务队列的长度与所述任务队列中待执行的采集任务的数量之间的差值。
5.根据权利要求3所述的数据采集方法，其特征在于，所述将所述多个采集任务添加至线程池的任务队列，包括：
在所述多个采集任务的数量大于目标差值的情况下，将所述多个采集任务中X个采集任务添加至所述任务队列，并且删除所述多个采集任务中除所述X个采集任务以外的采集任务，所述目标差值等于X，X为大于或等于0的整数。
6.根据权利要求1所述的数据采集方法，其特征在于，一条日志信息包括请求标识、调用方标识以及被调用方标识，所述日志数据中包括链路日志信息和错误日志信息。
7.一种数据采集方法，其特征在于，应用于电子设备，包括：
从消息中间件中获取目标服务器采集的日志信息，所述日志信息为所述目标服务器向所述消息中间件发送的已执行的采集任务对应的日志信息，所述已执行的采集任务为所述目标服务器响应于日志数据的产生，在所述目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，并且执行的采集任务，其中，一个采集任务用于指示从所述日志数据中采集M条日志信息，所述日志数据中包括N条日志信息，M和N为正整数，M小于N。
8.根据权利要求7所述的数据采集方法，其特征在于，所述方法还包括：
获取所述目标服务器的性能参数；
在所述目标服务器的性能参数不满足所述预设条件的情况下，向所述目标服务器发送数据采集关闭通知，所述数据采集关闭通知用于通知所述目标服务器停止采集所述日志数据。
9.根据权利要求7所述的数据采集方法，其特征在于，一条日志信息包括请求标识、调用方标识以及被调用方标识，所述日志信息包括链路日志信息和错误日志信息，所述方法还包括：
基于目标请求的请求标识确定出多个链路日志信息以及至少一个错误日志信息；
基于所述多个链路日志信息中每个链路日志信息包括的调用方标识以及被调用方标识，生成所述目标请求对应的链路图；
基于所述至少一个错误日志信息中每个错误日志信息包括的调用方标识和被调用方标识，确定所述每个错误日志信息在所述目标请求对应的链路图中的位置。
10.一种数据采集装置，其特征在于，应用于目标服务器，包括：处理模块和发送模块；
所述处理模块，被配置为响应于日志数据的产生，在所述目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，其中，一个采集任务用于指示从所述日志数据中采集M条日志信息，所述日志数据中包括N条日志信息，M和N为正整数，M小于N；
所述处理模块，还被配置为执行所述多个采集任务；
所述发送模块，被配置为向消息中间件发送已执行的采集任务对应的日志信息，以使得电子设备从所述消息中间件中获取所述已执行的采集任务对应的日志信息。
11.一种数据采集装置，其特征在于，应用于电子设备，包括：获取模块；
所述获取模块，被配置为从消息中间件中获取所述目标服务器采集的日志信息，所述日志信息为所述目标服务器向所述消息中间件发送的已执行的采集任务对应的日志信息，所述已执行的采集任务为所述目标服务器响应于日志数据的产生，在所述目标服务器的性能参数满足预设条件的情况下，基于目标采集率生成多个采集任务，并且执行的采集任务，其中，一个采集任务用于指示从所述日志数据中采集M条日志信息，所述日志数据中包括N条日志信息，M和N为正整数，M小于N。
12.一种电子设备，其特征在于，所述电子设备包括：
处理器；
被配置为存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1-6中任一项所述的数据采集方法，或者实现如权利要求7-9中任一项所述的数据采集方法。
13.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的数据采集方法，或者能够执行如权利要求7-9中任一项所述的数据采集方法。
CN202311258272.7A 2023-09-26 2023-09-26 一种数据采集方法、装置、电子设备及存储介质 Pending CN117435421A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311258272.7A CN117435421A (zh) 2023-09-26 2023-09-26 一种数据采集方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311258272.7A CN117435421A (zh) 2023-09-26 2023-09-26 一种数据采集方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117435421A true CN117435421A (zh) 2024-01-23

Family

ID=89557428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311258272.7A Pending CN117435421A (zh) 2023-09-26 2023-09-26 一种数据采集方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117435421A (zh)

Similar Documents

Publication Publication Date Title
CN108845910B (zh) 大规模微服务系统的监控方法、装置及存储介质
WO2016184175A1 (zh) 数据库处理方法及装置
US10389801B2 (en) Service request processing method, related apparatus, and system
CN105656810B (zh) 一种更新应用程序的方法及装置
CN108696400A (zh) 网络监测方法和装置
CN109298960A (zh) 应用崩溃处理方法、装置、计算机装置及存储介质
CN112422497B (zh) 消息传递方法、装置及计算机设备
CN113900834B (zh) 基于物联网技术的数据处理方法、装置、设备及存储介质
CN103259684A (zh) 互联网业务监控方法和系统
CN111200606A (zh) 深度学习模型任务处理方法、系统、服务器及存储介质
CN110071952B (zh) 服务调用量的控制方法和装置
CN109639490B (zh) 一种宕机通知方法及装置
CN109788251B (zh) 视频处理方法、装置及存储介质
CN105490835B (zh) 信息监控方法和装置
CN113407340A (zh) 业务控制系统、网关服务方法、业务请求转发方法及装置
EP3373608B1 (en) Method and apparatus for acquiring resources
CN111427674A (zh) 一种微服务管理方法、装置及系统
CN116032932A (zh) 针对边缘服务器的集群管理方法、系统、设备及介质
CN117435421A (zh) 一种数据采集方法、装置、电子设备及存储介质
CN108234658B (zh) 一种感知服务器集群健康状况的方法、装置和服务器
CN113965563B (zh) 基于模型的业务处理方法及装置、服务器
CN113867946A (zh) 访问资源的方法、装置、存储介质及电子设备
CN109508356B (zh) 数据异常预警方法、装置、计算机设备及存储介质
CN113079065A (zh) 基于Ambari的心跳检测方法、装置、设备及介质
CN115333917A (zh) 一种cdn异常检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination