CN111782443A - 数据处理的方法、装置及电子设备 - Google Patents
数据处理的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111782443A CN111782443A CN202010486050.0A CN202010486050A CN111782443A CN 111782443 A CN111782443 A CN 111782443A CN 202010486050 A CN202010486050 A CN 202010486050A CN 111782443 A CN111782443 A CN 111782443A
- Authority
- CN
- China
- Prior art keywords
- information
- service
- business process
- service process
- fault
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 180
- 230000008569 process Effects 0.000 claims abstract description 149
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000004590 computer program Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 6
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000010586 diagram Methods 0.000 description 8
- 238000005192 partition Methods 0.000 description 6
- 239000000523 sample Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013024 troubleshooting Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2294—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing by remote test
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
- G06F11/2273—Test methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/362—Software debugging
- G06F11/3644—Software debugging by instrumenting at runtime
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明实施例公开了一种数据处理的方法、装置及电子设备，用于解决现有技术中在进行问题定位时，人工查看日志的方式容易误判且效率较低的问题。本发明实施例通过获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；将每个所述业务进程的关联信息保存到数据库中；响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用所述业务进程的关联信息。
Description
技术领域
本发明涉及计算机技术领域，具体涉及一种数据处理的方法、装置及电子设备。
背景技术
随着系统架构的日益复杂及日趋分布式化，分布式系统成为现在比较主流的系统，即一个系统的不同模块由不同的团队，甚至使用不同的语言来进行实现的，分布式系统可以实现快速开发，但在发生故障时，会存在问题定位困难的问题。
现有技术中，在分布式系统下进行问题定位时，通过人工查看日志的方式进行问题定位，但是由于分布式系统的节点较多，且业务逻辑越来越复杂，人工查看日志的方式容易误判且效率较低。
综上所述，如何对分布式系统中的问题进行准确快速的定位，是目前需要解决的问题。
发明内容
有鉴于此,本发明实施例提供了一种数据处理的方法、装置及电子设备，用于解决现有技术中在进行问题定位时，人工查看日志的方式容易误判且效率较低的问题。
第一方面，本发明实施例提供了一种数据处理的方法，该方法包括：获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；将每个所述业务进程的关联信息保存到数据库中；响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
优选地，该方法还包括：显示所述发生故障的所述业务进程对应的所述关联信息。
优选地，所述获取任一业务对应的至少一个业务进程，具体包括：通过链路追踪的方式，获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息。
优选地，所述至少一个业务进程中排序在前面的第一业务进程可以调用排序在所述第一业务进程后面相邻的第二业务进程。
优选地，所述链路追踪的方式具体包括：日志埋点与交换机旁路抓取网络数据包，其中，所述日志埋点为在分布式技术平台DSP中进行埋点，所述DSP对应的代码与所述业务对应的业务代码不相关。
优选地，所述网络数据包中包括跟踪标识和时间戳。
优选地，所述硬件信息包括：所述业务进程对应的中央处理机CPU信息、内存信息、以及硬盘信息。
优选地，调用发生故障的所述业务进程对应的所述关联信息，具体包括：获取所述业务进程的跟踪标识以及时间戳；根据所述跟踪标识以及时间戳在所述日志信息中获取所述业务进程对应的日志信息、硬件信息、以及堆栈信息。
第二方面，本发明实施例提供了一种数据处理的装置，该装置包括：获取单元，用于获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；保存单元，用于将每个所述业务进程的关联信息保存到数据库中；显示单元，用于响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；处理单元，用于接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。
第四方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如下步骤：获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；将每个所述业务进程的关联信息保存到数据库中；响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
优选地，所述处理器还执行：显示所述发生故障的所述业务进程对应的所述关联信息。
优选地，所述处理器具体执行：通过链路追踪的方式，获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息。
优选地，所述至少一个业务进程中排序在前面的第一业务进程可以调用排序在所述第一业务进程后面相邻的第二业务进程。
优选地，所述链路追踪的方式具体包括：日志埋点与交换机旁路抓取网络数据包，其中，所述日志埋点为在分布式技术平台DSP中进行埋点，所述DSP对应的代码与所述业务对应的业务代码不相关。
优选地，所述网络数据包中包括跟踪标识和时间戳。
优选地，所述硬件信息包括：所述业务进程对应的中央处理机CPU信息、内存信息、以及硬盘信息。
优选地，所述处理器具体执行：获取所述业务进程的跟踪标识以及时间戳；根据所述跟踪标识以及时间戳在所述日志信息中获取所述业务进程对应的日志信息、硬件信息、以及虚拟机的堆栈信息。
本发明实施例通过获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；将每个所述业务进程的关联信息保存到数据库中；响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
本发明实施例的有益效果包括：通过上述方法，可以对分布式系统中的问题进行准确快速的定位。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：
图1是本发明第一实施例的数据处理的方法流程图；
图2是本发明第一实施例的数据处理的方法流程图；
图3是本发明第一实施例的界面显示示意图；
图4是本发明第一实施例的界面显示示意图；
图5是本发明第二实施例的数据处理的装置示意图；
图6是本发明第三实施例的电子设备的示意图。
具体实施方式
以下基于实施例对本发明公开进行描述，但是本发明公开并不仅仅限于这些实施例。在下文对本发明公开的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明公开。为了避免混淆本发明公开的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。
此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。
除非上下文明确要求，否则整个申请文件中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
在本发明公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
现有技术中分布式系统成为现在比较主流的系统，即一个系统的不同模块由不同的团队开发，甚至使用不同的语言来进行实现的，因此分布式系统可以实现快速开发，但在发生故障时，会存在问题定位困难的问题。例如，分布式系统中的微服务框架，在进行问题定位时，通过人工查看日志的方式进行问题定位，但是由于微服务框架的节点较多，且业务逻辑越来越复杂，人工查看日志的方式容易误判且效率较低。并且在微服务框架下，在定位问题的过程中，需要进行链路追踪，例如，通过z i pk i n探针的形式实现，具体的，以业务组件的方式将探针引入到需要检测的业务中，在业务代码中进行埋点，通过对探针进行配置后将日志发送到监控服务端，人工查找发送到监控服务端的日志，进行问题定位，由于人工查找日志的方式较慢，当用户请求出现异常时或业务反应慢时，无法快速定位到出现问题的系统；并且由于采用探针的形式在业务代码中进行埋点，属于入侵式部署，在业务中引入业务组件，增加了开发的负担；入侵部署在业务代码内部的探针，属于进程的部件，消耗系统资源降低服务的性能；且难以适用于多语言混合编译的分布式系统中。综上，如何对分布式系统中的问题进行准确快速的定位是目前需要解决的问题，如何改进现有的链路追踪方式，减轻开发的负担，提高系统性能，也是需要解决的问题之一。
本发明实施例中，所述节点还可以成为进程，本发明实施例对其不做限定。
图1是本发明第一实施例的数据处理的方法流程图。如图1所示，具体包括如下步骤：
步骤S100、获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息。
具体的，通过链路追踪的方式，获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息；其中，所述链路追踪的方式具体包括：日志埋点与交换机旁路抓取网络数据包，所述日志埋点为在分布式技术平台(Di str ibuted techno l ogy p latform，DSP)中进行埋点，所述DSP对应的代码与所述业务对应的业务代码不相关；所述网络数据包中包括跟踪标识trace Id和时间戳等；所述硬件信息包括：所述业务进程对应的中央处理机CPU信息、内存信息、以及硬盘信息；所述虚拟机的堆栈信息还可以称为所述业务进程的Java虚拟机堆栈信息，包括进程当前的堆栈状态，通过分析当前堆栈的状态可以知道当前进程在等待的资源以及占有的资源。
可选的，所述关联信息还包括Act i on的运行信息。
本发明实施例中，所述至少一个业务进程中排序在前面的第一业务进程可以调用排序在所述第一业务进程后面相邻的第二业务进程，例如，一个业务有八个业务进程，其中，排序在第一位的业务进程可以调用排序在第二位的业务进程，排序在第二位的业务进程可以调用排序在第三位的业务进程，以此类推，本发明实施例对其不再赘述。
本发明实施例中，根据网络数据包包头中的跟踪标识trace I d与在DSP中进行日志埋点相结合，进行链路追踪，针对不同的业务，可以追踪到不用的业务进程，例如，做市报价提交业务，可以追踪到8个业务进程，也可以称为进程。通过交换机旁路抓取网络数据包可以基于设定的组包规则会获取完成的网络数据包，将获取的网络数据包经过包解析规则进行业务字段解析，获取到网络数据包的跟踪标识trace I d、源系统、目标系统以及时间戳等信息。同时，获取中央处理机CPU信息、内存信息、以及硬盘信息。本发明实施例中，在DSP中进行日志埋点，不需要入侵业务代码，提高了系统性能。
举例说明，做市报价提交业务，根据链路追踪，确定出的8个业务进程如图2所示，按照顺序分别为网关、做市报价预处理进程、做市报价核心进程、订单推送进程、数据交换节点、数据交换节点、报价路由服务进程、以及报价行情计算服务进程。
步骤S101、将每个所述业务进程的关联信息保存到数据库中。
本发明实施例中，将日志信息、中央处理机CPU信息、内存信息、硬盘信息、堆栈信息分类存储到数据库中，且上述信息与trace I d以及时间戳相关连，便于后续调用。
在一种可能的实施方式中，上述数据库可以为开源的搜索引擎(e l ast icsearch,ES),也可以为其他数据库，本发明实施例对其不做限定。
步骤S102、响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程。
本发明实施例中，如图2所示，假设做市报价提交业务在运行过程中，出现故障，则出现故障的第三个业务进程通过设定方式显示，例如，将该业务进程通过灰色或红色显示。
在一种可能的实现方式中，显示所述业务进程的界面也可以成为一站式排障助手，即将分布式系统中不同系统的信息进行收集，在定位问题时，可以直接通过所述一站式排障助手显示问题所在进程，无需在多个系统中进行切换。
步骤S103、接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
本发明实施例中，假设出现故障时，用户可以点击出现故障的进程，一站式排障助手所在的监控终端接收到关联信息调用请求，获取所述业务进程的跟踪标识以及时间戳；根据所述跟踪标识以及时间戳在所述日志信息中获取所述业务进程对应的日志信息、硬件信息、以及虚拟机的堆栈信息。
举例说明，假设图2中做市报价提交业务中第三个业务进程做市报价核心进程出现故障，根据该进程网络数据包对应的跟踪标识以及时间戳，确定出对应的关联信息具体为系统运行时间、CPU核数、内存总量、CPU使用率、内存使用率、当前打开的文件描述符、根分区使用率、最大分区使用率、系统平均负载、磁片总空间、各分区可用空间、磁片每秒的I/O操作耗费时间、内存信息、日志信息、虚拟机的堆栈信息等。
图3是本发明第一实施例的数据处理的方法流程图。如图3所示，具体包括如下步骤：
步骤S104、显示所述发生故障的所述业务进程对应的所述关联信息。
本发明实施例中，所述发生故障的所述业务进程对应的所述关联信息在监控终端中显示，显示界面如图4所示，系统运行时间为4.9Day、CPU核数为4、内存总量为7.64GiB、CPU使用率为100％、内存使用率为20％、当前打开的文件描述符为1.76k、根分区使用率为N/A、最大分区使用率为9％、系统平均负载、磁片总空间、各分区可用空间、磁片每秒的I/O操作耗费时间、内存信息、日志信息、虚拟机的堆栈信息等。具体的，将上述方法与高速内存计算框架(H i gh Performance memory Process Engi ne，HPPE)、Java开发等相结合，根据时间戳匹配硬件信息，以及虚拟机(Java Vi rtua l Mach i ne，JVM)的堆栈信息。
图5是本发明第二实施例的数据处理的装置示意图。如图5所示，本实施例的装置包括获取单元51、保存单元52、显示单元53和处理单元54。
其中，获取单元51，用于获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；保存单元52，用于将每个所述业务进程的关联信息保存到数据库中；显示单元53，用于响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；处理单元54，用于接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
进一步地，所述显示单元53还用于：显示所述发生故障的所述业务进程对应的所述关联信息。
进一步地，所述至少一个业务进程中排序在前面的第一业务进程可以调用排序在所述第一业务进程后面相邻的第二业务进程。
进一步地，所述获取单元51具体用于：通过链路追踪的方式，获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息。
进一步地，所述链路追踪的方式具体包括：日志埋点与交换机旁路抓取网络数据包，其中，所述日志埋点为在分布式技术平台DSP中进行埋点，所述DSP对应的代码与所述业务对应的业务代码不相关。
进一步地，所述网络数据包中包括跟踪标识和时间戳。
进一步地，所述硬件信息包括：所述业务进程对应的中央处理机CPU信息、内存信息、以及硬盘信息。
进一步地，所述处理单元54具体用于：获取所述业务进程的跟踪标识以及时间戳；根据所述跟踪标识以及时间戳在所述日志信息中获取所述业务进程对应的日志信息、硬件信息、以及虚拟机的堆栈信息。
图6是本发明第三实施例的电子设备的示意图。图6所示的电子设备为数据处理的装置，其包括通用的计算机硬件结构，其至少包括处理器61和存储器62。处理器61和存储器62通过总线63连接。存储器62适于存储处理器61可执行的指令或程序。处理器61可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器61通过执行存储器62所存储的指令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其它装置的控制。总线63将上述多个组件连接在一起，同时将上述组件连接到显示控制器64和显示装置以及输入/输出(I/O)装置65。输入/输出(I/O)装置65可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出装置65通过输入/输出(I/O)控制器66与系统相连。
如本领域技术人员将意识到的，本发明实施例的各个方面可以被实现为系统、方法或计算机程序产品。因此，本发明实施例的各个方面可以采取如下形式：完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或者在本文中通常可以都称为“电路”、“模块”或“系统”的将软件方面与硬件方面相结合的实施方式。此外，本发明实施例的各个方面可以采取如下形式：在一个或多个计算机可读介质中实现的计算机程序产品，计算机可读介质具有在其上实现的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是如(但不限于)电子的、磁的、光学的、电磁的、红外的或半导体系统、设备或装置，或者前述的任意适当的组合。计算机可读存储介质的更具体的示例(非穷尽列举)将包括以下各项：具有一根或多根电线的电气连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置或前述的任意适当的组合。在本发明实施例的上下文中，计算机可读存储介质可以为能够包含或存储由指令执行系统、设备或装置使用的程序或结合指令执行系统、设备或装置使用的程序的任意有形介质。
计算机可读信号介质可以包括传播的数据信号，所述传播的数据信号具有在其中如在基带中或作为载波的一部分实现的计算机可读程序代码。这样的传播的信号可以采用多种形式中的任何形式，包括但不限于：电磁的、光学的或其任何适当的组合。计算机可读信号介质可以是以下任意计算机可读介质：不是计算机可读存储介质，并且可以对由指令执行系统、设备或装置使用的或结合指令执行系统、设备或装置使用的程序进行通信、传播或传输。
可以使用包括但不限于无线、有线、光纤电缆、RF等或前述的任意适当组合的任意合适的介质来传送实现在计算机可读介质上的程序代码。
用于执行针对本发明实施例各方面的操作的计算机程序代码可以以一种或多种编程语言的任意组合来编写，所述编程语言包括：面向对象的编程语言如Java、Sma l l tal k、C++等；以及常规过程编程语言如“C”编程语言或类似的编程语言。程序代码可以作为独立软件包完全地在用户计算机上、部分地在用户计算机上执行；部分地在用户计算机上且部分地在远程计算机上执行；或者完全地在远程计算机或服务器上执行。在后一种情况下，可以将远程计算机通过包括局域网(LAN)或广域网(WAN)的任意类型的网络连接至用户计算机，或者可以与外部计算机进行连接(例如通过使用因特网服务供应商的因特网)。
上述根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图图例和/或框图描述了本发明实施例的各个方面。将要理解的是，流程图图例和/或框图的每个块以及流程图图例和/或框图中的块的组合可以由计算机程序指令来实现。这些计算机程序指令可以被提供至通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得(经由计算机或其它可编程数据处理设备的处理器执行的)指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。
还可以将这些计算机程序指令存储在可以指导计算机、其它可编程数据处理设备或其它装置以特定方式运行的计算机可读介质中，使得在计算机可读介质中存储的指令产生包括实现在流程图和/或框图块或块中指定的功能/动作的指令的制品。
计算机程序指令还可以被加载至计算机、其它可编程数据处理设备或其它装置上，以使在计算机、其它可编程设备或其它装置上执行一系列可操作步骤来产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现在流程图和/或框图块或块中指定的功能/动作的过程。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种数据处理的方法，其特征在于，该方法包括：
获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；
将每个所述业务进程的关联信息保存到数据库中；
响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；
接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
2.如权利要求1所述的方法，其特征在于，该方法还包括：
显示所述发生故障的所述业务进程对应的所述关联信息。
3.如权利要求1所述的方法，其特征在于，所述获取任一业务对应的至少一个业务进程，具体包括：
通过链路追踪的方式，获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息。
4.如权利要求1所述的方法，其特征在于，所述至少一个业务进程中排序在前面的第一业务进程可以调用排序在所述第一业务进程后面相邻的第二业务进程。
5.如权利要求3所述的方法，其特征在于，所述链路追踪的方式具体包括：日志埋点与交换机旁路抓取网络数据包，其中，所述日志埋点为在分布式技术平台DSP中进行埋点，所述DSP对应的代码与所述业务对应的业务代码不相关。
6.如权利要求3所述的方法，其特征在于，所述网络数据包中包括跟踪标识和时间戳。
7.如权利要求1所述的方法，其特征在于，所述硬件信息包括：所述业务进程对应的中央处理机CPU信息、内存信息、以及硬盘信息。
8.如权利要求1所述的方法，其特征在于，调用发生故障的所述业务进程对应的所述关联信息，具体包括：
获取所述业务进程的跟踪标识以及时间戳；
根据所述跟踪标识以及时间戳在所述日志信息中获取所述业务进程对应的日志信息、硬件信息、以及堆栈信息。
9.一种数据处理的装置，其特征在于，该装置包括：
获取单元，用于获取任一业务对应的至少一个业务进程，及每个所述业务进程的关联信息，其中，所述关联信息包括日志信息、硬件信息、以及虚拟机的堆栈信息；
保存单元，用于将每个所述业务进程的关联信息保存到数据库中；
显示单元，用于响应于任一所述业务进程发生故障，通过设定方式显示发生故障的所述业务进程；
处理单元，用于接收到关联信息调用请求，调用发生故障的所述业务进程对应的所述关联信息，其中，所述关联信息调用请求用于调用数据库中所述业务进程的关联信息。
10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010486050.0A CN111782443A (zh) | 2020-06-01 | 2020-06-01 | 数据处理的方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010486050.0A CN111782443A (zh) | 2020-06-01 | 2020-06-01 | 数据处理的方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111782443A true CN111782443A (zh) | 2020-10-16 |
Family
ID=72753972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010486050.0A Pending CN111782443A (zh) | 2020-06-01 | 2020-06-01 | 数据处理的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111782443A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130019006A1 (en) * | 2011-07-12 | 2013-01-17 | Sap Ag | Managing process logs |
| CN107330034A (zh) * | 2017-06-26 | 2017-11-07 | 百度在线网络技术（北京）有限公司 | 一种日志分析方法和装置、计算机设备、存储介质 |
| CN110007957A (zh) * | 2018-12-17 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 调用链路构建方法、装置及设备 |
| CN110191000A (zh) * | 2019-06-10 | 2019-08-30 | 中汇信息技术（上海）有限公司 | 一种数据处理方法、消息追踪监控方法和分布式系统 |
-
2020
- 2020-06-01 CN CN202010486050.0A patent/CN111782443A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130019006A1 (en) * | 2011-07-12 | 2013-01-17 | Sap Ag | Managing process logs |
| CN107330034A (zh) * | 2017-06-26 | 2017-11-07 | 百度在线网络技术（北京）有限公司 | 一种日志分析方法和装置、计算机设备、存储介质 |
| CN110007957A (zh) * | 2018-12-17 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 调用链路构建方法、装置及设备 |
| CN110191000A (zh) * | 2019-06-10 | 2019-08-30 | 中汇信息技术（上海）有限公司 | 一种数据处理方法、消息追踪监控方法和分布式系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8738682B2 (en) | Monitoring a path of a transaction across a composite application | |
| CN108833131A (zh) | 分布式数据库云服务的系统、方法、设备和计算机存储介质 | |
| US8683268B2 (en) | Key based cluster log coalescing | |
| JP2015528612A (ja) | 分散システムにおいてユーザリクエストの実行を監視するための方法及びシステム | |
| CN111563014A (zh) | 接口服务性能测试方法、装置、设备和存储介质 | |
| CN110069358A (zh) | 调用链跟踪分析方法、装置、电子设备及存储介质 | |
| CN109614262A (zh) | 业务校验方法、装置及计算机可读存储介质 | |
| CN107025167A (zh) | 在处理器追踪日志中使用编译器类型信息进行数据流分析的方法和设备 | |
| CN110647447A (zh) | 用于分布式系统的异常实例检测方法、装置、设备和介质 | |
| CN109298882A (zh) | 接口的管理方法、计算机可读存储介质和终端设备 | |
| CN111970151A (zh) | 虚拟及容器网络的流量故障定位方法及系统 | |
| CN110515758A (zh) | 一种故障定位方法、装置、计算机设备及存储介质 | |
| CN107783728A (zh) | 数据存储方法、装置和设备 | |
| JP4778092B2 (ja) | トレース処理方法、プログラム及び装置 | |
| CN113138906A (zh) | 一种调用链数据采集方法、装置、设备及存储介质 | |
| CN106407126A (zh) | 覆盖率数据的处理方法、装置和服务器 | |
| CN106528411A (zh) | 覆盖率检测方法、装置和设备 | |
| CN116974874A (zh) | 数据库的测试方法、装置、电子设备及可读存储介质 | |
| EP3010194B1 (en) | Method of tracing a transaction in a network | |
| CN111782443A (zh) | 数据处理的方法、装置及电子设备 | |
| CN102930046B (zh) | 数据处理方法、计算节点及系统 | |
| CN112579552A (zh) | 日志存储及调用方法、装置及系统 | |
| CN110636522A (zh) | 一种通信网络覆盖质量的确定方法及装置 | |
| CN113141407B (zh) | 一种页面资源加载方法、装置和电子设备 | |
| CN111737155B (zh) | 一种芯片调试系统、方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |