CN107645562A - 数据传输处理方法、装置、设备及系统 - Google Patents

数据传输处理方法、装置、设备及系统 Download PDF

Info

Publication number
CN107645562A
CN107645562A CN201710946534.7A CN201710946534A CN107645562A CN 107645562 A CN107645562 A CN 107645562A CN 201710946534 A CN201710946534 A CN 201710946534A CN 107645562 A CN107645562 A CN 107645562A
Authority
CN
China
Prior art keywords
calling
unique identifier
globally unique
call chain
application server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710946534.7A
Other languages
English (en)
Other versions
CN107645562B (zh
Inventor
陈志聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jianyue Information Technology Co.,Ltd.
Original Assignee
Guangzhou I9Game Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou I9Game Information Technology Co Ltd filed Critical Guangzhou I9Game Information Technology Co Ltd
Priority to CN201710946534.7A priority Critical patent/CN107645562B/zh
Publication of CN107645562A publication Critical patent/CN107645562A/zh
Application granted granted Critical
Publication of CN107645562B publication Critical patent/CN107645562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开一种数据传输处理方法、装置、设备及系统。该数据传输处理方法,包括:将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。本发明提供的方案,能解决多进程调用中的日志分析和定位问题。

Description

数据传输处理方法、装置、设备及系统
技术领域
本发明涉及移动互联网技术领域,具体涉及一种数据传输处理方法、装置、设备及系统。
背景技术
活动系统应用,一般可以用于负责公司营销类活动管理等,这样的活动系统一般是一个单体应用程序,功能可以包括活动信息管理、活动规则、奖品管理、预算管理、奖品发放等模块。随着业务的发展,活动系统进行了微服务化改造,即将这个单体应用程序,根据不同业务功能垂直拆分成多个独立的子应用,应用间可以使用RPC(Remote ProcedureCall Protocol),远程过程调用协议)框架进行通讯,子应用可以包括活动系统、规则中心、组件平台、发奖中心等。进行微服务化改造后,系统间可以通过HTTP(Hyper Text TransferProtocol,超文本传输协议)进行通讯,接口调用时通过消息的body(消息体)传递请求参数。
但是,活动系统进行了微服务化改造后,原来对某个功能的实现,就从单进程的调用,变成了跨进程、跨服务器的调用,多个进程、系统的调用组成一个完整的调用链,原来的单进程调用日志也变成了分布在不同服务器上的日志,这就给后续的问题分析及定位带来困难。
发明内容
为解决上述技术问题,本发明提供一种数据传输处理方法、装置、设备及系统,能解决多进程调用中的日志分析和定位问题。
根据本发明的一个方面,提供一种数据传输处理方法,包括:
将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
优选的,所述将调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用,包括:
将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
优选的,所述将调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用,包括:
将本级应用服务器生成的调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用;或,
将上一级应用服务器生成的调用链全局唯一标识和本级生成的调用层级标识通过消息传递给下一级应用服务器使用。
优选的,所述调用链全局唯一标识和调用层级标识按以下方式生成:
在当前接收的消息未包含调用链全局唯一标识和调用层级标识的情况下,生成调用链全局唯一标识和调用层级标识,其中根据本级应用服务器调用下一级应用服务器的信息生成不同的调用层级标识;或,
在当前接收的消息包含调用链全局唯一标识和调用层级标识的情况下,根据本级应用服务器调用下一级应用服务器的信息生成新的调用层级标识。
优选的,所述调用链全局唯一标识和调用层级标识按以下方式生成:
所述调用链全局唯一标识按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成;
所述调用层级标识按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
优选的,所述主机应用服务器哈希值包含主机应用服务器名称和应用路径。
优选的,所述调用响应信息包含本级调用的响应结果、响应时间和子调用的响应结果、响应时间。
根据本发明的另一个方面,提供一种数据传输处理装置,包括:
传递模块,用于将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
处理模块,用于将包含所述传递模块传递的调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
优选的,所述传递模块将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
优选的,所述装置还包括:
生成模块,用于在当前接收的消息未包含调用链全局唯一标识和调用层级标识的情况下,生成调用链全局唯一标识和调用层级标识,其中根据本级应用服务器调用下一级应用服务器的信息生成不同的调用层级标识;或,在当前接收的消息包含调用链全局唯一标识和调用层级标识的情况下,根据本级应用服务器调用下一级应用服务器的信息生成新的调用层级标识。
优选的,所述装置还包括:
生成模块,用于生成所述调用链全局唯一标识和调用层级标识,其中所述调用链全局唯一标识按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成,所述调用层级标识按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
根据本发明的另一个方面,提供一种数据传输处理设备,包括:
处理器,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器;
存储器,存储所述处理器写入的日志文件。
根据本发明的另一个方面,提供一种计算机设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行以下所述的方法:
将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
根据本发明的另一个方面,提供一种数据传输处理系统,包括日志存储服务器和至少两个应用服务器:
所述应用服务器,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器;
所述日志存储服务器,接收所述应用服务器发送的日志文件。
可以发现,本发明实施例的技术方案,设置了调用链全局唯一标识和调用层级标识,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,通过调用链全局唯一标识可以识别系统里面的某个调用是属于同一个调用链,通过调用层级标识可以识别调用链的调用层级和嵌套关系,使得在将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件后,就可以根据调用链全局唯一标识、调用层级标识进行问题定位和分析,从而能解决多进程调用中的日志分析和定位问题。
进一步的,本发明实施例可以将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用,这样可以简化参数传递过程,避免通过body传递参数导致的系统改造和参数解析的繁琐处理问题。
进一步的,本发明实施例的调用链全局唯一标识可以按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成;调用层级标识可以按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增,这样可以适应更多应用场景。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1是根据本发明的一个实施例的一种数据传输处理方法的示意性流程图;
图2是根据本发明的一个实施例的一种数据传输处理方法的另一示意性流程图;
图3是根据本发明的一个实施例的一种数据传输处理方法的逻辑流程示意图;
图4是根据本发明的一个实施例的一种数据传输处理装置的示意性方框图;
图5是根据本发明的一个实施例的一种数据传输处理装置的另一示意性方框图;
图6是根据本发明的一个实施例的一种数据传输处理设备的示意性方框图;
图7是根据本发明的一个实施例的一种计算机设备的示意性方框图;
图8是根据本发明的一个实施例的一种数据传输处理系统的示意性方框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本发明提供一种数据传输处理方法、装置、设备及系统,能解决多进程调用中的日志分析和定位问题。
相关技术中,原来的单进程调用日志变成了分布在不同服务器上的日志后,给分析问题、定位问题带来了很大困难,本发明提供的数据传输处理方法,通过设定参数传递和分布式的日志埋点(写入日志文件),可以解决分布式环境下日志的分析和定位问题。
以下结合附图详细描述本发明实施例的技术方案。
图1是根据本发明的一个实施例的一种数据传输处理方法的示意性流程图。
该方法可以应用于数据传输处理装置中,所述数据传输处理装置可以位于应用服务器中,或位于其他设备中。
参照图1,所述方法包括:
在步骤101中,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用。
其中,可以是将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
其中,可以是将本级应用服务器生成的调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用;或,将上一级应用服务器生成的调用链全局唯一标识和本级生成的调用层级标识通过消息传递给下一级应用服务器使用。
其中,所述调用链全局唯一标识和调用层级标识可以按以下方式生成:
所述调用链全局唯一标识按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成;所述调用层级标识按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
在步骤102中,将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
其中,所述调用响应信息可以包含本级调用的响应结果、响应时间和子调用的响应结果、响应时间。
可以发现,本发明实施例的技术方案,设置了调用链全局唯一标识和调用层级标识,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,通过调用链全局唯一标识可以识别系统里面的某个调用是属于同一个调用链,通过调用层级标识可以识别调用链的调用层级和嵌套关系,使得在将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件后,就可以根据调用链全局唯一标识、调用层级标识进行问题定位和分析,从而能解决多进程调用中的日志分析和定位问题。
图2是根据本发明的一个实施例的一种数据传输处理方法的另一示意性流程图。图2相对于图1更详细描述了本发明方案。
本发明方案,使用自定义的调用链全局唯一标识linkId将同一个调用链里面的多个系统日志串连起来,使用调用层级标识callId来直观的标识调用间的层级和嵌套关系,同时利用HTTP协议自定义请求头的特点,解决了参数在调用间传递的问题,实现了分布式环境下的日志埋点问题,为后续的日志分析、定位、性能优化等提供坚实的数据基础。
参照图2,所述方法包括:
在步骤201中,入口应用服务器生成调用链全局唯一标识和调用层级标识,通过消息的消息请求头传递给第二级应用服务器使用。
相关技术中,微服务化改造后,在分布式环境下对某次功能的调用,可能会涉及多个系统,本发明方法为了识别这些系统里面的某个调用是属于同一个调用链,可以给调用链生成一个调用链全局唯一标识---linkId,并在跨进程调用时,传递给下级系统。同时为了清晰识别调用链的调用层级和嵌套关系,生成另一个标识---调用层级标识callId。
相关技术中,活动系统微服务化改造后,系统间是通过HTTP协议进行通讯,接口调用时通过消息体body传递请求参数,如果把本发明设计的两个参数linkId和callId也放在body里面传递,会涉及到大量系统调用的改造,并且加大了body序列化、反序列化的复杂性,同时也使原来业务参数增加了不必要的参数解释。因为body里面一般是放业务参数的,一般公司都有规范和标准定义,如果将参数放入body,所有业务系统在处理请求的时候都要先解释并分离出业务参数,处理更繁琐。因此,本发明方案是通过HTTP请求头进行传递,从而可以避免这些问题出现,大大简化参数传递的实现。
该步骤中,入口应用服务器在当前接收的请求消息未包含调用链全局唯一标识和调用层级标识的情况下,生成调用链全局唯一标识和调用层级标识,其中是根据本级应用服务器调用第二级应用服务器的信息生成不同的调用层级标识。
其中,所述调用链全局唯一标识按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成,其中所述主机应用服务器哈希值包含主机应用服务器名称和应用路径;所述调用层级标识按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
同时参见图3,是根据本发明的一个实施例的一种数据传输处理方法的逻辑流程示意图。
入口应用服务器A(第一级应用服务器)接收到用户请求消息的时候,首先检查消息的请求头是否包含linkId和callId,如果没有包含则生成新的linkId和callId,callId初始可以为0。
其中,linkId生成格式为:主机应用服务器的哈希值+时间戳+4位自增数,其中主机应用服务器哈希值包含主机应用服务器名称和应用路径(host+应用路径)。其中,host和应用路径,可以从系统变量里获取;时间戳可以采用系统时间;自增数可以用线程安全整数AtomicInteger类简单实现。例如,linkId:a203875 1501257369541 3169,其中a203875为host哈希值,1501257369541为毫秒时间戳,3169为自增数。
需说明的是,其中自增数为4位只是举例说明但不局限于此,可以根据需要设置其他位数。按照上述方式设置的linkId,可以保证在1毫秒的时间内,不超过10000次调用的唯一性,满足了系统要求,同时linkId有直观业务意义和时间相关性,有助于检索、排序等。
其中,callId生成格式为:分隔符号+表示调用次数的数值。callId用于表示调用层级和嵌套关系,可以用英文“.”分隔表示层级调用,用数字表示调用次数。例如最上级调用可以为0,在父级调用端生成子级调用的callId并传递给子级服务器,则生成方式为在当前callId基础上,增加新的层级,以“.”隔开,并按顺序生成自增的数字,如图3中,应用服务器A为最上层,callId为0,应用服务器A顺序调用应用服务器B、C、D,则在应用服务器A生成0.1,0.2,0.3的callId,然后在调用时通过HTTP请求头传递给应用服务器B、C、D。图中应用服务器A、B、C、D、E分别对应应用A、B、C、D、E。
在步骤202中,第二级应用服务器接收入口应用服务器的消息,生成新的调用层级标识,将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给第三级应用服务器使用。
该步骤中,第二级应用服务器在当前接收的消息包含调用链全局唯一标识和调用层级标识的情况下,根据本级应用服务器调用第三级应用服务器的信息生成新的调用层级标识。
系统中每个应用服务器都判断是否有子应用的调用,若有,则生成子调用的callId。同时参见图3,第二级应用服务器B接收到第一级应用服务器A的请求消息的时候,检查到消息的请求头包含linkId和callId,而应用服务器B有调用第三级应用服务器E,因此生成新的callId 0.1.1,通过http请求头将linkId和新的callId传递给服务器E。
在步骤203中,各级应用服务器将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件。
所有应用服务器在将请求进行处理后,将linkId、callId、本级调用的响应结果、本级调用的响应时间、子调用的响应结果、子调用的响应时间等数据进行日志埋点。所谓日志埋点,就是将linkId、callId、应用处理时间等日志参数写入日志文件的过程,一般是按顺序写入日志文件。
在步骤204中,各级应用服务器将日志文件发送给日志存储服务器。
该步骤中,各级应用服务器可以将日志文件定时同步给统一的日志存储服务器集群。系统中可以设置多个日志存储服务器作为集群,但日志文件是发送给其中一个日志存储服务器,可以由代理agent程序对集群中的日志存储服务器进行负载均衡和路由选择,最后选择一个日志存储服务器。
在步骤205中,日志存储服务器对日志文件文件进行问题定位和分析。
该步骤中可以由日志存储服务器根据接收的各级应用服务器发送的日志文件,生成完整的调用链日志报表,实现统一的检索和分析,从而协助开发人员进行相应的问题定位和性能调优等工作。
其中,生成完整的调用链日志报表,就是根据linkId进行分组和汇总,因为所有应用服务器提交的日志文件里面都会带有linkId,同一个linkId的所有日志汇总在一起就是一条完整的调用链日志,然后再将这些日志显示出来就可以供参考分析。
根据调用链日志报表中的日志信息,可以对相关调用进行优化改进,例如根据linkId查询调用链日志,查阅某次抽奖活动的一条调用链的日志:
linkId为xxxx,
活动系统,响应时间10ms->规则计算中心,响应时间80ms->抽奖组件,响应时间500ms->发奖中心,响应时间50ms。
从这条调用链的日志可以看出,处理一个发奖请求,需要经过活动系统、规则计算中心、抽奖组件、发奖中心共4个应用,其中抽奖组件的响应时间为500ms,响应时间过长,需要针对性进行优化,从而发现了问题所在,可以相应进行优化改进。
综上所述,可以发现本发明方案通过自定义的linkId和callId识别分布式环境下的1次调用行为,并利用HTTP协议可自定义请求头的特点,通过消息请求头传递linkId和callId,实现同一个调用链里面的参数传递,解决了分布式环境下,通过HTTP协议实现服务间调用系统的日志埋点问题,为分布式环境的调用日志分析和定位提供了基础条件,同时在日志里还可以记录每个层级调用的响应时间,那么通过查看调用链日志,就可以对调用链上面的性能瓶颈进行定位和针对优化。
上述详细介绍了本发明的一种数据传输处理方法,以下介绍本发明对应的数据传输处理装置、设备及系统。
图4是根据本发明的一个实施例的一种数据传输处理装置的示意性方框图。
参照图4,在一种数据传输处理装置40中,包括:传递模块41和处理模块42。
传递模块41,用于将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用。
其中,可以是将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
其中,可以是将本级应用服务器生成的调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用;或,将上一级应用服务器生成的调用链全局唯一标识和本级生成的调用层级标识通过消息传递给下一级应用服务器使用。
处理模块42,用于将包含所述传递模块41传递的调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
其中,所述调用响应信息可以包含本级调用的响应结果、响应时间和子调用的响应结果、响应时间。
可以发现,本发明实施例的技术方案,设置了调用链全局唯一标识和调用层级标识,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,通过调用链全局唯一标识可以识别系统里面的某个调用是属于同一个调用链,通过调用层级标识可以识别调用链的调用层级和嵌套关系,使得在将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件后,就可以根据调用链全局唯一标识、调用层级标识进行问题定位和分析,从而能解决多进程调用中的日志分析和定位问题。
图5是根据本发明的一个实施例的一种数据传输处理装置的另一示意性方框图。
如图5所示,在一种数据传输处理装置50中,包括:传递模块41、处理模块42、生成模块43。
其中,传递模块41、处理模块42的功能可以参见图4所示。
其中,所述传递模块41将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
生成模块43,用于在当前接收的消息未包含调用链全局唯一标识和调用层级标识的情况下,生成调用链全局唯一标识和调用层级标识,其中根据本级应用服务器调用下一级应用服务器的信息生成不同的调用层级标识;或,在当前接收的消息包含调用链全局唯一标识和调用层级标识的情况下,根据本级应用服务器调用下一级应用服务器的信息生成新的调用层级标识。传递模块41从生成模块43获取生成的调用链全局唯一标识和调用层级标识。
生成模块43,还可以用于生成所述调用链全局唯一标识和调用层级标识,其中所述调用链全局唯一标识按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成,所述调用层级标识按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
其中,所述主机应用服务器哈希值包含主机应用服务器名称和应用路径。
其中,主机应用服务器名称和应用路径,可以从系统变量里获取;时间戳可以采用系统时间;自增数可以用线程安全整数AtomicInteger类简单实现。例如,linkId:a2038751501257369541 3169,其中a203875为host哈希值,1501257369541为毫秒时间戳,3169为自增数。
其中,处理模块42写入日志文件的所述调用响应信息可以包含本级调用的响应结果、响应时间和子调用的响应结果、响应时间。
图6是根据本发明的一个实施例的一种数据传输处理设备的示意性方框图。
参照图6,在一种数据传输处理设备60中,包括:处理器61、存储器62。
处理器61,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器;
存储器62,存储所述处理器61写入的日志文件。
其中,处理器61可以将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
其中,所述调用链全局唯一标识可以按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成;所述调用层级标识可以按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
图7是根据本发明的一个实施例的一种计算机设备的示意性方框图。
参照图7,在一种计算机设备70中,包括:处理器71和存储器72。
处理器71;以及
存储器72,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器71执行以下所述的方法:
将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
其中,处理器71可以将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
其中,所述调用链全局唯一标识可以按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成;所述调用层级标识可以按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
图8是根据本发明的一个实施例的一种数据传输处理系统的示意性方框图。
参照图8,在一种数据传输处理系统中,包括日志存储服务器81和至少两个应用服务器82。
所述应用服务器82,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器82使用,将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器81;
所述日志存储服务器81,接收所述应用服务器82发送的日志文件。
其中,应用服务器82可以将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
其中,所述调用链全局唯一标识可以按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成;所述调用层级标识可以按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
本发明实施例还提供一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行以下所述的方法:
将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
上文中已经参考附图详细描述了根据本发明的技术方案。
此外,根据本发明的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者,本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种数据传输处理方法,其特征在于,包括:
将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
2.根据权利要求1所述的方法,其特征在于,所述将调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用,包括:
将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
3.根据权利要求1所述的方法,其特征在于,所述将调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用,包括:
将本级应用服务器生成的调用链全局唯一标识和调用层级标识通过消息传递给下一级应用服务器使用;或,
将上一级应用服务器生成的调用链全局唯一标识和本级生成的调用层级标识通过消息传递给下一级应用服务器使用。
4.根据权利要求2或3所述的方法,其特征在于,所述调用链全局唯一标识和调用层级标识按以下方式生成:
在当前接收的消息未包含调用链全局唯一标识和调用层级标识的情况下,生成调用链全局唯一标识和调用层级标识,其中根据本级应用服务器调用下一级应用服务器的信息生成不同的调用层级标识;或,
在当前接收的消息包含调用链全局唯一标识和调用层级标识的情况下,根据本级应用服务器调用下一级应用服务器的信息生成新的调用层级标识。
5.根据权利要求2或3所述的方法,其特征在于,所述调用链全局唯一标识和调用层级标识按以下方式生成:
所述调用链全局唯一标识按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成;
所述调用层级标识按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
6.根据权利要求5所述的方法,其特征在于:
所述主机应用服务器哈希值包含主机应用服务器名称和应用路径。
7.根据权利要求1所述的方法,其特征在于:
所述调用响应信息包含本级调用的响应结果、响应时间和子调用的响应结果、响应时间。
8.一种数据传输处理装置,其特征在于,包括:
传递模块,用于将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
处理模块,用于将包含所述传递模块传递的调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
9.根据权利要求8所述的装置,其特征在于:
所述传递模块将调用链全局唯一标识和调用层级标识通过消息的消息请求头传递给下一级应用服务器使用。
10.根据权利要求8或9所述的装置,其特征在于,所述装置还包括:
生成模块,用于在当前接收的消息未包含调用链全局唯一标识和调用层级标识的情况下,生成调用链全局唯一标识和调用层级标识,其中根据本级应用服务器调用下一级应用服务器的信息生成不同的调用层级标识;或,在当前接收的消息包含调用链全局唯一标识和调用层级标识的情况下,根据本级应用服务器调用下一级应用服务器的信息生成新的调用层级标识。
11.根据权利要求8或9所述的装置,其特征在于,所述装置还包括:
生成模块,用于生成所述调用链全局唯一标识和调用层级标识,其中所述调用链全局唯一标识按照包含主机应用服务器哈希值、时间戳和设定位数自增数的格式生成,所述调用层级标识按照包含表示层级调用的分隔符号和表示调用次数的数值的格式生成,其中所述调用次数按顺序自增。
12.一种数据传输处理设备,其特征在于,包括:
处理器,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器;
存储器,存储所述处理器写入的日志文件。
13.一种计算机设备,其特征在于,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行以下所述的方法:
将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用;
将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器。
14.一种数据传输处理系统,其特征在于,包括日志存储服务器和至少两个应用服务器:
所述应用服务器,将调用链全局唯一标识和调用层级标识传递通过消息给下一级应用服务器使用,将包含所述调用链全局唯一标识、调用层级标识和调用响应信息的日志信息写入日志文件,并发送给日志存储服务器;
所述日志存储服务器,接收所述应用服务器发送的日志文件。
CN201710946534.7A 2017-10-12 2017-10-12 数据传输处理方法、装置、设备及系统 Active CN107645562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710946534.7A CN107645562B (zh) 2017-10-12 2017-10-12 数据传输处理方法、装置、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710946534.7A CN107645562B (zh) 2017-10-12 2017-10-12 数据传输处理方法、装置、设备及系统

Publications (2)

Publication Number Publication Date
CN107645562A true CN107645562A (zh) 2018-01-30
CN107645562B CN107645562B (zh) 2021-06-22

Family

ID=61122987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710946534.7A Active CN107645562B (zh) 2017-10-12 2017-10-12 数据传输处理方法、装置、设备及系统

Country Status (1)

Country Link
CN (1) CN107645562B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521353A (zh) * 2018-04-02 2018-09-11 深圳前海微众银行股份有限公司 定位性能瓶颈的处理方法、设备及可读存储介质
CN108600012A (zh) * 2018-04-26 2018-09-28 深圳光华普惠科技有限公司 微服务架构监控系统
CN109271359A (zh) * 2018-11-20 2019-01-25 北京千丁互联科技有限公司 日志信息处理方法、装置、电子设备及可读存储介质
CN109450689A (zh) * 2018-11-19 2019-03-08 郑州云海信息技术有限公司 一种日志打印方法、装置、存储介质和计算机设备
CN109542718A (zh) * 2018-10-22 2019-03-29 中国平安人寿保险股份有限公司 服务调用的监控方法、装置、存储介质及服务器
CN109639809A (zh) * 2018-12-20 2019-04-16 上海拍拍贷金融信息服务有限公司 一种业务数据请求链路监控的方法及装置
CN109756364A (zh) * 2018-12-07 2019-05-14 成都四方伟业软件股份有限公司 一种基于日志分析的微服务性能优化系统和分析方法
CN109818823A (zh) * 2018-12-29 2019-05-28 北京奥鹏远程教育中心有限公司 全链路跟踪系统
CN109981352A (zh) * 2019-03-06 2019-07-05 深圳微品致远信息科技有限公司 一种基于可拆分分布式系统的端到端应用监控方法、系统及存储介质
CN110191000A (zh) * 2019-06-10 2019-08-30 中汇信息技术(上海)有限公司 一种数据处理方法、消息追踪监控方法和分布式系统
CN111225073A (zh) * 2018-11-26 2020-06-02 北京京东尚科信息技术有限公司 业务编码分配方法及装置、存储介质、计算机系统
WO2020220638A1 (zh) * 2019-04-29 2020-11-05 平安科技(深圳)有限公司 链路系统与日志系统的关联方法、装置及存储介质
CN112540808A (zh) * 2019-09-23 2021-03-23 腾讯科技(深圳)有限公司 一种程序行为层级调用关系的记录方法及相关设备
CN112579406A (zh) * 2019-09-29 2021-03-30 北京京东尚科信息技术有限公司 一种日志调用链生成方法和装置
CN112699000A (zh) * 2019-10-23 2021-04-23 拉扎斯网络科技(上海)有限公司 数据处理方法、装置、可读存储介质和电子设备
WO2022027867A1 (zh) * 2020-08-04 2022-02-10 紫光云(南京)数字技术有限公司 基于mdc多线程链路追踪方法、装置及计算机可读存储介质
CN115412592A (zh) * 2022-08-19 2022-11-29 恒生电子股份有限公司 业务处理系统以及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278074A1 (en) * 2014-03-28 2015-10-01 International Business Machines Corporation Logging code generation and distribution
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统
CN105933163A (zh) * 2016-06-24 2016-09-07 微梦创科网络科技(中国)有限公司 一种实时分布式调试跟踪方法及系统
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN107135276A (zh) * 2017-06-28 2017-09-05 北京中电普华信息技术有限公司 一种微服务架构下的全链路监控方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150278074A1 (en) * 2014-03-28 2015-10-01 International Business Machines Corporation Logging code generation and distribution
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪系统
CN105933163A (zh) * 2016-06-24 2016-09-07 微梦创科网络科技(中国)有限公司 一种实时分布式调试跟踪方法及系统
CN106487596A (zh) * 2016-10-26 2017-03-08 宜人恒业科技发展(北京)有限公司 分布式服务跟踪实现方法
CN107135276A (zh) * 2017-06-28 2017-09-05 北京中电普华信息技术有限公司 一种微服务架构下的全链路监控方法、装置和系统

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108521353A (zh) * 2018-04-02 2018-09-11 深圳前海微众银行股份有限公司 定位性能瓶颈的处理方法、设备及可读存储介质
CN108521353B (zh) * 2018-04-02 2022-04-01 深圳前海微众银行股份有限公司 定位性能瓶颈的处理方法、设备及可读存储介质
CN108600012A (zh) * 2018-04-26 2018-09-28 深圳光华普惠科技有限公司 微服务架构监控系统
CN109542718A (zh) * 2018-10-22 2019-03-29 中国平安人寿保险股份有限公司 服务调用的监控方法、装置、存储介质及服务器
CN109542718B (zh) * 2018-10-22 2023-02-07 中国平安人寿保险股份有限公司 服务调用的监控方法、装置、存储介质及服务器
CN109450689A (zh) * 2018-11-19 2019-03-08 郑州云海信息技术有限公司 一种日志打印方法、装置、存储介质和计算机设备
CN109450689B (zh) * 2018-11-19 2022-02-22 郑州云海信息技术有限公司 一种日志打印方法、装置、存储介质和计算机设备
CN109271359B (zh) * 2018-11-20 2020-10-16 北京千丁互联科技有限公司 日志信息处理方法、装置、电子设备及可读存储介质
CN109271359A (zh) * 2018-11-20 2019-01-25 北京千丁互联科技有限公司 日志信息处理方法、装置、电子设备及可读存储介质
CN111225073B (zh) * 2018-11-26 2023-05-12 北京京东尚科信息技术有限公司 业务编码分配方法及装置、存储介质、计算机系统
CN111225073A (zh) * 2018-11-26 2020-06-02 北京京东尚科信息技术有限公司 业务编码分配方法及装置、存储介质、计算机系统
CN109756364A (zh) * 2018-12-07 2019-05-14 成都四方伟业软件股份有限公司 一种基于日志分析的微服务性能优化系统和分析方法
CN109756364B (zh) * 2018-12-07 2021-12-14 成都四方伟业软件股份有限公司 一种基于日志分析的微服务性能优化系统和分析方法
CN109639809A (zh) * 2018-12-20 2019-04-16 上海拍拍贷金融信息服务有限公司 一种业务数据请求链路监控的方法及装置
CN109818823A (zh) * 2018-12-29 2019-05-28 北京奥鹏远程教育中心有限公司 全链路跟踪系统
CN109981352A (zh) * 2019-03-06 2019-07-05 深圳微品致远信息科技有限公司 一种基于可拆分分布式系统的端到端应用监控方法、系统及存储介质
WO2020220638A1 (zh) * 2019-04-29 2020-11-05 平安科技(深圳)有限公司 链路系统与日志系统的关联方法、装置及存储介质
CN110191000A (zh) * 2019-06-10 2019-08-30 中汇信息技术(上海)有限公司 一种数据处理方法、消息追踪监控方法和分布式系统
CN112540808A (zh) * 2019-09-23 2021-03-23 腾讯科技(深圳)有限公司 一种程序行为层级调用关系的记录方法及相关设备
CN112540808B (zh) * 2019-09-23 2023-10-13 腾讯科技(深圳)有限公司 一种程序行为层级调用关系的记录方法及相关设备
CN112579406A (zh) * 2019-09-29 2021-03-30 北京京东尚科信息技术有限公司 一种日志调用链生成方法和装置
CN112579406B (zh) * 2019-09-29 2024-04-05 北京京东尚科信息技术有限公司 一种日志调用链生成方法和装置
CN112699000A (zh) * 2019-10-23 2021-04-23 拉扎斯网络科技(上海)有限公司 数据处理方法、装置、可读存储介质和电子设备
WO2022027867A1 (zh) * 2020-08-04 2022-02-10 紫光云(南京)数字技术有限公司 基于mdc多线程链路追踪方法、装置及计算机可读存储介质
CN115412592A (zh) * 2022-08-19 2022-11-29 恒生电子股份有限公司 业务处理系统以及方法
CN115412592B (zh) * 2022-08-19 2023-08-22 恒生电子股份有限公司 业务处理系统以及方法

Also Published As

Publication number Publication date
CN107645562B (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN107645562A (zh) 数据传输处理方法、装置、设备及系统
CN110399550B (zh) 一种信息推荐方法及装置
US10970641B1 (en) Heuristic context prediction engine
CN106020948B (zh) 一种流程调度方法及装置
US10735590B2 (en) Framework for predictive customer care support
CN109684047A (zh) 事件处理方法、装置、设备和计算机存储介质
CN113590497A (zh) 业务服务的测试方法、装置、电子设备及存储介质
CN108491267A (zh) 用于生成信息的方法和装置
EP4105848A1 (en) Method and apparatus for evaluating joint training model
CN112035638B (zh) 信息处理方法、装置、存储介质及设备
CN106649033A (zh) web系统健康状态检查方法及装置
CN111931189B (zh) Api接口转用风险检测方法、装置和api服务系统
CN113505520A (zh) 用于支持异构联邦学习的方法、装置和系统
CN110602056A (zh) 一种业务参数传递方法及装置
CN113760674A (zh) 信息生成方法、装置、电子设备和计算机可读介质
CN107977678A (zh) 用于输出信息的方法和装置
US20220385739A1 (en) Method and apparatus for generating prediction information, electronic device, and computer readable medium
CN111680799A (zh) 用于处理模型参数的方法和装置
CN109656799A (zh) 测试方法和装置
CN108989116B (zh) 大数据收集分析系统及方法
CN115242684B (zh) 全链路压测方法、装置、计算机设备及存储介质
JP6199844B2 (ja) 被疑箇所推定装置及び被疑箇所推定方法
CN112765022B (zh) 一种基于数据流的Webshell静态检测方法及电子设备
CN113778709A (zh) 接口调用方法、装置、服务器及存储介质
CN111062800A (zh) 数据处理方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200810

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 510665 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping radio square B tower 13 floor 02 unit self

Applicant before: Guangzhou Aijiuyou Information Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220406

Address after: 510665 room 603, room 602, No. 38, Gaopu Road, Tianhe District, Guangzhou, Guangdong

Patentee after: Guangzhou Jianyue Information Technology Co.,Ltd.

Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Alibaba (China) Co.,Ltd.

TR01 Transfer of patent right