CN114629925A - 一种数据传输方法、装置及电子设备 - Google Patents
一种数据传输方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114629925A CN114629925A CN202011458853.1A CN202011458853A CN114629925A CN 114629925 A CN114629925 A CN 114629925A CN 202011458853 A CN202011458853 A CN 202011458853A CN 114629925 A CN114629925 A CN 114629925A
- Authority
- CN
- China
- Prior art keywords
- message
- target service
- track
- storage cluster
- data storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000005540 biological transmission Effects 0.000 title claims abstract description 47
- 238000013500 data storage Methods 0.000 claims abstract description 224
- 238000004519 manufacturing process Methods 0.000 claims description 99
- 238000004458 analytical method Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 6
- 238000007405 data analysis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Abstract
本发明提供了一种数据传输方法、装置及电子设备，消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至第一数据存储集群，目标业务消息对应的消息轨迹存储到第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
Description
技术领域
本发明涉及消息处理领域，更具体的说，涉及一种数据传输方法、装置及电子设备。
背景技术
消息是进行跨系统数据交换的主要媒介，能够实现分布式系统之间的异步调用。
随着微服务体系中各个系统调用愈加复杂，用于处理消息的消息系统在解决各个系统之间的数据流转问题方面起到了越来越重要的作用。消息系统包括消息生产者、消息转发系统以及消息消费者，消息生产者生成的业务消息以及业务消息对应的消息生产轨迹、消息消费者生成的消息消费轨迹均在消息转发系统中进行存储。
在对消息轨迹或业务消息进行分析时，需要从消息转发系统中找到对应的数据，但是数据查找复杂，使得对业务消息或消息轨迹的数据分析复杂度较高。
发明内容
有鉴于此，本发明提供一种数据传输方法、装置及电子设备，以解决对业务消息或消息轨迹的数据分析复杂度较高的问题。
为解决上述技术问题，本发明采用了如下技术方案：
一种数据传输方法，应用于消息系统中的消息生产者，与所述消息生产者通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输方法包括：
获取待发送的目标业务消息；
依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
可选地，依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹，包括：
调用所述消息生产者预先设置的消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述目标业务消息对应的业务消息主题的属性信息，分析得到所述目标业务消息的基础属性信息；
获取当前时间的时间戳；
将所述基础数据信息以及所述时间戳确定为所述目标业务消息对应的消息生产轨迹的内容。
可选地，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据，包括：
调用所述消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息进行消息发送过程分析，得到所述目标业务消息的消息发送分析结果；
将所述消息发送分析结果确定为所述目标业务消息对应的消息生产轨迹追加数据。
一种数据传输方法，应用于消息系统中的消息消费者，与所述消息消费者通信的消息转发系统中，预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输方法包括：
发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
可选地，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹，包括：
调用所述消息消费者内预先设置的消息消费轨迹生成程序，以使所述消息消费轨迹生成程序依据所述目标业务消息的消息接收属性信息以及当前时间的时间戳，确定所述目标业务消息对应的消息消费轨迹的内容。
可选地，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据，包括：
调用所述消息消费轨迹生成程序，以使所述消息消费轨迹生成程序对所述目标业务消息的消息消费操作数据进行消息消费过程分析，得到消费分析结果；
将所述消息分析结果确定为所述目标业务消息对应的消息消费轨迹追加数据。
一种数据传输装置，应用于消息系统中的消息生产者，与所述消息生产者通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输装置包括：
消息获取模块，用于获取待发送的目标业务消息；
第一轨迹生成模块，用于依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
第一轨迹发送模块，用于发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
消息发送模块，用于发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
第二轨迹生成模块，用于在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
第二轨迹发送模块，用于将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
一种数据传输装置，应用于消息系统中的消息消费者，与所述消息消费者通信的消息转发系统中，预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输装置包括：
数据获取模块，用于发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
第一消息轨迹生成模块，用于在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
第一消息轨迹发送模块，用于将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
第二消息轨迹生成模块，用于对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
第二消息轨迹发送模块，用于发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
一种电子设备，与所述电子设备通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取待发送的目标业务消息；
依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
一种电子设备，与所述电子设备通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
相较于现有技术，本发明具有以下有益效果：
本发明提供了一种数据传输方法、装置及电子设备，消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种开启trace功能的场景示意图；
图2为本发明实施例提供的另一种开启trace功能的场景示意图；
图3为本发明实施例提供的再一种开启trace功能的场景示意图；
图4为本发明实施例提供的又一种开启trace功能的场景示意图；
图5为本发明实施例提供的一种应用于消息系统中的消息生产者的数据传输方法的方法流程图；
图6为本发明实施例提供的一种应用于消息系统中的消息消费者的数据传输方法的方法流程图；
图7为本发明实施例提供的一种数据查询功能的场景示意图；
图8为本发明实施例提供的一种trace详情的场景示意图；
图9为本发明实施例提供的一种应用于消息系统中的消息生产者的数据传输装置的结构示意图；
图10为本发明实施例提供的一种应用于消息系统中的消息消费者的数据传输装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如今，消息生产者生成的业务消息以及业务消息对应的消息生产轨迹、消息消费者生成的消息消费轨迹均在消息转发系统中进行统一存储。即将业务消息、消息生产轨迹、消息消费轨迹存储到一起。则后续在对消息轨迹或业务消息进行分析时，需要从同时存储有业务消息、消息生产轨迹、消息消费轨迹的消息转发系统中找到对应的数据，数据查找量较大，进而使得数据查找复杂，增加了对业务消息或消息轨迹的数据分析复杂度。
为了解决上述技术问题，发明人经过研究发现，若是能够在业务消息和业务消息对应的消息轨迹进行存储时，采用分开存储的方式，则在后续进行数据分析时，只需从存储有消息轨迹的集群获取消息轨迹，或者从存储有业务消息的集群中获取业务消息，数据查询速度较快，进而简化了数据分析复杂度。
具体的，本发明中，消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
在上述内容的基础上，本发明实施例提供了一种数据传输方法，为了本领域技术人员能够更加的了解本发明，现对本发明的一些术语和使用场景进行说明。
消息是指：消息系统所传输信息的物理载体，生产和消费数据的最小单位，每条消息必须属于一个主题，每个消息拥有唯一的消息ID。
主题是指：表示一类消息的集合，每个主题包含若干条消息，每条消息只能属于一个主题。
消息生产者：负责生产消息，一般由业务系统负责生产消息，一个消息生产者会把业务应用系统里产生的消息发送到代理服务器。
消息消费者：负责消费消息，一般是后台系统负责异步消费，一个消费者会从代理服务器拉取消息，将其提供给应用程序。
代理服务器：消息中转角色，负责存储消息、转发消息。代理服务器在消息系统中负责接收从生产者发送来的消息并存储、同时为消费者的拉取请求作准备，本实施例中的代理服务器可以是消息转发系统，如RocketMQ。是一个分布式消息和数据流转平台。
消息轨迹：指的是一条消息从生产方发出到消费方消费处理，整个过程中的各个相关节点的时间地点等数据汇聚而成的完整链路信息。
在进行消息轨迹存储之前，需要开启trace功能，具体分为以下几种场景。
1.1、新建的topic开启消息轨迹追踪trace功能。
1.1.1、消息生产者开启trace，在“开启trace”选项中，选择“是”，具体参照图1。
1.1.2、消息消费者开启trace，消费者申请时，在“开启Trace”选项选择“是”，具体参照图2。
1.2、已经存在的topic开启trace功能。
1.2.1、消息生产者开启trace功能，在topic信息页面”trace状态”一项中，点击右侧图标，该申请会发送到后台，管理员审核通过，并且重启应用后，即完成开启trace功能，具体参照图3。
1.2.2、消息消费者开启trace功能，在topic的消费详情里，在”trace”列中，点击图标开启trace，并且重启应用后，即可使用trace功能。
在消息生产者和消息消费者均开通了trace功能之后，即可使用trace功能进行轨迹追踪，将生成的消息存储到用于存储与所述业务消息对应的消息轨迹的第二数据存储集群。
在实际应用中，与所述消息生产者、消息消费者通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群。
具体的，单独部署trace-namesrv集群、轨迹消息集群trace-broker集群和业务消息集群，其中，trace-broker集群用于存储消息轨迹，trace-namesrv集群用于实现对trace-broker集群负载均衡的控制。本实施例中的消息轨迹数据只发送到trace-broker集群上，不会增加其它broker集群的负载压力。业务消息发送到业务消息集群中，通过将业务消息和消息轨迹分开存储的方式，使得后续进行数据查询时，简化了数据查询复杂度。
上述中的trace-broker集群即为本实施例中的第二数据存储集群，业务消息集群即为本实施例中的第一数据存储集群。在实际使用过程中，第一数据存储集群和第二数据存储集群能够与消息生产者或者是消息消费者直接通信，直接进行数据的存储。
在上述内容的基础上，参照图5，应用于消息系统中的消息生产者的数据传输方法可以包括：
S11、获取待发送的目标业务消息。
在实际应用中，业务系统，如购物服务器生成消息，如用户使用购物软件购买了一本书，产生了一个订单，该订单即可认为是业务消息，消息生产者会将业务消息发送至第一数据存储集群。
本实施例中，定义待发送的业务消息为目标业务消息。
S12、依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹。
在实际应用中，消息轨迹消息体模块TraceContext，即完整的消息轨迹，包括属性：消息所属topic、消息ID、消息发送/消费是否成功、耗时、时间戳等内容。样例如下：
为了构建上述完整的消息轨迹，在业务消息发送之前，就会构建一个消息轨迹，该消息轨迹包括业务消息对应的消息轨迹的基础属性信息。
具体的，步骤S12可以包括：
1)调用所述消息生产者预先设置的消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述目标业务消息对应的业务消息主题的属性信息，分析得到所述目标业务消息的基础属性信息。
在实际应用中，预先定制消息流转跟踪转发器SohuAsyncTraceDispatcher模块，即本实施中的预先设置的消息生产轨迹生成程序，该模块的主要功能是异步实现消息轨迹数据的发送。
消息生产者或消费者初始化时，首先为主题topic构建专用的主题轨迹trace-topic和轨迹生产者trace-producer；其次设置trace-producer的属性，例如：发送消息超时时间、消息体最大值等，随后启动trace-producer；最后将trace-producer作为属性赋给SohuAsyncTraceDispatcher。
消息生产者或消息消费者启动SohuAsyncTraceDispatcher，内部使用rocketmq原生的TraceDispatcher，功能是将topic消息发送到trace-broker集群上。通过上述的定制化SohuAsyncTraceDispatcher模块的操作后，每一个开启了trace功能的topic，其trace-topic消息都会发往至trace-broker集群。
在消息生产者内预先构建了消息发送轨迹钩子SendMessageTraceHook，在producer启动时，构建SohuAsyncTraceDispatcher作为属性赋给消息发送轨迹钩子SendMessageTraceHook，该钩子会在消息发送之前和之后分别调用，用于构建消息发送轨迹对象SendTraceContext，构建的SendTraceContext会通SohuAsyncTraceDispatcher进行发送。
SohuAsyncTraceDispatcher模块依据所述目标业务消息对应的业务消息主题的属性信息，分析得到所述目标业务消息的基础属性信息的过程包括：
每一业务消息均对应有相应的主题，如购物主题、聊天主题等等，目标业务消息对应的业务消息主题的属性信息包括主题名称等内容，其中，主题名称即为消息所属topic。另外，每一业务消息均有对应的消息ID，将消息ID、消息所属topic、消息生产者IP地址确定为目标业务消息的基础属性信息。
2)获取当前时间的时间戳。
时间戳可以通过时钟模块获取得到。
3)将所述基础数据信息以及所述时间戳确定为所述目标业务消息对应的消息生产轨迹的内容。
将上述的基础数据信息以及所述时间戳组合到一起，并确定为目标业务消息对应的消息生产轨迹的内容。本实施例中的消息生产轨迹可以是上述的SendTraceContext。
需要说明的是，在生成该消息生产轨迹的时刻是在发送业务消息之前，将该消息生产轨迹发送到第二数据存储集群之后，才进行业务消息的发送。
S13、发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹。
在实际应用中，构建的SendTraceContext会通SohuAsyncTraceDispatcher进行发送，发送到第二数据存储集群，第二数据存储集群就会存储所述目标业务消息对应的消息轨迹。具体的，会将SendTraceContext存储，并建立SendTraceContext与业务消息的对应关系，以使用户了解该SendTraceContext为哪一业务消息的消息轨迹。
S14、发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息。
在实际应用中，在发送消息生产轨迹到所述第二数据存储集群之后，就可以发送目标业务消息，在发送目标业务消息时，将其发送至第一数据存储集群，所述第一数据存储集群就会存储该目标业务消息。该目标业务消息对应有相应的消息ID，通过该消息ID可以查询到该目标业务消息，后续实现对该消息的分析。
S15、在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据。
在实际应用中，步骤S15可以包括：
1)调用所述消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息进行消息发送过程分析，得到所述目标业务消息的消息发送分析结果。
2)将所述消息发送分析结果确定为所述目标业务消息对应的消息生产轨迹追加数据。
具体的，第一数据存储集群接收到目标业务消息之后，会进行存储，在成功存储后，会反馈消息接收数据至消息生产者，消息接收数据可以包括消息接收时间(消息接收的时间戳)、消息是否成功接收等内容。在消息生产者发送目标业务消息时，会生成消息发送属性信息，该消息发送属性信息包括消息发送时间等信息，即消息发送的时间戳。
调用上述的SendTraceContext，使得SendTraceContext通过消息发送的时间戳和消息接收的时间戳，可以计算得到消息发送耗时时间，通过消息是否成功接收可以分析得到消息发送是否成功的结果。
将消息发送耗时时间、消息发送是否成功的结果确定为目标业务消息的消息发送分析结果，将所述消息发送分析结果确定为所述目标业务消息对应的消息生产轨迹追加数据。
此外，消息生产轨迹追加数据还可以包括轨迹trace类型，该trace类型的确定过程为：
S16、将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
具体的，调用上述的SendTraceContext，将所述消息生产轨迹追加数据发送至所述第二数据存储集群，所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
需要说明的是，对于同一业务消息,第二数据存储集群仅对应有一个消息轨迹，该消息轨迹中既有该业务消息的生产轨迹，也有该业务消息的消费轨迹。
消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
在上述应用于消息系统中的消息生产者的数据传输方法的基础上，本发明的另一实施例提供了一种数据传输方法，应用于消息系统中的消息消费者，与所述消息消费者通信的消息转发系统中，预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群。
参照图6，应用于消息系统中的消息消费者的数据传输方法包括：
S21、发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息。
在实际应用中，消息消费者在需要目标业务消息时，例如：
在电商秒杀场景中，网站前端系统将订单消息发送到业务消息集群，订单系统作为消费者从业务集群中拉取订单消息进行消费。
若消息消费者需要目标业务消息时，会发送用于获取目标业务消息的请求至第一数据存储集群，获取目标业务消息的请求携带有目标业务消息的消息ID，进而第一数据存储集群在接收到用于获取目标业务消息的请求时，通过分析该请求携带的消息ID，查询到该消息ID对应的目标业务消息，并将该目标业务消息发送至消息消费者，以使消息消费者对该目标业务消息执行消息消费操作。
S22、在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹。
在实际应用中，本发明实施例中，预先构建了消息消费轨迹钩子ConsumeMessageTraceHook，在消息消费者consumer启动时，构建SohuAsyncTraceDispatcher作为属性赋给消息消费轨迹钩子ConsumeMessageTraceHook，该钩子会在消息消费之前和消费之后分别调用，并构建消息消费前轨迹对象TraceContextBeforeConsumer和消息消费后轨迹对象TraceContextAfterConsumer。构建的两个消费轨迹会通过SohuAsyncTraceDispatcher进行发送，发送到第二数据存储集群，数据存储集群进行消息轨迹的存储。
具体的，在成功接收所述第一数据存储集群发送的目标业务消息之后、且在对该目标业务消息执行消息消费操作之前，ConsumeMessageTraceHook会依据目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹。
更具体的，调用所述消息消费者内预先设置的消息消费轨迹生成程序(即上述的ConsumeMessageTraceHook)，以使所述消息消费轨迹生成程序依据所述目标业务消息的消息接收属性信息以及当前时间的时间戳，确定所述目标业务消息对应的消息消费轨迹的内容。
其中，消息接收属性信息包括消息接收时间、消息是否成功接收的结果，当前时间的时间戳是通过时钟模块获取。
将上述的消息接收时间、消息是否成功接收的结果、时间戳确定为消息消费轨迹的内容，即上述的TraceContextBeforeConsumer。
S23、将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中。
在实际应用中，通过上述的ConsumeMessageTraceHook，将TraceContextBeforeConsumer发送至第二数据存储集群，所述第二数据存储集群依据该消息消费轨迹对应的消息ID，将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中。
S24、对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据。
在实际应用中，执行消息消费操作可以是将该目标业务消息存储都数据库、将该目标业务消息推送至预设目标设备等等操作。
在成功执行消息消费操作之后，调用所述消息消费者内预先设置的消息消费轨迹生成程序，即上述的ConsumeMessageTraceHook，使得ConsumeMessageTraceHook，对所述目标业务消息的消息消费操作数据进行消息消费过程分析，得到消费分析结果，将所述消息分析结果确定为所述目标业务消息对应的消息消费轨迹追加数据。
更具体的，消息消费操作数据可以包括消息是否消费成功的结果，消息消费耗时时间等等，得到消费分析结果，将所述消息分析结果确定为所述目标业务消息对应的消息消费轨迹追加数据。
S25、发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
具体的，仍使用上述的ConsumeMessageTraceHook发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
上述实施例中，第一数据存储集群和第二数据存储集群具有数据存储的功能，此外，还具有数据查询的功能。具体的，用户能够根据时间区间和消息ID(或消息key)查询某个topic下某条消息的轨迹信息，如参照图7，可以查看某条消息简化版的轨迹信息。
显示界面可以包括：
1)生产者：生产组、消息发送时间、消息发送状态、消息发送耗时。
2)消费者：消费组、消费时间、消费状态、消费耗时。
点击图7中的序号，查看该条消息在发送端和消费端具体的消费轨迹信息，具体参照图8。
其中，生产详情：展示了broker地址、生产者客户端ip、耗时、消息Id messageId、发送是否成功、topic、发送时间等属性。
消费详情：展示了消费者客户端ip、消费者组、msgId、耗时、消费是否成功等属性。
本实施例中，通过上述的自动隔离业务主题和消息轨迹主题，消息生产者自动将轨迹数据发送到轨迹主题代理服务器，即第二数据存储集群，消息轨迹数据能够按照时间，关键词等精确检索。
可选地，在上述应用于消息系统中的消息生产者的数据传输方法的实施例的基础上，本发明的另一实施例提供了一种数据传输装置，应用于消息系统中的消息生产者，与所述消息生产者通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；参照图8，所述数据传输装置包括：
消息获取模块11，用于获取待发送的目标业务消息；
第一轨迹生成模块12，用于依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
第一轨迹发送模块13，用于发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
消息发送模块14，用于发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
第二轨迹生成模块15，用于在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
第二轨迹发送模块16，用于将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
进一步，第一轨迹生成模块具体用于：
调用所述消息生产者预先设置的消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述目标业务消息对应的业务消息主题的属性信息，分析得到所述目标业务消息的基础属性信息，获取当前时间的时间戳，将所述基础数据信息以及所述时间戳确定为所述目标业务消息对应的消息生产轨迹的内容。
进一步，第二轨迹生成模块具体用于：
调用所述消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息进行消息发送过程分析，得到所述目标业务消息的消息发送分析结果，将所述消息发送分析结果确定为所述目标业务消息对应的消息生产轨迹追加数据。
本实施例中，消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
需要说明的是，本实施例中的各个模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选地，在上述应用于消息系统中的消息消费者的数据传输方法的实施例的基础上，本发明的另一实施例提供了一种数据传输装置，应用于消息系统中的消息消费者，与所述消息消费者通信的消息转发系统中，预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；参照图9，所述数据传输装置包括：
数据获取模块21，用于发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
第一消息轨迹生成模块22，用于在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
第一消息轨迹发送模块23，用于将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
第二消息轨迹生成模块24，用于对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
第二消息轨迹发送模块25，用于发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
进一步，第一消息轨迹生成模块具体用于：
调用所述消息消费者内预先设置的消息消费轨迹生成程序，以使所述消息消费轨迹生成程序依据所述目标业务消息的消息接收属性信息以及当前时间的时间戳，确定所述目标业务消息对应的消息消费轨迹的内容。
进一步，第二消息轨迹生成模块具体用于：
调用所述消息消费轨迹生成程序，以使所述消息消费轨迹生成程序对所述目标业务消息的消息消费操作数据进行消息消费过程分析，得到消费分析结果，将所述消息分析结果确定为所述目标业务消息对应的消息消费轨迹追加数据。
本实施例中，消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
需要说明的是，本实施例中的各个模块的工作过程，请参照上述实施例中的相应说明，在此不再赘述。
可选地，在上述应用于消息系统中的消息生产者的数据传输方法及装置的实施例的基础上，本发明的另一实施例提供了一种电子设备，与所述电子设备通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取待发送的目标业务消息；
依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
进一步，依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹，包括：
调用所述消息生产者预先设置的消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述目标业务消息对应的业务消息主题的属性信息，分析得到所述目标业务消息的基础属性信息；
获取当前时间的时间戳；
将所述基础数据信息以及所述时间戳确定为所述目标业务消息对应的消息生产轨迹的内容。
进一步，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据，包括：
调用所述消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息进行消息发送过程分析，得到所述目标业务消息的消息发送分析结果；
将所述消息发送分析结果确定为所述目标业务消息对应的消息生产轨迹追加数据。
本实施例中，消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
需要说明的是，本实施例中的各个步骤的具体实现过程，请参照上述实施例中的相应说明，在此不再赘述。
可选地，在上述应用于消息系统中的消息消费者的数据传输方法及装置的实施例的基础上，本发明的另一实施例提供了一种电子设备，与所述电子设备通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
进一步，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹，包括：
调用所述消息消费者内预先设置的消息消费轨迹生成程序，以使所述消息消费轨迹生成程序依据所述目标业务消息的消息接收属性信息以及当前时间的时间戳，确定所述目标业务消息对应的消息消费轨迹的内容。
进一步，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据，包括：
调用所述消息消费轨迹生成程序，以使所述消息消费轨迹生成程序对所述目标业务消息的消息消费操作数据进行消息消费过程分析，得到消费分析结果；
将所述消息分析结果确定为所述目标业务消息对应的消息消费轨迹追加数据。
本实施例中，消息转发系统预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群，在进行业务消息的发送时，目标业务消息存储至消息转发系统中的第一数据存储集群，目标业务消息对应的消息轨迹存储到所述消息转发系统中的第二数据存储集群。即通过本发明，将业务消息以及业务消息对应的消息轨迹分开存储，后续在对业务消息或业务消息对应的消息轨迹进行分析时，根据要分析的数据是业务消息还是消息轨迹，直接从对应的存储集群中查找数据即可，相比于从同时存储有业务消息和消息轨迹的存储集群中查找数据的方式，能够快速的找到需要分析的数据，进而简化了数据分析复杂度。
需要说明的是，本实施例中的各个步骤的具体实现过程，请参照上述实施例中的相应说明，在此不再赘述。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种数据传输方法，其特征在于，应用于消息系统中的消息生产者，与所述消息生产者通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输方法包括：
获取待发送的目标业务消息；
依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
2.根据权利要求1所述的数据传输方法，其特征在于，依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹，包括：
调用所述消息生产者预先设置的消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述目标业务消息对应的业务消息主题的属性信息，分析得到所述目标业务消息的基础属性信息；
获取当前时间的时间戳；
将所述基础数据信息以及所述时间戳确定为所述目标业务消息对应的消息生产轨迹的内容。
3.根据权利要求2所述的数据传输方法，其特征在于，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据，包括：
调用所述消息生产轨迹生成程序，以使所述消息生产轨迹生成程序依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息进行消息发送过程分析，得到所述目标业务消息的消息发送分析结果；
将所述消息发送分析结果确定为所述目标业务消息对应的消息生产轨迹追加数据。
4.一种数据传输方法，其特征在于，应用于消息系统中的消息消费者，与所述消息消费者通信的消息转发系统中，预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输方法包括：
发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
5.根据权利要求4所述的数据传输方法，其特征在于，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹，包括：
调用所述消息消费者内预先设置的消息消费轨迹生成程序，以使所述消息消费轨迹生成程序依据所述目标业务消息的消息接收属性信息以及当前时间的时间戳，确定所述目标业务消息对应的消息消费轨迹的内容。
6.根据权利要求5所述的数据传输方法，其特征在于，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据，包括：
调用所述消息消费轨迹生成程序，以使所述消息消费轨迹生成程序对所述目标业务消息的消息消费操作数据进行消息消费过程分析，得到消费分析结果；
将所述消息分析结果确定为所述目标业务消息对应的消息消费轨迹追加数据。
7.一种数据传输装置，其特征在于，应用于消息系统中的消息生产者，与所述消息生产者通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输装置包括：
消息获取模块，用于获取待发送的目标业务消息；
第一轨迹生成模块，用于依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
第一轨迹发送模块，用于发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
消息发送模块，用于发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
第二轨迹生成模块，用于在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
第二轨迹发送模块，用于将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
8.一种数据传输装置，其特征在于，应用于消息系统中的消息消费者，与所述消息消费者通信的消息转发系统中，预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述数据传输装置包括：
数据获取模块，用于发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
第一消息轨迹生成模块，用于在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
第一消息轨迹发送模块，用于将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
第二消息轨迹生成模块，用于对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
第二消息轨迹发送模块，用于发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
9.一种电子设备，其特征在于，与所述电子设备通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
获取待发送的目标业务消息；
依据所述目标业务消息对应的业务消息主题的属性信息，生成所述目标业务消息对应的消息生产轨迹；
发送所述消息生产轨迹到所述第二数据存储集群，以使所述第二数据存储集群存储所述目标业务消息对应的消息轨迹；
发送所述目标业务消息至所述消息转发系统中的第一数据存储集群，以使所述第一数据存储集群存储所述目标业务消息；
在接收到所述第一数据存储集群反馈的消息接收数据之后，依据所述消息接收数据以及所述目标业务消息对应的消息发送属性信息，生成所述目标业务消息对应的消息生产轨迹追加数据；
将所述消息生产轨迹追加数据发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息生产轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
10.一种电子设备，其特征在于，与所述电子设备通信的消息转发系统中预先设置有，用于存储业务消息的第一数据存储集群，以及，用于存储与所述业务消息对应的消息轨迹的第二数据存储集群；所述电子设备包括：存储器和处理器；
其中，所述存储器用于存储程序；
处理器调用程序并用于：
发送用于获取目标业务消息的请求至所述第一数据存储集群，以使所述第一数据存储集群发送所述目标业务消息；
在成功接收所述第一数据存储集群发送的目标业务消息之后，依据所述目标业务消息的消息接收过程信息，生成所述目标业务消息对应的消息消费轨迹；
将所述消息消费轨迹发送至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹添加到所述目标业务消息对应的消息轨迹中；
对所述目标业务消息执行消息消费操作，并在成功执行消息消费操作之后，依据所述目标业务消息的消息消费操作数据，生成所述目标业务消息对应的消息消费轨迹追加数据；
发送所述消息消费轨迹追加数据至所述第二数据存储集群，以使所述第二数据存储集群将所述消息消费轨迹追加数据添加到所述目标业务消息对应的消息轨迹中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458853.1A CN114629925A (zh) | 2020-12-11 | 2020-12-11 | 一种数据传输方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458853.1A CN114629925A (zh) | 2020-12-11 | 2020-12-11 | 一种数据传输方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114629925A true CN114629925A (zh) | 2022-06-14 |
Family
ID=81894856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011458853.1A Pending CN114629925A (zh) | 2020-12-11 | 2020-12-11 | 一种数据传输方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114629925A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0869639A2 (en) * | 1997-03-28 | 1998-10-07 | Sun Microsystems, Inc. | Message tracking |
| CN107465549A (zh) * | 2017-08-18 | 2017-12-12 | 北京奇艺世纪科技有限公司 | 一种分布式消息处理方法和系统 |
| CN107622060A (zh) * | 2016-07-13 | 2018-01-23 | 北京京东尚科信息技术有限公司 | 订单跟踪分析方法及装置 |
| CN110019240A (zh) * | 2017-12-29 | 2019-07-16 | 中国移动通信集团北京有限公司 | 一种业务数据交互方法、装置及系统 |
| WO2020220535A1 (zh) * | 2019-04-28 | 2020-11-05 | 平安科技（深圳）有限公司 | 一种数据存储方法及相关装置 |
-
2020
- 2020-12-11 CN CN202011458853.1A patent/CN114629925A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0869639A2 (en) * | 1997-03-28 | 1998-10-07 | Sun Microsystems, Inc. | Message tracking |
| CN107622060A (zh) * | 2016-07-13 | 2018-01-23 | 北京京东尚科信息技术有限公司 | 订单跟踪分析方法及装置 |
| CN107465549A (zh) * | 2017-08-18 | 2017-12-12 | 北京奇艺世纪科技有限公司 | 一种分布式消息处理方法和系统 |
| CN110019240A (zh) * | 2017-12-29 | 2019-07-16 | 中国移动通信集团北京有限公司 | 一种业务数据交互方法、装置及系统 |
| WO2020220535A1 (zh) * | 2019-04-28 | 2020-11-05 | 平安科技（深圳）有限公司 | 一种数据存储方法及相关装置 |
Non-Patent Citations (1)
| Title |
|---|
| WCL_JAVA: "快速学习-RocketMQ消息轨迹", pages 2 - 3, Retrieved from the Internet <URL:https://blog.csdn.net/weixin_42528266/article/details/108624891?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169932180416800185827673%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=169932180416800185827673&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~rank_v31_ecpm-5-108624891-null-null.nonecase&utm_term=%E6%B6%88%E6%81%AF%E8%BD%A8%E8%BF%B9%20%20%E7%89%A9%E7%90%86%E9%9A%94%E7%A6%BB&spm=1018.2226.3001.4450> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3739850A1 (en) | Device identifier dependent operation processing of packet based data communication | |
| KR101986481B1 (ko) | 엔드-투-엔드 엔드 유저 성능 자동 모니터링 방법 및 이러한 방법을 수행하는 장치 | |
| CN106375458B (zh) | 服务调用系统、方法及装置 | |
| CN105338061A (zh) | 一种轻量级消息中间件的实现方法与系统 | |
| CN113032419B (zh) | 一种多源数据聚合搜索方法、装置、设备及存储介质 | |
| WO2021151312A1 (zh) | 一种确定服务间依赖关系的方法及相关装置 | |
| CN107196848B (zh) | 消息推送方法及装置 | |
| CN110557284A (zh) | 基于客户端网关的数据聚合方法及装置 | |
| CN102355374A (zh) | 一种数据获取方法和设备 | |
| WO2019015670A1 (zh) | 跟踪、监控软件行为的方法、装置及设备 | |
| CN107636655A (zh) | 实时提供数据即服务（DaaS）的系统和方法 | |
| CN103731492A (zh) | 一种页面传输处理方法、装置和系统 | |
| CN116974948B (zh) | 业务系统测试方法、系统、设备和介质 | |
| CN111460038A (zh) | 一种数据准实时同步方法及装置 | |
| CN113342503B (zh) | 实时进度反馈方法、装置、设备及存储介质 | |
| CN104468248A (zh) | 业务性能的监控方法、反向代理服务器、统计分析服务器及系统 | |
| CN104168174A (zh) | 一种传输信息的方法及装置 | |
| CN113315689B (zh) | 信息处理方法、系统、电子设备和可读存储介质 | |
| CN113556695A (zh) | 一种基于5g消息的信息交互方法、信息交互系统 | |
| CN104052723B (zh) | 信息处理方法、服务器和系统 | |
| CN114629925A (zh) | 一种数据传输方法、装置及电子设备 | |
| CN107483294B (zh) | 监控网络请求的方法及装置 | |
| CN111934932B (zh) | 一种互联网架构评价方法及装置 | |
| CN112615773B (zh) | 一种消息处理方法及系统 | |
| CN114201659A (zh) | 一种消息轨迹传输查询方法、装置及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |