CN112631800A - 面向kafka的数据传输方法、系统、计算机设备及存储介质 - Google Patents
面向kafka的数据传输方法、系统、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112631800A CN112631800A CN202011528391.6A CN202011528391A CN112631800A CN 112631800 A CN112631800 A CN 112631800A CN 202011528391 A CN202011528391 A CN 202011528391A CN 112631800 A CN112631800 A CN 112631800A
- Authority
- CN
- China
- Prior art keywords
- data
- consumption
- task
- data transmission
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012545 processing Methods 0.000 claims description 64
- 238000012544 monitoring process Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请属于大数据技术领域，涉及面向kafka的数据传输方法、系统、计算机设备及存储介质，所述方法包括:使WEB服务器接收数据传输请求并发送至任意服务节点；使基于数据传输请求生成消费任务，并发送任务信息至分布式服务端；监测到路径下的任务信息时，基于任务信息和工作节点对消费任务进行拆分，得到多个子消费任务并发送至分布式服务端；监测到存入子消费任务的任务信息时，启动线程从kafka中数据消费传输至数据接收端。本申请还涉及区块链技术，被确定为私密的消费数据可存储于区块链中。本申请可以实现传输的快速配置，简单高效，增加新的数据消费任务时，无需停止当前数据消费的任务或增加新的消费应用，有利于提高数据传输的效率。
Description
技术领域
本申请涉及大数据技术领域，尤其涉及面向kafka的数据传输方法、系统、计算机设备及存储介质。
背景技术
现有技术中将kafka消息实时传输到其他系统时可以基于Spark或者Flink定制化开发消费程序。基于Spark和Flink的消费程序需要依赖大数据集群并且需要定制化开发，新增Topic消费的时候，需要停止原本的应用，修改消费程序代码后重新发布，或者再增加一个APP任务单独处理新增的Topic，且Flume配置数据消费任务时需要通过启动Shell命令的方式进行，配置过程复杂，需要专业人员才能实现，通用性差。
发明内容
本申请实施例的目的在于提出一种面向kafka的数据传输方法、系统、计算机设备及存储介质，以解决现有技术中新增Topic消费的时需中止当前任务导致效率低，以及配置消费数据任务的过程复杂、通用性差的问题。
为了解决上述技术问题，本申请实施例提供一种面向kafka的数据传输方法，采用了如下所述的技术方案：
一种面向kafka的数据传输方法，包括下述步骤：
使WEB服务器接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；
使接收所述数据传输请求的服务节点基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下，其中，所述分布式服务端用于管理所述数据处理服务端的服务节点，存在一个服务节点为控制节点，且至少存在一个服务节点为工作节点；
使作为控制节点的服务节点监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；
使作为工作节点的服务节点监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。
为了解决上述技术问题，本申请实施例还提供一种面向kafka的数据传输系统，采用了如下所述的技术方案：
一种面向kafka的数据传输系统，包括基于无线或有线通信依次连接的WEB服务器、数据处理服务端和分布式服务端；所述数据处理服务端包括至少一个服务节点，且存在一个服务节点为控制节点，并至少存在一个服务节点为工作节点；
其中，所述WEB服务器，用于接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至所述数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；
所述分布式服务端，用于管理所述数据处理服务端的服务节点；
所述数据处理服务端中接收所述数据传输请求的服务节点，用于基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下；
所述数据处理服务端中作为控制节点的服务节点，用于在监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；
所述数据处理服务端中作为工作节点的服务节点，用于在监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的面向kafka的数据传输方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的面向kafka的数据传输方法的步骤。
与现有技术相比，本申请实施例提供的面向kafka的数据传输方法、系统、计算机设备及存储介质主要有以下有益效果：
通过以上步骤，面向kafka的数据传输通过WEB端可以实现传输的快速配置，简单高效，针对请求通过分布式的控制节点配合工作节点来启动线程进行数据消费的方式实现数据传输，可以针对不同请求启动不同的线程分别进行数据传输，使得增加新的数据消费任务时，无需停止当前数据消费的任务或增加新的消费应用，有利于提高数据传输的效率，实现硬件资源的高效利用。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，下面描述中的附图对应于本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的面向kafka的数据传输方法的一个实施例的流程图；
图3是根据本申请的面向kafka的数据传输系统的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的面向kafka的数据传输方法一般由服务器执行，相应地，面向kafka的数据传输系统一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本申请的面向kafka的数据传输方法的一个实施例的流程图。所述的面向kafka的数据传输方法包括以下步骤：
S201，使WEB服务器接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；
S202，使接收所述数据传输请求的服务节点基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下，其中，所述分布式服务端用于管理所述数据处理服务端的服务节点，存在一个服务节点为控制节点，且至少存在一个服务节点为工作节点；
S203，使作为控制节点的服务节点监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；
S204，使作为工作节点的服务节点监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。
下面对上述步骤进行展开说明。
对于步骤S201，本实施例是从kafka中消费数据，再将消费后得到的数据传输至数据接收端，即在kafka和数据接收端之间构建数据传输链路(或数据传输系统)来实现流式数据传输。
在使WEB服务器接收WEB端提交的数据传输请求的过程中，向WEB端提供WEB界面进行数据传输配置的交互，在WEB界面中提供若干配置项，WEB端通过获取用户对各配置项的操作生成数据传输请求，具体的，在WEB界面中提供的配置项可包括source配置项和sink配置项，source配置项包括kafka环境配置及kafka中待消费的topic的配置，完成配置后可得到kafka配置信息，sink配置项包括数据接收端的连接信息的配置，配置后可得到数据接收端信息，基于kafka配置信息和数据接收端信息来生成数据传输请求，本实施例中数据接收端主要为存储端，比如Hbase、HDFS、elastic等，例如在针对Hbase进行连接信息配置时，包括配置Hbase的rowkey等。基于WEB界面可实现kafka的topic的消费任务的快速配置，使得kafka数据同步任务配置简单高效，数据传输效率高。
在通过WEB界面用户的配置生成用于触发kafka中topic消费的数据传输请求后，数据传输请求通过WEB服务器随机路由到数据处理服务端的一个服务节点，该服务节点具体可为一个进程，多个服务节点则对应多个进程，本实施例中WEB服务器采用Nginx这一轻量级的WEB服务器，其在BSD-like协议下发行，占有内存少，并发能力强。其中，WEB服务器同时接收多个数据传输请求时，各数据传输请求的发送对象将在多个服务节点中随机分配。
在一些实施例中，所述数据传输请求还包括通过所述WEB界面实时配置的数据处理配置信息，即在WEB界面中提供的配置项还可包括transform配置项，在所述将消费数据传输至所述数据接收端之前，所述方法还包括：根据所述数据处理配置信息对消费的数据执行目标操作，以得到目标数据；所述目标数据为最终传输至所述数据接收端的消费数据。其中所述目标操作可为适配数据接收端的数据结构而对消费数据执行的数据转换操作，或为根据数据使用场景要求对消费数据执行的运算操作等。采用本步骤方式针对不同的场景或不同数据接收端进行数据适配，可以提高通用性。
对于步骤S202，本步骤实施例中的分布式服务端可采用zookeeper，所述数据处理服务端的任意服务节点在接收到数据传输请求后，将会根据数据传输请求生成消费任务，并将消费任务的任务信息写入zookeeper中用于任务发布的路径下，任务信息基于kafka配置信息和数据接收端信息来生成，其中，对所述kafka配置信息进行解析可得到kafka环境信息和待消费的Topic信息，待消费的topic对应的数据存储在kafka的broker中，因此任务信息可包括kafka和数据接收端的连接信息，以及待消费的topic信息。
在本实施例中，在kafka和数据接收端之间构建的数据传输链路或数据传输系统采用前后端分离的架构，前端为WEB端，后端为所述数据处理服务端，即所述数据处理服务端用于数据消费的服务节点和前端用于任务配置的WEB端分离。具体实施例中，所述数据处理服务端的服务节点存在master和worker两个角色，作为master角色的服务节点即为控制节点，在所述数据处理服务端有且仅有一个控制节点，而作为worker角色的服务节点即为工作节点，同一个服务节点可以同时作为控制节点和工作节点。
进一步地，在所述将所述数据传输请求发送至数据处理服务端的任意一个服务节点之前，所述方法包括：在数据处理服务端启动至少一个服务节点，并将启动的服务节点在所述分布式服务端中进行注册，其中，当启动的服务节点数量为一个时，所述分布式服务端将该服务节点同时注册为控制节点和工作节点，当启动的服务节点的数量为至少两个时，所述分布式服务端将所有启动的服务节点注册为工作节点，同时将其中一个服务节点注册为控制节点。以分布式服务端采用zookeeper为例，当数据处理服务端启动服务节点时会在zookeeper上进行注册，并在存在至少两个服务节点时进行控制节点(或称主节点)选举，这些服务节点会成为worker，即工作节点，选举其中一个服务节点成为master，即控制节点，每个工作节点会在zookeeper上监听一个存储自己消费任务的路径。基于本步骤本实施例可以实现独立和集群两种运行模式，其中集群模式可弹性扩容，来支撑海量数据实时同步。
进一步地，上述除控制节点以外的工作节点可用作备用控制节点，故在所述分布式服务端将所有启动的服务节点注册为工作节点之后，所述方法还包括：将作为工作节点的服务节点在所述分布式服务端中注册为备用控制节点；当作为控制节点的服务节点发生异常时，判断是否存在可用的备用控制节点若是则从所述备用控制节点中选取一个注册为新的控制节点，否则启动新的服务节点注册为新的控制节点。通过本步骤可以保证数据消费过程持续进行，避免因中断导致的消费效率下降。
在本实施例中，存在多个WEB端的情形，多个WEB端可能在任意时间点发起数据传输请求，情形请求的并发，进一步地，所述方法还包括：当接收到新的数据传输请求时，根据所述新的数据传输请求确定待消费的Topic，判断所述待消费的topic是否已存在对应的消费任务，若不存在则根据所述新的数据请求启动新的服务节点，以基于所述新的服务节点进行数据消费。采用本步骤在响应不同的数据传输请求时，在避免消费任务重复的情况下，通过启动新的服务节点可以实现不同消费任务的隔离，避免消费任务之间的相互影响，由此也实现了弹性扩容，支撑海量数据实时同步。
对于步骤S203，在本实施例中，由于WEB服务器将数据传输请求路由至服务节点时，无法确定哪个服务节点为控制节点，因此需要将任务信息发送至分布式服务端，再由作为控制节点的服务节点对分布式服务端用于任务发布的路径进行监测，以分布式服务端采用zookeeper为例，作为控制节点的服务节点通过监听zookeeper任务发布的路径，获取当前新提交的消费任务，之后再根据任务信息、当前在线的工作节点的数量拆分消费任务，得到多个子消费任务，作为控制节点的服务节点再将子消费任务信息存入zookeeper，以供工作节点后续调用执行，其中，控制节点拆分任务的过程即为负载均衡的过程，保证每个工作节点的线程数量处于均衡状态，在提高数据处理的效率的同时，提高硬件资源的利用率。
其中，基于任务信息和工作节点对消费任务进行拆分的过程包括，根据任务信息确定待消费的topic的数据量，以及确定工作节点当前待处理的任务量，根据待消费的数据量是否达到预设阈值和工作节点待处理的任务量低于预设阈值的工作节点的数量来对消费任务进行拆分。通过将消费任务拆分给多个工作节点执行，可以提高消费数据的传输效率。
对于步骤S204，在本实施例中，所述子消费任务的任务信息在存入分布式服务器时，将存储在多个用于任务发布的路径下，每个作为工作节点的服务节点分别监听不同的路径，当其监听到有子消费任务的任务信息写入与其对应的路径时，将根据子消费任务的任务信息启动线程进行数据消费。在向分布式服务端存入子消费任务的任务信息时，预先判断各路径下的子消费任务的任务信息的量，优先将子消费任务的任务信息存入到未存有子消费任务的任务信息或存有的子消费任务的任务信息量较小的路径，由此在同一路径下将存入两个或以上子消费任务的任务信息，从而保证各工作节点的负载均衡。
在本实施例中，作为工作节点的服务节点在启动线程后，基于kafka配置信息连接kafka时，将对所述kafka配置信息进行解析得到kafka环境信息和待消费的Topic，其中kafka环境信息包括连接kafka的broker的IP及端口，同样的，数据接收端信息包括连接数据接收端的IP及端口，通过前述各IP及端口可以实现分别与kafka和数据接收端的连接，以便根据前述解析得到的Topic从kafka中实时消费数据并传输消费后得到的数据至数据接收端。在本实施例中，数据接收端的不同对应不同的数据传输协议，前述步骤在创建消费任务时，将根据数据接收端的不同创建不同的连接方式。
进一步地，当存在多个topic同时进行数据消费时，所述方法还包括：
接收WEB端发送的暂停请求，根据所述暂停请求确定至少一个暂停消费的topic，根据确定的topic获取对应的任务信息，以获取与所述确定的topic对应的多个子消费任务的任务信息；根据获取的多个子消费任务的任务信息，确定执行消费所述确定的topic的数据的工作节点，由控制节点控制确定的工作节点暂停执行消费所述确定的topic的数据。采用本步骤可以针对单个topic消费任务，可一键启动停止消费任务，实现消费任务的精细化控制。
进一步地，所述方法还包括：根据所述数据接收端的实际写入速度动态配置数据消费速率，具体基于令牌桶算法控制每秒消费的数据条数来调整所述数据消费速率，当所述数据接收端的写入速度低于预设阈值时，降低每秒消费的数据条数来降低所述数据消费速率，否则增加每秒消费的数据条数来增加所述数据消费速率。具体的，基于令牌桶算法控制每秒消费的数据条数的过程为，令牌桶以一定的速率生成令牌存入令牌桶中，作为工作节点的服务节点分批次从kafka中拉取N条数据时，则需从令牌桶中获取N个令牌，待获取到令牌后再进行消息处理，通过这种控制数据消费速率的方式，可以通过令牌的生成速率来控制每秒消费的数据条数，由此可进行数据传输时的限流削峰，在流量洪峰的时候保障下游数据接收端的稳定。
在一些实施例中，所述方法还包括，基于prometheus和grafana对作为工作节点的服务节点的数据消费过程进行监控，并实时图形化展示数据消费延迟状态，当数据消费延迟达到阈值时实时告警，降低运维成本。其中，Prometheus是一个开源的服务监控系统和时间序列数据库，Grafana是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知；将两者结合可以实现延迟及时告警，可降低运维成本，可根据消费延迟情况动态调整服务节点个数，实现硬件资源的高利用率。
本申请提供的面向kafka的数据传输方法，通过以上步骤，面向kafka的数据传输通过WEB端可以实现传输的快速配置，简单高效，针对请求通过分布式的控制节点配合工作节点来启动线程进行数据消费的方式实现数据传输，可以针对不同请求启动不同的线程分别进行数据传输，使得增加新的数据消费任务时，无需停止当前数据消费的任务或增加新的消费应用，有利于提高数据传输的效率，实现硬件资源的高效利用。
需要强调的是，为进一步保证信息的私密和安全性，在基于所述kafka配置信息连接kafka进行数据消费后，被确定为私密的消费数据还可以存储于一区块链的节点中。本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种面向kafka的数据传输系统的一个实施例，该系统实施例与图2所示的方法实施例相对应，该系统具体可以应用于各种电子设备中。
如图3所示，本实施例所述的面向kafka的数据传输系统包括基于无线或有线通信依次连接的WEB服务器301、数据处理服务端302和分布式服务端303；数据处理服务端302可分别连接kafka和数据接收端，所述数据处理服务端302包括至少一个服务节点，且存在一个服务节点为控制节点，并至少存在一个服务节点为工作节点。
其中，所述WEB服务器301，用于接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至所述数据处理服务端302的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；
所述分布式服务端303，用于管理所述数据处理服务端302的服务节点；
所述数据处理服务端302中接收所述数据传输请求的服务节点，用于基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端303用于任务发布的路径下；
所述数据处理服务端302中作为控制节点的服务节点，用于在监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端303；
所述数据处理服务端302中作为工作节点的服务节点，用于在监测到所述分布式服务端303存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。
本实施例数据传输系统是从kafka中消费数据，再将消费后得到的数据传输至数据接收端，实现流式数据传输。
其中WEB服务器301接收的数据传输请求通过在WEB界面中获取用户对各配置项的操作来生成，其中在WEB界面中提供的配置项可包括source配置项和sink配置项，基于配置项生成数据传输请求的过程及WEB服务器301的相关内容可参考上述方法实施例，在此不作展开。
在一些实施例中，所述数据传输请求还包括通过所述WEB界面实时配置的数据处理配置信息，即在WEB界面中提供的配置项还可包括transform配置项，所述数据处理服务端302在所述将消费数据传输至所述数据接收端之前，还用于根据所述数据处理配置信息对消费的数据执行目标操作，以得到目标数据；所述目标数据为最终传输至所述数据接收端的消费数据。由此针对不同的场景或不同数据接收端进行数据适配，提高通用性。
在本实施例中的分布式服务端303可采用zookeeper，工作过程可参考上述方法实施例。在一些实施例中，所述数据处理服务端302用于在所述WEB服务器301将所述数据传输请求发送至数据处理服务端302的任意一个服务节点之前，启动至少一个服务节点，并将启动的服务节点在所述分布式服务端303中进行注册，注册相关内容可参考上述方法实施例。本实施例可以实现独立和集群两种运行模式，其中集群模式可弹性扩容，来支撑海量数据实时同步。
在一些实施例中，所述分布式服务端303还用于在所述分布式服务端303将所有启动的服务节点注册为工作节点之后，将作为工作节点的服务节点在所述分布式服务端303中注册为备用控制节点；当作为控制节点的服务节点发生异常时，判断是否存在可用的备用控制节点若是则从所述备用控制节点中选取一个注册为新的控制节点，否则使所述数据处理服务端302启动新的服务节点注册为新的控制节点。由此可以保证数据消费过程持续进行，避免因中断导致的消费效率下降。
在本实施例中，存在多个WEB端的情形，多个WEB端可能在任意时间点发起数据传输请求，情形请求的并发，所述数据处理服务端302还用于：当接收到新的数据传输请求时，根据所述新的数据传输请求确定待消费的Topic，判断所述待消费的topic是否已存在对应的消费任务，若不存在则根据所述新的数据请求启动新的服务节点，以基于所述新的服务节点进行数据消费。由此在响应不同的数据传输请求时，在避免消费任务重复的情况下，通过启动新的服务节点可以实现不同消费任务的隔离，避免消费任务之间的相互影响，由此也实现了弹性扩容，支撑海量数据实时同步。
在本实施例中，由于WEB服务器301将数据传输请求路由至服务节点时，无法确定哪个服务节点为控制节点，因此需要将任务信息发送至分布式服务端303，再由作为控制节点的服务节点对分布式服务端303用于任务发布的路径进行监测，以分布式服务端303采用zookeeper为例，作为控制节点的服务节点通过监听zookeeper任务发布的路径，获取当前新提交的消费任务，之后再根据任务信息、当前在线的工作节点的数量拆分消费任务，得到多个子消费任务，作为控制节点的服务节点再将子消费任务信息存入zookeeper，以供工作节点后续调用执行，其中，控制节点拆分任务的过程即为负载均衡的过程，保证每个工作节点的线程数量处于均衡状态，在提高数据处理的效率的同时，提高硬件资源的利用率。其中，数据处理服务端302基于任务信息和工作节点对消费任务进行拆分的过程时，具体用于根据任务信息确定待消费的topic的数据量，以及确定工作节点当前待处理的任务量，根据待消费的数据量是否达到预设阈值和工作节点待处理的任务量低于预设阈值的工作节点的数量来对消费任务进行拆分。通过将消费任务拆分给多个工作节点执行，可以提高消费数据的传输效率。
在本实施例中，所述数据处理服务端302将子消费任务的任务信息存入分布式服务器时，将存储在多个用于任务发布的路径下，每个作为工作节点的服务节点分别监听不同的路径，当其监听到有子消费任务的任务信息写入与其对应的路径时，将根据子消费任务的任务信息启动线程进行数据消费。在向分布式服务端303存入子消费任务的任务信息时，预先判断各路径下的子消费任务的任务信息的量，优先将子消费任务的任务信息存入到未存有子消费任务的任务信息或存有的子消费任务的任务信息量较小的路径，由此在同一路径下将存入两个或以上子消费任务的任务信息，从而保证各工作节点的负载均衡。
在本实施例中，作为工作节点的服务节点在启动线程后，数据处理服务端302基于kafka配置信息连接kafka时，将对所述kafka配置信息进行解析得到kafka环境信息和待消费的Topic，其中kafka环境信息包括连接kafka的broker的IP及端口，同样的，数据接收端信息包括连接数据接收端的IP及端口，数据处理服务端302通过前述各IP及端口可以实现分别与kafka和数据接收端的连接，以便根据前述解析得到的Topic从kafka中实时消费数据并传输消费后得到的数据至数据接收端。在本实施例中，数据接收端的不同对应不同的数据传输协议，前述步骤在创建消费任务时，将根据数据接收端的不同创建不同的连接方式。
进一步地，当存在多个topic同时进行数据消费时，所述数据处理服务端302还用于：接收WEB端发送的暂停请求，根据所述暂停请求确定至少一个暂停消费的topic，根据确定的topic获取对应的任务信息，以获取与所述确定的topic对应的多个子消费任务的任务信息；根据获取的多个子消费任务的任务信息，确定执行消费所述确定的topic的数据的工作节点，由控制节点控制确定的工作节点暂停执行消费所述确定的topic的数据。由此可以针对单个topic消费任务，可一键启动停止消费任务，实现消费任务的精细化控制。
进一步地，所述数据处理服务端302还用于：根据所述数据接收端的实际写入速度动态配置数据消费速率，具体基于令牌桶算法控制每秒消费的数据条数来调整所述数据消费速率，当所述数据接收端的写入速度低于预设阈值时，降低每秒消费的数据条数来降低所述数据消费速率，否则增加每秒消费的数据条数来增加所述数据消费速率。具体可参考上述方法实施例，通过令牌的生成速率来控制每秒消费的数据条数，可进行数据传输时的限流削峰，在流量洪峰的时候保障下游数据接收端的稳定。
在一些实施例中，所述面向kafka的数据传输系统还包括监控服务端，用于基于prometheus和grafana对作为工作节点的服务节点的数据消费过程进行监控，并实时图形化展示数据消费延迟状态，当数据消费延迟达到阈值时实时告警，降低运维成本，可根据消费延迟情况动态调整服务节点个数，实现硬件资源的高利用率。
本申请提供的面向kafka的数据传输系统，面向kafka的数据传输通过WEB端可以实现传输的快速配置，简单高效，针对请求通过分布式的控制节点配合工作节点来启动线程进行数据消费的方式实现数据传输，可以针对不同请求启动不同的线程分别进行数据传输，使得增加新的数据消费任务时，无需停止当前数据消费的任务或增加新的消费应用，有利于提高数据传输的效率，实现硬件资源的高效利用。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43，所述存储器41中存储有计算机可读指令，所述处理器42执行所述计算机可读指令时实现上述方法实施例中所述的面向kafka的数据传输方法的步骤，并具有与上述面向kafka的数据传输方法相对应的有益效果，在此不作展开。
需要指出的是，图中仅示出了具有存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
在本实施例中，所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如对应于上述面向kafka的数据传输方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行对应于所述面向kafka的数据传输方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的面向kafka的数据传输方法的步骤，并具有与上述面向kafka的数据传输方法相对应的有益效果，在此不作展开。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术实施例本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术实施例进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种面向kafka的数据传输方法，其特征在于，包括下述步骤：
使WEB服务器接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；
使接收所述数据传输请求的服务节点基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下，其中，所述分布式服务端用于管理所述数据处理服务端的服务节点，存在一个服务节点为控制节点，且至少存在一个服务节点为工作节点；
使作为控制节点的服务节点监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；
使作为工作节点的服务节点监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。
2.根据权利要求1所述的面向kafka的数据传输方法，其特征在于，所述数据传输请求还包括通过所述WEB界面实时配置的数据处理配置信息，在所述将消费数据传输至所述数据接收端之前，所述方法还包括：根据所述数据处理配置信息对消费的数据执行目标操作，以得到目标数据；所述目标数据为最终传输至所述数据接收端的消费数据。
3.根据权利要求2所述的面向kafka的数据传输方法，其特征在于，在所述将所述数据传输请求发送至数据处理服务端的任意一个服务节点之前，所述方法包括：
在数据处理服务端启动至少一个服务节点，并将启动的服务节点在所述分布式服务端中进行注册，其中，当启动的服务节点数量为一个时，所述分布式服务端将该服务节点同时注册为控制节点和工作节点，当启动的服务节点的数量为至少两个时，所述分布式服务端将所有启动的服务节点注册为工作节点，同时将其中一个服务节点注册为控制节点。
4.根据权利要求3所述的面向kafka的数据传输方法，其特征在于，在所述分布式服务端将所有启动的服务节点注册为工作节点之后，所述方法还包括：
将作为工作节点的服务节点在所述分布式服务端中注册为备用控制节点；当作为控制节点的服务节点发生异常时，判断是否存在可用的备用控制节点若是则从所述备用控制节点中选取一个注册为新的控制节点，否则启动新的服务节点注册为新的控制节点。
5.根据权利要求1至4任一项所述的面向kafka的数据传输方法，其特征在于，所述方法还包括：
当接收到新的数据传输请求时，根据所述新的数据传输请求确定待消费的Topic，判断所述待消费的topic是否已存在对应的消费任务，若不存在则根据所述新的数据请求启动新的服务节点，以基于所述新的服务节点进行数据消费。
6.根据权利要求5所述的面向kafka的数据传输方法，其特征在于，当存在多个topic同时进行数据消费时，所述方法还包括：
接收WEB端发送的暂停请求，根据所述暂停请求确定至少一个暂停消费的topic，根据确定的topic获取对应的任务信息，以获取与所述确定的topic对应的多个子消费任务的任务信息；
根据获取的多个子消费任务的任务信息，确定执行消费所述确定的topic的数据的工作节点，由控制节点控制确定的工作节点暂停执行消费所述确定的topic的数据。
7.根据权利要求1至4任一项所述的面向kafka的数据传输方法，其特征在于，所述方法还包括：
根据所述数据接收端的实际写入速度动态配置数据消费速率，具体基于令牌桶算法控制每秒消费的数据条数来调整所述数据消费速率，当所述数据接收端的写入速度低于预设阈值时，降低每秒消费的数据条数来降低所述数据消费速率，否则增加每秒消费的数据条数来增加所述数据消费速率。
8.一种面向kafka的数据传输系统，其特征在于，包括基于无线或有线通信依次连接的WEB服务器、数据处理服务端和分布式服务端；所述数据处理服务端包括至少一个服务节点，且存在一个服务节点为控制节点，并至少存在一个服务节点为工作节点；
其中，所述WEB服务器，用于接收基于WEB界面生成的数据传输请求，将所述数据传输请求发送至所述数据处理服务端的任意一个服务节点，所述数据传输请求包括通过所述WEB界面实时配置的kafka配置信息和数据接收端信息；
所述分布式服务端，用于管理所述数据处理服务端的服务节点；
所述数据处理服务端中接收所述数据传输请求的服务节点，用于基于所述数据传输请求生成消费任务，并将所述消费任务的任务信息发送至分布式服务端用于任务发布的路径下；
所述数据处理服务端中作为控制节点的服务节点，用于在监测到所述路径下的任务信息时，获取所述任务信息，基于所述任务信息和作为工作节点的服务节点对所述消费任务进行拆分，得到多个子消费任务，并将所述子消费任务的任务信息发送至所述分布式服务端；
所述数据处理服务端中作为工作节点的服务节点，用于在监测到所述分布式服务端存入所述子消费任务的任务信息时，根据所述子消费任务的任务信息启动线程，使所述线程基于所述kafka配置信息连接kafka进行数据消费，并基于所述数据接收端信息连接数据接收端，将消费数据传输至所述数据接收端。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的面向kafka的数据传输方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的面向kafka的数据传输方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011528391.6A CN112631800A (zh) | 2020-12-22 | 2020-12-22 | 面向kafka的数据传输方法、系统、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011528391.6A CN112631800A (zh) | 2020-12-22 | 2020-12-22 | 面向kafka的数据传输方法、系统、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112631800A true CN112631800A (zh) | 2021-04-09 |
Family
ID=75321553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011528391.6A Pending CN112631800A (zh) | 2020-12-22 | 2020-12-22 | 面向kafka的数据传输方法、系统、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112631800A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113596148A (zh) * | 2021-07-27 | 2021-11-02 | 上海商汤科技开发有限公司 | 一种数据传输方法、系统、装置、计算设备和存储介质 |
| CN114253626A (zh) * | 2021-11-30 | 2022-03-29 | 王建冬 | 消息处理方法、装置、电子设备及存储介质 |
| CN117608877A (zh) * | 2023-11-29 | 2024-02-27 | 广州方舟信息科技有限公司 | 一种数据传输方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866378A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种协调执行任务的系统及方法 |
| CN105706047A (zh) * | 2013-11-11 | 2016-06-22 | 亚马逊科技公司 | 基于分区的数据流处理框架 |
| CN110110006A (zh) * | 2019-04-15 | 2019-08-09 | 平安普惠企业管理有限公司 | 数据管理方法及相关产品 |
| CN110445864A (zh) * | 2019-08-11 | 2019-11-12 | 西藏宁算科技集团有限公司 | 一种云计算环境下分布式锁的实现方法及系统 |
| CN111381972A (zh) * | 2018-12-27 | 2020-07-07 | 北京奇虎科技有限公司 | 分布式任务调度方法、装置和系统 |
-
2020
- 2020-12-22 CN CN202011528391.6A patent/CN112631800A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105706047A (zh) * | 2013-11-11 | 2016-06-22 | 亚马逊科技公司 | 基于分区的数据流处理框架 |
| CN104866378A (zh) * | 2015-05-29 | 2015-08-26 | 北京京东尚科信息技术有限公司 | 一种协调执行任务的系统及方法 |
| CN111381972A (zh) * | 2018-12-27 | 2020-07-07 | 北京奇虎科技有限公司 | 分布式任务调度方法、装置和系统 |
| CN110110006A (zh) * | 2019-04-15 | 2019-08-09 | 平安普惠企业管理有限公司 | 数据管理方法及相关产品 |
| CN110445864A (zh) * | 2019-08-11 | 2019-11-12 | 西藏宁算科技集团有限公司 | 一种云计算环境下分布式锁的实现方法及系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113596148A (zh) * | 2021-07-27 | 2021-11-02 | 上海商汤科技开发有限公司 | 一种数据传输方法、系统、装置、计算设备和存储介质 |
| CN114253626A (zh) * | 2021-11-30 | 2022-03-29 | 王建冬 | 消息处理方法、装置、电子设备及存储介质 |
| CN114253626B (zh) * | 2021-11-30 | 2023-10-20 | 王建冬 | 消息处理方法、装置、电子设备及存储介质 |
| CN117608877A (zh) * | 2023-11-29 | 2024-02-27 | 广州方舟信息科技有限公司 | 一种数据传输方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10348809B2 (en) | Naming of distributed business transactions | |
| CN111813516B (zh) | 资源管控方法、装置、计算机设备及存储介质 | |
| CN112631800A (zh) | 面向kafka的数据传输方法、系统、计算机设备及存储介质 | |
| CN112667414A (zh) | 基于消息队列的消息消费方法、装置、计算机设备及介质 | |
| JP6692000B2 (ja) | リスク識別方法、リスク識別装置、クラウドリスク識別装置及びシステム | |
| US9104488B2 (en) | Support server for redirecting task results to a wake-up server | |
| CN109783151B (zh) | 规则变更的方法和装置 | |
| US11656902B2 (en) | Distributed container image construction scheduling system and method | |
| CN109408286A (zh) | 数据处理方法、装置、系统、计算机可读存储介质 | |
| CN112199442B (zh) | 分布式批量下载文件方法、装置、计算机设备及存储介质 | |
| Nguyen et al. | A low-cost two-tier fog computing testbed for streaming IoT-based applications | |
| CN102904961A (zh) | 一种云计算资源调度方法及系统 | |
| CN113254445A (zh) | 实时数据存储方法、装置、计算机设备及存储介质 | |
| CN115567594A (zh) | 微服务请求处理方法、装置、计算机设备及存储介质 | |
| CN113971098A (zh) | 一种RabbitMQ消费管理方法及系统 | |
| CN116069493A (zh) | 一种数据处理方法、装置、设备以及可读存储介质 | |
| CN115118475A (zh) | 密码设备集群调度方法、装置、设备及介质 | |
| CN115361382A (zh) | 基于数据群组的数据处理方法、装置、设备和存储介质 | |
| CN113420275B (zh) | 数据连接处理方法、相关装置及计算机程序产品 | |
| CN115378937A (zh) | 任务的分布式并发方法、装置、设备和可读存储介质 | |
| CN114915516A (zh) | 一种通信方法及装置 | |
| Li et al. | Modeling message queueing services with reliability guarantee in cloud computing environment using colored petri nets | |
| CN111858260A (zh) | 信息显示方法、装置、设备及介质 | |
| CN110262756B (zh) | 用于缓存数据的方法和装置 | |
| CN116861455B (zh) | 事件数据处理方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |