CN115022325A - 一种Kafka集群间数据传输方法及相关设备 - Google Patents
一种Kafka集群间数据传输方法及相关设备 Download PDFInfo
- Publication number
- CN115022325A CN115022325A CN202210652624.6A CN202210652624A CN115022325A CN 115022325 A CN115022325 A CN 115022325A CN 202210652624 A CN202210652624 A CN 202210652624A CN 115022325 A CN115022325 A CN 115022325A
- Authority
- CN
- China
- Prior art keywords
- nginx server
- kafka
- data
- cluster
- intranet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 11
- 230000002085 persistent effect Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 101001094649 Homo sapiens Popeye domain-containing protein 3 Proteins 0.000 description 4
- 101000608234 Homo sapiens Pyrin domain-containing protein 5 Proteins 0.000 description 4
- 101000578693 Homo sapiens Target of rapamycin complex subunit LST8 Proteins 0.000 description 4
- 102100027802 Target of rapamycin complex subunit LST8 Human genes 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/161—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields
- H04L69/162—Implementation details of TCP/IP or UDP/IP stack architecture; Specification of modified or new header fields involving adaptations of sockets based mechanisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/16—Implementing security features at a particular protocol layer
- H04L63/168—Implementing security features at a particular protocol layer above the transport layer
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请提供了一种Kafka集群间数据传输方法，应用于第一Kafka集群，包括：第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得第一Nginx服务器基于安全套接字协议将第一数据传输至第二Nginx服务器，由第二Nginx服务器传输第一数据至第二Kafka集群；基于本方案可知，本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过Nginx ssl加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。并且数据传输链路变得简洁，数据延迟风险问题得以解决。
Description
技术领域
本申请属于互联网技术领域，尤其涉及一种Kafka集群间数据传输方法、系统及设备。
背景技术
Kafka是一个开源流处理平台。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
对于不同的企业，为处理企业内部的数据，通常具有架设于企业内网的Kafka平台，然而随着业务需要，Kafka内的信息往往需要与不同企业的Kafka平台进行同步，此时为了数据传输的安全性考虑，往往需要额外设置一个具有公网IP的Kafka集群作为中转，才能将数据将数据由一个企业的内网Kafka平台传输到另一个企业的内网Kafka平台。
这一过程成Kafka跨机房传输方案主要问题在于数据传输链路长，增加网络延迟风险，并且传输需要额外搭建Kafka trans集群，集群机器数量过多，导致成本过高。
发明内容
本申请实施例第一方面提供了一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Kafka集群，包括：
所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
基于本申请实施例第一方面所提供的Kafka集群间数据传输方法，可选的，所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，包括：
所述第一Kafka集群传输所述第一数据至Kafka Mirror服务，以使得所述KafkaMirror服务传输所述第一数据至第一Nginx服务器。
基于本申请实施例第一方面所提供的Kafka集群间数据传输方法，可选的，所述第一Nginx服务器和所述第二Nginx服务器均处于双活模式。
本申请实施例第二方面提供了一种Kafka集群间数据传输方法，所述方法应用于第一Nginx服务器，包括：
所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；
所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
本申请实施三方面提供了一种Kafka集群间数据传输方法，所述方法应用于第一Nginx服务器，包括：
所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；
所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
本申请实施例第四方面提供了一种Kafka集群间数据传输方法，所述方法应用于第二Nginx服务器，包括：
所述第二Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至所述第二Nginx服务器；
所述第二Nginx服务器发送所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
本申请实施例第五方面提供了一种Kafka集群间数据传输方法，所述方法应用于第二Kafka服务器；
所述第二Kafka服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至第二Nginx服务器，由所述第二Nginx服务器发送至所述第二Kafka服务器；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
本申请实施例第六方面提供了一种Kafka集群间数据传输系统，包括：
第一Kafka集群、第一Nginx服务器、第二Kafka集群和第二Nginx服务器；
所述第一Kafka集群用于基于虚拟IP传输第一数据至第一Nginx服务器；
所述第一Nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二Nginx服务器；
所述第二Nginx服务器用于接收所述第一数据，并发送所述第一数据至第二Kafka集群；
所述第二Kafka集群用于接收所述第一数据；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
本申请实施例第六方面提供了一种Kafka集群设备，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，在所述设备上执行所述存储器中的指令操作以执行本申请实施例第一方面中任意一项所述的方法。
本申请实施例第七方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如本申请实施例第一方面中任意一项所述的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：本申请提供了一种Kafka集群间数据传输方法，所述方法应用于第一Kafka集群，包括：所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。基于本方案可知，本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过Nginx ssl加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。并且现架构数据传输链路变得简洁，数据延迟风险问题得以解决。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。可以理解的是，本部分所提供的附图仅用于更好地理解本方案，不构成对本申请的限定。
图1为本申请所提供的Kafka集群间数据传输系统实施例的一个结构示意图；
图2为本申请所提供的Kafka集群设备实施例的一个结构示意图；
图3为本申请所提供的Nginx服务器设备实施例的一个结构示意图；
图4为本申请所提供的Nginx服务器设备实施例的另一个结构示意图；
图5为本申请所提供的Kafka集群设备实施例的另一个结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。同时，为了描述清楚和简明，以下的描述中省略了对公知的功能和结构的描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
Kafka是一个开源流处理平台。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
对于不同的企业，为处理企业内部的数据，通常具有架设于企业内网的Kafka平台，然而随着业务需要，Kafka内的信息往往需要与不同企业的Kafka平台进行同步，此时为了数据传输的安全性考虑，往往需要额外设置一个具有公网IP的Kafka集群作为中转，才能将数据将数据由一个企业的内网Kafka平台传输到另一个企业的内网Kafka平台。
这一过程中一般的传输路径包括：数据传输起点的第一Kafka集群、将第一Kafka集群中的数据转运传输至设置于公网的Kafka trans集群的Kafka Mirror服务、用于中转数据的Kafka trans集群、用于将Kafka trans集群转运至第二Kafka集群的Kafka Mirror服务以及数据传输终点的第二Kafka集群。整个数据传输链路存在较多问题，首先，受限于Kafka系统的处理能力用于中转的Kafka trans集群需要设置多个机器设备才能支持数据中转过程的实现，导致数据传输过程的成本较高，不利于实施。其次基于上述方式的数据传输过程中需要多次的数据落地过程，数据传输链路较长，增加了网络延迟的风险。最后上述架构所涉及的环节较多，架构较为复杂，不利于实际实施过程中的生产与排查环节。为解决上述问题，本申请实施例第一方面提供了一种Kafka集群间数据传输系统，具体的，请参照图1，本申请所提供的Kafka集群间数据传输系统的一个实施例包括：
第一Kafka集群101、Kafka Mirror服务102、第一Nginx服务器103、第二Nginx服务器104和第二Kafka集群105。
第一Kafka集群101、Kafka Mirror服务102和第一Nginx服务器103设置于第一内网，即设置于传输起点企业的内网。所述第二Kafka集群104和所述第二Nginx服务器105设置于第二内网，即设置于数据传输终点企业的内网，所述第一内网与所述第二内网为不同内网，即两个内网间不能直接的完成数据传输。可以理解的是，第一内网和第二内网的设置单位不限于企业，也可为学校、科研机构或医院等具有数据分享和使用需求的机构，具体此处不做限定。为保证第一Nginx服务器103和所述第二Nginx服务器104之间的数据传输过程，所述第一Nginx服务器103和所述第二Nginx服务器104分别具有外网IP，以便二者之间可通过公网进行数据传输。
第一Kafka集群101用于基于虚拟IP传输第一数据至第一Nginx服务器103。具体的，第一Kafka集群即为数据传输的起点集群，第一Kafka集群可为任意企业内部用于管理企业内部数据的Kafka集群。在实际实施过程中第一Kafka集群的机器数量可依据需求而设置，此处不做限定。第一Kafka集群用于处理和存储企业所生成的数据，具体的数据种类可依据实际情况而定，如订单数据，缴费数据和日志数据等，此处不做限定。在企业运营过程中往往需要将第一Kafka集群内的某些数据同步给另一企业，以便另一企业基于这些数据完成生产经营活动，如电商平台与实际商户之间，消费者在电商平台上下发订单后，电商平台需要将相应的订单信息转发至实际商户，以便实际商户向消费者提供商品，完成整个交易流程，对于另一企业而言，其用于处理自身企业数据的服务器即为第二Kafka集群105。第一Kafka集群101和第二Kafka集群105出于安全需要均设置于自身企业的内网中，但数据需要经过公网传输。在基于公网进行传输前，首先需要第一Kafka集群101将数据传输到第一Nginx服务器103处。
在本实施例中第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器过程，可通过Kafka Mirror服务102完成。Kafka Mirror：卡夫卡镜是一种Kafka监控工具，可以实时监控Kafka应用程序、跟踪吞吐量、每秒事件、可以直接访问您的Kafka集群的日志数据，KafkaMirror可以提供精确，可靠的反馈，这些反馈可用于改善系统运行状况和发现异常情况。即Kafka Mirror作为消费者(consumer)拉取第一Kafka集群内的数据，并作为生产者将该数据提供给第一Nginx服务器。可以理解的是，在实际实施过程中也可采用其他可以达到同样效果的服务替换Kafka Mirror服务，具体此处不做限定。
虚拟IP地址(VIP)是一个不与特定计算机或一个计算机中的网络接口卡(NIC)相连的IP地址。数据包被发送到这个VIP地址，但是所有的数据还是经过真实的网络接口。VIPs大部分用于连接冗余；一个VIP地址也可能在一台计算机或NIC发生故障时可用，交由另一个可选计算机或NIC响应连接。虚拟IP与Nginx服务器的双活模式配合使用，进而在最大程度上保证了数据传输的稳定性及数据传输效率。本实施例中第一数据可为任意类型的数据，此处不做限定。
所述第一Nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二Nginx服务器；所述第二Nginx服务器用于接收所述第一数据，并发送所述第一数据至第二Kafka集群；
Nginx(engine x)是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、简单的配置文件和低系统资源的消耗而闻名。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，在BSD-like协议下发行。其特点是占有内存少，并发能力强，事实上Nginx的并发能力在同类型的网页服务器中表现较好。
Nginx+keepalived双机主主模式：即前端使用两台负载均衡服务器，互为主备，且都处于活动状态，同时各自绑定一个公网虚拟IP，提供负载均衡服务；当其中一台发生故障时，另一台接管发生故障服务器的公网虚拟IP(这时由非故障机器一台负担所有的请求)。这种方案，经济实惠，非常适合于当前架构环境。
第一Nginx服务器和第二Nginx服务器基于公网IP地址完成数据传输，同时由于传输过程中使用安全套接字协议(SSL，Secure Sockets Layer)进行传输保证了公网传输过程的数据安全性，并且通过Nginx服务器双活模式保证了服务器的稳定性与可用性，从而尽可能提高了数据传输过程的可实施性。
所述第二Kafka集群用于接收所述第一数据，进而完成整个数据传输过程。值得注意的是，本方案也可进行适应性调整以使得可以由第二Kafka集群传输数据至第一Kafka集群，具体的即采用第二Kafka Mirror服务以将数据由第二Kafka集群传输至第二Nginx服务器，具体此处不做赘述。
为保证数据传输的顺利实现，整个系统还需要进行一些适应性设置，具体的，包括：第一Kafka集群与第二Kafka集群应将IP与主机名称对应进行DNS内网全局解析，以保证地址正确识别，支持数据传输过程。运行Kafka Mirror服务的设备需要解析内网的第一Nginx服务器ip地址以及对端机房第二Kafka集群主机名称与地址的映射关系。Nginx服务器监听端口须与Kafka broker被Nginx代理端口一致。第一卡夫卡集群中的Kafkaserver.properties配置中需要添加advertised.listeners参数指定暴露给Nginx代理的地址与端口。两端机房防火墙需要开通给Nginx代理的端口。通过上述设置进一步的保证了数据传输过程的稳定实现。
从以上技术方案可以看出，本申请实施例具有以下优点：本申请提供了一种Kafka集群间的数据传输系统，包括：第一Kafka集群、第一Nginx服务器、第二Kafka集群和第二Nginx服务器；所述第一Kafka集群用于基于虚拟IP传输第一数据至第一Nginx服务器；所述第一Nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二Nginx服务器；所述第二Nginx服务器用于接收所述第一数据，并发送所述第一数据至第二Kafka集群；所述第二Kafka集群用于接收所述第一数据；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。本申请所提供的Kafka集群间数据传输系统通过使用Nginx服务器进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。
上述内容对Kafka集群间数据传输系统进行了描述，下面分别在不同设备的角度对本方案分别进行描述。
1、对于第一Kafka集群而言。
第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
在本实施例中第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器过程，可通过Kafka Mirror服务完成。Kafka Mirror：卡夫卡镜是一种Kafka监控工具，可以实时监控Kafka应用程序、跟踪吞吐量、每秒事件、可以直接访问您的Kafka集群的日志数据，KafkaMirror可以提供精确，可靠的反馈，这些反馈可用于改善系统运行状况和发现异常情况。即Kafka Mirror作为消费者(consumer)拉取第一Kafka集群内的数据，并作为生产者将该数据提供给第一Nginx服务器。虚拟IP地址(VIP)是一个不与特定计算机或一个计算机中的网络接口卡(NIC)相连的IP地址。数据包被发送到这个VIP地址，但是所有的数据还是经过真实的网络接口。VIPs大部分用于连接冗余；一个VIP地址也可能在一台计算机或NIC发生故障时可用，交由另一个可选计算机或NIC响应连接。虚拟IP与Nginx服务器的双活模式配合使用，进而在最大程度上保证了数据传输的稳定性及数据传输效率。本实施例中第一数据可为任意类型的数据，此处不做限定。
Nginx(engine x)是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、简单的配置文件和低系统资源的消耗而闻名。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，在BSD-like协议下发行。其特点是占有内存少，并发能力强，事实上Nginx的并发能力在同类型的网页服务器中表现较好。
Nginx+keepalived双机主主模式：即前端使用两台负载均衡服务器，互为主备，且都处于活动状态，同时各自绑定一个公网虚拟IP，提供负载均衡服务；当其中一台发生故障时，另一台接管发生故障服务器的公网虚拟IP(这时由非故障机器一台负担所有的请求)。这种方案，经济实惠，非常适合于当前架构环境。
为保证数据传输的顺利实现，整个系统还需要进行一些适应性设置，具体的，包括：第一Kafka集群与第二Kafka集群应将IP与主机名称对应进行DNS内网全局解析，以保证地址正确识别，支持数据传输过程。运行Kafka Mirror服务的设备需要解析内网的第一Nginx服务器ip地址以及对端机房第二Kafka集群主机名称与地址的映射关系。Nginx服务器监听端口须与Kafka broker被Nginx代理端口一致。第一卡夫卡集群中的Kafkaserver.properties配置中需要添加advertised.listeners参数指定暴露给Nginx代理的地址与端口。两端机房防火墙需要开通给Nginx代理的端口。通过上述设置进一步的保证了数据传输过程的稳定实现。
从以上技术方案可以看出，本申请实施例具有以下优点：本申请提供了一种Kafka集群间数据传输方法，所述方法应用于第一Kafka集群，包括：所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。基于本方案可知，本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。
2、对于第一Nginx服务器而言。
第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；
所述第一Nginx服务器基于安全套接字协议发送所述第一数据至所述第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
在本实施例中第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器过程，可通过Kafka Mirror服务完成。第一Nginx服务器与第一Kafka集群架设于同一公司内网，且第一Nginx服务器具有外网IP地址。第一Nginx服务器通过公网传输第一数据至第二Nginx服务器，以便第二Nginx服务器执行后续流程，具体过程可参照前述图1对应实施例中所述的内容，此处不做赘述。
从以上技术方案可以看出，本申请实施例具有以下优点：本申请提供了一种Kafka集群间数据传输方法，所述方法应用于第一Nginx服务器，包括：第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；所述第一Nginx服务器基于安全套接字协议发送所述第一数据至所述第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
基于本方案可知，本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。
3、对于第二Nginx服务器而言。
第二Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至所述第二Nginx服务器；
所述第二Nginx服务器发送所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
本实施例中各步骤的具体实施方式可参照前述图1对应实施例中所述的内容，此处不做赘述。
基于本方案可知，本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。
4、对于第二Kafka服务器而言。
第二Kafka服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至第二Nginx服务器，由所述第二Nginx服务器发送至所述第二Kafka服务器；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
本实施例中各步骤的具体实施方式可参照前述图1对应实施例中所述的内容，此处不做赘述。
基于本方案可知，本申请所提供的Kafka集群间数据传输方法通过使用Nginx进行传输，利用了Nginx服务器高可用性的特点，从而降低了传输链路中所需设置的中介服务器的数量，进而降低了数据传输成本，同时公网传输过程通过安全套接字协议加密，保证了数据传输的安全性，提高了Kafka集群间数据传输过程的可实施性。
上述内容对本申请所提供的Kafka集群间的数据传输系统及方法进行了描述，为支持上述实施例的实施，本申请还提供了相应设备以便支持上述方法及系统的实现，请参阅图2，本申请所提供Kafka集群设备的一个实施例包括：
图2是本申请实施例提供的一种Kafka集群设备的结构示意图，该Kafka集群设备可以包括一个或多个服务器200，该服务器200可以包括一个或一个以上中央处理器(central processing units，CPU)201和存储器205，该存储器205中存储有一个或一个以上的应用程序或数据。
其中，存储器205可以是易失性存储或持久存储。存储在存储器205的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器201可以设置为与存储器205通信，在服务器200上执行存储器205中的一系列指令操作。
服务器200还可以包括一个或一个以上电源202，一个或一个以上有线或无线网络接口203，一个或一个以上输入输出接口204，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器201可以执行前述图1所示实施例中第一Kafka集群所执行的操作，具体此处不再赘述。
图3是本申请实施例提供的一种Nginx服务器设备的结构示意图，该服务器300可以包括一个或一个以上中央处理器(central processing units，CPU)301和存储器305，该存储器305中存储有一个或一个以上的应用程序或数据。
其中，存储器305可以是易失性存储或持久存储。存储在存储器305的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器301可以设置为与存储器305通信，在服务器300上执行存储器305中的一系列指令操作。
服务器300还可以包括一个或一个以上电源302，一个或一个以上有线或无线网络接口303，一个或一个以上输入输出接口304，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器301可以执行前述图1所示实施例中第一Nginx服务器所执行的操作，具体此处不再赘述。
图4是本申请实施例提供的另一种Nginx服务器设备的结构示意图，该服务器400可以包括一个或一个以上中央处理器(central processing units，CPU)401和存储器405，该存储器405中存储有一个或一个以上的应用程序或数据。
其中，存储器405可以是易失性存储或持久存储。存储在存储器405的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器401可以设置为与存储器405通信，在服务器400上执行存储器405中的一系列指令操作。
服务器400还可以包括一个或一个以上电源402，一个或一个以上有线或无线网络接口403，一个或一个以上输入输出接口404，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器401可以执行前述图1所示实施例中第二Nginx服务器所执行的操作，具体此处不再赘述。
图5是本申请实施例提供的另一种Kafka集群设备的结构示意图，该Kafka集群设备可以包括一个或多个服务器500，该服务器500可以包括一个或一个以上中央处理器(central processing units，CPU)501和存储器505，该存储器505中存储有一个或一个以上的应用程序或数据。
其中，存储器505可以是易失性存储或持久存储。存储在存储器505的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器501可以设置为与存储器505通信，在服务器500上执行存储器505中的一系列指令操作。
服务器500还可以包括一个或一个以上电源502，一个或一个以上有线或无线网络接口503，一个或一个以上输入输出接口504，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。
该中央处理器501可以执行前述图1所示实施例中第二Kafka集群所执行的操作，具体此处不再赘述。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质用于储存为上述Kafka集群间数据传输方法所用的计算机软件指令，其包括用于执行为Kafka集群间数据传输方法所设计的程序。
该Kafka集群间数据传输方法可以如前述实施例中所描述的Kafka集群间数据传输方法。
本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机软件指令，该计算机软件指令可通过处理器进行加载来实现上述实施例中任意一项的Kafka集群间数据传输方法的流程。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，电路的等效变换，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Kafka集群，包括：
所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，以使得所述第一Nginx服务器基于安全套接字协议将所述第一数据传输至第二Nginx服务器，由所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
2.根据权利要求1所述的Kafka集群间数据传输方法，其特征在于，所述第一Kafka集群基于虚拟IP传输第一数据至第一Nginx服务器，包括：
所述第一Kafka集群传输所述第一数据至Kafka Mirror服务，以使得所述KafkaMirror服务传输所述第一数据至第一Nginx服务器。
3.根据权利要求1所述的Kafka集群间数据传输方法，其特征在于，所述第一Nginx服务器和所述第二Nginx服务器均处于双活模式。
4.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Nginx服务器，包括：
所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；
所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
5.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第一Nginx服务器，包括：
所述第一Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至所述第一Nginx服务器；
所述第一Nginx服务器基于安全套接字协议发送所述第一数据至第二Nginx服务器，以使得所述第二Nginx服务器传输所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
6.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第二Nginx服务器，包括：
所述第二Nginx服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至所述第二Nginx服务器；
所述第二Nginx服务器发送所述第一数据至第二Kafka集群；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
7.一种Kafka集群间数据传输方法，其特征在于，所述方法应用于第二Kafka服务器；
所述第二Kafka服务器接收第一数据，所述第一数据为第一Kafka集群基于虚拟IP传输至第一Nginx服务器后，所述第一Nginx服务器基于安全套接字协议发送至第二Nginx服务器，由所述第二Nginx服务器发送至所述第二Kafka服务器；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
8.一种Kafka集群间的数据传输系统，其特征在于，包括：
第一Kafka集群、第一Nginx服务器、第二Kafka集群和第二Nginx服务器；
所述第一Kafka集群用于基于虚拟IP传输第一数据至第一Nginx服务器；
所述第一Nginx服务器用于接收所述第一数据，并基于安全套接字协议发送所述第一数据至所述第二Nginx服务器；
所述第二Nginx服务器用于接收所述第一数据，并发送所述第一数据至第二Kafka集群；
所述第二Kafka集群用于接收所述第一数据；
所述第一Kafka集群和所述第一Nginx服务器设置于第一内网，所述第二Kafka集群和所述第二Nginx服务器设置于第二内网，所述第一内网与所述第二内网为不同内网，所述第一Nginx服务器和所述第二Nginx服务器分别具有外网IP。
9.一种Kafka集群设备，其特征在于，包括：
中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
所述存储器为短暂存储存储器或持久存储存储器；
所述中央处理器配置为与所述存储器通信，在所述Kafka集群设备上执行所述存储器中的指令操作以执行如权利要求1至3中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210652624.6A CN115022325B (zh) | 2022-06-07 | 2022-06-07 | 一种Kafka集群间数据传输方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210652624.6A CN115022325B (zh) | 2022-06-07 | 2022-06-07 | 一种Kafka集群间数据传输方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115022325A true CN115022325A (zh) | 2022-09-06 |
| CN115022325B CN115022325B (zh) | 2024-09-06 |
Family
ID=83073426
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210652624.6A Active CN115022325B (zh) | 2022-06-07 | 2022-06-07 | 一种Kafka集群间数据传输方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115022325B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103379184A (zh) * | 2012-04-23 | 2013-10-30 | 深圳市腾讯计算机系统有限公司 | 网络业务访问的方法及系统 |
| CN104158891A (zh) * | 2014-08-21 | 2014-11-19 | 腾讯科技（深圳）有限公司 | 一种跨区域数据传输方法、装置、系统及服务器 |
| CN106375493A (zh) * | 2016-10-10 | 2017-02-01 | 腾讯科技（深圳）有限公司 | 一种跨网络通信的方法以及代理服务器 |
| CN106506540A (zh) * | 2016-12-15 | 2017-03-15 | 北京三未信安科技发展有限公司 | 一种抗攻击的内网数据传输方法及系统 |
| US20170083378A1 (en) * | 2015-09-18 | 2017-03-23 | Salesforce.Com, Inc. | Managing processing of long tail task sequences in a stream processing framework |
| US20170093884A1 (en) * | 2015-09-24 | 2017-03-30 | Saudi Arabian Oil Company | Providing secure data transfer between networks |
| CN107278360A (zh) * | 2017-06-16 | 2017-10-20 | 唐全德 | 一种实现网络互连的系统、方法及装置 |
| CN110809047A (zh) * | 2019-11-08 | 2020-02-18 | 浪潮云信息技术有限公司 | 一种外网单域名连接内网kafka集群的实现方法及系统 |
| CN111767296A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 用于同步数据的方法、装置、电子设备及可读存储介质 |
| CN111917737A (zh) * | 2020-07-14 | 2020-11-10 | 北京明略软件系统有限公司 | 一种跨网rpc调用系统及方法 |
| CN112738239A (zh) * | 2020-12-29 | 2021-04-30 | 杭州趣链科技有限公司 | 基于区块链的跨网安全数据共享方法及其系统 |
| CN112887187A (zh) * | 2021-01-19 | 2021-06-01 | 海尔数字科技(青岛)有限公司 | 一种设备间通信建立方法、系统、装置、设备及介质 |
| CN113254227A (zh) * | 2020-02-11 | 2021-08-13 | 千寻位置网络有限公司 | 跨数据中心的远程方法调用的方法、系统 |
| CN113329033A (zh) * | 2021-06-23 | 2021-08-31 | 广东利元亨智能装备股份有限公司 | 局域网之间建立通信连接的方法、用户端设备及网关设备 |
| CN113722189A (zh) * | 2021-09-16 | 2021-11-30 | 中国船舶重工集团海装风电股份有限公司 | 基于工业互联网的风电多源异构数据采集汇聚系统 |
| CN114389885A (zh) * | 2022-01-14 | 2022-04-22 | 浙江远东工业开发有限公司 | 一种安全的开放私有云数据库到公有云方法 |
-
2022
- 2022-06-07 CN CN202210652624.6A patent/CN115022325B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103379184A (zh) * | 2012-04-23 | 2013-10-30 | 深圳市腾讯计算机系统有限公司 | 网络业务访问的方法及系统 |
| CN104158891A (zh) * | 2014-08-21 | 2014-11-19 | 腾讯科技（深圳）有限公司 | 一种跨区域数据传输方法、装置、系统及服务器 |
| US20170083378A1 (en) * | 2015-09-18 | 2017-03-23 | Salesforce.Com, Inc. | Managing processing of long tail task sequences in a stream processing framework |
| US20170093884A1 (en) * | 2015-09-24 | 2017-03-30 | Saudi Arabian Oil Company | Providing secure data transfer between networks |
| CN106375493A (zh) * | 2016-10-10 | 2017-02-01 | 腾讯科技（深圳）有限公司 | 一种跨网络通信的方法以及代理服务器 |
| CN106506540A (zh) * | 2016-12-15 | 2017-03-15 | 北京三未信安科技发展有限公司 | 一种抗攻击的内网数据传输方法及系统 |
| CN107278360A (zh) * | 2017-06-16 | 2017-10-20 | 唐全德 | 一种实现网络互连的系统、方法及装置 |
| CN110809047A (zh) * | 2019-11-08 | 2020-02-18 | 浪潮云信息技术有限公司 | 一种外网单域名连接内网kafka集群的实现方法及系统 |
| CN113254227A (zh) * | 2020-02-11 | 2021-08-13 | 千寻位置网络有限公司 | 跨数据中心的远程方法调用的方法、系统 |
| CN111767296A (zh) * | 2020-06-30 | 2020-10-13 | 北京百度网讯科技有限公司 | 用于同步数据的方法、装置、电子设备及可读存储介质 |
| CN111917737A (zh) * | 2020-07-14 | 2020-11-10 | 北京明略软件系统有限公司 | 一种跨网rpc调用系统及方法 |
| CN112738239A (zh) * | 2020-12-29 | 2021-04-30 | 杭州趣链科技有限公司 | 基于区块链的跨网安全数据共享方法及其系统 |
| CN112887187A (zh) * | 2021-01-19 | 2021-06-01 | 海尔数字科技(青岛)有限公司 | 一种设备间通信建立方法、系统、装置、设备及介质 |
| CN113329033A (zh) * | 2021-06-23 | 2021-08-31 | 广东利元亨智能装备股份有限公司 | 局域网之间建立通信连接的方法、用户端设备及网关设备 |
| CN113722189A (zh) * | 2021-09-16 | 2021-11-30 | 中国船舶重工集团海装风电股份有限公司 | 基于工业互联网的风电多源异构数据采集汇聚系统 |
| CN114389885A (zh) * | 2022-01-14 | 2022-04-22 | 浙江远东工业开发有限公司 | 一种安全的开放私有云数据库到公有云方法 |
Non-Patent Citations (1)
| Title |
|---|
| 蒋鸿城;陈可;耿继朴;戚伟强;沈志豪;: "海量日志分析在浙江电力的应用与实践", 浙江电力, no. 12, 25 December 2017 (2017-12-25) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115022325B (zh) | 2024-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7743155B2 (en) | Active-active operation for a cluster of SSL virtual private network (VPN) devices with load distribution | |
| JP4942921B2 (ja) | ホスト状態情報を用いるネットワーク負荷分散 | |
| JP6329899B2 (ja) | クラウドコンピューティングのためのシステム及び方法 | |
| CA2470420C (en) | Network load balancing with connection manipulation | |
| US9608841B2 (en) | Method for real-time synchronization of ARP record in RSMLT cluster | |
| US9342575B2 (en) | Providing high availability in an active/active appliance cluster | |
| US10439833B1 (en) | Methods and apparatus for using multicast messaging in a system for implementing transactions | |
| US8984114B2 (en) | Dynamic session migration between network security gateways | |
| CN108712457A (zh) | 基于Nginx反向代理的后端服务器动态负载调整方法及装置 | |
| CN104753817A (zh) | 一种云计算消息队列服务本地模拟方法和系统 | |
| Abawajy | An Approach to Support a Single Service Provider Address Image for Wide Area Networks Environment | |
| US20090190581A1 (en) | Overhead reduction for multi-link networking environments | |
| CN103368827A (zh) | 基于vc++的局域网即时通讯系统和方法 | |
| Thean et al. | Container-based MQTT broker cluster for edge computing | |
| US9485156B2 (en) | Method and system for generic application liveliness monitoring for business resiliency | |
| JP4964666B2 (ja) | 冗長化された通信経路を切り替える計算機、プログラム及び方法 | |
| Aditya et al. | A high availability (HA) MariaDB Galera Cluster across data center with optimized WRR scheduling algorithm of LVS-TUN | |
| CN114500243B (zh) | 数据通信方法、装置、计算机可读介质及电子设备 | |
| CN113242299A (zh) | 多数据中心的容灾系统、方法、计算机设备及介质 | |
| WO2024032094A1 (zh) | 即时通讯系统及方法 | |
| CN115022325B (zh) | 一种Kafka集群间数据传输方法及相关设备 | |
| JP2004306200A (ja) | ロボット制御システム | |
| CN116627686A (zh) | 网络设备的软件故障处理方法及装置 | |
| CN115567383A (zh) | 网络配置方法、主机服务器、设备和存储介质 | |
| GB2455075A (en) | A network controller for mirroring server applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |