CN110661652A - 一种互联网设备连接及数据转发处理方法 - Google Patents

一种互联网设备连接及数据转发处理方法 Download PDF

Info

Publication number
CN110661652A
CN110661652A CN201910845644.3A CN201910845644A CN110661652A CN 110661652 A CN110661652 A CN 110661652A CN 201910845644 A CN201910845644 A CN 201910845644A CN 110661652 A CN110661652 A CN 110661652A
Authority
CN
China
Prior art keywords
cluster
emq
forwarding
kafka
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910845644.3A
Other languages
English (en)
Other versions
CN110661652B (zh
Inventor
黎冬生
余福荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd
Original Assignee
Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd filed Critical Hangzhou Jiuxin Internet Of Things Science & Technology Co Ltd
Priority to CN201910845644.3A priority Critical patent/CN110661652B/zh
Publication of CN110661652A publication Critical patent/CN110661652A/zh
Application granted granted Critical
Publication of CN110661652B publication Critical patent/CN110661652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明公开了一种互联网设备连接及数据转发处理方法，涉及物联网设备连接技术领域，解决了现有技术中EMQ和Kafka通过Kafka Bridge配合使用的方法存在着运行稳定性低和CPU使用率高的问题，其技术要点是：包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；本发明采用数据订阅和转发模块，订阅EMQ集群所有消息，并转发到Kafka集群，只要有一个Kafka节点在工作，消息转发就可以成功，相对于现有技术，本发明极大增加了系统的可靠性和稳定性，同时，应用从Kafka集群消费消息，也不再存在单点故障问题。

Description

一种互联网设备连接及数据转发处理方法
技术领域
本发明涉及物联网设备连接技术领域，尤其涉及一种互联网设备连接及数据转发处理方法。
背景技术
EMQ X(Erlang/Enterprise/Elastic MQTT Broker)消息服务器支持海量物联网设备一站式连接，并且支持大规模分布式，可用于集群架构，弹性伸缩部署。Kafka是一种高吞吐量的分布式发布订阅消息系统，可用于解耦生产者和消费者缓存消息。如图1所示，EMQ和Kafka通过Kafka Bridge配合使用，可便于接入海量物联设备并缓存巨量消息
如图2所示，现有技术中为支持海量设备接入，EMQ X一般采用集群分布式部署，采用每个EMQ节点消息输出到一个Kafka缓存，但是该连接方法存在着一下问题，1、EMQ是集群分布式部署，但Kafka不是集群分布式部署，只要有一个EMQ或Kafka节点异常，就会导致数据丢失，运行稳定性低；2、EMQ X到Kafka的Kafka Bridge存在CPU使用率过高问题，导致接收和转存消息性能下降。因此，我们提出了一种互联网设备连接及数据转发处理方法。
发明内容
本发明要解决的技术问题是针对上述缺陷，提供一种互联网设备连接及数据转发处理方法，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；消息从服务器上经过Load Balancer分流到EMQ集群模块上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息，以解决现有技术中EMQ和Kafka通过Kafka Bridge配合使用的方法存在着运行稳定性低和CPU使用率高的问题。
为实现上述目的，本发明提供如下技术方案：
一种互联网设备连接及数据转发处理方法，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；消息从服务器上经过Load Balancer分流到EMQ集群模块上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息。
作为本发明进一步的方案，数据订阅和转发模块采用主备模式，数据订阅和转发模块设有两个，其中主模块正常工作，当主模块异常时，备用模块切换为运行状态，同时主模块重启，并变成备用模块进入待机状态。
作为本发明进一步的方案，EMQ集群和数据订阅和转发模块至少设有一组。
综上所述，本发明与现有技术相比具有以下有益效果：
1、本发明采用数据订阅和转发模块，订阅EMQ集群所有消息，并转发到Kafka集群，只要有一个Kafka节点在工作，消息转发就可以成功，相对于现有技术，本发明极大增加了系统的可靠性和稳定性，同时，应用从Kafka集群消费消息，也不再存在单点故障问题。
2、本发明数据订阅和转发模块采用主备模式，避免其单点故障风险，增加了系统可靠性；而且本发明采用多个数据订阅和转发模块及EMQ集群，避免其成为性能瓶颈，增大了系统处理海量数据能力。
附图说明
图1为现有技术中通过Kafka Bridge转发EMQ消息到Kafka的工作原理图。
图2为现有技术中通过分布式EMQ和Kafka Bridge转发数据到Kafka的工作原理图。
图3为本发明实施例1的工作原理图。
图4为本发明实施例2的工作原理图。
图5为本发明实施例3的工作原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
由图3所示，一种互联网设备连接及数据转发处理方法，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；
数据订阅和转发模块现有技术中物联网数据订阅和转发模块；
消息从服务器上经过Load Balancer分流到EMQ集群模块上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息。
实施例2
由图4所示，一种互联网设备连接及数据转发处理方法，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；
数据订阅和转发模块现有技术中物联网数据订阅和转发模块；
消息从服务器上经过Load Balancer分流到EMQ集群模块上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息；
为了防止数据订阅和转发模块异常导致数据丢失，数据订阅和转发模块采用主备模式，数据订阅和转发模块设有两个，其中主模块正常工作，当主模块异常时，备用模块切换为运行状态，同时主模块重启，并变成备用模块进入待机状态。
实施例3
由图5所示，一种互联网设备连接及数据转发处理方法，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；
数据订阅和转发模块现有技术中物联网数据订阅和转发模块；
消息从服务器上经过Load Balancer分流到EMQ集群模块上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息；
本实施例中，为避免数据订阅和转发模块成为性能瓶颈，EMQ集群和数据订阅和转发模块设有多组；
本实施例中其他特征与实施例2相同。
综上所述，本发明的工作原理是：
本发明采用数据订阅和转发模块，订阅EMQ集群所有消息，并转发到Kafka集群，只要有一个Kafka节点在工作，消息转发就可以成功，极大增加了系统的可靠性和稳定性，同时，应用从Kafka集群消费消息，也不再存在单点故障问题；数据订阅和转发模块采用主备模式，避免其单点故障风险，增加了系统可靠性；采用多个数据订阅和转发模块及EMQ集群，避免其成为性能瓶颈，增大了系统处理海量数据能力。
需要特别说明的是，本申请中，通过采用数据订阅和转发模块订阅EMQ集群所有消息并转发到Kafka集群从而提高系统的稳定性为本申请的创新点，其有效解决了现有技术中EMQ和Kafka通过Kafka Bridge配合使用的方法存在着运行稳定性低和CPU使用率高的问题。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种互联网设备连接及数据转发处理方法，其特征在于，包括EMQ集群和Kafka集群，EMQ集群和Kafka集群通过数据订阅和转发模块通讯，数据订阅和转发模块负责从EMQ集群订阅消息，然后转发到Kafka集群；消息从服务器上经过Load Balancer分流到EMQ集群模块上，然后通过数据订阅和转发模块从EMQ集群订阅消息，然后转发到Kafka集群，应用从Kafka集群消费消息。
2.根据权利要求1所述的互联网设备连接及数据转发处理方法，其特征在于，数据订阅和转发模块采用主备模式，数据订阅和转发模块设有两个，其中主模块正常工作，当主模块异常时，备用模块切换为运行状态，同时主模块重启，并变成备用模块进入待机状态。
3.根据权利要求1所述的互联网设备连接及数据转发处理方法，其特征在于，EMQ集群和数据订阅和转发模块至少设有一组。
CN201910845644.3A 2019-09-09 2019-09-09 一种互联网设备连接及数据转发处理方法 Active CN110661652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910845644.3A CN110661652B (zh) 2019-09-09 2019-09-09 一种互联网设备连接及数据转发处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910845644.3A CN110661652B (zh) 2019-09-09 2019-09-09 一种互联网设备连接及数据转发处理方法

Publications (2)

Publication Number Publication Date
CN110661652A true CN110661652A (zh) 2020-01-07
CN110661652B CN110661652B (zh) 2022-03-11

Family

ID=69037993

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910845644.3A Active CN110661652B (zh) 2019-09-09 2019-09-09 一种互联网设备连接及数据转发处理方法

Country Status (1)

Country Link
CN (1) CN110661652B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087499A (zh) * 2020-08-26 2020-12-15 武汉普利商用机器有限公司 一种物联网云管理方法及系统
CN114531468A (zh) * 2020-11-06 2022-05-24 上海博泰悦臻网络技术服务有限公司 提升车辆远程控制率方法、系统、介质及装置
CN114615277A (zh) * 2022-03-04 2022-06-10 杭州觅恒科技有限公司 一种基于emq x的多集群动态扩展方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160337465A1 (en) * 2015-05-15 2016-11-17 Cisco Technology, Inc. Multi-datacenter message queue
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信系统及其方法
CN109856988A (zh) * 2019-04-08 2019-06-07 五邑大学 一种基于物联网的环境检测控制系统
CN109889551A (zh) * 2019-04-16 2019-06-14 湖南树华环保科技有限公司 一种智能硬件接入的物联网云平台的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160337465A1 (en) * 2015-05-15 2016-11-17 Cisco Technology, Inc. Multi-datacenter message queue
CN106953901A (zh) * 2017-03-10 2017-07-14 重庆邮电大学 一种提高消息传递性能的集群通信系统及其方法
CN109856988A (zh) * 2019-04-08 2019-06-07 五邑大学 一种基于物联网的环境检测控制系统
CN109889551A (zh) * 2019-04-16 2019-06-14 湖南树华环保科技有限公司 一种智能硬件接入的物联网云平台的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112087499A (zh) * 2020-08-26 2020-12-15 武汉普利商用机器有限公司 一种物联网云管理方法及系统
CN114531468A (zh) * 2020-11-06 2022-05-24 上海博泰悦臻网络技术服务有限公司 提升车辆远程控制率方法、系统、介质及装置
CN114615277A (zh) * 2022-03-04 2022-06-10 杭州觅恒科技有限公司 一种基于emq x的多集群动态扩展方法及系统
CN114615277B (zh) * 2022-03-04 2024-01-16 杭州觅恒科技有限公司 一种基于emq x的多集群动态扩展方法及系统

Also Published As

Publication number Publication date
CN110661652B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN110661652B (zh) 一种互联网设备连接及数据转发处理方法
CN102318275B (zh) 基于cc-numa的报文处理方法、装置和系统
CN108173959B (zh) 一种集群存储系统
CN101163036B (zh) 实现网络设备管理软件双机热备份的方法
CN105429791A (zh) 一种分布式服务状态检测器及方法
US11122000B1 (en) Notifying a publisher of life-cycle events for topic subscription
CN110704250B (zh) 一种分布式系统的热备份装置
CN106385334B (zh) 呼叫中心系统及其异常检测及自恢复方法
CN103888277A (zh) 一种网关容灾备份方法、装置和系统
CN112003721B (zh) 一种大数据平台管理节点高可用的实现方法及装置
CN113422842B (zh) 一种考虑网络负载的分布式电力用电信息数据采集系统
CN105577430A (zh) 一种高端容错服务器的节点管理方法
CN107454171B (zh) 消息服务系统及其实现方法
CN103023973A (zh) 一种基于cpci结构的集群服务器设计方法
US20200084129A1 (en) Method and apparatus for reporting power down events in a network node without a backup energy storage device
CN113282604B (zh) 基于消息队列实现的高可用时序数据库集群系统
CN114844809B (zh) 基于网络心跳和内核磁盘心跳的多因子仲裁方法、装置
CN114265753A (zh) 消息队列的管理方法、管理系统和电子设备
CN111198662B (zh) 一种数据存储方法、装置和计算机可读存储介质
CN101072088A (zh) 数据备份系统、主控板和数据备份方法
CN109302319B (zh) 报文池分布式集群及其管理方法
CN102185720A (zh) 一种北向通知管理接口装置及其管理方法
CN111586110B (zh) 一种raft在出现点对点故障时的优化处理方法
JPH07319836A (ja) 障害監視方式
CN111966488B (zh) 接口网关多中心应用系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant