CN109614250A - 一种针对电采集系统的Kafka的消息系统 - Google Patents
一种针对电采集系统的Kafka的消息系统 Download PDFInfo
- Publication number
- CN109614250A CN109614250A CN201811483692.4A CN201811483692A CN109614250A CN 109614250 A CN109614250 A CN 109614250A CN 201811483692 A CN201811483692 A CN 201811483692A CN 109614250 A CN109614250 A CN 109614250A
- Authority
- CN
- China
- Prior art keywords
- message
- kafka
- topic
- acquisition system
- electric acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种针对电采集系统的Kafka的消息系统，所述针对电采集系统的Kafka的消息系统多个Broker服务器、Topic和消息，不同类型的消息被存储到不同的Topic上，所有Topic被存储在不同的Broker服务器上。以解决现有技术不能满足海量数据高吞吐率的问题。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种针对电采集系统的Kafka的消息系统。
背景技术
既有的消息系统或者对消息传送的可靠性提供了较高的保证，由此带来较大的负担，不能满足海量数据高吞吐率的要求。
发明内容
本发明要解决的技术问题是：提供一种针对电采集系统的Kafka的消息系统，以解决现有技术不能满足海量数据高吞吐率的问题。
本发明的技术方案是：一种针对电采集系统的Kafka的消息系统，所述针对电采集系统的Kafka的消息系统多个Broker服务器、Topic和消息，不同类型的消息被存储到不同的Topic上，所有Topic被存储在不同的Broker服务器上。
进一步地，所述Topic采用log文件形式存储。
进一步地，所述消息采用Pull模式发送。
本发明的有益效果是：
与现有技术相比，本发明通过将不同类型的消息存储到不同的Topic上，所有Topic被存储在不同的Broker服务器上，使得数据吞吐量显著提高。
附图说明
图1为本发明的结构示意图；
图中：1Broker服务器、2Topic、3消息。
具体实施方式
下面结合附图及具体的实施例对发明进行进一步介绍：
参考图1，一种针对电采集系统的Kafka的消息系统，所述针对电采集系统的Kafka的消息系统多个Broker服务器1、Topic2和消息3，不同类型的消息3被存储到不同的Topic2上，所有Topic2被存储在不同的Broker服务器1上。使得数据吞吐量显著提高。
进一步地，所述Topic2采用log文件形式存储。消息队列是以log文件的形式存储，消息生产者只能将消息添加到既有的文件尾部，没有任何ID信息用于消息的定位，完全依靠文件内的位移，因此消息的使用者只能依靠文件位移顺序读取消息，这样也就不需要维护复杂的支持随即读取的索引结构。
进一步地，所述消息3采用Pull模式发送。使用Pull模式派发消息，消息的使用情况，比如是否还有consumer没有读取，是否重复读取等，在Broker端也完全不跟踪维护，消息的过期处理简单的由定时器定时删除（比如保留7天），由此简化各种消息跟踪维护的开销。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (3)
1.一种针对电采集系统的Kafka的消息系统，其特征在于：所述针对电采集系统的Kafka的消息系统多个Broker服务器（1）、Topic（2）和消息（3），不同类型的消息（3）被存储到不同的Topic（2）上，所有Topic（2）被存储在不同的Broker服务器（1）上。
2.根据权利要求1所述的针对电采集系统的Kafka的消息系统，其特征在于：所述Topic（2）采用log文件形式存储。
3.根据权利要求1所述的针对电采集系统的Kafka的消息系统，其特征在于：所述消息采用Pull模式发送。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811483692.4A CN109614250A (zh) | 2018-12-04 | 2018-12-04 | 一种针对电采集系统的Kafka的消息系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811483692.4A CN109614250A (zh) | 2018-12-04 | 2018-12-04 | 一种针对电采集系统的Kafka的消息系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109614250A true CN109614250A (zh) | 2019-04-12 |
Family
ID=66007268
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811483692.4A Pending CN109614250A (zh) | 2018-12-04 | 2018-12-04 | 一种针对电采集系统的Kafka的消息系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109614250A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104754036A (zh) * | 2015-03-06 | 2015-07-01 | 合一信息技术（北京）有限公司 | 一种基于kafka的消息处理系统及处理方法 |
| CN106874160A (zh) * | 2017-01-23 | 2017-06-20 | 上海斐讯数据通信技术有限公司 | 日志服务器及其管理方法 |
| CN106953901A (zh) * | 2017-03-10 | 2017-07-14 | 重庆邮电大学 | 一种提高消息传递性能的集群通信系统及其方法 |
| KR101834837B1 (ko) * | 2016-11-14 | 2018-03-06 | 충북대학교 산학협력단 | MQTT와 KAFKA를 이용한 IoT 센서 시뮬레이터 시스템 |
-
2018
- 2018-12-04 CN CN201811483692.4A patent/CN109614250A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104754036A (zh) * | 2015-03-06 | 2015-07-01 | 合一信息技术（北京）有限公司 | 一种基于kafka的消息处理系统及处理方法 |
| KR101834837B1 (ko) * | 2016-11-14 | 2018-03-06 | 충북대학교 산학협력단 | MQTT와 KAFKA를 이용한 IoT 센서 시뮬레이터 시스템 |
| CN106874160A (zh) * | 2017-01-23 | 2017-06-20 | 上海斐讯数据通信技术有限公司 | 日志服务器及其管理方法 |
| CN106953901A (zh) * | 2017-03-10 | 2017-07-14 | 重庆邮电大学 | 一种提高消息传递性能的集群通信系统及其方法 |
Non-Patent Citations (1)
| Title |
|---|
| 于金良等: "一种分布式消息队列研究与测试", 《物联网技术》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9367369B2 (en) | Automated merger of logically associated messages in a message queue | |
| Aalders | The IT outsourcing guide | |
| CN104126192B (zh) | 时间管理式电子邮件消息 | |
| CN109918349A (zh) | 日志处理方法、装置、存储介质和电子装置 | |
| US20160381164A1 (en) | Optimizing storage in a publish / subscribe environment | |
| US20170269976A1 (en) | Efficient application feedback collection | |
| CN106487891B (zh) | 一种基于kafka的处理消息的方法 | |
| CN108769099A (zh) | 一种消息中间件的消息去重的实现方法 | |
| CN103491170B (zh) | 电子邮件到达消息提醒的方法及系统 | |
| US20140337343A1 (en) | Method, computer program and computer for detecting communities in social media | |
| CA2725017A1 (en) | Email auto-filing and management | |
| US20070168443A1 (en) | System and method for managing an instant messaging contact list | |
| EP1845487A3 (en) | Forms for business case management | |
| US20110307557A1 (en) | Selectively controlling information flow in a collaborative environment | |
| US9766961B2 (en) | Optimization of non-volatile memory in message queuing | |
| CN104077363B (zh) | 邮件服务器及其进行邮件全文搜索的方法 | |
| CN109614250A (zh) | 一种针对电采集系统的Kafka的消息系统 | |
| US9800531B2 (en) | Email as a transport mechanism for activity stream posting | |
| CN111208953A (zh) | 一种分布式存储方法及其装置 | |
| US9391942B2 (en) | Symbolic variables within email addresses | |
| CN105204776A (zh) | 数据处理方法及装置 | |
| CN112948410A (zh) | 数据处理方法、装置、设备及介质 | |
| CN109189609A (zh) | 一种非结构化数据快速备份系统和方法 | |
| Delindanoren et al. | The Determinants of Corporate Sustainability Performance in Indonesia | |
| CN117499359A (zh) | 一种消息发布订阅方法、系统、计算机及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190412 |
|
| RJ01 | Rejection of invention patent application after publication |