CN111522672A - 一种用于熔断数据重复消费的方法及系统 - Google Patents
一种用于熔断数据重复消费的方法及系统 Download PDFInfo
- Publication number
- CN111522672A CN111522672A CN202010335317.6A CN202010335317A CN111522672A CN 111522672 A CN111522672 A CN 111522672A CN 202010335317 A CN202010335317 A CN 202010335317A CN 111522672 A CN111522672 A CN 111522672A
- Authority
- CN
- China
- Prior art keywords
- consumption data
- target users
- data
- fusing
- issuing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/542—Event management; Broadcasting; Multicasting; Notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/547—Messaging middleware
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种用于熔断数据重复消费的方法及系统,属于计算机通信技术领域。本发明方法,包括:根据多个目标用户的业务需求,生成下发至多个目标用户的消费数据;将消费数据写入消息中间件,并生成消费数据的下发状态表;在下发状态表中记录多个目标用户中每个目标用户下发消费数据的次数;对所述任意一个或多个目标用户启动半熔断机制,停止对所述任意一个或多个目标用户下发消费数据;启动全熔断机制,停止对多个目标用户下发消费数据。本发明为数据下发系统提供健康自动检测运维功能,避免数据重复下发及下发异常等问题,并且能够及时发现问题,处理问题,减小下发数据故障的损失。
Description
技术领域
本发明涉及计算机通信技术领域,具体涉及一种用于熔断数据重复消费的方法及系统。
背景技术
采用消息中间件作应用解耦已是很成熟的方案,但是在实际使用中,由于网络或客户端应用自身的问题,有时会出现重复消费问题,导致出现同一消息消费多次事件,有些事件非常影响客户感知,所以,在运维过程中,如何发现重复消息,并在发现及时熔断并发出告警显得非常重要。
发明内容
针对上述问题,本发明提供了一种用于熔断数据重复消费的方法,包括:
根据多个目标用户的业务需求,生成下发至多个目标用户的消费数据;
将消费数据写入消息中间件,并生成消费数据的下发状态表;
调用消息中间件的消费数据及下发状态表,将消费数据下发至多个目标用户,并在下发状态表中记录多个目标用户中每个目标用户下发消费数据的次数;
当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出半熔断阀值且小于全熔断阀值时,对所述任意一个或多个目标用户启动半熔断机制,停止对所述任意一个或多个目标用户下发消费数据;
若下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出全熔断阀值时,启动全熔断机制,停止对多个目标用户下发消费数据。
可选的,方法还包括:
当启动半熔断机制或全熔断机制后,发出下发消费数据异常报警,下发消费数据异常情况结束后,停止半熔断或全熔断机制。
可选的,消费数据由中间推送平台或网关下发至目标用户。
可选的,半熔断阀值及全熔断阀值,根据用户多个目标用户的业务需求进行确定。
可选的,消费数据为多个目标用户业务需求的批量数据,或任意一个目标用户的定制数据。
本发明还提供了一种用于熔断数据重复消费的系统,包括:
数据生成模块,根据多个目标用户的业务需求,生成下发至多个目标用户的消费数据;
数据转发模块,将消费数据写入消息中间件,并生成消费数据的下发状态表;
下发数据模块,调用消息中间件的消费数据及下发状态表,将消费数据下发至多个目标用户,并在下发状态表中记录多个目标用户中每个目标用户下发消费数据的次数;
半熔断模块,确定当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出半熔断阀值且小于全熔断阀值时,对所述任意一个或多个目标用户启动半熔断机制,停止对所述任意一个或多个目标用户下发消费数据;
全熔断模块,确定当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出全熔断阀值时,启动全熔断机制,停止对多个目标用户下发消费数据。
可选的,系统还包括:
恢复模块,确定当启动半熔断机制或全熔断机制后,发出下发消费数据异常报警,下发消费数据异常情况结束后,停止半熔断或全熔断机制。
可选的,消费数据由中间推送平台或网关下发至目标用户。
可选的,半熔断阀值及全熔断阀值,根据用户多个目标用户的业务需求进行确定。
可选的,消费数据为多个目标用户业务需求的批量数据,或任意一个目标用户的定制数据。
与现有技术相比,本发明的有益效果为:
本发明为数据下发系统提供健康自动检测运维功能,避免数据重复下发及下发异常等问题,并且能够及时发现问题,处理问题,减小下发数据故障的损失。
附图说明
图1为本发明一种用于熔断数据重复消费的方法流程图;
图2为本发明一种用于熔断数据重复消费的方法实施例熔断机制原理图;
图3为本发明一种用于熔断数据重复消费的方法实施例示意图;
图4为本发明一种用于熔断数据重复消费的系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供了一种用于熔断数据重复消费的方法,如图1所示,包括:
根据多个目标用户的业务需求,生成下发至多个目标用户的消费数据;
将消费数据写入消息中间件,并生成消费数据的下发状态表;
调用消息中间件的消费数据及下发状态表,将消费数据下发至多个目标用户,并在下发状态表中记录多个目标用户中每个目标用户下发消费数据的次数;
当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出半熔断阀值且小于全熔断阀值时,对所述任意一个或多个目标用户启动半熔断机制,停止对所述任意一个或多个目标用户下发消费数据;
若下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出全熔断阀值时,启动全熔断机制,停止对多个目标用户下发消费数据;
当启动半熔断机制或全熔断机制后,发出下发消费数据异常报警,下发消费数据异常情况结束后,停止半熔断或全熔断机制。
其中,消费数据由中间推送平台或网关下发至目标用户。
半熔断阀值及全熔断阀值,根据用户多个目标用户的业务需求进行确定。
消费数据为多个目标用户业务需求的批量数据,或任意一个目标用户的定制数据。
下面结合附图对本发明做进一步的详细描述:
熔断机制原理,如图2所示,当首个用户某消息主题达到半熔断阀值,系统开启熔断模式,首先进入半熔断状态,此时该用户该主题不再消费新的消息,其它用户或该用户的其它主题不受影响;
然后,如果故障没有及时监控发现及时处理,该类消息影响的用户数陆续增多,达到完全熔断阀值,进入完全熔断状状态,此时该类主题消息系统不再消费。
最后,当故障处理后,关闭熔断。
如图3所示,以下发短信信息为例,进行详细说明,中心服务首先根据用户需求生成批量下发的短信或某个用户的功能查询短信;
消息中间件,存储批量短信或功能查询短信,并生成短信下发次数的下发状态表;
通过营服接口转发批量短信或功能查询短信,和下发状态表,营服接口将批量短信或功能查询短信通过推送平台转发,短信网关下发至用户;
下发完成后,下发状态表中记录下发短信的次数;
取半熔断阀值为2,全熔断阀值为5,若预设时间内下发状态表中某个或多个用户下发短信的次数超过2次且小于5次,对这类的用户启动半熔断机制,停止对这类用户下发短信,其他用户继续发送短信;
若预设时间内下发状态表中的某个或多个用户下发短信的次数超出5次,启动全熔断机制,停止对所有用户下发短信。
下发短信功能恢复后,关闭熔断机制。
本发明还提供了一种用于熔断数据重复消费的系统200,如图4所示,包括:
数据生成模块201,根据多个目标用户的业务需求,生成下发至多个目标用户的消费数据;
数据转发模块202,将消费数据写入消息中间件,并生成消费数据的下发状态表;
下发数据模块203,调用消息中间件的消费数据及下发状态表,将消费数据下发至多个目标用户,并在下发状态表中记录多个目标用户中每个目标用户下发消费数据的次数;
半熔断模块204,确定当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出半熔断阀值且小于全熔断阀值时,对所述任意一个或多个目标用户启动半熔断机制,停止对所述任意一个或多个目标用户下发消费数据;
全熔断模块205,确定当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出全熔断阀值时,启动全熔断机制,停止对多个目标用户下发消费数据。
恢复模块206,确定当启动半熔断机制或全熔断机制后,发出下发消费数据异常报警,下发消费数据异常情况结束后,停止半熔断或全熔断机制。
其中,消费数据由中间推送平台或网关下发至目标用户。
半熔断阀值及全熔断阀值,根据用户多个目标用户的业务需求进行确定。
消费数据为多个目标用户业务需求的批量数据,或任意一个目标用户的定制数据。
与现有技术相比,本发明的有益效果为:
本发明为数据下发系统提供健康自动检测运维功能,避免数据重复下发及下发异常等问题,并且能够及时发现问题,处理问题,减小下发数据故障的损失。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于熔断数据重复消费的方法,所述方法包括:
根据多个目标用户的业务需求,生成下发至多个目标用户的消费数据;
将消费数据写入消息中间件,并生成消费数据的下发状态表;
调用消息中间件的消费数据及下发状态表,将消费数据下发至多个目标用户,并在下发状态表中记录多个目标用户中每个目标用户下发消费数据的次数;
当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出半熔断阀值且小于全熔断阀值时,对所述任意一个或多个目标用户启动半熔断机制,停止对所述任意一个或多个目标用户下发消费数据;
若下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出全熔断阀值时,启动全熔断机制,停止对多个目标用户下发消费数据。
2.根据权利要求1所述的方法,所述方法还包括:
当启动半熔断机制或全熔断机制后,发出下发消费数据异常报警,下发消费数据异常情况结束后,停止半熔断或全熔断机制。
3.根据权利要求1所述的方法,所述消费数据由中间推送平台或网关下发至目标用户。
4.根据权利要求1所述的方法,所述半熔断阀值及全熔断阀值,根据用户多个目标用户的业务需求进行确定。
5.根据权利要求1所述的方法,所述消费数据为多个目标用户业务需求的批量数据,或任意一个目标用户的定制数据。
6.一种用于熔断数据重复消费的系统,所述系统包括:
数据生成模块,根据多个目标用户的业务需求,生成下发至多个目标用户的消费数据;
数据转发模块,将消费数据写入消息中间件,并生成消费数据的下发状态表;
下发数据模块,调用消息中间件的消费数据及下发状态表,将消费数据下发至多个目标用户,并在下发状态表中记录多个目标用户中每个目标用户下发消费数据的次数;
半熔断模块,确定当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出半熔断阀值且小于全熔断阀值时,对所述任意一个或多个目标用户启动半熔断机制,停止对所述任意一个或多个目标用户下发消费数据;
全熔断模块,确定当下发状态表中,预设时间内多个目标用户中的任意一个或多个目标用户的下发消费数据次数超出全熔断阀值时,启动全熔断机制,停止对多个目标用户下发消费数据。
7.根据权利要求6所述的系统,所述系统还包括:
恢复模块,确定当启动半熔断机制或全熔断机制后,发出下发消费数据异常报警,下发消费数据异常情况结束后,停止半熔断或全熔断机制。
8.根据权利要求6所述的系统,所述消费数据由中间推送平台或网关下发至目标用户。
9.根据权利要求6所述的系统,所述半熔断阀值及全熔断阀值,根据用户多个目标用户的业务需求进行确定。
10.根据权利要求6所述的系统,所述消费数据为多个目标用户业务需求的批量数据,或任意一个目标用户的定制数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010335317.6A CN111522672B (zh) | 2020-04-24 | 2020-04-24 | 一种用于熔断数据重复消费的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010335317.6A CN111522672B (zh) | 2020-04-24 | 2020-04-24 | 一种用于熔断数据重复消费的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111522672A true CN111522672A (zh) | 2020-08-11 |
CN111522672B CN111522672B (zh) | 2023-02-28 |
Family
ID=71904789
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010335317.6A Active CN111522672B (zh) | 2020-04-24 | 2020-04-24 | 一种用于熔断数据重复消费的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111522672B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112468980A (zh) * | 2020-10-27 | 2021-03-09 | 北京思特奇信息技术股份有限公司 | 基于分布式内存数据库的短信提醒熔断处理方法和系统 |
CN112579637A (zh) * | 2020-12-15 | 2021-03-30 | 深圳市汉云科技有限公司 | 一种sql语句执行方法、系统、终端及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016206600A1 (zh) * | 2015-06-26 | 2016-12-29 | 北京奇虎科技有限公司 | 一种信息流数据的处理方法和装置 |
CN108388438A (zh) * | 2018-02-07 | 2018-08-10 | 平安普惠企业管理有限公司 | 系统基表更新方法、装置、计算机设备和存储介质 |
CN108664337A (zh) * | 2018-03-23 | 2018-10-16 | 北京奇艺世纪科技有限公司 | 一种分布式系统的消息减压方法和装置 |
CN109743369A (zh) * | 2018-12-24 | 2019-05-10 | 武汉长江通信智联技术有限公司 | 一种基于车联网的实时数据的处理装置、方法及系统 |
CN110213068A (zh) * | 2018-03-06 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种消息中间件的监控方法及相关设备 |
CN110377434A (zh) * | 2019-07-04 | 2019-10-25 | 深圳前海微众银行股份有限公司 | 一种服务熔断方法、装置及消息中间件 |
CN110688228A (zh) * | 2019-10-09 | 2020-01-14 | 北京思特奇信息技术股份有限公司 | 一种分布式系统消息时序保障的方法、系统及电子设备 |
CN110941502A (zh) * | 2019-12-16 | 2020-03-31 | 广州市百果园信息技术有限公司 | 消息处理方法、装置、存储介质及设备 |
-
2020
- 2020-04-24 CN CN202010335317.6A patent/CN111522672B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016206600A1 (zh) * | 2015-06-26 | 2016-12-29 | 北京奇虎科技有限公司 | 一种信息流数据的处理方法和装置 |
CN108388438A (zh) * | 2018-02-07 | 2018-08-10 | 平安普惠企业管理有限公司 | 系统基表更新方法、装置、计算机设备和存储介质 |
CN110213068A (zh) * | 2018-03-06 | 2019-09-06 | 腾讯科技(深圳)有限公司 | 一种消息中间件的监控方法及相关设备 |
CN108664337A (zh) * | 2018-03-23 | 2018-10-16 | 北京奇艺世纪科技有限公司 | 一种分布式系统的消息减压方法和装置 |
CN109743369A (zh) * | 2018-12-24 | 2019-05-10 | 武汉长江通信智联技术有限公司 | 一种基于车联网的实时数据的处理装置、方法及系统 |
CN110377434A (zh) * | 2019-07-04 | 2019-10-25 | 深圳前海微众银行股份有限公司 | 一种服务熔断方法、装置及消息中间件 |
CN110688228A (zh) * | 2019-10-09 | 2020-01-14 | 北京思特奇信息技术股份有限公司 | 一种分布式系统消息时序保障的方法、系统及电子设备 |
CN110941502A (zh) * | 2019-12-16 | 2020-03-31 | 广州市百果园信息技术有限公司 | 消息处理方法、装置、存储介质及设备 |
Non-Patent Citations (3)
Title |
---|
PAOLO BELLAVISTA 等: "Coupling Transparency and Visibility: a Translucent Middleware Approach for Positioning System Integration and Management (PoSIM)", 《 2006 3RD INTERNATIONAL SYMPOSIUM ON WIRELESS COMMUNICATION SYSTEMS》 * |
周文坤: "基于微服务架构模式的RS10系统底层服务的研究与设计", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
徐进等: "基于消息通信的分布式系统最终一致性平台", 《计算机应用》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112468980A (zh) * | 2020-10-27 | 2021-03-09 | 北京思特奇信息技术股份有限公司 | 基于分布式内存数据库的短信提醒熔断处理方法和系统 |
CN112579637A (zh) * | 2020-12-15 | 2021-03-30 | 深圳市汉云科技有限公司 | 一种sql语句执行方法、系统、终端及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111522672B (zh) | 2023-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5764886A (en) | In-band/out-of-band alert delivery system | |
CN111522672B (zh) | 一种用于熔断数据重复消费的方法及系统 | |
CN104967537A (zh) | 一种报警信息推送方法及装置 | |
CN102412998A (zh) | 运营服务系统及其维护方法和装置 | |
CN104363161A (zh) | 一种通信组中特定消息提醒方法 | |
CN109669835A (zh) | MySQL数据库监控方法、装置、设备及可读存储介质 | |
CN102484617A (zh) | 减少网络内呈现状态事件数目的方法和系统 | |
CN105553790A (zh) | 一种数据处理方法及策略服务器 | |
CN113242359A (zh) | 一种基于企业微信自动发送发电厂报警消息的方法 | |
CN113593196A (zh) | 一种配电房告警信息订阅方法及系统 | |
US20030172077A1 (en) | Device-independent notification system | |
CN112141832A (zh) | 一种电梯物联网可视化运营平台 | |
CN116266831A (zh) | 一种消息调度方法 | |
CN110072251B (zh) | 一种分析用户通讯行为与管理用户的方法及装置 | |
CN102195791A (zh) | 一种告警的分析方法、装置及系统 | |
CN102196372B (zh) | 移动实时监控网络告警的方法、装置、便携式终端和系统 | |
CN103391303A (zh) | 服务故障公告方法及使用该方法的服务器 | |
CN103327491B (zh) | 控制即时通讯工具的通讯连接进程的方法及其通信终端 | |
CN111049730A (zh) | RabbitMQ消息重传及消费方幂等性解决方法 | |
CN115065587B (zh) | 一种停电主动预警方法与装置 | |
CN106384159A (zh) | 一种应用于法院系统的法官会见预约方法及装置 | |
CN111130872A (zh) | 一种云计算中网络设备配置恢复方法 | |
CN113225699B (zh) | 基于报警平台的消息发送系统及方法、存储方法的介质及设备 | |
CN101163040B (zh) | 一种自动向用户通知被监控设备连接状态的方法 | |
CN111866766A (zh) | 一种通过at指令实现功能模块交互的方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |