CN106790678A - 一种保证重要数据优先传输消费的传输系统及方法 - Google Patents
一种保证重要数据优先传输消费的传输系统及方法 Download PDFInfo
- Publication number
- CN106790678A CN106790678A CN201710062688.XA CN201710062688A CN106790678A CN 106790678 A CN106790678 A CN 106790678A CN 201710062688 A CN201710062688 A CN 201710062688A CN 106790678 A CN106790678 A CN 106790678A
- Authority
- CN
- China
- Prior art keywords
- data
- rule
- message
- module
- access gateway
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开一种保证重要数据优先传输消费的传输系统及方法，系统包括设备接入网关、重要数据调度指挥中心、应用平台和消息队列服务器。本发明引入重要数据传输调度指挥中心这一角色，其能够将知道数据排序的数据规则和数据转发方向的信息发送给设备接入网关，使重要数据实现快速地从前端到消息队列服务器的优先发送，从而实现重要数据优先发往计算能力最为空闲的MQ服务器，而且在数据积压时，消息队列服务能对后面进来的数据优先消费，从而保证重要数据的优先分析及入库处理。
Description
技术背景
本发明涉及一种保证重要数据优先传输消费的传输系统及方法。
背景技术
目前很多大规模的应用数据传输都会使用MQ消息队列服务器，但这类服务器消费数据使用了先进先出的模式，无法保证重要数据优先传输消费。在数据规模庞大时，重要程度较高的数据，往往被重要程度较低的数据淹没其中，从而无法获得快速处理。
因此，本发明人提出一种保证重要数据优先传输消费的传输系统及方法。
发明内容
本发明的目的在于提供一种保证重要数据优先传输消费的传输系统及方法，以保证重要数据的优先分析及入库处理。
为实现上述目的，本发明采用的技术方案为：
一种保证重要数据优先传输消费的传输系统，其包括：
应用平台，其用于控制重要数据调度中心新增、变动和删除数据规则；所述的数据规则是对设备接入网关接收的数据进行重要性排序的规则；
重要数据传输调度指挥中心，其由规则库、规则接收接口、规则订阅接口、规则分发服务模块、消息指挥服务模块和消息队列监测模块组成，规则库与规则接收接口、规则订阅接口及规则分发服务模块连接，消息队列监控模块与消息指挥服务模块连接；所述规则库用于存储数据规则，规则接收接口用于接收来自应用平台对数据规则进行新增、变动和删除的指令，规则订阅接口用于接收来自设备接入网关的订阅请求，规则分发服务模块用于根据订阅请求向已订阅的设备接入网关发送数据规则；所述消息队列监测模块用于监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，所述消息指挥服务模块用于根据消息队列服务器信息向设备接入网关发送数据发送指令，该数据发送指令包括设备接入网关向指定的消息队列服务器转发数据的信息；
设备接入网关，其包括规则接收接口、调度接收接口以及转发服务程序，规则接收接口和调度接收接口分别与转发服务程序连接，其中规则接收接口用于接收来自规则分发服务模块的数据规则，调度接收接口用于接收来自消息指挥服务模块的数据发送指令，转发服务程序用于根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；以及
消息队列服务器，用于接收设备接入网关转发的排序后的数据。
所述应用平台包括新增模块、变动模块和删除模块，新增模块用于向规则接收接口发送添加数据规则的指令和信息，变动模块用于向规则接收接口发送修改数据规则的指令和信息，删除模块用于向规则接收接口发送添加数据规则的指令和信息，重要数据传输调度指挥中心分别根据添加、修改、删除数据规则的指令在规则库中添加、修改或删除数据规则。
一种保证重要数据优先传输消费的传输方法，包括以下步骤：
步骤1：设备接入网关的转发服务程序向重要数据传输调度指挥中心的规则订阅接口发送订阅请求，规则分发服务根据订阅请求从规则库调取相应的数据规则并将该数据规则发送至设备接入网关；
步骤2：消息队列监控模块监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，消息指挥服务模块根据消息队列服务器信息向设备接入网关发送数据发送指令；
步骤3：设备接入网关的规则接收接口接收来自规则分发服务模块的数据规则，调度接收接口接收来自消息指挥服务模块的数据发送指令，转发服务程序则根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；
步骤4：消息队列服务器依序接收设备接入网关转发的排序后的数据。
所述步骤2中，在消息队列监控模块监测消息队列服务器实时负载情况时，消息队列监测服务模块还实时监测每台消息队列服务器的队列记录数量，当任意队列记录数量达到指定的阀值时，立即通知该消息队列服务器新建消息队列用于存储最新生产的数据，同时队列服务程序自动把新建队列的等级提升，确保新进来的数据优先消费。
采用上诉方案后，本发明的有益效果是：本发明引入重要数据传输调度指挥中心这一角色，其能够将知道数据排序的数据规则和数据转发方向的信息发送给设备接入网关，使重要数据实现快速地从前端到消息队列服务器的优先发送，从而实现重要数据优先发往计算能力最为空闲的MQ服务器(消息队列服务器)，而且在数据积压时，消息队列服务能对后面进来的数据优先消费，从而保证重要数据的优先分析及入库处理。
本发明还通过应用平台对数据规则进行添加、修改和删除操作，实时更新维护数据规则，以使重要数据在排序时符合当前需求。
以下结合附图和具体实施例对本发明作进一步详述。
附图说明
图1为本发明中保证重要数据优先传输消费的逻辑结构示意图；
具体实施方式
如图1所示，为本发明揭示的一种保证重要数据优先传输消费的传输系统，其包括：
应用平台，其用于控制重要数据调度中心新增、变动和删除数据规则；所述的数据规则是对设备接入网关接收的数据进行重要性排序的规则；
重要数据传输调度指挥中心，其由规则库、规则接收接口、规则订阅接口、规则分发服务模块、消息指挥服务模块和消息队列监测模块组成，规则库与规则接收接口、规则订阅接口及规则分发服务模块连接，消息队列监控模块与消息指挥服务模块连接；所述规则库用于存储数据规则，规则接收接口用于接收来自应用平台对数据规则进行新增、变动和删除的指令，规则订阅接口用于接收来自设备接入网关的订阅请求，规则分发服务模块用于根据订阅请求向已订阅的设备接入网关发送数据规则；所述消息队列监测模块用于监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，所述消息指挥服务模块用于根据消息队列服务器信息向设备接入网关发送数据发送指令，该数据发送指令包括设备接入网关向指定的消息队列服务器转发数据的信息；
设备接入网关，其包括规则接收接口、调度接收接口以及转发服务程序，规则接收接口和调度接收接口分别与转发服务程序连接，其中规则接收接口用于接收来自规则分发服务模块的数据规则，调度接收接口用于接收来自消息指挥服务模块的数据发送指令，转发服务程序用于根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；以及
消息队列服务器，用于接收设备接入网关转发的排序后的数据。
所述应用平台包括新增模块、变动模块和删除模块，新增模块用于向规则接收接口发送添加数据规则的指令和信息，变动模块用于向规则接收接口发送修改数据规则的指令和信息，删除模块用于向规则接收接口发送添加数据规则的指令和信息，重要数据传输调度指挥中心分别根据添加、修改、删除数据规则的指令在规则库中添加、修改或删除数据规则。
本发明还揭示了一种保证重要数据优先传输消费的传输方法，参见图1，包括以下步骤：
步骤1：设备接入网关的转发服务程序向重要数据传输调度指挥中心的规则订阅接口发送订阅请求，规则分发服务根据订阅请求从规则库调取相应的数据规则并将该数据规则发送至设备接入网关；
步骤2：消息队列监控模块监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，消息指挥服务模块根据消息队列服务器信息向设备接入网关发送数据发送指令；
步骤3：设备接入网关的规则接收接口接收来自规则分发服务模块的数据规则，调度接收接口接收来自消息指挥服务模块的数据发送指令，转发服务程序则根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；
步骤4：消息队列服务器依序接收设备接入网关转发的排序后的数据。
步骤2中，在消息队列监控模块监测消息队列服务器实时负载情况时，消息队列监测服务模块还实时监测每台消息队列服务器的队列记录数量，当任意队列记录数量达到指定的阀值时，立即通知该消息队列服务器新建消息队列用于存储最新生产的数据，同时队列服务程序自动把新建队列的等级提升，确保新进来的数据优先消费，还克服了消息队列先进先出模式导致的重要数据可能被延迟消费的缺陷。
本发明的关键在于：通过引入能够对重要数据进行协调指挥的重要数据传输调度指挥中心这一角色，实现了重要数据从前端到消息队列服务器的优先发送，消息队列服务对重要消息的优先消费，从而保证重要数据的优先分析及入库处理。
Claims (4)
1.一种保证重要数据优先传输消费的传输系统，其特征在于，包括：
应用平台，其用于控制重要数据调度中心新增、变动和删除数据规则；所述的数据规则是对设备接入网关接收的数据进行重要性排序的规则；
重要数据传输调度指挥中心，其由规则库、规则接收接口、规则订阅接口、规则分发服务模块、消息指挥服务模块和消息队列监测模块组成，规则库与规则接收接口、规则订阅接口及规则分发服务模块连接，消息队列监控模块与消息指挥服务模块连接；所述规则库用于存储数据规则，规则接收接口用于接收来自应用平台对数据规则进行新增、变动和删除的指令，规则订阅接口用于接收来自设备接入网关的订阅请求，规则分发服务模块用于根据订阅请求向已订阅的设备接入网关发送数据规则；所述消息队列监测模块用于监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，所述消息指挥服务模块用于根据消息队列服务器信息向设备接入网关发送数据发送指令，该数据发送指令包括设备接入网关向指定的消息队列服务器转发数据的信息；
设备接入网关，其包括规则接收接口、调度接收接口以及转发服务程序，规则接收接口和调度接收接口分别与转发服务程序连接，其中规则接收接口用于接收来自规则分发服务模块的数据规则，调度接收接口用于接收来自消息指挥服务模块的数据发送指令，转发服务程序用于根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；以及
消息队列服务器，用于接收设备接入网关转发的排序后的数据。
2.如权利要求1所述的一种保证重要数据优先传输消费的传输系统，其特征在于：所述应用平台包括新增模块、变动模块和删除模块，新增模块用于向规则接收接口发送添加数据规则的指令和信息，变动模块用于向规则接收接口发送修改数据规则的指令和信息，删除模块用于向规则接收接口发送添加数据规则的指令和信息，重要数据传输调度指挥中心分别根据添加、修改、删除数据规则的指令在规则库中添加、修改或删除数据规则。
3.一种保证重要数据优先传输消费的传输方法，其特征在于，包括以下步骤：
步骤1：设备接入网关的转发服务程序向重要数据传输调度指挥中心的规则订阅接口发送订阅请求，规则分发服务根据订阅请求从规则库调取相应的数据规则并将该数据规则发送至设备接入网关；
步骤2：消息队列监控模块监测消息队列服务器实时负载情况，获取当前消费能力最为空闲的消息队列服务器的信息，消息指挥服务模块根据消息队列服务器信息向设备接入网关发送数据发送指令；
步骤3：设备接入网关的规则接收接口接收来自规则分发服务模块的数据规则，调度接收接口接收来自消息指挥服务模块的数据发送指令，转发服务程序则根据数据规则和数据发送指令向指定的消息队列服务器转发排序后的数据；
步骤4：消息队列服务器依序接收设备接入网关转发的排序后的数据。
4.如权利要求3所述的一种保证重要数据优先传输消费的传输方法，其特征在于，所述步骤2中，在消息队列监控模块监测消息队列服务器实时负载情况时，消息队列监测服务模块还实时监测每台消息队列服务器的队列记录数量，当任意队列记录数量达到指定的阀值时，立即通知该消息队列服务器新建消息队列用于存储最新生产的数据，同时队列服务程序自动把新建队列的等级提升，确保新进来的数据优先消费。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710062688.XA CN106790678B (zh) | 2017-01-23 | 2017-01-23 | 一种保证重要数据优先传输消费的传输系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710062688.XA CN106790678B (zh) | 2017-01-23 | 2017-01-23 | 一种保证重要数据优先传输消费的传输系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106790678A true CN106790678A (zh) | 2017-05-31 |
| CN106790678B CN106790678B (zh) | 2020-07-17 |
Family
ID=58956260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710062688.XA Active CN106790678B (zh) | 2017-01-23 | 2017-01-23 | 一种保证重要数据优先传输消费的传输系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106790678B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107846475A (zh) * | 2017-12-06 | 2018-03-27 | 中国水利水电科学研究院 | 智能水利信息测控方法及测控装置 |
| CN108762953A (zh) * | 2018-05-25 | 2018-11-06 | 连云港杰瑞电子有限公司 | 一种消息队列实现方法 |
| CN111064799A (zh) * | 2019-12-25 | 2020-04-24 | 北京首信科技股份有限公司 | 应用于物联网的数据推送方法、装置、设备及存储介质 |
| CN111901252A (zh) * | 2020-06-16 | 2020-11-06 | 北京瀚诺半导体科技有限公司 | 一种网络管理消息的传输方法及系统 |
| CN112653636A (zh) * | 2020-12-19 | 2021-04-13 | 珍岛信息技术（上海）股份有限公司 | 一种网络数据智能分发服务系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159711A (zh) * | 2007-11-27 | 2008-04-09 | 航天东方红卫星有限公司 | 自适应的实时消息订阅与发布系统及方法 |
| US20090147780A1 (en) * | 2007-12-11 | 2009-06-11 | Institute For Information Industry | Priority-Based Data Message Publishing Method and System According to a Data Message Chain |
| CN102461324A (zh) * | 2009-06-29 | 2012-05-16 | 诺基亚公司 | 资源分配 |
| CN105068864A (zh) * | 2015-07-24 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 处理异步消息队列的方法及系统 |
| CN105471630A (zh) * | 2015-11-18 | 2016-04-06 | 武汉日电光通信工业有限公司 | 大容量分组传送系统下的北向系统消息分发系统及方法 |
| CN105868033A (zh) * | 2016-04-06 | 2016-08-17 | 江苏物联网研究发展中心 | 基于Redis实现优先级消息队列的方法及系统 |
-
2017
- 2017-01-23 CN CN201710062688.XA patent/CN106790678B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159711A (zh) * | 2007-11-27 | 2008-04-09 | 航天东方红卫星有限公司 | 自适应的实时消息订阅与发布系统及方法 |
| US20090147780A1 (en) * | 2007-12-11 | 2009-06-11 | Institute For Information Industry | Priority-Based Data Message Publishing Method and System According to a Data Message Chain |
| CN102461324A (zh) * | 2009-06-29 | 2012-05-16 | 诺基亚公司 | 资源分配 |
| CN105068864A (zh) * | 2015-07-24 | 2015-11-18 | 北京京东尚科信息技术有限公司 | 处理异步消息队列的方法及系统 |
| CN105471630A (zh) * | 2015-11-18 | 2016-04-06 | 武汉日电光通信工业有限公司 | 大容量分组传送系统下的北向系统消息分发系统及方法 |
| CN105868033A (zh) * | 2016-04-06 | 2016-08-17 | 江苏物联网研究发展中心 | 基于Redis实现优先级消息队列的方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107846475A (zh) * | 2017-12-06 | 2018-03-27 | 中国水利水电科学研究院 | 智能水利信息测控方法及测控装置 |
| CN108762953A (zh) * | 2018-05-25 | 2018-11-06 | 连云港杰瑞电子有限公司 | 一种消息队列实现方法 |
| CN111064799A (zh) * | 2019-12-25 | 2020-04-24 | 北京首信科技股份有限公司 | 应用于物联网的数据推送方法、装置、设备及存储介质 |
| CN111901252A (zh) * | 2020-06-16 | 2020-11-06 | 北京瀚诺半导体科技有限公司 | 一种网络管理消息的传输方法及系统 |
| CN112653636A (zh) * | 2020-12-19 | 2021-04-13 | 珍岛信息技术（上海）股份有限公司 | 一种网络数据智能分发服务系统 |
| CN112653636B (zh) * | 2020-12-19 | 2022-09-20 | 珍岛信息技术（上海）股份有限公司 | 一种网络数据智能分发服务系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106790678B (zh) | 2020-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106790678A (zh) | 一种保证重要数据优先传输消费的传输系统及方法 | |
| CN107018175B (zh) | 移动云计算平台的调度方法和装置 | |
| CN102915254B (zh) | 任务管理方法及装置 | |
| CN104967861B (zh) | Cdn网络中的视频缓存系统及方法 | |
| CN109451072A (zh) | 一种基于Kafka的消息缓存系统和方法 | |
| CN106850589B (zh) | 一种管控云计算终端和云服务器运作的方法 | |
| CN110808922B (zh) | 一种消息处理方法、装置、存储介质及电子设备 | |
| CN110061927A (zh) | 一种多队列数据中心环境中面向微突发流的拥塞感知与标记方法 | |
| CN104581219B (zh) | 一种流媒体转发服务器的控制方法 | |
| CN108449410A (zh) | 一种云平台中消息管理方法、系统及相关装置 | |
| CN103248561A (zh) | 一种跨平台跨终端的通信方法及消息系统 | |
| CN103518350A (zh) | 群组通信的方法、系统、群组服务器和群组成员设备 | |
| CN101909048A (zh) | 一种集中式转码处理方法和装置 | |
| CN107426274A (zh) | 基于时序的业务应用及监控分析调度的方法和系统 | |
| CN102143563A (zh) | 一种短信中心集群的控制方法、设备及系统 | |
| CN107220162A (zh) | 一种业务告警方法、存储介质及装置 | |
| CN101374077A (zh) | 一种网管系统中告警前转实现方法及系统 | |
| CN113891114B (zh) | 转码任务调度方法及装置 | |
| CN105471700B (zh) | 一种消息处理的方法、装置和系统 | |
| CN103744735B (zh) | 一种多核资源的调度方法及装置 | |
| CN104135429A (zh) | 一种信息推送方法和装置 | |
| CN106789716A (zh) | Tdma自组网的mac层队列调度方法 | |
| US10911601B2 (en) | Object oriented call management | |
| CN109151038A (zh) | 一种绿色视频监控系统服务器集群系统及其实现方法 | |
| CN110035295A (zh) | 分布式的视频直播系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |