CN111866148B - 一种消息队列流量控制系统 - Google Patents

一种消息队列流量控制系统 Download PDF

Info

Publication number
CN111866148B
CN111866148B CN202010714097.8A CN202010714097A CN111866148B CN 111866148 B CN111866148 B CN 111866148B CN 202010714097 A CN202010714097 A CN 202010714097A CN 111866148 B CN111866148 B CN 111866148B
Authority
CN
China
Prior art keywords
flow control
message queue
message
point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010714097.8A
Other languages
English (en)
Other versions
CN111866148A (zh
Inventor
李朝铭
王政
邓光超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202010714097.8A priority Critical patent/CN111866148B/zh
Publication of CN111866148A publication Critical patent/CN111866148A/zh
Application granted granted Critical
Publication of CN111866148B publication Critical patent/CN111866148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/18—End to end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及消息通信领域，具体提供了一种消息队列流量控制系统，在同一个操作系统中的消息队列系统中增加一个流量控制模块，消息队列系统中的点到点传输模块与所述流量控制模块通过专门的流量控制消息队列通讯，所述点到点传输模块发送流量控制消息到流量控制消息队列中，所述流量控制模块通过流量控制消息队列接收和解析流量控制消息并转换为操作系统内核层的流量控制指令。与现有技术相比，本发明的一种消息队列流量控制系统，可对一个或多个特定IP网络进行流量控制，也可以对不同的消息队列分别进行流量控制，流量控制用法简单，用户易于理解和操作，具有良好的推广价值。

Description

一种消息队列流量控制系统
技术领域
本发明涉及消息通信领域，具体提供一种消息队列流量控制系统。
背景技术
消息中间件国标GB/T 28168-2011规定，消息中间件应支持点到点消息传输模式，点到点消息传输是指需要进行消息传输的两方直接建立传输通道，进行消息传输的方式为：发送者发送队列，通过网络与本地队列连接，继而发送给接受者。
通常情况下，点到点消息传输经过的网络会与其他业务公用，如某条网络上既有核心Web业务应用，也有通过消息队列的点到点大数据采集消息传输，由于总带宽的限制，有一些时间点会存在网络竞争，由于大数据采集消息传输的量很大，会影响到核心Web业务应用的性能，因此希望对点到点消息传输进行流量控制。在使用同一网络的点到点消息传输有时会有多个消息队列参与网络带宽竞争，在实际业务中就会有优先保证某些消息优先发送，而有些消息队列消息发送优先级则低些，也就是流量控制需要。
在流量控制方面，CN201710765942.2提出了通过控制消息生产者的消息发送窗口大小，实现对数据消息的流量控制，这种方式并不能真正实现流量控制，尤其是多个消息队列竞争的情况下；另外这种方式也影像了消息队列的基本用途。
Linux操作系统中的流量控制器TC用于Linux内核的流量控制，它利用队列规定建立处理数据包的队列，并定义队列中的数据包被发送的方式，从而实现对流量的控制，但它用起来非常的麻烦，且无法与消息队列流量控制需求相结合。
Linux操作系统中的iptables也是一个允许用户配置特定规则的应用程序，这些规则将由内核netfilter框架强制执行。它充当数据包过滤器和防火墙，可根据端口，协议和其他标准检查和定向流量。但是和TC一样，用起来非常麻烦，需要专业的知识，且无法与消息队列流量控制需求相结合。
发明内容
本发明是针对上述现有技术的不足，提供一种设计合理，安全适用的消息队列流量控制系统。
本发明解决其技术问题所采用的技术方案是：
一种消息队列流量控制系统，在同一个操作系统中的消息队列系统中增加一个流量控制模块，消息队列系统中的点到点传输模块与所述流量控制模块通过专门的流量控制消息队列通讯，所述点到点传输模块发送流量控制消息到流量控制消息队列中，所述流量控制模块通过流量控制消息队列接收和解析流量控制消息并转换为操作系统内核层的流量控制指令。
进一步的，所述点到点传输模块用于进行消息队列点到点的传输，包括以下步骤：
S101、读配置文件；
S102、连接相关消息队列；
S103、发送流量信息到流量控制消息队列；
S104、进行实际的点到点消息的传输。
进一步的，在步骤S101中，配置目标网络信息、流量控制信息和发送消息队列信息；
在步骤S102中，包括发送消息队列及接收消息队列；
在步骤S103中，根据配置文件信息调用流量控制客户端API并发送流量信息到流量控制消息队列。
作为优选，所述目标网络信息包括IP、端口和ID，所述流量控制信息包括带宽和优先级，所述发送消息队列信息包括发送消息队列名字、接收消息队列名字、目标网络ID、流量控制带宽和流量控制优先级。
进一步的，所述流量控制模块用于针对目标网络和特定消息队列进行流量控制，包括以下步骤：
S201、读配置信息；
S202、从流量控制消息队列接收和解析流量控制消息；
S203、调用流量控制接口；
S204、流量控制生效并返回生效信息。
进一步的，在步骤S201中，包括流量控制消息队列地址和自身日志名字及地址；
在步骤S203中，调用的是自己封装的Linux内核流量控制接口；
在步骤S204中，Linux内核流量控制生效并返回生效信息，流量控制生效也包括取消特定的流量控制规则。
进一步的，流量控制消息队列也属于流量控制系统的一个模块，其用于缓存流量控制消息，解耦点到点传输模块和流量控制模块。
作为优选，所述流量控制消息包括规则生效消息及规则取消消息，所述的每种消息都包含源IP地址、源端口、目标IP地址、目标端口、带宽限额KB和限制优先级。
本发明的一种消息队列流量控制系统和现有技术相比，具有以下突出的有益效果：
(1)本发明仅需要在一个操作系统中安装一个流量控制模块，就可以对多个点到点传输模块负责的多个消息队列进行流量控制，流量控制的精度可到KB级。
(2)可对一个或多个特定IP网络进行流量控制，也可以对不同的消息队列分别进行流量控制，流量控制用法简单，用户易于理解和操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1是一种消息队列流量控制系统结构示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明的方案，下面结合具体的实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范围。
下面给出一个最佳实施例：
如图1所示，本实施例中的一种消息队列流量控制系统，在Linux操作系统中的消息队列系统中增加一个流量控制模块，消息队列系统中的点到点传输模块与流量控制模块通过专门的流量控制消息队列通讯，点到点传输模块发送流量控制消息到流量控制消息队列中，流量控制模块通过流量控制消息队列接收和解析流量控制消息并转换为Linux操作系统内核层的流量控制指令。
其中，点到点传输模块用于进行消息队列点到点的传输，包括以下步骤：
S101、读配置文件：如目标网络信息、流量控制信息、发送消息队列信息。
目标网络信息包括IP、端口和ID等，流量控制信息包括带宽和优先级，发送消息队列信息包括发送消息队列名字、接收消息队列名字、目标网络ID、流量控制带宽、流量控制优先级等。
S102、连接相关消息队列：包括发送消息队列及接收消息队列。
S103、发送流量信息到流量控制消息队列：根据配置文件信息调用流量控制客户端API并发送流量信息及流量控制消息队列。
S104、进行实际的点到点消息的传输。
流量控制模块用于针对目标网络和特定消息队列进行流量控制，包括以下步骤：
S201、读配置信息；
S202、从流量控制消息队列接收和解析流量控制消息；
S203、调用流量控制接口；
S204、流量控制生效并返回生效信息。
在步骤S201读配置信息如流量控制消息队列地址、自身日志名字及地址等。
在步骤S202中调用的是自己封装的Linux内核流量控制接口。
在步骤S204中进一步包括：
Linux内核流量控制生效并返回生效信息，流量控制生效也包括取消特定的流量控制规则。
流量控制消息队列也是流量控制系统的一个模块，用于缓存流量控制信息，解耦点到点传输模块和流量控制模块。
在一个Linux操作系统中可以运行多个点到点传输模块，但只需要安装一个流量控制模块即可，能同时支持对多个消息队列进行流量控制。
流量控制消息包括规则生效消息及规则取消消息，每种消息都包含源IP地址、源端口、目标IP地址、目标端口、带宽限额KB和限制优先级等。
此实施例以Linux为例，Unix、Windows等操作系统环境中也可适用。
上述具体的实施方式仅是本发明具体的个案，本发明的专利保护范围包括但不限于上述具体的实施方式，任何符合本发明的一种消息队列流量控制系统权利要求书的且任何所述技术领域普通技术人员对其做出的适当变化或者替换，皆应落入本发明的专利保护范围。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种消息队列流量控制系统，其特征在于，在同一个操作系统中的消息队列系统中增加一个流量控制模块，消息队列系统中的点到点传输模块与所述流量控制模块通过专门的流量控制消息队列通讯，所述点到点传输模块发送流量控制消息到流量控制消息队列中，所述流量控制模块通过流量控制消息队列接收和解析流量控制消息并转换为操作系统内核层的流量控制指令。
2.根据权利要求1所述的一种消息队列流量控制系统，其特征在于，所述点到点传输模块用于进行消息队列点到点的传输，包括以下步骤：
S101、读配置文件；
S102、连接相关消息队列；
S103、发送流量信息到流量控制消息队列；
S104、进行实际的点到点消息的传输。
3.根据权利要求2所述的一种消息队列流量控制系统，其特征在于，在步骤S101中，配置目标网络信息、流量控制信息和发送消息队列信息；
在步骤S102中，包括发送消息队列及接收消息队列；
在步骤S103中，根据配置文件信息调用流量控制客户端API并发送流量信息到流量控制消息队列。
4.根据权利要求3所述的一种消息队列流量控制系统，其特征在于，所述目标网络信息包括IP、端口和ID，所述流量控制信息包括带宽和优先级，所述发送消息队列信息包括发送消息队列名字、接收消息队列名字、目标网络ID、流量控制带宽和流量控制优先级。
5.根据权利要求1所述的一种消息队列流量控制系统,其特征在于，所述流量控制模块用于针对目标网络和特定消息队列进行流量控制，包括以下步骤：
S201、读配置信息；
S202、从流量控制消息队列接收和解析流量控制消息；
S203、调用流量控制接口；
S204、流量控制生效并返回生效信息。
6.根据权利要求5所述的一种消息队列流量控制系统，其特征在于，在步骤S201中，包括流量控制消息队列地址和自身日志名字及地址；
在步骤S203中，调用的是自己封装的Linux内核流量控制接口；
在步骤S204中，Linux内核流量控制生效并返回生效信息，流量控制生效也包括取消特定的流量控制规则。
7.根据权利要求1所述的一种消息队列流量控制系统，其特征在于，流量控制消息队列也属于流量控制系统的一个模块，其用于缓存流量控制消息，解耦点到点传输模块和流量控制模块。
8.根据权利要求1所述的一种消息队列流量控制系统，其特征在于，所述流量控制消息包括规则生效消息及规则取消消息，所述规则生效消息和规则取消消息均包含源IP地址、源端口、目标IP地址、目标端口、带宽限额KB和限制优先级。
CN202010714097.8A 2020-07-23 2020-07-23 一种消息队列流量控制系统 Active CN111866148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010714097.8A CN111866148B (zh) 2020-07-23 2020-07-23 一种消息队列流量控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010714097.8A CN111866148B (zh) 2020-07-23 2020-07-23 一种消息队列流量控制系统

Publications (2)

Publication Number Publication Date
CN111866148A CN111866148A (zh) 2020-10-30
CN111866148B true CN111866148B (zh) 2022-05-31

Family

ID=72950368

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010714097.8A Active CN111866148B (zh) 2020-07-23 2020-07-23 一种消息队列流量控制系统

Country Status (1)

Country Link
CN (1) CN111866148B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333188B (zh) * 2020-11-04 2022-11-18 成都中科大旗软件股份有限公司 数据服务接口、日志监管方法、系统、存储介质及终端
CN114979979B (zh) * 2021-09-17 2023-07-21 中移互联网有限公司 一种消息处理的方法及其消息处理系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735252A (zh) * 2004-08-12 2006-02-15 华为技术有限公司 一种通用自动化测试装置及方法
CN1937550A (zh) * 2006-07-25 2007-03-28 中山大学 一种基于数字家庭网络的消息中间件
CN101110032A (zh) * 2007-08-24 2008-01-23 张建中 创建多维操作系统的方法和装置
CN201294533Y (zh) * 2008-11-20 2009-08-19 武汉钢铁(集团)公司 智能型多功能安全网关
CN101510838A (zh) * 2009-02-26 2009-08-19 北京北纬点易信息技术有限公司 实现持久化数据队列的方法
CN101635678A (zh) * 2009-06-15 2010-01-27 中兴通讯股份有限公司 一种p2p终端流量控制的方法及系统
CN109564611A (zh) * 2016-08-06 2019-04-02 超威半导体公司 用于对非受信任互连代理进行限流的机制

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070291765A1 (en) * 2006-06-20 2007-12-20 Harris Corporation Systems and methods for dynamic mode-driven link management
CN101009652A (zh) * 2007-01-23 2007-08-01 中兴通讯股份有限公司 以太网无源光网络下行流控信息传递方法
CN102387045B (zh) * 2011-09-30 2015-07-08 北京信息科技大学 嵌入式p2p流量监控系统及方法
CN103067474A (zh) * 2012-12-21 2013-04-24 曙光信息产业(北京)有限公司 分布式文件系统中通信的处理方法和装置
KR20140142544A (ko) * 2013-06-04 2014-12-12 한국전자통신연구원 공정성을 높이기 위한 네트워크 대역폭 할당 방법 및 장치
CN109818879A (zh) * 2017-11-22 2019-05-28 华为技术有限公司 流量控制方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1735252A (zh) * 2004-08-12 2006-02-15 华为技术有限公司 一种通用自动化测试装置及方法
CN1937550A (zh) * 2006-07-25 2007-03-28 中山大学 一种基于数字家庭网络的消息中间件
CN101110032A (zh) * 2007-08-24 2008-01-23 张建中 创建多维操作系统的方法和装置
CN201294533Y (zh) * 2008-11-20 2009-08-19 武汉钢铁(集团)公司 智能型多功能安全网关
CN101510838A (zh) * 2009-02-26 2009-08-19 北京北纬点易信息技术有限公司 实现持久化数据队列的方法
CN101635678A (zh) * 2009-06-15 2010-01-27 中兴通讯股份有限公司 一种p2p终端流量控制的方法及系统
CN109564611A (zh) * 2016-08-06 2019-04-02 超威半导体公司 用于对非受信任互连代理进行限流的机制

Also Published As

Publication number Publication date
CN111866148A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
JP7079866B2 (ja) パケット処理方法、及びデバイス
CN111866148B (zh) 一种消息队列流量控制系统
CN106464708B (zh) 针对符合条件的包通过隧道传输和接收数据的方法和系统
KR101961049B1 (ko) 타임 슬롯화 채널 홉핑 네트워크에서의 효율적인 중앙 집중식 자원 및 스케줄 관리
CN100505673C (zh) 检测路径最大传输单元的方法和系统
US20150295785A1 (en) Resource Subscription Method and Device
CN102056227B (zh) 主演进节点b、中继节点及其通讯方法
US20140250238A1 (en) Network gateway for time-critical and mission-critical networks
CN105637819A (zh) 用于传输广播数据的方法和系统
CN109842564A (zh) 一种业务报文发送的方法、网络设备和系统
CN113726681B (zh) 一种网络拥塞控制方法及网络设备
CN101355585B (zh) 一种分布式架构数据通信设备的消息保护系统及方法
EP2396937B1 (en) Method and system for aggregating communications
US8305918B2 (en) Method of configuring the quality-of-service profile of a given stream at an access node of a packet communications network
WO2015037911A1 (ko) 오픈플로우를 이용하여 사용자 단말 장치와 로컬 호스트 사이의 통신을 지원하기 위한 방법, 장치, 시스템 및 컴퓨터 판독 가능한 기록 매체
CN102811149B (zh) 一种用于视频系统中的双卡前端设备及控制方法、系统
EP4144060A1 (en) Transmitting or receiving version information of transmission protocol
CN103124227A (zh) 正向隔离装置与隔离网关结合应用的链路状态探测方法
CN108650179B (zh) 一种配置转发表的方法、转发装置及计算机可读存储介质
CN110719343A (zh) 业务加速处理方法及系统、入口及出口网络设备
JP2020155888A (ja) 加入者回線集約機器、ｐｏｎ局側装置、ｐｏｎシステムおよび加入者回線集約機器の制御方法
RU2768799C1 (ru) Телекоммуникационный программно-аппаратный комплекс и способ для обеспечения бесшовной интеграции сетей связи через ip сеть (варианты)
CN112787952B (zh) 一种业务流量调整方法及装置
US11997179B2 (en) Distributed proxy for encrypted transport protocols with efficient multi-priority multiplexed transport for improving user's traffic QOS
KR20030080501A (ko) 무선 근거리 통신망 액세스 포인트 접속장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant