CN105591969A - 一种国网环境下消息总线的使用方法 - Google Patents

一种国网环境下消息总线的使用方法 Download PDF

Info

Publication number
CN105591969A
CN105591969A CN201510822488.0A CN201510822488A CN105591969A CN 105591969 A CN105591969 A CN 105591969A CN 201510822488 A CN201510822488 A CN 201510822488A CN 105591969 A CN105591969 A CN 105591969A
Authority
CN
China
Prior art keywords
message
messaging bus
queue
office network
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510822488.0A
Other languages
English (en)
Inventor
薛海威
曹健
刘金虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHINA REALTIME DATABASE Co Ltd
Original Assignee
CHINA REALTIME DATABASE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHINA REALTIME DATABASE Co Ltd filed Critical CHINA REALTIME DATABASE Co Ltd
Priority to CN201510822488.0A priority Critical patent/CN105591969A/zh
Publication of CN105591969A publication Critical patent/CN105591969A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/26—Flow control; Congestion control using explicit feedback to the source, e.g. choke packets
    • H04L47/266—Stopping or restarting the source, e.g. X-on or X-off
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/31—Flow control; Congestion control by tagging of packets, e.g. using discard eligibility [DE] bits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements
    • H04L49/9063—Intermediate storage in different physical parts of a node or terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种消息总线的使用方法，属于计算机网络及信息中间件技术应用领域。本发明在由总部网络和分支机构网络组成的网络环境下使用基于消息队列原理的消息总线时，进行流量控制、组网策略配置和资源监测管理。本发明方法特别适用于国家电网公司和其27家省（市）公司的业务系统横纵向消息通信，能够解决网络之间的端口屏蔽以及广域网通信等问题，同时建立统一的资源监测管理与权限分配系统。

Description

一种国网环境下消息总线的使用方法
技术领域
本发明属于计算机网络及信息中间件技术应用领域，特别涉及国网环境下的消息总线的优化使用。
背景技术
消息队列(MessageQueue，MQ)技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上，队列存储消息直到它们被应用程序读走。通过消息队列，应用程序可独立地执行：它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。
中间件是一种独立的系统软件或服务程序，分布式应用系统借助这种软件在不同的技术之间共享资源，管理计算资源和网络通讯。面向消息的中间件(MOM)作为一个中间层软件，提供了基于存储和转发的应用程序之间的异步数据发送。JMS(Java消息服务)是Java平台中关于消息中间件的接口规范，其一般通信过程如图1所示，大致包括：连接工厂创建连接，连接创建会话，会话再创建消息生产者和消费者，然后会话创建消息，该消息由生产者发送到目的地，消费者上线之后从目的地接收该消息。MQ可以基于JMS实现。
但是，如果将上述技术运用于国家电网公司总部与其27家省(市)公司的业务系统组成的网络中，会带来以下的问题：1、如果消费者接收消息的速度远慢于生产者的发送速度，或者消费者长时间不在线的情况，会出现消息大量积压在中间件的目的地，导致将其内存撑爆，影响整个中间件的正常工作；2、国家电网公司总部与其27家省(市)公司的业务系统组成的网络中大量存在端口屏蔽和防火墙，这会使得整个网络间通信变得异常复杂，可能会出现端口分配困难，各业务系统应用端口冲突等问题；3、国家电网公司总部和27家省(市)公司各自需要管理资源、权限等，需要分配众多的管理员，不利于整个网络在进行消息总线使用时的管理与维护。
发明内容
本发明目的是：针对现有技术中的不足，解决国家电网公司总部跟27家省(市)公司的业务系统横纵向消息通信时存在的端口屏蔽和广域网通信等问题，同时建立统一的资源监测管理与权限分配系统，提供一种消息总线的使用方法。
具体地说，本发明是采用以下技术方案实现的：在由总部网络和分支机构组成的网络环境下使用基于消息队列原理的消息总线时，进行流量控制、组网策略配置和资源监测管理，所述总部网络为国家电网公司总部网络，所述分支机构网络是国家电网公司下属的省市公司业务系统网络，其中：
所述流量控制的方法为，将消息的引用存放在内存中，同时针对消息总线节点上的每个队列和每个主题设置内存限制，当存在队列或主题上的消息发生积压、达到其内存限制时，该队列或主题将阻塞生产者发送的消息；
所述组网策略配置的方法为，将总部网络与分支机构网络的消息总线节点相连，其中总部网络配置多台服务器并组网，分区对外提供服务，各服务器间在消息传输逻辑层上互联互通；总部网络与分支机构在网络层组网并按队列名称设置路由规则，只有符合规则要求的队列消息才可以在消息总线节点服务器间路由转发；
所述资源监测管理的方法为，将所有消息总线通信节点的配置文件统一放到总部网络，进行统一权限分配、统一运行监测、统一资源管理。
上述技术方案的进一步特征在于，在进行组网策略配置时，在两两相连的两个消息总线节点间配置多条单向的连接桥以实现增大吞吐量，并对每条连接进行动态网络配置以及消息过滤，使得在远程的消息总线节点上有订阅的消费者同时队列或主题名称满足命名规范的过滤名称的时候才发送消息。
上述技术方案的进一步特征在于，在进行资源监测管理时，通过识别不同消息总线节点的标识，读取对应数据库中该节点的配置项，生成配置文件。
上述技术方案的进一步特征在于，在进行流量控制时，采用虚拟内存消息游标标识对消息的引用。
本发明的有益效果如下：首先，本发明方法解决了国家电网公司总部与其27家省(市)公司的业务系统横纵向消息通信时存在的端口屏蔽和广域网通信等问题，对国家电网公司总部和27家省(市)公司的横纵向消息通信方面提供了切实可行的解决方案；其次，本发明方法实现了流量控制功能，各队列(主题)互不影响，有效保证了各业务系统的稳定性；再次，监测管理工具统一管理总部和省(市)公司的配置文件，并实现统一权限分配与资源监测，节约了维护成本。
附图说明
图1是JMS公共接口之间的关系示意图。
图2是消息总线的运行原理图。
图3是消息总线的逻辑部署方式图。
图4是虚拟内存游标的工作方式图。
具体实施方式
下面结合实施例并参照附图对本发明作进一步详细描述。
本发明的一个实施例，在国家电网公司总部与其27家省(市)公司的业务系统组成的网络中使用，对基于MQ原理的消息总线进行优化，主要进行了包括流量控制、组网策略配置以及监测管理等工作。
流量控制功能的实现策略是将消息的引用存放在内存中，同时对消息总线节点上的每个队列(queue)和每个主题(topic)设置内存限制。当某个队列或主题上的消息发生积压，达到其内存限制时，该队列或主题将阻塞生产者发送的消息，不会发生某个队列或主题将消息总线节点的内存撑爆，影响其正常工作的情况。
组网策略配置是将国家电网公司总部与27家省(市)公司消息总线节点相连。总部配置多台服务器并组网，分区对外提供服务，服务器间在消息传输逻辑层上互联互通；总部与省(市)公司在网络层组网并按队列名称设置路由规则，只有符合规则要求的队列消息才可以在节点服务器间路由转发。具体实现时，在两个消息总线节点间配置10条单向的连接桥来实现增大吞吐量，并对每条连接进行动态网络配置以及消息过滤，只希望在远程的消息总线节点上有订阅的消费者，同时队列或主题名称满足命名规范的过滤名称的时候才把消息发过去，从而实现总部与省(市)公司的透明通信。
资源监测管理，给予用户新建队列、分配权限与资源的工具，将所有分布式通信节点的配置文件统一放到总部，方便管理与监测，实现统一权限分配、统一运行监测和统一资源管理。具体实现时，通过识别不同节点的标识，读取数据库中该节点的配置项，生成配置文件。各交换节点的配置文件统一放置在监管系统下，方便配置与管理。各节点采取远程请求配置文件URL的方式启动，监管系统会根据不同的请求，从数据库中读取不同省(市)或者总部的配置项，动态生成消息总线的配置文件。同时监管系统会对消息总线的基本信息进行展示；对运行情况进行监控，包括日志分析以及告警处理等。
本实施例的详细情况见图2和图3。图2描述了本实施例消息总线的横纵向通信的运行原理。图3描述了本实施例实现横纵向通信的消息总线的级联逻辑部署方式。
横向通信，即同一省(市)公司或者总部下的不同业务系统之间的通信，其过程如下：1、交换节点a作为省(市)公司侧的消息总线节点，业务系统A通过调用JMS的公共接口，与其进行通信，将消息发送到队列1；2、该省(市)公司的另一业务系统B需要与业务系统A进行通信，只需通过调用JMS的公共接口，从消息总线节点上接收队列1上的消息即可，实现了系统A与系统B之间松耦合。
纵向通信，即省(市)公司与总部之间的各业务系统之间的通信，其过程如下：1、交换节点a作为省(市)公司侧的消息总线节点，业务系统A通过调用JMS的公共接口，与其进行通信，将消息发送到队列2；2、交换节点b作为总部侧的消息总线节点，业务系统D也是通过调用JMS的公共接口，从队列2上接收消息；3、节点a与节点b之间的通信是由配置文件中的网络连接完成，只有满足命名规范的队列才能在节点a与节点b间通信，实现了消息的透明路由。
图4描述了虚拟内存消息游标的工作方式。本实施例将消息的引用放在内存中，并对该内存大小进行限制，从而实现对单个队列或主题的流量控制。当消费者的消费速度很快时，消息直接被发送到消费者的分发队列中；当消费者的速度很慢，存放消息游标的虚拟内存会变大，消息在节点上出现积压，直到虚拟内存达到设定的临界值，该队列或主题会阻塞生产者，不会出现虚拟内存无限变大，影响整个消息总线节点的正常工作。
虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (4)

1.一种国网环境下消息总线的使用方法，其特征在于，在由总部网络和分支机构网络组成的网络环境下使用基于消息队列原理的消息总线时，进行流量控制、组网策略配置和资源监测管理，所述总部网络为国家电网公司总部网络，所述分支机构网络是国家电网公司下属的省市公司业务系统网络，其中：
所述流量控制的方法为，将消息的引用存放在内存中，同时针对消息总线节点上的每个队列和每个主题设置内存限制，当存在队列或主题上的消息发生积压、达到其内存限制时，该队列或主题将阻塞生产者发送的消息；
所述组网策略配置的方法为，将总部网络与分支机构网络的消息总线节点相连，其中总部网络配置多台服务器并组网，分区对外提供服务，各服务器间在消息传输逻辑层上互联互通；总部网络与分支机构在网络层组网并按队列名称设置路由规则，只有符合规则要求的队列消息才可以在消息总线节点服务器间路由转发；
所述资源监测管理的方法为，将所有消息总线通信节点的配置文件统一放到总部网络，进行统一权限分配、统一运行监测、统一资源管理。
2.根据权利要求1所述的消息总线的使用方法，其特征在于，在进行组网策略配置时，在两两相连的两个消息总线节点间配置多条单向的连接桥以实现增大吞吐量，并对每条连接进行动态网络配置以及消息过滤，使得在远程的消息总线节点上有订阅的消费者同时队列或主题名称满足命名规范的过滤名称的时候才发送消息。
3.根据权利要求1所述的消息总线的使用方法，其特征在于，在进行资源监测管理时，通过识别不同消息总线节点的标识，读取对应数据库中该节点的配置项，生成配置文件。
4.根据权利要求1所述的消息总线的使用方法，其特征在于，在进行流量控制时，采用虚拟内存消息游标标识对消息的引用。
CN201510822488.0A 2015-11-23 2015-11-23 一种国网环境下消息总线的使用方法 Pending CN105591969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510822488.0A CN105591969A (zh) 2015-11-23 2015-11-23 一种国网环境下消息总线的使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510822488.0A CN105591969A (zh) 2015-11-23 2015-11-23 一种国网环境下消息总线的使用方法

Publications (1)

Publication Number Publication Date
CN105591969A true CN105591969A (zh) 2016-05-18

Family

ID=55931201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510822488.0A Pending CN105591969A (zh) 2015-11-23 2015-11-23 一种国网环境下消息总线的使用方法

Country Status (1)

Country Link
CN (1) CN105591969A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453372B1 (en) * 1998-05-01 2002-09-17 Mitsubishi Denki Kabushiki Kaisha Data communication system for and method of avoiding computer network transmissions of excessive length
CN1937550A (zh) * 2006-07-25 2007-03-28 中山大学 一种基于数字家庭网络的消息中间件
CN102291467A (zh) * 2011-09-15 2011-12-21 电子科技大学 一种适应私有云环境的通信平台和通信方法
CN103873523A (zh) * 2012-12-14 2014-06-18 北京东方通科技股份有限公司 客户端集群访问方法及装置
CN104363291A (zh) * 2014-11-19 2015-02-18 中国航天科工集团第二研究院七〇六所 一种网络通信中间件实现方法
CN104378415A (zh) * 2014-10-29 2015-02-25 中国建设银行股份有限公司 一种基于消息的高可用云系统和实现方法
CN104486440A (zh) * 2014-12-25 2015-04-01 浪潮电子信息产业股份有限公司 一种基于消息总线的云计算管理软件交互方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453372B1 (en) * 1998-05-01 2002-09-17 Mitsubishi Denki Kabushiki Kaisha Data communication system for and method of avoiding computer network transmissions of excessive length
CN1937550A (zh) * 2006-07-25 2007-03-28 中山大学 一种基于数字家庭网络的消息中间件
CN102291467A (zh) * 2011-09-15 2011-12-21 电子科技大学 一种适应私有云环境的通信平台和通信方法
CN103873523A (zh) * 2012-12-14 2014-06-18 北京东方通科技股份有限公司 客户端集群访问方法及装置
CN104378415A (zh) * 2014-10-29 2015-02-25 中国建设银行股份有限公司 一种基于消息的高可用云系统和实现方法
CN104363291A (zh) * 2014-11-19 2015-02-18 中国航天科工集团第二研究院七〇六所 一种网络通信中间件实现方法
CN104486440A (zh) * 2014-12-25 2015-04-01 浪潮电子信息产业股份有限公司 一种基于消息总线的云计算管理软件交互方法

Similar Documents

Publication Publication Date Title
CN106126346B (zh) 一种大规模分布式数据采集系统及方法
Albano et al. Message-oriented middleware for smart grids
CN105809356A (zh) 一种基于应用集成云平台的信息系统资源管理方法
CN109074287B (zh) 基础设施资源状态
CN105282191A (zh) 负载均衡系统、控制器和方法
CN106027421B (zh) 基于sdn的面向iec 61850通信的动态带宽分配方法
CN110032592A (zh) 一种能源大数据整合系统及方法
CN104378415A (zh) 一种基于消息的高可用云系统和实现方法
CN107612984B (zh) 一种基于互联网的大数据平台
CN111885439B (zh) 一种光网络综合管理和值勤管理系统
Al-Shammari et al. Service embedding in IoT networks
Wang et al. CDLB: a cross-domain load balancing mechanism for software defined networks in cloud data centre
CN114710571B (zh) 数据包处理系统
CN105450997A (zh) 基于云存储的视频监控系统
CN101267449B (zh) 一种基于移动代理机制的树型结构p2p系统资源传输方法
CN110011984A (zh) 一种基于rest和rpc的分布式集群系统及方法
CN103152428A (zh) 云平台上节点间进行服务通信的方法
CN105591969A (zh) 一种国网环境下消息总线的使用方法
CN116431324A (zh) 一种基于Kafka高并发数据采集与分发的边缘系统
CN105049515A (zh) 一种配电监测系统及其数据交互方法
CN104572859B (zh) 一种分布式复杂事件处理系统
CN110276705B (zh) 一种基于esn为产业园区企业提供智能制造服务的方法
Benhaddou et al. Big data processing for smart grids
Du et al. Research on service bus for distributed real-time control systems
Fortier CRC Handbook of Local Area Network Software: Concepts and Technology

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160518

RJ01 Rejection of invention patent application after publication