CN106651008A - 一种面向水文预报的通用网络服务构建方法 - Google Patents

一种面向水文预报的通用网络服务构建方法 Download PDF

Info

Publication number
CN106651008A
CN106651008A CN201611046793.6A CN201611046793A CN106651008A CN 106651008 A CN106651008 A CN 106651008A CN 201611046793 A CN201611046793 A CN 201611046793A CN 106651008 A CN106651008 A CN 106651008A
Authority
CN
China
Prior art keywords
service
forecast
construction method
computation
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611046793.6A
Other languages
English (en)
Inventor
周新春
郑静
陈瑜彬
杨文发
邹冰玉
冯宝飞
李玉荣
高珺
秦昊
张晶
顾丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bureau of Hydrology Changjiang Water Resources Commission
Original Assignee
Bureau of Hydrology Changjiang Water Resources Commission
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bureau of Hydrology Changjiang Water Resources Commission filed Critical Bureau of Hydrology Changjiang Water Resources Commission
Priority to CN201611046793.6A priority Critical patent/CN106651008A/zh
Publication of CN106651008A publication Critical patent/CN106651008A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明公开了一种面向水文预报的通用网络服务构建方法，该构建方法包括如下步骤：1)对预报计算模型进行封装，满足SOA的需求；2)通过网络传输协议用于服务的请求和数据的传输；3)计算服务器部署在分布式计算节点上，利用集群统一管理，通过负载均衡机制，保证用户的请求得到实时的响应。该方法摆脱了传统预报计算软件的限制，直接为跨平台应用提供通用的服务接口，确保了预报计算的一致性和通用性。同时，服务计算采用分布式部署，有效的提高了预报计算的效率，降低了系统的耦合性，扩展性和可控性也得到加强。

Description

一种面向水文预报的通用网络服务构建方法
技术领域
本发明涉及一种通用网络服务构建方法，具体是一种面向水文预报的通用网络服务构建方法，属于水文预报技术领域。
背景技术
一般而言，传统的水文预报计算方式通常是在个人电脑上独立完成。具体而言，以数据库为核心，用户通过计算软件调用存储在数据库中的模型参数和数据，完成计算后将数据存入数据库。如果其他人需要调用计算结果，也是直接通过数据库访问完成。
这种计算模式一方面，会导致数据库压力过大，架构层次不清晰，当系统越来越庞大时，运维成本越来越大，其可控性、安全性、扩展性也相对较差；另一方面，由于计算软件只能运行与封闭环境下的个人电脑，无法满足现在跨平台云计算的发展需求。
发明内容
针对上述现有技术存在问题，本发明提供一种面向水文预报的通用网络服务构建方法，该构建方法能够使得架构层次清晰，避免了数据库的过大压力，并且能够把预报计算方法和模块打包成不同服务，保证该计算模式的可控性、安全性和扩展性。
本发明通过以下技术方案来实现上述目的：一种面向水文预报的通用网络服务构建方法，该构建方法包括如下步骤：
1)对预报计算模型进行封装，满足SOA的需求；
2)通过网络传输协议用于服务的请求和数据的传输；
3)计算服务器部署在分布式计算节点上，利用集群统一管理，通过负载均衡机制，保证用户的请求得到实时的响应。
进一步，所述步骤1)包括预报计算模型解耦和预报计算模型封装。
进一步，所述预报计算模型解耦是将计算模型中的计算过程分成各个子单元，并且每个子单元作为单独的功能封装成服务进行发布；各个子单元完全独立，子单元之间设有功能和调用关系上的依赖和高复用性。
进一步，所述预报计算模型封装采用数据库连接池负责数据库资源的分配，并且所述预算计算模型中的所有模块均可独立访问数据库。
进一步，所述步骤2)中的网络传输协议采用HTTP协议请求中的GET和POST两种请求完成服务操作；其中，GET请求用来表示发送的参数只包含基本数据类型的服务，POST请求用来表示发送的参数包含复杂数据类型的服务。
进一步，所述步骤2)中，在数据的传输之前，对原始的数据集进行序列化，再将得到的字节流进行压缩运算；其中，数据的传输采用JSON格式传递，压缩运算采用gzip压缩方式。
进一步，所述步骤3)具体为：
a)计算服务器作为所有服务的访问入口，负责服务的分发以及集群的管理；
b)分布式计算节点上部署着所有的预报计算、防洪调度以及各类查询的计算服务；
c)用户的请求通过网页或其他系统传递到计算服务器，计算服务器的负载均衡机制实时监视所有计算节点的运行状况，找到负载最小的节点分发请求，当计算节点完成计算后再逐层返回。
有益效果：该构建方法采用SOA框架，利用契约将各个子系统解耦，把所有预报计算方法和模块打包成不同服务，通过通用的Http协议发布到网络上，构建了一种以服务为中心的水文预报计算方法。该方法摆脱了传统预报计算软件的限制，直接为跨平台应用(传统软件、Web、iOS、安卓)提供通用的服务接口，确保了预报计算的一致性和通用性。同时，服务计算采用分布式部署，有效的提高了预报计算的效率，降低了系统的耦合性，扩展性和可控性得到加强。
附图说明
图1为本发明整体流程示意图；
图2为本发明具体操作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示：一种面向水文预报的通用网络服务构建方法，该构建方法包括如下步骤：
A)对预报计算模型进行封装，满足SOA的需求。
面向服务的架构(Service-Oriented Architecture，SOA)是一种以“服务”为基本元素来组建的IT架构，通过预先定义的规范接口和契约，把应用程序的不同功能(即服务)联系起来，构成一套松耦合，独立于硬件系统、编程语言、使用环境的交互平台。
为了使得传统的水文预报程序能够服务化，需要对当前的程序进行解耦并重新封装，以满足SOA无状态和独立自治的原则。
所述预报计算模型包括预报计算模型解耦和预报计算模型封装。其中，所述预算计算模型解耦按照水文预报的流程，将计算过程分解成各个子单元，每个子单元作为单独的功能封装成服务进行发布。分类的要求是每个子单元完全独立，子单元之间没有功能和调用关系上的依赖，同时具有高复用性。本方法从两个维度把预报计算分为9类。在业务层面上分为雨情、水情和其他三个部分，在数据层面上，分为取数、计算和保存三个部分。具体分类见表一。
表一：数据层面分类表
所述预报计算模型封装的目的是为了让之前相互依赖的功能独立的运行。预报模型计算需要进行大量的数据库操作，所以封装的重要一点是所有模块都可以独立的访问数据库，由于数据库的连接占用了大量的时间，为了提高效率，采用了数据库连接池来负责数据库资源的分配，在系统初始化的时候统一建立连接，当服务需要使用数据库时，直接从连接池中获取资源，使用完后由连接池回收便于循环利用。
在封装时，选用了WCF(Windows Communication Foundation：微软数据通信框架)作为服务框架。WCF是Windows平台上开发分布式应用最佳的实践方式，该框架使用.NET环境，能够很好的集成原来C#以及Visual Basic的预报计算程序，同时提供广泛的网络服务协议支持，在安全性上也有相应的模块作为保证。
WCF通过契约来定义不同的服务，契约主要由操作契约和数据契约组成，操作契约即服务提供的方法，数据契约即服务与客户沟通时的数据格式。
(1)操作契约
在本方法中，操作契约为预报模块解耦出来的若干预报方法，契约的命名方式按照“操作+功能”的方式命名，比如取数操作以“Get”开头，保存操作以“Save”开头，计算操作以“Calc”开头，后面加服务的内容来构成服务名称，下面给出了具体操作契约的例子：
[OperationContract]
//获取区域面雨量
RainRegionDtP GetRainRegionDtP(string basinId,int workDt,intforeSpan,int caseNo,string st,string et)；
[OperationContract]
//保存预报结果
Stream SaveForeResultData(ForecastStationInfo foreStationInfo,intworkDt,int addpNum,string baseTime,string userName)；
[OperationContract]
//计算最大洪量
Stream CalcHQFlood(HQVAL q,string st,string et,int dt)；
(2)数据契约
数据契约定义了数据交换格式，本方法把水文预报计算中的每一种参与计算的单元都作为单独的类型，指定数据契约，比如：雨量站、水文站、水库站、河道特征、蓄滞洪区等，并按照每种类型的特性，根据属性来定义数据契约，下例为蓄滞洪区的数据契约。
B)通过网络传输协议用于服务的请求和数据的传输。
目前很多的网络传输协议都可以用于服务的请求以及数据传输，包括HTTP、CP、MQ等等。考虑到本方法的通用性以及对多终端支持性，这里选择了HTTP协议作为数据传输协议。因为几乎所有操作系统和设备都支持HTTP协议，同时交互报文也比较简单。
由于利用了HTTP协议，本方法使用了类似REST(Representational StateTransfer，表述性状态传递)的风格来调用服务，即所有的服务都是通过URL链接的形式发布，用户在调用时只需请求URL地址，填入相应的参数，就可以获得服务器的返回结果。比如访问“http://localhost:12079/Service1.svc/GetForecastStaionData”即可以获得所有预报站点信息。
此外，考虑到水文预报信息传输的特点，本方法并没有按照REST规定的四种HTTP协议请求(即：GET、PUT、POST、DELETE)来对应相关操作。由于水文预报需要进行大量的数据交互，传统的REST风格无法满足复杂结构的服务请求。因此本方法只使用了GET和POST两种请求来完成服务操作，其中GET请求用来表示发送的参数只包含基本数据类型的服务，POST请求用来表示发送的参数包含复杂数据类型的服务。
同时，考虑到数据传输量较大，本方法使用JSON格式来传递数据，减少不必要的信息量。JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，相比XML数据传输量少，并且原生支撑JavaScript，方便取得数据后的解析工作。此外，在传输前，对原始的数据集进行序列化，再将得到的字节流进行压缩运算，来进一步减少传输的数据量，加快请求的响应速度。
压缩时采用了gzip压缩方式，gzip是前端比较常用的压缩方式，支持各种类型的Web服务和浏览器。gzip压缩率较高，对于普通的文本文件能够有70％～80％的压缩率，同时压缩带来的服务器开销很小。
服务描述为了让用户了解所有发布出来的服务的使用规范，本方法使用单独的帮助网页来详细描述服务的使用方法。包括服务的名称、地址、请求方式、参数等等。
C)计算服务器部署在分布式计算节点上，利用集群统一管理，通过负载均衡机制，保证用户的请求得到实时的响应。
本方法在部署时采用了分布式方案，提高计算的速度和处理效率。为了满足多用户对系统的大量请求，所有的计算服务都部署在分布式计算节点上，利用集群进行统一管理，通过负载均衡机制，保证用户的请求可以得到实时的响应。
计算服务器作为所有服务的访问入口，负责服务的分发以及集群的管理，分布式计算节点上部署着所有的预报计算、防洪调度以及各类查询的计算服务。用户的请求通过网页或其他系统传递到计算服务器，计算服务器的负载均衡机制实时监视所有计算节点的运行状况，找到负载最小的节点分发请求，当计算节点完成计算后再逐层返回。
实施例，如图2所示：
1、用户通过服务描述文档，获取所需服务的URL、报文协议以及数据结构，通过HTTP请求发送给计算服务器；
2、计算服务器在收到请求后，通过监视所管理的所有计算节点，找到当前负载最小的节点，转发服务请求；
3、计算节点收到数据后，调用计算模块进行计算，需要查询和存储数据则通过数据库连接池访问数据库进行数据的查询和保存，在计算完成后将计算结果返回计算服务器；
4、计算服务器在得到数据后，首先对数据进行系列化，然后对数据流进行压缩，压缩采用gzip压缩，保证兼容性。随后，将压缩后的数据返回给用户。
以上所举实施例为本发明的较佳实施方式，仅用来方便说明本发明，并非对本发明作任何形式上的限制，任何所属技术领域中具有通常知识者，若在不脱离本发明所提技术特征的范围内，利用本发明所揭示技术内容所作出局部变动或修饰的等效实施例，并且未脱离本发明的技术特征内容，均仍属于本发明技术特征的范围内。

Claims (7)

1.一种面向水文预报的通用网络服务构建方法，其特征在于，该构建方法包括如下步骤：
1)对预报计算模型进行封装，满足SOA的需求；
2)通过网络传输协议用于服务的请求和数据的传输；
3)计算服务器部署在分布式计算节点上，利用集群统一管理，通过负载均衡机制，保证用户的请求得到实时的响应。
2.根据权利要求1所述的一种面向水文预报的通用网络服务构建方法，其特征在于：所述步骤1)包括预报计算模型解耦和预报计算模型封装。
3.根据权利要求2所述的一种面向水文预报的通用网络服务构建方法，其特征在于：所述预报计算模型解耦是将计算模型中的计算过程分成各个子单元，并且每个子单元作为单独的功能封装成服务进行发布；各个子单元完全独立，子单元之间设有功能和调用关系上的依赖和高复用性。
4.根据权利要求2所述的一种面向水文预报的通用网络服务构建方法，其特征在于：所述预报计算模型封装采用数据库连接池负责数据库资源的分配，并且所述预算计算模型中的所有模块均可独立访问数据库。
5.根据权利要求1所述的一种面向水文预报的通用网络服务构建方法，其特征在于：所述步骤2)中的网络传输协议采用HTTP协议请求中的GET和POST两种请求完成服务操作；其中，GET请求用来表示发送的参数只包含基本数据类型的服务，POST请求用来表示发送的参数包含复杂数据类型的服务。
6.根据权利要求1所述的一种面向水文预报的通用网络服务构建方法，其特征在于：所述步骤2)中，在数据的传输之前，对原始的数据集进行序列化，再将得到的字节流进行压缩运算；其中，数据的传输采用JSON格式传递，压缩运算采用gzip压缩方式。
7.根据权利要求1所述的一种面向水文预报的通用网络服务构建方法，其特征在于，所述步骤3)具体为：
a)计算服务器作为所有服务的访问入口，负责服务的分发以及集群的管理；
b)分布式计算节点上部署着所有的预报计算、防洪调度以及各类查询的计算服务；
c)用户的请求通过网页或其他系统传递到计算服务器，计算服务器的负载均衡机制会实时监视所有计算节点的运行状况，找到负载最小的节点分发请求，当计算节点完成计算后再逐层返回。
CN201611046793.6A 2016-11-23 2016-11-23 一种面向水文预报的通用网络服务构建方法 Pending CN106651008A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611046793.6A CN106651008A (zh) 2016-11-23 2016-11-23 一种面向水文预报的通用网络服务构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611046793.6A CN106651008A (zh) 2016-11-23 2016-11-23 一种面向水文预报的通用网络服务构建方法

Publications (1)

Publication Number Publication Date
CN106651008A true CN106651008A (zh) 2017-05-10

Family

ID=58812821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611046793.6A Pending CN106651008A (zh) 2016-11-23 2016-11-23 一种面向水文预报的通用网络服务构建方法

Country Status (1)

Country Link
CN (1) CN106651008A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493338A (zh) * 2017-08-21 2017-12-19 南京慧水软件科技有限公司 一种适用于水文预报信息系统的并发访问方法
CN109977510A (zh) * 2019-03-15 2019-07-05 长江水利委员会长江科学院 一种基于gis技术的水文模型网络发布方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719931A (zh) * 2009-11-27 2010-06-02 南京邮电大学 一种基于多智能主体的层次式云端计算模型构建方法
CN101741904A (zh) * 2009-11-27 2010-06-16 中国林业科学研究院资源信息研究所 一种分布式空间计算服务节点的构建方法及网关装置
CN101864750A (zh) * 2010-06-29 2010-10-20 西安理工大学 多模型综合集成洪水预报系统及其预报方法
CN102436531A (zh) * 2011-11-25 2012-05-02 北京航空航天大学 一种基于分布式组件的高光谱数据仿真及应用平台
CN103679563A (zh) * 2013-12-26 2014-03-26 黑龙江盛世达仁科技开发有限责任公司 一种农田水利智能管理综合系统的开发和应用
CN104281130A (zh) * 2014-09-22 2015-01-14 国家电网公司 一种基于大数据技术的水电设备监测和故障诊断系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719931A (zh) * 2009-11-27 2010-06-02 南京邮电大学 一种基于多智能主体的层次式云端计算模型构建方法
CN101741904A (zh) * 2009-11-27 2010-06-16 中国林业科学研究院资源信息研究所 一种分布式空间计算服务节点的构建方法及网关装置
CN101864750A (zh) * 2010-06-29 2010-10-20 西安理工大学 多模型综合集成洪水预报系统及其预报方法
CN102436531A (zh) * 2011-11-25 2012-05-02 北京航空航天大学 一种基于分布式组件的高光谱数据仿真及应用平台
CN103679563A (zh) * 2013-12-26 2014-03-26 黑龙江盛世达仁科技开发有限责任公司 一种农田水利智能管理综合系统的开发和应用
CN104281130A (zh) * 2014-09-22 2015-01-14 国家电网公司 一种基于大数据技术的水电设备监测和故障诊断系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107493338A (zh) * 2017-08-21 2017-12-19 南京慧水软件科技有限公司 一种适用于水文预报信息系统的并发访问方法
CN109977510A (zh) * 2019-03-15 2019-07-05 长江水利委员会长江科学院 一种基于gis技术的水文模型网络发布方法

Similar Documents

Publication Publication Date Title
CN106850788B (zh) 面向多源异构地理信息资源的集成框架及集成方法
CN103761309B (zh) 一种运营数据处理方法及系统
CN101557297B (zh) 一种基于互联网的开放式电信业务生成系统及方法
CN107612959A (zh) 一种基于云微服务自管理的云服务平台
CN105912397A (zh) 一种资源管理方法和装置
CN103019803B (zh) 一种用于遥感卫星地面数据处理网格节点的虚拟环境系统
CN108932588A (zh) 一种前后端分离的水电站群优化调度系统及方法
CN110308966B (zh) 一种基于容器技术的静态安全分析方法
CN106027596A (zh) 一种任务分发方法和装置
CN103997523B (zh) 基于云服务的智慧城市业务系统及其实现方法
CN107566153A (zh) 一种自管理的微服务实现方法
CN103096030B (zh) 一种视频监控多业务融合平台及解决方法
CN102902745A (zh) 一种地理信息web服务集成方法
CN104281456B (zh) 一种基于云计算的油气田开发工程应用软件系统
CN107948309A (zh) 一种基于Restful API的服务器资源的集成管理方法和系统
CN105760449A (zh) 一种面向多源异构数据的云推送方法
CN104376005A (zh) 软件心跳机制信令接入探针用户详单处理方法及系统
CN101860024B (zh) 电力系统省地调一体化pas系统的实现方法
CN108924228B (zh) 基于边缘计算的工业互联网优化系统
CN105808763A (zh) 一种数据处理方法和装置
CN115294310B (zh) 基于gis云渲染的多用户场景控制系统、方法及存储介质
CN103268230A (zh) 用于构建可拓展服务的云计算信息管理平台的方法
CN106651008A (zh) 一种面向水文预报的通用网络服务构建方法
Dai Design and implementation of ESB based on SOA in power system
CN104598250B (zh) 一种系统管理架构及其实现管理的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510

RJ01 Rejection of invention patent application after publication