CN102521716A - 一体化专业气象服务集成系统 - Google Patents

Abstract

本发明公开了一种一体化专业气象服务集成系统，包括：数据采集与共享单元、产品加工单元、产品发布与显示单元、业务管理单元。是一种集气象数据采集、专业气象服务产品制作、加工、发布、专业气象服务监控、管理等多环节于一体的专业气象服务集成系统，该系统将显著提高专业气象服务水平，方便拓展服务领域，增加服务项目，提高服务产品的针对性和精细化水平，最大程度地满足各类用户的需求。

Description

一体化专业气象服务集成系统

技术领域

本发明属于专业气象服务领域，涉及一种一体化专业气象服务集成系统。

背景技术

我国气象观测初具规模，已建成31573个自动气象站，各种移动观测系统198套，高空气象观测、专业气象观测功能越来越完备。随着社会经济的发展和人民生活水平的提高，催生了专业气象服务的发展。

现有专业服务系统已远远不能满足人们的要求，表现在其用户数量日益庞大，用户类型众多，气象服务信息更加丰富和精细，需要的专业服务产品越来越多，用户在内容、时效、手段上要求高。当前专业气象产品少，质量低；产品采用手工制作其周期长，特别是基于GIS的产品制作难度大；服务机构劳动强度大，人员激增，生产效率低；存在客户资料发布或发送遗漏，管理落后；在发展新用户后需要人工修改程序或添加功能才能满足要求。实际访问量大时，系统无法实时响应，甚至导致服务器崩溃，现有系统在统一性、通用性、智能性、自动化程度均无法满足实际需要。

目前专业气象服务需要产品直观、可视化和可交互性。这要求预报产品除文本、表格、图片外，还需要以更多形式表现，注重直观、可视化和可交互性。服务产品及时、准确。产品多、时次多，要能及时发布，就必须要有产品的自动包装、生成技术。

专业气象服务系统的基础是气象信息。气象信息库的数据来源于各种气象观测数据。现有条件下，气象数据共享也是不平衡的，没有统一的规范，以至于气象数据分布在不同的系统或服务器上，这样给系统使用就带来了不便。因而必须整合这些气象数据，形成本系统的基础数据库。

基于上述原因，专业气象服务或多或少存在着气象服务的专业化、现代化程度不够，科技含量不高的现象，满足各级党委政府防灾减灾和应对气候变化决策，以及生产、生活、生态等各方面日益增长的气象服务需求，还有很长的路要走。

发明内容

本发明的目的是克服现有技术所存在的上述不足，提供一种集气象数据采集、专业气象服务产品制作、加工、发布、专业气象服务监控、管理等多环节于一体的专业气象服务集成系统，该系统将显著提高专业气象服务水平，方便拓展服务领域，增加服务项目，提高服务产品的针对性和精细化水平，最大程度地满足各类用户的需求。

其技术方案为：

一种一体化专业气象服务集成系统包括：数据采集与共享单元；产品加工单元；产品发布与显示单元；业务管理单元。

(1)数据采集与共享单元：

在整个系统中实现数据自动化处理，需要将气象格式数据如实况数据、预报数据，产品数据、特种观测数据的采集，采用目前气象部门的文件共享方式进行读取，并进行转化，利用数据库存取技术提高处理和访问效率。

在项目实现中对不同类型的数据文件进行分析，将站点信息、数据信息对应，采用数据分解技术和存储技术转存到对应的数据库表中，为后期文档产品、表格产品、曲线产品、柱状图产品、GIS底图、产品模板、GIS专题图等产品制作和发布等功能做好数据准备。

a.数据采集与数据监控。采用可配置式方式自动获取来源于不同服务器的气象数据，并对所采集数据进行监控。

b.数据分解入库。按照一定规则气象数据进行解包并作相应质量控制后，将正确数据自动放入数据库。

c.数据共享。将非结构化数据向服务器或其它系统发送产品数据，放入产品库中。

(2)产品加工单元：

a.产品自动化制作模块。气象服务的一般数据流程为，获取原始数据(或报文数据)，然后用软件处理获取的数据并得到气象产品，通过网页、短信、广播等形式发布产品，对产品的效益进行评估。然而，对于获取数据，获取气象产品这个中间环节，对人工的干预依赖性很强，一般都是用micaps、arcgis等软件(或者基于这些软件二次开发的产品制作软件)手工制作产品，然后通过网页上传等方式发布产品。显然，自动化程度低，降低了工作效率和产品的发布过程，而且不能对用户进行产品定制。基于此情况，建设高效的后台数据处理、产品加工程序显得非常必要。系统自动获取数据并导入Oracle数据库，对各种实况、预报等数据生成多种填充图，以供ftp程序自动、定时传输到web系统发布。

b.数据、文件传输模块。系统需要的数据及文件主要包括：一周天气趋势、中长期预报、重大天气预报、专题气象服务、森林火险、城市精细化预报、火险指数预报、健康指数、交通气象指数、凝冻指数预报、农业气象情报、、本数值预报、逐小时温度预报、逐小时湿度预报、雨量天气预报、乡镇雨量实况等。可见，WEB系统需要的数据种类繁多，据此，系统开发了自动数据传输软件，用户可以通过软件设定数据文件的源位置、目标计算机对应的位置和每种数据自动传输时间点即可，系统可在设定的时间将各种原始数据文件传输到对应位置。该软件可以随时添加新的数据种类，以供业务增加数据的需求。

(3)产品发布与显示单元：

软件平台对自动化制作并传输到本地服务器的服务产品进行自动发布与显示。

产品详细归类。根据气象产品特征将产品按照预报服务产品、实况服务产品、专题服务产品、天气总结进行归类划分，方便用户使用。

产品显示动态更新。动态网页技术实现实时资料动态刷新服务产品可自动刷新显示。显示系统通过从数据库中获取对应气象数据以表格形式、曲线形式、webgis形式、色斑图形式、多源文本形式或按照相应分类从指定产品存放位置获取并展示产品，产品精细化后台技术支持充分体现用户需求。

针对不同类型数据分别设计查询处理方式。ArcGis默认显示最新，可根据需求选择年-月-日-时，上下午及旬等方式查询浏览；曲线可按照站点查询；表格可展示所有站点信息；文本数据可根据数据特征提供按年，按月，按日查询；webgis可根据具体需求查询。

对于结构化数据提供地图(GIS)显示、曲线显示、填色图、等值线、表格等浏览功能，对于非结构化数据，可提供的方式有图形显示(图形格式文件)、多源文本浏览(文本格式文件)或下载附件(二进制文件)等。

(4)业务管理单元：

专业气象服务机构承担的主要工作就是气象信息的传输、存储及部分加工处理和应用服务的工作，为电力、保险、铁路、森林、报社、烟草等行业提供服务。随着气象科技服务中心业务服务领域不断拓宽，涉及的服务行业和服务单位越来越多，但是，缺乏一个统一的、通用的满足实际需要的管理系统，因此在现有专业气象服务系统基础上，建立B/S架构的，能对省级气象局气象服务业务管理中心的业务进行统一管理的专业气象服务管理系统，实现系统用户管理、特约用户管理、发布管理、留言管理等业务管理功能。

发布内容与数据的可分离。气象信息发布需要对资料进行在线添加、更新、删除操作，保障发布信息的可管理性、安全性、可扩展性和稳定性。

兼顾普通用户和特殊用户的需求，采用定义角色和模块的权限配置，实现了对各类用户权限的动态管理。为系统的二次开发提供良好的开放接口。网站栏目的动态配置，实现了用户对界面的自定义要求。不同行业的用户或定制不同服务的用户能看到的模块列表不同，能共享或使用的气象产品列表也有所不同。所有用户必须申请并通过系统管理员的审核，并进行权限配置才能获取系统的不同权限。

本发明系统制作自动化服务产品与发布的方法，包括以下步骤：

1)原始气象数据，通过ftp扫描或共享扫描方式收集，并传输到系统数据服务器指定目录，按照类别分类存储；

2)结构化数据采用可配置式自动解析程序，将原始气象数据文件分解并存储到数据库中，按照产品分类，从数据库中获取自动生成表格、曲线、柱状图；

3)入库的结构化数据，采用可配置式自动制作ArcGIS色斑图、填色图、等值线、可交互式WebGIS填充图和数据检索气象产品；

4)非结构化数据则采用ftp程序按照分类传输到Web服务器指定目录，形成产品库，以静态产品方式转换文件格式为pdf，再转换为swf格式的多源文本；

5)在前台将气象产品展示，对动态更新服务产品详细归类，针对不同类型数据分别设计查询处理方式。

进一步优选，步骤2)所述按照产品分类主要包括预报服务产品、实况服务产品、专题服务产品、天气。

进一步优选，步骤5)所述展示方式主要以ArcGIS图片、交互式WebGIS、多源气象产品通用阅读器的方式。

本发明的有益效果：

与现有技术相比，本发明的技术方案具有以下优点：

本发明是一种集气象数据采集、专业气象服务产品制作、加工、发布、专业气象服务监控、管理等多环节于一体的专业气象服务集成系统平台。系统将显著提高专业气象服务水平，方便拓展服务领域，增加服务项目，提高服务产品的针对性和精细化水平，最大程度地满足各类用户的需求。

附图说明

图1为软件平台总体架构图；

图2为气象信息处理流程图；

图3为服务产品制作与发布流程图；

图4多源文本通用阅读器处理流程图。

具体实施方式

下面结合附图和具体实施方式对本发明的技术方案作进一步详细地说明。

在具体实施方式中，以省级一体化专业气象服务集成系统为实例，对本发明软件系统平台进行详细说明。

图1为本发明的原理图，下面参见该图对本发明软件平台总体架构图进行详细说明。

从专业气象服务业务流程和业务交付现状出发，本软件平台系统基于C/S和B/S相结合的模式构架。

在气象业务规范和计算机网络系统的支撑下，整个系统由数据采集与共享系统、数据库系统、专业气象服务系统来构建一体化的专业气象服务集成系统，在Web技术支持下向各种专业用户提供专业气象服务。

a.数据采集与共享系统。气象业务工作强烈依赖于气象数据(信息)。早期的气象数据主要是以电传(码)方式收集，发展到现在，各种格式并存，有编码格式、文本格式、图形图像格式、文档格式等，可以说气象数据来源广、结构复杂、实时性强、数据量大。另一方面，各地(省、市、县)气象局在气象数据的管理上也千差万别，出现数据散放在不同服务器上，存储格式和方式各式各样，数据共享的方式也多种多样，因此，数据采集系统就是按照一定的格式要求，按照一定的规范把各种数据统一组织管理，为系统高效应用提供基础。

b.数据库系统。本身气象数据就非常庞大和复杂了，但从专业气象服务业务流程看来，涉及到不仅有气象观测实时数据、气象历史数据，还有服务行业业务数据、气象服务产品数据、客户数据、GIS数据等，尤其以GIS和气象数据最为庞大，必须有效地管理和组织好这些数据，传统的以文件方式管理数据已经不能适应现代专业气象服务的要求，必须采用商用的大型数据库技术来管理、组织和协调这些数据，使它们能融合到相应的功能和产品中去，从而提高系统的效率。

c.专业气象服务系统。它是整个系统的核心组成部分，客户通过网络客户端或网页浏览器等形式与系统进行交互，对客户而言是一个典型的基于Web的业务应用系统。另一方面，也是专业气象服务机构的业务工作平台和管理平台。在实际业务中，由于气象服务与时间和空间都有密切的关系，在构建系统时充分考虑系统的建设需要，按照业务流程的要求组织功能模块，按照用户的习惯部署系统功能，从而构建满足要求的专业气象服务系统。

图2为系统气象信息处理流程，下面结合该图对本发明的气象信息处理过程进行详细说明：

气象信息处理流程分为数据采集、数据预处理、数据共享与服务三个主要环节。即首先从不同数据服务器(存储设备)上获得专业气象服务所需的数据，然后做质量控制后进行数据解析，并按统一的格式和标准入库，进而提供给服务产品或在产品制作、管理和发布环节上使用，保持系统高效运行。

其中气象信息是专业气象服务系统的基础。气象信息库的数据来源于各种气象观测数据。现有条件下，气象数据共享也是不平衡的，没有统一的规范，以至于气象数据分布在不同的系统或服务器上，这样给系统使用就带来了不便。因而必须整合这些气象数据，形成本系统的基础数据库。

如图2所示，数据采集环节首先通过可视化配置方式，对所要采集数据来源进行配置，包括数据来源，服务方式、工P地址，服务名，帐号，密码，数据文件路径等。

通过数据采集单元将站点信息与数据信息对应，实现从异构系统或服务器采用FTP文件扫描和共享文件扫描方式，定时获取自动气象站数据、雷达数据及产品、GPS/NET数据、高空观测数据及利用各种途径收集、存档的各种载体形式的气象资料及其整编、分析成果形成的“气象数据”等类型数据存储在本地服务器。

以图形界面方式提供数据采集监控功能，对成功采集的数据和未成功采集数据监控，并记录相关信息包括接收数据时间，接收数据大小，作成功或未成功标记。

进入数据预处理阶段，对采集到本地的数据按照不同规则，对各种类型数据文件的解析，按照指定的数据格式，利用可视化界面配置按区域、分类型、按时间等要素进行配置式数据分解。其中配置文件解析处理所设置的软件配置信息，可配置选择各种数据文件自动解析的定时器或手动启动解析，比如设定为每小时启动定时器一次或每天晚上10:30启动定时器等，完成结构复杂的各种数据解包处理。

质量控制是数据预处理的重要环节，需要对解析后的气象数据按照不同分类、区域、时间等要素进行数据过滤筛选处理，将不符合常理的数据处理掉，比如地面温度达到80℃，南方温度达到-20℃等，类似9999错误数据都需要做技术处理，提取正确数据。

数据共享与服务环节将种类丰富的气象数据，包括地面高空气象资料、数值预报、雷达数据、卫星资料、大气成分、闪电定位、GPS/MFT资料、遥感资料等，按照气象服务特性实时高效的将不同气象数据格式化如jpg、txt等格式数据信息放入数据库或采用FTP方式将文件归类传输到指定共享目录，通过各种技术手段将数据以多种形式展示和共享出来。

图3为自动化服务产品制作与发布流程，下面结合该图对本发明的制作和发布过程进行详细说明。

自动化服务产品制作与发布处理包括了产品自动化制作，产品自动化发布与显示。

对于结构化数据比如预报数据、实况数据等，按照一定规则解析后并作入库处理后，一部分数据作为数据来源进行单表或多表按特定的查询方式获取气象数据，在页面上进行转换展示。曲线和表格的处理均需经过收集数据源-＞数据解析-＞数据入库-＞SSH数据处理-＞Javascript画曲线或表格-＞jsp页面展示曲线或表格的处理流程。

结构化数据的另一部分数据采用ArcGIS技术进行自动化处理，提供可配置定时自动生成按业务数据、站点属性信息定点查询、等值线、填色图渲染的地图(GIS)以及采用GeoServer和OpenScale技术创新性实现可交互式WebGIS产品，用户可根据自己关心的地理信息进行选择性显示。

非结构化数据比如doc、docx、pdf、ppt、bgy、xsl、jpg等多源类型数据文件通过FTP扫描或共享扫描传输方式存储到本地服务器空间后，采用创新性多源气象文本通用阅读器在前台展示，并提供下载功能。

自动化产品发布与显示处理主动从数据库或系统中调取产品数据库，包括规则数据及非规则数据。针对不同类型数据分别设计查询处理方式。ArcGis默认显示最新，可根据需求选择年-月-日-时，上下午及旬等方式查询浏览；曲线可按照站点查询；表格可展示所有站点信息；文本数据可根据数据特征提供按年，按月，按日查询；WebGIS可根据具体需求查询。

图4为多源文本通用阅读器处理流程图，下面结合该图详细说明多源文本通用阅读与识别。

在本发明中将多源文本文件包括doc、docx、pdf、ppt、excel等格式文本文件转换为通用格式在页面上供用户查询浏览，并提供符合用户要求的相关附加功能。

多源文本通用阅读器处理中首先扫描预设的服务器的产品库，并根据专业气象服务需求过滤文件，按照时间归类算法将各类文件分别形成一个列表，在显示页面以列表形式按照时间先后顺序提供选择，根据不同类型文件特性将列表分成三种不同展现方式：

其一是年-月-日三级关联，首先选择年份，关联列出该年份下存在文件的月份，选择月份后列出该月份下存在的文件。

其二是针对在每月中文件不太多的情况，采用年-月日二级关联，选择年份后直接列出该年下所有的月份及日期存在的文件。

其三是针对年度总结一类的即一年才出现一个文件的情况，则直接把所有文件形成一个列表直接展示出来，供用户选择。

在选择文件后，后台程序会自动去判断该文件是否已经被转换为多源文本阅读器播放格式，如果没有转换则将文件首先采用封装在DocConverter中的openoffice转换为pdf，再采用封装DocConverter类中的swftools转换为swf并对文件重新命名删除pdf文件，在前台页面显示出来，并提供文档放大缩小及下载功能。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。

Claims (8)

1.一种一体化专业气象服务集成系统，其特征在于，包括：数据采集与共享单元、产品加工单元、产品发布与显示单元、业务管理单元：

所述数据采集与共享单元，包括数据采集与数据监控、数据分解入库和数据共享，以气象局为中心，从气象数据源服务器采用ftp或共享扫描方式主动收集，并传输到系统数据服务器，监控传输过程中文件掉包、成功、失败、网络异常的状况，采用可配置式自动分解入库程序对不同分类气象数据文件进行分解，在质量控制后存放到数据库不同数据表，提供数据共享；

所述产品加工单元，包括产品自动化制作，数据、文件传输模块，

以数据服务器为中心，按照一体化专业气象服务集成系统规定需求，对气象数据分为结构化和非结构化进一步加工处理，结构化数据按照需求采用ArcGIS自动生成色斑图，采用WebGIS基于GeoServer和OpenScales自动提供WMS、WFS等服务，非结构化数据按分类采用ftp数据共享方式传输到Web服务器指定目录；

所述产品发布与显示单元，对自动化制作并传输到本地服务器的服务产品进行自动发布与显示，

采用Java技术结合DIV、CSS、JavaScript和S2SH框架，根据栏目展示和查询检索要求，以文本方式，通用阅读器方式，图片形式，WebGIS形式，表格形式，柱状图形式，曲线图形式，Flash形式，视频形式的自动展示自动化制作的气象产品，提供按照年-月-日，年-月，上下午，旬的气象特性查询检索产品，体现共享数据服务；

所述业务管理单元，对业务管理、发布管理、用户管理，

实现部门管理、个人资料管理、用户管理的系统管理；实现对客户管理、角色管理、权限管理；实现信息发布管理，流域信息管理。

2.根据权利要求1所述的一体化专业气象服务集成系统，其特征在于，所述气象数据源主要包括自动气象站、雷达数据及产品、高空观测。

3.根据权利要求1所述的一体化专业气象服务集成系统，其特征在于，所述质量控制是对异常数据检测并自动化处理。

4.根据权利要求1所述的一体化专业气象服务集成系统，其特征在于，所述结构化数据为bgy格式文件。

5.根据权利要求1所述的一体化专业气象服务集成系统，其特征在于，所述非结构化数据主要为doc、txt、docx、ppt、xsl、jpg、pdf的格式气象数据。

6.权利要求1所述的系统制作自动化服务产品与发布的方法，其特征在于，包括以下步骤：

1)原始气象数据，通过ftp扫描或共享扫描方式收集，并传输到系统数据服务器指定目录，按照类别分类存储；

2)结构化数据采用可配置式自动解析程序，将原始气象数据文件分解并存储到数据库中，按照产品分类，从数据库中获取自动生成表格、曲线、柱状图；

3)入库的结构化数据，采用可配置式自动制作ArcGIS色斑图、填色图、等值线、可交互式WebGIS填充图和数据检索气象产品；

4)非结构化数据则采用ftp程序按照分类传输到Web服务器指定目录，形成产品库，以静态产品方式转换文件格式为pdf，再转换为swf格式的多源文本；

5)在前台将气象产品展示，对动态更新服务产品详细归类，针对不同类型数据分别设计查询处理方式。

7.根据权利要求6所述的方法，其特征在于，步骤2)所述按照产品分类主要包括预报服务产品、实况服务产品、专题服务产品、天气。

8.根据权利要求6所述的方法，其特征在于，步骤5)所述展示方式主要以ArcGIS图片、交互式WebGIS、多源气象产品通用阅读器的方式。

Images