CN106302665A - Argo数据业务化系统 - Google Patents

Argo数据业务化系统 Download PDF

Info

Publication number
CN106302665A
CN106302665A CN201610630679.1A CN201610630679A CN106302665A CN 106302665 A CN106302665 A CN 106302665A CN 201610630679 A CN201610630679 A CN 201610630679A CN 106302665 A CN106302665 A CN 106302665A
Authority
CN
China
Prior art keywords
data
subsystem
inspection
argo
buoy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610630679.1A
Other languages
English (en)
Other versions
CN106302665B (zh
Inventor
杨锦坤
董明媚
刘玉龙
于婷
韦广昊
宁鹏飞
杨扬
苗庆生
岳心阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL OCEANIC INFORMATION CENTER
Original Assignee
NATIONAL OCEANIC INFORMATION CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL OCEANIC INFORMATION CENTER filed Critical NATIONAL OCEANIC INFORMATION CENTER
Priority to CN201610630679.1A priority Critical patent/CN106302665B/zh
Publication of CN106302665A publication Critical patent/CN106302665A/zh
Application granted granted Critical
Publication of CN106302665B publication Critical patent/CN106302665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种Argo数据业务化系统，包括实时数据接收、处理子系统，实时数据解码入库子系统，实时/延时数据自动质量控制系统，人工浏览审核子系统，查询检索统计导出子系统，数据监控系统，数据服务子系统，业务化运行报告制作系统。本发明从工作平台的角度出发，建立一个Argo业务化运行系统，首先对数据接收和处理的流程和技术细节进行了梳理，形成强壮的业务化接收处理系统，保证数据完整性，继而将数据与管理平台通过数据库进行连接，将数据处理、管理和服务的信息分类整合，尽可能的在一个平台中予以体现，最终形成一个完整的业务化运行体系。

Description

Argo数据业务化系统
技术领域
本发明属于海洋科学与海洋工程技术领域领域，涉及业务化全球Argo数据处理与服务，尤其是一种Argo数据业务化系统。
背景技术
Argo计划自2002年实施以来已经获取了世界大洋表层至2000m水深的150多万条温盐剖面资料，是20世纪所有调查船获取的资料量的两倍多，全球每月新增1万多条Argo剖面数，已经成为业务化海洋环境数据的重要数据源，这些大量的、准实时的海洋要素资料，特别是广阔大洋上大范围、深层次的同步观测资料在气候变化研究、海洋防灾减灾、海洋环境预报分析、海洋模型验证等领域发挥了重要作用。
为了将Argo数据实时、准确地服务于广大科研工作者和预报研究机构，服务于国防军事，必须建立起一整套业务化的体系和模型，及时有效的对数据进行接收、处理、管理和发布。
目前国内的业务化系统，大多实现了业务化接收，但与后期的处理、管理与发布是脱节的，并没有形成统一的业务化运行平台，数据处理者、管理者和决策者所关注的信息过于零散，信息的采集需要大量的、重复的人工干预，给业务化工作造成了不便。
发明内容
本发明的目的在于克服现有技术的不足之处，从工作平台的角度出发，建立一个Argo业务化运行系统，首先对数据接收和处理的流程和技术细节进行了梳理，形成强壮的业务化接收处理系统，保证数据完整性，继而将数据与管理平台通过数据库进行连接，将数据处理、管理和服务的信息分类整合，尽可能的在一个平台中予以体现，最终形成一个完整的业务化运行体系。
本发明解决技术问题所采用的技术方案是：
一种Argo数据业务化系统，包括实时数据接收、处理子系统，实时数据解码入库子系统，实时/延时数据自动质量控制系统，人工浏览审核子系统，查询检索统计导出子系统，数据监控系统，数据服务子系统，业务化运行报告制作系统。
而且，所述的实时数据接收、处理子系统包括系统运行监控模块、数据接收模块、数据处理模块、浮标状态监控模块。
而且，所述的实时数据解码入库子系统解析nc格式的数据文件，将文件从缓存目录中加载到相应的数据库表中。
而且，所述的实时/延时数据自动质量控制系统包括18种质量控制方法，分别为：最深压力检验、平台识别码检验、日期检验、浮标位置检验、着陆检验、速度检验、全球范围检验、区域范围检验、气候学检验、压强递增检验、尖峰检验、梯度检验、数位反转检验、粘滞检验、密度反转检验、灰度检验、盐度和温度传感器漂移、相同剖面检测。
而且，所述的人工浏览审核子系统通过提供剖面图形、数据轨迹、相邻数据、浮标瀑布图的方式将数据展示给用户，供用户判断数据的正确性。
而且，所述的查询检索统计导出子系统通过设定查询条件进行相关内容的统计查询，手动或自动输出查询结果。
而且，所述的数据监控系统包括资料下载监控、资料处理监控、SOA的浮标实时监控、全球浮标的监控。
而且，所述的数据服务子系统包括网站、光盘、数据发布子系统。
而且，所述的业务化运行报告制作系统生成的报表包括浮标运行情况报表、月报表、年报表或根据时间条件生成报表。
本发明的优点和积极效果是：
1、数据处理、管理和服务功能在一个管理应用平台中予以体现，形成完整的业务化运行体系。
2、数据自动质量控制方法全面，参数设置灵活，人工浏览审核功能丰富，两者结合能够辅助数据处理人员快速准判断数据情况，极大提高数据质量。
3、平台子系统结构清晰，业务流程和功能模块设计合理，兼容性较好，生命力较强。
4、全面提升海洋观测资料信息化水平，推进信息化进程，提升资料处理和管理服务效率，引领同行业技术发展。
附图说明
图1为本发明的架构图。
具体实施方式
下面结合附图并通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
一种Argo数据业务化系统，包括实时数据接收、处理子系统，实时数据解码入库子系统，实时/延时数据自动质量控制系统，人工浏览审核子系统，查询检索统计导出子系统，数据监控系统，数据服务子系统，业务化运行报告制作系统。
1、实时数据接收、处理子系统
所述的实时数据接收、处理子系统包括系统运行监控模块、数据接收模块、数据处理模块、浮标状态监控模块，主要功能是实现浮标数据的实时接收、预处理格式转换、浮标状态监控和系统监控功能。
数据接收模块实时接收Argo数据，Argo的实时资料由法国卫星定位数据收集中心(CLS)公司接收并传送，每当卫星收到数据便传至指定服务器，实时数据接收模块每20s扫描一次网络，只要有新的数据到达便下载至本地进行下一步的处理。
数据处理模块主要是对接收到的Argo实时原始数据进行CRC校验、数据排重、数据解码和格式转换等。
(1)CRC校验：Argo原始资料的每个信息包中均包含一个16位的校验码，用以校正数据的完整性，通过指定的循环校验码的生成多项式(X16+X12+X5+1)计算生成校验码，然后用生成的校验码与信息包中自带的校验码进行比较，如果不相同则表明在数据传输过程中数据包的信息不完整，数据不予使用。
(2)数据排重：浮标在完成一个剖面观测后，将获取的观测数据抽取压缩后分成N个数据包，浮标在海面漂流期间，不停的向卫星随机发送这些信息包，导致数据包的重复接收。系统接收数据包后，根据同一浮标号在相同周期时间内发送的数据包进行排重,同一时刻和位置只保留一个数据包。
(3)数据解码：根据数据包的信息类别，据各自的信息类型调用不同的解码函数进行处理。将十六进制编码转换为具有物理含义的数据文件。
(4)格式转换：将原始十六进制数据文件中所包含的所有信息进行提取，并存储为NC进行存储，为下一步处理做准备。
系统运行监控模块主要对系统的几个功能模块进行检查，查看各模块是否正常运行。并通过实时的日志输出，显示系统正在运行的模块。
浮标状态监控模块用来监控浮标状态，查看浮标的剖面属性，最新数据接收时间，下一周期估计完成时间，以及浮标状态。是否存活，数据接收情况等，对正在运行的浮标有较为直观的了解。
2、实时数据解码入库子系统
所述的实时数据解码入库子系统主要功能为解析nc格式的数据文件，将文件从缓存目录中加载到相应的数据库表中。
3、实时/延时数据自动质量控制系统
所述的实时/延时数据自动质量控制系统根据浮标质控手册列出18种质量控制方法，用户可以选择使用哪些方法，对于需要设置参数的质控方法，可以进行参数设置，也可以设置质量控制方法的执行顺序。
所述的18种质量控制方法为：最深压力检验、平台识别码检验、日期检验、浮标位置检验、着陆检验、速度检验、全球范围检验、区域范围检验、气候学检验、压强递增检验、尖峰检验、梯度检验、数位反转检验、粘滞检验、密度反转检验、灰度检验、盐度和温度传感器漂移、相同剖面检测。
4、人工浏览审核子系统
人工浏览审核子系统提供剖面图形、数据轨迹、相邻数据、浮标瀑布图等方式将数据全方位的展示给用户，用以判断数据的正确与否，弥补计算机自动质量控制的不足。
5、查询检索统计导出子系统
所述的查询检索统计导出子系统具有查询统计及数据导出两个功能。
查询统计是通过设定查询条件进行相关内容的统计查询，除手动、灵活查询外可定制、固化一部分统计内容，按月或者按季度自动输出统计结果。数据查询检索统计要素一般如下：时间范围、经纬度范围、洋区、国家、浮标号、数据中心、质控符号、观测要素、浮标类型、传感器类型、浮标最大观测深度。常用的统计查询内容：A、数据的统计查询包括剖面数据、轨迹数据B、数据量统计查询C、数据分布统计查询D、数据来源统计查询E、数据质量统计查询F、浮标寿命统计查询G、浮标类型统计查询H、浮标最大观测深度统计查询。
数据导出功能要求能选择指定范围进行提取，并且能将指定日期后更新的数据制作列表，并能指定数据的存放方式按浮标存放或按时间存放。A、导出数据的列表制作B、定期数据导出功能：如每周的最新数据提取，每季度将最新数据以及更新的文件列表进行提取进行发布，每年提取一次做数据光盘，每年提取一次用于盐度订正。
6、数据监控系统
所述的数据监控系统包括资料下载监控、资料处理监控、SOA的浮标实时监控、全球浮标的监控。
资料下载监控是监控实时/延时各类资料的自动下载情况，包括下载进程是否正常，已经下载的数据情况，最近下载的数据情况等。
资料处理监控是对实时/延时资料处理进行监控，包括资料处理进程是否正常，资料处理已经处理的文件种类及数量、各种资料入库的站次数量等。
SOA的浮标实时监控：A、显示所有SOA最新接收资料的浮标位置，浮标轨迹等信息B、监控浮标数据发送是否正常：每十天一个剖面，是否按期接收
全球浮标的监控：A、显示最新接收的浮标分布、可进行浮标数据、浮标轨迹的浏览显示B、进入我辖海域的浮标监控，有浮标进入发送警报，记录日志，等待处理。警报按照程度分不同级别，进入国界，进入专属经济区等。建立数据库，或者是设立标志字段，能够查询浮标进入情况，可显示整个浮标的运行轨迹。
7、数据服务子系统
数据服务子系统主要目标是及时将业务化处理好的数据为用户提供服务，主要包括网站和光盘和数据发布子系统。
中国Argo资料中心网站，主要是基于php+apache+mysql的B/S模式加上强大的地图引擎功能，使网站有很好的实用价值。主要对外界提供中国Argo资料中心的相关服务和相关产品等。
网站以数据库为技术支撑平台，并建立了后台管理系统，方便操作者及时上传和更新动态和信息。并且提供了强大的地图引擎：WebGIS，它是Web技术与GIS技术相结合的产物，简言之，就是利用Web技术来扩展和完善地理信息系统的一项新技术。由于HTTP协议采用基于B/S的请求/应答机制，具有较强的用户交互能力，可以传输并在浏览器上显示多媒体数据，而GIS中的信息主要是需要以图形、图像方式表现的空间数据，用户通过交互操作，对空间数据进行查询分析。这些特点，就使得人们完全可以利用Web来寻找他们所需要的空间数据，并且进行各种操作。
数据发布部分不仅涉及到日常的实时数据NC发布、延时数据各类数据的发布，也包括按指定条件查询检索数据的发布功能。
A、基于数据库将实时数据发布成NC格式数据(剖面、轨迹、元数据、技术)数据，并传送至国际Argo资料中心。
B、GTS数据发布
C、dat格式发布(国内FTP)
D、908标准格式发布，与数据平台接口
E、数据定制，将最新数据发送至指定服务器
光盘制作系统指制作光盘数据以及相关索引文件的系统，利用该系统可定期从数据库中提取数据，生成数据文件。制作相应的索引文件，供用户使用。光盘发布系统指随光盘发布的提供用户使用的系统，包括数据下载、帮助系统、查询系统、图形绘制等功能。
A、数据下载：将数据下载模块契合到数据光盘系统中，用户可自行下载光盘数据外的数据。或者可连接至我中心数据库中进行相关查询检索。
B、查询检索系统：可以指定条件(经纬度范围、时间范围、仪器类型、观测要素、深度、国家等)，并可以将查询到的结果保存为特写格式的数据文件。
C、图形绘制
提供简单的剖面图、TS点聚图、站位图、浮标轨迹图绘制等功能。
8、业务化运行报告制作系统
根据监控系统、统计查询系统，对每种资料的运行情况形成报表，包括浮标运行情况报表、月报表、年报表或根据时间条件生成报表等。
本发明采用实时数据库及延时数据库两个数据库对Argo数据进行管理，按照数据类型分类建表，及时备份，有效地确保了大量Argo数据存取的高效性，保证了数据的完整性和一致性，并提供了数据的可靠性和安全性。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种Argo数据业务化系统，其特征在于：包括实时数据接收、处理子系统，实时数据解码入库子系统，实时/延时数据自动质量控制系统，人工浏览审核子系统，查询检索统计导出子系统，数据监控系统，数据服务子系统，业务化运行报告制作系统。
2.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的实时数据接收、处理子系统包括系统运行监控模块、数据接收模块、数据处理模块、浮标状态监控模块。
3.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的实时数据解码入库子系统解析nc格式的数据文件，将文件从缓存目录中加载到相应的数据库表中。
4.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的实时/延时数据自动质量控制系统包括18种质量控制方法，分别为：最深压力检验、平台识别码检验、日期检验、浮标位置检验、着陆检验、速度检验、全球范围检验、区域范围检验、气候学检验、压强递增检验、尖峰检验、梯度检验、数位反转检验、粘滞检验、密度反转检验、灰度检验、盐度和温度传感器漂移、相同剖面检测。
5.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的人工浏览审核子系统通过提供剖面图形、数据轨迹、相邻数据、浮标瀑布图的方式将数据展示给用户，供用户判断数据的正确性。
6.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的查询检索统计导出子系统通过设定查询条件进行相关内容的统计查询，手动或自动输出查询结果。
7.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的数据监控系统包括资料下载监控、资料处理监控、SOA的浮标实时监控、全球浮标的监控。
8.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的数据服务子系统包括网站、光盘、数据发布子系统。
9.根据权利要求1所述的Argo数据业务化系统，其特征在于：所述的业务化运行报告制作系统生成的报表包括浮标运行情况报表、月报表、年报表或根据时间条件生成报表。
CN201610630679.1A 2016-08-02 2016-08-02 Argo数据业务化系统 Active CN106302665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610630679.1A CN106302665B (zh) 2016-08-02 2016-08-02 Argo数据业务化系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610630679.1A CN106302665B (zh) 2016-08-02 2016-08-02 Argo数据业务化系统

Publications (2)

Publication Number Publication Date
CN106302665A true CN106302665A (zh) 2017-01-04
CN106302665B CN106302665B (zh) 2019-07-23

Family

ID=57664876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610630679.1A Active CN106302665B (zh) 2016-08-02 2016-08-02 Argo数据业务化系统

Country Status (1)

Country Link
CN (1) CN106302665B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090118859A1 (en) * 2007-11-07 2009-05-07 Climos Ocean Fertilization Project Identification and Inventorying
CN102521716A (zh) * 2011-12-31 2012-06-27 成都信息工程学院 一体化专业气象服务集成系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090118859A1 (en) * 2007-11-07 2009-05-07 Climos Ocean Fertilization Project Identification and Inventorying
CN102521716A (zh) * 2011-12-31 2012-06-27 成都信息工程学院 一体化专业气象服务集成系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于婷 等: "实时和延时海洋观测数据质量评估方法研究", 《海洋通报》 *
王帅 等: "基于WebGIS 的Argo 数据共享服务系统", 《海洋科学》 *

Also Published As

Publication number Publication date
CN106302665B (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
Zeng et al. The national forest inventory in China: history-results-international context
CN102833680B (zh) 基于位置的海洋渔业信息服务方法
CN103175513B (zh) 水利工程影响下基于物联网的流域水文水质监控系统及方法
CN111340394B (zh) 流域梯级电站环境管理信息系统
WO2014120887A1 (en) System and methods for identifying, evaluating and predicting land use and agricultural production
CN102799612A (zh) 基于gis的地下管线综合管理系统
CN110111539B (zh) 一种融合多元信息的物联网云预警方法、装置及系统
CN102567412A (zh) 一种计算机辅助电网负荷分析的信息处理方法
Noone et al. Progress towards a holistic land and marine surface meteorological database and a call for additional contributions
CN101308384A (zh) 基于无线传感网的湖泊富营养化监控系统平台
Shahgedanova et al. Mountain observatories: status and prospects for enhancing and connecting a global community
CN115310939A (zh) 一种基于bim数字孪生的智慧水务信息化管理平台
CN111708776A (zh) 一种基于gis技术开发的农业数据平台
CN113704567A (zh) 物联网数据管理方法、装置、物联网数据资源池及设备
CN112015786B (zh) 一种外赛场极端天气监测预警信息处理系统
CN112016744B (zh) 一种基于土壤水分的森林火灾预测方法、装置及存储介质
Bavay et al. Automatic Data Standardization for the Global Cryosphere Watch Data Portal
CN107844890A (zh) 一种基于gis的矿业权综合调查监测方法与系统
Wang et al. Exploring the spatio-temporal characteristics and driving factors of urban expansion in Xi'an during 1930–2014
Purwandari et al. Database management system design for automatic weather information with twitter data collection
CN106302665A (zh) Argo数据业务化系统
CN107292413A (zh) 基于大数据和信息融合的电力负荷分析预测系统
CN106647579B (zh) 一种污水收集管网信息化控制系统及方法
Viazilov et al. On the Development of a Pipeline for Processing Hydrometeorological Data.
Wan et al. Construction of ecological environment information system based on big data: a case study on Dongting Lake ecological area

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant