CN107920111A - 一种基于地面气象观测的一体化智能数据采集方法和平台 - Google Patents

Abstract

本发明提供一种基于地面气象观测的一体化智能数据采集方法和平台，包括：S1，采集包含A站和B站的双套自动气象站的当前气象数据并上传至第一远程服务器和本地服务器；S2，分析当前气象数据，进行数据质控(数据缺测、数据一致性、时间一致性、空间一致性)，得到报文数据，并对数据质控过程进行监控；S3，将报文数据上行到第二远程服务器，并监控报文数据的上行状态。实现双套自动气象站数据的自动校验，得到准确的气象数据文件，在数据采集、数据传输、数据观测异常时实时报告，实现气象监测站的无人值守、气象观测业务自动化、智能化，有效帮助管理人员客观、快捷、全面地掌握观测业务。

Description

一种基于地面气象观测的一体化智能数据采集方法和平台

技术领域

本发明涉及气象观测技术领域，具体而言，涉及一种基于地面气象观测的一体化智能数据采集方法和平台。

背景技术

气候变化影响的日益加剧以及公告气象服务需求的不断增大，对天气、气候过程的精细化预测预报服务提出了更高的要求。综合气象观测系统成为支撑气象预测预报服务的主体，保障地面观测业务自动化正常运行以及数据采集正确性、传输稳定性、故障快速判断高效解决，成为气象事业发展的关键。

目前气象数据业务的运行情况是分布在各县、市的气象局的观测站、地面气象观测系统均单独运行，各自显示和分发，在设备的维护保障方面存在种种问题，设备运行状态和探测数据是否正常难以及时了解，每个气象监测站都需要人员值守，给地面气象观测人员诸多不便，同时耗费了许多的人力资源。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于地面气象观测的一体化智能数据采集方法和平台，实现地面气象观测数据的自动化采集、监控，上传的气象数据经过自动质控，实现观测业务自动化、台站无人运行，统一监控、质量控制和数据上行，减轻地面气象业务人员工作量，优化人员结构。

本发明较佳实施例提供一种基于地面气象观测的一体化智能数据采集方法，包括：

S1，采集包含A站和B站的双套自动气象站的当前气象数据并上传至第一远程服务器和本地服务器，当前气象数据包括A站采集的第一当前气象数据和B站采集的第二当前气象数据，第一当前气象数据和第二当前气象数据均包括多个气象要素，并监控当前气象数据的采集情况；

S2，分析当前气象数据，进行数据质控，得到报文数据，并对数据质控过程进行监控；

S3，将报文数据上行到第二远程服务器，并监控报文数据的上行状态。

本发明较佳实施例还提供一种基于地面气象观测的一体化智能数据采集平台，应用上述的数据采集方法采集、处理和监控地面气象观测业务，包括：

气象数据采集模块，用于气象数据的采集、报文的形成以及上行；以及

气象数据展示管理平台，与气象数据采集模块进行数据传输和交互，用于呈现气象数据采集模块的气象采集情况、数据质控情况和数据上行情况。

本发明通过建立基于地面气象观测的一体化智能数据采集方法和平台，实现数据采集监控、数据观测监控、数据传输监控等，在设备运行、数据采集、数据传输、气象数据观测异常时实时报警，通过对A站和B站采集的气象数据进行自动校验、监控，保证气象数据的准确性，实现气象监测站的无人值守、气象观测业务自动化、智能化，有效帮助管理人员客观、快捷、全面地掌握观测设备的运行情况，实现各类气象数据的实时检测，及时发布报警信息。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的地面气象观测一体化平台的平台流程图；

图2为本发明较佳实施例提供的基于地面气象观测的一体化智能数据采集方法中气象数据质控的流程框图；

图3为本发明较佳实施例提供的基于地面气象观测的一体化智能数据采集方法中气象数据上行的流程框图；

图4为本发明较佳实施例提供的地面气象观测一体化平台的平台架构图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种基于地面气象观测的一体化智能数据采集方法，包括以下步骤：

S1，采集包含A站和B站的双套自动气象站的当前气象数据并上传至第一远程服务器和本地服务器，当前气象数据包括A站采集的第一当前气象数据和B站采集的第二当前气象数据，第一当前气象数据和第二当前气象数据均包括至少一个气象要素，并监控当前气象数据的采集情况；

S2，分析当前气象数据，进行数据质控，得到报文数据，并对数据质控过程进行监控；

S3，将报文数据上行到第二远程服务器，并监控报文数据的上行状态。

如图1所示，每个站点均设有双套同型号自动气象站，分别为A站和B站。自动气象站是一种集气象数据采集、存储、传输和管理于一体的无人值守的气象采集系统，A站、B站通过采集器、交换机，将各县市观测站采集生产的气象数据(如常规要素每日逐分钟数据表、天气现象要素每日逐分钟数据表等)实时上传到第一远程服务器和本地服务器。保证数据的有效性和及时性。在该过程中，同时每5分钟监测一次数据到报情况，将监控结果以图形化方式呈现，直观清晰地监控各地区的数据采集状态。对自动气象站不运行等异常情况进行报警，同时，对当前气象数据获取失败等情况进行报警。

进一步地，S1步骤中，还包括将采集到的当前气象数据在采集设备上实时备份，并上传到远程服务器上进行备份，防止数据出错，当气象站数据出现问题时，可从远程备份数据进行及时恢复。

然后分析采集到的当前气象数据，进行数据质控，得到准确的报文数据，生成报文，上传到第二远程服务器。在实际应用中，自动气象站设置在各个县区，自动气象站采集的气象数据上次到市区的主服务器中(第一远程服务器)，并将进行数据备份，采集到的气象数据经数据质控后，生成报文并实时上传到省级服务器中(第二远程服务器)。各县区的数据实时收集到市级的服务器中，然后气象数据经过自动数据质控后再上传到省级服务器中，保证气象数据的精准性。

S1步骤中，第一当前气象数据为A站采集的气象数据，第二当前气象数据为B站采集的气象数据，二者均形成长z文件进行气象数据的上传，长z文件中包括多个气象要素，例如气温、相对湿度、气压、小时降水量、小时蒸发量、蒸发溢流水位、气温、地面温度、湿度、浅层低温、深层低温、风、草面温度等。

如图2所示，S2步骤中，分析当前气象数据，进行数据质控，得到报文数据，并对数据质控过程进行监控的过程包括：

S21，读取当前气象数据的质控数据，判断是否存在质控信息，是则进入步骤S22，否则进入步骤S23，质控信息为气象测报软件自动生成的质控信息。在该步骤中，气象测报软件如SMO等，在读取当前气象数据时，在气象数据存在可疑数据时，会自动生成质控信息。如果不存在质控信息，说明气象数据准确、可用，生成的报文可直接上行，进入步骤S23。如果存在质控信息，说明该观测站此整点数据可疑，进行报告，即通知管理人员，同时进入步骤S22，对数据进行分析校验，替换可疑数据，生成更准确的报文，在规定的时间里上行。

S22，报告当前气象数据的质控信息，并对当前气象数据进行分析校验，分析校验包括以下步骤：

S221，数据一致性校验：比较第一当前气象数据和第二当前气象数据，当第一当前气象数据和第二当前气象数据的数据不一致的数量超过数据一致性阈值，进行报告。优选地，数据一致性的阈值为A、B站数据不一致的数量超过40％。

S222，数据完整性校验：分析第一当前气象数据，当第一当前气象数据的气象要素缺测值未超过数据缺测阈值，使用第二当前气象数据对应的气象要素替代第一当前气象数据缺测的气象要素以形成报文数据，当第一当前气象数据的气象要素缺测值超过数据缺测阈值，使用第二当前气象数据以形成报文数据，同时报告第一当前气象数据和第二当前气象数据的要素缺测情况。优选地，数据缺测阈值为数据缺测超过40％。

S223，时间一致性校验：分别比较第一当前气象数据、第二当前气象数据与当前时刻之前预设时间段内的历史气象数据，检查是否超出数据一致性阈值，定义超过数据一致性阈值为发生跳变，使用未发生跳变的当前气象数据作为报文数据，当第一当前气象数据和第二当前气象数据均发生跳变，进入步骤S224，并报告当前气象数据的跳变情况。优选地，当前时刻之前预设时间段内历史气象数据，可以是5～20分钟前的历史气象数据，例如前5分钟、前10分钟前的历史气象数据，对A、B站采集的气象数据进行比对，监控气象数据是否发生跳变。

S224，空间一致性校验：比较第一当前气象数据和第二当前气象数据，检查是否超过空间一致性阈值，未超过空间一致性阈值时，使用第一当前气象数据作为报文数据，当超过空间一致性的阈值时，报告当前气象数据的空间一致性跳变情况。

S23，生成质控报文，预先赋予报文第一质控码，判断质控报文是否经过数据修正，是则将第一质控码修改为第二质控码，否则保留第一质控码。例如，生成的质控报文，定时人工观测时次的质控码为“099”。其中，基准站、基本站定时人工观测时次为08、11、14、17、20时，一般站的定时人工观测时次为08、14、20时。当在定时人工观测时次或非定时观测时次中，如果在S22步骤中有发生数据替换等质控情况，将由平台将质控码自动由“199”改为“099”。此外，基准站、基本站等在定时观测时次中，需人工输入云高、云量等数据，采用人工干预方式，将报文的质控码由“199”改为“099”。

S24，判断质控报文是否为更正报，是则自动修改报文的文件名称和标识，更正报为经步骤S22校验后的质控报文。例如，将报文文件名称和文本标识符改为CCX(X为A、B、C等)，如CCA表示第一次更正，CCB为第二次更正，CCC为第三次更正，依次类推。

S25，形成数据质控过程的日志记录。例如各要素数据替换情况、替换来源均有详细的日志记录，以便后续有需要，可进行详细的查看。

在上述步骤中，报告气象数据的数据一致性、数据完整性、时间一致性、空间一致性等，均为：将各种异常情况通知管理人员。

在S2步骤中，整个分析结果将以图形化方式呈现，直观清晰地监控各地区的数据可用性、可靠性状态、及报文生成状态。

如图3所示，S3步骤中，包括以下步骤：

S31，将质控报文上行到第二远程服务器。

S32，判断收到的报文是否为空报，是则进行报告。空报表示收到报文，但报文内无数据。

S33，自动上行质控报文，并监控质控报文的上行的时间信息，报告早报和未及时到报情况。例如，设定整点报文在整点30秒后开始上行，在定时观测时次收到报文后，将在整点30秒至整点4分钟内自动完成上行。其他非定时观测时次将在整点30秒至整点1分钟内自动完成上行。若整点报文在整点30秒内上行，则存在早报情况。若整点报文未在上述设定的上行时间内完成上行，则存在未及时到报情况。

S34，监控上行网络状况，上行网络包括主通道网络和副通道网络，判断主通道网络是否发生网络故障，是则切换至副通道网络进行数据上行，否则切换至主通道网络进行数据上行。

整个气象数据上行的运行结果将以图形化方式呈现，直观清晰地监控各观测站的上行状态。

进一步地，S1～S3步骤中，报告各种情况为将监控过程中的异常情况采用预设的报警方式报告给管理人员，报警方式包括按照紧急程度划分的用户端弹窗报警、声音报警、短信报警以及语音报警。例如，对于所有的异常情况进行弹窗报警，对于较为紧急的情况，除了进行弹窗报警外，还同时进行短信报警、语音报警等。例如气象要素缺测、数据采集设备未运行等现象发生时，除了进行弹窗报警，还进行短信报警和语音报警，将异常信息发送给台站、监测站等工作人员。进一步地，短信报警支持按用户组发送短信进行报警，及时快速地传递异常信息。

进一步地，语音报警至少设置两个电话层级，拨打第一层级的电话，超过预设次数未接通，拨打第二层级的电话。可以可理解的是，也可以设置三个、四个电话层级。例如，第一层级的电话设置成监测工作人员的电话，第二层级的电话设置成监测工作人员上级领导的电话，在第一层级的电话拨打3次未接通的情况下，拨打上级领导的电话，依次类推，直至将报警信息发送。

更为优选地，对监控过程中的报警情况通过设置报警时间段(例如白天、夜间)，报警推送时间段等实现不同异常情况的监控和管理。

S1步骤中，监控当前气象数据的采集情况包括：

监控自动气象站的运行情况，对运行异常情况进行报警，例如A站或B站未运行或设备发生异常；

监控当前气象数据的获取情况，对获取失败的情况进行报警，例如A站或B站某些气象要素未采集。

一种基于地面气象观测的一体化智能数据采集平台，应用上述的数据采集方法采集、处理和监控地面气象观测业务，包括：

气象数据采集模块，用于气象数据的采集、报文的形成以及上行；以及

气象数据展示管理平台，与气象数据采集模块进行数据传输和交互，用于呈现气象数据采集模块的气象采集情况、数据质控情况和数据上行情况。

进一步地，气象采集模块通过气象测报设备进行数据的采集和上传，气象测报设备包括实时互相同步的主测报设备和副测报设备，主测报设备负责气象数据上传，副测报设备负责检测主测报设备的运行状态，并在主测报设备故障时用于气象数据的上传。

进一步地，气象数据展示平台包括Web平台或APP平台，在Web平台或APP平台上监控气象数据的采集、校验、上行情况。实现在气象数据展示平台上随时随地掌握观测站的运行状况，实现互联网化的统一管理。例如，APP平台可实时查询各观测站的运行状态，同时各观测站数据采集、观测编报、数据上行传输等监控数据有变动，将实时推送到APP，APP根据接收到的数据，以地图、图标等方式直观清晰地展示各观测站的状态。APP可实时接收查看各观测站及整个平台运行产生的报警信息，以便更快更及时的做出更有效更有利的决策。APP可实时查看各观测站自动生成的或人工编报的报文数据，随时检查报文的质控结果和准确性、以及查看历史报文数据。

进一步地，基于地面气象观测的一体化智能数据采集平台还包括运维支持模块，包括动力监控模块、网络监控模块和服务器监控模块。

动力监控模块用于实时监控机房的温湿、电源、漏水、消防、空调设备等各项环境及设备的运行参数，如有异常，及时报警，通知管理人员及时处理，以保障机房的稳定性。

网络监控模块用于监控各个服务器的网络链路情况，路由器、交换机及延伸到第一远程服务器的网络主链路接口情况，监控测报主机(PC机)链路状况，预判网络链路情况，及时输出报警信息，为应急提供可靠依据。

服务器监控模块用于监控机房内各跨网段设备的硬件(CPU、内存等硬件)的运行情况、软件应用(应用软件进程等)的运行情况，如果出现异常，及时报警，通知管理人员及时处理，以保障系统运行的稳定性。

如图4所示，基于地面气象观测的一体化智能数据采集平台采用B/S三层体系结构，包括：信息化基础设施层、数据库层、服务平台层和用户应用层。

信息化基础设施层包括数据库、服务器、计算机、路由器、交换机。数据库层主要由新长z文件、公共信息数据库、气象综合数据、预警预报服务产品数据、预警预报模型、指标数据等各类灾害综合数据，所有数据集中存储到数据库服务器中。服务平台层主要处理气象数据采集监控、报文解析质控上行、智能预警等相关的业务逻辑，为用户应用层提供数据接口，包括数据采集健康组件、报文解析质控应用组件、其他、数据访问管理组件、安全管理组件。用户应用层包括智能监控服务系统、智能观测web平台或气象观测APP。智能气象监控服务系统，提供数据采集、数据观测、自动编报监测、数据传输监控服务等，通过智能观测web平台或气象观测APP展示数据采集、数据观测处理、数据传输、监控等信息，便于用户查看和监控。

综上，本实施例提供的基于地面气象观测的一体化智能数据采集方法和平台具有以下优点：

(1)实现自动气象站双套站数据本地备份和远程备份；

A、B站生成的数据除了本机实时备份外，还将实时上传到远程服务器进行备份，以便A、B站本机出现问题时，可从远程备份数据进行恢复。

(2)按照质控要求，实现A、B站数据自动判断替换；

根据质控信息判断数据可用性，如果存在质控信息，按照质控要求，对A、B站数据进行数据一致性、数据完整性、时间一致性、空间一致性等检查，对可疑数据进行AB站数据自动替换。

(3)设备故障自动通知；

实时监控各设备(如双套站、机房、网络、服务器)状态，如果发生故障，立刻自动语音、短信通知相关管理人员，进行跟踪维修。

(4)数据上行，主从通道自动切换；

实时监控报文数据上行通道，如果主通道发生故障，自动切换副通道中，待主通道恢复正常时，自动切换到主通道，同时关闭副通道。

(5)多测报机主从热备(应急)；

对各观测站的测报机进行主从热备，如果主测报机(即市局测报机)发生故障，自动切换副测报机(即台站测报机)进行数据上传，待主测报机恢复正常时，自动切换到主测报机，同时关闭副测报机的数据上传服务。

(6)移动APP监控；

通过APP可随时随地监控各观测站的数据采集、观测编报、数据上行传输等运行状况，接收各种预警报警信息。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于地面气象观测的一体化智能数据采集方法，其特征在于，包括：

S1，采集包含A站和B站的双套自动气象站的当前气象数据并上传至第一远程服务器和本地服务器，所述当前气象数据包括A站采集的第一当前气象数据和B站采集的第二当前气象数据，所述第一当前气象数据和所述第二当前气象数据均包括多个气象要素，并监控所述当前气象数据的采集情况；

S2，分析所述当前气象数据，进行数据质控，得到报文数据，并对数据质控过程进行监控；

S3，将报文数据上行到第二远程服务器，并监控所述报文数据的上行状态。

2.根据权利要求1所述的基于地面气象观测的一体化智能数据采集方法，其特征在于，S2步骤中，分析所述当前气象数据，进行数据质控，得到报文数据，并对数据质控过程进行监控包括：

S21，读取所述当前气象数据的质控数据，判断是否存在质控信息，是则进入步骤S22，否则进入步骤S23，所述质控信息为气象测报软件自动生成的质控信息；

S22，报告所述当前气象数据的质控信息，并对所述当前气象数据进行分析校验，所述分析校验包括以下步骤：

S221，数据一致性校验：比较所述第一当前气象数据和所述第二当前气象数据，当所述第一当前气象数据和所述第二当前气象数据的数据不一致的数量超过数据一致性阈值，进行报告；

S222，数据完整性校验：分析所述第一当前气象数据，当所述第一当前气象数据的气象要素缺测值未超过数据缺测阈值，使用所述第二当前气象数据对应的气象要素替代所述第一当前气象数据缺测的气象要素以形成报文数据，当所述第一当前气象数据的气象要素缺测值超过数据缺测阈值，使用所述第二当前气象数据以形成报文数据，同时报告所述第一当前气象数据和所述第二当前气象数据的要素缺测情况；

S223，时间一致性校验：分别比较所述第一当前气象数据、所述第二当前气象数据与当前时刻之前预设时间段内的历史气象数据，检查是否超出数据一致性阈值，定义超过数据一致性阈值为发生跳变，使用未发生跳变的当前气象数据作为报文数据，当所述第一当前气象数据和所述第二当前气象数据均发生跳变，进入步骤S224，并报告所述当前气象数据的跳变情况；

S224，空间一致性校验：比较所述第一当前气象数据和所述第二当前气象数据，检查是否超过空间一致性阈值，未超过空间一致性阈值时，使用所述第一当前气象数据作为报文数据，当超过空间一致性的阈值时，报告所述当前气象数据的空间一致性跳变情况；

S23，生成质控报文，预先赋予报文第一质控码，判断所述质控报文是否经过数据修正，是则将所述第一质控码修改为第二质控码，否则保留所述第一质控码；

S24，判断所述质控报文是否为更正报，是则自动修改所述质控报文的文件名称和标识，所述更正报为经步骤S22校验后的质控报文；

S25，形成数据质控过程的日志记录。

3.根据权利要求2所述的基于地面气象观测的一体化智能数据采集方法，其特征在于，S3步骤中，包括以下步骤：

S31，将所述质控报文上行到所述第二远程服务器；

S32，判断收到的报文是否为空报，是则进行报告，并进入步骤S33；

S33，自动上行质控报文，并监控所述质控报文的上行的时间信息，报告早报和未及时到报情况；

S34，监控上行网络状况，所述上行网络包括主通道和副通道，判断所述主通道是否发生网络故障，是则切换至所述副通道进行数据上行，否则切换至所述主通道进行数据上行。

4.根据权利要求2所述的基于地面气象观测的一体化智能数据采集方法，其特征在于，S1～S3步骤中，报告各种情况为将监控过程中的异常情况采用预设的报警方式报告给管理人员，所述报警方式包括按照紧急程度划分的用户端弹窗报警、声音报警、短信报警以及语音报警。

5.根据权利要求4所述的基于地面气象观测的一体化智能数据采集方法，其特征在于，所述语音报警至少设置两个电话层级，拨打第一层级的电话，超过预设次数未接通，拨打第二层级的电话。

6.根据权利要求1所述的基于地面气象观测的一体化智能数据采集方法，其特征在于，S1步骤中，还包括将采集到的所述当前气象数据在采集设备上实时备份，并上传到远程服务器上进行备份。

7.根据权利要求1所述的基于地面气象观测的一体化智能数据采集方法，其特征在于，S1步骤中，监控所述当前气象数据的采集情况包括：

监控所述自动气象站的运行情况，报告所述自动气象站运行异常情况；

监控所述当前气象数据的获取情况，报告获取失败的情况。

8.一种基于地面气象观测的一体化智能数据采集平台，其特征在于，应用如权利要求1～7任意一项所述的数据采集方法采集、处理和监控地面气象观测业务，包括：

气象数据采集模块，用于气象数据的采集、报文的形成以及上行；以及

气象数据展示管理平台，与所述气象数据采集模块进行数据传输和交互，用于呈现所述气象数据采集模块的气象采集情况、数据质控情况和数据上行情况。

9.根据权利要求8所述的基于地面气象观测的一体化智能数据采集平台，其特征在于，所述气象数据采集模块通过气象测报设备进行数据的采集和上传，所述气象测报设备包括实时互相同步的主测报设备和副测报设备，所述主测报设备负责气象数据上传，所述副测报设备负责检测所述主测报设备的运行状态，并在所述主测报设备故障时用于气象数据的上传。

10.根据权利要求8所述的基于地面气象观测的一体化智能数据采集平台，其特征在于，所述气象数据展示管理平台包括Web平台或APP平台，在所述Web平台或所述APP平台上监控所述气象数据的采集、校验、上行情况。