CN111177978B - 训练地面气象观测要素监测模型、质量检查方法及系统 - Google Patents

训练地面气象观测要素监测模型、质量检查方法及系统 Download PDF

Info

Publication number
CN111177978B
CN111177978B CN201911420339.6A CN201911420339A CN111177978B CN 111177978 B CN111177978 B CN 111177978B CN 201911420339 A CN201911420339 A CN 201911420339A CN 111177978 B CN111177978 B CN 111177978B
Authority
CN
China
Prior art keywords
node
meteorological observation
nodes
value
game
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911420339.6A
Other languages
English (en)
Other versions
CN111177978A (zh
Inventor
程晨
张金喜
蔡斌辉
李可
陈鹏斐
朱静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace New Weather Technology Co ltd
Original Assignee
Aerospace New Weather Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace New Weather Technology Co ltd filed Critical Aerospace New Weather Technology Co ltd
Priority to CN201911420339.6A priority Critical patent/CN111177978B/zh
Publication of CN111177978A publication Critical patent/CN111177978A/zh
Application granted granted Critical
Publication of CN111177978B publication Critical patent/CN111177978B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/02—Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种训练地面气象观测要素监测模型、质量检查方法及系统，训练方法包括：构建气象观测博弈树模型，根据气象观测要素及树的置信度上限函数分别对模型各节点采取相应行动策略；根据其行动策略遍历博弈树的节点，遍历预设次数后完成博弈；在每完成一次遍历后均进行一次反向传播对各节点进行评估，根据评估参数对博弈树模型强化学习训练更新每层的节点参数；进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为监测模型。基于该监测模型可实现对大量气象观测站观测数据的质量检查，实现各气象站检查标准的精细化处理，且扩展性好，解决传统的使用统一检查标准质量检查方法在海量气象观测数据情况下性能下降、费用高的问题。

Description

训练地面气象观测要素监测模型、质量检查方法及系统
技术领域
本发明涉及气象观测技术领域，具体涉及一种训练地面气象观测要素监测模型、质量检查方法及系统。
背景技术
自动气象站分布密集、地形差异大、数据实时性强，数据质量问题复杂，可能出现的数据误差就包括系统误差、粗大误差、随机误差和微气象误差，因此需要对自动气象站资料进行质量检查。地面气象观测数据质量检查是通过一系列的数值计算方法对地面气象观测数据进行质量检查以判断数据是否符合规范和要求。目前在气象业务系统中广泛应用的质量控制方法主要针对的对象为国家级自动站观测资料和区域自动站观测资料。采用的最主要的检查方法包括以下6种：
(1)界限值检查方法：检查要素值是否在其测量允许值范围之内。
(2)气候极值检查方法：检查各要素是否超过历史上出现过的最大值和最小值。
(3)内部一致性检查方法：有些气象观测要素相互之间关系密切，其变化规律具有一致性。根据该特性，就可对相关数据是否保持这种内部关系来检查其是否发生异常，以确定数据质量。
(4)时变检查方法：大气中的有些观测数据与时间显著相关，具有良好的时间一致性，将此类数据与其时间上前、后的测值相比较，来判断其数据是否发生异常。
(5)持续性检查方法：在一段时间内，许多气象要素值会随着时间、地域的变化出现波动。如果没有发生变化，说明数据发生异常。
(6)空间一致性检查方法：气象要素分布的地理空间具有相关性，空间距离较近的气象站点比距离较远的站点其特征值具有更大的相似性。
而随着我国气象观测业务的不断发展和成熟，各省、地市、县区域自动站数量快速增多、资料收集密度和站点密度逐步加大，常规的数据质量检查方法已经无法满足现在的需求。主要体现在以下两个方面：我国幅员辽阔，气候多样，下垫面变化复杂，气象观测要素的差异明显。传统检查方法对台站的下垫面和气候特点考虑不充分，不仅在数值上的标准都是统一的，在空间范围和时间序列特征上也是无法形成针对每个台站的质量检查方法总结；传统方法计算的复杂度较高，性能提升的空间有限，无法及时快速有效的发现数据异常，更是远远无法满足对于未来分钟级甚至秒级的数据质量检查需求。
发明内容
因此，本发明提供的一种训练地面气象观测要素监测模型、质量检查方法及系统，克服了现有技术中使用统一检查标准质量检查方法在海量气象观测数据情况下性能下降、费用高的缺陷。
第一方面，本发明实施例提供一种训练地面气象观测要素监测模型方法，包括如下步骤：构建气象观测博弈树模型，所述博弈树模型的根节点为各观测站已知的气象观测要素数值节点，每层子节点为对应周期观测时刻的数值变化节点；根据节点的气象观测要素及预设树的置信度上限函数分别对各个节点采取相应的行动策略；根据各个节点的行动策略遍历所述博弈树模型的所有节点，遍历预设次数后完成博弈过程；在每完成一次遍历后均进行一次反向传播对每个节点进行评估，根据评估参数对博弈树模型多次强化学习训练，更新每层的节点参数；在进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为地面气象观测要素监测模型。
在一实施例中，所述气象观测要素包括：气温、气压、相对湿度、观测时刻周期内累积的降水量、风速和风向。
在一实施例中，在进行第一次遍历博弈树模型时，气象观测要素为气温、气压、相对湿度的节点采用正态分布的行动策略，气象观测要素为观测时刻周期内累积的降水量、风速和风向的节点采用随机分布行动策略。
在一实施例中，在进行反向传播时博弈树模型中节点的两个属性被用来作为节点选择的依据，所述两个属性包括：总模拟奖励，表征在每次博弈过程节点得到的模拟结果的奖励总和；总访问次数，表征节点位于反向传播路径上的次数。
在一实施例中，在进行反向传播时端节点开始向上追溯至根节点，在反向传播遍历后，将获取的博弈值序列与真实值序列进行比较，从末端节点所在的层开始反向推算，更新路径上所有节点的总模拟奖励和总访问次数。
在一实施例中，所述更新路径上所有节点的总模拟奖励和总访问次数的步骤，包括：如果节点进行了准确的判断则增加奖励，如果错误则不进行奖励；如果节点被访问到了，增加访问次数根据实际观测数据对参数进行更新。
在一实施例中，在进行第二次以及以后遍历博弈树模型时，根据树的置信度上限函数对节点进行评估，根据各节点对应的树的置信度上限函数的估计值调整函数中的参数，对应更新其对应的行动策略。
在一实施例中，所述树的置信度上限函数通过以下公式计算:
其中，Q(vi)为树的第i层节点的总奖励次数，N(vi)为树的第i层节点的总访问次数，N(v)为所有节点的总访问次数之和，C为折中系数。
在一实施例中，根据节点的气象观测要素对折中系数C进行调整，包括：当气象观测要素在第一的遍历时的行动策略为正态分布时，适应调大折中系数C的值；当气象观测要素在第一的遍历时的行动策略为随机分布时，适应调小折中系数C的值。
第二方面，本发明实施例提供一种地面气象观测要素质量检查方法，包括：获取预设时刻的气象观测要素数值；将该预设时刻的气象观测要素数值，输入根据本发明实施例第一方面所述的训练地面气象观测要素监测模型方法得到的地面气象观测要素监测模型中，通过节点遍历的方法，得到各个观测周期时刻节点对应的值及对应概率值，当节点的概率值低于最高概率值节点的预设占分比值时，则被舍弃，剩下的节点按照最低值和最高值作为最终质量检查的取值范围。
第三方面，本发明实施例提供一种训练地面气象观测要素监测模型系统，包括：博弈树模型构建模块，用于构建气象观测博弈树模型，所述博弈树模型的根节点为各观测站已知的气象观测数值节点，每层子节点为对应周期观测时刻的数值变化节点；行动策略配置模块，用于根据节点的气象观测要素及预设树的置信度上限函数分别对各个节点采取相应的行动策略；博弈模块，用于根据各个节点的行动策略遍历所述博弈树模型的所有节点，遍历预设次数后完成博弈过程；评估模块，用于在每完成一次遍历后均进行一次反向传播对每个节点进行评估，根据评估参数对博弈树模型多次强化学习训练，更新每层的节点参数；地面气象观测要素监测模型获取模块，用于在进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为地面气象观测要素监测模型。
第四方面，本发明实施例提供一种地面气象观测要素质量检查系统，包括：待检查数据获取模块，获取预设时刻的气象观测要素数值；质量检查模块，用于将该预设时刻的气象观测要素数值，输入根据本发明实施例第一方面所述的训练地面气象观测要素监测模型方法得到的地面气象观测要素监测模型中，通过节点遍历的方法，得到各个观测周期时刻节点对应的值及对应概率值，当节点的概率值低于最高概率值节点的预设占分比值时，则被舍弃，剩下的节点按照最低值和最高值作为最终质量检查的取值范围。
第五方面，本发明实施例提供一种计算机设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行本发明实施例第一方面所述的训练地面气象观测要素监测模型方法，及本发明实施例第二方面的所述地面气象观测要素质量检查方法。
第六方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，以使所述至少一个处理器执行本发明实施例第一方面所述的训练地面气象观测要素监测模型方法，及本发明实施例第二方面的所述地面气象观测要素质量检查方法。
本发明技术方案，具有如下优点：
本发明实施例提供的训练地面气象观测要素监测模型、质量检查方法及系统，其训练方法首先构建气象观测博弈树模型，根据气象观测要素及树的置信度上限函数分别对博弈树模型的各节点采取相应的行动策略；根据其行动策略遍历博弈树的节点，遍历预设次数后完成博弈；在每完成一次遍历后均进行一次反向传播对各节点进行评估，根据评估参数对博弈树模型强化学习训练更新每层的节点参数；进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为监测模型。基于该监测模型可实现对大量气象观测站观测数据的质量检查，实现各气象站检查标准的精细化处理，且扩展性好，解决传统的使用统一检查标准质量检查方法在海量气象观测数据情况下性能下降、费用高的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的训练地面气象观测要素监测模型方法的一个具体示例的流程图；
图2为本发明实施例提供的博弈树模型的示意图；
图3为本发明实施例提供的强化学习模型的示意图；
图4为本发明实施例提供的地面气象观测要素质量检查方法的一个具体示例的流程图；
图5为本发明实施例提供的训练地面气象观测要素监测模型系统的一个具体示例的模块组成图；
图6为本发明实施例提供的地面气象观测要素质量检查系统的一个具体示例的模块组成图；
图7为本发明实施例提供的计算机设备一个具体示例的组成图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供的一种训练地面气象观测要素监测模型方法，如图1所示，包括如下步骤：
步骤S1：构建气象观测博弈树模型，博弈树模型的根节点为各观测站已知的气象观测数值节点，每层子节点为对应周期观测时刻的数值变化节点。
本发明实施例中，如图2所示，博弈树模型的根节点为已知气象观测数值的节点，例如已知该观测站的气温值、气压值、相对湿度值、观测时刻周期内累积的降水量值、风速值和风向值，各个子节点为数值变化节点(例如+2、+1、-1、0)，每层子节点为对应周期观测时刻的数值变化节点，例如0点到23点时刻对应的数值变化节点，仅以此举例，不以此为限，在实际应用中可根据实际观测时刻周期合理设置。
步骤S2:根据节点的气象观测要素及预设树的置信度上限函数分别对各个节点采取相应的行动策略。
本发明实施例的气象观测要素包括：气温、气压、相对湿度、观测时刻周期内累积的降水量、风速和风向。在进行第一次遍历博弈树模型时，气象观测要素为气温、气压、相对湿度的节点采用正态分布的行动策略，气象观测要素为观测时刻周期内累积的降水量、风速和风向的节点采用随机分布行动策略。在进行第二次以及以后遍历博弈树模型时，根据树的置信度上限函数对节点进行评估，根据各节点对应的树的置信度上限函数的估计值调整函数中的参数，对应更新其对应的行动策略。
本发明实施例中，树的置信度上限函数通过以下公式计算:
其中，Q(vi)为树的第i层节点的总奖励次数，N(vi)为树的第i层节点的总访问次数，N(v)为所有节点的总访问次数之和，C为折中系数。
本实施例中，第一项表征节点的胜率估计，第二项/>表征如果被探索的次数很少，UCT值是否需要增加这样的节点的权重。实际应用中根据不同的观测要素的情况，对C进行了配置：在当气象观测要素在第一的遍历时的行动策略为正态分布时，适应调大折中系数C的值，以避免极端情况出现。实际中正态分布下，折中系数C为/>树模型在实际业务运行的过程中，会更加兼顾一些不太热门的节点，例如气温下，-4和+4这样的节点，第二项的数值会比较低，所以加大权重可以避免极端天气出现(例如，气温的迅速升高和降低)。当气象观测要素在第一的遍历时的行动策略为随机分布时，适应调小折中系数C的值加快遍历速度。每一组的历史观测数据的训练持续时间会降低，C值降低，第二项的值降低，例如气温为0、+1、-1这样的热门节点非常突出，训练就结束的很快。在本实施例总C的最大取值为10，但是并不以此为限，在实际应用中，可根据实际应用场景合理设置。
步骤S3:根据各个节点的行动策略遍历博弈树模型的所有节点，遍历预设次数后完成博弈过程。
在本发明实施例中，博弈的过程从根节点开始，根节点为已知的气象观测数值节点。例如，进行一次从0点到23点的24个时刻的博弈树遍历，0点的观测值作为根节点的状态，如果所有的子节点都未被访问过，根据要素对应的行动策略挑选子节点，如果存在被访问过的子节点，则优先访问未被访问过的子节点。依此类推到下一个时刻，直到第23层的端节点，到此为止，为博弈树的一次遍历过程。将遍历过程经历N遍(理论上越多越好)，就完成了博弈过程，在实际应用中根据计算运行性能确定遍历的次数，在此不做限制。
步骤S4:在每完成一次遍历后均进行一次反向传播对每个节点进行评估，根据评估参数对博弈树模型多次强化学习训练，更新每层的节点参数。
本发明实施例，在博弈的过程中评估过程同时也在进行，即在经过一次遍历得到端节点的观测值后，会进行一次反向传播。从端节点开始向上追溯直至根节点。在博弈树模型中节点存在两个属性，分别是总模拟奖励和总访问次数，总模拟奖励是每次模拟过程，节点得到的模拟结果的奖励总和；总访问次数指的是节点位于反向传播路径上的次数(即它对总模拟奖励做出了多少次贡献)。在模型的运行中，总访问次数和总奖励次数将被用来作为节点选择的依据。当遍历到最终的端节点后将得到1点到23点的博弈值序列，将博弈值序列与真实值序列进行比较后，从23层开始进行反向推算。更新路径上所有节点的总模拟奖励和总访问次数，如果节点进行了准确的判断则增加奖励，如果错误则不进行奖励，如果节点在反向传播时被访问到了，则增加访问次数根据实际观测数据对参数进行更新的过程就实现了模型的自我强化学习，强化学习模型如图3所示，每个节点参数的变化会直接影响其在应用过程中被选择的可能性。在经过对历史数据的多次学习后，模型每一层的节点参数都经过多次的更新和优化。
步骤S5:在进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为地面气象观测要素监测模型。
本实施例中，当模型对历史数据进行充分模拟后，每个观测台站的每一个地面气象观测要素都拥有一个已经经过训练的博弈树模型。
本发明实施例提供的训练地面气象观测要素监测模型方法，首先构建气象观测博弈树模型，根据气象观测要素及树的置信度上限函数分别对模型的各节点采取相应的行动策略；根据其行动策略遍历博弈树的节点，遍历预设次数后完成博弈；在每完成一次遍历后均进行一次反向传播对各节点进行评估，根据评估参数对博弈树模型强化学习训练更新每层的节点参数；进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为监测模型。基于该监测模型可实现对大量气象观测站观测数据的质量检查，实现各气象站检查标准的精细化处理，且扩展性好，解决传统的使用统一检查标准质量检查方法在海量气象观测数据情况下性能下降、费用高的问题。
实施例2
本发明实施例提供一种地面气象观测要素质量检查方法，如图4所示，包括如下步骤：
步骤S5:获取预设时刻的气象观测要素数值；
步骤S6:将该预设时刻的气象观测要素数值，输入实施例1中的训练地面气象观测要素监测模型方法得到的地面气象观测要素监测模型中，通过节点遍历的方法，得到各个观测周期时刻节点对应的值及对应概率值，当节点的概率值低于最高概率值节点的预设占分比值时，则被舍弃，剩下的节点按照最低值和最高值作为最终质量检查的取值范围。
在一实施例中，当t0时刻的观测要素数值输入时，就可以通过节点遍历的方法，得到t1，t2，t3...t23时刻对应的值及对应概率值，当节点的概率值低于最高概率值节点的预设占分比值时(例如是当节点的概率值低于最高概率值节点的10％时)，则被舍弃，得到若干个可能性较大的子节点，当前节点的所有子节点中取值最小的节点和取值最大的节点就最终组成为用于质量检查的取值范围，当t1时刻的观测要素数值输入时，得到t2，t3...t23时刻每个时刻若干个可能性较大的子节点，以此类推，不做赘述。
本发明实施例提供的地面气象观测要素质量检查方法，基于实施例1中的监测模型，可实现对大量气象观测站观测数据的质量检查，实现各气象站检查标准的精细化处理，且扩展性好，解决传统的使用统一检查标准质量检查方法在海量气象观测数据情况下性能下降、费用高的问题。
实施例3
本发明实施例提供一种训练地面气象观测要素监测模型系统，如图5所示，包括：
博弈树模型构建模块1，用于构建气象观测博弈树模型，所述博弈树模型的根节点为各观测站已知的气象观测数值节点，每层子节点为对应周期观测时刻的数值变化节点；此模块执行实施例1中的步骤S1所描述的方法，在此不再赘述。
行动策略配置模块2，用于根据节点的气象观测要素及预设树的置信度上限函数分别对各个节点采取相应的行动策略；此模块执行实施例1中的步骤S2所描述的方法，在此不再赘述。
博弈模块3，用于根据各个节点的行动策略遍历所述博弈树模型的所有节点，遍历预设次数后完成博弈过程；此模块执行实施例1中的步骤S3所描述的方法，在此不再赘述。
评估模块4，用于在每完成一次遍历后均进行一次反向传播对每个节点进行评估，根据评估参数对博弈树模型多次强化学习训练，更新每层的节点参数；此模块执行实施例1中的步骤S4所描述的方法，在此不再赘述。
地面气象观测要素监测模型获取模块5，用于在进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为地面气象观测要素监测模型。此模块执行实施例1中的步骤S5所描述的方法，在此不再赘述。
本发明实施例提供的训练地面气象观测要素监测模型系统，首先构建气象观测博弈树模型，根据气象观测要素及树的置信度上限函数分别对模型的各节点采取相应的行动策略；根据其行动策略遍历博弈树的节点，遍历预设次数后完成博弈；在每完成一次遍历后均进行一次反向传播对各节点进行评估，根据评估参数对博弈树模型强化学习训练更新每层的节点参数；进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为监测模型。基于该监测模型可实现对大量气象观测站观测数据的质量检查，实现各气象站检查标准的精细化处理，且扩展性好，解决传统的使用统一检查标准质量检查方法在海量气象观测数据情况下性能下降、费用高的问题。
实施例4
本发明实施例提供一种地面气象观测要素质量检查系统，如图6所示，包括：
待检查数据获取模块6，获取预设时刻的气象观测要素数值；此模块执行实施例2中的步骤S6所描述的方法，在此不再赘述。
质量检查模块7，用于将该预设时刻的气象观测要素数值，输入根据实施例1中的训练地面气象观测要素监测模型方法得到的地面气象观测要素监测模型中，通过节点遍历的方法，得到各个观测周期时刻节点对应的值及对应概率值，当节点的概率值低于最高概率值节点的预设占分比值时，则被舍弃，剩下的节点按照最低值和最高值作为最终质量检查的取值范围。此模块执行实施例2中的步骤S7所描述的方法，在此不再赘述。
本发明实施例提供的地面气象观测要素质量检查系统，基于实施例1中的监测模型，可实现对大量气象观测站观测数据的质量检查，实现各气象站检查标准的精细化处理，且扩展性好，解决传统的使用统一检查标准质量检查方法在海量气象观测数据情况下性能下降、费用高的问题。
实施例5
本发明实施例提供一种计算机设备，如图7所示，包括：至少一个处理器401，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口403，存储器404，至少一个通信总线402。其中，通信总线402用于实现这些组件之间的连接通信。其中，通信接口403可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口403还可以包括标准的有线接口、无线接口。存储器404可以是高速RAM存储器(Ramdom Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器404可选的还可以是至少一个位于远离前述处理器401的存储装置。其中处理器401可以执行实施例1中的训练地面气象观测要素监测模型方法或实施例2中的地面气象观测要素质量检查方法。存储器404中存储一组程序代码，且处理器401调用存储器404中存储的程序代码，以用于执行实施例1中的训练地面气象观测要素监测模型方法或实施例2中的地面气象观测要素质量检查方法。其中，通信总线402可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture，简称EISA)总线等。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器404可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器404还可以包括上述种类的存储器的组合。
其中，处理器401可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器401还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器404还用于存储程序指令。处理器401可以调用程序指令，实现如本申请执行实施例1中的训练地面气象观测要素监测模型方法或实施例2中的地面气象观测要素质量检查方法。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机可执行指令，该计算机可执行指令可执行实施例1中的训练地面气象观测要素监测模型方法或实施例2中的地面气象观测要素质量检查方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种训练地面气象观测要素监测模型方法，其特征在于，包括如下步骤：
构建气象观测博弈树模型，所述博弈树模型的根节点为各观测站已知的气象观测要素数值节点，每层子节点为对应周期观测时刻的数值变化节点；
根据节点的气象观测要素及预设树的置信度上限函数分别对各个节点采取相应的行动策略，所述气象观测要素包括：气温、气压、相对湿度、观测时刻周期内累积的降水量、风速和风向；
根据各个节点的行动策略遍历所述博弈树模型的所有节点，遍历预设次数后完成博弈过程,在进行第一次遍历博弈树模型时，气象观测要素为气温、气压、相对湿度的节点采用正态分布的行动策略，气象观测要素为观测时刻周期内累积的降水量、风速和风向的节点采用随机分布行动策略，在进行第二次以及以后遍历博弈树模型时，根据树的置信度上限函数对节点进行评估，根据各节点对应的树的置信度上限函数的估计值调整函数中的参数，对应更新其对应的行动策略，所述树的置信度上限函数通过以下公式计算:
其中，Q(vi)为树的第i层节点的总奖励次数，N(vi)为树的第i层节点的总访问次数，N(v)为所有节点的总访问次数之和，c为折中系数；
在每完成一次遍历后均进行一次反向传播对每个节点进行评估，根据评估参数对博弈树模型多次强化学习训练，更新每层的节点参数；
在进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为地面气象观测要素监测模型。
2.根据权利要求1所述的训练地面气象观测要素监测模型方法，其特征在于，在进行反向传播时博弈树模型中节点的两个属性被用来作为节点选择的依据，所述两个属性包括：
总模拟奖励，表征在每次博弈过程节点得到的模拟结果的奖励总和；
总访问次数，表征节点位于反向传播路径上的次数。
3.根据权利要求2所述的训练地面气象观测要素监测模型方法，其特征在于，在进行反向传播时端节点开始向上追溯至根节点，在反向传播遍历后，将获取的博弈值序列与真实值序列进行比较，从末端节点所在的层开始反向推算，更新路径上所有节点的总模拟奖励和总访问次数。
4.根据权利要求3所述的训练地面气象观测要素监测模型方法，其特征在于，所述更新路径上所有节点的总模拟奖励和总访问次数的步骤，包括：
如果节点进行了准确的判断则增加奖励，如果错误则不进行奖励；如果节点被访问到了，增加访问次数根据实际观测数据对参数进行更新。
5.根据权利要求1所述的训练地面气象观测要素监测模型方法，其特征在于，根据节点的气象观测要素对折中系数c进行调整，包括：
当气象观测要素在第一的遍历时的行动策略为正态分布时，适应调大折中系数c的值；
当气象观测要素在第一的遍历时的行动策略为随机分布时，适应调小折中系数c的值。
6.一种地面气象观测要素质量检查方法，其特征在于，包括：
获取预设时刻的气象观测要素数值；
将该预设时刻的气象观测要素数值，输入根据权利要求1-5任一所述的训练地面气象观测要素监测模型方法得到的地面气象观测要素监测模型中，通过节点遍历的方法，得到各个观测周期时刻节点对应的值及对应概率值，当节点的概率值低于最高概率值节点的预设占分比值时，则被舍弃，剩下的节点按照最低值和最高值作为最终质量检查的取值范围。
7.一种训练地面气象观测要素监测模型系统，其特征在于，包括：
博弈树模型构建模块，用于构建气象观测博弈树模型，所述博弈树模型的根节点为各观测站已知的气象观测数值节点，每层子节点为对应周期观测时刻的数值变化节点；
行动策略配置模块，用于根据节点的气象观测要素及预设树的置信度上限函数分别对各个节点采取相应的行动策略，所述气象观测要素包括：气温、气压、相对湿度、观测时刻周期内累积的降水量、风速和风向；
博弈模块，用于根据各个节点的行动策略遍历所述博弈树模型的所有节点，遍历预设次数后完成博弈过程,在进行第一次遍历博弈树模型时，气象观测要素为气温、气压、相对湿度的节点采用正态分布的行动策略，气象观测要素为观测时刻周期内累积的降水量、风速和风向的节点采用随机分布行动策略，在进行第二次以及以后遍历博弈树模型时，根据树的置信度上限函数对节点进行评估，根据各节点对应的树的置信度上限函数的估计值调整函数中的参数，对应更新其对应的行动策略，所述树的置信度上限函数通过以下公式计算:
其中，Q(vi)为树的第i层节点的总奖励次数，N(vi)为树的第i层节点的总访问次数，N(v)为所有节点的总访问次数之和，c为折中系数；
评估模块，用于在每完成一次遍历后均进行一次反向传播对每个节点进行评估，根据评估参数对博弈树模型多次强化学习训练，更新每层的节点参数；
地面气象观测要素监测模型获取模块，用于在进行预设次数的博弈及反向传播评估后，得到训练好的博弈树模型作为地面气象观测要素监测模型。
8.一种地面气象观测要素质量检查系统，其特征在于，包括：
待检查数据获取模块，获取预设时刻的气象观测要素数值；
质量检查模块，用于将该预设时刻的气象观测要素数值，输入根据权利要求1-5任一所述的训练地面气象观测要素监测模型方法得到的地面气象观测要素监测模型中，通过节点遍历的方法，得到各个观测周期时刻节点对应的值及对应概率值，当节点的概率值低于最高概率值节点的预设占分比值时，则被舍弃，剩下的节点按照最低值和最高值作为最终质量检查的取值范围。
9.一种计算机设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-5任一所述的训练地面气象观测要素监测模型方法，及权利要求6所述的地面气象观测要素质量检查方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-5任一所述的训练地面气象观测要素监测模型方法，及权利要求6所述的地面气象观测要素质量检查方法。
CN201911420339.6A 2019-12-31 2019-12-31 训练地面气象观测要素监测模型、质量检查方法及系统 Active CN111177978B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911420339.6A CN111177978B (zh) 2019-12-31 2019-12-31 训练地面气象观测要素监测模型、质量检查方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911420339.6A CN111177978B (zh) 2019-12-31 2019-12-31 训练地面气象观测要素监测模型、质量检查方法及系统

Publications (2)

Publication Number Publication Date
CN111177978A CN111177978A (zh) 2020-05-19
CN111177978B true CN111177978B (zh) 2023-08-15

Family

ID=70650620

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911420339.6A Active CN111177978B (zh) 2019-12-31 2019-12-31 训练地面气象观测要素监测模型、质量检查方法及系统

Country Status (1)

Country Link
CN (1) CN111177978B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987131B (zh) * 2021-01-29 2023-08-08 重庆市气象台 一种云海景观预报方法及系统
CN113743025A (zh) * 2021-11-05 2021-12-03 中化现代农业有限公司 一种气象预报数据订正方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204390A (zh) * 2016-07-05 2016-12-07 三峡大学 一种基于博弈论的灰霾监测与预警系统
CN108668253A (zh) * 2018-04-09 2018-10-16 南京邮电大学 一种基于演化博弈的群智合作感知激励方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204390A (zh) * 2016-07-05 2016-12-07 三峡大学 一种基于博弈论的灰霾监测与预警系统
CN108668253A (zh) * 2018-04-09 2018-10-16 南京邮电大学 一种基于演化博弈的群智合作感知激励方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王煜.黄河流域旱情监测与水资源调配研究综述.《人民黄河》.2017,第第39卷卷(第第11期期),第1-4页. *

Also Published As

Publication number Publication date
CN111177978A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111177978B (zh) 训练地面气象观测要素监测模型、质量检查方法及系统
CN113139700B (zh) 一种河流流量预测方法、装置、设备及存储介质
CN116933099B (zh) 一种汽车零部件老化测试方法、系统及介质
CN111080652A (zh) 基于多尺度轻量化空洞卷积的光学遥感图像分割方法
Vaca et al. Using climatically based random forests to downscale coarse‐grained potential natural vegetation maps in tropical Mexico
CN107944219B (zh) 一种表征不同时段旱涝致灾特征的方法和装置
CN114911788B (zh) 一种数据插补方法、装置及存储介质
CN107315671B (zh) 应用状态监控方法、装置及其设备
CN110134907A (zh) 一种降雨缺失数据填补方法、系统及电子设备
CN109657287B (zh) 基于综合得分法水文模型精度识别的方法
CN112597435B (zh) 基于设备监理的火电设备质量数据处理方法及装置
CN114357737A (zh) 针对大尺度水文模型时变参数的代理优化率定方法
CN116186493B (zh) 基于数值模式校正的气象预报方法、装置、设备和介质
CN110765420A (zh) 一种基于pso-fi的地面自动气象站气温观测资料质量控制方法
CN107590346B (zh) 基于空间多重相关解集算法的降尺度校正模型
Nurdiati et al. Statistical bias correction for predictions of Indian ocean dipole index with quantile mapping approach
CN114758080A (zh) 海面盐度网格化反演的方法及装置
CN114611803A (zh) 基于退化特征的开关器件寿命预测方法
CN117350180B (zh) 一种复杂工况下洪水快速预测模型集合构建方法
CN113256444A (zh) 一种低压台区户变关系辨识方法和装置
CN117094575B (zh) 降水产品的水文适用性综合评价方法、装置、设备及介质
CN113379120B (zh) 一种配电网设备故障预测方法及系统
CN114420290B (zh) 基于ReliefF-SVM的钉螺密度预测方法及系统
CN116502891B (zh) 一种雪旱动态风险的确定方法
CN116260140B (zh) 一种在役风电场理论净发电量的快速估算方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant