CN109492757A - 资料集成方法及装置 - Google Patents

Abstract

本发明提供了一种资料集成方法及装置，涉及资料集成的技术领域，包括：获取预报资料；将所述预报资料输入至预设的深度神经网络；通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料，通过将预报资料输入至预设的深度神经网络，代替传统的单一集成方法，将多种预报资料集成，并且通过深度神经网络模型的多模式权重配比功能，最终得到精确度更高的集成资料。

Description

资料集成方法及装置

技术领域

本发明涉及资料集成技术领域，尤其是涉及一种资料集成方法及装置。

背景技术

预报系统是在气象研究中扮演着不可或缺的角色，预报系统的精确度直接关乎到人们出行计划，在数值气象预报领域，随着观测的方式增加，观测资料的种类日益增多，需要对资料进行集成，进行更近一步的取样研究，所以说资料集成系统是预报系统中尤为重要的一部分，但目前较为常见的集成方法多为单一集成方式，导致集成资料的准确度低。

发明内容

有鉴于此，本发明的目的在于提供一种资料集成方法及装置，以解决现有技术中较为常用的集成方法多为单一集成方式，导致集成资料的准确度低的技术问题。

第一方面，本发明实施例提供了一种资料集成方法，包括：

获取预报资料；

将所述预报资料输入至预设的深度神经网络；

通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述深度神经网络的权重系数是根据预设的策略神经网络输出结果确定的，所述权重系数使所述深度神经网络的网络状态价值最大。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述策略神经网络包括：价值评估网络和控制神经网络，所述价值评估网络用于评估所述深度神经网络的网络状态价值，所述控制神经网络基于所述价值评估网络输出的价值及预设调整策略调整所述策略神经网络的输出结果。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述控制神经网络基于价值评估网络输出的价值及预设调整策略调整所述策略神经网络的输出结果，包括：

当所述价值增大时，所述控制神经网络正向调整所述策略神经网络的输出结果，使所述深度神经网络的网络状态价值增大；

若所述价值减小时，所述控制神经网络反向调整所述策略神经网络的输出结果，使所述深度神经网络的网络状态价值减小。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述控制神经网络的预设调整策略是RNN集群控制网络发送的，所述RNN集群控制网络用于基于所述价值评估网络输出的价值向所述控制神经网络输出调整策略。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述策略神经网络包括：CNN神经网络。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述预报资料包括：数值预报资料和观测延伸资料。

第二方面，本发明实施例还提供一种资料集成装置，包括：

获取模块，所述获取模块用于获取预报资料；

输入模块，所述输入模块用于将所述预报资料输入至预设的深度神经网络；

集成模块，所述集成模块用于通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料。

第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的方法的步骤。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述方法。

在本发明实施例提供的方法中，获取预报资料；将所述预报资料输入至预设的深度神经网络；通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料，通过将预报资料输入至预设的深度神经网络，代替传统的单一集成方法，将多种预报资料集成，并且通过深度神经网络模型的多模式权重配比功能，最终得到精确度更高的集成资料。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的资料集成方法流程图；

图2为本发明实施例提供的资料集成原理示意；

图3为本发明实施例提供的资料集成装置模块示意图。

图标：

01-获取模块；02-输入模块；03-集成模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：

根据本发明实施例，提供了一种资料集成方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种资料集成方法,，如图1所示，该方法包括如下步骤：

步骤S101，获取预报资料；

在本发明实施例中，所述预报资料包括延伸的数值预报资料和数值预报资料，延伸资料主要包括延伸的雷达资料、卫星资料和自动站资料，这些资料是通过资料延伸方式获取的，数值预报资料是通过资料同化的方式获取的，所述数值预报资料中包含了观测方式获取的观测资料，本发明实施例目的在于将上述资料输入预设深度神经网络模型中进行集成，得到所需的集成资料。所述预报资料可以是某一地点的观测资料，也可以是观测延伸资料，具体可以包括：雷达观测资料、卫星观测资料和自动站观测资料，所述资料可以是图像，在输入深度神经网络模型之前，需要对图像进行图像处理提取所需特征，例如：剔除观测资料中不符合预设观测条件的数据，对剔除操作后的观测资料进行偏差订正；对图片资料及二值化资料进行资料筛选。上述预设观测条件为数据格式符合观测格式，且气候状态不超出预设的气候状态范围，还要符合水平和垂直连续性要求，并位于同化时间窗口以内。剔除观测资料中不符合预设观测条件的数据时，对原始气象站观测资料和卫星观测资料进行资料筛选，过滤出同化时间窗口内的有效观测资料，所述方法步骤包括：气候状态极值范围有效性检查，从观测数据中剔除偏离气候态预设距离以外的异常点；格式和逻辑检查，剔除观测资料中非法观测格式数据，剔除观测资料中存在的缺失点；水平和垂直连续性检查，将观测资料中不符合连续性要求的点删除；时间一致性检查，剔除观测资料中不在同化时间窗口内的资料，具体使用的图像处理算法可依据实际情况而定，本发明对此不做限定。

步骤S102，将所述预报资料输入至预设的深度神经网络；

在本发明实施例中，可以将预报资料转化为深度神经网络模型的模式量，具体使用的方法可以依据实际情况而定，例如：可以使用softmax函数将图像进行二值化处理生成0、1二值化序列。最后将序列输入至深度神经网络模型进行计算。

步骤S103，通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料；

在本发明实施例中，所述深度神经网络可以是经过训练样本训练后得到的大气神经网络模型，在本发明实施例的又一实施例中，所述深度神经网络的权重系数是根据预设的策略神经网络输出结果确定的，所述权重系数使所述深度神经网络的网络状态价值最大，所述权重系数用于决定多模式量的配比，本发明利用深度神经网络模型对预报资料进行集合代替传统的单一集成方法，对于多种观测工具，例如卫星、雷达和自动站所观测到的资料，进行权重系数的确定，从而输出更加准确的集成资料。

其中，所述网络状态价值是当深度神经网络的误差更新以后，深度神经网络的状态会改变，价值网络会根据深度神经网络的状态进行评价，给出来深度神经网络的状态的一个价值估计值，相当于深度神经网络的负反馈机制，此外，在系统会发生状态改变时，也许这个状态是正向的，也许是反向的，可以通过价值网络评价出来。如果是正向的，就通知强化学习按照正向方向调整。反之就通知强化学习按照反向调整了，基于此本发明还提供了一种可行方式，如图2所示，所述深度神经网络的权重系数是根据预设的策略神经网络输出结果确定的，所述策略神经网络包括：价值评估网络和控制神经网络，所述价值评估网络用于评估所述深度神经网络的网络状态价值，所述控制神经网络基于所述价值评估网络输出的价值及预设调整策略调整所述策略神经网络的输出结果。

在本发明实施例中策略神经可以是深度CNN神经网络模型，所述策略神经网络用于观测延伸资料与由预报延伸资料场到观测空间转换图像的一个价值评价模型，给出深度神经网络权值和偏置值调整后的一个价值估计，提供深度神经网络参数调整后的价值概率，由此控制深度神经网络参数的调整方向，提供价深度神经网络的调整策略，提供深度神经网络调整的价值估计值，对深度神经网络调整的价值进行评价。所述控制神经网络是用于调整深度神经网络(下一时刻)的权值和偏置值。根据策略神经网络提供的价值估计值，调整深度神经网络的权值和偏置的调整方向。如果价值为负向，则向增加价值方向调整深度神经网络的权值和偏置值。如果价值为正向，则向更加有利于增加价值方向调整深度神经网络的权值和偏置值。在本发明实施例中，控制神经网络模型可以采用深度RNN神经网络模型，具有正向和反向调节策略，有效根据策略神经网络模型提供的价值估计值，控制深度神经网络权值和偏置值的调整方向所述控制神经网络的预设调整策略是RNN集群控制网络发送的，所述RNN集群控制网络用于基于所述价值评估网络输出的价值向所述控制神经网络输出调整策略，具体的调整策略可以人为根据具体情况而定。

基于所述控制神经网络基于价值评估网络输出的价值及预设调整策略调整所述策略神经网络的输出结果，本发明还提供了一种可行方法，所述方法包括：

当所述价值增大时，所述控制神经网络正向调整所述策略神经网络的输出结果，使所述深度神经网络的网络状态价值增大；

若所述价值减小时，所述控制神经网络反向调整所述策略神经网络的输出结果，使所述深度神经网络的网络状态价值减小。

在本发明实施例中，所述网络状态价值的调整策略，以最终输出模型最优值为目的，例如在天气数值预报领域，输入预报资料中包括多种方式获取的图像，通过大气神经网络模型，输出准确度最高的集成资料，可以说该大气神经网络模型的网络状态价值最大。

实施例二：

本发明实施例还提供了一种资料集成装置，该资料集成装置主要用于执行本发明实施例上述内容所提供的资料集成方法，以下对本发明实施例提供的资料集成装置做具体介绍。

图3是根据本发明实施例的一种资料集成装置的示意图，如图3所示，一种资料集成装置，包括：

获取模块01，所述获取模块01用于获取预报资料；

输入模块02，所述输入模块02用于将所述预报资料输入至预设的深度神经网络；

集成模块03，所述集成模块03用于通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料。

本发明实施例的深度神经网络模型是经过大量训练样本训练后得到的大气状态评估模型，其中权重配比的方法详细可参照上述实施例，利用深度神经网络模型通过强化学习的方式，主要是对预报模式的输出的预报资料进行分析。通过在预报模式的预报资料中加入了下一时刻的延伸的雷达资料、卫星资料和自动站资料，将延伸的观测资料加入到预报模式的预报资料中，对预报资料进行改善的一种方法。对比传统的单一模式的集成方法，采用权重配比的方式，可以保留更加需要关注的模式量，剔除干扰识别的非特征量，即便增加了集成预报成员数量，增加不同的气象元素，进行多模式的集成试验或者多分场的集成试验，集成预报也可以将个模式预报的优点与准确性加以融合，从而提高预报的准确性。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本发明的又一实施例中，还提供一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例所述的方法的步骤。

在本发明的又一实施例中，还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述方法实施例所述的方法。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种资料集成方法，其特征在于，包括：

获取预报资料；

将所述预报资料输入至预设的深度神经网络；

通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料。

2.根据权利要求1所述的资料集成方法，其特征在于，所述深度神经网络的权重系数是根据预设的策略神经网络输出结果确定的，所述权重系数使所述深度神经网络的网络状态价值最大。

3.根据权利要求2所述的资料集成方法，其特征在于，所述策略神经网络包括：价值评估网络和控制神经网络，所述价值评估网络用于评估所述深度神经网络的网络状态价值，所述控制神经网络基于所述价值评估网络输出的价值及预设调整策略调整所述策略神经网络的输出结果。

4.根据权利要求3所述的资料集成方法，其特征在于，所述控制神经网络基于价值评估网络输出的价值及预设调整策略调整所述策略神经网络的输出结果，包括：

当所述价值增大时，所述控制神经网络正向调整所述策略神经网络的输出结果，使所述深度神经网络的网络状态价值增大；

若所述价值减小时，所述控制神经网络反向调整所述策略神经网络的输出结果，使所述深度神经网络的网络状态价值减小。

5.根据权利要求3所述的资料集成方法，其特征在于，所述控制神经网络的预设调整策略是RNN集群控制网络发送的，所述RNN集群控制网络用于基于所述价值评估网络输出的价值向所述控制神经网络输出调整策略。

6.根据权利要求2所述的资料集成方法，其特征在于，所述策略神经网络包括：CNN神经网络。

7.根据权利要求1所述的资料集成方法，其特征在于，所述预报资料包括：数值预报资料和观测延伸资料。

8.一种资料集成装置，其特征在于，包括：

获取模块，所述获取模块用于获取预报资料；

输入模块，所述输入模块用于将所述预报资料输入至预设的深度神经网络；

集成模块，所述集成模块用于通过所述深度神经网络对所述预报资料进行资料集成，得到预报集成资料。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1-7任一所述方法。