CN108182492A - 一种资料同化方法及装置 - Google Patents
一种资料同化方法及装置 Download PDFInfo
- Publication number
- CN108182492A CN108182492A CN201711470267.7A CN201711470267A CN108182492A CN 108182492 A CN108182492 A CN 108182492A CN 201711470267 A CN201711470267 A CN 201711470267A CN 108182492 A CN108182492 A CN 108182492A
- Authority
- CN
- China
- Prior art keywords
- data
- binaryzation
- observation
- sequence
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Development Economics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种资料同化方法及装置,该方法包括:获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。本发明引入图片资料和二值化资料,将观测资料、图片资料和二值化资料等转换为AI最优化模型能够识别的二值序列,通过AI最优化算法充分调整模型参数以生成初始场,能支持图片资料和二值化资料的同化,增加同化的资料类型,提高了初始场的精度,最终估计的大气状态无限制趋近真实的大气状态。
Description
技术领域
本发明涉及气象预报技术领域,具体而言,涉及一种资料同化方法及装置。
背景技术
随着数值气象预报技术的不断发展,能够用于气象分析的资料的类型及数量越来越多。在数值气象预报领域,需要将随空间和时间分布的不同类型的资料进行同化以为数值预报提供初始场。
目前,传统预报系统是根据待预测地点对应的观测资料,基于变分方法或集合同化方法得到数值模式的初始场,然后对得到的始场进行数值积分计算出待预测地点未来一段时间内的大气状态。但变分方法是采用泛函最小化的方式求解初始场,集合同化方法是采用误差协方差更新的方式来获得初始场,两种方法的误差较大,导致同化系统估计的初始场精度有限。而且传统预报系统生成初始场所基于的观测资料仅包括气象站观测资料和卫星观测资料,资料类型单一,数据不够全面,进一步影响生成的初始场的精度。因此传统预报系统生成的初始场精度低,根据该初始场最终预测到的大气状态的准确性也不高。
发明内容
有鉴于此,本发明实施例的目的在于提供一种资料同化方法及装置,以解决现有技术中资料类型单一、初始场精度低的问题。
第一方面,本发明实施例提供了一种资料同化方法,所述方法包括:
获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;
根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;
根据所述背景场、所述观测资料、所述图片资料、所述二值化资料、所述观测转化数据、所述图片转化数据及所述二值化转化数据,通过预先建立的优化模型生成初始场。
结合第一方面,本发明实施例提供了上述第一方面的第一种可能的实现方式,其中,所述根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据,包括:
从所述背景场的大气状态中提取大气廓线;
根据观测算子将所述大气廓线转化到所述观测资料对应的观测空间,得到所述观测资料对应的观测转化数据;
根据图像观测算子将所述大气廓线转化到所述图片资料对应的观测空间,得到所述图片资料对应的图片转化数据;
根据二值化观测算子将所述大气廓线转化到所述二值化资料对应的观测空间,得到所述二值化资料对应的二值化转化数据。
结合第一方面,本发明实施例提供了上述第一方面的第二种可能的实现方式,其中,所述根据所述背景场、所述观测资料、所述图片资料、所述二值化资料、所述观测转化数据、所述图片转化数据及所述二值化转化数据,通过预先建立的优化模型生成初始场,包括:
通过序列化处理获得所述观测资料对应的观测序列、所述图片资料对应的图片序列、所述二值化资料对应的二值化序列、所述观测转化数据对应的观测转化序列、所述图片转化数据对应的图片转化序列、所述二值化转化数据对应的二值化转化序列;
根据所述背景场、所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过预先建立的优化模型生成初始场。
结合第一方面的第二种可能的实现方式,本发明实施例提供了上述第一方面的第三种可能的实现方式,其中,预先建立的所述优化模型包括深度神经网络模型、价值评价网络模型、强化学习网络模型、路径搜索模型;所述根据所述背景场、所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过预先建立的优化模型生成初始场,包括:
调用所述背景场,根据所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过所述深度神经网络模型估计大气状态;
通过所述价值评价网络模型对所述大气状态进行价值评价,得到价值评价信号;根据所述价值评价信号,通过所述强化学习网络模型触发奖惩信号;根据所述奖惩信号,通过所述路径搜索模型调整所述深度神经网络模型的参数;
返回执行所述通过所述深度神经网络模型估计大气状态,直到调整的所述深度神经网络模型的参数满足预设稳定条件时,将所述深度神经网络模型最终估计的大气状态确定为初始场。
结合第一方面,本发明实施例提供了上述第一方面的第四种可能的实现方式,其中,所述通过预先建立的优化模型生成初始场之后,还包括:
对所述初始场中的大气状态进行时间积分,得到大气状态的预报资料,存储所述预报资料,并记录时间积分间隔的各个时刻的大气状态。
结合第一方面,本发明实施例提供了上述第一方面的第五种可能的实现方式,其中,所述根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据之前,还包括:
剔除所述观测资料中不符合预设观测条件的数据,对剔除操作后的所述观测资料进行偏差订正;
对所述图片资料及所述二值化资料进行资料筛选。
结合第一方面的第五种可能的实现方式,本发明实施例提供了上述第一方面的第六种可能的实现方式,其中,所述对所述图片资料及所述二值化资料进行资料筛选,包括:
对所述图片资料和所述二值化资料进行噪声过滤,剔除系统噪声信号;
对噪声过滤后的所述图片资料和所述二值化资料进行格式检查,剔除不符合预设格式条件的数据;
对格式检查后的所述图片资料和所述二值化资料进行异常值检查,剔除不符合气象观测规律的异常点;
对异常检查后的所述图片资料和所述二值化资料进行连续性检查,剔除不符合预设连续性条件的数据。
第二方面,本发明实施例提供了一种资料同化装置,所述装置包括:
获取模块,用于获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;
转化模块,用于根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;
生成模块,用于根据所述背景场、所述观测资料、所述图片资料、所述二值化资料、所述观测转化数据、所述图片转化数据及所述二值化转化数据,通过预先建立的优化模型生成初始场。
结合第二方面,本发明实施例提供了上述第二方面的第一种可能的实现方式,其中,所述转化模块包括:
提取单元,用于从所述背景场的大气状态中提取大气廓线;
转化单元,用于根据观测算子将所述大气廓线转化到所述观测资料对应的观测空间,得到所述观测资料对应的观测转化数据;根据图像观测算子将所述大气廓线转化到所述图片资料对应的观测空间,得到所述图片资料对应的图片转化数据;根据二值化观测算子将所述大气廓线转化到所述二值化资料对应的观测空间,得到所述二值化资料对应的二值化转化数据。
结合第二方面,本发明实施例提供了上述第二方面的第二种可能的实现方式,其中,所述生成模块包括:
序列化单元,用于通过序列化处理获得所述观测资料对应的观测序列、所述图片资料对应的图片序列、所述二值化资料对应的二值化序列、所述观测转化数据对应的观测转化序列、所述图片转化数据对应的图片转化序列、所述二值化转化数据对应的二值化转化序列;
生成单元,用于根据所述背景场、所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过预先建立的优化模型生成初始场。
在本发明实施例提供的方法及装置中,获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。本发明引入图片资料和二值化资料,将观测资料、图片资料和二值化资料等转换为AI最优化模型能够识别的二值序列,通过AI最优化算法充分调整模型参数以生成初始场,能支持图片资料和二值化资料的同化,增加同化的资料类型,提高了初始场的精度,最终估计的大气状态无限制趋近真实的大气状态。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例1所提供的一种资料同化方法的流程图;
图2示出了本发明实施例1所提供的生成初始场的流程示意图;
图3示出了本发明实施例2所提供的一种资料同化装置的结构示意图;
图4示出了本发明实施例4所提供的另一种资料同化装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到现有技术中变分方法和集合同化方法的原理过于简单,同化系统估计的初始场精度有限。而且资料类型单一,数据不够全面,进一步影响生成的初始场的精度,初始场精度低,根据该初始场最终预测到的大气状态的准确性也不高。基于此,本发明实施例提供了一种资料同化方法及装置,下面通过实施例进行描述。
实施例1
本发明实施例提供了一种资料同化方法,该方法提供一种AI(ArtificialIntelligence,人工智能)同化系统,采用深度强化神经网络算法,结合传统观测算子模型、图片算子和二值化算子模型,充分利用气象站观测资料、卫星观测资料、图片资料及二值化资料,对背景场进行状态估计,提供一个最接近大气真实状态的最佳估计值,将该最佳估计值作为预报系统的初始场。参见图1,该方法具体包括以下步骤:
步骤101:获取待预测地点对应的背景场、观测资料、图片资料及二值化资料。
读取全球模式预报场资料,提供同化系统的背景场。上述观测资料包括气象站观测资料和卫星观测资料。从气象站读取待预测地点对应的原始的气象站观测资料,以及从气象卫星获取待预测地点对应的卫星观测资料,获取待预测地点对应的图片资料和0、1二值化资料。读取控制参数文件,设置模式的同化时间窗口等运行参数。
获取到观测资料、图片资料及二值化资料后,还需要对观测资料、图片资料及二值化资料进行质量控制,确保生成初始场所依据的资料的准确性,从而提高生成的初始场的精度。本发明实施例中通过如下方式对获取的资料进行质量控制,具体包括:
剔除观测资料中不符合预设观测条件的数据,对剔除操作后的观测资料进行偏差订正;对图片资料及二值化资料进行资料筛选。
上述预设观测条件为数据格式符合观测格式,且气候状态不超出预设的气候状态范围,还要符合水平和垂直连续性要求,并位于同化时间窗口以内。剔除观测资料中不符合预设观测条件的数据时,对原始气象站观测资料和卫星观测资料进行资料筛选,过滤出同化时间窗口内的有效观测资料,主要步骤包括:1、格式和逻辑检查,剔除观测资料中非法观测格式数据,剔除观测资料中存在的缺失点。2、气候状态极值范围有效性检查,从观测数据中剔除偏离气候态预设距离以外的异常点。3、水平和垂直连续性检查,将观测资料中不符合连续性要求的点删除。4、时间一致性检查,剔除观测资料中不在同化时间窗口内的资料。本发明实施例并不具体限定上述1、2、3和4四个步骤的执行顺序,实际应用中可根据需求确定这4个步骤的执行顺序。
通过上述方式对卫星观测资料进行资料筛选后,还对卫星观测资料包括的卫星辐射率通道资料进行剔除和筛选,主要步骤包括:a)通道选择,从卫星辐射率通道资料中剔除通道权重函数峰值超出模式所包含范围的通道资料。b)混合地表检测,从卫星辐射率通道资料中剔除在混合地表信息处的扫描线资料。c)海面检测,保留卫星辐射率通道资料中海面上的扫描线资料。d)临边检测,从卫星辐射率通道资料中剔除受临边效应影响的扫描线资料。e)亮温偏差检测,从卫星辐射率通道资料中剔除两个相同通道亮温偏差异常的扫描线资料。f)CLWP(Cloud Liquid WaterPreciptation,大气柱液态水含量)检测,从卫星辐射率通道资料中剔除CLWP超出范围的扫描线资料。本发明实施例也不具体限定上述a-f六个步骤的执行顺序,实际应用中可根据需求确定步骤的执行顺序。
另外,卫星观测资料还存在一定的系统性偏差,还需要进行偏差订正。偏差订正主要包括扫描偏差订正和气团偏差订正。其中,扫描偏差订正是采用Harris和Kelley方案,消除卫星天顶角误差影响。气团偏差订正是采用统计回归法,建立气团与一组回归因子间的订正方程,用最小二乘法计算出订正方程的系数,消除大气气候特征对卫星观测的影响。
对于获取的图片资料和二值化资料,本发明实施例通过如下方式进行资料筛选,包括:
对图片资料和二值化资料进行噪声过滤,剔除系统噪声信号;对噪声过滤后的图片资料和二值化资料进行格式检查,剔除不符合预设格式条件的数据;对格式检查后的图片资料和二值化资料进行异常值检查,剔除不符合气象观测规律的异常点;对异常检查后的图片资料和二值化资料进行连续性检查,剔除不符合预设连续性条件的数据。
上述对图片资料和二值化资料进行的噪声过滤、格式和逻辑检查、异常值检查及连续性检查四个步骤的执行顺序并不是固定的,实际应用中也可以采用其他执行顺序来执行这四个步骤。
通过本步骤的操作获取到背景场、观测资料、图片资料、二值化资料,并对观测资料、图片资料及二值化资料进行质量控制后,通过如下步骤102和103的操作来生出预报的初始场。
步骤102:根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据。
首先从背景场的大气状态中提取出大气廓线,然后根据大气廓线分别对观测资料、图片资料和二值化资料进行转化。
对观测资料包括的气象站观测资料和卫星观测资料进行转化,根据观测算子将大气廓线转化到观测资料对应的观测空间,得到观测资料对应的观测转化数据。其中,对卫星观测资料进行转化时观测算子采用辐射传输模式。对于图片资料,建立图片资料对应的图像观测算子,对图片资料进行转化,根据图像观测算子将大气廓线转化到图片资料对应的观测空间,得到图片资料对应的图片转化数据。对于二值化资料,建立二值化资料对应的二值化观测算子,根据二值化观测算子将大气廓线转化到二值化资料对应的观测空间,得到二值化资料对应的二值化转化数据。
在本发明实施例中,还建立RNN(Recurrent Neural Networks,循环神经网络)神经网络模型和强化学习策略,在将大气廓线转化到图片资料对应的观测空间,及将大气廓线转化到二值化资料对应的观测空间时,还通过RNN神经网络模型和强化学习策略来增加转化精度,并提供控制指标和转换精度,为预先建立的优化模型包括的价值评价网络模型提供参数。
上述预先建立的优化模型包括深度神经网络模型、价值评价网络模型、强化学习网络模型和路径搜索模型。对观测资料、图片资料和二值化资料进行转化后,通过如下步骤103利用预先建立的优化模型进行最优化处理,最终生成预报的初始场。
步骤103:根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。
通过序列化处理获得观测资料对应的观测序列、图片资料对应的图片序列、二值化资料对应的二值化序列、观测转化数据对应的观测转化序列、图片转化数据对应的图片转化序列、二值化转化数据对应的二值化转化序列;根据背景场、观测序列、图片序列、二值化序列、观测转化序列、图片转化序列、二值化转化序列,通过预先建立的优化模型生成初始场。
上述序列化处理即二值化处理,即将观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据都转化为能够被深度神经网络模型所识别的0,1二值序列。
在本发明实施例中,可以采用softmax函数来进行序列化处理。将观测资料包括的原始的气象站观测资料和卫星观测资料看做图像,将图片资料也看做是图像,采用softmax函数将图像转换0、1二值化序列。同样地,将观测转化数据、图片转化数据及二值化转化数据都看做是图像,并分别采用softmax函数生成0、1二值化序列。对于二值化资料,则直接采用softmax函数生成对应的0、1二值化序列。
在本发明实施例中,预先建立的优化模型包括深度神经网络模型、价值评价网络模型、强化学习网络模型和路径搜索模型。利用转换函数将全部资料转换为0,1变化的二值序列后,根据这些二值序列,利用预先建立的优化模型通过如下步骤A1-A的操作来生成初始场,具体包括:
A1:调用背景场,根据观测序列、图片序列、二值化序列、观测转化序列、图片转化序列、二值化转化序列,通过深度神经网络模型估计下一时刻的大气状态。
深度神经网络模型用于保存大气状态,通过权值和偏置值的调整,不断调整自身的状态,得到大气状态的一个分析场。
A2:通过价值评价网络模型对深度神经网络模型估计的大气状态进行价值评价,得到价值评价信号。
价值评价网络采用深度CNN(卷积神经网络)网络模型,用于建立观测资料与分析场到观测空间转换图像的一个价值评价模型,给出深度神经网络权值和偏置值调整后的一个价值估计,输出深度神经网络参数调整后的价值概率,由此控制深度神经网络参数调整方向。
A3:根据价值评价信号,通过强化学习网络模型触发奖惩信号。
上述奖惩信号为奖励信号或惩罚信号。强化学习网络是对整个网络进行优化,对于价值评价网络提供的评价概率产生行动策略,如果价值概率增加则产生奖励信号,激发正向作用,如果是极值概率降低,则产生惩罚信号,激发反向作用,控制路径搜索模型调整深度神经网络模型参数的策略。
A4:根据奖惩信号,通过路径搜索模型调整深度神经网络模型的参数,返回步骤A1通过调整参数后的深度神经网络模型重新估计大气状态,循环执行步骤A1-A4,直到调整的深度神经网络模型的参数满足预设稳定条件时,将深度神经网络模型最终估计的大气状态确定为初始场。
路径搜索模型据强化学习网络的奖惩信号,找到调整深度神经网络模型参数的最优路径,调整深度学习网络的参数。上述预设稳定条件为连续预设次数调整出相同的参数。当重复执行上述步骤A1-A4调整深度神经网络模型的参数,重复预设次数调整的参数均相同时,确定整个系统稳定,不再重复执行步骤A1-A4,并将最后一次深度神经网络估计的大气状态作为预报的初始场。本发明实施例中,将AI同化系统中深度神经网络最终计算出的大气状态参量写入文件中,并保存到本地磁盘。可以以多种格式输出,主要的输出格式是气象专用的NETCDF(Network Common Data Form,网络通用数据格式)格式、GRIB(GriddedBinary)格式和二进制数据格式。
在本发明实施例中,通过步骤101-103的操作生成预报的初始场后,考虑大气运动学规律和物理过程的参数化方案,对初始场中的大气状态进行时间积分,模式积分完成后,输出得到大气状态的预报资料,将预报的大气状态写入到文件中,存储该预报资料,并记录时间积分间隔的各个时刻的大气状态。可以以NETCDF格式、GRIB格式或二进制数据格式存储。
为了进一步理解本发明实例提供的生成初始场的方法,下面结合附图进行说明。如图2所示,首先获取全球模式资料、观测资料、图片资料及二值化资料,并进行初始化,然后对观测资料、图片资料及二值化资料进行质量控制。之后对观测资料、图片资料及二值化资料进行预处理,即通过步骤102对观测资料、图片资料及二值化资料进行转化。然后对所有资料数据进行序列化,即将所有资料数据均转化为0,1二值序列。最后通过AI最优化模型对所有二值序列进行处理,生成预报的初始场。其中,AI最优化模型即为上述预先建立的优化模型。
在本发明实施例中,获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。本发明引入图片资料和二值化资料,将观测资料、图片资料和二值化资料等转换为AI最优化模型能够识别的二值序列,通过AI最优化算法充分调整模型参数以生成初始场,能支持图片资料和二值化资料的同化,增加同化的资料类型,提高了初始场的精度,最终估计的大气状态无限制趋近真实的大气状态。
实施例2
参见图3,本发明实施例提供了一种资料同化装置,其特征在于,所述装置包括:
获取模块20,用于获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;
转化模块21,用于根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;
生成模块22,用于根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。
上述转化模块21包括:
提取单元,用于从背景场的大气状态中提取大气廓线;
转化单元,用于根据观测算子将大气廓线转化到观测资料对应的观测空间,得到观测资料对应的观测转化数据;根据图像观测算子将大气廓线转化到图片资料对应的观测空间,得到图片资料对应的图片转化数据;根据二值化观测算子将大气廓线转化到二值化资料对应的观测空间,得到二值化资料对应的二值化转化数据。
上述生成模块22包括:
序列化单元,用于通过序列化处理获得观测资料对应的观测序列、图片资料对应的图片序列、二值化资料对应的二值化序列、观测转化数据对应的观测转化序列、图片转化数据对应的图片转化序列、二值化转化数据对应的二值化转化序列;
生成单元,用于根据背景场、观测序列、图片序列、二值化序列、观测转化序列、图片转化序列、二值化转化序列,通过预先建立的优化模型生成初始场。
在本发明实施例中,预先建立的优化模型包括深度神经网络模型、价值评价网络模型、强化学习网络模型、路径搜索模型。上述生成单元,用于调用背景场,根据观测序列、图片序列、二值化序列、观测转化序列、图片转化序列、二值化转化序列,通过深度神经网络模型估计大气状态;通过价值评价网络模型对大气状态进行价值评价,得到价值评价信号;根据价值评价信号,通过强化学习网络模型触发奖惩信号;根据奖惩信号,通过路径搜索模型调整深度神经网络模型的参数;返回执行通过深度神经网络模型估计大气状态,直到调整的深度神经网络模型的参数满足预设稳定条件时,将深度神经网络模型最终估计的大气状态确定为初始场。
在本发明实施例中,该装置还包括:时间积分模块,用于对初始场中的大气状态进行时间积分,得到大气状态的预报资料,存储预报资料,并记录时间积分间隔的各个时刻的大气状态。
该装置还包括:资料筛选模块,用于剔除观测资料中不符合预设观测条件的数据,对剔除操作后的观测资料进行偏差订正;对图片资料及二值化资料进行资料筛选。
上述资料筛选模块,用于对图片资料和二值化资料进行噪声过滤,剔除系统噪声信号;对噪声过滤后的图片资料和二值化资料进行格式检查,剔除不符合预设格式条件的数据;对格式检查后的图片资料和二值化资料进行异常值检查,剔除不符合气象观测规律的异常点;对异常检查后的图片资料和二值化资料进行连续性检查,剔除不符合预设连续性条件的数据。
在本发明实施例中,获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。本发明引入图片资料和二值化资料,将观测资料、图片资料和二值化资料等转换为AI最优化模型能够识别的二值序列,通过AI最优化算法充分调整模型参数以生成初始场,能支持图片资料和二值化资料的同化,增加同化的资料类型,提高了初始场的精度,最终估计的大气状态无限制趋近真实的大气状态。
实施例3
本发明实施例提供了一种非易失性计算机存储介质,该计算机存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述实施例1中的资料同化方法,具体执行以下方法:获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。
该计算机存储介质存储的计算机可执行指令执行后引入图片资料和二值化资料,将观测资料、图片资料和二值化资料等转换为AI最优化模型能够识别的二值序列,通过AI最优化算法充分调整模型参数以生成初始场,能支持图片资料和二值化资料的同化,增加同化的资料类型,提高了初始场的精度,最终估计的大气状态无限制趋近真实的大气状态。
实施例4
如图4所示,本发明实施例提供了一种资料同化装置,该资料同化装置30包括:处理器31、存储器32和总线33,存储器32存储有执行指令,当该装置运行时,处理器31与存储器32之间通过总线33通信,处理器31执行存储器32中存储的如下执行指令:获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;根据背景场、观测资料、图片资料、二值化资料、观测转化数据、图片转化数据及二值化转化数据,通过预先建立的优化模型生成初始场。
在对观测资料、图片资料、二值化资料进行转化时,处理器31具体用于:从背景场的大气状态中提取大气廓线;根据观测算子将大气廓线转化到观测资料对应的观测空间,得到观测资料对应的观测转化数据;根据图像观测算子将大气廓线转化到图片资料对应的观测空间,得到图片资料对应的图片转化数据;根据二值化观测算子将大气廓线转化到二值化资料对应的观测空间,得到二值化资料对应的二值化转化数据。
在生成预报的初始场时,处理器31具体用于:通过序列化处理获得观测资料对应的观测序列、图片资料对应的图片序列、二值化资料对应的二值化序列、观测转化数据对应的观测转化序列、图片转化数据对应的图片转化序列、二值化转化数据对应的二值化转化序列;根据背景场、观测序列、图片序列、二值化序列、观测转化序列、图片转化序列、二值化转化序列,通过预先建立的优化模型生成初始场。
其中,预先建立的优化模型包括深度神经网络模型、价值评价网络模型、强化学习网络模型、路径搜索模型。处理器31,用于调用背景场,根据观测序列、图片序列、二值化序列、观测转化序列、图片转化序列、二值化转化序列,通过深度神经网络模型估计大气状态;通过价值评价网络模型对大气状态进行价值评价,得到价值评价信号;根据价值评价信号,通过强化学习网络模型触发奖惩信号;根据奖惩信号,通过路径搜索模型调整深度神经网络模型的参数;返回执行通过深度神经网络模型估计大气状态,直到调整的深度神经网络模型的参数满足预设稳定条件时,将深度神经网络模型最终估计的大气状态确定为初始场。
通过预先建立的优化模型生成初始场之后,处理器31,还用于对初始场中的大气状态进行时间积分,得到大气状态的预报资料,存储预报资料,并记录时间积分间隔的各个时刻的大气状态。
在根据背景场,分别将观测资料、图片资料、二值化资料转化为观测转化数据、图片转化数据及二值化转化数据之前,处理器31,还用于剔除观测资料中不符合预设观测条件的数据,对剔除操作后的观测资料进行偏差订正;对图片资料及二值化资料进行资料筛选。对图片资料和二值化资料进行噪声过滤,剔除系统噪声信号;对噪声过滤后的图片资料和二值化资料进行格式检查,剔除不符合预设格式条件的数据;对格式检查后的图片资料和二值化资料进行异常值检查,剔除不符合气象观测规律的异常点;对异常检查后的图片资料和二值化资料进行连续性检查,剔除不符合预设连续性条件的数据。
该资料同化装置通过处理器31执行上述指令,引入图片资料和二值化资料,将观测资料、图片资料和二值化资料等转换为AI最优化模型能够识别的二值序列,通过AI最优化算法充分调整模型参数以生成初始场,能支持图片资料和二值化资料的同化,增加同化的资料类型,提高了初始场的精度,最终估计的大气状态无限制趋近真实的大气状态。
本发明实施例所提供的资料同化装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种资料同化方法,其特征在于,所述方法包括:
获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;
根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;
根据所述背景场、所述观测资料、所述图片资料、所述二值化资料、所述观测转化数据、所述图片转化数据及所述二值化转化数据,通过预先建立的优化模型生成初始场。
2.根据权利要求1所述的方法,其特征在于,所述根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据,包括:
从所述背景场的大气状态中提取大气廓线;
根据观测算子将所述大气廓线转化到所述观测资料对应的观测空间,得到所述观测资料对应的观测转化数据;
根据图像观测算子将所述大气廓线转化到所述图片资料对应的观测空间,得到所述图片资料对应的图片转化数据;
根据二值化观测算子将所述大气廓线转化到所述二值化资料对应的观测空间,得到所述二值化资料对应的二值化转化数据。
3.根据权利要求1所述的方法,其特征在于,所述根据所述背景场、所述观测资料、所述图片资料、所述二值化资料、所述观测转化数据、所述图片转化数据及所述二值化转化数据,通过预先建立的优化模型生成初始场,包括:
通过序列化处理获得所述观测资料对应的观测序列、所述图片资料对应的图片序列、所述二值化资料对应的二值化序列、所述观测转化数据对应的观测转化序列、所述图片转化数据对应的图片转化序列、所述二值化转化数据对应的二值化转化序列;
根据所述背景场、所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过预先建立的优化模型生成初始场。
4.根据权利要求3所述的方法,其特征在于,预先建立的所述优化模型包括深度神经网络模型、价值评价网络模型、强化学习网络模型、路径搜索模型;所述根据所述背景场、所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过预先建立的优化模型生成初始场,包括:
调用所述背景场,根据所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过所述深度神经网络模型估计大气状态;
通过所述价值评价网络模型对所述大气状态进行价值评价,得到价值评价信号;根据所述价值评价信号,通过所述强化学习网络模型触发奖惩信号;根据所述奖惩信号,通过所述路径搜索模型调整所述深度神经网络模型的参数;
返回执行所述通过所述深度神经网络模型估计大气状态,直到调整的所述深度神经网络模型的参数满足预设稳定条件时,将所述深度神经网络模型最终估计的大气状态确定为初始场。
5.根据权利要求1所述的方法,其特征在于,所述通过预先建立的优化模型生成初始场之后,还包括:
对所述初始场中的大气状态进行时间积分,得到大气状态的预报资料,存储所述预报资料,并记录时间积分间隔的各个时刻的大气状态。
6.根据权利要求1所述的方法,其特征在于,所述根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据之前,还包括:
剔除所述观测资料中不符合预设观测条件的数据,对剔除操作后的所述观测资料进行偏差订正;
对所述图片资料及所述二值化资料进行资料筛选。
7.根据权利要求6所述的方法,其特征在于,所述对所述图片资料及所述二值化资料进行资料筛选,包括:
对所述图片资料和所述二值化资料进行噪声过滤,剔除系统噪声信号;
对噪声过滤后的所述图片资料和所述二值化资料进行格式检查,剔除不符合预设格式条件的数据;
对格式检查后的所述图片资料和所述二值化资料进行异常值检查,剔除不符合气象观测规律的异常点;
对异常检查后的所述图片资料和所述二值化资料进行连续性检查,剔除不符合预设连续性条件的数据。
8.一种资料同化装置,其特征在于,所述装置包括:
获取模块,用于获取待预测地点对应的背景场、观测资料、图片资料及二值化资料;
转化模块,用于根据所述背景场,分别将所述观测资料、所述图片资料、所述二值化资料转化为观测转化数据、图片转化数据及二值化转化数据;
生成模块,用于根据所述背景场、所述观测资料、所述图片资料、所述二值化资料、所述观测转化数据、所述图片转化数据及所述二值化转化数据,通过预先建立的优化模型生成初始场。
9.根据权利要求8所述的装置,其特征在于,所述转化模块包括:
提取单元,用于从所述背景场的大气状态中提取大气廓线;
转化单元,用于根据观测算子将所述大气廓线转化到所述观测资料对应的观测空间,得到所述观测资料对应的观测转化数据;根据图像观测算子将所述大气廓线转化到所述图片资料对应的观测空间,得到所述图片资料对应的图片转化数据;根据二值化观测算子将所述大气廓线转化到所述二值化资料对应的观测空间,得到所述二值化资料对应的二值化转化数据。
10.根据权利要求8所述的装置,其特征在于,所述生成模块包括:
序列化单元,用于通过序列化处理获得所述观测资料对应的观测序列、所述图片资料对应的图片序列、所述二值化资料对应的二值化序列、所述观测转化数据对应的观测转化序列、所述图片转化数据对应的图片转化序列、所述二值化转化数据对应的二值化转化序列;
生成单元,用于根据所述背景场、所述观测序列、所述图片序列、所述二值化序列、所述观测转化序列、所述图片转化序列、所述二值化转化序列,通过预先建立的优化模型生成初始场。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711470267.7A CN108182492B (zh) | 2017-12-29 | 2017-12-29 | 一种资料同化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711470267.7A CN108182492B (zh) | 2017-12-29 | 2017-12-29 | 一种资料同化方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108182492A true CN108182492A (zh) | 2018-06-19 |
CN108182492B CN108182492B (zh) | 2020-09-25 |
Family
ID=62548774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711470267.7A Active CN108182492B (zh) | 2017-12-29 | 2017-12-29 | 一种资料同化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108182492B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492758A (zh) * | 2018-11-28 | 2019-03-19 | 中科赛诺(北京)科技有限公司 | 资料预报方法及系统 |
CN109583568A (zh) * | 2018-11-28 | 2019-04-05 | 中科赛诺(北京)科技有限公司 | 资料延伸方法、装置及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040092403A (ko) * | 2003-04-24 | 2004-11-03 | 오재호 | 실시간 기상 데이터 처리 시스템 및 방법 |
JP2010060443A (ja) * | 2008-09-04 | 2010-03-18 | Japan Weather Association | 気象予測装置、方法及びプログラム |
CN102004856A (zh) * | 2010-11-27 | 2011-04-06 | 中国海洋大学 | 高频观测资料实时数据的快速集合卡曼滤波同化方法 |
CN106339568A (zh) * | 2015-07-08 | 2017-01-18 | 中国电力科学研究院 | 一种基于混合背景场的数值天气预报方法 |
CN107403073A (zh) * | 2017-10-03 | 2017-11-28 | 中国水利水电科学研究院 | 一种基于数据同化改进预报降雨的集合洪水预报方法 |
-
2017
- 2017-12-29 CN CN201711470267.7A patent/CN108182492B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040092403A (ko) * | 2003-04-24 | 2004-11-03 | 오재호 | 실시간 기상 데이터 처리 시스템 및 방법 |
JP2010060443A (ja) * | 2008-09-04 | 2010-03-18 | Japan Weather Association | 気象予測装置、方法及びプログラム |
CN102004856A (zh) * | 2010-11-27 | 2011-04-06 | 中国海洋大学 | 高频观测资料实时数据的快速集合卡曼滤波同化方法 |
CN106339568A (zh) * | 2015-07-08 | 2017-01-18 | 中国电力科学研究院 | 一种基于混合背景场的数值天气预报方法 |
CN107403073A (zh) * | 2017-10-03 | 2017-11-28 | 中国水利水电科学研究院 | 一种基于数据同化改进预报降雨的集合洪水预报方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109492758A (zh) * | 2018-11-28 | 2019-03-19 | 中科赛诺(北京)科技有限公司 | 资料预报方法及系统 |
CN109583568A (zh) * | 2018-11-28 | 2019-04-05 | 中科赛诺(北京)科技有限公司 | 资料延伸方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108182492B (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111191732B (zh) | 一种基于全自动学习的目标检测方法 | |
CN111738165B (zh) | 一种从高分辨率无人机可见光遥感影像中提取单株植物冠层的方法 | |
CN110443862B (zh) | 基于无人机的岩性填图方法及系统、电子设备 | |
CN110442666B (zh) | 一种基于神经网络模型的矿产资源预测方法及系统 | |
KR102328734B1 (ko) | 이미지를 분석하기 위해, 딥러닝 네트워크에 이용하기 위한 트레이닝 이미지에 대한 라벨링 신뢰도를 자동으로 평가하기 위한 방법 및 이를 이용한 신뢰도 평가 장치 | |
CN112200362B (zh) | 一种滑坡的预测方法、装置、设备和存储介质 | |
CN108629452A (zh) | 一种基于多模式多参数集合预报的气象风险决策方法 | |
CN108734219B (zh) | 一种基于全卷积神经网络结构的端到端撞击坑检测与识别方法 | |
US11676375B2 (en) | System and process for integrative computational soil mapping | |
CN112200354A (zh) | 一种滑坡的预测方法、装置、设备和存储介质 | |
CN113360587B (zh) | 一种基于gis技术的土地测绘设备及测绘方法 | |
CN112070103B (zh) | 通过微波链路网格化自适应可变尺度反演大气能见度的方法 | |
CN108182492A (zh) | 一种资料同化方法及装置 | |
CN112200356A (zh) | 一种滑坡的预测方法、装置、设备和存储介质 | |
CN110263836B (zh) | 一种基于多特征卷积神经网络的不良驾驶状态识别方法 | |
CN116883763A (zh) | 一种基于深度学习的汽车零部件缺陷检测方法及系统 | |
CN112200355B (zh) | 一种滑坡的预测方法、装置、设备和存储介质 | |
CN111079783A (zh) | 一种基于多核集成学习识别地层岩性参数的方法 | |
CN107194917A (zh) | 基于dap和arelm的在轨sar图像变化检测方法 | |
CN114419430A (zh) | 一种基于SE-U-Net++模型的耕地地块提取方法及装置 | |
CN111814666B (zh) | 一种复杂林分下的单木参数提取方法、系统、介质及设备 | |
CN112802011A (zh) | 一种基于vgg-bls的风机叶片缺陷检测方法 | |
CN116739739A (zh) | 一种贷款额度评估方法、装置、电子设备及存储介质 | |
CN115861816A (zh) | 一种立体低涡识别方法、装置、存储介质及终端 | |
CN112926681B (zh) | 一种基于深度卷积神经网络的目标检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |