CN116416131A - 目标对象预测方法及装置 - Google Patents
目标对象预测方法及装置 Download PDFInfo
- Publication number
- CN116416131A CN116416131A CN202310109557.8A CN202310109557A CN116416131A CN 116416131 A CN116416131 A CN 116416131A CN 202310109557 A CN202310109557 A CN 202310109557A CN 116416131 A CN116416131 A CN 116416131A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- time interval
- initial
- time period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000009792 diffusion process Methods 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
Abstract
本说明书一个实施例提供目标对象预测方法及装置,其中所述目标对象预测方法包括:确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像;将所述初始要素图像输入扩散模型,获得第二要素图像;根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。通过输入低分辨率的要素图像的方式,减少模型进行对象预测时的计算资源,并通过扩散模型对低分辨率的要素图像进行处理获取高分辨率的要素图像,提高了目标对象要素信息获取的准确性。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及目标对象预测方法。
背景技术
随着气象预测技术的不断发展,针对气象预测的方式逐渐多样化,而现有方案中,通过气象预测模型输入原始分辨率的历史时空图像信息,获得对应的未来时刻的预测结果。
然而,通过原始分辨率进行未来时刻的气象预测的方法,会占用大量的计算资源,并且,获得的预测结果准确性较低。
因此,如何解决上述技术问题,具有十分重要的意义。
发明内容
有鉴于此,本说明书实施例提供了目标对象预测方法。本说明书一个或者多个实施例同时涉及目标对象预测装置,一种气象要素预测方法,一种气象要素预测装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种目标对象预测方法,包括:
确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;
将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
根据本说明书实施例的第二方面,提供了一种目标对象预测装置,包括:
第一图像构建模块,被配置为确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;
第一图像预测模块,被配置为将所述第一要素图像输入对象预测模型中,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
第一图像扩散模块,被配置为将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
第一要素信息确定模块,被配置为根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
根据本说明书实施例的第三方面,提供了一种气象要素预测方法,包括:
确定目标气象要素在历史时间区间的气象要素信息,并根据所述气象要素信息构建所述目标气象要素对应的第一要素图像;
将所述第一要素图像输入气象预测模型中,获得所述目标气象要素在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
根据所述第二要素图像确定所述目标气象要素在所述目标时间区间的目标气象要素信息。
根据本说明书实施例的第四方面,提供了一种气象要素预测装置,包括:
第二图像构建模块,被配置为确定目标气象要素在历史时间区间的气象要素信息,并根据所述气象要素信息构建所述目标气象要素对应的第一要素图像;
第二图像预测模块,被配置为将所述第一要素图像输入气象预测模型中,获得所述目标气象要素在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
第二图像扩散模型,被配置为将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
第二要素信息确定模块,被配置为根据所述第二要素图像确定所述目标气象要素在所述目标时间区间的目标气象要素信息。
根据本说明书实施例的第五方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述目标对象预测方法的步骤以及上述气象要素预测方法。
根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述目标对象预测方法的步骤以及上述气象要素预测方法。
根据本说明书实施例的第七方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述目标对象预测方法的步骤以及上述气象要素预测方法。
本说明书一个实施例提供的目标对象预测方法,通过确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
具体的,通过构建目标对象在历史时间区间的低分辨率的第一要素图像,将低分辨率的第一要素图像输入对象预测模型中,获得预测后的初始要素图像,并将该初始要素图像输入扩散模型中,获得高分辨率的第二要素图像,以及相应的目标对象要素信息,通过输入低分辨率的要素图像的方式,减少模型进行对象预测时的计算资源,加快模型预测的速率,并通过扩散模型对低分辨率的要素图像进行处理获取高分辨率的要素图像,提高了目标对象要素信息获取的准确性。
附图说明
图1是本说明书一个实施例提供的一种目标对象预测方法的场景应用图;
图2是本说明书一个实施例提供的一种目标对象预测方法的流程图;
图3是本说明书一个实施例提供的一种目标对象预测方法的处理过程流程图;
图4是本说明书一个实施例提供的一种目标对象预测方法中的对象预测模型的处理过程示意图;
图5是本说明书一个实施例提供的一种目标对象预测方法中的扩散模型的处理示意图;
图6是本说明书一个实施例提供的一种气象要素预测方法的流程图;
图7是本说明书一个实施例提供的一种目标对象预测装置的结构示意图;
图8是本说明书一个实施例提供的一种气象要素预测装置的结构示意图;
图9是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
SwinRNN(Swin Recurrent Neural Network,即摆动循环神经网络):基于SwinTransformer(即摆动注意力变换)的循环网络。
需要说明的是,本说明书实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
随着气象预测技术的不断发展,针对气象预测的方式逐渐多样化,而现有方案中,通过气象预测模型输入原始分辨率的历史时空图像信息,获得对应的未来时刻的预测结果。
然而,传统数值模式预报计算量大,预报时间长,需要消耗大量的计算资源,并且,基于深度学习的气象预报迅速发展,但是在原始分辨率上进行训练,训练序列长度短,需要在大量GPU资源上训练很长的时间,预测精度和分辨率上还没有优势。
为解决上述技术问题,在本说明书中,提供了目标对象预测方法,本说明书同时涉及目标对象预测装置,一种气象要素预测方法,一种气象要素预测装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种目标对象预测方法的场景应用图,具体包括以下内容。
如图1所示,图1中包括客户端102、服务器104,其中,客户端102包括但不限于台式电脑、笔记本电脑、平板电脑、手机等;服务器104可以理解为云服务器以及物理服务器等。
为了便于理解,本说明书实施例中,均以客户端102为笔记本电脑,服务器104为物理服务器,目标对象为气象,历史时间区间为周一为例,基于该目标对象预测方法,对目标对象在周二的气象要素信息进行预测进行详细说明。
具体实施时,在接收到客户端102发送至服务器104的气象要素温度的气象要素信息的情况下,服务器104根据预设的图像构建方法,构建气象对应的气象要素图像,将气象要素图像输入预训练生成的对象预测模型,通过该对象预测模型对该低分辨率要素图像进行特征提取,获得历史时间区间的第一气象要素特征,进而根据该第一气象要素特征进行气象在历史时间区间的下一时间区间的初始气象要素特征,再根据该初始气象要素特征进行初始要素图像的确定,获得气象在历史时间区间的下一时间区间的初始要素图像。
再将初始要素图像输入预训练的扩散模型,通过扩散模型对该初始要素图像进行随机生成噪声的添加,再逐步进行噪声去除,直到还原生成气象在历史时间区间的下一时间区间的第二要素图像,并根据该第二要素图像确定气象在目标时间区间的目标气象要素信息,并将该目标气象要素信息反馈至客户端102。
具体的,通过构建气象要素在历史时间区间的低分辨率的第一要素图像,将低分辨率的第一要素图像输入对象预测模型中,获得预测后的初始要素图像,并将该初始要素图像输入扩散模型中,获得高分辨率的第二要素图像,以及相应的目标气象要素信息,通过输入低分辨率的要素图像的方式,减少模型进行对象预测时的计算资源,加快模型预测的速率,并通过扩散模型对低分辨率的要素图像进行处理获取高分辨率的要素图像,提高了目标对象要素信息获取的准确性。
参见图2,图2示出了根据本说明书一个实施例提供的一种目标对象预测方法的流程图,具体包括以下步骤。
步骤202:确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像。
其中,目标对象可以理解为需要进行对象预测的对象,例如该目标对象可以为天气、气象等对象,相应的,对象预测则是预测天气、气象等对象在目标时间区间的要素信息变化。
对象要素信息可以理解为从任意第三方平台获取的目标对象对应的基础信息,例如目标对象为气象的情况下,其对应的对象要素信息可以为温度、风速、降水等信息。
历史时间区间可以为进行对象预测之前的时间区间,如历史时间区间可以为周一这一天的24个小时为一个时间区间,相应的,其对应的目标时间区间则可以为周二天这一天的24小时为一个时间区间。
具体的,从任意第三方平台获取目标对象在历史时间区间的基础信息,并根据目标对象在历史时间区间的基础信息构建目标对象对应的第一要素图像。
实际应用中,可能存在对象要素信息为至少两个的情况,则根据每个对象要素信息构建对应的要素图像,再根据每个对象要素信息对应的的要素图像构建目标对象对应的第一要素图像。
本申请实施例通过接收从任意第三方平台获取的目标对象在历史时间区间的对象要素信息,进而根据每个目标对象在历史时间区间的对象要素信息进行目标对象对应的第一要素图像的构建。
步骤204:将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间。
其中,对象预测模型可以理解为根据历史时间区间的对象样本图像,以及对象样本图像对应的样本标签进行预先训练,生成的可以预测目标对象在未来时间区间的初始要素图像的预测模型,例如对象预测模型可以为SwinRNN模型等。
目标时间区间可以是在历史时间区间为周一这一天的情况下,目标时间区间为周二这一天的时间区间。
初始要素图像可以理解为预测出的目标对象在目标时间区间的对象要素信息对应的要素图像。
具体的,通过获取目标对象在历史时间区间的对象要素信息,构建出目标对象对应的第一要素图像,进而将第一要素图像输入预先训练的对象预测模型中,再通过对象预测模型对该第一要素图像进行循环预测,进而获取目标对象在目标时间区间的预定时刻的一个或多个初始要素图像,以便于后续对该一个或多个初始要素图像通过扩散模型进行高分辨率图像扩散,获得更精准的目标对象要素信息。
实际应用中,为了提高初始要素图像预测的准确性,通过对象要素模型对目标对象的对象要素信息进行循环预测,也即,将对象要素模型输出的结果作为目标时间区间中下一时刻循环预测的输入,进而提高预测出的初始要素图像的准确性,其具体实现方式如下所示:
所述将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,包括:
S2、将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的目标时间段的初始要素图像,其中,所述目标时间段为所述目标时间区间内的任一时间段;
S4、在确定所述目标时间段存在下一时间段的情况下,将所述目标时间段的初始要素图像输入所述对象预测模型,获得所述下一时间段的初始要素图像;
S6、将所述下一时间段确定为目标时间段,并继续执行步骤S4。
其中,沿用上例将历史时间区间划分为四个时间段,包括第一时间段,第二时间段,第三时间段,第四时间段,则每个时间段对应六个小时,则目标时间段可以理解为历史时间区间的下一时间区间(即在历史时间区间为周一的情况下,下一时间区间为周二)的第一时间段。
具体的,将通过对象要素信息构建的第一要素图像输入对象预测模型中,通过对象预测模型对该目标对象在目标时间区间的目标时间段进行对象预测,获得目标对象在目标时间区间的目标时间段的初始要素图像(即目标对象在历史时间区间的下一时间段的初始要素图像),并对目标时间段是否存在下一时间段进行判断,并在确定存在下一时间段的情况下,将目标时间段的初始要素图像作为输入,输入到对象预测模型中,进行对象预测,获得目标对象在下一时间段的初始要素图像,并将下一时间段作为目标时间段,重新对目标时间段是否存在下一时间段进行判断。
举例说明,以目标时间段为周二的第一时间段为例,下一时间段为第二时间段为例,对该对象预测模型的循环预测进行说明,具体的,将根据对象要素信息构建的目标对象对应的第一要素图像输入对象预测模型中,获得目标对象在未来时间的第一时间段的初始要素图像,对第一时间段是否存在下一时间段进行判断,并在确定存在第二时间段的情况下,将第一时间段的初始要素图像输入对象预测模型中,获得第二时间段的初始要素图像,并重新对第二时间段是否存在下一时间段(即第三时间段)进行判断,并在确定存在的情况下,继续执行初始要素图像的重新输入。
实际应用中,在将初始要素图像输入对象预测模型之后,均可以获得一个对应的下一时间段的初始要素图像,即在存在目标时间区间的第一时间段、第二时间段、第三时间段,三个时间段的情况下,会获得每个时间段对应的总计三个初始要素图像。
此外,为了保证循环的完整性,避免循环的一直执行,在对目标时间段是否存在下一时间段,并确定不存在下一时间段的情况下,结束循环的执行,其具体实现方式如下所示:
所述获得所述目标对象在目标时间区间的目标时间段的初始要素图像之后,还包括:
在确定所述目标时间段不存在下一时间段的情况下,结束步骤执行。
具体的,将第一要素图像输入对象预测模型之后,对目标时间段是否存在下一时间段进行判断,并在确定目标时间段不存在下一时间段的情况下,结束步骤的执行(即步骤S4在确定所述目标时间段存在下一时间段的情况下,将所述目标时间段的初始要素图像输入所述对象预测模型,获得所述下一时间段的初始要素图像)。
而在将目标时间区间的第一要素图像输入对象预测模型之后,即可通过对象预测模型对该第一要素图像进行特征提取,进而获取第一要素图像的特征信息,并根据特征信息进行历史时间区间的下一时间区间的初始要素图像的确定,提高初始要素图像预测的准确性,其具体实现方式如下所示:
所述将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,包括:
将所述第一要素图像输入对象预测模型,在所述对象预测模型中对所述第一要素图像进行特征提取,获得所述第一要素图像对应的第一要素特征;
根据所述第一要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素特征;
根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像。
具体的,将目标对象在历史时间区间的第一要素图像输入对象预测模型,通过所述对象预测模型中的特征卷积模块对该第一要素图像进行特征提取,获得第一要素图像对应的第一要素特征,并通过对象预测模型中的特征卷积模块对该第一要素特征进行特征处理,获得历史时间区间在下一时间区间的初始要素特征,进而根据对象预测模型中的特征处理层对该初始要素特征进行相应的处理,获得历史时间区间的下一时间区间的初始要素图像,实现目标对象在历史时间区间的下一时间区间的初始要素图像的预测。
此外,在通过对象预测模型中的图像解码层对该第一要素特征进行处理,获得历史时间区间的下一时间区间的初始要素特征过程中,为了提高初始要素特征获取的准确性,可以通过获取历史时间区间的中每个时间段的初始要素特征,进而获得历史时间区间的初始要素特征,其具体实现方式如下所示:
确定所述目标对象在所述历史时间区间的下一时间区间的初始要素特征,包括:
根据所述第一要素特征,确定所述目标对象在目标时间段的初始要素特征,其中,所述目标时间段为所述历史时间区间的下一时间区间内的任一时间段。
具体的,在通过图像解码层的一个或多个摆动注意力变换模块对输入的第一要素编码特征、以及历史时间区间的指定时间段的对象要素信息进行特征处理,获得历史时间区间的指定时间段对应的第一要素特征之后,通过图像解码层的特征卷积模块对该第一要素特征进行特征卷积操作,获得目标对象在历史时间区间的下一时间区间的任一时间段的初始要素特征。
举例说明,在历史时间区间的指定时间段为第四时间段的情况下,将第四时间段对应的第一要素特征传递至图像解码层的特征卷积模块,通过该特征卷积处理模型进行相应的特征处理操作,获得历史时间区间的下一时间区间的任一时间段,如周二的第一时间段的初始要素特征,实现初始要素特征的快速获取。
而在通过图像编码层的特征卷积模块对第一要素特征进行特征卷积操作,获得目标对象在历史时间区间的下一时间区间的任一时间段的初始要素特征之后,即可通过图像解码层的特征卷积模块,对该初始要素特征进行处理,获得目标对象在历史时间区间的下一时间区间的任一时间段的初始要素图像,实现初始要素图像的准确预测,其具体实现方式如下所示:
确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像,包括:
根据所述初始要素特征,确定所述目标对象在所述目标时间段的初始要素图像,其中,所述目标时间段为所述历史时间区间的下一时间区间内的任一时间段。
具体的,在通过图像解码层的特征卷积模块对该第一要素特征进行特征卷积操作,获得目标对象在历史时间区间的下一时间区间的任一时间段的初始要素特征之后,即可将该初始要素特征输入到相应的特征卷积模块,通过该特征卷积模块对该初始要素特征进行特征卷积,获得目标对象在历史时间区间的下一时间区间的任一时间段的初始要素图像。
实际应用中,可能出现要素特征在向下一模块进行传递的过程中,出现特征信息丢失的问题出现,进而造成初始要素图像预测不准确,甚至预测错误的情况,因此,在通过初始要素特征进行卷积处理获得初始要素图像的过程中,可以通过结合历史时间区间中的指定时间段的对象要素信息的方式,进而提高初始要素图像预测的准确性,其具体实现方式如下所示:
所述根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像,包括:
在所述对象预测模型的图像解码层,对所述初始要素特征进行卷积处理,并将处理结果与所述历史时间区间中的指定时间段的对象要素信息进行残差处理,获得所述目标对象在所述历史时间区间的下一时间区间的初始要素图像。
其中,残差处理可以理解为结合前面的输入与后面的输出,进行相应的卷积处理。
具体的,在将初始要素特征输入特征卷积模块,进行初始要素图像的预测过程中,结合历史时间区间中的指定时间段的对象要素信息与初始要素特征,进行相应的残差处理操作,进而获得目标对象在历史时间区间的下一时间区间的初始要素图像,避免造成初始要素图像预测不准确,甚至预测错误的情况出现。
实际应用中,在预测出目标对象在历史时间区间的下一时间区间的初始要素图像之后,仍需要对目标时间段是否存在预设的下一时间段进行判断,并在确定存在下一时间段的情况下,进行下一时间段的初始要素特征以及初始要素图像的预测,通过前一时间段的预测结果作为下一时间段的输入,进行下一时间段的初始要素特征以及初始要素图像的预测,提高预测结果的准确性,以及未来时间多个时间段的预测结果的快速获取,其具体实现方式如下所示:
所述根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像之后,还包括:
在确定所述目标时间段存在下一时间段的情况下,将所述目标时间段的初始要素特征以及初始要素图像,继续输入所述对象预测模型的图像解码层进行特征处理,获得所述下一时间段的初始要素特征以及初始要素图像。
具体的,在获取目标时间段的初始要素图像之后,需要对是否存在目标时间段的下一时间段进行判断,并在确定存在目标时间段对应的下一时间段的情况下,将目标时间段的初始要素特征以及初始要素图像作为输入,再次输入对象预测模型的图像解码层,通过图像解码层进行相应的预测处理,获得下一时间段的初始要素特征以及初始要素图像;并对该下一时间段进行判断,是否存在下一时间段对应的下一时间段。即在目标时间段为周二的第一时间段,在确定目标时间段存在下一时间段,如第二时间段的情况下,将预测出的第一时间段的初始要素图像以及初始要素信息作为输入,再次进行第二时间段的初始要素信息以及初始要素图像的预测。
实际应用中,在对象预测模型中对第一要素图像进行特征提取,并向下一网络层进行传递的过程中,可能会存在特征向量递减或丢失的问题,进而为了提高后续特征处理以及特征预测的准确性,需要结合历史时间区间中原始的对象要素信息进行对象要素的预测,其具体实现方式如下所示:
所述在所述对象预测模型中对所述第一要素图像进行特征提取,获得所述第一要素图像对应的第一要素特征,包括:
在所述对象预测模型中,根据所述对象预测模型中的图像编码层对所述第一要素图像进行特征编码,获得第一要素编码特征;
将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层,获得所述第一要素图像对应的第一要素特征。
其中,图像编码层可以理解为对象预测模型中对图像进行图像编码,以较少比特数表示图像或图像中所包含的信息,以供计算机进行识别的网络层,例如该图像编码层可以包括cube embedding(即立方体编码层)、Swin Transformer Block(即摆动注意力变换模块),其中,该摆动注意力变换模块可以为一个或多个。
指定时间段可以理解为历史时间区间中的任一时间段,例如历史时间区间中距离当前时刻最新的时间段。
图像解码层可以理解为在对象预测模型中,对该要素编码特征进行特征的解码特征提取操作,进而预测出目标对象在历史时间区间的下一时间区间的初始要素特征的网络层。
实际应用中,在将第一要素图像输入对象预测模型中之后,根据对象预测模型中的立方体编码层对该第一要素图像进行图像编码操作,生成计算机可识别的要素编码信息,再通过摆动注意力变换模块对该要素编码信息进行特征提取操作,获得第一要素图像对应的第一要素编码特征;将第一要素编码特征以及历史时间区间中的指定时间段(如在历史时间区间为周一的情况下,指定时间段为第四时间段)对应的对象要素信息,输入到对象预测模型的图像解码层,根据该图像解码层对该第一要素编码特征以及该指定时间段的对象要素信息,进行一个或多次的下采样操作,并且,为了后续预测结果的准确性将下采样操作获得采样结果进行聚合,进而获得第一要素图像对应的第一要素特征,以便于后续根据该第一要素特征进行历史时间区间的下一时间区间的初始要素图像的确定。
而在通过对象预测模型中的图像解码层,对第一要素编码特征以及历史时间区间中的指定时间段的对象要素信息,进行特征提取的过程中,具体通过图像解码层对应的卷积层进行多次卷积处理,并且,为了避免在将提取出的特征向下一卷积层进行传递的过程中,出现特征丢失的问题,可以通过聚合每次卷积处理生成的卷积特征,进而提高后续要素特征预测准确性,其具体实现方式如下所示:
所述将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层,获得所述第一要素图像对应的第一要素特征,包括:
将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层;
在所述对象预测模型的图像解码层中,对所述历史时间区间中的指定时间段的对象要素信息进行卷积处理,获得第一要素卷积特征;
将所述第一要素编码特征以及所述第一要素卷积特征进行特征聚合处理,获得所述第一要素图像对应的第一要素特征。
具体的,将通过特征编码层对第一要素图像进行特征编码生成的第一要素编码特征、以及历史时间区间中最新时间段(即指定时间段)的对象要素信息,输入对象预测模型的图像解码层,通过对象预测模型的图像解码层中的卷积层,对历史时间区间中最新时间段的对象要素信息进行卷积处理,获得最新时间段的对象要素信息对应的第一要素卷积特征,再将第一要素编码特征以及第一要素卷积特征进行聚合,通过图像解码层的SwinTransformer层(即摆动注意力变换层)对聚合结果进行相应的一次或多次特征卷积处理,在每次特征抽取之后都进行一次下采样,增加了下一次窗口注意力运算在原始图像上的感受野,从而对输入的要素信息进行了多尺度的特征提取,并且,对每次特征卷积处理操作之后生成的特征卷积处理结果进行聚合,获得第一要素图像对应的第一要素特征。
本说明书实施例通过对象预测模型对获取第一要素图像进行相应的对象预测,并对目标对象是否存在下一时间段进行判断,进而实现每个时间段的初始要素图像的循环预测,提高初始要素图像预测的准确性,进一步提高初始要素图像预测的速率。
步骤206:将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率。
其中,扩散模型可以理解为预先训练的进行图像生成的模型。
具体的,将初始要素图像输入扩散模型,通过扩散模型对该初始要素图像进行随机生成噪声的添加,再逐步进行噪声去除,直到还原生成目标对象在历史时间区间的下一时间区间的第二要素图像。
需要说明的是,第二要素图像可以是比初始要素图像或者第一要素图像分辨率高的图像,例如在第一要素图像的空间分辨率为1.4度的情况下,初始要素图像的空间分辨率仍为1.4度,而通过将初始要素图像输入扩散模型获得的第二要素图像,其空间分辨率可以为0.25度,进而实现更小范围的目标对象的预测,进一步提高目标对象预测的准确性。
实际应用中,在通过扩散模型进行图像的扩散操作之前,需要对扩散模型进行预先的训练,以对象为气象,历史时间区间为周一为例,对该扩散模型的训练过程进行说明,具体的,获取周一的对象要素信息,根据该对象要素信息进行气象的第一要素图像的构建,并将该第一要素图像输入扩散模型中,在扩散模型中进行噪声的随机添加,输出的结果与添加的噪声进行损失函数的计算,并基于该损失函数进行扩散模型的再次训练,生成训练好的扩散模型,进而在后续操作中根据该扩散模型进行高分辨率要素图像的生成。
本说明书实施例通过预先训练生成对应的扩散模型,进而根据该扩散模型对低分辨率的图像进行图像生成,生成目标对象高分辨率的要素图像,进而预测出更小范围的对象图像信息,进一步提高对象预测结果的准确性。
步骤208:根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
具体的,根据预设的信息确定方法,对该第二要素图像进行图像识别,确定出目标对象在目标时间区间的目标对象要素信息。其中,预设的信息确定方法可以为任意预先训练图像识别模型,进而根据该图像识别模型进行第二要素图像的识别。
本说明书实施例通过将预测获取的第二要素图像进行图像识别,进而从第二要素图像中确定出目标对象在目标时间区间的目标对象要素信息,使得预测生成的结果更有利于开发人员等进行理解。
本说明书一个实施例提供的目标对象预测方法,通过确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
具体的,通过构建目标对象在历史时间区间的低分辨率的第一要素图像,将低分辨率的第一要素图像输入对象预测模型中,获得预测后的初始要素图像,并将该初始要素图像输入扩散模型中,获得高分辨率的第二要素图像,以及相应的目标对象要素信息,通过输入低分辨率的要素图像的方式,减少模型进行对象预测时的计算资源,加快模型预测的速率,并通过扩散模型对低分辨率的要素图像进行处理获取高分辨率的要素图像,提高了目标对象要素信息获取的准确性。
下述结合附图3,以本说明书提供的目标对象预测方法在气象要素预测的应用为例,对所述目标对象预测方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的一种目标对象预测方法的处理过程流程图,具体包括以下步骤。
步骤302:获取待预测气象要素在历史时间区间的气象要素信息,并根据气象要素信息构建待预测气象要素对应的低分辨气象要素图像。
其中,待预测气象要素包括气象、天气等要素,相应的,气象要素信息可以为温度、气压、风速等信息。
具体的,从任意第三方获取,或者接收任意第三方发送的待预测气象要素的气象要素信息,进而根据预设的图像构建方法,构建待预测气象要素对应的低分辨率气象要素图像。
步骤304:将低分辨要素图像输入预训练的对象预测模型,获得待预测气象要素在历史时间区间的下一时间区间的初始要素图像。
其中,该对象预测模型可以理解为SwinRNN模型。
具体的,将低分辨气象要素图像输入预训练生成的对象预测模型,通过该对象预测模型对该低分辨率要素图像进行特征提取,获得历史时间区间的第一气象要素特征,进而根据该第一气象要素特征进行待预测气象要素在历史时间区间的下一时间区间的初始气象要素特征,再根据该初始气象要素特征进行初始要素图像的确定,获得待预测气象要素在历史时间区间的下一时间区间的初始要素图像。
参见图4,图4示出了本说明书一个实施例提供的一种目标对象预测方法中的对象预测模型的处理过程示意图,具体包括以下内容。
将低分辨率要素图像输入对象预测模型,通过该对象预测模型的图像编码层中的立方体编码模块进行图像编码处理,生成计算机可识别处理的第一要素编码信息,再通过图像编码层中的摆动注意力变化模块对该第一要素编码信息进行特征提取,获得第一要素编码特征,进而将该第一要素编码特征,以及待预测气象要素在历史时间区间中最新时间区间对应的低分辨率气象要素图像传输至图像解码层。其中,摆动注意力变换模块可以为6个。
根据图像解码层中的特征卷积层对该最新时间区间对应的低分辨率气象要素图像进行特征卷积操作,生成的结果与该第一要素编码特征进行聚合,经过特征卷积层以及多个Swin卷积层进行特征提取,并将每次Swin卷积层输出的特征提取结果进行聚合,再经过另一特征卷积层生成待预测气象要素信息在历史时间区间的下一时间区间的初始要素特征。
根据该初始要素特征以及最新时间区间对应的低分辨率气象要素图像进行残差连接,生成待预测气象要素信息在历史时间区间的下一时间区间的初始要素图像。
判断该待预测气象要素是否存在下一时间区间,并在确定存在下一时间区间的情况下,将待预测气象要素信息在历史时间区间的下一时间区间的初始要素图像,以及待预测气象要素信息在历史时间区间的下一时间区间的初始要素特征,作为输入再次输入该对象预测模型的图像解码层,进行下一时间区间的初始要素特征以及初始要素图像的预测。
步骤306:将初始要素图像输入预训练的扩散模型,获得待预测气象要素的高分辨率气象要素图像。
具体的,将初始要素图像输入预训练的扩散模型,通过扩散模型对该初始要素图像进行随机生成噪声的添加,再逐步进行噪声去除,直到还原生成待预测气象要素在历史时间区间的下一时间区间的第二要素图像。
参见图5示出了本说明书一个实施例提供的一种目标对象预测方法中的扩散模型的处理示意图,具体包括以下内容。
具体的,Xk+1的要素图像为通过对象预测模型预测生成的目标时间段的初始要素图像,将该初始要素图像输入扩散模型中,获得Yk+1对应的要素图像,并且,Yk+1为空间分辨率大于Xk+1空间分辨率的要素图像,通过扩散模型实现低分辨率要素图像生成高分辨率要素图像的,进而获取更精确的对象预测结果。
上述步骤302-306的具体实现方式与上述实施例的一种目标对象预测方法中的具体实现方式一致,在此不再详细论述,细节均可参见上述实施例的一种目标对象预测方法。
本说明书实施例通过把高分辨率图像预测解耦成两个模块:基于循环结构SwinRNN的低分预测;基于扩散模型的分辨率扩散;减少了显存计算量,可以在更长的历史时空序列上进行模型的训练以及应用。并且,改进的SwinRNN(即对象预测模型)循环预测提高了气象预测指标;基于扩散模型的分辨率扩散提高了空间分辨率和预报的准确性。
图6示出了本说明书一个实施例提供的一种气象要素预测方法的流程图,具体包括以下步骤。
步骤602:确定目标气象要素在历史时间区间的气象要素信息,并根据所述气象要素信息构建所述目标气象要素对应的第一要素图像。
其中,目标气象要素包括气象、天气等要素,相应的,气象要素信息可以为温度、气压、风速等信息。
具体的,从任意第三方获取,或者接收任意第三方发送的目标气象要素的气象要素信息,进而根据预设的图像构建方法,构建目标气象要素对应的低分辨率气象要素图像。
步骤604:将所述第一要素图像输入气象预测模型中,获得所述目标气象要素在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间。
具体的,将第一要素图像输入预训练生成的对象预测模型,通过该对象预测模型对该第一要素图像进行特征提取,获得历史时间区间的第一气象要素特征,进而根据该第一气象要素特征进行目标气象要素在历史时间区间的下一时间区间的初始气象要素特征,再根据该初始气象要素特征进行初始要素图像的确定,获得目标气象要素在历史时间区间的下一时间区间的初始要素图像。
步骤606:将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率。
具体的,将初始要素图像输入预训练的扩散模型,通过扩散模型对该初始要素图像进行随机生成噪声的添加,再逐步进行噪声去除,直到还原生成目标气象要素在历史时间区间的下一时间区间的第二要素图像。
步骤608:根据所述第二要素图像确定所述目标气象要素在所述目标时间区间的目标气象要素信息。
具体的,根据预设的信息确定方法,对该第二要素图像进行图像识别,确定出目标对象在目标时间区间的目标对象要素信息。其中,预设的信息确定方法可以为任意预先训练图像识别模型,进而根据该图像识别模型进行第二要素图像的识别。
上述步骤602-608的具体实现方式与上述实施例的一种目标对象预测方法中的具体实现方式一致,在此不再详细论述,细节均可参见上述实施例的一种目标对象预测方法。
本说明书另一实施例提供的气象要素预测方法,通过确定目标气象要素在历史时间区间的气象要素信息,并根据所述气象要素信息构建所述目标气象要素对应的第一要素图像;将所述第一要素图像输入气象预测模型中,获得所述目标气象要素在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;根据所述第二要素图像确定所述目标气象要素在所述目标时间区间的目标气象要素信息。
具体的,通过构建目标气象要素在历史时间区间的低分辨率的第一要素图像,将低分辨率的第一要素图像输入对象预测模型中,获得预测后的初始要素图像,并将该初始要素图像输入扩散模型中,获得高分辨率的第二要素图像,以及相应的目标气象要素信息通过输入低分辨率的要素图像的方式,减少模型进行对象预测时的计算资源,加快模型预测的速率,并通过扩散模型对低分辨率的要素图像进行处理获取高分辨率的要素图像,提高了目标对象要素信息获取的准确性。
与上述方法实施例相对应,本说明书还提供了目标对象预测装置实施例,图7示出了本说明书一个实施例提供的一种目标对象预测装置的结构示意图。如图7所示,该装置包括:
第一图像构建模块702,被配置为确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;
第一图像预测模块704,被配置为将所述第一要素图像输入对象预测模型中,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
第一图像扩散模块706,被配置为将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
第一要素信息确定模块708,被配置为根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
可选地,所述第一图像预测模块704,进一步被配置为:
S2、将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的目标时间段的初始要素图像,其中,所述目标时间段为所述目标时间区间内的任一时间段;
S4、在确定所述目标时间段存在下一时间段的情况下,将所述目标时间段的初始要素图像输入所述对象预测模型,获得所述下一时间段的初始要素图像;
S6、将所述下一时间段确定为目标时间段,并继续执行步骤S4。
可选地,所述装置,还包括:
步骤结束模块,被配置为:
在确定所述目标时间段不存在下一时间段的情况下,结束步骤执行。
可选地,所述第一图像预测模块704,进一步被配置为:
将所述第一要素图像输入对象预测模型,在所述对象预测模型中对所述第一要素图像进行特征提取,获得所述第一要素图像对应的第一要素特征;
根据所述第一要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素特征;
根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像。
可选地,所述第一图像预测模块704,进一步被配置为:
在所述对象预测模型中,根据所述对象预测模型中的图像编码层对所述第一要素图像进行特征编码,获得第一要素编码特征;
将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层,获得所述第一要素图像对应的第一要素特征。
可选地,所述第一图像预测模块704,进一步被配置为:
将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层;
在所述对象预测模型的图像解码层中,对所述历史时间区间中的指定时间段的对象要素信息进行卷积处理,获得第一要素卷积特征;
将所述第一要素编码特征以及所述第一要素卷积特征进行特征聚合处理,获得所述第一要素图像对应的第一要素特征。
可选地,所述第一图像预测模块704,进一步被配置为:
根据所述第一要素特征,确定所述目标对象在目标时间段的初始要素特征,其中,所述目标时间段为所述历史时间区间的下一时间区间内的任一时间段。
可选地,所述第一图像预测模块704,进一步被配置为:
根据所述初始要素特征,确定所述目标对象在所述目标时间段的初始要素图像,其中,所述目标时间段为所述历史时间区间的下一时间区间内的任一时间段。
可选地,所述装置,还包括:
循环获取模块,被配置为:
在确定所述目标时间段存在下一时间段的情况下,将所述目标时间段的初始要素特征以及初始要素图像,继续输入所述对象预测模型的图像解码层进行特征处理,获得所述下一时间段的初始要素特征以及初始要素图像。
可选地,所述第一图像预测模块704,进一步被配置为:
在所述对象预测模型的图像解码层,对所述初始要素特征进行卷积处理,并将处理结果与所述历史时间区间中的指定时间段的对象要素信息进行残差处理,获得所述目标对象在所述历史时间区间的下一时间区间的初始要素图像。
本说明书一个实施例提供的目标对象预测装置,通过确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
具体的,通过构建目标对象在历史时间区间的低分辨率的第一要素图像,将低分辨率的第一要素图像输入对象预测模型中,获得预测后的初始要素图像,并将该初始要素图像输入扩散模型中,获得高分辨率的第二要素图像,以及相应的目标对象要素信息,通过输入低分辨率的要素图像的方式,减少模型进行对象预测时的计算资源,加快模型预测的速率,并通过扩散模型对低分辨率的要素图像进行处理获取高分辨率的要素图像,提高了目标对象要素信息获取的准确性。
上述为本实施例的一种目标对象预测装置的示意性方案。需要说明的是,该目标对象预测装置的技术方案与上述的目标对象预测方法的技术方案属于同一构思,目标对象预测装置的技术方案未详细描述的细节内容,均可以参见上述目标对象预测方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了气象要素预测装置实施例,图8示出了本说明书一个实施例提供的一种气象要素预测装置的结构示意图。如图8所示,该装置包括:
第二图像构建模块802,被配置为确定目标气象要素在历史时间区间的气象要素信息,并根据所述气象要素信息构建所述目标气象要素对应的第一要素图像;
第二图像预测模块804,被配置为将所述第一要素图像输入气象预测模型中,获得所述目标气象要素在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
第二图像扩散模型806,被配置为将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
第二要素信息确定模块808,被配置为根据所述第二要素图像确定所述目标气象要素在所述目标时间区间的目标气象要素信息。
本说明书一个实施例提供的气象要素预测装置,通过确定目标气象要素在历史时间区间的气象要素信息,并根据所述气象要素信息构建所述目标气象要素对应的第一要素图像;将所述第一要素图像输入气象预测模型中,获得所述目标气象要素在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;根据所述第二要素图像确定所述目标气象要素在所述目标时间区间的目标气象要素信息。
具体的,通过构建目标气象要素在历史时间区间的低分辨率的第一要素图像,将低分辨率的第一要素图像输入对象预测模型中,获得预测后的初始要素图像,并将该初始要素图像输入扩散模型中,获得高分辨率的第二要素图像,以及相应的目标气象要素信息,通过输入低分辨率的要素图像的方式,减少模型进行对象预测时的计算资源,加快模型预测的速率,并通过扩散模型对低分辨率的要素图像进行处理获取高分辨率的要素图像,提高了目标对象要素信息获取的准确性。
上述为本实施例的一种气象要素装置的示意性方案。需要说明的是,该气象要素装置的技术方案与上述的气象要素方法的技术方案属于同一构思,气象要素装置的技术方案未详细描述的细节内容,均可以参见上述气象要素方法的技术方案的描述。
图9示出了根据本说明书一个实施例提供的一种计算设备900的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接,数据库950用于保存数据。
计算设备900还包括接入设备940,接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE902.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)。
在本说明书的一个实施例中,计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图9所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中,处理器920用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述目标对象预测方法以及气象要素预测方法的步骤。上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的目标对象预测方法以及气象要素预测方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述目标对象预测方法以及气象要素预测方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述目标对象预测方法以及气象要素预测方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的目标对象预测方法以及气象要素预测方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述目标对象预测方法以及气象要素预测方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述目标对象预测方法以及气象要素预测方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的目标对象预测方法以及气象要素预测方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述目标对象预测方法以及气象要素预测方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种目标对象预测方法,包括:
确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;
将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
2.根据权利要求1所述的目标对象预测方法,所述将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,包括:
S2、将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的目标时间段的初始要素图像,其中,所述目标时间段为所述目标时间区间内的任一时间段;
S4、在确定所述目标时间段存在下一时间段的情况下,将所述目标时间段的初始要素图像输入所述对象预测模型,获得所述下一时间段的初始要素图像;
S6、将所述下一时间段确定为目标时间段,并继续执行步骤S4。
3.根据权利要求2所述的目标对象预测方法,所述获得所述目标对象在目标时间区间的目标时间段的初始要素图像之后,还包括:
在确定所述目标时间段不存在下一时间段的情况下,结束步骤执行。
4.根据权利要求1所述的目标对象预测方法,所述将所述第一要素图像输入对象预测模型,获得所述目标对象在目标时间区间的初始要素图像,包括:
将所述第一要素图像输入对象预测模型,在所述对象预测模型中对所述第一要素图像进行特征提取,获得所述第一要素图像对应的第一要素特征;
根据所述第一要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素特征;
根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像。
5.根据权利要求4所述的目标对象预测方法,所述在所述对象预测模型中对所述第一要素图像进行特征提取,获得所述第一要素图像对应的第一要素特征,包括:
在所述对象预测模型中,根据所述对象预测模型中的图像编码层对所述第一要素图像进行特征编码,获得第一要素编码特征;
将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层,获得所述第一要素图像对应的第一要素特征。
6.根据权利要求5所述的目标对象预测方法,所述将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层,获得所述第一要素图像对应的第一要素特征,包括:
将所述第一要素编码特征以及、所述历史时间区间中的指定时间段的对象要素信息,输入所述对象预测模型的图像解码层;
在所述对象预测模型的图像解码层中,对所述历史时间区间中的指定时间段的对象要素信息进行卷积处理,获得第一要素卷积特征;
将所述第一要素编码特征以及所述第一要素卷积特征进行特征聚合处理,获得所述第一要素图像对应的第一要素特征。
7.根据权利要求4所述的目标对象预测方法,所述根据所述第一要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素特征,包括:
根据所述第一要素特征,确定所述目标对象在目标时间段的初始要素特征,其中,所述目标时间段为所述历史时间区间的下一时间区间内的任一时间段。
8.根据权利要求7所述的目标对象预测方法,所述根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像,包括:
根据所述初始要素特征,确定所述目标对象在所述目标时间段的初始要素图像,其中,所述目标时间段为所述历史时间区间的下一时间区间内的任一时间段。
9.根据权利要求8所述的目标对象预测方法,所述根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像之后,还包括:
在确定所述目标时间段存在下一时间段的情况下,将所述目标时间段的初始要素特征以及初始要素图像,继续输入所述对象预测模型的图像解码层进行特征处理,获得所述下一时间段的初始要素特征以及初始要素图像。
10.根据权利要求4所述的目标对象预测方法,所述根据所述初始要素特征,确定所述目标对象在所述历史时间区间的下一时间区间的初始要素图像,包括:
在所述对象预测模型的图像解码层,对所述初始要素特征进行卷积处理,并将处理结果与所述历史时间区间中的指定时间段的对象要素信息进行残差处理,获得所述目标对象在所述历史时间区间的下一时间区间的初始要素图像。
11.一种目标对象预测装置,包括:
第一图像构建模块,被配置为确定目标对象在历史时间区间的对象要素信息,并根据所述对象要素信息构建所述目标对象对应的第一要素图像;
第一图像预测模块,被配置为将所述第一要素图像输入对象预测模型中,获得所述目标对象在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
第一图像扩散模块,被配置为将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
第一要素信息确定模块,被配置为根据所述第二要素图像确定所述目标对象在所述目标时间区间的目标对象要素信息。
12.一种气象要素预测方法,包括:
确定目标气象要素在历史时间区间的气象要素信息,并根据所述气象要素信息构建所述目标气象要素对应的第一要素图像;
将所述第一要素图像输入气象预测模型中,获得所述目标气象要素在目标时间区间的初始要素图像,其中,所述目标时间区间为所述历史时间区间的下一时间区间;
将所述初始要素图像输入扩散模型,获得第二要素图像,其中,所述第二要素图像的分辨率,大于所述第一要素图像以及所述初始要素图像的分辨率;
根据所述第二要素图像确定所述目标气象要素在所述目标时间区间的目标气象要素信息。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10或12任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10或12任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310109557.8A CN116416131A (zh) | 2023-02-03 | 2023-02-03 | 目标对象预测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310109557.8A CN116416131A (zh) | 2023-02-03 | 2023-02-03 | 目标对象预测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116416131A true CN116416131A (zh) | 2023-07-11 |
Family
ID=87055568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310109557.8A Pending CN116416131A (zh) | 2023-02-03 | 2023-02-03 | 目标对象预测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116416131A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117907965A (zh) * | 2024-03-19 | 2024-04-19 | 江苏省气象台 | 面向对流风暴精细结构的三维雷达回波临近预报方法 |
-
2023
- 2023-02-03 CN CN202310109557.8A patent/CN116416131A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117907965A (zh) * | 2024-03-19 | 2024-04-19 | 江苏省气象台 | 面向对流风暴精细结构的三维雷达回波临近预报方法 |
CN117907965B (zh) * | 2024-03-19 | 2024-05-24 | 江苏省气象台 | 面向对流风暴精细结构的三维雷达回波临近预报方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110288049B (zh) | 用于生成图像识别模型的方法和装置 | |
JP7344900B2 (ja) | 教師付き機械学習問題用のニューラルネットワークアーキテクチャの選択 | |
CN113313022B (zh) | 文字识别模型的训练方法和识别图像中文字的方法 | |
CN113436620B (zh) | 语音识别模型的训练方法、语音识别方法、装置、介质及设备 | |
CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
CN113642740B (zh) | 模型训练方法及装置、电子设备和介质 | |
WO2023179609A1 (zh) | 一种数据处理方法及装置 | |
CN113469399A (zh) | 业务预测方法及装置 | |
CN111915086A (zh) | 异常用户预测方法和设备 | |
CN116416131A (zh) | 目标对象预测方法及装置 | |
CN111310995A (zh) | 基于卷积神经网络的业务预测方法以及装置 | |
US12106555B2 (en) | Method and device for retrieving image | |
CN117290477A (zh) | 一种基于二次检索增强的生成式建筑知识问答方法 | |
CN115374950A (zh) | 样本检测方法、样本检测装置、电子设备及存储介质 | |
CN117787380A (zh) | 模型获取方法、装置、介质及设备 | |
CN113642635A (zh) | 模型训练方法及装置、电子设备和介质 | |
CN116363457B (zh) | 任务处理、图像分类、任务处理模型的数据处理方法 | |
CN117351330A (zh) | 图像处理方法、图像处理模型的训练方法、装置和设备 | |
CN115690544B (zh) | 多任务学习方法及装置、电子设备和介质 | |
CN116704433A (zh) | 基于上下文感知关系预测编码的自监督群体行为识别方法 | |
CN114120180B (zh) | 一种时序提名的生成方法、装置、设备及介质 | |
CN115049730A (zh) | 零件装配方法、装置、电子设备及存储介质 | |
CN114299517A (zh) | 图像处理方法、装置、设备、存储介质及计算机程序产品 | |
CN113282821A (zh) | 基于高维会话数据融合的智能应用预测方法、装置及系统 | |
CN115496175A (zh) | 新建边缘节点接入评估方法、装置、终端设备及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |