CN110824587B - 图像预测方法、装置、计算机设备和存储介质 - Google Patents

图像预测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110824587B
CN110824587B CN201911059990.5A CN201911059990A CN110824587B CN 110824587 B CN110824587 B CN 110824587B CN 201911059990 A CN201911059990 A CN 201911059990A CN 110824587 B CN110824587 B CN 110824587B
Authority
CN
China
Prior art keywords
image
image sequence
training
sequence
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201911059990.5A
Other languages
English (en)
Other versions
CN110824587A (zh
Inventor
周康明
魏文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN201911059990.5A priority Critical patent/CN110824587B/zh
Publication of CN110824587A publication Critical patent/CN110824587A/zh
Application granted granted Critical
Publication of CN110824587B publication Critical patent/CN110824587B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/10Devices for predicting weather conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像预测方法、装置、计算机设备和存储介质。所述方法包括:获取历史图像序列;所述历史图像序列中包括多帧按照时间顺序排列的历史图像;按照预设规则对所述历史图像序列进行拆分,得到多个历史图像子序列;将多个所述历史图像子序列分别输入到预先训练的多个预测模型中,得到各所述预测模型输出的候选图像序列;根据多个所述候选图像序列得到预测的目标图像序列。通过本发明实施例,降低了预测模型的训练难度和图像的预测难度。

Description

图像预测方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像预测方法、装置、计算机设备和存储介质。
背景技术
随着科技的发展,人工智能(Artificial Intelligence,AI)应用到了各个领域。其中,人工智能应用在气象领域进行天气预测,使人们能够及时、准确掌握天气的现状和变化趋势,为人们的工作和生活带来了极大地便利。
相关技术中,根据雷达探测到的一段时间的气象图像预测出未来一段时间的气象图像。由于得到的是长序列图像,因此需要训练一个可以根据长序列图像进行预测的循环神经网络(Recurrent Neural Network,RNN)。
但是,由于循环神经网络在训练中可能会出现梯度消失问题而导致训练失败,因此根据长序列图像进行天气预测较难实现。
发明内容
基于此,有必要针对上述技术问题,提供一种能够根据长序列图像进行天气预测的图像预测方法、装置、计算机设备和存储介质。
第一方面,本发明实施例提供了一种图像预测方法,该方法包括:
获取历史图像序列;历史图像序列中包括多帧按照时间顺序排列的历史图像;
按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列;
将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;
根据多个候选图像序列得到预测的目标图像序列。
在其中一个实施例中,在上述将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列之前,该方法还包括:
获取训练图像集合;训练图像集合中包括多个训练图像序列,各训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督;
基于训练图像集合进行深度学习模型的训练,得到多个预测模型。
在其中一个实施例中,上述基于训练图像集合进行深度学习模型的训练,得到多个预测模型,包括:
针对各预测模型,以第一训练图像子序列作为输入,以第二训练图像子序列作为监督进行预测模型的训练;
以预测模型输出的预测图像序列作为输入,以第二训练图像子序列作为监督进行鉴别器的训练;
根据鉴别器输出的鉴别标签和第二训练图像子序列对预测模型进行优化;
当预测模型输出的预测图像序列与第二训练图像子序列之间的第一差异值小于第一预设阈值时,预测模型训练结束。
在其中一个实施例中,上述以预测模型输出的预测图像序列作为输入,以第二训练图像子序列作为监督进行鉴别器的训练,包括:
将预测图像序列输入至鉴别器中,得到鉴别器输出的鉴别标签;
当鉴别标签与第二训练图像子序列对应的标签之间的第二差异值小于第二预设阈值时,鉴别器训练结束。
在其中一个实施例中,上述根据鉴别器输出的鉴别标签和第二训练图像子序列对预测模型进行优化,包括:
计算第二训练图像子序列和预测图像序列的均方值误差,得到第三差异值;
根据第二差异值和第三差异值进行梯度计算,并采用反向传播算法对预测模型进行优化。
在其中一个实施例中,上述按照预设规则对各历史图像序列进行拆分,得到多个历史图像子序列,包括:
将历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列。
在其中一个实施例中,上述根据多个候选图像序列得到预测的目标图像序列,包括:
分别对各候选图像序列进行插帧处理,得到各候选图像序列对应的中间图像序列;
分别对各中间图像序列进行消散度计算,得到各中间图像序列的消散度;消散度用于指示中间图像序列中各帧中间图像之间有效面积的变化;
将消散度最高的中间图像序列确定为目标图像序列。
第二方面,本发明实施例提供了一种图像预测装置,所述装置包括:
历史图像序列获取模块,用于获取历史图像序列;历史图像序列中包括多帧按照时间顺序排列的历史图像;
历史图像子序列获得模块,用于按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列;
预测模块,用于将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;
目标图像序列获得模块,用于根据多个候选图像序列得到预测的目标图像序列。
在其中一个实施例中,该装置还包括:
训练图像集合获取模块,用于获取训练图像集合;训练图像集合中包括多个训练图像序列,各训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督;
模型训练模块,用于基于训练图像集合进行深度学习模型的训练,得到多个预测模型。
在其中一个实施例中,上述模型训练模块包括:
预测模型训练子模块,用于针对各预测模型,以第一训练图像子序列作为输入,以第二训练图像子序列作为监督进行预测模型的训练;
鉴别器训练子模块,用于以预测模型输出的预测图像序列作为输入,以第二训练图像子序列作为监督进行鉴别器的训练;
预测模型优化子模块,用于根据鉴别器输出的鉴别标签和第二训练图像子序列对预测模型进行优化;当预测模型输出的预测图像序列与第二训练图像子序列之间的第一差异值小于第一预设阈值时,预测模型训练结束。
在其中一个实施例中,上述鉴别器训练子模块,具体用于将预测图像序列输入至鉴别器中,得到鉴别器输出的鉴别标签;当鉴别标签与第二训练图像子序列对应的标签之间的第二差异值小于第二预设阈值时,鉴别器训练结束。
在其中一个实施例中,上述预测模型优化子模块,具体用于计算第二训练图像子序列和预测图像序列的均方值误差,得到第三差异值;根据第二差异值和第三差异值进行梯度计算,并采用反向传播算法对预测模型进行优化。
在其中一个实施例中,上述历史图像子序列获得模块,具体用于将历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列。
在其中一个实施例中,上述预测模块,具体用于分别对各候选图像序列进行插帧处理,得到各候选图像序列对应的中间图像序列;分别对各中间图像序列进行消散度计算,得到各中间图像序列的消散度;消散度用于指示中间图像序列中各帧中间图像之间有效面积的变化;将消散度最高的中间图像序列确定为目标图像序列。
第三方面,本发明实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上述方法中的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述方法中的步骤。
上述图像预测方法、装置、计算机设备和存储介质,获取历史图像序列;按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列;将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;根据多个候选图像序列得到预测的目标图像序列。通过本发明实施例,将长序列图像拆分为多个短序列图像,再将多个短序列图像分别输入到多个预测模型中进行预测,进而得到目标图像序列。这样,预先训练的预测模型可以根据短序列图像进行训练,避免了根据长序列图像训练在训练过程中会出现梯度消失的问题,而且也可以实现根据长序列图像进行图像预测的效果,降低了模型训练以及图像预测的难度。进一步地,还解决了GPU资源不足的问题。
附图说明
图1为一个实施例中图像预测方法的应用环境图;
图2为一个实施例中图像预测方法的流程示意图;
图3为一个实施例中训练预测模型步骤的流程示意图;
图4为一个实施例中预测模型的训练流程图;
图5为另一个实施例中图像预测方法的流程示意图;
图6为一个实施例中图像预测装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的图像预测方法,可以应用于如图1所示的应用环境中。其中,该应用环境包括终端101和服务器102,终端101和服务器102通过网络进行通信。其中,终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种图像预测方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤201,获取历史图像序列;历史图像序列中包括多帧按照时间顺序排列的历史图像。
本实施例中,服务器可以从终端获取历史图像序列,也可以从服务器中预先存储的历史图像中获取历史图像序列,本发明实施例对此不作详细限定,可以根据实际情况进行设置。
例如,气象雷达将探测到的数据发送到终端,由终端形成气象图像并发送到服务器,服务器存储终端发送的气象图像。在进行天气预测之前,服务器从预先存储的气象图像中获取多帧按照时间顺序排列的历史气象图像,获得历史图像序列。本发明实施例对历史图像序列中的历史图像的数量不作详细限定,可以根据实际情况进行设置。
步骤202,按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列。
本实施例中,在获取到历史图像序列后,可以根据预先设置的规则对历史图像序列进行拆分,得到多个历史图像子序列。具体地,根据预先训练的预测模型的数量,按照等差数列的方式对历史图像序列进行拆分,得到与预测模型的数量相同的历史图像子序列。
例如,预先训练了三个预测模型,则按照第1帧、第4帧、第7帧、第10帧……从历史图像序列A中拆分出历史图像子序列a1,按照第2帧、第5帧、第8帧、第11帧……从历史图像序列A中拆分出历史图像子序列a2,,按照第3帧、第6帧、第9帧、第12帧……从历史图像序列A中拆分出历史图像子序列a3。本发明实施例对预设规则不作详细限定,可以根据实际情况进行设置。
步骤203,将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列。
本实施例中,预先训练多个预测模型,在得到多个历史图像子序列后,将多个历史图像子序列分别输入到多个预测模型中,各预测模型根据输入的历史图像子序列进行预测,输出候选图像序列。
例如,预先训练了三个预测模型X、Y和Z,在得到三个历史图像子序列a1、a2和a3之后,将a1、a2和a3分别输入到预测模型X、Y和Z中,得到预测模型X输出的候选图像序列b1、预测模型Y输出的候选图像序列b2以及预测模型Z输出的候选图像序列b3。
可以理解地,根据短序列图像进行预测,可以节省图形处理器(GraphicsProcessing Unit,GPU)的计算资源,从而解决GPU根据长序列图像进行预测资源不足的问题。
步骤204,根据多个候选图像序列得到预测的目标图像序列。
本实施例中,在得到多个候选图像序列之后,可以对多个候选图像序列进行比较,选取出更为准确的目标图像序列;也可以对多个候选图像序列进行汇总,将多个候选图像序列融合为目标图像序列。本发明实施例对此不作详细限定,可以根据实际情况进行设置。例如,从候选图像序列b1、b2和b3中选取出b2为目标图像序列。可以理解地,得到目标图像序列即得到未来一段时间的气象预测。
上述图像预测方法中,获取历史图像序列;按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列;将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;根据多个候选图像序列得到预测的目标图像序列。通过本发明实施例,将长序列图像拆分为多个短序列图像,再将多个短序列图像分别输入到多个预测模型中进行预测,进而得到目标图像序列。这样,预先训练的预测模型可以根据短序列图像进行训练,避免了根据长序列图像训练在训练过程中会出现梯度消失的问题,而且也可以实现根据长序列图像进行图像预测的效果,降低了模型训练以及图像预测的难度。进一步地,还解决了GPU资源不足的问题。
在另一个实施例中,如图3所示,本实施例涉及的是训练预测模型的一种可选的过程。在上述图2所示实施例的基础上,具体可以包括以下步骤:
步骤301,获取训练图像集合;训练图像集合中包括多个训练图像序列,各训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督。
本实施例中,在进行预测之前训练预测模型,首先获取训练图像集合。训练图像集合中包括多个训练图像序列,每个训练图像序列中的前m1帧图像作为模型输入,每个训练图像序列中的后m2帧图像作为监督。其中,m1可以与m2相同,也可以不同。本发明实施例对此不作详细限定,可以根据实际情况进行设置。
例如,训练图像集合中包括100个训练图像序列,每个训练图像序列中均包括100帧训练图像。其中,将每个训练图像序列中前50帧训练图像所组成的第一训练图像子序列作为模型输入,将每个训练图像序列中后50帧训练图像组成的第二训练图像子序列作为监督。
步骤302,基于训练图像集合进行深度学习模型的训练,得到多个预测模型。
本实施例中,在获取到训练图像集合后,基于训练图像集合进行深度学习模型的训练,具体地可以包括如下步骤:针对各预测模型,以第一训练图像子序列作为输入,以第二训练图像子序列作为监督进行预测模型的训练;以预测模型输出的预测图像序列作为输入,以第二训练图像子序列作为监督进行鉴别器的训练;根据鉴别器输出的鉴别标签和第二训练图像子序列对预测模型进行优化;当预测模型输出的预测图像序列与第二训练图像子序列之间的第一差异值小于第一预设阈值时,预测模型训练结束。
参照图4所示的训练流程图,将第1个第一训练图像子序列输入到预测模型中,以第1个第二训练图像子序列为监督进行预测模型的训练。将第1个第一训练图像子序列输入到预测模型之后,预测模型会输出第1个预测图像序列;将第1个预测图像序列输入到鉴别器中,以第1个第二训练图像子序列为监督进行一次鉴别器的训练。鉴别器可以包括真实性鉴别器和连续性鉴别器,对预测模型输出的预测图像序列进行真实性和连续性的鉴别。然后,将第2个第一训练图像子序列输入到预测模型中,预测模型会输出第2个预测图像序列;将第2个预测图像序列输入到鉴别器中,鉴别器会根据第2个预测图像序列输出鉴别标签,比如真实性鉴别标签或连续性鉴别标签。根据鉴别器输出的鉴别标签和第2个第二训练图像子序列对预测模型进行优化。以此类推,将多个第一训练图像子序列依次输入到预测模型中,进行预测模型和鉴别器的训练。在每次预测模型输出预测图像序列之后,通过损失函数计算预测图像序列与第二训练图像子序列之间的第一差异值。当预测模型输出的预测图像序列与第二训练图像子序列之间的第一差异值小于第一预设阈值时,预测模型训练结束。即在预测模型输出的预测图像序列与第二图像子序列之间的损失值较小时,预测模型输出的预测图像序列准确,此时结束预测模型训练。本发明实施例对第一预设阈值不作详细限定,可以根据实际情况进行设置。
在其中一个实施例中,鉴别器的训练可以包括:将预测图像序列输入至鉴别器中,得到鉴别器输出的鉴别标签;当鉴别标签与第二训练图像子序列对应的标签之间的第二差异值小于第二预设阈值时,鉴别器训练结束。
参照图4所示,在进行鉴别器训练时,将第2个预测图像序列输入到鉴别器中之后,鉴别器会输出鉴别标签。可以通过交叉熵损失函数计算鉴别标签和第2个第二训练图像子序列对应的标签之间的第二差异值。其中,真实性鉴别器输出的是真实性鉴别标签,第二训练图像子序列对应的真实性标签为1,即第二训练图像子序列是真实的;连续性输出的是连续性鉴别标签,第二训练图像子序列对应的连续性标签为1,即第二训练图像子序列是连续的。当真实性鉴别器输出的真实性鉴别标签与真实性标签1之间的第二差异值小于第二预设阈值时,真实性鉴别器训练结束。当连续性鉴别器输出的连续性鉴别标签与连续性标签1之间的第二差异值小于第二预设阈值时,连续性鉴别器训练结束。本发明实施例可以根据实际情况进行真实性鉴别器和/或连续性鉴别器的训练。并且,本发明实施例对第二预设阈值不作详细限定,可以根据实际情况进行设置。
在其中一个实施例中,对预测模型进行优化可以包括:计算第二训练图像子序列和预测图像序列的均方值误差,得到第三差异值;根据第二差异值和第三差异值进行梯度计算,并采用反向传播算法对预测模型进行优化。
参照图4所示,计算第2个第二训练图像子序列和第2个预测图像序列之间的均方值误差,得到第2个预测图像序列与第2个第二训练图像子序列之间的图像损失值,即得到第三差异值。上述已根据鉴别器输出的鉴别标签和第二训练图像子序列确定了第二差异值,在得到第三差异值之后,将第二差异值与第三差异值相加然后计算梯度,进而采用反向传播算法度预测模型中的参数进行优化。其中,均方误差(mean-square error,MSE)是反映估计量与被估计量之间差异程度的一种度量。反向传播(Backpropagation,BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法对神经网络中所有权重计算损失函数的梯度,这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。
上述获取训练图像集合;训练图像集合中包括多个训练图像序列,各训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督;基于训练图像集合进行深度学习模型的训练,得到多个预测模型。通过本发明实施例,根据短序列图像训练预测模型,可以避免训练过程中出现梯度消失的问题,降低了预测模型的训练难度。并且,在预测模型的训练过程中,还训练了鉴别器,可以对预测模型输出的预测图像序列进行真实性和/或连续性的鉴别,再根据鉴别器输出的鉴别标签对预测模型进行优化,可以提高预测模型的预测准确率。进一步地,根据短序列图像进行预测模型的训练,还解决了GPU资源不足的问题。
在另一个实施例中,如图5所示,本实施例涉及的是图像预测方法的一种可选的过程。在上述实施例的基础上,具体可以包括以下步骤:
步骤401,获取历史图像序列;历史图像序列中包括多帧按照时间顺序排列的历史图像。
步骤402,将历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列。
本实施例中,可以将历史图像序列拆分为两个历史图像子序列,具体地,将历史图像序列中的奇数帧历史图像拆分出奇数帧历史图像子序列,将历史图像序列中的偶数帧历史图像拆分出偶数帧历史图像子序列。
步骤403,将各历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列。
步骤404,分别对各候选图像序列进行插帧处理,得到各候选图像序列对应的中间图像序列。
本实施例中,在得到多个候选图像序列之后,可以将各候选图像序列输入到预先训练的插帧神经网络中进行插帧处理,得到各候选图像序列对应的中间图像序列。其中,中间图像序列中包括的中间图像与历史图像序列中的历史图像数量相同。插帧神经网络可以是卷积神经网络(Convolutional Neural Networks,CNN)。
例如,历史图像序列A中有100帧历史图像,对历史图像序列进行拆分后,得到历史图像子序列a1和a2,每个历史图像子序列包括50帧历史图像。在将历史图像子序列a1输入到预先训练的预测模型X中之后,得到预测模型输出的候选图像序列b1。候选图像序列b1中包括50帧候选图像,对候选图像序列b1进行插帧处理,得到候选图像序列b1对应的中间图像序列c1,中间图像c1为100帧图像。以此类推,得到中间图像序列c2。
步骤405,分别对各中间图像序列进行消散度计算,得到各中间图像序列的消散度;消散度用于指示中间图像序列中各帧中间图像之间有效面积的变化。
本实施例中,在得到多个中间图像序列后,对各中间图像序列进行消散度计算,得到各中间图像序列的消散度。具体地,针对每个中间图像序列,计算各帧中间图像的有效面积,查找出最小的有效面积和最大的有效面积,计算最小的有效面积与最大的有效面积之间的比值,得到该中间图像序列的消散度。
步骤406,将消散度最高的中间图像序列确定为目标图像序列。
本实施例中,针对每个中间图像序列,最小的有效面积与最大的有效面积之间的比值越大,表明有效面积的变化小;最小的有效面积与最大的有效面积之间的比值越小,表明有效面积的变化大。在实际操作中,有效面积的变化小更接近真实情况,因此将有效面积变化小,即消散度最高的中间图像序列确定为目标图像序列。
例如,分别对中间图像序列c1和c2计算消散度,其中中间图像序列c1的消散度最高,将中间图像序列c1确定为目标图像序列。
上述图像预测方法中,获取历史图像序列;将历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列;将各历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;分别对各候选图像序列进行插帧处理,得到各候选图像序列对应的中间图像序列;分别对各中间图像序列进行消散度计算,得到各中间图像序列的消散度;将消散度最高的中间图像序列确定为目标图像序列。通过本发明实施例,将长序列图像拆分为多个短序列图像输入到预测模型中进行预测,然后对多个预测模型输出的候选图像序列进行插帧处理得到中间图像序列,最后从中间图像序列中选取更接近真实情况的目标图像序列。本发明实施例不仅实现了根据长序列图像进行预测,而且可以保证预测的目标图像序列的准确性。进一步地,根据短序列图像进行图像预测,还解决了GPU资源不足的问题。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种图像预测装置,包括:
历史图像序列获取模块501,用于获取历史图像序列;历史图像序列中包括多帧按照时间顺序排列的历史图像;
历史图像子序列获得模块502,用于按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列;
预测模块503,用于将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;
目标图像序列获得模块504,用于根据多个候选图像序列得到预测的目标图像序列。
在其中一个实施例中,该装置还包括:
训练图像集合获取模块,用于获取训练图像集合;训练图像集合中包括多个训练图像序列,各训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督;
模型训练模块,用于基于训练图像集合进行深度学习模型的训练,得到多个预测模型。
在其中一个实施例中,上述模型训练模块包括:
预测模型训练子模块,用于针对各预测模型,以第一训练图像子序列作为输入,以第二训练图像子序列作为监督进行预测模型的训练;
鉴别器训练子模块,用于以预测模型输出的预测图像序列作为输入,以第二训练图像子序列作为监督进行鉴别器的训练;
预测模型优化子模块,用于根据鉴别器输出的鉴别标签和第二训练图像子序列对预测模型进行优化;当预测模型输出的预测图像序列与第二训练图像子序列之间的第一差异值小于第一预设阈值时,预测模型训练结束。
在其中一个实施例中,上述鉴别器训练子模块,具体用于将预测图像序列输入至鉴别器中,得到鉴别器输出的鉴别标签;当鉴别标签与第二训练图像子序列对应的标签之间的第二差异值小于第二预设阈值时,鉴别器训练结束。
在其中一个实施例中,上述预测模型优化子模块,具体用于计算第二训练图像子序列和预测图像序列的均方值误差,得到第三差异值;根据第二差异值和第三差异值进行梯度计算,并采用反向传播算法对预测模型进行优化。
在其中一个实施例中,上述历史图像子序列获得模块502,具体用于将历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列。
在其中一个实施例中,上述预测模块503,具体用于分别对各候选图像序列进行插帧处理,得到各候选图像序列对应的中间图像序列;分别对各中间图像序列进行消散度计算,得到各中间图像序列的消散度;消散度用于指示中间图像序列中各帧中间图像之间有效面积的变化;将消散度最高的中间图像序列确定为目标图像序列。
关于图像预测装置的具体限定可以参见上文中对于图像预测方法的限定,在此不再赘述。上述图像预测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像预测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像预测方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取历史图像序列;历史图像序列中包括多帧按照时间顺序排列的历史图像;
按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列;
将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;
根据多个候选图像序列得到预测的目标图像序列。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取训练图像集合;训练图像集合中包括多个训练图像序列,各训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督;
基于训练图像集合进行深度学习模型的训练,得到多个预测模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
针对各预测模型,以第一训练图像子序列作为输入,以第二训练图像子序列作为监督进行预测模型的训练;
以预测模型输出的预测图像序列作为输入,以第二训练图像子序列作为监督进行鉴别器的训练;
根据鉴别器输出的鉴别标签和第二训练图像子序列对预测模型进行优化;
当预测模型输出的预测图像序列与第二训练图像子序列之间的第一差异值小于第一预设阈值时,预测模型训练结束。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将预测图像序列输入至鉴别器中,得到鉴别器输出的鉴别标签;
当鉴别标签与第二训练图像子序列对应的标签之间的第二差异值小于第二预设阈值时,鉴别器训练结束。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
计算第二训练图像子序列和预测图像序列的均方值误差,得到第三差异值;
根据第二差异值和第三差异值进行梯度计算,并采用反向传播算法对预测模型进行优化。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
将历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
分别对各候选图像序列进行插帧处理,得到各候选图像序列对应的中间图像序列;
分别对各中间图像序列进行消散度计算,得到各中间图像序列的消散度;消散度用于指示中间图像序列中各帧中间图像之间有效面积的变化;
将消散度最高的中间图像序列确定为目标图像序列。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取历史图像序列;历史图像序列中包括多帧按照时间顺序排列的历史图像;
按照预设规则对历史图像序列进行拆分,得到多个历史图像子序列;
将多个历史图像子序列分别输入到预先训练的多个预测模型中,得到各预测模型输出的候选图像序列;
根据多个候选图像序列得到预测的目标图像序列。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取训练图像集合;训练图像集合中包括多个训练图像序列,各训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督;
基于训练图像集合进行深度学习模型的训练,得到多个预测模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
针对各预测模型,以第一训练图像子序列作为输入,以第二训练图像子序列作为监督进行预测模型的训练;
以预测模型输出的预测图像序列作为输入,以第二训练图像子序列作为监督进行鉴别器的训练;
根据鉴别器输出的鉴别标签和第二训练图像子序列对预测模型进行优化;
当预测模型输出的预测图像序列与第二训练图像子序列之间的第一差异值小于第一预设阈值时,预测模型训练结束。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将预测图像序列输入至鉴别器中,得到鉴别器输出的鉴别标签;
当鉴别标签与第二训练图像子序列对应的标签之间的第二差异值小于第二预设阈值时,鉴别器训练结束。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
计算第二训练图像子序列和预测图像序列的均方值误差,得到第三差异值;
根据第二差异值和第三差异值进行梯度计算,并采用反向传播算法对预测模型进行优化。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
将历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
分别对各候选图像序列进行插帧处理,得到各候选图像序列对应的中间图像序列;
分别对各中间图像序列进行消散度计算,得到各中间图像序列的消散度;消散度用于指示中间图像序列中各帧中间图像之间有效面积的变化;
将消散度最高的中间图像序列确定为目标图像序列。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种图像预测方法,其特征在于,所述方法包括:
获取历史图像序列;所述历史图像序列中包括多帧按照时间顺序排列的历史图像;
按照预设规则对所述历史图像序列进行拆分,得到多个历史图像子序列;
将多个所述历史图像子序列分别输入到预先训练的多个预测模型中,得到各所述预测模型输出的候选图像序列;
根据多个所述候选图像序列得到预测的目标图像序列;
其中,所述根据多个所述候选图像序列得到预测的目标图像序列,包括:
分别对各所述候选图像序列进行插帧处理,得到各所述候选图像序列对应的中间图像序列;
分别对各所述中间图像序列进行消散度计算,得到各所述中间图像序列的消散度;所述消散度用于指示所述中间图像序列中各帧中间图像之间有效面积的变化;
将消散度最高的中间图像序列确定为所述目标图像序列;
所述分别对各所述中间图像序列进行消散度计算,得到各所述中间图像序列的消散度,包括:
针对每个中间图像序列,计算各帧中间图像的有效面积,查找出最小的有效面积和最大的有效面积,计算所述最小的有效面积与所述最大的有效面积之间的比值,得到所述中间图像序列的消散度。
2.根据权利要求1所述的方法,其特征在于,在所述将多个所述历史图像子序列分别输入到预先训练的多个预测模型中,得到各所述预测模型输出的候选图像序列之前,所述方法还包括:
获取训练图像集合;所述训练图像集合中包括多个训练图像序列,各所述训练图像序列中前m1帧训练图像组成的第一训练图像子序列作为模型输入,后m2帧训练图像组成的第二训练图像子序列作为监督;
基于所述训练图像集合进行深度学习模型的训练,得到多个所述预测模型。
3.根据权利要求2所述的方法,其特征在于,所述基于所述训练图像集合进行深度学习模型的训练,得到多个所述预测模型,包括:
针对各所述预测模型,以所述第一训练图像子序列作为输入,以所述第二训练图像子序列作为监督进行所述预测模型的训练;
以所述预测模型输出的预测图像序列作为输入,以所述第二训练图像子序列作为监督进行鉴别器的训练;
根据所述鉴别器输出的鉴别标签和所述第二训练图像子序列对所述预测模型进行优化;
当所述预测模型输出的预测图像序列与所述第二训练图像子序列之间的第一差异值小于第一预设阈值时,所述预测模型训练结束。
4.根据权利要求3所述的方法,其特征在于,所述以所述预测模型输出的预测图像序列作为输入,以所述第二训练图像子序列作为监督进行鉴别器的训练,包括:
将所述预测图像序列输入至所述鉴别器中,得到所述鉴别器输出的鉴别标签;
当所述鉴别标签与所述第二训练图像子序列对应的标签之间的第二差异值小于第二预设阈值时,所述鉴别器训练结束。
5.根据权利要求4所述的方法,其特征在于,所述根据所述鉴别器输出的鉴别标签和所述第二训练图像子序列对所述预测模型进行优化,包括:
计算所述第二训练图像子序列和所述预测图像序列的均方值误差,得到第三差异值;
根据所述第二差异值和所述第三差异值进行梯度计算,并采用反向传播算法对所述预测模型进行优化。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述按照预设规则对各所述历史图像序列进行拆分,得到多个历史图像子序列,包括:
将所述历史图像序列按照奇数帧和偶数帧拆分为奇数帧历史图像子序列和偶数帧历史图像子序列。
7.一种图像预测装置,其特征在于,所述装置包括:
历史图像序列获取模块,用于获取历史图像序列;所述历史图像序列中包括多帧按照时间顺序排列的历史图像;
历史图像子序列获得模块,用于按照预设规则对所述历史图像序列进行拆分,得到多个历史图像子序列;
预测模块,用于将多个所述历史图像子序列分别输入到预先训练的多个预测模型中,得到各所述预测模型输出的候选图像序列;
目标图像序列获得模块,用于根据多个所述候选图像序列得到预测的目标图像序列;
其中,所述目标图像序列获得模块,具体用于分别对各所述候选图像序列进行插帧处理,得到各所述候选图像序列对应的中间图像序列;分别对各所述中间图像序列进行消散度计算,得到各所述中间图像序列的消散度;所述消散度用于指示所述中间图像序列中各帧中间图像之间有效面积的变化;将消散度最高的中间图像序列确定为所述目标图像序列;
所述目标图像序列获得模块,具体用于针对每个中间图像序列,计算各帧中间图像的有效面积,查找出最小的有效面积和最大的有效面积,计算所述最小的有效面积与所述最大的有效面积之间的比值,得到所述中间图像序列的消散度。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201911059990.5A 2019-11-01 2019-11-01 图像预测方法、装置、计算机设备和存储介质 Expired - Fee Related CN110824587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911059990.5A CN110824587B (zh) 2019-11-01 2019-11-01 图像预测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911059990.5A CN110824587B (zh) 2019-11-01 2019-11-01 图像预测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110824587A CN110824587A (zh) 2020-02-21
CN110824587B true CN110824587B (zh) 2021-02-09

Family

ID=69552063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911059990.5A Expired - Fee Related CN110824587B (zh) 2019-11-01 2019-11-01 图像预测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110824587B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445460A (zh) * 2020-03-30 2020-07-24 上海眼控科技股份有限公司 雷达云图的预测方法、装置、计算机设备和存储介质
WO2021217653A1 (zh) * 2020-04-30 2021-11-04 京东方科技集团股份有限公司 视频插帧方法及装置、计算机可读存储介质
CN111950419A (zh) * 2020-08-03 2020-11-17 中国民用航空华东地区空中交通管理局 图像信息预测方法、装置、计算机设备和存储介质
CN112363251A (zh) * 2020-10-26 2021-02-12 上海眼控科技股份有限公司 天气预测模型的生成方法、天气预测方法、装置
CN112634195A (zh) * 2020-11-23 2021-04-09 清华大学 混凝土结构裂缝预测方法、装置及系统
US20220180185A1 (en) * 2020-12-09 2022-06-09 Micron Technology, Inc. Artificial neural network model selection
CN115796407B (zh) * 2023-02-13 2023-05-23 中建科技集团有限公司 一种生产线故障预测方法及相关设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632295A (zh) * 2017-09-15 2018-01-26 广东工业大学 一种基于时序卷积神经网络的雷达回波外推方法
CN108154137A (zh) * 2018-01-18 2018-06-12 厦门美图之家科技有限公司 视频特征学习方法、装置、电子设备及可读存储介质
CN108508505A (zh) * 2018-02-05 2018-09-07 南京云思创智信息科技有限公司 基于多尺度卷积神经网络的强降雨及雷暴预报方法和系统
CN110135654A (zh) * 2019-05-24 2019-08-16 北京百度网讯科技有限公司 用于预测强对流天气的方法和装置
CN110222899A (zh) * 2019-06-12 2019-09-10 哈尔滨工业大学 一种越野滑雪赛道风速场预测方法
CN110289927A (zh) * 2019-07-01 2019-09-27 上海大学 基于条件生成对抗网络的信道模拟实现方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762399B2 (en) * 2017-12-18 2020-09-01 Ford Global Technologies, Llc Using deep video frame prediction for training a controller of an autonomous vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632295A (zh) * 2017-09-15 2018-01-26 广东工业大学 一种基于时序卷积神经网络的雷达回波外推方法
CN108154137A (zh) * 2018-01-18 2018-06-12 厦门美图之家科技有限公司 视频特征学习方法、装置、电子设备及可读存储介质
CN108508505A (zh) * 2018-02-05 2018-09-07 南京云思创智信息科技有限公司 基于多尺度卷积神经网络的强降雨及雷暴预报方法和系统
CN110135654A (zh) * 2019-05-24 2019-08-16 北京百度网讯科技有限公司 用于预测强对流天气的方法和装置
CN110222899A (zh) * 2019-06-12 2019-09-10 哈尔滨工业大学 一种越野滑雪赛道风速场预测方法
CN110289927A (zh) * 2019-07-01 2019-09-27 上海大学 基于条件生成对抗网络的信道模拟实现方法

Also Published As

Publication number Publication date
CN110824587A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110824587B (zh) 图像预测方法、装置、计算机设备和存储介质
JP7167306B2 (ja) ニューラルネットワークモデル訓練方法、装置、コンピュータ機器および記憶媒体
US11403876B2 (en) Image processing method and apparatus, facial recognition method and apparatus, and computer device
US11699300B2 (en) Methods and apparatuses for updating user authentication data
CN109472213B (zh) 掌纹识别方法、装置、计算机设备和存储介质
CN110378230B (zh) 失踪人脸识别方法、装置、计算机设备和存储介质
JP7263216B2 (ja) ワッサースタイン距離を使用する物体形状回帰
CN112232293A (zh) 图像处理模型训练、图像处理方法及相关设备
US11645562B2 (en) Search point determining method and search point determining apparatus
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN111191533A (zh) 行人重识别的处理方法、装置、计算机设备和存储介质
CN111914878A (zh) 特征点跟踪训练及跟踪方法、装置、电子设备及存储介质
US10997528B2 (en) Unsupervised model evaluation method, apparatus, server, and computer-readable storage medium
CN112232426A (zh) 目标检测模型的训练方法、装置、设备及可读存储介质
CN111047088A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN113221645A (zh) 目标模型训练方法、人脸图像生成方法以及相关装置
CN113705685A (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN113449586A (zh) 目标检测方法、装置、计算机设备和存储介质
CN111008621A (zh) 对象追踪方法、装置、计算机设备和存储介质
CN111626098B (zh) 模型的参数值更新方法、装置、设备及介质
CN110427816B (zh) 物体检测方法、装置、计算机设备和存储介质
CN111061875B (zh) 超参数确定方法、装置、计算机设备和存储介质
CN113239171A (zh) 对话管理系统更新方法、装置、计算机设备及存储介质
CN111008604A (zh) 预测图像获取方法、装置、计算机设备和存储介质
CN116521761B (zh) 基于人工智能的传感器运行行为挖掘方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Image prediction method, device, computer equipment and storage medium

Effective date of registration: 20220211

Granted publication date: 20210209

Pledgee: Shanghai Bianwei Network Technology Co.,Ltd.

Pledgor: SHANGHAI EYE CONTROL TECHNOLOGY Co.,Ltd.

Registration number: Y2022310000023

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210209