CN111929688A - 一种用于确定雷达回波预测帧序列的方法与设备 - Google Patents

一种用于确定雷达回波预测帧序列的方法与设备 Download PDF

Info

Publication number
CN111929688A
CN111929688A CN202011003479.6A CN202011003479A CN111929688A CN 111929688 A CN111929688 A CN 111929688A CN 202011003479 A CN202011003479 A CN 202011003479A CN 111929688 A CN111929688 A CN 111929688A
Authority
CN
China
Prior art keywords
radar echo
frame
frames
input value
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011003479.6A
Other languages
English (en)
Other versions
CN111929688B (zh
Inventor
杨光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kos Technology Shanghai Co ltd
Original Assignee
Kos Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kos Technology Shanghai Co ltd filed Critical Kos Technology Shanghai Co ltd
Priority to CN202011003479.6A priority Critical patent/CN111929688B/zh
Publication of CN111929688A publication Critical patent/CN111929688A/zh
Application granted granted Critical
Publication of CN111929688B publication Critical patent/CN111929688B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/95—Radar or analogous systems specially adapted for specific applications for meteorological use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请通过一种用于确定雷达回波预测帧序列的方法与设备，获取包含连续N帧的雷达回波原始帧序列，按通道方向叠加后作为第一输入值，接着将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加后作为第三输入值，然后将当前雷达回波预测帧与其之前的(N‑1)个连续雷达回波预测帧共N帧按通道方向叠加后作为第二输入值，再接着将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧，最后循环执行上述操作，迭代预测雷达回波预测帧，直至获得雷达回波预测帧序列。可确定预设时间段内精准度较高的雷达回波图像预测帧序列。该方法可用于短时临近天气预报，带来较好的实用效果。

Description

一种用于确定雷达回波预测帧序列的方法与设备
技术领域
本申请涉及计算机图像处理技术领域，尤其涉及一种确定预设时间段内雷达回波预测帧序列的技术。
背景技术
短时临近预报对与工农业生产和生活相关活动或场景来说非常重要，例如机场运行、城市交通调度等。短时临近预报通常是通过对未来2小时内的雷达回波预测图像进行分析，以预测未来短时间内的天气情况。
现有技术中，传统方式是通过交叉相关法跟踪、光流法外推等来确定未来2小时内的雷达回波预测图像，分析后预测短时临近天气预报，但是由于天气的复杂性和多变性，通过传统方式预测的短时临近天气预报能达到的精准度有限。随着深度学习的兴起，一些基于深度学习的方法预测的雷达回波图像的精准度相比传统方式有了较大提升，但存在精准度仍然不够的技术问题，导致预测效果较差。
发明内容
本申请的目的是提供一种用于确定雷达回波预测帧序列的方法与设备，用以解决现有技术中预测的雷达回波精准度不高的技术问题。
根据本申请的一个方面，提供了一种用于确定雷达回波预测帧序列的方法，其中，所述方法包括：
获取包含连续N帧的雷达回波原始帧序列，将雷达回波原始帧序列各帧按通道方向叠加，将叠加结果作为第一输入值，其中，所述N为预设值；
将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加，将叠加结果作为第三输入值；
将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加，将叠加结果作为第二输入值，其中，若所述连续雷达回波预测帧的数量不足(N-1)，从雷达回波原始帧序列中选择若干数量原始帧直至所述第二输入值包含的帧数量达到N，若无当前雷达回波预测帧，将第一输入值作为第二输入值；
将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧；
循环执行上述操作，迭代预测雷达回波预测帧，直至雷达回波预测帧的帧个数达到预设的雷达回波预测帧序列的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
可选地，所述将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧还包括：
将所述第二输入值与所述第三输入值输入已训练的神经网络，获取当前预测的光流图像；
将所述当前预测的光流图像、融合光流后的当前雷达回波预测帧进行光流变换后与所述下一帧雷达回波预测帧进行光流融合，获得融合光流后的下一帧雷达回波预测帧，并将所述下一帧雷达回波预测帧更新为融合光流后的下一帧雷达回波预测帧，其中，若无融合光流后的当前雷达回波预测帧，则采用当前雷达回波预测帧代替所述融合光流后的当前雷达回波预测帧。
可选地，所述神经网络为全卷积神经网络，其中，所述全卷积神经网络包含预设数目的残差网络模块、卷积下采样层和反卷积上采样层。
可选地，其中，所述将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧包括：
将所述第二输入值与所述第三输入值分别经过残差网络模块及卷积下采样层获得各自的图像特征；
将各自的图像特征按特征图对应像素点加法运算进行融合获得融合图像特征；
将所述融合图像特征分别经过残差网络模块及反卷积上采样层，以获取所述下一帧雷达回波预测帧。
可选地，所述已训练的神经网络的损失函数公式为：
L(F)=min(max LI(F,DI) + max LV(F,DV)) +λw Lw(F) +λvgg Lvgg(F)
其中，L(F)表示所述融合光流后的雷达回波预测帧序列的损失函数输出；
DI和DV分别表示图片鉴别器和视频鉴别器；
LI和LV分别表示生成的图像序列和视频对应的平均损失函数输出；
Lw表示对应预测的光流图像序列和基于Flownet2算法的光流预测准确度之间的平均损失函数输出；
Lvgg表示所述融合光流后的雷达回波预测帧序列输入预训练好的VGG分类网络获得的VGG特征与该预测帧序列对应真实序列的VGG特征之间的平均绝对误差损失函数输出；
λw和λvgg为预设的超参数。
可选地，其中，将所述当前预测的光流图像、融合光流后的当前雷达回波预测帧进行光流变换后与所述下一帧雷达回波预测帧进行光流融合，获得融合光流后的下一帧雷达回波预测帧的方式包括：
I_f(t+1) = m * Wrap(I_of, I_f(t)) + (1-m) * I_g(t+1)，
其中，I_f(t+1)表示融合光流后的下一帧雷达回波预测帧图像；
m表示光流预测准确度，尺寸与雷达回波预测帧相同，每个像素点的值为0或1，当某个像素点的m为1时表示融合后的图像中该像素点取光流变形后的像素值；
Wrap表示光流变形函数，输入雷达回波预测帧和对应的预测光流图像，输出光流变形后的图像；
I_of表示当前预测的光流图像；
I_f(t)表示光流融合后的当前雷达回波预测帧图像；
I_g(t+1)表示下一帧雷达回波预测帧图像。
可选地，所述方法还包括：
将所述雷达回波预测帧序列用于预设时间段内天气预报。
根据本申请的另一方面，还提供了一种用于确定雷达回波预测帧序列的设备，其中，所述设备包括：
第一装置，用于获取包含连续N帧的雷达回波原始帧序列，将雷达回波原始帧序列各帧按通道方向叠加，将叠加结果作为第一输入值，其中，所述N为预设值；
第二装置，用于将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加，将叠加结果作为第三输入值；
第三装置，用于将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加，将叠加结果作为第二输入值，其中，若所述之前连续雷达回波预测帧数量不足(N-1)，从雷达回波原始帧序列中选择相应数量的帧号较大原始帧直至所述第二输入值包含的帧数量达到N，若无当前雷达回波预测帧，将第一输入值作为第二输入值；
第四装置，用于将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧；
第五装置，用于循环执行上述装置的操作，迭代预测雷达回波预测帧，直至雷达回波预测帧的帧个数达到预设的雷达回波预测帧序列的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
与现有技术相比，本申请通过一种用于确定雷达回波预测帧序列的方法与设备，首先获取包含连续N帧的雷达回波原始帧序列，按通道方向叠加后作为第一输入值，接着将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加后作为第三输入值，然后将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加后作为第二输入值，再接着将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧，最后循环执行上述操作，迭代预测雷达回波预测帧，直至获得雷达回波预测帧序列。本申请中，通过使得整个雷达回波图像帧序列的预测过程中保持第三输入值的输入，可以始终保留真实信息的输入，从而抵消部分长时预测过程中第二输入值在叠加迭代预测帧后存在的累积错误，进而可确定预设时间段内精准度较高的雷达回波图像预测帧序列。该方法可以用于短时临近天气预报，带来较好的实用效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个方面的一种用于确定雷达回波预测帧序列的方法流程图；
图2示出根据本申请一个方面一个实施例的神经网络结构框图；
图3示出图2中的残差模块结构示意图；
图4示出根据本申请一个方面另一个实施例的神经网络结构框图；
图5示出根据本申请另一个方面的一种用于确定雷达回波预测帧序列的设备示意图；
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
在本申请一个典型的配置中，系统各模块和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
为更进一步阐述本申请所采取的技术手段及取得的效果，下面结合附图及优选实施例，对本申请的技术方案，进行清楚和完整的描述。
图1示出本申请一个方面的一种用于确定雷达回波预测帧序列的方法流程图，其中，一个实施例的方法包括：
S11获取包含连续N帧的雷达回波原始帧序列，将雷达回波原始帧序列各帧按通道方向叠加，将叠加结果作为第一输入值，其中，所述N为预设值；
S12将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加，将叠加结果作为第三输入值；
S13将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加，将叠加结果作为第二输入值，其中，若所述连续雷达回波预测帧的数量不足(N-1)，从雷达回波原始帧序列中选择若干数量原始帧直至所述第二输入值包含的帧数量达到N，若无当前雷达回波预测帧，将第一输入值作为第二输入值；
S14将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧；
S15循环执行上述操作，迭代预测雷达回波预测帧，直至雷达回波预测帧的帧个数达到预设的雷达回波预测帧序列的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
在本实施例中，所述方法通过设备1执行，所述设备1为计算机设备和/或云，所述计算机设备包括但不限于个人计算机、笔记本电脑、工业计算机、网络主机、单个网络服务器、多个网络服务器集；所述云由基于云计算（Cloud Computing）的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。
在此，所述计算机设备和/或云仅为举例，其他现有的或者今后可能出现的设备和/或资源共享平台如适用于本申请也应包含在本申请的保护范围内，在此，以引用的方式包含于此。
在该实施例中，在所述步骤S11中，所述获取包含连续N帧的雷达回波原始帧序列，可以是通过设备1直接接收气象雷达设备生成的最新实时气象雷达数据来获取所述雷达回波原始帧序列，也可以通过拷贝、网络传输其它设备中存储的最新实时气象雷达数据等方式来获取所述雷达回波原始帧序列。雷达回波原始帧序列的获取方式在此不做限定，任何获取方式如适用于本申请也应包含在本申请的保护范围内。
所述获取包含连续N帧的雷达回波原始帧序列，其中，从最新实时气象雷达数据中获取的连续N帧，相邻两帧可以是连续获取，也可以是间隔获取，本领域技术人员可以理解，本实施例中，输入帧的时间间隔与输出帧的时间间隔相同，一般来说，为了确保捕捉到云的运动信息用于预测，获取的连续N帧中相邻两帧时间间隔不可太长，最好最大不超过15分钟。在一个例子中，上述所说的时间间隔可以为5~6分钟。
其中，由于最新实时气象雷达数据中可能存在噪声、跳帧等非正常气象雷达数据，获取前需要确定是否对数据进行预处理，例如，对不同类型噪声采用不同滤波方式进行过滤，对于跳帧数据判定确认后丢弃不采用。
其中，获取的雷达回波原始帧序列通常是基于多普勒雷达获得的，由连续N帧灰度模式的雷达回波图像组成。在此，所述基于多普勒雷达获得灰度模式雷达回波图像仅为举例，其他现有的或者今后可能出现的获得灰度模式雷达回波图像如适用于本申请，也应包含在本申请的保护范围内。
其中，N是预设的数字，例如N预设为5，即雷达回波原始帧序列包含连续5帧雷达回波图像。
将获取到的雷达回波原始帧序列的各帧雷达回波图像按通道方向叠加，作为第一输入值。例如，将连续5帧雷达回波灰度图像组成的雷达回波原始帧序列的5帧雷达回波灰度图像按通道方向叠加后，作为第一输入值。
在该实施例中，在所述步骤S12中，其中，所述当前雷达回波预测帧之帧序号是指当前得到的雷达回波预测帧的帧序号。例如，如果当前得到的雷达回波预测帧是第1个雷达回波预测帧，那么当前雷达回波预测帧之帧序号是1；如果当前得到的雷达回波预测帧是第10个雷达回波预测帧，那么当前雷达回波预测帧之帧序号是10。还可以将雷达回波图像原始帧序列的帧号预设为0，所述当前雷达回波预测帧之帧序号则为当前得到的雷达回波预测帧与雷达回波原始帧序列的帧差。
将雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加作为第三输入值。其中，所述按通道方向叠加，可以是通过网络先制作一个尺寸与雷达回波原始帧序列的各帧雷达回波图像相同的灰度图像，该灰度图像的每个像素点都赋值为帧序号，再将该灰度图像与雷达回波原始帧序列按通道方向叠加，作为第三输入值。
继续在该实施例中，在所述步骤S13中，所述将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加，将叠加结果作为第二输入值，其中，若所述连续雷达回波预测帧的数量不足(N-1)，从雷达回波原始帧序列中选择若干数量原始帧直至所述第二输入值包含的帧数量达到N，若无当前雷达回波预测帧，将第一输入值作为第二输入值。
其中，所述从雷达回波原始帧序列中选择若干数量原始帧，可以从雷达回波原始帧序列中随机选择，也可以按照预设规则选择。当按照预设规则选择时，例如，可以按获取雷达回波原始帧序列中各帧的时间顺序选择，或者也可以按获取雷达回波原始帧序列中各帧的时间逆序选择。
例如，N预设为5，即雷达回波原始帧序列包含连续5帧雷达回波图像。如果刚开始预测第1帧雷达回波预测帧，则此时还没有当前雷达回波预测帧，就将第一输入值作为第二输入值；如果当前雷达回波预测帧是第4个雷达回波预测帧，那么当前雷达回波预测帧与之前已经预测好的3个雷达回波预测帧，以及从雷达回波原始帧序列中选择1帧，一共5帧，将这5帧按通道方向叠加，将叠加结果作为第二输入值；如果当前雷达回波预测帧是第15个雷达回波预测帧，那么当前雷达回波预测帧和之前预测的第11~14帧雷达回波预测帧共5帧按通道方向叠加，将叠加结果作为第二输入值。
继续在该实施例中，在所述步骤S14中，所述将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧。
可选地，所述将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧还包括：
将所述第二输入值与所述第三输入值输入已训练的神经网络，获取当前预测的光流图像；
将所述当前预测的光流图像、融合光流后的当前雷达回波预测帧进行光流变换后与所述下一帧雷达回波预测帧进行光流融合，获得融合光流后的下一帧雷达回波预测帧，并将所述下一帧雷达回波预测帧更新为融合光流后的下一帧雷达回波预测帧，其中，若无融合光流后的当前雷达回波预测帧，则采用当前雷达回波预测帧代替所述融合光流后的当前雷达回波预测帧。
可选地，所述神经网络为全卷积神经网络，其中，所述全卷积神经网络包含预设数目的残差网络模块、卷积下采样层和反卷积上采样层。
可选地，所述将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧包括：
将所述第二输入值与所述第三输入值分别经过残差网络模块及卷积下采样层获得各自的图像特征；
将各自的图像特征按特征图对应像素点加法运算进行融合获得融合图像特征；
将所述融合图像特征分别经过残差网络模块及反卷积上采样层，以获取所述下一帧雷达回波预测帧。
其中，一个实施例的神经网络结构示意图如图2所示，在该实施例中，将神经网络中普遍使用的RNN(Recurrent Neural Network，循环神经网络)类网络用全卷积网络替代，使用全卷积网络作为特征提取器，添加了帧数差信息用于辅助训练，减少RNN类网络对较长帧预测时的累积错误，提升了神经网络对于雷达回波图像帧序列预测的准确度，同时避免了RNN类网络训练成本高的问题。其中，所述RNN类网络是指以RNN网络结构为基础的循环神经网络，例如RNN、LSTM(Long Short-Term Memory，长短期记忆网络)、GRU(GatedRecurrent Unit，门控循环单元)、BLSTM(Bi-directional Long Short-Term Memory，双向长短期记忆网络)及其相关变种等。
具体地，网络根据当前雷达回波预测帧，先制作一个尺寸与雷达回波原始帧序列的各帧雷达回波图像相同的灰度图像，该灰度图像的每个像素点都赋值为当前雷达回波预测帧的帧序号，再将该灰度图像与雷达回波原始帧序列按通道方向叠加，作为第三输入值输入神经网络的一个输入分支；将N个连续雷达回波预测帧按通道方向叠加，将叠加结果作为第二输入值输入神经网络的另一个输入分支，两个输入分支的网络结构相同，都包含2个Conv Down Sampl (Convolution Down Sampl，卷积下采样) 层和4个ResBlock(ResidualBlock，残差模块)，用于捕捉雷达回波图像特征。
其中，每个ResBlock结构如图3所示，包含两个Conv(Convolution，卷积)层，第一个Conv层的输出经Relu(Rectified linear unit，修正线性单元)函数激活后输入第二个Conv层，第二个Conv层的输出再与Identity(标识)模块的输出按对应位置进行Elem-wisesum(对应元素求和)，结果作为下一个ResBlock的输入，最后一个ResBlock的输出作为整个输入分支的输出。
其中，输入分支中Conv Down Sampl层和ResBlock的数量不唯一限定，在能够得到设备1的性能支持的前提下，输入分支中Conv Down Sampl层和ResBlock可以有多个。ConvDown Sampl层和ResBlock数量在一定范围内增多，这样，可让网络拟合数据的能力更强，整体上会更精准。
然后，将两个输入分支的输出采用按图像特征图对应像素点进行Elem-wise sum(对应元素求和)的方法融合各自提取的图像特征。
接着，将融合后的图像特征输入输出分支，输出分支的网络结构包含4个ResBlock和2个Deconv Up Sampl (Deconvolution Up Sampl，反卷积上采样)层，输出分支基于输入的融合后的图像特征预测雷达回波图像。其中，输出分支中的ResBlock结构与输入分支中的相同。将预测的雷达回波图像按通道叠加后作为第二输入值，用于迭代预测后续雷达回波图像。
其中，输出分支中Deconv Up Sampl层和ResBlock的数量不唯一限定，在能够得到设备1的性能支持的前提下，输出分支中Deconv Up Sampl层和ResBlock可以有多个。Deconv Up Sampl层和ReBlock数量在一定范围内增多，这样，可让网络拟合数据的能力更强，整体上会更精准。
还将融合后的图像特征输入一个Full Connect(全连接)层，用于完成预测帧之帧序号的分类，将得到的帧序号用于计算损失函数。
图2所示一个实施例的神经网络结构对应的网络参数如下表1。
表1
Figure 232826DEST_PATH_IMAGE001
说明：1、Conv-卷积；Conv Down Sampl–卷积下采样；DeConv Up Sampl–反卷积上采样；Identity-标识(该模块的输入输出的大小相同)。
2、两个输入分支的Conv Down Sample 1的卷积核通道数不同，其中，第三输入值对应的卷积核通道数为N+1，第二输入值对应的卷积核通道数为N。
3、每个ResBlock中Conv1和Conv2的网络参数都相同。
另一个实施例的神经网络结构如图4所示，在该实施例中，在图2所示神经网络基础上还增加一个输出分支，融入Flownet2方法来预测雷达回波图像的光流，用于监督网络学习光流，将光流信息融入到神经网络，提升神经网络对雷达回波原始帧序列中运动的捕捉，从而能够获得准确的运动信息。
其中，所述输出分支与图2中的输出分支网络结构基本相同，输出的是预测雷达回波图和其上一帧预测出的雷达回波图之间的光流图像（尺寸与预测图像相同）和光流预测mask(准确度)，将该输出与另一个输出分支输出的雷达回波预测图像采用Flownet2算法进行光流融合，得到融合光流后的雷达回波预测图像，提升预测准确度。其中，用于光流预测准确度的DeConv Up Sample2的卷积核数量为1，用于预测光流图像的DeConv Up Sample3的卷积核数量为2。
可选地，所述已训练的神经网络的损失函数公式为：
L(F)=min(max LI(F,DI) + max LV(F,DV)) +λw Lw(F) +λvgg Lvgg(F)
其中，L(F)表示所述融合光流后的雷达回波预测帧序列的损失函数输出；
DI和DV分别表示图片鉴别器和视频鉴别器；
LI和LV分别表示生成的图像序列和视频对应的平均损失函数输出；
Lw表示对应预测的光流图像序列和基于Flownet2算法的光流预测准确度之间的平均损失函数输出；
Lvgg表示所述融合光流后的雷达回波预测帧序列输入预训练好的VGG分类网络获得的VGG特征与该预测帧序列对应真实序列的VGG特征之间的平均绝对误差损失函数输出；
λw和λvgg为预设的超参数。
其中，神经网络采用GAN(Generative Adversarial Network，生成对抗网络)训练方式，模型对应于GAN网络里的生成器，训练过程中需要配合鉴别器进行对抗训练。为了解决GAN损失函数存在的图像模糊问题，采用了PatchGAN 的损失函数，更关注细节特征的匹配，让生成的图像更清晰。Lw是预测的光流图像和Flownet2算法得到的光流mask之间的L1(平均绝对误差)损失，其中，只对光流预测精准的像素点计算光流损失。另外为了让GAN网络的训练更加稳定，辅助了VGG 特征匹配损失Lvgg。
而对于帧序号的分类，采用交叉熵作为反向传播算法中的损失函数，所述损失函数公式：
Figure 278142DEST_PATH_IMAGE002
其中，M表示预测帧之帧序号的可能种类，在本申请文件中为要预测的雷达回波预测帧序列的预设数目；yc表示帧序号为c的预测结果正确与否，其值为0(预测不正确)或者1(预测正确)；pc表示预测的帧序号为c的概率。
需要说明的是，神经网络中各输入分支和输出分支的网络结构虽然相同，但是经训练后得到的相关参数不同。
继续在该实施例中，在所述步骤S15中，所述循环执行上述操作，迭代预测雷达回波预测帧，直至雷达回波预测帧的帧个数达到预设的雷达回波预测帧序列的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
其中，循环执行步骤S12、步骤S13、步骤S14，迭代预测雷达回波预测图像，指导预测的雷达回波预测图像累计达到预设的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
其中，所述预设数目应大于N。例如，利用5帧连续雷达回波原始帧，通过所述神经网络的迭代预测，得到20帧雷达回波预测帧序列。
若利用5帧连续雷达回波原始帧通过训练后的神经网络的迭代预测，得到20帧雷达回波预测帧，则在训练中，应该计算20帧雷达回波预测帧对应的整体损失函数值并判断其是否符合预置阈值，进一步地，为了给训练添加随机性，也可以计算随机选择的雷达回波预测帧的损失函数值并判断其是否符合预置阈值，或者计算其中连续若干帧雷达回波预测帧的损失函数值并判断其是否符合预置阈值。
可选地，将所述当前预测的光流图像、融合光流后的当前雷达回波预测帧进行光流变换后与所述下一帧雷达回波预测帧进行光流融合，获得融合光流后的下一帧雷达回波预测帧的方式包括：
I_f(t+1) = m * Wrap(I_of, I_f(t)) + (1-m) * I_g(t+1)，
其中，I_f(t+1)表示融合光流后的下一帧雷达回波预测帧图像；
m表示光流预测准确度，尺寸与雷达回波预测帧相同，每个像素点的值为0或1，当某个像素点的m为1时表示融合后的图像中该像素点取光流变形后的像素值；
Wrap表示光流变形函数，输入雷达回波预测帧和对应的预测光流图像，输出光流变形后的图像；
I_of表示当前预测的光流图像；
I_f(t)表示光流融合后的当前雷达回波预测帧图像；
I_g(t+1)表示光流融合前的下一帧雷达回波预测帧图像。
本领域技术人员可以理解，通过将光流信息融合进来，可以提升网络对云的运动的捕捉，同时，使用GAN等方法，可以提升预测的雷达回波图像的清晰度。
可选地，所述一种用于确定雷达回波预测帧序列的方法还包括：
将所述雷达回波预测帧序列用于预设时间段内天气预报。
例如，将利用5帧连续雷达回波原始帧通过训练后的神经网络的迭代预测，得到由20帧雷达回波预测帧组成的雷达回波预测帧序列，将所述雷达回波预测帧序列用来预测短时临近天气预报。
图5示出根据本申请另一个方面的一种用于确定雷达回波预测帧序列的设备示意图，其中，所述设备包括：
第一装置51，用于获取包含连续N帧的雷达回波原始帧序列，将雷达回波原始帧序列各帧按通道方向叠加，将叠加结果作为第一输入值，其中，所述N为预设值；
第二装置52，用于将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加，将叠加结果作为第三输入值；
第三装置53，用于将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加，将叠加结果作为第二输入值，其中，若所述之前连续雷达回波预测帧数量不足(N-1)，从雷达回波原始帧序列中选择相应数量的帧号较大原始帧直至所述第二输入值包含的帧数量达到N，若无当前雷达回波预测帧，将第一输入值作为第二输入值；
第四装置54，用于将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧；
第五装置55，用于循环执行上述装置的操作，迭代预测雷达回波预测帧，直至雷达回波预测帧的帧个数达到预设的雷达回波预测帧序列的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
根据本申请的又一方面，还提供了一种计算机可读介质，所述计算机可读介质存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述方法。
根据本申请的又一方面，还提供了一种用于确定雷达回波预测帧序列的设备，其中，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如前述方法的操作。
例如，计算机可读指令在被执行时使所述一个或多个处理器：获取包含连续N帧的雷达回波原始帧序列，按通道方向叠加后作为第一输入值，接着将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加后作为第三输入值，然后将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加后作为第二输入值，再接着将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧，最后循环执行上述操作，迭代预测雷达回波预测帧，直至获得雷达回波预测帧序列。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种用于确定雷达回波预测帧序列的方法，其特征在于，所述方法包括：
获取包含连续N帧的雷达回波原始帧序列，将雷达回波原始帧序列各帧按通道方向叠加，将叠加结果作为第一输入值，其中，所述N为预设值；
将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加，将叠加结果作为第三输入值；
将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加，将叠加结果作为第二输入值，其中，若所述连续雷达回波预测帧的数量不足(N-1)，从雷达回波原始帧序列中选择若干数量原始帧直至所述第二输入值包含的帧数量达到N，若无当前雷达回波预测帧，将第一输入值作为第二输入值；
将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧；
循环执行上述操作，迭代预测雷达回波预测帧，直至雷达回波预测帧的帧个数达到预设的雷达回波预测帧序列的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
2.根据权利要求1所述的方法，其特征在于，所述将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧还包括：
将所述第二输入值与所述第三输入值输入已训练的神经网络，获取当前预测的光流图像；
将所述当前预测的光流图像、融合光流后的当前雷达回波预测帧进行光流变换后与所述下一帧雷达回波预测帧进行光流融合，获得融合光流后的下一帧雷达回波预测帧，并将所述下一帧雷达回波预测帧更新为融合光流后的下一帧雷达回波预测帧，其中，若无融合光流后的当前雷达回波预测帧，则采用当前雷达回波预测帧代替所述融合光流后的当前雷达回波预测帧。
3.根据权利要求2所述的方法，其特征在于，所述神经网络为全卷积神经网络，其中，所述全卷积神经网络包含预设数目的残差网络模块、卷积下采样层和反卷积上采样层。
4.根据权利要求2或3所述的方法，其特征在于，所述将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧包括：
将所述第二输入值与所述第三输入值分别经过残差网络模块及卷积下采样层获得各自的图像特征；
将各自的图像特征按特征图对应像素点加法运算进行融合获得融合图像特征；
将所述融合图像特征分别经过残差网络模块及反卷积上采样层，以获取所述下一帧雷达回波预测帧。
5.根据权利要求4所述的方法，其特征在于，所述已训练的神经网络的损失函数公式为：
L(F)=min(max LI(F,DI) + max LV(F,DV)) +λw Lw(F) +λvgg Lvgg(F)
其中，L(F)表示所述融合光流后的雷达回波预测帧序列的损失函数输出；
DI和DV分别表示图片鉴别器和视频鉴别器；
LI和LV分别表示生成的图像序列和视频对应的平均损失函数输出；
Lw表示对应预测的光流图像序列和基于Flownet2算法的光流预测准确度之间的平均损失函数输出；
Lvgg表示所述融合光流后的雷达回波预测帧序列输入预训练好的VGG分类网络获得的VGG特征与该预测帧序列对应真实序列的VGG特征之间的平均绝对误差损失函数输出；
λw和λvgg为预设的超参数。
6.根据权利要求5所述的方法，其特征在于，将所述当前预测的光流图像、融合光流后的当前雷达回波预测帧进行光流变换后与所述下一帧雷达回波预测帧进行光流融合，获得融合光流后的下一帧雷达回波预测帧的方式包括：
I_f(t+1) = m * Wrap(I_of, I_f(t)) + (1-m) * I_g(t+1)，
其中，I_f(t+1)表示融合光流后的下一帧雷达回波预测帧图像；
m表示光流预测准确度，尺寸与雷达回波预测帧相同，每个像素点的值为0或1，当某个像素点的m为1时表示融合后的图像中该像素点取光流变形后的像素值；
Wrap表示光流变形函数，输入雷达回波预测帧和对应的预测光流图像，输出光流变形后的图像；
I_of表示当前预测的光流图像；
I_f(t)表示光流融合后的当前雷达回波预测帧图像；
I_g(t+1)表示光流融合前的下一帧雷达回波预测帧图像。
7.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
将所述雷达回波预测帧序列用于预设时间段内天气预报。
8.一种用于确定雷达回波预测帧序列的设备，其特征在于，所述设备包括：
第一装置，用于获取包含连续N帧的雷达回波原始帧序列，将雷达回波原始帧序列各帧按通道方向叠加，将叠加结果作为第一输入值，其中，所述N为预设值；
第二装置，用于将所述雷达回波原始帧序列与当前雷达回波预测帧之帧序号按通道方向叠加，将叠加结果作为第三输入值；
第三装置，用于将当前雷达回波预测帧与其之前的(N-1)个连续雷达回波预测帧共N帧按通道方向叠加，将叠加结果作为第二输入值，其中，若所述之前连续雷达回波预测帧数量不足(N-1)，从雷达回波原始帧序列中选择相应数量的帧号较大原始帧直至所述第二输入值包含的帧数量达到N，若无当前雷达回波预测帧，将第一输入值作为第二输入值；
第四装置，用于将所述第二输入值与所述第三输入值输入已训练的神经网络，获取下一帧雷达回波预测帧；
第五装置，用于循环执行上述装置的操作，迭代预测雷达回波预测帧，直至雷达回波预测帧的帧个数达到预设的雷达回波预测帧序列的数目，将获得的预设数目雷达回波预测帧组成所述雷达回波预测帧序列。
9.一种计算机可读介质，其特征在于，
其上存储有计算机可读指令，所述计算机可读指令被处理器执行以实现如权利要求1至7中任一项所述的方法。
10.一种用于确定雷达回波预测帧序列的设备，其特征在于，该设备包括：
一个或多个处理器；以及
存储有计算机可读指令的存储器，所述计算机可读指令在被执行时使所述处理器执行如权利要求1至7中任一项所述方法的操作。
CN202011003479.6A 2020-09-22 2020-09-22 一种用于确定雷达回波预测帧序列的方法与设备 Expired - Fee Related CN111929688B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011003479.6A CN111929688B (zh) 2020-09-22 2020-09-22 一种用于确定雷达回波预测帧序列的方法与设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011003479.6A CN111929688B (zh) 2020-09-22 2020-09-22 一种用于确定雷达回波预测帧序列的方法与设备

Publications (2)

Publication Number Publication Date
CN111929688A true CN111929688A (zh) 2020-11-13
CN111929688B CN111929688B (zh) 2021-02-09

Family

ID=73333997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011003479.6A Expired - Fee Related CN111929688B (zh) 2020-09-22 2020-09-22 一种用于确定雷达回波预测帧序列的方法与设备

Country Status (1)

Country Link
CN (1) CN111929688B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580779A (zh) * 2020-12-11 2021-03-30 上海眼控科技股份有限公司 一种雷达数据生成方法、装置、设备及存储介质
CN113159434A (zh) * 2021-04-29 2021-07-23 上海眼控科技股份有限公司 一种雷达回波预测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921883A (ja) * 1995-07-04 1997-01-21 Nippon Telegr & Teleph Corp <Ntt> ハイブリッド気象予測装置
US20170357029A1 (en) * 2016-06-14 2017-12-14 The Climate Corporation Supervised neural network to predict unlabeled rain rates
CN108732550A (zh) * 2018-08-01 2018-11-02 北京百度网讯科技有限公司 用于预测雷达回波的方法和装置
CN110135654A (zh) * 2019-05-24 2019-08-16 北京百度网讯科技有限公司 用于预测强对流天气的方法和装置
CN111487624A (zh) * 2020-04-23 2020-08-04 上海眼控科技股份有限公司 一种预测降雨量的方法与设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921883A (ja) * 1995-07-04 1997-01-21 Nippon Telegr & Teleph Corp <Ntt> ハイブリッド気象予測装置
US20170357029A1 (en) * 2016-06-14 2017-12-14 The Climate Corporation Supervised neural network to predict unlabeled rain rates
CN108732550A (zh) * 2018-08-01 2018-11-02 北京百度网讯科技有限公司 用于预测雷达回波的方法和装置
CN110135654A (zh) * 2019-05-24 2019-08-16 北京百度网讯科技有限公司 用于预测强对流天气的方法和装置
CN111487624A (zh) * 2020-04-23 2020-08-04 上海眼控科技股份有限公司 一种预测降雨量的方法与设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
G.AYZEL 等: "All convolutional neural networks for radar-based precipitation nowcasting", 《PROCEDIA COMPUTER SCIENCE》 *
方巍 等: "人工智能在短临降水预报中应用研究综述", 《南京信息工程大学学报（自然科学版）》 *
郭尚瓒 等: "基于神经网络和模型集成的短时降雨预测方法", 《气象科技进展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580779A (zh) * 2020-12-11 2021-03-30 上海眼控科技股份有限公司 一种雷达数据生成方法、装置、设备及存储介质
CN113159434A (zh) * 2021-04-29 2021-07-23 上海眼控科技股份有限公司 一种雷达回波预测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111929688B (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
US11809975B2 (en) System and method for end-to-end-differentiable joint image refinement and perception
CN109740670B (zh) 视频分类的方法及装置
CN111968064B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112465828A (zh) 一种图像语义分割方法、装置、电子设备及存储介质
CN114863368B (zh) 用于道路破损检测的多尺度目标检测模型、方法
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN111929688B (zh) 一种用于确定雷达回波预测帧序列的方法与设备
CN111487624A (zh) 一种预测降雨量的方法与设备
Ding et al. Kd-mvs: Knowledge distillation based self-supervised learning for multi-view stereo
CN113269722A (zh) 生成对抗网络的训练方法、及高分辨率图像重建方法
Duan et al. Guided event filtering: Synergy between intensity images and neuromorphic events for high performance imaging
CN116235209A (zh) 稀疏光流估计
CN113487530A (zh) 一种基于深度学习的红外与可见光融合成像方法
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
CN112364933A (zh) 图像分类方法、装置、电子设备和存储介质
CN116994000A (zh) 零件边缘特征提取方法和装置、电子设备及存储介质
CN111369557A (zh) 图像处理方法、装置、计算设备和存储介质
Akita et al. Context-Aware Region-Dependent Scale Proposals for Scale-Optimized Object Detection Using Super-Resolution
CN117333383B (zh) 一种表面缺陷检测方法、装置和设备
CN116681731B (zh) 目标物体追踪方法、装置、电子设备及存储介质
CN110796003A (zh) 车道线检测方法、装置及电子设备
CN112052863B (zh) 一种图像检测方法及装置、计算机存储介质、电子设备
CN113963289A (zh) 目标检测方法、装置、电子设备及存储介质
Chen et al. Edge prior augmented networks for motion deblurring on naturally blurry images
Kim Lifelong Learning Architecture of Video Surveillance System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210209