CN111767679A - 时变矢量场数据的处理方法及装置 - Google Patents
时变矢量场数据的处理方法及装置 Download PDFInfo
- Publication number
- CN111767679A CN111767679A CN202010676552.XA CN202010676552A CN111767679A CN 111767679 A CN111767679 A CN 111767679A CN 202010676552 A CN202010676552 A CN 202010676552A CN 111767679 A CN111767679 A CN 111767679A
- Authority
- CN
- China
- Prior art keywords
- vector field
- data
- frames
- resolution
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000013598 vector Substances 0.000 title claims abstract description 261
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 title claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000002123 temporal effect Effects 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000011084 recovery Methods 0.000 claims description 11
- 230000002441 reversible effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012800 visualization Methods 0.000 abstract description 24
- 238000004088 simulation Methods 0.000 abstract description 9
- 230000006870 function Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 238000003672 processing method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000002585 base Substances 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/28—Design optimisation, verification or simulation using fluid dynamics, e.g. using Navier-Stokes equations or computational fluid dynamics [CFD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Geometry (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Fluid Mechanics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种时变矢量场数据的处理方法及装置。其中，该方法包括：获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。本发明解决了相关技术在物理模拟的矢量场可视化过程中，由于粗糙的网格分辨率和少量的时间步，导致存在可视化质量差的技术问题。
Description
技术领域
本发明涉及矢量场可视化领域，具体而言，涉及一种时变矢量场数据的处理方法及装置。
背景技术
矢量场的可视化在许多科学领域，如空气动力学、气候和计算流体力学中都扮演着重要的角色。随着计算能力的快速增长，物理模拟可以产生具有更高空间和时间分辨率的大量数据，然而，由于带宽和存储限制，网络系统仅能传输或存储非常有限的数据，以便进行事后可视化和分析，物理模拟的可视化过程中，由于粗糙的网格分辨率和少量的时间步，导致存在可视化质量差的技术问题。
由于在执行模拟时直接实时可视化数据，而原位可视化减轻了大数据问题，同时考虑到内存使用和工作负载的平衡，模拟可视化过程仍然是一个具有挑战性的工程问题，并且由于原始数据被丢弃，极大地限制了后期处理中数据探索的灵活性。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种时变矢量场数据的处理方法及装置，以至少解决相关技术在物理模拟的矢量场可视化过程中，由于粗糙的网格分辨率和少量的时间步，导致存在可视化质量差的技术问题。
根据本发明实施例的一个方面，提供了一种时变矢量场数据的处理方法，包括：获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。
可选的，上述高分辨率的矢量场数据包括：在时间上重建的高时间分辨率序列，以及在空间上重建的高空间分辨率序列。
可选的，基于上述数据序列中的关键帧，生成多个中间帧，包括：获取上述数据序列中的一对关键帧；使用第一神经网络模型对上述一对关键帧进行向前变形和向后变形，生成多个上述中间帧，其中，上述第一神经网络模型为预测模型。
可选的，上述向前变形为基于时间相关性来对上述一对关键帧进行变形，上述向后变形为基于空间相关性对对上述一对关键帧进行变形，预测得到上述中间帧的时间步长。
可选的，使用第一神经网络模型对上述一对关键帧进行向前变形和向后变形，生成多个上述中间帧，包括：通过编码器接收上述一对关键帧；通过上述编码器对上述一对关键帧进行正向编码和反向编码，输出上述一对关键帧之间的正向和反向运动；通过上述编码器将上述一对关键帧之间的正向和反向运动的与当前时间步对齐，生成上述向前变形和上述向后变形后的变形帧；将上述变形帧作为混合帧输出，生成上述中间帧。
可选的，基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据，包括：使用第二神经网络模型对上述低分辨率矢量场序列中相邻特征进行对齐处理，生成上述高分辨率的矢量场数据，其中，上述第二神经网络模型为可变形卷积模型。
可选的，在上述低分辨率矢量场序列中，如果不同帧之间的任意时间步处存在连续帧时，对上述低分辨率矢量场序列中相邻特征的上下文信息进行对齐处理，生成上述高分辨率的矢量场数据。
根据本发明实施例的另一方面，还提供了一种时变矢量场数据的处理方法，包括：获取需要进行信息恢复的视频，其中，上述视频包括矢量场数据的数据序列，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；将上述多个中间帧作为视频帧插值，插入到上述视频中，生成已恢复丢失数据的视频，其中，上述视频帧插值为高分辨率的矢量场数据。
根据本发明实施例的另一方面，还提供了一种时变矢量场数据的处理方法，包括：获取需要重建的矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，获取重建后的矢量场数据，其中，重建后的矢量场数据位高分辨率。
根据本发明实施例的另一方面，还提供了一种时变矢量场数据的处理装置，包括：第一获取模块，用于获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；第一生成模块，用于基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；预测模块，用于基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。
根据本发明实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质存储有多条指令，上述指令适于由处理器加载并执行如任意一项的方法步骤。
根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器和存储器；其中，上述存储器存储有计算机程序，上述计算机程序适于由上述处理器加载并执行如中任意一项的方法步骤。
在本发明实施例中，通过获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据，达到了在不将大量数据集存储在磁盘上或不影响事后勘探质量的情况下，探索大尺寸、长时间序列的精细动态演化的可视化结果的目的，从而实现了解决空间和时间维度上的超分辨率挑战的技术效果，进而解决了相关技术在物理模拟的矢量场可视化过程中，由于粗糙的网格分辨率和少量的时间步，导致存在可视化质量差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种时变矢量场数据的处理方法的流程图；
图2是根据本发明实施例的一种可选的时变矢量场数据的处理框架示意图；
图3是根据本发明实施例的一种可选的时变矢量场数据的动态变形与运动估计的示意图；
图4是根据本发明实施例的一种可选的时变矢量场数据的网络结构示意图；
图5是根据本发明实施例的另一种时变矢量场数据的处理方法的流程图；
图6是根据本发明实施例的又一种时变矢量场数据的处理方法的流程图；
图7是根据本发明实施例的一种时变矢量场数据的处理装置的结构示意图；
图8是根据本发明实施例的另一种时变矢量场数据的处理装置的结构示意图；
图9是根据本发明实施例的又一种时变矢量场数据的处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种时变矢量场数据的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种时变矢量场数据的处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；
步骤S104，基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；
步骤S106，基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。
可选的，上述矢量场数据为视频数据、图像数据的矢量场数据。
在本申请实施例中，由于深度学习网络在超分辨率、视频帧插值和预测等图像和视频处理任务中是非常有效和成功的，本申请实施例利用这种深度学习架构，从多个粗略帧中生成高分辨率矢量场数据(例如速度)，在本申请实施例中，时变矢量场数据的处理框架图如图2所示，可以但不限于包括以下模块：运动估计模块、融合模块和超分辨率模块，以解决空间和时间维度上的超分辨率挑战，以一对关键帧为输入，产生一系列中间帧来填补空白，输入和输出均为空间低分辨率，以降低计算成本，然后将该融合模块生成的低分辨率矢量场序列输入到超分辨率模块中，生成时间相干的高分辨率矢量场，从而得到高质量的细粒度可视化结果。
在对中间帧进行预测时，本申请实施例将运动估计模块和融合模块合并为时间增强模块。在本申请实施例的例中，由于速度是非线性变化的，因此本申请实施例使用U-net(U-神经网络)结构来估计运动，并将关键步骤前后移动到目标时间步，并且，考虑到时间相关性和空间相关性，本申请实施例可以通过融合从两个方向生成的结果来预测两者之间的任何时间步长。
然后本申请实施例提出一个超分辨率阶段，利用相邻帧的时间信息来恢复低分辨率场中丢失的细节，以提高可视化性能，本申请实施例可以但不限于应用于图像数据的视频超分辨率任务。本申请实施例利用可变形卷积将从金字塔结构的相邻帧中提取的特征对齐，并将特征与注意融合以重建高分辨率场。
与视频增强任务不同，本申请实施例的目标是重建矢量场数据而不是标量场，在这种情况下，需要考虑数据的方向特性和高阶信息。另外，在矢量场的可视化中，涡旋等拓扑特征是不平凡的。
本申请实施例提出了一个新的特征损失函数来提供向量场的物理和结构一致性，通过将预测向量场的精度和可视化效果与真值和其他替代方法进行比较，以证明本申请实施例的框架在不同数据集中的有效性和实用性。此外，本申请实施例还评估了框架超参数的影响。
本申请实施例提出了一种新的工作流来解决仅在有限的时间步或/和粗网格上存储数据时的事后可视化挑战。首先，将复杂的深度学习架构应用于向量场数据的超分辨率任务，并提出了一个基于物理的、特征感知的损失函数，结合时间相干性来重建向量。
在一种可选的实施例中，上述高分辨率的矢量场数据包括：在时间上重建的高时间分辨率序列，以及在空间上重建的高空间分辨率序列。
在一种可选的实施例中，基于上述数据序列中的关键帧，生成多个中间帧，包括：
步骤S202，获取上述数据序列中的一对关键帧；
步骤S204，使用第一神经网络模型对上述一对关键帧进行向前变形和向后变形，生成多个上述中间帧，其中，上述第一神经网络模型为预测模型。
本申请实施例通过在空间域和时间域对矢量场进行超分辨率处理，以解决事后科学可视化中数据缩减的问题。本申请实施例提供的解决方案包括一对低分辨率输入及其相应的中高分辨率帧上训练的神经网络，为了获取训练数据，可以选择一定的时间步长作为关键帧，对原始仿真数据进行下采样，在低分辨率网格中，给定两个时间步长的矢量场对，主要目标是训练一个网络在它们之间产生一系列高分辨率矢量场，共同处理空间和时间维度上的超分辨率任务。
本申请中时变矢量场数据的处理框架的中的第一神经网络模型是一种预测模型，用于估计输入之间的低分辨率中间帧，解决时间上的超分辨率问题。本申请实施例使用U-Net架构来估计它们之间的运动，然后前后扭曲输入帧来合成目标帧。通过处理空间超分辨率任务，并从相应的低分辨率序列生成且输出高分辨率，并在这些连续字段中保持时间一致性。
在一种可选的实施例中，上述向前变形为基于时间相关性来对上述一对关键帧进行变形，上述向后变形为基于空间相关性对对上述一对关键帧进行变形，预测得到上述中间帧的时间步长。
在一种可选的实施例中，使用第一神经网络模型对上述一对关键帧进行向前变形和向后变形，生成多个上述中间帧，包括：
步骤S302，通过编码器接收上述一对关键帧；
步骤S304，通过上述编码器对上述一对关键帧进行正向编码和反向编码，输出上述一对关键帧之间的正向和反向运动；
步骤S306，通过上述编码器将上述一对关键帧之间的正向和反向运动的与当前时间步对齐，生成上述向前变形和上述向后变形后的变形帧；
步骤S308，将上述变形帧作为混合帧输出，生成上述中间帧。
作为一种可选的实施例，本申请实施例将输入向量场对表示为VLR i(x)和VLR i+k(x),其中x∈Rn(n＝2为2维空间,n＝3为3维空间)。
本申请实施例通过使用深度学习网络来学习使得函数F满足：
Ft(VLR i(x)，VLR i+k(x))≈{VHR i，…，VHR i+k}；
其中，k>1，LR代表低精度网格，V为矢量场，HR代表高精度网格。
首先，本申请实施例的预测模块Ft将输入两个时间步Vi和Vi+k去预测中间帧,如：Ft(VLR i(x)，VLR i+k(x))≈{VLR i+1，…，VLR i+k-1}。由于中间时间步最初不可用，因此本申请实施例估计输入键步之间的动态变化，然后，本申请实施例变形之前的帧i到当前的时间步t并进行逆变形从i+k到t，使用前向预测结果
和后向预测结果
本申请实施例将它们融合到具有不同时间的新帧中。
其次，在预测中间产物的情况下，本申请实施例的空间超分辨率模块Fsr将从序列Vi到Vi+k到更高分辨率的所有步骤进行上标，如：Fsr(VLR i，VLR i+k}≈{VHR i，…，VHR i+k}，利用可变形卷积网络，从相邻帧中粗到精地提取和对齐特征。本申请实施例将上述两个阶段集成到一个联合框架(即时变矢量场数据的处理框架)中，并且使用基于物理的、结构感知的损耗函数同时优化这两个网络。
作为一种可选的实施例，由于动态系统通常是时变向量场，用附加的时间维来揭示系统的行为演化，基于变化率为零的观测，时变矢量场收敛到瞬时矢量场族。在这项工作中，本申请实施例将随时间变化的向量场离散化，将它们视为随时间变化的静态向量场序列，通过这种离散化，本申请实施例可以假设下一个时间步骤可以从上一个转换。
本申请实施例从Vi和Vi+k双向生成中间帧，该阶段由运动估计和融合两部分组成。每个组件的架构描述如下，作为一种可选的实施例，时变矢量场数据的动态变形与运动估计的示意图如图3所示，受视频帧插值工作的启发，通过估计光流f来确定帧中每个像素的运动矢量。
本申请实施例使用输入向量场作为初始流运动，因为它代表了准确的当前状态，本申请实施例关注连续帧之间的动态变化，生成中间框架的工作流，设V(xt)表示时变向量场，其中x表示空间坐标(2维或3维)。本申请实施例假设变形应用于半拉格朗日格式，它使用欧拉框架，但考虑了拉格朗日参考系中向量场的时间导数，时间导数
在流体模拟中，它由Navier-Stokes方程定义如下所示：
这样，中间向量场i可以通过将前一帧与当前步的流运动对齐，然后添加复杂的时间导数来估计，同样，它也可以从后一帧生成。
其中，x为空间坐标，Ft(x)是运动场。
为了在时间步骤j预测准确的新帧，应将准确的运动矢量应用于目标位置x，因此有必要捕获向前和向后运动F(x)，以及剩余的
然而，帧j无法计算流运动和导数，本申请实施例估计关键帧i和i+k之间的运动信息来近似运动场。此外，本申请实施例还添加了一个校正块来学习可表示为变形向量场和地面真值场之间的残差ΔR的导数。
本申请实施例采用U-Net架构，作为本申请实施例的运动估计模型，它有一个编码器，后面跟着一个解码器，从编码器到解码器有相应的连接块，给定一对低分辨率Vi和Vi+k的关键帧，它输出表示为Fi→i+k和Fi+k→i的输入帧之间的正向和反向运动。
考虑到时间一致性，本申请实施例可以结合输入帧运动来近似中间运动：
其中，Δt＝j-i，对于关键帧之间的任何时间步j，本申请实施例可以使用本申请实施例估计的流运动向前和向后扭曲输入，使其与当前时间步对齐，可以用函数wp和剩余的ΔR进行泛化：
在本申请实施例中，通过融合组件将前向和后向变形帧
和
作为输入，然后输出混合的中间帧，基于时间步t越接近时间步i的假设，Vi(x)将做出更多贡献。
由于矢量场的变化率在不同的空间位置有很大的差异，空间贡献的权重也不同。一般而言，平均两个不同方向的变形参考将产生带有伪影的模糊帧，本申请实施例引入了可视化映射Mi和Mi+k，其中，Mi(x)在0，1中表示来自前向和后向变形帧的向量值，从而产生最终结果，可视化地图在空间维度上各不相同，将在相同的U-Net体系结构中进行训练，输入
和
作为一种可选的实施例，考虑到时间距离和可视化地图，混合的中间帧为：
在上述公式中，合成的低分辨率结果
将用于下一个空间超分辨率阶段以生成最终的高分辨率帧。因此，整个模型将由最终的反向传播到每一层共同训练，并将估计的
拟合到真正的低分辨率帧。
在低分辨率下，当本申请实施例在i到i+k之间的任意时间步t处获得估计的连续帧时，本申请实施例可以在向量场序列上实现时间相干的超分辨率。如视频或音量超分辨率任务，在序列映射中，时间相干性是必不可少的。因此，本申请实施例将来自相邻帧的上下文信息进行对齐，以重建高分辨率帧，而不是直接从对应的单个低分辨率帧生成。
需要说明的是，在变形对准阶段的性能在很大程度上取决于本申请实施例所预测的运动场的精度，但是单靠低分辨率运动提供的时间信息不足以恢复高分辨率场中的细节，变形卷积网络在无需显式运动估计的情况下，成功地实现了帧与参考帧的对齐，在规则卷积中，网络将学习卷积操作的偏移量，以从固定核位置获取远离固定核位置的信息，将特征映射Ct及其相邻帧特征Cj作为输入来预测可学习偏移量ΔP＝{Δpn|n＝1，...，|K|},其中,K＝{(-1，-1)，(-1，0)，...，(0，1)，(1，1)}作为3×3内核的常规网格，然后，通过可变形卷积计算每个位置p0处的对齐特征
这意味着卷积将应用于不规则位置，因为Δpn可以是小数，为了解决这一问题，采用双线性插值实现。
本申请实施例使用可变形对齐来处理大位移，网络结构如图4所示，通过调用以[i，i+k]中的任意时间步t作为目标帧，其余帧作为其相邻帧提供时间相干信息。输入特征首先被因子降采样，然后被因子降采样到一个更粗的网格，以生成不同尺度的特征，表示为
和
在每一级中偏移量将由粗级的上标度偏移量预测，然后应用于可变形卷积以生成对齐的特征，此外，粗级别的输出特征将使用双线性插值进行上标度，并输入到更细级别，这种金字塔结构执行从粗到细的对齐，可以显著提高精度。
在一种可选的实施例中，基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据，包括：
步骤S402，使用第二神经网络模型对上述低分辨率矢量场序列中相邻特征进行对齐处理，生成上述高分辨率的矢量场数据，其中，上述第二神经网络模型为可变形卷积模型。
在一种可选的实施例中，在上述低分辨率矢量场序列中，如果不同帧之间的任意时间步处存在连续帧时，对上述低分辨率矢量场序列中相邻特征的上下文信息进行对齐处理，生成上述高分辨率的矢量场数据。
本申请实施例中采用计算时间系数来决定输入关键帧的贡献，当涉及到连续序列中帧的超分辨率时，相邻帧之间的时间关系仍然变化，因此，必须在像素级自适应地聚集这些相邻特征，以给出详细和准确的结果。本申请实施例根据不同帧与目标帧的相似性，在不同帧上分配空间自适应权重。计算序列中任意一对目标帧t及其相邻帧j的时间注意图,时间步长j越接近t，就越应该关注特性C′j。
本申请实施例将其计算为：h(i，j)＝sigmoid(φt(Ft)Tφj(Fj))；其中，φt和φj是将特征映射Ft和Fj嵌入潜在空间的两个卷积层，注意到相似性h(i，j)在整个空间中变化，这意味着它具有与F相同的空间大小，将倍增到相应的特征映射，卷积层将这些特征融合到一个特征映射
中，以重构高分辨率帧。
作为一种可选的实施例，高精度重建在融合部分的基础上，将每帧融合后的特征重建到高分辨率场中。本申请实施例的重建网络直接从低分辨率的帧中学习双线性上采样结果与地面真实值之间的残差，与图像处理工作类似，由于它可以提高精度和通用性，重点是用碱基生成残差，以融合特征映射
为输入，利用带像素洗牌的亚像素提升模块输出相应的最终高分辨率帧。
本申请实施例所提供的时变矢量场数据的处理方法，旨在通过更为细致的时空特征来提高事后探索能力，例如，从空间上看，从信号处理的角度出发，传统的双三次样条插值方法可以用来从稀疏场中生成高分辨率矢量场，对于时间维度，线性插值产生的中间值是模糊的，因为它们只基于局部邻域信息和简单的线性估计。近年来，人们提出了一些利用深度学习方法重建体数据序列的细节特征和复杂动力学的方法。例如，采用改进的框架递归神经网络将等高线的低分辨率采样提升到更高分辨率，以及采用递归生成网络(RGN)生成精细的体素。
然而，在矢量场中实现超分辨率以获得更好的勘探效果的工作较少。当模拟中存储的时间步长过小时，使用长距离插值步长很难恢复关键帧之间的大波动动态。它不可避免地需要在空间维度上使用更粗的网格来满足有限存储的需要。在这项工作中，本申请实施例提出了一个联合的深度学习框架，用生成神经网络来处理向量场序列的时空超分辨率问题。通过这种方式，可以提供更详细的时变数据模式和特征，并在不将大量数据集存储在磁盘上或不影响事后勘探质量的情况下，探索大尺寸、长时间序列的精细动态演化。
本申请实施例通过给出一系列高分辨率矢量场
通过一对输入生成{Vi，Vk},和真值序列
给出一个新的损失函数，考虑到重建质量、矢量场的方向和结构以及时间相干性，并且由于测量生成的字段和基本事实之间的差异的最直接的设计是Lp规范，在本申请实施例中，提出了如下的空间损失函数，用L1代替L2，因为它更适合向量场：
当最小化L2距离或余弦距离时，不能保证向量的导数与对应向量的导数近似。对于速度场，这个高阶函数涉及多个向量演算算子，如散度和旋度。
因此，本申请实施例引入向量场的梯度作为二阶损失函数。对于向量字段V，它的梯度是n×nJacobian矩阵，如下所示：
由于上述损失函数是空间维数之间的平均差分，它只关注场中的局部区域，产生过平滑的矢量场。另外，对于矢量场中的可视化，一些技术将跟踪矢量场中的粒子轨迹，例如线积分卷积(LIC)方法，将流线可视化为稳态矢量场或非稳态场中的路径线。在这些应用中，矢量之间的误差可以沿着由种子点产生的粒子轨迹累积。为了融合矢量场中固有的流线特征，本申请实施例引入特征级损失函数来测量从矢量场中提取的潜在特征的差异，通过这种方式，本申请实施例预先训练了一个CNN自动编码器网络，用于从向量场中提取LIC图像，网络获取一个LIC图像I并尽可能精确地重建它，当本申请实施例输入对应向量场的LIC图像时，本申请实施例中的特征描述将预先训练好的编码器网络中每一层的特征映射，拓扑特征损失定义如下:
其中,Fl是来自预先训练的自动编码器网络的l层中的功能映射，本申请实施例在第一个池层之前使用l层,利用这个特征损失函数，本申请实施例的框架可以将焦点放在矢量场的流线上，而不是放在局部信息上，因此可以产生更清晰的结果，并为后期可视化的质量做出更大的贡献。
实施例2
根据本发明实施例，提供了另一种时变矢量场数据的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图5是根据本发明实施例的另一种时变矢量场数据的处理方法的流程图，如图5所示，该方法包括如下步骤：
步骤S502，获取需要进行信息恢复的视频，其中，上述视频包括矢量场数据的数据序列，上述矢量场数据的述数据序列包括多个数据帧；
步骤S504，基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；
步骤S506，将上述多个中间帧作为视频帧插值，插入到上述视频中，生成已恢复丢失数据的视频，其中，上述视频帧插值为高分辨率的矢量场数据。
本申请实施例提供的时变矢量场数据的处理方法相比实施例1中提供的时变矢量场数据的处理方法，还可以但不限于应用在视频恢复场景中，深度学习网络已被证明在计算机视觉领域的各种任务中都是有效的，包括视频恢复场景中。
作为一种可选的实施例，视频恢复的目标是从输入恢复丢失的信息，至于视频帧插值，例如，可以使用CNN学习每个像素的空间变化核，以合成中间帧作为卷积步骤。还有一些基于流的方法可以显式地估计运动，预测两幅图像之间的前向和后向光流图，并使用另一个CNN根据预测的光流生成插值帧，并引入循环一致性损失，以便更好地利用训练数据，以较少的数据获得更好的性能。
另一个视频恢复任务是视频超分辨率，目的是利用时间信息从相应的低分辨率视频中重建高分辨率视频，通过采用光流在连续帧之间执行对齐，本申请实施例的方法结合了视频帧插值和超分辨率的思想。本申请实施例共同实现时空超分辨率。另外，与视频不同的是，本申请实施例的目标是一个不同的任务，即向量场恢复，其中不仅可以考虑值，而且还可以考虑方向。
实施例3
根据本发明实施例，提供了又一种时变矢量场数据的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图6是根据本发明实施例的又一种时变矢量场数据的处理方法的流程图，如图6所示，该方法包括如下步骤：
步骤S602，获取需要重建的矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；
步骤S604，基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；
步骤S606，基于上述低分辨率矢量场序列，获取重建后的矢量场数据，其中，重建后的矢量场数据位高分辨率。
需要说明的是，了解时变矢量场的动力学行为是当前科学研究领域的一个热点问题。有几种方法专注于设计向量场并重建向量场。例如，基于能量函数最小化对流线矢量场进行重及信息熵质量评价，使用多项式函数局部逼近向量场，然后将它们组合成全局光滑场。这些方法基本上是基于线性插值的，使用流线来表示和减少流场，并且可以使用以流线为输入的CNN方法重建流场。
本申请实施例的工作不同于上述方法。首先，本申请实施例使用低分辨率场作为输入，而不是稀疏样本，以提高精度,其次，本申请实施例得到一系列中间帧，而不是稳定向量场，通过在不将大量数据集存储在磁盘上或不影响事后勘探质量的情况下，探索大尺寸、长时间序列的精细动态演化的可视化结果，以解决空间和时间维度上的超分辨率挑战。
本申请实施例提出了一种时变矢量场数据的联合时空超分辨率框架，通过从相应的低分辨率序列在时间和空间上重建高时间分辨率(HTR)和高空间分辨率(HSR)序列，利用一个深度学习模型，采用两级结构捕获矢量场数据的复杂非线性变化：第一个网络向前和向后变形一对低空间分辨率(LSR)关键帧，以生成中间的LSR帧，第二个网络利用可变形卷积对相邻特征进行对齐，输出最终的高分辨率序列。本申请实施例中提供的损失函数，采用时间相干性编码向量场的结构特征，可以处理不同的数据集。通过定量和定性评估，并与传统的线性插值方法进行比较，并采用多个数据集证明了本申请实施例的有效性。
实施例4
根据本发明实施例，还提供了一种用于实施上述时变矢量场数据的处理方法的装置实施例，图7是根据本发明实施例的一种时变矢量场数据的处理装置的结构示意图，如图7所示，上述时变矢量场数据的处理装置，包括：第一获取模块70、第一生成模块72和预测模块74，其中：
第一获取模块70，用于获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；第一生成模块72，用于基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；预测模块74，用于基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。
此处需要说明的是，上述第一获取模块70、第一生成模块72和预测模块74对应于实施例1中的步骤S102至步骤S106，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
根据本发明实施例，还提供了另一种用于实施上述时变矢量场数据的处理方法的装置实施例，图8是根据本发明实施例的另一种时变矢量场数据的处理装置的结构示意图，如图8所示，上述时变矢量场数据的处理装置，包括：第二获取模块80、第二生成模块82和处理模块84，其中：
第二获取模块80，用于获取需要进行信息恢复的视频，其中，上述视频包括矢量场数据的数据序列，上述矢量场数据的述数据序列包括多个数据帧；第二生成模块82，用于基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；处理模块84，用于将上述多个中间帧作为视频帧插值，插入到上述视频中，生成已恢复丢失数据的视频，其中，上述视频帧插值为高分辨率的矢量场数据。
此处需要说明的是，上述第二获取模块80、第二生成模块82和处理模块84对应于实施例2中的步骤S502至步骤S506，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例2所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
根据本发明实施例，还提供了又一种用于实施上述时变矢量场数据的处理方法的装置实施例，图9是根据本发明实施例的又一种时变矢量场数据的处理装置的结构示意图，如图9所示，上述时变矢量场数据的处理装置，包括：获取单元90、生成单元92和处理单元94，其中：
获取单元90，用于获取需要重建的矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；生成单元92，用于基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；处理单元94，用于基于上述低分辨率矢量场序列，获取重建后的矢量场数据，其中，重建后的矢量场数据位高分辨率。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，例如，对于后者，可以通过以下方式实现：上述各个模块可以位于同一处理器中；或者，上述各个模块以任意组合的方式位于不同的处理器中。
此处需要说明的是，上述获取单元90、生成单元92和处理单元94对应于实施例3中的步骤S602至步骤S606，上述模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例3所公开的内容。需要说明的是，上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是，本实施例的可选或优选实施方式可以参见实施例1中的相关描述，此处不再赘述。
上述的时变矢量场数据的处理装置还可以包括处理器和存储器，上述第一获取模块70、第一生成模块72和预测模块74、第二获取模块80、第二生成模块82和处理模块84、获取单元90、生成单元92和处理单元94等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核，由内核去存储器中调取相应的程序单元，上述内核可以设置一个或以上。存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
根据本申请实施例，还提供了一种非易失性存储介质实施例。可选地，在本实施例中，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行上述任意一种时变矢量场数据的处理方法。
可选地，在本实施例中，上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中，上述非易失性存储介质包括存储的程序。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取需要进行信息恢复的视频，其中，上述视频包括矢量场数据的数据序列，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；将上述多个中间帧作为视频帧插值，插入到上述视频中，生成已恢复丢失数据的视频，其中，上述视频帧插值为高分辨率的矢量场数据。
可选地，在程序运行时控制非易失性存储介质所在设备执行以下功能：获取需要重建的矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，获取重建后的矢量场数据，其中，重建后的矢量场数据位高分辨率。
根据本申请实施例，还提供了一种处理器实施例。可选地，在本实施例中，上述处理器用于运行程序，其中，上述程序运行时执行上述任意一种时变矢量场数据的处理方法。
本申请实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。
可选的，上述处理器还用于执行程序时实现以下步骤：获取需要进行信息恢复的视频，其中，上述视频包括矢量场数据的数据序列，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；将上述多个中间帧作为视频帧插值，插入到上述视频中，生成已恢复丢失数据的视频，其中，上述视频帧插值为高分辨率的矢量场数据。
可选的，上述处理器还用于执行程序时实现以下步骤：获取需要重建的矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，获取重建后的矢量场数据，其中，重建后的矢量场数据位高分辨率。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，预测高分辨率的矢量场数据。
可选的，上述计算机程序产品还用于执行程序时实现以下步骤：获取需要进行信息恢复的视频，其中，上述视频包括矢量场数据的数据序列，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；将上述多个中间帧作为视频帧插值，插入到上述视频中，生成已恢复丢失数据的视频，其中，上述视频帧插值为高分辨率的矢量场数据。
可选的，上述计算机程序产品还用于执行程序时实现以下步骤：获取需要重建的矢量场数据的数据序列，其中，上述矢量场数据的述数据序列包括多个数据帧；基于上述数据序列中的关键帧，生成多个中间帧，其中，上述关键帧和上述中间帧均为低空间分辨率，上述多个中间帧构成低分辨率矢量场序列；基于上述低分辨率矢量场序列，获取重建后的矢量场数据，其中，重建后的矢量场数据位高分辨率。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种时变矢量场数据的处理方法，其特征在于，包括：
获取矢量场数据的数据序列，其中，所述矢量场数据的述数据序列包括多个数据帧；
基于所述数据序列中的关键帧，生成多个中间帧，其中，所述关键帧和所述中间帧均为低空间分辨率，所述多个中间帧构成低分辨率矢量场序列；
基于所述低分辨率矢量场序列，预测高分辨率的矢量场数据。
2.根据权利要求1所述的方法，其特征在于，所述高分辨率的矢量场数据包括：在时间上重建的高时间分辨率序列，以及在空间上重建的高空间分辨率序列。
3.根据权利要求1所述的方法，其特征在于，基于所述数据序列中的关键帧，生成多个中间帧，包括：
获取所述数据序列中的一对关键帧；
使用第一神经网络模型对所述一对关键帧进行向前变形和向后变形，生成多个所述中间帧，其中，所述第一神经网络模型为预测模型。
4.根据权利要求3所述的方法，其特征在于，所述向前变形为基于时间相关性来对所述一对关键帧进行变形，所述向后变形为基于空间相关性对对所述一对关键帧进行变形，预测得到所述中间帧的时间步长。
5.根据权利要求3或4所述的方法，其特征在于，使用第一神经网络模型对所述一对关键帧进行向前变形和向后变形，生成多个所述中间帧，包括：
通过编码器接收所述一对关键帧；
通过所述编码器对所述一对关键帧进行正向编码和反向编码，输出所述一对关键帧之间的正向和反向运动；
通过所述编码器将所述一对关键帧之间的正向和反向运动的与当前时间步对齐，生成所述向前变形和所述向后变形后的变形帧；
将所述变形帧作为混合帧输出，生成所述中间帧。
6.根据权利要求1所述的方法，其特征在于，基于所述低分辨率矢量场序列，预测高分辨率的矢量场数据，包括：
使用第二神经网络模型对所述低分辨率矢量场序列中相邻特征进行对齐处理，生成所述高分辨率的矢量场数据，其中，所述第二神经网络模型为可变形卷积模型。
7.根据权利要求6所述的方法，其特征在于，在所述低分辨率矢量场序列中，如果不同帧之间的任意时间步处存在连续帧时，对所述低分辨率矢量场序列中相邻特征的上下文信息进行对齐处理，生成所述高分辨率的矢量场数据。
8.一种时变矢量场数据的处理方法，其特征在于，包括：
获取需要进行信息恢复的视频，其中，所述视频包括矢量场数据的数据序列，所述矢量场数据的述数据序列包括多个数据帧；
基于所述数据序列中的关键帧，生成多个中间帧，其中，所述关键帧和所述中间帧均为低空间分辨率，所述多个中间帧构成低分辨率矢量场序列；
将所述多个中间帧作为视频帧插值，插入到所述视频中，生成已恢复丢失数据的视频，其中，所述视频帧插值为高分辨率的矢量场数据。
9.一种时变矢量场数据的处理方法，其特征在于，包括：
获取需要重建的矢量场数据的数据序列，其中，所述矢量场数据的述数据序列包括多个数据帧；
基于所述数据序列中的关键帧，生成多个中间帧，其中，所述关键帧和所述中间帧均为低空间分辨率，所述多个中间帧构成低分辨率矢量场序列；
基于所述低分辨率矢量场序列，获取重建后的矢量场数据，其中，重建后的矢量场数据位高分辨率。
10.一种时变矢量场数据的处理装置，其特征在于，包括：
第一获取模块，用于获取矢量场数据的数据序列，其中，所述矢量场数据的述数据序列包括多个数据帧；
第一生成模块，用于基于所述数据序列中的关键帧，生成多个中间帧，其中，所述关键帧和所述中间帧均为低空间分辨率，所述多个中间帧构成低分辨率矢量场序列；
预测模块，用于基于所述低分辨率矢量场序列，预测高分辨率的矢量场数据。
11.一种非易失性存储介质，其特征在于，所述非易失性存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至9中任意一项的方法步骤。
12.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至9中任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010676552.XA CN111767679B (zh) | 2020-07-14 | 2020-07-14 | 时变矢量场数据的处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010676552.XA CN111767679B (zh) | 2020-07-14 | 2020-07-14 | 时变矢量场数据的处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111767679A true CN111767679A (zh) | 2020-10-13 |
| CN111767679B CN111767679B (zh) | 2023-11-07 |
Family
ID=72725756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010676552.XA Active CN111767679B (zh) | 2020-07-14 | 2020-07-14 | 时变矢量场数据的处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767679B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487661A (zh) * | 2021-06-15 | 2021-10-08 | 北京道达天际科技有限公司 | 矢量场数据的可视化方法 |
| CN115546498A (zh) * | 2022-09-28 | 2022-12-30 | 大连海事大学 | 一种基于深度学习的流场时变数据的压缩存储方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108139408A (zh) * | 2015-08-07 | 2018-06-08 | 麻省理工学院 | 蛋白质保持扩展显微法 |
| CN110246152A (zh) * | 2019-05-21 | 2019-09-17 | 上海交通大学 | Piv图像处理方法及系统 |
| CN110287388A (zh) * | 2019-06-05 | 2019-09-27 | 中国科学院计算机网络信息中心 | 数据可视化方法及装置 |
| CN110992260A (zh) * | 2019-10-15 | 2020-04-10 | 网宿科技股份有限公司 | 一种视频超分辨率重建的方法和装置 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN111223040A (zh) * | 2020-01-09 | 2020-06-02 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像生成方法及装置 |
-
2020
- 2020-07-14 CN CN202010676552.XA patent/CN111767679B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108139408A (zh) * | 2015-08-07 | 2018-06-08 | 麻省理工学院 | 蛋白质保持扩展显微法 |
| CN110246152A (zh) * | 2019-05-21 | 2019-09-17 | 上海交通大学 | Piv图像处理方法及系统 |
| CN110287388A (zh) * | 2019-06-05 | 2019-09-27 | 中国科学院计算机网络信息中心 | 数据可视化方法及装置 |
| CN110992260A (zh) * | 2019-10-15 | 2020-04-10 | 网宿科技股份有限公司 | 一种视频超分辨率重建的方法和装置 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
| CN111223040A (zh) * | 2020-01-09 | 2020-06-02 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像生成方法及装置 |
Non-Patent Citations (3)
| Title |
|---|
| 卜丽静 等: "运动分割和光流估计的卫星视频超分辨率重建", 《测绘科学》 * |
| 王素玉 等: "一种简单有效的视频序列超分辨率复原算法", 《北京工业大学学报》 * |
| 胡龙珍 等: "基于MAP-EM的多帧遥感影像超分辨率技术研究", 《电子设计工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487661A (zh) * | 2021-06-15 | 2021-10-08 | 北京道达天际科技有限公司 | 矢量场数据的可视化方法 |
| CN113487661B (zh) * | 2021-06-15 | 2022-12-23 | 北京道达天际科技股份有限公司 | 矢量场数据的可视化方法、装置、设备和可读存储介质 |
| CN115546498A (zh) * | 2022-09-28 | 2022-12-30 | 大连海事大学 | 一种基于深度学习的流场时变数据的压缩存储方法 |
| CN115546498B (zh) * | 2022-09-28 | 2023-10-17 | 大连海事大学 | 一种基于深度学习的流场时变数据的压缩存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111767679B (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Quadratic video interpolation | |
| Xiao et al. | Satellite video super-resolution via multiscale deformable convolution alignment and temporal grouping projection | |
| US10593021B1 (en) | Motion deblurring using neural network architectures | |
| CN110969577B (zh) | 一种基于深度双重注意力网络的视频超分辨率重建方法 | |
| CN102136144B (zh) | 图像配准可靠性模型和超分辨率图像的重构方法 | |
| CN110782490A (zh) | 一种具有时空一致性的视频深度图估计方法及装置 | |
| CN111626308B (zh) | 一种基于轻量卷积神经网络的实时光流估计方法 | |
| Fan et al. | Sunet: symmetric undistortion network for rolling shutter correction | |
| CN113837938A (zh) | 基于动态视觉传感器重建潜在图像的超分辨率方法 | |
| Park et al. | Robust video frame interpolation with exceptional motion map | |
| Hu et al. | Capturing small, fast-moving objects: Frame interpolation via recurrent motion enhancement | |
| CN111767679B (zh) | 时变矢量场数据的处理方法及装置 | |
| CN114339409A (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| Li et al. | Learning detail-structure alternative optimization for blind super-resolution | |
| Zhang et al. | Unsupervised multi-view constrained convolutional network for accurate depth estimation | |
| Liu et al. | Video frame interpolation via optical flow estimation with image inpainting | |
| Li et al. | Space–time super-resolution with patch group cuts prior | |
| Suzuki et al. | Residual learning of video frame interpolation using convolutional LSTM | |
| Xiao et al. | Progressive motion boosting for video frame interpolation | |
| Barreto et al. | Motion estimation techniques in super-resolution image reconstruction: a performance evaluation | |
| Kılıç et al. | E-VFIA: Event-based video frame interpolation with attention | |
| Babu V et al. | A deeper insight into the undemon: Unsupervised deep network for depth and ego-motion estimation | |
| Fang et al. | Self-enhanced convolutional network for facial video hallucination | |
| CN112767250B (zh) | 一种基于自监督学习的视频盲超分辨率重建方法及系统 | |
| Zhu et al. | MFNet: Real-time motion focus network for video frame interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |