CN111695416A - 一种基于自监督学习的稠密光流估计系统及方法 - Google Patents

一种基于自监督学习的稠密光流估计系统及方法 Download PDF

Info

Publication number
CN111695416A
CN111695416A CN202010355759.7A CN202010355759A CN111695416A CN 111695416 A CN111695416 A CN 111695416A CN 202010355759 A CN202010355759 A CN 202010355759A CN 111695416 A CN111695416 A CN 111695416A
Authority
CN
China
Prior art keywords
image
optical flow
neural network
self
dense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010355759.7A
Other languages
English (en)
Inventor
刘勇
刘亮
王亚彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Tencent Technology Shanghai Co Ltd
Original Assignee
Zhejiang University ZJU
Tencent Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Tencent Technology Shanghai Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202010355759.7A priority Critical patent/CN111695416A/zh
Publication of CN111695416A publication Critical patent/CN111695416A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于自监督学习的稠密光流估计系统及方法，一种基于自监督学习的稠密光流估计系统，包括图像对获取单元、类比估计单元、参数更新单元和预测单元；图像对获取单元用于从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，所述图像对包含基准图像和与基准图像之后的任意一帧目标图像；参数更新单元用于根据原始估计与扩增估计的结果更新卷积神经网络模型参数，并最终得到用于预测稠密光流的卷积神经网络模型；采用本发明技术方案，通过卷积神经网络估计稠密光流速度快，精度高；采用自监督学习的方法，无需对数据进行标注，更容易获得大量的训练数据，从而提升了本发明方案的应用能力。

Description

一种基于自监督学习的稠密光流估计系统及方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于自监督学习的稠密光流估计系统及方法。
背景技术
在计算机视觉领域，稠密光流(Dense Optical Flow)描述了图像中所有像素点的运动轨迹或是一对图像中像素点的对应关系。在行为识别，目标跟踪，运动预测等影像处理任务中，光流作为一种运动特征起到了十分重要的作用。
在过去的影像任务中，稠密光流的估计方法通常基于深度学习，计算量大且精度较低，无法在实际应用中使用；另外由于对视频中所有像素点逐帧地进行标注需要极大人力成本，因此只能从计算机仿真合成的数据来进行有监督学习，导致其在真实场景中性能退化严重。
综上，现有的稠密光流预估方法仍然存在诸如计算量大、训练样本依赖性严重、实际使用性能差等问题。目前亟待针对这一问题，提出一种充分利用海量的视频数据进行无需标注的学习方法，进而获得高实用性的稠密光流以供影像处理任务使用。
发明内容
鉴于上述问题，本发明提供一种基于自监督学习的稠密光流估计系统及方法，从海量原始视频数据进行模型训练，以提高影像处理任务中稠密光流估计的准确性和实用性。
本发明提供一种基于自监督学习的稠密光流估计系统，包括：
图像对获取单元：用于从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，所述图像对包含基准图像和与基准图像之后的任意一帧目标图像；
类比估计单元：用于将原始图像对，输入随机初始化的卷积神经网络模型得到原始估计的稠密光流图；另外，将原始图像对进行变换，获得扩增图像对，输入到用于与自学习单元一致的卷积神经网络，获得扩增估计的稠密光流；
参数更新单元：用于根据原始估计与扩增估计的结果更新卷积神经网络模型参数，并最终得到用于预测稠密光流的卷积神经网络模型；
预测单元：用于将任意图像对输入学习得到的卷积神经网络模型，得到所述图像对的稠密光流。
本发明还提供一种基于自监督学习的稠密光流估计方法，包括如下步骤：
步骤(1):从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，原始图像对包含基准图像和与基准图像之后的任意一帧目标图像。
优选地，所述训练数据集是通过判断前后帧画面是否变化滤去静止画面以及不属于同一段分镜的图像对，这样能提升训练数据有效性，从而使本发明方法更高效。
其中，将待预估稠密光流的图像对中，时间较前的图像称为基准图像，较后的图像称为目标图像，以{I,I′}表示图像对，其中I为基准图像，I′为目标图像。I(x,y)表示基准图像在像素坐标(x,y)的亮度值，光流F(x,y)＝(u,v)表示坐标为(x,y)的像素点的运动轨迹，其中(u,v)表示当前帧中的像素对应到下一帧中的像素偏移量，则光流F满足下式(1)：
I(x,y)＝I′(x+u,y+v) 式(1)
步骤(2)、将原始图像对输入卷积神经网络得到初次估计的原始稠密光流图F。
本申请并不对所述的卷积神经网络模型的具体结构进行严格的限定，只要具有编码、解码功能的深度卷积神经网络均可。优选地，本例中的网络模型由卷积层、反卷积层、池化层等常见的深度学习层级联而成，其中待优化的参数为网络中所有卷积层与反卷积层中的参数。网络参数的初始化方式不限，可以是随机初始化，也可以由其它任务迁移而来。
步骤(3)、将原始图像对经过变换，获得扩增图像对，将扩增图像对输入至与步骤(2)相同的卷积神经网络，获得估计的扩增稠密光流图F*。
优选地，对图像对进行的变换同时包括1.外观变换，如随机亮度变化、随机颜色抖动、随机对比度变化、随机高斯模糊、随机锐化。2.空间变换，如随机平移、随机翻转、随机缩放、随机旋转、随机裁剪。3.遮挡变换，如随机遮挡住参考图或目标图的某些区域。本发明不限定于某几种变换方式，任何能改变原始图像对的方式都可以使用到发明中。
步骤(4)、利用步骤(2)估计的原始稠密光流图F，对图中的所有坐标从目标图像I′中取值以获得重构的基准图像。按式(1)，重构的基准图像
Figure BDA0002473380730000021
在像素坐标(x,y)处的像素值满足
Figure BDA0002473380730000022
对于坐标值(x+u,y+v)可能出现的非整数问题，采用插值方法获取对应整数坐标的像素值。本发明不限定具体插值方法，可以使用例如双线性插值、最近邻插值或其它插值方法。
步骤(5)、对比从步骤(4)中所获得的重构的基准图像
Figure BDA0002473380730000031
与原始基准图像I的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到自监督学习的优化目标：光度损失。
步骤(6)、对比步骤(2)中所估计的原始稠密光流图F与步骤(3)中所估计的扩增稠密光流图F*的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到类比学习的优化目标：类比损失。
上述度量函数可以是任意描述像素差异的函数，且对所有像素的求和方式不限定于直接求和，加权求和等。
优选地，步骤(5)、(6)中使用的度量函数为所有像素值之差的绝对值之和。
Figure BDA0002473380730000032
步骤(7)、将光度损失与类比损失加权求和获得总损失值，即为总体优化目标，并通过计算卷积神经网络模型中各层参数关于总损失值的梯度，以基于梯度的优化方法对卷积神经网络模型的参数进行更新。
优选地，本发明采用同时优化自监督学习损失与类比学习损失。
步骤(8)、对训练数据及中所有的图像对不断重复步骤(2)至步骤(7)，直至总体优化目标的损失值收敛，完成深度卷积神经网络的自监督训练。
步骤(9)、通过对给定的任意图像对，输入训练完成的网络模型，即可获得对应的稠密光流图。
本发明中，通过从视频中抽取的海量图像对进行无需标注的自监督学习，采用随机梯度下降等方式训练卷积神经网络模型得到用于预估稠密光流的卷积神经网络。训练方式可采用传统的神经网络训练方式，本申请不做严格限定。
与现有技术相比，本发明的有益效果是：
采用本发明技术方案，一方面，通过卷积神经网络估计稠密光流速度快，精度高；另一方面，采用自监督学习的方法，无需对数据进行标注，更容易获得大量的训练数据，从而提升了本发明方案的应用能力。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例中稠密光流估计方法的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
参见图1，为本发明实施例提供的一种基于自监督学习的稠密光流估计方法的流程图，方法包括：
步骤(1):从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，原始图像对包含基准图像和与基准图像之后的任意一帧目标图像。
优选地，本发明实施例中，所述训练数据集通过判断前后帧画面是否变化滤去静止画面以及不属于同一段分镜的图像对，这样能提升训练数据有效性，从而使本发明方法更高效。
本发明实施例中，将待预估稠密光流的图像对中，时间较前的图像称为基准图像，较后的图像称为目标图像，以{I,I′}表示图像对，其中I为基准图像，I′为目标图像。I(x,y)表示基准图像在像素坐标(x,y)的亮度值，光流F(x,y)＝(u,v)表示坐标为(x,y)的像素点的运动轨迹，其中(u,v)表示当前帧中的像素对应到下一帧中的像素偏移量，则光流F满足下式(1)：
I(x,y)＝I′(x+u,y+v) 式(1)
步骤(2)、将原始图像对输入卷积神经网络得到初次估计的原始稠密光流图F。
本申请并不对所述的卷积神经网络模型的具体结构进行严格的限定，只要具有编码、解码功能的深度卷积神经网络均可。优选地，本例中的网络模型由卷积层、反卷积层、池化层等常见的深度学习层级联而成，其中待优化的参数为网络中所有卷积层与反卷积层中的参数。网络参数的初始化方式不限，可以是随机初始化，也可以由其它任务迁移而来。
步骤(3)、将原始图像对经过变换，获得扩增图像对，将扩增图像对输入至与步骤(2)相同的卷积神经网络，获得估计的扩增稠密光流图F*。
优选地，本发明实施例中，对图像对进行的变换同时包括1.外观变换，如随机亮度变化、随机颜色抖动、随机对比度变化、随机高斯模糊、随机锐化。2.空间变换，如随机平移、随机翻转、随机缩放、随机旋转、随机裁剪。3.遮挡变换，如随机遮挡住参考图或目标图的某些区域。本发明实施例不限定于某几种变换方式，任何能改变原始图像对的方式都可以使用到发明实施例中。
步骤(4)、利用步骤(2)估计的原始稠密光流图F，对图中的所有坐标从目标图像I′中取值以获得重构的基准图像。按式(1)，重构的基准图像
Figure BDA0002473380730000051
在像素坐标(x,y)处的像素值满足
Figure BDA0002473380730000052
对于坐标值(x+u,y+v)可能出现的非整数问题，采用插值方法获取对应整数坐标的像素值。本发明实施例不限定具体插值方法，可以使用例如双线性插值、最近邻插值或其它插值方法。
步骤(5)、对比从步骤(4)中所获得的重构的基准图像
Figure BDA0002473380730000054
与原始基准图像I的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到自监督学习的优化目标：光度损失。
步骤(6)、对比步骤(2)中所估计的原始稠密光流图F与步骤(3)中所估计的扩增稠密光流图F*的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到类比学习的优化目标：类比损失。
本方法的度量函数可以是任意描述像素差异的函数，且对所有像素的求和方式不限定于直接求和，加权求和等。
优选地，步骤(5)、(6)中使用的度量函数为所有像素值之差的绝对值之和。
Figure BDA0002473380730000053
步骤(7)、将光度损失与类比损失加权求和获得总损失值，即为总体优化目标，并通过计算卷积神经网络模型中各层参数关于总损失值的梯度，以基于梯度的优化方法对卷积神经网络模型的参数进行更新。
优选地，本发明实施例采用同时优化自监督学习损失与类比学习损失，
步骤(8)、对训练数据及中所有的图像对不断重复步骤(2)至步骤(7)，直至总体优化目标的损失值收敛，完成深度卷积神经网络的自监督训练。
步骤(9)、通过对给定的任意图像对，输入训练完成的网络模型，即可获得对应的稠密光流图。
本发明实施例中，通过从视频中抽取的海量图像对进行无需标注的自监督学习，采用随机梯度下降等方式训练卷积神经网络模型得到用于预估稠密光流的卷积神经网络。训练方式可采用传统的神经网络训练方式，本申请不做严格限定。
上述实施例是本发明较佳的实施方式，但是本发明的实施方式不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.一种基于自监督学习的稠密光流估计系统，其特征在于，包括：
图像对获取单元：用于从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，所述图像对包含基准图像和与基准图像之后的任意一帧目标图像；
类比估计单元：用于将原始图像对，输入随机初始化的卷积神经网络模型得到原始估计的稠密光流图；另外，将原始图像对进行变换，获得扩增图像对，输入到用于与自学习单元一致的卷积神经网络，获得扩增估计的稠密光流；
参数更新单元：用于根据原始估计与扩增估计的结果更新卷积神经网络模型参数，并最终得到用于预测稠密光流的卷积神经网络模型；
预测单元：用于将任意图像对输入学习得到的卷积神经网络模型，得到所述图像对的稠密光流。
2.一种基于自监督学习的稠密光流估计方法，其特征在于，包括如下步骤：
步骤(1):从任意视频数据中抽取出待训练的光流估计模型训练所需要的大量原始图像对组成的训练数据集，原始图像对包含基准图像和与基准图像之后的任意一帧目标图像；
其中，将待预估稠密光流的图像对中，时间较前的图像称为基准图像，较后的图像称为目标图像，以{I,I′}表示图像对，其中I为基准图像，I′为目标图像。I(x,y)表示基准图像在像素坐标(x,y)的亮度值，光流F(x,y)＝(u,v)表示坐标为(x,y)的像素点的运动轨迹，其中(u,v)表示当前帧中的像素对应到下一帧中的像素偏移量，则光流F满足下式(1)：
I(x,y)＝I′(x+u,y+v) 式(1)
步骤(2)、将原始图像对输入卷积神经网络得到初次估计的原始稠密光流图F；
步骤(3)、将原始图像对经过变换，获得扩增图像对，将扩增图像对输入至与步骤(2)相同的卷积神经网络，获得估计的扩增稠密光流图F*。
步骤(4)、利用步骤(2)估计的原始稠密光流图F，对图中的所有坐标从目标图像I′中取值以获得重构的基准图像；按上述式(1)，重构的基准图像
Figure FDA0002473380720000011
在像素坐标(x,y)处的像素值满足
Figure FDA0002473380720000012
对于坐标值(x+u,y+v)出现的非整数问题，采用插值方法获取对应整数坐标的像素值；
步骤(5)、对比从步骤(4)中所获得的重构的基准图像
Figure FDA0002473380720000021
与原始基准图像I的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到自监督学习的优化目标：光度损失；
步骤(6)、对比步骤(2)中所估计的原始稠密光流图F与步骤(3)中所估计的扩增稠密光流图F*的差异，通过度量函数计算逐像素的差异值，并对所有像素的差异求和得到类比学习的优化目标：类比损失；
步骤(7)、将光度损失与类比损失加权求和获得总损失值，即为总体优化目标，并通过计算卷积神经网络模型中各层参数关于总损失值的梯度，以基于梯度的优化方法对卷积神经网络模型的参数进行更新；
步骤(8)、对训练数据集中所有的图像对不断重复步骤(2)至步骤(7)，直至总体优化目标的损失值收敛，完成深度卷积神经网络的自监督训练。
步骤(9)、通过对给定的任意图像对，输入训练完成的卷积神经网络模型，即可获得对应的稠密光流图。
3.根据权利要求2中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，所述训练数据集是通过判断前后帧画面是否变化滤去静止画面以及不属于同一段分镜的图像对，这样能提升训练数据有效性，从而使本发明方法更高效。
4.根据权利要求2中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，在步骤(3)中对图像对进行的变换方式包括外观变换、空间变换和遮挡变换。
5.根据权利要求4中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，所述外观变换采用随机亮度变化、随机颜色抖动、随机对比度变化、随机高斯模糊或者随机锐化；所述空间变换采用随机平移、随机翻转、随机缩放、随机旋转或者随机裁剪；所述遮挡变换是采用随机遮挡住参考图或目标图的某些区域。
6.根据权利要求2中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，在步骤(4)中插值方法是使用双线性插值或者最近邻插值。
7.根据权利要求2中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，在步骤(5)、(6)中的度量函数是任意描述像素差异的函数，且对所有像素的求和方式包括直接求和、加权求和。
8.根据权利要求7中所述的一种基于自监督学习的稠密光流估计方法，其特征在于，在步骤(5)、(6)中使用的度量函数为所有像素值之差的绝对值之和，公式如下：
Figure FDA0002473380720000031
CN202010355759.7A 2020-04-29 2020-04-29 一种基于自监督学习的稠密光流估计系统及方法 Pending CN111695416A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010355759.7A CN111695416A (zh) 2020-04-29 2020-04-29 一种基于自监督学习的稠密光流估计系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010355759.7A CN111695416A (zh) 2020-04-29 2020-04-29 一种基于自监督学习的稠密光流估计系统及方法

Publications (1)

Publication Number Publication Date
CN111695416A true CN111695416A (zh) 2020-09-22

Family

ID=72476796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010355759.7A Pending CN111695416A (zh) 2020-04-29 2020-04-29 一种基于自监督学习的稠密光流估计系统及方法

Country Status (1)

Country Link
CN (1) CN111695416A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223058A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 光流估计模型的训练方法、装置、电子设备及存储介质
CN116433755A (zh) * 2023-03-31 2023-07-14 哈尔滨工业大学 基于可变形三维模型和光流表示学习的结构稠密位移识别方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527358A (zh) * 2017-08-23 2017-12-29 北京图森未来科技有限公司 一种稠密光流估计方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527358A (zh) * 2017-08-23 2017-12-29 北京图森未来科技有限公司 一种稠密光流估计方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIANG LIU等: "《Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation》", 《ARXIV》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113223058A (zh) * 2021-05-12 2021-08-06 北京百度网讯科技有限公司 光流估计模型的训练方法、装置、电子设备及存储介质
CN113223058B (zh) * 2021-05-12 2024-04-30 北京百度网讯科技有限公司 光流估计模型的训练方法、装置、电子设备及存储介质
CN116433755A (zh) * 2023-03-31 2023-07-14 哈尔滨工业大学 基于可变形三维模型和光流表示学习的结构稠密位移识别方法及系统
CN116433755B (zh) * 2023-03-31 2023-11-14 哈尔滨工业大学 基于可变形三维模型和光流表示学习的结构稠密位移识别方法及系统

Similar Documents

Publication Publication Date Title
Wang et al. Real-esrgan: Training real-world blind super-resolution with pure synthetic data
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
US11017586B2 (en) 3D motion effect from a 2D image
US9930271B2 (en) Automatic composition of video with dynamic background and composite frames selected based on frame criteria
US20220222776A1 (en) Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution
CN109993712B (zh) 图像处理模型的训练方法、图像处理方法及相关设备
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
WO2018082185A1 (zh) 图像处理方法和装置
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
JPH08251480A (ja) ビデオ信号処理方法及び装置
CN113077505B (zh) 一种基于对比学习的单目深度估计网络的优化方法
CN109903315B (zh) 用于光流预测的方法、装置、设备以及可读存储介质
Dai et al. Sparse representation-based multiple frame video super-resolution
CN110049242B (zh) 一种图像处理方法和装置
CN115035171B (zh) 基于自注意力导向特征融合的自监督单目深度估计方法
CN113313810A (zh) 一种透明物体的6d姿态参数计算方法
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
CN111695416A (zh) 一种基于自监督学习的稠密光流估计系统及方法
CN113724155A (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
Pickup et al. Overcoming registration uncertainty in image super-resolution: maximize or marginalize?
CN113989460B (zh) 用于增强现实场景的实时天空替换特效控制方法及装置
CN116824438A (zh) 基于边缘注意门控图卷积网络的半监督视频分割方法
CN117934308A (zh) 一种基于图卷积网络的轻量化自监督单目深度估计方法
CN103618904B (zh) 基于像素的运动估计方法及装置
CN112446245A (zh) 一种基于运动边界小位移的高效运动表征方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200922