CN112767441B - 一种基于残差场和位移场的图像光流优化方法及系统 - Google Patents

一种基于残差场和位移场的图像光流优化方法及系统 Download PDF

Info

Publication number
CN112767441B
CN112767441B CN202110022829.1A CN202110022829A CN112767441B CN 112767441 B CN112767441 B CN 112767441B CN 202110022829 A CN202110022829 A CN 202110022829A CN 112767441 B CN112767441 B CN 112767441B
Authority
CN
China
Prior art keywords
optical flow
field
decoder
image
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110022829.1A
Other languages
English (en)
Other versions
CN112767441A (zh
Inventor
张聪炫
冯诚
陈震
胡卫明
黎明
陈昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202110022829.1A priority Critical patent/CN112767441B/zh
Publication of CN112767441A publication Critical patent/CN112767441A/zh
Priority to US17/570,836 priority patent/US12112486B2/en
Application granted granted Critical
Publication of CN112767441B publication Critical patent/CN112767441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于残差场和位移场的图像光流优化方法及系统。该方法包括：获取参考图像；采用光流估计方法对所述参考图像进行估计，得到初始光流场；获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；将所述初始光流场与所述残差场叠加，得到初步优化的光流场；利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。本发明可以提高图像序列光流估计在运动边界区域的精度和鲁棒性。

Description

一种基于残差场和位移场的图像光流优化方法及系统
技术领域
本发明涉及图像序列光流计算领域，特别是涉及一种基于残差场和位移场的图像光流优化方法及系统。
背景技术
光流是运动物体或场景表面像素点在投影平面的二维瞬时速度，其不仅能够提供图像中运动目标和景物的运动参数信息，还能够提供丰富的三维结构信息，是图像处理、计算机视觉等领域的热点问题。近年来，随着深度学习理论与技术的快速发展，卷积神经网络模型被广泛应用于光流估计技术研究，由于该类方法具有计算速度快、稳定性高等显著优点，因此逐渐成为遮挡检测研究领域的热点，研究成果被广泛应用于动作识别、人体姿态识别、光流估计、人脸识别、目标跟踪和三维重建等更高级视觉任务。
目前，基于卷积神经网络的光流估计技术是图像序列光流计算技术中最常采用的一类光流估计技术，该类方法通常会在物体运动边界区域导致过度平滑现象，并且对于包含非刚性运动和大位移的图像序列边缘模糊现象更为严重，限制了此类方法在各个领域的应用。
发明内容
本发明的目的是提供一种基于残差场和位移场的图像光流优化方法及系统，以提高图像序列光流估计在运动边界区域的精度和鲁棒性。
为实现上述目的，本发明提供了如下方案：
一种基于残差场和位移场的图像光流优化方法，包括：
获取参考图像；
采用光流估计方法对所述参考图像进行估计，得到初始光流场；
获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；
将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；
将所述初始光流场与所述残差场叠加，得到初步优化的光流场；
利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。
可选的，所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器。
可选的，所述将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场，具体包括：
利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图；
利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图；
根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图；
根据所述解码器特征图，利用所述第一子解码器计算残差场；
根据所述解码器特征图，利用所述第二子解码器计算位移场。
可选的，所述根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图，具体包括：
利用公式
Figure BDA0002889273760000021
生成解码特征图；所述第一解码器包括四层卷积层，其中，D1为第一卷积层的卷积操作，
Figure BDA0002889273760000022
为所述第一解码器输出的解码特征图，concatenate是通道叠加运算，
Figure BDA0002889273760000023
D2为第二卷积层的卷积操作，
Figure BDA0002889273760000024
D3为第三卷积层的卷积操作，
Figure BDA0002889273760000025
D4为第四卷积层的卷积操作，
Figure BDA0002889273760000026
和
Figure BDA0002889273760000027
为所述图像编码器输出的多个分辨率不同的图像特征图，
Figure BDA0002889273760000028
和
Figure BDA0002889273760000029
为所述光流编码器输出的多个分辨率不同的光流场特征图。
本发明还提供一种基于残差场和位移场的图像光流优化系统，包括：
参考图像获取模块，用于获取参考图像；
光流估计模块，用于采用光流估计方法对所述参考图像进行估计，得到初始光流场；
光流优化模型获取模块，用于获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；
残差场和位移场计算模块，用于将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；
叠加模块，用于将所述初始光流场与所述残差场叠加，得到初步优化的光流场；
重采样模块，用于利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。
可选的，所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器。
可选的，所述残差场和位移场计算模块，具体包括：
图像特征提取单元，用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图；
光流场特征提取单元，用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图；
第一解码单元，用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图；
残差场计算单元，用于根据所述解码器特征图，利用所述第一子解码器计算残差场；
位移场计算单元，用于根据所述解码器特征图，利用所述第二子解码器计算位移场。
可选的，所述第一解码单元，具体包括：
解码子单元，用于利用公式
Figure BDA0002889273760000041
生成解码特征图；所述第一解码器包括四层卷积层，其中，D1为第一卷积层的卷积操作，
Figure BDA0002889273760000042
为所述第一解码器输出的解码特征图，concatenate是通道叠加运算，
Figure BDA0002889273760000043
D2为第二卷积层的卷积操作，
Figure BDA0002889273760000044
D3为第三卷积层的卷积操作，
Figure BDA0002889273760000045
D4为第四卷积层的卷积操作，
Figure BDA0002889273760000046
和
Figure BDA0002889273760000047
为所述图像编码器输出的多个分辨率不同的图像特征图，
Figure BDA0002889273760000048
和
Figure BDA0002889273760000049
为所述光流编码器输出的多个分辨率不同的光流场特征图。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明采用残差场和位移场优化运动边界区域的光流估计，通过残差场进行优化，对于包含非刚性运动和大位移等图像序列具有更好的计算精度。通过位移场的进一步优化，图像中物体运动边界处的光流场精度得到了显著提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于残差场和位移场的图像光流优化方法的流程示意图；
图2为本发明参考图像的示例；
图3为本发明的初始光流场；
图4为本发明的光流优化模型总体图；
图5为本发明经光流优化模型优化后的光流场；
图6为本发明基于残差场和位移场的图像光流优化系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于残差场和位移场的图像光流优化方法的流程示意图。如图1所示，本发明基于残差场和位移场的图像光流优化方法包括以下步骤：
步骤100：获取参考图像。参考图像为图像序列中的任一帧图像。如图2所示，图2为ambush5图像序列的第一帧图像。
步骤200：采用光流估计方法对参考图像进行估计，得到初始光流场。采用现有的光流估计方法对参考图像进行光流估计，得到的估计结果作为初始光流场。以图2示例的参考图像，进行光流估计后的初始光流场如图3所示。
步骤300：获取光流优化模型。如图4所示，本发明的光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器。其中，图像编码器Er由三层3×3卷积
Figure BDA0002889273760000051
和
Figure BDA0002889273760000052
组成，用于对参考图像进行特征金字塔下采样分层，得到三层分辨率不同的图像特征图
Figure BDA0002889273760000053
和
Figure BDA0002889273760000054
计算方式如下：
Figure BDA0002889273760000055
Figure BDA0002889273760000056
表示图像编码器的第一卷积层
Figure BDA0002889273760000057
对参考图像I进行的卷积操作，得到第一卷积层输出的图像特征图
Figure BDA0002889273760000058
Figure BDA0002889273760000059
表示图像编码器的第二卷积层
Figure BDA00028892737600000510
对图像特征图
Figure BDA00028892737600000511
进行的卷积操作，得到第二卷积层输出的图像特征图
Figure BDA00028892737600000512
Figure BDA00028892737600000513
表示图像编码器的第三卷积层
Figure BDA00028892737600000514
对图像特征图
Figure BDA00028892737600000515
进行的卷积操作，得到第三卷积层输出的图像特征图
Figure BDA00028892737600000516
光流编码器Ef由三层3×3卷积
Figure BDA00028892737600000517
Figure BDA00028892737600000518
和
Figure BDA00028892737600000519
组成，对选择的初始光流场进行特征金字塔下采样分层，用于获取三层分辨率不同的光流特征图
Figure BDA00028892737600000520
Figure BDA00028892737600000521
和
Figure BDA00028892737600000522
计算方式如下：
Figure BDA0002889273760000061
其中，
Figure BDA0002889273760000062
为光流编码器第一卷积层
Figure BDA0002889273760000063
对初始光流场Finit进行的卷积操作，得到光流特征图
Figure BDA0002889273760000064
Figure BDA0002889273760000065
为光流编码器第二卷积层
Figure BDA0002889273760000066
对光流特征图
Figure BDA0002889273760000067
进行的卷积操作，得到光流特征图
Figure BDA0002889273760000068
Figure BDA0002889273760000069
为光流编码器第三卷积层
Figure BDA00028892737600000610
对光流特征图
Figure BDA00028892737600000611
进行的卷积操作，得到光流特征图
Figure BDA00028892737600000612
第一解码器由四层3×3卷积层D1、D2、D3和D4组成。第一解码器接收图像编码器和光流编码器的输出的特征图
Figure BDA00028892737600000613
和
Figure BDA00028892737600000614
用于获取解码器特征图
Figure BDA00028892737600000615
计算方式如下：
Figure BDA00028892737600000616
式中：
Figure BDA00028892737600000617
表示第四卷积层基于光流特征图
Figure BDA00028892737600000618
进行的卷积操作，得到特征图
Figure BDA00028892737600000619
Figure BDA00028892737600000620
表示第三卷积层基于特征图
Figure BDA00028892737600000621
以及光流特征图进行的卷积操作，得到特征图
Figure BDA00028892737600000622
concatenate是通道叠加运算；
Figure BDA00028892737600000623
表示第二卷积层基于特征图
Figure BDA00028892737600000624
和光流特征图以及图像特征图进行的卷积操作，得到特征图
Figure BDA00028892737600000625
Figure BDA00028892737600000626
为第一卷积层基于特征图
Figure BDA00028892737600000627
和光流特征图以及图像特征图进行的卷积操作，卷积结果与图像特征图
Figure BDA00028892737600000628
叠加，得到特征图
Figure BDA00028892737600000629
即所述第一解码器输出的解码特征图。
步骤400：将参考图像和初始光流场输入光流优化模型，输出残差场和位移场。将参考图像和初始光流场输入光流优化模型后，如图4所示，依次经过图像编码器、光流编码器和第一解码器后，输出解码特征图。本发明的子解码器包括第一子解码器和第二子解码器，第一子解码器和第二子解码器均为3×3卷积层。第一子解码器用于计算残差场，第二子解码器用于计算位移场。公式如下：
Figure BDA0002889273760000071
式中，
Figure BDA0002889273760000072
为第一子解码器对解码特征图
Figure BDA0002889273760000073
进行的卷积操作，得到残差场fres；
Figure BDA0002889273760000074
为第二子解码器对解码特征图
Figure BDA0002889273760000075
进行的卷积操作，得到位移场fdis。
步骤500：将初始光流场与残差场叠加，得到初步优化的光流场。公式如下：
Figure BDA0002889273760000076
式中：p代表了参考图像I中的一个像素坐标位置，Finit(p)是光流场中的坐标p处的光流值，fres(p)表示图像坐标系下坐标p处的初始残差，Finit+res(p)是坐标p处初始光流值与残差的叠加结果，即坐标p处初步优化的光流值。
步骤600：利用位移场对初步优化的光流场进行重采样，得到优化后的光流场。公式如下：
计算方式如下：
Figure BDA0002889273760000077
式中，frefined(p)是对光流场按所需的像素坐标位置p+fdis(p)重新采样后得到的优化后的光流场，优化后的光流场如图5所示。
下面举例说明重采样过程，假设重采样前的光流场fold在坐标p＝(10,5)处的光流为fold(p)＝(3,2)，该点的位移场fdis(p)＝(2，-1)，则光流场fnew在坐标p＝(10,5)处的光流fnew(p)将从坐标
Figure BDA0002889273760000078
取值，计算方式为：fnew(p)＝fold(p+fdis(p))＝fold(12,4)。
本发明还提供一种基于残差场和位移场的图像光流优化系统，图6为本发明基于残差场和位移场的图像光流优化系统的结构示意图。如图6所示，本发明基于残差场和位移场的图像光流优化系统包括：
参考图像获取模块601，用于获取参考图像。
光流估计模块602，用于采用光流估计方法对所述参考图像进行估计，得到初始光流场。
光流优化模型获取模块603，用于获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器。
残差场和位移场计算模块604，用于将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场。
叠加模块605，用于将所述初始光流场与所述残差场叠加，得到初步优化的光流场。
重采样模块606，用于利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。
作为具体实施例，本发明基于残差场和位移场的图像光流优化系统中，所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器。
作为具体实施例，本发明基于残差场和位移场的图像光流优化系统中，所述残差场和位移场计算模块604，具体包括：
图像特征提取单元，用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图。
光流场特征提取单元，用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图。
第一解码单元，用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图。
残差场计算单元，用于根据所述解码器特征图，利用所述第一子解码器计算残差场。
位移场计算单元，用于根据所述解码器特征图，利用所述第二子解码器计算位移场。
作为具体实施例，本发明基于残差场和位移场的图像光流优化系统中，所述第一解码单元，具体包括：
解码子单元，用于利用公式
Figure BDA0002889273760000091
生成解码特征图；所述第一解码器包括四层卷积层，其中，D1为第一卷积层的卷积操作，
Figure BDA0002889273760000092
为所述第一解码器输出的解码特征图，concatenate是通道叠加运算，
Figure BDA0002889273760000093
D2为第二卷积层的卷积操作，
Figure BDA0002889273760000094
D3为第三卷积层的卷积操作，
Figure BDA0002889273760000095
D4为第四卷积层的卷积操作，
Figure BDA0002889273760000096
和
Figure BDA0002889273760000097
为所述图像编码器输出的多个分辨率不同的图像特征图，
Figure BDA0002889273760000098
和
Figure BDA0002889273760000099
为所述光流编码器输出的多个分辨率不同的光流场特征图。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种基于残差场和位移场的图像光流优化方法，其特征在于，包括：
获取参考图像；
采用光流估计方法对所述参考图像进行估计，得到初始光流场；
获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；
将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；
将所述初始光流场与所述残差场叠加，得到初步优化的光流场；
利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场；
所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器；
所述将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场，具体包括：
利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图；
利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图；
根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图；
根据所述解码器特征图，利用所述第一子解码器计算残差场；
根据所述解码器特征图，利用所述第二子解码器计算位移场；
所述根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图，具体包括：
利用公式
Figure FDA0004123874140000021
生成解码特征图；所述第一解码器包括四层卷积层，其中，D1为第一卷积层的卷积操作，
Figure FDA0004123874140000022
为所述第一解码器输出的解码特征图，concatenate是通道叠加运算，
Figure FDA0004123874140000023
D2为第二卷积层的卷积操作，
Figure FDA0004123874140000024
D3为第三卷积层的卷积操作，
Figure FDA0004123874140000025
D4为第四卷积层的卷积操作，
Figure FDA0004123874140000026
和
Figure FDA0004123874140000027
为所述图像编码器输出的多个分辨率不同的图像特征图，
Figure FDA0004123874140000028
和
Figure FDA0004123874140000029
为所述光流编码器输出的多个分辨率不同的光流场特征图。
2.一种基于残差场和位移场的图像光流优化系统，其特征在于，包括：
参考图像获取模块，用于获取参考图像；
光流估计模块，用于采用光流估计方法对所述参考图像进行估计，得到初始光流场；
光流优化模型获取模块，用于获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；
残差场和位移场计算模块，用于将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；
叠加模块，用于将所述初始光流场与所述残差场叠加，得到初步优化的光流场；
重采样模块，用于利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场；
所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器；
所述残差场和位移场计算模块，具体包括：
图像特征提取单元，用于利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图；
光流场特征提取单元，用于利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图；
第一解码单元，用于根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图；
残差场计算单元，用于根据所述解码器特征图，利用所述第一子解码器计算残差场；
位移场计算单元，用于根据所述解码器特征图，利用所述第二子解码器计算位移场；
所述第一解码单元，具体包括：
解码子单元，用于利用公式
Figure FDA0004123874140000031
生成解码特征图；所述第一解码器包括四层卷积层，其中，D1为第一卷积层的卷积操作，
Figure FDA0004123874140000032
为所述第一解码器输出的解码特征图，concatenate是通道叠加运算，
Figure FDA0004123874140000033
D2为第二卷积层的卷积操作，
Figure FDA0004123874140000034
D3为第三卷积层的卷积操作，
Figure FDA0004123874140000035
D4为第四卷积层的卷积操作，
Figure FDA0004123874140000036
和
Figure FDA0004123874140000037
为所述图像编码器输出的多个分辨率不同的图像特征图，
Figure FDA0004123874140000038
和
Figure FDA0004123874140000039
为所述光流编码器输出的多个分辨率不同的光流场特征图。
CN202110022829.1A 2021-01-08 2021-01-08 一种基于残差场和位移场的图像光流优化方法及系统 Active CN112767441B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110022829.1A CN112767441B (zh) 2021-01-08 2021-01-08 一种基于残差场和位移场的图像光流优化方法及系统
US17/570,836 US12112486B2 (en) 2021-01-08 2022-01-07 Method and system for optimizing optical flow for images based on residual field and displacement field

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110022829.1A CN112767441B (zh) 2021-01-08 2021-01-08 一种基于残差场和位移场的图像光流优化方法及系统

Publications (2)

Publication Number Publication Date
CN112767441A CN112767441A (zh) 2021-05-07
CN112767441B true CN112767441B (zh) 2023-06-06

Family

ID=75700984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110022829.1A Active CN112767441B (zh) 2021-01-08 2021-01-08 一种基于残差场和位移场的图像光流优化方法及系统

Country Status (2)

Country Link
US (1) US12112486B2 (zh)
CN (1) CN112767441B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816611B (zh) * 2019-01-31 2021-02-12 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
CN113239814B (zh) * 2021-05-17 2024-02-02 平安科技（深圳）有限公司 基于光流重构的面部表情识别方法、装置、设备及介质
CN113613003B (zh) * 2021-08-30 2024-03-22 北京市商汤科技开发有限公司 视频压缩、解压缩方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370196B1 (en) * 1997-07-28 2002-04-09 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for multiresolution object-oriented motion estimation
CN108776971A (zh) * 2018-06-04 2018-11-09 南昌航空大学 一种基于分层最近邻域的变分光流确定方法及系统
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN111340844A (zh) * 2020-02-24 2020-06-26 南昌航空大学 基于自注意力机制的多尺度特征光流学习计算方法
CN111612825A (zh) * 2020-06-28 2020-09-01 南昌航空大学 基于光流与多尺度上下文的图像序列运动遮挡检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265315B1 (ko) * 2015-04-17 2021-06-15 삼성전자주식회사 영상 광류를 추정하는 방법 및 이를 위한 장치
CN105261042A (zh) * 2015-10-19 2016-01-20 华为技术有限公司 光流估计的方法及装置
CN105787901B (zh) * 2016-03-21 2018-07-24 昆明理工大学 一种用于太阳高分辨图像序列中相邻两帧间的多尺度速度场测量方法
US11778195B2 (en) * 2017-07-07 2023-10-03 Kakadu R & D Pty Ltd. Fast, high quality optical flow estimation from coded video
CN108881899B (zh) * 2018-07-09 2020-03-10 深圳地平线机器人科技有限公司 基于光流场金字塔的图像预测方法和装置及电子设备
CN110751672B (zh) * 2018-07-24 2022-06-21 深圳地平线机器人科技有限公司 利用稀释卷积实现多尺度光流像素变换的方法和装置
US12100169B2 (en) * 2020-09-30 2024-09-24 Qualcomm Incorporated Sparse optical flow estimation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370196B1 (en) * 1997-07-28 2002-04-09 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for multiresolution object-oriented motion estimation
CN108776971A (zh) * 2018-06-04 2018-11-09 南昌航空大学 一种基于分层最近邻域的变分光流确定方法及系统
CN110111366A (zh) * 2019-05-06 2019-08-09 北京理工大学 一种基于多级损失量的端到端光流估计方法
CN111340844A (zh) * 2020-02-24 2020-06-26 南昌航空大学 基于自注意力机制的多尺度特征光流学习计算方法
CN111612825A (zh) * 2020-06-28 2020-09-01 南昌航空大学 基于光流与多尺度上下文的图像序列运动遮挡检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
反馈调节的局部正则化鲁棒光流估计;路子;高隽;韩晓新;李援;卢鹏;;光子学报(第08期);全文 *

Also Published As

Publication number Publication date
CN112767441A (zh) 2021-05-07
US20220222833A1 (en) 2022-07-14
US12112486B2 (en) 2024-10-08

Similar Documents

Publication Publication Date Title
CN112767441B (zh) 一种基于残差场和位移场的图像光流优化方法及系统
CN110782490B (zh) 一种具有时空一致性的视频深度图估计方法及装置
CN109003325B (zh) 一种三维重建的方法、介质、装置和计算设备
CN110490919B (zh) 一种基于深度神经网络的单目视觉的深度估计方法
CN107705333B (zh) 基于双目相机的空间定位方法及装置
US6819318B1 (en) Method and apparatus for modeling via a three-dimensional image mosaic system
CN108876836B (zh) 一种深度估计方法、装置、系统及计算机可读存储介质
CN108776971B (zh) 一种基于分层最近邻域的变分光流确定方法及系统
CN103247075B (zh) 基于变分机制的室内环境三维重建方法
CN114399554B (zh) 一种多相机系统的标定方法及系统
CN111105432B (zh) 基于深度学习的无监督端到端的驾驶环境感知方法
CN108062769B (zh) 一种用于三维重建的快速深度恢复方法
CN107240129A (zh) 基于rgb‑d相机数据的物体及室内小场景恢复与建模方法
CN111339870B (zh) 一种针对物体遮挡场景的人体形状和姿态估计方法
CN111612825B (zh) 基于光流与多尺度上下文的图像序列运动遮挡检测方法
CN111311664B (zh) 一种深度、位姿与场景流的联合无监督估计方法及系统
CN115035171B (zh) 基于自注意力导向特征融合的自监督单目深度估计方法
CN113838102B (zh) 一种基于各向异性稠密卷积的光流确定方法和系统
CN114996814A (zh) 一种基于深度学习与三维重建的家具设计系统
CN115330935A (zh) 一种基于深度学习的三维重建方法及系统
CN117058474B (zh) 一种基于多传感器融合的深度估计方法及系统
CN117934308A (zh) 一种基于图卷积网络的轻量化自监督单目深度估计方法
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN117876452A (zh) 基于运动物体位姿估计的自监督深度估计方法及系统
Al Ismaeil et al. Real-time enhancement of dynamic depth videos with non-rigid deformations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant