CN112419373A - 一种大位移光流场估计方法 - Google Patents

一种大位移光流场估计方法 Download PDF

Info

Publication number
CN112419373A
CN112419373A CN202011359538.3A CN202011359538A CN112419373A CN 112419373 A CN112419373 A CN 112419373A CN 202011359538 A CN202011359538 A CN 202011359538A CN 112419373 A CN112419373 A CN 112419373A
Authority
CN
China
Prior art keywords
image
optical flow
flow field
pyramid
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011359538.3A
Other languages
English (en)
Inventor
宋涛
赵明富
王瑜琳
马婧华
贺媛媛
巫涛江
石胜辉
吴德操
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Technology
Chongqing Energy College
Original Assignee
Chongqing University of Technology
Chongqing Energy College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Technology, Chongqing Energy College filed Critical Chongqing University of Technology
Priority to CN202011359538.3A priority Critical patent/CN112419373A/zh
Publication of CN112419373A publication Critical patent/CN112419373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种大位移光流场估计方法，涉及视觉系统技术领域，针对大位移情况下光流估计提出改进方法，将最近领域场(NNF)思想与从粗到精图像金字塔策略相结合，以Kd‑tree算法为搜索策略，实现图像块的有效匹配。利用前向后向一致性检查，对异常值过滤，然而由于异常值滤除产生的间隙，通过边缘保持插值方法(EpicFlow)插值，本申请提供的一种大位移光流场估计方法在Middlebury，MPI‑Sinte数据库上进行仿真实验，实验结果表明此方法对于大位移具有快速和稳健的特点。

Description

一种大位移光流场估计方法
技术领域
本发明涉及视觉系统技术领域，特别涉及一种大位移光流场估计方法。
背景技术
自Horn和Schunck首次提出的经典变分最小化框架的光流方法以来，研究人员一直致力于减少这种方法的缺陷，多年来提出了一系列改进，但传统光流方法均基于变分能量模型和相关的能量最小化问题，对于大位移光流场估计效果较差。为了处理大位移，大多数光流方法采用多尺度粗到细框架，从细尺度到粗尺度对图像进行子采样，构建金字塔之后，更高级别金字塔的匹配对应关系作为较低级别匹配过程的指导。作为匹配和光流整合的重要里程碑，Brox和Malik等开创性的在光流的经典变分最小化框架中引入了稀疏描述符匹配项，稀疏描述符是具有高置信度的点，对于大位移是稳健的。然而，由于匹配的稀疏性和变分最小化的精确初始化的要求，它们通常在运动大于其自身尺度的小细节的情况下失败。
基于纯粹数据的方法，如最近邻域场(NNF)和稀疏描述符匹配，可以快速、有效地执行全局搜索以获得完整图像分辨率的最佳匹配，避免了复杂的能量最小化过程。NNF计算定义为，对于一个图像中的每个块，在另一个图像中找到一个最相似的图像块。通过称为PatchMatch的开创性工作和改进的方法，计算NNF的效率显着提高，这种提升的核心思想是邻近之间的随机搜索和传播。本发明针对大位移情况，融合最近邻域场方法与从粗到精图像金字塔策略，提出了一种大位移光流场估计方法。
发明内容
本发明的目的在于提供一种大位移光流场估计方法，将最近领域场NNF思想与从粗到精图像金字塔策略相结合，以Kd-tree算法为搜索策略，实现图像块的有效匹配。
本发明提供了一种大位移光流场估计方法，包括以下步骤：
S1：Kd-tree初始化：图像I1和I2是由以某一像素点为中心并含有一定邻域构成的图像像素块，在图像I1中的任一图像块，都能以某种配对方式指定其在图像I2中相对应的图像块，将得到的每个图像块的27维向量分类为叶大小相同的Kd-tree，并以树中最大维度及该维度的中值构建Kd-tree；
S2：领域传播：构建Kd-tree之后，对图像I1中的像素位置p1处的所有图像块Pr(p1)创建WHT向量，并搜索所建Kd-tree内的相应匹配子树向量，从图像块Pr(p1)的WHT向量中找到在Kd-tree中所有L个匹配项设为是初始光流场F(p1)的候选项，计算L个匹配项的匹配误差Ed并且仅保留在初始光流场中具有最低匹配误差的候选项，即：
Figure BDA0002803627490000021
根据初始光流场中最优匹配候选项，获取邻近图像块的信息，光流场值从位置(x，y-1)1与(x-1，y)1传播到位置p1＝(x，y)1：
Figure BDA0002803627490000022
G1＝{F(p1)，F((x，y-1)1)，F((x-1，y)1)}+p1 (3)
其中，G1为第一个传播步骤考虑的光流场；在处理位置(x，y)1之前，采用公式(2)、(3)处理位置(x，y-1)1和(x-1，y)1；
S3：随机搜索：获得初始光流场G1后，以交错的方式迭代地执行邻域传播和随机搜索，将图像I1和I2的构造了一个具有k级别的金字塔，在图像金字塔每个尺度下构建图像子块，保证每个尺度上的图像块数量相同，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场；
S4：粗尺度细化：在搜索半径R内迭代地执行的随机搜索与邻域传播，设n为迭代次数，经过n次迭代后，停止匹配过程，以获得每个图像块的精确光流场，将R限制在一小范围内，有效处理粗糙尺度的匹配，保留细微结构特征；
S5：光流场估计：采用前向后向一致性检查，对异常值过滤，通过边缘保持插值方法插值，在Middlebury，MPI-Sinte数据库上进行仿真实验，完成光流场的估计。
进一步地，所述步骤S1中给定两个图像I1和I2，其中I1，
Figure BDA0002803627490000031
Pr(pi)表示以像素位置pi＝(x，y)i∈Ii，i＝1，2为中心，半径r的图像子块，图像子块是(2r+1)×(2r+1)像素尺寸，采用F(p1)表示图像I1每个像素p1∈I1的光流场，其中光流场F(p1)＝M(p1)-p1，M(p1)表示像素的位置，确定像素p1在图像I2的相对应匹配位置p2∈I2，计算以像素位置p2为中心的I2中所有图像块Pr(p2)的Walsh-Hadamard变换。
进一步地，所述步骤S3将图像I1和I2构造成一个具有k级别的金字塔，其中下采样因子均为η，采用
Figure BDA0002803627490000032
表示图像Ii金字塔的第I级i∈{1，2}，I∈{0，1，...，k-1}，金字塔的底层I1 0和
Figure BDA0002803627490000033
是原始图像，在图像金字塔每个尺度下构建图像子块，并且定义在第I级像素位置{pi l}的图像子块{Pr(pi)l}为Ii 0(i∈{1，2}，I∈{0，1，...，k-1})中原始图像的下采样，即：
{Pr(pi)l}＝η·{Pr(pi)l-1}，I≥1 (4)
每个尺度上的图像块数量相同，在构建金字塔和每个尺度的图像块生成之后，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场。
进一步地，从金字塔顶部到底部传播每个图像块的光流场的步骤如下所示：
S31：将在金字塔顶层中图像块的光流场{Pr(pi)k-1}作为随机流；
S32：迭代地执行在该尺度上的最大图像维度内的随机搜索与传播，将获得的光流场{F(Pr(pi)k-1)}作下一级
Figure BDA0002803627490000041
的图像块{Pr(pi)k-2}的初始化，同样在每个尺度中计算的光流场总是用作在下一个尺度中图像块的初始化：
Figure BDA0002803627490000042
S33：在小搜索半径R内迭代地执行的随机搜索与传播，以获得每个图像块的精确光流场，R定义为每个金字塔等级的像素级搜索半径，将限制在一小范围内，能够有效处理粗糙尺度的匹配。
与现有技术相比，本发明具有如下显著优点：
(一)本发明针对传统光流场估计的不足，利用最近邻域场方法与从粗到精图像金字塔策略，提出了一种大位移光流场估计方法。经仿真实验，本方法得到验证，对于大位移图像序列，可估计出较为准确的光流场，能较好体现图像边缘的细节信息，同时所计算的光流场色彩信息更加丰富，光流场效果更好。
(二)本发明所提出大位移算法是利用NNF的全局搜索与多尺度粗到精框架相结合，在不同尺度上利用Kd-tree传播搜索；通过Walsh-Hadamard变换(WHT)，对图像信息进行压缩，保留有用信息，降低数据集的维数，以达到避免维数灾难目的，来进一步提高计算的效率；由于粗到精框架的存在误差传播，较粗糙水平的误差，在不同的尺度上可以重叠，可以跨尺度传播，采用前向后向一致性检查算法，对异常值过滤，最后通过边缘保持插值方法对异常值过滤后的间隙插值。
附图说明
图1为本发明实施例提供的大位移光流估计方法流程图；
图2为本发明实施例提供的PatchMatch算法的原理图；
图3为本发明实施例提供的图像金字塔模型图；
图4为本发明实施例提供的未边缘插值的光流场图；
图5为本发明实施例提供的Backyard序列图；
图6为本发明实施例提供Evergreen序列图；
图7为本发明实施例提供的alley序列图；
图8为本发明实施例提供的bamboo序列图；
图9为本发明实施例提供的cave序列图。
具体实施方式
下面结合本发明中的附图，对本发明实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
参照图1-9，本发明提供了一种大位移光流场估计方法，包括以下步骤：
S1：Kd-tree初始化：基于CIELab色彩空间中所有三个颜色通道的前9个基，图像I1和I2是由以某一像素点为中心并含有一定邻域构成的图像像素块在图像I1中的任一图像块，都能以某种配对方式指定其在图像I2中相对应的图像块，将得到的每个图像块的27维向量分类为叶大小相同的Kd-tree，并以树中最大维度及该维度的中值构建Kd-tree；
S2：领域传播：构建Kd-tree之后，对图像I1中的像素位置p1处的所有图像块Pr(p1)创建WHT向量，并搜索所建Kd-tree内的相应匹配子树向量，从图像块Pr(p1)的WHT向量中找到在Kd-tree中所有L个匹配项被认为是初始光流场F(p1)的候选项，计算L个匹配项的匹配误差Ed并且仅保留在初始光流场中具有最低匹配误差的候选项，即：
Figure BDA0002803627490000051
根据初始光流场中最优匹配候选项，获取邻近图像块的信息，初始光流场值的传播类似于PatchMatch方法中的传播步骤，光流场值从位置(x，y-1)1与(x-1，y)1传播到位置p1＝(x，y)1：
Figure BDA0002803627490000061
G1＝{F(p1)，F((x，y-1)1)，F((x-1，y)1)}+p1 (3)
其中，G1为第一个传播步骤考虑的光流场；在处理位置(x，y)1之前，采用公式(2)、(3)处理位置(x，y-1)1和(x-1，y)1；
S3：随机搜索：由于光流在相邻像素之间变化，且传播只能传播当前的光流场值，因此可进行随机搜索步骤，获得初始光流场G1后，以交错的方式迭代地执行邻域传播和随机搜索，将图像I1和I2的构造了一个具有k级别的金字塔，在图像金字塔每个尺度下构建图像子块，保证每个尺度上的图像块数量相同，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场；
S4：粗尺度细化：在搜索半径R内迭代地执行的随机搜索与邻域传播，设n为迭代次数，经过n次迭代后，停止匹配过程，以获得每个图像块的精确光流场，将R限制在一小范围内，有效处理粗糙尺度的匹配，保留细微结构特征；
S5：光流场估计：采用前向后向一致性检查，对异常值过滤，通过边缘保持插值方法插值，在Middlebury，MPI-Sinte数据库上进行仿真实验，完成光流场的估计。
如图2所示，PatchMatch算法是一种利用图像局部一致性的近似最近邻搜索算法，在算法中执行整像素块相对应匹配的过程，主要包括有最近邻传播步骤和迭代优化估计步骤。PatchMatch算法的基本思想认为一个随机图像块总存在更优的图像块与之匹配，同时该匹配块能够通过邻域传播到整个图像中，将参考图像设为A和预匹配图像设为B，若两者进行匹配，则执行PatchMatch算法的图像间整像素图像块的匹配过程可描述为以下步骤：
(1)初始化：可以将图像A和B看作由以某一像素点为中心并含有一定邻域构成的图像像素块，在图像A中的任一个这样的图像块，都能以某种配对方式指定其在图像B中相对应的图像块。
(2)邻域传播：每次的迭代中会经历邻域传播与随机搜索过程，图像匹配块在图像中进行邻域传播，若传播的匹配代价比当前图像块小的话，则更新当前图像块位置，并将图像块位置调整到邻域图像块的匹配位置；反之，则保留当前图像块的位置，并接着执行随机搜索过程。
(3)迭代优化：从当前匹配位置开始，以指数步长在整个图像范围内搜索，根据图像块的匹配代价大小，不断选择代价较小的图像块来更正非最优匹配块，并将当前位置作为当前图像块的最佳匹配位置。
如图3所示，为了计算大尺度位移的光流场，选择从粗到精多分辨率(Coarse-to-Fine Estimation)的图像金字塔策略，实现大位移光流的计算。如果无限制地进行下采样，图像层的分辨率太低对光流计算没有多大帮助，因此通过寻找图像层中适宜的低分辨率和金字塔层数，以达到光流计算的要求。
利用多分辨率图像金字塔策略处理光流大位移问题时，需根据输入图像创建图像金字塔。下面以输入图像I1为例，构建图像金字塔的基本步骤如下：
(1)获得金字塔结构的层数k
设定最低分辨率的阈值ξ和图像下采样因子η，可根据图像大小自动得到金字塔层数，以满足精度与实时性的需求。
(2)建立金字塔结构
以输入图像I1为例，首先把I1看作是金字塔最底层的图像层即为第一层，该层在整个金字塔中具有最高分辨率。然后从该最底层开始，以η为下采样因子进行下采样，便可获得图像金字塔的第二层。依此类推，接着对新得到的每一层进行下采样，分辨率随之逐层降低，直到达到最小分辨率阈值的要求，如此便能把每幅图像分成了k层。
如上所述，根据预先设定恰当最低分辨率的阈值ζ和下采样因子η，便可构建成图像金字塔，其过程如图3所示。
实施例1
所述步骤S2构建Kd-tree之后，创建图像I1中的像素位置p1处的所有图像块Pr(p1)的WHT向量，并搜索所建Kd-tree内的相应匹配子树向量，从图像块Pr(p1)的WHT向量中找到在Kd-tree中所有L个匹配项，并将L个匹配项设为初始光流场F(p1)的候选项。
实施例2
基本光流场匹配中包含许多由小图像块的模糊性引起的异常值。处理小图像块的模糊性的常用方法是增加块的尺寸大小，而这通常导致不太准确的匹配。为此引入了一个简单但功能强大的图像金字塔架构，从上到下传递来处理这个问题。所述步骤S3将图像I1和I2构造成一个具有k级别的金字塔，其中下采样因子均为η，采用
Figure BDA0002803627490000081
表示图像Ii金字塔的第I级i∈{1，2}，I∈{0，1，...，k-1}，金字塔的底层
Figure BDA0002803627490000082
和
Figure BDA0002803627490000083
是原始图像，在图像金字塔每个尺度下构建图像子块，并且定义在第I级像素位置{pi l}的图像子块{Pr(pi)l}为
Figure BDA0002803627490000084
(i∈{1，2}，I∈{0，1，...，k-1})中原始图像的下采样，即：
{Pr(pi)l}＝η·{Pr(pi)l-1}，I≥1 (4)
每个尺度上的图像块数量相同，在构建金字塔和每个尺度的图像块生成之后，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场。在构建图像块时出现的重叠，能使随机搜索与传播在较低分辨率上更有效地执行，这是一个重要的特点，可以保证粗尺度匹配结果的稳健性。
实施例3
所述步骤S3从金字塔顶部到底部传播每个图像块的光流场的步骤如下所示：
S31：将在金字塔顶层中图像块的光流场{Pr(pi)k-1}作为随机流；
S32：迭代地执行在该尺度上的最大图像维度内的随机搜索与传播，将获得的光流场{F(Pr(pi)k-1)}作下一级
Figure BDA0002803627490000091
的图像块{Pr(pi)k-2}的初始化，同样在每个尺度中计算的光流场总是用作在下一个尺度中图像块的初始化：
Figure BDA0002803627490000092
S33：在小搜索半径R内迭代地执行的随机搜索与传播，以获得每个图像块的精确光流场，R定义为每个金字塔等级的像素级搜索半径，将限制在一小范围内，能够有效处理粗糙尺度的匹配。同时，在粗糙尺度上，小搜索半径范围内的领域传播与搜索对于最终匹配的平滑性非常有帮助。当从细尺度到粗尺度对图像进行子采样时，子采样在减小图像的尺寸和内部运动的同时，图像尺寸减小会导致图像某些细节信息的丢失，通过适当的R，对于在粗糙尺度中未能恢复图像细微结构有一定复原效果。
实施例4
所有实验均CPU 1.70GHz，内存6GB，操作系统平台为Windows 7(64位)，采用软件Matlab 2018a，vs2017编程实现。光流场计算方法测试研究时使用Middlebury光流测试集与MPI-Sinte数据集进行仿真实验。参数选择：图像子块半径r＝3，迭代次数n＝6，金字塔等级k＝5，最低分辨率的阈值ζ＝16，下采样因子η＝0.5，小搜索半径R＝1。
参照图5和图6，从Middlebury数据库选取高速相机图像Backyard与序列Evergreen序列，进行仿真实验，并与EpicFlow算法作比较。如图5、6所示，图5(a)中EpicFlow算法较好显示出三位小孩的整体轮廓，但是有些细节没有得到表现，同时展示出小球部分光流场，图6(a)中EpicFlow算法对树叶光流场估计效果不佳；图5(b)、6(b)中本节算法效果，从整体上看，色彩信息比图5(a)、6(a)更加丰富，在细节上，小球的光流场能完全表示，以及小孩的腿部细节与裙摆信息得到了比图5(a)更好的效果。在图6中，本发明提供的方法对当前的树叶光流场尽可能呈现，在细节与色彩两方面均比EpicFlow算法效果更佳。
参照图7、图8和图9，选择MPI-Sinte数据库alley、bamboo与cave图像序列仿真实验，并与EpicFlow算法、MDPFlow2算法作比较。从横向看，与图像序列的光流真值相比，本发明提供的方法效果显著，能过较为准确估计出图像序列的光流场，但在某些图像边缘的光流场效果较差。在图7、8、9中，图7(c)中人物的手掌及腰后的小包信息丢失，图8(c)中人物腿部及人物身后竹子光流场估计失败，图9(c)中背景动物的手爪与人物持刀的刀身效果比光流真值差。从纵向看，本发明提供的方法均取得比EpicFlow算法、MDPFlow2算法更佳的效果，如图7、8、9所示。比如alley序列中人物轮廓清晰，以及人物手臂边缘细节，bamboo序列中在人物的轮廓与腿部光流估计较好。
为了客观评价本发明提供的方法的有效性，采用某些客观性能指标，从客观角度验证算法在各个方面的优缺点。主要参考指标选择:平均角度误差AAE(Average AngularError)、平均端点误差AEE(Average End Point Error)。
(1)角度误差(AngularError,AE)
角度误差表示了计算得到的光流矢量场整体偏离标准光流矢量场的程度，该值越小越好，其计算公式如下:
Figure BDA0002803627490000101
若对整个图像每个像素点的角度误差进行加权平均处理，便得到了平均角度误差AAE。
(2)端点误差(EndpointError,EE)
端点误差是用来度量计算得到的光流场的矢量长度与标准数据集给出的光流真值(Groundtruth)长度之间的误差，该值越小越好，其计算公式如下:
Figure BDA0002803627490000102
若对整个图像每个像素点的端点误差进行加权平均处理，便得到了平均角度误差AEE。
表1 alley序列平均端点误差
Figure BDA0002803627490000111
表2 bamboo平均端点误差
Figure BDA0002803627490000112
表3 cave序列平均端点误差
Figure BDA0002803627490000113
表1、2、3为各自图像序列的平均端点误差与平均角度误差，在数值上有所下降，表明与光流真值更接近，计算的光流场更准确，从表中看出本发明提供的方法优于另外两种算法。
以上公开的仅为本发明的几个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (4)

1.一种大位移光流场估计方法，其特征在于，包括以下步骤：
S1：Kd-tree初始化：图像I1和I2是由以某一像素点为中心并含有一定邻域构成的图像像素块，在图像I1中的任一图像块，都能以某种配对方式指定其在图像I2中相对应的图像块，将得到的每个图像块的27维向量分类为叶大小相同的Kd-tree，并以树中最大维度及该维度的中值构建Kd-tree；
S2：领域传播：构建Kd-tree之后，对图像I1中的像素位置p1处的所有图像块Pr(p1)创建WHT向量，并搜索所建Kd-tree内的相应匹配子树向量，从图像块Pr(p1)的WHT向量中找到在Kd-tree中所有L个匹配项被认为是初始光流场F(p1)的候选项，计算L个匹配项的匹配误差Ed并且仅保留在初始光流场中具有最低匹配误差的候选项，即：
Figure FDA0002803627480000011
根据初始光流场中最优匹配候选项，获取邻近图像块的信息，光流场值从位置(x，y-1)1与(x-1，y)1传播到位置p1＝(x，y)1：
Figure FDA0002803627480000012
G1＝{F(p1)，F((x，y-1)1)，F((x-1，y)1)}+p1 (3)
其中，G1为第一个传播步骤考虑的光流场；在处理位置(x，y)1之前，采用公式(2)、(3)处理位置(x，y-1)1和(x-1，y)1；
S3：随机搜索：获得初始光流场G1后，以交错的方式迭代地执行邻域传播和随机搜索，将图像I1和I2的构造了一个具有k级别的金字塔，在图像金字塔每个尺度下构建图像子块，保证每个尺度上的图像块数量相同，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场；
S4：粗尺度细化：在搜索半径R内迭代地执行的随机搜索与邻域传播，设n为迭代次数，经过n次迭代后，停止匹配过程，以获得每个图像块的精确光流场，将R限制在一小范围内，有效处理粗糙尺度的匹配，保留细微结构特征；
S5：光流场估计：采用前向后向一致性检查，对异常值过滤，通过边缘保持插值方法插值，在Middlebury，MPI-Sinte数据库上进行仿真实验，完成光流场的估计。
2.如权利要求1所述的一种大位移光流场估计方法，其特征在于，所述步骤S1中给定两个图像I1和I2，其中
Figure FDA0002803627480000021
Pr(pi)表示以像素位置pi＝(x，y)i∈Ii，i＝1，2为中心，半径r的图像子块，图像子块是(2r+1)×(2r+1)像素尺寸，采用F(p1)表示图像I1每个像素p1∈I1的光流场，其中光流场F(p1)＝M(p1)-p1，M(p1)表示像素的位置，确定像素p1在图像I2的相对应匹配位置p2∈I2，计算以像素位置p2为中心的I2中所有图像块Pr(p2)的Walsh-Hadamard变换。
3.如权利要求1所述的一种大位移光流场估计方法，其特征在于，所述步骤S3将图像I1和I2构造成一个具有k级别的金字塔，其中下采样因子均为η，采用
Figure FDA0002803627480000022
表示图像Ii金字塔的第l级i∈{1，2}，l∈{0，1，...，k-1}，金字塔的底层
Figure FDA0002803627480000023
和
Figure FDA0002803627480000024
是原始图像，在图像金字塔每个尺度下构建图像子块，并且定义在第l级像素位置{pi l}的图像子块{Pr(pi)l}为
Figure FDA0002803627480000025
中原始图像的下采样，即：
{Pr(pi)l}＝η·{Pr(pi)l-1}，l≥1 (4)
每个尺度上的图像块数量相同，在构建金字塔和每个尺度的图像块生成之后，在每个尺度上进行随机搜索的传播，并从金字塔顶部到底部传播每个图像块的光流场。
4.如权利要求3所述的一种大位移光流场估计方法，其特征在于，所述步骤S3从金字塔顶部到底部传播每个图像块的光流场的步骤如下所示：
S31：将在金字塔顶层中图像块的光流场{Pr(pi)k-1}作为随机流；
S32：迭代地执行在该尺度上的最大图像维度内的随机搜索与传播，将获得的光流场{F(Pr(pi)k-1)}作下一级
Figure FDA0002803627480000031
的图像块{Pr(pi)k-2}的初始化，同样在每个尺度中计算的光流场总是用作在下一个尺度中图像块的初始化：
Figure FDA0002803627480000032
S33：在小搜索半径R内迭代地执行的随机搜索与传播，以获得每个图像块的精确光流场，R定义为每个金字塔等级的像素级搜索半径，将限制在一小范围内，能够有效处理粗糙尺度的匹配。
CN202011359538.3A 2020-11-27 2020-11-27 一种大位移光流场估计方法 Pending CN112419373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011359538.3A CN112419373A (zh) 2020-11-27 2020-11-27 一种大位移光流场估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011359538.3A CN112419373A (zh) 2020-11-27 2020-11-27 一种大位移光流场估计方法

Publications (1)

Publication Number Publication Date
CN112419373A true CN112419373A (zh) 2021-02-26

Family

ID=74842316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011359538.3A Pending CN112419373A (zh) 2020-11-27 2020-11-27 一种大位移光流场估计方法

Country Status (1)

Country Link
CN (1) CN112419373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152221A (zh) * 2023-10-26 2023-12-01 山东科技大学 一种图像非刚性配准方法、系统、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王勃: "基于光流法运动估计的室内视觉定位方法研究", 《中国优秀硕士论文全文数据库》, pages 2 - 5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152221A (zh) * 2023-10-26 2023-12-01 山东科技大学 一种图像非刚性配准方法、系统、设备和存储介质
CN117152221B (zh) * 2023-10-26 2024-01-16 山东科技大学 一种图像非刚性配准方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
Zhou et al. Cocosnet v2: Full-resolution correspondence learning for image translation
CN108388896B (zh) 一种基于动态时序卷积神经网络的车牌识别方法
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
KR20200070409A (ko) 다중 특징 검색 및 변형에 기반한 인체 헤어스타일 생성 방법
US11170202B2 (en) Apparatus and method for performing 3D estimation based on locally determined 3D information hypotheses
CN107424161B (zh) 一种由粗至精的室内场景图像布局估计方法
Dai et al. MS2DG-Net: Progressive correspondence learning via multiple sparse semantics dynamic graph
Michel et al. Scale invariant and deformation tolerant partial shape matching
CN110232698B (zh) 一种基于模型分割与l1中值骨架的连续帧三维人体曲线骨架提取方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN104077742B (zh) 基于Gabor特征的人脸素描合成方法及系统
CN113869441B (zh) 基于模板匹配的多尺度目标定位方法
Li et al. Projective factorization of multiple rigid-body motions
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN106845519A (zh) 一种分布式实现的稀疏子空间聚类方法
CN107945120B (zh) 基于样本块的旋转及缩放图像修复方法
Shi et al. Exploiting multi-scale parallel self-attention and local variation via dual-branch transformer-cnn structure for face super-resolution
CN112419373A (zh) 一种大位移光流场估计方法
CN109829502B (zh) 一种面向重复纹理及非刚性形变的像对高效稠密匹配方法
CN110147809B (zh) 图像处理方法及装置、存储介质及图像设备
CN116934628A (zh) 基于大规模协同遗传算法的残片复原方法及存储介质
Yan et al. Learning soft estimator of keypoint scale and orientation with probabilistic covariant loss
CN112084855A (zh) 一种基于改进ransac方法对视频流的外点剔除方法
CN115775269A (zh) 一种基于线特征的列车图像精确配准方法
Liu et al. Geometrized Transformer for Self-Supervised Homography Estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination