CN108776971A - 一种基于分层最近邻域的变分光流确定方法及系统 - Google Patents
一种基于分层最近邻域的变分光流确定方法及系统 Download PDFInfo
- Publication number
- CN108776971A CN108776971A CN201810563041.XA CN201810563041A CN108776971A CN 108776971 A CN108776971 A CN 108776971A CN 201810563041 A CN201810563041 A CN 201810563041A CN 108776971 A CN108776971 A CN 108776971A
- Authority
- CN
- China
- Prior art keywords
- light stream
- layer
- nearest
- neighbor
- variation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于分层最近邻域的变分光流的确定方法及系统,所述方法包括:获取原始图像序列中的任意连续两帧图像,对两帧图像进行金字塔分层;采用决策树一致性近似邻域算法获取两帧图像中对应每层图像序列的最近邻域;识别每层图像序列的最近邻域的主要运动模式,依据主要运动模式和每层图像序列执行运动分割,得到每层运动分割光流;建立变分光流估计模型;将变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果。本发明中的上述方法克服了针对大位移场景图像序列光流计算结果精度低的问题。
Description
技术领域
本发明涉及图像序列光流计算领域,特别是涉及一种基于分层最近邻域的变分光流确定方法及系统。
背景技术
光流估计旨在计算两幅图像之间的像素位移场,是分析序列图像中运动目标的重要方法,图像中所有像素点光流矢量的集合则称为光流场。因其不仅包含了被观察物体的运动信息,而且携带有光景物三维结构的信息,因此,对于变分光流的计算,是计算机视觉中最基础和深入研究的问题。变分光流,可用于各种视觉任务,如图像插值,超分辨率重建,目标分割与跟踪,动作识别和自主导航。
近年来,随着光流估计方法的发展,针对简单场景图像序列光流估计技术已经取得较大进步,但是在针对图像序列包含诸如大位移运动,运动遮挡与间断,光照突变等具有挑战性的困难场景光流估计仍然具有较大误差。
发明内容
本发明的目的是提供一种基于分层最近邻域的变分光流确定方法及系统,来克服大位移场景图像序列光流计算结果精度较低的问题。
为实现上述目的,本发明提供了如下方案:
一种基于分层最近邻域的变分光流估计的确定方法,所述方法包括:
获取原始图像序列中的任意连续两帧图像;
对所述两帧图像进行金字塔分层;
采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域;
识别并获取每层图像序列的最近邻域中的主要运动模式,并根据获取的主要运动模式和每层图像序列进行运动分割,得到每层运动分割结果;
采用两阶段的伪布函数多项式优化算法优化所述运动分割结果,得到每层运动分割光流;
根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型;
将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果。
可选的,所述运动分割过程具体包括:
其中E(m)为运动分割结果,I1,I2为连续两帧图像,X=(x,y)T为图像像素点坐标,X′=(x′,y′)T为像素点X的邻域像素点坐标;m为运动模式,m∈{m1,m2,…mk}或P为从最近邻域中获得的主要运动模式的投影矩阵,为运动模式m周围的扰动偏差,为常数,m′∈Ω(mi)为实现I2(X+m′)-I1(X)|的最小匹配误差,m(X′)为以像素X′=(x′,y′)T为中心的任意局部区域,和为非平方惩罚函数,ε为趋近于零的常数,β为常数。
可选的,所述变分光流估计模型具体包括:
其中,W=(u,v)T表示图像序列帧间光流,u为光流水平分量,v为光流垂直分量,X=(x,y)T为像素点坐标,为梯度算子,和为非平方惩罚函数,
可选的,所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果具体包括:
建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔;
当结合渐进非凸优化方案第一阶段时,所用金字塔图像为数值方案图像金字塔,光流数值化模型为:
其中为光流计算模型数据项在第k层的偏导数,为光流计算模型平滑项在第k层图像的偏导数,表示第k层图像灰度I的空间偏导数,表示第k层图像灰度I的时间偏导数,div为散度,Wk=(uk,vk)T表示第k层图像光流初始值,dWk=d(uk,vk)表示第k层图像光流计算增量;
根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值:Wk+1=Wk+dWk;
根据所述第k层光流额定计算值得到第n层的光流额定计算值:Wn+1=Wn+dWn,1≤k≤n;
将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值,并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1=Wk+dWk,直到计算至第M阶段,得到第M阶段的光流额定计算值WM;
将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法,再执行所述得到计算光流(u,v)T。
本发明还另外提供一种基于分层最近邻域的变分光流估计的确定系统,所述系统包括:
图像获取模块,用于获取原始图像序列中的任意连续两帧图像;
金字塔分层模块,用于对所述两帧图像进行金字塔分层;
最近邻域获取模块,用于采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域;
分割结果确定模块,用于识别每层图像序列的最近邻域的主要运动模式,并根据所述主要运动模式和每层图像序列进行运动分割,得到运动分割结果;
分割光流获取模块,用于采用两阶段的伪布函数多项式优化算法优化所述运动分割结果,得到每层运动分割光流;
变分光流估计模型获取模块,用于根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型;
计算光流结果获取模块,用于将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果。
可选的,所述计算光流结果获取模块具体包括:
金字塔获取单元,用于建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔;
光流数值化模型获取单元,用于当结合渐进非凸优化方案第一阶段时,所用金字塔图像为数值方案图像金字塔,获取光流数值化模型;
第k层光流额定计算值获取单元,用于根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值;
第n层的光流额定计算值获取单元,用于根据所述第k层光流额定计算值得到第n层的光流额定计算值;
第M层光流额定计算值获取单元,用于将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值,并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1=Wk+dWk,直到计算至第M阶段,得到第M阶段的光流额定计算值;
计算光流结果获取单元,用于将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法,再执行所述得到计算光流(u,v)T。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明中采用分层最近邻域场作为变分光流计算先验模型的计算先验信息,并在优化过程中采用分层融合方法,克服了针对大位移场景图像序列光流计算结果精度较低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例基于分层最近邻域的变分光流计的确定方法流程图;
图2为本发明实施例基于分层最近邻域的变分光流计的确定系统结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于分层最近邻域的变分光流确定方法及系统,来克服大位移场景图像序列光流计算结果精度较低的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例基于分层最近邻域的变分光流计的确定方法流程图;如图1所示,所述方法包括:
步骤101:获取原始图像序列中的任意连续两帧图像;
步骤102:对所述两帧图像进行金字塔分层;
图像金字塔是图像中多尺度表达的一种,最主要用于图像的分割,是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔最初用于机器视觉和图像压缩,一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低,且来源于同一张原始图的图像集合。其通过梯次向下采样获得,直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示,而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔,层级越高,则图像越小,分辨率越低。
为了获取层级为L层的金字塔图像,我们采用如下方法:
<1>对图像I进行高斯滤波预处理
<2>使用matlab内置的imresize函数指定双线性插值运算来改变图像的大小,其中对于渐进非凸方案第二,第三阶段采样因子设置为0.8,数值金字塔方案采样因子设置为0.5。
步骤103:采用决策树一致性近似邻域算法(k-d tree Coherence ApproximateNearestNeighbor algorithm,treeCANN)获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域;
最近邻域定义为对于一幅图像中每个局部区域,在奇特图像中拥有与其最相似的局部区域。但是根据图像的大小计算确切的最近邻域代价巨大,而treeCANN是一种用于在两幅图像之间快速近似匹配所有对应局部区域的近似算法,使用该算法可获取两帧图像间对应局部区域的最近邻域。
步骤104:识别每层图像序列的最近邻域的主要运动模式,并根据所述主要运动模式进行运动分割,得到运动分割结果;
在获取两帧图像序列帧间的最近邻域后,通过随机抽样一致算法(采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数的算法)从稀疏的尺度不变特征变换(SIFT)对应中自适应地估计多个主要运动模式;
运动模式就是图像中物体运动的行为,如平移,旋转,缩放等。主要运动模式即在图像中频繁出现的运动模式。
步骤105:采用两阶段的伪布尔函数多项式优化算法(qpbo)优化所述运动分割结果,得到每层运动分割光流;
步骤106:根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型;
步骤107:将所述变分光流估计模型转换为结合渐进非凸优化方案(graduatednon-convexity,GNC方案)的基于图像金字塔分层细化优化策略的光流计算模型,得到计算光流结果。
具体的,所述步骤104中,所述运动分割结果具体包括:
其中E(m)为运动分割结果,I1,I2为连续两帧图像,X=(x,y)T为图像像素点坐标,X′=(x′,y′)T为像素点X的邻域像素点坐标;m为运动模式,m∈{m1,m2,…mk}或P为从最近邻域中获得的主要运动模式的投影矩阵,为运动模式m周围的扰动偏差,为常数,m′∈Ω(mi)为实现|I2(X+m′)-I1(X)|的最小匹配误差,m(X′)为以像素X′=(x′,y′)T为中心的任意局部区域,和为非平方惩罚函数,ε为趋近于零的常数,β为常数。
具体的,步骤106中,所述变分光流估计模型具体包括:
其中,W=(u,v)T表示图像序列帧间光流,u为光流水平分量,v为光流垂直分量,X=(x,y)T为像素点坐标,为梯度算子,和为非平方惩罚函数,
具体的,步骤107中,所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,得到计算光流结果具体包括:
建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔;
当结合渐进非凸优化方案第一阶段时,所用金字塔图像为数值方案图像金字塔,光流数值化模型为:
其中为光流计算模型数据项在第k层的偏导数,为光流计算模型平滑项在第k层图像的偏导数,表示第k层图像灰度I的空间偏导数,表示第k层图像灰度I的时间偏导数,div为散度,Wk=(uk,vk)T表示第k层图像光流初始值,dWk=d(uk,vk)表示第k层图像光流计算增量;
根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值:Wk+1=Wk+dWk;
根据所述第k层光流额定计算值得到第n层的光流额定计算值:Wn+1=Wn+dWn,1≤k≤n;
将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值,并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1=Wk+dWk,直到计算至第M阶段,得到第M阶段的光流额定计算值WM;
将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法,再执行所述得到计算光流(u,v)T。
图2为本发明实施例基于分层最近邻域的变分光流计的确定系统结构框图,如图2所示,所述系统包括:
图像获取模块201,用于获取原始图像序列中的任意连续两帧图像;
金字塔分层模块202,用于对所述两帧图像进行金字塔分层;
最近邻域获取模块202,用于采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域;
分割结果确定模块204,用于识别每层图像序列的最近邻域的主要运动模式,并根据所述运动模式进行运动分割,得到运动分割结果;
分割光流获取模块205,用于采用两阶段的伪布函数多项式优化算法优化所述运动分割结果,得到每层运动分割光流l表示层数;
变分光流估计模型获取模块206,用于根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型;
计算光流结果获取模块207,用于将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果。
具体的,所述计算光流结果获取模块207具体包括:
金字塔获取单元,用于建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔;
光流数值化模型获取单元,用于当结合渐进非凸优化方案第一阶段时,所用金字塔图像为数值方案图像金字塔,获取光流数值化模型;
第k层光流额定计算值获取单元,用于根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值;
第n层的光流额定计算值获取单元,用于根据所述第k层光流额定计算值得到第n层的光流额定计算值;
第M层光流额定计算值获取单元,用于将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值,并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1=Wk+dWk,直到计算至第M阶段,得到第M阶段的光流额定计算值;
计算光流结果获取单元,用于将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法,再执行所述得到计算光流(u,v)T。
本发明的一种基于分层最近邻域的变分光流确定方法,具有以下效果:
本发明中对输入图像序列进行金字塔分层,并利用决策树一致性近似最近邻算法(k-dtree CoherenceApproximate NearestNeighbor algorithm,treeCANN)算法从每层图像序列中获取最近邻域并执行运动分割,与输入图像序列(未经过金字塔分层的原始序列)同时作为输入量,建立变分光流估计模型克服了针对大位移场景图像序列的光流估计精度低的问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (6)
1.一种基于分层最近邻域的变分光流的确定方法,其特征在于,所述方法包括:
获取原始图像序列中的任意连续两帧图像;
对所述两帧图像进行金字塔分层;
采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域;
识别并获取每层图像序列的最近邻域中的主要运动模式,并根据获取的主要运动模式和每层图像序列进行运动分割,得到每层运动分割结果;
采用两阶段的伪布函数多项式优化算法优化所述运动分割结果,得到每层运动分割光流;
根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型;
将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果。
2.根据权利要求1所述的一种基于分层最近邻域的变分光流的确定方法,其特征在于,所述运动分割过程具体包括:
其中E(m)为运动分割结果,I1,I2为连续两帧图像,X=(x,y)T为图像像素点坐标,X′=(x′,y′)T为像素点X的邻域像素点坐标;m为运动模式,m∈{m1,m2,…mk}或P为从最近邻域中获得的主要运动模式的投影矩阵,为运动模式m周围的扰动偏差,为常数,m′∈Ω(mi)为实现|I2(X+m′)-I1(X)|的最小匹配误差,m(X′)为以像素X′=(x′,y′)T为中心的任意局部区域,和为非平方惩罚函数,ε为趋近于零的常数,β为常数。
3.根据权利要求2所述的一种基于分层最近邻域的变分光流的确定方法,其特征在于,所述变分光流估计模型具体包括:
其中,W=(u,v)T表示图像序列帧间光流,u为光流水平分量,v为光流垂直分量,X=(x,y)T为像素点坐标,为梯度算子,和为非平方惩罚函数,
4.根据权利要求1所述的一种基于分层最近邻域的变分光流的确定方法,其特征在于,所述将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果具体包括:
建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔;
当结合渐进非凸优化方案第一阶段时,所用金字塔图像为数值方案图像金字塔,光流数值化模型为:
其中为光流计算模型数据项在第k层的偏导数,为光流计算模型平滑项在第k层图像的偏导数,表示第k层图像灰度I的空间偏导数,表示第k层图像灰度I的时间偏导数,div为散度,Wk=(uk,vk)T表示第k层图像光流初始值,dWk=d(uk,vk)表示第k层图像光流计算增量;
根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值:Wk+1=Wk+dWk;
根据所述第k层光流额定计算值得到第n层的光流额定计算值:Wn+1=Wn+dWn,1≤k≤n;
将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值,并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1=Wk+dWk,直到计算至第M阶段,得到第M阶段的光流额定计算值WM;
将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法,再执行所述得到计算光流(u,v)T。
5.一种基于分层最近邻域的变分光流的确定系统,其特征在于,所述系统包括:
图像获取模块,用于获取原始图像序列中的任意连续两帧图像;
金字塔分层模块,用于对所述两帧图像进行金字塔分层;
最近邻域获取模块,用于采用决策树一致性近似邻域算法获取经所述金字塔分层后的两帧图像中对应每层图像序列的最近邻域;
分割结果确定模块,用于识别每层图像序列的最近邻域的主要运动模式,并根据所述主要运动模式和每层图像序列进行运动分割,得到运动分割结果;
分割光流获取模块,用于采用两阶段的伪布函数多项式优化算法优化所述运动分割结果,得到每层运动分割光流;
变分光流估计模型获取模块,用于根据原始图像序列中的任意连续两帧图像和所述每层运动分割光流建立变分光流估计模型;
计算光流结果获取模块,用于将所述变分光流估计模型转换为结合渐进非凸优化方案的基于图像金字塔分层细化优化策略的光流计算模型,在优化中采用伪布尔函数多项式优化算法将每层运动分割光流与变分光流进行融合优化,得到计算光流结果。
6.根据权利要求5所述的一种基于分层最近邻域的变分光流的确定系统,其特征在于,所述计算光流结果获取模块具体包括:
金字塔获取单元,用于建立基于结合渐进非凸优化方案所需图像金字塔和数值方案所需图像金字塔;
光流数值化模型获取单元,用于当结合渐进非凸优化方案第一阶段时,所用金字塔图像为数值方案图像金字塔,获取光流数值化模型;
第k层光流额定计算值获取单元,用于根据所述第k层图像光流初始值Wk和所述第k层图像光流计算增量dWk得到第k层光流额定计算值;
第n层的光流额定计算值获取单元,用于根据所述第k层光流额定计算值得到第n层的光流额定计算值;
第M层光流额定计算值获取单元,用于将第n层的光流额定计算值Wn作为结合渐进非凸优化方案下一阶段的初始光流值,并所述Wn代入所述光流数值化模型以及第k层光流计算公式Wk+1=Wk+dWk,直到计算至第M阶段,得到第M阶段的光流额定计算值;
计算光流结果获取单元,用于将第M-1阶段的光流额定计算值WM-1与分层最近邻域场执行伪布尔函数多项式优化算法,再执行所述得到计算光流(u,v)T。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810563041.XA CN108776971B (zh) | 2018-06-04 | 2018-06-04 | 一种基于分层最近邻域的变分光流确定方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810563041.XA CN108776971B (zh) | 2018-06-04 | 2018-06-04 | 一种基于分层最近邻域的变分光流确定方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108776971A true CN108776971A (zh) | 2018-11-09 |
CN108776971B CN108776971B (zh) | 2021-08-10 |
Family
ID=64024497
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810563041.XA Active CN108776971B (zh) | 2018-06-04 | 2018-06-04 | 一种基于分层最近邻域的变分光流确定方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108776971B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584282A (zh) * | 2018-11-24 | 2019-04-05 | 天津大学 | 一种基于sift特征与光流模型的非刚性图像配准方法 |
CN109949221A (zh) * | 2019-01-30 | 2019-06-28 | 深圳大学 | 一种图像处理方法及电子设备 |
CN111340844A (zh) * | 2020-02-24 | 2020-06-26 | 南昌航空大学 | 基于自注意力机制的多尺度特征光流学习计算方法 |
CN111583092A (zh) * | 2020-03-30 | 2020-08-25 | 西安电子科技大学 | 一种变分光流fpga实现方法、系统、存储介质、终端 |
CN111583295A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 基于图像块二值化哈希表示的实时的稠密光流计算方法 |
CN112164092A (zh) * | 2020-10-13 | 2021-01-01 | 南昌航空大学 | 一种广义马尔可夫稠密光流确定方法及系统 |
CN112465872A (zh) * | 2020-12-10 | 2021-03-09 | 南昌航空大学 | 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法 |
CN112581494A (zh) * | 2020-12-30 | 2021-03-30 | 南昌航空大学 | 基于金字塔块匹配的双目场景流计算方法 |
CN112767441A (zh) * | 2021-01-08 | 2021-05-07 | 南昌航空大学 | 一种基于残差场和位移场的图像光流优化方法及系统 |
CN114612513A (zh) * | 2022-03-10 | 2022-06-10 | 西安交通大学 | 一种基于fpga的图像金字塔光流值计算方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140254882A1 (en) * | 2013-03-11 | 2014-09-11 | Adobe Systems Incorporated | Optical Flow with Nearest Neighbor Field Fusion |
CN106934820A (zh) * | 2017-03-17 | 2017-07-07 | 南昌航空大学 | 基于引导滤波的图像序列金字塔分层光流计算方法 |
-
2018
- 2018-06-04 CN CN201810563041.XA patent/CN108776971B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140254882A1 (en) * | 2013-03-11 | 2014-09-11 | Adobe Systems Incorporated | Optical Flow with Nearest Neighbor Field Fusion |
CN106934820A (zh) * | 2017-03-17 | 2017-07-07 | 南昌航空大学 | 基于引导滤波的图像序列金字塔分层光流计算方法 |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584282B (zh) * | 2018-11-24 | 2022-08-12 | 天津大学 | 一种基于sift特征与光流模型的非刚性图像配准方法 |
CN109584282A (zh) * | 2018-11-24 | 2019-04-05 | 天津大学 | 一种基于sift特征与光流模型的非刚性图像配准方法 |
CN109949221A (zh) * | 2019-01-30 | 2019-06-28 | 深圳大学 | 一种图像处理方法及电子设备 |
CN111340844A (zh) * | 2020-02-24 | 2020-06-26 | 南昌航空大学 | 基于自注意力机制的多尺度特征光流学习计算方法 |
CN111583092A (zh) * | 2020-03-30 | 2020-08-25 | 西安电子科技大学 | 一种变分光流fpga实现方法、系统、存储介质、终端 |
CN111583092B (zh) * | 2020-03-30 | 2023-03-07 | 西安电子科技大学 | 一种变分光流fpga实现方法、系统、存储介质、终端 |
CN111583295A (zh) * | 2020-04-28 | 2020-08-25 | 清华大学 | 基于图像块二值化哈希表示的实时的稠密光流计算方法 |
CN111583295B (zh) * | 2020-04-28 | 2022-08-12 | 清华大学 | 基于图像块二值化哈希表示的实时的稠密光流计算方法 |
CN112164092B (zh) * | 2020-10-13 | 2022-09-27 | 南昌航空大学 | 一种广义马尔可夫稠密光流确定方法及系统 |
CN112164092A (zh) * | 2020-10-13 | 2021-01-01 | 南昌航空大学 | 一种广义马尔可夫稠密光流确定方法及系统 |
CN112465872A (zh) * | 2020-12-10 | 2021-03-09 | 南昌航空大学 | 一种基于可学习遮挡掩模与二次变形优化的图像序列光流估计方法 |
CN112581494A (zh) * | 2020-12-30 | 2021-03-30 | 南昌航空大学 | 基于金字塔块匹配的双目场景流计算方法 |
CN112581494B (zh) * | 2020-12-30 | 2023-05-02 | 南昌航空大学 | 基于金字塔块匹配的双目场景流计算方法 |
CN112767441A (zh) * | 2021-01-08 | 2021-05-07 | 南昌航空大学 | 一种基于残差场和位移场的图像光流优化方法及系统 |
CN112767441B (zh) * | 2021-01-08 | 2023-06-06 | 南昌航空大学 | 一种基于残差场和位移场的图像光流优化方法及系统 |
CN114612513A (zh) * | 2022-03-10 | 2022-06-10 | 西安交通大学 | 一种基于fpga的图像金字塔光流值计算方法及系统 |
CN114612513B (zh) * | 2022-03-10 | 2024-03-01 | 西安交通大学 | 一种基于fpga的图像金字塔光流值计算方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108776971B (zh) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108776971A (zh) | 一种基于分层最近邻域的变分光流确定方法及系统 | |
Fei et al. | Comprehensive review of deep learning-based 3d point cloud completion processing and analysis | |
CN105654492B (zh) | 基于消费级摄像头的鲁棒实时三维重建方法 | |
CN110443842B (zh) | 基于视角融合的深度图预测方法 | |
Kropatsch et al. | Digital image analysis: selected techniques and applications | |
CN109756690B (zh) | 基于特征级别光流的轻量级视频插值方法 | |
CN106780543A (zh) | 一种基于卷积神经网络的双框架估计深度和运动方法 | |
CN109271933A (zh) | 基于视频流进行三维人体姿态估计的方法 | |
CN111753961A (zh) | 模型训练方法和装置、预测方法和装置 | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
Xiong et al. | Self-supervised monocular depth and visual odometry learning with scale-consistent geometric constraints | |
CN114882524A (zh) | 一种基于全卷积神经网络的单目三维手势估计方法 | |
CN117315169A (zh) | 基于深度学习多视密集匹配的实景三维模型重建方法和系统 | |
CN113066018A (zh) | 一种图像增强方法及相关装置 | |
CN111914595B (zh) | 一种基于彩色图像的人手三维姿态估计方法和装置 | |
CN112396657A (zh) | 一种基于神经网络的深度位姿估计方法、装置及终端设备 | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
CN114689038A (zh) | 基于机器视觉的果实检测定位与果园地图构建方法 | |
CN108520532B (zh) | 识别视频中物体运动方向的方法及装置 | |
Jia et al. | Depth measurement based on a convolutional neural network and structured light | |
CN117058474B (zh) | 一种基于多传感器融合的深度估计方法及系统 | |
CN117593702A (zh) | 远程监控方法、装置、设备及存储介质 | |
Chaudhuri et al. | Simba: Mamba augmented U-ShiftGCN for Skeletal Action Recognition in Videos | |
Liu et al. | Joint estimation of pose, depth, and optical flow with a competition–cooperation transformer network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |