CN108492308A - 一种基于相互结构引导滤波的变分光流的确定方法及系统 - Google Patents
一种基于相互结构引导滤波的变分光流的确定方法及系统 Download PDFInfo
- Publication number
- CN108492308A CN108492308A CN201810348258.9A CN201810348258A CN108492308A CN 108492308 A CN108492308 A CN 108492308A CN 201810348258 A CN201810348258 A CN 201810348258A CN 108492308 A CN108492308 A CN 108492308A
- Authority
- CN
- China
- Prior art keywords
- optical flow
- filtering
- image sequence
- image
- guided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 191
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 238000009499 grossing Methods 0.000 claims description 25
- 238000005457 optimization Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005813 organ abnormality Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于相互结构引导滤波的变分光流的确定方法及系统。该方法包括:获取待处理的图像序列;对所述待处理的图像序列进行区域划分,获得相互结构区域和不一致区域,根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列;获取基于引导滤波的TV‑L1光流计算模型;根据所述基于引导滤波的TV‑L1光流计算模型确定所述相互结构图像序列中每一层的输出光流值;根据所述相互结构图像序列中每一层的输出光流值获得所述待处理的图像序列的光流图。采用本发明的方法或系统,克服了图像序列光流计算结果中图像和运动边缘过于平滑的问题,对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。
Description
技术领域
本发明涉及图像序列光流计算领域,特别是涉及一种基于相互结构引导滤波的变分光流的确定方法及系统。
背景技术
光流场是分析序列图像中运动目标的重要方法。光流场不仅包含了被观察物体的运动信息,而且携带有光景物三维结构的信息,所以光流场在不同的领域中具有很重要的作用。例如,在计算机视觉领域,目标分割、识别、跟踪、机器人导航以及形状信息恢复等方面都有重要的应用。光流场计算在工业和军事应用领域具有重要的现实意义,例如,在完成各种工业或军事任务的机器人视觉系统、基于运动分析的空间卫星跟踪系统、地对空导弹火控系统、进行资源勘探/天气预报或卫星照片的自动分析系统、医学上器官异常的分析和诊断系统等领域中均有广泛应用。
近年来,随着图像滤波器的快速发展,基于滤波优化的光流计算策略逐渐成为解决光流计算鲁棒性难题的重要手段,目前基于加权中值滤波的光流优化模型被广泛采用,能够有效抑制金字塔分层计算过程中异常值对光流估计结果的影响。但是该类方法在复杂场景、大位移运动、边缘遮挡等情况下易导致图像与运动边缘模糊的问题,因此,目前基于加权中值滤波的变分光流的确定方法的计算精度不高。
发明内容
本发明的目的是提供一种基于相互结构引导滤波的变分光流的确定方法及系统,以提高变分光流的计算精度,提高光流结果的准确度。
为实现上述目的,本发明提供了如下方案:
一种基于相互结构引导滤波的变分光流的确定方法,所述方法包括:
获取待处理的图像序列;
对所述待处理的图像序列进行区域划分,获得相互结构区域和不一致区域;所述相互结构区域为所述待处理的图像序列中具有相同或相似的边缘轮廓结构的局部区域,所述不一致区域为所述待处理的图像序列中边缘轮廓结构发生改变的局部区域;
根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列;
建立基于引导滤波的TV-L1光流计算模型;
根据所述基于引导滤波的TV-L1光流计算模型确定所述相互结构图像序列中第k层图像的输出光流值;其中1≤k≤n,n为所述相互结构图像序列的金字塔分层数;
依次确定所述相互结构图像序列中每一层的输出光流值;
根据所述相互结构图像序列中每一层的输出光流值获得所述待处理的图像序列的光流图。
可选的,所述根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列,具体包括:
获取提取因子ρ;
利用所述提取因子获得任一区域的提取结果其中τ1、τ2是正则化系数,p=(x,y)T表示像素点坐标,为待处理的图像序列第一帧中以像素点p为中心的任意局部区域灰度,为待处理的图像序列第二帧中以像素点p为中心的任意局部区域灰度,为与的协方差,为的标准差,为的标准差;
判断所述区域的提取结果是否大于设定阈值,得到第一判断结果;
当所述第一判断结果表示所述区域的提取结果大于设定阈值时,将所述区域确定为所述相互结构图像序列中的区域;
当所述第一判断结果表示所述区域的提取结果不大于设定阈值时,将所述区域确定为所述相互结构图像序列之外的区域。
可选的,所述设定阈值为0.8。
可选的,所述获取基于引导滤波的TV-L1光流计算模型,具体包括:
获取引导滤波的相似函数Em,其中 Ω表示相互结构图像序列区域,{a,a',b,b'}表示线性系数集合,w表示连续两帧图像间的估计光流场,表示两帧图像间的引导光流场,ap和a'p表示局部区域内由引导光流到估计光流的线性系数,bp和b'p表示局部区域内由估计光流到引导光流的线性系数;
获取引导滤波的平滑函数Es,其中τ1和τ2是权重系数;
获取引导滤波的平滑惩罚函数Eprior,其中 和分别表示原始估计光流和引导光流中以像素点p为中心的任意局部区域光流,wp和分别表示相互结构引导滤波后估计光流和引导光流中以像素点p为中心的任意局部区域光流;
根据引导滤波的相似函数、平滑函数和平滑惩罚函数,确定引导滤波的目标函数
根据所述目标函数确定基于引导滤波的TV-L1光流计算模型
可选的,所述根据所述基于引导滤波的TV-L1光流计算模型确定所述相互结构图像序列中第k层图像的输出光流值,具体包括:
根据所述基于引导滤波的TV-L1光流计算模型获取基于图像金字塔分层的TV-L1光流计算模型其中为基于引导滤波的TV-L1光流计算模型数据项在第k层图像的偏导数,为基于引导滤波的TV-L1光流计算模型平滑项在第k层图像的偏导数,表示第k层图像灰度I的空间偏导数,表示第k层图像灰度I的时间偏导数。
利用wk+1=wk+dwk确定第k层图像的输出光流值;其中wk+1为所述第k层图像的输出光流值,wk为第k层图像的光流初始值,dwk第k层图像的光流增量;
将所述第k层图像的输出光流值wk+1确定为第k+1层图像的光流初始值。
可选的,所述依次确定所述相互结构图像序列中每一层的输出光流值,之后还包括:
获取引导滤波模型其中,t是迭代次数, 和是系数项,为第t+1次迭代的引导光流值,为第t+1次迭代滤波后的输出光流值,为第t次迭代的引导光流值,为第t次迭代滤波后的输出光流值;
根据所述引导滤波模型对所述每一层的输出光流值进行滤波优化,获得滤波后的输出光流值。
一种基于相互结构引导滤波的变分光流的确定系统,所述系统包括:
待处理的图像序列获取模块,用于获取待处理的图像序列;
区域划分模块,用于对所述待处理的图像序列进行区域划分,获得相互结构区域和不一致区域;所述相互结构区域为所述待处理的图像序列中具有相同或相似的边缘轮廓结构的局部区域,所述不一致区域为所述待处理的图像序列中边缘轮廓结构发生改变的局部区域;
相互结构图像序列获得模块,用于根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列;
基于引导滤波的TV-L1光流计算模型获取模块,用于获取基于引导滤波的TV-L1光流计算模型;
输出光流值确定模块,用于根据所述基于引导滤波的TV-L1光流计算模型确定所述相互结构图像序列中第k层图像的输出光流值;其中1≤k≤n,n为所述相互结构图像序列的层数;还用于依次确定所述相互结构图像序列中每一层的输出光流值;
光流图输出模块,用于根据所述相互结构图像序列中每一层的输出光流值获得所述待处理的图像序列的光流图。
可选的,所述基于引导滤波的TV-L1光流计算模型获取模块,具体包括:
相似函数获取单元,用于获取引导滤波的相似函数Em,其中Ω表示相互结构图像序列区域,{a,a',b,b'}表示线性系数集合,w表示连续两帧图像间的估计光流场,表示两帧图像间的引导光流场,ap和a'p表示局部区域内由引导光流到估计光流的线性系数,bp和b'p表示局部区域内由估计光流到引导光流的线性系数;
平滑函数获取单元,用于获取引导滤波的平滑函数Es,其中τ1和τ2是权重系数;
平滑惩罚函数获取单元,用于获取引导滤波的平滑惩罚函数Eprior,其中 和分别表示原始估计光流和引导光流中以像素点p为中心的任意局部区域光流,wp和分别表示相互结构引导滤波后估计光流和引导光流中以像素点p为中心的任意局部区域光流;
目标函数确定单元,用于根据引导滤波的相似函数、平滑函数和平滑惩罚函数,确定引导滤波的目标函数
基于引导滤波的TV-L1光流计算模型确定单元,用于根据所述目标函数确定基于引导滤波的TV-L1光流计算模型其中
可选的,所述系统还包括:
引导滤波模型获取模块,用于依次确定所述相互结构图像序列中每一层的输出光流值,之后获取引导滤波模型其中,t是迭代次数,和Mt w是系数项,为第t+1次迭代的引导光流值,为第t+1次迭代滤波后的输出光流值,为第t次迭代的引导光流值,为第t次迭代滤波后的输出光流值;
滤波优化模块,用于根据所述引导滤波模型对所述每一层的输出光流值进行滤波优化,获得滤波后的输出光流值。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明方法采用相互结构引导滤波对图像序列光流计算边缘起到增强作用,克服了图像序列光流计算结果中图像和运动边缘过于平滑的问题,对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于相互结构引导滤波的变分光流的确定方法的流程示意图;
图2为本发明基于相互结构引导滤波的变分光流的确定系统的结构示意图;
图3a和3b为本发明具体实施方式中待处理的连续两帧图像,其中图3a为第一帧图像,图3b为第二帧图像;
图4是本发明具体实施方式中图像序列金字塔分层与相互结构引导滤波迭代优化模型图;
图5是本发明具体实施方式中获得的图像序列光流图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于相互结构引导滤波的变分光流的确定方法的流程示意图。如图1所示,所述方法包括:
步骤100:获取待处理的图像序列。
步骤200:对待处理的图像序列进行区域划分,获得相互结构区域和不一致区域。其划分规则如下:
(1)相互结构区域;相互结构区域是指图像序列中具有相同或者相似的边缘轮廓结构对应的局部区域。图像相互结构区域不受图像亮度变化影响,且图像梯度方向可以相同或相反。
(1)不一致区域;不一致区域主要指图像序列中由于运动或者形变所导致边缘轮廓结构发生改变对应的局部区域,即图像序列中的运动与图像边缘不一致。
(2)平滑区域;平滑区域主要包括图像序列中不包含重要结构信息的对应局部区域。由于图像平滑区域易受到噪声影响,通常可以归类为相互结构区域。因此,划分后的区域包括相互结构区域和不一致区域两个区域。
步骤300:根据图像相互结构提取因子提取待处理的图像序列中的相互结构区域,获得相互结构图像序列。具体包括:
获取提取因子ρ;
利用所述提取因子获得任一区域的提取结果其中τ1、τ2是正则化系数,以防止趋近于0时导致式(1)趋近于无穷大,p=(x,y)T表示像素点坐标,为待处理的图像序列第一帧中以像素点p为中心的任意局部区域灰度,为待处理的图像序列第二帧中以像素点p为中心的任意局部区域灰度,为与的协方差,为的标准差,为的标准差;
判断所述区域的提取结果是否大于设定阈值,得到第一判断结果;
当所述第一判断结果表示所述区域的提取结果大于设定阈值时,将所述区域确定为所述相互结构图像序列中的区域;
当所述第一判断结果表示所述区域的提取结果不大于设定阈值时,将所述区域确定为所述相互结构图像序列之外的区域。
其中,当时,表示图像序列对应区域的相关性越大,该对应区域属于相互结构区域;相反,当时,表示图像序列对应区域的相关性越小,该对应区域属于不一致区域。根据实际情况对设定阈值进行赋值,例如,设定阈值可以为0.8,即当时,对应区域为相互结构区域,反之则为不一致区域。
步骤400:获取基于引导滤波的TV-L1光流计算模型。包括以下两部分:
(1)构建相互结构图像序列的引导滤波的目标函数;
首先,相互结构图像序列中任意局部区域的估计光流可用引导光流线性表示为:
式(1)中,w=(u,v)T表示连续两帧图像间的估计光流场,u和v分别表示光流水平和垂直方向分量集合,表示两帧图像间的引导光流场。N(p)表示图像中以像素点p为中心的任意局部区域,i是该区域内任意邻域像素点。ap和a'p表示局部区域内由引导光流到估计光流的线性系数。
同理,相互结构图像序列中任意局部区域的引导光流可用对应区域的估计光流线性表示为:
式(2)中,bp和b'p表示局部区域内由估计光流到引导光流的线性系数。根据式(1)和式(2)中相互结构图像序列中局部区域的相互表示,由此获得相互结构图像序列的引导滤波的相似项Em如下所示:
式(3)中,Ω表示图像区域,{a,a',b,b'}表示线性系数集合。由于直接利用式(3)对图像估计光流进行优化会导致光流稀疏问题。为获得稠密的光流优化估计,确定相互结构图像序列的引导滤波平滑项Es如下所示:
式(4)中,τ1和τ2是权重系数,决定了引导滤波的平滑程度。为抑制平滑项的过度平滑作用,引入相互结构图像序列的引导滤波平滑惩罚项Eprior如下:
式(5)中,和分别表示原始估计光流和引导光流中以像素点p为中心的任意局部区域光流。wp和分别表示相互结构引导滤波后估计光流和引导光流中以像素点p为中心的任意局部区域光流。根据定义的相互结构引导滤波相似项、平滑项和惩罚项可得相互结构图像序列的引导滤波目标函数如下:
式(6)中,{a,a',b,b'}是线性系数集合。
建立基于相互结构图像序列引导滤波的TV-L1变分光流计算模型;
引入传统的TV-L1变分光流计算模型如下:
式(7)中,w=(u,v)T表示图像像素点集合x=(i,j)T的估计光流场,表示图像空间梯度算子,表示Charbonnier惩罚函数,其中ε是趋近于零的常数。将相互结构图像序列的引导滤波目标函数集成到传统的TV-L1光流计算模型中,得到基于引导滤波的TV-L1光流计算模型:
步骤500:根据基于引导滤波的TV-L1光流计算模型确定相互结构图像序列中每一层图像的输出光流值。
将式(8)的最小化线性求解转换为基于图像金字塔分层的TV-L1光流计算模型和相互结构引导滤波交替迭代计算,假设图像金字塔分层层数为n,则根据基于引导滤波的TV-L1光流计算模型获取基于图像金字塔分层的TV-L1光流计算模型如下:
式(9)中,wk=(uk,vk)T表示第k层图像光流初始值,dwk=d(uk,vk)表示第k层图像光流计算增量,为基于引导滤波的TV-L1光流计算模型数据项在第k层图像的偏导数,为基于引导滤波的TV-L1光流计算模型平滑项在第k层图像的偏导数,表示第k层图像灰度I的空间偏导数,表示第k层图像灰度I的时间偏导数。
根据图像金字塔第k层图像光流的初始值wk和增量dwk可得第k层图像的输出光流值:
wk+1=wk+dwk (10)
然后,使用相互结构引导滤波对每一层输出光流值进行滤波优化,滤波模型为:
式(11)中,t是交替迭代次数,和是系数项,为第t+1次迭代的引导光流值,为第t+1次迭代滤波后的输出光流值,为第t次迭代的引导光流值,为第t次迭代滤波后的输出光流值。
对当前层输出光流进行相互结构引导滤波优化后,将滤波优化后光流作为图像金字塔分层的下一层图像序列光流迭代初始值,对以上步骤进行交替迭代,直至金字塔最底层原分辨率图像层输出最终光流估计结果。交替迭代次数可以设置为5次。
步骤600:根据相互结构图像序列中每一层的输出光流值获得待处理的图像序列的光流图。
图2为本发明基于相互结构引导滤波的变分光流的确定系统的结构示意图。如图2所示,所述系统包括:
待处理的图像序列获取模块201,用于获取待处理的图像序列;
区域划分模块202,用于对所述待处理的图像序列进行区域划分,获得相互结构区域和不一致区域;所述相互结构区域为所述待处理的图像序列中具有相同或相似的边缘轮廓结构的局部区域,所述不一致区域为所述待处理的图像序列中边缘轮廓结构发生改变的局部区域;
相互结构图像序列获得模块203,用于根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列;
基于引导滤波的TV-L1光流计算模型获取模块204,用于获取基于引导滤波的TV-L1光流计算模型;
输出光流值确定模块205,用于根据所述基于引导滤波的TV-L1光流计算模型确定所述相互结构图像序列中第k层图像的输出光流值;其中1≤k≤n,n为所述相互结构图像序列的层数;还用于依次确定所述相互结构图像序列中每一层的输出光流值;
光流图输出模块206,用于根据所述相互结构图像序列中每一层的输出光流值获得所述待处理的图像序列的光流图。
其中,所述基于引导滤波的TV-L1光流计算模型获取模块204,具体包括:
相似函数获取单元,用于获取引导滤波的相似函数Em,其中Ω表示相互结构图像序列区域,{a,a',b,b'}表示线性系数集合,w表示连续两帧图像间的估计光流场,表示两帧图像间的引导光流场,ap和a'p表示局部区域内由引导光流到估计光流的线性系数,bp和b'p表示局部区域内由估计光流到引导光流的线性系数;
平滑函数获取单元,用于获取引导滤波的平滑函数Es,其中τ1和τ2是权重系数;
平滑惩罚函数获取单元,用于获取引导滤波的平滑惩罚函数Eprior,其中 和分别表示原始估计光流和引导光流中以像素点p为中心的任意局部区域光流,wp和分别表示相互结构引导滤波后估计光流和引导光流中以像素点p为中心的任意局部区域光流;
基于引导滤波的TV-L1光流计算模型确定单元,用于根据所述目标函数确定基于引导滤波的TV-L1光流计算模型其中
所述系统还包括:
引导滤波模型获取模块,用于依次确定所述相互结构图像序列中每一层的输出光流值,之后获取引导滤波模型其中,t是迭代次数,和是系数项,为第t+1次迭代引导光流值,为第t+1次迭代滤波后的输出光流值,为第t次迭代引导光流值,为第t次迭代滤波后的输出光流值;
滤波优化模块,用于根据所述引导滤波模型对所述每一层的输出光流值进行滤波优化,获得滤波后的输出光流值。
下面给出本发明的一个具体实施方式,使用Rubberwhale图像序列光流计算进行说明。图3a和3b为本发明具体实施方式中待处理的连续两帧图像,其中图3a为第一帧图像,图3b为第二帧图像;图4是本发明具体实施方式中图像序列金字塔分层与相互结构引导滤波迭代优化模型图;图5是本发明具体实施方式中获得的图像序列光流图。
1)输入图3a和图3b所示的Rubberwhale图像序列连续两帧图像;
2)采用图4所示的模型,对输入的Rubberwhle图像序列进行金字塔下采样分层,采样系数为0.5,分层数为6层;
3)从图像金字塔第k层(k=1)图像开始计算图像序列光流,光流计算模型如下:
式中wk=(uk,vk)表示第k层图像光流初始值,dwk=d(uk,vk)表示第k层图像光流计算增量。根据图像金字塔第k层图像光流的初始值wk和增量dwk可得第k层光流的计算值为:
wk+1=wk+dwk
此时引入引导光流使用相互结构引导滤波对当前层输出光流进行滤波优化,滤波模型为:
对当前层输出光流进行相互结构引导滤波优化后,将滤波优化后光流作为图像金字塔分层的下一层图像序列光流迭代初始值,对以上步骤进行交替迭代,直至金字塔最底层原分辨率图像层输出最终光流估计结果。相互结构引导滤波如图4虚线框所示。
4)将经过相互结构引导滤波后的光流作为图像序列金字塔第k+1层光流计算的初始值重复步骤3),当金字塔层数k=6时,停止循环,输出最终的光流计算结果如图5所示。
根据图5中光流计算结果可以看出,本发明方法克服了图像序列光流计算结果中图像和运动边缘过于平滑的问题,对于复杂场景和复杂边缘图像序列具有更高的计算精度和更好的适用性,在安全监控、交通检测以及目标分割与跟踪等领域具有广泛的应用前景。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于相互结构引导滤波的变分光流的确定方法,其特征在于,所述方法包括:
获取待处理的图像序列;
对所述待处理的图像序列进行区域划分,获得相互结构区域和不一致区域;所述相互结构区域为所述待处理的图像序列中具有相同或相似的边缘轮廓结构的局部区域,所述不一致区域为所述待处理的图像序列中边缘轮廓结构发生改变的局部区域;
根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列;
建立基于引导滤波的TV-L1光流计算模型;
根据所述基于引导滤波的TV-L1光流计算模型确定所述相互结构图像序列中第k层图像的输出光流值;其中1≤k≤n,n为所述相互结构图像序列的金字塔分层数;
依次确定所述相互结构图像序列中每一层的输出光流值;
根据所述相互结构图像序列中每一层的输出光流值获得所述待处理的图像序列的光流图。
2.根据权利要求1所述的方法,其特征在于,所述根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列,具体包括:
获取提取因子ρ;
利用所述提取因子获得任一区域的提取结果其中τ1、τ2是正则化系数,p=(x,y)T表示像素点坐标,为待处理的图像序列第一帧中以像素点p为中心的任意局部区域灰度,为待处理的图像序列第二帧中以像素点p为中心的任意局部区域灰度,为与的协方差,为的标准差,为的标准差;
判断所述区域的提取结果是否大于设定阈值,得到第一判断结果;
当所述第一判断结果表示所述区域的提取结果大于设定阈值时,将所述区域确定为所述相互结构图像序列中的区域;
当所述第一判断结果表示所述区域的提取结果不大于设定阈值时,将所述区域确定为所述相互结构图像序列之外的区域。
3.根据权利要求2所述的方法,其特征在于,所述设定阈值为0.8。
4.根据权利要求1所述的方法,其特征在于,所述获取基于引导滤波的TV-L1光流计算模型,具体包括:
获取引导滤波的相似函数Em,其中Ω表示相互结构图像序列区域,{a,a',b,b'}表示线性系数集合,w表示连续两帧图像间的估计光流场,表示两帧图像间的引导光流场,ap和a'p表示局部区域内由引导光流到估计光流的线性系数,bp和b'p表示局部区域内由估计光流到引导光流的线性系数;
获取引导滤波的平滑函数Es,其中τ1和τ2是权重系数;
获取引导滤波的平滑惩罚函数Eprior,其中 和分别表示原始估计光流和引导光流中以像素点p为中心的任意局部区域光流,wp和分别表示相互结构引导滤波后估计光流和引导光流中以像素点p为中心的任意局部区域光流;
根据引导滤波的相似函数、平滑函数和平滑惩罚函数,确定引导滤波的目标函数
根据所述目标函数确定基于引导滤波的TV-L1光流计算模型其中
5.根据权利要求4所述的方法,其特征在于,所述根据所述基于引导滤波的TV-L1光流计算模型确定所述相互结构图像序列中第k层图像的输出光流值,具体包括:
根据所述基于引导滤波的TV-L1光流计算模型获取基于图像金字塔分层的TV-L1光流计算模型其中为基于引导滤波的TV-L1光流计算模型数据项在第k层图像的偏导数,为基于引导滤波的TV-L1光流计算模型平滑项在第k层图像的偏导数,表示第k层图像灰度I的空间偏导数,表示第k层图像灰度I的时间偏导数。
利用wk+1=wk+dwk确定第k层图像的输出光流值;其中wk+1为所述第k层图像的输出光流值,wk为第k层图像的光流初始值,dwk第k层图像的光流增量;
将所述第k层图像的输出光流值wk+1确定为第k+1层图像的光流初始值。
6.根据权利要求1所述的方法,其特征在于,所述依次确定所述相互结构图像序列中每一层的输出光流值,之后还包括:
获取引导滤波模型其中,t是迭代次数, 和是系数项,为第t+1次迭代的引导光流值,为第t+1次迭代滤波后的输出光流值,为第t次迭代的引导光流值,为第t次迭代滤波后的输出光流值;
根据所述引导滤波模型对所述每一层的输出光流值进行滤波优化,获得滤波后的输出光流值。
7.一种基于相互结构引导滤波的变分光流的确定系统,其特征在于,所述系统包括:
待处理的图像序列获取模块,用于获取待处理的图像序列;
区域划分模块,用于对所述待处理的图像序列进行区域划分,获得相互结构区域和不一致区域;所述相互结构区域为所述待处理的图像序列中具有相同或相似的边缘轮廓结构的局部区域,所述不一致区域为所述待处理的图像序列中边缘轮廓结构发生改变的局部区域;
相互结构图像序列获得模块,用于根据图像相互结构提取因子提取所述待处理的图像序列中的相互结构区域,获得相互结构图像序列;
基于引导滤波的TV-L1光流计算模型获取模块,用于获取基于引导滤波的TV-L1光流计算模型;
输出光流值确定模块,用于根据所述基于引导滤波的TV-L1光流计算模型确定所述相互结构图像序列中第k层图像的输出光流值;其中1≤k≤n,n为所述相互结构图像序列的层数;还用于依次确定所述相互结构图像序列中每一层的输出光流值;
光流图输出模块,用于根据所述相互结构图像序列中每一层的输出光流值获得所述待处理的图像序列的光流图。
8.根据权利要求6所述的系统,其特征在于,所述基于引导滤波的TV-L1光流计算模型获取模块,具体包括:
相似函数获取单元,用于获取引导滤波的相似函数Em,其中
Ω表示相互结构图像序列区域,{a,a',b,b'}表示线性系数集合,w表示连续两帧图像间的估计光流场,表示两帧图像间的引导光流场,ap和a'p表示局部区域内由引导光流到估计光流的线性系数,bp和b'p表示局部区域内由估计光流到引导光流的线性系数;
平滑函数获取单元,用于获取引导滤波的平滑函数Es,其中τ1和τ2是权重系数;
平滑惩罚函数获取单元,用于获取引导滤波的平滑惩罚函数Eprior,其中 和分别表示原始估计光流和引导光流中以像素点p为中心的任意局部区域光流,wp和分别表示相互结构引导滤波后估计光流和引导光流中以像素点p为中心的任意局部区域光流;
目标函数确定单元,用于根据引导滤波的相似函数、平滑函数和平滑惩罚函数,确定引导滤波的目标函数
基于引导滤波的TV-L1光流计算模型确定单元,用于根据所述目标函数确定基于引导滤波的TV-L1光流计算模型其中
9.根据权利要求7所述的系统,其特征在于,所述系统还包括:
引导滤波模型获取模块,用于依次确定所述相互结构图像序列中每一层的输出光流值,之后获取引导滤波模型其中,t是迭代次数,和是系数项,为第t+1次迭代的引导光流值,为第t+1次迭代滤波后的输出光流值,为第t次迭代的引导光流值,为第t次迭代滤波后的输出光流值;
滤波优化模块,用于根据所述引导滤波模型对所述每一层的输出光流值进行滤波优化,获得滤波后的输出光流值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810348258.9A CN108492308B (zh) | 2018-04-18 | 2018-04-18 | 一种基于相互结构引导滤波的变分光流的确定方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810348258.9A CN108492308B (zh) | 2018-04-18 | 2018-04-18 | 一种基于相互结构引导滤波的变分光流的确定方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108492308A true CN108492308A (zh) | 2018-09-04 |
CN108492308B CN108492308B (zh) | 2020-09-08 |
Family
ID=63312670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810348258.9A Active CN108492308B (zh) | 2018-04-18 | 2018-04-18 | 一种基于相互结构引导滤波的变分光流的确定方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108492308B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862715A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种实时且可控的尺度空间滤波方法 |
CN116342660A (zh) * | 2022-09-08 | 2023-06-27 | 中北大学 | 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140050395A1 (en) * | 2012-08-17 | 2014-02-20 | Tandent Vision Science, Inc. | Spatially varying log-chromaticity normals for use in an image process |
CN103700117A (zh) * | 2013-11-21 | 2014-04-02 | 北京工业大学 | 一种基于tv-l1变分模型的鲁棒光流场估计方法 |
US20150016716A1 (en) * | 2013-07-09 | 2015-01-15 | 3M Innovative Properties Company | Systems and methods for note content extraction and management by segmenting notes |
CN104658006A (zh) * | 2013-11-22 | 2015-05-27 | 上海宝康电子控制工程有限公司 | 基于变分光流实现车辆跟踪的方法 |
CN105205791A (zh) * | 2015-08-28 | 2015-12-30 | 中国科学院深圳先进技术研究院 | 一种基于高斯混合模型的视频雨滴去除方法及其系统 |
US9324139B1 (en) * | 2014-12-30 | 2016-04-26 | Ambarella, Inc. | Picture brightness adjusted temporal filtering |
US20160225162A1 (en) * | 2015-01-30 | 2016-08-04 | Raytheon Company | Apparatus and processes for estimating river velocity |
CN106934820A (zh) * | 2017-03-17 | 2017-07-07 | 南昌航空大学 | 基于引导滤波的图像序列金字塔分层光流计算方法 |
US20170277957A1 (en) * | 2016-03-25 | 2017-09-28 | Fuji Xerox Co., Ltd. | Store-entering person attribute extraction apparatus, store-entering person attribute extraction method, and non-transitory computer readable medium |
-
2018
- 2018-04-18 CN CN201810348258.9A patent/CN108492308B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140050395A1 (en) * | 2012-08-17 | 2014-02-20 | Tandent Vision Science, Inc. | Spatially varying log-chromaticity normals for use in an image process |
US20150016716A1 (en) * | 2013-07-09 | 2015-01-15 | 3M Innovative Properties Company | Systems and methods for note content extraction and management by segmenting notes |
CN103700117A (zh) * | 2013-11-21 | 2014-04-02 | 北京工业大学 | 一种基于tv-l1变分模型的鲁棒光流场估计方法 |
CN104658006A (zh) * | 2013-11-22 | 2015-05-27 | 上海宝康电子控制工程有限公司 | 基于变分光流实现车辆跟踪的方法 |
US9324139B1 (en) * | 2014-12-30 | 2016-04-26 | Ambarella, Inc. | Picture brightness adjusted temporal filtering |
US20160225162A1 (en) * | 2015-01-30 | 2016-08-04 | Raytheon Company | Apparatus and processes for estimating river velocity |
CN105205791A (zh) * | 2015-08-28 | 2015-12-30 | 中国科学院深圳先进技术研究院 | 一种基于高斯混合模型的视频雨滴去除方法及其系统 |
US20170277957A1 (en) * | 2016-03-25 | 2017-09-28 | Fuji Xerox Co., Ltd. | Store-entering person attribute extraction apparatus, store-entering person attribute extraction method, and non-transitory computer readable medium |
CN106934820A (zh) * | 2017-03-17 | 2017-07-07 | 南昌航空大学 | 基于引导滤波的图像序列金字塔分层光流计算方法 |
Non-Patent Citations (3)
Title |
---|
XIAOYONG SHEN等: "Mutual-Structure for Joint Filtering", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 * |
张聪炫等: "非局部加权邻域三角滤波TV-L1光流估计", 《中国图象图形学报》 * |
覃仁智: "基于引导滤波的图像序列光流计算技术研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112862715A (zh) * | 2021-02-08 | 2021-05-28 | 天津大学 | 一种实时且可控的尺度空间滤波方法 |
CN116342660A (zh) * | 2022-09-08 | 2023-06-27 | 中北大学 | 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法 |
CN116342660B (zh) * | 2022-09-08 | 2023-12-08 | 中北大学 | 一种多尺度分析融合加权滤波的仿生复眼光流场估计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108492308B (zh) | 2020-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949375B (zh) | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 | |
CN108154118B (zh) | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 | |
CN107369166B (zh) | 一种基于多分辨率神经网络的目标跟踪方法及系统 | |
CN111462191B (zh) | 一种基于深度学习的非局部滤波器无监督光流估计方法 | |
CN116309757B (zh) | 基于机器视觉的双目立体匹配方法 | |
CN103458261B (zh) | 一种基于立体视觉的视频场景变化检测方法 | |
CN110910421B (zh) | 基于分块表征和可变邻域聚类的弱小运动目标检测方法 | |
CN108280831B (zh) | 一种图像序列光流的获取方法及系统 | |
CN110349186B (zh) | 基于深度匹配的大位移运动光流计算方法 | |
CN117094999B (zh) | 一种跨尺度缺陷检测方法 | |
CN112184767A (zh) | 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质 | |
CN112287906B (zh) | 一种基于深度特征融合的模板匹配跟踪方法及系统 | |
CN117422971A (zh) | 一种基于跨模态注意力机制融合的双模态目标检测方法与系统 | |
CN108986150A (zh) | 一种基于非刚性稠密匹配的图像光流估计方法及系统 | |
CN110827262A (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
CN112270691A (zh) | 一种基于动态滤波器网络的单目视频结构和运动预测方法 | |
CN108492308B (zh) | 一种基于相互结构引导滤波的变分光流的确定方法及系统 | |
CN113920254B (zh) | 一种基于单目rgb的室内三维重建方法及其系统 | |
CN115565130A (zh) | 一种无人值守系统及其基于光流的监控方法 | |
CN112509014B (zh) | 金字塔遮挡检测块匹配的鲁棒插值光流计算方法 | |
CN115035172A (zh) | 基于置信度分级及级间融合增强的深度估计方法及系统 | |
CN114708615A (zh) | 基于图像增强的低照度环境下人体检测方法、电子设备及储存介质 | |
CN116523959A (zh) | 一种基于人工智能的运动目标检测方法及系统 | |
CN116503282A (zh) | 基于流形的挖掘机施工环境场点云去噪方法及系统 | |
JP3435240B2 (ja) | 移動物体検知装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |