CN106097392B - 一种基于两级边缘敏感滤波的高精确光流估计方法 - Google Patents
一种基于两级边缘敏感滤波的高精确光流估计方法 Download PDFInfo
- Publication number
- CN106097392B CN106097392B CN201610423386.6A CN201610423386A CN106097392B CN 106097392 B CN106097392 B CN 106097392B CN 201610423386 A CN201610423386 A CN 201610423386A CN 106097392 B CN106097392 B CN 106097392B
- Authority
- CN
- China
- Prior art keywords
- super
- pixel
- optical flow
- filtering
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于两级边缘敏感滤波的高精确光流估计方法,将图像分割,形成超像素图;对每条边的边长赋予权重,使用最小生成树算法,裁剪掉相应的边,生成超像素树;每个超像素视为一个整体,使用非局部匹配算法在超像素树上进行滤波,得到每个超像素的光流;在每个超像素内部,以得到的超像素光流为引导,在本超像素光流的附近,做第二次局部的边缘敏感滤波。本发明使用边缘敏感的滤波方法能够在光流估计结果中得到清晰的边缘;以超像素为基本运算单元,极大地减小了运算结点数;以超像素光流为引导在局部进行滤波,极大地减少了光流搜索空间,同时也不会损失精度;使用SLIC超像素分割方法,能够产生紧凑的超像素。
Description
技术领域
本发明属于数字视频处理技术领域,尤其涉及一种基于两级边缘敏感滤波的高精确光流估计方法。
背景技术
光流估计是计算机视觉领域内的一个重要基础模块,其研究目的是通过建模计算出视频连续两帧间的运动信息,具体就是第一帧中每个像素在第二帧中的对应匹配像素。经过三十多年的发展,光流估计问题已经有非常多的相关研究,但针对精确光流估计,特别是微小运动的捕捉,仍然是富有挑战性的问题。光流估计根据所采用的方法的不同,大体可以分为三种:一种是基于Horn和Schunck提出的变分能量优化模型,一种是基于匹配的插值优化模型,另外一种是最近出现的基于代价滤波的估计模型。基于变分能量优化模型的算法将光流估计问题形式化为一个目标函数后,使用最优化技术来最小化这个目标函数。虽然这种方法能够在小位移光流估计中取得较为精确的结果,但其结果通常在边缘部分非常模糊。基于匹配的插值优化模型主要利用了在大位移运动中,两帧之间视觉关键点的匹配信息对光流估计结果的重要性。以一种相对稠密的匹配结果作为光流估计的初始值,可以很好的解决传统变分能量优化模型在大位移光流估计中存在的问题。但这种方法仍然依赖于变分能量优化模型得到最终的估计结果,因此边缘部分的模糊问题通常仍然存在。
目前的基于代价滤波的光流估计方法采用了不同于以上两种模型的方法。其使用边缘敏感滤波器对每个像素的局部匹配代价进行滤波,能得到非常精确的光流估计结果,同时能保持估计结果的清晰边缘,最大的问题在于其效率低下,不能满足实际工程中的需求。
发明内容
本发明的目的在于提供一种基于两级边缘敏感滤波的高精确光流估计方法,旨在解决目前的基于代价滤波的光流估计方法存在使用边缘敏感滤波器对每个像素的局部匹配代价进行滤波时搜索空间过大而导致效率低下的问题。
本发明是这样实现的,一种基于两级边缘敏感滤波的高精确光流估计方法,所述基于两级边缘敏感滤波的高精确光流估计方法将图像分割,形成超像素图;对超像素图中每条边的边长赋予权重,使用最小生成树算法,裁剪掉相应的边,生成超像素树;将每个超像素视为一个整体,使用非局部匹配算法在超像素树上进行第一级滤波,得到每个超像素的光流;在每个超像素内部,以得到的当前超像素光流为引导,在本超像素光流的附近,做第二级局部边缘敏感滤波,得到每个超像素内各个像素的光流。最后将得到的每个超像素内的各像素光流进行拼接即得到全图的光流。
进一步,所述使用边缘敏感的滤波方法能够在光流估计结果中得到清晰的边缘,其中边缘敏感的滤波方法是指在图像滤波的过程中能最大程度上保留图像边缘信息的一大类滤波方法,常见的有导向滤波、双边滤波等。本发明中的边缘敏感滤波方法使用导向滤波,使用其它边缘敏感的滤波方法也是可行的。
进一步,所述在超像素树上进行第一级滤波时,以超像素为基本运算单元。即在滤波过程中,将每个超像素内部的像素视为一个整体,并假定它们拥有相同的光流。本发明中,我们将每个超像素以其重心位置的像素为代表进行第一级滤波过程。
进一步,所述在各个超像素内对像素进行第二级边缘敏感滤波时以第一级滤波得到的各个超像素光流为引导在局部进行滤波。这里的“局部”分两个层面:一是空间上的“局部”,即各个超像素内的像素的滤波仅在以当前超像素的外接矩形区域内进行;二是搜索空间的“局部”,即此时滤波过程中各个超像素内像素的可能光流标签不再是所有可能的光流标签,而是以本超像素光流为中心的局部标签集合,本发明将滤波过程中的可能的光流标签限制在以本超像素光流为中心的3x3的范围。
进一步,所述基于两级边缘敏感滤波的高精确光流估计方法包括以下步骤:
步骤一,将两帧图像按时间顺序分别标记为I1和I2;
步骤二,对I1使用超像素分割技术分割为K个互不重叠的超像素{Sk},并以所有超像素为结点集合,将每对相邻超像素进行连接,形成超像素图G;
步骤三,在步骤二生成的超像素图G中,对每条边的边长赋予一定的权重,使用最小生成树算法,裁剪掉相应的边,生成超像素树;
步骤四,将每个超像素视为一个整体,使用非局部匹配算法在超像素树上进行第一次滤波,得到每个超像素的光流;
步骤五,在每个超像素内部,以得到的超像素光流为引导,在本超像素光流的附近,做第二次局部的边缘敏感滤波,对每个超像素做如此滤波后,得到最终光流结果。
本发明提供的基于两级边缘敏感滤波的高精确光流估计方法,使用两级边缘敏感滤波器对图像的局部匹配代价进行滤波,可以得到边缘清晰的精确光流估计。本发明相较于现有技术具有以下优点:
1)相比于基于变分能量优化模型的方法和基于匹配的插值优化模型的方法,本发明可以更好的处理边缘。传统的基于变分能量优化模型的方法和基于匹配的插值优化方法因为都使用了全局能量最小化模型,导致常得到边缘模糊的光流估计结果。与其不同,本发明使用边缘敏感的滤波方法能够在光流估计结果中得到清晰的边缘。
2)相比于传统的基于代价滤波的方法,本发明更为高效。传统的基于代价滤波的方法会在每个像素点对所有可能的光流计算匹配代价,再进行一次滤波。通常会带来极大的运算负担。与之相反,本发明使用两级滤波结构在很大程度上避免了运算效率问题。在第一级滤波时,以超像素为基本运算单元,极大地减小了运算结点数。在第二级滤波时,以超像素光流为引导在局部进行滤波,极大地减少了光流搜索空间,同时也不会损失精度;图3显示了本发明对于一对典型的640x480图像对在不同的亚像素精度上的运行情况,其中,亚像素的精度用两相邻整像素之间所插值的亚像素个数表示,可以看到本发明方法相对于传统滤波方法几乎不会损失精度,但在运行效率上有本质的提升。
附图说明
图1是本发明实施例提供的基于两级边缘敏感滤波的高精确光流估计方法流程图。
图2是本发明实施例提供的超像素树示意图。
图3是本发明实施例提供的运行效率示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
下面结合附图对本发明的应用原理作进一步描述。
如图1所示,本发明实施例的基于两级边缘敏感滤波的高精确光流估计方法包括以下步骤:
S101:在将图像分割为超像素的过程中,使用SLIC超像素分割方法,产生紧凑的超像素,通过参数调节生成的超像素个数;
S102:在生成超像素图的边的过程中,将相邻的超像素进行连接,两个超像素的相邻指的是两个超像素中至少有一对像素在图像2D空间中相邻;
S103:在对超像素图中的边赋予权重时,使用相邻的两个超像素的平均亮度差做为边的权重,也可根据不同的应用需求使用不同的权重策略;
S104:在将超像素图生成为超像素树的过程中,使用Kruskal最小生成树算法,使用Prim最小生成树算法也是可行的;
S105:在非局部第一次滤波过程中,每个超像素都做为最小运算单元,在滤波过程中,以超像素外接矩形为图像块,以此图像块在第二帧各位置的匹配误差生成代价图进行滤波;
S106:在超像素内部进行第二次滤波时,使用第一次滤波得到的超像素光流做为引导,只在其周围的小范围内构造搜索空间再进行滤波。
下面结合具体实施例对本发明的应用原理作进一步的描述。
先从一视频里获取两张连续图像。在获得两帧连续图像I1和I2后,使用本发明的方法对其进行处理,其具体步骤如下:
步骤1:对I1使用SLIC算法对其进行超像素分割,将其分割为K个互不重叠的超像素{Sk}。
步骤2:以{Sk}为结点集合{V},同时为所有相邻的超像素构造边,以其为边集合{E},形成超像素图G=(V,E)。其中每个边的权重是相邻的两个超像素的平均亮度差D。
步骤3:使用Kruskal最小生成树算法,将超像素图G=(V,E)中的有较大权重的边裁去,同时保证连通性,生成超像素树,如图2:
步骤4:以超像素为基本运算单元,在超像素树上对各个超像素进行树形滤波处理,得到每个超像素的光流。树形滤波包括三个主要步骤:构造代价3D图、滤波和标签选择。
构造代价3D图。对每个超像素在每个可能的光流位置(标签)计算其代价,这样对每个可能的光流标签,能产生一个2D代价图。组合所有的光流标签,得到代价3D图。
滤波过程。在得到代价3D图后,对其进行如下滤波处理:
其中D(Sk,Sn)即步骤2所述的相邻的两个超像素之间的平均亮度差。σ是平衡因子,可以通过调节σ得到不同滤波程度的超像素光流结果。
标签选择过程。在得到经过滤波的代价3D图后,对每个超像素,在所有可能的光流标签中,选出具有最小代价的标签,此标签对应的光流即得到的超像素光流。
步骤5:在每个超像素内部,以步骤4中得到的超像素光流为引导,在本超像素的光流附近,做第二次局部的边缘敏感滤波,得到最终光流结果。
本发明的滤波以超像素内部的像素为基本单元,并且计算范围仅限于当前超像素的外接矩形区域内;此时滤波过程中的可能光流标签不再是所有可能的光流标签,而是以本超像素光流为中心的局部标签集合,本发明将滤波过程中的可能的光流标签限制在以本超像素光流为中心的3x3的范围。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于两级边缘敏感滤波的高精确光流估计方法,其特征在于,所述基于两级边缘敏感滤波的高精确光流估计方法将图像分割,形成超像素图;对超像素图中每条边的边长赋予权重,使用最小生成树算法,裁剪掉相应的边,生成超像素树;将每个超像素视为一个整体,使用非局部匹配算法在超像素树上进行第一级滤波,得到每个超像素的光流;在每个超像素内部,以得到的当前超像素光流为引导,在以本超像素光流为运动中心的3x3局部邻域内,做第二级局部边缘敏感滤波,得到每个超像素内各个像素的光流;最后将得到的每个超像素内的各像素光流进行拼接即得到全图的光流;
使用边缘敏感的滤波方法能够在光流估计结果中得到边缘。
2.如权利要求1所述的基于两级边缘敏感滤波的高精确光流估计方法,其特征在于,在超像素树上进行滤波时,以超像素为基本运算单元。
3.如权利要求1所述的基于两级边缘敏感滤波的高精确光流估计方法,其特征在于,所述边缘敏感滤波以超像素光流为引导在局部进行滤波。
4.如权利要求1所述的基于两级边缘敏感滤波的高精确光流估计方法,其特征在于,所述基于两级边缘敏感滤波的高精确光流估计方法包括以下步骤:
步骤一,将两帧图像按时间顺序分别标记为I1和I2;
步骤二,对I1使用超像素分割技术分割为K个互不重叠的超像素{Sk},并以所有超像素为结点集合,将每对相邻超像素进行连接,形成超像素图G;
步骤三,在步骤二生成的超像素图G中,对每条边的边长赋予一定的权重,使用最小生成树算法,裁剪掉相应的边,生成超像素树;
步骤四,将每个超像素视为一个整体,使用非局部匹配算法在超像素树上进行第一次滤波,得到每个超像素的光流;
步骤五,在每个超像素内部,以得到的超像素光流为引导,在本超像素光流为中心的3x3范围,做第二次局部的边缘敏感滤波,对每个超像素做如此滤波后,得到最终光流结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610423386.6A CN106097392B (zh) | 2016-06-13 | 2016-06-13 | 一种基于两级边缘敏感滤波的高精确光流估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610423386.6A CN106097392B (zh) | 2016-06-13 | 2016-06-13 | 一种基于两级边缘敏感滤波的高精确光流估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106097392A CN106097392A (zh) | 2016-11-09 |
CN106097392B true CN106097392B (zh) | 2020-03-10 |
Family
ID=57845975
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610423386.6A Active CN106097392B (zh) | 2016-06-13 | 2016-06-13 | 一种基于两级边缘敏感滤波的高精确光流估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106097392B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108280831B (zh) * | 2018-02-02 | 2020-04-21 | 南昌航空大学 | 一种图像序列光流的获取方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
CN105354599A (zh) * | 2015-11-25 | 2016-02-24 | 安徽创世科技有限公司 | 一种基于改进的slic超像素分割算法的颜色识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9736455B2 (en) * | 2014-06-30 | 2017-08-15 | Nokia Technologies Oy | Method and apparatus for downscaling depth data for view plus depth data compression |
CN105488812A (zh) * | 2015-11-24 | 2016-04-13 | 江南大学 | 一种融合运动特征的时空显著性检测方法 |
-
2016
- 2016-06-13 CN CN201610423386.6A patent/CN106097392B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103871076A (zh) * | 2014-02-27 | 2014-06-18 | 西安电子科技大学 | 基于光流法和超像素分割的运动目标提取方法 |
CN105354599A (zh) * | 2015-11-25 | 2016-02-24 | 安徽创世科技有限公司 | 一种基于改进的slic超像素分割算法的颜色识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106097392A (zh) | 2016-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596974B (zh) | 动态场景机器人定位建图系统及方法 | |
Isobe et al. | Revisiting temporal modeling for video super-resolution | |
CN105517671B (zh) | 一种基于光流法的视频插帧方法及系统 | |
CN111583097A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
KR101634562B1 (ko) | 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법 | |
CN112241960B (zh) | 一种基于深度信息的抠图方法及系统 | |
CN108986150B (zh) | 一种基于非刚性稠密匹配的图像光流估计方法及系统 | |
JP2008282377A (ja) | 画像処理方法および装置 | |
CN107274337A (zh) | 一种基于改进光流的图像拼接方法 | |
CN113077505B (zh) | 一种基于对比学习的单目深度估计网络的优化方法 | |
CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
CN111612825B (zh) | 基于光流与多尺度上下文的图像序列运动遮挡检测方法 | |
CN110136174B (zh) | 一种目标对象跟踪方法和装置 | |
CN105488777A (zh) | 一种基于移动前景下全景图实时生成系统及其方法 | |
CN115546027B (zh) | 图像缝合线确定方法、装置以及存储介质 | |
CN113313730B (zh) | 直播场景中获取图像前景区域的方法和装置 | |
Yang et al. | Global auto-regressive depth recovery via iterative non-local filtering | |
Schoenemann et al. | Near real-time motion segmentation using graph cuts | |
CN110110946A (zh) | 基于各向异性Delaunay剖分的水质预测预警系统及其实现方法 | |
CN115239763A (zh) | 一种基于中心点检测和图匹配的平面目标跟踪方法 | |
CN113436254B (zh) | 一种级联解耦的位姿估计方法 | |
CN106097392B (zh) | 一种基于两级边缘敏感滤波的高精确光流估计方法 | |
CN113255429B (zh) | 一种视频中人体姿态估计与跟踪方法及系统 | |
CN104574276A (zh) | 一种基于光流法的图像对齐的方法和装置 | |
CN107767393B (zh) | 一种面向移动硬件的场景流估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220507 Address after: 710000 room 025, F2001, 20 / F, block 4-A, Xixian financial port, Fengdong new town energy gold trade zone, Xixian new area, Xi'an City, Shaanxi Province Patentee after: Shaanxi Xiandian Tongyuan Information Technology Co.,Ltd. Address before: 710071 Xi'an Electronic and Science University, 2 Taibai South Road, Shaanxi, Xi'an Patentee before: XIDIAN University |