CN102917220A - 基于六边形搜索及三帧背景对齐的动背景视频对象提取 - Google Patents

基于六边形搜索及三帧背景对齐的动背景视频对象提取 Download PDF

Info

Publication number
CN102917220A
CN102917220A CN2012103975485A CN201210397548A CN102917220A CN 102917220 A CN102917220 A CN 102917220A CN 2012103975485 A CN2012103975485 A CN 2012103975485A CN 201210397548 A CN201210397548 A CN 201210397548A CN 102917220 A CN102917220 A CN 102917220A
Authority
CN
China
Prior art keywords
frame
search
macro block
motion
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103975485A
Other languages
English (en)
Other versions
CN102917220B (zh
Inventor
祝世平
郭智超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haining Economic Development Industrial Park Development and Construction Co., Ltd
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201210397548.5A priority Critical patent/CN102917220B/zh
Publication of CN102917220A publication Critical patent/CN102917220A/zh
Application granted granted Critical
Publication of CN102917220B publication Critical patent/CN102917220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法,包括如下步骤:首先将参考帧K帧,K-1帧,K+1帧分成8×8宏块,根据宏块预判断准则对所有的宏块进行筛选;对筛选后的宏块采用六边形网格整像素运动估计方法进行块匹配,得到K-1帧相对于K帧的运动矢量场,K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数;对第K-1帧和K+1帧分别进行运动补偿,使第K-1帧和第K+1帧分别与第K帧背景对齐,得到重建帧K-1'和K+1';对重建帧K-1'、参考帧K及重建帧K+1'分别采用Roberts算子提取边缘信息,分别计算其相对于参考帧边缘的帧差,最大方差阈值进行二值化;最后采用形态学及中值滤波等进行后处理,实现对于动背景下视频对象的快速有效分割。

Description

基于六边形搜索及三帧背景对齐的动背景视频对象提取
技术领域:
本发明涉及一种视频分割中的处理方法,特别涉及一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法。
背景技术:
对于动态视频序列中运动对象的提取,由于摄像机产生的全局运动使得在静背景下的分割方法,如:帧差或者背景差分等方法不适用于动背景下的分割,即不能够准确地将运动对象提取出来,因此针对动背景下的分割问题必须首先消除摄像机运动所造成的全局运动的影响,通过全局运动估计和补偿技术,将问题转化成静背景下的分割问题,进而应用静背景下广泛的分割方法实现动背景下的准确、有效分割。
全局运动估计是指估计由摄像机运动引起的序列背景区域的运动规律,求解出相应数学运动模型中的多个参数。全局运动补偿是在根据运动估计所得到的全局运动参数,在当前帧和前一帧之间作一个相应的背景对齐的映射变换。这样在准确的补偿之后就可以采用帧差或背景差等方法消除背景区域,突出感兴趣的具有局部运动的前景区域(参见杨文明.时空融合的视频对象分割[D].浙江:浙江大学,2006)。
对于动背景下的运动对象分割问题,目前国际上已有相当多的学者做了大量的研究工作。如利用改进的分水岭算法将运动补偿后的视频帧分割成不同的灰度区域,通过光流计算得到序列的运动信息,最后,将运动信息和分割的区域按一定的准则综合得到对象模板,达到对视频对象的准确定位(参见张庆利.一种基于运动背景的视频对象分割算法.上海大学学报(自然科学版),2005,11(2):111-115.)。如建立四参数运动放射模型来描述全局运动,采用块匹配方法进行参数估计,结合Horn-Schunck算法检测出运动目标并应用卡尔曼滤波对运动目标的质心位置等信息进行跟踪,实现了动态场景中运动对象的检测与跟踪。(参见施家栋.动态场景中运动目标检测与跟踪.北京理工大学学报,2009,29(10):858-876.)。另一种采用非参数核密度估计的方法,首先采用匹配加权的全局运动估计补偿算法消除动态场景下背景运动的影响,然后估计各像素属于前景与背景的概率密度并结合形态学等算法进行处理,实现了动背景下运动对象的准确、有效分割。(参见马志强.一种动态场景下运动对象分割新算法.计算机工程与科学,2012,34(4):43-46.)。
为了解决动背景下的分割问题,本发明方法实现了一种采用宏块预判断、块匹配、摄像机六参数仿射模型、最小二乘法等全局运动估计及补偿方法,并通过三帧背景对齐结合边缘信息等实现动背景分割。实验证明,该方法实现了动背景视频序列中视频对象的提取,并且提取精度得到明显提高。
发明内容:
本发明要解决的技术问题是:如何减少块匹配的运算时间,如何实现动背景下视频对象的准确提取。
本发明解决其技术问题所采用的技术方案是:一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法,包括以下步骤:
(1)将参考帧K帧,K-1帧,K+1帧分成8×8宏块,根据纹理信息对K-1帧、K+1帧中所有宏块进行预判断、筛选;
(2)对上述筛选后的宏块采用SAD准则、基于六边形网格整像素搜索策略进行块匹配,以K-1帧作为当前帧、K帧作为参考帧,得到K-1帧相对于K帧的运动矢量场;以K+1帧作为当前帧、K帧作为参考帧,得到K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数,获得摄像机六参数模型;
(3)对第K-1帧进行运动补偿,使第K-1帧与第K帧背景对齐,得到重建帧K-1',对第K+1帧进行运动补偿,使第K+1帧与第K帧背景对齐,得到重建帧K+1';
(4)分别采用Roberts算子提取边缘信息,分别计算其相对于参考帧K边缘的帧差,并采用最大方差阈值进行二值化;
(5)采用与运算及形态学、中值滤波等进行后处理,实现动背景下视频对象的快速有效分割。
所述步骤(1)中对于当前帧K-1帧、K+1帧中分成的8×8宏块进行预判断及筛选,具体步骤如下:
由于在下述步骤中应用最小二乘法计算全局运动参数的时候,很多误差大的宏块被直接删除,如果能够在最小二乘法运算之前将误差大的宏块剔除,将显著的提高运算速度,并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息,也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发,根据设定的阈值对于宏块进行筛选抑或保留,当宏块的信息量小于该阈值时,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块;当信息量大于该阈值时,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算。
其主要步骤如下:
第一步:将每一帧分成8×8子块,经试验证明,若采用分成16×16子块的形式则计算量过大,若分成4×4子块则块匹配等方法不够精确,故采用8×8子块的形式;
第二步:采用Sobel算子得到每一帧的梯度图,将梯度信息作为宏块剔除的判断依据;
| ▿ f ( x , y ) | = mag ( ▿ f ( x , y ) ) = G x 2 + G y 2
其中
Figure BDA00002274990700032
表示该点的梯度信息,Gx、Gy分别表示偏导数。
第三步:计算每一个宏块的梯度量;以8×8子块为例,其梯度信息量为:
| ▿ f ( x , y ) 8 × 8 | = Σ i = 1 i = 8 Σ j = 1 j = 8 | ▿ f ( x , y ) |
第四步:确定宏块预断的阈值,一般保留所有宏块的40%,根据这个确定的值,对所有宏块的梯度量进行排序,确定保留40%下宏块筛选的最佳阈值T;
第五步:完成对于宏块的筛选,若其梯度信息量>T,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算;若其梯度信息量<T,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块。
所述步骤(2)中的分别以K-1帧、K+1帧作为当前帧,以K帧作为参考帧,对筛选后的宏块采用SAD准则、六边形网格整像素搜索策略进行块匹配,并将块匹配求得的运动矢量场利用最小二乘法获得摄像机六参数模型,其具体步骤如下:
(i)块匹配准则SAD
本部分采用SAD块匹配准则,该准则不仅能够找到最佳匹配点,并且计算量小、耗时短。
SAD ( i , j ) = &Sigma; m = 1 M &Sigma; n = 1 N | f k ( m , n ) - f k - 1 ( m + i , n + j ) |
其中(i,j)为位移量,fk和fk-1分别为当前帧和上一帧的灰度值,M×N为宏块的大小,若在某一点处SAD(i,j)达到最小,则该点为要找的最优匹配点。
(ii)六边形网格整像素搜索策略
六边形网格整像素搜索策略的基本思想是采用多种模板进行宏块匹配,同时利用时空相关性进行运动矢量场的预测,搜索时针对不同的运动类型采用了大范围粗搜索混合模板、细搜索六边形模板和精细搜索菱形模板完成搜索。
方法示意图如图2所示,各步骤如下:
第一步:起始点预测。使用如下5种预测模式预测运动矢量MV,分别是:
1.中值预测:利用空间相关性,令当前子块的左、上、右邻块的运动矢量的中间值为预测运动矢量(如图3所示);
2.原点预测:令运动矢量为(0,0);
3.Uplayer预测:利用H.264运动估计可变宏块划分的特点,从模式1(16×16)到模式7(4×4)的分级搜索顺序,取已求出的同位置上一级、大一倍块的运动矢量(如图4所示);
4.对应块预测:利用时间相关性,取前一帧同位置块的运动矢量作为预测结果(如图5所示);
5.相邻参考帧预测:利用时间相关性,令前一参考帧中对应位置块的MV按比例进行预测(如图6所示)。
第二步:对以上MV所指向的点使用非对称十字模板搜索,获得当前的最佳预测起点。随后根据不同起始点的率失真结果使用阈值进行判断,分为非满意区域、满意区域和很满意区域,分别转入第三步,第四步和第五步。
第三步:对于不满意的块使用如下方式进行搜索。
6.以目前最优点为中心,在(-2,2)的方形区域中进行逐点搜索;获得当前最优点,判断此处是否属于满意或很满意区,跳到相应的第四步或第五步;或继续搜索;
7.用不断扩大一倍直径的大六边形模板进行搜索,直至搜索到能符合相应阈值而进入第四步或第五步的搜索点为止;或者搜索模板完全超出搜索窗范围,也结束第三步的搜索。
第四步:以目前最优点为中心,使用六边形模板进行搜索,直至最优点位于六边形中心为止。
第五步:对很满意区域的子块进行搜索。以目前最优点为中心,使用菱形模板进行搜索,直至最优点在菱形模板中心为止。
(iii)最小二乘法获得摄像机六参数模型
选取步骤(i)中获取到的当前帧K-1及当前帧K+1中两侧子块作为特征块,将经过(i)(ii)步骤获得的运动矢量代入摄像机六参数模型(如下式)后,采用最小二乘法估计参数m0、m1、m2、n0、n1、n2。6参数仿射变换模型:可以对平移、旋转、缩放运动进行建模,其定义如下:
x &prime; = m 0 + m 1 x + m 2 y y &prime; = n 0 + n 1 x + n 2 y
其中m0和n0分别表示像素点在x和y方向的平移幅度,m1、n1、m2、n2四个参数描述了缩放和旋转转动。
所述步骤(3)中的通过运动补偿分别获得当前帧K-1、K+1的重建帧K-1'、K+1',其具体内容如下:
对于当前帧k-1帧、k+1帧中的每一个点根据上述获取的摄像机模型,计算其分别在参考帧K中的对应位置并对其进行赋值,从而实现对于K-1帧、k+1帧的全局运动补偿,使补偿后的重建帧k-1'、k+1'与参考帧k的背景对齐,从而实现下述结合边缘信息、自适应最大方差阈值的基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频分割方法。
所述步骤(4)中的采用Roberts算子提取边缘信息,并分别与参考帧K边缘进行差分,并采用最大方差阈值进行二值化,其具体步骤如下:
(i)Roberts算子提取边缘信息,并与参考帧K边缘进行差分
边缘检测算子种类很多,这里选择Roberts边缘检测算子对于重建帧k-1'、k+1'及k帧进行边缘特征提取。
令f(x,y)为输入图像,g(x,y)为输出图像,则Roberts边缘梯度可以由下式求出:
g ( x , y ) = | &dtri; f ( x , y ) | - { [ f ( x , y + 1 ) - f ( x + 1 , y ) ] 2 + [ f ( x + 1 , y + 1 ) - f ( x , y ) ] 2 } 1 / 2
写成模板形式如下所示:
1 0 0 - 1 0 1 - 1 0
应用Roberts算子对于重建帧k-1'、k+1'及k帧分别提取边缘的结果为:fk-1'(x,y)、fk+1′(x,y)及fk(x,y)。
对重建帧k-1'与k帧的边缘,重建帧k+1'与k帧的边缘进行图像差分运算,求得帧差d1与d2,其中:
帧差d1=|fk-1'(x,y)-fk(x,y)|,帧差d2=|fk+1'(x,y)-fk(x,y)|
(ii)采用最大方差阈值进行二值化
最大方差阈值是一种自适应的阈值确定方法,它以最佳门限将图像的直方图分成两组,当两组间的方差为最大时,决定阈值。所以本部分采用这种方法来实现边缘图像差分结果的二值化。
设一幅图像的灰度值为0~m-1级,灰度值i的像素数为ni,则总的像素点数:
Figure BDA00002274990700053
各值的概率为:
Figure BDA00002274990700054
设最佳阈值为T,用阈值T将像素分成两组:C0={0~T-1}和C1={T~m-1},C0和C1产生的概率及平均值由以下公式得出:
C0产生的概率 w 0 = &Sigma; i = 0 T - 1 p i = w ( T )
C1产生的概率 w 1 = &Sigma; i = T m - 1 p i = 1 - w 0
C0的平均值 &mu; 0 = &Sigma; i = 0 T - 1 ip i w 0 = &mu; ( T ) w ( T )
C1的平均值 &mu; 1 = &Sigma; i = T n - 1 ip i w 1 = &mu; - &mu; ( T ) 1 - w ( T )
其中: &mu; = &Sigma; i = 0 m - 1 ip i , &mu; ( T ) = &Sigma; i = 0 T - 1 ip i
则全部采样的灰度平均值为:μ=w0μ0+w1μ1两组间的方差:
&delta; 2 ( T ) = w 0 ( &mu; 0 - &mu; ) 2 + w 1 ( &mu; 1 - &mu; ) 2 = w 0 w 1 ( &mu; 1 - &mu; 0 ) 2 = [ &mu; &CenterDot; w ( T ) - &mu; ( T ) ] 2 w ( T ) [ 1 - W ( T ) ]
在1~m-1之间求上式为最大值时的T,即为最佳阈值。
根据所得到的最佳阈值T对边缘检测结果进行二值化。
本发明与现有技术相比所具有的优点在于:本方法通过在块匹配方法前进行宏块的预先判断能够有效减少块匹配的时间,通过将连续三帧视频序列通过运动估计、运动补偿进行背景对齐及后续对三帧图像的处理,能够准确的将动背景下的视频对象分割出来。
附图说明:
图1为本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法流程图;
图2为本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法中六边形网格整像素搜索路线示意图;
图3为本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法中运动矢量中值预测示意图;
图4为本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法中上层块模式运动矢量预测示意图;
图5为本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法中前帧对应块运动矢量预测示意图;
图6为本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法中邻近参考帧运动矢量预测示意图;
图7为本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法中Coastguard视频序列的第139帧采用本发明方法补偿后的视频对象提取结果;其中(a)表示Coastguard视频序列的第138帧;(b)表示Coastguard视频序列的第139帧;(c)表示Coastguard视频序列的第140帧;(d)表示Coastguard视频序列的第138帧预处理的结果;(e)表示Coastguard视频序列的第139帧预处理的结果;(f)表示Coastguard视频序列的第140帧预处理的结果;(g)表示Coastguard视频序列的第138帧的重建帧经过Roberts边缘检测的处理结果;(h)表示Coastguard视频序列的第139帧经过Roberts边缘检测的处理结果;(i)表示Coastguard视频序列的第140帧的重建帧经过Roberts边缘检测的处理结果;(j)表示Coastguard视频序列的第139帧采用本发明方法经过运动估计、补偿的三帧背景对齐方法后提取的二值视频对象平面;(k)表示Coastguard视频序列的第139帧采用本发明方法经过运动估计、补偿的三帧背景对齐方法后提取的视频对象平面;
具体实施方式:
下面结合附图及具体实施方式进一步详细介绍本发明。
本发明一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法,包括以下步骤(如图1所示):
步骤1.灰度变换及形态学预处理。
首先将YUV格式的视频序列做灰度变换,由于Y分量包含灰度信息,因此将Y分量从视频序列中提取出来。由于视频中不可避免的会出现噪声的干扰,因此对每帧图像进行形态学开闭重建,消除噪声,平滑掉一些细小的边缘以简化图像。预处理的结果可参见图7(d)(e)(f)。
步骤2.将参考帧K帧,K-1帧,K+1帧分成8×8宏块,根据纹理信息对K-1帧、K+1帧中所有宏块进行预判断、筛选。
由于在下述步骤中应用最小二乘法计算全局运动参数的时候,很多误差大的宏块被直接删除,如果能够在最小二乘法运算之前将误差大的宏块剔除,将显著的提高运算速度,并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息,也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发,根据设定的阈值对于宏块进行筛选抑或保留,当宏块的信息量小于该阈值时,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块;当信息量大于该阈值时,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算。
其主要步骤如下:
第一步:将每一帧分成8×8子块,经试验证明,若采用分成16×16子块的形式则计算量过大,若分成4×4子块则块匹配等方法不够精确,故采用8×8子块的形式;
第二步:采用Sobel算子得到每一帧的梯度图,将梯度信息作为宏块剔除的判断依据;
| &dtri; f ( x , y ) | = mag ( &dtri; f ( x , y ) ) = G x 2 + G y 2
其中
Figure BDA00002274990700082
表示该点的梯度信息,Gx、Gy分别表示偏导数。
第三步:计算每一个宏块的梯度量;以8×8子块为例,其梯度信息量为:
| &dtri; f ( x , y ) 8 &times; 8 | = &Sigma; i = 1 i = 8 &Sigma; j = 1 j = 8 | &dtri; f ( x , y ) |
第四步:确定宏块预断的阈值,一般保留所有宏块的40%,根据这个确定的值,对所有宏块的梯度量进行排序,确定保留40%下宏块筛选的最佳阈值T;
第五步:完成对于宏块的筛选,若其梯度信息量>T,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算;若其梯度信息量<T,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块
步骤3.对上述筛选后的宏块采用SAD准则、六边形网格整像素搜索策略进行块匹配,以K-1帧作为当前帧、K帧作为参考帧,得到K-1帧相对于K帧的运动矢量场;以K+1帧作为当前帧、K帧作为参考帧,得到K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数,获得摄像机六参数模型。
目前常用的块匹配准则有:平均绝对误差MAD(Mean Absolute Difference)、最小均方误差MSE(Mean Square Error)、最小绝对差SAD(Sum of Absolute)。
本部分采用SAD块匹配准则,该准则不仅能够找到最佳匹配点,并且计算量小、耗时短。
SAD ( i , j ) = &Sigma; m = 1 M &Sigma; n = 1 N | f k ( m , n ) - f k - 1 ( m + i , n + j ) |
其中(i,j)为位移量,fk和fk-1分别为当前帧和上一帧的灰度值,M×N为宏块的大小,若在某一点处SAD(i,j)达到最小,则该点为要找的最优匹配点。
六边形网格整像素搜索策略的基本思想是采用多种模板进行宏块匹配,同时利用时空相关性进行运动矢量场的预测,搜索时针对不同的运动类型采用了大范围粗搜索混合模板、细搜索六边形模板和精细搜索菱形模板完成搜索。
方法示意图如图2所示,各步骤如下:
第一步:起始点预测。使用如下5种预测模式预测运动矢量MV,分别是:
1.中值预测:利用空间相关性,令当前子块的左、上、右邻块的运动矢量的中间值为预测运动矢量(如图3所示);
2.原点预测:令运动矢量为(0,0);
3.Uplayer预测:利用H.264运动估计可变宏块划分的特点,从模式1(16×16)到模式7(4×4)的分级搜索顺序,取已求出的同位置上一级、大一倍块的运动矢量(如图4所示);
4.对应块预测:利用时间相关性,取前一帧同位置块的运动矢量作为预测结果(如图5所示);
5.相邻参考帧预测:利用时间相关性,令前一参考帧中对应位置块的MV按比例进行预测(如图6所示)。
第二步:对以上MV所指向的点使用非对称十字模板搜索,获得当前的最佳预测起点。随后根据不同起始点的率失真结果使用阈值进行判断,分为非满意区域、满意区域和很满意区域,分别转入第三步,第四步和第五步。
第三步:对于不满意的块使用如下方式进行搜索。
6.以目前最优点为中心,在(-2,2)的方形区域中进行逐点搜索;获得当前最优点,判断此处是否属于满意或很满意区,跳到相应的第四步或第五步;或继续搜索;
7.用不断扩大一倍直径的大六边形模板进行搜索,直至搜索到能符合相应阈值而进入第四步或第五步的搜索点为止;或者搜索模板完全超出搜索窗范围,也结束第三步的搜索。
第四步:以目前最优点为中心,使用六边形模板进行搜索,直至最优点位于六边形中心为止。
第五步:对很满意区域的子块进行搜索。以目前最优点为中心,使用菱形模板进行搜索,直至最优点在菱形模板中心为止。
分别将K-1帧、K+1帧中筛选后的宏块和参考帧K按照上述SAD准则及基于六边形网格整像素搜索策略进行块匹配,获得当前帧K-1相对于参考帧K的运动矢量场,以及当前帧K+1相对于参考帧K的运动矢量场。
步骤4.根据最小二乘法求摄像机运动参数。
选取步骤2中获取到的当前帧K-1及当前帧K+1中两侧子块作为特征块,将经过块匹配、运动估计获得的运动矢量代入摄像机六参数模型(如下式)后,采用最小二乘法估计参数m0、m1、m2、n0、n1、n2。6参数仿射变换模型:可以对平移、旋转、缩放运动进行建模,其定义如下:
x &prime; = m 0 + m 1 x + m 2 y y &prime; = n 0 + n 1 x + n 2 y
其中m0和n0分别表示像素点在x和y方向的平移幅度,m1、n1、m2、n2四个参数描述了缩放和旋转转动。
步骤5.通过运动补偿分别获得当前帧K-1、K+1的重建帧K-1'、K+1'。
对于当前帧k-1帧、k+1帧中的每一个点根据上述获取的摄像机模型,计算其分别在参考帧K中的对应位置并对其进行赋值,从而实现对于K-1帧、k+1帧的全局运动补偿,使补偿后的重建帧k-1'、k+1'与参考帧k的背景对齐,从而实现下述结合边缘信息、自适应阈值的基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频分割方法。
步骤6.采用Roberts算子提取边缘信息,分别与参考帧K边缘进行差分,并采用最大方差阈值进行二值化。
(i)Roberts算子提取边缘信息,并与参考帧K边缘进行差分
边缘检测算子种类很多,这里选择Roberts边缘检测算子对于重建帧k-1'、k+1'及k帧进行边缘特征提取。
令f(x,y)为输入图像,g(x,y)为输出图像,则Roberts边缘梯度可以由下式求出:
g ( x , y ) = | &dtri; f ( x , y ) | - { [ f ( x , y + 1 ) - f ( x + 1 , y ) ] 2 + [ f ( x + 1 , y + 1 ) - f ( x , y ) ] 2 } 1 / 2
写成模板形式如下所示:
1 0 0 - 1 0 1 - 1 0
应用Roberts算子对于重建帧k-1'、k+1'及k帧分别提取边缘的结果为:fk-1′(x,y)、fk+1′(x,y)及fk(x,y)。结果可参见图7(g)(h)(i)。
对重建帧k-1'与k帧的边缘,重建帧k+1'与k帧的边缘进行图像差分运算,求得帧差d1与d2,其中:
帧差d1=|fk-1'(x,y)-fk(x,y)|,帧差d2=|fk+1'(x,y)-fk(x,y)|
最大方差阈值是一种自适应的阈值确定方法,它以最佳门限将图像的直方图分成两组,当两组间的方差为最大时,决定阈值。所以本部分采用这种方法来实现边缘图像差分结果的二值化。
设一幅图像的灰度值为0~m-1级,灰度值i的像素数为ni,则总的像素点数:
N = &Sigma; i = 0 m - 1 n i
各值的概率为:
Figure BDA00002274990700112
设最佳阈值为T,用阈值T将像素分成两组:C0={0~T-1}和C1={T~m-1},C0和C1产生的概率及平均值由以下公式得出:
C0产生的概率 w 0 = &Sigma; i = 0 T - 1 p i = w ( T )
C1产生的概率 w 1 = &Sigma; i = T m - 1 p i = 1 - w 0
C0的平均值 &mu; 0 = &Sigma; i = 0 T - 1 ip i w 0 = &mu; ( T ) w ( T )
C1的平均值 &mu; 1 = &Sigma; i = T n - 1 ip i w 1 = &mu; - &mu; ( T ) 1 - w ( T )
其中: &mu; = &Sigma; i = 0 m - 1 ip i , &mu; ( T ) = &Sigma; i = 0 T - 1 ip i
则全部采样的灰度平均值为:μ=w0μ0+w1μ1两组间的方差:
&delta; 2 ( T ) = w 0 ( &mu; 0 - &mu; ) 2 + w 1 ( &mu; 1 - &mu; ) 2 = w 0 w 1 ( &mu; 1 - &mu; 0 ) 2 = [ &mu; &CenterDot; w ( T ) - &mu; ( T ) ] 2 w ( T ) [ 1 - W ( T ) ]
在1~m-1之间求上式为最大值时的T,即为最佳阈值。
根据所得到的最佳阈值T对帧差d1,帧差d2分别进行二值化,二值化的结果分别为OtusBuf1及OtusBuf2。
步骤7.与运算及后处理。
对上述二值化的结果进行与运算,与运算的结果如下:
Figure BDA000022749907001110
其中:DifferBuf(i)表示与运算的结果,OtusBuf1(i)与OtusBuf2(i)表示对帧差d1、d2分别进行二值化的结果。
由于视频序列中不可避免的会有噪声的干扰,因此在与运算后还要进行一些后处理工作,以去除孤立的小区域、小间隙,后处理的结果见图7(j)。为此,本部分首先采用中值滤波的方法去掉一些干扰的噪声,再采用图像形态学方法,主要包括腐蚀及膨胀运算,不但可以去除噪声并且可以起到平滑图像的作用。腐蚀运算主要消除边界点,使边界向内部收缩,而膨胀运算则将与物体接触的所有背景点合并到该物体中,使边界向外扩张。

Claims (5)

1.应用于一种基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频对象提取方法,其特征在于包括以下步骤:
(1)将参考帧K帧,K-1帧,K+1帧分成8×8宏块,根据纹理信息对K-1帧、K+1帧中所有宏块进行预判断、筛选;
(2)对上述筛选后的宏块采用SAD准则、基于六边形网格整像素搜索策略进行块匹配,以K-1帧作为当前帧、K帧作为参考帧,得到K-1帧相对于K帧的运动矢量场;以K+1帧作为当前帧、K帧作为参考帧,得到K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数,获得摄像机六参数模型;
(3)对第K-1帧进行运动补偿,使第K-1帧与第K帧背景对齐,得到重建帧K-1',对第K+1帧进行运动补偿,使第K+1帧与第K帧背景对齐,得到重建帧K+1';
(4)分别采用Roberts算子提取边缘信息,分别计算其相对于参考帧K边缘的帧差,并采用最大方差阈值进行二值化;
(5)采用与运算及形态学、中值滤波等进行后处理,实现动背景下视频对象的快速有效分割。
2.根据权利要求1所述的方法,其特征在于所述步骤(1)的对于当前帧K-1帧、K+1帧中分成的8×8宏块进行预判断及筛选,具体步骤如下:
由于在下述步骤中应用最小二乘法计算全局运动参数的时候,很多误差大的宏块被直接删除,如果能够在最小二乘法运算之前将误差大的宏块剔除,将显著的提高运算速度,并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息,也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发,根据设定的阈值对于宏块进行筛选抑或保留,当宏块的信息量小于该阈值时,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块;当信息量大于该阈值时,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算。
其主要步骤如下:
第一步:将每一帧分成8×8子块,经试验证明,若采用分成16×16子块的形式则计算量过大,若分成4×4子块则块匹配等方法不够精确,故采用8×8子块的形式;
第二步:采用Sobel算子得到每一帧的梯度图,将梯度信息作为宏块剔除的判断依据;
| &dtri; f ( x , y ) | = mag ( &dtri; f ( x , y ) ) = G x 2 + G y 2
其中表示该点的梯度信息,Gx、Gy分别表示偏导数。
第三步:计算每一个宏块的梯度量;以8×8子块为例,其梯度信息量为:
| &dtri; f ( x , y ) 8 &times; 8 | = &Sigma; i = 1 i = 8 &Sigma; j = 1 j = 8 | &dtri; f ( x , y ) |
第四步:确定宏块预断的阈值,一般保留所有宏块的40%,根据这个确定的值,对所有宏块的梯度量进行排序,确定保留40%下宏块筛选的最佳阈值T;
第五步:完成对于宏块的筛选,若其梯度信息量>T,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算;若其梯度信息量<T,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块。
3.根据权利要求1所述的方法,其特征在于所述步骤(2)的分别以K-1帧、K+1帧作为当前帧,以K帧作为参考帧,对筛选后的宏块采用SAD准则、六边形网格整像素搜索策略进行块匹配,并将块匹配求得的运动矢量场利用最小二乘法获得摄像机六参数模型,其具体步骤如下:
(i)块匹配准则SAD
本部分采用SAD块匹配准则,该准则不仅能够找到最佳匹配点,并且计算量小、耗时短。
SAD ( i , j ) = &Sigma; m = 1 M &Sigma; n = 1 N | f k ( m , n ) - f k - 1 ( m + i , n + j ) |
其中(i,j)为位移量,fk和fk-1分别为当前帧和上一帧的灰度值,M×N为宏块的大小,若在某一点处SAD(i,j)达到最小,则该点为要找的最优匹配点。
(ii)六边形网格整像素搜索策略
六边形网格整像素搜索策略的基本思想是采用多种模板进行宏块匹配,同时利用时空相关性进行运动矢量场的预测,搜索时针对不同的运动类型采用了大范围粗搜索混合模板、细搜索六边形模板和精细搜索菱形模板完成搜索。
方法各步骤如下:
第一步:起始点预测。使用如下5种预测模式预测运动矢量MV,分别是:
①中值预测:利用空间相关性,令当前子块的左、上、右邻块的运动矢量的中间值为预测运动矢量;
②原点预测:令运动矢量为(0,0);
③Uplayer预测:利用H.264运动估计可变宏块划分的特点,从模式1(16×16)到模式7(4×4)的分级搜索顺序,取已求出的同位置上一级、大一倍块的运动矢量;
④对应块预测:利用时间相关性,取前一帧同位置块的运动矢量作为预测结果;
⑤相邻参考帧预测:利用时间相关性,令前一参考帧中对应位置块的MV按比例进行预测。
第二步:对以上MV所指向的点使用非对称十字模板搜索,获得当前的最佳预测起点。随后根据不同起始点的率失真结果使用阈值进行判断,分为非满意区域、满意区域和很满意区域,分别转入第三步,第四步和第五步。
第三步:对于不满意的块使用如下方式进行搜索。
⑥以目前最优点为中心,在(-2,2)的方形区域中进行逐点搜索;获得当前最优点,判断此处是否属于满意或很满意区,跳到相应的第四步或第五步;或继续搜索;
⑦用不断扩大一倍直径的大六边形模板进行搜索,直至搜索到能符合相应阈值而进入第四步或第五步的搜索点为止;或者搜索模板完全超出搜索窗范围,也结束第三步的搜索。
第四步:以目前最优点为中心,使用六边形模板进行搜索,直至最优点位于六边形中心为止。
第五步:对很满意区域的子块进行搜索。以目前最优点为中心,使用菱形模板进行搜索,直至最优点在菱形模板中心为止。
(iii)最小二乘法获得摄像机六参数模型
选取步骤(i)中获取到的当前帧K-1及当前帧K+1中两侧子块作为特征块,将经过(i)(ii)步骤获得的运动矢量代入摄像机六参数模型(如下式)后,采用最小二乘法估计参数m0、m1、m2、n0、n1、n2。6参数仿射变换模型:可以对平移、旋转、缩放运动进行建模,其定义如下:
x &prime; = m 0 + m 1 x + m 2 y y &prime; = n 0 + n 1 x + n 2 y
其中m0和n0分别表示像素点在x和y方向的平移幅度,m1、n1、m2、n2四个参数描述了缩放和旋转转动。
4.根据权利要求1所述的方法,其特征在于所述步骤(3)的通过运动补偿分别获得当前帧K-1、K+1的重建帧K-1'、K+1',其具体内容如下:
对于当前帧k-1帧、k+1帧中的每一个点根据上述获取的摄像机模型,计算其分别在参考帧K中的对应位置并对其进行赋值,从而实现对于K-1帧、k+1帧的全局运动补偿,使补偿后的重建帧k-1'、k+1'与参考帧k的背景对齐,从而实现下述结合边缘信息、自适应最大方差阈值的基于六边形网格整像素运动估计及三帧背景对齐的动背景下视频分割方法。
5.根据权利要求1所述的方法,其特征在于所述步骤(4)的采用Roberts算子提取边缘信息,并分别与参考帧K边缘进行差分,并采用最大方差阈值进行二值化,其具体步骤如下:
(i)Roberts算子提取边缘信息,并与参考帧K边缘进行差分
边缘检测算子种类很多,这里选择Roberts边缘检测算子对于重建帧k-1'、k+1'及k帧进行边缘特征提取。
令f(x,y)为输入图像,g(x,y)为输出图像,则Roberts边缘梯度可以由下式求出:
g ( x , y ) = | &dtri; f ( x , y ) | - { [ f ( x , y + 1 ) - f ( x + 1 , y ) ] 2 + [ f ( x + 1 , y + 1 ) - f ( x , y ) ] 2 } 1 / 2
写成模板形式如下所示:
1 0 0 - 1 0 1 - 1 0
应用Roberts算子对于重建帧k-1'、k+1'及k帧分别提取边缘的结果为:fk-1′(x,y)、fk+1′(x,y)及fk(x,y)。
对重建帧k-1'与k帧的边缘,重建帧k+1'与k帧的边缘进行图像差分运算,求得帧差d1与d2,其中:
帧差d1=|fk-1'(x,y)-fk(x,y)|,帧差d2=|fk+1'(x,y)-fk(x,y)|
(ii)采用最大方差阈值进行二值化
最大方差阈值是一种自适应的阈值确定方法,它以最佳门限将图像的直方图分成两组,当两组间的方差为最大时,决定阈值。所以本部分采用这种方法来实现边缘图像差分结果的二值化。
设一幅图像的灰度值为0~m-1级,灰度值i的像素数为ni,则总的像素点数:
Figure FDA00002274990600043
各值的概率为:
Figure FDA00002274990600044
设最佳阈值为T,用阈值T将像素分成两组:C0={0~T-1}和C1={T~m-1},C0和C1产生的概率及平均值由以下公式得出:
C0产生的概率 w 0 = &Sigma; i = 0 T - 1 p i = w ( T )
C1产生的概率 w 1 = &Sigma; i = T m - 1 p i = 1 - w 0
C0的平均值 &mu; 0 = &Sigma; i = 0 T - 1 ip i w 0 = &mu; ( T ) w ( T )
C1的平均值 &mu; 1 = &Sigma; i = T n - 1 ip i w 1 = &mu; - &mu; ( T ) 1 - w ( T )
其中: &mu; = &Sigma; i = 0 m - 1 ip i , &mu; ( T ) = &Sigma; i = 0 T - 1 ip i
则全部采样的灰度平均值为:μ=w0μ0+w1μ1两组间的方差:
&delta; 2 ( T ) = w 0 ( &mu; 0 - &mu; ) 2 + w 1 ( &mu; 1 - &mu; ) 2 = w 0 w 1 ( &mu; 1 - &mu; 0 ) 2 = [ &mu; &CenterDot; w ( T ) - &mu; ( T ) ] 2 w ( T ) [ 1 - W ( T ) ]
在1~m-1之间求上式为最大值时的T,即为最佳阈值。
根据所得到的最佳阈值T对边缘检测结果进行二值化。
CN201210397548.5A 2012-10-18 2012-10-18 基于六边形搜索及三帧背景对齐的动背景视频对象提取 Active CN102917220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210397548.5A CN102917220B (zh) 2012-10-18 2012-10-18 基于六边形搜索及三帧背景对齐的动背景视频对象提取

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210397548.5A CN102917220B (zh) 2012-10-18 2012-10-18 基于六边形搜索及三帧背景对齐的动背景视频对象提取

Publications (2)

Publication Number Publication Date
CN102917220A true CN102917220A (zh) 2013-02-06
CN102917220B CN102917220B (zh) 2015-03-11

Family

ID=47615430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210397548.5A Active CN102917220B (zh) 2012-10-18 2012-10-18 基于六边形搜索及三帧背景对齐的动背景视频对象提取

Country Status (1)

Country Link
CN (1) CN102917220B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719311A (zh) * 2014-12-19 2016-06-29 现代摩比斯株式会社 用于检测目标的车辆系统及其操作方法
CN106407948A (zh) * 2016-09-30 2017-02-15 防城港市港口区高创信息技术有限公司 基于红外夜视仪的行人检测与识别方法
CN106897983A (zh) * 2016-12-30 2017-06-27 青岛海信电器股份有限公司 一种多帧图像集合的处理方法和图像处理装置
CN107122714A (zh) * 2017-03-28 2017-09-01 天棣网络科技(上海)有限公司 一种基于边缘约束的实时行人检测方法
CN109389031A (zh) * 2018-08-27 2019-02-26 浙江大丰实业股份有限公司 演出人员自动定位机构
CN109547789A (zh) * 2019-01-11 2019-03-29 重庆理工大学 一种全局运动补偿算法
CN110392264A (zh) * 2019-08-26 2019-10-29 中国科学技术大学 一种基于神经网络的对齐外插帧方法
CN112577475A (zh) * 2021-01-14 2021-03-30 天津希格玛微电子技术有限公司 一种能够有效降低功耗的视频测距方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127908A (zh) * 2007-08-27 2008-02-20 宝利微电子系统控股公司 引入全局特征分类的视频图像运动处理方法及其实现装置
CN101286239A (zh) * 2008-04-22 2008-10-15 北京航空航天大学 航拍交通视频车辆快速检测方法
CN101420617A (zh) * 2008-11-24 2009-04-29 北京航空航天大学 一种十字六边形运动估计搜索方法
CN101719979A (zh) * 2009-11-27 2010-06-02 北京航空航天大学 基于时域定区间记忆补偿的视频对象分割方法
US20110311137A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Hierarchical filtered motion field for action recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127908A (zh) * 2007-08-27 2008-02-20 宝利微电子系统控股公司 引入全局特征分类的视频图像运动处理方法及其实现装置
CN101286239A (zh) * 2008-04-22 2008-10-15 北京航空航天大学 航拍交通视频车辆快速检测方法
CN101420617A (zh) * 2008-11-24 2009-04-29 北京航空航天大学 一种十字六边形运动估计搜索方法
CN101719979A (zh) * 2009-11-27 2010-06-02 北京航空航天大学 基于时域定区间记忆补偿的视频对象分割方法
US20110311137A1 (en) * 2010-06-22 2011-12-22 Microsoft Corporation Hierarchical filtered motion field for action recognition

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105719311B (zh) * 2014-12-19 2018-12-07 现代摩比斯株式会社 用于检测目标的车辆系统及其操作方法
CN105719311A (zh) * 2014-12-19 2016-06-29 现代摩比斯株式会社 用于检测目标的车辆系统及其操作方法
CN106407948A (zh) * 2016-09-30 2017-02-15 防城港市港口区高创信息技术有限公司 基于红外夜视仪的行人检测与识别方法
CN106897983A (zh) * 2016-12-30 2017-06-27 青岛海信电器股份有限公司 一种多帧图像集合的处理方法和图像处理装置
CN106897983B (zh) * 2016-12-30 2023-12-26 海信视像科技股份有限公司 一种多帧图像集合的处理方法和图像处理装置
CN107122714A (zh) * 2017-03-28 2017-09-01 天棣网络科技(上海)有限公司 一种基于边缘约束的实时行人检测方法
CN107122714B (zh) * 2017-03-28 2020-05-26 天棣网络科技(上海)有限公司 一种基于边缘约束的实时行人检测方法
CN109389031B (zh) * 2018-08-27 2021-12-03 浙江大丰实业股份有限公司 演出人员自动定位机构
CN109389031A (zh) * 2018-08-27 2019-02-26 浙江大丰实业股份有限公司 演出人员自动定位机构
CN109547789A (zh) * 2019-01-11 2019-03-29 重庆理工大学 一种全局运动补偿算法
CN110392264B (zh) * 2019-08-26 2022-10-28 中国科学技术大学 一种基于神经网络的对齐外插帧方法
CN110392264A (zh) * 2019-08-26 2019-10-29 中国科学技术大学 一种基于神经网络的对齐外插帧方法
CN112577475A (zh) * 2021-01-14 2021-03-30 天津希格玛微电子技术有限公司 一种能够有效降低功耗的视频测距方法

Also Published As

Publication number Publication date
CN102917220B (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN102917220B (zh) 基于六边形搜索及三帧背景对齐的动背景视频对象提取
CN102917217B (zh) 一种基于五边形搜索及三帧背景对齐的动背景视频对象提取方法
CN102163334B (zh) 一种基于Fisher线性判别的动背景下视频对象的提取方法
CN103871076A (zh) 基于光流法和超像素分割的运动目标提取方法
CN108198201A (zh) 一种多目标跟踪方法、终端设备及存储介质
Vosters et al. Background subtraction under sudden illumination changes
CN110378924B (zh) 基于局部熵的水平集图像分割方法
CN103077531A (zh) 基于边缘信息的灰度目标自动跟踪方法
CN111462027B (zh) 基于多尺度梯度和抠图的多聚焦图像融合方法
KR20170015299A (ko) 배경 추적을 통한 오브젝트 추적 및 분할을 위한 방법 및 장치
CN109166137A (zh) 针对抖动视频序列中运动目标检测算法
CN102063727A (zh) 一种基于协方差匹配的主动轮廓跟踪方法
CN110163887A (zh) 基于运动插值估计与前景分割相结合的视频目标跟踪方法
CN108200432A (zh) 一种基于视频压缩域的目标跟踪技术
CN102970527B (zh) 基于六边形搜索及五帧背景对齐的动背景视频对象提取
CN103051893B (zh) 基于五边形搜索及五帧背景对齐的动背景视频对象提取
CN102917222B (zh) 基于自适应六边形搜索及五帧背景对齐的动背景视频对象提取
El Ansari et al. Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS)
CN102917224B (zh) 基于新型十字菱形搜索及五帧背景对齐的动背景视频对象提取
CN102917221B (zh) 基于新型十字菱形搜索及三帧背景对齐的动背景视频对象提取
CN102917218B (zh) 基于自适应六边形搜索及三帧背景对齐的动背景视频对象提取
CN102917223B (zh) 基于增强型菱形搜索及三帧背景对齐的动背景视频对象提取
CN102917219B (zh) 基于增强型菱形搜索及五帧背景对齐的动背景视频对象提取
CN110163892B (zh) 基于运动估计插值的学习率渐进更新方法及动态建模系统
Mei et al. An Algorithm for Automatic Extraction of Moving Object in the Image Guidance

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191108

Address after: Room 1609, Jian'an building, No. 3, Section 1, Wanjiali Middle Road, Martian street, Furong district, Changsha City, Hunan Province

Patentee after: Changsha liuteng Technology Co., Ltd

Address before: 100191 Haidian District, Xueyuan Road, No. 37,

Patentee before: Beijing University of Aeronautics and Astronautics

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191220

Address after: Room 207, main office building, No.118 Longxing Road, Haining Economic Development Zone, Haining City, Jiaxing City, Zhejiang Province

Patentee after: Haining Economic Development Industrial Park Development and Construction Co., Ltd

Address before: Room 1609, Jian'an building, No. 3, Section 1, Wanjiali Middle Road, Martian street, Furong district, Changsha City, Hunan Province

Patentee before: Changsha liuteng Technology Co., Ltd

TR01 Transfer of patent right