CN102917218B - 基于自适应六边形搜索及三帧背景对齐的动背景视频对象提取 - Google Patents
基于自适应六边形搜索及三帧背景对齐的动背景视频对象提取 Download PDFInfo
- Publication number
- CN102917218B CN102917218B CN201210397523.5A CN201210397523A CN102917218B CN 102917218 B CN102917218 B CN 102917218B CN 201210397523 A CN201210397523 A CN 201210397523A CN 102917218 B CN102917218 B CN 102917218B
- Authority
- CN
- China
- Prior art keywords
- frame
- point
- search
- block
- optimal match
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法,包括如下步骤:首先将参考帧K帧,K-1帧,K+1帧分成8×8宏块,根据宏块预判断准则对所有的宏块进行筛选;对筛选后的宏块采用自适应六边形运动估计方法进行块匹配,得到K-1帧相对于K帧的运动矢量场,K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数;对第K-1帧和K+1帧分别进行运动补偿,使第K-1帧和第K+1帧分别与第K帧背景对齐,得到重建帧K-1'和K+1';对重建帧K-1'、参考帧K及重建帧K+1'分别采用Sobel算子提取边缘信息,分别计算其相对于参考帧边缘的帧差,最大方差阈值进行二值化;最后采用形态学及中值滤波等进行后处理,实现对于动背景下视频对象的快速有效分割。
Description
技术领域:
本发明涉及一种视频分割中的处理方法,特别涉及一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法。
背景技术:
对于动态视频序列中运动对象的提取,由于摄像机产生的全局运动使得在静背景下的分割方法,如:帧差或者背景差分等方法不适用于动背景下的分割,即不能够准确地将运动对象提取出来,因此针对动背景下的分割问题必须首先消除摄像机运动所造成的全局运动的影响,通过全局运动估计和补偿技术,将问题转化成静背景下的分割问题,进而应用静背景下广泛的分割方法实现动背景下的准确、有效分割。
全局运动估计是指估计由摄像机运动引起的序列背景区域的运动规律,求解出相应数学运动模型中的多个参数。全局运动补偿是在根据运动估计所得到的全局运动参数,在当前帧和前一帧之间作一个相应的背景对齐的映射变换。这样在准确的补偿之后就可以采用帧差或背景差等方法消除背景区域,突出感兴趣的具有局部运动的前景区域(参见杨文明.时空融合的视频对象分割[D].浙江:浙江大学,2006)。
对于动背景下的运动对象分割问题,目前国际上已有相当多的学者做了大量的研究工作。如利用改进的分水岭算法将运动补偿后的视频帧分割成不同的灰度区域,通过光流计算得到序列的运动信息,最后,将运动信息和分割的区域按一定的准则综合得到对象模板,达到对视频对象的准确定位(参见张庆利.一种基于运动背景的视频对象分割算法.上海大学学报(自然科学版),2005,11(2):111-115.)。如建立四参数运动放射模型来描述全局运动,采用块匹配方法进行参数估计,结合Horn-Schunck算法检测出运动目标并应用卡尔曼滤波对运动目标的质心位置等信息进行跟踪,实现了动态场景中运动对象的检测与跟踪。(参见施家栋.动态场景中运动目标检测与跟踪.北京理工大学学报,2009,29(10):858-876.)。另一种采用非参数核密度估计的方法,首先采用匹配加权的全局运动估计补偿算法消除动态场景下背景运动的影响,然后估计各像素属于前景与背景的概率密度并结合形态学等算法进行处理,实现了动背景下运动对象的准确、有效分割。(参见马志强.一种动态场景下运动对象分割新算法.计算机工程与科学,2012,34(4):43-46.)。
为了解决动背景下的分割问题,本发明方法实现了一种采用宏块预判断、块匹配、摄像机六参数仿射模型、最小二乘法等全局运动估计及补偿方法,并通过三帧背景对齐结合边缘信息等实现动背景分割。实验证明,该方法实现了动背景视频序列中视频对象的提取,并且提取精度得到明显提高。
发明内容:
本发明要解决的技术问题是:如何减少块匹配的运算时间,如何实现动背景下视频对象的准确提取。
本发明解决其技术问题所采用的技术方案是:一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法,包括以下步骤:
(1)将参考帧K帧,K-1帧,K+1帧分成8×8宏块,根据纹理信息对K-1帧、K+1帧中所有宏块进行预判断、筛选;
(2)对上述筛选后的宏块采用SAD准则、自适应六边形运动估计方法进行块匹配,以K-1帧作为当前帧、K帧作为参考帧,得到K-1帧相对于K帧的运动矢量场;以K+1帧作为当前帧、K帧作为参考帧,得到K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数,获得摄像机六参数模型;
(3)对第K-1帧进行运动补偿,使第K-1帧与第K帧背景对齐,得到重建帧K-1',对第K+1帧进行运动补偿,使第K+1帧与第K帧背景对齐,得到重建帧K+1';
(4)分别采用Sobel算子提取边缘信息,分别计算其相对于参考帧K边缘的帧差,并采用最大方差阈值进行二值化;
(5)采用与运算及形态学、中值滤波等进行后处理,实现动背景下视频对象的快速有效分割。
所述步骤(1)中对于当前帧K-1帧、K+1帧中分成的8×8宏块进行预判断及筛选,具体步骤如下:
由于在下述步骤中应用最小二乘法计算全局运动参数的时候,很多误差大的宏块被直接删除,如果能够在最小二乘法运算之前将误差大的宏块剔除,将显著的提高运算速度,并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息,也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发,根据设定的阈值对于宏块进行筛选抑或保留,当宏块的信息量小于该阈值时,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块;当信息量大于该阈值时,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算。
其主要步骤如下:
第一步:将每一帧分成8×8子块,经试验证明,若采用分成16×16子块的形式则计算量过大,若分成4×4子块则块匹配等方法不够精确,故采用8×8子块的形式;
第二步:采用Sobel算子得到每一帧的梯度图,将梯度信息作为宏块剔除的判断依据;
其中
表示该点的梯度信息,Gx、Gy分别表示偏导数。
第三步:计算每一个宏块的梯度量;以8×8子块为例,其梯度信息量为:
第四步:确定宏块预断的阈值,一般保留所有宏块的40%,根据这个确定的值,对所有宏块的梯度量进行排序,确定保留40%下宏块筛选的最佳阈值T;
第五步:完成对于宏块的筛选,若其梯度信息量>T,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算;若其梯度信息量<T,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块。
所述步骤(2)中的分别以K-1帧、K+1帧作为当前帧,以K帧作为参考帧,对筛选后的宏块采用SAD准则、自适应六边形搜索策略进行块匹配,并将块匹配求得的运动矢量场利用最小二乘法获得摄像机六参数模型,其具体步骤如下:
(i)块匹配准则SAD
本部分采用SAD块匹配准则,该准则不仅能够找到最佳匹配点,并且计算量小、耗时短。
其中(i,j)为位移量,fk和fk-1分别为当前帧和上一帧的灰度值,M×N为宏块的大小,若在某一点处SAD(i,j)达到最小,则该点为要找的最优匹配点。
(ii)自适应六边形搜索策略
本部分所采用的大六边形模式除了包含传统六边形的六个搜索顶点和中心点之外,如图2(b),还包含六边形中分别位于搜索中心点正上方和正下方的两条边的中点,如图2(c),这样新的大六边形搜索模式共包含了9个搜索点,可以在保证大六边形搜索方法运算复杂度的前提下,大大提高搜索的速度,并结合了运动矢量的中心偏置特性和相关性,提出了一种基于运动矢量场的自适应六边形搜索方法。
基于运动矢量场的自适应六边形搜索方法具体步骤如下:
步骤1:在起始点处利用十字模式搜索最佳匹配点,如图3(a)所示,此步骤中十字模式的5个搜索点用①表示,如果最佳匹配点在十字模式的中心,即中心的黑色的①位置处,一步搜索停止,此时即为最佳匹配点,得到最终要求的运动矢量MV(0,0);否则,进入步骤(2);
步骤2:以步骤(1)搜索到的最佳匹配点为中心进行十字模式块匹配,此时需要搜寻3个新的搜索点,如图3(b)中增加的②所示,如果最佳匹配点在十字模式的中心,即中心黑色的①位置处,二步搜索停止,此点即为最佳匹配点,得到最终要求的运动矢量MV(±1,0)或(0,±1);否则,进入步骤(3);
步骤3:以第一步的起始点为中心,进行LHSP匹配计算,如图3(c)中增加的③所示,并将结果与第二步得到的最佳匹配点进行比较,若新的最佳匹配点在LHSP模板上则转到步骤4,如果新的最佳匹配点仍在步骤2所得的最佳匹配点且不在LHSP上,那么认为该点为最佳匹配点,终止运动估计;
步骤4:以上一步的最佳匹配点为中心,构造大六边形搜索模式,如图3(d)中的增加的④所示,找出新的最佳匹配点,如果该点在大六边形的中心,即中心的黑色的②位置处,进入步骤(5);否则,继续步骤(4);
步骤5:以步骤(4)所搜索到的位于大六边形的中心的最佳匹配点为中心,构造小六边形搜索模式,如3(e)中的增加的⑤所示。应用改进的部分块失真准则,找出新的最佳匹配点,如黑色的⑤位置处,该点所对应的向量即为最终要求的运动矢量。
相比六边形搜索法和现有的十字菱形搜索法,基于运动矢量场的自适应六边形搜索方法最大的改进是利用运动矢量的特性使得搜索点数减少,搜索速度提高,尤其是对静止块或准静止块(|MV|=1),基于运动矢量场的自适应六边形搜索方法搜索模式在前两步中采用的十字搜索方法能够快速确定分布在起始点周围小十字区域内的最佳匹配点,由于MV的中心偏置性以及方法对搜索起始点的预测,这种搜索策略能够以很大的概率在前期的局部搜索中找到最佳匹配点。如果前两步搜索后还未能确定最佳匹配点,这时为避免继续使用小模板而陷入局部最优,基于运动矢量场的自适应六边形搜索方法首先对搜索起始点外围LHSP上的点作匹配计算,然后用HEXBS中的循环搜索确定最佳匹配点。这样基于运动矢量场的自适应六边形搜索方法能够以大跨度快速逼近距离起始点较远的最佳匹配点,同时较好地避免了陷入局部最优,在方法后期也能达到很好的搜索速度和精度。
分别将K-1帧、K+1帧中筛选后的宏块和参考帧K按照上述SAD准则及自适应六边形搜索策略进行块匹配,获得当前帧K-1相对于参考帧K的运动矢量场,以及当前帧K+1相对于参考帧K的运动矢量场。
(iii)最小二乘法获得摄像机六参数模型
选取步骤(i)中获取到的当前帧K-1及当前帧K+1中两侧子块作为特征块,将经过(i)(ii)步骤获得的运动矢量代入摄像机六参数模型(如下式)后,采用最小二乘法估计参数m0、m1、m2、n0、n1、n2。6参数仿射变换模型:可以对平移、旋转、缩放运动进行建模,其定义如下:
其中m0和n0分别表示像素点在x和y方向的平移幅度,m1、n1、m2、n2四个参数描述了缩放和旋转转动。
所述步骤(3)中的通过运动补偿分别获得当前帧K-1、K+1的重建帧K-1'、K+1',其具体内容如下:
对于当前帧k-1帧、k+1帧中的每一个点根据上述获取的摄像机模型,计算其分别在参考帧K中的对应位置并对其进行赋值,从而实现对于K-1帧、k+1帧的全局运动补偿,使补偿后的重建帧k-1'、k+1'与参考帧k的背景对齐,从而实现下述结合边缘信息、自适应最大方差阈值的基于自适应六边形运动估计及三帧背景对齐的动背景下视频分割方法。
所述步骤(4)中的采用Sobel算子提取边缘信息,并分别与参考帧K边缘进行差分,并采用最大方差阈值进行二值化,其具体步骤如下:
(i)Sobel算子提取边缘信息,并与参考帧K边缘进行差分
边缘检测算子种类很多,基于Sobel算子对于边缘定位效果不错并且对于噪声具有鲁棒性的特点考虑,选择Sobel边缘检测算子对于重建帧k-1'、k+1'及k帧进行边缘特征提取。
Sobel算子可以用模板卷积来实现:
fs(x,y)=|f(x,y)×Sx|+|f(x,y)×Sy|
其中:
应用Sobel算子对于重建帧k-1'、k+1'及k帧分别提取边缘的结果为:fk-1′(x,y)、fk+1′(x,y)及fk(x,y)。
对重建帧k-1'与k帧的边缘,重建帧k+1'与k帧的边缘进行图像差分运算,求得帧差d1与d2,其中:
帧差d1=|fk-1′(x,y)-fk(x,y)|,帧差d2=|fk+1′(x,y)-fk(x,y)|
(ii)采用最大方差阈值进行二值化
最大方差阈值是一种自适应的阈值确定方法,它以最佳门限将图像的直方图分成两组,当两组间的方差为最大时,决定阈值。所以本部分采用这种方法来实现边缘图像差分结果的二值化。
设一幅图像的灰度值为0~m-1级,灰度值i的像素数为ni,则总的像素点数:
各值的概率为:
设最佳阈值为T,用阈值T将像素分成两组:C0={0~T-1}和C1={T~m-1},C0和C1产生的概率及平均值由以下公式得出:
C0产生的概率
C1产生的概率
C0的平均值
C1的平均值
其中:
则全部采样的灰度平均值为:μ=w0μ0+w1μ1
两组间的方差:
在1~m-1之间求上式为最大值时的T,即为最佳阈值。
根据所得到的最佳阈值T对边缘检测结果进行二值化。
本发明与现有技术相比所具有的优点在于:本方法通过在块匹配方法前进行宏块的预先判断能够有效减少块匹配的时间,通过将连续三帧视频序列通过运动估计、运动补偿进行背景对齐及后续对三帧图像的处理,能够准确的将动背景下的视频对象分割出来。
附图说明:
图1为本发明一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法流程图;
图2为本发明一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法中基于运动矢量场的自适应六边形搜索方法模式示意图;
图3为本发明一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法中基于运动矢量场的自适应六边形搜索方法搜索示例说明图;
图4为本发明一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法Coastguard视频序列的第139帧采用本发明方法补偿后的视频对象提取结果;其中(a)表示Coastguard视频序列的第138帧;(b)表示Coastguard视频序列的第139帧;(c)表示Coastguard视频序列的第140帧;(d)表示Coastguard视频序列的第138帧预处理的结果;(e)表示Coastguard视频序列的第139帧预处理的结果;(f)表示Coastguard视频序列的第140帧预处理的结果;(g)表示Coastguard视频序列的第138帧的重建帧经过Sobel边缘检测的处理结果;(h)表示Coastguard视频序列的第139帧经过Sobel边缘检测的处理结果;(i)表示Coastguard视频序列的第140帧的重建帧经过Sobel边缘检测的处理结果;(j)表示Coastguard视频序列的第139帧采用本发明方法经过运动估计、补偿的三帧背景对齐方法后提取的二值视频对象平面;(k)表示Coastguard视频序列的第139帧采用本发明方法经过运动估计、补偿的三帧背景对齐方法后提取的视频对象平面;
具体实施方式:
下面结合附图及具体实施方式进一步详细介绍本发明。
本发明基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法,包括以下步骤(如图1所示):
步骤1.灰度变换及形态学预处理。
首先将YUV格式的视频序列做灰度变换,由于Y分量包含灰度信息,因此将Y分量从视频序列中提取出来。由于视频中不可避免的会出现噪声的干扰,因此对每帧图像进行形态学开闭重建,消除噪声,平滑掉一些细小的边缘以简化图像。预处理的结果可参见图4(d)(e)(f)。
步骤2.将参考帧K帧,K-1帧,K+1帧分成8×8宏块,根据纹理信息对K-1帧、K+1帧中所有宏块进行预判断、筛选。
由于在下述步骤中应用最小二乘法计算全局运动参数的时候,很多误差大的宏块被直接删除,如果能够在最小二乘法运算之前将误差大的宏块剔除,将显著的提高运算速度,并降低运算量。而决定宏块误差大小、影响计算准确性的重要因素便是宏块的纹理信息,也就是梯度信息。本部分提出的宏块预判断及筛选的方法正是从宏块的梯度信息出发,根据设定的阈值对于宏块进行筛选抑或保留,当宏块的信息量小于该阈值时,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块;当信息量大于该阈值时,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算。
其主要步骤如下:
第一步:将每一帧分成8×8子块,经试验证明,若采用分成16×16子块的形式则计算量过大,若分成4×4子块则块匹配等方法不够精确,故采用8×8子块的形式;
第二步:采用Sobel算子得到每一帧的梯度图,将梯度信息作为宏块剔除的判断依据;
其中表示该点的梯度信息,Gx、Gy分别表示偏导数。
第三步:计算每一个宏块的梯度量;以8×8子块为例,其梯度信息量为:
第四步:确定宏块预断的阈值,一般保留所有宏块的40%,根据这个确定的值,对所有宏块的梯度量进行排序,确定保留40%下宏块筛选的最佳阈值T;
第五步:完成对于宏块的筛选,若其梯度信息量>T,则对宏块进行保留,作为有效特征块参与进行下述的运动估计等运算;若其梯度信息量<T,对该宏块进行筛选,不作为下述步骤中参与块匹配的宏块
步骤3.对上述筛选后的宏块采用SAD准则、自适应六边形搜索进行块匹配,以K-1帧作为当前帧、K帧作为参考帧,得到K-1帧相对于K帧的运动矢量场;以K+1帧作为当前帧、K帧作为参考帧,得到K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数,获得摄像机六参数模型。
目前常用的块匹配准则有:平均绝对误差MAD(Mean Absolute Difference)、最小均方误差MSE(Mean Square Error)、最小绝对差SAD(Sum of Absolute)。
本部分采用SAD块匹配准则,该准则不仅能够找到最佳匹配点,并且计算量小、耗时短。
其中(i,j)为位移量,fk和fk-1分别为当前帧和上一帧的灰度值,M×N为宏块的大小,若在某一点处SAD(i,j)达到最小,则该点为要找的最优匹配点。
自适应六边形搜索策略
本部分所采用的大六边形模式除了包含传统六边形的六个搜索顶点和中心点之外,如图2(b),还包含六边形中分别位于搜索中心点正上方和正下方的两条边的中点,如图2(c),这样新的大六边形搜索模式共包含了9个搜索点,可以在保证大六边形搜索方法运算复杂度的前提下,大大提高搜索的速度,并结合了运动矢量的中心偏置特性和相关性,提出了一种基于运动矢量场的自适应六边形搜索方法。
基于运动矢量场的自适应六边形搜索方法具体步骤如下:
第一步:在起始点处利用十字模式搜索最佳匹配点,如图3(a)所示,此步骤中十字模式的5个搜索点用①表示,如果最佳匹配点在十字模式的中心,即中心的黑色的①位置处,一步搜索停止,此时即为最佳匹配点,得到最终要求的运动矢量MV(0,0);否则,进入步骤(2);
第二步:以步骤(1)搜索到的最佳匹配点为中心进行十字模式块匹配,此时需要搜寻3个新的搜索点,如图3(b)中增加的②所示,如果最佳匹配点在十字模式的中心,即中心黑色的①位置处,二步搜索停止,此点即为最佳匹配点,得到最终要求的运动矢量MV(±1,0)或(0,±1);否则,进入步骤(3);
第三步:以第一步的起始点为中心,进行LHSP匹配计算,如图3(c)中增加的③所示,并将结果与第二步得到的最佳匹配点进行比较,若新的最佳匹配点在LHSP模板上则转到步骤4,如果新的最佳匹配点仍在步骤2所得的最佳匹配点且不在LHSP上,那么认为该点为最佳匹配点,终止运动估计;
第四步:以上一步的最佳匹配点为中心,构造大六边形搜索模式,如图3(d)中的增加的④所示,找出新的最佳匹配点,如果该点在大六边形的中心,即中心的黑色的②位置处,进入步骤(5);否则,继续步骤(4);
第五步:以步骤(4)所搜索到的位于大六边形的中心的最佳匹配点为中心,构造小六边形搜索模式,如3(e)中的增加的⑤所示。应用改进的部分块失真准则,找出新的最佳匹配点,如黑色的⑤位置处,该点所对应的向量即为最终要求的运动矢量。
相比六边形搜索法和现有的十字菱形搜索法,基于运动矢量场的自适应六边形搜索方法最大的改进是利用运动矢量的特性使得搜索点数减少,搜索速度提高,尤其是对静止块或准静止块(|MV|=1),基于运动矢量场的自适应六边形搜索方法搜索模式在前两步中采用的十字搜索方法能够快速确定分布在起始点周围小十字区域内的最佳匹配点,由于MV的中心偏置性以及方法对搜索起始点的预测,这种搜索策略能够以很大的概率在前期的局部搜索中找到最佳匹配点。如果前两步搜索后还未能确定最佳匹配点,这时为避免继续使用小模板而陷入局部最优,基于运动矢量场的自适应六边形搜索方法首先对搜索起始点外围LHSP上的点作匹配计算,然后用HEXBS中的循环搜索确定最佳匹配点。这样基于运动矢量场的自适应六边形搜索方法能够以大跨度快速逼近距离起始点较远的最佳匹配点,同时较好地避免了陷入局部最优,在方法后期也能达到很好的搜索速度和精度。
分别将K-1帧、K+1帧中筛选后的宏块和参考帧K按照上述SAD准则及自适应六边形搜索策略进行块匹配,获得当前帧K-1相对于参考帧K的运动矢量场,以及当前帧K+1相对于参考帧K的运动矢量场。
步骤4.根据最小二乘法求摄像机运动参数。
选取步骤2中获取到的当前帧K-1及当前帧K+1中两侧子块作为特征块,将经过块匹配、运动估计获得的运动矢量代入摄像机六参数模型(如下式)后,采用最小二乘法估计参数m0、m1、m2、n0、n1、n2。6参数仿射变换模型:可以对平移、旋转、缩放运动进行建模,其定义如下:
其中m0和n0分别表示像素点在x和y方向的平移幅度,m1、n1、m2、n2四个参数描述了缩放和旋转转动。
步骤5.通过运动补偿分别获得当前帧K-1、K+1的重建帧K-1'、K+1'。
对于当前帧k-1帧、k+1帧中的每一个点根据上述获取的摄像机模型,计算其分别在参考帧K中的对应位置并对其进行赋值,从而实现对于K-1帧、k+1帧的全局运动补偿,使补偿后的重建帧k-1'、k+1'与参考帧k的背景对齐,从而实现下述结合边缘信息、自适应阈值的基于自适应六边形运动估计及三帧背景对齐的动背景下视频分割方法。
步骤6.采用Sobel算子提取边缘信息,分别与参考帧K边缘进行差分,并采用最大方差阈值进行二值化。
边缘检测算子种类很多,基于Sobel算子对于边缘定位效果不错并且对于噪声具有鲁棒性的特点考虑,选择Sobel边缘检测算子对于重建帧k-1'、k+1'及k帧进行边缘特征提取。
Sobel算子可以用模板卷积来实现:
fs(x,y)=|f(x,y)×Sx|+|f(x,y)×Sy|
其中:
应用Sobel算子对于重建帧k-1'、k+1'及k帧分别提取边缘的结果为:fk-1′(x,y)、fk+1′(x,y)及fk(x,y)。结果可参见图4(g)(h)(i)。
对重建帧k-1'与k帧的边缘,重建帧k+1'与k帧的边缘进行图像差分运算,求得帧差d1与d2,其中:
帧差d1=|fk-1′(x,y)-fk(x,y)|,帧差d2=|fk+1′(x,y)-fk(x,y)|
最大方差阈值是一种自适应的阈值确定方法,它以最佳门限将图像的直方图分成两组,当两组间的方差为最大时,决定阈值。所以本部分采用这种方法来实现边缘图像差分结果的二值化。
设一幅图像的灰度值为0~m-1级,灰度值i的像素数为ni,则总的像素点数:
各值的概率为:
设最佳阈值为T,用阈值T将像素分成两组:C0={0~T-1}和C1={T~m-1},C0和C1产生的概率及平均值由以下公式得出:
C0产生的概率
C1产生的概率
C0的平均值
C1的平均值
其中:
则全部采样的灰度平均值为:μ=w0μ0+w1μ1
两组间的方差:
在1~m-1之间求上式为最大值时的T,即为最佳阈值。
根据所得到的最佳阈值T对帧差d1,帧差d2分别进行二值化,二值化的结果分别为OtusBuf1及OtusBuf2。
步骤7.与运算及后处理。
对上述二值化的结果进行与运算,与运算的结果如下:
其中:DifferBuf(i)表示与运算的结果,OtusBuf1(i)与OtusBuf2(i)表示对帧差d1、d2分别进行二值化的结果。
由于视频序列中不可避免的会有噪声的干扰,因此在与运算后还要进行一些后处理工作,以去除孤立的小区域、小间隙,后处理的结果见图4(j)。为此,本部分首先采用中值滤波方法去掉一些干扰的噪声,再采用图像形态学方法,主要包括腐蚀及膨胀运算,不但可以去除噪声并且可以起到平滑图像的作用。腐蚀运算主要消除边界点,使边界向内部收缩,而膨胀运算则将与物体接触的所有背景点合并到该物体中,使边界向外扩张。
Claims (5)
1.一种基于自适应六边形运动估计及三帧背景对齐的动背景下视频对象提取方法,其特征在于包括以下步骤:
(1)将K帧,K-1帧,K+1帧分成8×8宏块,根据纹理信息对K-1帧、K+1帧中所有宏块进行预判断、筛选;
(2)对上述筛选后的宏块采用SAD准则、自适应六边形运动估计方法进行块匹配,以K-1帧作为当前帧、K帧作为参考帧,得到K-1帧相对于K帧的运动矢量场;以K+1帧作为当前帧、K帧作为参考帧,得到K+1帧相对于K帧的运动矢量场,并通过最小二乘法计算全局运动参数,获得摄像机六参数模型;
(3)对第K-1帧进行运动补偿,使第K-1帧与第K帧背景对齐,得到重建帧K-1',对第K+1帧进行运动补偿,使第K+1帧与第K帧背景对齐,得到重建帧K+1';
(4)采用Sobel算子对重建帧K-1'、K+1'及K帧分别提取边缘,对重建帧K-1'与K帧的边缘、重建帧K+1'与K帧的边缘进行图像差分运算,并采用最大方差阈值进行二值化;
(5)采用与运算、形态学滤波和中值滤波进行后处理,实现动背景下视频对象的快速有效分割。
2.根据权利要求1所述的方法,其特征在于所述步骤(1)的具体步骤如下:
第一步:将每一帧分成8×8宏块;
第二步:采用Sobel算子得到每一帧的梯度图,将梯度信息作为宏块剔除的判断依据;
其中表示(x,y)点的梯度信息,Gx、Gy分别表示偏导数;
第三步:计算每一个宏块的梯度信息量,其梯度信息量为:
第四步:确定宏块预断的阈值,保留所有宏块的40%,对所有宏块的梯度量进行排序,确定保留40%下宏块筛选的最佳阈值T;
第五步:完成对于宏块的筛选,若其梯度信息量>T,则对宏块进行保留,作为有效特征块参与进行运动估计运算;若其梯度信息量<T,对该宏块进行筛选,不作为参与块匹配的宏块。
3.根据权利要求1所述的方法,其特征在于所述步骤(2)的具体步骤如下:
(i)块匹配准则SAD
本部分采用SAD块匹配准则,该准则不仅能够找到最佳匹配点,并且计算量小、耗时短;
其中(i,j)为位移量,fk和fk-1分别为当前帧和上一帧的灰度值,M×N为宏块的大小,若在某一点处SAD(i,j)达到最小,则该点为要找的最优匹配点;
(ii)自适应六边形搜索策略
本发明所采用的大六边形模式除了包含传统六边形的六个搜索顶点和中心点之外,还包含六边形中分别位于搜索中心点正上方和正下方的两条边的中点,本发明提出了一种基于运动矢量场的自适应六边形搜索方法;
基于运动矢量场的自适应六边形搜索方法具体步骤如下:
步骤(1):在起始点处利用十字模式搜索最佳匹配点,如果最佳匹配点在十字模式的中心,一步搜索停止,此时即为最佳匹配点,得到最终要求的运动矢量MV(0,0);否则,进入步骤(2);
步骤(2):以步骤(1)搜索到的最佳匹配点为中心进行十字模式块匹配,此时需要搜寻3个新的搜索点,如果最佳匹配点在十字模式的中心,二步搜索停止,此点即为最佳匹配点,得到最终要求的运动矢量MV(±1,0)或(0,±1);否则,进入步骤(3);
步骤(3):以第一步的起始点为中心,进行LHSP匹配计算,并将结果与第二步得到的最佳匹配点进行比较,若新的最佳匹配点在LHSP模板上则转到步骤(4),如果新的最佳匹配点仍在步骤(2)所得的最佳匹配点且不在LHSP上,那么认为该点为最佳匹配点,终止运动估计;
步骤(4):以上一步的最佳匹配点为中心,构造大六边形搜索模式,找出新的最佳匹配点,如果该点在大六边形的中心,进入步骤(5);否则,继续步骤(4);
步骤(5):以步骤(4)所搜索到的位于大六边形的中心的最佳匹配点为中心,构造小六边形搜索模式,应用改进的部分块失真准则,找出新的最佳匹配点,该点所对应的向量即为最终要求的运动矢量;
分别将K-1帧、K+1帧中筛选后的宏块和参考帧K按照上述SAD准则及自适应六边形搜索策略进行块匹配,获得当前帧K-1相对于参考帧K的运动矢量场,以及当前帧K+1相对于参考帧K的运动矢量场;
(iii)最小二乘法获得摄像机六参数模型
选取权利要求1步骤(1)中获取到的K-1帧及K+1帧中的两侧宏块作为特征块,将经过(i)(ii)步骤获得的运动矢量代入摄像机六参数模型后,采用最小二乘法估计参数m0、m1、m2、n0、n1、n2;摄像机六参数模型可以对平移、旋转、缩放运动进行建模,其定义如下:
其中m0和n0分别表示像素点在x和y方向的平移幅度,m1、n1、m2、n2四个参数描述了缩放和旋转转动。
4.根据权利要求1所述的方法,其特征在于所述步骤(3)的具体步骤如下:
对于当前帧K-1帧、K+1帧中的每一个点根据获取的摄像机六参数模型,计算其分别在参考帧K中的对应位置并对其进行赋值,从而实现对于K-1帧、K+1帧的全局运动补偿,使补偿后的重建帧K-1'、K+1'与参考帧K的背景对齐。
5.根据权利要求1所述的方法,其特征在于所述步骤(4)的具体步骤如下:
(i)采用Sobel算子提取边缘信息,并与参考帧K边缘进行差分
Sobel算子用模板卷积来实现:
fs(x,y)=|f(x,y)×Sx|+|f(x,y)×Sy|
其中:
应用Sobel算子对于重建帧K-1'、K+1'及K帧分别提取边缘的结果为:fk-1'(x,y)、fk+1'(x,y)及fk(x,y);
对重建帧K-1'与K帧的边缘、重建帧K+1'与K帧的边缘进行图像差分运算,求得帧差d1与d2,其中:
帧差d1=|fk-1'(x,y)-fk(x,y)|,帧差d2=|fk+1'(x,y)-fk(x,y)|
(ii)采用最大方差阈值进行二值化
设一幅图像的灰度值为0~m-1级,灰度值i的像素数为ni,则总的像素点数:
各灰度值i的概率为:
设最佳阈值为T,用阈值T将像素分成两组:C0={0~T-1}和C1={T~m-1},C0和C1产生的概率及平均值由以下公式得出:
C0产生的概率
C1产生的概率
C0的平均值
C1的平均值
其中:
则全部采样的灰度平均值为:μ=w0μ0+w1μ1
两组间的方差:
在1~m-1之间求上式为最大值时的T,即为最佳阈值;
根据所得到的最佳阈值T对边缘检测结果进行二值化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210397523.5A CN102917218B (zh) | 2012-10-18 | 2012-10-18 | 基于自适应六边形搜索及三帧背景对齐的动背景视频对象提取 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210397523.5A CN102917218B (zh) | 2012-10-18 | 2012-10-18 | 基于自适应六边形搜索及三帧背景对齐的动背景视频对象提取 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102917218A CN102917218A (zh) | 2013-02-06 |
CN102917218B true CN102917218B (zh) | 2015-05-13 |
Family
ID=47615428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210397523.5A Active CN102917218B (zh) | 2012-10-18 | 2012-10-18 | 基于自适应六边形搜索及三帧背景对齐的动背景视频对象提取 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102917218B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123733B (zh) * | 2014-07-15 | 2018-05-04 | 合肥工业大学 | 一种基于块匹配的运动检测及降低错误率的方法 |
CN109145805B (zh) * | 2018-08-15 | 2021-05-14 | 深圳市豪恩汽车电子装备股份有限公司 | 车载环境下的移动目标检测方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1565118A (zh) * | 2001-10-08 | 2005-01-12 | 皇家飞利浦电子股份有限公司 | 用于运动估计的装置和方法 |
CN101286239A (zh) * | 2008-04-22 | 2008-10-15 | 北京航空航天大学 | 航拍交通视频车辆快速检测方法 |
CN101394566A (zh) * | 2008-10-29 | 2009-03-25 | 北京航空航天大学 | 一种十字菱形运动估计搜索方法 |
CN101719979A (zh) * | 2009-11-27 | 2010-06-02 | 北京航空航天大学 | 基于时域定区间记忆补偿的视频对象分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8639042B2 (en) * | 2010-06-22 | 2014-01-28 | Microsoft Corporation | Hierarchical filtered motion field for action recognition |
-
2012
- 2012-10-18 CN CN201210397523.5A patent/CN102917218B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1565118A (zh) * | 2001-10-08 | 2005-01-12 | 皇家飞利浦电子股份有限公司 | 用于运动估计的装置和方法 |
CN101286239A (zh) * | 2008-04-22 | 2008-10-15 | 北京航空航天大学 | 航拍交通视频车辆快速检测方法 |
CN101394566A (zh) * | 2008-10-29 | 2009-03-25 | 北京航空航天大学 | 一种十字菱形运动估计搜索方法 |
CN101719979A (zh) * | 2009-11-27 | 2010-06-02 | 北京航空航天大学 | 基于时域定区间记忆补偿的视频对象分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102917218A (zh) | 2013-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102917220B (zh) | 基于六边形搜索及三帧背景对齐的动背景视频对象提取 | |
CN102917217B (zh) | 一种基于五边形搜索及三帧背景对齐的动背景视频对象提取方法 | |
CN101477690B (zh) | 一种视频帧序列中物体轮廓跟踪的方法和装置 | |
CN108198201A (zh) | 一种多目标跟踪方法、终端设备及存储介质 | |
CN108805904A (zh) | 一种基于卫星序列图像的运动舰船检测与跟踪方法 | |
CN103871076A (zh) | 基于光流法和超像素分割的运动目标提取方法 | |
CN105809715B (zh) | 一种基于帧间累计变化矩阵的视觉运动目标检测方法 | |
CN110276264A (zh) | 一种基于前景分割图的人群密度估计方法 | |
Vosters et al. | Background subtraction under sudden illumination changes | |
CN103077531A (zh) | 基于边缘信息的灰度目标自动跟踪方法 | |
CN110827262B (zh) | 一种基于连续有限帧红外图像的弱小目标检测方法 | |
CN110163887A (zh) | 基于运动插值估计与前景分割相结合的视频目标跟踪方法 | |
CN109308713A (zh) | 一种基于前视声纳的改进核相关滤波水下目标跟踪方法 | |
CN115375733A (zh) | 基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法 | |
CN103514610B (zh) | 一种背景静止的运动目标分割方法 | |
CN102917222B (zh) | 基于自适应六边形搜索及五帧背景对齐的动背景视频对象提取 | |
CN104200434A (zh) | 一种基于噪声方差估计的非局部均值图像去噪方法 | |
CN111161308A (zh) | 一种基于关键点匹配的双波段融合目标提取方法 | |
CN102917218B (zh) | 基于自适应六边形搜索及三帧背景对齐的动背景视频对象提取 | |
CN103051893B (zh) | 基于五边形搜索及五帧背景对齐的动背景视频对象提取 | |
CN102970527B (zh) | 基于六边形搜索及五帧背景对齐的动背景视频对象提取 | |
CN102917224B (zh) | 基于新型十字菱形搜索及五帧背景对齐的动背景视频对象提取 | |
CN116778410A (zh) | 一种基于深度学习的煤矿井下作业人员检测和跟踪方法 | |
CN102917223B (zh) | 基于增强型菱形搜索及三帧背景对齐的动背景视频对象提取 | |
CN102917221B (zh) | 基于新型十字菱形搜索及三帧背景对齐的动背景视频对象提取 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20191022 Address after: 610000 Chengdu Free Trade Experimental Zone, Sichuan Province, No. 300 Jiaozi Avenue, Chengdu High-tech Zone, No. 3 Building, 22 Floor 5 Patentee after: CHENGDU VISION-ZENITH TECHNOLOGY DEVELOPMENT CO., LTD. Address before: 100191 Haidian District, Xueyuan Road, No. 37, Patentee before: Beijing University of Aeronautics and Astronautics |
|
TR01 | Transfer of patent right |