CN104077788B - 融合颜色和纹理信息进行块背景建模的运动目标检测方法 - Google Patents
融合颜色和纹理信息进行块背景建模的运动目标检测方法 Download PDFInfo
- Publication number
- CN104077788B CN104077788B CN201410328216.0A CN201410328216A CN104077788B CN 104077788 B CN104077788 B CN 104077788B CN 201410328216 A CN201410328216 A CN 201410328216A CN 104077788 B CN104077788 B CN 104077788B
- Authority
- CN
- China
- Prior art keywords
- background
- fritter
- texture pattern
- bulk
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 36
- 238000004040 coloring Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000193935 Araneus diadematus Species 0.000 description 1
- 241000669244 Unaspis euonymi Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- MDKCFLQDBWCQCV-UHFFFAOYSA-N benzyl isothiocyanate Chemical compound S=C=NCC1=CC=CC=C1 MDKCFLQDBWCQCV-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种检测视频中运动目标的方法,包括:计算当前视频帧的纹理模式特征,将当前视频帧划分成小块,相邻四小块合成一大块,计算大块的纹理模式特征直方图,并更新大块内的纹理模式特征背景模型;根据该纹理模式特征背景模型和各个大块的纹理模式直方图得到大块在纹理特征下属于背景的概率,进而在重叠小块上求平均得到小块在纹理特征下属于背景的概率;根据颜色信息更新当前主背景图像;根据主背景图像和颜色信息得到当前视频帧和主背景图像的小块的颜色差异值;根据在纹理特征下小块属于背景的概率以及小块和主背景图像的颜色差异判断小块是否属于背景;根据前景和背景的判断结果分割出前景块,并用连通域分析得到运动目标检测结果。
Description
技术领域
本发明属于计算机视觉技术领域,主要涉及特征的提取、模型的建立和更新以及根据模型的分类,具体是一种快速的融合颜色和纹理信息进行分块背景建模的运动目标检测方法。
背景技术
运动目标检测在许多视频处理的应用比如目标跟踪、分类和识别中扮演了非常重要的角色,因为它是许多上层视频处理的输入,能够直接影响上层视频处理的性能。最好的结果是每一个运动目标能够被完整单独的检测出来。
背景建模对于运动目标检测通常是不可缺少的步骤,在这个领域已经有了很多的研究成果。早期的工作一般是针对每一个像素建立一个背景模型。最早的是对每个像素建立一个单高斯模型,这能解决静态背景的建模问题。但是对于动态背景,单高斯模型就无法解决了。于是又出现了比较经典的混合高斯模型,针对每个像素建立多个高斯模型,它解决了动态背景的建模问题。接下来又出现了很多改进的基于混合高斯模型方法,但是这些基于高斯模型的方法都有一个假设,就是像素值服从高斯分布。但实际上不一定是这样,于是又有人提出了一种非参数模型,每个像素直接用一个概率密度函数来建模。
基于单个像素值进行背景建模的方法无法在特征层面解决光照变化的问题,因为单个像素值对光照变化没有鲁棒性,而纹理特征却在很多时候具有对光照的鲁棒性,所以又提出了一系列基于纹理特征的背景建模方法。但是纹理特征无法区分光滑的前景和背景。
于是又有些人提出了将纹理特征和颜色特征结合的方法,不过他们都仅仅是给纹理特征和颜色特征赋予不同的权重进行加权,这在有些情况下还不是很有效。
也有些基于块进行背景建模的方法提出来。基于块的方法速度更快,因为不需要对每个像素建模,只需要给每一个块建一个模型,缺点是前景检测结果的边界会比较模糊,有可能将不同的目标黏连起来。
背景建模中会遇到许多困难,常见的有光照变化、动态背景、密集人流、光滑前景和光滑背景、处理速度等。
光照变化是比较常见的,例如室内的开关灯,室外阳光被云层遮挡,运动阴影等等。
动态背景比如摇动的树叶、摇动的窗帘、喷泉、扶手电梯、等等。
对于密集人流,背景模型建好后前景检测的时候很可能将不同的人连在一块,而且在密集人流的情况下,由于各种光线遮挡的存在,会导致光照条件变化比较频繁。
光滑前景和光滑背景的存在则会对纹理特征提出挑战。
处理速度的影响是由于背景建模只是上层处理的输入,需要尽量耗费少的时间。
发明内容
(一)要解决的技术问题
本发明的目的在于尽可能克服上述现有技术的不足,包括光照、动态背景、光滑前景或光滑背景、密集人流和处理速度的影响,提出一种新的颜色和纹理特征结合的框架,结合它们的优点同时克服它们的缺点。
(二)技术方案
为解决上述技术问题,本发明提出一种运动目标检测方法,用于检测视频中的运动目标,包括如下步骤:
S1、计算当前视频帧的纹理模式特征(例如但不限于局部二元模式特征、局部三元模式特征、尺度不变局部三元模式特征、等等);
S2、将当前视频帧划分成小块,相邻的两行两列的四个小块合成一个大块,计算每个大块中纹理模式的直方图分布,并更新大块内基于纹理模式的背景模型;大块之间是部分重叠的,重叠的长度为小块的边长;
S3、根据每个大块内的纹理模式背景模型和当前视频帧各个大块的纹理模式直方图分布得到每个大块在纹理特征下属于背景的概率,进而在重叠小块内求平均得到每个小块在纹理特征下属于背景的概率;
S4、根据当前视频帧的颜色信息更新当前主背景图像;
S5、根据当前主背景图像和当前视频帧颜色信息得到当前视频帧和主背景图像的每个小块的颜色差异值;
S6、根据当前帧在纹理特征下每个小块属于背景的概率以及每个小块和主背景图像的颜色差异判断每个小块是否属于背景;
S7、根据步骤S6对于前景和背景的判断结果,分割出属于运动目标的前景块,输出运动目标检测结果。
根据本发明的具体实施方式,所述步骤S1包括:
步骤S1.1、计算当前视频帧的每个像素的二进制的纹理模式特征编码;
步骤S1.2、将每个像素的二进制的纹理模式特征编码转换为十进制的纹理模式特征值。
根据本发明的具体实施方式,在所述步骤S2中,根据下式更新大块的纹理模式特征背景模型:
其中是t时刻大块内的纹理模式特征背景模型,是背景模型直方图的第i个纹理模式的统计概率,是背景模型的初始值,Nb是背景模型直方图中纹理模式的个数,是大块内t时刻的纹理模式直方图,α是背景模型的学习速率。
根据本发明的具体实施方式,所述步骤S3包括:
步骤S3.1、根据下式计算每个大块在纹理特征下属于背景的概率:
其中
是每个大块在纹理特征下属于背景的概率,Hs(i)是当前大块的纹理模式直方图中第i个纹理模式的统计概率,也就是第i个纹理模式特征值在该大块中出现的概率,是判断主背景模式的阈值。
根据本发明的具体实施方式,所述步骤S3还包括:
步骤S3.2、根据下式计算每个小块在纹理特征下属于背景的概率:
其中是小块在纹理特征下属于背景的概率,n是该小块属于的大块的个数,是该小块属于的第i个大块在纹理特征下属于背景的概率。每个小块在纹理特征下属于背景的概率等于它所属于的大块在纹理特征下属于背景的概率的平均值。
根据本发明的具体实施方式,所述步骤S4包括:
步骤S4.1、根据下式更新当前主背景图像:
其中
是第t帧时的主背景图像,TN是当前的视频帧,β是更新率,W是更新时间窗。
根据本发明的具体实施方式,所述步骤S5包括:
步骤S5.1、根据下式计算当前视频帧和主背景图像每个小块每一个颜色通道的差异:
其中Dr代表r通道(红色通道)颜色的差异,是主背景图像的小块中第i个像素r通道的值,是当前帧的相应小块中第i个像素r通道的值,Ns是小块中像素的个数。Dg(对应g通道,即绿色通道)和Db(对应b通道,即蓝色通道)同理;
根据本发明的具体实施方式,所述步骤S5还包括:
步骤S5.2、根据下式融合所有通道得到当前视频帧和主背景图像每个小块的颜色差异值:
其中D是当前视频帧和主背景图像每个小块3个通道融合后的颜色差异值,大小在0~1之间。
根据本发明的具体实施方式,所述步骤S6中,根据如下方式来判断每个小块是否属于背景:
其中Ts是单独用纹理模式特征判断时,背景概率的阈值,Tc是单独用颜色判断时主背景和当前帧每个小块颜色差异的阈值,ρ是大于1的尺度因子。
(三)有益效果
本发明与现有技术相比具有以下优点:
(1)本发明提出了一种新的纹理特征和颜色特征融合的框架,能同时解决光照变化和光滑前景和光滑背景的鉴别问题,而且本发明的融合判断策略能帮助检测到更多有效的前景部分,同时抑制虚警。
(2)本发明采用了基于块的背景建模,计算速度快,内存消耗少,而且本发明针对每个块只建立一个纹理模式特征直方图作为背景模型,更加节省了计算资源和内存消耗。基于块的策略还能很好地解决运动背景的问题,运动的背景对于单独的一个像素来说可能是不稳定的,但对于一个块来说相对是比较稳定的。
(3)本发明在大块上建立纹理模式特征模型,在小块上进行前景和背景的判断,有下面几个好处,在大块上建立的纹理模式模型更加稳定,对于运动背景和噪声更加鲁棒,而在小块上做前景和背景的决策能使得检测到的运动目标的边界更加准确,更不容易使得不同的运动目标黏连在一起,而且小块的决策是基于它所属于的几个重叠大块的,信息利用更加充分,结果更加可靠。
(4)本发明主背景模式的选择能很有效地解决动态背景的问题,因为所有频繁出现的背景模式在背景模型直方图中相应的概率都会比较大,会被选做主背景模式。因此,通过融合当前视频帧每个块内属于主背景模式的概率,可以有效判断出该块是前景还是背景。
附图说明
图1是本发明的运动目标检测方法的流程图;
图2是一种纹理模式操作符的例子,即尺度不变局部三元模式;
图3是本发明的分块示意图。
具体实施方式
本发明的技术思路是:将每一帧视频图像分割成互有重叠的、边长为Sb的正方形块(简称为大块)。本发明所提出的方法根据每个大块的颜色和纹理信息进行背景建模。其中,大块之间的重叠长度为Sb/2,因此,每个大块包含四个边长为Sb/2的正方形小块。这些小块将被用于更精细的计算,并根据计算结果判断该小块是属于前景还是背景。
本发明首先计算当前视频帧的大块内的纹理模式(例如尺度不变局部三元模式)的直方图分布,然后更新大块内纹理模式特征直方图模型,该直方图模型表示在之前的视频序列中不同的纹理模式特征在该大块内的出现概率。得到更新的纹理模式特征直方图模型后,对直方图对应的每一个模式的统计概率用一个阈值判断一下,找出大于这个阈值的模式作为主背景模式,当前视频帧在该大块中的纹理模式特征直方图中属于主背景模式的概率累加作为当前大块属于背景的概率。然后计算每个小块属于背景的概率,通过求该小块所属于的所有大块的背景概率的均值得到。另一方面,还需要利用当前视频帧更新主背景图像,然后计算出当前视频帧和主背景图像之间每个小块的颜色差异。最后结合每个小块在纹理模式特征下属于背景的概率及其和主背景图像的颜色差异判断该小块是否属于背景,从而得到所有小块的前景背景决策,并进而分割得到运动目标检测结果。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
本发明的运动目标检测方法用于检测视频中的运动目标。图1是本发明的运动目标检测方法的流程图。如图1所示,该方法包括如下步骤:
步骤S1、计算当前视频帧的纹理模式特征。
纹理模式特征例如但不限于局部二元模式特征、局部三元模式特征、尺度不变局部三元模式特征、等等。
根据本发明的具体实施方式,步骤S1包括有:
步骤S1.1、计算当前视频帧的每个像素的二进制的纹理模式特征编码。
例如,对于尺度不变局部三元模式,其纹理模式特征编码的表达方式如下:
其中Ic是中心像素的灰度值,Ik是中心像素周围以R为半径的N个邻域像素之一的灰度值,代表将所有的二进制数字串联起来,τ是尺度因子,表示比较的变化范围,Sτ是一个分段函数,定义如下:
图2举例显示了一个尺度不变局部三元模式纹理操作符的例子。每一个像素使用这个操作符后都能得到一串纹理模式特征编码。在图2中,3×3的邻域内中心像素值Ic为50,纹理模式的尺度参数τ为0.1,因此阈值化操作的区间为[50(1-τ),50(1+τ)]。于是,经过上述分段函数Sτ的阈值化操作,图2左边3×3邻域除中心像素外的其余8个像素均被编码成右边的二进制编码。
所需说明的是,本发明的方法并不限于使用尺度不变局部三元模式纹理描述子,其他类似纹理描述子(如局部二元模式、局部三元模式等)在本发明框架下亦能取得相似结果。
步骤S1.2、将每个像素的二进制的纹理模式特征编码转换为十进制的纹理模式特征值。
步骤S2、将当前视频帧划分成小块,相邻的两行两列的四个小块合成一个大块,计算每个大块的纹理模式特征直方图,大块之间是部分重叠的,重叠的长度为小块的边长,并更新大块内的纹理模式特征背景模型。
根据本发明的具体实施方式,步骤S2中更新大块内的纹理模式特征背景模型步骤还包括:
步骤S2.1、将当前视频帧划分成小块,相邻的两行两列的四个小块合成一个大块。
图3是本发明的分块示意图,如图3所示,小块用正方形表示,相邻的两行两列的小块组成一个大块,左斜线和右斜线填充的为两个相邻的大块。该两个大块之间有一个小块的重叠部分(交叉线填充的部分)。
步骤S2.2、计算各所述大块内的纹理模式特征直方图:
具体地,可根据下式遍历大块内的每一个像素,从而能得到该大块的纹理模式特征直方图:
该式中“=”表示赋值。
其中Mi是大块内第i个像素的纹理模式,Hs(Mi)是大块内纹理模式特征直方图的第Mi个模式的统计概率,Sb是大块的边长。
步骤S2.3、根据下式更新大块的纹理模式特征背景模型:
其中是t时刻大块内的纹理模式特征背景模型,是背景模型直方图的第i个纹理模式的统计概率,是背景模型的初始值,Nb是背景模型直方图中纹理模式的个数,是大块内t时刻的纹理模式直方图,α是背景模型的学习速率。通过这个式子就可以实时更新每个大块内的纹理模式特征背景模型。
步骤S3、根据每个大块内的纹理模式特征背景模型和当前视频帧各个大块的纹理模式直方图得到每个大块在纹理特征下属于背景的概率,进而在重叠小块内求平均得到每个小块在纹理特征下属于背景的概率。
在具体实施时,步骤S3可包括:
步骤S3.1、根据下式计算每个大块在纹理特征下属于背景的概率:
其中
是每个大块在纹理特征下属于背景的概率,Hs(i)是当前大块的纹理模式直方图第i个模式的统计概率,也就是第i个纹理模式在该大块中出现的概率,的功能是判断背景模型中第i个纹理模式是否属于主背景模式,如果是主背景模式,该式子的值为1,如果不是主背景模式,该式子的值为0,是判断主背景模式的阈值,若背景模型直方图中某个纹理模式的统计概率大于该阈值,那么这个纹理模式就被判断为主背景模式。每个大块在纹理特征下属于背景的概率相当于当前块的纹理模式直方图中属于主背景模式的纹理模式的统计概率的和。
步骤S3.2、根据下式计算每个小块在纹理特征下属于背景的概率:
其中是小块在纹理特征下属于背景的概率,n是该小块属于的大块的个数,是该小块属于的第i个大块。每个小块在纹理特征下属于背景的概率等于它所属于的大块在纹理特征下属于背景的概率的均值。
步骤S4、根据当前视频帧的颜色信息更新当前主背景图像。
在具体实现时,步骤S4包括:
步骤S4.1、根据下式更新当前主背景图像:
其中
是第t帧时的主背景图像,TN是当前的视频帧,β是更新率,W是更新时间窗。
本发明只采用简单的全图加权累加的方式得到主背景图像可以有效节省计算资源,因为颜色特征更多地是作为辅助的手段。
步骤S5、根据当前主背景图像和当前视频帧颜色信息得到当前视频帧和主背景图像的每个小块的颜色差异值。
在具体实施时,步骤S5可包括:
步骤S5.1、根据下式计算当前视频帧和主背景图像每个小块每一个颜色通道的差异:
其中Dr代表r通道(红色通道)颜色的差异,是主背景图像的小块中第i个像素r通道的值,是当前帧的相应小块中第i个像素r通道的值,Ns是小块中像素的个数。Dg(对应g通道,即绿色通道)和Db(对应b通道,即蓝色通道)同理;
步骤S5.2、根据下式融合所有通道得到当前视频帧和主背景图像每个小块的颜色差异值:
其中D是当前视频帧和主背景图像每个小块3个通道融合后的颜色差异值,大小在0~1之间。
本发明实际上求得的是每个小块内全局的颜色差异,由于是全局的颜色差异,对于动态背景有较好的鲁棒性。没有求所有重叠的大块的颜色差异的原因有两点:第一,节约计算资源;第二,小块内的全局颜色差异已经相对稳定了。
步骤S6、根据当前帧在纹理特征下每个小块属于背景的概率以及每个小块和主背景图像的颜色差异判断每个小块是否属于背景。
在具体实施时,步骤S6包括:
步骤S6.1、判断每个小块是否属于背景。
可根据如下方式来判断每个小块是否属于背景:
其中Ts是单独用纹理模式特征判断时,背景概率的阈值,也就是背景概率如果大于Ts,则该小块属于背景,Tc是单独用颜色判断时主背景和当前帧每个小块颜色差异的阈值,也就是颜色差异大于Tc,则该小块是前景。的含义是当视频中纹理模式特征和颜色特征同时变化时,联合的阈值可以适当缩小,因为背景本身的颜色和纹理特征不容易同时变化很大,而前景相对于背景则可以,ρ是大于1的尺度因子。
可见,本发明使用了3个部分来判断每个小块是否属于前景,只要一个部分满足条件就算是前景,第一个和第二个分别是单独使用纹理模式特征和颜色特征的决策,而第三部分是本发明融合颜色和纹理特征的重点,因为如果一个地方一直是背景,它的纹理特征和颜色特征同时变化很大的可能性比较小,而如果该处出现了运动目标,那纹理特征和颜色特征很可能同时变化较大,所以在将纹理特征和颜色特征融合起来的时候,融合的阈值可以适当缩小,以保证能检测到更多的前景,而同时不会导致背景中出现前景的虚警。
步骤S7、根据步骤S6对于前景和背景的判断结果,分割出属于运动目标的前景块,输出运动目标检测结果。
其中,相邻的前景块将连接在一起。于是,通过这种连通域分析,便能分割出整个运动目标。
为进一步体现本发明的优势,在一个实施例中使用了9个典型的公开测试视频对本发明进行算法测试。这些视频分别是Bootstrap(室内密集人流场景,有运动阴影)、Campus(室外场景,有剧烈摇动的树)、Curtain(室内场景,有窗帘摇动)、Escalator(室内密集人流场景,有运动的电梯和光照变化)、Fountain(室外喷泉)、Hall(室内密集人流,有运动阴影)、Lobby(室内场景,包含开关灯)、Shopping Mall(室内密集人流,包含运动阴影)和Water Surface(室外场景,包含水面波动)。大部分视频拥有几千帧,而且每个视频都有20帧被标记成groundtruth。Bootstrap的分辨率是160×120,Campus、Curtain、Fountain、Lobby和WaterSurface的分辨率是160×128,Escalator的分辨率是160×130,ShoppingMall的分辨率是320×256。
进一步地,本发明比较了几种主流的背景建模算法,来对比性能。其中有Mixtureof Gaussians(MoG),blockwise LBP histogram based method(LBP-B),和pixelwise LBPhistogram based method(LBP-P)。本发明的算法命名为BITC,采用了尺度不变局部三元模式纹理特征。
所有的示例都在一个标准的PC上完成,CPU双核2.93GHz,内存4G,操作系统windows8。所有程序都是用c++实现。
所有方法得到的运动目标检测的结果和groundtruth比较,根据运动目标检测的准确性得到召回率(Recall),精度(Precision)和F-score,还有内存消耗(单位是M)和处理速度(单位是fps)。
下面的表一即为所有方法在所有测试视频上的前景检测的性能。表二是每种方法在所有测试视频上的检测结果的平均性能。
表一:所有方法在所有测试视频上的检测结果的性能
表二:每种方法在所有测试视频上的检测结果的平均性能
从表一和表二中可以看出本发明方法前景检测精度高,内存消耗少,处理速度也很快,是综合性能表现最优的方法。该方法对光照变化,动态背景都具有良好的鲁棒性,还能解决光滑前景和光滑背景的鉴别,而且速度快,占用内存小,在实际应用中有非常好的可用性。
由上可见,本发明利用基于块的背景建模策略来提升速度,并且只用一个直方图模型来建模。利用本发明的主背景模式选择方法,可以解决动态背景的问题。然后采用了大块建模和小块决策的策略,在大块上建立背景模型更稳定,在小块上决策前景背景边界更加精确。
本发明还提出了一种新的结果评估方法,用来衡量运动目标检测的性能。实验结果表明本发明的方法在运动目标检测性能上优于当前最好的一些背景建模方法。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种运动目标检测方法,用于检测视频中的运动目标,其特征在于包括如下步骤:
S1、计算当前视频帧的纹理模式特征;
S2、将当前视频帧划分成小块,相邻的两行两列的四个小块合成一个大块,计算每个大块的纹理模式特征直方图,大块之间是部分重叠的,重叠的长度为小块的边长,并更新大块内的纹理模式特征背景模型;
在所述步骤S2中,根据下式更新大块的纹理模式特征背景模型:
其中是t时刻大块内的纹理模式特征背景模型,是背景模型直方图的第i个模式的统计概率,是背景模型的初始值,Nb是背景模型直方图中纹理模式的个数,是大块内t时刻的纹理模式直方图,α是背景模型的学习率;
S3、根据每个大块内的纹理模式特征背景模型和当前视频帧各个大块的纹理模式直方图得到每个大块在纹理特征下属于背景的概率,进而在重叠小块求平均得到每个小块在纹理特征下属于背景的概率;
所述步骤S3包括:
步骤S3.1、根据下式计算每个大块在纹理特征下属于背景的概率:
其中
是每个大块在纹理特征下属于背景的概率,Hs(i)是当前大块的纹理模式直方图第i个模式的对应的值,也就是第i个纹理模式特征值在该大块中出现的概率;
步骤S3.2、根据下式计算每个小块在纹理特征下属于背景的概率:
其中是小块在纹理特征下属于背景的概率,n是该小块属于的大块的个数,是该小块属于的第i个大块,每个小块在纹理特征下属于背景的概率等于它所属于的大块在纹理特征下属于背景的概率的均值;
S4、根据当前视频帧的颜色信息更新当前主背景图像;
所述步骤S4包括:
步骤S4.1、根据下式更新当前主背景图像:
其中
是第t帧时的主背景图像,TN是当前的视频帧,β是更新率,W是更新时间窗;
S5、根据当前主背景图像和当前视频帧颜色信息得到当前视频帧和主背景图像的每个小块的颜色差异值;
S6、根据当前帧在纹理特征下每个小块属于背景的概率以及每个小块和主背景图像的颜色差异判断每个小块是否属于背景;
S7、根据步骤S6对于前景和背景的判断结果,分割出属于运动目标的前景块,输出运动目标检测结果。
2.如权利要求1所述的运动目标检测方法,其特征在于,所述步骤S1包括:
步骤S1.1、计算当前视频帧的每个像素的二进制的纹理模式特征编码;
步骤S1.2、将每个像素的二进制的纹理模式特征编码转换为十进制的纹理模式特征值。
3.如权利要求1所述的运动目标检测方法,其特征在于,所述步骤S5包括:
步骤S5.1、根据下式计算当前视频帧和主背景图像每个小块每一个颜色通道的差异:
其中Dr代表r通道颜色的差异,是主背景图像的小块中第i个像素r通道的值,是当前帧的相应小块中第i个像素r通道的值,Ns是小块中像素的个数,Dg和Db同理。
4.如权利要求3所述的运动目标检测方法,其特征在于,所述步骤S5还包括:
步骤S5.2、根据下式融合所有通道得到当前视频帧和主背景图像每个小块的颜色差异值:
其中D是当前视频帧和主背景图像每个小块3个通道融合后的颜色差异值,大小在0~1之间。
5.如权利要求4所述的运动目标检测方法,其特征在于,所述步骤S6中,根据如下方式来判断每个小块是否属于背景:
其中Ts是单独用纹理模式特征判断时,背景概率的阈值,Tc是单独用颜色判断时主背景和当前帧每个小块颜色差异的阈值,ρ是大于1的尺度因子。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410328216.0A CN104077788B (zh) | 2014-07-10 | 2014-07-10 | 融合颜色和纹理信息进行块背景建模的运动目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410328216.0A CN104077788B (zh) | 2014-07-10 | 2014-07-10 | 融合颜色和纹理信息进行块背景建模的运动目标检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104077788A CN104077788A (zh) | 2014-10-01 |
CN104077788B true CN104077788B (zh) | 2017-02-15 |
Family
ID=51599029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410328216.0A Active CN104077788B (zh) | 2014-07-10 | 2014-07-10 | 融合颜色和纹理信息进行块背景建模的运动目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104077788B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104683765B (zh) * | 2015-02-04 | 2019-04-12 | 上海依图网络科技有限公司 | 一种基于移动物体侦测的视频浓缩方法 |
CN105631405B (zh) * | 2015-12-17 | 2018-12-07 | 谢寒 | 基于多级分块的交通视频智能识别背景建模方法 |
CN112907584B (zh) * | 2021-01-08 | 2022-07-19 | 昆明理工大学 | 改进mtbcd火焰图像特征提取的转炉炼钢终点碳含量预测方法 |
CN114463389B (zh) * | 2022-04-14 | 2022-07-22 | 广州联客信息科技有限公司 | 一种运动目标检测方法以及检测系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7577314B2 (en) * | 2006-04-06 | 2009-08-18 | Seiko Epson Corporation | Method and apparatus for generating a panorama background from a set of images |
CN102346854A (zh) * | 2010-08-03 | 2012-02-08 | 株式会社理光 | 前景物体检测方法和设备 |
CN103839278A (zh) * | 2014-03-05 | 2014-06-04 | 北京君正集成电路股份有限公司 | 一种前景检测方法及装置 |
-
2014
- 2014-07-10 CN CN201410328216.0A patent/CN104077788B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7577314B2 (en) * | 2006-04-06 | 2009-08-18 | Seiko Epson Corporation | Method and apparatus for generating a panorama background from a set of images |
CN102346854A (zh) * | 2010-08-03 | 2012-02-08 | 株式会社理光 | 前景物体检测方法和设备 |
CN103839278A (zh) * | 2014-03-05 | 2014-06-04 | 北京君正集成电路股份有限公司 | 一种前景检测方法及装置 |
Non-Patent Citations (5)
Title |
---|
A Texture-based Method for Detecting Moving Objects;M. Heikkilla 等;《BMVC》;20041231;摘要,正文第3.2节,图3 * |
Multi-scale Fusion of Texture and Color for Background Modeling;Zhong Zhang 等;《2012 IEEE Ninth International Conference on Advanced Video and Signal-Based Surveillance》;20121231;正文第Ⅱ节,第Ⅲ节第A、B部分,第Ⅴ节,图3 * |
ROBUST OBJECT TRACKING USING JOINT COLOR-TEXTURE HISTOGRAM;JIFENG NING 等;《International Journal of Pattern Recognition》;20091231;第23卷(第7期);1245-1263 * |
一种融合纹理和颜色信息的背景建模方法;王吉文 等;《宁波大学学报(理工版)》;20130131;第26卷(第1期);43-47 * |
基于纹理特征和颜色特征相融合的背景建模方法;贾永华 等;《中国公共安全(综合版)》;20111231(第4期);正文背景建模:纹理模型和颜色模型(3)模型更新部分 * |
Also Published As
Publication number | Publication date |
---|---|
CN104077788A (zh) | 2014-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101729872B (zh) | 一种基于视频监控图像自动判别道路交通状态的方法 | |
CN110688987A (zh) | 一种行人位置检测与跟踪方法及系统 | |
CN107204006A (zh) | 一种基于双背景差分的静止目标检测方法 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN109753949B (zh) | 一种基于深度学习的多视窗交通标志检测方法 | |
CN109447018A (zh) | 一种基于改进Faster R-CNN的道路环境视觉感知方法 | |
CN102289948A (zh) | 高速公路场景下一种多特征融合的多车辆视频跟踪方法 | |
CN105678218B (zh) | 一种移动物体分类的方法 | |
CN104077788B (zh) | 融合颜色和纹理信息进行块背景建模的运动目标检测方法 | |
CN106096542A (zh) | 基于距离预测信息的图像视频场景识别方法 | |
CN103035013A (zh) | 一种基于多特征融合的精确运动阴影检测方法 | |
CN107292297A (zh) | 一种基于深度学习和重叠率跟踪的视频车流量检测方法 | |
CN103810703B (zh) | 一种基于图像处理的隧道视频运动目标检测方法 | |
CN109919053A (zh) | 一种基于监控视频的深度学习车辆停车检测方法 | |
CN108985169A (zh) | 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法 | |
CN103577875A (zh) | 一种基于fast的计算机辅助cad人数统计方法 | |
Zhang et al. | APLCNet: Automatic pixel-level crack detection network based on instance segmentation | |
CN104599291B (zh) | 基于结构相似度和显著性分析的红外运动目标检测方法 | |
CN103488993A (zh) | 一种基于fast的人群异常行为识别方法 | |
CN105069816B (zh) | 一种进出口人流量统计的方法及系统 | |
CN106204594A (zh) | 一种基于视频图像的弥散性运动物体的方向检测方法 | |
CN106023249A (zh) | 一种基于局部二值相似性模式的运动目标检测方法 | |
CN106683062B (zh) | 一种静止摄像机下的基于ViBe的运动目标检测方法 | |
CN112258525B (zh) | 一种基于鸟类高帧频序列图像丰度统计和种群识别算法 | |
CN103489012A (zh) | 一种基于支持向量机的人群密集度检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C53 | Correction of patent for invention or patent application | ||
CB03 | Change of inventor or designer information |
Inventor after: Liao Shengcai Inventor after: Zhu Jianfei Inventor after: Li Ziqing Inventor before: Liao Shengcai Inventor before: Zhu Jianfei Inventor before: Li Ziqing |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |