CN106097366A - 一种基于改进的Codebook前景检测的图像处理方法 - Google Patents
一种基于改进的Codebook前景检测的图像处理方法 Download PDFInfo
- Publication number
- CN106097366A CN106097366A CN201610452894.7A CN201610452894A CN106097366A CN 106097366 A CN106097366 A CN 106097366A CN 201610452894 A CN201610452894 A CN 201610452894A CN 106097366 A CN106097366 A CN 106097366A
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- codebook
- color
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 30
- 239000013598 vector Substances 0.000 claims description 51
- 230000009466 transformation Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- DNXHEGUUPJUMQT-CBZIJGRNSA-N Estrone Chemical compound OC1=CC=C2[C@H]3CC[C@](C)(C(CC4)=O)[C@@H]4[C@@H]3CCC2=C1 DNXHEGUUPJUMQT-CBZIJGRNSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于改进的Codebook前景检测的图像处理方法,其特征在于,包括步骤如下:将RGB颜色空间转换为YCbCr颜色空间;改进Codebook前景检测算法;应用改进的Codebook算法进行前景检测。采用本发明的方法能够很好地进行前景检测,区分前景与背景的同时,降低了光照变化对检测的影响,降低了内存的消耗,提高了性能。
Description
技术领域
本发明属于图像处理技术领域,具体指代一种基于改进的Codebook前景检测的图像处理方法。
背景技术
随着科学技术的快速发展,智能视频监控技术在各个领域得到越来越广泛的应用。该技术涉及有运动检测、目标分类和识别、目标跟踪以及行为理解与描述等方面。其中,目标检测是目标分类和识别等后续处理的前提,其结果的好坏将直接影响监控系统的有效性,是智能监控系统的重要组成部分。
当前,目标检测的方法很多,大多采用相邻帧差法、光流法、背景减法以及混合方法,如将“自适应减法”与“相邻帧差法”相结合等。这些方法在一定程度上都能检测到运动目标,将前景与背景进行分离。但是,在目标检测的过程中,由于环境光照的变化,运动物体的阴影,运动速度,图像噪声等因素影响,会对前景和背景的检测识别造成干扰。有关前景检测问题,国内外学者进行了大量的研究,以下各举一例予以说明。
2008年,杨涛,李静等人提出了一种基于多层背景模型的前景检测算法。将背景分为参考背景和动态背景两层,分别采用单高斯和混合高斯模型进行背景建模。在线检测时采用动态背景提取变化前景,用动态背景与参考背景之间高斯分布的差异提取静止前景,同时,通过逐层分析、比较输入像素与两层背景模型分布的相互关系,快速消除“鬼影”,降低虚警。该多层背景模型具有良好的检测性能与实时性。但是在建模过程中,会消耗大量内存,且时间复杂度较高,是需要改进和完善的地方。[杨涛李静等.一种基于多层背景模型的前景检测算法[J].中国图象图形学报,2008,13(7):1303-1308.]
同年,Ko T,Soatto S等建立了一种背景模型分离算法。该算法分析图像随时间变化的强度和图象颜色分布情况。图像分布的标志对于检测背景的运动并不敏感。与此同时,在前景检测目标过程中,该方法比单独的像素统计方法具有更高的鲁棒性。该方法还支持背景的缓慢更新,这在视频监控应用程序中至关重要。此外,该方法可以并行运行,使得该方法可以很好地嵌入到处理程序中运行,且该方法的实施并不依赖于较高的采用率,而是在光流与动态纹理识别的基础上自行调节采样频率;但该方法不能很好的处理光线变化对检测结果的影响,需要进一步改进。[Ko T,Soatto S,Estrin D.Background subtractionon distributions.In:Proceedings of European conference on computer vision,Marseille,France,2008.p.276–89.]
Codebook是目前普遍采用的前景检测算法,它能够根据每个像素的时间序列模型,较准确的进行前景检测,但是其内存消耗相当大。
发明内容
针对于上述现有技术的不足,本发明的目的在于提供一种基于改进的Codebook前景检测的图像处理方法,以解决现有技术中在前景检测时,存在干扰因素的问题,采用本发明的方法能够很好地进行前景检测,区分前景与背景的同时,降低了光照变化对检测的影响,降低了内存的消耗,提高了性能。
为达到上述目的,本发明的一种基于改进的Codebook前景检测的图像处理方法,包括步骤如下:
1)将RGB颜色空间转换为YCbCr颜色空间;
2)改进Codebook前景检测算法;
3)应用改进的Codebook算法进行前景检测。
优选地,上述步骤1)中YCbCr颜色空间与RGB颜色空间存在一种线性变换关系转换关系公式为:
即:
Y=0.257×R+0.564×G+0.098×B+16
Cb=-0.148×R-0.291×G+0.439×B+128 (2)
Cr=0.439×R-0.368×G-0.071×B+128
其中,Y为亮度,Cb为蓝色色度分量,Cr为红色色度分量,亮度分量Y与色度分量Cb、Cr相互独立。
优选地,上述的对图像进行分段线性色彩变换具体包括:YCbCr是由RGB线性变化得到的,其亮度分量并不完全独立于色度信息存在,颜色聚类区域随着Y的不同而呈分段线性变化的趋势,在进行前景检测之前,需要对图像进行分段线性色彩变幻,如公式(3):
其中,i=b或r;Ci(Y)为变换后的色彩分类;和是聚类区域的中轴线;和为聚类区域宽度;为常量,Kl和Kh为常数,是非线性 分段变换的分段阈值,Kl=125,Kh=188;
经过分段色彩变换后,将其投影到二维子空间,得到颜色聚类模型,对于色度分量Cb和Cr,得到像素值的色差值向量γ=(Cb,Cr),在二维的Cb-Cr子平面中判别前景的聚类情况;
设X为单个像素的训练序列,它包含N个RGB向量,X={x1,x2,...,xN},通过上述公式(1),将RGB向量转换成YCbCr向量Y,Y={y1,y2,...,yN};C为此像素含有L个码字的Codebook,C={c1,c2,...cL},每个码字ci(i=1,2,...,L)包含一个YCbCr向量和一个六元祖auyi={Yi min,Yi max,fi,λi,mi,ni};其中,Yi min为码字的像素亮度最小值、Yi max为码字的像素亮度最大值、fi为码字出现的频数、λi为码字的最大消极时间,即训练期间码字被访问到的最大周期、mi为码字第一次被访问的时间、ni为码字最后一次被访问的时间。
优选地,上述的马氏距离计算色度分量的色差值具体包括:在Codebook的训练过程中,设YCbCr颜色空间中输入像素点由于马氏距离不受量纲的影响,两点之间的马氏距离与输入原始数据的测量单位无关,在总体样本的基础上,由协方差矩阵的逆矩阵及样本均值来决定,马氏距离排除了变量之间相关性的干扰;因此,采用马氏距离方法表示色度分量Cb和Cr间的色差值;计算公式如(4):
d(yt)=(γt-μ)T·Σ-1(γt-μ) (4)
其中,为样本均值向量,为样本的协方差矩阵;γt为当前输入像素点的色度差向量,γi为某一码字ci的色度差向量,N为向量个数;
在时刻t采样所得的码字为yt与当前码字元素作比较,确定哪个码字元素cm与之相匹配,输入像素点其色度差向量为γt=(Cbt,Crt)和一个码字ci,并且其色度差向量为γi=(Cbi,Cri),采用颜色失真度与亮度作为选择标准;下面给出定义,根据马氏距离有如下等式成立:
D(yt)表示输入像素点色度差向量与样本均值向量间的马氏距离;
D(vi)表示某一码字色度差向量与样本均值向量间的马氏距离;
D(yt,vi)表示两个色度差向量之间的马氏距离;
则,颜色失真度δ可由下式计算得到:
其中,θ表示为输入向量在YCbCry颜色空间投影的夹角,q为向量投影长度;
亮度边界则定义为:
其中,Y为像素亮度,分别为亮度最小值与最大值,[Ylow,Yhigh]为该像素马氏距离的稳定区间。
优选地,上述的随机抛弃值方法筛选码字具体包括:假设当前训练图像I中某一像素为I(x,y),同时记前景阈值的增长判定阈值为Bounds;
步骤a:遍历每个CW,判断是否满足ILow≤I(x,y)≤IHigh,若不满足,则进入步骤b,若满足则进入步骤c;
步骤b:创建新码字CWnew加入CB,赋I(x,y)值,判断是否满足:
ILow<-I(x,y)-Bounds
若不满足则进入步骤c,若满足则进入步骤e;
步骤c:更新该码字的t_last;
步骤d:更新码字的学习上下界;
步骤e:更新DB中每个CW的stale,当t=t+1则重复步骤a;
其中,CW为码字,CW={IHigh,ILow,max,min,t_last,stale};CWnew为新的码字;I(x,y)为像素值;CB为一个Codebook结构,CB={CW1,CW2,...CWn,t};n为一个CB中所包含的CW的数目,当n较小时,退化为简单背景,当n较大时可以对复杂背景进行建模;t为CB更新的次数;IHigh为更新时的学习上界;ILow为更新时的学习下界;max为记录当前像素的最大值;min为记录当前像素的最小值;t_last为上次更新的时间;stale为陈旧时间,用来删除很少使用的CodeWord。
优选地,上述步骤3)具体包括:使用已建立好的CB进行运动目标检测,记判断前景的 范围上下界为minMod和maxMod,对于当前待检测图像上的某一像素I(x,y),遍历它对应像素背景模型CB中的每一个码字CW,若存在一个CW,使得:
I(x,y)<max+maxMod,
并且,I(x,y)>min-minMod,
则I(x,y)被判断为背景,否则被判断为前景;
在对CB更新的同时,需要对CB进行时间滤波,除掉被访问次数较少的CW;采用的方法是随机抛弃值法,记录每一个CW第一次被访问的时间mi和最后一次被访问的时间ni,计算得出其被访问的时间段ti=ni-mi,并计算其平均值;同时设定该时间段的最小阈值MINth和最大阈值MAXth;更新时,计算被访问时间段的平均值avgt和抛弃概率p;采用指数加权平均方法,计算公式如(11)、(12)所示:
avgt=(1-w)*avgt+w*t (11)
其中,t为该码字被访问的时间长度,avgt为所有码字被访问时间长度的平均值,w为计算式设定的权重值,pmax是最大抛弃概率;
若avgt<MINth,保留;若MINth<avgt<MAXth,则计算概率p,并以此概率随机抛弃;若avgt>MAXth,则全部抛弃。
本发明的有益效果:
1、将GRB颜色空间转换为YCbCr颜色空间,使色度更加收敛,并且减少光线变化对颜色的影响,具有良好的准确性与鲁棒性。
2、采用马氏距离的方法表示色度分量Cb和Cr间的色度差,以排除变量之间相关性的干扰;同时,定义颜色失真度与亮度作为寻找输入像素点中匹配码字的选择标准,对采样所得码字进行匹配,从而对像素的码字进行更新。
3、采用随机抛弃值的方法对码字进行筛选,以增强算法的自适应性,进而达到降低内存消耗,提高算法运行效率的目的。
附图说明
图1为本发明的方法步骤流程图。
图2为像素的CB的更新算法流程图。
图3a为黑白图像45帧示意图。
图3b为图3a检测图。
图3c为黑白图像65帧示意图。
图3d为图3c检测图。
图4a为红外图像45帧示意图。
图4b为图4a的检测图。
图4c为红外图像50帧示意图。
图4d为图4c的检测图。
图4e为红外图像55帧示意图。
图4f为图4e的检测图。
图4g为红外图像60帧示意图。
图4h为图4g的检测图。
具体实施方式
为了便于本领域技术人员的理解,下面结合实施例与附图对本发明作进一步的说明,实施方式提及的内容并非对本发明的限定。
参照图1所示,本发明的一种基于改进的Codebook前景检测的图像处理方法,包括步骤如下:
步骤1:将RGB颜色空间转换为YCbCr颜色空间;
在RGB颜色空间中,R、G、B三个分量之间的相关性很高,这就会导致,对于同一颜色属性,在不同光照条件下,R、G、B的值会很分散,会导致在识别某种特定颜色的过程中,很难确定其阈值和其在颜色空间中的分布范围。所以为了避免此现象的发生,需要对RGB进行转换。
YCbCr颜色空间由亮度Y,蓝色色度分量Cb和红色色度分量Cr组成,主要用于优化彩色视频信号的传输,亮度分量Y与色度分量Cb、Cr相互独立,并且YCbCr颜色空间与RGB颜色空间存在一种线性变换关系,其转换关系如公式(1)、(2)所示,由于在不同色度下,YCbCr空间内亮度范围的变化量很大,而色度范围的变化量很小,这样会有利于光照变化图像的处理,因此选择YCbCr颜色空间;
即:
Y=0.257×R+0.564×G+0.098×B+16
Cb=-0.148×R-0.291×G+0.439×B+128 (2)
Cr=0.439×R-0.368×G-0.071×B+128
其中,Y为亮度,Cb为蓝色色度分量,Cr为红色色度分量,亮度分量Y与色度分量Cb、Cr相互独立。
步骤2:改进Codebook前景检测算法
(1)Codebook算法的思想是分别对每个像素或一组像素确定一个时间序列模型,根据每个像素的时间序列模型确定当前背景对应像素位置的值,能够很好地处理时间起伏,从而可以适应在准周期运动的变化场景的背景。在构建背景时观察每个像素的值在一定时间内的情况,得到时间——像素值曲线,将之量化成码,是基于一段视频序列背景模型的压缩形式。
Codebook算法的原理是为当前图像的每一个像素建立一个Codebook(CB)结构,而每个Codebook结构又由多个CodeWord(CW)组成。CB和CW的形式如下:
CB={CW1,CW2,...CWn,t}
CW={IHigh,ILow,max,min,t_last,stale}
n:一个CB中所包含的CW的数目,当n较小时,退化为简单背景,当n较大时可以对复杂背景进行建模;
t:CB更新的次数;
IHigh:更新时的学习上界;
ILow:更新时的学习下界;
max:记录当前像素的最大值;
min:记录当前像素的最小值;
t_last:上次更新的时间;
stale:陈旧时间(记录该CW多久未被访问),用来删除很少使用的CodeWord。
(2)设计码字更新算法,对码字进行更新
A、对图像进行分段线性色彩变换
由于YCbCr是由RGB线性变化得到的,其亮度分量并不完全独立于色度信息存在,颜色聚类区域随着Y的不同而呈分段线性变化的趋势。所以在进行前景检测之前,需要对图像进行分段线性色彩变幻,如公式(3)所示:
其中,i=b或r;Ci(Y)为变换后的色彩分类;和是聚类区域的中轴线;和为聚类区域宽度;为常量,Kl和Kh为常数,是非线性分段变换的分段阈值,Kl=125,Kh=188;
经过分段色彩变换后,将其投影到二维子空间,得到颜色聚类模型,对于色度分量Cb和Cr,得到像素值的色差值向量γ=(Cb,Cr),在二维的Cb-Cr子平面中判别前景的聚类情况。
设X为单个像素的训练序列,它包含N个RGB向量,X={x1,x2,...,xN},通过公式(1),将RGB向量转换成YCbCr向量Y,Y={y1,y2,...,yN};C为此像素含有L个码字的Codebook,C={c1,c2,...cL}。每个码字ci(i=1,2,...,L)包含一个YCbCr向量和一个六元祖auyi={Yi min,Yi max,fi,λi,mi,ni}。
Yi min:码字的像素亮度最小值;
Yi max:码字的像素亮度最大值;
fi:码字出现的频数;
λi:码字的最大消极时间,即训练期间码字被访问到的最大周期;
mi:码字第一次被访问的时间;
ni:码字最后一次被访问的时间。
B、马氏距离计算色度分量的色差值
在Codebook的训练过程中,设YCbCr颜色空间中输入像素点由于马氏距离不受量纲的影响,两点之间的马氏距离与输入原始数据的测量单位无关,在总体样本的基础上,由协方差矩阵的逆矩阵及样本均值来决定,关键是马氏距离排除了变量之间相关性的干扰。因此,采用马氏距离方法表示色度分量Cb和Cr间的色差值,计算公式如(4)所示:
d(yt)=(γt-μ)T·Σ-1(γt-μ) (4)
其中,为样本均值向量,为样本的协方差矩阵;γt为当前输入像素点的色度差向量,γi为某一码字ci的色度差向量,N为向量个数。
在时刻t采样所得的码字为yt与当前码字元素作比较,确定哪个码字元素cm与之相匹配。输入像素点其色度差向量为γt=(Cbt,Crt)和一个码字ci,并且其色度差向量为γi=(Cbi,Cri);采用颜色失真度与亮度作为选择标准;下面给出定义:
根据马氏距离有如下等式成立:
D(yt)表示输入像素点色度差向量与样本均值向量间的马氏距离;
D(vi)表示某一码字色度差向量与样本均值向量间的马氏距离;
D(yt,vi)表示两个色度差向量之间的马氏距离;
则,颜色失真度δ可由下式计算得到:
其中,θ表示为输入向量在YCbCry颜色空间投影的夹角,q为向量投影长度;
亮度边界则定义为:
其中,Y为像素亮度,分别为亮度最小值与最大值,[Ylow,Yhigh]为该像素马氏距离的稳定区间。
C、随机抛弃值方法筛选码字
参照图2,假设当前训练图像I中某一像素为I(x,y),同时记前景阈值的增长判定阈值为Bounds;
步骤a:遍历每个CW,判断是否满足ILow≤I(x,y)≤IHigh,若不满足,则进入步骤b,若满足则进入步骤c;
步骤b:创建新码字CWnew加入CB,赋I(x,y)值,判断是否满足:
ILow<-I(x,y)-Bounds
若不满足则进入步骤c,若满足则进入步骤e;
步骤c:更新该码字的t_last;
步骤d:更新码字的学习上下界;
步骤e:更新DB中每个CW的stale,当t=t+1则重复步骤a;
其中,CW为码字,CW={IHigh,ILow,max,min,t_last,stale};CWnew为新的码字;I(x,y)为像素值;CB为一个Codebook结构,CB={CW1,CW2,...CWn,t};n为一个CB中所包含的CW的数目,当n较小时,退化为简单背景,当n较大时可以对复杂背景进行建模;t为CB更新的次数;IHigh为更新时的学习上界;ILow为更新时的学习下界;max为记录当前像素的最大值;min为记录当前像素的最小值;t_last为上次更新的时间;stale为陈旧时间,用来删除很少使用的CodeWord。
步骤3:应用改进的Codebook算法前景检测方法
使用已建立好的CB进行运动目标检测,记判断前景的范围上下界为minMod和maxMod,对于当前待检测图像上的某一像素I(x,y),遍历它对应像素背景模型CB中的每一个码字CW,若存在一个CW,使得:
I(x,y)<max+maxMod,
并且,I(x,y)>min-minMod,
则I(x,y)被判断为背景,否则被判断为前景。
在对CB更新的同时,需要对CB进行时间滤波,其目的是除掉被访问次数较少的CW。采用的方法是随机抛弃值法,记录每一个CW第一次被访问的时间mi和最后一次被访问的时间ni,计算得出其被访问的时间段ti=ni-mi,并计算其平均值;同时设定该时间段的最小阈值MINth和最大阈值MAXth。更新时,计算被访问时间段的平均值avgt和抛弃概率p;采用指数加权平均方法,计算公式如(11)、(12)所示:
avgt=(1-w)*avgt+w*t (11)
其中,t为该码字被访问的时间长度,avgt为所有码字被访问时间长度的平均值,w为计算式设定的权重值,pmax是最大抛弃概率。
若avgt<MINth,保留;若MINth<avgt<MAXth,则计算概率p,并以此概率随机抛弃;若avgt>MAXth,则全部抛弃。采用这种方法,可以增强算法的自适应性。同时,降低内存消耗,提高计算效率;因此,该方法具有更高的准确性和鲁棒性。
Codebook算法的主要步骤:
I.令L←01,(空集);
II.for t=1to N do
i.yt=(Y,Cb,Cr),
ii.在集合C={ci|1≤i≤L}中寻找与yt相匹配的码字cm,匹配条件如下:
(1)颜色失真度colordist(yt,νm)≤ε1, (13)
(2)亮度边界
iii.如果或者没有找到匹配的码字,则L←L+1,创建一个新的码字cL:
νL←(Y,Cb,Cr),auyL←<I,I,1,t-1,t,t>
iv.否则,更新匹配的码字cm,包括:
将它们更新为:
end for
III.对于每一个码字ci(i=1,2,...,L),调整λi,使λi←max{λi,(N-ni+mi-1)}。
举例说明:
分别以黑白图像与红外图形为例,应用改进的Codebook算法对其进行前景检测,观察并分析检测效果,以验证该方法的有效性与可行性。
(1)黑白图像
在实验室中拍摄一段测试视频,视频分辨率为640*480,包括动态的手指运动。通过对该视频进行测试,截取视频中的两帧进行前景检测。如图3a-图3d所示。
(2)红外图像
从视频监控中截取4帧,显示一个行走的人。对该图像进行前景检测,观察并分析检测结果。如图4a-图4h所示。
(3)结果分析
首先,将检测结果与背景差分算法、混合高斯模型算法的检测结果进行对比。背景差分法算法简单易于实现,能够比较快速但对光照、天气变化以及突发事件等外部动态场景变化极其敏感,不能很好的适应变化场景;混合高斯模型算法可以解决像素多峰分布的问题,同时克服了光照变化等造成的影响。但每个高斯模型对应着场景的一个状态,固定高斯分布的个数会产生多余的高斯分布,造成系统资源的大量浪费。此外,该算法更新速度过慢,不能实时的反应实际背景的变化,当静止的物体缓慢运动时会不断移出背景,检测结果就会出现“鬼影”或者拖影。本发明的方法可以使得运动目标的提取不受背景、光线变化、阴影、运动速度等因素的影响,更好地实现目标检测,此外,本发明的算法更新速度快,具有较高的运行效率。
其次,比较算法的运行效率。通过“平均每帧耗时”体现算法的运行时间,各算法的运行时间如表1所示。
表1平均每帧耗时
通过观察表1可以得出,本发明的算法平均每帧耗时最小,算法的运行效率高,其次是背景差分法,运行效率最差的是混合高斯法,很大程度上取决于该模型中高斯分布的个数。
本发明具体应用途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。
Claims (7)
1.一种基于改进的Codebook前景检测的图像处理方法,其特征在于,包括步骤如下:
1)将RGB颜色空间转换为YCbCr颜色空间;
2)改进Codebook前景检测算法;
3)应用改进的Codebook算法进行前景检测。
2.根据权利要求1所述的基于改进的Codebook前景检测的图像处理方法,其特征在于,上述步骤1)中YCbCr颜色空间与RGB颜色空间存在一种线性变换关系转换关系公式为:
即:
其中,Y为亮度,Cb为蓝色色度分量,Cr为红色色度分量,亮度分量Y与色度分量Cb、Cr相互独立。
3.根据权利要求1所述的基于改进的Codebook前景检测的图像处理方法,其特征在于,上述步骤2)具体包括:对图像进行分段线性色彩变换;马氏距离计算色度分量的色差值;随机抛弃值方法筛选码字。
4.根据权利要求3所述的基于改进的Codebook前景检测的图像处理方法,其特征在于,上述的对图像进行分段线性色彩变换具体包括:YCbCr是由RGB线性变化得到的,其亮度分量并不完全独立于色度信息存在,颜色聚类区域随着Y的不同而呈分段线性变化的趋势,在进行前景检测之前,需要对图像进行分段线性色彩变幻,如公式(3):
其中,i=b或r;Ci(Y)为变换后的色彩分类;和是聚类区域的中轴线; 和为聚类区域宽度;为常量,Kl和Kh为常数,是非线性分段变换的分段阈值,Kl=125,Kh=188;
经过分段色彩变换后,将其投影到二维子空间,得到颜色聚类模型,对于色度分量Cb和Cr,得到像素值的色差值向量γ=(Cb,Cr),在二维的Cb-Cr子平面中判别前景的聚类情况;
设X为单个像素的训练序列,它包含N个RGB向量,X={x1,x2,...,xN},通过上述公式(1),将RGB向量转换成YCbCr向量Y,Y={y1,y2,...,yN};C为此像素含有L个码字的Codebook,C={c1,c2,...cL},每个码字ci(i=1,2,...,L)包含一个YCbCr向量和一个六元祖auyi={Yi min,Yi max,fi,λi,mi,ni};其中,Yi min为码字的像素亮度最小值、Yi max为码字的像素亮度最大值、fi为码字出现的频数、λi为码字的最大消极时间,即训练期间码字被访问到的最大周期、mi为码字第一次被访问的时间、ni为码字最后一次被访问的时间。
5.根据权利要求3所述的基于改进的Codebook前景检测的图像处理方法,其特征在于,上述的马氏距离计算色度分量的色差值具体包括:在Codebook的训练过程中,设YCbCr颜色空间中输入像素点由于马氏距离不受量纲的影响,两点之间的马氏距离与输入原始数据的测量单位无关,在总体样本的基础上,由协方差矩阵的逆矩阵及样本均值来决定,马氏距离排除了变量之间相关性的干扰;因此,采用马氏距离方法表示色度分量Cb和Cr间的色差值;计算公式如(4):
d(yt)=(γt-μ)T·Σ-1(γt-μ) (4)
其中,为样本均值向量,为样本的协方差矩阵,γt为当前输入像素点的色度差向量,γi为某一码字ci的色度差向量,N为向量个数;
在时刻t采样所得的码字为yt与当前码字元素作比较,确定哪个码字元素cm与之相匹配,输入像素点其色度差向量为γt=(Cbt,Crt)和一个码字ci,并且其色度差向量为γi=(Cbi,Cri),采用颜色失真度与亮度作为选择标准;下面给出定义,根据马氏距离有如下等式成立:
D(yt)表示输入像素点色度差向量与样本均值向量间的马氏距离;
D(vi)表示某一码字色度差向量与样本均值向量间的马氏距离;
D(yt,vi)表示两个色度差向量之间的马氏距离;
则,颜色失真度δ可由下式计算得到:
其中,θ表示为输入向量在YCbCry颜色空间投影的夹角,q为向量投影长度;
亮度边界则定义为:
其中,Y为像素亮度,分别为亮度最小值与最大值,[Ylow,Yhigh]为该像素马氏距离的稳定区间。
6.根据权利要求3所述的基于改进的Codebook前景检测的图像处理方法,其特征在于,上述的随机抛弃值方法筛选码字具体包括:假设当前训练图像I中某一像素为I(x,y),同时记前景阈值的增长判定阈值为Bounds;
步骤a:遍历每个CW,判断是否满足ILow≤I(x,y)≤IHigh,若不满足,则进入步骤b,若满足则进入步骤c;
步骤b:创建新码字CWnew加入CB,赋I(x,y)值,判断是否满足:
ILow<-I(x,y)-Bounds
若不满足则进入步骤c,若满足则进入步骤e;
步骤c:更新该码字的t_last;
步骤d:更新码字的学习上下界;
步骤e:更新DB中每个CW的stale,当t=t+1则重复步骤a;
其中,CW为码字,CW={IHigh,ILow,max,min,t_last,stale};CWnew为新的码字;I(x,y) 为像素值;CB为一个Codebook结构,CB={CW1,CW2,...CWn,t};n为一个CB中所包含的CW的数目,当n较小时,退化为简单背景,当n较大时可以对复杂背景进行建模;t为CB更新的次数;IHigh为更新时的学习上界;ILow为更新时的学习下界;max为记录当前像素的最大值;min为记录当前像素的最小值;t_last为上次更新的时间;stale为陈旧时间,用来删除很少使用的CodeWord。
7.根据权利要求1所述的基于改进的Codebook前景检测的图像处理方法,其特征在于,上述步骤3)具体包括:使用已建立好的CB进行运动目标检测,记判断前景的范围上下界为min Mod和max Mod,对于当前待检测图像上的某一像素I(x,y),遍历它对应像素背景模型CB中的每一个码字CW,若存在一个CW,使得:
I(x,y)<max+max Mod,
并且,I(x,y)>min-min Mod,
则I(x,y)被判断为背景,否则被判断为前景;
在对CB更新的同时,需要对CB进行时间滤波,除掉被访问次数较少的CW;采用的方法是随机抛弃值法,记录每一个CW第一次被访问的时间mi和最后一次被访问的时间ni,计算得出其被访问的时间段ti=ni-mi,并计算其平均值;同时设定该时间段的最小阈值MINth和最大阈值MAXth;更新时,计算被访问时间段的平均值avgt和抛弃概率p;采用指数加权平均方法,计算公式如(11)、(12)所示:
avgt=(1-w)*avgt+w*t (11)
其中,t为该码字被访问的时间长度,avgt为所有码字被访问时间长度的平均值,w为计算式设定的权重值,pmax是最大抛弃概率;
若avgt<MINth,保留;若MINth<avgt<MAXth,则计算概率p,并以此概率随机抛弃;若avgt>MAXth,则全部抛弃。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2016101741594 | 2016-03-24 | ||
CN201610174159 | 2016-03-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106097366A true CN106097366A (zh) | 2016-11-09 |
CN106097366B CN106097366B (zh) | 2019-04-19 |
Family
ID=57238341
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610452894.7A Active CN106097366B (zh) | 2016-03-24 | 2016-06-21 | 一种基于改进的Codebook前景检测的图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106097366B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106845455A (zh) * | 2017-03-01 | 2017-06-13 | 中国科学院上海高等研究院 | 基于肤色检测的图像处理方法、系统及服务器 |
CN107220586A (zh) * | 2017-04-10 | 2017-09-29 | 湖州美伦信息科技有限公司 | 视频前景图像提取方法及装置 |
CN107742316A (zh) * | 2016-12-13 | 2018-02-27 | 腾讯科技(深圳)有限公司 | 图像拼接点获取方法及获取装置 |
CN109035254A (zh) * | 2018-09-11 | 2018-12-18 | 中国水产科学研究院渔业机械仪器研究所 | 基于改进K-means聚类的运动鱼体阴影去除及图像分割方法 |
CN110188680A (zh) * | 2019-05-29 | 2019-08-30 | 南京林业大学 | 基于因子迭代的茶树嫩芽智能识别方法 |
CN110827287A (zh) * | 2018-08-14 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 确定背景色置信度和图像处理的方法、装置及设备 |
CN111160099A (zh) * | 2019-11-28 | 2020-05-15 | 福建省星云大数据应用服务有限公司 | 一种视频图像目标的智能化分割方法 |
CN111626188A (zh) * | 2020-05-26 | 2020-09-04 | 西南大学 | 一种室内不可控明火监测方法及系统 |
CN113923430A (zh) * | 2020-04-15 | 2022-01-11 | 深圳市瑞立视多媒体科技有限公司 | 基于高清视频的实时抠像方法、装置、设备及存储介质 |
CN117949034A (zh) * | 2023-12-12 | 2024-04-30 | 江苏泰迪智能科技有限公司 | 基于数据分析的线激光测试台操作环境监管系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578119A (zh) * | 2013-10-31 | 2014-02-12 | 苏州大学 | 基于超像素的Codebook动态场景中目标检测方法 |
CN104134218A (zh) * | 2014-07-29 | 2014-11-05 | 山东大学 | 一种基于分层匹配五元组Codebook的运动目标检测方法 |
-
2016
- 2016-06-21 CN CN201610452894.7A patent/CN106097366B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103578119A (zh) * | 2013-10-31 | 2014-02-12 | 苏州大学 | 基于超像素的Codebook动态场景中目标检测方法 |
CN104134218A (zh) * | 2014-07-29 | 2014-11-05 | 山东大学 | 一种基于分层匹配五元组Codebook的运动目标检测方法 |
Non-Patent Citations (5)
Title |
---|
刘翔 等: "《改进的基于码本模型目标检测算法》", 《液晶与显示》 * |
张振 等: "《一种改进码本的运动目标检测方法》", 《信息技术》 * |
徐成 等: "《一种基于改进码本模型的快速运动检测算法》", 《计算机研究与发展》 * |
赵玉吉 等: "《基于改进的codebook算法的运动目标检测》", 《扬州大学学报(自然科学版)》 * |
邵良杉 等: "《基于Codebook的视频火焰识别算法》", 《计算机应用》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107742316A (zh) * | 2016-12-13 | 2018-02-27 | 腾讯科技(深圳)有限公司 | 图像拼接点获取方法及获取装置 |
CN107742316B (zh) * | 2016-12-13 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 图像拼接点获取方法及获取装置 |
CN106845455B (zh) * | 2017-03-01 | 2021-03-12 | 中国科学院上海高等研究院 | 基于肤色检测的图像处理方法、系统及服务器 |
CN106845455A (zh) * | 2017-03-01 | 2017-06-13 | 中国科学院上海高等研究院 | 基于肤色检测的图像处理方法、系统及服务器 |
CN107220586A (zh) * | 2017-04-10 | 2017-09-29 | 湖州美伦信息科技有限公司 | 视频前景图像提取方法及装置 |
CN107220586B (zh) * | 2017-04-10 | 2020-04-17 | 上海志唐健康科技有限公司 | 视频前景图像提取方法及装置 |
CN110827287A (zh) * | 2018-08-14 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 确定背景色置信度和图像处理的方法、装置及设备 |
CN110827287B (zh) * | 2018-08-14 | 2023-06-23 | 阿里巴巴(上海)有限公司 | 确定背景色置信度和图像处理的方法、装置及设备 |
CN109035254A (zh) * | 2018-09-11 | 2018-12-18 | 中国水产科学研究院渔业机械仪器研究所 | 基于改进K-means聚类的运动鱼体阴影去除及图像分割方法 |
CN110188680A (zh) * | 2019-05-29 | 2019-08-30 | 南京林业大学 | 基于因子迭代的茶树嫩芽智能识别方法 |
CN111160099A (zh) * | 2019-11-28 | 2020-05-15 | 福建省星云大数据应用服务有限公司 | 一种视频图像目标的智能化分割方法 |
CN111160099B (zh) * | 2019-11-28 | 2023-03-24 | 福建省星云大数据应用服务有限公司 | 一种视频图像目标的智能化分割方法 |
CN113923430A (zh) * | 2020-04-15 | 2022-01-11 | 深圳市瑞立视多媒体科技有限公司 | 基于高清视频的实时抠像方法、装置、设备及存储介质 |
CN111626188B (zh) * | 2020-05-26 | 2022-05-06 | 西南大学 | 一种室内不可控明火监测方法及系统 |
CN111626188A (zh) * | 2020-05-26 | 2020-09-04 | 西南大学 | 一种室内不可控明火监测方法及系统 |
CN117949034A (zh) * | 2023-12-12 | 2024-04-30 | 江苏泰迪智能科技有限公司 | 基于数据分析的线激光测试台操作环境监管系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106097366B (zh) | 2019-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106097366B (zh) | 一种基于改进的Codebook前景检测的图像处理方法 | |
CN102568005B (zh) | 一种基于混合高斯模型的运动目标检测方法 | |
CN105404847B (zh) | 一种遗留物实时检测方法 | |
EP2380111B1 (en) | Method for speeding up face detection | |
Chalidabhongse et al. | A perturbation method for evaluating background subtraction algorithms | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN107944359A (zh) | 基于视频的火焰检测方法 | |
CN106384117B (zh) | 一种车辆颜色识别方法及装置 | |
US20160155241A1 (en) | Target Detection Method and Apparatus Based On Online Training | |
CN109255326B (zh) | 一种基于多维信息特征融合的交通场景烟雾智能检测方法 | |
CN111126293A (zh) | 一种火焰和烟雾异常情况检测方法及系统 | |
CN107657619A (zh) | 一种低照度林火图像分割方法 | |
CN108711160B (zh) | 一种基于hsi增强性模型的目标分割方法 | |
CN115661720A (zh) | 一种被遮挡车辆的目标跟踪识别方法及系统 | |
US9940543B2 (en) | Control of computer vision pre-processing based on image matching using structural similarity | |
CN111985314A (zh) | 一种基于ViBe与改进LBP的烟雾检测方法 | |
CN111709305A (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
CN111708907B (zh) | 一种目标人员的查询方法、装置、设备及存储介质 | |
CN106650824B (zh) | 基于支持向量机的运动目标分类方法 | |
Shi et al. | Video-based fire detection with spatio-temporal SURF and color features | |
CN108573217B (zh) | 一种结合局部结构化信息的压缩跟踪方法 | |
KR100488014B1 (ko) | YCrCb 칼라 기반 얼굴 영역 추출 방법 | |
Yuan et al. | Color image quality assessment with multi deep convolutional networks | |
US11983853B1 (en) | Techniques for generating training data for machine learning enabled image enhancement | |
CN114463379A (zh) | 一种视频关键点的动态捕捉方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |