CN103366368B - 消除阴影和高亮噪声的双梯柱体码本前景检测方法 - Google Patents

Abstract

本发明公开了一种消除阴影和高亮噪声的双梯柱体码本前景检测方法，应用于智能视觉监控领域的前景检测。方法基于双梯柱体码本模型，颜色空间采用YUV颜色模型，记为DTCC_YUV，模型下部构造成正立的梯柱体，形成阴影检测区域；模型上部构造成倒立的梯柱体，形成高亮噪声检测区域；模型中部构造成圆柱体，形成主体背景检测区域；所述方法包括模型构建和背景减除两个阶段。本发明方法具有良好的前景检测质量，实现了较高的实时性，同时有效消除了阴影和高亮噪声的影响。

Description

消除阴影和高亮噪声的双梯柱体码本前景检测方法

技术领域

本发明的技术领域为图像理解与识别，主要应用于智能视觉监控，涉及智能视觉监控中的前景检测、阴影和高亮噪声消除及其性能评价。

背景技术

智能视觉监控利用计算机对视频图像进行智能化处理，它有别于传统监控系统主要用于视频记录的特点，把视频数据经过运动检测、目标分类、目标跟踪和行为理解等步骤，提取出高级的语义信息，把监控人员从枯燥无味的简单劳动中解放出来，实现了高层次的人工智能，在商业安防、智能交通、社会安全、军事技术等领域具有重要的应用价值和巨大的经济效益。智能视觉监控基于图像理解与识别技术，该技术涉及计算机应用、模式识别、智能信息处理等领域，综合性强，技术难度较大，目前还没有智能视觉监控系统完全成功应用于商业运行的案例，因此，其技术突破具有重大的社会、经济和应用价值。

前景检测即运动检测，其目的是检测视频流，将变化区域从背景中精确提取出来，即正确分割出运动目标区域或轮廓，这是智能视觉监控的首要问题，是视频处理和理解的关键。常用的前景检测方法包括时域差分法、背景减除法和光流场法。时域差分法将视频图像中相邻两帧或三帧图像相减实现时域微分，从而找出运动区域。该方法简单、运算量小，易于实现，但不能检测出静止或运动速度过慢的物体，对于高速运动的物体又会使得分割区域远远大于真实目标，且在多模背景情况下处理效果较差。背景减除法利用视频中的每一帧图像与事先选定的背景图像相减得到运动区域，关键在于随时间推移如何自适应更新背景估计图像，增强对场景变化和前景目标粒度的适应性，建立自适应背景模型。光流场法利用运动目标在视频图像间随着时间变化而变化的光流特性，通过计算帧间像素的位移来提取运动目标，但该方法计算复杂，效率较低。

前景检测主要针对动态背景，KaewTraKulPong等（KAEWTRAKULPONG P,BOWDENR.An improved adaptive background mixture model for real-time tracking withshadow detection[C]//Proc.of2nd European Workshp on Advanced Video-BasedSurveillance Systems.London:Kluwer Academic Publishers,2001,1:149-158.）通过增大学习率因子提高高斯混合模型在背景训练初期的学习效率，并增加检测阴影，但学习率因子不能自适应地改变。黄进等采用三维高斯混合码本模型进行前景检测，实现了较高的实时性和良好的检测质量，但存在噪声和阴影干扰问题。徐胜军等建立局部交互的区域马尔可夫随机场分割模型，提出基于局部区域能量最小化的图像分割算法，但算法需要局部交互且分割结果存在边缘带现象。Kim等（KIM K,CHALIDABHONGSE T H,HARWOOD D,etal.Real-time foreground-background segmentation using codebook model[J].Real-Time Imaging,2005,11(3):172-185.）提出的码本模型针对动态背景具有良好的检测效果，但不能消除扰动噪声、阴影和移动物体拖影的影响。Li等（LI Y,CHEN F,XU W,etal.Gaussian-Based Codebook Model for Video Background Subtraction[J].LectureNotes in Computer Science,2006,4222:762-765.)提出了一种基于高斯混合模型的码本模型，该模型匹配条件计算复杂，参数难以权衡，计算量很大，效果并不理想。

阴影消除的难点在于阴影与前景具有相同的运动特征，Gallego等采用基于区域的亮度色度失真模型消除阴影，实现增强贝叶斯前景分割，但涉及复杂的先验概率计算。Liu等提出结合运动前景区域纹理和色度属性的基于纹理、亮度、色度及其或映射准则的阴影消除算法，但效率不高。Porikli等提出一种贝叶斯学习方法以获取动态场景的背景统计信息，并采用一种圆锥体结构作为阴影分类器以消除阴影，但该方法计算复杂，效率较低。Doshi等（DOSHI A,TRIVEDI M.Hybrid cone-cylinder codebook model for foregrounddetection with shadow and highlight suppression[C]//Proc.of IEEEInternational Conference on Video and Signal Based Surveillance(AVSS'06).Sydney:IEEE,2006:19-19.）将码本模型从RGB空间转换到HSV空间进行计算，提出了HC3模型，对阴影和高亮噪声进行消除，但效果并不理想。

Kim等提出的码本模型是一种自适应背景模型，是非统计聚类模型，它为每个像素建立1个码本，每个码本对应至少1个码字，每个码字存储该像素学习过程中一段平稳（非剧烈）变化的灰度值范围，对新输入的像素值基于亮度和色度进行聚类以判断是否为前景。码本模型的优势在于：①将像素的观察值分类为码字，然后基于码字进行聚类以分割背景，很好地实现了在树枝摇摆、水面波纹、旗帜飘扬等多模动态背景条件下的检测；②减少了计算量，降低了存储空间，实验表明，对一段30帧/秒的5分钟视频，平均每个像素的码本仅需要6.5个码字；③将亮度和色度分开，简单而高效地解决了光线变化对背景分割的影响；④具有很好的自适应性，在背景分割的同时，引入缓冲码本进行背景的自适应更新。码本模型的不足包括：①在RGB颜色模型下，模型存在低亮度背景逐渐变亮时可能被误判为前景的问题；②参数难以调整，亮度范围和色度误差等先验参数需要权衡；③不能消除阴影和高亮噪声的影响；④光照变化剧烈时，检测效果不好；⑤实时性和检测质量需要进一步提高。

发明内容

消除阴影和高亮噪声的双梯柱体码本前景检测方法，采用双梯柱体码本模型，颜色空间采用YUV颜色模型，记为DTCC_YUV，模型下部构造成正立的梯柱体，形成阴影检测区域；模型上部构造成倒立的梯柱体，形成高亮噪声检测区域；模型中部构造成圆柱体，形成主体背景检测区域；所述方法包括模型构建和背景减除两个阶段：

模型构建阶段的算法步骤为

第(1)步：每个像素的码本每个码本含有的码字数L←0；

第(2)步：设t为时刻，t=1；

第(3)步：若t<=N为真，则转第(4)步；否则，转第(9)步；

第(4)步：对于像素的一个观察值x_t=(Y_t,U_t,V_t)，在码本C中基于匹配函数寻找匹配的码字c_i；

第(5)步：若码本or码本但没有找到匹配的码字，则转第(6)步；否则，转第(7)步；

第(6)步：L←L+1；创建一个新码字c_L←<Y_t,Y_t,U_t,V_t,1,t-1,t,t>；转第(8)步；

第(7)步：更新匹配的码字c_i=<Y_min,i,Y_max,i,μ_U,i,μ_V,i,f_i,λ_i,p_i,q_i>为

c_i←<min(Y_t,Y_min,i),max(Y_t,Y_max,i), f_i+1,max{λ_i,t-q_i},p_i,t>；转第(8)步；

第(8)步：t=t+1；转第(3)步；

第(9)步：针对码本C中的每个码字c_i(i=1to L)，更新码字c_i的码元λ_i←max{λ_i,N-q_i+p_i-1}，删除码元λ_i>N/2的码字c_i；

第(10)步：结束。

背景减除阶段的算法步骤为：

第(1)步：设t为时刻，t=1；

第(2)步：若t<=N为真，则转第(3)步；否则，转第(8)步；

第(3)步：对于像素的一个观察值x_t=(Y_t,U_t,V_t)，在码本C中基于匹配函数寻找匹配的码字c_i；

第(4)步：若码本or码本但没有找到匹配的码字，则转第(5)步；否则，转第(6)步；

第(5)步：像素为前景；转第(7)步；

第(6)步：像素为背景；更新匹配的码字c_i=<Y_min,i,Y_max,i,μ_U,i,μ_V,i,f_i,λ_i,p_i,q_i>为

c_i←<min(Y_t,Y_min,i),max(Y_t,Y_max,i), f_i+1,max{λ_i,t-q_i},p_i,t>；转第(7)步；

第(7)步：t=t+1；转第(2)步；

第(8)步：结束。

以上表达式中各参数和算符的意义为：

设视频中同一位置的像素在不同时刻的观察值序列：X={x₁,x₂,L,x_N}，x_t为视频t时刻的一个像素观察值。DTCC_YUV模型基于YUV颜色模型，为每个像素建立一个码本C={c₁,c₂,L,c_L}，每个码本含有L个码字c_i，码字结构设计为一个8元组：

c_i=<Y_min,i,Y_max,i,μ_U,i,μ_V,i,f_i,λ_i,p_i,q_i> (1)

式中：i为码字序号；c_i为码本中的码字；Y_min,i,Y_max,i分别为匹配码字的像素的Y分量的最小和最大值；μ_U,i,μ_V,i分别为匹配码字的像素的U、V分量的均值；f_i为匹配码字的像素的个数，即匹配成功的次数；λ_i为码字未成功匹配的最大时间间隔；p_i,q_i分别为码字第一次和最后一次成功匹配的时刻。

模型构建阶段和背景减除（前景检测）阶段码字的更新方法为：

$c_i\&LeftArrow;<\min (Y_t,Y_{\min ,i}),\max (Y_t,Y_{\max ,i}),\frac{f_i{\mathrm{\&mu;}}_{U,i}+U_t}{f_i+1},\frac{f_i{\mathrm{\&mu;}}_{V,i}+V_t}{f_i+1},f_i+1,\max \{{\mathrm{\&lambda;}}_i,t-q_i\},p_i,t>---\left(2\right)$

式中：t为时刻，该时刻待匹配像素的观察值为x_t=(Y_t,U_t,V_t)。

模型的匹配函数设计为：

式中：v_i为码字中的二维均值向量，v_i=(μ_U,i,μ_V,i)；δ为x_t在UV平面上的投影与v_i的差的模，定义为如式(4)所示；d为距离阈值，定义为如式(5)所示。

$\mathrm{\&delta;}=\sqrt{{(U_t-{\mathrm{\&mu;}}_{U,i})}^2+{(V_t-{\mathrm{\&mu;}}_{V,i})}^2}---\left(4\right)$

式中：ε为检测阈值，一般取3≤ε≤10；Y_iow=αY_max,i，α为先验参数且α<1，一般取0.4≤α≤0.7，β为先验参数且β>1，一般取1.1≤β≤1.5；γ和ζ为梯柱体斜边的

倾角，一般取2π/9≤γ≤4π/9，0≤ζ≤π/4。

为便于理解本发明的实质内容，现将其机理和模型构建过程作如下简述。

1、阴影和高亮噪声的成因及机理分析

阴影是物体部分或全部阻挡直射光源而形成的表面投影区域。从阴影产生的光学机理来看，根据Phone光照模型，物体光照强度由环境光、漫反射光和镜面反射光组成。亮度实质为能量的度量，因此，由能量关系得到的亮度关系可表述为亮度图等于照度图与反射图之积，实际处理时以颜色模型定量度量。由于YUV颜色模型将亮度与色度自然分离，较RGB颜色模型更匹配人眼感知的特性，因此，本发明采用YUV颜色模型；从阴影的几何性质来看，阴影分为本影和投影，投影可细分为全影和半影，阴影形态上相对连续且与遮挡物具有相似的轮廓。由于一般以无穷远处的太阳为点光源，因此，本发明以投影为检测对象；从阴影的颜色特征来看，阴影所投地面光照强度降低，导致对比度降低，但不改变地表和 目标的纹理、光强方向等光照特征，因此，非彩色阴影（光源为白光源且没有颜色混入目标之中时形成的阴影）亮度减小而色度没有明显变化，彩色阴影亮度减小且色度也可能发生变化（减小、不变或增大），彩色阴影的消除已成为一个极具挑战性的课题，本发明以彩色阴影为消除对象；从阴影的光谱性质来看，由于阴影的亮度只由阴影区域的辐射光线组成，反射光线被遮挡，因此亮度被压缩，梯度值相应减小，曝光时间相同时阴影区曝光强度较非阴影区弱，在频率域表现为低频信号，且信噪比低，导致阴影极易被噪声淹没，处理较困难。综上所述，阴影是局部照度太低而实际亮度图动态范围有限所导致的阴影区小信号信噪比不足引起的失真。本发明以彩色阴影的投影为检测对象，基于YUV颜色模型，针对阴影低亮度异色度的特征进行阴影消除。

高亮噪声是光照、环境等因素导致的背景亮度的异常变化区域。高亮噪声的光学机理与阴影类似，几何性质表现为不连续性和随机性，颜色特征表现为高亮度异色度，光谱性质表现为高频信号。因此，高亮噪声是局部照度太高而实际亮度图动态范围有限所导致的高亮区大信号的饱和失真。本发明以高亮噪声为检测对象，基于YUV颜色模型，针对高亮噪声高亮度异色度的特征进行噪声消除。

2、双梯柱体码本模型的构建过程

DTCC_YUV模型基于码本模型和YUV颜色模型，模型下部构造成正立的梯柱体，形成阴影检测区域；模型上部构造成倒立的梯柱体，形成高亮噪声检测区域；模型中部构造成圆柱体，形成主体背景检测区域。DTCC_YUV模型如图1所示，其中，Y_min,Y_max分别为匹配码字的像素的Y分量的最小和最大值；ε为检测阈值，一般取3≤ε≤10；Y_low=αY_max，α为先验参数且α<1，一般取0.4≤α≤0.7，β为先验参数且β>1，一般取1.1≤β≤1.5；γ和ζ为梯柱体斜边的倾角，一般取2π/9≤γ≤4π/9，0≤ζ≤π/4；x_t为视频t时刻的一个像素观察值，x_t=(Y_t,U_t,V_t)；v_i为码字中的二维均值向量，v_i=(μ_U,i,μ_V,i)；δ为x_t在UV平面上的投影与v_i的差的模；d为距离阈值。

码本模型的颜色模型是一个圆柱体结构。模型中像素的亮度定义为像素观察值向量的模，色度定义为观察值向量到均值向量的距离。当亮度和色度满足匹配条件，即观察值向量位于圆柱体内部时，像素被判定为背景像素，否则，为前景像素。由于阴影像素较背景像素具有低亮度异色度的特征，因此，在码本模型的圆柱体结构下，背景和阴影（包括彩色阴影）很可能被分别判定于圆柱体内外，从而导致检测结果中前景及其阴影共同存在，降低了检测质量；同理，高亮噪声较背景像素具有高亮度异色度的特征，在码本模型的圆柱体结构下，背景和高亮噪声很可能被分别判定于圆柱体内外，从而导致检测结果中前景和高亮噪声共同存在，降低了检测质量。

阴影、高亮噪声与前景共同存在的根本原因在于码本模型的圆柱体结构无法将具有低亮度异色度特征的阴影和具有高亮度异色度特征的高亮噪声与前景有效分割。本发明采用圆锥体结构匹配彩色阴影和 高亮噪声的特征。第一步，基于阴影低亮度的特征，模型下部构造成阴影检测区域；基于阴影异色度的特征，模型下部构造成正立的梯柱体，以适应阴影色度可能减小、不变或增大的趋势。第二步，基于噪声高亮度的特征，模型上部构造成高亮噪声检测区域；基于噪声异色度的特征，模型上部构造成倒立的梯柱体，以适应噪声色度可能减小、不变或增大的趋势。第三步，模型中部采用圆柱体结构构造成主体背景区域。最终形成基于YUV颜色模型的双梯柱体码本模型（DTCC_YUV）。

本发明具有良好的前景检测质量，实现了较高的实时性，同时有效消除了阴影和高亮噪声的影响。

附图说明

图1为DTCC_YUV模型。

图2为模型构建算法。

图3为背景减除算法。

图4为阴影检测系数曲线比较对照图。其中，图4(a)为Video1的C_SD曲线；图4(b)为Video2的C_SD曲线；图4(c)为Video3的C_SD曲线。

图5为高亮噪声检测系数曲线比较对照图。其中，图5(a)为Video1的C_HD曲线；图5(b)为Video2的C_HD曲线；图5(c)为Video3的C_HD曲线。

图6为室外白天实验中背景减除效果比较对照图。其中，图6(a)为原始图像；图6(b)为iGMM；图6(c)为CBM；图6(d)为HC3；图6(e)为GCBM；图6(f)为DTCC_YUV。

图7为室外白天实验的消除率和误检率曲线比较对照图。其中，图7(a)为阴影消除率曲线；图7(b)为高亮噪声消除率曲线；图7(c)为阴影误检率曲线；图7(d)为高亮噪声误检率曲线。

图8为室外傍晚实验中背景减除效果比较对照图。其中，图8为(a)原始图像;图8(b)为iGMM;图8(c)为CBM;图8(d)为HC3;图8(e)为GCBM;图8(f)为DTCC_YUV。

图9为室外傍晚实验的消除率和误检率曲线比较对照图。其中，图9(a)为阴影消除率曲线；图9(b)为高亮噪声消除率曲线；图9(c)为阴影误检率曲线；图9(d)为高亮噪声误检率曲线。

图10为室内实验中背景减除效果比较对照图。其中，图10(a)为原始图像；图10(b)为iGMM；图10(c)为CBM；图10(d)为HC3；图10(e)为GCBM；图10(f)为DTCC_YUV。

图11为室内实验的消除率和误检率曲线比较对照图。其中，图11(a)为阴影消除率曲线；图11(b)为高亮噪声消除率曲线；图11(c)为阴影误检率曲线；图11(d)为高亮噪声误检率曲线。

具体实施方式

本发明选取了3段视频，针对5个模型，基于3种环境进行了测试和比较。3段视频分别为：加利福尼亚大学圣地亚哥分校计算机视觉和机器人研究实验室ATON项目阴影检测和校正测试数据Campus_raw.avi（记为Video1）和IntelligentRoom_raw.avi（记为Video2）以及PETS2001Dataset1TESTING Camera2（记为Video3）。5个模型分别为：基于高斯混合模型的改进模型（记为iGMM， KAEWTRAKULPONG P,BOWDEN R.An improved adaptivebackground mixture model for real-time tracking with shadow detection[C]//Proc.of2nd European Workshp on Advanced Video-Based SurveillanceSystems.London:Kluwer Academic Publishers,2001,1:149-158.），原始码本模型（记为CBM，KIM K,CHALIDABHONGSE T H,HARWOOD D,et al.Real-time foreground-backgroundsegmentation using codebook model[J].Real-Time Imaging,2005,11(3):172-185.），高斯码本模型（记为GCBM，LI Y,CHEN F,XU W,et al.Gaussian-Based Codebook Modelfor Video Background Subtraction[J].Lecture Notes in Computer Science,2006,4222:762-765.），基于HSV空间的码本模型（记为HC3，DOSHI A,TRIVEDI M.Hybrid cone-cylinder codebook model for foreground detection with shadow and highlightsuppression[C]//Proc.of IEEE International Conference on Video and SignalBased Surveillance(AVSS'06).Sydney:IEEE,2006:19-19.）以及本文提出的模型（记为DTCC_YUV）。3种环境分别为：室外白天、室外傍晚和室内。同时，对模型进行了参数分析实验。

本发明的方法包括模型构建和背景减除两个阶段，模型构建算法分为10个步骤，背景减除算法分为8个步骤。在模型构建和背景减除过程中，参数基于合理性和可比性原则进行选取。CBM、GCBM、HC3和DTCC_YUV均基于码本模型，参数组由α、β、ε三个共有参数构成，数量为100组，参数值在各自范围内均分、同步增大且在实验过程中分别保持一致，DTCC_YUV的参数γ和ζ取45度；iGMM原理不同，选择原因是为了比较不同检测模型的性能，参数组由模型参数构成，数量为100组，参数值在各自范围内均分且同步增大；同时，5个模型均为前景检测模型，由于阴影消除率和高亮噪声消除率均基于前景检测的结果，因此，实验更具合理性和可比性。

本发明基于传统的ROC分析方法，提出衡量阴影和高亮噪声消除性能的8个定量分析指标。

阴影消除率（Shadow Suppression Rate）R_SS和阴影检测率（Shadow DetectionRate）R_SD定义为：

$R_{\mathrm{SS}}=1-\frac{F_{\mathrm{FP}}^{\&prime;}}{S_{\mathrm{TP}}+S_{\mathrm{FN}}},R_{\mathrm{SD}}=\frac{S_{\mathrm{TP}}}{S_{\mathrm{TP}}+S_{\mathrm{FN}}}---\left(6\right)$

式中：F’_FP表示阴影内像素不为前景且检测结果为前景的像素个数；S_TP表示像素为阴影且检测结果也为阴影的像素个数；S_FN表示像素为阴影且检测结果不为阴影的像素个数。

高亮噪声消除率（Highlight Suppression Rate）R_HS和高亮噪声检测率（Highlight Detection Rate）R_HD定义为：

$R_{\mathrm{HS}}=1-\frac{F_{\mathrm{FP}}^{\&prime;\&prime;}}{B_{\mathrm{FP}}+B_{\mathrm{TN}}},R_{\mathrm{HD}}=\frac{H_{\mathrm{TP}}}{B_{\mathrm{FP}}+B_{\mathrm{TN}}}---\left(7\right)$

式中：F”_FP表示阴影和前景外像素不为前景且检测结果为前景的像素个数；H_TP表示像素为高亮噪声且检测结果也为高亮噪声的像素个数；B_FP表示像素不为阴影或前景且检测结果为阴影或前景的像素个数；B_TN表示像素不为阴影或前景且检测结果也不为阴影或前景的像素个数。

阴影误检率（Shadow Error Rate）R_SE和高亮噪声误检率（Highlight Error Rate）R_HE定义为：

$R_{\mathrm{SE}}=\frac{S_{\mathrm{FP}}}{S_{\mathrm{FP}}+S_{\mathrm{TN}}},R_{\mathrm{HE}}=\frac{H_{\mathrm{FP}}^{\&prime;}}{B_{\mathrm{TP}}+B_{\mathrm{FN}}}---\left(8\right)$

式中：S_FP表示像素不为阴影且检测结果为阴影的像素个数；S_TN表示像素不为阴影且检测结果也不为阴影的像素个数；H’_FP表示阴影和前景内像素不为高亮噪声且检测结果为高亮噪声的像素个数；B_TP表示像素为阴影或前景且检测结果也为阴影或前景的像素个数；B_FN表示像素为阴影或前景且检测结果不为阴影或前景的像素个数。

阴影检测系数（Shadow Detection Coefficient）CSD和高亮噪声检测系数（Highlight Detection Coefficient）CHD定义如下。检测系数越大，表示单位误检率的检测率越大，检测性能越优。

$C_{\mathrm{SD}}=\frac{R_{\mathrm{SD}}}{R_{\mathrm{SE}}},C_{\mathrm{HD}}=\frac{R_{\mathrm{HD}}}{R_{\mathrm{HE}}}---\left(9\right)$

本发明的实验平台为：Inter(R)Core(TM)2CPU T7200双核2.00GHz，2.50GB内存，Windows XP操作系统，Microsoft Visual C++2008开发环境。

1.参数分析实验

DTCC_YUV模型的参数包括α、β、ε、γ和ζ，其中，α、β、ε的参数分析见文献[2]，这里将就γ和ζ进行参数分析。

DTCC_YUV模型下梯柱体斜边倾角γ影响阴影检测性能，上梯柱体斜边倾角ζ影响高亮噪声检测性能，实验将确定参数γ和ζ的取值范围及其对阴影和高亮噪声消除性能的影响。

阴影检测系数曲线如图4所示。实验结果表明：参数γ在区间[45,90)内基于Video1的C_SD值较大，在区间[20,70]内基于Video2的C_SD值稳定增大，在区间[10,90)内基于Video3的C_SD值稳定减小。一般地，取40≤γ≤80，即2π/9≤γ≤4π/9。

高亮噪声检测系数曲线如图5所示。实验结果表明：参数ζ在区间[40,90)内基于Video1的C_HD值较大，在区间[0,60]内基于Video2的C_HD值较大，在区间[0,90)内基于Video3的C_HD值稳定减小，一般地，0≤ζ≤45，即0≤ζ≤π/4。

2.室外白天实验

Video1针对室外白天的运动人体，分辨率为352×288。CBM、GCBM、HC3和DTCC_YUV的码本构建阶段基于视频的第1遍遍历，5个模型的背景减除阶段基于视频的第2遍遍历，即均为第1帧至第1179帧。

(1)实时性

5个模型的平均帧率如表1所示。结果表明：DTCC_YUV在模型构建和背景减除阶段的实时性最优。

表1室外白天实验的平均帧率（帧率/帧·s^-1）

(2)检测效果

5个模型对视频第409帧的背景减除效果如图6所示。结果表明：5个模型均能正确检测出运动人体，检测结果基本准确、相对饱满且几乎没有形变，但在阴影和高亮噪声消除方面存在显著差异。GCBM对阴影几乎没有任何消除，同时受高亮噪声影响明显，效果最差；iGMM对阴影几乎没有任何消除，受高亮噪声影响较小，效果稍好；HC3对阴影有轻微消除效果，同时受高亮噪声影响明显；CBM对阴影有一定消除效果，且受高亮噪声影响较小；DTCC_YUV对阴影有显著消除效果，且受高亮噪声影响较小，效果最优。

(3)定量分析

5个模型对视频第409帧的平均消除率和平均误检率如表2所示，消除率和误检率曲线如图7所示。结果表明：DTCC_YUV的平均阴影消除率和平均高亮噪声消除率最高，平均阴影误检率较低，平均高亮噪声误检率最低，综合性能最优。

表2室外白天实验的平均消除率和误检率（%）

3.室外傍晚实验

Video3针对室外傍晚的运动车辆和人体，分辨率为384×288。CBM、GCBM、HC3和DTCC_YUV的模型构建阶段基于视频的第1帧至第500帧，5个模型的背景减除阶段基于视频的第501帧至第1000帧。

(1)实时性

5个模型的平均帧率如表3所示。结果表明：DTCC_YUV在模型构建和背景减除阶段的实时性最优。

表3室外傍晚实验的平均帧率（帧率/帧·s^-1）

(2)检测效果

5个模型对视频第610帧的背景减除效果如图8所示。结果表明：GCBM不能准确检测出运动车辆和 人体，且存在大量噪声，效果最差；iGMM将运动人体及其阴影同时检测出来，运动车辆残缺不全，且存在高亮噪声影响，效果较差；HC3、CBM和DTCC_YUV均能正确检测出运动车辆和人体，检测目标基本准确、相对饱满且几乎没有形变，但在阴影和高亮噪声消除方面存在显著差异。HC3对阴影有一定抑制作用，但受高亮噪声影响明显；CBM和DTCC_YUV对阴影和高亮噪声均有显著消除效果，但DTCC_YUV对高亮噪声消除更完全，几乎不存在高亮噪声影响，在5个模型中效果最优。

(3)定量分析

5个模型对视频第610帧的平均消除率和平均误检率如表4所示，消除率和误检率曲线如图9所示。结果表明：DTCC_YUV的平均阴影消除率和平均高亮噪声消除率最高，平均阴影误检率较低，平均高亮噪声误检率最低，综合性能最优。

表4室外傍晚实验的平均消除率和误检率（%）

4.室内实验

Video2针对室内的运动人体，分辨率为320×240。CBM、GCBM、HC3和DTCC_YUV的码本构建阶段基于视频的第1遍遍历，5个模型的背景减除阶段基于视频的第2遍遍历，即均为第1帧至第300帧。

(1)实时性

5个模型的平均帧率如表5所示。结果表明：DTCC_YUV在模型构建和背景减除阶段的实时性最优。

表5室内实验的平均帧率（帧率/帧·s^-1）

(2)检测效果

5个模型对视频第300帧的背景减除效果如图10所示。结果表明：GCBM和iGMM将运动人体及其阴影同时检测出来，人体、人体地面阴影和人体墙上阴影混合，几乎不能准确区分出运动人体，效果较差，其中，GCBM同时还存在大量高亮噪声影响，效果最差；CBM、HC3和DTCC_YUV均能正确检测出运动人体，检测目标基本准确、相对饱满且几乎没有形变，但在阴影和高亮噪声消除方面存在显著差异。HC3对阴影有一定抑制作用，但仍存在地面阴影和墙上阴影，同时受高亮噪声影响明显；CBM对阴影有抑制作用， 但仍存在墙上阴影和高亮噪声影响；DTCC_YUV对地面阴影和墙上阴影消除较完全，仅存在极少高亮噪声影响，在5个模型中效果最优。

(3)定量分析

5个模型对视频第300帧的平均消除率和平均误检率如表6所示，消除率和误检率曲线如图11所示。结果表明：DTCC_YUV的平均阴影消除率和平均高亮噪声消除率最高，平均阴影误检率和平均高亮噪声误检率较低，综合性能最优。

表6室内实验的平均消除率和误检率（%）

Claims (2)

1.一种消除阴影和高亮噪声的双梯柱体码本前景检测方法，采用双梯柱体码本模型，颜色空间采用YUV颜色模型，记为DTCC_YUV，模型下部构造成正立的梯柱体，形成阴影检测区域；模型上部构造成倒立的梯柱体，形成高亮噪声检测区域；模型中部构造成圆柱体，形成主体背景检测区域；所述方法包括模型构建和背景减除两个阶段：

模型构建阶段的算法步骤为：

第(1)步：每个像素的码本每个码本含有的码字数L←0；

第(2)步：设t为时刻，t＝1；

第(3)步：若t<＝N为真，则转第(4)步；否则，转第(9)步；

第(4)步：对于像素的一个观察值x_t＝(Y_t,U_t,V_t)，在码本C中基于匹配函数寻找匹配的码字c_i；

第(5)步：若码本或码本但没有找到匹配的码字，则转第(6)步；否则，转第(7)步；

第(6)步：L←L+1；创建一个新码字c_L←＜Y_t,Y_t,U_t,V_t,1,t-1,t,t＞；转第(8)步；

第(7)步：更新匹配的码字c_i＝＜Y_min,i,Y_max,i,μ_U,i,μ_V,i,f_i,λ_i,p_i,q_i＞为

c_i←＜min(Y_t,Y_min,i),max(Y_t,Y_max,i),f_i+1,max{λ_i,t-q_i},p_i,t＞；转第(8)步；

第(8)步：t＝t+1；转第(3)步；

第(9)步：针对码本C中的每个码字c_i,i的取值从1到L，更新码字c_i的码元λ_i←max{λ_i,N-q_i+p_i-1}，删除码元λ_i＞N/2的码字c_i；

第(10)步：结束；

背景减除阶段的算法步骤为：

第(1)步：设t为时刻，t＝1；

第(2)步：若t<＝N为真，则转第(3)步；否则，转第(8)步；

第(3)步：对于像素的一个观察值x_t＝(Y_t,U_t,V_t)，在码本C中基于匹配函数寻找匹配的码字c_i；

第(4)步：若码本or码本但没有找到匹配的码字，则转第(5)步；否则，转第(6)步；

第(5)步：像素为前景；转第(7)步；

第(6)步：像素为背景；更新匹配的码字c_i＝＜Y_min,i,Y_max,i,μ_U,i,μ_V,i,f_i,λ_i,p_i,q_i＞为

c_i←＜min(Y_t,Y_min,i),max(Y_t,Y_max,i),f_i+1,max{λ_i,t-q_i},p_i,t＞；转第(7)步；

第(7)步：t＝t+1；转第(2)步；

第(8)步：结束:

以上表达式中各参数和算符的意义为：

设视频中同一位置的像素在不同时刻的观察值序列：X＝{x₁，x₂，…，x_N}，x_t为视频t时刻的一个像素观察值；DTCC_YUV模型基于YUV颜色模型，为每个像素建立一个码本C＝{c₁，c₂，…，c_L}，每个码本含有L个码字c_i，码字结构设计为一个8元组：

c_i＝＜Y_min,i,Y_max,i,μ_U,i,μ_V,i,f_i,λ_i,p_i,q_i＞ (1)

式中：i为码字序号；c_i为码本中的码字；Y_min,i,Y_max,i分别为匹配码字的像素的Y分量的最小和最大值；μ_U,i,μ_V,i分别为匹配码字的像素的U、V分量的均值；f_i为匹配码字的像素的个数，即匹配成功的次数；λ_i为码字未成功匹配的最大时间间隔；p_i,q_i分别为码字第一次和最后一次成功匹配的时刻。

2.根据权利要求1所述的消除阴影和高亮噪声的双梯柱体码本前景检测方法，所述模型构建阶段和背景减除阶段码字的更新方法为：

$c_i\&LeftArrow;<\min \left(Y_t,Y_{\min ,i}\right),\max \left(Y_t,Y_{\max ,i}\right),\frac{f_i{\mathrm{\&mu;}}_{U,i}+U_t}{f_i+1},\frac{f_i{\mathrm{\&mu;}}_{V,i}+V_t}{f_i+1},f_i+1,\max \left\{{\mathrm{\&lambda;}}_i,t-q_i\right\},p_i,t>---\left(2\right)$

式中：t为时刻，该时刻待匹配像素的观察值为x_t＝(Y_t,U_t,V_t)；

模型的匹配函数设计为：

式中：v_i为码字中的二维均值向量，v_i＝(μ_U,i,μ_V,i)；δ为x_t在UV平面上的投影与v_i的差的模，定义为如式(4)所示；d为距离阈值，定义为:

$\mathrm{\&delta;}=\sqrt{{(U_t-{\mathrm{\&mu;}}_{U,i})}^2+{(V_t-{\mathrm{\&mu;}}_{V,i})}^2}---\left(4\right)$

式中：ε为检测阈值，取3≤ε≤10；Y_low＝αY_max,i，α为先验参数且α＜1，取0.4≤α≤0.7，β为先验参数且β＞1，取1.1≤β≤1.5；γ和ζ为梯柱体斜边的倾角，取2π/9≤γ≤4π/9，0≤ζ≤π/4。