CN102117479A - 面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法 - Google Patents

Abstract

本发明提出一种面向应用的实时部分遮挡车辆分割及阴影消除方法RVSSE(Real-time Vehicles Segmentation and Shadow Elimination)，针对不同车辆阴影类型获取反映车辆阴影几何形态特征且仅包含稀少像素的阴影线，利用阴影线稀少像素的梯度信息实现阴影消除；通过视频信息统计，针对绝大多数情况采用几何形态特征分割部分遮挡车辆，针对稀少的特殊情况采用预测跟踪与模版匹配相结合的方法实现部分遮挡车辆分割。理论分析和实验结果证明，RVSSE不仅具有较高准确性，而且能在现有硬件条件下满足实时性。

Description

面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法

技术领域

本发明涉及一种智能监控图像识别领域，具体是一种部分遮挡车辆分割及阴影消除方法。

背景技术

运动车辆检测是室外公路固定摄像机智能视频监控系统的一项主要工作，其首先利用减背景技术[1]获得包含运动车辆及其阴影和噪声的前景区域，并采用形态学闭算子[2]填充前景区域的空洞。遮挡和阴影问题通常导致前景区域中车辆的合并与丢失，以及车辆形状的扭曲。遮挡分为部分遮挡和完全遮挡，部分遮挡是指车辆被遮挡部分较小(大部分仍然可见)，完全遮挡是指车辆被遮挡部分较大(大部分不可见)。完全遮挡主要出现在固定摄像机安放位置离地面较近的情况[3]。

迄今为止，部分遮挡车辆分割主要有基于模型的方法，阴影消除可以分为基于颜色、基于边缘、基于纹理和基于模型的方法，它们在准确性和现有硬件条件下的实时性之间难以达到较好的折中。可以说，部分遮挡车辆分割及阴影消除方法在技术向产品转化过程中仍然是一个有待研究的开放问题。相关工作：

(1)基于颜色的阴影消除

HSV颜色空间模型[4-5]是运动目标阴影消除的常用方法，它更符合人的颜色感知，设像素x_I＝(I_H，I_S，I_V)和像素y_B＝(B_H，B_S，B_V)分别为当前帧图像和背景图像在同位置的HSV分量，则像素x_I是否属于运动目标阴影区域由下式确定

设置τ_V1是考虑光源的影响，光源亮度越强，τ_V1取值越小；设置τ_V2是为了去除噪声的影响(0＜τ_V1＜τ_V2＜1)。τ_S一般取负值，τ_H是为了判断当前帧图像与背景图像之间明显的差异。τ_S和τ_H的取值主要靠经验确定。

(2)基于边缘的阴影消除

文献[6-7]在颜色空间提取并分类边缘，从而消除阴影，其时间效率低，并且存在基于颜色方法的缺陷。边缘信息通常作为辅助特征用于更准确的区分目标与阴影，基于边 缘的方法难以实现部分遮挡目标的分割。

(3)基于纹理的阴影消除

根据运动目标阴影区域纹理与背景图像中同区域纹理的不变性，可以利用纹理特征消除阴影。文献[8]利用Gabor函数描述纹理特征，文献[9]利用局部二元图LBP描述纹理特征。基于纹理的阴影消除方法虽然阴影消除效果较好，但是时间效率低，实时性要求通常无法得到满足，并且难以实现部分遮挡目标的分割。

(4)基于模型的部分遮挡车辆分割及阴影消除

根据模型匹配的方式，基于模型的方法可以有效实现阴影消除及部分遮挡目标的分割。人的3D竖直椭圆体模型结构简单，只需通过人头顶的定位即可实现人的分割及阴影消除，方法简单并且有效[3]。车辆模型结构复杂，为了在视频图像中搜索与之匹配的车辆区域，将付出大量时间代价，难以满足现有硬件的实时处理能力[10-12]。

由于短截线车辆阴影区域通常没有形成盆地，长截线车辆阴影包含在车辆区域对应的盆地内部，因此分水岭算法[13]虽然可以分割不同盆地，但是难以消除车辆阴影。分水岭算法是从地形学角度设计的分割算法，其基本思想为：假设在每个区域最小值的位置上打一个洞并且让水以均匀的上升速度从洞中涌出，从低到高淹没整个地形；当处在不同的汇聚盆地中的水将要聚合在一起时，修建的大坝将阻止聚合；水将只能到达大坝的顶部处于水线之上的程度；这些大坝的边界对应于分水岭的分割线。

发明内容

针对上述现有技术存在的缺陷，本发明目的旨在提出面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法RVSSE(Real-time Vehicles Segmentation and ShadowElimination)。RVSSE提出车辆阴影截线长度和方向线长度的概念，并以此对车辆阴影进行分类。针对不同车辆阴影类型，RVSSE获取反映车辆阴影几何形态特征且仅包含稀少像素的阴影线，利用阴影线稀少像素的梯度信息实现阴影消除。RVSSE通过多类视频分析，针对绝大多数情况采用几何形态特征分割部分遮挡车辆，针对稀少的特殊情况采用预测跟踪与模版匹配相结合的方法实现部分遮挡车辆分割。RVSSE兼顾准确性和现有硬件条件下的实时性，能够满足现有硬件的实时处理能力。

本发明要求固定摄像机安放在离地面较高(三米以上)的位置[3]，摄像机以俯视的角度监控特定区域，可以最大限度的避免完全遮挡，并且监控范围更广，更能满足经济需求。

本发明采取的技术方案是，一种面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法包括如下步骤：

1)获取前景连通域FS几何形态特征，包括前景连通域FS中的等势线与局部极小点：

将采用减背景和形态学闭算子获得的填充空洞后的前景区域中的每个连通域称为一个前景连通域，用FS表示(其中减背景包括背景建模和前景检测两个步骤：背景建模就是构建背景图像或通过构建某种模型来表示背景，前景检测也就是阈值分割，指的是利用当前视频帧与背景模型的差异来检测出前景区域的像素；形态学闭算子由膨胀和腐蚀两个算子组成，其通常采用(2R+1)×(2R+1)正方形的结构元素，等效于先采用3×3结构元素的膨胀算子R次，然后再采用3×3结构元素的腐蚀算子R次)；将视频图像中除前景连通域以外的区域称为背景区域，用BS表示；用N₈(x)表述与像素x相邻的八个像素；

前景连通域的几何形态特征通过初始化为0的图像标记Label获取：

步骤1)令像素集HASet：＝Φ；自左向右，自顶向下扫描图像一次，设一条竖向灰色扫描线L，若像素x∈L I BS则令Label(x)＝XA+1，其中设XA＝w+h(w为视频图像长，h为视频图像宽)，若相邻两像素x₁∈L I BS，x₂∈L I FS则令像素集TSet：＝{x|x∈N₈(x₁)I FS，Label(x)＝0}，令HASet：＝HASet+TSet，并对 $\∀x\∈\mathrm{TSet}$ 令Label(x)＝XA；自顶向下，自左向右扫描图像一次，对每条横向扫描线的处理与竖向扫描线L相同；令像素集LMSet：＝Φ，转步骤2；

步骤2若HASet≠Φ，设HASet中像素的Label值为LA，则令  $\mathrm{LMSet}:=\mathrm{LMSet}+\left\{x\right|x\∈\mathrm{HASet},\∀y\∈N_8\left(x\right)\·\mathrm{Label}\left(x\right)\≠0\},$ 像素集  $\mathrm{LASet}:=\left\{x\right|\∃y\∈\mathrm{HASet}\·x\∈N_8\left(y\right),\mathrm{Label}\left(x\right)=0\},$ 对 $\∀y\∈\mathrm{LASet}$ 令Label(y)＝LA-1，然后令HASet：＝LASet重复步骤2；若HASet＝Φ，则运行终止；

上述步骤1获得前景连通域FS边缘的像素集HASet；步骤2以前景连通域FS边缘像素集为起点，反复迭代，获得前景连通域FS中的逐层等势线和局部极小点集LMSet；等势线是指前景连通域FS中具有相同Label值的，连通的线状的像素集；如果像素x∈FS且满足 $\∀y\∈N_8\left(x\right)\·\mathrm{Label}\left(x\right)\≤\mathrm{Label}\left(y\right),$ 则称像素x为局部极小点；若前景连通域FS包含像素个数小于阈值T_n，则将FS视为噪声去除，其中阈值T_n通常取值为视频图像包含像素总数的1/200。

2)对短截线车辆阴影进行消除：

为了从局部极小点集LMSet中分离出分布在短截线车辆阴影区域中心的局部极小点，获取像素集 $\mathrm{EMSet}=Y_{y\∈\mathrm{LMSet}}\left\{x\right|x\∈N_8\left(y\right),x\∉\mathrm{LMSet},\mathrm{Label}\left(x\right)=\mathrm{Label}\left(y\right)\}$ ，筛选出LMSetYEMSet中像素个数大于阈值T_s的连通域C₁，C₂，…，C_k，设前景连通域FS中最小的Label值为NA，则阈值T_s取值1.5(XA-NA)； $\∀1\≤i\≤k$ 筛选出C_iI LMSet中Label值最大的像素集为正向端点XS_i和Label值最小的像素集为反向端点NS_i，以反向端点NS_i为起点正向端点XS_i为终点的方向为C_i的方向d_i，筛选出d_i与已知的车辆阴影方向d_sh夹角小于阈值T_d，阈值T_d取值弧度π/12；且正向端点XS_i中像素Label值大于阈值T_a的C_i，阈值T_a取值XA-0.25(XA-NA)，将筛选出的C_i称为阴影线，阴影线包含了局部极小点集LMSet中分布在短截线车辆阴影区域中心的局部极小点；

再通过所述阴影线的梯度信息消除短截线车辆阴影，其中车辆运动方向d_m通过背景标记获取；设阴影线像素集为SLSet，为了获取阴影线SLSet中处于车辆边缘的像素，对 $\∀x\∈\mathrm{SLSet}$ 采用3×3结构元素中插值的方法计算x在车辆运动方向d_m和与车辆运动方向垂直的方向d_v两个方向上的梯度；

对 $\∀x\∈\mathrm{SLSet},$ 令x的梯度为其在车辆运行方向d_m和与车辆运动方向垂直的方向dv两个方向上梯度的最大值，即Grad(x)＝max(Grad_dm(x)，Grad_dv(x))，将阴影线SLSet中像素按其方向排序，其中第i个像素用SLSet[i]表示，若i＜j，则SLSet[i]比SLSet[j]更接近于阴影线正向端点；

计算阴影线像素SLSet[i]分别在背景图像的梯度Grad^B(i)和前景图像的梯度Grad^F(i)，然后计算梯度比率Grad^F(i)/Grad^B(i)，其中Grad^B(i)＝0时，令Grad^B(i)＝1；

为了区分阴影线SLSet中处于车辆边缘的像素，对梯度比率自适应阈值T分割，将亮度值大于梯度比率自适应阈值T的像素的集合用VBSet表示，像素集VBSet将短截线阴影线SLSet分割成若干线状连通域 ${\mathrm{CL}}_1,{\mathrm{CL}}_2,\·\·\·,{\mathrm{CL}}_{\mathrm{kl}}\⊆\mathrm{SLSet}/\mathrm{VBSet},$ 在像素个数大于阈值T_c的CL_i，其中1≤i≤kl，中筛选出离阴影线正向端点最近的线状连通域CL_s，以线状连通域CL_s的两端点为分割点沿与已知的车辆阴影方向垂直的方向分割，即消除了短截线车辆阴影；其中阈值T_c取值0.5(XA-NA)；

3)采用邻近涨潮方法分割车辆：

设短截线车辆阴影消除后剩余的局部极小点集为RMSet；如果像素集Set中像素处于同一等势线，则设Set所在等势线为EAL(Set)；

步骤1设剩余局部极小点集RMSet包含连通域个数为kr，获取连通域  ${\mathrm{CR}}_1,{\mathrm{CR}}_2,\·\·\·,{\mathrm{CR}}_{\mathrm{kr}}\⊆\mathrm{RMSet}$ 和集合LRS＝{CR_s|1≤s≤kr，EAL(CR_s)/CR_s＝Φ}；设LRS包含元素个数为RC，并设LRS[i]为LRS的第i个元素；令i：＝1，转步骤2；

步骤2若i≤RC，则令像素集VS_i：＝Φ，转步骤3，否则终止；

步骤3设LRS[i]包含像素的Label值为LI，获取像素集 $\mathrm{LASet}:=\left\{z\right|\∃y\∈\mathrm{LRS}\left[i\right]\·z\∈N_8\left(y\right),\mathrm{Label}\left(z\right)=\mathrm{LI}+1\};$ 令VS_i：＝VS_i+LRS[i]；令像素集RS_i：＝Φ，转步骤4；

步骤4设LASet包含像素的Label值为LA，若LA＜XA+1，则转步骤5，否则令VS_i：＝VS_i+RS_i，令i：＝i+1，转步骤2；

步骤5设EAL(LASet)/LASet包含连通域个数为ke，获取连通域  ${\mathrm{CE}}_1,{\mathrm{CE}}_2,\·\·\·,{\mathrm{CE}}_{\mathrm{ke}}\⊆\mathrm{EAL}\left(\mathrm{LASet}\right)/\mathrm{LASet};$ 设VS_i所在车辆区域为VS，对1≤s≤Ke：{若  ${\mathrm{CE}}_s\⊆\mathrm{VS}$ 则CE_s包含像素稀少，否则CE_s包含像素较多}，因此，获取集合FES＝{s|1≤s≤ke，CE_s包含像素个数小于阈值T_e}和集合 $\mathrm{MES}=\left\{s\right|1\≤s\≤\mathrm{ke},s\∉\mathrm{FES}\},$ 令LASet：＝LASet+∑_s∈FESCE_s，令VS_i：＝VS_i+LASet；对 $\∀s\∈\mathrm{MES}$ 获取像素集DE_s＝{y|y∈CE_s，y到LASet距离不大于XA-LA}，令RS_i：＝RS_i+∑_s∈MES DE_s；获取像素集   $\mathrm{HASet}:=\{z\∃y\∈\mathrm{LASet}\·z\∈N_8\left(y\right),\mathrm{Label}\left(z\right)=\mathrm{LA}+1\},$ 令LASet：＝HASet，转步骤4；

其中车辆阴影方向与车辆运动方向一致时，阈值T_e取值3.5(XA-NA)，车辆阴影方向与车辆运动方向不一致时，阈值T_e取值1.5(XA-NA)；

4)如果无短截线阴影，则利用长截线阴影类型阴影线LLSet像素的梯度信息消除长截线车辆阴影：

将前景连通域FS分割成车辆区域VS_i(i＝1，2，…)；车辆区域VS_i中心被邻近涨潮方法步骤l的集合LRS记录，沿车辆阴影方向d_sh设有一条经过车辆区域VS_i中心的直线L_i，设前景连通域FS中不同车辆区域的交集为INS，若L_iI INS＝Φ，则将L_iIVS_i称为长截线阴影类型的阴影线LLSet，否则，设与L_i平行且最近的直线为LL_i，使得LL_iI INS＝Φ，将LL_iIVS_i称为长截线阴影类型的阴影线LLSet；

其中车辆运动方向d_m通过背景标记获取，方向d_v与车辆运动方向d_m垂直；阴影线像素集为LLSet，对 $\∀x\∈\mathrm{LLSet}$ 采用3×3结构元素中插值的方法计算x在与车辆运动方向垂直的方向d_v上的梯度，即Grad(x)＝Grad_dv(x)；再对梯度比率自适应阈值T分割，以线状连通域CL_s的两端点为分割点沿与已知的车辆运动方向d_m分割，即消除了长截线车辆阴影，完成部分遮挡车辆分割及阴影消除。

上述面向应用的实时部分遮挡车辆分割及阴影消除方法RVSSE兼顾准确性和现有硬件条件下的实时性，能够满足10帧/秒监控视频序列的实时性。

附图说明

图1为太阳方位示意图；

图2为实施例中RVSSE方法流程示意图；

图3为车辆阴影方向与车辆运动方向示意图；

图4为车辆阴影的截线长度与方向线长度示意图；

图5为等势线及局部极小点的获取示意图；

图6为前景连通域的几何形态特征示意图；

图7为阴影线的获取示意图；

图8为前景连通域的阴影线示意图；

图9为车辆运动方向的确定示意图；

图10为3×3结构元素中基于插值的梯度计算方法示意图

图11为阴影线的背景信息和前景信息示意图；

图12为阴影线像素的梯度信息示意图；

图13为前景连通域的短截线车辆阴影消除示意图；

图14为部分遮挡车辆的分割示意图；

图15为前景连通域的部分遮挡车辆分割示意图；

图16为前景连通域的长截线车辆阴影消除示意图；

图17为特殊情况的判断与处理示意图；

图18为实施例中四类视频序列的前景连通域示意图；

图19为实施例中RVSSE实验结果示意图；

图20为实施例中HSV颜色空间模型实验结果示意图。

图21为实施例中根据车辆阴影类型分成的四种车辆阴影示意图。

具体实施方式

首先确定车辆阴影的方向与类型：

根据太阳运动的规律性，可以确定每天各时段的太阳方位。如图1所示，车辆阴影主要是由车辆遮挡太阳的平行光线形成，车辆阴影方向是指太阳平行光线在地面的垂直投影方向。因此车辆阴影方向根据太阳方位可以确定，本发明将车辆阴影方向作为已知信息，并估计车辆阴影的方向线长度(车辆阴影的方向线长度是指车辆阴影在其方向上 的投影长度)。当车辆阴影的方向线长度小于车辆区域直径的1/10时，此时的车辆阴影方向线为短方向线，否则为长方向线。短方向线的车辆阴影对视频信息的影响不大，通常可以忽略。据此，图2给出了RVSSE方法的具体流程：

如图3的车辆运动方向是指车辆在其运动轨迹上的切线方向。当太阳方位确定时，根据摄像机安放位置，监控视频中的车辆阴影可以分为多种类型。为了便于监控视频中车辆阴影的分类，如图4所示，定义车辆阴影的截线长度和方向线长度，截线长度是指车辆与其阴影交界线在车辆运动方向上的投影长度，方向线长度是指车辆阴影在其方向上的投影长度。

如表1所示，根据截线长度、方向线长度和车辆阴影方向与车辆运动方向的一致性，可以将监控视频中的车辆阴影细分为四类。

表1车辆阴影分类

将采用现有技术中减背景和形态学闭算子获得的填充空洞后的前景区域中的每个连通域称为一个前景连通域，用FS表示，其中减背景包括背景建模和前景检测：背景建模就是构建背景图像或通过构建某种模型来表示背景，前景检测也就是阈值分割，指的是利用当前视频帧与背景模型的差异来检测出前景区域的像素；形态学闭算子由膨胀和腐蚀两个算子组成，其通常采用(2R+1)×(2R+1)正方形的结构元素，等效于先采用3×3结构元素的膨胀算子R次，然后再采用3×3结构元素的腐蚀算子R次。

并将视频图像中除前景连通域以外的区域称为背景区域，用BS表示；易知前景连通域FS由单个或多个运动车辆区域及车辆阴影区域组成，或者前景连通域FS为噪声。

本实施例采用N₈(x)表述与像素x相邻的八个像素，如图5(e)所示。

前景连通域FS的几何形态特征可以通过初始化为0的图像标记Label获取：

1、令像素集HASet：＝Φ；自左向右，自顶向下扫描图像一次，如图5(a)中的一条竖向灰色扫描线L，若像素x∈LI BS则令Label(x)＝XA+1，设XA＝w+h(w为视频图像长， h为视频图像宽)，若相邻两像素x₁∈LI BS，x₂∈LI FS(或x₃∈LI FS，x₄∈LI BS)则令像素集TSet：＝{x|x∈N₈(x₁)I FS，Label(x)＝0}(或TSet：＝{x|x∈N₈(x₄)I FS，Label(x)＝0})，令HASet：＝HASet+TSet，并对 $\∀x\∈\mathrm{TSet}$ 令Label(x)＝XA；自顶向下，自左向右扫描图像一次，对每条横向扫描线的处理与图5(a)中竖向扫描线L相同；令像素集LMSet：＝Φ，转步骤2；

2、若HASet≠Φ，设HASet中像素的Label值为LA，则令  $\mathrm{LMSet}:=\mathrm{LMSet}+\left\{x\right|x\∈\mathrm{HASet},\∀y\∈N_8\left(x\right)\·\mathrm{Label}\left(x\right)\≠0\},$ 令像素集  $\mathrm{LASet}:=\left\{x\right|\∃y\∈\mathrm{HASet}\·x\∈N_8\left(y\right),\mathrm{Label}\left(x\right)=0\},$ 对 $\∀y\∈\mathrm{LASet}$ 令Label(y)＝LA-1，然后令HASet：＝LASet重复步骤2；若HASet＝Φ则运算终止；

上述步骤1获得前景连通域FS边缘的像素集HASet，即如图5(b)的灰色像素集；步骤2以前景连通域FS边缘像素集为起点，反复迭代，获得前景连通域FS中的逐层等势线，如图5(c)中嵌套的线状集和局部极小点集LMSet，如图5(d)中的黑色像素集。等势线是指前景连通域FS中具有相同Label值的，连通的线状的像素集，其中连通性指8邻接连通；如果像素x∈FS且满足 $\∀y\∈N_8\left(x\right)\·\mathrm{Label}\left(x\right)\≤\mathrm{Label}\left(y\right),$ 则称像素x为局部极小点。等势线与局部极小点反映了前景连通域FS的几何形态特征。若前景连通域FS包含像素个数小于阈值T_n，则将前景连通域FS视为噪声去除。阈值T_n通常取值为视频图像包含像素总数的1/200。

图6(a1)～(d1)给出的前景连通域分别与表1中的四种类型车辆阴影对应，前景连通域的等势线特征和局部极小点特征分别由图6(a2)～(d2)和图6(a3)～(d3)给出。

本实施例要求三个前提假设：①摄像机固定，②摄像机安放在离地面三米以上位置，③运动车辆不过于拥挤(拥挤主要发生在监控视频中目标密集的情况，对于密集目标通常对它们的整体特征进行分析)。通过对满足本发明前提假设的大量室外公路监控视频的分析，可以发现：如图6(a2)～(d2)，90％以上部分遮挡前景连通域中的不同车辆区域都能形成各自的盆地；如图6(a3)～(d3)，局部极小点集中分布在车辆区域中心及短截线车辆阴影区域中心。

短截线车辆阴影的消除：

为了从图7(a)的黑色像素集，即局部极小点集LMSet中分离出分布在短截线车辆阴影区域中心的局部极小点，获取图7(b)的深灰色像素集，即像素集   $\mathrm{EMSet}=Y_{y\∈\mathrm{LMSet}}\left\{x\right|x\∈N_8\left(y\right),x\∉\mathrm{LMSet},\mathrm{Label}\left(x\right)=\mathrm{Label}\left(y\right)\},$ 筛选出LMSetYEMSet中像素个数大于阈值T_s的连通域C₁，C₂，…，C_k， $\∀1\≤i\≤k$ 筛选出C_iI LMSet中Label值最大的像素集为正向端点XS_i(如图7(c)的黑色像素集)和Label值最小的像素集为反向端点NS_i(如图7(c)的C_i中的白色像素集)，以反向端点NS_i为起点，正向端点XS_i为终点可以确定C_i的方向d_i，筛选出d_i与已知的车辆阴影方向d_sh夹角小于阈值T_d且正向端点XS_i中像素Label值大于阈值T_a的C_i，如图7(d)的黑色像素集，将筛选出的C_i称为阴影线。阴影线包含了局部极小点集LMSet中分布在短截线车辆阴影区域中心的局部极小点。

上述阴影线具有三个性质：(1)短方向线的车辆阴影对视频信息的影响不大，可以忽略，设前景连通域FS中最小的Label值为NA，则阈值T_s通常取值1.5(XA-NA)；(2)方向与已知的车辆阴影方向近似一致，阈值T_d通常取值弧度π/12；(3)因为短截线阴影区域在几何形态上比车辆区域细长，所以阴影线中最大Label值的像素离前景连通域FS边缘更近，阈值T_a通常取值XA-0.25(XA-NA)。

在确定阴影线C_i的方向时：(1)可能出现如图7(e)中正向端点XS_i与反向端点NS_i重合的情况，主要出现在表1类型I的车辆阴影，此时阴影线方向直接由正向端点XS_i(或反向端点NS_i)确定，图中箭头指向选取与已知的车辆阴影方向夹角最小的一边；(2)可能出现如图7(f)中反向端点NS_i不在阴影线端点的情况，主要出现在车辆阴影方向与车辆运动方向一致时，此时以反向端点NS_i为断点去除与阴影线方向相反的像素，得到如图7(g)的阴影线。

由图6的几何形态特征可以获得图8对应的阴影线，利用阴影线的梯度信息消除短截线车辆阴影。如图3，车辆边缘的梯度信息在车辆运动方向d_m和与d_m垂直的方向d_v两个方向上最明显。根据固定摄像机监控视频背景中不变的地形、道路等信息，车辆运动方向d_m可以通过背景标记获取。如图9(b)(d)分别为图9(a)(c)的背景标记，其中不同灰色区域对应不同车辆运动方向d_m，根据前景连通域FS中最小Label值像素所处背景标记中的灰色区域可以确定前景连通域FS中车辆的运动方向d_m。

设阴影线像素集为SLSet，为了获取阴影线SLSet中处于车辆边缘的像素，对  $\∀x\∈\mathrm{SLSet}$ 计算x在车辆运动方向d_m和与d_m垂直的方向d_v两个方向上的梯度。像素x_0，0在方向d上的梯度采用3×3结构元素中插值的方法计算，如图10中的实线方向为d，A，B，C，D为插入的四个像素，设d与水平正向的夹角为α，并用V(x_u，v)(u，v＝-1，0，1)表示像素x_u，v的亮度值，则根据三角函数及线性插值法，容易求出A，B，C，D四个位置的亮 度值V(A)，V(B)，V(C)，V(D)及像素x_0，0在方向d上的梯度Grad _d(x_0，0)：

当0≤α＜π/4时，令k₁＝tan(α)，k₂＝1-tan(α)，则

V(A)＝k₁V(x_1，0)+k₂V(x_1，1)，V(B)＝k₁V(x_-1，1)+k₂V(x_-1，0)，V(C)＝k₁V(x_-1，0)+k₂V(x_-1，-1)，

V(D)＝k₁V(x_1，-1)+k₂V(x_1，0)，

Grad _d(x_0，0)＝|V(D)+2V(A)+V(x_0，1)-V(x_0，-1)-2V(C)-V(B)|；

当π/4≤α＜π/2时，令k₁＝1/tan(α)，k₂＝1-1/tan(α)，则

V(A)＝k₁V(x_0，1)+k₂V(x_1，1)，V(B)＝k₁V(x_-1，1)+k₂V(x_0，1)，V(C)＝k₁V(x_0，-1)+k₂V(x_-1，-1)，

V(D)＝k₁V(x_1，1)+k₂V(x_0，-1)，

Grad _d(x_0，0)＝|V(B)+2V(A)+V(x_1，0)-V(x_-1，0)-2V(C)-V(D)|；

当α＝π/2时，Grad _d(x_0，0)＝|V(x_1，1)+2V(x_0，1)+V(x_-1，1)-V(x_1，-1)-2V(x_0，-1)-V(x_-1，-1)|；

当π/2＜α＜3π/4时，令k₁＝-1/tan(α)，k₂＝1+1/tan(α)，则

V(A)＝k₁V(x_0，1)+k₂V(x_-1，1)，V(B)＝k₁V(x_-1，-1)+k₂V(x_0，-1)，V(C)＝k₁V(x_0，-1)+k₂V(x_1，-1)，

V(D)＝k₁V(x_1，1)+k₂V(x_0，1)，

Grad_d(x_0，0)＝|V(D)+2V(A)+V(x_-1，0)-V(x_1，0)-2V(C)-V(B)|；

当3π/4≤α＜π时，令k₁＝-tan(α)，k₂＝1+tan(α)，则

V(A)＝k₁V(x_-1，0)+k₂V(x_-1，1)，V(B)＝k₁V(x_-1，-1)+k₂V(x_-1，0)，V(C)＝k₁V(x_1，0)+k₂V(x_1，-1)，

V(D)＝k₁V(x_1，1)+k₂V(x_1，0)，

Grad _d(x_0，0)＝|V(B)+2V(A)+V(x_0，1)-V(x_0，-1)-2V(C)-V(D)|；

对 $\∀x\∈\mathrm{SLSet}$ 令x的梯度为其在车辆运动方向d_m和与d_m垂直的方向d_v两个方向上梯度的最大值，即Grad(x)＝max(Grad_dm(x)，Grad_dv(x))，从而更加突出车辆边缘的梯度信息。将阴影线SLSet中像素按其方向排序，其中第i个像素用SLSet[i]表示，若i＜j则SLSet[i]比SLSet[j]更接近于阴影线正向端点(阴影线方向的箭头指向端点)。

计算阴影线像素SLSet[i](如图11(a))分别在背景图像(如图11(b))的梯度Grad^B(i)(如图12(a))和前景图像(如图11(c))的梯度Grad^F(i)(如图12(b))，然后计算梯度比率Grad^F(i)/Grad^B(i)(如图12(c))，因为阴影像素的梯度信息在背景图像和前景图像近似(除亮度差异)，所以阴影线SLSet中处于车辆边缘像素的梯度比率十分突出。为了避免除法无意义，当Grad^B(i)＝0时令Grad^B(i)＝1，Grad^B(i)的这种变动通常小于噪声导致Grad^B(i)的波动。

为了区分阴影线SLSet中处于车辆边缘的像素，需要对梯度比率自适应阈值分割。 自适应阈值T采用文献[2]的全局自适应阈值分割方法获取：1)选择平均梯度比率值作为T的初始估计值；2)用T分割生成两组像素：G₁由梯度比率值大于T的像素组成，G₂由梯度比率值不大于T的像素组成；3)计算G₁和G₂中像素的平均梯度比率值μ₁和μ₂；4)计算新阈值T＝(μ₁+μ₂)/2；5)重复步骤2到4，直到逐次迭代所得的T值之差不再改变。

如图12(c)的虚线为自适应阈值，将梯度比率值大于该阈值的像素的集合用VBSet表示，像素集VBSet将阴影线SLSet分割成若干线状连通域 ${\mathrm{CL}}_1,{\mathrm{CL}}_2,\·\·\·,{\mathrm{CL}}_{\mathrm{kl}}\⊆\mathrm{SLSet}/\mathrm{VBSet},$ 在像素个数大于阈值T_c的线状连通域CL_i(1≤i≤kl)中筛选出离阴影线正向端点最近的线状连通域CL_s，以线状连通域CL_s的两端点为分割点沿与已知的车辆阴影方向垂直的方向分割，即可消除短截线车辆阴影。

阴影线可能连接两个车辆区域，因此需要对线状连通域CL_s的两个端点分割；因为短截线阴影区域沿阴影线正向越来越细窄，所以阴影线正向通常不会深入车辆区域，通过筛选出的像素个数大于阈值T_c且离阴影线正向端点最近的线状连通域CL_s，即可定位短截线车辆阴影，阈值T_c通常取值0.5(XA-NA)(约阈值T_s的1/3)。将被消除的短截线车辆阴影区域像素的Label值改赋为XA+1，如图13给出了短截线车辆阴影消除结果，其中黑色像素为剩余局部极小点。

部分遮挡车辆的分割

设短截线车辆阴影消除后剩余的局部极小点集(如图14(a)的黑色像素)为RMSet；如果像素集Set中像素处于同一等势线，则设Set所在等势线为EAL(Set)；本发明采用邻近涨潮方法实现部分遮挡车辆的分割：

1)设剩余局部极小点集RMSet中的连通域个数为kr，获取连通域  ${\mathrm{CR}}_1,{\mathrm{CR}}_2,\·\·\·,{\mathrm{CR}}_{\mathrm{kr}}\⊆\mathrm{RMSet}$ 和集合LRS＝{CR_s|1≤s≤kr，EAL(CR_s)/CR_s＝Φ}(如图14(b)的深灰色像素及图14(g)的浅灰色像素)；设LRS包含元素个数为RC，并设LRS[i]为LRS的第i个元素；令i：＝1，转步骤2)；

2)若i≤RC则令像素集VS_i：＝Φ，转步骤3)否则算法终止；

3)设LRS[i]包含像素的Label值为LI，获取像素集 $\mathrm{LASet}:=\left\{z\right|\∃y\∈\mathrm{LRS}\left[i\right]\·z\∈N_8\left(y\right),\mathrm{Label}\left(z\right)=\mathrm{LI}+1\};$ (如图14(c)的深灰色像素)；令VS_i：＝VS_i+LRS[i]；令像素集RS_i：＝Φ，转步骤4)；

4)设LASet包含像素的Label值为LA，若LA＜XA+1则转步骤5)，否则令VS_i：＝VS_i+RS_i(RS_i如图14(g)的黑色像素)，令f：＝i+1，转步骤2)；

5)设EAL(LASet)/LASet中包含连通域个数为ke，获取连通域  ${\mathrm{CE}}_1,{\mathrm{CE}}_2,\·\·\·,{\mathrm{CE}}_{\mathrm{ke}}\⊆\mathrm{EAL}\left(\mathrm{LASet}\right)/\mathrm{LASet}$ (如图14(c)(e)黑色像素连通域)；设VS_i所在(单个)车辆区域为VS，对1≤s≤ke：{若 ${\mathrm{CE}}_s\⊆\mathrm{VS}$ 则CE_s包含像素稀少，否则CE_s包含像素较多}，因此，获取集合FES={s|1≤s≤ke，CE_s包含像素个数小于阈值T_e}和集合  $\mathrm{MES}=\left\{s\right|1\≤s\≤\mathrm{ke},s\∉\mathrm{FES}\},$ 令LASet：＝LASet+∑_s∈FESCE_s(如图14(d)(f)的深灰色像素)，令VS_i：＝VS_i+LASet；因为LASet与VS边缘的距离近似等于XA-LA,所以完全去除CE_s(s∈MES)将导致VS边缘出现缺口，因此，对Vs∈MES获取像素集DE_s＝{y|∈CE_s，y到LASet距离不大于XA-LA)(如图14(f)的黑色像素)，令RS_i：＝RS_i+∑_s∈MESDE_s；获取像素集 $\mathrm{HASet}:=\left\{z\right|\∃y\∈\mathrm{LASet}\·z\∈N_8\left(y\right),\mathrm{Label}\left(z\right)=\mathrm{LA}+1\},$ 令LASet：＝HASet，转步骤4)。

对 $\∀1\≤i\≤\mathrm{RC},$ 邻近涨潮方法获取的车辆区域VS_i对应分割出的单个车辆区域，如图14(h)(其中黑色像素为VS_iIVS_i，1≤i，j≤RC且i≠j)。邻近涨潮方法的步骤1)通过对 $\∀y\∈\mathrm{RMSet}$ 对应N₈(y)的一次遍历实现，步骤5)通过对 $\∀y\∈\mathrm{LASet}$ 对应N₈(y)的一次遍历实现( $\∀s\∈\mathrm{MES}\·{\mathrm{CE}}_s$ 包含的像素不需要完全遍历，只需从CE_s与LASet的相交点出发，寻找出CE_s中的T_e个像素，针对表1类型III，车辆阴影方向与车辆运动方向一致时，阈值T_e通常取值3.5(XA-NA)，针对表1其它三种类型，车辆阴影方向与车辆运动方向不一致时，阈值T_e通常取值1.5(XA-NA)，像素集DE_s在寻找CE_s中T_e个像素的过程中可以获取。邻近涨潮方法应用于图13，获得图15的部分遮挡车辆分割结果，其中黑色区域表示不同单个车辆区域的交集。

长截线车辆阴影的消除：

设前景连通域FS包含长截线车辆阴影，则此类阴影在前景连通域FS分割成若干或单个车辆区域VS_i之后消除。如图16(a)的车辆阴影方向d_sh和车辆运动方向d_m根据前述方法可以获取；根据图15(d)可以将前景连通域FS分割成如图16(b)(c)的车辆区域VS_i(i＝1，2，…)；车辆区域VS_i中心(如图16(d))被邻近涨潮方法步骤1的集合LRS记录，沿车辆阴影方向d_sh画一条经过车辆区域VS_i中心的直线L_i，设前景连通域FS中不同车辆区域的交集为INS，如图16(d)的黑色区域；若L_iI INS＝Ф，则将L_iI VS_i称为长截线阴影类型的阴影线LLSet，如图16(e)(f)带方向的黑色线，否则寻找与L_i平行且最近的直线 LL_i使得LL_iI INS＝Φ，将LL_iI VS_i称为长截线阴影类型的阴影线LLSet。

本实施例利用长截线阴影类型的阴影线LLSet像素的梯度信息消除长截线车辆阴影。像素x_0，0在方向d上的梯度采用3×3结构元素中插值的方法计算，如图10中的实线方向为d，A，B，C，D为插入的四个像素，设d与水平正向的夹角为α，并用V(x_u，v)(u，v＝-1，0，1)表示像素x_u，v的亮度值，则根据三角函数及线性插值法，容易求出A，B，C，D四个位置的亮度值V(A)，V(B)，V(C)，V(D)及像素x_0，0在方向d上的梯度Grad _d(x_0，0)：

当0≤α＜π/4时，令k₁＝tan(α)，k₂＝1-tan(α)，则

V(A)＝k₁V(x_1，0)+k₂V(x_1，1)，V(B)＝k₁V(x_-1，1)+k₂V(x_-1，0)，

V(C)＝k₁V(x_-1，0)+k₂V(x_-1，-1)，V(D)＝k₁V(x_1，-1)+k₂V(x_1，0)，

Grad _d(x_0，0)＝|V(D)+2V(A)+V(x_0，1)-V(x_0，-1)-2V(C)-V(B)|；

当π/4≤α＜π/2时，令k₁＝1/tan(α)，k₂＝1-1/tan(α)，则

V(A)＝k₁V(x_0，1)+k₂V(x_1，1)，V(B)＝k₁V(x_-1，1)+k₂V(x_0，1)，

V(C)＝k₁V(x_0，-1)+k₂V(x_-1，-1)，V(D)＝k₁V(x_1，-1)+k₂V(x_0，-1)，

Grad _d(x_0，0)＝|V(B)+2V(A)+V(x_1，0)-V(x_-1，0)-2V(C)-V(D)|；

当α＝π/2时，Grad _d(x_0，0)＝|V(x_1，1)+2V(x_0，1)+V(x_-1，1)-V(x_1，-1)-2V(x_0，-1)-V(x_-1，-1)|；

当π/2＜α＜3π/4时，令k₁＝-1/tan(α)，k₂＝1+1/tan(α)，则

V(A)＝k₁V(x_0，1)+k₂V(x_-1，1)，V(B)＝k₁V(x_-1，-1)+k₂V(x_0，-1)，

V(C)＝k₁V(x_0，-1)+k₂V(x_1，-1)，V(D)＝k₁V(x_1，1)+k₂V(x_0，1)，

Grad _d(x_0，0)＝|V(D)+2V(A)+V(x_-1，0)-V(x_1，0)-2V(C)-V(B)|；

当3π/4≤α＜π时，令k₁＝-tan(α)，k₂＝1+tan(α)，则

V(A)＝k₁V(x_-1，0)+k₂V(x_-1，1)，V(B)＝k₁V(x_-1，-1)+k₂V(x_-1，0)，

V(C)＝k₁V(x_1，0)+k₂V(x_1，-1)，V(D)＝k₁V(x_1，1)+k₂V(x_1，0)，

Grad _d(x_0，0)＝|V(B)+2vA)+V(x_0，1)-V(x_0，-1)-2V(C)-V(D)|；

为了获取长截线阴影类型的阴影线LLSet中处于车辆边缘的像素，对 $\∀x\∈\mathrm{LLSet}$ 计算x在与车辆运动方向d_m垂直方向d_v上的梯度，即Grad(x)＝Grad_dv(x)，从而更加突出车辆边缘的梯度信息。

计算长截线阴影类型的阴影线像素LLSet[i]分别在背景图像的梯度Grad^B(i)和前景图像的梯度Grad^F(i)，然后计算梯度比率Grad^F(i)/Grad^B(i)，因为阴影像素的梯度信息在背景图像和前景图像近似(除亮度差异)，所以长截线阴影类型的阴影线LLSet中处于 车辆边缘像素的梯度比率十分突出。避免除法无意义，当Grad^B(i)＝0时令Grad^B(i)＝1，Grad^B(i)的这种变动通常小于噪声导致Grad^B(i)的波动。

为了区分长截线阴影类型的阴影线LLSet中处于车辆边缘的像素，需要对梯度比率自适应阈值分割。自适应阈值T采用文献[2]的全局自适应阈值分割方法获取：1)选择平均梯度比率值作为T的初始估计值；2)用T分割生成两组像素：G₁由梯度比率值大于T的像素组成，G₂由梯度比率值不大于T的像素组成；3)计算G₁和G₂中像素的平均梯度比率值μ₁和μ₂；4)计算新阈值T＝(μ₁+μ₂)/2；5)重复步骤2到4，直到逐次迭代所得的T值之差不再改变。

将梯度比率值大于该阈值T的像素的集合用VBSet表示，像素集VBSet将长截线阴影类型的阴影线LLSet分割成若干线状连通域 ${\mathrm{CL}}_1,{\mathrm{CL}}_2,\·\·\·,{\mathrm{CL}}_{\mathrm{kl}}\⊆\mathrm{LLSet}/\mathrm{VBSet},$ 在像素个数大于阈值T_c的线状连通域CL_i(1≤≤kl)中筛选出离阴影线正向端点最近的线状连通域CL_s，以线状连通域CL_s的两端点为分割点沿车辆运动方向d_m分割，即可消除长截线车辆阴影。阈值T_c通常取值0.5(XA-NA)(约阈值T_s的1/3)。

如图16(g)(h)给出了长截线车辆阴影的消除结果。

特殊情况的判断与处理：

当超车或改车道时，部分遮挡前景连通域的不同车辆区域可能没有都形成各自的盆地，此类特殊情况持续时间短暂，出现比率小，本发明采用预测跟踪方法与模版匹配相结合的方法实现特殊情况的判断与处理。预测跟踪可以采用文献[14]中所述的Kalman滤波。Kalman滤波是根据前一个预测值和最近一个观测值来预测信号的当前值的基于时间序列的预测方法，其用运动目标的运动状态方程和观测方程对运动目标的当前位置进行预测，能够实现线性运动、高斯噪声条件下运动目标当前位置的最优预测。

如图17(a1)～(d1)，在超车或改车道的初期，不同车辆区域通常都能形成各自的盆地，采用上述方法可以实现车辆分割与阴影消除；将单个车辆区域VS_i中Label值最小像素区域的质心作为车辆区域VS_i质心，采用预测跟踪方法预测车辆区域VS_i质心在下一时刻的位置(如图17(c2))；如图17(a2)～(c2)，当部分遮挡前景连通域中形成盆地的个数小于落入该区域预测位置的个数时，认为出现特殊情况，此时利用前一帧的车辆模版TM_i(如图17(d1))在当前帧的部分遮挡前景连通域FS(如图17(a2))中搜索匹配的车辆区域，如果设车辆模版TM_i对应像素集为TS_i，TS_i包含像素个数为TC，当前帧图像 上被车辆模版TM_i覆盖的候选车辆区域为子图S^uv，(u，v)是子图左上角在前景连通域FS的坐标，则衡量车辆模版TM_i与子图S^uv相似性的距离为：

$D(u,v)=\frac{1}{\mathrm{TC}}{\mathrm{\Σ}}_{x\∈{\mathrm{TS}}_i}|S^{\mathrm{uv}}\left(x\right)-{\mathrm{TM}}_i\left(x\right)|$

设D(u0，v0)＝min_(u，v)∈FSD(u，v)，并设S^u0v0对应像素集为S′，则S′I FS是与车辆模版TM_i;o 匹配的车辆区域VS′_i(如图17(d2))，计算车辆区域VS′_i质心并预测其在下一时刻的位置，从而实现特殊情况的车辆分割与阴影消除；如图17(a3)～(b3)，在超车或改车道的末期，不同车辆区域通常再次形成各自的盆地，此时盆地个数不小于预测位置个数(如图17(b3)～(c3))，继续采用上述方法实现车辆分割与阴影消除(如图17(d3))。

模版匹配时间复杂性较高，但是特殊情况出现比率小，即模版匹配对RVSSE的平均时间效率影响不大。

本发明所述RVSSE时间复杂性主要由前景连通域FS几何形态获取和邻近涨潮车辆分割两部分确定；短截线阴影消除或长截线阴影消除针对稀少的阴影线像素处理，特殊情况出现比率小，它们对RVSSE平均时间复杂性影响不大。设视频图像尺寸为w×h(其中w为视频图像长，h为视频图像宽)，每帧图像前景区域(多个前景连通域FS组成)像素个数为TFC，则前景连通域FS几何形态获取遍历像素次数约2×w×h+8×TFC，邻近涨潮车辆分割遍历像素次数约8×TFC；前景连通域FS几何形态获取和邻近涨潮车辆分割遍历每个像素时，不包含任何复杂的乘除等操作，并且操作次数有限稀少，因此，RVSSE时间复杂性为O(18×w×h)，能够满足视频序列的实时处理。

RVSSE的图像标记Label需要空间w×h，记录每帧图像前景区域需要空间w×h，其它所用像素集包含像素稀少(远小于w×h)，因此，RVSSE空间复杂性为O(3×w×h)。

本发明的实验硬件环境是Pentium(R)4CPU 2.40GHz内存512MB，软件环境是Microsoft Windows XP操作系统，算法采用VC6.0编写，采用clock()函数的1000帧均值，测试算法的CPU执行时间。

基于模型方法虽然可以实现部分遮挡车辆分割及阴影消除，但是其时间复杂性太高，通常会超出10帧/秒视频序列所能允许的每帧图像的平均处理时间，难以满足实时性。HSV颜色空间模型以其较高的时间效率和符合人视觉感知的特性，成为目前应用最广泛的阴影消除方法。因此，针对表1车辆阴影的分类，本实施例采用图18中四类320×240视频序列的前景连通域进行RVSSE与HSV颜色空间模型[4-5]的实验对比。

RVSSE的参数有：阈值T_s通常取值1.5(XA-NA)，阈值T_d通常取值弧度π/12，阈值T_a通常取值XA-0.25(XA-NA)，阈值T_c通常取值0.5(XA-NA)，阈值T_e通常取值3.5(XA-NA)(针对表1类型III)或1.5(XA-NA)(针对表1其它三种类型)。图19和图20分别给出了RVSSE和HSV颜色空间模型的实验结果；图19中的阴影区域已被消除，灰色区域表示不同车辆区域，黑色区域表示不同车辆的重叠区域；图20的非白色区域表示采用HSV颜色空间模型消除阴影后的运动目标区域。

因为室外公路视频通常接近于灰色视频，所以HSV颜色空间模型对室外公路视频的阴影消除效果较差。如图20，较多与车辆相连的阴影区域像素没有消除，并且车辆内部存在较多像素被误判成阴影而消除。HSV颜色空间模型在室外公路视频难以获得准确的运动车辆区域，并且无法实现部分遮挡车辆的分割。实验证明，RVSSE可以更好的消除阴影，并实现部分遮挡车辆的有效分割。

采用MSR表示视频序列中所有运动车辆被遮挡区域占整个运动车辆区域比率的最大值，表2统计了图18对应四类视频序列中运动车辆的最大遮挡率。因此，当摄像机安放在离地面较高(三米以上)位置时，能够最大限度的避免完全遮挡。

表2图18对应四类视频序列中运动车辆的最大遮挡率，其中MSR表示视频序列中所有运动车辆被遮挡区域占整个运动车辆区域比率的最大值

HSV颜色空间模型和RVSSE的时间效率与视频图像尺寸和前景连通域尺寸有关；表3针对图18的四类视频序列给出了HSV与RVSSE处理每帧图像平均时间的对比(单位：毫秒)，其中FIR表示前景连通域占整幅视频图像比率的平均值。由表3的实验对比知，RVSSE的时间效率与HSV颜色空间模型接近。但是HSV颜色空间模型使车辆区域内部产生空洞，为了获得更完整的车辆区域，需要对空洞进行再次填充，从而导致时间效率的降低，因此，RVSSE具有比HSV颜色空间模型更好的实时处理能力。

表3HSV与RVSSE的时间效率对比，其中FIR表示前景连通域占整幅视频图像比率的平均值

本发明提出了面向应用的实时部分遮挡车辆分割及阴影消除方法RVSSE，该方法兼顾准确性和现有硬件条件下的实时性，能够满足10帧/秒监控视频序列的实时性(包含减背景、形态学闭算子、部分遮挡车辆分割及阴影消除和车辆跟踪等)。

参考文献： 

[1]代科学，李国辉，涂丹，袁见.监控视频运动目标检测减背景技术的研究现状和展望.中国图象图形学报.2006，11(7)：919-927. 

[2]冈萨雷斯(阮秋琦，阮宇智译).数字图像处理(第二版).北京：电子工业出版社，2003. 

[3]Tao Zhao，Ram Nevatia.Tracking Multiple Humans in Complex Situations.IEEETransactions on Pattern Analysis and machine Intelligence，2004，26(9)：1208～1221. 

译：赵涛，娜维提亚.复杂环境下多人的跟踪.模式识别与机器智能.2004，26(9)：1208～1221. 

[4]王华伟，李翠华，施华，韦凤梅.视频序列中运动目标检测技术.兵工学报，2006，27(3)：446～450. 

[5]管业鹏，顾伟康.二维场景阴影区域的自动鲁棒分割.电子学报，2006，34(4)：624～627. 

[6]Finlayson G D，Hordley S D，etc.On the Removal of Shadows from Images.IEEETransactions on Pattern Analysis and Machine Intelligence，2006，28(1)：59～68. 

译：辛雷逊，豪迪雷等.图像序列中阴影的消除.模式识别与机器智能.2006，28(1)：59～68. 

[7]Koschan，Abidi M.Detection and Classification of Edges in Color Images.IEEE SignalProcessing Magazine，2005，22(1)：64～73. 

译：考斯城，阿比迪.彩色图像中边缘的检测与分类.信号处理杂志，2005，22(1)：64～73. 

[8]Leone A，Distante C，etc.A texture-based approach for shadow detection.Proceedings ofIEEE Conference on Advanced Video and Signal Based Surveillance.Washington D.C.，USA：IEEE，2005：371～376. 

译：黎恩，迪斯等.基于纹理的阴影检测方法.最新监控视频与信号的国际会议.华盛顿，2005：371～376. 

[9]张玲，程义民，谢于明，李杰.基于局部二元图的视频对象阴影检测方法.系统工程与电子技术，2007，29(6)：974～977. 

[10]Collado J M，Hilario C，etc.Model Based Vehicle Detection for Intelligent Vehicles.Proceedings of IEEE Intelligent Vehicles Symposium.Parma，Italy：IEEE，2004：14～17. 

译：考拉杜，希拉里等.基于模型的智能车辆检测方法.国际智能车辆讨论会.帕尔玛，2004：14～17. 

[11]Weiming Hu，Xuejuan Xiao，etc.Traffic Accident Prediction Using 3-D Model-BasedVehicle Tracking.IEEE Transactions on Vehicular Technology，2004，53(3)：677～694. 

译：胡卫明，肖雪娟等.用于交通事件预测的基于3D模型的车辆跟踪.车辆技术，2004，53(3)：677～694. 

[12]Tan T N，Sullivan G D，etc.Model-based Localization and Recognition of RoadVehicles.International Journal of Computer Vision，1998，27(1)：5～25. 

译：谭铁牛，苏利文等.基于模型的道路车辆定位与识别.计算机视觉国际期刊，1998，27(1)：5～25. 

[13]Pousse A，Chavanelle J，etc.Mixed Wavelet-Watershed Method for Nodule Detection inHigh Resolution Scintimammography.IEEE Transactions on Nuclear Science，2006，53(3)：1096～1101. 

译：庖斯，切文尼.基于混合分水岭方法的高闪烁照相图像中的目标检测.原子能科学，2006，53(3)：1096～1101. 

[14]Castella F R.An Adaptive Two-Dimensional Kalman Tracking Filter.IEEETransactions on Aerospace and Electronic Systems，1980，AES-16(6)：822～829. 

译：卡斯特拉.一种自适应的二维卡尔曼滤波跟踪器.航空与电子系统，1980，AES-16(6)：822～829. 

Claims (7)

1.面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，包括如下步骤：

1)获取前景连通域FS几何形态特征，包括前景连通域FS中的等势线与局部极小点：

将采用减背景和形态学闭算子获得的填充空洞后的前景区域中的每个连通域称为一个前景连通域，用FS表示；将视频图像中除前景连通域以外的区域称为背景区域，用BS表示；用N₈(x)表述与像素x相邻的八个像素；

前景连通域的几何形态特征通过初始化为0的图像标记Label获取：

步骤1)令像素集HASet：＝Φ；扫描图像一次，设一条竖向灰色扫描线L，若像素x∈LI BS则令Label(x)＝XA+1，其中设XA＝w+h，w为视频图像长，h为视频图像宽；若相邻两像素x₁∈LI BS，x₂∈LI FS则令像素集TSet：＝{x|x∈N₈(x₁)I FS，Label(x)＝0}，令HASet：＝HASet+TSet，并对

令Label(x)＝XA；扫描图像一次，对每条横向扫描线的处理与竖向扫描线L相同；令像素集LMSet：＝Φ，转步骤2；

步骤2)若HASet≠Φ，设HASet中像素的Label值为LA，则令LMSet：＝LMSet+

令像素集

对

令Label(y)＝LA-1，然后令HASet：＝LASet，重复步骤2；若HASet＝Φ，则运行终止；

上述步骤1获得前景连通域FS边缘的像素集HASet；步骤2以前景连通域FS边缘像素集为起点，反复迭代，获得前景连通域FS中的逐层等势线和局部极小点集LMSet；等势线是指前景连通域FS中具有相同Label值的，连通的线状的像素集；如果像素x∈FS且满足

，则称像素x为局部极小点；若前景连通域FS包含像素个数小于阈值T_n，则将前景连通域FS视为噪声去除，阈值T_n取值为视频图像包含像素总数的1/200；

2)如果为长方向线的车辆阴影，对短截线车辆阴影进行消除：

为了从局部极小点集LMSet中分离出分布在短截线车辆阴影区域中心的局部极小点，获取像素集

筛选出LMSetY EMSet中像素个数大于阈值T_s的连通域C₁，C₂，…，C_k，设前景连通域FS中最小的Label值为NA，则阈值T_s取值1.5(XA-NA)；

筛选出C_iI LMSet中Label值最大的像素集为正向端点XS_i和Label值最小的像素集为反向端点NS_i，以反向端点NS_i为起点正向端点XS_i为终点的方向为C_i的方向d_i，筛选出C_i的方向d_i与已知的车辆阴影方向d_sh夹角小于阈值T_d，阈值T_d取值弧度π/12；且正向端点XS_i中像素Label值大于阈值T_a的C_i，阈值T_a取值XA-0.25(XA-NA)，将筛选出的C_i称为阴影线，阴影线包含了局部极小点集LMSet中分布在短截线车辆阴影区域中心的局部极小点；

再通过所述阴影线的梯度信息消除短截线车辆阴影，其中车辆运动方向d_m通过背景标记获取；设阴影线像素集为SLSet，为了获取阴影线像素集SLSet中处于车辆边缘的像素，对采用3×3结构元素中插值的方法计算x在车辆运动方向d_m和与车辆运动方向垂直的方向d_v两个方向上的梯度；

对令x的梯度为其在车辆运行方向d_m和与车辆运动方向垂直的方向d_v两个方向上梯度的最大值，即Grad(x)＝max(Grad_dm(x)，Grad_dv(x))，将阴影线SLSet中像素按其方向排序，其中第i个像素用SLSet[i]表示，若i＜j，则SLSet[i]比SLSet[j]更接近于阴影线正向端点；

计算阴影线像素SLSet[i]分别在背景图像的梯度Grad^B(i)和前景图像的梯度Grad^F(i)，然后计算梯度比率Grad^F(i)/Grad^B(i)，其中Grad^B(i)＝0时，令Grad^B(i)＝1；

为了区分阴影线SLSet中处于车辆边缘的像素，对梯度比率自适应阈值T分割，将梯度比率值大于梯度比率自适应阈值T的像素的集合用VBSet表示，像素集VBSet将短截线阴影线SLSet分割成若干线状连通域在像素个数大于阈值T_c的CL_i中筛选出离阴影线正向端点最近的线状连通域CL_s，其中1≤i≤kl，以线状连通域CL_s的两端点为分割点沿与已知的车辆阴影方向垂直的方向分割，即消除了短截线车辆阴影；其中阈值T_c取值0.5(XA-NA)，将被消除的短截线车辆阴影区域像素的Label值改赋为XA+1；

3)采用邻近涨潮分割车辆：

设短截线车辆阴影消除后剩余的局部极小点集为RMSet；如果像素集Set中像素处于同一等势线，则设Set所在等势线为EAL(Set)；

步骤1设剩余局部极小点集RMSet包含的连通域个数为kr，获取连通域

和集合LRS＝{CR_s|1≤s≤kr，EAL(CR_s)/CR_s＝Φ}；设LRS包含元素个数为RC，并设LRS[i]为LRS的第i个元素；令i：＝1，转步骤2；

步骤2若i≤RC，则令像素集VS_i：＝Φ，转步骤3，否则终止；

步骤3设LRS[i]包含像素的Label值为LI，获取像素集

令VS_i：＝VS_i+LRS[i]；令像素集RS_i：＝Φ，转步骤4；

步骤4设LASet包含像素的Label值为LA，若LA＜XA+1，则转步骤5，否则令VS_i：＝VS_i+RS_i，令i：＝i+1，转步骤2；

步骤5设EAL(LASet)/LASet包含的连通域个数为ke，获取连通域

设VS_i所在车辆区域为VS，对1≤s≤ke：{若

则CE_s包含像素稀少，否则CE_s包含像素较多}，因此，获取集合FES＝{s|1≤s≤ke，CE_s包含像素个数小于阈值T_e}和集合

令LASet：＝LASet+∑_s∈FESCE_s，令VS_i：＝VS_i+LASet；对

获取像素集DE_s＝{y|y∈CE_s，y到LASet距离不大于XA-LA}，令RS_i：＝RS_i+∑_s∈MES DE_s；获取像素集

令LASet：＝HASet，转步骤4；

其中车辆阴影方向与车辆运动方向一致时，阈值T_e取值3.5(XA-NA)，车辆阴影方向与车辆运动方向不一致时，阈值T_e取值1.5(XA-NA)；

4)如果为长方向线的车辆阴影，且无短截线阴影，则利用长截线阴影类型阴影线LLSet像素的梯度信息消除长截线车辆阴影：

将前景连通域FS分割成车辆区域VS_i(i＝1，2，…)；车辆区域VS_i中心被邻近涨潮方法步骤1的集合LRS记录，沿车辆阴影方向d_sh设有一条经过车辆区域VS_i中心的直线L_i，设前景连通域FS中不同车辆区域的交集为INS，若L_iI INS＝Φ，则将L_iI VS_i称为长截线阴影类型的阴影线LLSet，否则，设与L_i平行且最近的直线为LL_i，使得LL_iI INS＝Φ，将LL_iI V_Si称为长截线阴影类型的阴影线LLSet；

其中车辆运动方向d_m通过背景标记获取，方向d_v与车辆运动方向d_m垂直；阴影线像素集为LLSet，对

采用3×3结构元素中插值的方法计算x在与车辆运动方向垂直的方向d_v上的梯度，即Grad(x)＝Grad_dv(x)；再对梯度比率自适应阈值T分割，以线状连通域CL_s的两端点为分割点沿与已知的车辆运动方向d_m分割，即消除了长截线车辆阴影，完成部分遮挡车辆分割及阴影消除。

2.根据权利要求1所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，当超车或改车道时，n_d＜n_f，其中邻近涨潮分割前景连通域FS获得的车辆个数为n_d，通过前一帧预测获得的当前帧前景连通域FS包含的车辆个数为n_f；将超车或该车道过程分为初期、中期和末期三个阶段，在初期和末期阶段，采用权利要求1所述方法，在中期阶段，采用预测跟踪与模板匹配相结合的方法分割车辆及消除阴影。

3.根据权利要求2所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，采用预测跟踪与模板匹配相结合的方法的步骤为：将单个车辆区域VS_i中Label值最小像素区域的质心作为VS_i质心，采用预测跟踪方法预测VS_i质心在下一时刻的位置；当邻近涨潮分割前景连通域FS获得的车辆个数小于落入前景连通域FS的预测位置个数时，此时利用前一帧的车辆模版TM_i在当前帧的部分遮挡前景连通域FS中搜索匹配的车辆区域，如果设车辆模版TM_i对应像素集为TS_i，TS_i包含像素个数为TC，当前帧图像上被车辆模版TM_i覆盖的候选车辆区域为子图S^uv，(u，v)是子图左上角在部分遮挡前景连通域FS的坐标，则衡量TM_i与S^uv相似性的距离为：

$D(u,v)=\frac{1}{\mathrm{TC}}{\mathrm{\Σ}}_{x\∈{\mathrm{TS}}_i}|S^{\mathrm{uv}}\left(x\right)-{\mathrm{TM}}_i\left(x\right)|$

设D(u0，v0)＝min_(u，v)∈kS D(u，v)，并设S^u0v0对应像素集为S′，则S′I FS是与车辆模版TM_i匹配的车辆区域VS′_i，计算VS′_i质心并预测其在下一时刻的位置，从而实现特殊情况的车辆分割与阴影消除。

4.根据权利要求3所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，预测跟踪方法采用Kalman滤波，Kalman滤波是根据前一个预测值和最近一个观测值来预测信号的当前值的基于时间序列的预测方法，其用运动目标的运动状态方程和观测方程对运动目标的当前位置进行预测，实现线性运动、高斯噪声条件下运动目标当前位置的最优预测。

5.根据权利要求1-4之一所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，在所述消除短截线阴影的步骤中确定阴影线C_i的方向时，出现正向端点XS_i与反向端点NS_i重合的情况，阴影线方向则直接由正向端点XS_i或反向端点NS_i确定，方向选取与已知的车辆阴影方向夹角最小的一边；出现反向端点NS_i不在阴影线端点的情况时，以反向端点NS_i为断点去除与阴影线方向相反的像素。

6.根据权利要求1-4之一所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，在所述消除短截线阴影的步骤中采用3×3结构元素中插值的方法具体步骤为：

设方向为d，A，B，C，D为插入的四个像素，设方向d与水平正向的夹角为α，并用V(x_u，v)(u，v＝-1，0，1)表示像素x_u，v的亮度值，则根据三角函数及线性插值法，求出A，B，C，D四个位置的亮度值V(A)，V(B)，V(C)，V(D)及像素x_0，0在方向d上的梯度Grad_d(x_0，0)：

当0≤α＜π/4时，令k₁＝tan(α)，k₂＝1-tan(α)，则

V(A)＝k₁V(x_1，0)+k₂V(x_1，1)，V(B)＝k₁V(x_-1，1)+k₂V(x_-1，0)，V(C)＝k₁V(x_-1，0)+k₂V(x_-1，-1)，V(D)＝k₁V(x_1，-1)+k₂V(x_1，0)，

Grad_d(x_0，0)＝|V(D)+2V(A)+V(x_0，1)-V(x_0，-1)-2V(C)-V(B)|；

当π/4≤α＜π/2时，令k₁＝1/tan(α)，k₂＝1-1/tan(α)，则

V(A)＝k₁V(x_0，1)+k₂V(x_1，1)，V(B)＝k₁V(x_-1，1)+k₂V(x_0，1)，V(C)＝k₁V(x_0，-1)+k₂V(x_-1，-1)，V(D)＝k₁V(x_1，-1)+k₂V(x_0，-1)，

Grad_d(x_0，0)＝|V(B)+2V(A)+V(x_1，0)-V(x_-1，0)-2V(C)-V(D)|；

当α＝π/2时，Grad _d(x_0，0)＝|V(x_1，1)+2V(x_0，1)+V(x_-1，1)-V(x_1，-1)-2V(x_0，-1)-V(x_-1，-1)|；

当π/2＜α＜3π/4时，令k₁＝-1/tan(α)，k₂＝1+1/tan(α)，则

V(A)＝k₁V(x_0，1)+k₂V(x_-1，1)，V(B)＝k₁V(x_-1，-1)+k₂V(x_0，-1)，V(C)＝k₁V(x_0，-1)+k₂V(x_1，-1)，V(D)＝k₁V(x_1，1)+k₂V(x_0，1)，

Grad_d(x_0，0)＝|V(D)+2V(A)+V(x_-1，0)-V(x_1，0)-2V(C)-V(B)|；

当3π/4≤α＜π时，令k₁＝-tan(α)，k₂＝1+tan(α)，则

V(A)＝k₁V(x_-1，0)+k₂V(x_-1，1)，V(B)＝k₁V(x_-1，-1)+k₂V(x_-1，0)，V(C)＝k₁V(x_1，0)+k₂V(x_1，-1)，V(D)＝k₁V(x_1，1)+k₂V(x_1，0)，

Grad_d(x_0，0)＝|V(B)+2V(A)+V(x_0，1)-V(x_0，-1)-2V(C)-V(D)|。

7.根据权利要求1-4之一所述面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，在所述消除短截线阴影的步骤中梯度比率自适应阈值T是采用全局自适应阈值分割方法获得，具体包括如下步骤：

步骤1：选择平均梯度比率值作为梯度比率自适应阈值T的初始估计值；步骤2：用梯度比率自适应阈值T分割生成两组像素：G₁由梯度比率值大于T的像素组成，G₂由梯度比率值不大于梯度比率自适应阈值T的像素组成；步骤3：计算G₁和G₂中像素的平均梯度比率值μ₁和μ₂；步骤4：计算新阈值T＝(μ₁+μ₂)/2；步骤5)重复步骤2-4，直到逐次迭代所得的T值之差不再改变，即为最终的梯度比率自适应阈值T。

Images