CN104077776A - 一种基于颜色空间自适应更新的视觉背景提取算法 - Google Patents

Abstract

本发明公开了一种基于颜色空间自适应更新的视觉背景提取算法，包括：为标准视频帧的像素建立样本集并统计每个样本出现的次数，从而得到标准模型；将待测视频帧的像素与标准模型的像素进行对比和最近距离寻找计算，从而对待测视频帧的像素进行前景分割；计算标准模型中样本的可信度和自适应更新因子，然后根据自适应更新因子对样本进行动态更新；在YUV色彩空间中对前景分割得到的前景图与背景图进行差分和直方图分析，然后根据直方图分析的结果和颜色特性差异对前景像素的阴影进行识别与消除。本发明利用颜色特性差异识别与消除前景像素的阴影，精确度更高；通过自适应更新因子进行动态更新，更加灵活和准确，可广泛应用于计算机视觉分析领域。

Description

一种基于颜色空间自适应更新的视觉背景提取算法

技术领域

本发明涉及计算机视觉分析领域，尤其是一种基于颜色空间自适应更新的视觉背景提取算法。 

背景技术

为了更好的存储和智能处理不断增长的视频流数据，目前业内已有不少人采用背景减除法来检测、分割和跟踪视频中的运动物体，以实现运动目标的检测。 

背景减除方法在实现运动物体的检测时必须适应逐渐或者快速的光照变化(如云、一天中不同时间的光照等)、相机抖动，高频事件(如树叶或者树干等密集出现的物体)和背景物体的改变(如新停下的车必须及时归为背景，而由静止状态开始移动的对象必须及时检测为前景)等。此外，当一个静止的对象突然运动了，就会在对象原来覆盖的区域形成一个ghost(鬼影)区域，或者当运动的物体突然停下了，也会引入ghost区域，因此对ghost区域的消除也是背景减除方法的一个考虑因素。 

目前大部分的背景减除方法分为两类：1)参数化的方法，为每一个像素位置构建一个参数化模型，如高斯背景建模，核密度估计；这种方法可以成功处理动态环境的多模态背景(如晃动的树叶)，但是这种模型对于参数的改变非常的敏感，对模型的参数的评估(尤其是方差)在噪声图像上也是一个问题。2)基于样本的方法，通过对一个像素的观察，记录存储其过去的一些样本值来规避参数评估的步骤，提高了对噪声的鲁棒性；通过直接将观察到的像素加入构建的像素模型中，来响应高频事件的快速反应；但是其在处理以不同速度变化的伴随事件的能力还是有限的。 

Vibe(即Visual Background Extractor)就是一种基于样本的背景减除方法，仅使用第一帧图像就完成了初始化过程，实现了采用存储像素的过去样本来规避参数评估的步骤，不需要等待数秒来收集样本构建像素模型，非常适用于实时性要求高的应用或者对一些短视频的分析。此外，Vibe构建模型的方式可以 应对背景的变化和扰动；采用了随机替换方法来更新模型，保证了模型中样本值生命周期的呈指数型平滑衰减，取代了传统模型中样本值保存一个固定时间的方法，使得背景模型很好的适应场景的变化，从而得到更好的检测效果。而且Vibe采用的是随机方法，计算量小，处理速度快，能快速消除ghost区域且对噪声的鲁棒性强。 

然而，现有的基于Vibe的背景减除法也存在以下缺点：a.不考虑对象阴影的消除，直接将阴影作为前景像素来处理，精确度不高；b.为克服保守的背景更新策略的限制，采用了随机扩散机制，然而在出现误检时最快插入背景模型中的值不一定就是背景值，容易导致错误种子的不断扩散，不利于前景物体的检测。 

发明内容

为了解决上述技术问题，本发明的目的是：提供一种精确度高、灵活和准确的，基于颜色空间自适应更新的视觉背景提取算法。 

本发明解决其技术问题所采用的技术方案是：一种基于颜色空间自适应更新的视觉背景提取算法，包括： 

A.为标准视频帧的像素建立样本集并统计每个样本出现的次数，从而得到标准模型； 

B.将待测视频帧的像素与标准模型的像素进行对比和最近距离寻找计算，从而对待测视频帧的像素进行前景分割； 

C.计算标准模型中样本的可信度和自适应更新因子，然后根据自适应更新因子对样本进行动态更新； 

D.在YUV色彩空间中对前景分割得到的前景图与背景图进行差分和直方图分析，然后根据直方图分析的结果和颜色特性差异对前景像素的阴影进行识别与消除。 

进一步，所述步骤A，其具体为： 

首先，为标准视频帧的任一像素x建立一个样本集M(x)，并为样本集M(x)中的每个样本建立一个MAP结构；然后统计每个样本出现的次数N_t(i)，最后将统计得到的次数N_t(i)记录到MAP结构中，其中，M(x)＝(v₁，v₂，v₃，...，v_n)，n为大于等于1的整数，i代表样本在MAP结构中的索引，且i＝1，2，3，…，n。 

进一步，所述步骤B，其包括： 

B1.在标准模型的样本集M(x)中搜索与待测视频帧像素x距离最短的样本； 

B2.判断搜索到的样本与待测视频帧像素x的距离是否超过预设的距离阈值R，若是，则认为搜索到的样本为相似样本并将该样本的出现次数N_t(i)加1，反之，则流程结束； 

B3.判断相似样本的出现次数N_t(i)是否大于预设的最小基数，若是，则将待测视频帧像素x判定为背景像素，反之，将待测视频帧像素x判定为前景像素。 

进一步，所述步骤C，其包括： 

C1.计算相似样本的出现频率，所述相似样本的出现频率f的计算公式为： 

$f=\frac{N_t\left(i\right)}{n},$

其中，n为总样本数； 

C2.计算相似样本的稳定性，所述相似样本的稳定性S的计算公式为： 

$S=\min ({\left(\frac{t}{\mathrm{\ϵ}}\right)}^2,1),$

其中，t为连续持续的稳定时间，ε为最大的时间域值； 

C3.根据相似样本的出现频率f和稳定性S计算背景点的可信度，所述背景点的可信度的计算公式为： 

其中，w₁∈(0，1)，w₂∈(0，1)，W₁为像素出现频率的权重，W₂为像素稳定性的权重； 

C4.对标准模型中样本V_t(i)的更新因子进行凋整并根据调整后的更新因子对标准模型的样本进行动态更新，调整后的更新因子的表达式为： 

其中，β_t(i，j)为控制样本更新率的因数。 

进一步，所述步骤D，其包括： 

D1.在YUV色彩空间中对前景分割得到的前景图与背景图分别进行Y、U、V分量求差，从而得到差分图； 

D2.对差分图进行统计直方图分析，得到差分直方图； 

D3.根据差分直方图判断待测视频帧的像素是否满足阴影区域的共性特征，若是，则认为该待测视频帧的像素为阴影区域像素，此时从前景图中去除该阴影区域像素后返回步骤B重新进行前景分割；反之，则认为该待测视频帧的像素为运动前景区域像素，流程结束。 

进一步，所述阴影区域的共性特征为： 

$\left\{\begin{array}{c}0\≤\mathrm{DifY}\≤{\mathrm{\θ}}_1\\ 0\≤\mathrm{DifU}\≤{\mathrm{\θ}}_2\\ 0\≤\mathrm{DifV}\≤{\mathrm{\θ}}_3\end{array}\right.,$

其中，DifY、DifU和DifV分别为差分直方图中的Y分量信息阈值、U分量信息阈值和V分量信息阈值，θ1、θ2和θ3均为观察到的结果。 

本发明的有益效果是：通过自适应更新因子对模型中的样本进行自适应更新，然后结合颜色信息，通过差分和直方图分析，利用颜色特性差异识别出前景像素的阴影并进行消除，解决了现有技术无法对像素阴影进行消除而直接将阴影作为前景像素来处理的问题，精确度更高：通过自适应更新因子进行动态更新，采用动态的自适应更新策略取代传统的随机扩散插入机制，确保了模型对插入像素值的稳定，减少了在出现误检时错误种子的扩散，更加准确。 

附图说明

下面结合附图和实施例对本发明作进一步说明。 

图1为本发明一种基于颜色空间自适应更新的视觉背景提取算法的步骤流程图； 

图2为本发明步骤B的流程图； 

图3为本发明步骤C的流程图； 

图4为本发明步骤D的流程图。 

具体实施方式

参照图1，一种基于颜色空间自适应更新的视觉背景提取算法，包括： 

A.为标准视频帧的像素建立样本集并统计每个样本出现的次数，从而得到标准模型； 

B.将待测视频帧的像素与标准模型的像素进行对比和最近距离寻找计算，从而对待测视频帧的像素进行前景分割； 

C.计算标准模型中样本的可信度和自适应更新因子，然后根据自适应更新因子对样本进行动态更新； 

D.在YUV色彩空间中对前景分割得到的前景图与背景图进行差分和直方图分析，然后根据直方图分析的结果和颜色特性差异对前景像素的阴影进行识别与消除。 

进一步作为优选的实施方式，所述步骤A，其具体为： 

首先，为标准视频帧的任一像素x建立一个样本集M(x)，并为样本集M(x)中的每个样本建立一个MAP结构；然后统计每个样本出现的次数N_t(i)，最后将统计得到的次数N_t(i)记录到MAP结构中，其中，M(x)＝(v₁，v₂，v₃，...，v_n)，n为大于等于1的整数，i代表样本在MAP结构中的索引，且i＝1，2，3，…，n。 

参照图2，进一步作为优选的实施方式，所述步骤B，其包括： 

B1.在标准模型的样本集M(x)中搜索与待测视频帧像素x距离最近的样本； 

B2.判断搜索到的样本与待测视频帧像素x的距离是否超过预设的距离阈值R，若是，则认为搜索到的样本为相似样本并将该样本的出现次数N_t(i)加1，反之，则流程结束； 

B3.判断相似样本的出现次数N_t(i)是否大于预设的最小基数，若是，则将待测视频帧像素x判定为背景像素，反之，将待测视频帧像素x判定为前景像素。 

其中，预设的最小基数，是指预设的样本出现次数阈值。相似样本的出现次数N_t(i)是否大于预设的最小基数为对背景模型进行更新的一个必要前提条件 

参照图3，进一步作为优选的实施方式，所述步骤C，其包括： 

C1.计算相似样本的出现频率，所述相似样本的出现频率f的计算公式为： 

$f=\frac{N_t\left(i\right)}{n},$

其中，n为总样本数； 

C2.计算相似样本的稳定性，所述相似样本的稳定性S的计算公式为： 

$S=\min ({\left(\frac{t}{\mathrm{\ϵ}}\right)}^2,1),$

其中，t为连续持续的稳定时间，ε为最大的时间阈值； 

C3.根据相似样本的出现频率f和稳定性S计算背景点的可信度，所述背景点的可信度的计算公式为： 

其中，w₁∈(0，1)，w₂∈(0，1)，W₁为像素出现频率的权重，W₂为像素稳定性的权重； 

C4.对标准模型中样本V_t(i)的更新因子进行调整并根据调整后的更新因子对标准模型的样本进行动态更新，凋整后的更新因子的表达式为： 

其中，β_t(i，j)为控制样本更新率的因数。 

参照图4，进一步作为优选的实施方式，所述步骤D，其包括： 

D1.在YUV色彩空间中对前景分割得到的前景图与背景图分别进行Y、U、V分量求差，从而得到差分图； 

D2.对差分图进行统计直方图分析，得到差分直方图； 

D3.根据差分直方图判断待测视频帧的像素是否满足阴影区域的共性特征，若是，则认为该待测视频帧的像素为阴影区域像素，此时从前景图中去除该阴影区域像素后返回步骤B重新进行前景分割；反之，则认为该待测视频帧的像素为运动前景区域像素，流程结束。 

进一步作为优选的实施方式，所述阴影区域的共性特征为： 

$\left\{\begin{array}{c}0\≤\mathrm{DifY}\≤{\mathrm{\θ}}_1\\ 0\≤\mathrm{DifU}\≤{\mathrm{\θ}}_2\\ 0\≤\mathrm{DifV}\≤{\mathrm{\θ}}_3\end{array}\right.,$

其中，DifY、DifU和DifV分别为差分直方图中的Y分量信息阈值、U分量信息阈值和V分量信息阈值，θ1、θ2和θ3均为观察到的结果。 

下面结合具体实施例对本发明作进一步详细说明。 

实施例一 

本实施例对本发明一种基于颜色空间自适应更新的视觉背景提取算法的实现过程进行介绍。 

本发明一种基于颜色空间自适应更新的视觉背景提取算法的实现过程包括： 

(一)、建模 

首先，为视频帧的每个像素建立一个样本集，该样本集存储的是像素过去或者邻域周围的像素值。记任一像素为x，则像素x的背景分布由样本集合M(x)＝(v₁，v₂，v₃，...，v_n)中的样本进行模拟，实际中可取n＝20。接着为每个样本都记录一个MAP结构，用于记录每个样本出现的次数N_t(i)，i＝1，2，3，…，n，其中，i代表该样本在MAP中的索引。同一帧中其他像素也遵循相同的建模方式。 

(二)、前景分割 

本发明通过将待测视频帧的每个像素与其模型进行对比，寻找计算他们之间的距离实现前景分割。记位于视频帧a位置上的待测像素为x，在集合M(x)中搜索与x距离最近的样本，如果该样本与待测像素x的距离不超过阈值R，则认为该样本是相似样本，并将其出现的次数N_t(i)加1。如果相似样本出现的次数超过最小基数，则待测视频帧像素x判定为背景像素，反之，将待测视频帧像素x判定为前景像素。 

(三)、动态更新背景模型 

待测视频帧像素x仅在M(x)中至少存在出现的次数等于最小基数的相似样本时才对背景模型进行更新。若x被判定为背景点，则对在像素x模型中背景可信度最低的样本中进行更新。 

Nt被认为是相似样本的出现次数的叠加，故相似样本的出现频率计算公式为： 

$f=\frac{N_t\left(i\right)}{n}---\left(1\right).$

背景像素通常都保持在稳定的状态，但较短时间内的稳定，并不能说明像素 就一定是背景像素，因此可以通过一段连续稳定时间来评估样本作为背景的可信度。样本的稳定性计算公式为： 

$S=\min ({\left(\frac{t}{\mathrm{\ϵ}}\right)}^2,1)---\left(2\right)$

其中，S为用于评估背景可信度的稳定性值。 

根据模型中相似样本的出现频率和像素的稳定程度，其成为背景点的可信度的计算公式为： 

其中，W₁和W₂的大小需要根据实际情况来设定，一般情况背景为方要的特征时，W₁＜W₂。 

为实现动态的更新，本发明对样本V_t(i)的更新因子，即出现频率的权重 进行的调整为： 

$w_1^t(i,j)={\mathrm{\β}}_t(i,j)+(1-{\mathrm{\β}}_t(i,j))w_1---\left(4\right)$

当模型中的一个样本持续作为当前像素的相似样本时，其权重将不断增大，可信度也在不断增大，根据式(5)，β_t(i，j)将持续降低，样本的更新率也会随之减小。因此，若x被判定为背景点，本发明则选取对在像素x模型中背景可信度最低的样本中进行更新。 

此外，上述的更新方法也可以实现对在随机选择邻域周围的像素进行更新。这个更新过程，更新了M(x)中的样本，同时也可任选像素点x中的任一邻域像素采用与M(x)样本相同的方法进行更新，从而保证了对x周围像素邻域内的样本的更新，更加准确。 

(四)、基于颜色空间的阴影消除 

设某一帧中图像上位于位置i上的像素点为x，令 I^c＝[Y^c(x_i)，U^c(x_i)，V^c(x_i)]为YUV色彩空间中当前帧的各分量的信息值；I^b(v_j)＝[Y^b(x_i)，U^b(x_i)，V^b(x_i)]，j＝1，2，…，n为其对应模型中的样本各分量的信息值。同时，假定每次检测得到的结果都采用二值图像表示，即1为前景像素点，0为背景像素点。 

阴影具有以下性质： 

性质1：阴影区域的各像素的亮度值要低于场景背景和运动物体区域中的亮度值； 

性质2：阴影区域中的色度与背景区域的色度几乎相同。 

因此，可以将得到的前景图和背景图进行各分量求差，然后根据其统计直方图的特点来提取阴影区域在YUV差分空间的共性特征： 

$\left\{\begin{array}{c}0\≤\mathrm{DifY}\≤{\mathrm{\θ}}_1\\ 0\≤\mathrm{DifU}\≤{\mathrm{\θ}}_2\\ 0\≤\mathrm{DifV}\≤{\mathrm{\θ}}_3\end{array}\right.---\left(6\right)$

其中，θ1、θ2和θ3分别为观察到的结果。对于满足以上共性特性(即公式(6))的像素区域认为是阴影区域，需要进行消除和重新进行前景分割，否则认为是运动前景区域。 

与现有技术相比，本发明提出了一种自适应更新因子的方法，并结合颜色信息，自适应更新模型中的样本，然后利用颜色信息，将前景像素聚类为不同的目标区域，利用颜色特性差异识别出真实的运动目标和伪运动目标。这样有效地去除了前景物体运动时的阴影，改进了误检的情况，克服了实际应用(如车辆检测)中背景和运动物体前景颜色相似的缺陷，提高了运动目标检测的精确率。 

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。 

Claims (6)

1.一种基于颜色空间自适应更新的视觉背景提取算法，其特征在于：包括：

A.为标准视频帧的像素建立样本集并统计每个样本出现的次数，从而得到标准模型；

B.将待测视频帧的像素与标准模型的像素进行对比和最近距离寻找计算，从而对待测视频帧的像素进行前景分割；

C.计算标准模型中样本的可信度和自适应更新因子，然后根据自适应更新因子对样本进行动态更新；

D.在YUV色彩空间中对前景分割得到的前景图与背景图进行差分和直方图分析，然后根据直方图分析的结果和颜色特性差异对前景像素的阴影进行识别与消除。

2.根据权利要求1所述的一种基于颜色空间自适应更新的视觉背景提取算法，其特征在于：所述步骤A，其具体为：

首先，为标准视频帧的任一像素x建立一个样本集M(x)，并为样本集M(x)中的每个样本建立一个MAP结构；然后统计每个样本出现的次数N_t(i)，最后将统计得到的次数N_t(i)记录到MAP结构中，其中，M(x)＝(v₁，v₂，v₃，...，v_n)，n为大于等于1的整数，i代表样本在MAP结构中的索引，且i＝1，2，3，…，n。

3.根据权利要求2所述的一种基于颜色空间自适应更新的视觉背景提取算法，其特征在于：所述步骤B，其包括：

B1.在标准模型的样本集M(x)中搜索与待测视频帧像素x距离最短的样本；

B2.判断搜索到的样本与待测视频帧像素x的距离是否超过预设的距离阈值R，若是，则认为搜索到的样本为相似样本并将该样本的出现次数N_t(i)加1，反之，则流程结束；

B3.判断相似样本的出现次数N_t(i)是否大于预设的最小基数，若是，则将待测视频帧像素x判定为背景像素，反之，将待测视频帧像素x判定为前景像素。

4.根据权利要求3所述的一种基于颜色空间自适应更新的视觉背景提取算法，其特征在于：所述步骤C，其包括：

C1.计算相似样本的出现频率，所述相似样本的出现频率f的计算公式为：

$f=\frac{N_t\left(i\right)}{n},$

其中，n为总样本数；

C2.计算相似样本的稳定性，所述相似样本的稳定性S的计算公式为：

$S=\min ({\left(\frac{t}{\mathrm{\ϵ}}\right)}^2,1),$

其中，t为连续持续的稳定时间，ε为最大的时间阈值；

C3.根据相似样本的出现频率f和稳定性S计算背景点的可信度，所述背景点的可信度的计算公式为：

其中，w₁∈(0，1)，w₂∈(0，1)，W₁为像素出现频率的权重，W₂为像素稳定性的权重；

C4.对标准模型中样本V_t(i)的更新因子进行调整并根据调整后的更新因子对标准模型的样本进行动态更新，调整后的更新因子的表达式为：

其中，β_t(i，j)为控制样本更新率的因数。

5.根据权利要求4所述的一种基于颜色空间自适应更新的视觉背景提取算法，其特征在于：所述步骤D，其包括：

D1.在YUV色彩空间中对前景分割得到的前景图与背景图分别进行Y、U、V分量求差，从而得到差分图；

D2.对差分图进行统计直方图分析，得到差分直方图；

D3.根据差分直方图判断待测视频帧的像素是否满足阴影区域的共性特征，若是，则认为该待测视频帧的像素为阴影区域像素，此时从前景图中去除该阴影区域像素后返回步骤B重新进行前景分割；反之，则认为该待测视频帧的像素为运动前景区域像素，流程结束。

6.根据权利要求5所述的一种基于颜色空间自适应更新的视觉背景提取算法，其特征在于：所述阴影区域的共性特征为：

$\left\{\begin{array}{c}0\≤\mathrm{DifY}\≤{\mathrm{\θ}}_1\\ 0\≤\mathrm{DifU}\≤{\mathrm{\θ}}_2\\ 0\≤\mathrm{DifV}\≤{\mathrm{\θ}}_3\end{array}\right.,$

其中，DifY、DifU和DifV分别为差分直方图中的Y分量信息阈值、U分量信息阈值和V分量信息阈值，θ1、θ2和θ3均为观察到的结果。