CN101686338B - 分割视频中的前景和背景的系统和方法 - Google Patents

Abstract

本发明公开了分割视频中的前景和背景的系统和方法，其中，该系统包括：视频拍摄模块，用于拍摄视频；数据读取模块，用于读取视频的每一帧；初次分割模块，用于对每一帧的每一个像素在第一颜色空间内建立多个高斯模型，并执行当前帧的每一个像素与该像素对应的多个高斯模型的匹配处理，根据匹配处理的结果将像素初次分割为前景和背景；以及分割再判断模块，用于对经过初次分割处理的前景和背景在第二颜色空间中进行再判断处理，从而得到最终确定的前景和背景。本发明利用颜色空间的联合并引入像素之间的联系，改善了前景分割的效果。

Description

分割视频中的前景和背景的系统和方法

技术领域

本发明涉及监控、人工智能、计算机视觉等领域中固定摄像机(摄像头)拍摄视频的运动物体分割，更具体地，涉及分割视频中的前景和背景的系统和方法。

背景技术

用于解决视频中运动前景分割问题的一种有效思路就是将当前视频的每帧图像与一幅代表背景的参考图像做比较并求差分。在最初的解决方法中，代表背景的参考图像一般由一个统计模型来表示。

在一种方法中，基于最近N帧图像，对每个像素建立一个独立的单高斯模型，即，以正态分布的统计模型来代表背景参考图像。

在另一种方法中采用了混合高斯模型，用多个统计模型来代表一个像素的颜色分布。该方法使得参考背景模型具有一定适应性且具有学习能力。对于背景图像中产生的移动和变化可以通过更新模型参数和更新模型权重，使背景模型在更新中学习背景的变化，从而减小分割错误。但该方法中并没有对被阴影覆盖的背景部分作出判断和处理，容易导致在运动前景投下的阴影部分出现大块被分割为前景的区域。另外，由于RGB彩色空间的局限性以及在该方法中并没有考虑视频帧图像中邻近像素之间的关联性，所以在分割结果中，经常出现的错误就是在运动的前景物体内，由于某些部位在RGB空间的颜色值与背景模型较相似而被分割为背景，从而导致前景物体内部出现空洞。

此外，还可以联合使用颜色信息的分割和梯度信息的分割来获得最后的分割结果，利用梯度对光照变化不敏感的特点来改善在光照条件变化时的分割结果，然后分别在像素级，区域级和帧级进行三个层次的分割。该方法在像素级在RGB空间使用高斯混合模型，然后分别根据颜色信息和梯度信息进行分割；在区域级分割将颜色与梯度分割的结果排除掉因光照变化引起的虚假前景部分；最后在帧级处理中如果画面中出现超过50％的前景区域，则忽略掉根据颜色信息的分割结果，只保留基于梯度的分割结果。该方法对基于高斯混合模型的改进方法针对光照缓慢变化和灯光瞬时变化的情况能获得更好的结果，使得前景分割问题对外界光照变化的适应性能增强了。不过该方法没有针对高斯模型的分割中颜色相近区域的空洞进行处理，也没有考虑邻近像素之间的关联性。

在美国专利0194131中，使用了一个滤波器模板来移除离散的分割噪声，但该方法只是生硬地使用一种类似形态学的去噪操作，对前景物体内部空洞的填补非常有限。

另外，在美国专利0194131中，直接将图像转换到HSV空间后与背景参考图像作比较进行分割。还可以将图像从RGB颜色空间转换到HSV空间后进行高斯混合模型建模，直接在HSV空间对图像进行操作。

但在实验中发现，从RGB空间颜色值转换为HSV空间颜色值时，H值和S值出现较大的波动，且对于R，G，B三个分量相等的像素，H值失效，从而导致在HSV空间建立统计模型时H和S分量不稳定，产生较多的分割错误。

因此，需要一种能够解决前景物体内部出现的空洞并提高背景分割准确程度的系统和方法。

发明内容

本发明的目的在于解决现有技术中所存在的问题。

由于在视频中，像素不同颜色空间内具有不同的特性，所以本发明采用了联合两个颜色空间的判断来进行分割的基本思想，另外在二次判断时引入相邻像素之间的联系。通过结合两种颜色空间以及根据像素相关性的局部优化，本发明的方法可以有效地改善前景物体内部的空洞以及噪声点，获得较好的分割结果。

根据本发明的一个方面，提供了一种用于分割视频中的前景和背景的系统，该系统包括：视频拍摄模块，用于拍摄视频；数据读取模块，用于读取视频的每一帧；初次分割模块，用于从数据读取模块接收视频的每一帧，对每一帧的每一个像素在第一颜色空间内建立多个高斯模型，并执行当前帧的每一个像素与该像素对应的多个高斯模型的匹配处理，根据匹配处理的结果将像素初次分割为前景和背景，其中，选择多个高斯模型中的一部分作为背景模型，其余为前景模型；以及分割再判断模块，用于对经过初次分割模块处理的前景和背景在第二颜色空间中进行再判断处理，从而得到最终确定的前景和背景。

初次分割模块还包括：匹配模块，用于针对当前帧的每一个像素，在该像素对应的多个高斯模型中按照权重从大到小的顺序依次寻找匹配，如果当前像素在第一颜色空间中的值与一个高斯模型在第一颜色空间中的值的差值小于第一阈值，则当前像素与该高斯模型相匹配，其中，与背景模型匹配的像素作为背景，而与前景模型匹配或没有模型与之匹配的像素作为前景；以及参数更新模块，用于当在匹配模块中确定当前像素与一个高斯模型匹配时，利用当前像素的颜色值来更新该模型的参数，而当在匹配模块中确定没有高斯模型与当前像素匹配时，利用当前像素的颜色值重新对多个高斯模型中权重最小的模型进行初始化。

优选地，初次分割模块还包括：阴影去除模块，用于对初次分割为前景的像素执行阴影去除处理，从而修正初次分割的结果。

在阴影去除模块中，当一个像素与其对应的背景模型的色调差的绝对值小于第二阈值、饱和度的差小于第三阈值、亮度的差大于第四阈值且小于第五阈值时，该像素被确定为阴影，即，该像素被确定为背景。

此外，分割再判断模块包括：计算模块，用于计算特定像素在第二颜色空间中的值与其背景模型在第二颜色空间中的值的差值，该差值由特定像素及其周围m邻域内的像素与各自的背景模型在第二颜色空间中的差值的加权值来表示，其中，m是大于等于2的整数；以及确定模块，用于当加权值大于第六阈值时，将特定像素确定为前景，否则确定为背景。

优选地，特定像素为被初次分割模块初次分割为背景且周边领域存在被初次分割为前景的像素。

特定像素对应的背景模型在第二颜色空间中的值通过特定像素在第一颜色空间中的一个或几个背景模型的均值来计算。在这种情况下，初次分割模块还包括差值计算模块，用于在当前像素在多个高斯模型中找到所匹配的背景模型的情况下，根据所匹配的背景模型的均值来计算该背景模型在第二颜色空间中的值，并根据当前像素在第一颜色空间中的值计算当前像素在第二颜色空间中的值，从而得到当前像素与其背景模型在第二颜色空间中的差值，以及在当前像素在多个高斯模型中没有找到所匹配的背景模型的情况下，根据权重最高的背景模型的均值来计算该背景模型在第二颜色空间中的值，并根据当前像素在第一颜色空间中的值计算当前像素在第二颜色空间中的值，从而得到当前像素与其背景模型在第二颜色空间中的差值，然后将所计算的差值提供给分割再判断模块。

可选地，特定像素对应的背景模型在第二颜色空间中的值通过在第二颜色空间上对特定像素建立高斯模型来直接求取。

此外，该系统还包括：去噪模块，设置在初次分割模块和分割再判断模块之间，用于逐个扫描经过初次分割模块处理的像素，并统计每一个像素周边n邻域内被初次分割为前景的像素的个数，如果该像素被初次分割为前景且个数小于第七阈值，则将该像素重新确定为背景，而如果该像素被初次分割为背景且个数大于第八阈值，则将该像素重新确定为前景，其中，第八阈值大于第七阈值，且n为大于等于2的整数。

根据本发明的另一方面，提供了一种用于分割视频中的前景和背景的方法，该方法包括以下步骤：视频拍摄步骤，拍摄视频；数据读取步骤，读取视频的每一帧；初次分割步骤，接收在数据读取步骤中读取的视频的每一帧，对每一帧的每一个像素在第一颜色空间内建立多个高斯模型，以及执行当前帧的每一个像素与该像素对应的多个高斯模型的匹配处理，根据匹配处理的结果将像素初次分割为前景和背景，其中，选择多个高斯模型中的一部分作为背景模型，其余为前景模型；以及分割再判断步骤，对经过初次分割模块步骤的前景和背景在第二颜色空间中进行再判断处理，从而得到最终确定的前景和背景。

另外，初次分割步骤还包括：匹配步骤，使针对当前帧的每一个像素，在该像素对应的多个高斯模型中按照权重从大到小的顺序依次寻找匹配，如果当前像素在所述第一颜色空间中的值与一个高斯模型在第一颜色空间中的值的差值小于第一阈值，则当前像素与该高斯模型相匹配，其中，与背景模型匹配的像素作为背景，而与前景模型匹配或没有模型与之匹配的像素作为前景；以及参数更新步骤，在匹配步骤中确定当前像素与一个高斯模型匹配的情况下，利用当前像素的颜色值来更新该模型的参数，而在匹配步骤中确定没有高斯模型与当前像素匹配的情况下，利用当前像素的颜色值重新对多个高斯模型中权重最小的模型进行初始化。

优选地，初次分割步骤还包括：阴影去除步骤，对初次分割为前景的像素执行阴影去除处理，从而修正初次分割的结果。

在阴影去除步骤中，在一个像素与其对应的背景模型的色调差的绝对值小于第二阈值、饱和度的差小于第三阈值、亮度的差大于第四阈值且小于第五阈值的情况下，将该像素确定为阴影，即，将像素确定为背景。

此外，分割再判断步骤包括：计算步骤，计算特定像素在第二颜色空间中的值与其背景模型在第二颜色空间中的值的差值，该差值由特定像素及其周围m邻域内的像素与各自的背景模型在第二颜色空间中的差值的加权值来表示，其中，m是大于等于2的整数；以及确定步骤，在加权值大于第六阈值的情况下，将特定像素确定为前景，否则确定为背景。

优选地，特定像素为在初次分割步骤中被初次分割为背景且周边领域存在被初次分割为前景的像素。

特定像素对应的背景模型在第二颜色空间中的值通过该特定像素在第一颜色空间中的一个或几个背景模型的均值来计算。在这种情况下，初次分割步骤还包括：差值计算步骤，使差值计算模块在当前像素在多个高斯模型中找到所匹配的背景模型的情况下，根据所匹配的背景模型的均值来计算该背景模型在第二颜色空间中的值，并根据当前像素在第一颜色空间中的值计算当前像素在第二颜色空间中的值，从而得到当前像素与其背景模型在第二颜色空间中的差值，以及在当前像素在多个高斯模型中没有找到所匹配的背景模型的情况下，根据权重最高的背景模型的均值来计算该背景模型在第二颜色空间中的值，并根据当前像素在第一颜色空间中的值计算当前像素在第二颜色空间中的值，从而得到当前像素与其背景模型在第二颜色空间中的差值，然后将所计算的差值提供用于分割再判断步骤。

可选地，特定像素对应的背景模型在第二颜色空间中的值通过在第二颜色空间上对特定像素建立高斯模型来直接求取。

此外，该方法还包括：去噪步骤，在初次分割步骤和分割再判断步骤之间执行，逐个扫描经过初次分割步骤处理的像素，并统计每一个像素周边n邻域内被初次分割为前景的像素的个数，如果该像素被初次分割为前景且个数小于第七阈值，则将该像素重新确定为背景，而如果该像素被初次分割为背景且个数大于第八阈值，则将该像素重新确定为前景，其中，第八阈值大于第七阈值，且n为大于等于2的整数。

本发明通过在使用高斯模型在第一颜色空间进行分割之后，根据分割结果再利用像素在第二颜色空间与背景的差异再次进行判断，联合使用两个颜色空间并引入像素之间的联系，加入阴影去除模块，从而对固定摄像机拍摄视频中的运动前景的分割具有较好的改善效果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是示出根据本发明的用于分割视频中的前景和背景的系统1的框图；

图2是示出图1所示初次分割模块14的具体结构的框图；

图3是示出图1所示分割再判断模块16的具体结构的框图；

图4是示出根据本发明的用于分割视频中的前景和背景的方法的流程图；

图5是示出根据本发明实施例的分割视频中的前景和背景的方法的示意性流程图；

图6是示出图5所示流程图中的步骤503的具体流程图；

图7是示出图5所示流程图中的步骤505的具体流程图；以及

图8是示出比较根据本发明实施例的分割效果与现有技术方法的分割效果的示图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是示出根据本发明的用于分割视频中的前景和背景的系统1的框图。

如图1所示，系统1包括：视频拍摄模块10，用于拍摄视频；数据读取模块12，用于读取视频的每一帧；初次分割模块14，用于从数据读取模块接收视频的每一帧，对每一帧的每一个像素在第一颜色空间内建立多个高斯模型，并执行当前帧的每一个像素与该像素对应的多个高斯模型的匹配处理，根据匹配处理的结果将像素初次分割为前景和背景，其中，选择多个高斯模型中的一部分作为背景模型，其余为前景模型；以及分割再判断模块16，用于对经过初次分割模块14处理的前景和背景在第二颜色空间中进行再判断处理，从而得到最终确定的前景和背景。

图2是示出初次分割模块14的具体结构的框图。如图2所示，初次分割模块14还包括：匹配模块140，用于针对当前帧的每一个像素，在该像素对应的多个高斯模型中按照权重从大到小的顺序依次寻找匹配，如果当前像素在第一颜色空间中的值与一个高斯模型在第一颜色空间中的值的差值小于第一阈值，则当前像素与该高斯模型相匹配，其中，与背景模型匹配的像素作为背景，而与前景模型匹配或没有模型与之匹配的像素作为前景；以及参数更新模块142，用于当在匹配模块中确定当前像素与一个高斯模型匹配时，利用当前像素的颜色值来更新该模型的参数，而当在匹配模块中确定没有高斯模型与当前像素匹配时，利用当前像素的颜色值重新对多个高斯模型中权重最小的模型进行初始化。

优选地，初次分割模块14还包括：阴影去除模块144，用于对初次分割为前景的像素执行阴影去除处理，从而修正初次分割的结果。

在阴影去除模块144中，当一个像素与其对应的背景模型的色调差的绝对值小于第二阈值、饱和度的差小于第三阈值、亮度的差大于第四阈值且小于第五阈值时，该像素被确定为阴影，即，该像素被确定为背景。

图3是示出分割再判断模块16的具体结构的框图。如图3所示，分割再判断模块16包括：计算模块160，用于计算特定像素在第二颜色空间中的值与其背景模型在第二颜色空间中的值的差值，该差值由特定像素及其周围m邻域内的像素与各自的背景模型在第二颜色空间中的差值的加权值来表示，其中，m是大于等于2的整数；以及确定模块162，用于当加权值大于第六阈值时，将特定像素确定为前景，否则确定为背景。

其中，特定像素可以为被初次分割模块初次分割为背景且周边领域存在被初次分割为前景的像素。

另一方面，特定像素可以为被初次分割模块初次分割为前景且周边领域存在被初次分割为背景的像素。

特定像素对应的背景模型在第二颜色空间中的值可以通过该特定像素在第一颜色空间中的一个或几个背景模型的均值来计算。在这种情况下，初次分割模块14还包括差值计算模块146，用于在当前像素在多个高斯模型中找到所匹配的背景模型的情况下，根据所匹配的背景模型的均值来计算该背景模型在第二颜色空间中的值，并根据当前像素在第一颜色空间中的值计算当前像素在第二颜色空间中的值，从而得到当前像素与其背景模型在第二颜色空间中的差值，以及在当前像素在多个高斯模型中没有找到所匹配的背景模型的情况下，根据权重最高的背景模型的均值来计算该背景模型在第二颜色空间中的值，并根据当前像素在第一颜色空间中的值计算当前像素在第二颜色空间中的值，从而得到当前像素与其背景模型在第二颜色空间中的差值，然后将所计算的差值提供给分割再判断模块16。

可选地，特定像素对应的背景模型在第二颜色空间中的值可以通过在第二颜色空间上对特定像素建立高斯模型来直接求取。

此外，该系统还包括：去噪模块18，设置在初次分割模块14和分割再判断模块16之间，用于逐个扫描经过初次分割模块14处理的像素，并统计每一个像素周边n邻域内被初次分割为前景的像素的个数，如果该像素被初次分割为前景且个数小于第七阈值，则将该像素重新确定为背景，而如果该像素被初次分割为背景且个数大于第八阈值，则将该像素重新确定为前景，其中，第八阈值大于第七阈值，且n为大于等于2的整数。

图4是示出根据本发明的用于分割视频中的前景和背景的方法的流程图。

如图4所示，该方法包括以下步骤：视频拍摄步骤402，拍摄视频；数据读取步骤404，读取视频的每一帧；初次分割步骤406，接收在数据读取步骤中读取的视频的每一帧，对每一帧的每一个像素在第一颜色空间内建立多个高斯模型，以及执行当前帧的每一个像素与该像素对应的多个高斯模型的匹配处理，根据匹配处理的结果将像素初次分割为前景和背景，其中，选择多个高斯模型中的一部分作为背景模型，其余为前景模型；以及分割再判断步骤408，经过初次分割模块步骤406的前景和背景在第二颜色空间中进行再判断处理，从而得到最终确定的前景和背景。

下面，参照图5至图7详细描述描述本发明的实施例。

图5是示出根据本发明实施例的分割视频中的前景和背景的方法的示意性流程图，图6是示出图5所示流程图中的步骤503的具体流程图，以及图7是示出图5所示流程图中的步骤505的具体流程图。

整个方法的流程框如图5所示。

在步骤501中，将视频的第一帧读入系统。

然后，在步骤502中，根据视频帧的信息，建立高斯混合模型。其中为每个像素建立K个高斯模型。如果视频帧宽度为frameW，高度为frameH，则建立frameW*frameH*K个高斯模型。

利用第一帧图像中每个像素的RGB颜色值来初始化该像素对应的K个高斯模型的均值。每个像素对应的K个模型的权重被初始化为1/K，均值为第一帧的像素值，标准差由系统根据预设值自动初始化。

接下来，在步骤503中，在高斯混合模型的初始化完成之后，读入视频的下一帧。对当前读入帧图像的每一个像素，在其对应的K个高斯模型中按照权重由大到小依次寻找匹配，根据匹配结果完成初次分割，并得到初分割的结果图像。匹配的原则及其过程将参照图6进行详细描述。

参照图6，在步骤601中，找到匹配的定义如下：对一个高斯模型，如果当前像素颜色的R，G，B值与该模型R，G，B均值之差的绝对值全都小于等于λ(经验值)倍标准差，则当前像素的颜色与该模型匹配。即：|V_i-μ_i|≤λ·σ，i∈{R，G，B}，其中，μ_i为高斯模型的均值，V_i为当前像素的R，G，B值。

接下来的步骤604、605和606是像素颜色匹配过程中对应的K个背景模型的变化过程。具体描述如下。

在步骤604中，如果该像素在对应的K个模型中没有寻找到匹配的模型，则将K个中权重最小的模型用当前像素的RGB颜色值重新初始化，其中，当前像素的R，G，B颜色值作为均值，系统预设的方差值作为方差。

在步骤605中，如果该像素在对应的K个模型中找到匹配的模型，则将该模型的各参数用该像素颜色值进行更新。具体更新方法如下：

均值：μ_i，t＝(1-ρ)μ_i，t-1+ρV_i，t，i∈{R，G，B}

方差： ${\mathrm{\σ}}_{i,t}^2=(1-\mathrm{\ρ}){\mathrm{\σ}}_{i,t-1}^2+\mathrm{\ρ}{(V_{i,t}-{\mathrm{\μ}}_{i,t})}^T(V_{i,t}-{\mathrm{\μ}}_{i,t}),$ i∈{R，G，B}

其中，ρ为大于0小于1的经验值。

然后，在步骤606中，更新每个背景模型的权重值，根据是否与当前像素值匹配来进行如下更新：

权重：ω_k，t＝(1-α)ω_k，t-1+α·M_k，t，k∈{0，1，...K-1}

如果当前像素与模型匹配，则M_k，t＝1，如果不匹配则M_k，t＝0。α为系统预设，是代表模型更新快慢的学习速率参数。该权重更新方式基于如下思想：在某一像素点位置，出现时间越长的颜色，其模型所占的权重就越大，即，该模型代表背景的可能性就越大。

另外，步骤605中ρ＝α·η(V_t，μ_k，σ_k)，α是预设的学习速率参数，η(V_t，μ_k，σ_k)是模型的概率密度：

$\mathrm{\η}(X_t,\mathrm{\μ},\mathrm{\Σ})=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{n}{2}}{\left|\mathrm{\Σ}\right|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}{(X_t-{\mathrm{\μ}}_t)}^T{\mathrm{\Σ}}^{-1}(X_t-{\mathrm{\μ}}_t)}$

即，越靠近均值的颜色值，对匹配的模型的均值和方差影响越大。

在步骤607中，在当前像素的初次分割完成之后，因为各个模型的参数发生了变化，所以对应的K个高斯模型须按照权重进行排序，以保证下一帧图像到来进行匹配时仍按照由大到小排列。排序准则被确定为：

即，权重大，方差小的颜色模型代表背景的概率就越大。

然后，在步骤608中，在K个高斯模型中确定哪些模型代表背景。因为在606中已经将各个模型排序，所以前n个权重之和大于门限T的模型被选定为背景。

另外，在步骤609中，如果该像素在对应的K个模型中没有寻找到匹配的模型，则根据权重最高的高斯模型的均值来计算代表背景的HSV值，并根据当前像素的RGB颜色值计算当前像素的HSV值，从而求得当前像素与背景模型的差值并记录下来，并在步骤602中将当前的点暂定为前景点。

或者在步骤610中，如果该像素在对应的K个模型中找到匹配的模型，则根据其匹配上的高斯模型的均值来计算代表背景的HSV值，并根据当前像素的RGB颜色值计算当前像素的HSV值，从而求得当前像素与背景模型的差值并记录下来。然后判断匹配的模型是否代表背景，如果判断匹配的模型不代表背景，则在步骤602中暂将其确定为前景点，如果代表背景则将该点在初分结果的图像中置为黑色，然后进行步骤607中的处理。

在步骤603中，判断被分割为前景的点是否属于前景物体投在背景上的阴影。将该点在HSV空间的值与该点对应的背景模型颜色在HSV空间中的值进行比较，如果当前像素点与背景点的色调)相近、饱和度也相近，但亮度低于背景并在某一门限范围内(TL，TH)，则认为该点是阴影，将其判为背景，并在初分结果的图像中将该点置为黑色，否则判定该点为前景，在初分结果的图像中被置为白色，然后进行步骤607中的处理。

返回到图5，在步骤504中，逐像素地扫描初分割结果图像，对混合高斯模型分割的结果在5×5邻域内进行去噪处理。方法如下：

统计当前像素的5×5邻域内白色点(前景)的数目sumW，若中心点为白点且sumW<WL时，认为中心白点为噪声点，将其置为黑色；若中心点为黑点(背景)且sumW>WH时，认为中心黑点为被错分为背景的分割错误，将其置为白色。

应该理解，虽然在步骤504中统计像素5×5邻域内白色点的数目，但本发明不限于此，也可以统计像素2×2、3×3等领域内白色点的数目。

在步骤505中，根据去噪后的初分割结果图像，在HSV空间内进行颜色相似度的再次判断，以修正RGB高斯混合模型判断结果的部分错误。

主要针对的错误是，前景物体内部某些部分的RGB颜色值与背景较相近，造成前景物体内部一些像素区域被错分为背景，出现内部空洞。该步骤通过加权的方式考虑像素与其周围像素的联系，并在HSV空间进行再次判断，可以改善前景分割结果。在图7中示出具体流程。

在步骤702中，如果当前像素被初分为背景，则判断在初分结果中，该像素周围3×3领域内是否同时有黑色点(背景点)和白色点(前景点)。即，HSV二次判断只从黑色点和白色点的边界处进行，这是因为HSV空间二次判断是针对前景物体内部的空洞进行，所以采取该步骤是为了避免在大片真实背景区域的重复判断操作。

应该理解，虽然在步骤702中统计像素3×3邻域内白色点的数目，但本发明不限于此，也可以统计像素2×2、4×4等领域内白色点的数目。

在步骤703中，对当前像素点与背景模型在HSV空间的差值以及当前像素的4邻域像素点与背景模型在HSV空间的差值进行加权求和，具体方法如下：

D_h＝w₁·(D_1h+D_2h+D_3h+D_4h)+w₂·D_0h

D_s＝w₁·(D_1s+D_2s+D_3s+D_4s)+w₂·D_0s

D_v＝w₁·(D_1v+D_2v+D_3v+D_4v)+w₂·D_0v

其中H，S，V是HSV空间中的三个组件，D₀为当前像素与背景模型在HSV空间的差值，D₁、D₂、D₃、D₄分别为当前像素的上、下、左、右四个相邻像素与背景模型的差值。w₁为周围四个相邻像素所占的权值，w₂为当前像素所占的权值，且w₁·4+w₂＝1。在系统的实现中，可以调整w₁和w₂的值来控制二次判断时周边像素对中心像素的影响。

应该理解，虽然在步骤703中计算当前像素4邻域像素点与背景模型在HSV空间的差值，但本发明不限于此，也可以计算当前像素2邻域、3领域等像素点与背景模型在HSV空间的差值。

在求出加权的H、S、V差值后，根据此差值对该像素进行二次判断，如果当前像素值与背景模型的HSV空间颜色差异足够大，则把初分时被判为背景的像素点重判为前景点。由于HSV空间能更好地反映物体的颜色特征且更符合人眼的视觉特性，所以通过该步骤的操作后，可以有效地改进原RGB高斯混合模型分割结果中，前景物体内部的空洞。

此外，图7所示的处理还适用于被初分为前景且像素周边领域存在被处分为背景的像素点，可以消除初次分割所产生的噪声点，其处理方法与图7所示的处理类似，此处省略其具体描述。

图8是示出比较根据本发明实施例的分割效果与现有技术方法的分割效果的示图。从图8可以看出，利用本发明的系统和方法，可以进一步提高分割的效果。

在本发明的技术方案中，在使用高斯模型在RGB空间进行分割之后，根据分割结果再利用像素在HSV空间与背景的差异再次判断，联合了RGB空间分割的精确和HSV更贴近人眼直观视觉的特点，并且引入像素之间的联系，加入阴影去除模块，对于固定摄像机拍摄视频中的运动前景分割有较好的改善效果。

注意，虽然本发明的实施例以RGB空间作为第一颜色空间、HSV空间作为第二颜色空间，但在实际的实施过程中，可以根据需要改变颜色空间，第一颜色空间和第二颜色空间可以是RGB颜色空间、HSV颜色空间或其他颜色空间中，其中，第一颜色空间不同于第二颜色空间。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种用于分割视频中的前景和背景的系统，其特征在于，所述系统包括： 

视频拍摄模块，用于拍摄所述视频； 

数据读取模块，用于读取所述视频的每一帧； 

初次分割模块，用于从所述数据读取模块接收所述视频的每一帧，对每一帧的每一个像素在第一颜色空间内建立多个高斯模型，并执行当前帧的每一个像素与该像素对应的多个高斯模型的匹配处理，根据所述匹配处理的结果将像素初次分割为前景和背景，其中，选择所述多个高斯模型中的一部分作为背景模型，其余为前景模型；以及 

分割再判断模块，用于对经过所述初次分割模块处理的前景和背景在第二颜色空间中进行再判断处理，从而得到最终确定的前景和背景， 

其中，所述分割再判断模块包括： 

计算模块，用于计算特定像素在所述第二颜色空间中的值与其背景模型在所述第二颜色空间中的值的差值，所述差值由所述特定像素及其周围m邻域内的像素与各自的背景模型在所述第二颜色空间中的差值的加权值来表示，其中，m是大于等于2的整数；以及 

确定模块，用于当所述加权值大于第六阈值时，将所述特定像素确定为前景，否则确定为背景。 

2.根据权利要求1所述的系统，其特征在于，所述初次分割模块还包括： 

匹配模块，用于针对当前帧的每一个像素，在该像素对应的多个高斯模型中按照权重从大到小的顺序依次寻找匹配，如果当前像素在所述第一颜色空间中的值与一个高斯模型在所述第一颜色空间中的值的差值小于第一阈值，则当前像素与该高斯模型相匹配，其中，与背景模型匹配的像素作为背景，而与前景模型匹配或没有模型与之匹配的像素作为前景；以及 

参数更新模块，用于当在所述匹配模块中确定当前像素与一个高斯模型匹配时，利用当前像素的颜色值来更新该模型的参数，而当在所述匹配模块中确定没有高斯模型与当前像素匹配时，利用当前像素的颜色值重新对多个高斯模型中权重最小的模型进行初始化。 

3.根据权利要求1所述的系统，其特征在于，所述初次分割模块还包括： 

阴影去除模块，用于对初次分割为前景的像素执行阴影去除处理，从而修正初次分割的结果。 

4.根据权利要求3所述的系统，其特征在于，在所述阴影去除模块中，当一个像素与其对应的背景模型的色调差的绝对值小于第二阈值、饱和度的差小于第三阈值、亮度的差大于第四阈值且小于第五阈值时，将该像素确定为阴影，即，确定为背景。 

5.根据权利要求1所述的系统，其特征在于，所述特定像素为被所述初次分割模块初次分割为背景且周边领域存在被初次分割为前景的像素。 

6.根据权利要求1所述的系统，其特征在于，所述特定像素对应的背景模型在所述第二颜色空间中的值通过所述特定像素在所述第一颜色空间中的一个或几个背景模型的均值来计算。 

7.根据权利要求6所述的系统，其特征在于，所述初次分割模块还包括： 

差值计算模块，用于在当前像素在所述多个高斯模型中找到所匹配的背景模型的情况下，根据所匹配的背景模型的均值来计算该背景模型在所述第二颜色空间中的值，并根据所述当前像素在所述第一颜色空间中的值计算所述当前像素在所述第二颜色空间中的值，从而得到所述当前像素与其背景模型在所述第二颜色空间中的差值，以及在当前像素在所述多个高斯模型中没有找到所匹配的背景模型的情况下，根据权重最高的背景模型的均值来计算该背景模型在所述第二颜色空间中的值，并根据所述当前像素在所述第一颜色空间中的值计算所述当前像素在所述第二颜色空间中的值，从而得到所述当前像素与其背景模型在所述第二颜色空间中的差值，然后将所计算的差值提供给所述分割再判断模块。 

8.根据权利要求1所述的系统，其特征在于，所述特定像素对应的背景模型在所述第二颜色空间中的值通过在所述第二颜色空间上对所述特定像素建立高斯模型来直接求取。 

9.根据权利要求1至8中任一项所述的系统，其特征在于，所述系统还包括： 

去噪模块，设置在所述初次分割模块和所述分割再判断模块之间，用于逐个扫描经过所述初次分割模块处理的像素，并统计每一个像素周边n邻域内被初次分割为前景的像素的个数，如果该像素被初次分割为前景且所述个数小于第七阈值，则将该像素重新确定为背景，而如果该像素被初次分割为背景且所述个数大于第八阈值，则将该像素重新确定为前景， 

其中，所述第八阈值大于所述第七阈值，且n为大于等于2的整数。 

10.一种用于分割视频中的前景和背景的方法，其特征在于，所述方法包括以下步骤： 

视频拍摄步骤，拍摄所述视频； 

数据读取步骤，读取所述视频的每一帧； 

初次分割步骤，接收在所述数据读取步骤中读取的所述视频的每一帧，对每一帧的每一个像素在第一颜色空间内建立多个高斯模型，以及执行当前帧的每一个像素与该像素对应的多个高斯模型的匹配处理，根据所述匹配处理的结果将像素初次分割为前景和背景，其中，选择所述多个高斯模型中的一部分作为背景模型，其余为前景模型；以及 

分割再判断步骤，对经过所述初次分割步骤处理的前景和背景在第二颜色空间中进行再判断处理，从而得到最终确定的前景和背景， 

所述分割再判断步骤包括： 

计算步骤，计算特定像素在所述第二颜色空间中的值与其背景模型在所述第二颜色空间中的值的差值，所述差值由所述特定像素及其周围m邻域内的像素与各自的背景模型在所述第二颜色空间中的差值的加权值来表示，其中，m是大于等于2的整数；以及 

确定步骤，在所述加权值大于第六阈值的情况下，将所述特定像素确定为前景，否则确定为背景。

11.根据权利要求10所述的方法，其特征在于，所述初次分割步骤还包括： 

匹配步骤，针对当前帧的每一个像素，在该像素对应的多个高斯模型中按照权重从大到小的顺序依次寻找匹配，如果当前像素在所述第一颜色空间中的值与一个高斯模型在所述第一颜色空间中的值的差值小于第一阈值，则当前像素与该高斯模型相匹配，其中，与背景模型匹配的像素作为背景，而与前景模型匹配或没有模型与之匹配的像素作为前景；以及 

参数更新步骤，在所述匹配步骤中确定当前像素与一个高斯模型匹配的情况下，利用当前像素的颜色值来更新该模型的参数，而在所述匹配步骤中确定没有高斯模型与当前像素匹配的情况下，利用当前像素的颜色值重新对多个高斯模型中权重最小的模型进行初始化。 

12.根据权利要求10所述的方法，其特征在于，所述初次分割步骤包括： 

阴影去除步骤，对初次分割为前景的像素执行阴影去除处理，从而修正初次分割的结果。 

13.根据权利要求12所述的方法，其特征在于，在所述阴影去除步骤中，在一个像素与其对应的背景模型的色调差的绝对值小于第二阈值、饱和度的差小于第三阈值、亮度的差大于第四阈值且小于第五阈值的情况下，将该像素确定为阴影，即，确定为背景。 

14.根据权利要求10所述的方法，其特征在于，所述特定像素为在所述初次分割步骤中被初次分割为背景且周边领域存在被初次分割为前景的像素。 

15.根据权利要求10所述的方法，其特征在于，所述特定像素对应的背景模型在所述第二颜色空间中的值通过所述特定像素在所述第一颜色空间中的一个或几个背景模型的均值来计算。 

16.根据权利要求15所述的方法，其特征在于，所述初次分割步骤还包括： 

差值计算步骤，在当前像素在所述多个高斯模型中找到所匹配的背景模型的情况下，根据所匹配的背景模型的均值来计算该背景模型在所述第二颜色空间中的值，并根据所述当前像素在所述第一颜色空间中的值计算所述当前像素在所述第二颜色空间中的值，从而得到所述当前像素与其背景模型在所述第二颜色空间中的差值，以及在当前像素在所述多个高斯模型中没有找到所匹配的背景模型的情况下，根据权重最高的背景模型的均值来计算该背景模型在所述第二颜色空间中的值，并根据所述当前像素在所述第一颜色空间中的值计算所述当前像素在所述第二颜色空间中的值，从而得到所述当前像素与其背景模型在所述第二颜色空间中的差值，然后将所计算的差值提供用于所述分割再判断步骤。 

17.根据权利要求10所述的方法，其特征在于，所述特定像素对应的背景模型在所述第二颜色空间中的值通过在所述第二颜色空间上对所述特定像素建立高斯模型来直接求取。 

18.根据权利要求10至17中任一项所述的方法，其特征在于，所述方法还包括： 

去噪步骤，在所述初次分割步骤和所述分割再判断步骤之间执行，逐个扫描经过所述初次分割步骤处理的像素，并统计每一个像素周边n邻域内被初次分割为前景的像素的个数，如果该像素被初次分割为前景且所述个数小于第七阈值，则将 该像素重新确定为背景，而如果该像素被初次分割为背景且所述个数大于第八阈值，则将该像素重新确定为前景，其中，所述第八阈值大于所述第七阈值，且n为大于等于2的整数。 

Images