CN104933694A - 前后景分割的方法及设备 - Google Patents

Abstract

本发明实施例提供了前后景分割的方法，包括：基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。

Description

前后景分割的方法及设备

技术领域

本发明实施例涉及图像处理领域，并且更具体地，涉及一种前后景分割的方法及设备。

背景技术

随着移动设备的发展，诸如移动电话，平板电脑等已经可用于视频通话。而用户在使用过程中，出于保护隐私的考虑或者出于美观的角度，想要在视频通话过程中实时替换背景。

或者，在对已有的视频进行处理的过程中，出于美观的考虑，也有对视频的背景进行替换的需求。

前后景分割是视频处理过程中的一个重要环节，而现有的前后景分割的方法计算复杂，导致耗时长，并且分割效率低。

发明内容

本发明实施例提供一种前后景分割的方法，该方法计算简单，能够实时进行。

第一方面，提供了一种前后景分割的方法，所述方法包括：基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。

结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。

结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，包括：将所述第t帧图像分成m个图像块，m为大于2的正整数；确定所述第t帧图像的m个图像块中的第i个图像块在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；当所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。

结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，所述根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域，包括：确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域；确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；计算所述第t-1帧图像的前景区域的历史累计颜色直方图，以及所述第t-1帧图像的背景区域的历史累计颜色直方图；计算所述第t帧图像的第一区域的颜色直方图，以及所述第t帧图像的第二区域的颜色直方图；计算所述第t帧图像的第一区域中的每一个图像块的颜色直方图；根据所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；在所述第t帧图像的第一区域中，确定满足所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。

结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式中，所述第一条件为：其中， 为所述第1帧图像的前景区域的颜色直方图，为所述第t帧图像的第一区域的颜色直方图，为所述第t-1帧图像的前景区域的历史累计颜色直方图，为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，为所述第t帧图像的第二区域的颜色直方图，为所述第t-1帧图像的背景区域的历史累计颜色直方图，为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。

结合第一方面或者上述第一方面的任一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述方法还包括：确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；将所述第t帧图像的前景区域和所述第一图像进行合成。

第二方面，提供了一种前后景分割的设备，所述设备包括：第一确定单元，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；第二确定单元，用于根据所述第一确定单元确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。

结合第二方面，在第二方面的第一种可能的实现方式中，所述设备还包括第三确定单元和第四确定单元：所述第三确定单元，用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；所述第四确定单元，用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。

结合第二方面或者第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述第一确定单元，包括：分割子单元，用于将所述第t帧图像分成m个图像块，m为大于2的正整数；第一确定子单元，用于确定所述分割子单元分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；第二确定子单元，用于当所述第一确定子单元确定的所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。

结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述第二确定单元，包括：第三确定子单元，用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第一确定单元确定的所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；计算子单元，用于计算所述第t-1帧图像的前景区域的历史累计颜色直方图，计算所述第三确定子单元确定的所述第t-1帧图像的背景区域的历史累计颜色直方图，计算所述第一确定单元确定的所述第t帧图像的第一区域的颜色直方图，计算所述第三确定子单元确定的所述第t帧图像的第二区域的颜色直方图，并计算所述第一确定单元确定的所述第t帧图像的第一区域中的每一个图像块的颜色直方图；第四确定子单元，用于根据所述计算子单元计算的所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；第五确定子单元，用于在所述第一确定单元确定的所述第t帧图像的第一区域中，确定满足所述第四确定子单元确定的所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。

结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实现方式中，所述第一条件为：其中， 为第1帧图像的前景区域的颜色直方图，为所述第t帧图像的第一区域的颜色直方图，为所述第t-1帧图像的前景区域的历史累计颜色直方图，为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，为所述第t帧图像的第二区域的颜色直方图，为所述第t-1帧图像的背景区域的历史累计颜色直方图，为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。

结合第二方面或者上述第二方面的任一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述设备还包括：第五确定单元，用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；合成单元，用于将所述第二确定单元确定的所述第t帧图像的前景区域和所述第五确定单元确定的所述第一图像进行合成。

本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的前后景分割的方法的流程图。

图2是本发明实施例的第二图像的一例示意图。

图3是本发明实施例的初始帧的前后景分割的一例效果图。

图4是本发明实施例的初始帧的前后景分割的另一例效果图。

图5是本发明实施例的前后景分割的方法的示意性效果图。

图6是本发明实施例的视频处理的方法的流程图。

图7是本发明实施例的前后景分割的另一例效果图。

图8是本发明实施例的前后景分割的设备的框图。

图9是本发明再一实施例的前后景分割的设备的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明一个实施例的前后景分割的方法的流程图。图1所示的方法包括：

101，基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数。

102，根据第t帧图像的第一区域中满足第一条件的像素，确定第t帧图像的前景区域。

本发明实施例基于块匹配和颜色直方图，确定视频的每一帧图像的前景区域和背景区域，能够将每一帧图像的背景区域替换为新的图像，进而能够实现视频背景的实时替换。

可理解，图1的过程是对视频的非初始帧进行的前后景分割。在图1的方法之前，本发明实施例还可包括确定第1帧图像的前景区域。具体地，将满足第二条件的第二图像作为第1帧图像的背景图像。并采用人脸检测与聚类方法或者分水岭方法，确定第1帧图像的前景区域。

其中，第二条件可以为第二图像的色调-饱和度-亮度值

（Hue-Saturation-Value，HSV）空间的亮度值（Value，V）通道的方差小于第一阈值，且所述第二图像的HSV空间的色调（Hue，H）通道的方差小于第二阈值。其中，第一阈值和第二阈值可以为正数，第一阈值可以不等于第二阈值，或者第一阈值也可以等于第二阈值。

可以理解为，在视频开始之前，需先选择第1帧图像的背景图像。具体地，是将满足第二条件的第二图像作为第1帧图像的背景图像。

例如，可以通过纹理判断和颜色判断共同判断第二图像是否满足第二条件。

本发明实施例中，纹理判断的方法可以是色调-饱和度-亮度值空间的V通道的方差，或者也可以是灰度共生矩阵，或者也可以是学习分类的方法，本发明对此不作限定。

本发明实施例中，颜色判断的方法可以是HSV空间的H通道的方差，或者也可以是HSV空间的H通道直方图峰度，或者也可以是学习分类的方法，本发明对此不作限定。

若第二图像满足第二图像的HSV空间的V通道的方差小于第一阈值，且第二图像的HSV空间的H通道的方差小于第二阈值，那么可将第二图像作为第1帧图像的背景图像。

例如，对于图2所示的第二图像，其中图2（a）所示的为第二图像（a），图2（b）所示的为第二图像（b）。若设定第一阈值为1，第二阈值为2。对于第二图像（a）和第二图像（b）的HSV空间的V通道的方差和HSV空间的H通道的方差的结果见表1所示。可见，表1中的第二图像（a）满足第二条件，第二图像（b）不满足第二条件。于是图2中的图2（a）可以作为第1帧图像的背景图像，而图2（b）不可以作为第1帧图像的背景图像。

表1

进一步地，之后可采用人脸检测与聚类方法或者采用分水岭方法，确定第1帧图像的前景区域。可以理解为是对视频的初始帧的分割。

具体地，可通过人脸检测与聚类方法确定第1帧图像的前景区域。例如，对图3（a）所示的第1帧图像，图3（b）为通过人脸检测与聚类方法所确定的第1帧图像的前景区域。

或者，具体地，可通过分水岭方法确定第1帧图像的前景区域。例如，对图4（a）所示的第1帧图像，可在第1帧图像的前景区域和第1帧图像的背景区域的分界处的两侧，手动地划两道，将第1帧图像的前景区域和第1帧图像的背景区域实现分割，从而确定第1帧图像的前景区域和第1帧图像的背景区域，如图4（b）所示为第1帧图像的前景区域。

若视频处理的过程是对视频的背景作替换，即将视频中的背景替换为新的背景生成新的视频，那么在该前后景分割之后，将分割后的前景区域与新的背景图像进行合成。

例如，对于第1帧图像来说，将如图3（b）或图4（b）的第1帧图像的前景区域，与第一图像进行合成。具体地，可通过图像合成算法将第1帧图像的前景区域和第一图像进行合成。例如，可采用Alpha通道融合第1帧图像的前景区域和第一图像。这里，第一图像可理解为是在视频处理过程中，进行背景替换的新的背景图像。

本发明实施例中，在步骤101中，可将第t帧图像分成m个图像块，m为大于2的正整数。进一步确定第t帧图像的m个图像块中的每一个图像块在第t-1帧图像中的匹配块。例如，可确定第t帧图像的m个图像块中的第i个图像块在第t-1帧图像中的匹配块为第一匹配块，i为不大于m的正整数。当该第一匹配块中包括属于第t-1帧图像的前景区域的像素时，可确定该第t帧图像的m个图像块中的第i个图像块属于第t帧图像的第一区域。

可理解，对第t帧图像的第一区域中的每一个图像块，可分别确定在第t-1帧图像中的匹配块，并且这些匹配块中的每一个匹配块中均包括属于第t-1帧图像的前景区域的像素。

或者，也可理解为，本发明实施例中第t-1帧图像也被分成了m个图像块。如果可确定第t帧图像的m个图像块中的第i’个图像块，在第t-1帧图像中的匹配块为第二匹配块，并且该第二匹配块所包含的所有的像素都不属于第t-1帧图像的前景区域，那么第t帧图像的m个图像块中的第i’个图像块不属于第t帧图像的第一区域。其中，i’为不大于m的正整数。

也可认为，第t帧图像的第一区域为第t帧图像的近似前景区域。

应注意，本发明实施例中，将图像的分成m个图像块的方式不作限定。其中，m个图像块可以是规则形状的，例如，图像块的形状可以是正多边形；m个图像块也可以是不规则形状的。本发明实施例中，m个图像块的大小可以均相等，例如，可以是将第t帧图像平均地分成m个图像块。m个图像块也可以是大小不等的，本发明对此不作限定。

例如，可将第t帧图像分成p×q个图像块，且p×q=m；相应地，第t-1帧图像也分成p×q个图像块。可采用块匹配方法，确定第t帧图像的第（a1，b1）个图像块的匹配块为第t-1帧图像的第（a2，b2）个图像块。若第t-1帧图像的第（a2，b2）个图像块包含属于第t-1帧图像的前景区域的像素，则确定第t帧图像的第（a1，b1）个图像块属于第t帧图像的第一区域。这样，对第t帧图像中的m个图像块，将属于第t帧图像的第一区域的所有图像块的集合组成的区域，可确定为第t帧图像的第一区域。其中，p和q为正整数，a1和b1为不大于p的正整数，b1和b2为不大于q的正整数。例如，可以是p=q=10。

例如，对于如图5（a）所示的第t帧图像，经过步骤101之后，所确定的第t帧图像的第一区域可如图5（b）所示。

本发明实施例中，在步骤102中，第一条件可以是基于颜色直方图所确定的。例如，该第一条件可以是根据第t帧图像的第一区域的颜色直方图，以及第t-1帧图像的前景区域的颜色直方图所确定的。或者，该第一条件可以是根据第t帧图像的第一区域的颜色直方图，以及第1帧图像至第t-1帧图像的前景区域的颜色直方图所确定的。本发明对此不作限定。

具体地，在步骤102中，可确定第t-1帧图像中除第t-1帧图像的前景区域之外的区域为t-1帧图像的背景区域，可确定第t帧图像中除第t帧图像的第一区域之外的区域为第t帧图像的第二区域。之后，可分别计算第t-1帧图像的前景区域的历史累计颜色直方图、第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图以及第t帧图像的第二区域的颜色直方图。并计算第t帧图像的第一区域中的每一个图像块的颜色直方图。进一步，可根据第t-1帧图像的前景区域的历史累计颜色直方图、第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图、第t帧图像的第二区域的颜色直方图和第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件。这样，可在第t帧图像的第一区域中，确定满足该第一条件的像素的集合组成的区域为第t帧图像的前景区域。

可选地，作为一个实施例，第一条件可以为：其中， 为第1帧图像的前景区域的颜色直方图，为第t帧图像的第一区域的颜色直方图，为第t-1帧图像的前景区域的历史累计颜色直方图。为第1帧图像的背景区域的颜色直方图，第1帧图像的背景区域为第1帧图像除第1帧图像的前景区域之外的区域。为第t帧图像的第二区域的颜色直方图，为第t-1帧图像的背景区域的历史累计颜色直方图，为第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。

例如，如图5（c）所示的为经步骤102之后所确定的第t帧图像的前景区域。

可以理解为，图1所示的方法是在前后景分割过程中，对第t帧图像的时域处理。

本发明实施例的前后景分割过程中，在图1所示的方法之后，还可以包括空域处理。具体地，可对步骤102所确定的第t帧图像的前景区域的边缘进行平滑，在此基础上再分别进行腐蚀和膨胀，并进一步进行分水岭分割，以确定第t帧图像的前景图像。

具体地，在对第t帧图像的前景区域的边缘进行平滑之后，可先进行适当的腐蚀，腐蚀后的图像可理解为是收缩了的第t帧图像的前景区域，随后对该腐蚀后的图像进行边缘检测，可得到该腐蚀后的图像的边缘，并且该腐蚀后的图像的边缘位于第t帧图像的前景区域内，位于该腐蚀后的图像的边缘的像素可以作为后续分水岭分割的前景像素。

再对第t帧图像的前景区域的边缘进行平滑之后的图像，进行适当的膨胀，膨胀后的图像可理解为是放大了的第t帧图像的前景区域，随后对该膨胀后的图像进行边缘检测，可得到该膨胀后的图像的边缘，并且该膨胀后的图像的边缘位于第t帧图像的背景区域内，位于该膨胀后的图像的边缘的像素可以作为后续分水岭分割的背景像素。

随后，可基于上述腐蚀后的图像的边缘的像素和膨胀后的图像的边缘的像素，进行分水岭分割，从而确定第t帧图像的前景图像。

若视频处理的过程是对视频的背景作替换，即将视频中的背景替换为新的背景生成新的视频，那么在该图1所示的前后景分割之后，将分割后的步骤102所确定的前景区域与新的背景图像进行合成。

例如，对于第t帧图像来说，将如图5（c）的第t帧图像的前景区域，与第一图像进行合成。合成之后的新的图像如图5（d）所示。

具体地，可通过图像合成算法将第t帧图像的前景区域和第一图像进行合成。例如，该图像合成算法可以是Alpha通道。具体地，可首先对第t帧图像的前景区域进行适当的腐蚀，再对腐蚀后的图像的边缘作高斯平滑，并将该高斯平滑的结果作为Alpha通道值。进一步地可利用Alpha通道融合第t帧图像的前景区域与第一图像，这样，便可将第t帧图像的背景替换后的新的图像。

应注意，本发明实施例中，背景替换可以是在时域处理之后，将第t帧图像的前景区域与第一图像进行合成。这样，该图像合成的速度较快，计算时间短。可以在视频进行过程中进行实时地背景替换。

或者，背景替换也可以是在空域处理之后，将第t帧图像的前景图像与第一图像进行合成。这样，该图像合成的图像质量较高，并且该计算时间也较短。可以在视频进行过程中进行实时地高质量的背景替换。

本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。

图6是本发明实施例的视频处理的方法的流程图。该视频处理是对视频进行过程中的背景进行实时替换。图6所示的流程图包括：

201，确定第一图像和确定第二图像。

具体地，第一图像为在视频过程中进行背景替换所需的新的背景的图像。第二图像为在视频过程中设备所拍摄的真实的背景的图像，或者也可以说是在视频过程中进行背景替换的旧的背景的图像。

在视频开始之前，可将期望参与视频的对端所看到的背景的图像，确定为第一图像。并通过场景判断确定第二图像。具体地，可通过纹理判断和颜色判断确定第二图像。

例如，若进行视频的设备为移动电话，可在视频开始之前，移动电话采集第一场景。若该第一场景的HSV空间的V通道的方差小于第一阈值，且第一场景的HSV空间的H通道的方差小于第二阈值，可确定该第一场景为第二图像。若该第一场景的HSV空间的V通道的方差不小于第一阈值，或第一场景的HSV空间的H通道的方差不小于第二阈值，进行视频的移动电话的用户可手持移动电话更换场景至第二场景，重新确定该第二场景是否可用于第二图像。其中，第一阈值和第二阈值是预设的。该步骤201可参见前述图2的描述。

该步骤201也可以理解为是在视频开始之前，选择新旧背景图像。

202，确定第1帧图像的前景区域和第1帧图像的背景区域。

具体地，将步骤201所确定的第二图像作为视频的第1帧图像的背景图像并开始视频的过程。

步骤202也可称为初始帧的前后景分割。具体地，可通过人脸检测与聚类方法确定第1帧图像的前景区域。或者，可通过分水岭方法确定第1帧图像的前景区域。

例如，若进行视频的设备为移动电话，进行视频的移动电话的用户，可在第1帧图像的前景区域和第1帧图像的背景区域的分界处的两侧，手动地划两道，这两道所在的像素可分别作为后续分水岭算法的前景像素和背景像素，这样便可采用分水岭算法将第1帧图像的前景区域和第1帧图像的背景区域实现分割，从而确定第1帧图像的前景区域。具体地，可参见前述图3和图4的描述。

203，将第1帧图像的前景区域和第一图像进行合成。

具体地，可采用Alpha通道融合，将第1帧图像的前景区域和第一图像进行合成。

首先令t=2，执行步骤204。

204，采用块匹配算法，确定第t帧图像的第一区域。

具体地，本发明实施例中的步骤204，可参见图1中的步骤101，为避免重复，这里不再赘述。

205，确定第t帧图像的前景区域。

具体地，本发明实施例中的步骤205，可参见图1中步骤102，为避免重复，这里不再赘述。

206，根据第t帧图像的前景区域确定第t帧图像的前景图像。

具体地，本发明实施例中的步骤206，可参见前述关于空域分割的描述，为避免重复，这里不再赘述。

207，将第t帧图像的前景图像和第一图像进行合成。

具体地，可采用Alpha通道融合，将第t帧图像的前景图像和第一图像进行合成。

这样，便完成了对第t帧图像的背景替换。

208，t增加1，继续执行步骤204。

209，背景替换之后的视频图像。

这样，通过对视频的每一帧图像的前后景分割和图像合成之后，能够得到进行背景替换之后的视频图像。

可理解，参与视频的对端所看到的视频的背景图像为第一图像。

本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割，进而能够将每一帧图像的背景区域替换为新的图像，实现视频过程中的背景替换。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。

应注意，这里所说的移动摄像头可以是在视频过程中，参与视频的用户在运动，例如可以是转动。或者也可以是在视频过程中，参与视频的用户手持设备在运动，例如，可以是用户手持设备在走动，也可以是用户手持设备并将设备进行转动，等等。本发明对此不作限定。

同时，本发明实施例中的前后景分割方法的稳定性高，不会由于视频中前景突然消失与出现而出现误分割。

另外，本发明实施例也可以应用于对背景中强光源的情况。也就是说，即使视频的原背景中有强光源，也可以实现前后景分割。如图7所示。图7（a）所示的视频的第t帧图像的原背景中有强光源，采用本发明实施例的如图6所示的背景替换的方法之后，图7（b）为背景替换之后的第t帧图像。

图8是本发明一个实施例的前后景分割的设备的框图。图8所示的设备300包括第一确定单元301和第二确定单元302。

第一确定单元301，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数。

第二确定单元302，用于根据第一确定单元301确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。

本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。

可选地，作为一个实施例，图8所示的设备300还可包括：第三确定单元303和第四确定单元304。第三确定单元303用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值。第四确定单元304用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。

可选地，作为一个实施例，第一确定单元301，可包括分割子单元、第一确定子单元和第二确定子单元。

分割子单元，可用于将所述第t帧图像分成m个图像块，m为大于2的正整数。第一确定子单元，可用于确定分割子单元分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数。第二确定子单元，用于当第一确定子单元确定的所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。

可选地，作为一个实施例，第二确定单元302，可包括第三确定子单元、计算子单元、第四确定子单元和第五确定子单元。

第三确定子单元，可用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域。计算子单元，可用于计算第t-1帧图像的前景区域的历史累计颜色直方图，计算第三确定子单元确定的第t-1帧图像的背景区域的历史累计颜色直方图，计算第一确定单元301确定的第t帧图像的第一区域的颜色直方图，计算第三确定子单元确定的第t帧图像的第二区域的颜色直方图，并计算第一确定单元301确定的第t帧图像的第一区域中的每一个图像块的颜色直方图。第四确定子单元，可用于根据计算子单元计算的第t-1帧图像的前景区域的历史累计颜色直方图、第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图、第t帧图像的第二区域的颜色直方图和第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件。第五确定子单元，可用于在第一确定单元301确定的所述第t帧图像的第一区域中，确定满足第四确定子单元确定的所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。

可选地，作为一个实施例，第一条件可以为：其中， 为第1帧图像的前景区域的颜色直方图，为第t帧图像的第一区域的颜色直方图，为第t-1帧图像的前景区域的历史累计颜色直方图，为第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，为第t帧图像的第二区域的颜色直方图，为第t-1帧图像的背景区域的历史累计颜色直方图，为第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。

可选地，作为另一个实施例，图8所示的设备300还可包括第五确定单元和合成单元。第五确定单元，用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像。合成单元，用于将第二确定单元302确定的所述第t帧图像的前景区域和所述第五确定单元确定的所述第一图像进行合成。

设备300能够实现图1和图6的实施例中由设备实现的各个过程，为避免重复，这里不再赘述。

图9是本发明另一个实施例的前后景分割的设备的框图。图9所示的设备400包括：处理器401、存储器402、收发电路403。

处理器401，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数。并进一步根据所确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。

本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。

设备400中的各个组件通过总线系统405耦合在一起，其中总线系统405除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统405。

上述本发明实施例揭示的方法可以应用于处理器401中，或者由处理器401实现。处理器401可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器401中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1001可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、现成可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器（Random Access Memory，RAM）、闪存、只读存储器（Read-Only Memory，ROM）、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器402，处理器401读取存储器402中的信息，结合其硬件完成上述方法的步骤。

可选地，作为一个实施例，处理器401还可用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值。并进一步采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。

可选地，作为另一个实施例，处理器401可具体用于将所述第t帧图像分成m个图像块，m为大于2的正整数。并确定分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数。进一步，在所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。

可选地，作为另一个实施例，处理器401可具体用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域。随后可具体用于计算第t-1帧图像的前景区域的历史累计颜色直方图，计算第t-1帧图像的背景区域的历史累计颜色直方图，计算第t帧图像的第一区域的颜色直方图，计算第t帧图像的第二区域的颜色直方图，并计算第t帧图像的第一区域中的每一个图像块的颜色直方图。并根据所计算的第t-1帧图像的前景区域的历史累计颜色直方图、第t-1帧图像的背景区域的历史累计颜色直方图、第t帧图像的第一区域的颜色直方图、第t帧图像的第二区域的颜色直方图和第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件。进一步可用于在所述第t帧图像的第一区域中，确定满足所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。

可选地，作为一个实施例，第一条件可以为：其中， 为第1帧图像的前景区域的颜色直方图，为第t帧图像的第一区域的颜色直方图，为第t-1帧图像的前景区域的历史累计颜色直方图，为第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，为第t帧图像的第二区域的颜色直方图，为第t-1帧图像的背景区域的历史累计颜色直方图，为第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。

可选地，作为另一个实施例，处理器401还可用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像。并进一步将所述第t帧图像的前景区域和所确定的所述第一图像进行合成。

设备400能够实现图1和图6的实施例中由设备实现的各个过程，为避免重复，这里不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种前后景分割的方法，其特征在于，所述方法包括：

基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；

根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；

采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。

3.根据权利要求1或2所述的方法，其特征在于，所述基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，包括：

将所述第t帧图像分成m个图像块，m为大于2的正整数；

确定所述第t帧图像的m个图像块中的第i个图像块在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；

当所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。

4.根据权利要求3所述的方法，其特征在于，所述根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域，包括：

确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域；

确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；

计算所述第t-1帧图像的前景区域的历史累计颜色直方图，以及所述第t-1帧图像的背景区域的历史累计颜色直方图；

计算所述第t帧图像的第一区域的颜色直方图，以及所述第t帧图像的第二区域的颜色直方图；

计算所述第t帧图像的第一区域中的每一个图像块的颜色直方图；

根据所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；

在所述第t帧图像的第一区域中，确定满足所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。

5.根据权利要求4所述的方法，其特征在于，所述第一条件为：

其中， 为所述第1帧图像的前景区域的颜色直方图，为所述第t帧图像的第一区域的颜色直方图，为所述第t-1帧图像的前景区域的历史累计颜色直方图，为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，为所述第t帧图像的第二区域的颜色直方图，为所述第t-1帧图像的背景区域的历史累计颜色直方图，为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；

将所述第t帧图像的前景区域和所述第一图像进行合成。

7.一种前后景分割的设备，其特征在于，所述设备包括：

第一确定单元，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；

第二确定单元，用于根据所述第一确定单元确定的所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。

8.根据权利要求7所述的设备，其特征在于，所述设备还包括第三确定单元和第四确定单元：

所述第三确定单元，用于将满足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值；

所述第四确定单元，用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前景区域。

9.根据权利要求7或8所述的设备，其特征在于，所述第一确定单元，包括：

分割子单元，用于将所述第t帧图像分成m个图像块，m为大于2的正整数；

第一确定子单元，用于确定所述分割子单元分成的所述第t帧图像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的正整数；

第二确定子单元，用于当所述第一确定子单元确定的所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。

10.根据权利要求9所述的设备，其特征在于，所述第二确定单元，包括：

第三确定子单元，用于确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区域，并确定所述第一确定单元确定的所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；

计算子单元，用于计算所述第t-1帧图像的前景区域的历史累计颜色直方图，计算所述第三确定子单元确定的所述第t-1帧图像的背景区域的历史累计颜色直方图，计算所述第一确定单元确定的所述第t帧图像的第一区域的颜色直方图，计算所述第三确定子单元确定的所述第t帧图像的第二区域的颜色直方图，并计算所述第一确定单元确定的所述第t帧图像的第一区域中的每一个图像块的颜色直方图；

第四确定子单元，用于根据所述计算子单元计算的所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；

第五确定子单元，用于在所述第一确定单元确定的所述第t帧图像的第一区域中，确定满足所述第四确定子单元确定的所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。

11.根据权利要求10所述的设备，其特征在于，所述第一条件为：

其中， 为第1帧图像的前景区域的颜色直方图，为所述第t帧图像的第一区域的颜色直方图，为所述第t-1帧图像的前景区域的历史累计颜色直方图，为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除所述第1帧图像的前景区域之外的区域，为所述第t帧图像的第二区域的颜色直方图，为所述第t-1帧图像的背景区域的历史累计颜色直方图，为所述第t帧图像的第一区域中的像素所在的图像块的颜色直方图，α,β,γ,λ为不大于1的非负数，且α+β+γ＝1。

12.根据权利要求7至11任一项所述的设备，其特征在于，所述设备还包括：

第五确定单元，用于确定第一图像，所述第一图像用于作为所述第t帧图像的背景图像；

合成单元，用于将所述第二确定单元确定的所述第t帧图像的前景区域和所述第五确定单元确定的所述第一图像进行合成。