CN105120185B - 一种视频图像抠像方法与装置 - Google Patents

Abstract

本发明提供了一种视频图像抠像方法和装置，其中，所述方法包括：在第一前景掩模图像的有效区域中、选取设定个数的特征点；对被选取的各所述特征点的阿尔法值进行设置；按照设定规则在当前帧视频图像中确定各所述特征点的坐标，其中，所述第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像；依据各所述特征点的坐标，计算出当前帧视频图像的第二前景掩模图像的有效区域；依据设置的各所述特征点的阿尔法值以及所述第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图；对所述前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。本发明实施例提供的视频图像抠像方案，可以适用于任何背景下拍摄的视频图像，普适性强。

Description

一种视频图像抠像方法与装置

技术领域

本发明涉及视频图像处理技术领域，特别是涉及一种视频图像抠像方法与装置。

背景技术

随着视频技术的发展，目前市场上涌现出了图像或视频后期处理的软件。例如：绿幕背景抠图视频处理软件，或者针对蓝色背景拍摄的蓝幕背景抠图视频处理软件。

而现有的这些图像或视频后期处理的软件，对视频的拍摄背景有特殊的要求。例如：绿幕背景抠图视频处理软件，则要求待处理的图像/视频是在单一的绿色背景下进行的拍摄，而蓝色背景拍摄的蓝幕背景抠图视频处理软件，则要求待处理的图像或视频是在单一的蓝色背景下进行的拍摄。可见，现有的图像/视频后期处理软件仅能对特殊的、单色背景下拍摄的图像/视频进行后期处理，普适性差。

而目前，在图像或视频后期处理软件中，用户经常希望能够对一段不是在特殊的单色背景拍摄的视频进行抠像，然后将抠得的图像与任意合适的背景结合，生成新的图像或视频。而这些，现有的图像/视频后期处理的软件无法实现。

发明内容

鉴于上述现有的图像或视频后期处理软件无法适用于非特殊单一颜色背景下拍摄的图像或视频进行抠像的问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的视频图像抠像方法与装置。

依据本发明的一个方面，提供了一种视频图像抠像方法，包括：在第一前景掩模图像的有效区域中、选取设定个数的特征点；对被选取的各所述特征点的阿尔法值进行设置；按照设定规则在当前帧视频图像中确定各所述特征点的坐标，其中，所述第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像；依据各所述特征点的坐标，计算出当前帧视频图像的第二前景掩模图像的有效区域；依据设置的各所述特征点的阿尔法值以及所述第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图；对所述前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。

优选地，在所述在第一前景掩模图像的有效区域中、选取设定个数的特征点的步骤之前，所述方法还包括：对所述第一前景掩模图像进行二值化处理，以确定所述第一前景掩模图像的有效区域。

优选地，所述在第一前景掩模图像的有效区域中、选取设定个数的特征点的步骤包括：将第一前景掩模图像的有效区域划分成多个子图像，其中，每个子图像的大小、与特征点对应的图像大小相等；依据特征矩阵分别计算所述各子图像的特征值；对计算得到的所述特征值按照大小进行排序，将排序在前的设定个数的特征值对应的子图像确定为特征点。

优选地，所述按照设定规则在当前帧视频图像中确定各所述特征点的坐标的步骤包括：在当前帧视频图像中确定每个特征点的坐标的步骤包括：根据光流矢量公式、通过迭代法进行求解，以确定当前特征点在当前帧视频图像中坐标；若针对当前特征点可求得最优解，则将所述最优解对应的图像确定为所述当前特征点在当前帧视频图像中的特征点；若针对当前特征点未求得最优解，则将所述第二前景掩模图像的有效区域扩大成设定大小，生成新的有效区域；从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标。

优选地，所述从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标的步骤包括：将所述新的有效区域进行棋盘格划分，划分成多个子图像；其中，每个子图像的大小与特征点对应的图像的大小相等；在划分成的所述多个子图像中确定一个最佳图像；以所述最佳图像的中心位置作为光流矢量公式的迭代初始位置，根据光流矢量公式、通过迭代法求得最优解以确定当前特征点在当前帧视频图像中的最佳匹配坐标。

依据本发明的另一个方面，还提供了一种视频图像抠像装置，包括：选取模块，用于在第一前景掩模图像的有效区域中、选取设定个数的特征点；设置模块，用于对被选取的各所述特征点的阿尔法值进行设置；确定模块，用于按照设定规则在当前帧视频图像中确定各所述特征点的坐标，其中，所述第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像；计算模块，用于依据各所述特征点的坐标计算出当前帧视频图像的第二前景掩模图像的有效区域；构建模块，用于依据设置的各所述特征点的阿尔法值以及所述第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图；处理模块，用于对所述前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。

优选地，所述装置还包括：有效区域确定模块，用于在所述选取模块在第一前景掩模图像的有效区域中、选取设定个数的特征点之前，对第一前景掩模图像进行二值化处理，确定所述第一前景掩模图像中的有效区域。

优选地，所述选取模块包括：划分子模块，用于将第一前景掩模图像的有效区域划分成多个子图像，其中，每个子图像的大小、与特征点对应的图像大小相等；特征值计算子模块，用于依据特征矩阵分别计算所述各子图像的特征值；特征点确定子模块，用于对计算得到的所述特征值按照大小进行排序，将排序在前的设定个数的特征值对应的子图像确定为特征点。

优选地，所述确定模块在当前帧视频图像中确定每个特征点的坐标时：根据光流矢量公式、通过迭代法求解，以确定当前特征点在当前帧视频图像中坐标；若针对当前特征点可求得最优解，则将所述最优解对应的图像确定为所述当前特征点在当前帧视频图像中的特征点；若针对当前特征点未求得最优解，则将所述第二前景掩模图像的有效区域扩大成设定大小，生成新的有效区域；从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标。

优选地，所述确定模块从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标时：将所述新的有效区域进行棋盘格划分，划分成多个子图像；其中，每个子图像的大小与特征点对应的图像的大小相等；在划分成的所述多个子图像中确定一个最佳图像；以所述最佳图像的中心位置作为光流矢量公式的迭代初始位置，根据光流矢量公式、通过迭代法求得最优解，以确定当前特征点在当前帧视频图像中的最佳匹配坐标。

与现有技术相比，本发明具有以下优点：

本发明实施例提供的视频图像抠像方案，通过特征点跟踪的方式来进行抠像，具体地：在对当前帧视频图像提取第二前景掩模图像时，参照前一帧视频图像对应的第一前景掩模图像，确定各特征点的位置变化，确定各特征点在当前帧视频图像中的坐标。这样，通过确定的坐标即可计算出当前帧视频图像的第二前景掩模图像的有效区域，然后再分别依据设置的各特征点的阿尔值以及第二前景掩模图像的有效区域构建当前帧视频图像的前景映射图，再对前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。本发明实施例提供的视频图像抠像方案，依据特征点的运动位移来确定各特征点构成的新的有效区域以生成当前视频图像的第二前景掩模图像，由于特征点的位移并不依赖于背景图像的颜色，因此，该抠图方式可以适用于任何背景下拍摄的视频图像。相较于现有的视频图像处理方案，普适性高。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是根据本发明实施例一的一种视频图像抠像方法的步骤流程图；

图2是根据本发明实施例二的一种视频图像抠像方法的步骤流程图；

图3是采用实施例二中所示的方法，对视频进行视频图像抠像处理的步骤流程图；

图4是图3中所示的流程图待处理的帧视频图像；

图5是对图4中所示的帧视频图像进行抠像处理后，得到的前景掩模图；

图6是根据本发明实施例三的一种视频图像抠像装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例一

参照图1，示出了本发明实施例一的一种视频图像抠像方法的步骤流程图。

本发明实施例的视频图像抠像方法包括以下步骤：

步骤S102：在第一前景掩模图像的有效区域中、选取设定个数的特征点。

其中，第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像。也就是说，每对一帧视频图像进行抠像处理后得到的前景掩模图像均作为下一帧视频图像抠像处理时的参照。

有效区域包含前景图像，并且，有效区域的确定可以采用将第一前景掩模图像进行二值化处理，二值化处理后前景图像为白色，背景部分为黑色。

对于特征点的确定方式以及、设定的特征点的个数可以由本领域技术人员根据实际需求进行设置，本发明实施例中对此不作具体限制。

其中，每个特征点的大小可以由本领域技术人员根据数据实际需求进行设置，例如：设置成7×7像素大小，或者8×8像素大小，或者4×4像素大小等，本发明实施例中对此不作具体限制。

步骤S104：对被选取的各特征点的阿尔法值进行设置。

在对阿尔法值进行设置时，可以将有效区域中前景图像中的特征点设置为255，用于指示白色；将有效区域中的背景图像中的特征点设置为128，用于指示灰色。

步骤S106：按照设定规则在当前帧视频图像中确定各特征点的坐标。

本发明实施例中，在前边已经确定了前一帧视频图像中各特征点，在本步骤中，需要确定前一帧视频图像中的各特征点在当前帧视频图像中的位置。

步骤S108：依据各特征点的坐标，计算出当前帧视频图像的第二前景掩模图像的有效区域。

确定各特征点的坐标后，根据特征点在第一前景掩模图像中的位置，即可确定有效区域的位移，这样，即可计算出当前帧视频图像的第二前景掩模图像的有效区域。

步骤S110：依据设置的各特征点的阿尔法值以及第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图。

本步骤中，对各特征点赋予设定的阿尔法值，这样，即可构建出前景映射图。

步骤S112：对前景映射图进行处理，得到当前视频图像的第二前景掩模图像。

其中，对前景映射图进行处理得到前景掩模图像的具体实现方式可参见先关技术即可，本发明实施例对此不作具体限制。

需要说明的是，本发明实施例中是以对一帧视频图像进行抠像处理为例进行的说明，在具体实现过程中，视频中包含的各帧视频图像均可参照上述处理流程进行处理，本发明实施例中在此不再赘述。

通过本发明实施例提供的视频图像抠像方法，能够通过特征点跟踪的方式来进行抠像，具体地：在对当前帧视频图像提取第二前景掩模图像时，参照前一帧视频图像对应的第一前景掩模图像，确定各特征点的位置变化，确定各特征点在当前帧视频图像中的坐标。这样，通过确定的坐标即可计算出当前帧视频图像的第二前景掩模图像的有效区域，然后再分别依据设置的各特征点的阿尔值以及第二前景掩模图像的有效区域构建当前帧视频图像的前景映射图，再对前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。本发明实施例提供的视频图像抠像方法，依据特征点的运动位移来确定各特征点构成的新的有效区域以生成当前视频图像的第二前景掩模图像，由于特征点的位移并不依赖于背景图像的颜色，因此，该抠图方式可以适用于任何背景下拍摄的视频图像。相较于现有的视频图像处理方法，普适性高。

实施例二

参照图2，示出了本发明实施例二的一种视频图像抠像方法的步骤流程图。

本发明实施例的视频图像抠像方法具体包括以下步骤：

本发明实施例中以对一帧视频图像进行抠像处理为例，对本发明实施例的抠像方法进行说明，在具体处理过程中，各帧的处理均可参照本发明实施例中的下述流程，在此不再赘述。

步骤S202：视频编码器对第一前景掩模图像进行二值化处理，以确定第一前景掩模图像的有效区域。

其中，第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像。

在对视频进行编码前，需要特征点个数设定参数，以及前景掩模图像，因此，在对第一帧视频图像进行处理时，需要对前景眼掩模图像进行处理。

对于本步骤，仅需对第一帧视频图像对应的前景掩模图像进行二值化处理，对于其他帧的视频图像由于在生成前景掩模图像为二值化图像，并且在该图像中已经确定了有效区域，而生成的前景掩模图像作为下一帧视频图像的第一前景掩模图像，因此，无需再重复进行二值化处理以及有效区域的确定。

步骤S204：视频编码器在第一前景掩模图像的有效区域中、选取设定个数的特征点。

对于本步骤，仅需对第一帧视频图像对应的前景掩模图像进行特征点的选取，对于其他帧的视频图像由于在生成前景掩模图像中的特征点已经确定，而生成的前景掩模图像作为下一帧视频图像的第一前景掩模图像，因此，无需再重复进行特征点的选取。

一种优选的在第一前景掩模图像的有效区域中、选取设定个数的特征点的方式如下：

S1：将第一前景掩模图像的有效区域划分成多各子图像，其中，每个子图像的大小、与特征点对应的图像大小相等。

例如：特征点的大小为7×7像素，那么，在对第一前景掩模图像进行划分时，也将第一前景掩模图像划分成多个7×7像素大小的子图像。

S2：依据特征矩阵分别计算各子图像的特征值。

优选地，采用下述特征矩阵计算子图像的特征值：

其中，g_x表示子图像在X方向的灰度梯度，g_y表示子图像在Y方向的灰度梯度。∫∫_w表示在矩形区域(即子图像)离散数据的和。

需要说明的是，该矩形区域可以为7×7像素大小的区域，当然可以是其他大小的矩形区域，例如：5×5像素，8×8像素等。

采用上述特征矩分别计算出个子图像对应的特征值，根据特征矩阵得出的特征值选出最优的M个特征点(特征值越大越优)。其中，M个特征点为设定个数的特征点。也就是说，若输入的参数中设定的特征点个数为5个，则M的取值为5。

S3：对计算得到的特征值按照大小进行排序，将排序在前的设定个数的特征值对应的子图像确定为特征点。

若需要选取M个特征点，则按照排序将排序在前M的特征值对应的特征点确定为第一前景掩模图像的有效区域中、选取设定个数的特征点。

步骤S206：视频编码器对被选取的各特征点的阿尔法值进行设置。

对于各特征点的阿尔法值的设置仅设置一次即可，也就是说，只需对第一帧视频图像进行抠像处理时进行设置，在对下一帧视频图像进行抠像处理时，则无需再重复设置，直接选用已设置好的阿尔法值即可。

一种优选的设置特征点的阿尔法的方式如下：

若特征点在前景图像中，则将特征点的阿尔法值设置为255；若不在前景图像中，则将特征点的阿尔法值设置为128。

步骤S208：视频编码器按照设定规则在当前帧视频图像中确定各特征点的坐标。

一种优选的按照设定规则在当前帧视频图像中确定各特征点的坐标的方式为，重复执行下述流程分别在当前帧视频图像中确定每个特征点的坐标：

S1：根据光流矢量公式、通过迭代法进行求解，以确定当前特征点在当前帧视频图像中坐标。

其中，流光矢量公式如下：

Zd＝e，其中

其中，J表示在前一帧视频图像中当前特征点对应的子图像的亮度函数，I表示在当前帧视频图像中当前特征点对应的子图像的亮度函数，表示当前特征点的运动向量。

通过Newton(即牛顿)迭代法进行逼近求得上述方程组最优解。

S2：若针对当前特征点可求得最优解，则将最优解对应的图像确定为当前特征点在当前帧视频图像中的特征点；

通过上述方程组求得最优解则证明当前特征点当前帧视频图像中的有效区域内，并且通过其对应的运动向量以及当前特征点在前一帧视频图像中的坐标可确定其在当前帧视频图像中的坐标。

S3：若针对当前特征点未求得最优解，则将第二前景掩模图像的有效区域扩大成设定大小，生成新的有效区域；从新的有效区域中确定当前特征点在当前帧视频图像中坐标。

一种优选的从新的有效区域中确定当前特征点在当前帧视频图像中坐标的方式为：

第一步：将新的有效区域进行棋盘格划分，划分成多个子图像；其中，每个子图像的大小与特征点对应的图像的大小相等。

例如：特征点的大小为7×7像素，那么，在对新的有效区域进行棋盘格划分时，将每个子图像划分成7×7像素大小。

第二步：在划分成的个子图像中确定一个最佳图像。

最佳图像的确定可以通过以下方式：

假设新的有效区域被划分成了K个图像区域即子图像，分别求取这K个区域中与前一帧视频图像中当前特征点区域图像灰度差的平方和，然后，从求取的这些平方和中选取最小的一个值，该最小值对应的子图像即为最佳图像。

例如：新的有效区域被划分成了子图像A、B和C，前一帧视频图像中当前特征点区域图像为D，那么，分别计算A和D、B和D以及C和D的个像素点的灰度差的平方和，得到的平方和分别为a、b和c，其中a最小，则子图像A为最佳图像。

具体地，最佳图像的选取可以通过以下程序实现：

S(x,y)＝(∫∫_w|(J(X)-I(X))|)

第三步：以最佳图像的中心位置作为光流矢量公式的迭代初始位置，根据光流矢量公式、通过迭代法求得最优解以确定当前特征点在当前帧视频图像中的最佳匹配坐标。

如果通过扩大第二前景掩模图像的有效区域，仍然没有找到特征点，说明当前特征点不存在，就丢弃当前特征点，否则将当前特征点在当前帧视频图像中的的新位置(即坐标)记录下来。

通过重复执行步骤S208即可对各特征点的新位置进行记录。

步骤S210：视频编码器依据各特征点的坐标，计算出当前帧视频图像的第二前景掩模图像的有效区域。

步骤S212：视频编码器依据设置的各特征点的阿尔法值以及第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图。

具体构建方式参见相关技术即可，本发明实施例中对此不作具体限制。

步骤S214：视频编码器对前景映射图进行处理，得到当前视频图像的第二前景掩模图像。

优选地，对前景映射图进行处理时，可以采用Lazy Snapping即懒惰抠图算法，该算法的具体公式如下：

其中，F、B分别表示当前帧视频图像的前景图像和背景图像。对于公式中的其他的参数所指示的意义，可参加相关文献，本实施例中对此不再赘述。

通过上述公式可对前景映射图进行处理，得到当前视频图像的第二前景掩模图像，至此，当前帧视频图像的抠像处理完成。若需对下一帧视频图像进行抠图处理，则直接返回步骤S208，将当前帧视频图像的第二前景掩模图像作为下一帧视频图像的第一前景掩模图像即可。

通过本发明实施例提供的视频图像抠像方法，通过特征点跟踪的方式来进行抠像，具体地：在对当前帧视频图像提取第二前景掩模图像时，参照前一帧视频图像对应的第一前景掩模图像，确定各特征点的位置变化，确定各特征点在当前帧视频图像中的坐标。这样，通过确定的坐标即可计算出当前帧视频图像的第二前景掩模图像的有效区域，然后再分别依据设置的各特征点的阿尔值以及第二前景掩模图像的有效区域构建当前帧视频图像的前景映射图，再对前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。本发明实施例提供的视频图像抠像方法，依据特征点的运动位移来确定各特征点构成的新的有效区域以生成当前视频图像的第二前景掩模图像，由于特征点的位移并不依赖于背景图像的颜色，因此，该抠图方式可以适用于任何背景下拍摄的视频图像。相较于现有的视频图像处理方案，普适性高。

下面参照图3，以一具体实例对本发明实施例的视频图像抠像方法进行说明。

本具体实例的视频图像抠像方法包括以下步骤：

本具体实例中以对图4中的第一帧视频图像进行处理为例，进行的说明。

步骤S302：对前景掩模图像进行二值化处理，计算有效的跟踪区域即有效区域。

本算法有如下输入参数：特征点个数(N个)、前景掩模图像，其中特征点个数用来确定需要在跟踪目标上产生的特征点个数_，前景掩模图像用来确定在图像的哪个范围中产生特征点。

步骤S304：求解t-1时刻的M个特征点。

其中，t-1时刻即当前待抠像的帧视频图像的前一帧视频图像的前景掩模图像。

求解t-1时刻的M各特征点即为在前一帧视频图像的前景掩模图像中的确定各特征点。本实施例中由于是对第一帧视频图像进行处理，因此，作为参数输入的前景掩模图像即为t-1时刻对应的前景掩模图像。

具体地：在t-1时刻根据前景掩模图像的有效区域中根据特征矩阵选择M个特征点。具体地，将前景掩模图像的有效区域划分成多个子图像，其中，子图像的大小与特征点的大小相等；然后，依据上述特征矩阵计算各子图像的特征值，通过计算得出的特征值来确定M各子图像，这每个子图像即为确定的特征点。

其中，g_x表示子图像在X方向的灰度梯度，g_y表示子图像在Y方向的灰度梯度。∫∫_w表示在7*7的矩形区域离散数据的和。根据特征矩阵得出的特征值选出最优的M个特征点(特征值越大越优)。

需要说明的是，本具体实例中，是以特征点为7×7像素大小为例进行的说明。因此，∫∫_w表示在7*7的矩形区域离散数据的和。在具体实现过程中，特征点还可以是6×6像素大小，或者8×8大小，相应地，∫∫_w表示在6×6的矩形区域离散数据的和，或者是表示在8×8的矩形区域离散数据的和。

步骤S306：设置每个被选取的特征点的alpha(即阿尔法)值。

设置每个被选取特征点的alpha值，如果特征点在前景图像中，则将其alpha值设置为255，如果特征点不再前景图像中，则将其alpha值设置为128。

步骤S308：在t时刻第M个特征点使用KLT光流矢量公式迭代所有在当前帧的新位置。

其中，在t时刻即在当前帧视频图像中。

优选的，采用如下方式确定各特征点在当前帧视频图像中的新位置：

S1：在t时刻根据光流矢量公式：

Zd＝e，其中

其中，J表示在前一帧视频图像中当前特征点对应的子图像的亮度函数，I表示在当前帧视频图像中当前特征点对应的子图像的亮度函数，表示当前特征点的运动向量。

通过Newton迭代法进行逼近求得最优解。

如果在步骤S1无法求得最优解，表示当前特征点丢失，如果这个特征点区域有可能还存在当前图像中，只时由于物体运动快使灰度梯度不连续了而造成光流矢量公式无法收敛到最优解，这时候我们尝试在前景掩模图像的有效区域搜索跟踪目标的近似位置，因此执行步骤S2。如果在步骤S1中求得最优解，则根据该最优解确定当前特征点在当前帧视频图像中的位置坐标，并返回执行S1，而不再执行步骤S2，对下一个特征点在当前帧视频图像中的位置坐标进行确定。

S2：将当前帧视频图像中的前景掩模图像的有效区域进行棋盘格划分，每个格与特征点区域大小相同，这样具有K个图像区域，求取这K个区域中与t-1时刻(前一帧视频图像)该特征点区域图像灰度差的平方和(SSD)最小的一个区域，以这个区域的中心位置作为光流矢量公式的迭代初始位置重新进入步骤S1进行计算。

如此划分棋盘格，理论在于如果跟踪特征点存在这个时刻图像中，我们总能找到一个区域与t-1时刻特征点区域在灰度变化上有相似性，这样以这个区域进行矢量跟踪必定能迭代到最佳匹配位置。

其中，求取这K个区域中与t-1时刻(前一帧视频图像)该特征点区域图像灰度差的平方和(SSD)最小的一个区域可以通过一下公式实现：

S(x,y)＝(∫∫_w|(J(X)-I(X))|)

如果通过步骤S2仍然没有找到特征点，说明该特征点不存在，就丢弃这个特征点。若通过S2求得了最优解，否则将特征点在t时刻的新位置记录下来。即记录下当前特征点在当前帧视频图像中的位置坐标。然后，返回执行S1，继续对下一个特征点的位置坐标的确定。

步骤S310：根据有效特征点的运动,计算出t时刻的前景掩模图像的有效区域。

其中，有效特征点即在步骤S308中成功找到新位置的特征点。计算t时刻的前景掩膜图像的有效区域，即计算当前帧视频图像的前景掩膜图像的有效区域。

步骤S312：根据有效特征点的alpha值,构建t时刻的前景影射图。

其中，每个特征点设置有对应的alpha值，此步骤将设置的各特征点的alpha值分别赋予各特征点，即可构建出当前帧视频图像的前景映射图。

步骤S314：使用t时刻的前景影射图,利用Lazy Snapping算法公式计算t时刻的前景掩模图像。

其中，Lazy Snapping算法公式具体如下:

其中，F、B分别表示当前帧视频图像的前景图像和背景图像。

通过确定当前帧视频图像的前景图像和背景图像即可计算出当前帧视频图像的前景掩模图像，所得的前景掩模图像如图5所示。所得到的第一帧视频图像的前景掩模图像为二值图，并且有效区域、以及特征点也已在第一帧视频图像的前景掩模图像中确定。因此，在对第二帧视频图像进行抠像处理时，则直接第一帧视频图像的前景掩模图像作为参考掩模图像即可，并且无需再执行步骤S302至步骤S306。

通过上述步骤第一帧视频图像的抠像处理完成，若需要对下一帧视频图像进行处理，则需要返回执行步骤S308及后续步骤。并且，对于第三帧视频图像以及后边各帧视频图像的处理，也无需再执行步骤S302至步骤S306，而是直接将前一帧视频图像的前景掩模图像作为参照，确定各特征点在当前待处理的帧视频图像中的位置坐标，以及后续步骤即可。

本具体实例中，基于KLT光流特征点跟踪算法和Lazy Snapping算法核心思想是利用KLT光流特征点跟踪前景图像的运动信息,然后利用Lazy Snapping算法计算出图像的前景掩模图像。使用跟踪的方法能够准确的找到前景运动的位置不仅能够,达到好的抠像效果，并且，还可以适用于任意背景下拍摄的图像或视频。

实施例三

参照图6，示出了本发明实施例三的一种视频图像抠像装置的结构框图。

本发明实施例的视频图像抠像装置包括：选取模块402，用于在第一前景掩模图像的有效区域中、选取设定个数的特征点；设置模块404，用于对被选取的各所述特征点的阿尔法值进行设置；确定模块406，用于按照设定规则在当前帧视频图像中确定各所述特征点的坐标，其中，所述第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像；计算模块408，用于依据各所述特征点的坐标计算出当前帧视频图像的第二前景掩模图像的有效区域；构建模块410，用于依据设置的各所述特征点的阿尔法值以及所述第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图；处理模块412，用于对所述前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。

优选地，所述装置还包括：有效区域确定模块414，用于在所述选取模块402在第一前景掩模图像的有效区域中、选取设定个数的特征点之前，对第一前景掩模图像进行二值化处理，确定所述第一前景掩模图像中的有效区域。

优选地，所述选取模块402包括：划分子模块4022，用于将第一前景掩模图像的有效区域划分成多个子图像，其中，每个子图像的大小、与特征点对应的图像大小相等；特征值计算子模块4024，用于依据特征矩阵分别计算所述各子图像的特征值；特征点确定子模块4026，用于对计算得到的所述特征值按照大小进行排序，将排序在前的设定个数的特征值对应的子图像确定为特征点。

优选地，所述确定模块406在当前帧视频图像中确定每个特征点的坐标时：根据光流矢量公式、通过迭代法求解，以确定当前特征点在当前帧视频图像中坐标；若针对当前特征点可求得最优解，则将所述最优解对应的图像确定为所述当前特征点在当前帧视频图像中的特征点；若针对当前特征点未求得最优解，则将所述第二前景掩模图像的有效区域扩大成设定大小，生成新的有效区域；从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标。

优选地，所述确定模块406从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标时：将所述新的有效区域进行棋盘格划分，划分成多个子图像；其中，每个子图像的大小与特征点对应的图像的大小相等；在划分成的所述多个子图像中确定一个最佳图像；以所述最佳图像的中心位置作为光流矢量公式的迭代初始位置，根据光流矢量公式、通过迭代法求得最优解，以确定当前特征点在当前帧视频图像中的最佳匹配坐标。

本发明实施例的视频图像抠像装置用于实现前述实施例一以及实施例二中相应的视频图像抠像方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

在此提供的视频图像抠像方案不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频图像抠像方案中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种视频图像抠像方法，其特征在于，包括：

在第一前景掩模图像的有效区域中、选取设定个数的特征点；

对被选取的各所述特征点的阿尔法值进行设置；

按照设定规则在当前帧视频图像中确定各所述特征点的坐标，其中，所述第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像；

依据各所述特征点的坐标，计算出当前帧视频图像的第二前景掩模图像的有效区域；

依据设置的各所述特征点的阿尔法值以及所述第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图；

对所述前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。

2.根据权利要求1所述的方法，其特征在于，在所述在第一前景掩模图像的有效区域中、选取设定个数的特征点的步骤之前，所述方法还包括：

对所述第一前景掩模图像进行二值化处理，以确定所述第一前景掩模图像的有效区域。

3.根据权利要求1或2所述的方法，其特征在于，所述在第一前景掩模图像的有效区域中、选取设定个数的特征点的步骤包括：

将第一前景掩模图像的有效区域划分成多个子图像，其中，每个子图像的大小、与特征点对应的图像大小相等；

依据特征矩阵分别计算所述各子图像的特征值；

对计算得到的所述特征值按照大小进行排序，将排序在前的设定个数的特征值对应的子图像确定为特征点。

4.根据权利要求3所述的方法，其特征在于，所述按照设定规则在当前帧视频图像中确定各所述特征点的坐标的步骤包括：

在当前帧视频图像中确定每个特征点的坐标的步骤包括：

根据光流矢量公式、通过迭代法进行求解，以确定当前特征点在当前帧视频图像中坐标；

若针对当前特征点可求得最优解，则将所述最优解对应的图像确定为所述当前特征点在当前帧视频图像中的特征点；

若针对当前特征点未求得最优解，则将所述第二前景掩模图像的有效区域扩大成设定大小，生成新的有效区域；从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标。

5.根据权利要求4所述的方法，其特征在于，所述从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标的步骤包括：

将所述新的有效区域进行棋盘格划分，划分成多个子图像；其中，每个子图像的大小与特征点对应的图像的大小相等；

在划分成的所述多个子图像中确定一个最佳图像；

以所述最佳图像的中心位置作为光流矢量公式的迭代初始位置，根据光流矢量公式、通过迭代法求得最优解以确定当前特征点在当前帧视频图像中的最佳匹配坐标。

6.一种视频图像抠像装置，其特征在于，包括：

选取模块，用于在第一前景掩模图像的有效区域中、选取设定个数的特征点；

设置模块，用于对被选取的各所述特征点的阿尔法值进行设置；

确定模块，用于按照设定规则在当前帧视频图像中确定各所述特征点的坐标，其中，所述第一前景掩模图像为当前帧视频图像的前一帧视频图像、对应的前景掩模图像；

计算模块，用于依据各所述特征点的坐标计算出当前帧视频图像的第二前景掩模图像的有效区域；

构建模块，用于依据设置的各所述特征点的阿尔法值以及所述第二前景掩模图像的有效区域，构建当前帧视频图像的前景映射图；

处理模块，用于对所述前景映射图进行处理，得到当前视频图像的所述第二前景掩模图像。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

有效区域确定模块，用于在所述选取模块在第一前景掩模图像的有效区域中、选取设定个数的特征点之前，对第一前景掩模图像进行二值化处理，确定所述第一前景掩模图像中的有效区域。

8.根据权利要求6或7所述的装置，其特征在于，所述选取模块包括：

划分子模块，用于将第一前景掩模图像的有效区域划分成多个子图像，其中，每个子图像的大小、与特征点对应的图像大小相等；

特征值计算子模块，用于依据特征矩阵分别计算所述各子图像的特征值；

特征点确定子模块，用于对计算得到的所述特征值按照大小进行排序，将排序在前的设定个数的特征值对应的子图像确定为特征点。

9.根据权利要求8所述的装置，其特征在于，所述确定模块在当前帧视频图像中确定每个特征点的坐标时：

根据光流矢量公式、通过迭代法求解，以确定当前特征点在当前帧视频图像中坐标；

若针对当前特征点可求得最优解，则将所述最优解对应的图像确定为所述当前特征点在当前帧视频图像中的特征点；

若针对当前特征点未求得最优解，则将所述第二前景掩模图像的有效区域扩大成设定大小，生成新的有效区域；从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标。

10.根据权利要求9所述的装置，其特征在于，所述确定模块从所述新的有效区域中确定所述当前特征点在当前帧视频图像中坐标时：

将所述新的有效区域进行棋盘格划分，划分成多个子图像；其中，每个子图像的大小与特征点对应的图像的大小相等；

在划分成的所述多个子图像中确定一个最佳图像；

以所述最佳图像的中心位置作为光流矢量公式的迭代初始位置，根据光流矢量公式、通过迭代法求得最优解，以确定当前特征点在当前帧视频图像中的最佳匹配坐标。