CN110390327B - 前景提取方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了前景提取方法、装置、计算机设备及存储介质，其中方法可包括：对原始图像进行显著性检测，得到原始图像对应的灰度图像；根据灰度图像生成包含前景、背景以及未知区域的Trimap图像；结合原始图像，对Trimap图像中的未知区域进行前景背景分割，得到仅包含前景和背景的MASK图像。应用本发明所述方案，可节省人力及时间成本，并提高处理结果的准确性等。

Description

前景提取方法、装置、计算机设备及存储介质

【技术领域】

本发明涉及计算机应用技术，特别涉及前景提取方法、装置、计算机设备及存储介质。

【背景技术】

在计算机视觉领域，前景提取一直是研究的热点问题，被应用于工件检测和医学检测等场景，同时，随着深度学习技术的发展，前景提取在物体检测和图像分割的数据增强方面也有着广泛的应用。

目前的前景提取方式主要包括交互式标注提取方式以及基于颜色、纹理特征的图像分割方式等。

交互式标注提取方式需要手动在输入图像上标记出大致前景和背景，在此基础上利用分割算法将物体从背景中分割出来。但这种方式需要耗费大量的人力及时间成本。

基于颜色、纹理特征的图像分割方式中，对输入图像按照颜色特征或纹理特征进行聚类分类，实现前景与背景的分割。但这种方式需要前景与背景有显著的颜色或纹理区别，否则处理结果的准确性会比较低。

【发明内容】

有鉴于此，本发明提供了前景提取方法、装置、计算机设备及存储介质。

具体技术方案如下：

一种前景提取方法，包括：

对原始图像进行显著性检测，得到所述原始图像对应的灰度图像；

根据所述灰度图像生成包含前景、背景以及未知区域的三分图Trimap图像；

结合所述原始图像，对所述Trimap图像中的未知区域进行前景背景分割，得到仅包含前景和背景的掩膜MASK图像。

根据本发明一优选实施例，所述对原始图像进行显著性检测，得到所述原始图像对应的灰度图像包括：

按照第一显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第一灰度图像；

按照第二显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第二灰度图像。

根据本发明一优选实施例，所述按照第一显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第一灰度图像包括：

分别获取所述原始图像的M个不同层次的图像分割结果，M为大于一的正整数；

针对每个层次的图像分割结果，分别获取对应的显著性图像；

将M张显著性图像进行融合，得到所述第一灰度图像。

根据本发明一优选实施例，所述分别获取所述原始图像的M个不同层次的图像分割结果包括：

通过基于图的图像分割算法，将所述原始图像分割为K1个子区域，得到第一层图像分割结果，K1为大于一的正整数；

通过以下方式获取第i层图像分割结果，i为大于一且小于或等于M的正整数：对第i-1层图像分割结果进行区域合并，得到第i层图像分割结果，所述第 i层图像分割结果中包含的子区域数小于所述第i-1层图像分割结果中包含的子区域数。

根据本发明一优选实施例，所述针对每个层次的图像分割结果，分别获取对应的显著性图像包括：

针对任一层次的图像分割结果中的每个子区域，分别进行以下处理：

分别获取所述子区域的区域对比度、区域属性以及区域背景特征，根据获取到的信息生成特征向量；

采用随机森林对所述特征向量进行回归，得到所述子区域的显著值，所述显著值为0或1；

生成所述层次的图像分割结果对应的显著性图像，其中，所述显著性图像中的每个像素点的取值为：所述像素点所在的子区域的显著值。

根据本发明一优选实施例，所述将M张显著性图像进行线性组合，得到所述第一灰度图像包括：

分别按照以下方式为所述第一灰度图像中的每个像素点进行赋值：

将所述像素点在M张显著性图像中的取值相加，用相加之和除以M，将得到的商赋值给所述第一灰度图像中的所述像素点。

根据本发明一优选实施例，所述按照第二显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第二灰度图像包括：

将所述原始图像分割为N个大小一致的图像块，N为大于一的正整数；

分别获取每个图像块对应的超像素区域；

分别获取每个超像素区域对应的前景背景分类结果；

将各前景背景分类结果进行融合，得到所述第二灰度图像。

根据本发明一优选实施例，所述分别获取每个图像块对应的超像素区域包括：

针对任一图像块，从所述图像块中随机选择一个像素点作为聚类中心，并执行以下预定操作：

根据所述聚类中心进行聚类操作，得到像素点簇；

计算所述像素点簇中的像素点取值的均值；

将所述像素点簇中的像素点构成的临时区域中的指定子区域内、与所述均值的取值最为接近的像素点作为更新后的聚类中心，所述指定子区域为以所述临时区域的中心点为中心的预定大小区域；

若所述更新后的聚类中心与更新前的聚类中心之间的距离小于预先设定的第一阈值，则将所述临时区域作为所述图像块对应的超像素区域，否则，根据所述更新后的聚类中心，重复所述预定操作。

根据本发明一优选实施例，所述分别获取每个超像素区域对应的前景背景分类结果包括：

针对任一超像素区域，分别进行以下处理：

将所述超像素区域输入卷积神经网络CNN分类模型，得到所述超像素区域对应的第一前景背景分类结果，所述第一前景背景分类结果中包含对于所述超像素区域中的每个像素点分别属于前景还是背景的分类结果；

从所述原始图像中截取出包含所述超像素区域并大于所述超像素区域的扩展区域，将所述扩展区域输入CNN分类模型，得到所述超像素区域对应的第二前景背景分类结果，所述第二前景背景分类结果中包含对于所述扩展区域中的每个像素点分别属于前景还是背景的分类结果；

其中，每次分类时，将分类为前景的像素点赋值为1，将分类为背景的像素点赋值为0。

根据本发明一优选实施例，所述将各前景背景分类结果进行融合，得到所述第二灰度图像包括：

分别按照以下方式为所述第二灰度图像中的每个像素点进行赋值：

统计所述像素点参与分类的次数；

将所述像素点每次参与分类时的赋值相加，用相加之和除以所述次数，将得到的商赋值给所述第二灰度图像中的所述像素点。

根据本发明一优选实施例，所述根据所述灰度图像生成包含前景、背景以及未知区域的Trimap图像之前，进一步包括：

根据所述第一灰度图像和所述第二灰度图像生成第三灰度图像；

其中，分别按照以下方式为所述第三灰度图像中的每个像素点进行赋值：

将所述像素点在所述第一灰度图像及所述第二灰度图像中的取值相加，用相加之和除以2，将得到的商赋值给所述第三灰度图像中的所述像素点。

根据本发明一优选实施例，所述根据所述灰度图像生成包含前景、背景以及未知区域的Trimap图像包括：

针对所述第三灰度图像中的每个像素点，分别将所述像素点的取值与预先设定的第二阈值和第三阈值进行比较，所述第二阈值大于所述第三阈值，若所述像素点的取值大于所述第二阈值，则将所述像素点确定为前景，若所述像素点的取值小于所述第三阈值，则将所述像素点确定为背景，若所述像素点的取值大于或等于所述第三阈值，且小于或等于所述第二阈值，则将所述像素点确定为未知区域；

根据对于各像素点的确定结果生成所述Trimap图像。

一种前景提取装置，包括：第一处理单元、第二处理单元以及第三处理单元；

所述第一处理单元，用于对原始图像进行显著性检测，得到所述原始图像对应的灰度图像；

所述第二处理单元，用于根据所述灰度图像生成包含前景、背景以及未知区域的三分图Trimap图像；

所述第三处理单元，用于结合所述原始图像，对所述Trimap图像中的未知区域进行前景背景分割，得到仅包含前景和背景的掩膜MASK图像。

根据本发明一优选实施例，所述第一处理单元按照第一显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第一灰度图像，并按照第二显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第二灰度图像。

根据本发明一优选实施例，所述第一处理单元分别获取所述原始图像的M 个不同层次的图像分割结果，M为大于一的正整数，针对每个层次的图像分割结果，分别获取对应的显著性图像，将M张显著性图像进行融合，得到所述第一灰度图像。

根据本发明一优选实施例，所述第一处理单元通过基于图的图像分割算法，将所述原始图像分割为K1个子区域，得到第一层图像分割结果，K1为大于一的正整数，通过以下方式获取第i层图像分割结果，i为大于一且小于或等于M 的正整数：对第i-1层图像分割结果进行区域合并，得到第i层图像分割结果，所述第i层图像分割结果中包含的子区域数小于所述第i-1层图像分割结果中包含的子区域数。

根据本发明一优选实施例，所述第一处理单元针对任一层次的图像分割结果中的每个子区域，分别进行以下处理：分别获取所述子区域的区域对比度、区域属性以及区域背景特征，根据获取到的信息生成特征向量；采用随机森林对所述特征向量进行回归，得到所述子区域的显著值，所述显著值为0或1；生成所述层次的图像分割结果对应的显著性图像，其中，所述显著性图像中的每个像素点的取值为：所述像素点所在的子区域的显著值。

根据本发明一优选实施例，所述第一处理单元分别按照以下方式为所述第一灰度图像中的每个像素点进行赋值：将所述像素点在M张显著性图像中的取值相加，用相加之和除以M，将得到的商赋值给所述第一灰度图像中的所述像素点。

根据本发明一优选实施例，所述第一处理单元将所述原始图像分割为N个大小一致的图像块，N为大于一的正整数，分别获取每个图像块对应的超像素区域，并分别获取每个超像素区域对应的前景背景分类结果，将各前景背景分类结果进行融合，得到所述第二灰度图像。

根据本发明一优选实施例，所述第一处理单元针对任一图像块，从所述图像块中随机选择一个像素点作为聚类中心，并执行以下预定操作：根据所述聚类中心进行聚类操作，得到像素点簇；计算所述像素点簇中的像素点取值的均值；将所述像素点簇中的像素点构成的临时区域中的指定子区域内、与所述均值的取值最为接近的像素点作为更新后的聚类中心，所述指定子区域为以所述临时区域的中心点为中心的预定大小区域；若所述更新后的聚类中心与更新前的聚类中心之间的距离小于预先设定的第一阈值，则将所述临时区域作为所述图像块对应的超像素区域，否则，根据所述更新后的聚类中心，重复所述预定操作。

根据本发明一优选实施例，所述第一处理单元针对任一超像素区域，分别进行以下处理：将所述超像素区域输入卷积神经网络CNN分类模型，得到所述超像素区域对应的第一前景背景分类结果，所述第一前景背景分类结果中包含对于所述超像素区域中的每个像素点分别属于前景还是背景的分类结果；从所述原始图像中截取出包含所述超像素区域并大于所述超像素区域的扩展区域，将所述扩展区域输入CNN分类模型，得到所述超像素区域对应的第二前景背景分类结果，所述第二前景背景分类结果中包含对于所述扩展区域中的每个像素点分别属于前景还是背景的分类结果；其中，每次分类时，将分类为前景的像素点赋值为1，将分类为背景的像素点赋值为0。

根据本发明一优选实施例，所述第一处理单元分别按照以下方式为所述第二灰度图像中的每个像素点进行赋值：统计所述像素点参与分类的次数，将所述像素点每次参与分类时的赋值相加，用相加之和除以所述次数，将得到的商赋值给所述第二灰度图像中的所述像素点。

根据本发明一优选实施例，所述第二处理单元进一步用于，根据所述第一灰度图像和所述第二灰度图像生成第三灰度图像；其中，分别按照以下方式为所述第三灰度图像中的每个像素点进行赋值：将所述像素点在所述第一灰度图像及所述第二灰度图像中的取值相加，用相加之和除以2，将得到的商赋值给所述第三灰度图像中的所述像素点。

根据本发明一优选实施例，所述第二处理单元针对所述第三灰度图像中的每个像素点，分别将所述像素点的取值与预先设定的第二阈值和第三阈值进行比较，所述第二阈值大于所述第三阈值，若所述像素点的取值大于所述第二阈值，则将所述像素点确定为前景，若所述像素点的取值小于所述第三阈值，则将所述像素点确定为背景，若所述像素点的取值大于或等于所述第三阈值，且小于或等于所述第二阈值，则将所述像素点确定为未知区域；根据对于各像素点的确定结果生成所述Trimap图像。

一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。

基于上述介绍可以看出，采用本发明所述方案，可自动地实现前景提取，从而节省了人力及时间成本，而且，对于前景和背景的颜色或纹理区别没有要求，可适用于各种场景，并具有较高的准确性等。

【附图说明】

图1为本发明所述前景提取方法实施例的流程图。

图2为本发明所述前景提取方法的整体实现过程示意图。

图3为本发明所述前景提取装置实施例的组成结构示意图。

图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。

显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在 A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1为本发明所述前景提取方法实施例的流程图。如图1所示，包括以下具体实现方式。

在101中，对原始图像进行显著性检测，得到原始图像对应的灰度图像。

在102中，根据灰度图像生成包含前景、背景以及未知区域的三分图(Trimap) 图像。

在103中，结合原始图像，对Trimap图像中的未知区域进行前景背景分割，得到仅包含前景和背景的掩膜(MASK)图像。

本实施例中，可采用两种显著性检测方式，即可按照第一显著性检测方式对原始图像进行显著性检测，得到原始图像对应的第一灰度图像，并可按照第二显著性检测方式对原始图像进行显著性检测，得到原始图像对应的第二灰度图像。

其中，第一显著性检测方式可为基于区域特征的显著性检测，第二显著性检测方式可为多背景显著性检测。以下分别对两种显著性检测方式进行说明。

一)基于区域特征的显著性检测

原始图像通常为红绿蓝(RGB)图像。该显著性检测方式中，输入为包含待检测物体的原始图像，输出为一幅表示物体显著性的灰度图像，为与后续出现的灰度图像相区别，将此处出现的灰度图像称为第一灰度图像。

主要包括以下步骤：

1)多层次图像分割

可分别获取原始图像的M个不同层次的图像分割结果，M为大于一的正整数，具体取值可根据实际需要而定，比如可为3。

具体地，可首先通过现有的基于图的图像分割算法，将原始图像分割为K1 个子区域，从而得到第一层图像分割结果，K1为大于一的正整数，具体取值同样可根据实际需要而定。

之后，可分别通过以下方式获取第i层图像分割结果，i为大于一且小于或等于M的正整数：对第i-1层图像分割结果进行区域合并，得到第i层图像分割结果，第i层图像分割结果中包含的子区域数小于第i-1层图像分割结果中包含的子区域数。

比如，第一层图像分割结果为S₁＝{R¹ ₁,R¹ ₂,…R¹ _K1}，其中，R表示一个子区域，共K1个子区域。假设M取值为3，那么可对S₁中的子区域{R¹ ₁,R¹ ₂,…R¹ _K1} 进行区域合并，从而得到下一层即第二层图像分割结果S₂＝{R² ₁,R² ₂,…R² _K2}， K2小于K1，之后可对S₂中的子区域{R² ₁,R² ₂,…R² _K2}进行区域合并，从而得到第三层图像分割结果S₃＝{R³ ₁,R³ ₂,…R³ _K3}，K3小于K2。

具体的区域合并方式不限，比如，以对S₁中的子区域{R¹ ₁,R¹ ₂,…R¹ _K1}进行区域合并为例，针对每个子区域，可分别计算该子区域中的像素点取值的均值以及与该子区域相邻的各子区域中的像素点取值的均值，若某一相邻子区域的均值与该子区域的均值的差异较小(如差值小于预先设定的合并阈值)，则可将该相邻子区域与该子区域进行区域合并。

合并阈值的具体取值可根据实际需要而定，另外，可通过增大合并阈值来合并出下一层图像分割结果，即对S₁中的子区域{R¹ ₁,R¹ ₂,…R¹ _K1}进行区域合并是所用的合并阈值可小于对S₂中的子区域{R² ₁,R² ₂,…R² _K2}进行区域合并时所用的合并阈值。

通过上述方式，可得到多个不同层次的图像分割结果。

2)多层次区域显著性计算

针对每个层次的图像分割结果，可分别获取其对应的显著性图像。

具体地，针对任一层次的图像分割结果中的每个子区域，可分别进行以下处理：分别获取该子区域的区域对比度、区域属性以及区域背景特征，根据获取到的信息生成特征向量；采用随机森林对该特征向量进行回归，得到该子区域的显著值，所述显著值为0或1(若用0～255来表示灰度图像的取值范围，则1对应于255，后续相同)；生成该层次的图像分割结果对应的显著性图像，其中，显著性图像中的每个像素点的取值为：该像素点所在的子区域的显著值。

比如，针对第一层图像分割结果S₁中的每个子区域，可首先获取该子区域的区域对比度、区域属性以及区域背景特征。其中对比度体现的是图像中的明暗差异，如何获取对比度为现有技术。区域属性可以是指该子区域在原始图像中的位置，比如，以原始图像的左上角为坐标原点，那么可得到该子区域的坐标信息。区域背景特征用于体现该子区域是否属于背景，可将该子区域输入预先训练得到的识别模型，从而得到输出的区域背景特征。可将区域对比度、区域属性以及区域背景特征分别按照预定规则映射为一个向量，并可将三个向量相拼接(如首尾相连)，从而得到所需的特征向量。进一步地，可采用随机森林对特征向量进行回归，从而得到该子区域的显著值a＝f(x)，x表示特征向量，f (x)表示采用随机森林对特征向量进行回归，得到的显著值可为0或1。之后，可根据各子区域的显著值生成第一层图像分割结果对应的显著性图像，其中，显著性图像中的每个像素点的取值为：该像素点所在的子区域的显著值。也就是说，显著性图像可为二值图像，其中的各像素点的取值要么为0，要么为1，属于同一个子区域的各像素点的取值相同，均为该子区域的显著值。1表示前景， 0表示背景。

按照上述方式，可分别得到M个不同层次的图像分割结果{S₁,S₂,…S_M}分别对应的显著性图像{A₁,A₂,…A_M}，其中，A1为第一层图像分割结果S₁对应的显著性图像，A2为第一层图像分割结果S₂对应的显著性图像，其它类推。

3)多层次显著性融合

可将M张显著性图像进行融合，得到第一灰度图像。

可对各显著性图像{A₁,A₂,…A_M}进行线性组合，从而得到最终所需的表示物体显著性的第一灰度图像。

其中，可分别按照以下方式为第一灰度图像中的每个像素点进行赋值：将该像素点在M张显著性图像中的取值相加，用相加之和除以M，将得到的商赋值给第一灰度图像中的该像素点。

假设M的取值为3，那么第一灰度图像中的每个像素点的取值均为0/3、1/3、 2/3以及3/3中的一种，以1/3为例，表示该像素点在1张显著性图像中的取值为1，在其它2张显著性图像中的取值均为0。

二)多背景显著性检测

可首先进行超像素(super-pixel)分割，即可将原始图像分割为N个大小一致的图像块，N为大于一的正整数，具体取值可根据实际需要而定，并可分别获取每个图像块对应的超像素区域。

针对任一图像块，获取其对应的超像素区域的方式可为：在该图像块中随机选择一个像素点作为聚类中心，并执行以下预定操作：根据该聚类中心进行聚类操作，得到像素点簇；计算像素点簇中的像素点取值的均值；将像素点簇中的像素点构成的临时区域中的指定子区域内、与该均值的取值最为接近的像素点作为更新后的聚类中心，指定子区域可为以临时区域的中心点为中心的预定大小区域；若更新后的聚类中心与更新前的聚类中心之间的距离小于预先设定的第一阈值，则可将临时区域作为该图像块对应的超像素区域，否则，可根据更新后的聚类中心，重复所述预定操作。

所述临时区域的大小可根据实际需要而定，第一阈值的具体取值也可根据实际需要而定。

可以看出，聚类中心是在动态变化的，初始为从图像块中随机选出的一个像素点，之后为根据每次聚类得到的像素点簇中的像素点取值的均值确定出的像素点。若前后两次得到的聚类中心之间的距离小于第一阈值，则可停止迭代，并将最新得到的临时区域作为所需的超像素区域。

图像块的形状为矩形，但对应的超像素区域则不一定为矩形，可能为任意形状。

按照上述方式，可分别得到每个图像块对应的超像素区域，从而共得到 N个超像素区域。

之后，可分别获取每个超像素区域对应的前景背景分类结果，并可将各前景背景分类结果进行融合，得到第二灰度图像。

针对任一超像素区域，可分别进行以下处理：将该超像素区域输入卷积神经网络(CNN，Convolutional Neural Networks)分类模型，得到该超像素区域对应的第一前景背景分类结果，第一前景背景分类结果中包含对于该超像素区域中的每个像素点分别属于前景还是背景的分类结果；从原始图像中截取出包含该超像素区域并大于该超像素区域的扩展区域，将扩展区域输入CNN分类模型，得到该超像素区域对应的第二前景背景分类结果，第二前景背景分类结果中包含对于扩展区域中的每个像素点分别属于前景还是背景的分类结果。

为了避免图像中的其他物体对待检测物体(主体物体)造成干扰，可分别对每个超像素区域进行扩充(padding)处理，即从原始图像中截取出包含该超像素区域并大于该超像素区域的扩展区域，扩展区域的具体大小可根据实际需要而定，比如，可以该超像素区域的中心点为中心，在原始图像中将该超像素区域扩大2倍或4倍，将扩大后的区域作为所需的扩展区域，送入CNN分类模型。CNN分类模型可按现有技术训练得到。

这样，针对每个超像素区域，可分别得到两个前景背景分类结果，即第一前景背景分类结果以及第二前景背景分类结果。相应地，针对N个超像素区域，共可得到2N个前景背景分类结果。其中，每次分类时，可将区域中分类为前景的像素点赋值为1，将分类为背景的像素点赋值为0。

可将2N个前景背景分类结果进行融合，从而得到第二灰度图像。其中，可分别按照以下方式为第二灰度图像中的每个像素点进行赋值：统计该像素点参与分类的次数；将该像素点每次参与分类时的赋值相加，用相加之和除以统计出的次数，将得到的商赋值给第二灰度图像中的该像素点。

比如，对于某一像素点，其属于超像素区域a，显然，也会属于超像素区域a的扩展区域a，另外，该像素点还属于超像素区域b的扩展区域b和超像素区域c的扩展区域c，在超像素区域a中，该像素点被分类为前景，在扩展区域a中，该像素点被分类为背景，在扩展区域b中，该像素点被分类为背景，在扩展区域c中，该像素点被分类为背景，那么该像素点参与分类的次数则为4，将该像素点每次参与分类时的赋值相加，得到1+0+0+0＝1，可将1/4赋值给第二灰度图像中的该像素点。若用0～255来表示灰度图像的取值范围，则1/4对应于255/4。

得到第一灰度图像和第二灰度图像之后，可进一步根据第一灰度图像和第二灰度图像生成第三灰度图像，如可对第一灰度图像和第二灰度图像进行线性融合，通过融合的方式实现两种显著性检测方式的有效互补。

可分别按照以下方式为第三灰度图像中的每个像素点进行赋值：将该像素点在第一灰度图像及第二灰度图像中的取值相加，用相加之和除以2，将得到的商赋值给第三灰度图像中的该像素点。

之后，可根据第三灰度图像生成包含前景、背景以及未知区域的Trimap 图像，如可通过阈值分割的方式实现前景、背景以及未知区域的分离，从而得到Trimap图像。

具体地，可针对第三灰度图像中的每个像素点，分别将该像素点的取值与预先设定的第二阈值和第三阈值进行比较，第二阈值大于第三阈值，若该像素点的取值大于第二阈值，则可将该像素点确定为前景，若该像素点的取值小于第三阈值，则可将该像素点确定为背景，若该像素点的取值大于或等于第三阈值，且小于或等于第二阈值，则可将该像素点确定为未知区域；可根据对于各像素点的确定结果生成Trimap图像。第二阈值和第三阈值的具体取值均可根据实际需要而定。

Trimap图像中的像素点仅包含三种取值，如属于前景的像素点取值为1，属于背景的像素点取值为0，属于未知区域的像素点取值为0～1之间的一个值，分别对应于白、黑、灰三种颜色。

进一步地，可结合原始图像，对Trimap图像中的未知区域进行前景背景分割，即进行前景提取，从而得到仅包含前景和背景的掩膜(MASK)图像。

可利用图像前景提取的方法，如现有的基于学习的LBDM算法，对 Trimap图像中的未知区域进行前景背景分割，从而得到最终所需的MASK 图像。

综合上述介绍，图2为本发明所述前景提取方法的整体实现过程示意图。如图2所示，针对待处理的原始图像，可分别对其进行基于区域特征的显著性检测以及多背景显著性检测，从而分别得到第一灰度图像和第二灰度图像，进而可对第一灰度图像和第二灰度图像进行图像融合，得到第三灰度图像，针对第三灰度图像，可通过阈值分割生成Trimap图像，进而可结合原始图像，对Trimap图像进行前景提取，从而得到最终所需的MASK图像，具体实现请参照前述相关说明，不再赘述。

需要说明的是，对于前述的方法实施例，为了简单描述，将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

总之，采用本发明方法实施例所述方案，可自动地实现前景提取，从而节省了人力及时间成本，而且，对于前景和背景的颜色或纹理区别没有要求，可适用于各种场景，并具有较高的准确性等。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

图3为本发明所述前景提取装置实施例的组成结构示意图。如图3所示，包括：第一处理单元301、第二处理单元302以及第三处理单元303。

第一处理单元301，用于对原始图像进行显著性检测，得到原始图像对应的灰度图像。

第二处理单元302，用于根据灰度图像生成包含前景、背景以及未知区域的Trimap图像。

第三处理单元303，用于结合原始图像，对Trimap图像中的未知区域进行前景背景分割，得到仅包含前景和背景的MASK图像。

第一处理单元301可按照第一显著性检测方式对原始图像进行显著性检测，得到原始图像对应的第一灰度图像，并可按照第二显著性检测方式对原始图像进行显著性检测，得到原始图像对应的第二灰度图像。

其中，第一显著性检测方式中，第一处理单元301可分别获取原始图像的 M个不同层次的图像分割结果，M为大于一的正整数，针对每个层次的图像分割结果，可分别获取对应的显著性图像，并可将M张显著性图像进行融合，从而得到第一灰度图像。

具体地，第一处理单元301可通过基于图的图像分割算法，将原始图像分割为K1个子区域，得到第一层图像分割结果，K1为大于一的正整数，并可通过以下方式获取第i层图像分割结果，i为大于一且小于或等于M的正整数：对第i-1层图像分割结果进行区域合并，得到第i层图像分割结果，第i层图像分割结果中包含的子区域数小于第i-1层图像分割结果中包含的子区域数。

第一处理单元301可针对任一层次的图像分割结果中的每个子区域，分别进行以下处理：分别获取该子区域的区域对比度、区域属性以及区域背景特征，根据获取到的信息生成特征向量；采用随机森林对该特征向量进行回归，得到该子区域的显著值，所述显著值为0或1；生成该层次的图像分割结果对应的显著性图像，其中，显著性图像中的每个像素点的取值为：该像素点所在的子区域的显著值。

第一处理单元301可分别按照以下方式为第一灰度图像中的每个像素点进行赋值：将该像素点在M张显著性图像中的取值相加，用相加之和除以M，将得到的商赋值给第一灰度图像中的该像素点。

第二显著性检测方式中，第一处理单元301可将原始图像分割为N个大小一致的图像块，N为大于一的正整数，分别获取每个图像块对应的超像素区域，并分别获取每个超像素区域对应的前景背景分类结果，将各前景背景分类结果进行融合，得到第二灰度图像。

具体地，第一处理单元301可针对任一图像块，从该图像块中随机选择一个像素点作为聚类中心，并执行以下预定操作：根据聚类中心进行聚类操作，得到像素点簇；计算像素点簇中的像素点取值的均值；将像素点簇中的像素点构成的临时区域中的指定子区域内、与该均值的取值最为接近的像素点作为更新后的聚类中心，指定子区域可为以临时区域的中心点为中心的预定大小区域；若更新后的聚类中心与更新前的聚类中心之间的距离小于预先设定的第一阈值，则可将临时区域作为该图像块对应的超像素区域，否则，可根据更新后的聚类中心，重复预定操作。

第一处理单元301可针对任一超像素区域，分别进行以下处理：将该超像素区域输入CNN分类模型，得到该超像素区域对应的第一前景背景分类结果，第一前景背景分类结果中包含对于该超像素区域中的每个像素点分别属于前景还是背景的分类结果；从原始图像中截取出包含该超像素区域并大于该超像素区域的扩展区域，将扩展区域输入CNN分类模型，得到该超像素区域对应的第二前景背景分类结果，第二前景背景分类结果中包含对于扩展区域中的每个像素点分别属于前景还是背景的分类结果；其中，每次分类时，可将区域中分类为前景的像素点赋值为1，将分类为背景的像素点赋值为0。

第一处理单元301可分别按照以下方式为第二灰度图像中的每个像素点进行赋值：统计该像素点参与分类的次数，将该像素点每次参与分类时的赋值相加，用相加之和除以统计出的次数，将得到的商赋值给第二灰度图像中的该像素点。

得到第一灰度图像和第二灰度图像之后，第二处理单元302可进一步根据第一灰度图像和第二灰度图像生成第三灰度图像。其中，可分别按照以下方式为第三灰度图像中的每个像素点进行赋值：将该像素点在第一灰度图像及第二灰度图像中的取值相加，用相加之和除以2，将得到的商赋值给第三灰度图像中的该像素点。

第二处理单元302还可根据第三灰度图像生成包含前景、背景以及未知区域的Trimap图像，如可通过阈值分割的方式实现前景、背景以及未知区域的分离，从而得到Trimap图像。

具体地，第二处理单元302可针对第三灰度图像中的每个像素点，分别将该像素点的取值与预先设定的第二阈值和第三阈值进行比较，第二阈值大于第三阈值，若该像素点的取值大于第二阈值，则将该像素点确定为前景，若该像素点的取值小于第三阈值，则将该像素点确定为背景，若该像素点的取值大于或等于第三阈值，且小于或等于第二阈值，则将该像素点确定为未知区域；根据对于各像素点的确定结果生成Trimap图像。

之后，第三处理单元303可结合原始图像，对Trimap图像中的未知区域进行前景背景分割，从而得到仅包含前景和背景的MASK图像。

图3所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明，不再赘述。

图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器 12的框图。图4显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA) 总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA) 局域总线以及外围组件互连(PCI)总线。

计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如 CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器等)通信，还可与一个或者多个使得用户能与该计算机系统/ 服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12 还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网 (WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1所示实施例中的方法。

本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1所示实施例中的方法。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM 或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等) 或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (24)

1.一种前景提取方法，其特征在于，包括：

对原始图像进行显著性检测，得到所述原始图像对应的灰度图像，包括：将所述原始图像分割为N个大小一致的图像块，N为大于一的正整数；分别获取每个图像块对应的超像素区域，所述超像素区域为任意形状的区域，包括：针对任一图像块，从所述图像块中随机选择一个像素点作为聚类中心，并执行以下预定操作：根据所述聚类中心进行聚类操作，得到像素点簇；计算所述像素点簇中的像素点取值的均值；根据所述均值确定出更新后的聚类中心；若所述更新后的聚类中心与更新前的聚类中心之间的距离小于预先设定的第一阈值，则将所述像素点簇中的像素点构成的临时区域作为所述图像块对应的超像素区域，否则，根据所述更新后的聚类中心，重复所述预定操作；分别获取每个超像素区域对应的前景背景分类结果；将各前景背景分类结果进行融合，得到第二灰度图像；

根据所述灰度图像生成包含前景、背景以及未知区域的三分图Trimap图像；

结合所述原始图像，对所述Trimap图像中的未知区域进行前景背景分割，得到仅包含前景和背景的掩膜MASK图像。

2.根据权利要求1所述的方法，其特征在于，

所述对原始图像进行显著性检测，得到所述原始图像对应的灰度图像进一步包括：

按照第一显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第一灰度图像。

3.根据权利要求2所述的方法，其特征在于，

所述按照第一显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第一灰度图像包括：

分别获取所述原始图像的M个不同层次的图像分割结果，M为大于一的正整数；

针对每个层次的图像分割结果，分别获取对应的显著性图像；

将M张显著性图像进行融合，得到所述第一灰度图像。

4.根据权利要求3所述的方法，其特征在于，

所述分别获取所述原始图像的M个不同层次的图像分割结果包括：

通过基于图的图像分割算法，将所述原始图像分割为K1个子区域，得到第一层图像分割结果，K1为大于一的正整数；

通过以下方式获取第i层图像分割结果，i为大于一且小于或等于M的正整数：对第i-1层图像分割结果进行区域合并，得到第i层图像分割结果，所述第i层图像分割结果中包含的子区域数小于所述第i-1层图像分割结果中包含的子区域数。

5.根据权利要求4所述的方法，其特征在于，

所述针对每个层次的图像分割结果，分别获取对应的显著性图像包括：

针对任一层次的图像分割结果中的每个子区域，分别进行以下处理：

分别获取所述子区域的区域对比度、区域属性以及区域背景特征，根据获取到的信息生成特征向量；

采用随机森林对所述特征向量进行回归，得到所述子区域的显著值，所述显著值为0或1；

生成所述层次的图像分割结果对应的显著性图像，其中，所述显著性图像中的每个像素点的取值为：所述像素点所在的子区域的显著值。

6.根据权利要求5所述的方法，其特征在于，

所述将M张显著性图像进行线性组合，得到所述第一灰度图像包括：

分别按照以下方式为所述第一灰度图像中的每个像素点进行赋值：

将所述像素点在M张显著性图像中的取值相加，用相加之和除以M，将得到的商赋值给所述第一灰度图像中的所述像素点。

7.根据权利要求1所述的方法，其特征在于，

所述根据所述均值确定出更新后的聚类中心包括：

将所述像素点簇中的像素点构成的临时区域中的指定子区域内、与所述均值的取值最为接近的像素点作为更新后的聚类中心，所述指定子区域为以所述临时区域的中心点为中心的预定大小区域。

8.根据权利要求7所述的方法，其特征在于，

所述分别获取每个超像素区域对应的前景背景分类结果包括：

针对任一超像素区域，分别进行以下处理：

将所述超像素区域输入卷积神经网络CNN分类模型，得到所述超像素区域对应的第一前景背景分类结果，所述第一前景背景分类结果中包含对于所述超像素区域中的每个像素点分别属于前景还是背景的分类结果；

从所述原始图像中截取出包含所述超像素区域并大于所述超像素区域的扩展区域，将所述扩展区域输入CNN分类模型，得到所述超像素区域对应的第二前景背景分类结果，所述第二前景背景分类结果中包含对于所述扩展区域中的每个像素点分别属于前景还是背景的分类结果；

其中，每次分类时，将区域中分类为前景的像素点赋值为1，将分类为背景的像素点赋值为0。

9.根据权利要求8所述的方法，其特征在于，

所述将各前景背景分类结果进行融合，得到所述第二灰度图像包括：

分别按照以下方式为所述第二灰度图像中的每个像素点进行赋值：

统计所述像素点参与分类的次数；

将所述像素点每次参与分类时的赋值相加，用相加之和除以所述次数，将得到的商赋值给所述第二灰度图像中的所述像素点。

10.根据权利要求2所述的方法，其特征在于，

所述根据所述灰度图像生成包含前景、背景以及未知区域的Trimap图像之前，进一步包括：

根据所述第一灰度图像和所述第二灰度图像生成第三灰度图像；

其中，分别按照以下方式为所述第三灰度图像中的每个像素点进行赋值：

将所述像素点在所述第一灰度图像及所述第二灰度图像中的取值相加，用相加之和除以2，将得到的商赋值给所述第三灰度图像中的所述像素点。

11.根据权利要求10所述的方法，其特征在于，

所述根据所述灰度图像生成包含前景、背景以及未知区域的Trimap图像包括：

针对所述第三灰度图像中的每个像素点，分别将所述像素点的取值与预先设定的第二阈值和第三阈值进行比较，所述第二阈值大于所述第三阈值，若所述像素点的取值大于所述第二阈值，则将所述像素点确定为前景，若所述像素点的取值小于所述第三阈值，则将所述像素点确定为背景，若所述像素点的取值大于或等于所述第三阈值，且小于或等于所述第二阈值，则将所述像素点确定为未知区域；

根据对于各像素点的确定结果生成所述Trimap图像。

12.一种前景提取装置，其特征在于，包括：第一处理单元、第二处理单元以及第三处理单元；

所述第一处理单元，用于对原始图像进行显著性检测，得到所述原始图像对应的灰度图像，包括：将所述原始图像分割为N个大小一致的图像块，N为大于一的正整数；分别获取每个图像块对应的超像素区域，所述超像素区域为任意形状的区域，包括：针对任一图像块，从所述图像块中随机选择一个像素点作为聚类中心，并执行以下预定操作：根据所述聚类中心进行聚类操作，得到像素点簇；计算所述像素点簇中的像素点取值的均值；根据所述均值确定出更新后的聚类中心；若所述更新后的聚类中心与更新前的聚类中心之间的距离小于预先设定的第一阈值，则将所述像素点簇中的像素点构成的临时区域作为所述图像块对应的超像素区域，否则，根据所述更新后的聚类中心，重复所述预定操作；分别获取每个超像素区域对应的前景背景分类结果；将各前景背景分类结果进行融合，得到第二灰度图像；

所述第二处理单元，用于根据所述灰度图像生成包含前景、背景以及未知区域的三分图Trimap图像；

所述第三处理单元，用于结合所述原始图像，对所述Trimap图像中的未知区域进行前景背景分割，得到仅包含前景和背景的掩膜MASK图像。

13.根据权利要求12所述的装置，其特征在于，

所述第一处理单元进一步用于，按照第一显著性检测方式对所述原始图像进行显著性检测，得到所述原始图像对应的第一灰度图像。

14.根据权利要求13所述的装置，其特征在于，

所述第一处理单元分别获取所述原始图像的M个不同层次的图像分割结果，M为大于一的正整数，针对每个层次的图像分割结果，分别获取对应的显著性图像，将M张显著性图像进行融合，得到所述第一灰度图像。

15.根据权利要求14所述的装置，其特征在于，

所述第一处理单元通过基于图的图像分割算法，将所述原始图像分割为K1个子区域，得到第一层图像分割结果，K1为大于一的正整数，并通过以下方式获取第i层图像分割结果，i为大于一且小于或等于M的正整数：对第i-1层图像分割结果进行区域合并，得到第i层图像分割结果，所述第i层图像分割结果中包含的子区域数小于所述第i-1层图像分割结果中包含的子区域数。

16.根据权利要求15所述的装置，其特征在于，

所述第一处理单元针对任一层次的图像分割结果中的每个子区域，分别进行以下处理：分别获取所述子区域的区域对比度、区域属性以及区域背景特征，根据获取到的信息生成特征向量；采用随机森林对所述特征向量进行回归，得到所述子区域的显著值，所述显著值为0或1；生成所述层次的图像分割结果对应的显著性图像，其中，所述显著性图像中的每个像素点的取值为：所述像素点所在的子区域的显著值。

17.根据权利要求16所述的装置，其特征在于，

所述第一处理单元分别按照以下方式为所述第一灰度图像中的每个像素点进行赋值：将所述像素点在M张显著性图像中的取值相加，用相加之和除以M，将得到的商赋值给所述第一灰度图像中的所述像素点。

18.根据权利要求12所述的装置，其特征在于，

所述第一处理单元将所述像素点簇中的像素点构成的临时区域中的指定子区域内、与所述均值的取值最为接近的像素点作为更新后的聚类中心，所述指定子区域为以所述临时区域的中心点为中心的预定大小区域。

19.根据权利要求18所述的装置，其特征在于，

所述第一处理单元针对任一超像素区域，分别进行以下处理：将所述超像素区域输入卷积神经网络CNN分类模型，得到所述超像素区域对应的第一前景背景分类结果，所述第一前景背景分类结果中包含对于所述超像素区域中的每个像素点分别属于前景还是背景的分类结果；从所述原始图像中截取出包含所述超像素区域并大于所述超像素区域的扩展区域，将所述扩展区域输入CNN分类模型，得到所述超像素区域对应的第二前景背景分类结果，所述第二前景背景分类结果中包含对于所述扩展区域中的每个像素点分别属于前景还是背景的分类结果；其中，每次分类时，将分类为前景的像素点赋值为1，将分类为背景的像素点赋值为0。

20.根据权利要求19所述的装置，其特征在于，

所述第一处理单元分别按照以下方式为所述第二灰度图像中的每个像素点进行赋值：统计所述像素点参与分类的次数，将所述像素点每次参与分类时的赋值相加，用相加之和除以所述次数，将得到的商赋值给所述第二灰度图像中的所述像素点。

21.根据权利要求13所述的装置，其特征在于，

所述第二处理单元进一步用于，根据所述第一灰度图像和所述第二灰度图像生成第三灰度图像；其中，分别按照以下方式为所述第三灰度图像中的每个像素点进行赋值：将所述像素点在所述第一灰度图像及所述第二灰度图像中的取值相加，用相加之和除以2，将得到的商赋值给所述第三灰度图像中的所述像素点。

22.根据权利要求21所述的装置，其特征在于，

所述第二处理单元针对所述第三灰度图像中的每个像素点，分别将所述像素点的取值与预先设定的第二阈值和第三阈值进行比较，所述第二阈值大于所述第三阈值，若所述像素点的取值大于所述第二阈值，则将所述像素点确定为前景，若所述像素点的取值小于所述第三阈值，则将所述像素点确定为背景，若所述像素点的取值大于或等于所述第三阈值，且小于或等于所述第二阈值，则将所述像素点确定为未知区域；根据对于各像素点的确定结果生成所述Trimap图像。

23.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～11中任一项所述的方法。

24.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～11中任一项所述的方法。

Images