CN111223106A - 全自动人像蒙版抠图方法及系统 - Google Patents

Abstract

本发明提出了一种全自动人像蒙版抠图方法，其中该方法包括：构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像；将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像；将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像；对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。由此，无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

Description

全自动人像蒙版抠图方法及系统

技术领域

本发明涉及图像处理技术领域，特别涉及一种全自动人像蒙版抠图方法、一种全自动人像蒙版抠图系统、以及一种计算机可读存储介质和计算机设备。

背景技术

相关技术中，对于人像图片的抠图方法通常有两种，一种是传统的人像抠图算法，需要用户手动反复涂抹，特别是在人体边缘和头发的处理上需要耗费大量时间和精力才能保障抠图质量，导致交互过程费时费力；另一种是基于深度神经网络的人像抠图算法，该算法需要完整且准确的trimap图作为输入，而在实际处理的过程中，用户输入的图片一般都不是完整且准确的trimap图，因此，这个严格的trimap图输入要求导致了该类算法对交互准确率要求极高。

发明内容

本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种全自动人像蒙版抠图方法，无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种计算机设备。

为达到上述目的，本发明第一方面实施例提出了一种全自动人像蒙版抠图方法，包括以下步骤：构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像；将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像；将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像；对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。

根据本发明实施例的全自动人像蒙版抠图方法，首先构建三阶段神经网络模型并进行训练，其中，三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；接着将原始图像输入到训练好的三阶段神经网络模型，以通过Trimap网络进行前向传播，输出Trimap图像；然后将原始图像和Trimap图像联合输入到Matting网络进行前向传播，以输出待处理蒙版图像；接着将Trimap图像和待处理蒙版图像联合输入到融合模块进行融合，以输出最终蒙版图像；最后对原始图像和最终蒙版图像进行融合，以输出抠图结果；从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

另外，根据本发明上述实施例提出的全自动人像蒙版抠图方法还可以具有如下附加的技术特征：

可选地，构建三阶段神经网络模型并进行训练，包括：获取多张不同场景下的人像图像，并对每张所述人像图像进行蒙版抠取以获取多张人像蒙版，以及根据所述人像图像和所述人像图像所对应的人像蒙版构建训练数据集；建立Trimap网络，并根据所述训练数据集对所述Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像；建立Matting网络，并根据所述训练数据集和所述Trimap图像对所述Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像；建立融合模块，并根据所述Trimap图像和所述待处理蒙版图像对所述融合模块进行训练，以获得训练好的三阶段神经网络模型。

可选地，所述Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域。

可选地，所述Trimap网络训练时采用的初始学习率为0.1，损失函数为交叉熵，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；所述Matting网络训练时采用的初始学习率为0.001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；所述融合模块训练时采用的初始学习率为0.00001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练100个周期。

为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有全自动人像蒙版抠图程序，该全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法。

根据本发明实施例的计算机可读存储介质，通过全自动人像蒙版抠图程序，这样全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法，从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的全自动人像蒙版抠图方法。

根据本发明实施例的计算机设备，通过存储器存储全自动人像蒙版抠图程序，这样全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法，从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

为达到上述目的，本发明第四方面实施例提出了一种全自动人像蒙版抠图系统，包括：模型构建及训练模块，用于构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；图像处理模块，用于将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像，并将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像，以及将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像，并对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。

根据本发明实施例提供的全自动人像蒙版抠图系统，通过模型构建及训练模块构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；再通过图像处理模块将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像，并将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像，以及将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像，并对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果；从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

另外，根据本发明上述实施例提出的全自动人像蒙版抠图系统还可以具有如下附加的技术特征：

可选地，所述模型构建及训练模块还用于，获取多张不同场景下的人像图像，并对每张所述人像图像进行蒙版抠取以获取多张人像蒙版，以及根据所述人像图像和所述人像图像所对应的人像蒙版构建训练数据集；建立Trimap网络，并根据所述训练数据集对所述Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像；建立Matting网络，并根据所述训练数据集和所述Trimap图像对所述Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像；建立融合模块，并根据所述Trimap图像和所述待处理蒙版图像对所述融合模块进行训练，以获得训练好的三阶段神经网络模型。

可选地，所述Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域。

可选地，所述Trimap网络训练时采用的初始学习率为0.1，损失函数为交叉熵，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；所述Matting网络训练时采用的初始学习率为0.001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；所述融合模块训练时采用的初始学习率为0.00001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练100个周期。

附图说明

图1为根据本发明实施例的全自动人像蒙版抠图方法的流程示意图；

图2为根据本发明实施例的构建三阶段神经网络模型并进行训练的流程示意图；

图3为根据本发明实施例的原始图像的效果图；

图4为根据本发明实施例的Trimap图像的效果图；

图5为根据本发明实施例的最终蒙版图像的效果图；

图6为根据本发明实施例的原始图像和最终蒙版图像的融合效果图；

图7为根据本发明实施例的全自动人像蒙版抠图系统的方框示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

目前常用的抠图方法通常有两种，一种是采用传统的人像抠图算法，由于传统的人像抠图算法是基于整张图片的颜色空间，通过聚类分割出前景区域和背景区域的，所以必须手工涂抹出前景区域和背景区域，然后算法才能够在此基础上，进行区域生长，逐步得到最终的人像蒙版结果，因此导致交互过程费时费力；再者，当前景和背景很相似时，无法通过颜色来区分出前景和背景，从而导致该算法失效。另一种基于深度神经网络的人像抠图算法，由于该算法不具备自主得到trimap图的能力，并且该算法需要准确的trimap图来进行严格的前景、背景及人像边缘区域的区分，然后只对人像边缘区域做处理以降低人像蒙版抠图的难度，才能够完成人像蒙版抠图的任务，因此，这个严格的trimap图输入要求，导致了该类算法对交互准确率要求很高，在实际中的可用性很低。

本发明实施例提出的全自动人像蒙版抠图方法，首先构建三阶段神经网络模型并进行训练，其中，三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；接着将原始图像输入到训练好的三阶段神经网络模型，以通过Trimap网络进行前向传播，输出Trimap图像；然后将原始图像和Trimap图像联合输入到Matting网络进行前向传播，以输出待处理蒙版图像；接着将Trimap图像和待处理蒙版图像联合输入到融合模块进行融合，以输出最终蒙版图像；最后对原始图像和最终蒙版图像进行融合，以输出抠图结果；从而无需任何交互，全自动地获取人像抠图蒙版，通过自主设计的三阶段式的神经网络实时且全自动的获取人像抠图蒙版；再者能够对于各类场景的人像图片，得到精细的人像抠图蒙版基于自主构建的庞大的样本集进行训练，在该样本集中，包含了各式各样的人像数据，由简到难的覆盖各种人像场景，因此，通过该样本集中学习到的人像蒙版抠取规律，对于各类场景的人像图片均能够获得精细的人像抠图蒙版；并且三阶段神经网络模型中的Trimap网络能够自动获取准确的triamp图，无需用户交互，只需要给到原图，便可全自动地给到人像抠图蒙版。

为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

图1为根据本发明实施例的全自动人像蒙版抠图方法的流程示意图；如图1所示，本发明实施例的全自动人像蒙版抠图方法包括以下步骤：

步骤101，构建三阶段神经网络模型并进行训练，其中，三阶段神经网络模型包括Trimap网络、Matting网络和融合模块。

也就是说，三阶段神经网络模型包括有Trimap网络、Matting网络和融合模块。

作为一个实施例，如图2所示，构建三阶段神经网络模型并进行训练包括以下步骤：

步骤101-1，获取多张不同场景下的人像图像，并对每张人像图像进行蒙版抠取以获取多张人像蒙版，以及根据人像图像和人像图像所对应的人像蒙版构建训练数据集。

作为一个实施例，图3为原始人像图像的效果图，不同场景下的人像图像包括室内场景和室外场景等各种人像图像，且该人像图像为rgb图像。

作为一个实施例，对每一张rgb图像通过PS的方式，手工进行精细的人像蒙版抠取以获取每一张rgb图像所对应的人像蒙版，将每一张rgb图像和每一张rgb图像所对应的人像蒙版作为训练数据集。

步骤101-2，建立Trimap网络，并根据训练数据集对Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像。

作为一个实施例，Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域；通过训练好的Trimap网络可以获得如图4所示的Trimap图像。

作为一个实施例，在训练Trimap网络时，以原始的rgb图像为输入，采用初始学习率为0.1，以交叉熵为损失函数，并通过随机梯度下降算法在GPU上进行训练，训练200个周期，最终获得训练好的Trimap网络。

步骤101-3，建立Matting网络，并根据训练数据集和Trimap图像对Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像。

也就是说，训练Matting网络时，以训练数据集和Trimap图像为联合输入，对Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像。

作为一个实施例，在训练Matting网络时，以原始的rgb图像和训练好的Trimap网络输出的Trimap图像为联合输入，采用初始学习率为0.001，以均方误差为损失函数，并通过随机梯度下降算法在GPU上进行训练，训练200个周期，最终获得训练好的Matting网络。

步骤101-4，建立融合模块，并根据Trimap图像和待处理蒙版图像对融合模块进行训练，以获得训练好的三阶段神经网络模型。

也就是说，训练三阶段神经网络模型时，以Trimap图像和待处理蒙版图像为联合输入，对融合模块进行训练，以通过训练好的三阶段神经网络模型获得如图5所示的最终蒙版图像。

作为一个实施例，在训练三阶段神经网络模型时，以训练好的Matting网络获得的待处理蒙版图像和训练好的Trimap网络输出的Trimap图像为联合输入，采用初始学习率为0.00001，以均方误差为损失函数，并通过随机梯度下降算法在GPU上进行训练，训练100个周期，最终获得训练好的三阶段神经网络模型。

步骤102，将原始图像输入到训练好的三阶段神经网络模型，以通过Trimap网络进行前向传播，输出Trimap图像。

也就是说，将原始图像输入到训练好的三阶段神经网络模型后，Trimap网络进行前向传播，自动获取准确的Trimap图像。

步骤103，将原始图像和Trimap图像联合输入到Matting网络进行前向传播，以输出待处理蒙版图像。

也就是说，在获取到Trimap图像后，系统自动将Trimap图像和原始图像联合输入到Matting网络进行前向传播以获取待处理蒙版图像。

需要说明的是，由于Matting网络相比于Trimap网络，其网络层数更少，计算量更小，所以用于输出中间的待处理蒙版图像。

步骤104，将Trimap图像和待处理蒙版图像联合输入到融合模块进行融合，以输出最终蒙版图像。

也就是说，在获取到待处理蒙版图像后，系统自动将Trimap图像和待处理蒙版图像联合输入到融合模块进行前向传播以获取最终的蒙版图像。

步骤105，对原始图像和最终蒙版图像进行融合，以输出抠图结果。

作为一个实施例，将原始rgb图像和最终蒙版图像融合，即构成如图6所示的最终的抠图结果透明图。

综上所述，根据本发明实施例的全自动人像蒙版抠图方法，首先构建三阶段神经网络模型并进行训练，其中，三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；接着将原始图像输入到训练好的三阶段神经网络模型，以通过Trimap网络进行前向传播，输出Trimap图像；然后将原始图像和Trimap图像联合输入到Matting网络进行前向传播，以输出待处理蒙版图像；接着将Trimap图像和待处理蒙版图像联合输入到融合模块进行融合，以输出最终蒙版图像；最后对原始图像和最终蒙版图像进行融合，以输出抠图结果；从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

另外，本发明还提出了一种计算机可读存储介质，其上存储有全自动人像蒙版抠图程序，该全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法。

根据本发明实施例的计算机可读存储介质，通过全自动人像蒙版抠图程序，这样全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法，从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

另外，本发明实施例还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的全自动人像蒙版抠图方法。

根据本发明实施例的计算机设备，通过存储器存储全自动人像蒙版抠图程序，这样全自动人像蒙版抠图程序被处理器执行时实现如上述的全自动人像蒙版抠图方法，从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

图7为根据本发明实施例的全自动人像蒙版抠图系统的方框示意图；如图7所示，该系统包括模型构建及训练模块701和图像处理模块702。

其中，模型构建及训练模块701用于构建三阶段神经网络模型并进行训练，其中，三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；图像处理模块702用于将原始图像输入到训练好的三阶段神经网络模型，以通过Trimap网络进行前向传播，输出Trimap图像，并将原始图像和Trimap图像联合输入到Matting网络进行前向传播，以输出待处理蒙版图像，以及将Trimap图像和待处理蒙版图像联合输入到融合模块进行融合，以输出最终蒙版图像，并对原始图像和最终蒙版图像进行融合，以输出抠图结果。

作为一个实施例，模型构建及训练模块701还用于，获取多张不同场景下的人像图像，并对每张人像图像进行蒙版抠取以获取多张人像蒙版，以及根据人像图像和人像图像所对应的人像蒙版构建训练数据集；建立Trimap网络，并根据训练数据集对Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像；建立Matting网络，并根据训练数据集和Trimap图像对Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像；建立融合模块，并根据Trimap图像和待处理蒙版图像对融合模块进行训练，以获得训练好的三阶段神经网络模型。

作为一个实施例，Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域。

作为一个实施例，Trimap网络训练时采用的初始学习率为0.1，损失函数为交叉熵，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；Matting网络训练时采用的初始学习率为0.001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；融合模块训练时采用的初始学习率为0.00001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练100个周期。

需要说明的是，前述对于全自动人像蒙版抠图方法的实施例的解释说明同样适用于本实施例的全自动人像蒙版抠图系统，此处不再赘述。

根据本发明实施例提供的全自动人像蒙版抠图系统，通过模型构建及训练模块构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；再通过图像处理模块将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像，并将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像，以及将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像，并对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果；从而无需任何交互，通过构建三阶段神经网络模型即可实现全自动的发丝级人像蒙版抠取，使得用户无需掌握丰富的抠图知识即可完成精确抠图。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种全自动人像蒙版抠图方法，其特征在于，包括以下步骤：

构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；

将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像；

将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像；

将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像；

对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。

2.如权利要求1所述的全自动人像蒙版抠图方法，其特征在于，构建三阶段神经网络模型并进行训练，包括：

获取多张不同场景下的人像图像，并对每张所述人像图像进行蒙版抠取以获取多张人像蒙版，以及根据所述人像图像和所述人像图像所对应的人像蒙版构建训练数据集；

建立Trimap网络，并根据所述训练数据集对所述Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像；

建立Matting网络，并根据所述训练数据集和所述Trimap图像对所述Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像；

建立融合模块，并根据所述Trimap图像和所述待处理蒙版图像对所述融合模块进行训练，以获得训练好的三阶段神经网络模型。

3.如权利要求2所述的全自动人像蒙版抠图方法，其特征在于，所述Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域。

4.如权利要求1-3中任一项所述的全自动人像蒙版抠图方法，其特征在于，

所述Trimap网络训练时采用的初始学习率为0.1，损失函数为交叉熵，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；

所述Matting网络训练时采用的初始学习率为0.001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；

所述融合模块训练时采用的初始学习率为0.00001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练100个周期。

5.一种计算机可读存储介质，其特征在于，其上存储有全自动人像蒙版抠图程序，该全自动人像蒙版抠图程序被处理器执行时实现如权利要求1-4中任一项所述的全自动人像蒙版抠图方法。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一所述的全自动人像蒙版抠图方法。

7.一种全自动人像蒙版抠图系统，其特征在于，包括：

模型构建及训练模块，用于构建三阶段神经网络模型并进行训练，其中，所述三阶段神经网络模型包括Trimap网络、Matting网络和融合模块；

图像处理模块，用于将原始图像输入到训练好的三阶段神经网络模型，以通过所述Trimap网络进行前向传播，输出Trimap图像，并将所述原始图像和所述Trimap图像联合输入到所述Matting网络进行前向传播，以输出待处理蒙版图像，以及将所述Trimap图像和所述待处理蒙版图像联合输入到所述融合模块进行融合，以输出最终蒙版图像，并对所述原始图像和所述最终蒙版图像进行融合，以输出抠图结果。

8.如权利要求7所述的全自动人像蒙版抠图系统，其特征在于，所述模型构建及训练模块还用于，

获取多张不同场景下的人像图像，并对每张所述人像图像进行蒙版抠取以获取多张人像蒙版，以及根据所述人像图像和所述人像图像所对应的人像蒙版构建训练数据集；

建立Trimap网络，并根据所述训练数据集对所述Trimap网络进行训练，以通过训练好的Trimap网络获得Trimap图像；

建立Matting网络，并根据所述训练数据集和所述Trimap图像对所述Matting网络进行训练，以通过训练好的Matting网络获得待处理蒙版图像；

建立融合模块，并根据所述Trimap图像和所述待处理蒙版图像对所述融合模块进行训练，以获得训练好的三阶段神经网络模型。

9.如权利要求8所述的全自动人像蒙版抠图系统，其特征在于，所述Trimap网络采用全卷积层的神经网络结构，由编码器网络和解码器网络构成，用于区分前景区域、背景区域和人像边缘区域。

10.如权利要求7-9中任一项所述的全自动人像蒙版抠图系统，其特征在于，

所述Trimap网络训练时采用的初始学习率为0.1，损失函数为交叉熵，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；

所述Matting网络训练时采用的初始学习率为0.001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练200个周期；

所述融合模块训练时采用的初始学习率为0.00001，损失函数为均方误差，并通过随机梯度下降算法在GPU上进行训练，且训练100个周期。

Images