CN113052868A - 一种抠图模型训练、图像抠图的方法及装置 - Google Patents

Abstract

本申请适用于图像处理的技术领域，提供一种抠图模型训练、图像抠图的方法及装置，所述校正方法包括：获取训练样本集合、初始教师模型以及初始学生模型；通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到抠图模型。由于抠图模型不仅拥有目标教师模型中的第一权重参数，且不断学习目标教师模型输出的第一透明度蒙版，故在保证处理精度的前提下，巧妙地缩减了模型的体量以及处理时长。

Description

一种抠图模型训练、图像抠图的方法及装置

技术领域

本申请属于图像处理的技术领域，尤其涉及一种抠图模型训练、图像抠图的方法及装置。

背景技术

在图像处理领域中，前景抠图是一种常用的处理手段。其中，前景抠图是指提取图像中感兴趣区域(前景)，获取一张精细的透明度蒙版，利用透明度蒙版从图像或视频中提取抠图对象，从而将抠图对象应用于照片编辑、电影再创作中。

传统的抠图技术，往往采用抠图模型获取透明度蒙版，进而根据透明度蒙版从图像或视频中提取抠图对象。然而，为了进一步提升抠图模型的处理精度，传统的抠图模型往往体量较大，导致处理时长较长，无法应用于实时抠图的应用场景。

发明内容

有鉴于此，本申请实施例提供了一种抠图模型训练的方法、一种图像抠图的方法、一种抠图模型训练的装置、一种图像抠图的装置、第一终端设备、第二终端设备以及计算机可读存储介质，可以解决传统的抠图模型往往体量较大，导致处理时长较长，无法应用于实时抠图的应用场景的技术问题。

本申请实施例的第一方面提供了一种抠图模型训练的方法，所述方法包括：

获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；

通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；

分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；

根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到抠图模型。

本申请实施例的第二方面提供了一种图像抠图的方法，所述方法包括：

获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；

将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；

根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。

本申请实施例的第三方面提供了一种抠图模型训练的装置，所述装置包括：

第一获取单元，用于获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；

第一训练单元，用于通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；

迁移单元，用于分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；

第二训练单元，用于根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型。

本申请实施例的第四方面提供了一种抠图模型训练的装置，所述装置包括：

第二获取单元，用于获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；

处理单元，用于将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；

截取单元，用于根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。

本申请实施例的第五方面提供了一种第一终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

本申请实施例的第六方面提供了一种第二终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面所述方法的步骤。

本申请实施例的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第二方面所述方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：本申请通过训练初始教师模型得到目标教师模型。由于目标教师模型的网络结构处理精度较高，故将目标教师模型中的第一权重参数迁移至初始学生模型中，得到过渡学生模型。并根据目标教师模型输出的第一透明度蒙版和训练样本集合，训练过渡学生模型，得到抠图模型。由于抠图模型不仅拥有目标教师模型中的第一权重参数，且不断学习目标教师模型输出的第一透明度蒙版，故抠图模型具有与目标教师模型相近的处理精度，且抠图模型的网络结构较为简单，故在保证处理精度的前提下，巧妙地缩减了模型的体量以及处理时长。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本申请提供的一种抠图模型训练的方法的示意性流程图；

图2示出了学生模型和教师模型的示意图；

图3示出了本申请提供的一种抠图模型训练的方法中步骤103具体示意性流程图；

图4示出了本申请提供的一种抠图模型训练的方法中步骤103具体示意性流程图；

图5示出了本申请提供的一种抠图模型训练的方法中步骤1043具体示意性流程图；

图6示出了本申请提供的一种抠图模型训练的方法中步骤A4具体示意性流程图；

图7示出了本申请提供的一种图像抠图的方法的示意性流程图；

图8示出了本申请提供的一种抠图模型训练的装置的示意图；

图9示出了本申请提供的一种图像抠图的装置的示意图；

图10是本发明一实施例提供的一种第一终端设备的示意图；

图11是本发明一实施例提供的一种第二终端设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

请参见图1，图1示出了本申请提供的一种抠图模型训练的方法的示意性流程图。如图1所示，该校正方法应用于第一终端设备，该校正方法包括如下步骤：

步骤101，获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版。

训练样本集合中包括不同的训练样本，每个训练样本中包括待抠图图像、背景图像、待抠图图像的深度图像以及待抠图图像对应的标准透明度蒙版。其中，待抠图图像和背景图像为相同取景位置下采集的图像，两者的区别在于待抠图图像中包括抠图对象，背景图像中不包括抠图对象(即待抠图图像中包括完整的前景和背景，背景图像中仅包括背景)。

训练样本集合用于训练初始教师模型以及初始学生模型。其中，初始教师模型以及初始学生模型都用于获取透明度蒙版。初始教师模型为网络结构复杂度较高的模型，可提取到丰富的特征信息，进而得到高精度的透明度蒙版。优选地，初始教师模型可以采用Resnet152网络等网络结构。

示例性地，以Resnet152网络为例，Resnet152为一个高度复杂的超大网络模型，具有152层卷积层。当模型的卷积层数越多，提取的特征越丰富，且特征完整度高，进而可获得高精度的透明度蒙版。但Resnet152训练速度慢，需要高性能的计算，只适合在高性能和高内存的设备中运行。且运算时长较长，无法满足实时抠图的需求。基于上述考量，本申请利用具有简易网络结构的学生模型学习教师模型的输出结果，以在保证处理效果的前提下，通过低复杂度的学生模型替代高复杂度的教师模型。即教师模型仅用于训练阶段，在应用阶段采用学生模型对图像进行处理。

值得注意的是，本实施为训练阶段的流程步骤，应用阶段的流程步骤请参见图7所示实施例中的步骤701至步骤703。

步骤102，通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版。

训练样本集合中的每个训练样本执行如下过程：将待抠图图像、背景图像、待抠图图像的深度图像输入初始教师模型，得到由初始教师模型输出的初始透明度模板。根据初始透明度蒙版和标准透明度蒙版，计算损失函数。根据损失函数更新初始教师模型中的网络参数。

当训练样本集合中所有训练样本训练完成或达到预设训练次数，或达到模型收敛条件时，得到目标教师模型以及目标教师模型输出的第一透明度蒙版。

步骤103，分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型。

请参见图2，图2示出了学生模型和教师模型的示意图。虚线框M表示教师模型，虚线框N表示学生模型，方框I表示待抠图图像，方框S表示待抠图图像的深度图像，方框B表示背景图像。当初始教师模型经过待抠图图像、深度图像以及背景图像训练后，得到目标教师模型以及目标教师模型输出的透明度蒙版α。分别将目标教师模型中的第一权重参数迁移至初始学生模型N的各个子网络中(即Stage₁模块至Stage_n模块)，得到过渡学生模型N。其中，不同stage模块采用的网络架构包括但不限于为RefineNet网络架构或MobileNet网络架构等一种或多种网络架构之间的组合。

在执行步骤103时，可将第一权重参数直接迁移至初始学生模型中。但由于目标教师模型中的第一权重参数为浮点型数据，而浮点型数据的计算量较大。为了优化计算量，在步骤103中还可以执行如下步骤：

作为本申请的一个可选实施例，在步骤103包括如下步骤1031至步骤1032。请参见图3，图3示出了本申请提供的一种抠图模型训练的方法中步骤103具体示意性流程图。

步骤1031，将浮点型的所述第一权重参数，量化为整型数据，得到第二权重参数。

对于第一权重参数的量化过程如下：获取目标教师模型的原始文件模型(例如TensorFlow、pyrorch或onnx模型)，将原始文件模型转化为中间文件“.json格式”和“.data格式”。对中间文件中的数据进行量化，获取量化后的“.quant格式”文件，“.quant格式”文件中包括了目标教师模型经量化后的每一层整型权重。

其中，量化的方式可采用现有的量化方式或如下可选实施例：

作为本申请的一个可选实施例，将每个第一权重参数依次代入第一公式组中，得到所述每个第一权重参数对应的第二权重参数。

所述第一公式组如下：

其中，A表示第一量化参数，其中，第一量化参数是指浮点型第一权重参数与整型第一权重参数之间对应的可缩放最小比例因子，J_max表示在所有第一权重参数中的最大权重参数(最大权重参数为浮点型数据)，J_min表示在所有第一权重参数中的最小权重参数(最小权重参数为浮点型数据)，α表示预设整型数据范围中的最大值(预设整型数据范围是指整型数据的上限和下限，例如：0-255，可根据不同计算精度需求进行预设)，

和

表示四舍五入取整，B表示第一预设整型值，所述第一预设整型值是指浮点型第一权重参数为零时对应的第一整型值，N表示所述每个第一权重参数，C表示所述每个第一权重参数对应的第二权重参数。

步骤1032，将所述第二权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型。

作为本申请的一个实施例，由于第二权重参数为整型数据，故抠图模型输出的结果，同样为整型数据。然而，由于部分协议或硬件(例如：开放式拔插电脑规范Ops，OpenPluggable Specification)不支持整型数据，故可预先将浮点型数据与整型数据建立映射关系。以在得到抠图模型输出的结果时，将整型数据转换为浮点数据。

步骤104，根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型。

训练过渡学生模型包括如下两种方式：

方式①：将训练样本集合中每个训练样本中的待抠图图像、背景图像、待抠图图像的深度图像输入过渡学生模型，得到由过渡学生模型输出的过渡透明度模板。根据过渡透明度蒙版和第一透明度蒙版，计算损失函数。根据损失函数更新过渡学生模型中的网络参数。当训练样本集合中所有训练样本训练完成或达到预设训练次数，或达到模型收敛条件时，得到抠图模型。

方式②：作为本申请的一个可选实施例，在步骤104包括如下步骤1041至步骤1044。请参见图4，图4示出了本申请提供的一种抠图模型训练的方法中步骤103具体示意性流程图。

步骤1041，将所述第一透明度蒙版中每个像素的浮点型透明度量化为整型数据，得到第二透明度蒙版。

量化的方式可采用现有的量化方式或如下可选实施例：

作为本申请的一个可选实施例，将所述第一透明度蒙版中每个像素的浮点型透明度代入第二公式组中，得到第二透明度蒙版。

所述第二公式组如下：

其中，D表示第二量化参数，其中，第二量化参数是指浮点型透明度与整型透明度之间对应的可缩放最小比例因子，K_max表示第一透明度蒙版中最大透明度(最大透明度为浮点型数据)，K_min表示第一透明度蒙版中最小透明度(最小透明度为浮点型数据)，α表示预设整型数据范围中的最大值，

和

表示四舍五入取整，E表示第二预设整型透明度，所述第二预设整型透明度是指浮点型透明度为零时对应的第二整型值，M表示所述每个像素的浮点型透明度，F表示所述每个像素的浮点型透明度对应的整型透明度。

步骤1042，将训练样本输入所述过渡学生模型，得到由所述过渡学生模型输出的第三透明度蒙版。

步骤1043，根据所述第二透明度蒙版和所述第三透明度蒙版，调整所述过渡学生模型中的第三权重参数。

在步骤1043中可直接计算第二透明度蒙版和第三透明度蒙版之间的损失函数，并根据该损失函数调整过渡学生模型中的第三权重参数。

步骤1043也可以通过如下可选实施例实现：

作为本申请的一个可选实施例，在步骤1043包括如下步骤A1至步骤A4。请参见图5，图5示出了本申请提供的一种抠图模型训练的方法中步骤1043具体示意性流程图。

步骤A1，通过第一公式计算第一损失函数。

所述第一公式如下：

其中，H表示合成图像的预设长度，M表示合成图像的预设宽度，a_i,j表示第二透明度蒙版中第i行第j列像素的第一透明度，

表示第三透明度蒙版中第i行第j列像素的第二透明度。

步骤A2，通过第二公式计算第二损失函数。

所述第二公式如下：

其中，μ表示第二透明度蒙版中各个像素的第一透明度均值，μ²表示第一透明度均值的平方，μ^*表示第三透明度蒙版中各个像素的第二透明度均值，μ^*2表示第二透明度均值的平方，σ表示第二透明度蒙版中各个像素的第一透明度方差，σ²表示第一透明度方差的平方，σ^*表示第三透明度蒙版中各个像素的第二透明度方差，σ^*2表示第二透明度方差的平方，c₁表示第一常数，c₂表示第二常数。

步骤A3，通过第三公式计算第三损失函数。

所述第三公式如下：

其中，γ表示第三常数，θ_i,j表示第三透明度蒙版中困难像素点的索引，所述困难像素点是指过渡学生模型无法处理的像素点，所述索引如下：

其中，m.n表示在所述困难像素点相邻的m×n个像素范围，A_i,j表示所述无法处理像素点的相邻像素点。

步骤A4，根据所述第一损失函数、所述第二损失函数以及所述第三损失函数，调整所述过渡学生模型中的第三权重参数。

在步骤A4中可直接将第一损失函数、第二损失函数以及第三损失函数作为联合损失函数，调整过渡学生模型中的第三权重参数。

步骤A4也可以通过如下可选实施例实现：

作为本申请的一个可选实施例，在步骤A4包括如下步骤A41至步骤A42。请参见图6，图6示出了本申请提供的一种抠图模型训练的方法中步骤A4具体示意性流程图。

步骤A41，将所述第一损失函数、所述第二损失函数以及所述第三损失函数分别乘以各自对应的预设权重，得到联合损失函数。

步骤A42，根据所述联合损失函数，调整所述过渡学生模型中的第三权重参数。

步骤1044，将所述训练样本集合中的各个训练样本依次执行所述将训练样本输入所述过渡学生模型，得到由所述过渡学生模型输出的第三透明度蒙版的步骤以及后续步骤，得到抠图模型。

在本实施例中，通过训练初始教师模型得到目标教师模型。由于目标教师模型的网络结构处理精度较高，故将目标教师模型中的第一权重参数迁移至初始学生模型中，得到过渡学生模型。并根据目标教师模型输出的第一透明度蒙版和训练样本集合，训练过渡学生模型，得到抠图模型。由于抠图模型不仅拥有目标教师模型中的第一权重参数，且不断学习目标教师模型输出的第一透明度蒙版，故抠图模型具有与目标教师模型相近的处理精度，且抠图模型的网络结构较为简单，故在保证处理精度的前提下，巧妙地缩减了模型的体量以及处理时长。

请参见图7，图7示出了本申请提供一种将上述抠图模型应用于图像抠图的方法示意性流程图。如图7所示，该方法应用于第二终端设备，该方法包括如下步骤：

步骤701，获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象。

步骤702，将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度。

由于模型在处理过程中，部分像素可能出现无法获取深度数据的现象，为了提高前景的召回率，故本申请同时将待抠图图像、背景图像以及深度图像作为抠图模型的输入数据，以精确地提取深度特征，进的得到高精确度的目标透明度蒙版。

步骤703，根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。

在得到抠图图像后，将抠图图像与待合成图像进行合成处理，得到目标合成图像。合成过程如下公式所示：

I＝αF+(1-α)B

其中，α表示目标透明度蒙版，I表示目标合成图像，F表示待抠图图像，B表示待合成图像。

在本实施例中，由于过渡学生模型采用目标教师模型的第一权重参数，并训练第一权重参数得到抠图模型。其中，抠图模型的网络结构复杂度低于目标教师模型的网络结构复杂度。故抠图模型在保证处理精度的前提下，提高了图像处理效率。

如图8本申请提供了一种抠图模型训练的装置8，请参见图8，图8示出了本申请提供的一种抠图模型训练的装置的示意图，如图8所示一种抠图模型训练的装置，包括：

第一获取单元81，用于获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；

第一训练单元82，用于通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；

迁移单元83，用于分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；

第二训练单元84，用于根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到抠图模型。

本申请提供的一种抠图模型训练的装置，通过训练初始教师模型得到目标教师模型。由于目标教师模型的网络结构处理精度较高，故将目标教师模型中的第一权重参数迁移至初始学生模型中，得到过渡学生模型。并根据目标教师模型输出的第一透明度蒙版和训练样本集合，训练过渡学生模型，得到抠图模型。由于抠图模型不仅拥有目标教师模型中的第一权重参数，且不断学习目标教师模型输出的第一透明度蒙版，故抠图模型具有与目标教师模型相近的处理精度，且抠图模型的网络结构较为简单，故在保证处理精度的前提下，巧妙地缩减了模型的体量以及处理时长。

如图9本申请提供了一种图像抠图的装置9，请参见图9，图9示出了本申请提供的一种图像抠图的装置的示意图，如图9所示一种图像抠图的装置，包括：

第二获取单元91，用于获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；

处理单元92，用于将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；

截取单元93，用于根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。

本申请提供的一种抠图模型训练的装置，由于过渡学生模型采用目标教师模型的第一权重参数，并训练第一权重参数得到抠图模型。其中，抠图模型的网络结构复杂度低于目标教师模型的网络结构复杂度。故抠图模型在保证处理精度的前提下，提高了图像处理效率。

图10是本发明一实施例提供的一种第一终端设备的示意图。如图10所示，该实施例的一种第一终端设备100包括：处理器1001、存储器1002以及存储在所述存储器1002中并可在所述处理器1001上运行的计算机程序1003，例如一种抠图模型训练的程序。所述处理器1001执行所述计算机程序1003时实现上述各个一种抠图模型训练的方法实施例中的步骤，例如图1所示的步骤101至步骤104。或者，所述处理器1001执行所述计算机程序134时实现上述各装置实施例中各单元的功能，例如图8所示单元81至84的功能。

示例性的，所述计算机程序1003可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器1002中，并由所述处理器1001执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序1003在所述一种第一终端设备100中的执行过程。例如，所述计算机程序1003可以被分割成各单元具体功能如下：

第一获取单元，用于获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；

第一训练单元，用于通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；

迁移单元，用于分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；

第二训练单元，用于根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型。

所述第一终端设备中包括但不限于处理器1001、存储器1002。本领域技术人员可以理解，图10仅仅是一种第一终端设备100的示例，并不构成对一种第一终端设备100的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种漫游控制设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器1001可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器1002可以是所述一种第一终端设备100的内部存储单元，例如一种第一终端设备100的硬盘或内存。所述存储器1002也可以是所述一种第一终端设备100的外部存储设备，例如所述一种第一终端设备100上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器1002还可以既包括所述一种第一终端设备100的内部存储单元也包括外部存储设备。所述存储器1002用于存储所述计算机程序以及所述一种漫游控制设备所需的其他程序和数据。所述存储器1002还可以用于暂时地存储已经输出或者将要输出的数据。

图11是本发明一实施例提供的一种第二终端设备的示意图。如图11所示，该实施例的一种第二终端设备11包括：处理器111、存储器112以及存储在所述存储器112中并可在所述处理器111上运行的计算机程序113，例如一种图像抠图的程序。所述处理器111执行所述计算机程序113时实现上述各个一种图像抠图的方法实施例中的步骤，例如图7所示的步骤701至步骤703。或者，所述处理器111执行所述计算机程序134时实现上述各装置实施例中各单元的功能，例如图9所示单元91至93的功能。

示例性的，所述计算机程序113可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器112中，并由所述处理器111执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序113在所述一种第二终端设备11中的执行过程。例如，所述计算机程序113可以被分割成各单元具体功能如下：

第二获取单元，用于获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；

处理单元，用于将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；

截取单元，用于根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。

所述第二终端设备中包括但不限于处理器111、存储器112。本领域技术人员可以理解，图11仅仅是一种第二终端设备11的示例，并不构成对一种第二终端设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种漫游控制设备还可以包括输入输出设备、网络接入设备、总线等。

所述处理器111可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器112可以是所述一种第二终端设备11的内部存储单元，例如一种第二终端设备11的硬盘或内存。所述存储器112也可以是所述一种第二终端设备11的外部存储设备，例如所述一种第二终端设备11上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器112还可以既包括所述一种第二终端设备11的内部存储单元也包括外部存储设备。所述存储器112用于存储所述计算机程序以及所述一种漫游控制设备所需的其他程序和数据。所述存储器112还可以用于暂时地存储已经输出或者将要输出的数据。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/活体检测设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于监测到”。类似地，短语“如果确定”或“如果监测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦监测到[所描述条件或事件]”或“响应于监测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种抠图模型训练的方法，其特征在于，所述方法包括：

获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；

通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；

分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；

根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型。

2.如权利要求1所述方法，其特征在于，所述分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型，包括：

将浮点型的所述第一权重参数，量化为整型数据，得到第二权重参数；

将所述第二权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型。

3.如权利要求2所述方法，其特征在于，所述将浮点型的所述第一权重参数，量化为整型数据，得到第二权重参数，包括：

将每个第一权重参数依次代入第一公式组中，得到所述每个第一权重参数对应的第二权重参数；

所述第一公式组如下：

其中，A表示第一量化参数，J_max表示在所有第一权重参数中的最大权重参数，J_min表示在所有第一权重参数中的最小权重参数，α表示预设整型数据范围中的最大值，

和

表示四舍五入取整，B表示第一预设整型值，所述第一预设整型值是指浮点型第一权重参数为零时对应的第一整型值，N表示所述每个第一权重参数，C表示所述每个第一权重参数对应的第二权重参数。

4.如权利要求1所述方法，其特征在于，所述根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型，包括：

将所述第一透明度蒙版中每个像素的浮点型透明度量化为整型数据，得到第二透明度蒙版；

将训练样本输入所述过渡学生模型，得到由所述过渡学生模型输出的第三透明度蒙版；

根据所述第二透明度蒙版和所述第三透明度蒙版，调整所述过渡学生模型中的第三权重参数；

将所述训练样本集合中的各个训练样本依次执行所述将训练样本输入所述过渡学生模型，得到由所述过渡学生模型输出的第三透明度蒙版的步骤以及后续步骤，得到所述抠图模型。

5.如权利要求4所述方法，其特征在于，所述将所述第一透明度蒙版中每个像素的浮点型透明度量化为整型数据，得到第二透明度蒙版，包括：

将所述第一透明度蒙版中每个像素的浮点型透明度代入第二公式组中，得到第二透明度蒙版；

所述第二公式组如下：

其中，D表示第二量化参数，K_max表示第一透明度蒙版中最大透明度，K_min表示第一透明度蒙版中最小透明度，α表示预设整型数据范围中的最大值，

和

表示四舍五入取整，E表示第二预设整型透明度，所述第二预设整型透明度是指浮点型透明度为零时对应的第二整型值，M表示所述每个像素的浮点型透明度，F表示所述每个像素的浮点型透明度对应的整型透明度。

6.如权利要求4所述方法，其特征在于，所述根据所述第二透明度蒙版和所述第三透明度蒙版，调整所述过渡学生模型中的第三权重参数，包括：

通过第一公式计算第一损失函数；

所述第一公式如下：

其中，H表示合成图像的预设长度，M表示合成图像的预设宽度，a_i,j表示第二透明度蒙版中第i行第j列像素的第一透明度，

表示第三透明度蒙版中第i行第j列像素的第二透明度；

通过第二公式计算第二损失函数；

所述第二公式如下：

其中，μ表示第二透明度蒙版中各个像素的第一透明度均值，μ²表示第一透明度均值的平方，μ^*表示第三透明度蒙版中各个像素的第二透明度均值，μ^*2表示第二透明度均值的平方，σ表示第二透明度蒙版中各个像素的第一透明度方差，σ²表示第一透明度方差的平方，σ^*表示第三透明度蒙版中各个像素的第二透明度方差，σ^*2表示第二透明度方差的平方，c₁表示第一常数，c₂表示第二常数；

通过第三公式计算第三损失函数；

所述第三公式如下：

其中，γ表示第三常数，θ_i,j表示第三透明度蒙版中困难像素点的索引，所述困难像素点是指过渡学生模型无法处理的像素点，所述索引如下：

其中，m.n表示在所述困难像素点相邻的m×n个像素范围，A_i,j表示所述无法处理像素点的相邻像素点；

根据所述第一损失函数、所述第二损失函数以及所述第三损失函数，调整所述过渡学生模型中的第三权重参数。

7.如权利要求6所述方法，其特征在于，所述根据所述第一损失函数、所述第二损失函数以及所述第三损失函数，调整所述过渡学生模型中的第三权重参数，包括：

将所述第一损失函数、所述第二损失函数以及所述第三损失函数分别乘以各自对应的预设权重，得到联合损失函数；

根据所述联合损失函数，调整所述过渡学生模型中的第三权重参数。

8.一种图像抠图的方法，其特征在于，所述方法包括：

获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；

将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；

根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。

9.一种抠图模型训练的装置，其特征在于，所述装置包括：

第一获取单元，用于获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；

第一训练单元，用于通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；

迁移单元，用于分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；

第二训练单元，用于根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型。

10.一种图像抠图的装置，其特征在于，所述装置包括：

第二获取单元，用于获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；

处理单元，用于将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；

截取单元，用于根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。

Images