CN116051593A - 服装图像提取方法及其装置、设备、介质、产品 - Google Patents

Abstract

本申请涉及一种服装图像提取方法及其装置、设备、介质、产品，所述方法包括：获取原始图像，所述原始图像包含服装内容；将所述原始图像变换为消除了其图像内容中的边缘锯齿的规格图像；优化所述规格图像的对比度，获得增强图像；将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜；根据所述目标图像掩膜从所述服装内容中提取出服装主体图像。本申请能够从包含服装内容的原始图像中精准地提取出其中穿着可见部分的服装主体图像，所获得的服装主体图像自然细腻，为虚拟试衣技术提供可靠的素材，具有广泛的适用场景，而且实施成本较低。

Description

服装图像提取方法及其装置、设备、介质、产品

技术领域

本申请涉及虚拟试衣技术，尤其涉及一种服装图像提取方法及其装置、设备、介质、产品。

背景技术

随着计算机算力的提升，虚拟试衣技术的应用越来越普遍。虚拟试衣技术中，较为基础的一个需求是从包含服装内容的图像中提取出其中构成服装的穿着可见部分的服装主体图像，这样的局部图像可以更方便地和模特身体图像相合成而获得模特着装图像，展示出模特穿上相应的衣服之后的可视效果。进一步还可以将这些模特着装图像作为相应的服装商品的商品图片，发布到电商平台或广告平台中。用户可以根据可视效果来对相应的服装的版式进行评价，决定是否购买等。

为了获得服装主体图像，可以应用图像分割技术，从包含服装内容的图像中分割出相应的服装主体图像。传统的技术中，在对服装内容进行图像分割时，存在两大类技术，第一类是基于多分类任务识别每个像素点是属于前景还是背景，将属于前景的服装的全部图像内容作为目标图像，用于与模特合成；第二类是基于像素量化的方式，采用抠图(ImageMatting)算法，确定出每个像素点属于要提取的前景的像素点的量化数值，以便根据量化数值适度提取相应像素点的信息。

第一类技术基于二分类结果中每个像素点对应的离散值0或1获得的服装主体图像会产生明显的边缘锯齿，其图像质量较差，特别是在高分辨率图像中锯齿效果更是明显。此外，此类技术对于复杂分类的情况显得乏力，例如，一些直接将衣服平铺拍摄的服装图像，不仅包含这些衣服被人体穿上之后的可见部分，例如人体前景的图像，还包含被人体穿上之后可能被脖子、手等部位遮住的不可见部分，例如脖子后的服装图像，其中，穿着之后可见部分，才构成所述的服装主体图像，这样的图像在和模特身体图像合成时，一般无需再针对那些不可见部分进行图像裁剪，其合成效率会明显提升。第一类技术针对存在背景、穿着可见部分、穿着不可见部分多种景深的情况，无法适应处理。

第二类技术虽然能够使所获得的服装主体图像更为自然，但是，由于第二类技术不能实施多分类任务训练，基于针对每个像素点都能获得量化数值的目标，其标注成本更加高，需要精细标注边缘信息，否则容易造成图像边界不清，因而，也不能单独依赖第二类技术获得优质的服装主体图像。

有鉴于此，需要针对现有的服装图像的提取方式进行综合改进，以期获得良好的应用实效。

发明内容

本申请的目的在于解决上述问题而提供一种服装图像提取方法及其相应的装置、设备、非易失性可读存储介质，以及计算机程序产品。

根据本申请的一个方面，提供一种服装图像提取方法，包括：

获取原始图像，所述原始图像包含服装内容；

将所述原始图像变换为消除了其图像内容中的边缘锯齿的规格图像；

优化所述规格图像的对比度，获得增强图像；

将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜；

根据所述目标图像掩膜从所述服装内容中提取出服装主体图像。

根据本申请的另一方面，提供一种服装图像提取装置，包括：

原图获取模块，设置为获取原始图像，所述原始图像包含服装内容；

原图消噪模块，设置为将所述原始图像变换为消除了其图像内容中的边缘锯齿的规格图像；

原图增强模块，设置为优化所述规格图像的对比度，获得增强图像；

分割执行模块，设置为将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜；

图像提取模块，设置为根据所述目标图像掩膜从所述服装内容中提取出服装主体图像。

根据本申请的另一方面，提供一种服装图像提取设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的服装图像提取方法的步骤。

根据本申请的另一方面，提供一种非易失性可读存储介质，其以计算机可读指令的形式存储有依据所述的服装图像提取方法所实现的计算机程序，所述计算机程序被计算机调用运行时，执行该方法所包括的步骤。

根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。

相对于现有技术，本申请具有多方面技术优势，包括但不限于：

首先，对于包含服装内容的原始图像，先将其缩放为规格图像，并消除缩放过程中可能形成的边缘锯齿，再在规格图像的基础上进行图像对比度的优化，使明暗特征更明显，获得增强图像，然后，将规格图像和增强合并输入图像分割模型中，由图像分割模型直接预测出对应服装的穿着可见部分所在景深的目标图像掩膜，根据这张目标图像掩膜可以准确地提取出服装内容中穿着可见部分相对应的服装主体图像，而且可以确保所获得的服装主体图像具有优质的图像质量。

其次，图像分割模型是为生成服装的穿着可见部分相对应的目标图像掩膜而提供的，能够根据规格图像和增强图像两种图像信息综合确定出对应的景深而确定出相应的目标图像掩膜，这样的掩膜既利用了消除了锯齿之后的清晰图像所提供的深层语义，也利用了在清晰图像的基础上进一步优化了明暗对比度的增强图像提供的深层语义，利用这两类深层语义进行推理，其所获得的目标图像掩膜中，每个像素点都可以精准地表示出相应的景深量化数值，利用这些数值提取出服装主体图像，所获得的服装主体图像的图像效果更加自然细腻。

此外，本申请以景深为单位，借助图像分割模型处理服装主体图像的分割任务，实现对不同景深的有效分离，可以降低提取服装主体图像的实施成本，可供试衣应用程序、电商平台在线试衣之类的应用场景使用，获得规模经济效应，提升用户体验。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的技术方案的一种示例性应用环境的网络架构示意图；

图2为本申请的服装图像提取方法的一种实施例的流程示意图；

图3为本申请实施例中训练图像分割模型的流程示意图；

图4为本申请实施例中将标注信息转换为真实掩膜组的流程示意图；

图5为本申请实施例中图像分割模型的总损失值计算过程的流程示意图；

图6为本申请实施例中合成目标图像掩膜的流程示意图；

图7为本申请实施例中根据目标图像掩膜提取服装主体图像的流程示意图；

图8为本申请的服装图像提取装置的原理框图；

图9为本申请所采用的一种服装图像提取设备的结构示意图。

具体实施方式

请参阅图1，本申请示例性的应用场景所采用的网络架构，包括终端设备80、业务服务器81和应用服务器82，所述应用服务器82可用于部署服装图像提取服务，并向业务服务器81上实现的下游业务提供相应的功能插件，以供通过所述功能插件调用所述服装图像提取服务，当用户从其终端设备80访问所述业务服务器81的下游业务的相应页面时，可以通过所述功能插件上传包含服装内容的原始图像，然后由业务服务器81调用所述应用服务器82开放的服装图像提取服务，基于该原始图像提取服务提取出所述服装内容中的服装主体图像。

本申请的服装图像提取服务，可以通过执行本申请的服装图像提取方法来实现，具体而言，可以将本申请的服装图像提取方法实现为计算机程序产品，将其安装到相应的设备例如所述应用服务器中，待其运行后，即可执行该方法而开放所述的服装图像提取服务。

所述下游业务，可以是多种业务，例如，电商平台的线上店铺业务、网络直播的直播间中的网络销售业务、图像处理支持平台中的抠图处理业务等等均可。作为一种基础技术，本申请所实现的服装图像提取服务可供任意下游业务调用。

当然，本申请另一示例性网络架构中，可以将本申请的所述服装图像提取服务部署于终端设备或所述应用服务器，或其他任意智能设备中实施，只要被部署对象的设备能够为实现所述服装图像提取服务提供足够的软硬件资源支持即可。

本申请中所引用或可能引用到的模型，例如，本申请的图像分割模型和利用抠图算法建模实现的抠图模型等，可以是传统机器学习模型或者深度学习模型，除非明文指定，这些模型既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。

请参阅图2，根据本申请提供的一种服装图像提取方法，在其一个实施例中，包括如下步骤：

步骤S1100、获取原始图像，所述原始图像包含服装内容；

所述原始图像，一般包含服装内容，即可被人眼识别为服装产品的图像内容。所述服装内容，可以是服装平铺图像，即将服装商品从一个视角完整展示的商品图像，也可以是着装实景图像，即将服装商品穿着在模特身体上，与模特身体一起出现的图像。

在所述原始图像中，以预设的多个不同景深为层次，可将其在概念上虚拟理解为至少包含多个预设景深相对应的图层。所预设的景深的具体数量，可以按需确定，一种实施例中，可以包括三个预设景深，其中，第一景深，用于指示属于图像中的背景内容，是指所述服装内容视觉后方的背景图像所在的深度，通常理解为所述服装内容的背景相对应的深度。第二景深，用于指示属于图像中的服装内容的穿着后不可见部分，根据所述服装内容确定，主要是指当该服装内容被穿着到人体之后，会被人体部位遮挡的部分所在的深度，称为穿着不可见部分。第三景深，用于指示属于图像中的服装内容的穿着后可见部分，是原始图像的前景，对于所述服装内容来说，是指当该服装内容被穿着到人体之后，未被人体部位遮挡的部分所在的深度，称为穿着可见部分。

本申请中，可以针对任意一个所述的景深进行图像分割，以便获得相对应的图层的图像内容，例如，对于包含服装内容的原始图像来说，当提取其中第三景深相对应的图层时，所获得的图像便是服装主体图像，即相应的服装内容被人体穿着后不会被人体部位遮挡的可见部分的服装主体图像。

步骤S1200、将所述原始图像变换为消除了其图像内容中的边缘锯齿的规格图像；

出于下游业务的需求，包含有服装内容的原始图像，通常具有高清分辨率，例如2K分辨以上，而用于处理服装内容的图像分割模型则往往会基于较小尺度的输入数据进行处理，以提升处理效率。在对原始图像进行规格缩放的过程中，各种缩放算法常会在原图的基础上引入明显的边缘锯齿，导致缩放后获得的规格图像噪声增多而质量下降，出现边缘锯齿，所以，可以在对所述原始图像进行缩放的过程中应用双线性插值算法对其降噪处理以消除其中的边缘锯齿，获得优质的规格图像。

在数学上，双线性插值算法是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。示例说明，假设原始图像大小为m*n，作为目标的规格图像为a*b。那么两幅图像的边长比分别为：m/a和n/b。注意，通常这个比例不是整数，编程存储的时候要用浮点型。规格图像的第(i,j)个像素点可以通过边长比对应回原始图像。其对应坐标为:

显然，这个对应坐标一般来说不是整数，而非整数的坐标是无法在图像这种离散数据上使用的。双线性插值算法通过寻找原始图像中距离这个对应坐标最近的四个像素点，来计算该对应坐标所在的像素点的值(灰度值或者RGB值)。假设给定的像素点的对应坐标是(2.5,4.5)，那么最近的四个像素是(2，4)、(2，5)、(3，4)，(3，5)。以图像为灰度图像为例，那么(i,j)像素点的灰度值可以通过一下公式计算：

f(i,j)＝w1*p1+w2*p2+w3*p3+w4*p4

其中，pi(i＝1,2,3,4)为最近的四个像素点，wi(i＝1,2,3,4)为各点相应权值。由于f(i,j)是根据四周的像素点的像素值确定的，因而原始图像被缩放后获得的规格图像会有更为柔化的图像过渡效果。

不难理解，应用双线性插值算法对原始图像进行规格变换，获得目标尺度相对应的规格图像，可以使像素点之间的过渡更为平滑，实现有效消除图像内容中的边缘锯齿，也就有助于提升服装图像的抠图效果，使最终所获得的服装主体图像中的画质更为细腻自然。

步骤S1300、优化所述规格图像的对比度，获得增强图像；

在实施摄影环境中，由于拍摄灯光、衣服与其背景之间的色差较小(例如米白色衣服与灰白色的背景墙)等原因，常会导致前景图像和背景图像边界特征不够突出，导致应用图像分割模型进行图像分割时，出现失败的案例。所以，本申请在所述原始图像的规格图像的基础上，提升图像的明暗对比度，获得增强图像，将增强图像作为规格图像之外的另一路输入，与规格图像一起输入至图像分割模型中进行图像分割，确保提升图像分割的准确率和成功率。

一种实施例中，基于所述规格图像，应用去雾算法来提升规格图像的对比度，从而获得相应的增强图像。可用的去雾算法主要包括基于图像增强、基于图像复原以及基于卷积神经网络的各种类型的去雾算法。

基于图像增强的去雾算法，是通过图像增强技术突出图像细节，提升对比度，使之看起来更加清晰，这类算法的适用性较广。具体的算法有：Retinex算法、直方图均衡化算法、偏微分方程算法、小波变换算法等。Retinex算法根据成像原理，消除了反射分量的影响，达到了图像增强去雾的效果；直方图均衡化算法使图像的像素分布更加均匀，放大了图像的细节；偏微分方程算法则是将图像视作一个偏微分方程，通过计算梯度场提高对比度；小波变换算法对图像进行分解，放大有用的部分。

基于图像复原的去雾算法主要是基于大气散射物理学模型，通过对大量有雾图像和无雾图像进行观察总结，得到其中存在的一些映射关系，然后根据有雾图像的形成过程来进行逆运算，从而恢复清晰图像。其中最经典的是暗通道先验去雾算法，通过对大量无雾图像进行特征分析，找到了无雾图像与大气散射模型中某些参数的先验关系。该算法复杂度低，去雾效果好。

基于卷积神经网络的去雾算法，是使用CNN(Convolutional Neural Network，卷积神经网络)建立一个端到端的模型，通过有雾图像恢复出无雾图像，目前使用神经网络进行去雾的算法主要有2种思路：使用CNN生成大气散射模型的某些参数,然后再根据大气散射模型来恢复无雾图像，或者使用CNN直接根据模糊图像生成无雾的清晰图像。

可见，可以根据各种去雾算法的优点，适应具体需求，采用任意一种可行的去雾算法来获得相对于所述规格图像提升了明暗对比度的增强图像，使其中的图像内容更为清晰，明暗效果对比更为明显，边界特征也更为突出。

步骤S1400、将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜；

本申请的图像分割模型，采用深度学习模型构建，可以是U-net系列模型，包括U-net、U²-net等等。根据U-net的架构，其内部实现一个用于对图像进行降采用的编码路径，编码路径中由多个尺度相对应的编码器级联构成，从而在多个尺度上获得所输入的图像的采样特征图，同时还对应所述编码路径实现一个用于对采样特征图进行上采样的解码路径，解码路径同理由多个尺度相对应的解码器级联构成。

在所述编码路径中，较高尺度的编码器负责在对应尺度降采样出所述图像的特征图，然后传递至其下一级也即更小尺度相对应的编码器进行继续降采样处理，同时，还通过跨层连接，将本编码器获得的特征图，传递给所述解码路径中对应尺度的解码器。编码路径通过各级编码器逐级采样出对应尺度的特征图，在最后一级编码器获得最小尺度相对应的特征图，最小尺度的特征被变换后输入所述解码路径中，作为所述解码路径进行升采样的底层语义信息。

在所述解码路径中，较高尺度的解码器负责在对应尺度接收其次小尺度的特征图，然后参考对应尺度的编码器通过跨层连接传输过来的特征图，对次小尺度的特征进行上采样，还原出对应尺度的特征图，再输出给更高尺度的解码器进一步解码。以此类推，直接最后一个解码器。在解码过程中，每个解码器都可以分割出一组对应尺度的尺度掩膜。

最后，将解码路径中各个解码器获得的不同尺度相对应的各组尺度掩膜进行全连接，便可获得所输入的整个图像相对应的图像掩膜组。对于单个输入的图像来说，其在输入时便被表示为H*W*C的三维数据结构，其中表示图像的高度、宽度和通道数，而其图像掩膜组同理也被表示为三维数据结构H*W*C,其中，输入与输出的不同之处在于图像掩膜组的通道数是按照预设的多个景深对应生成的，因而，实际上每个通道相对应的特征图H*W便构成单张图像掩膜，整个图像掩膜组实际上是由C个H*W大小的图像掩膜构成的。从像素点的视角来看，同一像素点上的不同通道的数值，构成像素点落入不同预设景深相对应的向量表示的元素值。

本申请的图像分割模型具有并行处理能力，当将两个图像合并输入后，便可并行地处理两个图像获得其各自相对应的图像掩膜组。因而，为了提升计算机执行效率，可以将所述原始图像的规格图像和增强图像进行通道合并，获得H*W*2C的图像数据，输入所述图像分割模型中，相应的，也获得H*W*2C的图像掩膜结果，其中包含所述规格图像的图像掩膜组和所述增强图像的图像掩膜组。两个图像掩膜组均包含多个预设景深相对应的图像掩膜，也就是说，对于同一景深，所述规格图像和所述增强图像均有其对应的图像掩膜，所以，针对服装主体图像所在的目标景深，可以直接调用该目标景深相对应的两个图像掩膜，也即所述规格图像对应目标景深的图像掩膜和所述增强图像对应目标景深的图像掩膜，用来综合确定出服装主体图像相对应的目标图像掩膜。

为了实现对所述规格图像及其增强图像的优势特征的综合利用，在确定所述目标图像掩膜时，可以将所述目标景深相对应的两个图像掩膜进行线性融合，通过线性融合实现利用规格图像及其增强图像的优势语义特征，从而获得更能准确指示服装主体图像的图像内容的目标图像掩膜。

步骤S1500、根据所述目标图像掩膜从所述服装内容中提取出服装主体图像。

目标图像掩膜的尺度是与规格图像和增强图像的尺度相同的，根据需要提取出服装主体图像的原图不同，可以按需对所述目标图像掩膜进行尺度变换。例如，当目标原图是所述原始图像时，可以将所述目标图像掩膜变换到所述原始图像同样尺度。一个实施例中，在对目标图像掩膜进行尺度变换时，也应用双线性插值算法进行缩放处理，以避免所获得的结果出现锯齿现象。

所述目标图像掩膜指示出构成服装的穿着可见部分的目标区域，以及在该目标区域内各个像素点属于目标景深的景深量化数值，根据景深量化数值与目标原图，也即原始图像、规格图像、增强图像中任意之一进行像素点级别的平滑融合，便可实现从所述目标原图中提取出服装主体图像，实现抠图的目的。

一种实施例中，考虑到服装主体图像是一个连续区域，在抠图之前，还可以对所述目标图像掩膜进行过滤处理，删除其中面积较小的连通域，保留其中面积较大的区域，可以避免所获得的服装主体图像携带不必要的干扰图像。

根据以上实施例可知，本申请具有多方面技术优势，包括但不限于：

首先，对于包含服装内容的原始图像，先将其缩放为规格图像，并消除缩放过程中可能形成的边缘锯齿，再在规格图像的基础上进行图像对比度的优化，使明暗特征更明显，获得增强图像，然后，将规格图像和增强合并输入图像分割模型中，由图像分割模型直接预测出对应服装的穿着可见部分所在景深的目标图像掩膜，根据这张目标图像掩膜可以准确地提取出服装内容中穿着可见部分相对应的服装主体图像，而且可以确保所获得的服装主体图像具有优质的图像质量。

其次，图像分割模型是为生成服装的穿着可见部分相对应的目标图像掩膜而提供的，能够根据规格图像和增强图像两种图像信息综合确定出对应的景深而确定出相应的目标图像掩膜，这样的掩膜既利用了消除了锯齿之后的清晰图像所提供的深层语义，也利用了在清晰图像的基础上进一步优化了明暗对比度的增强图像提供的深层语义，利用这两类深层语义进行推理，其所获得的目标图像掩膜中，每个像素点都可以精准地表示出相应的景深量化数值，利用这些数值提取出服装主体图像，所获得的服装主体图像的图像效果更加自然细腻。

此外，本申请以景深为单位，借助图像分割模型处理服装主体图像的分割任务，实现对不同景深的有效分离，可以降低提取服装主体图像的实施成本，可供试衣应用程序、电商平台在线试衣之类的应用场景使用，获得规模经济效应，提升用户体验。

在本申请任意实施例的基础上，请参阅图3，将所述规格图像与所述增强图像合并输入图像分割模型之前，包括：

步骤S2100、基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组，存储于训练数据集中，所述真实掩膜组包含三个以上的真实掩膜，每个真实掩膜对应单个相应的预设景深；

本申请的图像分割模型可以通过事先训练来制备，在对其实施训练之前，需要构造相应的训练样本，将训练样本存储于训练数据集，后续可以利用训练数据集中的训练样本对图像分割模型进行迭代训练，使其达到收敛状态，而适用于线上推理使用。

所述训练样本可以基于预先采集的样本图像来构造。所述样本图像可以采用两类素材来构造，其中第一类素材可以是前文所称的服装平铺图像，第二类素材可以是前文所称的着装实景图像，按需选取这些素材，确保这些素材能够综合泛化服装内容的图像特征，将这些素材都确定为样本图像即可。通过采用这两类素材来构造训练样本用于训练图像分割模型，可使图像分割模型不仅能够为服装平铺图像分割出服装主体图像，同样也能为着装实景图像分割出服装主体图像。

在确定样本图像的基础上，可以进一步根据本申请前文所述的方式，将每张样本图像变换为其相应的规格图像，在变换过程中可以应用双线性插值算法消除其锯齿信息，并且在其规格图像的基础上还可以进一步获得其增强图像。

在构造每个训练样本时，可以采用单图作为训练样本，即采用所述样本图像的规格图像或者相应的增强图像作为训练样本，也可以采用所述样本图像的规格图像及在这个规格图像上生成的增强图像共同构成训练样本。

所述样本图像可以通过人工标注获得其标注信息。也即，在所述样本图像的基础上对其中的图像内容进行人工标注，按照不同图像内容相对应的图像区域所属的不同景深，标记这些不同景深相对应的类别标签，在人工标注阶段，所述类别标签可以采用0、1、2……之类的离散形式数据来表示，当然也可标注为枚举值。后续可以根据这些标注信息来生成训练样本相对应的真实掩膜组。

适应训练样本由单张图像或者多张图像构成，根据各张图像相对应的标注信息来确定其相应的真实腌膜组，每个真实掩膜组中，相应包含多个真实掩膜，分别用于对应不同预设景深。

以单张图像的真实掩膜组为例，其中包括多个景深相对应的多个真实掩膜，所述景深的数量，为三个或三个以上任意按需确定的数量，本申请中，根据标注信息所生成的真实掩膜组中，每个真实掩膜中的每个像素值，均以二值化数值表示。因而，对于每个像素值来说，由多个景深的二值化数值构成一个向量表示，例如当存在三个预设景深时，其表示形式为{1,0,0}，考虑到同一像素点只能属于一个景深，其向量表示实际上便构成一个独热编码向量，其中各个元素值可以分别为各个相应的景深的预测提供监督信息，因而，真实掩膜组可以为图像分割模型预测出的图像掩膜提供基于多分类任务的监督标签，当然，还可以按需根据真实掩膜组和图像分割模型预测出的图像掩膜组的相似性、交并比等实施训练监督。

在达到了训练样本及其相应的真实掩膜组之后，将两者构造为映射关系数据存储到训练数据集中，使训练数据集包含足以将图像分割模型训练到收敛状态的海量训练样本及其真实掩膜组，可望通过海量训练样本提供的丰富的样本特征来将图像分割模型快速训练到收敛状态。

步骤S2200、采用所述训练数据集中的训练样本输入所述图像分割模型实施训练至收敛，每次训练针对所述训练样本预测出对应全部预设景深的图像掩膜组，并采用所述训练样本相对应的真实掩膜组监督训练。

当需要对所述图像分割模型执行训练时，可以逐次从所述训练数据集中调用训练样本输入所述图像分割模型实施训练，当训练样本被输入图像分割模型后，由图像分割模型对其进行降采样和上采样，获得每个训练样本相对应的图像掩膜组，然后便可基于所述训练样本相对应的真实掩膜组来计算所述图像掩膜组的训练损失，确定总损失值，再根据总损失值决策图像分割模型是否达到收敛状态，在未达到收敛状态时继续迭代训练并修正图像分割模型各个环节的权重参数，以此类推，直至将图像分割模型训练至收敛状态后，便可投入线上推理使用。

根据以上实施例，本申请通过将训练样本的标注信息表示为真实掩膜组，提供多个预设景深相对应的真实掩膜组作为训练样本的监督标签，使图像分割模型能适应三个以上的景深生成相应景深的图像掩膜，使得图像分割模型能够多深度地对训练样本进行图像分割，后续将图像分割模型用于线上推理时，同理也能对输入其中的规格图像和增强图像进行多个景深相对应的图像分割，精准区分不同景深的像素点，以便提取目标景深相对应的图像例如提取出本申请服装内容中穿着可见部分相对应的服装主体图像。

在本申请任意实施例的基础上，基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组之前，包括如下步骤：

步骤S3100、将所述包含服装内容的样本图像或所述样本图像的规格图像进行旋转处理；

在相同图像内容的基础上进行不同角度的旋转，相应得到多个训练样本，可以通过这些训练样本丰富图像特征，从而使被训练的图像分割模型能够学习到更强的特征表示能力，防止模型过拟合。对于一个训练样本来说，考虑到它的规格图像与增强图像一般要求有视角上的一致性，可以将它的样本图像或根据该样本图像获得的规格图像的基础上进行图像旋转处理，然后才在规格图像的基础上进一步确定其相应的增强图像。

根据以上实施例可以看出，通过图像旋转手段可以扩充出更多训练样本，泛化样本特征，实现数据增强，避免模型过拟合，使模型更具鲁棒性。在训练样本的制作过程中引入本实施例的步骤而不是对图像进行裁剪的数据增强手段，是因为图像裁剪可能会破坏服装内容的整体性，改变服装内容图像的景深关系，而采用图像旋转的手段来丰富训练样本，则不会破坏这种整体性，从而可以确保获得更优质的训练样本，使图像分割模型的性能不会因数据增强而受到不良影响。

在本申请任意实施例的基础上，基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组之前，包括如下步骤：

步骤S3200、从所述包含服装内容的样本图像或所述样本图像的规格图像中识别出其中的服装内容的拼色区域，替换所述拼色区域中的颜色。

服装图像中常存在拼色设计，即两种以上的不同颜色邻近拼接的情况，当拼色的位置接近不同景深的切换地带时，图像分割模型常难以有效区分出这种情况，而将拼色区域错误地判定为另一景深的区域，所以，可以通过数据增强的方式，来降低图像分割模型对这种情况的误判机会。

本实施例中，可以在用于制作训练样本的样本图像，或者该样本图像的规格图像的基础上进行图像识别，识别出其中的服装内容中的拼色区域提取出拼色区域原图，同时对该原图进行图像腐蚀处理，获得腐蚀图，然后，将该腐蚀图与该原图计算差距，算出服装的边缘色带，然后对应边缘色带对样本图像或者其规格图像填充替换不同颜色，从而扩展出不同的训练样本，实现对容易导致图像分割模型产生误识别现象的特征的模拟，以便在利用这些训练样本对图像分割模型训练之后，提升图像分割模型更能精准地识别出存在拼色区域的服装内容的不同景深区域。

根据以上实施例可知，通过对存在拼色区域的训练样本进行颜色的替换，可以泛化拼色情况的特征，从而扩充出更丰富的训练样本，使得图像分割模型经过这些训练样本的训练之后，能够更精准地适应服装拼色的情况，准确区分出各个像素点所属的景深。

在本申请任意实施例的基础上，基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组之前，可以选用多种方式任意之一或其结合来获得样本图像，如下两种实施例所介绍的方式均可实现获取样本图像：

一种实施例中，通过步骤S4100、获取服装内容相对应的服装平铺图像和模特身体图像，合成出模特着装图像，将所述模特着装图像作为前景合成到随机背景图像中获得所述样本图像。

具体来说，为了方便制作训练样本，可以预备不同服装产品的服装平铺图像以及不同模特不同体态的模特身体图像，然后，采用任意可行的图像合成的方式，将每个服装平铺图像合成到一个模特身体图像中，从而获得相应的模特着装图像。多个服装平铺图像和多个模特身体图像一一交叉对应进行图像合成，便可获得大量的模特着装图像。

在合成所述模特着装图像的过程中，确保所述模特着装图像的图像效果中，符合客观物理世界的视觉透视规律，使得服装平铺图像穿着到模特身体图像之后，模特背景后方的服装区域的图像内容不再存在，实际上也是删除相应的服装的穿着不可见部分的图像内容，使整个模特身体图像所显示的图像效果自然而合理。

考虑到模特身体图像的背景一般较少，为了模拟现实场景的多样性，可以预备大量的背景图像，随机确定其中一个背景图像作为随机背景图像，然后将模特着装图像作为前景，添加到所述随机背景图像中实现图像合成，从而获得相应的样本图像。

另一实施例中，通过步骤S4200、获取着装实景图像，提取出其中的人体着装图像与所述着装实景图像相融合获得合成草图，将所述合成草图作为前景合成到随机背景图像中获得所述样本图像。

所述着装实景图像，可以是从公开数据集中采集的，也可以是自行拍摄的，通常是实体人物穿着相应的服装拍摄所得的实景图像。所述着装实景图像通常也是有限数量的，其背景内容也较少，因此，同理可以对其替换背景，采用随机背景图像与所述着装实景图像中的人体着装图像来合成出更多的样本图像。

为此，先利用抠图模型例如Matting模型对所述着装实景图像进行抠图，获得其中的人体着装图像，考虑到抠图模型常会导致出错，导致所提取的人体着装图像中的服装内容可能出现残缺，因而，本实施例中，利用所述着装实景图像与所述人体着装图像进行加权融合，获得合成草图，使其中的服装内容尽可能恢复服装的完整图像。将所述合成草图作为前景，与随机确定的一个背景图像进行合成，便可获得相应的样本图像。

以上各实施例中的服装平铺图像和着装实景图像，均预先给出了其中各个像素点相对应的标注信息，通常，所述标注信息是按照简易的分类方式给出的，例如将其中的第一区域设置为标签0，第二区域设置为标签1，第三区域设置为标签3，以此类推，表示出不同区域属于不同的景深。在根据所述服装平铺图像和着装实景图像生成新的样本图像之后，可以将新的样本图像仍与原先给定的标注信息建立映射关系，后续可将根据所述样本图像构造出来的训练样本与所述的标注信息建立映射关系，而在所述标注信息的基础上则可进一步获得所述训练样本的真实掩膜组。

根据以上关于获取样本图像的实施例可以看出，可以采用已经预先标注了服装主体图像区域的服装平铺图像和着装实景图像两种素材为基础，通过技术手段来制备大量的样本图像，实现样本特征的泛化，使训练样本的制作成本大幅降低，而又能通过这些特征泛化的样本图像所制作的训练样本来使图像分割模型快速收敛，降低训练成本。

在本申请任意实施例的基础上，请参阅图4，基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组，包括：

步骤S2110、获取所述样本图像相对应的标注信息，所述标注信息包含对所述样本图像的像素点所属景深相对应的类别标签；

当具备一个样本图像的标注信息之后，便可根据所述样本图像相对应的标注信息生成根据所述样本图像构造的训练样本的真实掩膜组。

一个实施例，可以在所述样本图像更早先的素材的基础上对其中的图像内容进行人工标注，按照不同图像内容相对应的图像区域所属的不同景深，标记这些不同景深相对应的类别标签，在人工标注阶段，所述类别标签可以采用0、1、2……之类的离散形式数据来表示，当然也可标注为枚举值。例如，可以将一张样本图像中的服装主体图像标记为“2”，将该样本图像中的背景内容标记为“0”，将该样本图像中的前景与背景之间的中景内容标记为“1”。当所述素材采用双线性插值算法缩放成样本图像时，同理也可对所述素材相应的标注信息的区域进行缩放，从而确保标注对应关系基本不变。

步骤S2120、根据所述标注信息中的类别标签，构造训练样本中各个像素点的独热编码向量，所述训练样本采用所述样本图像构造而成，由全部像素点的独热编码向量的相同位置元素表示出其相应的景深相对应的真实掩膜，由多个景深相对应的真实掩膜构成所述训练样本的真实掩膜组。

所述样本图像的标注信息尽管以类别标签的形式指示出其中各个区域的图像所属的类别，但每个区域的类别标签，实际上也是该区域内的每个像素点所属的类别标签。根据这个原理，可以对标注信息进行转换，以每个像素点为单位，采用独热编码向量的形式，表示出每个像素点对应不同景深的二值化数值，构成该像素点相对应的多分类标签。例如，设一张样本图像有如下各个像素点，其标注信息表示如下：

[1,0,0][1,0,0][0,1,0][0,1,0]……

[1,0,0][0,1,0][0,0,1][0,0,1]……

……

[0,1,0][0,1,0][0,1,0][0,1,0]……

[1,0,0][1,0,0][0,1,0][0,1,0]……

其中每个向量对应一个像素点，每个向量都有三个元素，分别对应三个景深，按照元素位置对应关系，将同一位置的二值化数值按照像素点对应关系的视角来看待，不难理解，将获得三个二值化的特征图，每个特征图实际上就是一个对应相应的景深的真实掩膜，例如，如下是对应上例中的第一元素位置的景深的真实掩膜的像素点数值分布的特征图：

1，1，0，0……

1，0，0，0……

……

0，0，0，0……

1，1，0，0……

从以上的示例可以看出，每个所述的真实掩膜组中的所有真实掩膜共同表示出相应的训练样本中的图像的像素点相对应的多分类标签，所述多分类标签构成独热编码向量，其中各个元素值分别表示所述多分类标签相应的像素点是否属于该元素值所在真实掩膜所对应的景深。

需要注意的是，用于制作真实掩膜组的标注信息，是适应将样本图像转换为规格图像和/或增强图像构成训练样本之后，与所述规格图像或增强图像维持相同尺度对应关系的标注信息。也就是说，当所述标注信息是对应生成所述样本图像的素材或者对应所述样本图像而提供时，应先将其转换为同与规格图像和增强图像等尺度的标注信息，再根据转换后的结果构造相应的真实掩膜组。

根据以上实施例可知，可以先在样本图像或其更早前的素材的基础上便捷地进行图像区域的标注，获得其相应的标注信息，然后根据标注信息进行编码，获得以独热编码向量表示的数据，相当于得到对应多个景深的多个真实掩膜，将区域标注信息转换为掩膜的表示形式，并且在数据结构中方便以三维数组表示，使运算更高效，这样的表示结果使得真实掩膜组可以提供给图像分割模型在训练阶段执行多分类任务时作为监督标签使用，使图像分割模型基于多分类任务更为可行，能提升训练效率。

在本申请任意实施例的基础上，请参阅图5，每次训练针对所述训练样本预测出对应全部预设景深的图像掩膜组，并采用所述训练样本相对应的真实掩膜组监督训练，包括：

步骤S2210、提取所述图像掩膜组中的边缘信息相对应的特征图作为增强权重；

当图像分割模型针对一个训练样本，预测出训练样本中的图像例如所述规格图像和/或增强图像的图像掩膜组之后，可应用一个池化层对所述图像掩膜组执行池化操作，获得池化掩膜组，以刻画出其中的边缘信息，然后，将池化掩膜组与相应的图像掩膜组相减，直到特征图，作为后续计算模型损失的增强权重w，公式表示如下：

w＝(pool(mask)-mask)

其中，mask表示图像掩膜组，pool表示池化层。

步骤S2220、关联所述增强权重计算所述图像掩膜组相对于所述真实掩膜组的两种以上的损失值，并汇总为总损失值；

为了决策所述图像分割模型是否达到收敛状态，以及实施对图像分割模型的梯度更新，需要计算图像分割模型的每个训练样本相对应的总损失值，所述总损失值可以采用两种或两种以上的损失值综合计算方式确定。

第一种损失值是交叉损失值由于本申请的真实掩膜组针对每个像素点提供了多分类标签，适对图像分割模型实施多分类训练以提升训练效率，因而，可以基于每个像素点相应的多分类标签计算各个像素点相应的交叉熵损失值，从而得到整个训练样本的交叉熵损失值其公式表示如下：

其中，y_c表示训练样本的图像掩膜组，表示训练样本相应的真实掩膜组，H,W分别为图像的高度和宽度两个维度，i，j指示像素点的坐标位置，w_ij指示像素点相应的增强权重。后续公式也同理。

交叉熵损失值可以具体到每个像素点计算分类损失，实现对模型推理能力的精细化的约束，促使模型能够针对每个像素点的景深进行尽可能准确的分类。

第二种损失值是交并比损失值其通过计算预测出的图像掩膜组和真实掩膜组之间的交集区域和并集区域的比值来确定损失值，公式表示如下：

交并比损失值可以基于图像掩膜组和真实掩膜组之间区域性的关系来确定预测损失，因而，可以促使模型能够兼顾预测的区域性整体效果。

第三种损失值是相似损失值其通过计算预测出的图像掩膜组与真实掩膜组之间的相似程度来确定损失值，公式表示如下：

相似损失值可以具体到各个像素点来计算图像掩膜组和真实掩膜组之间的相似损失，因而，也可进一步促使模型提升对各个像素点所属的景深的预测精度。

考虑到真实掩膜组本身是一种离散数值表示形式，而计算相似损失值适宜采用概率值表示的真实掩膜组，所以，可以在所述真实掩膜组的基础上进行转换，利用双线性插值算法的加权特性，在原始的真实掩膜组的基础上进行插值，将其中每个景深的各个像素点的数值转换为概率值形式，调整至对应所述图像掩膜组的数值表示区间例如[0,1]，实现标签软化，从而可用于计算所述的相似损失值。

一种实施例中，可以采用交叉熵损失值与交并比损失值或者相似损失值进行加权融合来确定所述总损失值，另一实施例中，可以使用以上三种损失值来加权融合确定所述总损失值，通过多种损失值共同约束图像分割模型的训练，可以确保图像分割模型获得更为准确的图像分割能力。

在计算各种损失值的过程中，引入所述增强权重对相应的损失值进行加权，由于所述增强权重刻画了图像中的边缘信息，可以使图像分割模型更加关注图像中的边缘特征，从而提升对边缘识别的准确性。

根据以上确定训练样本相对应的总损失值的计算原理可知，针对每个训练样本的监督过程，在真实掩膜组的帮助下，每个像素点都被转换为多分类任务，利用真实掩膜组为每个像素点提供的多分类标签可以基于多分类任务而确定出其相应的交叉熵损失值，此外，还可以根据所述真实掩膜组按需确定出交并比损失值，以及根据所述真实掩膜组进行标签软化后的结果计算出相似损失值，最后按需确定出训练样本相对应的总损失值，多管齐下，从多个方面共同约束图像分割模型的训练，使图像分割模型可以实现更为精准的图像分割效果。

步骤S2230、根据所述总损失值决策所述图像分割模型是否收敛，在未收敛时继续迭代训练并修正所述图像分类模型的权重参数，直至达到收敛为止。

当确定所述总损失值后，便可使用一个用于判决图像分割模型是否达到收敛状态的目标阈值，将所述总损失值与该目标阈值相比较，当所述总损失值达到所述目标阈值时，则判定图像分割模型已经达到收敛状态，可以终止训练任务，而将图像分割模型投入线上推理阶段使用。当所述总损失值未达到所述目标阈值时，则判定图像分割模型尚未达到收敛状态，根据所述总损失值对图像分割模型实施梯度更新，通过反向传播修正其权重参数，然后继续从训练数据集中调用下一训练样本实施迭代训练，直到将图像分割模型训练到收敛状态为止。

在一些实施例中，可以对所述图像分割模型实施批量训练，每次采用同一批的多个训练样本先后输入所述图像分割模型预测出相应的图像掩膜组，并采用相应的真实掩膜组计算出各个训练样本相应的总损失值，但不单独针对每个训练样本判决模型是否收敛，而是将多个训练样本的总损失值综合为同一个总损失值再与所述目标阈值比较判决模型是否收敛，从而一方面可以降低参数更新时候的方差，使图像分割模型收敛更加稳定，另一方面可以高度利用矩阵操作进行有效的梯度计算，提升训练速度。

根据以上实施例可知，在图像分割模型的训练过程中，通过在图像分割模型基于训练样本预测出的图像掩膜组的基础上刻画出边缘信息相对应的特征图，将该特征图作为计算多种损失值的权重，然后综合多种损失值，从像素点景深分类准确度、区域性分类准确度、图像分割精度等多个方面入手，按需确定出训练样本相对应的总损失值，再根据总损失值决策图像分割模型是否收敛或需梯度更新，从而将图像分割模型快速高效且低成本的训练至收敛状态，获得优异的多景深图像分割效果，使图像分割模型在包含服装内容的训练样本的帮助下，适于为包含服装内容的原始图像准确细腻地分割出其中某个景深相对应的服装主体图像。

在本申请任意实施例的基础上，请参阅图6，将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜，包括：

步骤S1410、将所述规格图像与所述增强图像合并输入图像分割模型，获得所述规格图像和增强图像各自相对应的图像掩膜组，每个图像掩膜组包含多个预设景深相对应的多个图像掩膜，所述多个预设景深的数量为三个以上；

本实施例中，所述图像分割模型预先训练成适于对应预测出三个景深相对应的图像掩膜，从而获得由三个景深的图像掩膜构成的图像掩膜组。所述三个景深，按照其图像所表示的实景空间的视角深度，分别对应前景、中景以及背景设置。对应本申请中服装内容分割任务来说，所述的前景可以是服装被穿着后，人眼可见部分；所述中景可以是服装未被穿着前可见，但被穿着后却被人体部分遮挡而不可见的部分；所述背景可以是纯粹的背景内容。

在其他实施例中，当然也可以是多于三个的任意确定数量的多个景深，视实际需要对所述图像分割模型实施相应的训练而使其习得相应的推理能力即可。

当将原始图像转换为规格图像，并在规格图像的基础上转换出与规格图像同尺度的增强图像后，可将所述规格图像和所述增强图像分别处理为红、绿、蓝三个通道相对应的图像数据，然后，在通道方向上将他们合并在一起，获得整个训练样本相对应的图像数据，将该图像数据输入所述图像分割模型中开始推理。

所述图像分割模型通过先后对所述图像数据进行降采样和升采样，便可预测出所述图像数据相对应的图像掩膜组，同理，所述图像掩膜组也是六个通道的数据，其中三个通道是对应规格图像生成的图像掩膜组，另三个通道则是对应增强图像生成的图像掩膜组。与输入的图像数据不同的是，同一图像的图像掩膜组中的各个通道，分别对应所述多个预设景深中的不同景深。所以，以三个景深为例中，每个景深，即前景、中景、背景，对应两个图像各能获得一个相应的图像掩膜，构成同一对，而这两个图像在图像内容上是同源的，因而，同一对的图像掩膜之间，具有语义上的相互参考意义。

步骤S1420、将构成服装的穿着可见部分所在景深相对应的两个所述的图像掩膜进行加权融合，获得所述目标图像掩膜。

适应本申请的服装内容图像分割任务，需要从给定的图像中分割出其中的服装主体图像，而所述服装主体图像是指构成服装的穿着可见部分的服装内容，对应的，便需要获得所述服装主体图像所在景深相对应的同一对图像掩膜，例如，所述服装主体图像通常是指三个预设景深中的前景，因而，便可分别调用所述规格图像和增强图像中对应所述前景的图像掩膜，然后，可结合预设权重，对所述前景相对应的两个图像掩膜进行加权融合，合并为同一个目标图像掩膜。

一种实施例中，可应用如下公式对同一景深的两个图像掩膜进行加权：

mask_total＝α*mask_x0+(1-α)*mask_y0

其中，mask_totaal为目标图像掩膜，mask_x0为规格图像的前景相对应的图像掩膜，mask_y0为增强图像的前景相对应的图像掩膜，α为用于实施平滑的权重。

可见，目标图像掩膜便实现了对同一景深的两个图像掩膜的语义的综合利用，有助于同时利用消除了锯齿的规格图像和优化了对比度的增强图像的图像质量优势，从而可以该目标图像掩膜为依据对原始图像、规格图像、增强图像任意之一实施图像提取，以获得优质的服装主体图像。

在本申请任意实施例的基础上，请参阅图7，根据所述目标图像掩膜从所述服装内容中提取出服装主体图像，包括：

步骤S1510、将所述目标图像掩膜变换至所述原始图像相同尺度；

通常，原始图像具有更高的分辨率，因而，其图像质量更佳，为了获得更优质和更大尺度的服装主体图像，可以在所述原始图像的基础上进行服装主体图像的提取。而为了实施图像提取，需要将所述目标图像掩膜变换至和所述原始图像相同尺度。

对所述目标图像掩膜进行尺度调整，同样可以应用双线性插值算法进行插值处理，由于图像分割模型预测出的图像掩膜中，对应每个像素点提供的是其属于相应的景深的概率值，是特定数值区间例如[0,1]之间的确定数值，由此获得的目标图像掩膜自然也是概率值的表示形式，因而，在应用双线性插值算法对目标图像掩膜进行尺度变换之后，依然可以确保最终的目标图像掩膜具有柔性的景深量化数值表示方式，采用这种表示方式的目标图像掩膜进行图像分割，可以获得更自然细腻的分割效果。

步骤S1520、计算出变换尺度后的所述目标图像掩膜中的所有连通域，删除其中面积较小的连通域后获得主体图像掩膜。

考虑到服装主体图像的面积占整张图像的比值通常较大，且是一个连续区域，除此之外的其他连续区域，虽然也可能被表示为前景，但也可能是误预测的结果，因而，可先基于变换尺度之后的目标图像掩膜计算出其中的所有连通域，然后，按照预设的较小阈值，例如0.1，将小于这个较小阈值的所有连通域都删除，保留其他连通域，实现滤波效果，将滤波所得的掩膜作为主体图像掩膜。

步骤S1530、基于所述主体图像掩膜从所述原始图像的服装内容中提取出其相应景深的服装主体图像。

在确定了所述的主体图像掩膜之后，利用所述主体图像掩膜对所述原始图像进行图像提取，便可提出其中的服装主体图像。

根据以上实施例可知，在图像分割模型预测出的结果的基础上生成的目标图像掩膜，经变换尺度和滤除较小的连通域之后，得到优质的主体图像掩膜，由于所述主体图像掩膜继承了本申请处理过程中的各个环节所取得的技术优势，因而，利用主体图像掩膜从原始图像中准确提取出图像质量优异的服装主体图像，所获得的服装主体图像，是相应的服装内容穿着到人体之后，视觉可见的部分，不包含穿着之后不可见的部分，因而后续可以被用来为各种下游任务提供基础服装图像，用于实现虚拟试衣之类的服务，具有广泛的应用场景。

请参阅图8，根据本申请的一个方面提供的一种服装图像提取装置，包括原图获取模块1100、原图消噪模块1200、原图增强模块1300、分割执行模块1400，以及图像提取模块1500，其中，所述原图获取模块1100，设置为获取原始图像，所述原始图像包含服装内容；所述原图消噪模块1200，设置为将所述原始图像变换为消除了其图像内容中的边缘锯齿的规格图像；所述原图增强模块1300，设置为优化所述规格图像的对比度，获得增强图像；所述分割执行模块1400，设置为将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜；所述图像提取模块1500，设置为根据所述目标图像掩膜从所述服装内容中提取出服装主体图像。

在本申请任意实施例的基础上，先于所述分割执行模块1400，本申请的服装图像提取装置还包括：样本构造模块，设置为基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组，存储于训练数据集中，所述真实掩膜组包含三个以上的真实掩膜，每个真实掩膜对应单个相应的预设景深；模型训练模块，设置为采用所述训练数据集中的训练样本输入所述图像分割模型实施训练至收敛，每次训练针对所述训练样本预测出对应全部预设景深的图像掩膜组，并采用所述训练样本相对应的真实掩膜组监督训练。

在本申请任意实施例的基础上，先于所述样本构造模块，本申请的服装图像提取装置还包括如下任意一个或任意多个模块：旋转增强模块，设置为将所述包含服装内容的样本图像或所述样本图像的规格图像进行旋转处理；色带增强模块，设置为从所述包含服装内容的样本图像或所述样本图像的规格图像中识别出其中的服装内容的拼色区域，替换所述拼色区域中的颜色。

在本申请任意实施例的基础上，先于所述样本构造模块，本申请的服装图像提取装置还包括：第一制备模块，设置为获取服装内容相对应的服装平铺图像和模特身体图像，合成出模特着装图像，将所述模特着装图像作为前景合成到随机背景图像中获得所述样本图像；和/或，第二制备模块，设置为获取着装实景图像，提取出其中的人体着装图像与所述着装实景图像相融合获得合成草图，将所述合成草图作为前景合成到随机背景图像中获得所述样本图像。

在本申请任意实施例的基础上，所述样本构造模块，包括：标签获取单元，设置为获取所述样本图像相对应的标注信息，所述标注信息包含对所述样本图像的像素点所属景深相对应的类别标签；标签转换单元，设置为根据所述标注信息中的类别标签，构造训练样本中各个像素点的独热编码向量，所述训练样本采用所述样本图像构造而成，由全部像素点的独热编码向量的相同位置元素表示出其相应的景深相对应的真实掩膜，由多个景深相对应的真实掩膜构成所述训练样本的真实掩膜组。

在本申请任意实施例的基础上，所述多个预设景深包括指示属于图像中的背景内容的第一景深、指示属于图像中的服装内容的穿着后不可见部分的第二景深、指示属于图像中的服装内容的穿着后可见部分的第三景深。

在本申请任意实施例的基础上，每个所述的真实掩膜组中的所有真实掩膜共同表示出相应的训练样本中的图像的像素点相对应的多分类标签，所述多分类标签构成独热编码向量，其中各个元素值分别表示所述多分类标签相应的像素点是否属于该元素值所在真实掩膜所对应的景深。

在本申请任意实施例的基础上，所述模型训练模块，包括：权重提取单元，设置为提取所述图像掩膜组中的边缘信息相对应的特征图作为增强权重；损失计算单元，设置为关联所述增强权重计算所述图像掩膜组相对于所述真实掩膜组的两种以上的损失值，并汇总为总损失值；迭代决策单元，设置为根据所述总损失值决策所述图像分割模型是否收敛，在未收敛时继续迭代训练并修正所述图像分类模型的权重参数，直至达到收敛为止。

在本申请任意实施例的基础上，所述分割执行模块1400，包括：推理执行单元，设置为将所述规格图像与所述增强图像合并输入图像分割模型，获得所述规格图像和增强图像各自相对应的图像掩膜组，每个图像掩膜组包含多个预设景深相对应的多个图像掩膜，所述多个预设景深的数量为三个以上；融合处理单元，设置为将构成服装的穿着可见部分所在景深相对应的两个所述的图像掩膜进行加权融合，获得所述目标图像掩膜。

在本申请任意实施例的基础上，所述图像提取模块1500，包括：尺度变换单元，设置为将所述目标图像掩膜变换至所述原始图像相同尺度；过滤优化单元，设置为计算出变换尺度后的所述目标图像掩膜中的所有连通域，删除其中面积较小的连通域后获得主体图像掩膜。提取执行单元，设置为基于所述主体图像掩膜从所述原始图像的服装内容中提取出其相应景深的服装主体图像。

本申请的另一实施例还提供一种服装图像提取设备。如图9所示，服装图像提取设备的内部结构示意图。该服装图像提取设备包括通过系统总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中，该服装图像提取设备的计算机可读的非易失性可读存储介质，存储有操作系统、数据库和计算机可读指令，数据库中可存储有信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种服装图像提取方法。

该服装图像提取设备的处理器用于提供计算和控制能力，支撑整个服装图像提取设备的运行。该服装图像提取设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行本申请的服装图像提取方法。该服装图像提取设备的网络接口用于与终端连接通信。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的服装图像提取设备的限定，具体的服装图像提取设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本实施方式中处理器用于执行图8中的各个模块的具体功能，存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于实现用户终端或服务器之间的数据传输。本实施方式中的非易失性可读存储介质中存储有本申请的服装图像提取装置中执行所有模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有模块的功能。

本申请还提供一种存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本申请任一实施例的服装图像提取方法的步骤。

本申请还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。

本领域普通技术人员可以理解，实现本申请上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性可读存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等计算机可读存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

综上所述，本申请能够从包含服装内容的原始图像中精准地提取出其中穿着可见部分的服装主体图像，所获得的服装主体图像自然细腻，为虚拟试衣技术提供可靠的素材，具有广泛的适用场景，而且实施成本较低。

Claims (14)

1.一种服装图像提取方法，其特征在于，包括：

获取原始图像，所述原始图像包含服装内容；

将所述原始图像变换为消除了其图像内容中的边缘锯齿的规格图像；

优化所述规格图像的对比度，获得增强图像；

将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜；

根据所述目标图像掩膜从所述服装内容中提取出服装主体图像。

2.根据权利要求1所述的服装图像提取方法，其特征在于，将所述规格图像与所述增强图像合并输入图像分割模型之前，包括：

基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组，存储于训练数据集中，所述真实掩膜组包含三个以上的真实掩膜，每个真实掩膜对应单个相应的预设景深；

采用所述训练数据集中的训练样本输入所述图像分割模型实施训练至收敛，每次训练针对所述训练样本预测出对应全部预设景深的图像掩膜组，并采用所述训练样本相对应的真实掩膜组监督训练。

3.根据权利要求2所述的服装图像提取方法，其特征在于，基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组之前，包括如下任意一个或任意多个步骤：

将所述包含服装内容的样本图像或所述样本图像的规格图像进行旋转处理；

从所述包含服装内容的样本图像或所述样本图像的规格图像中识别出其中的服装内容的拼色区域，替换所述拼色区域中的颜色。

4.根据权利要求2所述的服装图像提取方法，其特征在于，基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组之前，包括：

获取服装内容相对应的服装平铺图像和模特身体图像，合成出模特着装图像，将所述模特着装图像作为前景合成到随机背景图像中获得所述样本图像；

和/或，

获取着装实景图像，提取出其中的人体着装图像与所述着装实景图像相融合获得合成草图，将所述合成草图作为前景合成到随机背景图像中获得所述样本图像。

5.根据权利要求2所述的服装图像提取方法，其特征在于，基于包含服装内容的样本图像相应的规格图像和/或增强图像构造训练样本及其相应的真实掩膜组，包括：

获取所述样本图像相对应的标注信息，所述标注信息包含对所述样本图像的像素点所属景深相对应的类别标签；

根据所述标注信息中的类别标签，构造训练样本中各个像素点的独热编码向量，所述训练样本采用所述样本图像构造而成，由全部像素点的独热编码向量的相同位置元素表示出其相应的景深相对应的真实掩膜，由多个景深相对应的真实掩膜构成所述训练样本的真实掩膜组。

6.根据权利要求2所述的服装图像提取方法，其特征在于：所述多个预设景深包括指示属于图像中的背景内容的第一景深、指示属于图像中的服装内容的穿着后不可见部分的第二景深、指示属于图像中的服装内容的穿着后可见部分的第三景深。

7.根据权利要求2所述的服装图像提取方法，其特征在于：每个所述的真实掩膜组中的所有真实掩膜共同表示出相应的训练样本中的图像的像素点相对应的多分类标签，所述多分类标签构成独热编码向量，其中各个元素值分别表示所述多分类标签相应的像素点是否属于该元素值所在真实掩膜所对应的景深。

8.根据权利要求2所述的服装图像提取方法，其特征在于，每次训练针对所述训练样本预测出对应全部预设景深的图像掩膜组，并采用所述训练样本相对应的真实掩膜组监督训练，包括：

提取所述图像掩膜组中的边缘信息相对应的特征图作为增强权重；

关联所述增强权重计算所述图像掩膜组相对于所述真实掩膜组的两种以上的损失值，并汇总为总损失值；

根据所述总损失值决策所述图像分割模型是否收敛，在未收敛时继续迭代训练并修正所述图像分类模型的权重参数，直至达到收敛为止。

9.根据权利要求1至8中任意一项所述的服装图像提取方法，其特征在于，将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜，包括：

将所述规格图像与所述增强图像合并输入图像分割模型，获得所述规格图像和增强图像各自相对应的图像掩膜组，每个图像掩膜组包含多个预设景深相对应的多个图像掩膜，所述多个预设景深的数量为三个以上；

将构成服装的穿着可见部分所在景深相对应的两个所述的图像掩膜进行加权融合，获得所述目标图像掩膜。

10.根据权利要求1至8中任意一项所述的服装图像提取方法，其特征在于，根据所述目标图像掩膜从所述服装内容中提取出服装主体图像，包括：

将所述目标图像掩膜变换至所述原始图像相同尺度；

计算出变换尺度后的所述目标图像掩膜中的所有连通域，删除其中面积较小的连通域后获得主体图像掩膜。

基于所述主体图像掩膜从所述原始图像的服装内容中提取出其相应景深的服装主体图像。

11.一种服装图像提取装置，其特征在于，包括：

原图获取模块，设置为获取原始图像，所述原始图像包含服装内容；

原图消噪模块，设置为将所述原始图像变换为消除了其图像内容中的边缘锯齿的规格图像；

原图增强模块，设置为优化所述规格图像的对比度，获得增强图像；

分割执行模块，设置为将所述规格图像与所述增强图像合并输入图像分割模型确定出与所述服装内容中构成服装的穿着可见部分所在景深相对应的目标图像掩膜；

图像提取模块，设置为根据所述目标图像掩膜从所述服装内容中提取出服装主体图像。

12.一种服装图像提取设备，包括中央处理器和存储器，其特征在于，所述中央处理器设置为调用运行存储于所述存储器中的计算机程序以执行如权利要求1至10中任意一项所述的方法的步骤。

13.一种非易失性可读存储介质，其特征在于，其以计算机可读指令的形式存储有计算机程序，所述计算机程序被计算机调用运行时，执行如权利要求1至10中任意一项所述的方法所包括的步骤。

14.一种计算机程序产品，其特征在于，包括计算机程序/指令，所述计算机程序/指令被处理器运行时，执行如权利要求1至10中任意一项所述的方法的步骤。

Images