CN113920032A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、装置、电子设备及存储介质。其中，所述方法可以包括，对待处理的原始图像进行抠图处理，得到抠图结果，所述抠图结果中包括包含所述原始图像中的保留区域的保留区域图，以及与所述原始图像对应的透明度图。根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图。基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术，具体涉及图像处理方法、装置、电子设备及存储介质。

背景技术

区域替换作为一种基础性的图片编辑技术的一部分，被广泛应用于各种图片编辑软件，相机后端算法等场景。目前工业界普遍使用分割模型，对待处理的原始图像进行语义分割得到其中被替换区域的粗糙的掩膜结果。然后再根据该掩膜结果与包含目标区域的图像进行融合，实现将所述被替换区域替换为所述目标区域。

但是，相关技术中，所述目标区域与所述原始图像会存在明显的色调差异，直接进行替换往往会出现明显的画面色调不统一的情况，导致区域替换效果差。

发明内容

有鉴于此，本申请实施例至少提供一种图像处理方法、装置、电子设备及存储介质。

本申请提供一种图像处理方法，所述方法包括：对待处理的原始图像进行抠图处理，得到抠图结果，所述抠图结果中包括包含所述原始图像中的保留区域的保留区域图，以及与所述原始图像对应的透明度图；所述保留区域为所述原始图像中的前景或者背景；所述透明度图内像素的数值指示像素的透明度；根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异；所述目标区域用于替换所述原始图像中的非保留区域；根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图；基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

在一些实施例中，所述根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异，包括：对所述保留区域图内的像素和所述素材图像内的像素分别进行采样，得到保留区域采样点与素材采样点；基于所述保留区域采样点的像素值与素材采样点的像素值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

在一些实施例中，所述方法还包括：对所述透明度图内的像素进行采样，得到透明度采样点；所述基于所述保留区域采样点的像素值与素材采样点的像素值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异，包括：基于所述保留区域采样点的像素值，与所述透明度采样点的透明度值，确定所述保留区域采样点的第一像素均值；基于所述素材采样点的像素值，确定所述素材采样点的第二像素均值；根据所述第一像素均值与所述第二像素均值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

在一些实施例中，所述根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图，包括：基于所述颜色差异，对所述保留区域图内像素的像素值进行调整，得到初步调整后的保留区域图；所述初步调整后的保留区域图内像素融合了所述颜色差异；基于所述初步调整后的保留区域图内像素的像素均值与进行所述初步调整之前的保留区域图内像素的像素均值之间的差异，对所述初步调整后的保留区域图内像素的像素值进行调整，得到与所述目标区域色调匹配的调整后的保留区域图。

在一些实施例中，所述基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像，包括：基于所述透明度图与所述保留区域图进行融合得到第一结果；于所述素材图像与所述透明度图对应的反向透明度图进行融合得到第二结果；将所述第一结果与所述第二结果进行融合得到所述目标图像。

在一些实施例中，所述对待处理的原始图像进行抠图处理，得到抠图结果，包括：获取待处理的原始图像对应的三分图；所述三分图中每个像素对应的数值表示所述像素属于所述原始图像中的保留区域、非保留区域或待确定区域中的任一区域的概率；根据所述三分图和所述原始图像进行抠像处理，得到所述抠图结果。

在一些实施例中，所述获取待处理的原始图像对应的三分图，包括：对待处理的原始图像进行语义分割处理，得到所述原始图像的语义概率图，所述语义概率图内像素的数值指示所述像素在所述原始图像中属于所述保留区域的第一概率；基于所述语义概率图进行概率转换处理，得到所述原始图像对应的三分图。

在一些实施例中，所述对待处理的原始图像进行语义分割处理，得到对应原始图像的语义概率图，包括：通过语义分割网络对所述原始图像进行语义分割处理，得到所述语义分割网络输出的所述语义概率图；所述根据三分图和原始图像进行抠像处理，包括：通过抠像网络，根据所述三分图和原始图像进行抠像处理。

在一些实施例中，所述基于所述语义概率图进行概率转换处理，得到所述原始图像对应的三分图，包括：将所述语义概率图中的每个像素的第一概率，通过概率转换，得到所述像素属于所述三分图中待确定区域的第二概率；根据所述像素的第一概率和第二概率，生成所述三分图。

在一些实施例中，所述第一概率表征所述像素属于前景或者背景的概率越高，经概率转换得到的所述第二概率表征所述像素属于三分图中的待确定区域的概率越低；所述根据所述像素的第一概率和第二概率，生成所述三分图，包括：对于所述原始图像中的每个像素，根据所述像素对应的第一概率和第二概率进行概率融合，确定所述像素在所述三分图中对应的数值。

在一些实施例中，所述根据所述三分图和所述原始图像进行抠像处理，得到所述抠图结果，包括：根据所述三分图和所述原始图像进行抠像处理，得到保留区域残差和所述原始图像的初始透明度图；所述初始透明度图内像素的数值指示像素的透明度；基于所述原始图像和所述保留区域残差，得到所述保留区域图；根据所述三分图，对所述初始透明度图内像素的数值进行调整，得到与所述原始图像对应的透明度图。

在一些实施例中，在对待处理的原始图像进行语义分割处理之前，所述方法还包括：对所述原始图像进行缩放处理；所述基于所述原始图像和保留区域残差，得到所述保留区域图，包括：将根据所述三分图和所述原始图像进行抠像处理得到的保留区域残差放大至所述缩放处理之前的尺度；根据放大后的保留区域残差和所述原始图像，得到所述保留区域图。

在一些实施例中，所述非保留区域包括所述原始图像中的天空区域；所述目标区域包括所述素材图像中的天空区域。

本申请提出一种图像处理装置，所述装置包括：抠图模块，用于对待处理的原始图像进行抠图处理，得到抠图结果，所述抠图结果中包括包含所述原始图像中的保留区域的保留区域图，以及与所述原始图像对应的透明度图；所述保留区域为所述原始图像中的前景或者背景；所述透明度图内像素的数值指示像素的透明度；确定模块，用于根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异；所述目标区域用于替换所述原始图像中的非保留区域；调整模块，用于根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图；融合模块，用于基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

本申请提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如前述任一实施例示出的图像处理方法。

本申请提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如前述任一实施例示出的图像处理方法。

本申请实施例提供的图像处理方法、装置、电子设备及存储介质公开的技术方案中，一方面，可以根据对原始图像进行抠图处理得到的保留区域内像素的像素值以及目标区域内像素的像素值，确定所述保留区域与所述目标区域之间的颜色差异，然后可以根据所述颜色差异对所述保留区域内像素进行色调调整，统一所述保留区域内像素与所述目标区域内像素的色调，从而进行区域替换的过程中，可以保证目标区域与原始图像中的非保留区域色调相匹配，从而提升区域替换效果。

另一方面，可以利用三分图进行抠图，从而可以很好的保留区域与非保留区域交接位置的细节信息，在进行区域替换时，有利于提升保留区域与非保留区域之间的衔接效果。

还一方面，还可以将抠像网络进行通道压缩等处理，并且将原始图像进行缩放处理，以使得抠像过程运行耗时和内存消耗在移动端的负担范围内，从而可以无需通过服务端进行区域替换，保证数据的安全与隐私性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例示出的一种图像处理方法的流程示意图；

图2为本申请实施例示出的一种确定颜色差异的方法流程示意图；

图3为本申请实施例示出的一种确定颜色差异的方法流程示意图；

图4为本申请实施例示出的一种色调调整方法的流程示意图；

图5为本申请实施例示出的一种抠图方法的流程示意图；

图6为本申请实施例示出的一种获取三分图方法的流程示意图；

图7a为本申请实施例示出的一种人物图像示意图；

图7b为本申请实施例示出的一种语义概率图示意图；

图7c为本申请实施例示出的一种三分图示意图；

图7d为本申请实施例示出的一种透明度图示意图；

图7e为本申请实施例示出的一种前景图像示意图；

图7f为本申请实施例示出的一种目标图像示意图；

图8为本申请实施例示出的一种区域替换的过程示意图；

图9为基于图8的区域替换流程示意图；

图10为本申请实施例示出的一种网络训练方法的流程示意图；

图11为本申请实施例示出的一种图像处理方法的结构示意图；

图12为本申请实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

下面将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的设备和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。还应当理解，本文中所使用的词语“如果”，取决于语境，可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。前述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。

有鉴于此，本申请提出一种图像处理方法。该方法在区域替换时，可以保证目标区域与原始图像中的保留区域色调匹配，从而提升区域替换效果。

请参见图1，图1为本申请实施例示出的一种图像处理方法的流程示意图。

图1示出的处理方法可以应用于电子设备中。其中，所述电子设备可以通过搭载与处理方法对应的软件逻辑执行该方法。所述电子设备的类型可以是笔记本电脑，计算机，手机，掌上电脑(Personal Digital Assistant，PDA)等。在本申请中不特别限定所述电子设备的类型。所述电子设备也可以是客户端设备和/或服务端设备，在此不作特别限定。

如图1所示，所述图像处理方法可以包括S102-S108。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S102，对待处理的原始图像进行抠图处理，得到抠图结果，所述抠图结果中包括所述原始图像中的保留区域的保留区域图，以及与所述原始图像对应的透明度图；所述保留区域为所述原始图像中的前景或者背景；所述透明度图内像素的数值指示像素的透明度。

所述原始图像，包括需进行区域替换的图像。该原始图像可以包括保留区域与非保留区域。在区域替换场景中，所述非保留区域一般作为被替换区域，被其它素材进行替换。所述保留区域与所述非保留区域可以通过图像处理技术被区分开来。

所述保留区域，是指在对图像进行区域替换的过程中进行保留，不被替换的区域。例如，在替换背景区域的场景中，前景区域为保留区域。比如需要将人物图像中的背景区域(如天空区域)进行替换，其中包含人物的前景区域可以作为所述保留区域。在替换前景区域的场景中，背景区域即为保留区域。

所述保留区域图中可以包括从所述原始图像中抠出的保留区域。所述保留区域图的大小与所述原始图像的大小相同。所述保留区域图中除所述保留区域以外的区域可以用预设像素值的像素填充。例如，所述预设像素值可以是0，1等。

所述透明度图，用于通过透明度的取值的不同来区分保留区域与非保留区域的图。所述透明度图内像素的数值指示对应像素的透明度。在一些实施例中，所述透明度图中属于所述保留区域的像素的透明度值为第一取值，属于非保留区域的像素的透明度值为第二取值。

在不同的场景中，所述第一取值与所述第二取值会有所变化。

例如，在区域替换，且不会保留原有区域的场景中，透明度图的所述第一取值可以为1，指示所述保留区域的像素为非透明，透明度图的所述第二取值可以为0，指示非保留区域的像素为透明。通过该透明度对非保留区域进行替换，完全不会保留原有的非保留区域。再例如，在区域替换，需要虚化原有保留区域的场景中，透明度图的所述第一取值可以为1，指示所述保留区域的像素为非透明，透明度图的所述第二取值可以为0.3，指示非保留区域的像素为半透明。通过该透明度对非保留区域进行替换，可以虚化原有保留区域。在一些实施方式中，在S102中，可以获取待处理的原始图像对应的三分图；所述三分图中每个像素对应的数值表示所述像素属于所述原始图像中的保留区域、非保留区域或待确定区域中的任一区域的概率；然后可以根据所述三分图，对所述原始图像进行抠像处理，得到所述保留区域图与所述透明度图。

所述三分图具备区分图像中前景，背景，以及前景与背景之间交接区域的特性。即，不论保留区域为原始图像中的前景还是背景，利用所述三分图区分出原始图像中保留区域，非保留区域，以及保留区域与非保留区域之间的待确定区域，以保存保留区域与非保留区域交接位置的细节信息。

在一些实施方式中，也可以采用预先训练的抠图网络进行抠图处理。所述抠图网络预先通过标注了透明度信息与保留区域信息的训练样本通过有监督方式训练得到。将所述原始图像输入该抠图网络即可得到保留区域与透明度图。

S104，根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异；所述目标区域用于替换所述原始图像中的非保留区域。

所述素材图像一般是预先获取的一些图像，这些图像包含用于替换非保留区域的替换素材。这些替换素材在所述素材图像中所占的区域可以被称为目标区域。例如，在天空替换场景中，所述素材图像可以包含一些天空素材，这些天空素材可以用于替换原始图像中的天空(即，原始图像中的非保留区域)。

所述颜色差异，是指所述保留区域内像素与所述目标区域内像素的像素值差异。

像素的像素值可以指示像素的颜色值。示例性的，可以通过计算所述保留区域图内像素的像素值与所述素材图像内像素的像素值之间的差异均值可以得到所述保留区域与所述目标区域之间的颜色差异。

在一些实施方式中，可以通过采样的方式在保留区域与目标区域内采样，通过采样点的像素值确定所述颜色差异，从而减少确定颜色差异的运算量，进而提升区域替换效率。

请参见图2，图2为本申请实施例示出的一种确定颜色差异的方法流程示意图。图2示出的步骤为对S104的说明。如图2所示，所述确定方法可以包括S202-S204。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S202，对所述保留区域图内的像素和所述素材图像内的像素分别进行采样，得到保留区域采样点与素材采样点。

在一些实施方式中，可以预先设置采用步长(step)。例如可以将原始图像的短边整除预设值(例如，10，20，30等)后的结果确定为step。针对所述保留区域图，可以按照预设顺序(例如，从左到右，从上到下的顺序)及设定的步长进行采样，得到一些保留区域采样点；以及针对所述素材图像，按照所述预设顺序(例如，从左到右，从上到下的顺序)及设定的步长进行采样，得到一些素材采样点。

S204，基于所述保留区域采样点的像素值与素材采样点的像素值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

在一些实施方式中，可以根据所述保留区域采样点的像素值，确定保留区域采样点的像素均值或者像素中位数值，根据所述素材采样点的像素值，确定素材采样点的像素均值或者像素中位数值。然后基于两个像素均值或两个像素中位数值之差，确定所述颜色差异。

由此根据采样点的像素均值或像素中位数值代表采样点像素值，可以简化运算。

在一些实施方式中，可以在计算保留区域采样点像素均值的时候，结合保留区域采样点的透明度，从而确定的像素均值更准确，有助于准确确定保留区域与目标区域之间的颜色差异，进而有助于提升色调调整效果。

该实施方式中，可以先对所述透明度图内的像素进行采样，得到透明度采样点。

具体地，可以采用前述S202公开的step进行采样，得到一些透明度采样点。

请参见图3，图3为本申请实施例示出的一种确定颜色差异的方法流程示意图。图3示出的步骤为对S204的补充说明。如图3所示，所述确定方法可以包括S302-S306。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S302，基于所述保留区域采样点的像素值，与所述透明度采样点的透明度值，确定所述保留区域采样点的第一像素均值。

为了对像素均值做出区分，本申请将保留区域采样点的像素均值称为第一像素均值。

本申请实施例不限制如何确定所述第一像素均值的具体公式，如下仅示例一种：

如上的公式(1)，其中fg_mean指示所述第一像素均值。FG1是指保留区域采样点的像素值。Alpha1是指透明度采样点的透明度值。通过公式1可以结合采样点的透明度，得到准确的第一像素均值。

S304，基于所述素材采样点的像素值，确定所述素材采样点的第二像素均值。

本申请将素材采样点的像素均值称为第二像素均值。

通过平均数计算公式，对BG1求平均即可得到所述第二像素均值bg_mean。其中BG1为素材采样点的像素值。

S306，根据所述第一像素均值与所述第二像素均值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

像素的像素值可以指示像素的颜色信息。通过像素值的差异可以确定像素的颜色差异。本申请实施例不限制如何确定颜色差异的具体公式，如下仅示例一种：

diff＝bg_mean-fg_mean……………………(2)

如上公式(2)，其中diff指示所述颜色差异。bg_mean指示得到第二像素均值。fg_mean指示所述第一像素均值。

由此，根据S302-S304记载的步骤，一方面，可以根据采样点的像素均值或像素中位数值代表采样点像素值，可以简化运算。另一方面，在计算保留区域采样点像素均值的时候，结合了采样点的透明度，从而确定的像素均值更准确，有助于准确确定保留区域与目标区域之间的颜色差异，进而有助于提升色调调整效果。

S106，根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图。

色调是指图像色彩的总体倾向。图像虽然包括多种颜色，但总体有一种颜色倾向。例如图像可能偏蓝或偏红，偏暖或偏冷等等。这种颜色上的倾向就是所述图像的色调。即，通过图像内像素的像素值(颜色值)可以指示图像的色调，通过对图像像素的像素值进行调整即可完成色调调整。

所述色调调整可以是保留区域图内像素的颜色值更接近所述目标区域内像素的颜色值。

两幅图像的色调匹配，是指所述两幅图像内像素的颜色值之间的差异小于预设颜色阈值(经验阈值)，即两幅图像内像素的颜色值比较接近，呈现出色调大致相同的效果。

S106中，可以将保留区域图内像素的像素值融合所述颜色差异，以达到所述保留区域图的色调与所述目标区域的色调匹配的效果，完成所述色调调整。

本申请实施例不限制颜色融合的具体公式，如下仅示例一种：

new_FG＝q*diff+FG…………(3)

如上公式(3)，FG是指保留区域图内像素的像素值。new_FG是指调整后的保留区域图内像素的像素值。q是预设的调整系数。该q是根据业务需求预先设定的数值。diff指示目标区域与保留区域之间的颜色差异。通过该公式(3)可以通过基于所述颜色差异，对保留区域图内像素进行色调调整，得到与目标区域色调匹配的调整后的保留区域图，进而便于提升区域替换效果。

在一些实施方式中，还可以融合所述调整后的保留区域图与调整前的所述保留区域之间的颜色差异，对调整后的保留区域图内像素再次进行调整，降低调整后图像的像素值过大或过小，提升色调调整效果。

请参见图4，图4为本申请实施例示出的一种色调调整方法的流程示意图。图4示出的步骤为对S106的补充说明。如图4所示，所述方法可以包括S402-S404。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S402，基于所述颜色差异，对所述保留区域图内像素的像素值进行调整，得到初步调整后的保留区域图；所述初步调整后的保留区域图内像素融合了所述颜色差异。

为了对调整区域做出区分，本申请中将对保留区域内像素做调整之后得到的区域称为初步调整后的保留区域图。

在一些实施方式中，可以采用前述公式(3)得到所述初步调整后的保留区域图。

S404，基于所述初步调整后的保留区域图内像素的像素均值与进行所述初步调整之前的保留区域图内像素的像素均值之间的差异，对所述初步调整后的保留区域图内像素的像素值进行调整，得到与所述目标区域色调匹配的调整后的保留区域图。

所述像素均值之间的差异，可以指示所述初步调整后的保留区域图与进行所述初步调整之前的保留区域图之间的颜色差异。

S404中，可以先基于所述初步调整前后的保留区域图内像素的像素均值，确定所述初步调整前后的保留区域图内的像素值的差异，然后将所述初步调整后的保留区域图内像素融合所述像素值的差异，得到调整后的保留区域图。

本申请实施例不限制颜色融合的具体公式，如下仅示例一种：

new_FG＝new_FG+(mean(FG)-mean(new_FG))……………………(4)

如上公式(4)，其中，等号左边的new_FG即为最终得到的调整后的保留区域图内像素的像素值。等号右边的new_FG即为前述公式(3)得到的初步调整后的保留区域图内像素的像素值。mean()为求平均值函数。通过mean(FG)-mean(new_FG)可以得到初步调整后的保留区域图与所述初步调整之前的保留区域图之间的颜色差异。通过S402-S404，可以先利用公式3对保留区域图进行色调的初步调整，然后可以利用公式4对初步调整后的保留区域图进行色调回调，得到调整后的保留区域图，使得调整后的保留区域图的色调更加接近所述目标区域，但也不会过分偏离未进行色调调整之前的保留区域图，降低出现调整后的像素值过大或过小导致的颜色过亮或过暗的可能，提升色调调整效果，进而提升区域替换效果。

S108，基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

所述图像融合可以包括但不限于两个图像内像素的像素值拼接，相加，相乘等任一方式。

在S108中，可以基于所述透明度图与所述保留区域图进行融合得到第一结果，基于所述素材图像与所述透明度图对应的反向透明度图进行融合得到第二结果；然后再将所述第一结果与所述第二结果进行融合得到所述目标图像。

本申请实施例不限制图像融合的具体公式，如下仅示例一种：

new＝new_FG*Alpha+BG*(1-Alpha)…………………(5)

如上的公式(5)，其中new指示目标图像内像素的像素值。new_FG指示S106中得到的调整后的保留区域图内像素的像素值。BG指示目标区域对应的素材图像内像素的像素值。Alpha指示透明度图内像素的透明度值。其中，1-Alpha可以表示为透明度图对应的反向透明度图。透明度图Alpha与保留区域new_FG融合得到的第一结果可表示为new_FG*Alpha，素材图像BG与反向透明图融合得到的第二结果可表示为BG*(1-Alpha)，第一结果和第二结果融合的结果即为通过公式(5)得到的new。

所述透明度图中属于所述保留区域的像素的透明度值为第一取值，属于非保留区域的像素的透明度值为第二取值。例如，在区域替换，且不保留原有区域的场景中，所述第一取值可以为1，指示像素为非透明，所述取值可以为0，指示像素为透明。通过new_FG*Alpha，可以将所述调整后的保留区域图内属于所述保留区域的像素调整为非透明，属于所述非保留区域的像素调整为透明。通过BG*(1-Alpha)，将所述素材图像内属于所述目标区域的像素调整为非透明，属于非目标区域的像素调整为透明。通过公式5即可实现所述图像融合。

根据S102-S108记载的方案，可以根据对原始图像进行抠图处理得到的保留区域内像素的像素值以及目标区域内像素的像素值，确定所述保留区域与所述目标区域之间的颜色差异，然后可以根据所述颜色差异对所述保留区域内像素进行色调调整，统一所述保留区域内像素与所述目标区域内像素的色调，从而在将所述调整后的保留区域图与所述目标区域进行图像融合，进行区域替换的过程中，可以保证目标区域与原始图像中的保留区域色调匹配，从而提升区域替换效果。

相关技术中，普遍使用分割模型对保留区域进行语义分割得到非保留区域的粗糙的掩膜结果。然后再根据掩膜结果与素材图像实现对原有非保留区域的替换。由于分割模型输出的掩膜结果在保留区域与非保留区域的边界区域往往较为粗糙，直接使用掩膜进行替换会使得边界区域出现明显人工痕迹。例如，在天空替换场景中，原始图像中的天空与地平线上之间的一些局部细节有可能缺失。

在一些实施例中，可以采用三分图抠图的方式以解决前述问题。在S102中，可以利用与原始图像对应的三分图对所述原始图像进行抠图，得到所述保留区域图与所述透明度图，从而可以利用所述三分图可以很好地区分原始图像中保留区域，非保留区域，以及保留区域与非保留区域之间的待确定区域的特性，使得得到的透明度图可以保存保留区域与非保留区域交接位置的细节信息，与直接利用掩膜结果进行区域替换的方案相比，在基于所述透明度图进行区域替换时，可以有利于提升保留区域与目标区域之间的衔接效果。

请参见图5，图5为本申请实施例示出的一种抠图方法的流程示意图。图5示出的步骤为对S102的补充说明。如图5所示，所述抠图方法可以包括S502-S504。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S502，获取待处理的原始图像对应的三分图；所述三分图中每个像素对应的数值表示所述像素属于所述原始图像中的保留区域、非保留区域或待确定区域中的任一区域的概率。

所述三分图具备区分图像中前景，背景，以及前景与背景之间交接区域的特性。即，不论保留区域为原始图像中的前景还是背景，利用所述三分图区分出原始图像中保留区域，非保留区域，以及保留区域与非保留区域之间的待确定区域，以保存保留区域与非保留区域交接位置的细节信息。本申请中的三分图可以用trimap表示。

在一些实施方式中，可以采用编辑软件辅助获取所述原始图像的三分图。以保留区域为前景区域，可以通过图像编辑软件，在原始图像上标注非保留区域(背景区域)，保留区域(前景区域)，以及待确定区域，得到三分图。

在一些实施方式中，可以采用基于神经网络生成的三分图提取网络得到所述三分图。所述三分图提取网络可以预先经过标注了三分图信息的训练样本训练得到。

通过以上两种实施方式中，要么是由人工通过软件标注，要么是通过预测网络预测trimap。而人工标注的方式太复杂，使用不方便；网络预测的方式又需要大量的trimap标注，比较繁琐。

为了简化三分图获取流程，在一些实施方式中，不需要用户人工标注trimap，也不需要预先训练用于预测trimap的预测网络，而是可以基于语义分割的结果结合概率转换，就可以得到trimap。

请参见图6，图6为本申请实施例示出的一种获取三分图方法的流程示意图。图6示出的步骤为对S502中获取三分图方法的补充说明。如图6所示，所述抠图方法可以包括S602-S604。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S602，对待处理的原始图像进行语义分割处理，得到对应原始图像的语义概率图。

其中，可以将待进行抠图处理的图像称为原始图像。例如，假设要从一个人物图像中提取出非天空区域，该人物图像可以称为原始图像。其中的非天空区域即为抠图处理要提取的目标，可以称为保留区域，该保留区域可以是原始图像中的前景或者背景。

本实施例中，可以通过对原始图像进行语义分割处理，例如，可以通过语义分割网络进行分割处理。该语义分割网络包括但限于SegNet、U-Net、DeepLab、FCN等常用的分割网络。

通过语义分割处理后可以得到原始图像的语义概率图，该语义概率图可以包括：所述原始图像中的每个像素属于保留区域的概率。以保留区域为前景为例。语义概率图中，原始图像内的某个像素属于前景的概率可能是0.85，另一个像素属于前景的概率可能是0.24。

为了与后续的实施例描述中出现的其他概率相区分，本申请实施例可以将语义概率图中每个像素属于保留区域的概率称为第一概率。

S604，基于所述语义概率图进行概率转换处理，得到所述原始图像对应的三分图。

本步骤中，可以基于语义分割处理的结果，进行概率转换处理，得到三分图。本实施例中的通过概率转换处理得到的三分图可以用soft-trimap表示。

其中，所述的概率转换处理可以是通过数学转换的方式，将语义概率图中得到的像素对应的概率映射到soft-trimap中的像素对应的数值。

具体的，以保留区域为前景为例。可以将语义概率图中的概率执行如下两部分的概率转换：

1)基于语义概率图，将第一概率转换得到第二概率。

其中，三分图soft-trimap中可以包括三种区域：“保留区域(前景)”、“非保留区域(背景)”和“待确定区域”。本实施例可以将像素属于所述三分图中的待确定区域的概率称为第二概率。

将语义概率图中像素属于保留区域的第一概率转换到第二概率时，可以遵循如下的概率转换原则：第一概率表征所述像素属于保留区域(前景)或者非保留区域(背景)的概率越高，所述第二概率表征所述像素属于三分图中的待确定区域的概率越低。比如，第一概率越接近1和0，第二概率越接近于0；第一概率越接近0.5，第二概率越接近于1。上述转换原则即为，若图像中的一个像素属于保留区域(前景)的概率越高，或者属于非保留区域(背景)的概率越高，则该像素属于待确定区域的概率就越低；而像素属于保留区域(前景)或者非保留区域(背景)的概率在0.5附近时，表示该像素属于待确定区域的概率就越高。

基于上述的概率转换的原则，可以将第一概率转换得到第二概率。本申请实施例不限制如何转换的具体公式，如下仅示例一种：

un＝-k4*score⁴+k3*score³–k2*score²+k1*score.......(6)

如上的公式(6)，其中的un表示像素属于待确定区域的第二概率，score表示该像素在语义概率图中属于保留区域的第一概率。该公式(6)是一种多项式拟合的方式，通过多项式拟合，将像素的第一概率拟合得到第二概率。本实施例不限制上述的各个系数“k1/k2/k3/k4”的具体取值。

可以理解的是，实际实施中并不局限于上述的多项式拟合，也可以采用其他的函数式，只要遵循上述的概率转换原则即可。本实施例采用多项式拟合将第一概率转换为第二概率，能够使得这种多项式的转换计算效率更高，而且也较准确的反映了上述的转换原则。

2)根据所述像素的第一概率和第二概率，生成所述三分图。

如上，通过对原始图像进行语义分割处理，可以得到了语义概率图，通过该语义概率图就可以大致的将原始图像中的保留区域(前景)和非保留区域(背景)区分出来，例如，若一个像素属于前景的第一概率是0.96，那属于前景的概率很高；若一个像素属于前景的第一概率是0.14，即为像素属于背景的概率很高。

在基于语义概率图得到第二概率后，就可以得到每一个像素属于待确定区域的第二概率。对于原始图像中的每个像素，可以结合该像素在语义概率图中对应的第一概率、以及该像素属于待确定区域的第二概率进行概率融合，就可以得到该像素在三分图soft-trimap中对应的数值，该数值可以表征所述像素在原始图像中属于确定保留区域(前景)、非保留区域(背景)或待确定区域中的任一区域的概率。

举例来说：在soft-trimap中，若一个像素对应的数值越靠近1，表示该像素在原始图像中越可能属于保留区域(前景)；该像素在soft-trimap中对应的数值越靠近0，表示该像素越可能是非保留区域(背景)；该像素在soft-trimap中对应的数值越靠近0.5，表示该像素越可能是待确定区域。即通过像素在soft-trimap中对应的数值就可以表示出该像素属于保留区域、非保留区域或待确定区域中的任一区域的概率。

如下的公式(7)，示例了一种根据第一概率和第二概率得到三分图的方式：

soft_trimap＝-k5*un/k6*sign(score-k7)+(sign(score-k7)+k8)/k9.......(7)

如上的公式(7)中，soft_trimap表示soft-trimap中的像素对应的数值，un表示第二概率，score表示第一概率，sign()表示sign函数。同理，本实施例不限制上述的各个系数“k5/k6/k7/k8”的具体取值。

如上示例的描述，经过了将第一概率转换得到第二概率、以及结合第一概率和第二概率生成所述三分图的处理后，实现了基于语义概率图进行概率转换处理得到三分图soft_trimap。

在一些实施例中，在进行上述的基于语义概率图进行概率转换处理之前，还可以对所述语义概率图进行池化处理，并对池化处理后的语义概率图进行上述的概率转换处理。请参见下面的公式(8)：

score_＝avgpool2d(score,ks,stride).......(8)

如公式(8)所示，在一个示例中，可以对语义概率图进行平均池化处理，并且依据卷积步长stride、卷积核大小(kernel_size，ks)进行池化。score_表示池化处理后得到的语义概率图。

如果对语义概率图进行了池化处理，那么上面的公式(6)和公式(7)中的score都替换为score_，即都采用池化处理后的语义概率图执行概率转换。

上述池化处理中采用的kernel的大小可以调整，并且在对语义概率图进行概率转换前进行池化处理，有助于可以通过调整卷积核大小，调整将要生成的soft_trimap中的待确定区域的宽度。例如，kernel_size越大，待确定区域的宽度就可以越宽。

在一些实施例中，假设对待处理的原始图像的语义分割处理是由语义分割网络进行，那么在进行语义分割处理之前，还可以对原始图像的图像尺寸进行预处理，该预处理可以是基于语义分割网络对原始图像的下采样倍数，将原始图像的图像尺寸进行该下采样倍数的整数倍处理，所述的整数倍处理即使得处理后的图像尺寸能够整除上述下采样倍数scale_factor，该scale_factor是语义分割网络对原始图像的下采样倍数，具体数值由语义分割网络的网络结构确定。

通过S602-S604记载的步骤获取三分图，可以通过基于对原始图像进行语义分割得到的语义概率图，进行概率转换得到三分图，使得三分图的获得更加快捷方便，不再需要人工标注，也不再需要通过trimap标注训练预测网络，从而使得抠图处理的过程实现起来更加简单；并且，这种概率转换得到三分图的方式，依据了语义分割的语义概率图，从而使得生成的三分图较为准确。

S504，根据所述三分图和所述原始图像进行抠像处理，得到所述抠图结果。

本步骤中，所述的抠图处理的过程可以包括：将三分图和原始图像作为抠像网络的输入，得到所述抠像网络输出的保留区域残差、以及所述原始图像的初始透明度图。

所述保留区域残差可以通过抠像网络中残差处理单元得到的残差结果。所述保留区域残差可以指示通过所述残差处理单元提取的所述保留区域内像素的像素值与所述原始图像中相应像素的像素值之间的差值。

所述初始透明度图内像素的数值指示像素的透明度。

接着，可以基于原始图像和保留区域残差得到所述保留区域图(例如，基于前景残差和原始图像相加得到前景图像，或者基于背景残差和原始图像相加得到背景图像)，并可以根据所述三分图soft_trimap，对所述初始透明度图内像素的数值进行调整，得到与所述原始图像对应的透明度图。

通过前述调整，第一，可以将所述初始透明度图中，处于所述三分图的保留区域内的像素的透明度值调整为第一取值。第二，可以将所述初始透明度图中，处于所述三分图的非保留区域内的像素的透明度值调整为第二取值。第三，可以基于所述初始透明度图中处于所述三分图的待确定区域内的像素的透明度值的大小，对所述初始透明度图中处于所述待确定区域内的像素做出区分，区分出该待确定区域中内像素属于保留区域还是非保留区域，并为其赋值。

例如，在区域替换，且不保留原有区域的场景中，基于前述调整，可以使所述初始透明度图中处于所述三分图的保留区域内的像素的透明度值调整为1，可以使所述初始透明度图中处于所述三分图的非保留区域内的像素的透明度值调整为0，可以将所述初始透明度图处于所述待确定区域内的像素中，透明度值大于0.5的透明度值调整为1，小于0.5的透明度调整为0。

根据S502-S504记载的抠图方案，可以利用三分图进行抠图，从而可以很好的保存保留区域与非保留区域交接位置的细节信息，在进行区域替换时，有利于提升保留区域与目标区域之间的衔接效果。

相关技术中，手机端的区域替换软件主要是在通过将数据上传到服务端进行处理，然后将区域替换结果再传输回手机端本地读取。该方案中数据的安全与隐私性很难得到保。

为了解决这一问题，考虑到移动端的处理能力，在一些实施例中可以将部署到移动端的网络进行小型化设计，并且可以将原始图像的尺寸进行缩放，以使得运行耗时和内存消耗在移动端的负担范围内，从而可以无需通过服务端进行区域替换，保证数据的安全与隐私性。如下描述一个在移动端进行抠像的例子。

本实施例在利用S502-S504记载的方法进行抠像时，可以采用语义分割网络和抠像网络。其中，语义分割网络可以是SegNet、U-Net等网络，抠像网络可以包括编码器(encoder)和解码器(decoder)。所述的抠像网络的编码器可以采用mobv2的结构设计，并且在部署到移动端之前，可以将抠像网络进行通道压缩，所述的通道压缩可以是对抠像网络的网络中间特征的通道数量进行压缩。例如，可以是将抠像网络处理过程中的卷积核的输出通道数量降低，假设卷积核的输出通道数原本是a，可以按照0.35倍的通道数量进行压缩，压缩后卷积核的输出通道数是0.35*a。

以下结合对人物图像中的天空场景进行替换为例进行说明。

请参见图7a，图7a为本申请实施例示出的一种人物图像示意图。

图7a示出的人物图像中的天空区域作为背景区域，也是非保留区域，需要替换为预先获取的素材图像中的另一种天空区域(即本申请中的目标区域)。图7a中的非天空区域即为本例中需要抠出的保留区域，也即前景区域。

请参见图8，图8为本申请实施例示出的一种区域替换的过程示意图。图9为基于图8的区域替换流程示意图。如图9所示，所述方法可以包括S901-S909。除特别说明外，本申请不特别限定这些步骤的执行顺序。

S901，对待处理的原始图像进行缩放处理。

本实施例的原始图像可以是图7a示出的人物图像。该人物图像可以是用户通过移动终端摄像头拍摄得到，或者也可以是移动终端存储或从其他设备接收到的图像。

本实施例进行抠图处理的目的可以是提取该人物图像中的非天空区域。可以将原始图像中的非天空区域作为前景。

由于本实施例是在移动端执行抠图处理，为了减轻移动端处理的负担，节省移动端的计算量，可以对原始图像进行缩放。假设图7a中的原始图像的尺寸是1080*1920，可以将该图像缩放到480*288的尺寸。例如，可以通过双线性差值的方式进行缩放。可以参照如下的公式(9)和公式(10)进行缩放：

scale＝max(h/basesize,w/basesize).......(9)

new_h＝int(h/scale+k10)new_w＝int(w/scale+k11).......(10)

其中，h和w是原始图像的长和宽，basesize是基准尺寸，本例子中是480，int(x)表示对x进行取整。new_h和new_w分别是对原始图像进行缩放后的尺寸，其中，公式(10)中的系数的具体取值本实施例不做限制。

此外，可以继续根据公式(11)和公式(12)，对原始图像的图像尺寸进行下采样倍数的整数倍处理，来控制缩放后的图像尺寸能够整除语义分割网络对图像的下采样倍数scale_factor。可以理解，所述的整数倍处理也可以采用其他公式，不局限于如下的两个公式。

new_h＝int(int(int(new_h–k12+scale_facor–k13)/scale_factor)*scale_factor)......(11)

new_w＝int(int(int(new_w–k14+scale_facor–k15)/scale_factor)*scale_factor)......(12)

本实施例不限制上述的公式(11)和公式(12)中的各个系数的具体取值，例如，可以将上述的k12至k15的取值都设置为1。如果将缩放前的原始图像以A标识，那么在缩放成480*288的图像后，再将该图像进行归一化得到的原始图像可以用B标识。参见图8中所示，原始图像B即为缩放处理后的原始图像。

S902，通过语义分割网络对缩放处理后的原始图像进行语义分割处理，得到语义分割网络输出的所述语义概率图。

结合图8所示，可以通过语义分割网络81对原始图像B进行语义分割处理，得到语义分割网络输出的语义概率图82，该语义概率图可以用score标识，并且图7b示意了一种语义概率图。可以看到，该语义概率图score指示像素属于非天空区域(前景)的概率，粗略的区分了图像中的前景和背景，即粗略区分了天空区域与非天空区域。

S903，基于所述语义概率图进行概率转换处理，得到三分图。

本步骤中，可以按照前述S604中描述的概率转换处理生成三分图soft-trimap。例如，可以先根据公式(8)将语义概率图进行池化处理，再对池化后的语义概率图根据公式(6)和公式(7)生成三分图。参见图8中的该三分图83。

请参见图7c的示意，该图7c示意了一种三分图soft-trimap，可以看到，该soft-trimap中的像素的概率值可以表示该像素属于三种区域的概率，根据该概率值可以区分了图像中的“天空区域”、“非天空区域”和“天空区域与非天空区域之间的待确定区域”。

S904，将三分图和原始图像作为抠像网络的输入，得到抠像网络输出的前景残差和初始透明度图。

请参见图8所示，可以将三分图83和原始图像B都作为抠像网络84的输入，该抠像网络可以输出一个4通道的结果，其中一个通道的结果是初始透明度图raw_alpha，另外三个通道的结果是前景残差fg_res。图8中的抠像网络输出的第一结果85可以包括“raw_alpha+fg_res”。

S905，基于原始图像和前景残差得到包含前景区域的前景图像，并根据初始透明度和三分图得到透明度图。

所述前景即人物图像中的非天空区域。

请继续结合图8所示，可以将前景残差fg_res通过双线性差值进行放大处理，使得恢复到所述缩放处理之前的尺度，然后执行公式(13)：

FG＝clip(A+fg_res,s1,s2).......(13)

如图8所示，可以根据放大处理后的前景残差fg_res和原始图像A，得到抠图结果86，即原始图像中的前景图像FG。其中，(clip(x,s1,s2)为将x的数值限制在[s1,s2])。本实施例不限制上述的公式(13)中的s1和s2的具体取值，例如，s1可以是0，s2可以是1。

此外，可以按照下面的公式(14)和公式(15)计算与非天空区域对应的透明度图：

fs＝clip((soft_trimap-s3)/s4,s5,s6)......(14)

Alpha＝clip(fs+un*raw_alpha,s7,s8).....(15)

其中，Alpha表示与非天空区域对应的透明度，在得到Alpha后，可以通过双线性差值将Alpha放大回原始图像缩放前的原始尺寸。同样的，本实施例不限制上述的公式(14)和公式(15)中的各个系数s3至s8的具体取值。

图7d示意了透明度图Alpha，其中Alpha中可以明显区分非天空区域与天空区域。示例性的，天空区域内像素的第一取值为1，表示非透明。非天空区域内像素的第二取值为0，表示完全透明。图7e示意了抠出的非天空区域，即前景图像FG。

S906，按照预设step对前景图像FG，Alpha，对包含目标区域BG的素材图像进行采样，得到前景采样点FG1，透明度采样点Alpha1与素材采样点BG1。

结合图8，本步骤中可以按照人物图像短边整除20后得到的数值作为所述step，对抠图结果86(前景图像FG和Alpha)，素材图像87进行所述采样。

S907，确定目标区域BG与所述前景区域FG之间的颜色差异。

本步骤中可以基于图3示出的方法得到所述颜色差异。

其中，可以基于所述前景采样点FG1，与所述透明度采样点Alpha1，根据前述公式(1)得到所述前景采样点的第一像素均值fg_mean。

基于所述素材采样点BG1，确定所述素材采样点的第二像素均值bg_mean。

然后根据前述公式(2)可以得到所述颜色差异diff。

S908，基于所述颜色差异，对前景图像FG进行色调调整，得到与目标区域色调匹配的调整后的前景图像。

本步骤中，可以根据图4示出的色调调整方法进行色调调整。

结合图8，其中，可以先根据预设的调整系数q，根据前述公式(3)，对非天空区域(抠图结果中的前景图像FG)进行调整，得到初步调整后的前景图像。然后再基于前述公式(4)，对初步调整后的前景图像进行色调修正，得到最终调整结果88，即最终调整后的前景图像new_FG。

S909，基于所述透明度图，将所述调整后的前景图像与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

本步骤中，可以根据前述公式(5)进行图像融合，得到替换掉天空区域后得到目标图像new。

如图7f所示，即通过S901-S909得到的替换天空区域后的目标图像。该方法中，一方面，进行区域替换的过程中，可以保证目标区域与原始图像中的非天空区域色调相匹配，从而提升区域替换效果。

另一方面，可以利用三分图进行抠图，从而可以很好的天空区域与非天空区域交接位置的细节信息，在进行区域替换时，有利于提升天空区域与非天空区域之间的衔接效果。

还一方面，还可以通过将抠像网络进行通道压缩等处理，并且将原始图像进行缩放处理，可以使得能够更适合在移动端进行抠像，例如，用户使用自己的移动终端拍摄图像后，可以直接在移动终端完成对非天空区域的抠图处理，并与目标区域进行融合，完成对天空区域的替换，从而使得这些处理都可以在移动终端本地进行，不需要上传云端，提高了数据的安全隐私保护。并且可以由图8可以发现，该区域替换的方法是将单一的原始图像作为输入即可直接得到抠像结果，即提供一张原始图像，基于本申请实施例提供的区域替换方法就可以得到对该原始图像中前景的预测，输入的信息较少，从而使得该图像处理更加便利。

此外，本申请实施例的抠图处理的流程中，使用的语义分割网络和抠像网络，本实施例不限制这两个网络的训练方法。图10为本申请实施例示出的一种网络训练方法的流程示意图。该方法可以用于对语义分割网络和抠像网络进行联合训练。如图10所示，该方法可以包括如下处理：

S1002，获取训练样本集，所述训练样本集包括多个样本数据。

在一些实施方式中，所述的训练样本集中的每个样本数据可以包括样本图像、样本图像对应的第一特征标签以及样本图像对应的第二特征标签。以抠像场景为例，第一特征标签可以是针对样本图像的分割标签，第二特征标签可以是针对样本图像的抠像标签。

S1004，针对所述训练样本集中的每个样本数据，对所述样本数据处理得到包含所述样本图像的全局图像信息的第一图像和所述第一图像对应的分割标签，以及包含所述样本图像的局部图像信息的第二图像和所述第二图像对应的抠像标签。

在一些实施方式中，可以对样本数据的样本图像进行图像处理，得到包括样本图像的大部分图像信息的第一图像，可以认为该第一图像包括了样本图像的全局图像信息，同时对样本图像对应的第一特征标签进行相同的处理，得到第一图像对应的分割标签。例如，可以按照语义分割网络对输入图像的尺寸要求，将样本图像进行缩放处理，但仍保留该样本图像的大部分图像信息，得到第一图像，并将第一特征标签得到相同的缩放处理，得到分割标签。

同时，还可得到包括样本图像局部图像信息的第二图像，同时对样本图像对应的第二特征标签进行相同处理，得到第二图像对应的抠像标签。例如，可以将样本图像进行局部裁切，得到包括样本图像的局部图像信息的第二图像，并且将第二特征标签进行相同的局部裁切处理，得到所述抠像标签。

S1006，通过语义分割网络对所述第一图像进行语义分割处理，得到所述语义分割网络输出的所述语义概率图。

S1008，基于所述语义概率图进行概率转换处理，得到三分图。

本步骤的概率转换处理可以参照前述的实施例，不再详述。通过所述的概率转换处理可以得到本申请实施例的soft-trimap。

S1010，将所述三分图和第二图像进行抠图处理，得到抠像结果。所述抠像结果可以指示针对样本中保留区域的抠像结果。

S1012，根据所述语义概率图与分割标签的差异调整语义分割网络的网络参数，并且，基于抠像结果和抠像标签的差异调整抠像网络的网络参数。

通过上述可知，本申请实施方式中，通过对每个样本数据进行处理，利用得到的包括全局图像信息的第一图像和第一标签对第一子网络进行训练，利用包括局部图像信息的第二图像和第二标签对第二子网络进行训练，提高联合训练效果，降低网络效果退化的风险。

此外，上述的训练方式中，soft-trimap的生成采用概率转换处理这种方式，能够在一定程度上辅助网络训练的效果更好。

具体的，soft-trimap能够在网络训练过程中自适应进行调整。比如，在根据所述语义概率图与分割标签的差异调整语义分割网络的网络参数，并且，基于抠像结果和抠像标签的差异调整抠像网络的网络参数的过程中，语义分割网络的网络参数将进行更新，进而该语义分割网络输出的语义概率图也进行了更新。

进一步的，soft-trimap的生成是基于语义概率图得到，因此，语义概率图更新将带来三分图soft-trimap的更新，进而抠像结果也会更新。即，在网络训练过程中通常会迭代多次，而每一次迭代后，如果语义分割网络发生了参数更新，即使输入的是同一个图像，语义概率图、soft-trimap和抠像结果都会适应性更新，并根据更新后的结果继续调整网络参数。这种自适应调整soft-trimap的方式，将有助于使得生成的soft-trimap和抠像结果都随着语义分割网络的调整进行动态优化，使得最终模型的训练效果更好，能更准确的提取到图像中的保留区域。

图11示例了一种图像处理装置，该装置可以应用于实现本申请任一实施例的图像处理方法。如图11所示，该装置可以包括：抠图模块1110、确定模块1120、调整模块1130和融合模块1140。

如图11所示，所述装置1100包括：

抠图模块1110，用于对待处理的原始图像进行抠图处理，得到抠图结果，所述抠图结果中包括包含所述原始图像中的保留区域的保留区域图，以及与所述原始图像对应的透明度图；所述保留区域为所述原始图像中的前景或者背景；所述透明度图内像素的数值指示像素的透明度；

确定模块1120，用于根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异；所述目标区域用于替换所述原始图像中的非保留区域；

调整模块1130，用于根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图；

融合模块1140，用于基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

在一些实施例中，所述确定模块1120，具体用于：

对所述保留区域图内的像素和所述素材图像内的像素分别进行采样，得到保留区域采样点与素材采样点；

基于所述保留区域采样点的像素值与素材采样点的像素值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

在一些实施例中，所述装置1100还包括：

采用模块，用于对所述透明度图内的像素进行采样，得到透明度采样点；

所述确定模块1120，具体用于：

基于所述保留区域采样点的像素值，与所述透明度采样点的透明度值，确定所述保留区域采样点的第一像素均值；

基于所述素材采样点的像素值，确定所述素材采样点的第二像素均值；

根据所述第一像素均值与所述第二像素均值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

在一些实施例中，所述调整模块1130，具体用于：

基于所述颜色差异，对所述保留区域图内像素的像素值进行调整，得到初步调整后的保留区域图；所述初步调整后的保留区域图内像素融合了所述颜色差异；

基于所述初步调整后的保留区域图内像素的像素均值与进行所述初步调整之前的保留区域图内像素的像素均值之间的差异，对所述初步调整后的保留区域图内像素的像素值进行调整，得到与所述目标区域色调匹配的调整后的保留区域图。

在一些实施例中，所述融合模块1140，具体用于：

基于所述透明度图与所述保留区域图进行融合得到第一结果；

基于所述素材图像与所述透明度图对应的反向透明度图进行融合得到第二结果；

将所述第一结果与所述第二结果进行融合得到所述目标图像。

在一些实施例中，所述抠图模块1110，具体用于：

获取待处理的原始图像对应的三分图；所述三分图中每个像素对应的数值表示所述像素属于所述原始图像中的保留区域、非保留区域或待确定区域中的任一区域的概率；

根据所述三分图和所述原始图像进行抠像处理，得到所述抠图结果。

在一些实施例中，所述抠图模块1110，具体用于：

对待处理的原始图像进行语义分割处理，得到所述原始图像的语义概率图，所述语义概率图内像素的数值指示所述像素在所述原始图像中属于所述保留区域的第一概率；

基于所述语义概率图进行概率转换处理，得到所述原始图像对应的三分图。

在一些实施例中，所述抠图模块1110，具体用于：

通过语义分割网络对所述原始图像进行语义分割处理，得到所述语义分割网络输出的所述语义概率图；

所述根据三分图和原始图像进行抠像处理，包括：通过抠像网络，根据所述三分图和原始图像进行抠像处理。

在一些实施例中，所述抠图模块1110，具体用于：

将所述语义概率图中的每个像素的第一概率，通过概率转换，得到所述像素属于所述三分图中待确定区域的第二概率；

根据所述像素的第一概率和第二概率，生成所述三分图。

在一些实施例中，所述第一概率表征所述像素属于前景或者背景的概率越高，经概率转换得到的所述第二概率表征所述像素属于三分图中的待确定区域的概率越低；

所述根据所述像素的第一概率和第二概率，生成所述三分图，包括：对于所述原始图像中的每个像素，根据所述像素对应的第一概率和第二概率进行概率融合，确定所述像素在所述三分图中对应的数值。

在一些实施例中，所述抠图模块1110，具体用于：

根据所述三分图和所述原始图像进行抠像处理，得到保留区域残差和所述原始图像的初始透明度图；所述初始透明度图内像素的数值指示像素的透明度；

基于所述原始图像和所述保留区域残差，得到所述保留区域图；

根据所述三分图，对所述初始透明度图内像素的数值进行调整，得到与所述原始图像对应的透明度图。

在一些实施例中，所述装置1100还包括：

缩放模块，用于对所述原始图像进行缩放处理；

所述抠图模块1110，具体用于：

将根据所述三分图和所述原始图像进行抠像处理得到的保留区域残差放大至所述缩放处理之前的尺度；

根据放大后的保留区域残差和所述原始图像，得到所述保留区域图。

在一些实施例中，所述非保留区域包括所述原始图像中的天空区域；所述目标区域包括所述素材图像中的天空区域。

本申请示出的图像处理装置的实施例可以应用于电子设备上。相应地，本申请公开了一种电子设备，该设备可以包括：处理器。

用于存储处理器可执行指令的存储器。

其中，所述处理器被配置为调用所述存储器中存储的可执行指令，实现前述任一实施例示出的图像处理方法。

请参见图12，图12为本申请实施例示出的一种电子设备的硬件结构示意图。

如图12所示，该电子设备可以包括用于执行指令的处理器，用于进行网络连接的网络接口，用于为处理器存储运行数据的内存，以及用于存储图像处理装置对应指令的非易失性存储器。

其中，所述装置的实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了图12所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的电子设备通常根据该电子设备的实际功能，还可以包括其他硬件，对此不再赘述。

可以理解的是，为了提升处理速度，所述图像处理装置对应指令也可以直接存储于内存中，在此不作限定。

本申请提出一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可以用于使处理器执行前述任一实施例示出的图像处理方法。

本领域技术人员应明白，本申请一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本申请一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(可以包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请中的“和/或”表示至少具有两者中的其中一个，例如，“A和/或B”可以包括三种方案：A、B、以及“A和B”。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于数据处理设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的行为或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、可以包括本申请中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本申请中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本申请中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机可以包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件可以包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将可以包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质可以包括所有形式的非易失性存储器、媒介和存储器设备，例如可以包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本申请包含许多具体实施细节，但是这些不应被解释为限制任何公开的范围或所要求保护的范围，而是主要用于描述特定公开的具体实施例的特征。本申请内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，所述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上仅为本申请一个或多个实施例的较佳实施例而已，并不用以限制本申请一个或多个实施例，凡在本申请一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请一个或多个实施例保护的范围之内。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

对待处理的原始图像进行抠图处理，得到抠图结果，所述抠图结果中包括包含所述原始图像中的保留区域的保留区域图，以及与所述原始图像对应的透明度图；所述保留区域为所述原始图像中的前景或者背景；所述透明度图内像素的数值指示像素的透明度；

根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异；所述目标区域用于替换所述原始图像中的非保留区域；

根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图；

基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异，包括：

对所述保留区域图内的像素和所述素材图像内的像素分别进行采样，得到保留区域采样点与素材采样点；

基于所述保留区域采样点的像素值与素材采样点的像素值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对所述透明度图内的像素进行采样，得到透明度采样点；

所述基于所述保留区域采样点的像素值与素材采样点的像素值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异，包括：

基于所述保留区域采样点的像素值，与所述透明度采样点的透明度值，确定所述保留区域采样点的第一像素均值；

基于所述素材采样点的像素值，确定所述素材采样点的第二像素均值；

根据所述第一像素均值与所述第二像素均值之间的差异，确定所述保留区域与所述目标区域之间的颜色差异。

4.根据权利要求1-3任一所述的方法，其特征在于，所述根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图，包括：

基于所述颜色差异，对所述保留区域图内像素的像素值进行调整，得到初步调整后的保留区域图；所述初步调整后的保留区域图内像素融合了所述颜色差异；

基于所述初步调整后的保留区域图内像素的像素均值与进行所述初步调整之前的保留区域图内像素的像素均值之间的差异，对所述初步调整后的保留区域图内像素的像素值进行调整，得到与所述目标区域色调匹配的调整后的保留区域图。

5.根据权利要求1-4任一所述的方法，其特征在于，所述基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像，包括：

基于所述透明度图与所述保留区域图进行融合得到第一结果；

基于所述素材图像与所述透明度图对应的反向透明度图进行融合得到第二结果；

将所述第一结果与所述第二结果进行融合得到所述目标图像。

6.根据权利要求1-5任一所述的方法，其特征在于，所述对待处理的原始图像进行抠图处理，得到抠图结果，包括：

获取待处理的原始图像对应的三分图；所述三分图中每个像素对应的数值表示所述像素属于所述原始图像中的保留区域、非保留区域或待确定区域中的任一区域的概率；

根据所述三分图和所述原始图像进行抠像处理，得到所述抠图结果。

7.根据权利要求6所述的方法，其特征在于，所述获取待处理的原始图像对应的三分图，包括：

对待处理的原始图像进行语义分割处理，得到所述原始图像的语义概率图，所述语义概率图内像素的数值指示所述像素在所述原始图像中属于所述保留区域的第一概率；

基于所述语义概率图进行概率转换处理，得到所述原始图像对应的三分图。

8.根据权利要求7所述的方法，其特征在于，所述对待处理的原始图像进行语义分割处理，得到对应原始图像的语义概率图，包括：通过语义分割网络对所述原始图像进行语义分割处理，得到所述语义分割网络输出的所述语义概率图；

所述根据三分图和原始图像进行抠像处理，包括：通过抠像网络，根据所述三分图和原始图像进行抠像处理。

9.根据权利要求7或8所述的方法，其特征在于，所述基于所述语义概率图进行概率转换处理，得到所述原始图像对应的三分图，包括：

将所述语义概率图中的每个像素的第一概率，通过概率转换，得到所述像素属于所述三分图中待确定区域的第二概率；

根据所述像素的第一概率和第二概率，生成所述三分图。

10.根据权利要求9所述的方法，其特征在于，所述第一概率表征所述像素属于前景或者背景的概率越高，经概率转换得到的所述第二概率表征所述像素属于三分图中的待确定区域的概率越低；

所述根据所述像素的第一概率和第二概率，生成所述三分图，包括：对于所述原始图像中的每个像素，根据所述像素对应的第一概率和第二概率进行概率融合，确定所述像素在所述三分图中对应的数值。

11.根据权利要求6-10任一所述的方法，其特征在于，所述根据所述三分图和所述原始图像进行抠像处理，得到所述抠图结果，包括：

根据所述三分图和所述原始图像进行抠像处理，得到保留区域残差和所述原始图像的初始透明度图；所述初始透明度图内像素的数值指示像素的透明度；

基于所述原始图像和所述保留区域残差，得到所述保留区域图；

根据所述三分图，对所述初始透明度图内像素的数值进行调整，得到与所述原始图像对应的透明度图。

12.根据权利要求11所述的方法，其特征在于，在对待处理的原始图像进行语义分割处理之前，所述方法还包括：对所述原始图像进行缩放处理；

所述基于所述原始图像和保留区域残差，得到所述保留区域图，包括：

将根据所述三分图和所述原始图像进行抠像处理得到的保留区域残差放大至所述缩放处理之前的尺度；

根据放大后的保留区域残差和所述原始图像，得到所述保留区域图。

13.根据权利要求1-12任一所述的方法，其特征在于，所述非保留区域包括所述原始图像中的天空区域；所述目标区域包括所述素材图像中的天空区域。

14.一种图像处理装置，其特征在于，所述装置包括：

抠图模块，用于对待处理的原始图像进行抠图处理，得到抠图结果，所述抠图结果中包括包含所述原始图像中的保留区域的保留区域图，以及与所述原始图像对应的透明度图；所述保留区域为所述原始图像中的前景或者背景；所述透明度图内像素的数值指示像素的透明度；

确定模块，用于根据所述保留区域图内的像素以及包含目标区域的素材图像内的像素之间的差异，确定所述保留区域与所述目标区域之间的颜色差异；所述目标区域用于替换所述原始图像中的非保留区域；

调整模块，用于根据所述颜色差异对所述保留区域图内像素进行色调调整，得到与所述目标区域色调匹配的调整后的保留区域图；

融合模块，用于基于所述透明度图，将所述调整后的保留区域图与所述素材图像进行图像融合，得到将所述非保留区域替换为所述目标区域的目标图像。

15.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器通过运行所述可执行指令以实现如权利要求1-13任一所述的图像处理方法。

16.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于使处理器执行如权利要求1-13任一所述的图像处理方法。

Images