CN111861956A - 图片处理方法、装置、电子设备以及介质 - Google Patents

Abstract

本公开的实施例涉及图片处理方法、装置、电子设备以及介质。所述方法为：获取含有裸露人体图像的原始图片；获取由原始图片转换得到的着装图片；将原始图片的背景区域和着装图片的前景区域进行合并，得到新图片；对新图片的过渡区域进行调整，使得新图片的过渡区域中的像素信息融合着装图片中相同位置的像素信息；输出调整后的新图片。其中，前景区域是与裸露人体图像对应的区域或者是与裸露人体图像的身体部分对应的区域，背景区域是前景区域以外的区域，过渡区域是背景区域中与前景区域衔接的区域。

Description

图片处理方法、装置、电子设备以及介质

技术领域

本公开实施例涉及图片处理技术领域，尤其涉及图片处理方法、装置、电子设备以及介质。

背景技术

随着互联网的高速发展，网络上每天流通着大量的图片，为了维护互联网的环境，避免暴露的人体图片信息在互联网上流通，内容发布者(例如新闻网站、公众号等)和内容管理者(例如国家行政职能部门等)需要对将要发布到网络上的图片或者网络上正在流通的图片进行相关检测以及处理。

现有的处理方法为当检测到有含有裸露人体图像的图片时，使用马赛克等图案将裸露人体遮挡住，这种方式会影响观看者的视觉体验。所以亟待提供一种新的图片处理方法，能够在消除裸露人体内容时尽量避免影响观看者的视觉体验。

发明内容

本公开实施例的目的在于提供一种图片处理方法、装置、电子设备以及介质，以实现对裸露图像的换装以及对换装后图像的前景和原始图像背景的融合。

根据本公开实施例的第一方面，提供了一种图片处理方法，

获取含有裸露人体图像的原始图片；

获取由所述原始图片转换得到的着装图片；

将所述原始图片的背景区域和所述着装图片的前景区域进行合并，得到新图片；

对所述新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息；

输出调整后的所述新图片；

其中，所述前景区域是与裸露人体图像对应的区域或者是与裸露人体图像的身体部分对应的区域，所述背景区域是所述前景区域以外的区域，所述过渡区域是所述背景区域中与所述前景区域衔接的区域。

可选地，所述对新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息，包括：

获取第一像素的颜色分量值，所述第一像素为新图片的过渡区域中的像素；

获取第二像素的颜色分量值，所述第二像素是着装图片中与第一像素相同位置的像素；

计算第一像素的颜色分量值和第二像素的颜色分量值的算数平均值或者加权平均值，作为调整后的新图片的第一像素的颜色分量值。

可选地，所述对新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息，包括：

获取第一像素的颜色分量值，所述第一像素为新图片的过渡区域中的像素；

获取第二像素的颜色分量值，所述第二像素是着装图片中与第一像素相同位置的像素；

计算第一像素的颜色分量值和第二像素的颜色分量值的加权平均值，作为调整后的新图片的第一像素的颜色分量值；

其中，与第一像素对应的权重与第一像素距离前景区域的最短距离为正相关关系，与第二像素对应的权重与第一像素距离前景区域的最短距离为负相关关系。

可选地，与第一像素对应的权重和与第二像素对应的权重是通过以下式子确定：

x＝d/g

y＝1-x

其中，x是与第一像素对应的权重，y是与第二像素对应的权重，g是过渡区域的宽度，d是第一像素距离前景区域的最短距离。

可选地，所述获取由所述原始图片转换得到的着装图片，包括：

将原始图片输入至预先训练好的换装模型中，由换装模型输出着装图片；

所述换装模型基于生成对抗网络算法的生成器实现。

可选地，所述获取含有裸露人体图像的原始图片，包括：

对待测图片进行检测，确定所述待测图片中是否含有人体图像；

在所述待测图片中含有人体图像，且所述人体图像含有人脸部分的情况下，根据人脸部分确定肤色，检测所述人体图像的身体部分的肤色区域的面积占身体部分的面积的比例是否达到预设的阈值，如果达到预设的阈值，将所述待测图片作为所述原始图片。

可选地，所述获取含有裸露人体图像的原始图片，包括：

将待测图片输入至预先训练好的判别模型中，根据所述判别模型的输出结果确定所述待测图片中是否含有裸露人体图像，如果所述待测图片中含有裸露人体图像，将所述待测图片作为所述原始图片。

可选地，所述判别模型通过以下方式训练得到：

将样本图片集中的样本图片输入至基于深度学习的分类网络中，用样本图片的真实分类结果作为监督，进行训练迭代，以得到所述判别模型；

所述样本图片集中包括正样本图片和负样本图片，所述正样本图片是含有裸露人体图像的图片，所述负样本图片包括含有人体图像并且人体图像不裸露的图片和不含有人体图像的图片。

根据本公开实施例的第二方面，提供了一种图片处理装置，包括以下模块：

第一获取模块，用于获取含有裸露人体图像的原始图片；

第二获取模块，用于获取由所述原始图片转换得到的着装图片；

合并模块，用于将所述原始图片的背景区域和所述着装图片的前景区域进行合并，得到新图片；

调整模块，用于对所述新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息；

输出模块，用于输出调整后的所述新图片；

其中，所述前景区域是与裸露人体图像对应的区域或者是与裸露人体图像的身体部分对应的区域，所述背景区域是所述前景区域以外的区域，所述过渡区域是所述背景区域中与所述前景区域衔接的区域。

根据本公开实施例的第三方面，提供了一种电子设备，包括：

根据本公开实施例第二方面提供的的图片处理装置；或者，

处理器和存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令在被所述处理器执行时实现本公开实施例第一方面提供的图片处理方法。

根据本公开实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令在被处理器执行时实现本公开实施例第一方面提供的图片处理方法。

本公开实施例提供了一种图片处理方法、装置、电子设备以及介质，在对含有裸露人体图像的原始图片进行着装处理得到着装图片后，将原始图片的背景区域和着装图片的前景区域进行合并得到新图片，此时新图片中的背景区域的像素信息和原始图片的背景区域像素信息一致；对新图片的背景区域中与所述前景区域衔接的区域，也就是过渡区域进行调整，向新图片的过渡区域中融合着装图片中相同位置的像素信息，也就是说，调整后的新图片的过渡区域的像素信息实际融合了原始图片和着装图片的同一位置的像素信息。可知，由于调整后的新图片的过渡区域的像素信息实际融合了原始图片和着装图片的同一位置的像素信息，因此调整后的新图片的过渡区域和原始图片的过渡区域存在相似性，使得新图片的背景区域不会太过失真。调整后的新图片的过渡区域的像素信息实际融合了原始图片和着装图片的同一位置的像素信息，还可以使得前景区域和背景区域的过渡非常自然，从而提升了处理后图片的视觉体验。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。

图1为本公开实施例的图片处理系统的示意图；

图2为本公开实施例的图片处理方法的步骤流程图；

图3为本公开实施例的图片处理过程的示意图；

图4为本公开实施例的图片处理装置的结构方框图；

图5为本公开另一个实施例的图片处理装置的结构方框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开实施例及其应用或使用的任何限制。

对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<图片处理系统>

图1是示出可以实现本公开实施例的图片处理系统的示意图。

如图1所示，本实施例的图片处理系统1000包括用户端的设备1200(下文称之为“终端设备1200”)、为用户提供图片处理服务的服务器1100、以及网络1300。

服务器1100例如可以是刀片服务器、机架式服务器等，服务器1100也可以是部署在云端的服务器集群，在此不做限定。该服务器可以是提供线上交易服务平台的服务器、提供内容发布服务平台的服务器，可以是行政职能部门的服务器，也可以专用于为内容发布者或者内容管理者提供图片检测、处理服务的服务器，在此不做限定。

如图1所示，服务器1100可以包括处理器1110、存储器1120、接口装置1130、通信装置1140、显示装置1150和输入装置1160。处理器1110用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1120例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1130例如包括USB接口、串行接口等。通信装置1140例如能够进行有线或无线通信。显示装置1150例如是液晶显示屏。输入装置1160例如可以包括触摸屏、键盘等。

应用于本公开实施例中，服务器1100可用于参与实现本公开任意实施例的图片处理方法。应用于本公开实施例中，服务器1100的存储器1120用于存储指令，所述指令可以用于控制所述处理器1110进行操作以支持实现本公开任意实施例涉及的图片处理方法。技术人员可以根据本公开实施例所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

本领域技术人员应当理解，尽管在图1中示出了服务器1100的多个装置，但是，本公开实施例的服务器1100可以仅涉及其中的部分装置，例如，只涉及处理器1110和存储器1120。

如图1所示，终端设备1200可以是用户持有的智能手机、便携式电脑、台式计算机、平板电脑、服务器等电子设备，例如，公众号运营方持有的电脑，电商持有的服务器等。终端设备1200可以包括处理器1210、存储器1220、接口装置1230、通信装置1240、显示装置1250、输入装置1260、音频输出装置1270、音频输入装置1280、相机(图1中没有示出)等等。其中，处理器1210可以是中央处理器CPU、微处理器MCU等，处理器1210用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1220例如包括ROM(只读存储器)、RAM(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1230例如包括USB接口、耳机接口等。通信装置1240例如能够进行有线或无线通信。通信装置1240可以包括短距离通信装置，例如是基于WiFi(IEEE 802.11协议)、蓝牙等短距离无线通信协议进行短距离无线通信的任意装置，通信装置1240也可以包括远程通信装置，例如是进行WLAN、GPRS、2G/3G/4G/5G远程通信的任意装置。显示装置1250例如是液晶显示屏、触摸显示屏等。输入装置1260例如可以是触摸屏、键盘等。终端设备1200可以通过音频输出装置1270输出音频信息，该音频输出装置1270例如包括扬声器。终端设备1200可以通过音频拾取装置1280拾取用户输入的语音信息，该音频拾取装置1280例如包括麦克风。

应用于本公开的实施例中，终端设备1200的存储器1220用于存储指令，所述指令可以用于控制处理器1210进行操作以支持实现本公开任意实施例涉及的图片处理方法。技术人员可以根据本公开实施例所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

本领域技术人员应当理解，尽管在图1中示出了终端设备1200的多个装置，但是，本公开实施例的终端设备1200可以仅涉及其中的部分装置，例如，只涉及处理器1210、存储器1220、显示装置1250、输入装置1260等。

网络1300可以是无线网络也可以是有线网络，可以是局域网也可以是广域网。终端设备1200可以通过网络1300与服务器1100进行通信。

图1所示的系统1000仅是解释性的，并且决不是为了要限制本公开实施例以及其用途。例如，尽管图1仅示出一个服务器1100和一个终端设备1200，但不意味着限制各自的数量，系统1000中可以包含多个服务器1100、多个终端设备1200。

在一个实施例中，终端设备1200将图片发送到服务器1100，由服务器1100检测图片是否含有裸露人体图像，以及在图片含有裸露人体图像的情况下对图片进行后续处理，得到目标图片。

或者，在另一个实施例中，终端设备1200可以自行检测图片中是否含有裸露人体图像，在图片中含有裸露人体图像的情况下，将图片上传给服务器1100，由服务器1100对含有裸露人体图像的图片进行后续处理，得到目标图片。

服务器1100在处理完成得到目标图片后，可以将目标图片下发给终端设备1200，也可以将目标图片直接发布到网络上。

虽然图1中示意出了图片处理系统，但是本公开实施例的图片处理方法并不局限于此。在又一个实施例中，不依赖于图1所示的服务器1100，终端设备1200可以自行检测图片中是否含有裸露人体图像，在图片中含有裸露人体图像的情况下，对含有裸露人体图像的图片进行后续处理，得到目标图片。

<方法实施例>

随着互联网的高速发展，网络上每天流通着大量的图片，每天还有很多新的图片想要发布到网络上。图片中可能含人体，图片也可能是单纯的动植物、自然风光、建筑物图片。图片处理的目的，是在图片中含有裸露人体图像的情况下，给图片中的裸露人体穿上衣服，以避免含有裸露人体图像的图片在网络上流通，污染网络环境。因此，首先需要把裸露人体图像识别出来。下面说明本公开实施例中如何检测图片中是否含有裸露人体图像。本公开实施例中，可以采用人工审查的方式，也就是通过人眼分辨的方式，确定图片中是否含有裸露人体图像。此外，也可以采用以下两种方式检测图片中是否含有裸露人体图像。

在一个具体的例子中，第一种裸露人体图像检测方法，包括步骤202-206。

步骤202，对图片进行检测，确定图片中是否含有人体图像。

在一个具体的例子中，将图片转换为灰度图片，使用人体轮廓算法对灰度图片进行人体轮廓识别，如果能够识别到人体轮廓，确定图片中含有人体图像。

步骤204，在图片中含有人体图像，且人体图像含有人脸部分的情况下，根据人脸部分确定肤色。

在一个具体的例子中，可以使用人脸识别算法，从人体图像中识别出人脸部分。

在第一种裸露人体图像检测方法中，肤色并不是一种固定的颜色，而是与人种有关。利用人体图像的人脸部分来确定肤色，能够准确地确定出该人体的肤色。例如，将人脸的鼻子部分的颜色确定为肤色。

步骤206，检测人体图像的身体部分的肤色区域的面积占身体部分的面积的比例是否达到预设的第一阈值，如果达到第一阈值，确定人体图像为裸露人体图像，该图片中含有裸露人体图像。

在一个具体的例子中，该第一阈值为80％，如果人体图像的身体部分的肤色区域的面积占身体部分的面积的比例达到80％及以上，说明人体是没有穿衣服的，也就是该人体图像为裸露人体图像。

在第一种裸露人体图像检测方法中，肤色并不是一种固定的颜色，而是与人种有关。利用人体图像的人脸部分来确定肤色，能够准确地确定出该人体的肤色，使得步骤206的检测结果较为准确。相反的，如果在步骤206中，直接利用白色人种的皮肤颜色作为“肤色”来计算肤色占比并且进行判断，在该人体实际为棕色人种的情况下，判断结果就会出现错误。第一种裸露人体图像检测方法适用于裸露人体图像有人脸的情况。

在一个具体的例子中，第二种裸露人体图像检测方法，包括步骤S302。

步骤S302，将图片输入至预先训练好的判别模型中，根据判别模型的输出结果确定图片中是否含有裸露人体图像。

该判别模型可以通过以下方式训练得到：

构建样本图片集。样本图片集中包括正样本图片和负样本图片。正样本图片是含有裸露人体图像的图片。样本图片集中包括大量的、含有人体图像并且人体图像不裸露的负样本图片。样本图片集中还可以包括少量的、不含有人体图像的图片，例如单纯的动植物、自然风光、建筑物图片。这是为了让训练好的模型具有泛化性，适用于各种类型的图片，降低误识别的概率。正样本图片对应的真实分类结果为1，负样本图片对应的真实分类结果为0。

将样本图片集中的样本图片输入至基于深度学习的分类网络中，用样本图片的真实分类结果作为监督，进行训练迭代，直至损失函数降低到一定程度就停止迭代，得到判别模型。

在步骤S302中，将图片输入至预先训练好的判别模型中，判别模型会输出0～1之间的分数，分数越大，说明图片含有裸露人体图像的概率越大。在一个具体的例子中，设置第二阈值为0.8，如果判别模型输出的分数达到0.8及以上，确定图片中含有裸露人体图像。

第二种裸露人体图像检测方法的检测过程简单，识别速度快，准确率高。第二种裸露人体图像检测方适用于人体裸露图像有人脸的情况，也适用于人体裸露图像没有人脸的情况。

参考图2和图3所示，说明本公开实施例提供的图片处理方法，可以包括步骤102-110。

在对步骤102-110进行说明之前，首先说明本公开实施例的前景区域、背景区域、过渡区域的概念。本公开实施例中，前景区域是与裸露人体图像对应的区域，或者，前景区域是与裸露人体图像的身体部分对应的区域。背景区域是前景区域以外的区域。过渡区域是背景区域的一部分，确切的说，过渡区域是背景区域中的与前景区域衔接的区域，例如，过渡区域是环绕前景区域的、具有固定宽度的区域。

步骤102，获取含有裸露人体图像的原始图片。

以图3为例，原始图片的前景区域为a，背景区域为b。需要说明的是，图3中的前景区域表现为椭圆形，这只是一种简化的示例，实际上，前景区域是由裸露人体图像或者裸露人体图像的身体部分确定的，其形状可能是不规则的。

步骤104，获取由原始图片转换得到的着装图片。

将原始图片转换为着装图片的目的在于，让图片中的裸露人体穿上衣服。在一个实施例中，可以将原始图片输入至预先训练好的换装模型中，由换装模型输出着装图片。

本公开实施例中，换装模型可以基于生成对抗网络算法的生成器实现。生成式对抗网络(Generative Adversarial Networks，GAN)包括生成生成器和判别器，生成器用于生成接近真实图像的图像，判别器用于对输入至判别器中的图像进行真实性判别，生成对抗应是指生成器和判别器之间博弈进行学习的过程，最终的目标是建立可生成与真实图像无法区分的图像的生成器。

在一个具体的例子中，使用传统的生成式对抗网络算法来实现换装模型。传统的生成式对抗网络算法包括一个生成器和一个判别器。

准备多组样本图像对，每组样本图像对分别包括一张裸体样本图像和与该裸体样本图像对应的着装样本图像。裸体样本图像和其对应的着装样本图像之间是配对关系，两者除人体是否裸露外，其它的图像信息(如背景、人体姿态等信息)应尽可能无差异。将裸体样本图像作为源域，着装样本图像作为目标域，对GAN网络进行训练。

在图像处理技术领域，与真实图像相反的，将机器生成图像和合成图像称之为“伪造图像”。本公开实施例中，裸体样本图像和着装样本图像为真实图像，生成器根据裸体样本图像生成的着装图像为伪造图像。如果用“1”代表真实图像，用“0”代表伪造图像，则着装样本图像对应的标签为1，生成器生成的伪造着装图像对应的标签为0。

生成器与判别器进行对抗学习：将裸体样本图像输入到生成器中，由生成器根据裸体样本图像生成伪造着装图像，确定生成器的损失。生成器的损失包括重建损失和生成损失。重建损失表征生成器生成的伪造着装图像与目标域中对应的着装样本图像的差异程度。生成损失表征生成器生成的伪造着装图像的逼真程度，对应于判别器的判别，判别器将生成器生成的伪造着装图像识别为真实图像的概率越高，则生成损失越低。判别器可以对输入至判别器中的图像进行真实性判别，即给输入的图像的真实程度进行打分，判别器相当于一个二分类网络，其损失函数可以为交叉熵损失函数或其他二分类网络的损失函数。随机向判别器输入着装样本图像或生成器生成的伪造着装图像以及对应的标签，使用标签作为监督对判别器进行训练。

观测生成器和判别器的损失，在生成器和判别器的损失均收敛的情况下，停止训练，将训练好的生成器摘出来作为换装模型。

在另一个具体的例子中，使用循环一致性生成式对抗网络(CycleGAN)来实现换装模型。CycleGAN网络本质上是两个镜像对称的GAN网络构成了一个环形网络，两个GAN网络共享两个生成器，并各自带一个判别器，即共有两个判别器和两个生成器。具体的，生成器A用于根据裸露图像生成着装图像，生成器B用于根据着装图像生成裸露图像，判别器A用于判断输入至判别器A的裸体图像的真实程度，判别器B用于判断输入至判别器B的着装图像的逼真程度。

CycleGAN网络具有灵活性，可以利用非成对数据训练，不需要源域和目标域的样本配对对应，也就是说，裸露样本图像和着装样本图像不必满足对应关系。

本公开实施例中，裸体样本图像和着装样本图像为真实图像，生成器A生成的着装图像和生成器B生成的裸露图像为伪造图像。裸体样本图像和着装样本图像对应的标签为1，生成器A生成的伪造着装图像和生成器B生成的伪造裸露图像对应的标签为0。

可以将裸体样本图像输入至生成器A，生成器A根据裸体样本图像生成伪造着装图像，此时生成器B用于根据生成器A生成的伪造着装图像生成伪造裸体图像。随机向判别器A输入裸体样本图像和生成器B生成的伪造裸体图像以及对应的标签，随机向判别器B输入着装样本图像和生成器A生成的伪造着装图像以及对应的标签。在这种情况下，生成器端的重建损失包括输入至生成器A的裸露样本图像与生成器B输出的伪造裸露图像的差异程度；生成器端的生成损失包括生成器A输出的伪造着装图像的逼真程度(对应于判别器B的判别)，以及生成器B输出的伪造裸露图像的逼真程度(对应于判别器A的判别)。

或者，可以将着装样本图像输入至生成器B，生成器B根据着装样本图像生成伪造裸体图像，此时生成器A用于根据生成器B生成的伪造裸体图像生成伪造着装图像。随机向判别器A输入裸体样本图像和生成器B生成的伪造裸体图像以及对应的标签，随机向判别器B输入着装样本图像和生成器A生成的伪造着装图像以及对应的标签。在这种情况下，生成器端的重建损失包括输入至生成器B的着装样本图像与生成器A输出的伪造着装图像的差异程度；生成器端的生成损失包括生成器A输出的伪造着装图像的逼真程度(对应于判别器B的判别)，以及生成器B输出的伪造裸露图像的逼真程度(对应于判别器A的判别)。

交替执行向生成器A输入裸体样本图像和向生成器B输入着装样本图像，对CycleGAN网络进行训练迭代，观测生成器端的损失和判别器端的损失，在生成器端的损失和判别器端的损失均收敛的情况下，停止训练，将训练好的生成器A摘出来作为换装模型。

本公开实施例中，利用生成对抗网络/循环一致性生成式对抗网络实现换装模型，基于生成器和判别器之间的博弈学习过程，能够得到更自然、更真实的着装图片，可以降低观看者察觉到图片异常的概率。

本公开实施例中，利用循环一致性生成式对抗网络实现换装模型，不需要使用配对的裸露样本图像和着装样本图像进行训练，训练成本比较低。

目前，在利用换装模型进行图片转换时，需要将整张原始图片的信息都输入到换装模型中，在经过换装模型处理后，图片的前景区域(与裸露人体图像对应的区域)会发生变化，从裸露人体图像转换成穿了衣服的人像，这种变化是我们所希望的。但是，图片的背景区域(前景区域以外的区域)也往往会随之发生一定变化，这种变化造成了图片的失真。

以图3为例，从原始图片转换得到着装图片，前景区域从a变成a＇，裸露人体已经穿上了衣服，背景区域也受到影响，从b变为b＇。

步骤106，将原始图片的背景区域和着装图片的前景区域进行合并，得到新图片。

为了解决上述图片失真问题，通过步骤106，将原始图片的背景区域和着装图片的前景区域进行合并得到新图片。通过步骤106，使得新图片中的人体已经穿上了衣服，同时又保有了原始图片的背景区域的内容，避免了背景区域的失真。

以图3为例，新图片的前景区域为a＇，和着装图片保持一致。新图片的背景区域为b，和原始图片保持一致。由于新图片是使用原始图片的背景区域和着装图片的前景区域拼接得到的，新图片的前景区域a＇和背景区域b的衔接可能会比较突兀，过渡不够自然。为此，执行步骤108，对新图片进行调整。

步骤108，对新图片的过渡区域进行调整，使得新图片的过渡区域中的像素信息融合着装图片中相同位置的像素信息。

在步骤108中，对新图片的过渡区域中的每一个像素做逐一调整处理。

在公开实施例中，过渡区域是背景区域的一部分，确切的说，过渡区域是背景区域中与前景区域衔接的区域。以图3为例，过渡区域是环绕前景区域的区域c(使用斜线填充的环形区域)，从图3中可以看出，区域c的宽度是一个固定的宽度，例如，区域c的宽度是50个像素。对背景区域中的过渡区域c的像素进行调整，使得过渡区域c融合了原始图片的过渡区域和着装图片的过渡区域的信息。

下面以新图片的过渡区域中的一个像素(下文将该像素称之为“第一像素”)为例，说明调整的过程。

步骤1082，获取第一像素的颜色分量值，第一像素是指新图片的过渡区域中的像素。获取第二像素的颜色分量值，第二像素是着装图片中与第一像素相同位置的像素。

在调整之前，第一像素的R分量(红色分量)的值为r1，G分量(绿色分量)的值为g1，B分量(蓝色分量)的值为b1。第二像素的R分量(红色分量)的值为r2，G分量(绿色分量)的值为g2，B分量(蓝色分量)的值为b2。

步骤1084，根据第一像素的颜色分量值和第二像素的颜色分量值，确定调整后的新图片的第一像素的颜色分量值。

在调整之后，第一像素的R分量(红色分量)的值为r3，G分量(绿色分量)的值为g3，B分量(蓝色分量)的值为b3。

一个具体的例子中，在步骤1084中，计算第一像素的颜色分量值和第二像素的颜色分量值的算数平均值，作为调整后的新图片的第一像素的颜色分量值。即，

r3＝(r1+r2)/2；

g3＝(g1+g2)/2；

b3＝(b1+b2)/2。

在另一个具体的例子中，在步骤1084中，计算第一像素的颜色分量值和第二像素的颜色分量值的加权平均值，作为调整后的新图片的第一像素的颜色分量值。即，

r3＝(r1*x+r2*y)/(x+y)

g3＝(g1*x+g2*y)/(x+y)

b3＝(b1*x+b2*y)/(x+y)

x是与第一像素对应的权重，y是与第二像素对应的权重，x和y可以是预先设置好的固定值，例如，将x设置成0.6，将y设置成0.4。

在一个具体的例子中，与第一像素对应的权重x与第一像素距离前景区域的最短距离可以为正相关关系，与第二像素对应的权重y与第一像素距离前景区域的最短距离可以为负相关关系。也就是说，当第一像素距离前景区域越近时，与第一像素对应的权重x越小，与第二像素对应的权重y越大。当第一像素距离前景区域越远时，与第一像素对应的权重x越大，与第二像素对应的权重y越小。

或者，根据以下方式设置x和y：

x＝d/g

y＝1-x

其中，g是过渡区域的宽度，d是第一像素距离前景区域的最短距离。采用这种方式设置权重，第一像素越靠近前景区域时，x的值越小，y的值越大，调整后的第一像素越近似于着装图片的同一位置的像素；第一像素越远离前景区域时，x的值越大，y的值越小，调整后的第一像素越近似于原始图片的同一位置的像素。

在调整后的新图片中，也就是在目标图片中，裸露人体已经穿上了衣服，背景区域得到了较大的保留，前景区域和背景区域的过渡也非常自然，提升了观看者的视觉体验。

步骤110，输出调整后的新图片。

在一个实施例中，终端设备1200将图片发送到服务器1100，由服务器1100检测图片是否含有裸露人体图像，以及在图片含有裸露人体图像的情况下对图片进行后续处理，得到目标图片。

或者，在另一个实施例中，终端设备1200可以自行检测图片中是否含有裸露人体图像，在图片中含有裸露人体图像的情况下，将图片上传给服务器1100，由服务器1100对含有裸露人体图像的图片进行后续处理，得到目标图片。服务器1100在完成处理得到目标图片后，可以将目标图片下发给终端设备1200，也可以将目标图片直接发布到网络上。

在又一个实施例中，不依赖于图1所示的服务器1100，终端设备1200可以自行检测图片中是否含有裸露人体图像，在图片中含有裸露人体图像的情况下，对含有裸露人体图像的图片进行后续处理，得到目标图片。终端设备1200在完成处理得到目标图片后，可以将目标图片发布到网络上。

本公开实施例提供了一种图片处理方法，在对含有裸露人体图像的原始图片进行着装处理得到着装图片后，将原始图片的背景区域和着装图片的前景区域进行合并得到新图片，此时新图片中的背景区域的像素信息和原始图片的背景区域像素信息一致；对新图片的背景区域中与所述前景区域衔接的区域，也就是过渡区域进行调整，向新图片的过渡区域中融合着装图片中相同位置的像素信息，也就是说，调整后的新图片的过渡区域的像素信息实际融合了原始图片和着装图片的同一位置的像素信息。可知，调整后的新图片的过渡区域和原始图片的过渡区域存在相似性，使得新图片的背景区域不会太过失真。调整后的新图片的过渡区域的像素信息实际融合了原始图片和着装图片的同一位置的像素信息，还可以使得前景区域和背景区域的过渡非常自然，从而提升了处理后图片的视觉体验。

<装置实施例>

参见图4所示，在本公开又一个实施例中，提供一种图片处理装置300。该图片处理装置300可以包括第一获取模块302、第二获取模块304、合并模块306、调整模块308和输出模块310。

第一获取模块302用于获取含有裸露人体图像的原始图片。

第二获取模块304用于获取由原始图片转换得到的着装图片。

合并模块306用于将原始图片的背景区域和着装图片的前景区域进行合并，得到新图片。

调整模块308用于对新图片的过渡区域进行调整，使得新图片的过渡区域中的像素信息融合着装图片中相同位置的像素信息。

输出模块310用于输出调整后的新图片。

其中，前景区域是与裸露人体图像对应的区域或者是与裸露人体图像的身体部分对应的区域，背景区域是前景区域以外的区域，过渡区域是背景区域中与前景区域衔接的区域。

在一个具体的例子中，调整模块308对新图片的过渡区域进行调整，使得新图片的过渡区域中的像素信息融合着装图片中相同位置的像素信息，包括：获取第一像素的颜色分量值，第一像素为新图片的过渡区域中的像素；获取第二像素的颜色分量值，第二像素是着装图片中与第一像素相同位置的像素；计算第一像素的颜色分量值和第二像素的颜色分量值的算数平均值作为调整后的新图片的第一像素的颜色分量值。

在一个具体的例子中，调整模块308对新图片的过渡区域进行调整，使得新图片的过渡区域中的像素信息融合着装图片中相同位置的像素信息，包括：获取第一像素的颜色分量值，第一像素为新图片的过渡区域中的像素；获取第二像素的颜色分量值，第二像素是着装图片中与第一像素相同位置的像素；计算第一像素的颜色分量值和第二像素的颜色分量值的加权平均值，作为调整后的新图片的第一像素的颜色分量值。

与第一像素对应的权重和与第二像素对应的权重可以是预先设置好的。或者，

与第一像素对应的权重与第一像素距离前景区域的最短距离为正相关关系，与第二像素对应的权重与第一像素距离前景区域的最短距离为负相关关系。或者，

与第一像素对应的权重和与第二像素对应的权重是通过以下式子确定：

x＝d/g

y＝1-x

其中，x是与第一像素对应的权重，y是与第二像素对应的权重，g是过渡区域的宽度，d是第一像素距离前景区域的最短距离。

在一个实施例中，第二获取模304获取由原始图片转换得到的着装图片，包括：将原始图片输入至预先训练好的换装模型中，由换装模型输出着装图片；该换装模型采用生成对抗网络算法实现。

在一个实施例中，第一获取模块302获取含有裸露人体图像的原始图片，包括：对待测图片进行检测，确定待测图片中是否含有人体图像；在所述待测图片中含有人体图像，且人体图像含有人脸部分的情况下，根据人脸部分确定肤色，检测人体图像的身体部分的肤色区域的面积占身体部分的面积的比例是否达到预设的阈值，如果达到预设的阈值，将待测图片作为原始图片。

在一个实施例中，第一获取模块302获取含有裸露人体图像的原始图片，包括：将待测图片输入至预先训练好的判别模型中，根据判别模型的输出结果确定待测图片中是否含有裸露人体图像，如果待测图片中含有裸露人体图像，将待测图片作为原始图片。

该判别模型可以通过以下方式训练得到：

将样本图片集中的样本图片输入至基于深度学习的分类网络中，用样本图片的真实分类结果作为监督，进行训练迭代，以得到判别模型。

样本图片集中包括正样本图片和负样本图片，正样本图片是含有裸露人体图像的图片，负样本图片包括含有人体图像并且人体图像不裸露的图片和不含有人体图像的图片。

参见图5所示，在本公开又一个实施例中，提供一种图片处理装置400。该图片处理装置400可以包括处理器414和存储器412，存储器412用于存储计算机可读指令，所述计算机可读指令用于控制处理器414执行本公开任一个实施例提供的图片处理方法。

在本公开又一个实施例中，还提供了一种电子设备，该电子设备可以包括前述的图片处理装置。在本公开又一个实施例中，还提供一种电子设备，该电子设备可以包括处理器和存储器，存储器用于存储计算机可读指令，所述计算机可读指令用于控制处理器执行本公开任一个实施例提供的图片处理方法。

在本公开实施例中，图片处理装置可以是服务器，也可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等电子产品。

在本实施例中，电子设备可以是服务器，也可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等电子产品。

<计算机可读存储介质实施例>

根据本公开的又一个实施例，还提供一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令在被处理器执行时实现本公开任一个实施例提供的图片处理方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本公开实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开实施例的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开实施例的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开实施例的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本公开实施例的范围由所附权利要求来限定。

Claims (11)

1.一种图片处理方法，其特征在于，包括以下步骤：

获取含有裸露人体图像的原始图片；

获取由所述原始图片转换得到的着装图片；

将所述原始图片的背景区域和所述着装图片的前景区域进行合并，得到新图片；

对所述新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息；

输出调整后的所述新图片；

其中，所述前景区域是与裸露人体图像对应的区域或者是与裸露人体图像的身体部分对应的区域，所述背景区域是所述前景区域以外的区域，所述过渡区域是所述背景区域中与所述前景区域衔接的区域。

2.根据权利要求1所述的方法，其特征在于，所述对新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息，包括：

获取第一像素的颜色分量值，所述第一像素为新图片的过渡区域中的像素；

获取第二像素的颜色分量值，所述第二像素是着装图片中与第一像素相同位置的像素；

计算第一像素的颜色分量值和第二像素的颜色分量值的算数平均值或者加权平均值，作为调整后的新图片的第一像素的颜色分量值。

3.根据权利要求1所述的方法，其特征在于，所述对新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息，包括：

获取第一像素的颜色分量值，所述第一像素为新图片的过渡区域中的像素；

获取第二像素的颜色分量值，所述第二像素是着装图片中与第一像素相同位置的像素；

计算第一像素的颜色分量值和第二像素的颜色分量值的加权平均值，作为调整后的新图片的第一像素的颜色分量值；

其中，与第一像素对应的权重与第一像素距离前景区域的最短距离为正相关关系，与第二像素对应的权重与第一像素距离前景区域的最短距离为负相关关系。

4.根据权利要求3所述的方法，其中，与第一像素对应的权重和与第二像素对应的权重是通过以下式子确定：

x＝d/g

y＝1-x

其中，x是与第一像素对应的权重，y是与第二像素对应的权重，g是过渡区域的宽度，d是第一像素距离前景区域的最短距离。

5.根据权利要求1所述的方法，其特征在于，所述获取由所述原始图片转换得到的着装图片，包括：

将原始图片输入至预先训练好的换装模型中，由换装模型输出着装图片；

所述换装模型基于生成对抗网络算法的生成器实现。

6.根据权利要求1所述的方法，其特征在于，所述获取含有裸露人体图像的原始图片，包括：

对待测图片进行检测，确定所述待测图片中是否含有人体图像；

在所述待测图片中含有人体图像，且所述人体图像含有人脸部分的情况下，根据人脸部分确定肤色，检测所述人体图像的身体部分的肤色区域的面积占身体部分的面积的比例是否达到预设的阈值，如果达到预设的阈值，将所述待测图片作为所述原始图片。

7.根据权利要求1所述的方法，其特征在于，所述获取含有裸露人体图像的原始图片，包括：

将待测图片输入至预先训练好的判别模型中，根据所述判别模型的输出结果确定所述待测图片中是否含有裸露人体图像，如果所述待测图片中含有裸露人体图像，将所述待测图片作为所述原始图片。

8.根据权利要求7所述的方法，其特征在于，所述判别模型通过以下方式训练得到：

将样本图片集中的样本图片输入至基于深度学习的分类网络中，用样本图片的真实分类结果作为监督，进行训练迭代，以得到所述判别模型；

所述样本图片集中包括正样本图片和负样本图片，所述正样本图片是含有裸露人体图像的图片，所述负样本图片包括含有人体图像并且人体图像不裸露的图片和不含有人体图像的图片。

9.一种图片处理装置，其特征在于，包括以下模块：

第一获取模块，用于获取含有裸露人体图像的原始图片；

第二获取模块，用于获取由所述原始图片转换得到的着装图片；

合并模块，用于将所述原始图片的背景区域和所述着装图片的前景区域进行合并，得到新图片；

调整模块，用于对所述新图片的过渡区域进行调整，使得所述新图片的过渡区域中的像素信息融合所述着装图片中相同位置的像素信息；

输出模块，用于输出调整后的所述新图片；

其中，所述前景区域是与裸露人体图像对应的区域或者是与裸露人体图像的身体部分对应的区域，所述背景区域是所述前景区域以外的区域，所述过渡区域是所述背景区域中与所述前景区域衔接的区域。

10.一种电子设备，其特征在于，包括：

权利要求9所述的图片处理装置；或者，

处理器和存储器，所述存储器用于存储计算机可读指令，所述计算机可读指令在被所述处理器执行时实现权利要求1-8任一项所述的图片处理方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令在被处理器执行时实现权利要求1-8任一项所述的图片处理方法。

Images