CN110516545A - 模型训练、图像处理方法和设备、图像处理器及介质 - Google Patents

Abstract

本发明公开了模型训练、图像处理方法和设备、图像处理器及介质。该模型训练方法包括：获得多个成对的训练数据作为训练数据集；使用训练数据集来训练多尺度图像处理模型，其中，将成对的训练数据之中的美化前图像，通过缩放来形成不同尺度的美化前图像作为输入图像，而将成对的训练数据之中的美化后图像，通过缩放来形成不同尺度的美化后图像，作为监督图像，以通过反向传播来训练出所述多尺度图像处理模型。本发明通过采用能够适应性处理不同尺度输入图像的多尺度图像处理模型，能够获得更自然美观的图像处理效果。

Description

模型训练、图像处理方法和设备、图像处理器及介质

技术领域

本发明涉及图像处理技术，尤其涉及模型训练、图像处理方法和设备、图像处理器及介质。

背景技术

一般使用者在使用拍摄装置拍摄时，主要物体往往是人，并且包含人脸。由于爱美的天性，使用者会希望拍出来的脸是完美无暇的。然而实际拍摄时往往因为各种因素，人脸会产生瑕疵(譬如光线不足、噪声太强、相机晃动、人脸肤质肤色不好、有痘斑等等)，因而需要美化人脸图像。

随着深度学习(包括神经网络)的发展，业界逐渐开始利用深度学习技术构成的图像处理模型来美化人脸图像。使用深度学习技术来美化人脸图像，能够获得更令人满意的人脸图像，而且系统架构简单，无需传统算法的各种繁琐的步骤，比如去噪、去模糊、锐化、去斑、色彩调整、美肌、美妆等等。

然而，现有的使用深度学习技术的图像处理模型对于不同尺度的人脸图像，仍然不能得到令人满意的图像处理效果。

因此，亟需一种能够有效处理不同尺度的人脸图像的图像处理模型训练方法以及图像处理方案。

发明内容

为了解决以上问题之一，本发明提供了一种多尺度图像处理模型训练方法和设备、图像处理方法和设备、图像处理器及介质。

根据本发明的一个实施例，提供一种多尺度图像处理模型训练方法，包括：训练数据集获得步骤，获得多个成对的训练数据作为训练数据集，其中，所述成对的训练数据中包括一张美化前图像、以及与该美化前图像对应的一张美化后图像；训练步骤，使用所述训练数据集来训练所述多尺度图像处理模型，其中，将所述成对的训练数据之中的所述美化前图像，通过缩放来形成不同尺度的美化前图像作为所述多尺度图像处理模型的输入图像，而将所述成对的训练数据之中的所述美化后图像，通过缩放来形成不同尺度的美化后图像，作为所述多尺度图像处理模型的监督图像，以通过反向传播来训练出所述多尺度图像处理模型。

根据本发明的一个实施例，提供一种图像处理方法，用于对图像中的目标进行处理，其特征在于，包括：目标提取步骤，在输入图像中找到目标的位置，并提取出目标所在的区域作为待处理图像；图像处理步骤，使所述待处理图像作为美化前图像，通过使用上述的训练方法训练得到的多尺度图像处理模型，得到美化后图像；前后景融合步骤，将所述美化后图像作为前景，将所述输入图像中的、所述目标所在的区域之外的部分作为背景，进行前景和后景的融合，得到目标处理图像。

根据本发明的再一个实施例，提供一种图像处理器，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行上面描述的方法之一。

根据本发明的又一个实施例，提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行上面描述的方法之一。

本发明通过采用能够适应性处理不同尺度输入图像的多尺度图像处理模型，能够获得更自然美观的图像处理效果。

而且，通过各种形式的训练数据获得方法，能够得到更丰富更广泛的训练数据集，由此能够得到处理效果更好的图像处理模型。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的附图标记通常代表相同部件。

图1给出了根据本发明的一个示例性实施例的图像处理模型的训练方法的示意性流程图。

图2给出了根据本发明的一个示例性实施例的多尺度图像处理模型的结构的示意图。

图3给出了根据本发明的一个示例性实施例的图像处理方法的示意性流程图。

图4给出了根据本发明的一个示例性实施例的图像处理模型的训练设备的示意性框图。

图5给出了根据本发明的一个示例性实施例的图像处理设备的示意性框图。

图6给出了根据本发明的一个示例性实施例的图像处理器的示意性框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。这里需要说明的是，本申请中的数字、序号以及附图标记仅是为了方便描述而出现的，对于本发明的步骤、顺序等等均不构成任何限制，除非在说明书中明确指出了步骤的执行有特定的先后顺序。

图1给出了根据本发明的一个示例性实施例的图像处理模型的训练方法的示意性流程图。

如图1所示，在步骤S110，获得多个成对的训练数据作为训练数据集。

如前所述，要使用深度学习技术来完成人脸美化，首先需要解决的难题是如何获得适合的训练数据，其次是如何设计神经网络的结构以达到更好的效果。

针对获得训练数据的问题，本发明提出了如下方法。

要使用深度学习技术来完成人脸美化，需要用到监督学习(supervisedlearning)。而监督学习需要成对的训练数据。对于人脸美化而言，成对的训练数据可以包括美化前的人脸与美化后的人脸。每对训练数据之间，除了美化程度不同之外，必须是完全相同的人脸。为了让使用深度学习技术的图像处理模型达到全方面的效果，美化前的人脸可能包含多种不同的瑕疵，比如很差的光线或阴影、不好的画质如噪声或是模糊、不好的肤色与肤质、不光滑的肌肤如痘与斑等等。

要产生如上所述的如此全面性的训练数据并不容易，本发明提出可以使用以下三种方式来获得所需的训练数据。

1)使用模拟算法模拟出美化前图像

搜集很多图像效果较好的人脸图像，当做美化后的图像，然后使用模拟算法来模拟出美化前的图像。模拟算法包括加入人工噪声、加入人工模糊、颜色调整、加上不光滑的瑕疵纹理等等操作。

其中，可选地，图像效果较好表示例如光线、阴影、画质、肤色、肤质、肌肤光滑程度等等满足一些预设条件。这些预设条件可以根据需求自行设置，本发明无需对此加以限制。

由此，可以将模拟的美化前的图像与上面所述的、被搜集来当做美化后的图像的人脸图像作为成对的训练数据。

2)拍摄成对的训练数据

要获得成对的训练数据，可以设置或控制拍摄装置的拍摄参数和拍摄条件等(例如，相机参数、灯光控制方式等)，以便能在很短的时间内、人脸几乎没有移动的情况下，拍摄出两张照片，其中一张是光线较差或是画质较差(例如可以通过ISO值的设置来获得)的图像，作为美化前的图像，另一张是光线较好或是画质较好的图像，作为美化后的图像。

这里，对于如何“设置或控制拍摄装置的拍摄参数和拍摄条件等(例如，相机参数、灯光控制方式等)，获得成对的训练数据”，进行进一步的解释。例如，光线可以靠外在环境的控制。比如说，如果要控制第一张照片光线差，第二张照片光线好，那么可以配置灯光环境，例如可以通过控制器来控制灯光，使得拍第一张时的光线差，拍完第一张的瞬间，把光线变好再拍第二张。而且，本领域技术人员可知，一旦光线差，画质自然就更差，原因是光线差的情况下，相机内部会自动把ISO提高，并且曝光时间会增加，而ISO高会造成噪点多，曝光时间增长则增加画面模糊的几率。除了相机自动配置外，也可以用程序控制把已经比较高的ISO值再提高，使得图片噪声更强，造成画质更差。

相反地，对于外在环境的光线好的情况，相机自动配置的ISO会低些，曝光时间短些，所以画质会更好(噪声及模糊变少)。

另外，对于上述的光线调整的情况，也可以不使用相机的自动配置，而是可以自行配置更低的ISO值，使得画质再更好一些(当然自行调低ISO的情况下，需要相对应地增大曝光值，此时，只要拍摄对象(例如)不太移动即可)。

上面描述的是调整外在环境的光线并随之调整ISO值和曝光值的情况。本领域技术人员应当理解，不调整外在环境的光线而只是自行调整ISO值和曝光也可以获得所需的成对的训练数据，即，一张较差的照片和一张较好的照片，不过使用调整光线的方式，照片的反差效果更明显。

另外，还可以对获得的第二张照片(即，效果较好的照片)进行其它的画质增强的处理，本发明对此不再赘述。

由此，可以将拍摄的成对的图像作为成对的训练数据。

即，可选地，在步骤S110，可以使用以下三种方式之一或者其任意组合来获得训练数据：

1)获得多个满足例如上面所述的预设条件的图像作为美化后图像，并使用模拟算法来模拟出所述多个图像的美化前图像；

2)通过设置拍摄装置的拍摄参数和拍摄条件，拍摄成对的图像作为一对训练数据的所述美化前图像和所述美化后图像；

3)获得多个满足例如上面所述的预设条件的图像作为美化前图像，使所述美化前图像经过图像处理，得到美化后图像。

如上所述，通过以上三种方式中的任一种方式，或是对这三种方式进行任意的、不同的组合，可以获得充足的、用于训练图像处理模型的成对训练数据。训练数据越多且包含性越广，图像处理模型的处理效果就会越好。

3)后期调整获得美化后图像

获得多个图像作为美化前图像，使这些美化前图像经过处理，得到对应的美化后图像。

例如，可以通过使用拍摄装置(例如手机的摄像头等等)拍摄许多充满瑕疵的照片作为美化前图像，然后，将这些美化前图像经过处理软件(比如Photoshop)或者处理装置(例如图像处理器ISP)，对照片进行美化，获得美化后的照片。

由此，可以将拍摄的美化前的照片与美化后的照片作为成对的训练数据。

通过以上三种方式中的任一种方式，或是对这三种方式进行任意的、不同的组合，可以获得充足的、用于训练图像处理模型的成对训练数据。训练数据越多且包含性越广，图像处理模型的处理效果就会越好。

如上所述，可选地，成对的训练数据中包括一张美化前图像、以及与该美化前图像对应的一张美化后图像。

另外，由于每对训练数据中的人脸的大小往往不同，即，它们的尺度往往不同。如果用不同尺度的不同人脸图像来训练同一个图像处理模型，该图像处理模型往往无法对所有尺度的人脸获得令人满意的图像处理结果。

因此，本发明提出一种多尺度图像处理模型及其训练方法。

具体地，在步骤S120，使用上述的训练数据集来训练多尺度图像处理模型。

其中，将成对的训练数据之中的美化前图像，通过缩放来形成不同尺度的美化前图像，作为多尺度图像处理模型的输入图像，而将成对的训练数据之中的美化后图像，通过缩放来形成不同尺度的美化后图像，作为多尺度图像处理模型的监督图像，以通过反向传播来训练出多尺度图像处理模型。

如上所述，通过按照上述的方式训练多尺度图像处理模型，可以对所有尺度的人脸，都能获得令人满意的图像处理结果。

在本发明中，可以将一张美化前图像变换为不同尺度的美化前图像，并将由该美化前图像变换得到的、不同尺度的美化前图像称为相应尺度的美化前图像，比如第一尺度的美化前图像、第二尺度的美化前图像、第n尺度的美化前图像......等等。这里，n为大于2的自然数。

比如，为了方便理解和描述，在图2中，我们给出了多尺度图像处理模型的示意性框图。现在将以三个尺度为例，作为输入的美化前人脸图像分别为601、602、603，其中，某个美化前的人脸图像(例如，可称为第一尺度的美化前图像601)可以变换(这里是缩小)为其它的美化前人脸图像，例如第二尺度的美化前图像602或者例如第三尺度的美化前图像603。但是，在实践中可依据实际需求来决定使用几种尺度(可以是两个或更多个)，并且可以在这几种尺度之间进行变换，例如可以放大，也可以缩小，而不是仅限于单向地放大或者单向地缩小。

进一步地，例如，在第一尺度(本例中为最小的尺度)上，可以通过第一图像处理子模型604的运算，来得到一张美化后的图像(称为第一尺度的第一模型美化后图像605)。但是，请注意，也可以在最大的尺度(例如，第n尺度)上，或者是输入的美化前图像中的任何某个尺度(例如尺度i，i可以大于等于1且小于等于n)上，通过相应的图像处理子模型的运算，来得到一张美化后的图像。

然后，将第一尺度的第一模型美化后图像605变换(本例中为放大，当然也可以缩小)至第二尺度，成为第二尺度的第一模型美化后图像605’，并且将第二尺度的第一模型美化后图像605’与第二尺度的美化前图像602结合(例如通过后面介绍的前后景融合)后，通过第二图像处理子模型606，可以得到第二尺度的第二模型美化后图像607。

同样地，将第二尺度的第二模型美化后图像607变换(本例中为放大)至第三尺度作为第三尺度的第二模型美化后图像607’并与第三尺度的图像603结合后，通过第三图像处理子模型608可以得到第三尺度的第三模型美化后图像609(在本例中，是得到了最终的美化后的大尺度的脸)。

以此类推，可以将第n-1尺度的第n-1模型美化后图像变换至第n尺度并与第n尺度的美化前图像结合后，通过第n图像处理子模型可以得到第n尺度的第n模型美化后图像(在本例中，是得到了最终的美化后的大尺度的脸)。

请注意，在上面的描述中，按照从1到3、乃至到n的顺序对图像处理过程进行了描述，但是应当注意，本发明不限于这样的顺序，而是可以按照从大到小的顺序，进一步地，其实可以按照任何的顺序来进行这样的图像处理，因为尺度的顺序关系不影响本发明的实质，只要进行相应的尺度变换然后由相应的图像处理子模型进行图像处理即可。

即，在训练图像处理模型时，可以将通过上面描述的方法得到的成对训练数据之中的美化前的图像，处理成不同尺度的图像当作输入，而将通过上面描述的方法得到的成对训练数据之中的美化后的图像，也处理成不同尺度的图像，当成训练的目标(ground-truth)，即监督图像。由此，可以通过反向传播技术来训练出与图像的不同尺度相对应的图像处理子模型，如上面描述的第一、第二……第n图像处理子模型那样。

通过上述的多尺度图像处理模型，可以对所有尺度的人脸，都能获得令人满意的图像处理结果。

如上所述，可选地，如图2所示，上述的多尺度图像处理模型可以包括n个图像处理子模型，这里，n为大于等于2的整数，所述n个图像处理子模型中的每一个分别用于处理相应尺度的图像。

另外，在训练步骤S120，可以按照以下方式，通过反向传播来训练各图像处理子模型。

1)将成对的训练数据之中的美化前图像，通过缩放来形成n个尺度的美化前图像。

其中，每个尺度的美化前图像分别作为相应图像处理子模型的输入图像，而将成对的训练数据之中的美化后图像，通过缩放来形成n个尺度的美化后图像，其中，每个尺度的美化后图像分别作为相应图像处理子模型的监督图像。

2)使第i尺度的美化前图像通过第i图像处理子模型，经过前后景融合，得到第i尺度的第i模型美化后图像，i为大于等于1且小于等于n的整数。

3)将第i尺度的第i模型美化后图像变换至第j尺度，成为第j尺度的第i模型美化后图像，并且将第j尺度的第i模型美化后图像与第j尺度的美化前图像结合，通过第j图像处理子模型，得到第j尺度的第j模型美化后图像，这里，j不等于i，且j为大于等于1且小于等于n的整数。

这种同时训练图像处理子模型的方式，将美化后图像与美化前图像结合，能够获得处理效果更均匀、更自然的图像。

这里请注意，上面描述的方法为同时训练各图像处理子模型的方法之一，在该方法中，美化后图像与美化前图像可以结合，能够获得处理效果更均匀、更自然的图像。

另外，各图像处理子模型也可以单独地训练。此时，可以把每张美化前图像和美化后图像先缩放成不同尺度的相应美化前图像和美化后图像，然后，每种尺度的美化前图像和美化后图像分别作为相应尺度的图像处理子模型的输入图像和监督图像，来训练得到该相应尺度的图像处理子模型。这种单独地训练的方式比同时训练的方式简单一些。

即，可选地，也可以按照如下的方式来单独训练各图像处理子模型。

在训练步骤S120中，按照以下方式，通过反向传播，单独地训练各图像处理子模型：

1)把每张美化前图像和美化后图像缩放成不同尺度的相应美化前图像和美化后图像；

2)把每种尺度的美化前图像和美化后图像分别作为相应尺度图像处理子模型的输入图像和监督图像，来训练得到该相应尺度图像处理子模型。

这种单独地训练的方式比上面描述的同时训练的方式简单一些，让然能获得较好的图像处理效果。

在训练得到多尺度图像处理模型之后，可以使用该模型来进行图像处理。

例如，在实际应用时，可以通过人脸定位技术在图像中找到人脸的位置，并提取出这个人脸区域(例如，以人脸为中心的某个区域，比如以人脸为中心的方形区域)作为待处理图像，接着通过训练后的多尺度图像处理模型，对作为待处理图像的人脸区域进行美化。由于人脸区域的人脸有大有小，如果人脸尺度小，则需要用到小尺度的图像处理模型，若人脸尺度大，则使用大尺度的图像处理模型。

接着，可以进行前后景融合。

这里，可以将人脸作为前景，人脸之外的区域作为背景。如前所述，在利用神经网络对人脸进行美化时，可以先把人脸为中心的区域提取出来(例如，把人脸区域框出来)，然后利用神经网络模型来对人脸区域进行美化处理。此时，如果直接把美化后的人脸贴回美化前图像中的人脸区域，效果会不自然。因此，通常的处理方法是：先算出人脸轮廓，在人脸轮廓内使用美化后的人脸，在人脸轮廓外，使用原图，并且，在人脸轮廓附近，可以做一些渐变的效果，以使得整张图看起来比较自然，这个过程即是上述的“前后景融合”。也就是说，本文的“前后景融合”包括对作为人脸区域之外的区域的背景与作为人脸区域的前景做适当的调整，使两者融合得更自然，最终得到一张经过美化处理的人脸图像。

这里，人脸图像提取与前后景融合可以使用已有技术或者将来可以使用的技术来实现，本文对此不做过多阐述。

另外，可选地，每一个图像处理子模型可以是任何一种图进图出的网络结构(比如FCN、UNet等等)，或者其他的可用的网络结构。

另外，图像处理子模型可以使用各种神经网络模型，比如机器学习模型、深度学习模型等等。

在本发明中，在结合小尺度输出与较大尺度输入时，可以先将小尺度的图像放大，再与较大尺度的图像结合，然后输入到较大尺度的图像处理子模型。或者是采用较大尺度的图像处理子模型能够接受的其他方式来输入。

当然，也可以反之，例如，可以先将较大尺度的图像缩小，再与小尺度的图像结合，然后输入到小尺度的图像处理子模型。或者是采用小尺度的图像处理子模型能够接受的其他方式来输入。

另外，也可以不只是单向地放大或缩小，而是可以根据需求，在各尺度之间变换，比如中尺度变向小尺度、变向大尺度，等等方式，本发明不受到这种实现方式的限制。

其中，可选地，上述的各种尺度的图像可以是包含人脸的图像，也可以是从图像中提取出来的单独人脸。

另外，本发明可以美化人脸图像，也可以美化其他类型的图像，比如动植物图像、建筑图像、风景图像等等。

图3给出了根据本发明的一个示例性实施例的用于对图像中的目标进行处理的图像处理方法的示意性流程图。

如图3所示，根据本发明的一个示例性实施例的用于对图像中的目标进行处理的图像处理方法包括以下步骤。

在步骤S210，在输入图像中找到目标(例如人脸)的位置，并提取出目标所在的区域作为待处理图像。

在步骤S220，使待处理图像作为美化前图像，通过使用上面描述的多尺度图像处理模型的训练方法训练得到的多尺度图像处理模型，得到美化后图像。

在步骤S230，将上述的美化后图像作为前景，将上述输入图像中的、所述目标所在的区域之外的部分作为背景，进行前景和后景的融合，得到目标处理图像。

通过采用训练好的多尺度图像处理模型来对输入图像进行图像处理，能够得到更好的处理效果。

可选地，在步骤S220中，基于待处理图像的尺度，使待处理图像通过多尺度图像模型中的相应尺度的图像处理子模型。比如，一个待处理图像的尺度符合第2尺度，则使得该待处理图像通过多尺度图像模型中的第2尺度的图像处理子模型。这样，能够得到处理效果更好的图像。

图4给出了根据本发明的一个示例性实施例的图像处理模型的训练设备的示意性框图。

如图4所示，根据本发明的一个示例性实施例的图像处理模型的训练设备包括训练数据集获得装置110、训练装置120。

其中，训练数据集获得装置110可以被配置用于获得多个成对的训练数据作为训练数据集。

其中，所述成对的训练数据中包括一张美化前图像、以及与该美化前图像对应的一张美化后图像。

训练装置120可以被配置用于使用上述的训练数据集来训练多尺度图像处理模型。

其中，将成对的训练数据之中的美化前图像，通过缩放来形成不同尺度的美化前图像作为多尺度图像处理模型的输入图像，而将成对的训练数据之中的美化后图像，通过缩放来形成不同尺度的美化后图像，作为多尺度图像处理模型的监督图像，以通过反向传播来训练出多尺度图像处理模型。

另外，可选地，训练数据集获得装置使110可以用以下三种方式之一或者其任意组合来获得训练数据：

1)获得多个图像作为美化后图像，并使用模拟算法来模拟出所述多个图像的美化前图像；

2)通过设置拍摄装置的拍摄参数和拍摄条件，拍摄成对的图像作为一对训练数据的所述美化前图像和所述美化后图像；

3)获得多个图像作为美化前图像，使所述美化前图像经过图像处理，得到美化后图像。

另外，可选地，如图2所示，上述的多尺度图像处理模型包括n个图像处理子模型，这里，n为大于等于2的整数，所述n个图像处理子模型中的每一个分别用于处理相应尺度的图像，

另外，可选地，训练装置120按照以下方式，通过反向传播来训练各图像处理子模型。

1)将成对的训练数据之中的所述美化前图像，通过缩放来形成n个尺度的美化前图像。

其中，每个尺度的美化前图像分别作为相应图像处理子模型的输入图像，而将成对的训练数据之中的美化后图像，通过缩放来形成n个尺度的美化后图像，其中，每个尺度的美化后图像分别作为相应图像处理子模型的监督图像；

2)使特定的第i尺度的美化前图像通过第i图像处理子模型，得到第i尺度的第i模型美化后图像，i为大于等于1且小于等于n的整数。

这里，i可以为1或者n，例如最小尺度或最大尺度，也就是说没，可以从最小尺度或者最大尺度开始，这是最简单的实现方式，但是对于实现而言，并不局限于最简单的两端的情况，而是从任何一个尺度开始，都是可以实现的。

3)将第i尺度的第i模型美化后图像变换至第j尺度，成为第j尺度的第i模型美化后图像，并且将第j尺度的第i模型美化后图像与第j尺度的美化前图像结合，通过第j图像处理子模型，得到第j尺度的第j模型美化后图像，这里，j不等于i，且j为大于等于1且小于等于n的整数。

这里，与上面的描述相对应，在i为两端(即，1或n)的情况时，j比i大1(i为1)或小1(i为n)是最简单、最容易实现的方式，也是上面结合图2所给出的示例描述的方式。但是本领域技术人员应当理解，本发明的实施方式并不仅限于这样最简单的情况，而是可以在i和j间隔更多的情况下来实现，而且实际上，也没有增加太多的实现难度。也就是说，无论j和j怎么间隔，只要不违背本发明的主旨，都应该在本发明的保护范围之内。

另外，可选地，训练装置120按照以下方式，通过反向传播，单独地训练各图像处理子模型：

1)把每张美化前图像和美化后图像缩放成不同尺度的相应美化前图像和美化后图像；

2)把每种尺度的美化前图像和美化后图像分别作为相应尺度图像处理子模型的输入图像和监督图像，来训练得到该相应尺度图像处理子模型。

图5给出了根据本发明的一个示例性实施例的图像处理设备的示意性框图。

如图5所述，根据本发明的一个示例性实施例的图像处理设备200用于对图像中的目标进行处理，其包括：目标提取装置210、图像处理装置220、前后景融合装置230。

其中，目标提取装置210可以被配置用于在输入图像中找到目标的位置，并提取出目标所在的区域作为待处理图像。

图像处理装置210可以被配置用于使所述待处理图像作为美化前图像，通过使用如上所述的训练方法训练得到的多尺度图像处理模型，得到美化后图像。

前后景融合装置210可以被配置用于将上述的美化后图像作为前景，将所述输入图像中的、所述目标所在的区域之外的部分作为背景，进行前景和后景的融合，得到目标处理图像。

另外，可选地，上述的图像处理装置220基于待处理图像的尺度，使待处理图像通过所述多尺度图像模型中的相应尺度的图像处理子模型。

图6给出了根据本发明的一个示例性实施例的图像处理器的示意性框图。

参见图6，该图像处理器1包括存储器10和处理器20。

处理器20可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器20可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器20可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器10上存储有可执行代码，当所述可执行代码被所述处理器20执行时，使所述处理器20执行上面描述的方法之一。其中，存储器10可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器20或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器10可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器10可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图等等显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种多尺度图像处理模型的训练方法，其特征在于，包括：

训练数据集获得步骤，获得多个成对的训练数据作为训练数据集，其中，所述成对的训练数据中包括一张美化前图像、以及与该美化前图像对应的一张美化后图像；

训练步骤，使用所述训练数据集来训练所述多尺度图像处理模型，其中，将所述成对的训练数据之中的所述美化前图像，通过缩放来形成不同尺度的美化前图像作为所述多尺度图像处理模型的输入图像，而将所述成对的训练数据之中的所述美化后图像，通过缩放来形成不同尺度的美化后图像，作为所述多尺度图像处理模型的监督图像，以通过反向传播来训练出所述多尺度图像处理模型。

2.如权利要求1所述的训练方法，其特征在于，其中，在所述训练数据集获得步骤，使用以下三种方式之一或者其任意组合来获得训练数据：

1)获得多个满足预设条件的图像作为美化后图像，并使用模拟算法来模拟出所述多个美化后图像的美化前图像；

2)通过设置拍摄装置的拍摄参数和拍摄条件，拍摄成对的图像作为一对训练数据的所述美化前图像和所述美化后图像；

3)获得多个满足预设条件的图像作为美化前图像，使所述美化前图像经过图像处理，得到美化后图像。

3.如权利要求1或2所述的训练方法，其特征在于，其中，

所述多尺度图像处理模型包括n个图像处理子模型，这里，n为大于等于2的整数，所述n个图像处理子模型中的每一个分别用于处理相应尺度的图像，

在所述训练步骤，按照以下方式，通过反向传播来训练各图像处理子模型：

将所述成对的训练数据之中的所述美化前图像，通过缩放来形成n个尺度的美化前图像，其中，每个尺度的美化前图像分别作为相应图像处理子模型的输入图像，而将所述成对的训练数据之中的所述美化后图像，通过缩放来形成n个尺度的美化后图像，其中，每个尺度的美化后图像分别作为相应图像处理子模型的监督图像；

使特定的第i尺度的美化前图像通过第i图像处理子模型，得到第i尺度的第i模型美化后图像，其中，i为一个大于等于1且小于等于n的整数；

将所述第i尺度的第i模型美化后图像变换至第j尺度，成为第j尺度的第i模型美化后图像，并且将所述第j尺度的第i模型美化后图像与第j尺度的美化前图像结合，通过第j图像处理子模型，得到第j尺度的第j模型美化后图像，这里，j不等于i，且j为大于等于1且小于等于n的整数。

4.如权利要求1或2所述的训练方法，其特征在于，在所述训练步骤中，按照以下方式，通过反向传播，单独地训练各图像处理子模型：

把每张美化前图像和美化后图像缩放成不同尺度的相应美化前图像和美化后图像；

把每种尺度的美化前图像和美化后图像分别作为相应尺度图像处理子模型的输入图像和监督图像，来训练得到该相应尺度图像处理子模型。

5.如权利要求1所述的训练方法，其特征在于，所述美化前图像为美化前人脸图像，所述美化后图像为美化后人脸图像。

6.一种图像处理方法，用于对图像中的目标进行处理，其特征在于，包括：

目标提取步骤，在输入图像中找到目标的位置，并提取出目标所在的区域作为待处理图像；

图像处理步骤，使所述待处理图像作为美化前图像，通过使用权利要求1～5中的任何一项所述的训练方法训练得到的多尺度图像处理模型，进行图像美化处理，得到美化后图像；

前后景融合步骤，将所述美化后图像作为前景，将所述输入图像中的、所述目标所在的区域之外的部分作为背景，进行前景和后景的融合，得到目标处理图像。

7.如权利要求6所述的图像处理方法，其特征在于，在所述图像处理步骤中，基于待处理图像的尺度，使待处理图像通过所述多尺度图像模型中的相应尺度的图像处理子模型。

8.如权利要求6所述的图像处理方法，其特征在于，所述图像美化处理包括对以下项中的至少之一的处理：1)光线或阴影；2)模糊或噪声；3)图像中人脸的肤色与肤质；4)肌肤的光滑度。

9.一种多尺度图像处理模型的训练设备，其特征在于，包括：

训练数据集获得装置，被配置用于获得多个成对的训练数据作为训练数据集，其中，所述成对的训练数据中包括一张美化前图像、以及与该美化前图像对应的一张美化后图像；

训练装置，被配置用于使用所述训练数据集来训练所述多尺度图像处理模型，其中，将所述成对的训练数据之中的所述美化前图像，通过缩放来形成不同尺度的美化前图像作为所述多尺度图像处理模型的输入图像，而将所述成对的训练数据之中的所述美化后图像，通过缩放来形成不同尺度的美化后图像，作为所述多尺度图像处理模型的监督图像，以通过反向传播来训练出所述多尺度图像处理模型。

10.一种图像处理设备，用于对图像中的目标进行处理，其特征在于，包括：

目标提取装置，被配置用于在输入图像中找到目标的位置，并提取出目标所在的区域作为待处理图像；

图像处理装置，被配置用于使所述待处理图像作为美化前图像，通过使用权利要求1～4中的任何一项所述的训练方法训练得到的多尺度图像处理模型，得到美化后图像；

前后景融合装置，被配置用于将所述美化后图像作为前景，将所述输入图像中的、所述目标所在的区域之外的部分作为背景，进行前景和后景的融合，得到目标处理图像。

11.如权利要求10所述的图像处理设备，其特征在于，所述图像处理装置基于待处理图像的尺度，使待处理图像通过所述多尺度图像模型中的相应尺度的图像处理子模型。

12.一种图像处理器，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1～8中任何一项所述的方法。

13.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被处理器执行时，使所述处理器执行如权利要求1～8中任何一项所述的方法。