CN112381709B - 图像处理方法、模型训练方法、装置、设备和介质 - Google Patents

Abstract

本公开实施例涉及一种图像处理方法、模型训练方法、装置、设备和介质，其中，该处理方法可以包括：获取待处理图像；待处理图像上展示的目标对象具有第一眼睛状态；利用预先训练的眼睛状态转换模型，生成待处理图像对应的目标图像；目标图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同。本公开实施例可以丰富电子设备中的图像处理功能，实现眼睛状态处理转换的智能化处理，还有助于提升视频交互类应用程序的趣味性，提升用户的体验。

Description

图像处理方法、模型训练方法、装置、设备和介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、模型训练方法、装置、设备和介质。

背景技术

现有技术中，通过图像处理可以对图像的展示效果进行优化，例如修复图像、增加滤镜、调整人脸特征等。以调整人脸特征为例，可以改变图像上眼睛的状态等，然而针对如何改变图像上的眼睛状态，现有技术中仍然缺乏有效的智能化方案。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种图像处理方法、模型训练方法、装置、设备和介质。

第一方面，本公开实施例提供了一种图像处理方法，包括：

获取待处理图像；所述待处理图像上展示的目标对象具有第一眼睛状态；

利用预先训练的眼睛状态转换模型，生成所述待处理图像对应的目标图像；所述目标图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同。

第二方面，本公开实施例还提供了一种图像处理模型训练方法，包括：

获取第一样本图像集；所述第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态；

获取第二样本图像集；所述第二样本图像集中的每个图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同；

基于所述第一样本图像集和所述第二样本图像集，训练得到眼睛状态转换模型；

其中，所述眼睛状态转换模型用于接收展示的所述目标对象具有所述第一眼睛状态的待处理图像并生成对应的目标图像，所述目标图像上展示的所述目标对象具有所述第二眼睛状态。

第三方面，本公开实施例还提供了一种图像处理装置，包括：

图像获取模块，用于获取待处理图像；所述待处理图像上展示的目标对象具有第一眼睛状态；

目标图像生成模块，用于利用预先训练的眼睛状态转换模型，生成所述待处理图像对应的目标图像；所述目标图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同。

第四方面，本公开实施例还提供了一种图像处理模型训练装置，包括：

第一获取模块，用于获取第一样本图像集；所述第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态；

第二获取模块，用于获取第二样本图像集；所述第二样本图像集中的每个图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同；

模型训练模块，用于基于所述第一样本图像集和所述第二样本图像集，训练得到眼睛状态转换模型；

其中，所述眼睛状态转换模型用于接收展示的所述目标对象具有所述第一眼睛状态的待处理图像并生成对应的目标图像，所述目标图像上展示的所述目标对象具有所述第二眼睛状态。

第五方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，其中：所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行本公开实施例提供的任一图像处理方法或者图像处理模型训练方法。

第六方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，所述处理器执行本公开实施例提供的任一图像处理方法或者图像处理模型训练方法。

本公开实施例提供的技术方案与现有技术相比至少具有如下优点：在本公开实施例中，通过利用预先训练的眼睛状态转换模型对待处理图像上展示的目标对象的眼睛状态进行转换，丰富了电子设备中的图像处理功能，实现了眼睛状态转换的智能化处理。并且，以电子设备中安装的视频交互类应用程序为例，眼睛状态转换模型的调用，不仅丰富了应用程序的图像处理功能，还能提升了应用程序的趣味性，为用户提供了比较新颖的玩法，进而提高了用户的使用体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种图像处理方法的流程图；

图2为本公开实施例提供的一种眼部关键点的示意图；

图3为本公开实施例提供的另一种图像处理方法的流程图；

图4为本公开实施例提供的一种由呈现闭眼状态的待处理图像得到呈现睁眼状态的目标图像的处理流程示意图；

图5为本公开实施例提供的另一种由呈现闭眼状态的待处理图像得到呈现睁眼状态的目标图像的处理流程示意图；

图6为本公开实施例提供的另一种由呈现闭眼状态的待处理图像得到呈现睁眼状态的目标图像的处理流程示意图；

图7为本公开实施例提供的一种图像处理模型训练方法的流程图；

图8为本公开实施例提供的一种图像处理模型训练架构的示意图；

图9为本公开实施例提供的一种图像处理装置的结构示意图；

图10为本公开实施例提供的一种图像处理模型训练装置的结构示意图；

图11为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

图1为本公开实施例提供的一种图像处理方法的流程图，应用于如何转换图像上展示的目标对象的眼睛状态的情况。该图像处理方法可以由图像处理装置执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如智能手机、平板电脑、笔记本电脑、智能家居设备、可穿戴电子设备等用户终端上，或者服务器等。

图像处理装置可以采用独立的应用程序或者公众平台上集成的小程序的形式实现；图像处理装置也可以作为具有图像处理功能的应用程序或者小程序中集成的功能模块实现，并且支持与该应用程序或者小程序中集成的其他功能模块进行叠加使用，该应用程序或者小程序可以包括但不限于视频交互类应用程序或者视频交互类小程序等，并同样可以采用软件和/硬件方式实现。

在本公开实施例中，待处理图像可以是展示有眼睛区域的任意图像，例如展示有人眼的图像或者展示有动物眼睛的图像等，相应的，目标对象可以是指代人脸或者动物脸。人脸可以包括真实人脸，也可以包括真实人脸经过脸部风格变换后得到的风格人脸，例如具有动漫风格的人脸、具有素描风格的人脸或者卡通风格的人脸等。同样地，在模型训练阶段所采用的样本图像，也可以是展示有眼睛区域的任意图像，例如展示有人眼的样本图像或者展示有动物眼睛的样本图像等，并且，可以分别训练得到针对人眼的眼睛状态转换模型，以及针对动物眼睛的眼睛状态转换模型。

如图1所示，本公开实施例提供的图像处理方法可以包括：

S101、获取待处理图像；待处理图像上展示的目标对象具有第一眼睛状态。

当用户存在转换图像上目标对象的眼睛状态的需求(或称为图像编辑需求)时，可以上传存储在电子设备中的图像或者通过电子设备的图像拍摄装置实时拍摄图像或者视频，以作为待处理图像，电子设备根据用户的图像选择操作、图像拍摄操作或图像上传操作，获取待处理图像。

示例性的，获取待处理图像，包括：响应于用户的触发指令，获取待处理图像。该触发指令用于指示电子设备获取待处理图像，可以包括电子设备可识别的手势指令、表情指令、语音指令或者界面触控指令等。例如，在应用程序的图像采集界面，用户可以作出由预设手指组成的手势指令，应用程序响应于该手势指令，调用摄像头采集包含目标对象的图像(例如，通过前置摄像头采集当前用户的人脸图像，或者通过后置摄像头采集其他人物或者动物的脸部图像)，以作为待处理图像。

可选的，在获取待处理图像之后，本公开实施例提供的图像处理方法还包括：

识别待处理图像上展示的目标对象的眼部关键点；该眼部关键点的识别可以利用现有的关键点识别技术实现，本公开实施例不作具体限定，并且，在识别关键点的同时可以确定关键点的位置坐标；

基于眼部关键点，确定目标对象的第一眼睛状态，以将待处理图像输入眼睛状态转换模型。

示例性的，在识别出眼部关键点之后，可以选择预设数量的处于预设位置的关键点(能够用于表征眼睛状态)，例如处于眼角位置、上眼皮中间位置以及下眼皮中间位置的关键点等，按照关键点之间的位置对应关系，例如处于左眼角和右眼角位置的关键点之间的对应关系、以及处于上眼皮位置的关键点和处于下眼皮位置的关键点之间的对应关系，计算关键点之间的距离，并根据计算的距离确定眼睛状态。

图2为本公开实施例提供的一种眼部关键点的示意图，具体以人脸为例，对如何基于眼部关键点确定眼睛状态进行示例性说明。如图2所示，在识别出眼部关键点之后，针对人脸上的右眼，可以选择将处于左眼角位置的关键点A2、处于由右眼角位置的关键点A4、处于上眼皮位置的关键点A1和处于下眼皮位置的关键点A3作为目标关键点，用于确定眼睛状态；针对人脸上的左眼，可以选择将处于左眼角位置的关键点B2、处于由右眼角位置的关键点B4、处于上眼皮位置的关键点B1和处于下眼皮位置的关键点B3作为目标关键点，用于确定眼睛状态；关键点之间的距离计算可以包括：首先基于关键点位置坐标，确定处于上眼皮位置的关键点和处于下眼皮位置的关键点之间的第一距离L1，以及计算处于左眼角位置的关键点和处于由右眼角位置的关键点之间的第二距离L2，然后，计算第一距离L1和第二距离L2之间的比值m，并根据距离比值m与预设阈值(取值可适应性设置)的关系，确定眼睛状态。示例性的，如果距离比值m小于预设阈值，则确定眼睛状态为闭眼状态，如果距离比值m大于或等于预设阈值，则确定眼睛状态为睁眼状态。确定眼睛状态之后，可以确定用户的图像处理需求，例如由闭眼状态转换为睁眼状态、或者由睁眼状态转换为闭眼状态，从而利用具有相应功能的眼睛状态转换模型，为用户生成目标图像。

在本公开实施例中，可以将上眼皮与下眼皮之间的距离小于预设阈值(取值可灵活确定)时的眼睛状态确定为闭眼状态，将上眼皮与下眼皮之间的距离大于或等于预设阈值时的眼睛状态确定为睁眼状态。特别地，针对待处理图像上展示的目标对象的眼睛呈现一种眯眼的状态时，如果上眼皮与下眼皮之间的距离小于预设阈值，则该眯眼状态可以被确定为闭眼状态，如果上眼皮与下眼皮之间的距离大于或等于预设阈值，则该眯眼状态可以被确定为睁眼状态。关于上眼皮与下眼皮之间的距离计算方式，本公开实施例不作具体限定，例如可以将上述第一距离L1和第二距离L2之间的比值m作为上眼皮与下眼皮之间的距离。

并且，通过根据眼部关键点确定眼睛状态，根据当前眼睛状态调用相应的眼睛状态转换模型，可以实现眼睛状态的自动化转换处理，例如在图像特效处理或者图像修复场景中，可以实现自动将呈现睁眼状态的图像变化为呈现闭眼状态的图像，或者实现自动将呈现闭眼状态的图像变化为呈现睁眼状态的图像，从而能够优化图像的展示效果，提高图像处理的智能化。

S102、利用预先训练的眼睛状态转换模型，生成待处理图像对应的目标图像；目标图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同。

眼睛状态转换模型具有将待处理图像上展示的眼睛状态转换为另一种眼睛状态的功能，相应地，第一眼睛状态可以包括闭眼状态，第二眼睛状态可以包括睁眼状态；反之亦然。例如，眼睛状态转换模型可以将闭眼状态转换为睁眼状态，或者将睁眼状态转换为闭眼状态。并且，在确保模型功能的基础上，可以采用任意可用的模型训练方式训练得到眼睛状态转换模型。可选的，眼睛状态转换模型可以基于第一样本图像集和第二样本图像集训练得到，第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态，第二样本图像集中的每个图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同。模型训练过程中可以采用的初始模型可以包括但不限于生成对抗网络(GAN，Generative Adversarial Networks)模型或者条件生成对抗网络(CGAN，ConditionalGenerative Adversarial Networks)模型等任意可用的模型或者模型组合，例如可以基于第样本图像集和第二样本图像集对GAN模型或者CGAN模型进行训练，得到眼睛状态转换模型。第一样本图像集和第二样本图像集可以是按照图像上目标对象的眼部关键点确定眼睛状态，并基于眼睛状态对图像进行分类后得到。此外，第二样本图像集也可以是利用预先训练的具有基于展示有第一眼睛状态的图像生成展示有第二眼睛状态的图像的功能的模型，例如生成对抗网络模型等，基于第一样本图像集得到，即第一样本图像集和第二样本图像集可以作为成对的训练数据，用于训练得到眼睛状态转换模型。

在本公开实施例中，如果第一眼睛状态为闭眼状态，则第二眼睛状态为睁眼状态；如果第一眼睛状态为睁眼状态，则第二眼睛状态为闭眼状态。进一步的，眼睛状态转换模型的类型可以包括：将图像上展示的眼睛状态由睁眼状态转换为闭眼状态的模型或者将图像上展示的眼睛状态由闭眼状态转化为睁眼状态的模型。在生成目标图像后可以直接展示在电子设备的显示界面上，以供用户及时查看眼睛状态转换后的图像效果。

在本公开实施例中，通过利用眼睛状态转换模型对待处理图像上展示的目标对象的眼睛状态进行转换，丰富了电子设备中的图像处理功能，实现了眼睛状态转换的智能化处理。并且，以电子设备中安装的视频交互类应用程序为例，眼睛状态转换模型的调用，不仅丰富了应用程序的图像处理功能，还能提升了应用程序的趣味性，为用户提供了比较新颖的玩法，进而提高了用户的使用体验。

图3为本公开实施例提供的另一种图像处理方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。图3具体以眼睛状态转换模型包括眼睛状态图像生成模型为例，对本公开实施例进行示例性说明。并且，针对图3与图1中相同的操作，以下不再赘述，可以参考上述实施例的描述。

如图3所示，本公开实施例提供的图像处理方法可以包括：

S201、获取待处理图像；待处理图像上展示的目标对象具有第一眼睛状态。

S202、获取待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像。

其中，眼睛蒙版图像用于确定目标对象的眼睛区域，瞳孔蒙版图像用于确定目标对象的瞳孔区域。眼睛蒙版图像和瞳孔蒙版图像的尺寸可以与目标图像的尺寸一致。并且，眼睛蒙版图像上展示的眼睛状态为与第一眼睛状态不同的第二眼睛状态，瞳孔蒙版图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域。即为了保证待生成的目标图像的展示效果，眼睛蒙版图像上展示的眼睛状态需要与待生成的目标图像上展示的眼睛状态一致，瞳孔蒙版图像上展示的瞳孔状态需要与待生成的目标图像上展示的瞳孔状态一致。

示例性的，如果第一眼睛状态为闭眼状态，则第二眼睛状态为睁眼状态，眼睛蒙版图像上展示的眼睛状态为睁眼状态，瞳孔蒙版图像上展示的瞳孔区域为睁眼状态下的瞳孔区域，此时瞳孔区域例如可以是一个与人眼瞳孔大小相匹配的圆形区域；如果第一眼睛状态为睁眼状态，则第二眼睛状态为闭眼状态，眼睛蒙版图像上展示的眼睛状态为闭眼状态，瞳孔蒙版图像上展示的瞳孔区域为闭眼状态下的瞳孔区域，此时瞳孔区域例如可以是一条线或者全黑，瞳孔区域的大小可以根据闭眼状态下眼睛的上眼皮和下眼皮闭合程度进行适应性调整。

电子设备在获取待处理图像之后，可以利用脸部识别技术，确定待处理图像上展示的目标对象的类型，例如确定目标对象属于人脸还是其他动物脸等，然后识别目标对象的眼睛区域以及瞳孔区域，结合目标对象的类型(不同对象类型对应的眼睛形状、眼睛大小、以及瞳孔大小存在差异)，为待处理图像上展示的目标对象生成符合当前图像编辑需求的眼睛蒙版图像和瞳孔蒙版图像中的至少一种。

在一个实施例中，眼睛状态转换模型还可以包括蒙版图像生成模型，相应地，电子设备可以利用预先训练的蒙版图像生成模型，为待处理图像上展示的目标对象生成对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种。例如，如果当前图像处理需求是将闭眼状态转换睁眼状态，则当前使用的蒙版图像生成模型可以生成呈现睁眼状态的眼睛蒙版图像和/或生成展示有睁眼状态下的瞳孔区域的瞳孔蒙版图像；如果当前图像处理需求是将睁眼状态转换闭眼状态，则当前使用的蒙版图像生成模型可以生成呈现闭眼状态的眼睛蒙版图像和/或生成展示有闭眼状态下的瞳孔区域的瞳孔蒙版图像。

即示例性的，获取待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像，包括：

将待处理图像输入至蒙版图像生成模型，并基于眼部区域蒙版图像，生成待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像；眼部区域蒙版图像用于确定包围眼睛的图像区域。该眼部区域蒙版图像可以是在模型训练阶段便预先确定，在确保该眼部区域蒙版图像对相同类型的目标对象具有普适性的情况下，例如可以大概率涵盖大多数人脸上的眼睛区域，眼部区域蒙版图像上展示的可以包围眼睛的区域尺寸可以适应性设置，本公开实施例不作具体限定。该眼部区域蒙版图像在模型训练阶段和模型应用阶段，均具有适用性，即，在模型训练阶段和利用模型生成目标图像的过程中，均可以使用该眼部区域蒙版图像，由此，可以确保模型输出结果的准确性，并且，通过采用相同的眼部区域蒙版图像，可以减少因为眼部区域蒙版图像的变化而导致需要重复优化模型参数的操作，可以提高模型训练效率，节省计算资源。

在确保蒙版图像生成模型的可实现功能的基础上，本公开实施例对模型训练方式不作具体限定。示例性的，蒙版图像生成模型可以基于第一样本图像集和眼部区域蒙版图像训练得到，例如将第一样本图像集和眼部区域蒙版图像输入至可采用的初始模型，训练得到蒙版图像生成模型。该可采用的初始模型可以包括但不限于GAN模型等任意可用的模型。进一步的，可以预先获取第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，其中，第二眼睛蒙版样本图像集中每个的图像上展示的眼睛状态为第二眼睛状态，第二瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域，第二眼睛蒙版样本图像集中的每个图像用于确定目标对象的眼睛区域，第二瞳孔蒙版样本图像集中的每个图像用于确定目标对象的瞳孔区域；然后将第一样本图像集和眼部区域蒙版图像作为模型的输入，并基于第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，训练得到蒙版图像生成模型。

通过利用蒙版图像生成模型生成待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像，不仅可以提高图像处理的智能化，还有助于基于优质的眼睛蒙版图像和瞳孔蒙版图像，输出高质量的目标图像，确保目标图像的展示效果。

S203、将待处理图像输入至眼睛状态图像生成模型，并基于眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像以及眼部区域蒙版图像，生成目标图像；眼部区域蒙版图像用于确定包围眼睛的图像区域。

眼睛状态图像生成模型具有将待处理图像上展示的眼睛状态转换为另一种眼睛状态的功能，在确保模型功能的基础上，可以采用任意可用的模型训练方式得到。示例性的，眼睛状态图像生成模型可以基于第一样本图像集、第二样本图像集、眼部区域蒙版图像、以及第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集训练得到。例如，可以首先获取眼部区域蒙版图像，以及获取第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集；然后将第一样本图像集、第二样本图像集和眼部区域蒙版图像输入至可采用的初始模型，并基于第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，训练得到眼睛状态图像生成模型。该可采用的初始模型可以包括但不限于GAN模型等任意可用的模型。

其中，第一眼睛蒙版样本图像集中的每个图像用于确定目标对象的眼睛区域，第一瞳孔蒙版样本图像集中的每个图像用于确定目标对象的瞳孔区域。并且，第一眼睛蒙版样本图像集中的每个图像上展示的眼睛状态为第二眼睛状态，第一瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域。

进一步的，第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，可以由蒙版图像生成模型基于第一样本图像集和眼部区域蒙版样本图像生成。当然，也可以利用脸部识别技术，确定第一样本图像集中的每个图像上展示的目标对象的类型，例如确定目标对象属于人脸还是其他动物脸等，然后识别目标对象的眼睛区域以及瞳孔区域，结合目标对象的类型，为第一样本图像集中的每个图像上展示的目标对象生成符合当前模型训练需求的眼睛蒙版样本图像和瞳孔蒙版样本图像中的至少一种，从而得到第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集。

通过将眼睛蒙版图像和瞳孔蒙版图像用于目标图像的生成过程中，可以对目标图像上展示的目标对象的眼睛位置和眼睛区域进行准确确定与控制，还可以对目标图像上展示的目标对象的瞳孔位置和瞳孔区域进行准确确定与控制，确保眼睛的展示位置和显示大小、以及瞳孔的展示位置和显示大小分别与眼睛状态转换后的目标对象相符合，提升眼睛处理效果，进而确保目标图像的展示效果。

图4以待处理图像是人脸图像为例，对如何基于人脸图像、眼睛蒙版图像和眼部区域蒙版图像生成目标图像进行示例性说明，不应理解为对本公开实施例的具体限定。如图4所示，待处理图像为人脸图像，该人脸图像上的眼睛呈现闭眼状态，将该人脸图像、眼部区域蒙版图像以及获取的眼睛蒙版图像输入眼睛状态图像生成模型(具有将目标对象的闭眼状态转换为睁眼状态的功能)，经模型处理可以得到眼睛状态呈现睁眼状态的目标人脸图像。并且，在图4中，眼部区域蒙版图像是具有普适性的与人脸对应的眼部区域蒙版图像，用于确定待处理图像的眼睛区域，该眼部区域蒙版图像属于眼睛状态图像生成模型的一个固定输入，并在模型训练阶段预先确定，对当前具有图像处理需求的用户而言，该眼部区域蒙版图像可以处于不可见状态。当然，如果是针对其他类型的动物脸图像，例如猫的脸或狗的脸，则该眼部区域蒙版图像则是具有普适性的与当前动物类型对应的蒙版图像，用于确定待处理图像上的动物眼睛区域。

针对由呈现睁眼状态的人脸图像得到呈现闭眼状态的人脸图像时，将图4中所示出的待处理图像替换为呈现睁眼状态的人脸图像，并且，将图4中所示出的眼睛蒙版图像替换为眼睛呈现闭眼状态下的眼睛蒙版图像，经眼睛状态图像生成模型(具有将目标对象的睁眼状态转换为闭眼状态的功能)处理，即可以得到呈现闭眼状态的目标人脸图像。

图5继续以待处理图像是人脸图像为例，对如何基于人脸图像、眼部区域蒙版图像、眼睛蒙版图像和瞳孔蒙版图像生成目标图像进行示例性说明，不应理解为对本公开实施例的具体限定。具体的，图5是对图4所示意的处理流程的一种优化，如图5所示，待处理图像为人脸图像，该人脸图像上的眼睛呈现闭眼状态，将该人脸图像、眼部区域蒙版图像、获取的眼睛蒙版图像和瞳孔蒙版图像输入眼睛状态图像生成模型(具有将目标对象的闭眼状态转换为睁眼状态的功能)，经模型处理可以得到眼睛状态呈现睁眼状态的人脸图像。

通过将眼睛蒙版图像和瞳孔蒙版图像同时用于目标图像的生成过程中，可以对目标图像上展示的目标对象的眼睛位置、眼睛区域、瞳孔位置和瞳孔区域进行准确确定与控制，确保眼睛的展示位置和显示大小、以及瞳孔的展示位置和显示大小分别与眼睛状态转换后的目标对象相符合，提升眼睛处理效果，进而确保目标图像的优质展示效果。

针对由呈现睁眼状态的人脸图像得到呈现闭眼状态的人脸图像时，将图5中所示出的待处理图像替换为呈现睁眼状态的人脸图像，并将图5中所示出的眼睛蒙版图像和瞳孔蒙版图像，分别替换为眼睛呈现闭眼状态下的眼睛蒙版图像和瞳孔蒙版图像，经过眼睛状态图像生成模型(具有将目标对象的睁眼状态转换为闭眼状态的功能)处理，即可以得到呈现闭眼状态的人脸图像。

当然，以待处理图像是人脸图像为例，在生成目标人脸图像的过程中，也可以将待处理图像、眼部区域蒙版图像以及获取的瞳孔蒙版图像输入眼睛状态图像生成模型，经模型处理得到目标图像，从而对目标图像上展示的目标对象的瞳孔位置和瞳孔区域进行准确确定与控制，提升眼睛处理效果。

图6继续以待处理图像是人脸图像为例，其中，眼睛状态转换模型包括眼睛状态图像生成模型和蒙版图像生成模型，可以利用蒙版图像生成模型生成待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像，用于目标图像的生成，不应理解为对本公开实施例的具体限定。

图7为本公开实施例提供的一种图像处理模型训练方法的流程图，应用于如何得到具有转换眼睛状态功能的眼睛状态转换模型的情况。本公开实施例提供的图像处理模型训练方法可以由图像处理模型训练装置执行，该装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上。

本公开实施例提供的图像处理模型训练方法与本公开实施例提供的图像处理方法可以配合执行，以下实施例中未详细描述的内容，可以参考上述实施例中的描述。

如图7所示，本公开实施例提供的图像处理模型训练方法可以包括：

S301、获取第一样本图像集；第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态。

S302、获取第二样本图像集；第二样本图像集中的每个图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同。

S303、基于第一样本图像集和第二样本图像集，训练得到眼睛状态转换模型。

其中，眼睛状态转换模型用于接收展示的目标对象具有第一眼睛状态的待处理图像并生成对应的目标图像，目标图像上展示的目标对象具有第二眼睛状态。

眼睛状态转换模型具有将待处理图像上展示的眼睛状态转换为另一种眼睛状态的功能，在确保模型功能的基础上，可以采用任意可用的模型训练方式训练得到眼睛状态转换模型。其中，可以采用的初始模型可以包括但不限于GAN模型或者CGAN模型等任意可用的模型或者模型组合。

第一样本图像集和第二样本图像集可以是按照图像上目标对象的眼部关键点确定眼睛状态，并基于眼睛状态对图像进行分类后得到。关于基于眼部关键点确定眼睛状态的具体实现，可以结合图2参考上述实施例的描述。此外，第二样本图像集也可以是利用预先训练的具有将第一眼睛状态转换为第二眼睛状态的功能的模型(例如下文提到的眼睛状态转换模型)，基于第一样本图像集得到，即第一样本图像集和第二样本图像集可以作为成对的训练数据，用于训练得到眼睛状态转换模型。

可选的，本公开实施例提供的图像处理模型训练方法还包括：

获取眼部区域蒙版图像；

获取第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集；

其中，第一眼睛蒙版样本图像集中的每个图像用于确定目标对象的眼睛区域，第一瞳孔蒙版样本图像集中的每个图像用于确定目标对象的瞳孔区域，眼部区域蒙版图像用于确定包围眼睛的图像区域。进一步的，第一眼睛蒙版样本图像集中的每个图像上展示的眼睛状态为第二眼睛状态，第一瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域。可以采用任意可用的方式得到第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集，本公开实施例不作具体限定。

其中，眼睛状态转换模型包括眼睛状态图像生成模型；基于第一样本图像集和第二样本图像集，训练得到眼睛状态转换模型，包括：

将第一样本图像集、第二样本图像集和眼部区域蒙版图像作为模型的输入，并基于第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，训练得到眼睛状态图像生成模型，其中，可以采用的初始模型可以包括但不限于GAN模型等任意可用的模型。

通过将眼睛蒙版图像和瞳孔蒙版图像用于目标图像的生成过程中，可以对目标图像上展示的目标对象的眼睛位置和眼睛区域进行准确确定与控制，还可以对目标图像上展示的目标对象的瞳孔位置和瞳孔区域进行准确确定与控制，确保眼睛的展示位置和显示大小、以及瞳孔的展示位置和显示大小分别与眼睛状态转换后的目标对象相符合，提升眼睛处理效果，进而确保目标图像的展示效果。

并且，在模型训练阶段和在利用模型生成目标图像过程中，针对采用何种蒙版图像具有一致性，从而确保输出高质量的目标图像，提高目标图像的展示效果。例如，如果在眼睛状态图像生成模型训练阶段，将第一眼睛蒙版样本图像集用于模型训练中，则在利用眼睛状态图像生成模型生成目标图像的过程中，同样采用眼睛蒙版图像；如果在眼睛状态图像生成模型训练阶段，将第一瞳孔蒙版样本图像集用于模型训练中，则在利用眼睛状态图像生成模型生成目标图像的过程中，同样采用瞳孔蒙版图像；如果在眼睛状态图像生成模型训练阶段，将第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集同时用于模型训练中，则在利用眼睛状态图像生成模型生成目标图像的过程中，同时采用眼睛蒙版图像和瞳孔蒙版图像。

此外，眼睛状态图像生成模型训练完成后，可以利用该模型为第一样本图像集中的图像生成对应的第二样本图像，该第二样本图像上展示的目标对象与第一样本图像集中图像上展示的目标对象具有不同的眼睛状态，将眼睛状态图像生成模型生成的多个第二样本图像作为与第一样本图像集对应的新的第二样本图像集，将第一样本图像集和新的第二样本图像集作为成对的训练数据，训练得到新的眼睛状态转换模型，其中，可以采用的模型可以包括但不限于CGAN模型等任意可用的模型。此时利用成对的训练数据训练得到的眼睛状态转换模型，相比于蒙版图像生成模型和眼睛状态图像生成模型，模型数据的空间占用量小、模型计算复杂度较低，并且对电子设备上的计算资源消耗较低，可以下发至用户终端中进行实时运行。

在上述技术方案的基础上，可选的，眼睛状态转换模型还包括蒙版图像生成模型；

基于第一样本图像集和第二样本图像集，训练得到眼睛状态转换模型，还包括：

基于第一样本图像集和眼部区域蒙版图像，训练得到蒙版图像生成模型，其中，可以采用的初始模型可以包括但不限于GAN模型等任意可用的模型。

相应的，获取第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，包括：

将第一样本图像集和眼部区域蒙版图像输入至蒙版图像生成模型，生成第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集。

通过利用蒙版图像生成模型生成待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像，不仅可以提高图像处理的智能化，还有助于基于优质的眼睛蒙版图像和瞳孔蒙版图像，提高目标图像的输出质量，确保目标对象的展示效果。

可选的，基于第一样本图像集和眼部区域蒙版图像，训练得到蒙版图像生成模型，包括：

获取第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集中的至少一种蒙版样本图像集；

将第一样本图像集和眼部区域蒙版图像作为模型的输入，并基于第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，训练得到蒙版图像生成模型；

其中，第二眼睛蒙版样本图像集中每个的图像上展示的眼睛状态为第二眼睛状态，第二瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域。可以采用任意可用的方式得到第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集，本公开实施例不作具体限定。

在本公开实施中，通过基于呈现不同眼睛状态的第一样本图像集和第二样本图像集预先训练眼睛状态转换模型，为在服务器或者用户终端中进行图像上眼睛状态的转换处理提供了便捷性，为实现眼睛状态转换的智能化处理奠定了基础，使得用户可以在终端实现新颖的玩法，提升了用户体验。

图8为本公开实施例提供的一种图像处理模型训练架构的示意图，用于对本公开实施例进行示例性说明，但不应理解为对本公开实施例的具体限定。如图8所示，可以首先基于第一样本图像集、眼部区域蒙版图像以及第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，对GAN模型等任意可用的模型进行训练，得到蒙版图像生成模型G1；然后利用蒙版图像生成模型G1，生成第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，并结合第一样本图像集、第二样本图像集和眼部区域蒙版图像，对GAN模型等任意可用的模型进行训练，得到眼睛状态图像生成模型G2；进一步的，可以利用眼睛状态图像生成模型G2为第一样本图像集中的图像生成对应的第二样本图像，该第二样本图像上展示的目标对象与第一样本图像集中图像上展示的目标对象具有不同的眼睛状态，将眼睛状态图像生成模型G2生成的多个第二样本图像作为与第一样本图像集对应的新的第二样本图像集，将第一样本图像集和新的第二样本图像集作为成对的训练数据，对CGAN模型等任意可用的模型进行训练，得到眼睛状态转换模型G31。

眼睛状态转换模型G31相比于蒙版图像生成模型G1和眼睛状态图像生成模型G2，模型数据的空间占用量小、模型计算复杂度较低，并且对电子设备上的计算资源消耗较低，可以下发至用户终端中进行实时运行。

即在本公开实施例中，基于眼睛状态转换模型的功能，其可以采用两种形式实现：一种是采用一个模型实现，即上述得到的眼睛状态转换模型G31即可作为可以下发至用户终端中实时运行的眼睛状态转换模型，当然也可以在服务器中运行；另一种是采用两个模型的形式实现，即眼睛状态转换模型可以包括上述训练得到蒙版图像生成模型G1和眼睛状态图像生成模型G2，且蒙版图像生成模型G1和眼睛状态图像生成模型G2可以相互配合，一并实现眼睛状态转换，此时，包括两个模型的眼睛状态转换模型由于模型数据的空间占用量较大、模型计算复杂度较高，并且对电子设备上的计算资源消耗较高等因素，可以优选在服务器中执行图像处理操作，当然，针对用户终端性能较高(例如存储空间充足、支持复杂计算处理等)的情况，该眼睛状态转换模型也可以在用户终端中运行。本公开不对此进行限制。

此外，需要说明的是，在任意模型的训练过程中，具体采用的第一样本图像集和第二样本图像集可以相同，也可以不同，本公开实施例不作具体限定。例如，在训练得到蒙版图像生成模型G1和眼睛状态图像生成模型G2的过程中，采用的第一样本图像集可以相同也可以不同。

图9为本公开实施例提供的一种图像处理装置的结构示意图。该图像处理装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上，例如智能手机、平板电脑、笔记本电脑、智能家居设备、可穿戴电子设备等用户终端上，或者服务器等。

如图9所示，本公开实施例提供的图像处理装置400可以包括图像获取模块401和目标图像生成模块402，其中：

图像获取模块401，用于获取待处理图像；待处理图像上展示的目标对象具有第一眼睛状态；

目标图像生成模块402，用于利用预先训练的眼睛状态转换模型，生成待处理图像对应的目标图像；目标图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同。

可选的，本公开实施例提供的图像处理装置400还包括：

关键点识别模块，用于识别待处理图像上展示的目标对象的眼部关键点；

眼睛状态确定模块，用于基于眼部关键点，确定目标对象的第一眼睛状态，以将待处理图像输入眼睛状态转换模型。

可选的，本公开实施例提供的图像处理装置400还包括：

蒙版图像获取模块401，用于获取待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像；眼睛蒙版图像用于确定目标对象的眼睛区域，瞳孔蒙版图像用于确定目标对象的瞳孔区域；

其中，眼睛状态转换模型包括眼睛状态图像生成模型；

目标图像生成模块402具体用于：将待处理图像输入至眼睛状态图像生成模型，并基于眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像以及眼部区域蒙版图像，生成目标图像；眼部区域蒙版图像用于确定包围眼睛的图像区域。

可选的，眼睛状态转换模型还包括蒙版图像生成模型；

相应的，蒙版图像获取模块401具体用于：将待处理图像输入至蒙版图像生成模型，并基于眼部区域蒙版图像，生成待处理图像上展示的目标对象对应的眼睛蒙版图像和瞳孔蒙版图像中的至少一种蒙版图像。

可选的，眼睛蒙版图像上展示的眼睛状态为第二眼睛状态，瞳孔蒙版图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域。

可选的，眼睛状态转换模型基于第一样本图像集和第二样本图像集训练得到，第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态，第二样本图像集中的每个图像上展示的目标对象具有第二眼睛状态。

可选的，眼睛状态图像生成模型基于第一样本图像集、第二样本图像集、眼部区域蒙版图像、以及第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集训练得到；

第一眼睛蒙版样本图像集中的每个图像用于确定目标对象的眼睛区域，第一瞳孔蒙版样本图像集中的每个图像用于确定目标对象的瞳孔区域。

可选的，第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，由蒙版图像生成模型基于第一样本图像集和眼部区域蒙版图像生成。

可选的，蒙版图像生成模型基于第一样本图像集和眼部区域蒙版图像训练得到。

可选的，图像获取模块401具体用于：响应于用户的触发指令，获取待处理图像；

相应的，本公开实施例提供的图像处理装置400还包括：

图像展示模块，用于展示目标图像。

本公开实施例所提供的图像处理装置可执行本公开实施例所提供的任意图像处理方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。

图10为本公开实施例提供的一种图像处理模型训练装置的结构示意图，该图像处理模型训练装置可以采用软件和/或硬件实现，并可集成在任意具有计算能力的电子设备上。

如图10所示，本公开实施例提供的图像处理模型训练装置500可以包括第一获取模块501、第二获取模块502和模型训练模块503，其中：

第一获取模块501，用于获取第一样本图像集；第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态；

第二获取模块502，用于获取第二样本图像集；第二样本图像集中的每个图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同；

模型训练模块503，用于基于第一样本图像集和第二样本图像集，训练得到眼睛状态转换模型；

其中，眼睛状态转换模型用于接收展示的目标对象具有第一眼睛状态的待处理图像并生成对应的目标图像，目标图像上展示的目标对象具有第二眼睛状态。

可选的，本公开实施例提供的图像处理模型训练装置500还包括：

第一蒙版图像获取模块，用于获取眼部区域蒙版图像；

第二蒙版图像获取模块，用于获取第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集；

其中，第一眼睛蒙版样本图像集中的每个图像用于确定目标对象的眼睛区域，第一瞳孔蒙版样本图像集中的每个图像用于确定目标对象的瞳孔区域，眼部区域蒙版图像用于确定包围眼睛的图像区域；

其中，眼睛状态转换模型包括眼睛状态图像生成模型；模型训练模块503包括：

第一模型训练单元，用于将第一样本图像集、第二样本图像集和眼部区域蒙版图像作为模型的输入，并基于第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，训练得到眼睛状态图像生成模型。

可选的，眼睛状态转换模型还包括蒙版图像生成模型；

模型训练模块503还包括：

第二模型训练单元，用于基于第一样本图像集和眼部区域蒙版图像，训练得到蒙版图像生成模型；

相应的，第二蒙版图像获取模块具体用于：将第一样本图像集和眼部区域蒙版图像输入至蒙版图像生成模型，生成第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集中的至少一种蒙版样本图像集。

可选的，第一眼睛蒙版样本图像集中的每个图像上展示的眼睛状态为第二眼睛状态，第一瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域。

可选的，第二模型训练单元包括：

蒙版图像获取子单元，用于获取第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集中的至少一种蒙版样本图像集；

第二模型训练子单元，用于将第一样本图像集和眼部区域蒙版图像作为模型的输入，并基于第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集中的至少一种蒙版样本图像集，训练得到蒙版图像生成模型；

其中，第二眼睛蒙版样本图像集中每个的图像上展示的眼睛状态为第二眼睛状态，第二瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为第二眼睛状态下的瞳孔区域。

本公开实施例所提供的图像处理模型训练装置可执行本公开实施例所提供的任意图像处理模型训练方法，具备执行方法相应的功能模块和有益效果。本公开装置实施例中未详尽描述的内容可以参考本公开任意方法实施例中的描述。

图11为本公开实施例提供的一种电子设备的结构示意图，用于对实现本公开实施例提供的图像处理方法或者图像处理模型训练方法的电子设备进行示例性说明。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机、智能家居设备、可穿戴电子设备、服务器等等的固定终端。图11示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和占用范围带来任何限制。

如图11所示，电子设备600包括一个或多个处理器601和存储器602。

处理器601可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备600中的其他组件以执行期望的功能。

存储器602可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器601可以运行程序指令，以实现本公开实施例提供的图像处理方法或者图像处理模型训练方法，还可以实现其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

其中，本公开实施例提供的图像处理方法可以包括：获取待处理图像；待处理图像上展示的目标对象具有第一眼睛状态；利用预先训练的眼睛状态转换模型，生成待处理图像对应的目标图像；目标图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同。

其中，本公开实施例提供的图像处理模型训练方法可以包括：获取第一样本图像集；第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态；获取第二样本图像集；第二样本图像集中的每个图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同；基于第一样本图像集和第二样本图像集，训练得到眼睛状态转换模型；其中，眼睛状态转换模型用于接收展示的目标对象具有第一眼睛状态的待处理图像并生成对应的目标图像，目标图像上展示的目标对象具有第二眼睛状态。

应当理解，电子设备600还可以执行本公开方法实施例提供的其他可选实施方案。

在一个示例中，电子设备600还可以包括：输入装置603和输出装置604，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置603还可以包括例如键盘、鼠标等等。

该输出装置604可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置604可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图11中仅示出了该电子设备600中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备600还可以包括任何其他适当的组件。

除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的图像处理方法或者图像处理模型训练方法。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户电子设备上执行、部分地在用户电子设备上执行、作为一个独立的软件包执行、部分在用户电子设备上且部分在远程电子设备上执行、或者完全在远程电子设备上执行。

此外，本公开实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本公开实施例所提供的图像处理方法或者图像处理模型训练方法。

其中，本公开实施例提供的图像处理方法可以包括：获取待处理图像；待处理图像上展示的目标对象具有第一眼睛状态；利用预先训练的眼睛状态转换模型，生成待处理图像对应的目标图像；目标图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同。

其中，本公开实施例提供的图像处理模型训练方法可以包括：获取第一样本图像集；第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态；获取第二样本图像集；第二样本图像集中的每个图像上展示的目标对象具有第二眼睛状态，第二眼睛状态与第一眼睛状态不同；基于第一样本图像集和第二样本图像集，训练得到眼睛状态转换模型；其中，眼睛状态转换模型用于接收展示的目标对象具有第一眼睛状态的待处理图像并生成对应的目标图像，目标图像上展示的目标对象具有第二眼睛状态。

应当理解，计算机程序指令在被处理器运行时，还可以使得处理器执行本公开方法实施例提供的其他可选实施方案。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：

获取待处理图像；所述待处理图像上展示的目标对象具有第一眼睛状态；

利用预先训练的眼睛状态转换模型，生成所述待处理图像对应的目标图像；所述目标图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同；其中，所述第一眼睛状态包括闭眼状态，所述第二眼睛状态包括睁眼状态；或者，所述第一眼睛状态包括睁眼状态，所述第二眼睛状态包括闭眼状态；

所述方法还包括：

获取所述待处理图像上展示的所述目标对象对应的眼睛蒙版图像和瞳孔蒙版图像；所述眼睛蒙版图像用于确定所述目标对象的眼睛区域，所述瞳孔蒙版图像用于确定所述目标对象的瞳孔区域；且，所述眼睛蒙版图像上展示的眼睛状态为所述第二眼睛状态，所述瞳孔蒙版图像上展示的瞳孔区域为所述第二眼睛状态下的瞳孔区域；其中，所述蒙版图像是按照如下方式获取得到的：利用脸部识别技术，确定所述待处理图像上展示的目标对象的类型，识别所述目标对象的眼睛区域以及瞳孔区域，结合所述目标对象的类型，为所述待处理图像上展示的所述目标对象生成符合当前图像编辑需求的眼睛蒙版图像和瞳孔蒙版图像；

其中，所述眼睛状态转换模型包括眼睛状态图像生成模型；

所述利用预先训练的眼睛状态转换模型，生成所述待处理图像对应的目标图像，包括：

将所述待处理图像输入至所述眼睛状态图像生成模型，并基于所述眼睛蒙版图像和所述瞳孔蒙版图像以及眼部区域蒙版图像，生成所述目标图像；所述眼部区域蒙版图像用于确定包围眼睛的图像区域；其中，所述眼部区域蒙版图像是在模型训练阶段预先确定的。

2.根据权利要求1所述的方法，其特征在于，在所述获取待处理图像之后，所述方法还包括：

识别所述待处理图像上展示的所述目标对象的眼部关键点；

基于所述眼部关键点，确定所述目标对象的第一眼睛状态，以将所述待处理图像输入所述眼睛状态转换模型。

3.根据权利要求1所述的方法，其特征在于，所述眼睛状态转换模型还包括蒙版图像生成模型；

相应的，所述获取所述待处理图像上展示的所述目标对象对应的眼睛蒙版图像和瞳孔蒙版图像，包括：

将所述待处理图像输入至所述蒙版图像生成模型，并基于所述眼部区域蒙版图像，生成所述待处理图像上展示的所述目标对象对应的所述眼睛蒙版图像和所述瞳孔蒙版图像。

4.根据权利要求1所述的方法，其特征在于，所述眼睛状态转换模型基于第一样本图像集和第二样本图像集训练得到，所述第一样本图像集中的每个图像上展示的目标对象具有所述第一眼睛状态，所述第二样本图像集中的每个图像上展示的目标对象具有所述第二眼睛状态。

5.根据权利要求1所述的方法，其特征在于，所述眼睛状态图像生成模型基于第一样本图像集、第二样本图像集、眼部区域蒙版图像、以及所述第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集训练得到；

所述第一眼睛蒙版样本图像集中的每个图像用于确定目标对象的眼睛区域，所述第一瞳孔蒙版样本图像集中的每个图像用于确定目标对象的瞳孔区域。

6.根据权利要求5所述的方法，其特征在于，所述第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集，由蒙版图像生成模型基于所述第一样本图像集和所述眼部区域蒙版图像生成。

7.根据权利要求6所述的方法，其特征在于，所述蒙版图像生成模型基于所述第一样本图像集和所述眼部区域蒙版图像训练得到。

8.根据权利要求1所述的方法，其特征在于，所述获取待处理图像，包括：

响应于用户的触发指令，获取所述待处理图像；

相应的，所述利用预先训练的眼睛状态转换模型，生成所述待处理图像对应的目标图像之后，所述方法还包括：

展示所述目标图像。

9.一种图像处理模型训练方法，其特征在于，包括：

获取第一样本图像集；所述第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态；

获取第二样本图像集；所述第二样本图像集中的每个图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同；其中，所述第一眼睛状态包括闭眼状态，所述第二眼睛状态包括睁眼状态；或者，所述第一眼睛状态包括睁眼状态，所述第二眼睛状态包括闭眼状态；

基于所述第一样本图像集和所述第二样本图像集，训练得到眼睛状态转换模型；

其中，所述眼睛状态转换模型用于接收展示的所述目标对象具有所述第一眼睛状态的待处理图像并生成对应的目标图像，所述目标图像上展示的所述目标对象具有所述第二眼睛状态；

所述方法还包括：

获取眼部区域蒙版图像；

获取所述第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集；且，所述第一眼睛蒙版样本图像集中的每个图像上展示的眼睛状态为所述第二眼睛状态，所述第一瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为所述第二眼睛状态下的瞳孔区域；其中，所述蒙版样本图像集是按照如下方式获取得到的：利用脸部识别技术，确定第一样本图像集中的每个图像上展示的目标对象的类型，识别所述目标对象的眼睛区域以及瞳孔区域，结合所述目标对象的类型，为第一样本图像集中的每个图像上展示的所述目标对象生成符合当前模型训练需求的眼睛蒙版样本图像和瞳孔蒙版样本图像；

其中，所述第一眼睛蒙版样本图像集中的每个图像用于确定所述目标对象的眼睛区域，所述第一瞳孔蒙版样本图像集中的每个图像用于确定所述目标对象的瞳孔区域，所述眼部区域蒙版图像用于确定包围眼睛的图像区域；

其中，所述眼睛状态转换模型包括眼睛状态图像生成模型；所述基于所述第一样本图像集和所述第二样本图像集，训练得到眼睛状态转换模型，包括：

将所述第一样本图像集、所述第二样本图像集和所述眼部区域蒙版图像作为模型的输入，并基于所述第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集，训练得到所述眼睛状态图像生成模型。

10.根据权利要求9所述的方法，其特征在于，所述眼睛状态转换模型还包括蒙版图像生成模型；

所述基于所述第一样本图像集和所述第二样本图像集，训练得到眼睛状态转换模型，还包括：

基于所述第一样本图像集和所述眼部区域蒙版图像，训练得到所述蒙版图像生成模型；

相应的，所述获取所述第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集，包括：

将所述第一样本图像集和所述眼部区域蒙版图像输入至所述蒙版图像生成模型，生成所述第一样本图像集对应的所述第一眼睛蒙版样本图像集和所述第一瞳孔蒙版样本图像集。

11.根据权利要求10所述的方法，其特征在于，所述基于所述第一样本图像集和所述眼部区域蒙版图像，训练得到所述蒙版图像生成模型，包括：

获取所述第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集；

将所述第一样本图像集和所述眼部区域蒙版图像作为模型的输入，并基于所述第二眼睛蒙版样本图像集和第二瞳孔蒙版样本图像集，训练得到所述蒙版图像生成模型；

其中，所述第二眼睛蒙版样本图像集中每个的图像上展示的眼睛状态为所述第二眼睛状态，所述第二瞳孔蒙版样本图像集中的每个图像上展示的瞳孔区域为所述第二眼睛状态下的瞳孔区域。

12.一种图像处理装置，其特征在于，包括：

图像获取模块，用于获取待处理图像；所述待处理图像上展示的目标对象具有第一眼睛状态；

目标图像生成模块，用于利用预先训练的眼睛状态转换模型，生成所述待处理图像对应的目标图像；所述目标图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同；其中，所述第一眼睛状态包括闭眼状态，所述第二眼睛状态包括睁眼状态；或者，所述第一眼睛状态包括睁眼状态，所述第二眼睛状态包括闭眼状态；

图像获取模块还包括：蒙版图像获取模块，用于获取所述待处理图像上展示的所述目标对象对应的眼睛蒙版图像和瞳孔蒙版图像；且，所述眼睛蒙版图像上展示的眼睛状态为所述第二眼睛状态，所述瞳孔蒙版图像上展示的瞳孔区域为所述第二眼睛状态下的瞳孔区域；所述眼睛蒙版图像用于确定所述目标对象的眼睛区域，所述瞳孔蒙版图像用于确定所述目标对象的瞳孔区域；其中，所述蒙版图像是按照如下方式获取得到的：利用脸部识别技术，确定所述待处理图像上展示的目标对象的类型，识别所述目标对象的眼睛区域以及瞳孔区域，结合所述目标对象的类型，为所述待处理图像上展示的所述目标对象生成符合当前图像编辑需求的眼睛蒙版图像和瞳孔蒙版图像；

其中，眼睛状态转换模型包括眼睛状态图像生成模型；

目标图像生成模块具体用于：将待处理图像输入至眼睛状态图像生成模型，并基于眼睛蒙版图像和瞳孔蒙版图像以及眼部区域蒙版图像，生成目标图像；眼部区域蒙版图像用于确定包围眼睛的图像区域。

13.一种图像处理模型训练装置，其特征在于，包括：

第一获取模块，用于获取第一样本图像集；所述第一样本图像集中的每个图像上展示的目标对象具有第一眼睛状态；

第二获取模块，用于获取第二样本图像集；所述第二样本图像集中的每个图像上展示的所述目标对象具有第二眼睛状态，所述第二眼睛状态与所述第一眼睛状态不同；其中，所述第一眼睛状态包括闭眼状态，所述第二眼睛状态包括睁眼状态；或者，所述第一眼睛状态包括睁眼状态，所述第二眼睛状态包括闭眼状态；

模型训练模块，用于基于所述第一样本图像集和所述第二样本图像集，训练得到眼睛状态转换模型；

其中，所述眼睛状态转换模型用于接收展示的所述目标对象具有所述第一眼睛状态的待处理图像并生成对应的目标图像，所述目标图像上展示的所述目标对象具有所述第二眼睛状态；

所述图像处理模型训练装置还包括：

第一蒙版图像获取模块，用于获取眼部区域蒙版图像；

第二蒙版图像获取模块，用于获取第一样本图像集对应的第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集；且，所述眼睛蒙版图像上展示的眼睛状态为所述第二眼睛状态，所述瞳孔蒙版图像上展示的瞳孔区域为所述第二眼睛状态下的瞳孔区域；其中，所述蒙版样本图像集是按照如下方式获取得到的：利用脸部识别技术，确定第一样本图像集中的每个图像上展示的目标对象的类型，识别所述目标对象的眼睛区域以及瞳孔区域，结合所述目标对象的类型，为第一样本图像集中的每个图像上展示的所述目标对象生成符合当前模型训练需求的眼睛蒙版样本图像和瞳孔蒙版样本图像；

其中，第一眼睛蒙版样本图像集中的每个图像用于确定目标对象的眼睛区域，第一瞳孔蒙版样本图像集中的每个图像用于确定目标对象的瞳孔区域，眼部区域蒙版图像用于确定包围眼睛的图像区域；

其中，眼睛状态转换模型包括眼睛状态图像生成模型；模型训练模块包括：

第一模型训练单元，用于将第一样本图像集、第二样本图像集和眼部区域蒙版图像作为模型的输入，并基于第一眼睛蒙版样本图像集和第一瞳孔蒙版样本图像集，训练得到眼睛状态图像生成模型。

14.一种电子设备，其特征在于，包括存储器和处理器，其中：

所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，所述处理器执行权利要求1-8中任一项所述的图像处理方法，或者执行权利要求9-11中任一项所述的图像处理模型训练方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序被处理器执行时，所述处理器执行权利要求1-8中任一项所述的图像处理方法，或者执行权利要求9-11中任一项所述的图像处理模型训练方法。

Images