CN109636867B

CN109636867B - 图像处理方法、装置及电子设备

Info

Publication number: CN109636867B
Application number: CN201811285629.XA
Authority: CN
Inventors: 郭汉奇; 洪智滨
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2023-05-23
Anticipated expiration: 2038-10-31
Also published as: CN109636867A

Abstract

本发明实施例提供一种图像处理方法、装置及电子设备，该方法包括：接收图像处理指令，所述图像处理指令包括输入图像以及目标年龄信息；提取所述输入图像的特征信息，所述特征信息为表征所述输入图像的人脸特征以及身份特征的信息；根据所述输入图像的特征信息以及所述目标年龄信息，生成输出图像。该方法在提取输入图像的特征信息时，能够提取到能够表征人脸特征以及身份特征的特征信息，进而基于提取到的能够表征人脸特征及身份特征的特征信息生成输出图像，从而使得输出图像中能够保存人脸的身份特征的一致性，进而满足人脸图像处理中身份一致性的要求。

Description

图像处理方法、装置及电子设备

技术领域

本发明实施例涉及计算机技术，尤其涉及一种图像处理方法、装置及电子设备。

背景技术

在一些领域中，可能需要获取在当前时间之前或之后若干年的人脸图像。例如，有些年长用户希望借助特效相机得到自己在若干年前的人脸图像，以弥补在当时未及时留存照片的遗憾，或者，有些年轻用户希望借助特效相机得到自己若干年后的人脸图像，以满足对于未来相貌变化的好奇。又例如，在案件侦破领域，一些犯罪分子多年逃亡在外，随着时间流逝，音容相貌发生改变，因此，可能需要根据犯罪分子逃亡前的人脸图像得到逃亡多年后的人脸图像，以协助案件的侦破。

现有技术中，提出了一种通过循环神经网络得到特定年龄人脸图像的方法。该方法通过循环神经网络的不断迭代过程模拟人脸随着时间不断变化的过程，从而实现连续时间状态下人脸图像年龄化处理,其每一个循环单元都作为连续年龄化处理的一个节点，如此往复，生成最终的特定年龄人脸图像。

但是，通过现有技术的方法所输出的图像无法满足身份一致性的要求。

发明内容

本发明实施例提供一种图像处理方法、装置及电子设备，用于解决现有技术无法满足身份一致性的要求。

本发明实施例第一方面提供一种图像处理方法，包括：

接收图像处理指令，所述图像处理指令包括输入图像以及目标年龄信息；

提取所述输入图像的特征信息，所述特征信息为表征所述输入图像的人脸特征以及身份特征的信息；

根据所述输入图像的特征信息以及所述目标年龄信息，生成输出图像。

进一步的，所述提取所述输入图像的特征信息，包括：

将所述输入图像输入编码网络，得到由所述编码网络输出的所述输入图像的特征信息。

进一步的，所述编码网络通过如下方式训练得到：

接收预设的第一训练输入图像；

使用编码网络对所述第一训练图像进行编码，得到所述第一训练输入图像的特征信息；

使用解码网络对所述第一训练图像的特征信息进行解码，得到所述第一训练输入图像对应的第一训练输出图像；

确定所述第一训练输入图像的特征信息与所述第一训练输出图像的特征信息之间的实际差异信息；

根据所述实际差异信息以及预设的目标差异信息，对所述编码网络以及所述解码网络进行修正，所述目标差异信息为表征身份特征的信息。

进一步的，所述确定所述第一训练输入图像的特征信息与所述第一训练输出图像的特征信息之间的实际差异信息，包括：

根据所述第一训练输入图像的特征信息与所述第一训练输出图像的特征信息之间的距离信息，确定所述实际差异信息。

进一步的，所述根据所述输入图像的特征信息以及所述目标年龄信息，生成输出图像，包括：

将所述输入图像的特征信息以及所述目标年龄信息输入生成网络，得到由所述生成网络生成的所述输出图像。

进一步的，所述生成网络通过如下方式训练得到：

将第二训练输入图像的特征信息以及训练年龄信息输入生成网络，得到由所述生成网络输出的第二训练输出图像，所述生成网络为包括正交正则化处理的网络模型；

使用判别网络判别所述第二训练输出图像的真实度；

根据所述第二训练输出图像的真实度，对所述生成网络进行修正。

进一步的，所述生成网络为包括正交正则化处理的网络模型，包括：

所述生成网络为通过正交正则化项进行正交正则化处理的网络模型。

本发明实施例第二方面提供一种图像处理装置，包括：

第一接收模块，用于接收图像处理指令，所述图像处理指令包括输入图像以及目标年龄信息；

提取模块，用于提取所述输入图像的特征信息，所述特征信息为表征所述输入图像的人脸特征以及身份特征的信息；

第一生成模块，用于根据所述输入图像的特征信息以及所述目标年龄信息，生成输出图像。

进一步的，所述提取模块具体用于：

进一步的，所述装置还包括：

第二接收模块，用于接收预设的第一训练输入图像；

编码模块，用于使用编码网络对所述第一训练图像进行编码，得到所述第一训练输入图像的特征信息；

解码模块，用于使用解码网络对所述第一训练图像的特征信息进行解码，得到所述第一训练输入图像对应的第一训练输出图像；

确定模块，用于确定所述第一训练输入图像的特征信息与所述第一训练输出图像的特征信息之间的实际差异信息；

第一修正模块，用于根据所述实际差异信息以及预设的目标差异信息，对所述编码网络以及所述解码网络进行修正，所述目标差异信息为表征身份特征的信息。

进一步的，所述确定模块具体用于：

进一步的，第一生成模块具体用于：

进一步的，所述装置还包括：

第二生成模块，用于将第二训练输入图像的特征信息以及训练年龄信息输入生成网络，得到由所述生成网络输出的第二训练输出图像，所述生成网络为包括正交正则化处理的网络模型；

判别模块，用于使用判别网络判别所述第二训练输出图像的真实度；

第二修正模块，用于根据所述第二训练输出图像的真实度，对所述生成网络进行修正。

本发明实施第三方面提供一种电子设备，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行上述第一方面所述的方法步骤。

本发明实施第四方面提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行上述第一方面所述的方法。

本发明实施例所提供的图像处理方法、装置及电子设备，在提取输入图像的特征信息时，能够提取到能够表征人脸特征以及身份特征的特征信息，进而基于提取到的能够表征人脸特征及身份特征的特征信息生成输出图像，从而使得输出图像中能够保存人脸的身份特征的一致性，进而满足人脸图像处理中身份一致性的要求。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像处理方法的一种示例性的系统架构图；

图2为本发明实施例提供的图像处理方法的流程示意图；

图3为本发明实施例提供的图像处理方法的流程示意图；

图4为本发明实施例提供的图像处理方法的流程示意图；

图5为本发明实施例提供的图像处理装置的模块结构图；

图6为本发明实施例提供的图像处理装置的模块结构图；

图7为本发明实施例提供的图像处理装置的模块结构图；

图8为本发明实施例提供的一种电子设备的实体框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术能够通过循环神经网络的不断迭代过程模拟人脸随着时间不断变化的过程，以得到最终的特定年龄人脸图像。但是，该方法难以保存人脸的身份特征的一致性，而身份特征的一致性的缺失会导致所得到的特定年龄人脸图像无法更好地体现人的身份。因此，现有技术的方法无法满足人脸图像处理中身份一致性的要求。

本发明实施例基于上述问题，提出一种图像处理方法，该方法在提取输入图像的特征信息时，能够提取到能够表征人脸特征以及身份特征的特征信息，进而基于提取到的能够表征人脸特征及身份特征的特征信息生成输出图像，从而使得输出图像中能够保存人脸的身份特征的一致性，进而满足人脸图像处理中身份一致性的要求。

本发明实施例所提供的方法可以应用在多种场景下。例如，对于普通用户来说，有些年长用户希望借助特效相机得到自己在若干年前的人脸图像，以弥补在当时未及时留存照片的遗憾，或者，有些年轻用户希望借助特效相机得到自己若干年后的人脸图像，以满足对于未来相貌变化的好奇。又例如，在案件侦破场景下，一些犯罪分子多年逃亡在外，随着时间流逝，音容相貌发生改变，因此，可能需要根据犯罪分子逃亡前的人脸图像得到逃亡多年后的人脸图像，以协助案件的侦破。

在具体实施过程中，本发明实施例所提供的方法可以运行在独立的电子设备上，例如，该方法可以通过软件模块的形式运行在一个终端设备上。或者，该方法也可以通过不同的电子设备的交互来运行。图1为本发明实施例提供的图像处理方法的一种示例性的系统架构图，如图1所示，该方法可以涉及终端设备和服务器，终端设备可以与用户交互，接收用户输入的指令，并将指令转发至服务器，由服务器执行具体的图像处理，生成输出图像，再由终端设备将输出图像向用户输出。

图2为本发明实施例提供的图像处理方法的流程示意图，该方法的执行主体可以是独立实现该方法的电子设备，或者，也可以是如上述图1所示的服务器，本发明实施例对此不做具体限定。如图2所示，该方法包括：

S201、接收图像处理指令，该图像处理指令包括输入图像以及目标年龄信息。

可选的，上述输入图像可以是在当前时间或与当前时间的间隔小于一定阈值的时间上所拍摄的用户的人脸图像。示例性的，上述阈值可以一年。即用户可以将距当前时间一年内的人脸图像作为用户当前年龄下的人脸图像。其中，当前时间可以是当前日期。

可选的，上述目标年龄信息是指用户希望查看自己在该目标年龄时的人脸图像。该目标年龄信息可以是一个特定的年龄值，例如60岁，或者，也可以是一个特定的年龄段，例如60岁-65岁。

示例性的，当上述方法通过独立的电子设备运行时，用户可以通过该电子设备实时拍摄或者导入人脸图像，电子设备将拍摄到的或导入的人脸图像作为输入图像。另外，用户可以通过电子设备提供的输入框或选择框等输入上述目标年龄信息。

示例性的，当上述方法通过上述图1所示的系统架构运行时，用户可以通过图1所示的终端设备实时拍摄或者导入人脸图像，并通过终端设备提供的输入框或选择框等输入目标年龄信息，进而将人脸图像和目标人脸信息携带在图像处理指令中发送给服务器，服务器即接收到包含输入图像以及目标年龄信息的图像处理指令。

S202、提取上述输入图像的特征信息，该特征信息为表征上述输入图像的人脸特征以及身份特征的信息。

可选的，上述人脸特征为图像角度的特征，例如可以表征人脸的肤色、皮肤纹理的。

可选的，上述身份特征为高层语义角度的特征，用于表征人的身份。

可选的，在提取输入图像的特征信息时，所提取到的特征除了能够表征输入图像的人脸特征，同时，能够表征输入图像的身份特征。

S203、根据上述输入图像的特征信息以及上述目标年龄信息，生成输出图像。

可选的，以上述输入图像的特征信息为输入，以上述目标年龄信息为条件，生成输入图像对应的人在上述目标年龄时的人脸图像，即上述输出图像。

示例性的，当上述方法通过独立的电子设备运行时，电子设备可以直接对生成的输出图像进行显示，以供用户查看、保存等。

示例性的，当上述方法通过上述图1所示的系统架构运行时，服务器在生成上述输出图像后，可以将上述输出图像发送给终端设备，由终端设备对接收到的输出图像进行显示，以供用户查看、保存等。

本实施例中，在提取输入图像的特征信息时，能够提取到能够表征人脸特征以及身份特征的特征信息，进而基于提取到的能够表征人脸特征及身份特征的特征信息生成输出图像，从而使得输出图像中能够保存人脸的身份特征的一致性，进而满足人脸图像处理中身份一致性的要求。

以本发明实施例应用于案件侦破场景为例，由于本实施例的方法能够在输出图像中保存人脸的身份特征的一致性，因此，通过输出图像可以更加容易辨认出犯罪分子，从而为案件侦破提供重要依据和线索，更好地协助案件的侦破。

在一种可选的实施方式中，上述步骤S202可以通过编码网络提取上述输入图像的特征信息。具体的，将上述输入图像输入到该编码网络中，得到由该编码网络输出的上述输入图像的特征信息。

可选的，上述编码网络具体可以为一个神经网络模型。在对上述输入图像进行特征提取之前，上述编码网络已预先完成训练，从而具备提取人脸特征和身份特征的能力。

以下说明对上述编码网络进行训练的过程。

图3为本发明实施例提供的图像处理方法的流程示意图，如图3所示，对上述编码网络进行训练的过程包括：

S301、接收预设的第一训练输入图像。

其中，上述第一训练输入图像为用于进行训练的进行过标注的人脸图像。

S302、使用编码网络对所述第一训练图像进行编码，得到上述第一训练输入图像的特征信息。

S303、使用解码网络对上述第一训练图像的特征信息进行解码，得到上述第一训练输入图像对应的第一训练输出图像。

可选的，上述解码网络本发明实施例为训练编码网络所提供的网络模型，该解码网络可以为一个神经网络模型。在一次训练过程中，当编码网络输出第一训练图像的特征信息后，将这些特征信息再输入解码网络，由解码网络进行解码，从而解码出第一训练输入图像对应的第一训练输出图像。

S304、确定上述第一训练输入图像的特征信息与上述第一训练输出图像的特征信息之间的实际差异信息。

可选的，当得到第一训练输出图像之后，可以再通过编码网络或者其他网络得到一训练输出图像的特征信息，本发明实施例对此不做具体限定。

进而，在本步骤中，可以通过特定的方式确定第一训练输入图像的特征信息和第一训练输出图像的特征信息之间的实际差异信息。

可选的，可以通过比较特征之间的距离、色差等确定上述实际差异信息。

一种可选的实施方式中，可以根据上述第一训练输入图像的特征信息与上述第一训练输出图像的特征信息之间的距离信息，确定上述实际差异信息。

具体的，针对第一训练输入图像中的每个特征，在第一训练输出图像中具有与其对应的一个特征，这两个特征之间的实际特征距离即为这两个特征的实际差异信息。一个特征可以通过一个向量表示，向量之间的距离即可以表示特征之间的特征距离。

S305、根据上述实际差异信息以及预设的目标差异信息，对上述编码网络以及上述解码网络进行修正，其中，上述目标差异信息为表征身份特征的信息。

可选的，在上述实际差异信息通过特征之间的特征距离表示时，上述目标差异信息相应的可以通过目标特征距离表示。

可选的，对于第一训练输入图像中的一个特征，如果满足身份特征一致性，则由编码网络输出的该特征与解码网络输出图像中的该特征之间的特征距离应该小于上述目标特征距离，即上述目标特征距离能够表征人脸的身份特征。在上述第一训练输入图像标注时，可以获知每个特征对应的目标特征距离。进而，在本步骤中，通过判断编码网络输出的特征与解码网络输出图像的特征之间的实际特征距离，与目标特征距离之间的差异，来度量编码网络在表征身份特征上的能力。具体的，差异越小，则表明编码网络能够越好地表征身份特征，差异越大，则表明编码网络表征身份特征的能力越低。进而，基于该差异，可以对编码网络进行修正。

可选的，基于上述差异，也可以对解码网络进行修正。

本实施例中，基于编码网络和解码网络联合训练的方式对编码网络进行训练，并在训练时利用表征身份特征的目标差异信息来对编码网络进行度量，从而使得编码网络根据与目标差异信息的差异进行修正，进而使得修正后的编码网络能够更好地表征身份特征。

在一种可选的实施方式中，上述步骤S203可以通过生成网络生成上述目标年龄信息。具体的，将上述输入图像的特征信息以及上述目标年龄信息输入上述生成网络，得到由上述生成网络生成的上述输出图像。

可选的，上述生成网络具体可以为一个神经网络模型。在由上述生成网络生成输出图像之前，上述生成网络已预先完成训练，从而具备生成输出图像的能力。

以下说明对上述生成网络进行训练的过程。

图4为本发明实施例提供的图像处理方法的流程示意图，如图4所示，对上述生成网络进行训练的过程包括：

S401、将第二训练输入图像的特征信息以及训练年龄信息输入生成网络，得到由上述生成网络输出的第二训练输出图像，上述生成网络为包括正交正则化处理的网络模型。

可选的，上述训练年龄信息为训练过程中使用的年龄信息，该训练年龄的取值与上述目标年龄信息一致，此处不再赘述。

可选的，上述生成网络可以以上述训练年龄信息为条件，按照第二训练输入图像的特征信息生成在上述训练年龄下的人脸图像。

在现有技术中，根据输入图像得到的输出图像可能存在图像畸变的问题。而在本实施例中，所使用的上述生成网络为包括正交正则化处理的网络模型。即在上述生成网络中，可以进行正交正则化处理，经过正交正则化处理，能够平滑生成网络模型，进而使得生成网络能够产生质量更好的输出图像。

在一种可选的实施方式中，上述生成网络可以为通过正交正则化项进行正交正则化处理的网络模型。

示例性的，上述正交正则化项的表达式可以为下述公式(1)所述。

其中，β为超参数，1为全1矩阵，W为权重矩阵。

在具体实施过程中，上述第二训练输入图像可以为上述第一训练输入图像，即对上述编码网络和上述生成网络统一进行训练，将上述编码网络所输出的特征信息作为上述生成网络的输入，对上述生成网络进行训练。或者，上述第二训练输入图像也可以为进行过数据标注的其他图像，即上述生成网络的训练过程与上述编码网络的训练过程分别独立执行。本发明实施例对此不做具体限定。

S402、使用判别网络判别上述第二训练输出图像的真实度。

可选的，上述判别网络为训练生成网络所提供的网络模型，该判别网络可以为一个神经网络模型。在一次训练过程中，当生成网络生成输出图像后，判别网络判别生成网络的目标函数的输出损失值，以得到输出图像的真实度信息。其中，输出损失值越大，表明输出图像的真实度越低，输出损失值越小，表明输出图像的真实度越高。

其中，图像的真实度越高，代表该图像更逼真，图像质量更高。

S403、根据上述第二训练输出图像的真实度，对上述生成网络进行修正。

可选的，根据上述第二训练输出图像的真实度，也可以对上述判别网络进行修正。经过对生成网络和判别网络的不断迭代训练，可以得到判别能力更好的判别网络和生成图像真实度更高的生成网络。

本实施例中，训练的生成网络中包含了正交正则化处理，能够平滑生成网络模型，进而使得生成网络能够产生质量更好的输出图像，从而避免现有技术中出现的输出图像出现畸变的问题。同时，基于生成网络和判别网络联合训练的方式对生成网络进行训练，使得训练出的生成网络能够生成更加逼真的人脸图像。

图5为本发明实施例提供的图像处理装置的模块结构图，如图5所示，该装置包括：

第一接收模块501，用于接收图像处理指令，所述图像处理指令包括输入图像以及目标年龄信息。

提取模块502，用于提取所述输入图像的特征信息，所述特征信息为表征所述输入图像的人脸特征以及身份特征的信息。

第一生成模块503，用于根据所述输入图像的特征信息以及所述目标年龄信息，生成输出图像。

该装置用于实现前述方法实施例，其实现原理和技术效果类似，此处不再赘述。

另一实施例中，提取模块502具体用于：

图6为本发明实施例提供的图像处理装置的模块结构图，如图6所示，该装置还包括：

第二接收模块504，用于接收预设的第一训练输入图像。

编码模块505，用于使用编码网络对所述第一训练图像进行编码，得到所述第一训练输入图像的特征信息。

解码模块506，用于使用解码网络对所述第一训练图像的特征信息进行解码，得到所述第一训练输入图像对应的第一训练输出图像。

确定模块507，用于确定所述第一训练输入图像的特征信息与所述第一训练输出图像的特征信息之间的实际差异信息。

第一修正模块508，用于根据所述实际差异信息以及预设的目标差异信息，对所述编码网络以及所述解码网络进行修正，所述目标差异信息为表征身份特征的信息。

另一实施例中，确定模块507具体用于：

另一实施例中，第一生成模块503具体用于：

图7为本发明实施例提供的图像处理装置的模块结构图，如图7所示，该装置还包括：

第二生成模块509，用于将第二训练输入图像的特征信息以及训练年龄信息输入生成网络，得到由所述生成网络输出的第二训练输出图像，所述生成网络为包括正交正则化处理的网络模型。

判别模块510，用于使用判别网络判别所述第二训练输出图像的真实度。

第二修正模块511，用于根据所述第二训练输出图像的真实度，对所述生成网络进行修正。

另一实施例中，生成网络为包括正交正则化处理的网络模型，包括：

图8为本发明实施例提供的一种电子设备的实体框图，如图8所示，该电子设备包括：

存储器801，用于存储程序指令。

处理器801，用于调用并执行存储器801中的程序指令，执行上述方法实施例中所述的方法步骤。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种图像处理方法，其特征在于，包括：

提取所述输入图像的特征信息，所述特征信息为表征所述输入图像的人脸特征以及身份特征的信息，其中，所述人脸特征包括人脸的肤色以及皮肤纹理，所述身份特征用于表征人的身份；

2.根据权利要求1所述的方法，其特征在于，所述提取所述输入图像的特征信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述编码网络通过如下方式训练得到：

接收预设的第一训练输入图像；

4.根据权利要求3所述的方法，其特征在于，所述确定所述第一训练输入图像的特征信息与所述第一训练输出图像的特征信息之间的实际差异信息，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述输入图像的特征信息以及所述目标年龄信息，生成输出图像，包括：

6.根据权利要求5所述的方法，其特征在于，所述生成网络通过如下方式训练得到：

使用判别网络判别所述第二训练输出图像的真实度；

7.根据权利要求6所述的方法，其特征在于，所述生成网络为包括正交正则化处理的网络模型，包括：

8.一种图像处理装置，其特征在于，包括：

提取模块，用于提取所述输入图像的特征信息，所述特征信息为表征所述输入图像的人脸特征以及身份特征的信息，其中，所述人脸特征包括人脸的肤色以及皮肤纹理，所述身份特征用于表征人的身份；

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用并执行所述存储器中的程序指令，执行权利要求1-7任一项所述的方法步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序用于执行权利要求1-7任一项所述的方法。