CN108960014B - 图像处理方法、装置和系统及存储介质 - Google Patents

Abstract

本发明的实施例提供了一种图像处理方法、装置和系统及存储介质。图像处理方法包括：获取第一待匹配图像和第二待匹配图像；利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性；以及基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。上述方法、装置和系统及存储介质有助于提高身份匹配的准确率。

Description

图像处理方法、装置和系统及存储介质

技术领域

本发明涉及图像处理领域，更具体地涉及一种图像处理方法、装置和系统及存储介质。

背景技术

行人重识别(Person Re-identification)是安防应用中不可或缺的一环。行人重识别就是对多个监控摄像头采集到的图像中的行人进行匹配。现有的方法通常采用常规的特征提取方法直接提取两个行人图像的特征向量，并根据提取的特征向量来判断两个行人的身份是否匹配。此外，一些基于卷积神经网络的身份匹配方法通过将两个行人图像输入训练好的卷积神经网络来直接判断两个行人的身份是否匹配。然而，在实际应用中，不同监控摄像头的场景、光线、视角等图像采集环境往往差别很大，无论基于特征向量还是基于卷积神经网络的方法都无法避免图像采集环境的差异对行人本身信息的影响，这导致现有的身份匹配方法的准确率很难提高。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种图像处理方法、装置和系统及存储介质。

根据本发明一方面，提供了一种图像处理方法。该方法包括：获取第一待匹配图像和第二待匹配图像；利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性；以及基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。

示例性地，转换结果包括由条件生成网络输出的新的第一待匹配图像，基于转换结果将第一待匹配图像与第二待匹配图像进行匹配包括：将新的第一待匹配图像和第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

示例性地，转换结果包括由条件生成网络输出的新的第一待匹配图像，在基于转换结果将第一待匹配图像与第二待匹配图像进行匹配之前，图像处理方法还包括：将第二待匹配图像输入条件生成网络，以获得由条件生成网络输出的新的第二待匹配图像；基于转换结果将第一待匹配图像与第二待匹配图像进行匹配包括：将新的第一待匹配图像和新的第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与新的第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

示例性地，条件生成网络包括卷积神经网络，转换结果包括由卷积神经网络基于第一待匹配图像输出的、第一待匹配图像的特征向量，在基于转换结果将第一待匹配图像与第二待匹配图像进行匹配之前，图像处理方法还包括：将第二待匹配图像输入条件生成网络，以获得由卷积神经网络输出的、第二待匹配图像的特征向量；基于转换结果将第一待匹配图像与第二待匹配图像进行匹配包括：基于第一待匹配图像的特征向量、第二待匹配图像的特征向量和预设距离计算矩阵，计算第一待匹配图像与第二待匹配图像之间的距离；以及根据所计算的距离判断第一待匹配图像和第二待匹配图像是否属于同一对象。

示例性地，条件生成网络还包括在卷积神经网络之后的上采样层或反卷积神经网络。

示例性地，图像处理方法还包括：获取样本图像；将样本图像输入条件生成网络，以获得生成图像；将生成图像输入真实性判别网络，以获得生成图像是真实图像的真实性置信度；将样本图像和生成图像输入相关性判别网络，以获得用于指示样本图像与生成图像之间的相关性的相关性置信度；根据真实性置信度和相关性置信度计算总置信度；以及更新条件生成网络的参数以使总置信度最大化；其中，真实性判别网络的参数和相关性判别网络的参数保持不变。

示例性地，根据真实性置信度和相关性置信度计算总置信度包括：对真实性置信度和相关性置信度进行加权平均，以获得总置信度。

示例性地，图像处理方法还包括：获取样本图像集；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及以样本图像集中的一个或多个样本图像作为正样本，以至少一个生成图像作为负样本，训练真实性判别网络的参数；其中，条件生成网络的参数和相关性判别网络的参数保持不变。

示例性地，图像处理方法还包括：获取样本图像集，其中，样本图像集包括至少一个正初始图像对和至少一个负初始图像对，每个正初始图像对包括属于同一对象的两个样本图像，每个负初始图像对包括属于不同对象的两个样本图像；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及以至少一个正初始图像对、至少一个正综合图像对和至少一个正生成图像对中的一种或多种作为正样本，以至少一个负初始图像对、至少一个负综合图像对和至少一个负生成图像对中的一种或多种作为负样本，训练相关性判别网络的参数，其中，每个正综合图像对包括至少一个样本图像之一及与该样本图像对应的生成图像，每个正生成图像对包括与至少一个样本图像中的属于同一对象的两个样本图像对应的两个生成图像，每个负综合图像对包括至少一个生成图像之一及所属对象和与该生成图像对应的样本图像所属对象不同的样本图像，每个负生成图像对包括与至少一个样本图像中的属于不同对象的两个样本图像对应的两个生成图像；其中，条件生成网络的参数和真实性判别网络的参数保持不变。

根据本发明另一方面，提供了一种图像处理装置。该装置包括：待匹配图像获取模块，用于获取第一待匹配图像和第二待匹配图像；网络处理模块，用于利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性；以及匹配模块，用于基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。

根据本发明另一方面，提供了一种图像处理系统，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行以下步骤：获取第一待匹配图像和第二待匹配图像；利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性；以及基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。

根据本发明另一方面，提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行以下步骤：获取第一待匹配图像和第二待匹配图像；利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性；以及基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。

根据本发明实施例的图像处理方法、装置和系统及存储介质，利用训练好的对抗网络中的条件生成网络处理第一待匹配图像，生成能够代表第一待匹配图像的转换结果。与第一待匹配图像相比，其转换结果中包含的视角、场景、光线等图像采集环境所带来的图像信息会有所变化，基于这样的转换结果与第二待匹配图像进行匹配(例如将转换结果与第二待匹配图像或与第二待匹配图像的特征向量进行对比)，可以弱化视角、场景、光线等图像采集环境的差异对身份匹配的影响，从而有助于提高身份匹配的准确率。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的图像处理方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的图像处理方法的示意性流程图；

图3示出根据本发明一个实施例的对抗网络的示意图；

图4示出根据本发明一个实施例的图像处理装置的示意性框图；以及

图5示出根据本发明一个实施例的图像处理系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

为了解决上文所述的问题，本发明实施例提供一种图像处理方法、装置和系统及存储介质，其使用训练好的对抗网络来生成能够代表待匹配图像的转换结果(例如接近于原始的待匹配图像的另一个新的待匹配图像)，以使得减小场景、光线、视角等图像采集环境的偏差成为可能。本发明实施例提供的图像处理方法可以在多种复杂的环境条件下，得到比较好的身份匹配结果，因此该方法可以很好地应用于各种监控领域。

首先，参照图1来描述用于实现根据本发明实施例的图像处理方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108和图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以采集图像(包括视频帧)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是监控摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他图像采集装置采集用于图像处理的图像，并将采集的图像发送给电子设备100。

示例性地，用于实现根据本发明实施例的图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的图像处理方法。图2示出根据本发明一个实施例的图像处理方法200的示意性流程图。如图2所示，图像处理方法200包括以下步骤。

在步骤S210，获取第一待匹配图像和第二待匹配图像。

应理解，本文所述的“第一”、“第二”等词语不表示顺序，仅用于区分目的。在图像处理过程中，第一待匹配图像和第二待匹配图像没有特殊的处理顺序，这二者可以互换。第一待匹配图像和第二待匹配图像可以是任何合适的、需要进行匹配的图像。例如，第一待匹配图像和第二待匹配图像可以是由不同监控摄像头采集到的图像。又例如，第一待匹配图像和第二待匹配图像可以是从相同或不同的原始图像中提取出来的仅包含单个行人的行人图像。

第一待匹配图像和第二待匹配图像可以是摄像头等图像采集装置采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。

第一待匹配图像和/或第二待匹配图像可以由客户端设备(诸如包括监控摄像头的安防设备)发送到电子设备100以由电子设备100的处理器102进行处理，也可以由电子设备100包括的图像采集装置110(例如摄像头)采集并传送到处理器102进行处理。

在步骤S220，利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性。

对抗网络包括条件生成网络和两个判别网络，即真实性判别网络和相关性判别网络。条件生成网络用于基于输入其的图像生成新的图像。例如，条件生成网络可以在输入的图像中加入一些扰动，构造出一个新的图像。

真实性判别网络用于判断输入其的图像是否是真实图像。在训练对抗网络的过程中，可以将条件生成网络输出的图像输入到真实性判别网络中。条件生成网络的目标是“欺骗”真实性判别网络，不断优化自身以使得真实性判别网络将条件生成网络输出的图像判定为真实图像。真实性判别网络的目标则是将条件生成网络输出的图像判定为不真实图像。经过对抗训练之后，在训练好的对抗网络中，条件生成网络可以基于输入的图像生成一个新的足够真实的图像。

相关性判别网络用于判断输入其的两个图像是否相关。在训练对抗网络的过程中，可以将输入条件生成网络的原始图像以及条件生成网络输出的新的图像输入到相关性判别网络中。条件生成网络的目标是使相关性判别网络将原始图像与新的图像判断为相关。相关性判别网络采用属于同一对象的图像对和属于不同对象的图像对进行训练，目标是使其判断的相关性更准确。

示例性地，用于代表第一待匹配图像的转换结果可以包括由条件生成网络输出的新的第一待匹配图像或由条件生成网络的某些中间层输出的特征向量。

在训练好的对抗网络中，条件生成网络可以基于输入的图像生成足够真实并且与输入的图像相关性足够大的新的图像。因此，利用条件生成网络处理第一待匹配图像的过程中，所输出的新的第一待匹配图像是足够真实的图像，并且其与所输入的第一待匹配图像足够相关，也就是说，这两个图像能够代表同一对象(即属于同一身份)。因此，可以用新的第一待匹配图像来代表第一待匹配图像。与原始输入的第一待匹配图像相比，新的第一待匹配图像所包含的场景、光线和视角等图像采集环境所带来的图像信息有所变化，可以减小图像采集环境对图像的影响以使得图像信息能够更集中反映行人本身。此外，在条件生成网络输出的图像中，有较大概率会调整行人的朝向，例如使其从侧面朝向转换为正面朝向。这样，使得弱化不同的待匹配图像中的行人的朝向变化对身份匹配造成的影响成为可能。总之，利用训练好的对抗网络中的条件生成网络将第一待匹配图像转换为新的第一待匹配图像可以弱化图像采集环境和行人朝向不同对身份匹配造成的影响，从而有助于提高身份匹配的准确率。

此外，条件生成网络的某些中间处理结果，例如某些卷积层输出的特征向量，也能够代表第一待匹配图像。利用条件生成网络获得的特征向量与条件生成网络直接输出的新的第一待匹配图像的作用是类似的。利用条件生成网络获得的特征向量可以弱化图像采集环境的影响。因此，可以利用条件生成网络分别处理第一待匹配图像和第二待匹配图像，获得二者的特征向量，然后基于二者的特征向量判断二者是否属于同一对象。

在步骤S230，基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。

示例性地，在转换结果包括利用条件生成网络获得的第一待匹配图像的特征向量的情况下，可以利用条件生成网络处理第二待匹配图像，获得第二待匹配图像的特征向量。随后，可以根据第一待匹配图像的特征向量和第二待匹配图像的特征向量计算图像之间的距离，根据距离判断第一待匹配图像和第二待匹配图像是否属于同一对象。

根据本发明实施例的图像处理方法，利用训练好的对抗网络中的条件生成网络处理第一待匹配图像，生成能够代表第一待匹配图像的转换结果。与第一待匹配图像相比，其转换结果中包含的视角、场景、光线等图像采集环境所带来的图像信息会有所变化，基于这样的转换结果与第二待匹配图像进行匹配(例如将转换结果与第二待匹配图像或与第二待匹配图像的特征向量进行对比)，可以弱化视角、场景、光线等图像采集环境的差异对身份匹配的影响，从而有助于提高身份匹配的准确率。

示例性地，根据本发明实施例的图像处理方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的图像处理方法可以部署在图像采集端处，例如，可以部署在小区门禁系统的图像采集端或者部署在诸如车站、商场、银行等公共场所的安防监控系统的图像采集端。替代地，根据本发明实施例的图像处理方法还可以分布地部署在服务器端(或云端)和客户端处。例如，可以在客户端采集图像，客户端将采集到的图像传送给服务器端(或云端)，由服务器端(或云端)进行图像处理。

根据本发明实施例，转换结果可以包括由条件生成网络输出的新的第一待匹配图像，步骤S230可以包括：将新的第一待匹配图像和第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

新的第一待匹配图像和原始的第一待匹配图像属于同一身份，能够代表同一对象(本文所述的对象包括但不限于图像中的行人，其也可以是图像中的其他物体)，因此可以将新的第一待匹配图像与第二待匹配图像相比较，根据比较结果确定第一待匹配图像和第二待匹配图像是否匹配。新的第一待匹配图像和第二待匹配图像之间的比较可以使用对抗网络中的相关性判别网络实施。相关性判别网络是训练好的，其可以判断输入的两个图像是否相关。相关性判别网络输出的是相关性置信度，相关性置信度可以理解为是输入的两个图像之间的相似度。示例性地，可以预先设定置信度阈值，当所获得的相关性置信度大于置信度阈值时，确定新的第一待匹配图像和第二待匹配图像是相关的，即，第一待匹配图像和第二待匹配图像是相关的，第一待匹配图像和第二待匹配图像属于同一对象。相对地，当所获得的相关性置信度不大于置信度阈值时，可以确定第一待匹配图像和第二待匹配图像不属于同一对象。置信度阈值可以根据需要设定，本发明不对此进行限制。

比较可取的是，在训练相关性判别网络的过程中，可以采用图像采集环境状况尽可能多变的大量样本图像进行训练，这样在利用相关性判别网络匹配新的第一待匹配图像和第二待匹配图像时，可以适应更复杂多变的图像采集环境，这样可以进一步弱化图像采集环境的差异对身份匹配的影响。

在本实施例中，仅转换两个待匹配图像之一，将新的第一待匹配图像和原始的第二待匹配图像进行匹配。由于图像转换过程中会改变一些图像信息，因此仅转换一个待匹配图像的方式的匹配准确率较高。当然，也可以同时转换两个待匹配图像，将新的第一待匹配图像和新的第二待匹配图像进行匹配，如下文所述。

根据本发明实施例，转换结果可以包括由条件生成网络输出的新的第一待匹配图像，在步骤S230之前，图像处理方法200还可以包括：将第二待匹配图像输入条件生成网络，以获得由条件生成网络输出的新的第二待匹配图像；步骤S230可以包括：将新的第一待匹配图像和新的第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与新的第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

如上文所述，可以将两个待匹配图像均转换为新的图像，随后对两个新的图像进行匹配。因此，在一个示例中，可以利用条件生成网络将第二待匹配图像转换为新的第二待匹配图像，并将新的第一待匹配图像和新的第二待匹配图像输入相关性判别网络进行匹配，获得二者的相关性置信度。同样地，可以预先设定置信度阈值，将条件生成网络输出的相关性置信度与置信度阈值相比较，根据比较结果确定第一待匹配图像和第二待匹配图像是否属于同一对象。

根据本发明实施例，条件生成网络可以包括卷积神经网络，转换结果包括由卷积神经网络基于第一待匹配图像输出的、第一待匹配图像的特征向量，在步骤S230之前，图像处理方法200还可以包括：将第二待匹配图像输入条件生成网络，以获得由第一卷积神经网络输出的、第二待匹配图像的特征向量；步骤S230可以包括：基于第一待匹配图像的特征向量、第二待匹配图像的特征向量和预设距离计算矩阵，计算第一待匹配图像与第二待匹配图像之间的距离；以及根据所计算的距离判断第一待匹配图像和第二待匹配图像是否属于同一对象。

如上文所述，由条件生成网络的中间层输出的中间处理结果可以用来代表第一待匹配图像。也就是说，可以用利用条件生成网络获得的第一待匹配图像的特征向量代表第一待匹配图像。在这种情况下，可以利用条件生成网络处理第二待匹配图像，获得第二待匹配图像的特征向量。随后，利用第一待匹配图像的特征向量和第二待匹配图像的特征向量计算两个待匹配图像之间的距离。所计算的距离可以反映两个待匹配图像之间的相关性(即相似度)。根据两个待匹配图像的特征向量计算两个待匹配图像之间的距离的方式与常规技术类似，不再赘述。

条件生成网络可以包括卷积神经网络和随后的网络结构。第一待匹配图像的特征向量和第二待匹配图像的特征向量为在先的卷积神经网络的输出。示例性地，上述随后的网络结构可以包括上采样层或反卷积神经网络。也就是说，条件生成网络可以是卷积神经网络加上反卷积神经网络的网络结构，还可以是卷积神经网络加上上采样层的网络结构。当然，上述条件生成网络的网络结构仅是示例，其可以具有其他合适的网络结构。

根据本发明实施例，图像处理方法200还可以包括：对条件生成网络、真实性判别网络和相关性判别网络进行交替对抗训练，以获得训练好的对抗网络。

交替对抗训练是指每次训练一种网络的参数，另外两种网络的参数保持不变。判别网络的判别能力越强，条件生成网络就越需要生成符合目标的图像。相对地，条件生成网络生成的图像越符合目标，判别网络的判别能力就越需要加强。因此，可以交替训练三个网络，使其各自符合自己的目标。经过足够的训练之后，条件生成网络能够生成与输入的图像属于同一对象且足够真实的新的图像。

示例性地，图像处理方法200还可以包括：获取样本图像；将样本图像输入条件生成网络，以获得生成图像；将生成图像输入真实性判别网络，以获得生成图像是真实图像的真实性置信度；将样本图像和生成图像输入相关性判别网络，以获得用于指示样本图像与生成图像之间的相关性的相关性置信度；根据真实性置信度和相关性置信度计算总置信度；以及更新条件生成网络的参数以使总置信度最大化；其中，真实性判别网络的参数和相关性判别网络的参数保持不变。

图3示出根据本发明一个实施例的对抗网络的示意图。如图3所示，条件生成网络的输入层接收输入图像(在训练过程中为样本图像，在应用过程中为待匹配图像)，输出生成图像。条件生成网络的中间层输出特征向量，该特征向量是由前面的卷积神经网络输出的，在条件生成网络内部，该特征向量将输入随后的网络结构，如上采样层或反卷积神经网络。图3所示的条件生成网络是卷积神经网络加上反卷积神经网络的网络结构。因此，特征向量将输入反卷积神经网络。

条件生成网络输出的生成图像被输入到真实性判别网络，真实性判别网络输出真实性置信度。条件生成网络输出的生成图像还连同原始的样本图像一起输入到相关性判别网络，相关性判别网络输出相关性置信度。真实性置信度和相关性置信度二者均是越大越好。为了方便网络训练，可以根据真实性置信度和相关性置信度计算出一个总置信度。条件生成网络不断优化自己，调整自己的参数以使总置信度不断增大，以尽量达到最大化。总置信度越大，意味着条件生成网络输出的生成图像越真实，并且其与输入条件生成网络的样本图像之间的相关性越大。这样，在进行图像匹配时，利用训练好的条件生成网络处理第一待匹配图像所获得的转换结果也能够更接近真实图像且与第一待匹配图像更加相关，从而能够更好地获得与第一待匹配图像代表同一对象且图像采集环境所带来的图像信息有所变化的转换结果。

示例性地，可以通过以下方式计算总置信度：对真实性置信度和相关性置信度进行加权平均，以获得总置信度。加权平均算法中的权重可以根据需要设定，便于基于各置信度的重要性来确定总置信度。当然，还可以采用其他方式计算总置信度，例如，可以对真实性置信度和相关性置信度进行加权求和、简单求和(可以视为加权求和的一种特殊情况)、简单平均(可以视为加权平均的一种特殊情况)等等，本发明不对此进行限制。

根据本发明实施例，图像处理方法200还包括：获取样本图像集；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像对应的至少一个生成图像；以及以样本图像集中的一个或多个样本图像作为正样本，以至少一个生成图像作为负样本，训练真实性判别网络的参数；其中，条件生成网络的参数和相关性判别网络的参数保持不变。

可以利用大量的样本图像和条件生成网络输出的生成图像来训练真实性判别网络。样本图像本身是真实图像，在图3中将样本图像表示为真实图像。如图3所示，真实性判别网络的输入层可以接收样本图像或生成图像。真实性判别网络致力于将由条件生成网络输出的图像识别为不真实图像，将样本图像识别为真实图像。也就是说，当真实性判别网络接收到由条件生成网络输出的图像时，其输出的真实性置信度为0，当真实性判别网络接收到样本图像时，其输出的真实性置信度为1。通过条件生成网络与真实性判别网络的对抗训练，可以使得训练好的条件生成网络基于输入的图像生成真实性足够高的新的图像。

根据本发明实施例，图像处理方法200还可以包括：获取样本图像集，其中，样本图像集包括至少一个正初始图像对和至少一个负初始图像对，每个正初始图像对包括属于同一对象的两个样本图像，每个负初始图像对包括属于不同对象的两个样本图像；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及以至少一个正初始图像对、至少一个正综合图像对和至少一个正生成图像对中的一种或多种作为正样本，以至少一个负初始图像对、至少一个负综合图像对和至少一个负生成图像对中的一种或多种作为负样本，训练相关性判别网络的参数，其中，每个正综合图像对包括至少一个样本图像之一及与该样本图像对应的生成图像，每个正生成图像对包括与至少一个样本图像中的属于同一对象的两个样本图像对应的两个生成图像，每个负综合图像对包括至少一个生成图像之一及所属对象和与该生成图像对应的样本图像所属对象不同的样本图像，每个负生成图像对包括与至少一个样本图像中的属于不同对象的两个样本图像对应的两个生成图像；其中，条件生成网络的参数和真实性判别网络的参数保持不变。

可以利用大量的正样本图像对和负样本图像对来训练相关性判别网络。正样本图像对可以包括至少一个正初始图像对、至少一个正综合图像对和至少一个正生成图像对中的一种或多种。负样本图像对可以包括至少一个负初始图像对、至少一个负综合图像对和至少一个负生成图像对中的一种或多种。

在初始获得的样本图像集中，正初始图像对和负初始图像对可以包括相同或完全不同的图像。例如，某一正初始图像对可以包括属于行人A的两个样本图像I1和I2，某一负初始图像对可以包括属于行人A的样本图像I3和属于行人B的样本图像I4。样本图像I3可以与样本图像I1或I2是相同的图像，也可以是与样本图像I1和I2完全不同的图像。与样本图像I1、I2、I3和I4一一对应的生成图像分别用i1、i2、i3和i4表示。

下面举例说明各种图像对所包括的图像。例如，正综合图像对可以包括样本图像I1和生成图像i1。正生成图像对可以包括生成图像i1和生成图像i2。负综合图像对可以包括样本图像I3和生成图像i4。负生成图像对可以包括生成图像i2和生成图像i4。

参加训练的图像对的种类越多，训练出的相关性判别网络的判断准确率越高，且能够针对更多种类的输入图像对进行相关性判断。在训练过程中，相关性判别网络不断优化自己，以使得对于属于同一对象的两个样本图像、两个生成图像、或一个样本图像和一个生成图像来说，对应的相关性置信度越高越好，同时使得对于不属于同一对象的两个样本图像、两个生成图像、或一个样本图像和一个生成图像来说，对应的相关性置信度越低越好。

参考图3，示出相关性判别网络的输入层接收样本图像和样本图像组成的图像对以及样本图像和生成图像组成的图像对(不同的图像对是分开训练的，即每次训练输入一个图像对)作为输入图像。相关性判别网络可以输出与输入的两个图像对应的相关性置信度。

通过条件生成网络与相关性判别网络的对抗训练，可以使得训练好的条件生成网络生成与输入的图像相关性足够高的新的图像。

示例性而非限制性地，真实性判别网络可以采用卷积神经网络实现。类似地，相关性判别网络也可以采用卷积神经网络实现。

根据本发明另一方面，提供一种图像处理装置。图4示出了根据本发明一个实施例的图像处理装置400的示意性框图。

如图4所示，根据本发明实施例的图像处理装置400包括待匹配图像获取模块410、网络处理模块420和匹配模块430。所述各个模块可分别执行上文中结合图2-3描述的图像处理方法的各个步骤/功能。以下仅对该图像处理装置400的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

待匹配图像获取模块410用于获取第一待匹配图像和第二待匹配图像。待匹配图像获取模块410可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

网络处理模块420用于利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性。网络处理模块420可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

匹配模块430用于基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。匹配模块430可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

根据本发明实施例，转换结果包括由条件生成网络输出的新的第一待匹配图像，匹配模块430包括：第一输入子模块，用于将新的第一待匹配图像和第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与第二待匹配图像之间的相关性的相关性置信度；以及第一确定子模块，用于根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

根据本发明实施例，转换结果包括由条件生成网络输出的新的第一待匹配图像，图像处理装置400还包括：新图像获得模块(未示出)，用于将第二待匹配图像输入条件生成网络，以获得由条件生成网络输出的新的第二待匹配图像；匹配模块430包括：第二输入子模块，用于将新的第一待匹配图像和新的第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与新的第二待匹配图像之间的相关性的相关性置信度；以及第二确定子模块，用于根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

根据本发明实施例，条件生成网络包括卷积神经网络，转换结果包括由卷积神经网络基于第一待匹配图像输出的、第一待匹配图像的特征向量，图像处理装置400还包括：特征向量获得模块(未示出)，用于将第二待匹配图像输入条件生成网络，以获得由第一卷积神经网络输出的、第二待匹配图像的特征向量；匹配模块430包括：距离计算子模块，用于基于第一待匹配图像的特征向量、第二待匹配图像的特征向量和预设距离计算矩阵，计算第一待匹配图像与第二待匹配图像之间的距离；以及第三确定子模块，用于根据所计算的距离判断第一待匹配图像和第二待匹配图像是否属于同一对象。

根据本发明实施例，条件生成网络还包括在卷积神经网络之后的上采样层或反卷积神经网络。

根据本发明实施例，图像处理装置400还包括：第一样本图像获取模块，用于获取样本图像；第一输入模块，用于将样本图像输入条件生成网络，以获得生成图像；第二输入模块，用于将生成图像输入真实性判别网络，以获得生成图像是真实图像的真实性置信度；第三输入模块，用于将样本图像和生成图像输入相关性判别网络，以获得用于指示样本图像与生成图像之间的相关性的相关性置信度；置信度计算模块，用于根据真实性置信度和相关性置信度计算总置信度；以及更新模块，用于更新条件生成网络的参数以使总置信度最大化；其中，真实性判别网络的参数和相关性判别网络的参数保持不变。

根据本发明实施例，置信度计算模块包括：加权平均子模块，用于对真实性置信度和相关性置信度进行加权平均，以获得总置信度。

根据本发明实施例，图像处理装置400还包括：第二样本图像获取模块，用于获取样本图像集；第四输入模块，用于将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及第一训练模块，用于以样本图像集中的一个或多个样本图像作为正样本，以至少一个生成图像作为负样本，训练真实性判别网络的参数；其中，条件生成网络的参数和相关性判别网络的参数保持不变。

根据本发明实施例，图像处理装置400还包括：第三样本图像获取模块，用于获取样本图像集，其中，样本图像集包括至少一个正初始图像对和至少一个负初始图像对，每个正初始图像对包括属于同一对象的两个样本图像，每个负初始图像对包括属于不同对象的两个样本图像；第五输入模块，用于将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及第二训练模块，用于以至少一个正初始图像对、至少一个正综合图像对和至少一个正生成图像对中的一种或多种作为正样本，以至少一个负初始图像对、至少一个负综合图像对和至少一个负生成图像对中的一种或多种作为负样本，训练相关性判别网络的参数，其中，每个正综合图像对包括至少一个样本图像之一及与该样本图像对应的生成图像，每个正生成图像对包括与至少一个样本图像中的属于同一对象的两个样本图像对应的两个生成图像，每个负综合图像对包括至少一个生成图像之一及所属对象和与该生成图像对应的样本图像所属对象不同的样本图像，每个负生成图像对包括与至少一个样本图像中的属于不同对象的两个样本图像对应的两个生成图像；其中，条件生成网络的参数和真实性判别网络的参数保持不变。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图5示出了根据本发明一个实施例的图像处理系统500的示意性框图。图像处理系统500包括图像采集装置510、存储器520以及处理器530。

图像采集装置510用于采集待匹配图像。图像采集装置510是可选的，图像处理系统500可以不包括图像采集装置510。在这种情况下，可以利用其他图像采集装置采集用于图像处理的待匹配图像，并将采集的图像发送给图像处理系统500。

所述存储装置520存储用于实现根据本发明实施例的图像处理方法中的相应步骤的程序代码。

所述处理器530用于运行所述存储装置520中存储的计算机程序指令，以执行根据本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置400中的待匹配图像获取模块410、网络处理模块420和匹配模块430。

在一个实施例中，所述计算机程序指令被所述处理器530运行时用于执行以下步骤：获取第一待匹配图像和第二待匹配图像；利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性；以及基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。

在一个实施例中，转换结果包括由条件生成网络输出的新的第一待匹配图像，所述计算机程序指令被所述处理器530运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤包括：将新的第一待匹配图像和第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

在一个实施例中，转换结果包括由条件生成网络输出的新的第一待匹配图像，在所述计算机程序指令被所述处理器530运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤之前，所述计算机程序指令被所述处理器530运行时还用于执行以下步骤：将第二待匹配图像输入条件生成网络，以获得由条件生成网络输出的新的第二待匹配图像；所述计算机程序指令被所述处理器530运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤包括：将新的第一待匹配图像和新的第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与新的第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

在一个实施例中，条件生成网络包括卷积神经网络，转换结果包括由卷积神经网络基于第一待匹配图像输出的、第一待匹配图像的特征向量，在所述计算机程序指令被所述处理器530运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤之前，所述计算机程序指令被所述处理器530运行时还用于执行以下步骤：将第二待匹配图像输入条件生成网络，以获得由第一卷积神经网络输出的、第二待匹配图像的特征向量；所述计算机程序指令被所述处理器530运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤包括：基于第一待匹配图像的特征向量、第二待匹配图像的特征向量和预设距离计算矩阵，计算第一待匹配图像与第二待匹配图像之间的距离；以及根据所计算的距离判断第一待匹配图像和第二待匹配图像是否属于同一对象。

在一个实施例中，条件生成网络还包括在卷积神经网络之后的上采样层或反卷积神经网络。

在一个实施例中，所述计算机程序指令被所述处理器530运行时还用于执行以下步骤：获取样本图像；将样本图像输入条件生成网络，以获得生成图像；将生成图像输入真实性判别网络，以获得生成图像是真实图像的真实性置信度；将样本图像和生成图像输入相关性判别网络，以获得用于指示样本图像与生成图像之间的相关性的相关性置信度；根据真实性置信度和相关性置信度计算总置信度；以及更新条件生成网络的参数以使总置信度最大化；其中，真实性判别网络的参数和相关性判别网络的参数保持不变。

在一个实施例中，所述计算机程序指令被所述处理器530运行时所用于执行的根据真实性置信度和相关性置信度计算总置信度的步骤包括：对真实性置信度和相关性置信度进行加权平均，以获得总置信度。

在一个实施例中，所述计算机程序指令被所述处理器530运行时还用于执行以下步骤：获取样本图像集；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及以样本图像集中的一个或多个样本图像作为正样本，以至少一个生成图像作为负样本，训练真实性判别网络的参数；其中，条件生成网络的参数和相关性判别网络的参数保持不变。

在一个实施例中，所述计算机程序指令被所述处理器530运行时还用于执行以下步骤：获取样本图像集，其中，样本图像集包括至少一个正初始图像对和至少一个负初始图像对，每个正初始图像对包括属于同一对象的两个样本图像，每个负初始图像对包括属于不同对象的两个样本图像；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及以至少一个正初始图像对、至少一个正综合图像对和至少一个正生成图像对中的一种或多种作为正样本，以至少一个负初始图像对、至少一个负综合图像对和至少一个负生成图像对中的一种或多种作为负样本，训练相关性判别网络的参数，其中，每个正综合图像对包括至少一个样本图像之一及与该样本图像对应的生成图像，每个正生成图像对包括与至少一个样本图像中的属于同一对象的两个样本图像对应的两个生成图像，每个负综合图像对包括至少一个生成图像之一及所属对象和与该生成图像对应的样本图像所属对象不同的样本图像，每个负生成图像对包括与至少一个样本图像中的属于不同对象的两个样本图像对应的两个生成图像；其中，条件生成网络的参数和真实性判别网络的参数保持不变。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的图像处理装置的各个功能模块，并且/或者可以执行根据本发明实施例的图像处理方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：获取第一待匹配图像和第二待匹配图像；利用对抗网络中的条件生成网络处理第一待匹配图像，以获得用于代表第一待匹配图像的转换结果，其中，对抗网络还包括真实性判别网络和相关性判别网络，真实性判别网络用于判断输入图像的真实性，相关性判别网络用于判断输入图像的相关性；以及基于转换结果将第一待匹配图像与第二待匹配图像进行匹配。

在一个实施例中，转换结果包括由条件生成网络输出的新的第一待匹配图像，所述程序指令在被计算机运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤包括：将新的第一待匹配图像和第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

在一个实施例中，转换结果包括由条件生成网络输出的新的第一待匹配图像，在所述程序指令在被计算机运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤之前，所述程序指令在被计算机运行时还用于执行以下步骤：将第二待匹配图像输入条件生成网络，以获得由条件生成网络输出的新的第二待匹配图像；所述程序指令在被计算机运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤包括：将新的第一待匹配图像和新的第二待匹配图像输入相关性判别网络，以获得用于指示新的第一待匹配图像与新的第二待匹配图像之间的相关性的相关性置信度；以及根据相关性置信度确定第一待匹配图像和第二待匹配图像是否属于同一对象。

在一个实施例中，条件生成网络包括卷积神经网络，转换结果包括由卷积神经网络基于第一待匹配图像输出的、第一待匹配图像的特征向量，在所述程序指令在被计算机运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤之前，所述程序指令在被计算机运行时还用于执行以下步骤：将第二待匹配图像输入条件生成网络，以获得由第一卷积神经网络输出的、第二待匹配图像的特征向量；所述程序指令在被计算机运行时所用于执行的基于转换结果将第一待匹配图像与第二待匹配图像进行匹配的步骤包括：基于第一待匹配图像的特征向量、第二待匹配图像的特征向量和预设距离计算矩阵，计算第一待匹配图像与第二待匹配图像之间的距离；以及根据所计算的距离判断第一待匹配图像和第二待匹配图像是否属于同一对象。

在一个实施例中，条件生成网络还包括在卷积神经网络之后的上采样层或反卷积神经网络。

在一个实施例中，所述程序指令在被计算机运行时还用于执行以下步骤：获取样本图像；将样本图像输入条件生成网络，以获得生成图像；将生成图像输入真实性判别网络，以获得生成图像是真实图像的真实性置信度；将样本图像和生成图像输入相关性判别网络，以获得用于指示样本图像与生成图像之间的相关性的相关性置信度；根据真实性置信度和相关性置信度计算总置信度；以及更新条件生成网络的参数以使总置信度最大化；其中，真实性判别网络的参数和相关性判别网络的参数保持不变。

在一个实施例中，所述程序指令在被计算机运行时所用于执行的根据真实性置信度和相关性置信度计算总置信度的步骤包括：对真实性置信度和相关性置信度进行加权平均，以获得总置信度。

在一个实施例中，所述程序指令在被计算机运行时还用于执行以下步骤：获取样本图像集；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及以样本图像集中的一个或多个样本图像作为正样本，以至少一个生成图像作为负样本，训练真实性判别网络的参数；其中，条件生成网络的参数和相关性判别网络的参数保持不变。

在一个实施例中，所述程序指令在被计算机运行时还用于执行以下步骤：获取样本图像集，其中，样本图像集包括至少一个正初始图像对和至少一个负初始图像对，每个正初始图像对包括属于同一对象的两个样本图像，每个负初始图像对包括属于不同对象的两个样本图像；将样本图像集中的至少一个样本图像一一输入条件生成网络，以获得与至少一个样本图像一一对应的至少一个生成图像；以及以至少一个正初始图像对、至少一个正综合图像对和至少一个正生成图像对中的一种或多种作为正样本，以至少一个负初始图像对、至少一个负综合图像对和至少一个负生成图像对中的一种或多种作为负样本，训练相关性判别网络的参数，其中，每个正综合图像对包括至少一个样本图像之一及与该样本图像对应的生成图像，每个正生成图像对包括与至少一个样本图像中的属于同一对象的两个样本图像对应的两个生成图像，每个负综合图像对包括至少一个生成图像之一及所属对象和与该生成图像对应的样本图像所属对象不同的样本图像，每个负生成图像对包括与至少一个样本图像中的属于不同对象的两个样本图像对应的两个生成图像；其中，条件生成网络的参数和真实性判别网络的参数保持不变。

根据本发明实施例的图像处理系统中的各模块可以通过根据本发明实施例的实施图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的图像处理方法及装置，利用训练好的对抗网络中的条件生成网络处理第一待匹配图像，生成能够代表第一待匹配图像的转换结果。与第一待匹配图像相比，其转换结果中包含的视角、场景、光线等图像采集环境所带来的图像信息会有所变化，基于这样的转换结果与第二待匹配图像进行匹配(例如将转换结果与第二待匹配图像或与第二待匹配图像的特征向量进行对比)，可以弱化视角、场景、光线等图像采集环境的差异对身份匹配的影响，从而有助于提高身份匹配的准确率。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像处理装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，包括：

获取第一待匹配图像和第二待匹配图像；

利用对抗网络中的条件生成网络处理所述第一待匹配图像，以获得用于代表所述第一待匹配图像的转换结果，其中，所述对抗网络还包括真实性判别网络和相关性判别网络，所述真实性判别网络用于判断输入图像的真实性，所述相关性判别网络用于判断输入图像的相关性；以及

基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配。

2.如权利要求1所述的图像处理方法，其中，所述转换结果包括由所述条件生成网络输出的新的第一待匹配图像，

所述基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配包括：

将所述新的第一待匹配图像和所述第二待匹配图像输入所述相关性判别网络，以获得用于指示所述新的第一待匹配图像与所述第二待匹配图像之间的相关性的相关性置信度；以及

根据所述相关性置信度确定所述第一待匹配图像和所述第二待匹配图像是否属于同一对象。

3.如权利要求1所述的图像处理方法，其中，所述转换结果包括由所述条件生成网络输出的新的第一待匹配图像，

在所述基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配之前，所述图像处理方法还包括：

将所述第二待匹配图像输入所述条件生成网络，以获得由所述条件生成网络输出的新的第二待匹配图像；

所述基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配包括：

将所述新的第一待匹配图像和所述新的第二待匹配图像输入所述相关性判别网络，以获得用于指示所述新的第一待匹配图像与所述新的第二待匹配图像之间的相关性的相关性置信度；以及

根据所述相关性置信度确定所述第一待匹配图像和所述第二待匹配图像是否属于同一对象。

4.如权利要求1所述的图像处理方法，其中，所述条件生成网络包括卷积神经网络，所述转换结果包括由所述卷积神经网络基于所述第一待匹配图像输出的、所述第一待匹配图像的特征向量，

在所述基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配之前，所述图像处理方法还包括：

将所述第二待匹配图像输入所述条件生成网络，以获得由所述卷积神经网络输出的、所述第二待匹配图像的特征向量；

所述基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配包括：

基于所述第一待匹配图像的特征向量、所述第二待匹配图像的特征向量和预设距离计算矩阵，计算所述第一待匹配图像与所述第二待匹配图像之间的距离；以及

根据所计算的距离判断所述第一待匹配图像和所述第二待匹配图像是否属于同一对象。

5.如权利要求4所述的图像处理方法，其中，所述条件生成网络还包括在所述卷积神经网络之后的上采样层或反卷积神经网络。

6.如权利要求1所述的图像处理方法，其中，所述图像处理方法还包括：

获取样本图像；

将所述样本图像输入所述条件生成网络，以获得生成图像；

将所述生成图像输入所述真实性判别网络，以获得所述生成图像是真实图像的真实性置信度；

将所述样本图像和所述生成图像输入所述相关性判别网络，以获得用于指示所述样本图像与所述生成图像之间的相关性的相关性置信度；

根据所述真实性置信度和所述相关性置信度计算总置信度；以及

更新所述条件生成网络的参数以使所述总置信度最大化；

其中，所述真实性判别网络的参数和所述相关性判别网络的参数保持不变。

7.如权利要求6所述的图像处理方法，其中，所述根据所述真实性置信度和所述相关性置信度计算总置信度包括：

对所述真实性置信度和所述相关性置信度进行加权平均，以获得所述总置信度。

8.如权利要求1所述的图像处理方法，其中，所述图像处理方法还包括：

获取样本图像集；

将所述样本图像集中的至少一个样本图像一一输入所述条件生成网络，以获得与所述至少一个样本图像一一对应的至少一个生成图像；以及

以所述样本图像集中的一个或多个样本图像作为正样本，以所述至少一个生成图像作为负样本，训练所述真实性判别网络的参数；

其中，所述条件生成网络的参数和所述相关性判别网络的参数保持不变。

9.如权利要求1所述的图像处理方法，其中，所述图像处理方法还包括：

获取样本图像集，其中，所述样本图像集包括至少一个正初始图像对和至少一个负初始图像对，每个正初始图像对包括属于同一对象的两个样本图像，每个负初始图像对包括属于不同对象的两个样本图像；

将所述样本图像集中的至少一个样本图像一一输入所述条件生成网络，以获得与所述至少一个样本图像一一对应的至少一个生成图像；以及

以所述至少一个正初始图像对、至少一个正综合图像对和至少一个正生成图像对中的一种或多种作为正样本，以所述至少一个负初始图像对、至少一个负综合图像对和至少一个负生成图像对中的一种或多种作为负样本，训练所述相关性判别网络的参数，其中，每个正综合图像对包括所述至少一个样本图像之一及与该样本图像对应的生成图像，每个正生成图像对包括与所述至少一个样本图像中的属于同一对象的两个样本图像对应的两个生成图像，每个负综合图像对包括所述至少一个生成图像之一及所属对象和与该生成图像对应的样本图像所属对象不同的样本图像，每个负生成图像对包括与所述至少一个样本图像中的属于不同对象的两个样本图像对应的两个生成图像；

其中，所述条件生成网络的参数和所述真实性判别网络的参数保持不变。

10.一种图像处理装置，包括：

待匹配图像获取模块，用于获取第一待匹配图像和第二待匹配图像；

网络处理模块，用于利用对抗网络中的条件生成网络处理所述第一待匹配图像，以获得用于代表所述第一待匹配图像的转换结果，其中，所述对抗网络还包括真实性判别网络和相关性判别网络，所述真实性判别网络用于判断输入图像的真实性，所述相关性判别网络用于判断输入图像的相关性；以及

匹配模块，用于基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配。

11.一种图像处理系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行以下步骤：

获取第一待匹配图像和第二待匹配图像；

利用对抗网络中的条件生成网络处理所述第一待匹配图像，以获得用于代表所述第一待匹配图像的转换结果，其中，所述对抗网络还包括真实性判别网络和相关性判别网络，所述真实性判别网络用于判断输入图像的真实性，所述相关性判别网络用于判断输入图像的相关性；以及

基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配。

12.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行以下步骤：

获取第一待匹配图像和第二待匹配图像；

利用对抗网络中的条件生成网络处理所述第一待匹配图像，以获得用于代表所述第一待匹配图像的转换结果，其中，所述对抗网络还包括真实性判别网络和相关性判别网络，所述真实性判别网络用于判断输入图像的真实性，所述相关性判别网络用于判断输入图像的相关性；以及

基于所述转换结果将所述第一待匹配图像与所述第二待匹配图像进行匹配。

Images