CN111340700B - 模型生成方法、分辨率提高方法、图像识别方法及装置 - Google Patents

模型生成方法、分辨率提高方法、图像识别方法及装置 Download PDF

Info

Publication number
CN111340700B
CN111340700B CN202010108432.XA CN202010108432A CN111340700B CN 111340700 B CN111340700 B CN 111340700B CN 202010108432 A CN202010108432 A CN 202010108432A CN 111340700 B CN111340700 B CN 111340700B
Authority
CN
China
Prior art keywords
resolution image
image
resolution
loss function
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010108432.XA
Other languages
English (en)
Other versions
CN111340700A (zh
Inventor
张慧
何召锋
邱显超
刘京
李星光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Irisking Co ltd
Original Assignee
Beijing Irisking Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Irisking Co ltd filed Critical Beijing Irisking Co ltd
Priority to CN202010108432.XA priority Critical patent/CN111340700B/zh
Publication of CN111340700A publication Critical patent/CN111340700A/zh
Application granted granted Critical
Publication of CN111340700B publication Critical patent/CN111340700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种模型生成方法、分辨率提高方法、图像识别方法及装置，该生成方法包括：将低分辨图像样本输入生成器，得到生成高分辨图像，输入判别器，得到将生成高分辨图像判别为真实图像的概率，及其计算对抗损失函数的值；选取图像形成多元组样本；将一组多元组样本对应的图像输入至特征提取及比对分类器，得到比对相似性损失函数的值；将一组对抗多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，将对抗损失函数的值和对抗多元组样本对应的比对相似性损失函数的值返回至生成器，经训练后，得到图像分率提高模型的生成器。上述方案可用于从低分辨率图像生成高分辨率图像，利用生成的高分辨率图像识别的正确率提升。

Description

模型生成方法、分辨率提高方法、图像识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像分辨率提高模型的生成方法、图像分辨率提高方法、图像识别方法、电子设备及计算机可读存储介质。
背景技术
生物特征识别技术(如虹膜识别)由于其高度的稳定性和唯一性，一般应用于重点场所出入管理、银行授信等安全级别高的场景进行人员身份鉴别。近几年来，随着虹膜技术的发展，其被应用或者被考虑应用于更多的场景，以实现更多场景下的高精度身份鉴别。
一方面，应用场景的扩展使虹膜识别所面向的环境背景更复杂；另一方面，越来越广泛的应用所面向的更多是不熟悉技术的用户，他们对于系统的配合程度不一，系统必须要降低对用户的配合要求并保证一定的系统通过率才能适应他们的需求；更近一步，虹膜识别技术用于刑侦等领域时，面对的用户很可能是不配合、甚至故意躲避的用户，或者是监控场景下随机采集到用户的虹膜图像。
这些实际应用的场景，对虹膜图像的采集具有很大的挑战性，带来的直接结果是图像质量的下降，例如分辨率低、虹膜区域过小、模糊等低质量问题。在成像技术和条件限制下，要提高虹膜识别系统的通过率和准确性，必须要解决低质量虹膜图像的识别难题。
发明内容
本发明提供了一种图像分辨率提高模型的生成方法、图像分辨率提高方法、图像识别方法、电子设备及计算机可读存储介质，以提高低质量图像(如虹膜图像)的分辨率，从而提高低质量图像特征识别的准确性。
为了达到上述目的，本发明采用以下方案实现：
根据本发明实施例的一个方面，提供了一种图像分辨率提高模型的生成方法，包括：
将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像；
将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率；
根据将所述生成高分辨图像判别为真实图像的概率计算使所述生成器对抗所述判别器的对抗损失函数的值；
从所述生成高分辨图像、所述生成高分辨图像对应的真实高分辨图像、所述真实高分辨图像对应的类间高分辨图像、及所述真实高分辨图像对应的类内高分辨图像中选取图像，形成图像数量相同但构成方式不同的第一多元组样本和第二多元组样本；
将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值；
将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，以及将所述第二多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数；
在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型；
其中，所述生成高分辨图像的分辨率、所述真实高分辨图像的分辨率、所述类间高分辨图像的分辨率、及所述类内高分辨图像的分辨率均大于所述低分辨图像样本的分辨率。
在一些实施例中，将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值，包括：将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值，以及得到所述真实高分辨图像和所述生成高分辨图像对应的特征一致性损失函数的值；将所述第二多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数，包括：将所述第二多元组样本对应的比对相似性损失函数的值和所述特征一致性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数。
在一些实施例中，将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，包括：将所述对抗损失函数的值、所述第一多元组样本对应的比对相似性损失函数的值、及所述特征一致性损失函数的值返回至所述生成器，以优化所述生成器的参数。
在一些实施例中，将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率，包括：将所述生成高分辨图像对应的真实高分辨图像和所述生成高分辨图像输入判别器，根据所述生成高分辨图像计算得到将所述生成高分辨图像判别为真实图像的概率，根据所述真实高分辨图像和所述生成高分辨图像计算得到感知损失函数的值；将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，包括：将所述对抗损失函数的值、所述第一多元组样本对应的比对相似性损失函数的值、及所述感知损失函数的值返回至所述生成器，以优化所述生成器的参数。
在一些实施例中，将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率，包括：将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率和判别器损失函数的值；所述方法，还包括：将所述判别器损失函数的值返回至所述判别器，以优化所述判别器的参数。在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型，包括：在利用优化参数后的所述生成器得到的对抗损失函数的值、利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值、及利用优化参数后的所述判别器得到的判别器损失函数的值达到设定要求的情况下，根据优化参数后的所述生成器得到图像分辨率提高模型。
在一些实施例中，所述第一多元组样本和所述第二多元组样本均为三元组样本。
在一些实施例中，在所述第一多元组样本中，锚样本为所述生成高分辨图像对应的真实高分辨图像，正样本为所述真实高分辨图像对应的类内高分辨图像，负样本为所述生成高分辨图像；在所述第二多元组样本中，锚样本为所述生成高分辨图像，正样本为所述生成高分辨图像对应的真实高分辨图像，负样本为所述真实高分辨图像对应的类内高分辨图像或所述真实高分辨图像对应的类间高分辨图像。
在一些实施例中，将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像之前，还包括：对真实高分辨图像进行下采样，得到低分辨图像样本。
根据本发明实施例的一个方面，提供了一种图像分辨率提高模型的生成方法，包括：
将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像；
将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率；
根据将所述生成高分辨图像判别为真实图像的概率计算使所述生成器对抗所述判别器的对抗损失函数的值；
从所述生成高分辨图像、所述生成高分辨图像对应的真实高分辨图像、所述真实高分辨图像对应的类间高分辨图像、及所述真实高分辨图像对应的类内高分辨图像中选取图像，形成多元组样本；
将所述多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述多元组样本对应的比对相似性损失函数的值；
将所述对抗损失函数的值返回至所述生成器，以优化所述生成器的参数，以及将所述多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数；
在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型；
其中，所述生成高分辨图像的分辨率、所述真实高分辨图像的分辨率、所述类间高分辨图像的分辨率、及所述类内高分辨图像的分辨率均大于所述低分辨图像样本的分辨率。
根据本发明实施例的另一个方面，提供了一种图像分辨率提高方法，包括：将低分辨图像输入至利用上述任一实施例所述的图像分辨率提高模型的生成方法生成的图像分辨率提高模型，得到所述低分辨图像对应的高分辨图像。
根据本发明实施例的一个方面，提供了一种图像识别方法，包括：利用上述任一实施例所述的图像分辨率提高方法得到待识别的低分辨图像对应的高分辨图像；对所述待识别的低分辨图像对应的高分辨率图像进行图像识别。
在一些实施例中，所述低分辨图像为虹膜图像。
根据本发明实施例的一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述方法的步骤。
根据本发明实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施例所述方法的步骤。
本发明实施例的图像分辨率提高模型的生成方法、图像分辨率提高方法、图像识别方法、电子设备及计算机可读存储介质，能够提高低质量图像(如虹膜图像)的分辨率，可用于从低分辨率图像生成高分辨率图像，利用生成的高分辨率图像识别的正确率提升，从而提高低质量图像特征识别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例的图像分辨率提高模型的生成方法的流程示意图；
图2是本发明一实施例的图像识别方法的流程示意图；
图3是本发明一具体实施例的虹膜图像分辨率提高的方法的流程示意图；
图4至图6是本发明一具体实施例中的三元组的三种组合方式示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
经研究发现，目前的图像特征(如虹膜)增强及超分辨率技术主要是靠插值、相似纹理填充、设计核结构对纹理特点进行学习以实现增强等方式实现。利用这些图像生成方法与识别并无直接关系，且特征识别精度的提高主要是由图像清晰导致分割精度提升、生成图像用于识别分类器训练提升鲁棒性、巧妙设计生成核等间接原因带来的，这对小规模实验特征数据的比对精度的提升可能较为明显，但对大数据库的作用很有限，而且，对于特征纹理较为平滑的个体还有可能引入不存在的特征的问题，进而导致比对失败。
鉴于上述问题，为了提升图像的质量，本发明实施例提供了一种图像分辨率提高模型的生成方法，通过该方法生成的图像分辨率提高模型能够使得生成的图像与真实的图像具有较高的纹理一致性，从而能够在提高图像分辨率的同时保证图像的准确性，进而能够提高图像识别的精度。
图1是本发明一实施例的图像分辨率提高模型的生成方法的流程示意图。参见图1，该图像分辨率提高模型的生成方法可包括以下步骤S110至步骤S170。
下面将对步骤S110至步骤S170的具体实施方式进行具体说明。
步骤S110：将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像。
可以预先准备好训练样本集，该训练样本集中可以有多个训练样本，每个训练样本可以包含低分辨图像样本(其中的样本主要在于说明低分辨图像是训练样本集中训练样本的图像)，该低分辨图像样本可指低分辨图像，同时还可以包含一些属性信息或关联信息，例如，该低分辨图像对应的真实高分辨图像、该低分辨图像对应的真实高分辨图像的类内高分辨图像、该低分辨图像对应的真实高分辨图像的类间高分辨图像等。
该低分辨图像的分辨率高低主要是相对于其对应的生成的高分辨图像和真实的高分辨图像的分辨率而言。该低分辨图像可以是低质量的图像，例如，分辨率低、模糊的图像。该低分辨图像中可以包含一些特征(例如，虹膜)，通过提高该低分辨图像的分辨率/质量，可以提高该低分辨图像中特征区域的分辨率/质量，进而能够便于更精确地识别出该低分辨图像中的特征。
可以通过对真实高分辨图像进行降低分辨率的处理，得到低分辨图像，进而形成低分辨图像样本。示例性地，该步骤S110之前，图1所示的方法还可包括步骤：对真实高分辨图像进行下采样，得到低分辨图像样本。其中，下采样的程度可以根据真实高分辨图像的分辨率情况和所需低分辨图像的模糊程度确定，例如，2倍下采样、4倍下采样等。该示例中，通过对真实高分辨图像进行下采样处理，能够容易的得到许多低分辨图像样本，而且，低分辨图像样本和真实高分辨图像具有很高的图像一致性。
另外，该生成器是用于从低分辨图像生成高分辨图像，可以基于现有深度网络结构实现，例如，采用具有残差网络结构的深度网络结构实现。其中，低分辨图像对应的生成高分辨图像的分辨率可以根据生成器、训练样本等情况而定，可以与低分辨图像对应的真实高分辨图像的分辨率相同或接近。
步骤S120：将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率。
该判别器用于判断上述生成器生成的高分辨图像是真实图像还是假的(生成的)图像，具体地，可以输出为真/假图像的概率。该判别器可以基于现有的网络结构实现，例如，采用VGG-19网络及其衍生结构网络实现。该判别器能够与上述生成器形成对抗关系。具体而言，该生成器的目的是使得生成的高分辨图像与真实高分辨图像尽可能一致，以尽量使该判别器将生成的高分辨图像判别为真实高分辨图像，而该判别器的目的是尽可能将由生成器生成的高分辨图像判别为假的高分辨图像，因而，该生成器与该判别器形成对抗关系。
在一些实施例中，除了利用该判别器对生成高分辨图像进行判别，还可以使该判别器根据生成高分辨图像和真实高分辨图像得到能够反映其二者一致性的损失函数，并将该损失函数返回至上述生成器，从而对该生成器进行训练。
示例性地，该步骤S120，具体地，可包括步骤：S1211，将所述生成高分辨图像对应的真实高分辨图像和所述生成高分辨图像输入判别器，根据所述生成高分辨图像计算得到将所述生成高分辨图像判别为真实图像的概率，根据所述真实高分辨图像和所述生成高分辨图像计算得到感知损失函数的值。
在上述判别器是基于VGG-19网络结构实现的情况下，该感知损失函数的表达式可为：
Figure BDA0002389163380000081
其中，Lperceptual表示感知损失函数，W表示最后卷积层输出特征的宽，H表示最后卷积层输出特征的高，x和y分别表示最后卷积层输出特征中通道的宽方向上的序号和高方向上的序号，IHR表示真实高分辨图像，ILR表示低分辨图像(真实的)，G(ILR)表示生成器生成的生成高分辨图像，φ(IHR)x,y表示真实高分辨图像IHR的位置(x,y)处区域在判别器VGG-19网络模型中经过卷积和池化层计算得到的特征，φ(G(ILR))x,y表示生成高分辨图像G(ILR)的位置(x,y)处区域在判别器VGG-19网络模型中经过卷积和池化层计算得到的特征。
在执行后述步骤S170之前，在执行后述步骤S160的过程中、之前或之后，可以将感知损失函数返回至所述生成器，以优化上述生成器的参数。需要说明的是，生成器可以接收一个或多个不同的损失函数。
该些实施例中，通过计算感知函数用来返回至生成器，能够有助于提高生成器生成的高分辨图像和真实高分辨图像的一致性。
在另一些实施例中，除了利用该判别器对生成高分辨图像进行判别，还可以得到判别器损失函数，用于优化判别器的参数，对判别器进行训练。
示例性地，该步骤S120，具体地，可包括步骤：S1221，将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率和判别器损失函数的值。其中，该判别器损失函数可以为现有的用于训练判别器的损失函数，例如，softmax损失函数。该些实施例中，通过返回损失函数至判别器，能够对判别器进行训练。
在其他实施例中，若该判别器为已经训练好的判别器，则可以不再对其进行训练。
在又一些实施例中，该步骤S120可以同时包括上述步骤S1211和S1221，以此，除了利用该判别器对生成高分辨图像进行判别，还可以得到用于对生成器进行训练的感知损失函数和用于对判别器进行训练的判别器损失函数。
步骤S130：根据将所述生成高分辨图像判别为真实图像的概率计算使所述生成器对抗所述判别器的对抗损失函数的值。
判别器希望将所述生成高分辨图像判别为真实图像的概率越小越好。而生成器希望其生成的高分辨图像与真实高分辨图像尽可能一致，所以希望判别器将其生成的高分辨图像判别为真实图像的概率越大越好。所以，将使所述生成器对抗所述判别器的对抗损失函数的值返回生成器，可使判别器和生成器形成对抗关系。
使所述生成器对抗所述判别器的对抗损失函数可以是与将所述生成高分辨图像判别为真实图像的概率符号相反的形式。
例如，对抗损失函数的表达式可以为：
Figure BDA0002389163380000091
其中，LG表示对抗损失函数，
Figure BDA0002389163380000092
表示低分辨图像的分布，G(ILR)表示生成器根据低分辨图像ILR生成的高分辨图像，D(G(ILR))表示判别器将生成的高分辨图像G(ILR)判别为真实图像(真实高分辨图像)的概率。
步骤S140：从所述生成高分辨图像、所述生成高分辨图像对应的真实高分辨图像、所述真实高分辨图像对应的类间高分辨图像、及所述真实高分辨图像对应的类内高分辨图像中选取图像，形成图像数量相同但构成方式不同的第一多元组样本和第二多元组样本。
其中，所述生成高分辨图像的分辨率、所述真实高分辨图像的分辨率、所述类间高分辨图像的分辨率、及所述类内高分辨图像的分辨率均大于所述低分辨图像样本的分辨率。
该生成高分辨图像是从低分辨率图像生成的，该真实高分辨图像可以是与该低分辨率图像包含相同特征(例如虹膜)且分辨率比该低分辨率图像的分辨率更高的图像，例如，通过对该真实高分辨图像进行下采样可以得到该低分辨率图像。该类间高分辨图像的分辨率和该类内高分辨图像的分辨率可以与该真实高分辨图像的分辨率相同或类似。其中，该类内高分辨图像包含的特征与该真实高分辨图像包含的特征相同，例如，包含同一虹膜的图像。该类间高分辨图像包含的特征与该真实高分辨图像包含的特征不同，例如，包含不同虹膜的图像。
另外，该第一多元组样本和该第二多元组样本中的图像数量相同，但所包含的图像可以不同，所包含图像的顺序可以不同。例如，所述第一多元组样本和所述第二多元组样本可以均为三元组样本。
示例性地，该第一多元组样本可以依次包含真实高分辨图像、类内高分辨图像及生成高分辨图像，且该第二多元组样本可以依次包含生成高分辨图像、真实高分辨图像、及类内高分辨图像，或者，该第二多元组样本可以依次包含生成高分辨图像、真实高分辨图像、及类间高分辨图像。
所述第一多元组样本和所述第二多元组样本中依次包括锚样本、正样本、及负样本。此时，例如，在所述第一多元组样本中，锚样本为所述生成高分辨图像对应的真实高分辨图像，正样本为所述真实高分辨图像对应的类内高分辨图像，负样本为所述生成高分辨图像；在所述第二多元组样本中，锚样本为所述生成高分辨图像，正样本为所述生成高分辨图像对应的真实高分辨图像，负样本为所述真实高分辨图像对应的类内高分辨图像或所述真实高分辨图像对应的类间高分辨图像。
上述示例中，第一多元组样本和第二多元组样本的构成使得在后述步骤S150中分别对应计算的得到的比对相似性损失函数的值分别返回生成器和判别器，能够使其二者具有较好的参数优化效果。
在其他实施例中，第一多元组样本和第二多元组样本可以其他图像数量的元组样本，例如，四元组等。
步骤S150：将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值。
该特征提取及比对分类器用于对多元组中各图像进行特征提取，并对从不同图像中提取的特征进行比对。该特征提取及比对分类器可以基于层数相对较少的轻量网络实现，可使用多种网络结构交替进行训练，以提高生成网络的鲁棒性。
类内相似度大于类间相似度可以通过比较多元组样本中两组图像的相似度得到，例如，在多元组样本为三元组样本的情况下，可以计算为类内关系的锚样本和正样本之间的相似度，并计算为类间关系的正样本和负样本之间的相似度，进一步可以根据计算的两个相似度计算比对相似性损失函数的值，元组对应计算的相似性损失函数的值可以返回至相应的网络，以训练相应网络，达到使前者相似度大于后者相似度为目的。
所述第一多元组样本和所述第二多元组样本可能包含相同的图像，例如，均包含生成高分辨图像、真实高分辨图像等。可以根据输入的所有图像进行分组形成第一多元组样本和第二多元组样本，特征提取及比对分类器分别利用第一多元组样本和第二多元组样本进行计算。
对于第一多元组样本和第二多元组样本而言，比对相似性损失函数的形式可以相同，但由于两个元组的构成不同，所以，二者的比对相似性损失函数的值可以不同。
该比对相似性损失函数可以反映类内相似度和类间相似度之间的关系。例如，该比对相似性损失函数的表达式可以为：
Figure BDA0002389163380000111
其中，Ltriplet表示比对相似性损失函数，i表示选定特征层的通道序号，i为正整数，1≤i≤N，N为通道总数，
Figure BDA0002389163380000112
表示锚样本a的第i个通道的特征向量，
Figure BDA0002389163380000113
表示正样本p的第i个通道的特征向量，
Figure BDA0002389163380000114
表示负样本n的第i个通道的特征向量，
Figure BDA0002389163380000115
表示特征向量
Figure BDA0002389163380000116
和特征向量
Figure BDA0002389163380000117
的差的模的平方，
Figure BDA0002389163380000118
表示特征向量
Figure BDA0002389163380000119
和特征向量
Figure BDA00023891633800001110
的差的模的平方，μ表示类内相似度和类间相似度之间的距离的边界余量。
在一些实施例中，除了得到两个元组对应的比对相似性损失函数的值，还可以得到反映所述真实高分辨图像和所述生成高分辨图像的一致性的特征一致性损失函数的值。
示例性地，该步骤S150，更具体地，可包括步骤：S151，将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值，以及得到所述真实高分辨图像和所述生成高分辨图像对应的特征一致性损失函数的值。
该特征一致性损失函数可以用于反映真实高分辨图像和生成高分辨图像的一致性。例如，该特征一致性损失函数的表达式可以为：
Figure BDA00023891633800001111
其中，Ljd表示特征一致性损失函数，j表示特征提取及比对分类器中卷积层的序号，wj和hj分别表示特征提取及比对分类器中第j层卷积层的输出特征的宽和高，m'和n'分别表示特征提取及比对分类器中第j层卷积层的输出特征中的通道在宽方向上的序号和在高方向上的序号。
该些示例中，计算得到特征一致性损失函数的值之后，可以将第二多元组样本对应的特征一致性损失函数的值返回给特征提取及比对分类器，以对其参数进行优化。可以将第一多元组样本对应的特征一致性损失函数的值返回给生成器，以对其参数进行优化。
步骤S160：将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，以及将所述第二多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数。
可以将多个不同损失函数的值返回至生成器，以优化其参数。例如，将对抗损失函数的值返回至生成器，可以用于在生成器和判别器形成对抗关系；将第一多元组样本对应的比对相似性损失函数的值返回生成器，可以用于提高生成器生成的高分辨图像与低分辨图像的一致性；将第二多元组样本对应的比对相似性损失函数的值返回特征提取及比对分类器，可以用于提高特征提取及比对分类器的比对准确性。
在一些实施例中，特征提取及比对分类器可以接收多个不同损失函数。除了将第二多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，还可以将特征一致性损失函数的值返回至所述特征提取及比对分类器。
示例性地，在上述步骤S150包括上述步骤S151的情况下，通过上述步骤S151可以得到特征一致性损失函数的值。此时，该步骤S160中，将所述第二多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数，具体地，可包括步骤：S1611，将所述第二多元组样本对应的比对相似性损失函数的值和所述特征一致性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数。
该些示例中，通过比对相似性损失函数可以通过训练提高特征提取及比对分类器的比对结果准确性。
进一步地，在上述步骤S160中，除了将对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，还可以将通过上述步骤S151得到的特征一致性损失函数的值返回至所述生成器。示例性地，该步骤S160中，将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，具体地，可包括步骤：S1621，将所述对抗损失函数的值、所述第一多元组样本对应的比对相似性损失函数的值、及所述特征一致性损失函数的值返回至所述生成器，以优化所述生成器的参数。
该步骤S1621中，通过将特征一致性损失函数的值返回至所述生成器，通过训练可以进一步提升生成器生成的高分辨图像与低分辨图像的一致性。
在一些实施例中，在通过上述步骤S1211得到感知损失函数的值的情况下，除了将对抗损失函数的值、第一多元组样本对应的比对相似性损失函数的值等返回至所述生成器，还可以将感知损失函数的值返回至所述生成器。示例性地，该步骤S160中，将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，具体地，可包括步骤：S1631，将所述对抗损失函数的值、所述第一多元组样本对应的比对相似性损失函数的值、及所述感知损失函数的值返回至所述生成器，以优化所述生成器的参数。
该步骤S1631中，通过将感知损失函数的值返回至所述生成器，通过训练可以进一步提升生成器生成的高分辨图像与低分辨图像的一致性。
在另一些实施例中，可以将感知损失函数的值、特征一致性损失函数的值等一同返回至生成器，以优化所述生成器的参数。
步骤S170：在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型。
其中，上述设定要求可以是指对各个损失函数的值的要求，不同损失函数所对应的要求可不同，具体可以是需要进行设定。
通过上述步骤S110至步骤S170进行一次损失函数的计算和损失函数的值的返回，能够对网络的参数进行一次优化。不断重复执行步骤S110至步骤S170可以不断优化网络的参数，待各损失函数的值达到设定要求时，可以停止训练输出生成器的参数模型，可以得到图像分辨率提高模型。
可以仅对生成器和特征提取及比对分类器，或者，也可以同时对判别器进行训练。例如，在上述步骤S120包括上述步骤S1221的情况下，可以得到判别器损失函数的值(例如，softmax损失函数的值)，可以返回至判别器，以优化判别器的参数。示例性地，图1所示的图像分辨率提高模型的生成方法，还可包括步骤：S180，将所述判别器损失函数的值返回至所述判别器，以优化所述判别器的参数。该步骤S170，更具体地，可包括步骤：S171，在利用优化参数后的所述生成器得到的对抗损失函数的值、利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值、及利用优化参数后的所述判别器得到的判别器损失函数的值达到设定要求的情况下，根据优化参数后的所述生成器得到图像分辨率提高模型。
通过循环执行上述步骤S110至步骤S160、步骤S171及步骤S180，不仅可以对生成器和特征提取及比对分类器进行训练，还可以对判别器进行训练，从而可使判别结果更准确，进而可使生成器的训练效果更好。
通过上述步骤S110至步骤S170，将低分辨图像样本输入生成器，得到生成高分辨图像，输入判别器，得到将生成高分辨图像判别为真实图像的概率，及其计算对抗损失函数的值；选取图像形成多元组样本；将一组多元组样本对应的图像输入至特征提取及比对分类器，得到比对相似性损失函数的值；将一组对抗多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，将对抗损失函数的值和对抗多元组样本对应的比对相似性损失函数的值返回至生成器，经训练后，得到图像分率提高模型的生成器。上述方案可用于从低分辨率图像生成高分辨率图像，利用生成的高分辨率图像识别的正确率提升。
在另一些实施例中，提供另一种图像分辨率提高模型的生成方法，该方法与上述各实施例的图像分辨率提高模型的生成方法的主要区别在于，该实施例的方法中，计算第二多元组对应的比对相似性损失函数的值返回给特征提取及比对分类器，但不计算第一多元组对应的比对相似性损失函数的值返回给生成器。该些实施例的图像分辨率提高模型的生成方法，可包括以下步骤：
S1：将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像；
S2：将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率；
S3：根据将所述生成高分辨图像判别为真实图像的概率计算使所述生成器对抗所述判别器的对抗损失函数的值；
S4：从所述生成高分辨图像、所述生成高分辨图像对应的真实高分辨图像、所述真实高分辨图像对应的类间高分辨图像、及所述真实高分辨图像对应的类内高分辨图像中选取图像，形成多元组样本；
S5：将所述多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述多元组样本对应的比对相似性损失函数的值；
S6：将所述对抗损失函数的值返回至所述生成器，以优化所述生成器的参数，以及将所述多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数；
S7：在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型。
其中，所述生成高分辨图像的分辨率、所述真实高分辨图像的分辨率、所述类间高分辨图像的分辨率、及所述类内高分辨图像的分辨率均大于所述低分辨图像样本的分辨率。
上述步骤S1至步骤S7的具体实施方式可以分别参见上述步骤S110至步骤S170，区别在于，步骤S1至步骤S7中的多元组样本对应步骤S110至步骤S170中的第二多元组样本，但步骤S1至步骤S7中不计算第一多元组样本及对应损失函数。故重复之处不再赘述。
上述各实施例所述的图像分辨率提高模型的生成方法，在应用于虹膜图像时，可称为虹膜图像分辨率提高模型的生成方法。
基于与上述各实施例所述的图像分辨率提高模型的生成方法相同的发明构思，本发明实施例还提供了一种图像分辨率提高方法和图像识别方法，在应用于虹膜图像时，可分别称为虹膜图像分辨率提高方法和虹膜图像识别方法。
在一些实施例中，一种图像分辨率提高方法，可包括：将低分辨图像输入至利用上述实施例所述的图像分辨率提高模型的生成方法生成的图像分辨率提高模型，得到所述低分辨图像对应的高分辨图像。
在一些实施例中，一种图像识别方法，如图2所示，可包括：
步骤S210：利用上述实施例所述的图像分辨率提高方法得到待识别的低分辨图像对应的高分辨图像；
步骤S220：对所述待识别的低分辨图像对应的高分辨率图像进行图像识别。
在一些实施例中，上述各实施例所述的图像分辨率提高模型的生成方法、图像分辨率提高方法、图像识别方法中，所述低分辨图像为虹膜图像。
上述各实施例的图像分辨率提高方法和图像识别方法的具体实施方式中，引用图像分辨率提高模型的生成方法或与图像分辨率提高模型的生成方法涉及相同或类似部分的内容，可以参照前述各实施例的图像分辨率提高模型的生成方法的具体实施方式实施，顾不赘述。
另外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述各实施例所述的图像分辨率提高模型的生成方法、图像分辨率提高方法、图像识别方法的步骤。该电子设备可以为计算机、手机、笔记本电脑、平板电脑等设备，或者可以是对现有图像分辨率提高模型的生成装置、图像分辨率提高装置、图像识别装置改进的设备。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各实施例所述的图像分辨率提高模型的生成方法、图像分辨率提高方法、图像识别方法的步骤。
为使本领域技术人员更好地了解本发明，下面将以虹膜图像为例说明本发明的实施方式。
图3是本发明一具体实施例的虹膜图像分辨率提高的方法的流程示意图，参见图3，虹膜超分辨率网络结构包含一个生成器G，一个判别器D和一个虹膜识别特征提取与比对分类器R。其中，生成器G和判别器D可采用常用的对抗生成网络结构，生成器G一般采用具有残差网络结构的深度网络结构，判别器D一般采用VGG-19网络及其衍生结构网络。虹膜识别特征提取与比对分类器R网络采用层数相对较少的轻量网络即可，可使用多于一种网络结构交替使用训练，以提高生成网络的鲁棒性。
生成器G网络用于从低分辨率虹膜图像生成高分辨率虹膜图像。判别器D网络与生成器形成对抗关系，与通用对抗生成网络的判别器D基本一致。虹膜识别特征提取与比对分类器R用于提取虹膜特征，根据虹膜特征可计算两个虹膜图像相似度的相似度。该实施例创造性地提出利用三幅虹膜图像组成三元组，根据类内差异大于类间差异这一准则计算损失函数，在生成器G和虹膜识别特征提取与比对分类器R训练时构成具有对抗关系的三元组关系，显示建立超分辨率与虹膜识别的关系。总体的损失函数L可由四部分组成：L＝Lperceptual+αLG+βLtriplet+γLid，其中，α、β和γ是根据实验确定的超参数，可以用于分别控制各部分对于整体的作用，其中加号主要用于表示各损失函数的总体，并不一定是简单相加。
感知损失函数Lperceptual用于保证生成高分辨率图像与原低分辨率图像的一致性，与LG形成一组对抗，可以是目前常用的超分辨率对抗生成网络的基本结构。三元组比对相似性损失函数Ltriplet可将虹膜的类内和类间的差的学习目标引入生成网络，识别特征一致性损失函数Lid保证生成高分辨率图像与原低分辨率图像的相似性和个体一致性。
感知损失函数Lperceptual可表示为：
Figure BDA0002389163380000171
其中，φ(·)表示D网络VGG-19模型中某一个pooling(池化)层后的卷积层得到的特征。该感知损失函数Lperceptual的值用于训练生成器G，作为整体损失函数的一个部分。
对抗损失函数LG可表示为：
Figure BDA0002389163380000172
其中，D(G(IHR))是将生成图像判别为真实高分辨率图像的概率。该对抗损失函数LG用于训练生成器G，作为整体损失函数的一个部分。
三元组比对相似性损失函数Ltriplet可表示为：
Figure BDA0002389163380000173
其中，f(xi)表示特征向量，上标a、p、n表示锚样本、正样本和负样本，μ是类内和类间距离的边界余量。该三元组比对相似性损失函数Ltriplet用于训练虹膜识别特征提取与比对分类器R，也可以同时返回给生成器G。返回给R和G时，二者所用锚样本、正样本和负样本构成或构成方式不同。
识别特征一致性损失函数Lid可表示为：
Figure BDA0002389163380000181
其中，
Figure BDA0002389163380000182
表示R网络中第i层卷积层得到的特征，wi和hi是对应层输出特征的宽和高。该识别特征一致性损失函数Lid可用于返回给虹膜识别特征提取与比对分类器R，也可以同时返回给生成器G用于训练。
基于由上述生成器G、判别器D及虹膜识别特征提取与比对分类器R构成的网络，下面将对训练方法的实施过程进行具体说明。
为了获得充分的高低分辨率虹膜图像，可在训练中把高分辨率虹膜图像h降采样为低分辨率图像k，模拟低分辨率图像的图像库，这样就有高低分辨率一一对应的图像对。这样的数据准备方式不仅简化了图像库准备，同时避免了高低分图像内容差异给超分训练带来的不确定影响因素。当训练图像数据库达到一定规模时，训练结果未发现泛化性差的问题。此处，g代表由低分辨率图k生成的高分辨率图像，h代表与g对应的生成k的真实高分辨率图像，h+代表来自同类的高分辨率虹膜图像，h-代表来自不同类的高分辨率虹膜图像。
在训练过程中，三个网络G、D、R交替进行训练。
训练判别器D网络时，使用生成器G网络生成的生成高分图像g和真实的高分辨率图像h作为输入。
训练虹膜识别分类网络R时，使用生成的高分g与其他高分辨率图像组成三元组用于训练，三元的组成方法有多种不同的方式，如图4至图6所示的三种都可采用，效果可有一些差异。图4和图5的左侧部分的图示意了训练G网络时的类内类间关系，箭头向内(>-<)表示类内(代表目标为减小类内差异)，箭头向外(<->)表示类间(代表优化目标为增大类内差异)。图6仅在训练R时采用三元组限制，未形成G训练时的对抗，在训练R网络时减小类内g和h+的差异，增大类间g与h-的差异，这是最直观的三元组训练优化目标，该目标是识别问题的根本目标，因此在G训练是形成与之相对抗的三元组目标不利于整体识别精度提升。
训练G网络时，与普通对抗生成网络相比，增加了三元组对抗关系，为了与分类器产生对抗关系，在计算时，锚样本、正样本及负样本的选择可如图4、图5右侧部分所示，但采用图6所示的三元组组成训练R网络时，G网络训练不计算三元组损失。
训练完模型后，可以进行测试，可包括程：将低分辨率或低质量图像作为输入，利用训练得到的生成网络G生成高分辨率或高质量图像，对于识别，识别特征提取和比对可使用训练得到的虹膜识别分类网络R，也可采用其他的虹膜特征提取与比对方法。
该实施例中，采用对抗生成网络进行虹膜图像超分辨率(可以用于多种图像质量增强，包括去噪、去模糊、多源异质虹膜图像迁移)，直接建立虹膜图像识别精度与增强的关系，增加特征一致性损失函数，避免生成虹膜图像中的纹理的过度生成影响识别；采用虹膜图像比对三元组构成虹膜相似性比较关系，将多类问题建模为类内比类间更相似的形式，便于损失函数计算；设计包含“生成图像与真实图像”及“多种不同三元组比对结果”的对抗关系，用于对抗式生成网络的训练，虹膜比对方法可以采用多种不同类型的虹膜特征提取方式保证生成网络的普适性，避免对虹膜特征提取方法的过度适应导致生成图像失真及过学习。
该实施例提供了将比对识别精度直接用于指导对抗网络虹膜图像超分辨率或图像质量增强的实现方案。在对抗生成网络的基础上，将虹膜比对结果引入对抗关系中，建立虹膜图像清晰度与识别精度的关系，保证生成的虹膜的图像与真实的清晰图像和或者高分辨率图像的虹膜纹理具有较高的一致性，提供虹膜识别精度。
本实施例的提高虹膜识别精度为目标的虹膜图像增强(超分辨率)方法，能够根据较模糊或者低分辨率的虹膜图像生成较清晰的虹膜图像。本实施例能够解决虹膜识别在开场场景、用户低配合要求条件下采集到的图像质量下降带来可识别精度下降问题，避免图像质量问题带来的识别精度下降、识别系统通过率低、以及实现在只有低分辨率或者低质量图像的刑侦应用场景下的虹膜比对。
综上所述，本发明实施例的图像分辨率提高模型的生成方法、图像分辨率提高方法、图像识别方法、电子设备及计算机可读存储介质，通过在对抗生成网络的基础上，将特征比对结果引入对抗关系中，建立图像清晰度与识别精度的关系，保证生成的图像与真实的清晰图像和或高分辨率图像的虹膜纹理具有较高的一致性，提供特征识别精度，因而能够通过提高低质量图像的分辨率提高低质量图像特征识别的准确性。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种图像分辨率提高模型的生成方法，其特征在于，包括：
将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像；
将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率；
根据将所述生成高分辨图像判别为真实图像的概率计算使所述生成器对抗所述判别器的对抗损失函数的值；
从所述生成高分辨图像、所述生成高分辨图像对应的真实高分辨图像、所述真实高分辨图像对应的类间高分辨图像、及所述真实高分辨图像对应的类内高分辨图像中选取图像，形成图像数量相同但构成方式不同的第一多元组样本和第二多元组样本；
将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值；
将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，以及将所述第二多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数；
在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型；
其中，所述生成高分辨图像的分辨率、所述真实高分辨图像的分辨率、所述类间高分辨图像的分辨率、及所述类内高分辨图像的分辨率均大于所述低分辨图像样本的分辨率。
2.如权利要求1所述的图像分辨率提高模型的生成方法，其特征在于，
将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值，包括：
将所述第一多元组样本和所述第二多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述第一多元组样本对应的比对相似性损失函数的值和所述第二多元组样本对应的比对相似性损失函数的值，以及得到所述真实高分辨图像和所述生成高分辨图像对应的特征一致性损失函数的值；
将所述第二多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数，包括：
将所述第二多元组样本对应的比对相似性损失函数的值和所述特征一致性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数。
3.如权利要求2所述的图像分辨率提高模型的生成方法，其特征在于，将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，包括：
将所述对抗损失函数的值、所述第一多元组样本对应的比对相似性损失函数的值、及所述特征一致性损失函数的值返回至所述生成器，以优化所述生成器的参数。
4.如权利要求1至3任一项所述的图像分辨率提高模型的生成方法，其特征在于，
将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率，包括：
将所述生成高分辨图像对应的真实高分辨图像和所述生成高分辨图像输入判别器，根据所述生成高分辨图像计算得到将所述生成高分辨图像判别为真实图像的概率，根据所述真实高分辨图像和所述生成高分辨图像计算得到感知损失函数的值；
将所述对抗损失函数的值和所述第一多元组样本对应的比对相似性损失函数的值返回至所述生成器，以优化所述生成器的参数，包括：
将所述对抗损失函数的值、所述第一多元组样本对应的比对相似性损失函数的值、及所述感知损失函数的值返回至所述生成器，以优化所述生成器的参数。
5.如权利要求1至3任一项所述的图像分辨率提高模型的生成方法，其特征在于，
将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率，包括：
将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率和判别器损失函数的值；
所述方法，还包括：
将所述判别器损失函数的值返回至所述判别器，以优化所述判别器的参数；
在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型，包括：
在利用优化参数后的所述生成器得到的对抗损失函数的值、利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值、及利用优化参数后的所述判别器得到的判别器损失函数的值达到设定要求的情况下，根据优化参数后的所述生成器得到图像分辨率提高模型。
6.如权利要求1至3任一项所述的图像分辨率提高模型的生成方法，其特征在于，所述第一多元组样本和所述第二多元组样本均为三元组样本。
7.如权利要求6所述的图像分辨率提高模型的生成方法，其特征在于，在所述第一多元组样本中，锚样本为所述生成高分辨图像对应的真实高分辨图像，正样本为所述真实高分辨图像对应的类内高分辨图像，负样本为所述生成高分辨图像；在所述第二多元组样本中，锚样本为所述生成高分辨图像，正样本为所述生成高分辨图像对应的真实高分辨图像，负样本为所述真实高分辨图像对应的类内高分辨图像或所述真实高分辨图像对应的类间高分辨图像。
8.如权利要求1所述的图像分辨率提高模型的生成方法，其特征在于，将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像之前，还包括：
对真实高分辨图像进行下采样，得到低分辨图像样本。
9.一种图像分辨率提高模型的生成方法，其特征在于，包括：
将低分辨图像样本输入生成器，得到对应于所述低分辨图像样本的生成高分辨图像；
将所述生成高分辨图像输入判别器，得到将所述生成高分辨图像判别为真实图像的概率；
根据将所述生成高分辨图像判别为真实图像的概率计算使所述生成器对抗所述判别器的对抗损失函数的值；
从所述生成高分辨图像、所述生成高分辨图像对应的真实高分辨图像、所述真实高分辨图像对应的类间高分辨图像、及所述真实高分辨图像对应的类内高分辨图像中选取图像，形成多元组样本；
将所述多元组样本对应的所有图像输入至特征提取及比对分类器，以类内相似度大于类间相似度的原则进行计算，得到所述多元组样本对应的比对相似性损失函数的值；
将所述对抗损失函数的值返回至所述生成器，以优化所述生成器的参数，以及将所述多元组样本对应的比对相似性损失函数的值返回至所述特征提取及比对分类器，以优化所述特征提取及比对分类器的参数；
在利用优化参数后的所述生成器得到的对抗损失函数的值和利用优化参数后的所述特征提取及比对分类器得到的比对相似性损失函数的值达到设定要求的情况，根据优化参数后的所述生成器得到图像分辨率提高模型；
其中，所述生成高分辨图像的分辨率、所述真实高分辨图像的分辨率、所述类间高分辨图像的分辨率、及所述类内高分辨图像的分辨率均大于所述低分辨图像样本的分辨率。
10.一种图像分辨率提高方法，其特征在于，包括：将低分辨图像输入至利用如权利要求1至9任一项所述的图像分辨率提高模型的生成方法生成的图像分辨率提高模型，得到所述低分辨图像对应的高分辨图像。
11.一种图像识别方法，其特征在于，包括：
利用如权利要求10所述的图像分辨率提高方法得到待识别的低分辨图像对应的高分辨图像；
对所述待识别的低分辨图像对应的高分辨率图像进行图像识别。
12.如权利要求11所述的图像识别方法，其特征在于，所述低分辨图像为虹膜图像。
13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至12任一项所述方法的步骤。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至12任一项所述方法的步骤。
CN202010108432.XA 2020-02-21 2020-02-21 模型生成方法、分辨率提高方法、图像识别方法及装置 Active CN111340700B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010108432.XA CN111340700B (zh) 2020-02-21 2020-02-21 模型生成方法、分辨率提高方法、图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010108432.XA CN111340700B (zh) 2020-02-21 2020-02-21 模型生成方法、分辨率提高方法、图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN111340700A CN111340700A (zh) 2020-06-26
CN111340700B true CN111340700B (zh) 2023-04-25

Family

ID=71185465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010108432.XA Active CN111340700B (zh) 2020-02-21 2020-02-21 模型生成方法、分辨率提高方法、图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN111340700B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329428A (zh) * 2020-11-30 2021-02-05 北京天润融通科技股份有限公司 文本相似度最佳阈值自动寻找及优化方法及装置
CN113191495A (zh) * 2021-03-26 2021-07-30 网易（杭州）网络有限公司 超分模型的训练及人脸识别方法、装置、介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110414336A (zh) * 2019-06-21 2019-11-05 中国矿业大学 一种三元组边缘中心损失的深度互补分类器行人搜索方法
WO2020003533A1 (en) * 2018-06-29 2020-01-02 Nec Corporation Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633218B (zh) * 2017-09-08 2021-06-08 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003533A1 (en) * 2018-06-29 2020-01-02 Nec Corporation Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
CN109993072A (zh) * 2019-03-14 2019-07-09 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN110084108A (zh) * 2019-03-19 2019-08-02 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于gan神经网络的行人重识别系统及方法
CN110414336A (zh) * 2019-06-21 2019-11-05 中国矿业大学 一种三元组边缘中心损失的深度互补分类器行人搜索方法
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈莹 ; 陈湟康 ; .基于多模态生成对抗网络和三元组损失的说话人识别.电子与信息学报.2020,(02),全文. *

Also Published As

Publication number Publication date
CN111340700A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
Monroy et al. Salnet360: Saliency maps for omni-directional images with cnn
Yang et al. Detecting fake images by identifying potential texture difference
CN110751098B (zh) 一种基于光照、姿态生成对抗网络的人脸识别方法
Berbar Three robust features extraction approaches for facial gender classification
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN108830842B (zh) 一种基于角点检测的医学图像处理方法
CN113128271A (zh) 脸部图像的伪造检测
CN111340700B (zh) 模型生成方法、分辨率提高方法、图像识别方法及装置
CN113537027B (zh) 基于面部划分的人脸深度伪造检测方法及系统
CN113191390A (zh) 一种图像分类模型的构建方法、图像分类方法及存储介质
CN112560710A (zh) 一种用于构建指静脉识别系统的方法及指静脉识别系统
CN114724218A (zh) 视频检测方法、装置、设备及介质
US20230306791A1 (en) Method and apparatus with liveness detection
Prajapati et al. MRI-GAN: A Generalized Approach to Detect DeepFakes using Perceptual Image Assessment
CN113344110A (zh) 一种基于超分辨率重建的模糊图像分类方法
CN113344814A (zh) 一种基于生成机制的高分辨率对抗样本的合成方法
CN111598144A (zh) 图像识别模型的训练方法和装置
Hahmann et al. Combination of facial landmarks for robust eye localization using the Discriminative Generalized Hough Transform
Abdullah et al. Deploying Facial Segmentation Landmarks for Deepfake Detection
Hoshino et al. Inferencing the best AI service using Deep Neural Networks
GUPTA IMAGE FORGERY DETECTION USING CNN MODEL
CN115661754B (zh) 一种基于维度融合注意力的行人重识别方法
CN113658285B (zh) 一种人脸照片到艺术素描的生成方法
Tian et al. Research on preprocessing algorithm of two-camera face recognition attendance image based on artificial intelligence
Erdem A region covariances-based visual attention model for RGB-D images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant