CN116168269A - 掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统 - Google Patents

掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统 Download PDF

Info

Publication number
CN116168269A
CN116168269A CN202310122664.4A CN202310122664A CN116168269A CN 116168269 A CN116168269 A CN 116168269A CN 202310122664 A CN202310122664 A CN 202310122664A CN 116168269 A CN116168269 A CN 116168269A
Authority
CN
China
Prior art keywords
palm
palm print
print image
sample
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310122664.4A
Other languages
English (en)
Inventor
郑丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202310122664.4A priority Critical patent/CN116168269A/zh
Publication of CN116168269A publication Critical patent/CN116168269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本说明书提供了一种掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统,所述掌纹图像生成模型的训练方法包括:基于噪音生成模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本;以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音;以所述噪音样本作为标签,确定所述标签和所述预测噪音的损失值;基于所述损失值,训练所述初始模型,得到所述掌纹图像生成模型,其中所述第一真实掌纹图像样本是真实掌纹样本集中的任一样本,所述第一几何掌纹图像样本与所述第一真实掌纹图像样本是成对的,标注了相同的用户身份信息。

Description

掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及 系统
技术领域
本说明书涉及数据处理领域,尤其涉及一种掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统。
背景技术
随着计算机技术的发展,通过生物特征对用户进行识别的技术应用越来越广泛。比如掌纹是一种生物特征,具有唯一性,且由于掌纹识别技术是一种非侵犯性的识别方式,因此用户比较容易接受,从而使得掌纹识别技术越来越广泛的应用于用户身份验证等场景。
进一步的,一些对用户通过生物特征进行识别具有非接触性,比如掌纹识别技术可以做到不需要使用者将手放在扫描设备上,只需挥手扫描即可进行用户身份验证,因此这些非接触式识别技术的商业化前景越来越好。
然而,通过生物特征对用户进行识别的技术其性能在规模化使用上遇到了较大的挑战。挑战的来源主要受限于缺乏足够的训练数据。比如由于掌纹数据获取成本很高,不足以支撑极低误识率下识别任务的训练和评测,因此如何能生成大量真实高质的生物特征图像就成为了重要研究方向。
发明内容
本说明书提供了一种生物特征图像的生成模型的训练方法、系统以及生物特征图像的生成方法和系统,尤其是掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统,可以。
第一方面,本说明书提供一种掌纹图像生成模型的训练方法,所述方法包括:基于噪音生成模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本;以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音;以所述噪音样本作为标签,确定所述标签和所述预测噪音的损失值;基于所述损失值,训练所述初始模型,得到所述掌纹图像生成模型,其中所述第一真实掌纹图像样本是真实掌纹样本集中的任一样本,所述第一几何掌纹图像样本与所述第一真实掌纹图像样本是成对的,标注了相同的用户身份信息。
在一些实施例中,其中所述噪音生成模型为条件扩散模型,通过至少一次扩散运算对所述第一真实掌纹进行所述加噪处理;以及所述逆运算包括至少一次逆扩散运算,所述至少一次逆扩散运算与所述至少一次扩散运算相对应。
在一些实施例中,所述第一几何掌纹图像样本与所述第一真实掌纹图像样本是通过如下步骤得到的:以第二真实掌纹图像样本和第二几何掌纹图像样本作为输入来训练第一模型,以使得所述第一模型可以根据所述第二真实掌纹图像样本得到与之成对的几何掌纹图像样本;以及将所述第一真实掌纹图像样本输入训练好的所述第一模型,得到与所述第一真实掌纹图像样本成对的第一几何掌纹图像样本,其中所述第二真实掌纹图像样本和所述第二几何掌纹图像样本是不成对的,未标注相同的用户身份信息。
在一些实施例中,所述基于噪音生成模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本,包括:在所述第一真实掌纹图像样本的基础上,分T步逐步加入噪音与所述第一几何掌纹图像样本的融合结果,得到对应的噪音样本。
在一些实施例中,其中所述噪音为标准高斯白噪音。
在一些实施例中,所述以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音,包括:从t等于T开始,基于所述噪声样本中第t步的结果xt和所述第一几何掌纹图像样本,通过所述初始模型预测所述噪声样本中第t-1步的结果xt-1,迭代上述过程直至t等于1,得到所述目标掌纹图像以及相应的预测噪音。
在一些实施例中,所述方法还包括:根据所述第一真实掌纹提取掌纹特征。
在一些实施例中,所述掌纹特征包括:掌纹主线特征和皱纹特征。
在一些实施例中,所述以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音,包括:以所述第一几何掌纹图像样本作为引导条件,以所述掌纹特征作为注意力对象,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音。
在一些实施例中,所述以所述第一几何掌纹图像样本作为引导条件,以所述掌纹特征作为注意力对象,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音,包括:从t等于T开始,基于所述噪声样本中第t步的结果xt、所述第一几何掌纹图像样本以及所述掌纹特征,通过所述初始模型预测所述噪声样本中第t-1步的结果xt-1,迭代上述过程直至t等于1,得到所述目标掌纹图像以及相应的预测噪音。
在一些实施例中,所述第二几何掌纹图像的背景为纯白色,以避免其他背景引入的噪声分散所述初始模型的注意力。
第二方面,本说明书还提供一种掌纹图像生成模型的训练系统,包括:至少一个存储介质,存储有至少一组指令集用于训练所述掌纹图像生成模型;以及至少一个处理器,同所述至少一个存储介质通信连接,其中,当所述训练系统运行时,所述至少一个处理器读取所述至少一组指令集,并实施如第一方面所述的任一训练方法训练所述掌纹图像生成模型。
第三方面,本说明书还提供一种掌纹图像生成方法,包括:获取随机生成的几何掌纹图像,所述随机生成的几何掌纹包括掌纹身份信息;将所述随机生成的几何掌纹图像输入掌纹图像生成模型,以及所述掌纹图像生成模型输出目标掌纹图像,其中,所述掌纹图像生成模型是根据如第一方面所述的任一训练方法得到的。
第四方面,本说明书还提供一种掌纹图像生成系统,包括:至少一个存储介质,存储有至少一组指令集用于生成掌纹图像;以及至少一个处理器,同所述至少一个存储介质通信连接,其中,当所述生成系统运行时,所述至少一个处理器读取所述至少一组指令集并实施如第三方面所述的掌纹图像生成方法。
由以上技术方案可知,本说明书提供的种掌纹图像生成模型的训练方法,基于噪音生成模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本;以第一几何掌纹图像样本作为引导条件,通过初始模型对噪声样本做逆运算,得到目标掌纹图像(更接近真实掌纹图像)以及相应的预测噪音;以噪音样本作为标签,确定所述标签和所述预测噪音的损失值;基于所述损失值,训练所述初始模型,得到所述掌纹图像生成模型。在检测时,将任一标注用户身份信息的几何掌纹图像输入该训练好的掌纹图像生成模型,可以生成目标掌纹图像,可作为掌纹识别场景下的训练样本使用。这是由于输入所述掌纹图像生成模型的几何掌纹图像可以是根据需要随机生成的新的用户身份的掌纹图像,且在训练初始模型时,输入的几何掌纹图像中标注的用户身份信息,因此,生成的目标掌纹图像能做到用户身份的保持,也就是说,生成的目标掌纹图像标注的用户身份信息与输入的几何掌纹图像标注用户身份信息相同,从而可以根据掌纹识别场景的需要,生成新的用户信息对应的更接近于真实掌纹的掌纹图像作为掌纹识别场景的训练样本。并且,在生成图像的真实性上,相比几何掌纹图像生成方法,与真实掌纹数据分布更一致;相比生成对抗网络(Generative Adversarial Network,GAN)的掌纹图像生成方法,所生成的掌纹图像的效果更自然,同时生成的掌纹图像中小的细纹也更真实,这些小的细纹对相似掌的区分会更有意义。
本说明书提供的一种掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统的其他功能将在以下说明中部分列出。根据描述,以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的检测网络的训练方法、检测方法及系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的一些实施例提供的一种计算设备100的硬件结构图;
图2示出了根据本说明书的一些实施例提供的一种掌纹图像生成模型结构图200;
图3示出了根据本说明书的一些实施例提供的一种掌纹图像生成模型的训练阶段和检测阶段的示意图;
图4示出了根据本说明书的一些实施例提供的一种CycleGAN模型的结构图400;
图5示出了根据本说明书的一些实施例提供的一种掌纹图像生成模型的训练方法600的流程图;
图6示出了根据本说明书的一些实施例提供的一种扩散模型的示意图;
图7示出了根据本说明书的一些实施例提供的一种条件扩散模型的扩散过程中由xt-1得到xt的方法示意图;
图8示出了根据本说明书的一些实施例提供的另一种掌纹图像生成模型的训练阶段的示意图;以及
图9示出了根据本说明书的一些实施例提供的一种掌纹图像生成方法900的流程图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
在对本说明书具体实施例说明之前,先对本说明书的应用场景进行如下介绍:
生物识别是指通过对人体的生物特征对人的身份进行识别的技术。常见的生物识别包括人脸识别、指纹识别、掌纹识别、唇纹图像、虹膜识别、声纹识别等。目前应用最广泛的是人脸识别。但随着人脸识别的广泛应用,隐私和安全问题越来越受到关注,因为在公共场合,人脸可以不经任何同意被轻易捕捉,即使戴着面具也可以被识别。而掌纹、虹膜、唇纹、指纹等作为另一种生物识别特征,具有很好的稳定性和唯一性。比如指纹和掌纹,它隐藏在一个人的手掌中,没有本人的允许不可能获取该人的指纹/掌纹信息。
因此,要收集大规模的人体生物特征数据集以建立一个准确而强大的识别系统是非常困难的,尤其是指纹、掌纹、唇纹、虹膜等信息,因为公开的指纹/掌纹图像严重不足,而且对未识别的指纹/掌纹/唇纹/虹膜进行标注的成本很高,因为正常人很难分辨出人类的相似掌纹/指纹/唇纹/虹膜。
比如,随着非接触式掌纹识别的商业化,掌纹识别的性能在规模化使用上遇到了较大的挑战,主要受限于缺乏足够的训练数据,不足以支撑极低误识率下识别任务的训练和评测,因此如何能生成大量真实高质量掌纹图像成为了重要研究方向。
几何掌纹生成方法通过程序绘制3-4个主线段和一些细小的线段生成掌纹图像,但与真实掌纹相差较大,并且有两个主要限制:与真实掌纹的领域差距且缺乏身份内的变异,如颜色、纹理和光照变异等。因为这些几何掌纹实际上是线条,而真实的掌纹图像是皮肤脊线和皱纹上的光反射,它们在视觉上明显不同。随着生成模型的发展,许多研究人员试图通过生成对抗网络(Generative Adversarial Network,GAN)来合成深度模型的训练数据。GAN生成方法通过重建的方式生成掌纹图像,但是生成的掌纹图像没有掌纹身份信息,也不能保证掌纹类内的一致性以及掌纹图像类问差异性。
基于此,本说明书提出了一种生物特征图像生成模型的训练方法及系统、生物特征图像生成方法及系统。完全出于展示方便的需要,本申请下面的描述将以掌纹为例子,提出一种掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统。本领域技术人员可以理解的是,本说明书所公开的方法和系统也可以应用于其他人体生物特征。比如,本说明书所公开的方法和系统也可以应用于面部/指纹/唇纹/虹膜图像生成模型的训练方法及系统、面部/指纹/唇纹/虹膜图像生成方法及系统。
在所述生物特征为掌纹的情况下,本方案可以基于噪音生成模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本;以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音;以所述噪音样本作为标签,确定所述标签和所述预测噪音的损失值;基于所述损失值,训练所述初始模型,得到所述掌纹图像生成模型,其中所述第一真实掌纹图像样本是真实掌纹样本集中的任一样本,所述第一几何掌纹图像样本与所述第一真实掌纹图像样本是成对的,标注了相同的用户身份信息,从而采用本申请所述的掌纹图像生成模型能够可控的生成新的用户身份信息的目标掌纹图像。
为了方便描述,本说明书对以下描述可能会出现的术语进行解释:
掌纹(Palm print):掌心的几条主要褶皱线和一些细小的褶皱线。
掌纹特征(Palmprint Feature):人体的掌纹中所包含的特征,其中最重要的特征是纹线特征,而且这些纹线特征中最清晰的几条纹线基本上是伴随人的一生不发生变化,并且在低分辨率和低质量的图像中仍能够清晰的辨认。除了纹线特征以外,人体的掌纹还包括如下特征:点特征,主要是指手掌上所具有的和指纹类似的皮肤表面特征,如掌纹乳突纹在局部形成的奇异点及纹形。点特征需要在高分辨率和高质量的图像中获取,因此对图像的质量要求较高;纹理特征,主要是指比纹线更短、更细的一些纹线,但其在手掌上分布是毫无规律的;几何特征:如手掌的宽度、长度和几何形状,以及手掌不同区域的分布。
掌纹识别(Palmprint recognition):一种通过掌纹进行生物识别方案,掌纹识别是一种非侵犯性的识别方法,用户比较容易接受,且对采集设备要求不高。
几何掌纹(Geometric Palmprint):类似手绘,画出来的几条主线和一些细微的小线,可以体现出人体的掌纹的主要纹线特征,符合一定的几何规则,可以通过程序随机生成。
生成对抗网络(Generative Adversarial Network,GAN):主要功能是实现图像、音乐或文本等生成(或者说是创作),生成对抗网络的主要思想是:通过生成器(Generator)与判别器(Discriminator)不断对抗进行训练。最终使得判别器难以分辨生成器生成的数据(图片,音频等)和真实的数据。所以,对于生成对抗网络的目标一般是得到生成器,也就是根据输入数据生成新的相关数据,例如,一个被训练来生成人脸图片的模型,每次都会生成一张从未被该模型或任何人看到过的人脸图片。
CycleGAN模型:是将GAN应用在无监督的图像到图像翻译(Image-to-imageTranslation)的算法,它的特点是不要求训练数据是成对的(比如同一个场景的夏天照片和冬天照片、同样造型的斑马和马,同一个用户的掌纹等),只需要提供不同域(Domain)的图像就能成功训练不同域之间图像的映射。
扩散模型(Diffusion Model):起源于非平衡热力学,在物理学中气体分子从高浓度区域扩散到低浓度区域,这与由于噪声的干扰而导致的信息丢失是相似的,所以扩散模型的扩散过程(Diffusion Process)通过在一段时间内多次迭代,在原始图像中引入噪声,然后逆扩散过程(也叫去噪过程Denoising Process)再通过预测噪来生成新的图像。
注意力机制(Attention):对人类视觉注意力机制的仿生,本质上是一种资源分配机制。生理原理就是人类视觉注意力能够以高分辨率接收于图片上的某个区域,并且以低分辨率感知其周边区域,并且视点能够随着时间而改变,目的在于获取更多细节信息和抑制其他无用信息。在神经网络模型中的实现方式为:对于原本平均分配的资源根据注意力对象的重要程度重新分配资源,重要的就多分一点,不重要或者不好的就少分一点,注意力机制所要分配的资源基本上可以理解为权重。
图1示出了根据本说明书的一些实施例提供的一种计算设备100的硬件结构图。计算设备100可以执行本说明书描述的生物特征图像(比如,掌纹图像)生成模型的训练方法以及生物特征图像(比如,掌纹图像)的生成方法。执行所述模型的训练方法的计算设备与执行所述掌纹图像生成方法的计算设备可以是同一个计算设备100,也可以是两个独立的计算设备100。所述图像生成模型的训练方法以及图像生成方法在本说明书中的其他部分介绍。所述计算设备100可以是客户端,也可以是服务器,也可以是客户端和服务器的组合。
如图1所示,计算设备100可以包括至少一个存储介质130和至少一个处理器120。在一些实施例中,计算设备100还可以包括通信端口150和内部通信总线110。同时,计算设备100还可以包括I/O组件160。
内部通信总线110可以连接不同的系统组件,包括存储介质130、处理器120和通信端口150。
I/O组件160支持计算设备100和其他组件之间的输入/输出。
通信端口150可以是有线通信端口也可以是无线通信端口。通信端口150用于计算设备100同外界的数据通信,比如,通信端口150可以用于计算设备100同通信网络之间的数据通信。计算设备100通过通信网络,可以接收数据采集设备(图1中未示出)的数据。所述数据采集设备和计算设备100可以作为整体安装,也可以分别安装。数据采集设备可以采集多个源域训练数据,将采集的训练数据发送给计算设备100。数据采集设备可以为图像采集设备、音频采集设备、视频采集设备等,相应地,训练数据可以为图像数据、音频数据、视频数据等。
存储介质130可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质130还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的人脸识别的方法的程序、例程、对象、组件、数据结构、过程、模块等等。
至少一个处理器120可以同至少一个存储介质130以及通信端口150通过内部通信总线110通信连接。至少一个处理器120用以执行上述至少一个指令集。当计算设备100运行时,至少一个处理器120读取所述至少一个指令集,并且根据所述至少一个指令集的指示,执行本说明书提供的掌纹图像生成模型的训练方法以及掌纹图像生成方法。处理器120可以执行包含掌纹图像生成模型的训练方法以及掌纹图像生成方法的所有步骤。处理器120可以是一个或多个处理器的形式,在一些实施例中,处理器120可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(RISC),专用集成电路(ASIC),特定于应用的指令集处理器(ASIP),中心处理单元(CPU),图形处理单元(GPU),物理处理单元(PPU),微控制器单元,数字信号处理器(DSP),现场可编程门阵列(FPGA),高级RISC机器(ARM),可编程逻辑器件(PLD),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中计算设备100中仅描述了一个处理器120。然而,应当注意,本说明书中计算设备100还可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本说明书中计算设备100的处理器120执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同处理器120联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
如前所述,本申请中的图像的生成模型可以是掌纹生成模型,也可以用于其他人体生物特征图像的生成,比如:虹膜图像、指纹图像、唇纹图像等,本申请仅以掌纹图像的生成为例进行说明,本领域技术人员仅需要相应的将真实掌纹图像替换为相应的人体生物特征图像,将几何掌纹图像替换为几何生物特征图像即可。
本说明书的一些实施例提供了一种掌纹图像生成模型,该掌纹图像的生成模型是基于噪音生成模型来实现的,该噪音生成模型可以是任意一种根据输入的图像就可以生成噪音图像的模型。比如,该噪音生成模型可以是条件扩散模型。因此,如图2所示,该掌纹图像的生成模型的初始模型(未经训练的掌纹图像的生成模型)可以为条件扩散模型中的逆扩散过程模型(实现逆扩散过程)。如图3所示,在训练阶段中,需要先基于条件扩散模型的扩散过程模型(实现扩散过程),以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本;其次,以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音;然后,以所述噪音样本作为标签,确定所述标签和所述预测噪音的损失值;最基于所述损失值,训练所述初始模型,得到所述掌纹图像生成模型。在检测(应用)阶段,将随机生成的几何掌纹图像输入掌纹图像生成模型,就可以得到目标掌纹图像。
由于该掌纹图像的生成模型的训练过程需要成对的真实掌纹图像和几何掌纹图像(即具有相同用户身份信息的真实掌纹图像和几何掌纹图像),因此,接下来本申请示例性的说明根据真实掌纹图像得到与之成对的几何掌纹图像的方法。该方法可以由一台或多台服务器来执行并完成。所述服务器可以具有计算设备100所示的结构。具体地,所述计算设备100的存储介质130中可以存有至少一组指令集用于训练所述方法,所述处理器120工作时可以调用所述指令集并执行所述方法。比如,计算设备100(或处理器120)首先通过第一模型做掌纹图像到几何模型的正向传递。为了达到这个目的,计算设备100(或处理器120)先要对所述第一模型进行训练:以第二真实掌纹图像样本和第二几何掌纹图像样本作为输入来训练第一模型,所述第二真实掌纹图像样本和所述第二几何掌纹图像样本是不成对的,未标注相同的用户身份信息。训练完成后,所述第一模型可以根据所述第二真实掌纹图像样本得到与之成对的第二几何掌纹图像样本。然后通过第一模型将真实掌纹图像转换成几何掌纹图像:将所述第一真实掌纹图像样本输入训练好的所述第一模型,得到与所述第一真实掌纹图像样本成对的第一几何掌纹图像样本。其中,所述第二真实掌纹图像样本可以是真实掌纹样本集中的任一样本,所述第二几何掌纹图像样本可以是随机生成的几何掌纹图像,并且,可以示例性的通过下面所述的几何掌纹生成方法生成第二几何掌纹。
首先,由于几何掌纹图像中通常包括的几何线条可以表征用户掌纹信息的部分特征(如线条特征),因此,示例的,可以使用几条贝塞尔曲线来表示掌纹的主线和皱纹。假设N和S分别为用户身份总数和每个身份的样本数,因此总共将产生N×S个样本,其中N和S为自然数。对于每个身份,合成m条主线和n条皱纹,其中m和n是从均匀分布中抽取的:m~U(2,5)和n~U(5,20))。为了简单起见,使用二阶贝塞尔曲线来表示掌纹的主线和皱纹,那么,在二维平面上有三个参数点,一个控制点,一个开始点和一个结束点。首先,计算设备100(或处理器120)从整个平面上随机取样皱纹的开始点和结束点;然后,给定开始点和结束点,计算设备100(或处理器120)从与开始点和结束点连接线平行的矩形中取样控制点。对于每个用户身份,计算设备100(或处理器120)从左上角到右下角抽取m条主线。对于左手掌,计算设备100(或处理器120)对每条主线的开始点和结束点都从左上角和右下角取样。并且,计算设备100(或处理器120)对于皱纹的方向不做限制,因此它们的开始点、结束点和控制点都是从整个平面上随机取样的。对于右手的几何掌纹,可以将其看作是左手的镜像。进一步的,计算设备100(或处理器120)还可以加强生成样本内部特征的多样性,比如:计算设备100(或处理器120)在参数中加入小的随机噪声,使每个样本与其他样本有一点不同。并且,还可以将几何掌纹图像的背景设为纯白色,以避免其他背景引入的噪声分散所述初始模型的注意力。
通过上述方法就可以生成一个新的用户身份对应的多条几何掌纹图像,相应的,生成的每个几何掌纹图像都有对应的用户身份信息。
然后,计算设备100(或处理器120)可以以第二真实掌纹图像样本以及第二几何掌纹图像作为输入,训练初始第一模型(可以是任意合适的神经网络模型),就可以得到与第二真实掌纹图像成对的几何掌纹图像。进而,采用目标第一模型(训练完成后的初始第一模型),计算设备100(或处理器120)就可以根据第一真实掌纹图像样本,生成与之成对的第一几何掌纹样本。然而,这样生成的真实掌纹图像和与之成对的几何掌纹图像还需要额外进行用户身份标记。使用人工标记的方式耗时耗力,因此,在一些可能的实现方式中,可以采用CycleGAN模型来得到与第二真实掌纹成对的几何掌纹。
图4示出了根据本说明书的一些实施例提供的一种CycleGAN模型的结构图。CycleGAN模型可以看做是2个GAN模型的融合,一个GAN由生成器G和判别器DY构成,实现从X域到Y域的图像生成和判别;另一个GAN由生成器F和判别器Dx构成,实现从Y域到X域的图像生成和判别,两个网络构成循环(cycle)的过程。
示例的,假设训练目标是根据输入的X域的真实掌纹图像xr,生成与之成对的Y域的几何掌纹图像xg,或者,根据输入的Y域的几何掌纹图像xg,生成与之成对的X域的真实掌纹图像。训练完成后的目标CycleGAN模型就可以根据输入的X域的第一真实掌纹图像xr生成与之成对的Y域的第一几何掌纹图像xg,并且,该第一真实掌纹图像和第一几何掌纹图像标注了相同的用户身份信息,不需要再额外进行标注。
下面,将对本申请所述的一种掌纹图像生成模型的训练方法500进行详细说明。图5示出了根据本说明书的一些实施例提供的一种掌纹图像生成模型的训练方法500的流程图。如前所述,计算设备100可以用来执行本说明书所述的掌纹图像生成模型的训练方法500。具体地,处理器120可以读取存储在其本地存储介质中的指令集,然后根据所述指令集的规定,执行本说明书所述的掌纹图像生成模型的训练方法500。所述方法500可以包括:
S510:计算设备100(或处理器120)基于噪音生成模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本;
S520:计算设备100(或处理器120)以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音;
S530:计算设备100(或处理器120)以所述噪音样本作为标签,确定所述标签和所述预测噪音的损失值;以及
S540:计算设备100(或处理器120)基于所述损失值,训练所述初始模型,得到所述掌纹图像生成模型。
其中,第一真实掌纹图像样本是真实掌纹训练集中的任一真实掌纹图像样本,第一几何掌纹图像样本是与所述第一真实掌纹图像样本成对的几何掌纹图像样本,该第一几何掌纹图像样本与第一真实掌纹图像样本标注了相同的用户身份信息。
需要说明的是,该噪音生成模型可以是任一根据输入噪音可以生成所需要的目标图像的模型,本领域技术人员可以根据需要选择合适的模型,本申请对此不做限制。
在一些可能的实现方式中,所述噪音生成模型可以为条件扩散模型,通过至少一次扩散运算对所述第一真实掌纹进行所述加噪处理;所述逆运算可以包括至少一次逆扩散运算,所述至少一次逆扩散运算与所述至少一次扩散运算相对应。
需要说明的是,由于条件扩散模型是以扩散模型为基础,因此,为了便于理解,下面先对扩散模型的原理进行介绍。
图6示出了根据本说明书的一些实施例提供的一种扩散模型的示意图。如图6所示,扩散模型分两个模型:扩散过程(Diffusion Process)模型,实现逐步的向真实数据中添加噪声的扩散过程,以及逆扩散过程(也叫去噪过程Denoising Process)模型,实现从噪声中逐步进行预测的真实数据的逆扩散过程。扩散模型可以基于马尔可夫链,也可以基于其他的可以实现向真实数据中添加噪声的扩散过程的模型。比如,在基于马尔科夫链的扩散模型中,当前状态只与上一时刻的状态有关。基于马尔可夫链平稳性的特点,一个概率分布随时间变化,在马尔可夫链的作用下,随着时间延长,它就会趋于某种平稳分布(例如高斯分布)。因此,在扩散过程中,随着采样时间t不断增大,最终概率分布变成独立的高斯分布。定义真实数据x0,其对应的概率密度函数为q(x),在扩散过程中逐步加入一个小的高斯噪声Z={z1,z2,…,zT},共加入T步,从而产生了一系列加噪的样本x={x1,x2,…,xT},其中,xt=xt-1+zt,t=1~T,zt的均值和方差由pt决定,βt在(0,1)之间,且β1<β2<…<βT,β0是给定的,因此βt是通过计算可知的,并且可知,在扩散过程中所加的噪声是越来越大的。根据上述描述可知:
Figure BDA0004081665790000131
由于扩散过程是一个马尔可夫过程,所以给定x0的x1:T的联合概率分布为:/>
Figure BDA0004081665790000132
上述式子计算q(xT|x0)不断迭代,给定x0、t和βt就可以计算出来xt,即/>
Figure BDA0004081665790000133
其中,αt=1-βt
Figure BDA0004081665790000134
可见,扩散过程是不含可学习参数的,已知x0和t,可以通过计算得到xt
逆扩散过程可以也是一个马尔科夫链过程,也可以是基于其他的可以实现将噪声恢复到真实数据的模型。比如,在基于马尔科夫链的模型中,所述逆扩散过程是从高斯噪声xT中预测x0。由于扩散过程中每次迭代加的噪声很小,所以逆向过程的结果也是一个高斯分布,因此,可得:pθ(xt-1|xt,x0)=N(xt-1;μθ(xt,t),∑θ(xt,t)),数据分布
Figure BDA0004081665790000135
其中,p(xT)=N(xt;0,I)。经过推导、近似以及重参数化,可得:/>
Figure BDA0004081665790000136
其中,θ表示模型参数,∈t表示第t步预测的噪声。
接下来介绍如何计算模型的目标数据分布的似然函数,这样模型就可以进行训练。其推导过程如下所示:
Figure BDA0004081665790000137
将等式两边同时乘以期望
Figure BDA0004081665790000138
得到/>
Figure BDA0004081665790000139
其中,左侧/>
Figure BDA00040816657900001310
为交叉熵,右侧/>
Figure BDA0004081665790000141
为上界。
Figure BDA0004081665790000142
其中,pθ(xt-1|xt)=N(xt-1;μθ(xt,t),∑θ(xt,t))中的方差设置为常数βt,这样可学习的参数就只在均值中,对于两个单一变量的高斯分布p和q而言,/>
Figure BDA0004081665790000143
优化式子:
Figure BDA0004081665790000144
其中有偏高斯分布,pθ为所要拟合的分布,由于假设pθ的方差σt为常数,因此只需要逼近p和q的均值即可。上式经过简化后,损失函数为:/>
Figure BDA0004081665790000145
拟合出来的均值为:
Figure BDA0004081665790000146
则/>
Figure BDA0004081665790000147
其中xt是已知的,因此只需要预测噪声∈θ(xt,t),可见,逆扩散过程存在可学习参数∈θ(xt,t)。那么,要使得损失值最小,只需使预测噪声与实际加入噪声的误差越小越好。
可见,扩散模型的扩散过程模型不存在预测值,只有逆扩散过程模型存在预测值,预测的是噪声的分布。在每次训练过程中,扩散过程模型在多个采样时刻t逐步加入噪声得到最终的噪声样本,在逆扩散过程中确定与扩散过程相对应的每个t时刻的预测噪声与所加的真实噪声(也就是标签)之间的均方差损失值(MSE loss)得到损失值,再通过损失值来指导逆扩散过程模型进行训练。
然而,扩散模型是无条件生成的,因此在实际应用时,随机的输入一张高斯噪声图像难以按照需要生成所需要的内容,因而可以进一步通过额外的引导(condition)条件得到所需要的目标图像。示例的,计算设备100(或处理器120)可以把引导条件也作为模型输入的一部分,从而让扩散模型基于该引导条件生成所需要的内容,上述带引导条件的扩散模型称为条件扩散模型(Conditional Difusion Model),条件扩散模型对未见过的部分特征有很好的泛化作用。因此,在一些可能的实现方式中,该噪音生成模型可以为条件扩散模型。对于条件扩散模型,计算设备100(或处理器120)可以通过至少一次扩散运算对所述第一真实掌纹进行所述加噪处理;所述逆运算包括至少一次逆扩散运算,所述至少一次逆扩散运算与所述至少一次扩散运算相对应。
示例的,假设第一真实掌纹图像样本为xr(对应扩散模型中的x0),采样总步数为T,T为自然数,则条件扩散模型的扩散过程为:计算设备100(或处理器120)将xr经过T次扩散运算得到xT,实现对xr的加噪处理;相应的,在条件扩散模型的逆扩散过程,xT需要经过计算设备100(或处理器120)执行T次逆扩散运算,从而得到xr的预测值xrp(对初始模型的训练阶段)。
在一些可能的实现方式中,所述基于噪音生成模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本,包括:在所述第一真实掌纹图像样本的基础上,分T步逐步加入噪音与所述第一几何掌纹图像样本的融合结果,得到对应的噪音样本,其中所述T为自然数。示例的,所述加入的噪音可以为标准高斯白噪音。
具体的,假设第一几何掌纹图像样本为xg,第一真实掌纹图像样本为xr(对应扩散模型的x0),标准高斯白噪声为ZN={zn1,zn2,...,znT},标准高斯噪声和所述第一几何掌纹图像样本的融合结果为Z={z1,z2,...,zT}则基于条件扩散模型的扩散过程,则如图7所示,对于任意采样时刻t,t=[1-T],计算设备100(或处理器120)可以先将xg和znt拼接(concatenate)得到标准高斯噪声和所述第一几何掌纹图像样本的融合结果zt,然后将zt经过维度变化,再与xt-1叠加得到xt,即xt=xt-1+zt,zt和xt也为高斯白噪声,以此类推,可以得到t=T时刻的噪声样本xT
接下来,对条件逆扩散模型的逆扩散过程(根据噪声样本得到第一真实掌纹图像样本的过程)进行详细介绍。定义逆扩散过程模型的参数为θ,将条件xg带入扩散模型的相关公式,有:
Figure BDA0004081665790000151
将μ(xt,xg)重参数化得到:
Figure BDA0004081665790000152
相应的,/>
Figure BDA0004081665790000153
Figure BDA0004081665790000154
基于上述公式,逆扩散模型只需要预测每个采样时刻t的噪声∈θ(xt,xg,t),就可以经过T步,逐步由xT->xT-1…->x1->xrp,其中,xrp表示xr的预测值。
在一些可能的实现方式中,可以采用第二模型,如Unet网络或者Transformer网络来实现每一次逆扩散运算。
进一步的,为了得到更好的性能,还可以在逆扩散过程中引入注意力机制。在一些可能的实现方式中,所述方法还可以包括:获得根据所述第一真实掌纹提取的掌纹特征,所述掌纹特征可以包括:掌纹主线特征和皱纹特征。
需要说明的是,本领域技术人员可以采用任意可实现的方式根据所述第一真实掌纹提取掌纹特征,本申请对此不做限制。比如,本领域技术人员可以采用任意神经网络模型执行掌纹特征的提取。
相应的,在一些可能的实现方式中,所述以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音,包括:计算设备100(或处理器120)以所述第一几何掌纹图像样本作为引导条件,以所述掌纹特征作为注意力对象,通过初始模型对所述噪声样本做逆运算。也就是说,如图8所示,在初始模型的训练阶段,可以提取第一真实掌纹图像的掌纹特征,然后,在逆扩散过程,将该掌纹特征作为初始模型的注意力对象(即另一个输入),训练该初始模型。
在一些可能的实现方式中,从t等于T开始,基于所述噪声样本中第t步的结果xt、所述第一几何掌纹图像样本以及所述掌纹特征,计算设备100(或处理器120)预测所述噪声样本中第t-1步的结果xt-1,迭代上述过程直至t等于1,得到所述目标掌纹图像。也就是说,对于第t步逆扩散运算,计算设备100(或处理器120)可以以所述噪声样本中第t步的结果xt、所述第一几何掌纹图像样本以及所述掌纹特征作为第二模型的输入,预测所述噪声样本中第t-1步的结果xt-1,经过T次迭代,就可以通过xT得到xrp
可见,经过上述逆扩散过程,计算设备100(或处理器120)可以得到xrp即预测的第一真实掌纹,以及每个采样时刻t的预测噪声,然后,计算设备100(或处理器120)可以确定每个采样时刻t的预测噪声和相应的扩散过程所加的真实噪声之间的MSE loss,得到掌纹图像生成模型的损失值。计算设备100(或处理器120)可以基于该MSE loss训练初始模型,经由多次上述训练,就可以得到该掌纹图像生成模型。
可见,在本申请所述的掌纹图像生成模型的训练方法中,计算设备100(或处理器120)基于条件扩散模型,以第一几何掌纹图像样本作为引导条件,对第一真实掌纹图像样本进行加噪处理,得到对应的噪音样本。然后,计算设备100(或处理器120)以所述第一几何掌纹图像样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图像以及相应的预测噪音本。可见,申请所述的掌纹图像生成模型的训练方法可以保持用户身份信息。
如图9所示,本说明书还提供了一种掌纹图像的生成方法900。该方法可以由一台或多台服务器来执行并完成。所述服务器可以具有计算设备100所示的结构。具体地,所述计算设备100的存储介质130中可以存有至少一组指令集用于训练所述方法,所述处理器120工作时可以调用所述指令集并执行所述方法。所述方法包括:
S910:计算设备100(或处理器120)获取随机生成的几何掌纹图像,所述随机生成的几何掌纹包括掌纹身份信息。
S920:计算设备100(或处理器120)将所述随机生成的几何掌纹图像输入掌纹图像生成模型。
S930:计算设备100(或处理器120)所述掌纹图像生成模型输出目标掌纹图像。
其中,所述掌纹图像的生成模型是根据本说明书如前所述的掌纹图像的生成模型的训练方法训练得到的。
由于本申请提供的掌纹图像生成模型的训练方法在对初始模型的训练过程中引入了成对的第一真实掌纹图像和第一几何掌纹图像,因此,训练好的掌纹图像生成模型通过学习获得了成对的第一真实掌纹图像和第一几何掌纹图像之间的关系,即标注了相同的用户身份信息,从而,使用该训练好的掌纹图像生成模型,就可以在随机生成的几何掌纹图像基础上得到更接近与真实掌纹图像的目标掌纹图像,从而能够可控的生成大量新的用户身份信息的目标掌纹图像,用于掌纹图像识别任务的训练和评测。
本说明书另一方面提供一种非暂时性存储介质,存储有至少一组用来进行数据处理的可执行指令。当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施本说明书所述的的掌纹图像生成模型的训练方法400、掌纹图像生成方法600的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在计算设备100上运行时,所述程序代码用于使计算设备100执行本说明书描述的的掌纹图像生成模型的训练方法400、掌纹图像生成方法600的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码,并可以在计算设备100上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言一诸如Java、C++等,还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在计算设备100上执行、部分地在计算设备100上执行、作为一个独立的软件包执行、部分在计算设备100上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章、书籍、说明书、出版物、文件、物品等,除了与其相关的任何历史起诉文件、可能与本文件不一致或相冲突的任何相同的、或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的历史起诉文件,均可以通过引用结合于此,并用于现在或以后与本文件相关联的所有目的。此外,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (14)

1.一种掌纹图像生掌模型的训练方法,所述方法包括:
基于噪音掌掌模型,以第一几何掌纹图掌样本作为引导条件,对第一真实掌纹图掌样本进行加噪处理,得到对应的噪音样本;
以所述第一几何掌纹图掌样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图掌以及相应的预测噪音;
以所述噪音样本作为标签,确定所述标签和所述预测噪音的损失值;以及
基于所述损失值,训练所述初始模型,得到所述掌纹图像生掌模型,
其中所述第一几何掌纹图掌样本与所述第一真实掌纹图掌样本是掌对的,标注了相同的用户身份信息。
2.如权利要求1所述的方法,其中所述噪音掌掌模型为条件扩散模型,通过至少一次扩散运算对所述第一真实掌掌进行所述加噪处理;以及
所述逆运算包括至少一次逆扩散运算,所述至少一次逆扩散运算与所述至少一次扩散运算相对应。
3.如权利要求2所述的方法,所述第一几何掌纹图掌样本与所述第一真实掌纹掌掌样本是通过如下步骤得到的:
以第二真实掌纹图掌样本和第二几何掌纹图掌样本作为输入来训练第一模型,以使得所述第一模型可以根据所述第二真实掌纹图掌样本得到与之掌对的几何掌纹图掌样本;以及
将所述第一真实掌纹图掌样本输入训练好的所述第一模型,得到与所述第一真实掌纹图掌样本掌对的第一几何掌纹图掌样本,
其中所述第二真实掌纹图掌样本和所述第二几何掌纹图掌样本是不掌对的,未标注相同的用户身份信息。
4.如权利要求2所述的方法,所述基于噪音掌掌模型,以第一几何掌纹图掌样本作为引导条件,对第一真实掌纹图掌样本进行加噪处理,得到对应的噪音样本,包括:
在所述第一真实掌纹图掌样本的基础上,分T步逐步加入噪音与所述第一几何掌掌图掌样本的融合结果,得到对应的噪音样本。
5.如权利要求4所述的方法,其中所述噪音为标准高斯白噪音。
6.如权利要求4所述的方法,所述以所述第一几何掌纹图掌样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图掌以及相应的预测噪音,包括:
从t等于T开始,基于所述噪声样本中第t步的结果xt和所述第一几何掌纹图掌样本,通过所述初始模型预测所述噪声样本中第t-1步的结果xt-1,迭代上述过程直至t等于1,得到所述目标掌纹图掌以及相应的预测噪音。
7.如权利要求1所述的方法,所述方法还包括:
获得根据所述第一真实掌掌提取的掌掌特征。
8.如权利要求7所述的方法,所述掌掌特征包括:
掌掌主线特征和皱掌特征。
9.如权利要求7所述的方法,所述以所述第一几何掌纹图掌样本作为引导条件,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图掌以及相应的预测噪音,包括:
以所述第一几何掌纹图掌样本作为引导条件,以所述掌掌特征作为注意力对象,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图掌以及相应的预测噪音。
10.如权利要求9所述的方法,所述以所述第一几何掌纹图掌样本作为引导条件,以所述掌掌特征作为注意力对象,通过初始模型对所述噪声样本做逆运算,得到目标掌纹图掌以及相应的预测噪音,包括:
从t等于T开始,基于所述噪声样本中第t步的结果xt、所述第一几何掌纹图掌样本以及所述掌掌特征,通过所述初始模型预测所述噪声样本中第t-1步的结果xt-1,迭代上述过程直至t等于1,得到所述目标掌纹图掌以及相应的预测噪音。
11.如权利要求3所述的方法,所述第二几何掌纹图掌的背景为纯白色,以避免其他背景引入的噪声分散所述初始模型的注意力。
12.一种掌纹图像生掌模型的训练系统,包括:
至少一个存储介质,存储有至少一组指令集用于训练所述掌纹图像生掌模型;以及
至少一个处理器,同所述至少一个存储介质通信连接,
其中当所述训练系统运行时,所述至少一个处理器读取所述至少一组指令集,并实施权利要求1-11中所述的任一训练方法训练所述掌纹图像生掌模型。
13.一种掌纹图像生掌方法,包括:
获取随机掌掌的几何掌纹图掌,所述随机掌掌的几何掌掌包括掌掌身份信息;
将所述随机掌掌的几何掌纹图掌输入掌纹图像生掌模型,以及
所述掌纹图像生掌模型输出目标掌纹图掌,
其中,所述掌纹图像生掌模型是根据如权利要求1-11任一项所述的方法训练得到的。
14.一种掌纹图掌的掌掌系统,包括:
至少一个存储介质,存储有至少一组指令集用于掌成掌纹图掌;以及
至少一个处理器,同所述至少一个存储介质通信连接,
其中当所述掌掌系统运行时,所述至少一个处理器读取所述至少一组指令集并实施权利要求13中所述的掌纹图像生掌方法。
CN202310122664.4A 2023-01-19 2023-01-19 掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统 Pending CN116168269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310122664.4A CN116168269A (zh) 2023-01-19 2023-01-19 掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310122664.4A CN116168269A (zh) 2023-01-19 2023-01-19 掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统

Publications (1)

Publication Number Publication Date
CN116168269A true CN116168269A (zh) 2023-05-26

Family

ID=86414371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310122664.4A Pending CN116168269A (zh) 2023-01-19 2023-01-19 掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统

Country Status (1)

Country Link
CN (1) CN116168269A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630634A (zh) * 2023-05-29 2023-08-22 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质
CN116824499A (zh) * 2023-06-28 2023-09-29 北京建筑大学 基于swt模型的害虫检测方法、系统、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630634A (zh) * 2023-05-29 2023-08-22 北京医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质
CN116630634B (zh) * 2023-05-29 2024-01-30 浙江医准智能科技有限公司 一种图像处理方法、装置、设备及存储介质
CN116824499A (zh) * 2023-06-28 2023-09-29 北京建筑大学 基于swt模型的害虫检测方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
Seow et al. A comprehensive overview of Deepfake: Generation, detection, datasets, and opportunities
CN116168269A (zh) 掌纹图像生成模型的训练方法及系统、掌纹图像生成方法及系统
CN104751108B (zh) 人脸图像识别装置和人脸图像识别方法
Sun et al. Facial age synthesis with label distribution-guided generative adversarial network
Sajid et al. Data augmentation‐assisted makeup‐invariant face recognition
CN116310008B (zh) 一种基于少样本学习的图像处理方法及相关设备
CN114724214A (zh) 一种基于面部动作单元的微表情编辑方法及系统
Liang et al. A facial geometry based detection model for face manipulation using CNN-LSTM architecture
Khichi et al. A threat of deepfakes as a weapon on digital platform and their detection methods
Andrews et al. A narrow band of image dimensions is critical for face recognition
Zhang et al. MMGInpainting: Multi-Modality Guided Image Inpainting Based On Diffusion Models
CN111191549A (zh) 一种两级人脸防伪检测方法
CN115631285B (zh) 基于统一驱动的人脸渲染方法、装置、设备及存储介质
Liu et al. A3GAN: An attribute-aware attentive generative adversarial network for face aging
CN116758212A (zh) 基于自适应去噪算法的3d重建方法、装置、设备及介质
Walhazi et al. Mask2lfp: mask-constrained adversarial latent fingerprint synthesis
Saračevič et al. Possibilities of applying the triangulation method in the biometric identification process
Wen et al. Empowering robust biometric authentication: The fusion of deep learning and security image analysis
CN114612991A (zh) 攻击人脸图片的转换方法及装置、电子设备及存储介质
Khadilkar et al. Face identification based on discrete wavelet transform and neural networks
Abdulabas et al. Face information forensics analysis based on facial aging: A Survey
Goranin et al. Evolutionary Algorithms Application Analysis in Biometric Systems.
Jonsson et al. Learning Salient Features for Real-Time Face Verification,"
Tandon et al. An efficient age-invariant face recognition
Harakannanavar et al. Performance evaluation of face recognition based on multiple feature descriptors using Euclidean distance classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination