CN112651389A - 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置 - Google Patents

非正视虹膜图像的矫正模型训练、矫正、识别方法及装置 Download PDF

Info

Publication number
CN112651389A
CN112651389A CN202110076388.3A CN202110076388A CN112651389A CN 112651389 A CN112651389 A CN 112651389A CN 202110076388 A CN202110076388 A CN 202110076388A CN 112651389 A CN112651389 A CN 112651389A
Authority
CN
China
Prior art keywords
iris image
iris
orthophoria
affine transformation
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110076388.3A
Other languages
English (en)
Other versions
CN112651389B (zh
Inventor
苗迪
刘京
张慧
王雅丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Irisking Science & Technology Co ltd
Original Assignee
Beijing Irisking Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Irisking Science & Technology Co ltd filed Critical Beijing Irisking Science & Technology Co ltd
Priority to CN202110076388.3A priority Critical patent/CN112651389B/zh
Publication of CN112651389A publication Critical patent/CN112651389A/zh
Application granted granted Critical
Publication of CN112651389B publication Critical patent/CN112651389B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种非正视虹膜图像的矫正模型训练、矫正、识别方法及装置，该训练方法包括：利用仿射变换参数对第一正视虹膜图像仿射变换，得到非正视虹膜图像；将第一正视虹膜图像、仿射变换得到非正视虹膜图像及仿射变换参数输入至深度卷积神经网络，得到仿射变换逆变换参数；利用训练得到的仿射变换逆变换参数对非正视虹膜图像进行仿射逆变换，得到矫正后的非正视虹膜图像；比对矫正后的非正视虹膜图像与第二正视虹膜图像，得到比对结果；计算比对结果与比对阈值的距离与训练得到的仿射变换逆变换参数和仿射变换逆变换参数的距离，以得到损失函数，训练深度卷积神经网络，得到非正视虹膜图像矫正模型。通过上述方案能够提高虹膜识别的准确率。

Description

非正视虹膜图像的矫正模型训练、矫正、识别方法及装置
技术领域
本发明涉及虹膜图像识别技术领域，尤其涉及一种非正视虹膜图像的矫正模型训练、矫正、识别方法及装置。
背景技术
基于计算机视觉的虹膜识别，是将图像中环状虹膜区域的纹理提取出来，编码后与数据库中的虹膜模板进行比对。在人眼虹膜采集识别过程中，用户姿态是不可控的。当用户的双目不能保持正视时，采集设备采集到的图像就会出现虹膜图像偏转现象。然而，利用出现偏转的虹膜图像(即非正视虹膜图像)进行虹膜识别时，虹膜识别准确率较低。
发明内容
有鉴于此，本发明提供了一种非正视虹膜图像矫正模型训练方法、虹膜图像矫正方法、虹膜识别方法、电子设备及计算机可读存储介质，以解决非正视虹膜图像的虹膜识别准确率不高的问题。
为了达到以上目的，本发明采用以下方案实现：
根据本发明实施例的一个方面，提供了一种非正视虹膜图像矫正模型训练方法，包括：
获取训练样本集，所述训练样本集中的每个训练样本包含同一人眼的第一正视虹膜图像、第二正视虹膜图像、用于将正视虹膜图像变换至一组设定注视姿势中的一种注视姿态的非正视虹膜图像的仿射变换参数、以及所述仿射变换矩阵对应的仿射变换逆变换参数；
利用训练样本中的仿射变换参数对相应训练样本中的第一正视虹膜图像进行仿射变换，得到通过仿射变换得到的非正视虹膜图像；
将训练样本的第一正视虹膜图像、通过仿射变换得到非正视虹膜图像、及仿射变换参数输入至深度卷积神经网络，得到通过训练得到的仿射变换逆变换参数；
利用通过训练得到的仿射变换逆变换参数对相应训练样本中的非正视虹膜图像进行仿射变换逆变换，得到矫正后的非正视虹膜图像；
对矫正后的非正视虹膜图像与相应训练样本中的第二正视虹膜图像进行虹膜比对，得到虹膜比对结果；
计算虹膜比对结果与设定比对阈值的第一距离，计算通过训练得到的仿射变换逆变换参数和相应训练样本中仿射变换逆变换参数的第二距离，并根据所述第一距离和所述第二距离得到损失函数；
将所述损失函数返回至所述深度卷积神经网络，以训练所述深度卷积神经网络，并在满足设定训练要求的情况下，根据训练后的深度卷积神经网络得到非正视虹膜图像矫正模型。
在一些实施例中，所述设定训练要求为训练后的深度卷积神经网络对应的损失函数不大于设定阈值，或达到设定训练次数。
在一些实施例中，所述一组设定注视姿势包括多个注视姿势。
在一些实施例中，所述虹膜比对结果为比对分数，所述设定比对阈值为设定比对分数阈值。
在一些实施例中，对所述矫正后的非正视虹膜图像与相应训练样本中的第二正视虹膜图像进行虹膜比对，得到虹膜比对结果，包括：
对所述矫正后的非正视虹膜图像进行虹膜特征提取，得到第一特征向量，对相应训练样本中的第二正视虹膜图像进行虹膜特征提取，得到第二特征向量；
计算所述第一特征向量与所述第二特征向量的相似度，得到相似度分数，作为虹膜比对结果。
根据本发明实施例的另一个方面，提供了一种虹膜图像矫正方法，包括：
获取待矫正注视姿势的虹膜图像和利用上述任一实施例所述的非正视虹膜图像矫正模型训练方法得到的非正视虹膜图像矫正模型；
将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，得到矫正后的虹膜图像。
在一些实施例中，将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，得到相应的仿射变换逆变换参数；利用所述仿射变换逆变换参数对所述待矫正注视姿势的虹膜图像进行仿射变换逆变换，得到矫正后的虹膜图像。
根据本发明实施例的又一个方面，提供了一种虹膜识别方法，包括：
获取待识别的虹膜图像；
利用上述任一实施例所述的虹膜图像矫正方法对待识别的虹膜图像进行注视姿势矫正，得到矫正后的虹膜图像；
利用矫正后的虹膜图像进行虹膜识别，得到所述虹膜图像的虹膜识别结果。
根据本发明实施例的又一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述方法的步骤。
根据本发明实施例的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述方法的步骤。
本发明实施例的非正视虹膜图像矫正模型训练方法、虹膜图像矫正方法、虹膜识别方法、电子设备及计算机可读存储介质，通过深度卷积神经网络输出仿射变换逆变换参数，利用输出的仿射变换逆变换参数矫正虹膜图像，并计算输出的仿射变换逆变换参数和实际仿射变换逆变换参数的参数距离，根据矫正的虹膜图像和实际正视虹膜图像的对比结果计算参数距离，以及利用两个参数距离得到损失函数来训练深度卷积神经网络，以此得到的非正视虹膜图像矫正模型能够容易并准确地将非正视虹膜图像矫正为正视虹膜图像，进而能够利用矫正后的虹膜图像进行虹膜识别，提高了对非正视虹膜图像的识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1是本发明一实施例的非正视虹膜图像矫正模型训练方法的流程示意图；
图2是本发明一实施例的虹膜图像矫正方法的流程示意图；
图3是本发明一实施例的虹膜识别方法的流程示意图；
图4是本发明一具体实施例的非正视虹膜图像矫正模型训练方法的流程示意图；
图5是本发明一具体实施例的虹膜识别方法的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
当用户双目为非正视时，采集到的虹膜图像发生偏转，例如，呈椭圆形状等。而现有的虹膜识别系统在处理虹膜图像时，无论图像中虹膜区域是圆环还是椭圆形环状区域，均会按照圆环状提取虹膜纹理区域。在利用现有系统处理非正视虹膜图像时，会导致圆环状区域不仅含有虹膜纹理，还有瞳孔和巩膜区域。在后续特征提取过程中，本应提取到虹膜纹理特征的位置，会误提取到瞳孔或巩膜区域的特征。当虹膜非正视程度严重时，系统无法快速、准确地完成虹膜识别，最终特征比对失败。
基于上述分析，为了提高虹膜识别的准确率，本发明实施例提供了一种非正视虹膜图像矫正模型训练方法，以通过该训练方法生成的非正视虹膜图像矫正模型矫正非正视虹膜图像，从而可以通过利用矫正后的虹膜图像进行虹膜识别来提高虹膜识别准确率。
图1是本发明一实施例的非正视虹膜图像矫正模型训练方法的流程示意图。参见图1，该非正视虹膜图像矫正模型训练方法可包括以下步骤S110至步骤S170。
下面将对步骤S110至步骤S170的具体实施方式进行具体说明。
步骤S110：获取训练样本集，所述训练样本集中的每个训练样本包含同一人眼的第一正视虹膜图像、第二正视虹膜图像、用于将正视虹膜图像变换至一组设定注视姿势中的一种注视姿态的非正视虹膜图像的仿射变换参数、以及所述仿射变换矩阵对应的仿射变换逆变换参数。
该步骤S110中，可以预先准备好训练样本集，该训练样本集中可以有大量训练样本。不同训练样本可以包含不同人眼的虹膜图像。同一训练样本中的第一正视虹膜图像和第二正视虹膜图像可以是不同时候拍摄的同一人眼正对虹膜采集设备时的两幅虹膜图像。
一套仿射变换参数，结合固定的仿射变换框架，可以得到一个仿射变换矩阵。一个仿射变换矩阵可以将一幅正视虹膜图像变换至一种非正视姿态的虹膜图像。所述一组设定注视姿势中所包含的注视姿势的个数可以根据双目通常偏转的情况、精度要求等进行确定，例如，可以包括多个注视姿势，在需要的情况下，该组设定注视姿势也可以仅包含一个注视姿势。
所述训练样本集中，正视虹膜图像与不同注视姿态的非正视虹膜图像可以对应不同的仿射变换矩阵，即每组正视虹膜图像和不同注视姿态的非正视虹膜图像可利用与其对应的不同仿射变换参数进行仿射变换。
步骤S120：利用训练样本中的仿射变换参数对相应训练样本中的第一正视虹膜图像进行仿射变换，得到通过仿射变换得到的非正视虹膜图像。
该步骤S120中，利用对应一种仿射变换的训练样本中的仿射变换参数，结合固定的仿射变换框架，进行仿射变换，能够将第一正视虹膜图像中的每一个像素投影到一种注视姿态的非正视虹膜图像中的指定位置，从而得到该种注视姿态的非正视虹膜图像。对于对应不同仿射变换的训练样本中的仿射变换参数，可以变换得到不同注视姿态的非正视虹膜图像。正视虹膜图像和非正视虹膜图像之间的映射关系可以表示为：
u＝a1x+b1y+c1
v＝a2x+b2y+c2
该映射关系对应的齐次坐标矩阵可表示为：
Figure BDA0002907628320000051
其中，x和y表示正视虹膜图像中任意一个像素点的行坐标和列坐标，u和v表示该像素点投影到一种注视姿态的非正视虹膜图像后的行坐标和列坐标。a1、b1、c1、a2、b2、c2为正视虹膜图像变换至非正视虹膜图像的仿射变换的参数，齐次坐标矩阵为第一正视虹膜图像变换至非正视虹膜图像对应的仿射变换矩阵。
在将正视虹膜图像变换至非正视虹膜图像的仿射变换过程中，仿射变换矩阵中的仿射变换参数a1、b1、c1、a2、b2、c2确定，仿射变换也就确定，变换得到的非正视虹膜图像中的虹膜注视姿态也就确定了。
步骤S130：将训练样本的第一正视虹膜图像、通过仿射变换得到非正视虹膜图像、及仿射变换参数输入至深度卷积神经网络，得到通过训练得到的仿射变换逆变换参数。
该步骤S130中，该深度卷积神经网络可以采用各种深度卷积神经网络结构。将正视虹膜图像、仿射变换得到非正视虹膜图像及仿射变换参数输入至深度卷积神经网络，进行回归训练，可以输出预测的仿射变换逆变换参数。通过训练深度卷积神经网络，可使得预测得到的仿射变换逆变换参数与该训练样本中将非正视虹膜图像变换回至第一正视虹膜图像的实际仿射变换逆变换参数相近。
步骤S140：利用通过训练得到的仿射变换逆变换参数对相应训练样本中的非正视虹膜图像进行仿射变换逆变换，得到矫正后的非正视虹膜图像。
该步骤S140中，通过仿射变换逆变换(或为逆映射)可以将非正视虹膜图像映射回正视虹膜图像。训练样本中的非正视虹膜图像是通过对一幅正视虹膜图像做仿射变换得到，所以该仿射变换的参数是已知。而矫正后的非正视虹膜图像是通过预测的仿射变换逆变换得到的正视虹膜图像，若预测得到的仿射变换参数合适，则得到的该正视虹膜图像与实际的正视虹膜图像应具有较好的一致性。
步骤S150：对矫正后的非正视虹膜图像与相应训练样本中的第二正视虹膜图像进行虹膜比对，得到虹膜比对结果。
该步骤S150中，该第二正视虹膜图像与前述第一正视虹膜图像为同一人眼的两幅实际采集得到的正视虹膜图像。若预测得到的仿射变换参数较好，则该矫正后的非正视虹膜图像(变换得到的正视虹膜图像)与该人眼的任一实际采集得到的正视虹膜图像应具有较好的一致性。所以，该步骤中，通过将矫正后的非正视虹膜图像与不同于第一正视虹膜图像的第二正视虹膜图像进行虹膜比对，以此在后续步骤中计算损失函数，来训练深度卷积神经网络，能训练虹膜矫正不同虹膜图像采集背景、亮度等非注视姿态因素的影响。
另外，该虹膜比对结果可以为比对分数。在此情况下，具体实施时，该步骤S150，可包括步骤：S151，对矫正后的非正视虹膜图像进行虹膜特征提取，得到第一特征向量，对相应训练样本中的第二正视虹膜图像进行虹膜特征提取，得到第二特征向量；S152，计算所述第一特征向量与所述第二特征向量的相似度，得到相似度分数，作为虹膜比对结果。其中，该相似度例如可以为余弦相似度。
步骤S160：计算虹膜比对结果与设定比对阈值的第一距离，计算通过训练得到的仿射变换逆变换参数和相应训练样本中仿射变换逆变换参数的第二距离，并根据所述第一距离和所述第二距离得到损失函数。
该步骤S160中，在虹膜比对结果为比对分数的情况下，该设定比对阈值可以为设定比对分数阈值。可以利用各种能够反应虹膜比对结果与设定比对阈值之间差异的方法计算上述第一距离。可以利用各种能够反映预测(训练)得到的仿射变换逆变换参数和实际的仿射变换逆变换参数之间差异的方法计算上述的第二距离。根据该第一距离和该第二距离得到损失函数，能够同时考虑到变换参数的差异和图像的差异。
具体实施时，该损失函数L由的计算公式可以表示为：
L＝λ×Lδ+LT
其中，Lδ表示虹膜比对结果与设定比对阈值之间的第一距离，LT表示通过训练得到的仿射变换逆变换参数和相应训练样本中仿射变换逆变换参数的第二距离，λ表示平衡系数表示。
第一距离Lδ的计算公式可以表示为：
Lδ＝∑δ(S-V)
其中，δ(·)表示松弛变量函数，且
Figure BDA0002907628320000071
x表示相似度分数S与设定比对阈值V的差值；S表示相似度分数，V表示设定比对阈值，该设定比对阈值可为视实际情况自行设定的比对分数值。当比对分数高于设定比对阈值时，可以作为反映矫正后的非正视虹膜图像与第二正视虹膜图像之间差异大小的依据。
第二距离LT的计算公式可以表示为：
Figure BDA0002907628320000072
其中，TG表示通过训练得到的仿射变换逆变换参数矩阵，aG1、aG2、bG1、bG2、cG1、cG2表示该参数矩阵中的元素；TF表示相应训练样本集中的第一正视虹膜图像与通过仿射变换得到非正视虹膜图像的仿射变换逆变换参数矩阵，aF1、aF2、bF1、bF2、cF1、cF2表示该参数矩阵中的元素。
步骤S170：将所述损失函数返回至所述深度卷积神经网络，以训练所述深度卷积神经网络，并在满足设定训练要求的情况下，根据训练后的深度卷积神经网络得到非正视虹膜图像矫正模型。
该步骤S170中，该设定训练要求可以为训练后的深度卷积神经网络对应的损失函数不大于设定阈值，或者，可以为达到设定训练次数。
通过上述步骤S120至步骤S170进行一次损失函数的计算的损失函数值的返回，能够对所述深度卷积神经网络的参数进行一次优化，利用新的训练样本不断迭代执行步骤S120至步骤S170可以不断优化深度卷积神经网络的参数，待所述损失函数低于预先设定的阈值、或迭代训练次数超过预设的阈值，则终止训练，输出非正视虹膜图像矫正模型参数；否则，继续迭代执行步骤S120至步骤S170，继续训练优化所述深度卷积神经网络参数。
另外，基于与图1所示非正视虹膜图像矫正模型训练方法相同的发明构思，本发明实施例还提供了一种虹膜图像矫正方法，重复之处可以参照上述实施例的具体实施方式实施，不再赘述。
图2是本发明一实施例的虹膜图像矫正方法的流程示意图。如图2所示，该实施例的虹膜图像矫正方法，可包括：
步骤S210：获取待矫正注视姿势的虹膜图像和利用上述任一实施例所述的非正视虹膜图像矫正模型训练方法得到的非正视虹膜图像矫正模型；
步骤S220：将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，得到矫正后的虹膜图像。
其中，将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，可以得到相应的仿射变换逆变换参数，利用得到的仿射变换逆变换参数对该待矫正注视姿势的虹膜图像进行仿射变换逆变换，可以对非正视的虹膜图像进行矫正，得到正视的虹膜图像。矫正后的虹膜图像中的虹膜可以是与双目正视采集设备时的采集的虹膜的形状相同，例如，均为圆形。在此情况下，利用现有的虹膜识别系统对矫正后的图像进行识别时，可以得到较高的虹膜识别准确率。
另外，本发明实施例还提供了一种虹膜识别方法。图3是本发明一实施例的虹膜识别方法的流程示意图，如图3所示，该实施例的虹膜识别方法，可包括：
步骤S310：获取待识别的虹膜图像；
步骤S320：利用本发明任一实施例所述的虹膜图像矫正方法对待识别的虹膜图像进行注视姿势矫正，得到矫正后的虹膜图像；
步骤S330：利用矫正后的虹膜图像进行虹膜识别，得到所述虹膜图像的虹膜识别结果。
上述各实施例的虹膜图像矫正方法和虹膜识别方法的具体实施方式中，引用非正视虹膜图像矫正模型的训练方法或与非正视虹膜图像矫正模型的训练方法涉及相同或类似部分的内容，可以参照前述各实施例的非正视虹膜图像矫正模型的训练方法的具体实施方式实施，顾不赘述。
另外，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的非正视虹膜图像矫正模型训练方法、虹膜图像矫正方法、或虹膜识别方法所述的步骤。该电子设备可以为计算机、手机、笔记本电脑、平板电脑等设备，或者可以是对非正视虹膜图像矫正模型的生成装置、虹膜图像矫正装置、虹膜识别装置改进的设备。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例所述非正视虹膜图像矫正模型训练方法、虹膜图像矫正方法、或虹膜识别方法的步骤。
下面将以具体实施例说明本发明的实施方式，以使本领域技术人员更好地了解本发明。
图4是本发明一具体实施例的非正视虹膜图像矫正模型训练方法的流程示意图，参见图4，正视图像A为上述实施例所述非正视虹膜图像矫正模型训练样本集中的同一人眼的第一虹膜正视图像；变换E的参数为训练样本中相应训练样本中的第一正视虹膜图像进行仿射变换得到非正视虹膜图像的仿射变换参数；斜眼图像B为上述实施例所述非正视虹膜图像；正视图像C为上述实施例所述非正视虹膜图像矫正模型训练样本集中的同一人眼的第二虹膜正视图像；变换G的参数为上述实施例所述的将非正视虹膜图像矫正模型训练样本集中的第一正视虹膜图像、通过仿射变换得到非正视虹膜图像、及仿射变换参数输入至深度卷积神经网络，得到通过训练得到的仿射变换逆变换参数；变换F的参数为上述实施例所述的将非正视虹膜图像矫正模型训练样本集中的第一正视虹膜图像通过仿射变换得到非正视虹膜图像的仿射变换逆变换参数；矫正图像D为上述实施例中，通过训练得到的仿射变换逆变换参数对相应训练样本中的非正视虹膜图像进行仿射变换逆变换，得到矫正后的非正视虹膜图像。
该实施例的非正视虹膜图像矫正模型训练方法具体可包括以下步骤：
第一步，获取训练样本集，所述训练样本集包含正视图像A、正视图像C，用于将正视图像变换至一组设定注视姿势中的一种注视姿态的斜眼图像B的变换E参数，以及所述变换E对应的逆变换变换F的参数；
第二步，利用变换E参数对相应训练样本中的正视图像A进行变换E变换，得到斜眼图像B；
第三步，将正视图像A、斜眼图像B、及变换参数E输入至深度卷积神经网络，得到变换G参数；
第四步，利用变换G参数对斜眼图像B进行仿射变换逆变换，得到矫正图像D；
第五步，对矫正图像D与相应样本中的正视图像C进行虹膜比对，得到虹膜比对结果；
第六步，计算虹膜结果与设定比对阈值的第一距离，计算通过变换G与相应样本中变换F参数的第二距离，根据第一与第二距离得到损失函数，进行损失计算；
第七步，将上述步骤一至步骤六计算得到的损失函数返回至所述深度卷积神经网络，判断是否满足预设条件，若满足预设条件，输出深度卷积神经网络参数；若不满足条件，重复步骤一至六直至满足预设条件。
其中，该预设条件可以为：所述训练后的深度卷积神经网络对应的损失函数不大于设定阈值，或达到深度卷积神经网络设定训练次数。
图5是本发明一具体实施例的虹膜识别方法的流程示意图，参见图5，原始虹膜图像为上述实施例中所述的待识别的虹膜图像；神经网络模型为利用上述实施例中所述的非正视虹膜图像矫正模型训练方法得到的非正视虹膜图像矫正模型；仿射变换参数为将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，得到相应的仿射变换逆变换参数；矫正虹膜图像为利用所述仿射变换逆变换参数对所述待矫正注视姿势的虹膜图像进行仿射变换逆变换得到的矫正后的虹膜图像。
该实施例的虹膜识别方法具体可包括以下步骤：
第一步，获取原始虹膜图像；
第二步，输入原始虹膜图像至神经网络模型，得到相应的仿射变换参数；
第三步，利用仿射变换参数对原始虹膜图像进行仿射变换，得到矫正后的虹膜图像；
第四步，进行虹膜识别。
该实施例中，虹膜识别之前，基于深度卷积神经网络进行斜眼矫正时，该神经网络用于学习矫正图像所用的仿射变换；然后利用矫正后的虹膜图像进行虹膜识别，可以进行图像到识别一体化的斜眼虹膜识别，所用的矫正方法也是以识别为目的得到的，所以矫正图像可以得到更好地虹膜识别结果。通过本实施例的方案，能够对虹膜识别中出现频率较高的非正视虹膜图像进行识别，从而提升虹膜识别系统的准确性和易用性；图像矫正的方法可以由神经网络自动给出，无需人工设定矫正的方法，具有很强的实用性；而且神经网络的训练，可以以面向提升矫正后图像的识别准确率为参考，因此，所提出的矫正方法有助于提升系统对斜眼虹膜图像识别的准确率。
综上所述，本发明实施例的非正视虹膜图像矫正模型的训练方法、虹膜图像矫正方法、虹膜识别方法、电子设备及计算机可读存储介质，通过深度卷积神经网络输出仿射变换逆变换参数，利用输出的仿射变换逆变换参数矫正虹膜图像，并计算输出的仿射变换逆变换参数和实际仿射变换逆变换参数的参数距离，根据矫正的虹膜图像和实际正视虹膜图像的对比结果计算参数距离，以及利用两个参数距离得到损失函数来训练深度卷积神经网络，以此得到的非正视虹膜图像矫正模型能够容易并准确地将非正视虹膜图像矫正为正视虹膜图像，进而能够利用矫正后的虹膜图像进行虹膜识别，提高了对非正视虹膜图像的识别准确率。
在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种非正视虹膜图像矫正模型训练方法，其特征在于，所述方法包括：
获取训练样本集，所述训练样本集中的每个训练样本包含同一人眼的第一正视虹膜图像、第二正视虹膜图像、用于将正视虹膜图像变换至一组设定注视姿势中的一种注视姿态的非正视虹膜图像的仿射变换参数、以及所述仿射变换矩阵对应的仿射变换逆变换参数；
利用训练样本中的仿射变换参数对相应训练样本中的第一正视虹膜图像进行仿射变换，得到通过仿射变换得到的非正视虹膜图像；
将训练样本的第一正视虹膜图像、通过仿射变换得到非正视虹膜图像、及仿射变换参数输入至深度卷积神经网络，得到通过训练得到的仿射变换逆变换参数；
利用通过训练得到的仿射变换逆变换参数对相应训练样本中的非正视虹膜图像进行仿射变换逆变换，得到矫正后的非正视虹膜图像；
对矫正后的非正视虹膜图像与相应训练样本中的第二正视虹膜图像进行虹膜比对，得到虹膜比对结果；
计算虹膜比对结果与设定比对阈值的第一距离，计算通过训练得到的仿射变换逆变换参数和相应训练样本中仿射变换逆变换参数的第二距离，并根据所述第一距离和所述第二距离得到损失函数；
将所述损失函数返回至所述深度卷积神经网络，以训练所述深度卷积神经网络，并在满足设定训练要求的情况下，根据训练后的深度卷积神经网络得到非正视虹膜图像矫正模型。
2.如权利要求1所述的非正视虹膜图像矫正模型训练方法，其特征在于，所述设定训练要求为训练后的深度卷积神经网络对应的损失函数不大于设定阈值，或达到设定训练次数。
3.如权利要求1所述的非正视虹膜图像矫正模型训练方法，其特征在于，所述一组设定注视姿势包括多个注视姿势。
4.如权利要求1所述的非正视虹膜图像矫正模型训练方法，其特征在于，所述虹膜比对结果为比对分数，所述设定比对阈值为设定比对分数阈值。
5.如权利要求4所述的非正视虹膜图像矫正模型训练方法，其特征在于，对矫正后的非正视虹膜图像与相应训练样本中的第二正视虹膜图像进行虹膜比对，得到虹膜比对结果，包括：
对矫正后的非正视虹膜图像进行虹膜特征提取，得到第一特征向量，对相应训练样本中的第二正视虹膜图像进行虹膜特征提取，得到第二特征向量；
计算所述第一特征向量与所述第二特征向量的相似度，得到相似度分数，作为虹膜比对结果。
6.一种虹膜图像矫正方法，其特征在于，包括：
获取待矫正注视姿势的虹膜图像和利用如权利要求1至5任一项所述的非正视虹膜图像矫正模型训练方法得到的非正视虹膜图像矫正模型；
将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，得到矫正后的虹膜图像。
7.如权利要求6所述的虹膜图像矫正方法，其特征在于，将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，得到矫正后的虹膜图像，包括：
将待矫正注视姿势的虹膜图像输入至所述非正视虹膜图像矫正模型，得到相应的仿射变换逆变换参数；
利用所述仿射变换逆变换参数对所述待矫正注视姿势的虹膜图像进行仿射变换逆变换，得到矫正后的虹膜图像。
8.一种虹膜识别方法，其特征在于，包括：
获取待识别的虹膜图像；
利用如权利要求6或7所述的虹膜图像矫正方法对待识别的虹膜图像进行注视姿势矫正，得到矫正后的虹膜图像；
利用矫正后的虹膜图像进行虹膜识别，得到所述虹膜图像的虹膜识别结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至8任一项所述方法的步骤。
CN202110076388.3A 2021-01-20 2021-01-20 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置 Active CN112651389B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110076388.3A CN112651389B (zh) 2021-01-20 2021-01-20 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110076388.3A CN112651389B (zh) 2021-01-20 2021-01-20 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置

Publications (2)

Publication Number Publication Date
CN112651389A true CN112651389A (zh) 2021-04-13
CN112651389B CN112651389B (zh) 2023-11-14

Family

ID=75370928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110076388.3A Active CN112651389B (zh) 2021-01-20 2021-01-20 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置

Country Status (1)

Country Link
CN (1) CN112651389B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361380A (zh) * 2021-06-03 2021-09-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
CN114758407A (zh) * 2022-06-17 2022-07-15 慧眼识真(北京)电子科技有限公司 一种基于仿射变换的虹膜视角矫正方法
WO2023088069A1 (zh) * 2021-11-19 2023-05-25 北京眼神智能科技有限公司 虹膜识别方法、装置、存储介质及设备
WO2024045442A1 (zh) * 2022-08-30 2024-03-07 青岛云天励飞科技有限公司 图像矫正模型的训练方法、图像矫正方法、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161325A1 (en) * 2012-12-10 2014-06-12 Sri International Iris biometric matching system
US20140355841A1 (en) * 2013-06-04 2014-12-04 Ut-Battelle, Llc Frontal view reconstruction for iris recognition
CN104751186A (zh) * 2015-04-10 2015-07-01 山东师范大学 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN108470152A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 基于红外的3d四维虹膜数据采集方法及系统
CN109074471A (zh) * 2015-12-30 2018-12-21 北京释码大华科技有限公司 一种基于主动外观模型的虹膜区域分割方法及装置
CN110321773A (zh) * 2018-03-30 2019-10-11 托比股份公司 使用校准参数的用于三维（3d）注视预测的神经网络训练
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及系统
CN111553880A (zh) * 2020-03-26 2020-08-18 北京中科虹霸科技有限公司 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置
CN111798404A (zh) * 2019-04-04 2020-10-20 上海点与面智能科技有限公司 基于深度神经网络的虹膜图像质量评估方法及评估系统
CN111950461A (zh) * 2020-08-13 2020-11-17 南京邮电大学 基于卷积神经网络的形变检测与矫正的手指静脉识别方法
CN111985265A (zh) * 2019-05-21 2020-11-24 华为技术有限公司 图像处理方法和装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161325A1 (en) * 2012-12-10 2014-06-12 Sri International Iris biometric matching system
US20140355841A1 (en) * 2013-06-04 2014-12-04 Ut-Battelle, Llc Frontal view reconstruction for iris recognition
CN104751186A (zh) * 2015-04-10 2015-07-01 山东师范大学 一种基于bp网络和小波变换的虹膜图像质量分类方法
CN109074471A (zh) * 2015-12-30 2018-12-21 北京释码大华科技有限公司 一种基于主动外观模型的虹膜区域分割方法及装置
CN108470152A (zh) * 2018-02-14 2018-08-31 天目爱视（北京）科技有限公司 基于红外的3d四维虹膜数据采集方法及系统
CN110321773A (zh) * 2018-03-30 2019-10-11 托比股份公司 使用校准参数的用于三维（3d）注视预测的神经网络训练
CN111798404A (zh) * 2019-04-04 2020-10-20 上海点与面智能科技有限公司 基于深度神经网络的虹膜图像质量评估方法及评估系统
CN111985265A (zh) * 2019-05-21 2020-11-24 华为技术有限公司 图像处理方法和装置
CN110796101A (zh) * 2019-10-31 2020-02-14 广东光速智能设备有限公司 一种嵌入式平台的人脸识别方法及系统
CN111553880A (zh) * 2020-03-26 2020-08-18 北京中科虹霸科技有限公司 模型生成方法、标签标注方法、虹膜图像质量评价方法及装置
CN111950461A (zh) * 2020-08-13 2020-11-17 南京邮电大学 基于卷积神经网络的形变检测与矫正的手指静脉识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JOSEPH THOMPSON等: "Assessing the Impact of Corneal Refraction and Iris Tissue Non-Planarity on Iris Recognition", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》, vol. 14, no. 8, pages 2102 - 2112, XP011724978, DOI: 10.1109/TIFS.2018.2869342 *
任冬淳等: "一种基于标准化人眼图像的视线估计算法", 《电子学报》, vol. 43, no. 3, pages 536 - 543 *
宋春仙: "非理想情况下的虹膜识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 4, pages 138 - 856 *
张艺涵: "变电站巡检机器人双目立体视觉关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 7, pages 138 - 1753 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361380A (zh) * 2021-06-03 2021-09-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
CN113361380B (zh) * 2021-06-03 2023-04-07 上海哔哩哔哩科技有限公司 人体关键点检测模型训练方法、检测方法及装置
WO2023088069A1 (zh) * 2021-11-19 2023-05-25 北京眼神智能科技有限公司 虹膜识别方法、装置、存储介质及设备
CN114758407A (zh) * 2022-06-17 2022-07-15 慧眼识真(北京)电子科技有限公司 一种基于仿射变换的虹膜视角矫正方法
CN114758407B (zh) * 2022-06-17 2022-09-20 慧眼识真(北京)电子科技有限公司 一种基于仿射变换的虹膜视角矫正方法
WO2024045442A1 (zh) * 2022-08-30 2024-03-07 青岛云天励飞科技有限公司 图像矫正模型的训练方法、图像矫正方法、设备及存储介质

Also Published As

Publication number Publication date
CN112651389B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN112651389B (zh) 非正视虹膜图像的矫正模型训练、矫正、识别方法及装置
US9697602B1 (en) System and method for auto-contouring in adaptive radiotherapy
CN111832383B (zh) 姿态关键点识别模型的训练方法、姿态识别方法及装置
CN110427799B (zh) 基于生成对抗网络的人手深度图像数据增强方法
CN110110600B (zh) 眼部oct图像病灶识别方法、装置及存储介质
US20220148333A1 (en) Method and system for estimating eye-related geometric parameters of a user
CN107423306B (zh) 一种图像检索方法及装置
EP3503023B1 (en) Improved age modelling method
CN111080592B (zh) 一种基于深度学习的肋骨提取方法及装置
CN111598087B (zh) 不规则文字的识别方法、装置、计算机设备及存储介质
EP3121788B1 (en) Image feature estimation method and device
CN109829857B (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN111316283B (zh) 姿势识别方法及装置
CN111507304B (zh) 自适应刚性先验模型训练方法、人脸跟踪方法及相关装置
KR101444816B1 (ko) 얼굴 인상 변환을 위한 영상처리방법 및 영상처리장치
CN117011856A (zh) 基于深度强化学习的手写笔迹骨架细化方法、系统、设备、介质
JP2011232845A (ja) 特徴点抽出装置および方法
CN112837318B (zh) 超声图像生成模型的生成方法、合成方法、介质及终端
CN116433809A (zh) 表情驱动方法、以及模型训练方法
CN110119674B (zh) 一种作弊检测的方法、装置、计算设备及计算机存储介质
CN110334667B (zh) 基于ircnn和mtcnn的具有尺度旋转不变性的静脉识别方法及系统
CN111985510B (zh) 生成模型训练方法、图像生成方法及装置、介质、终端
CN114862665B (zh) 红外人脸图像的生成方法、生成装置和设备终端
JP6375778B2 (ja) 画像処理方法および画像処理装置
KR102374141B1 (ko) 유연한 가상 피팅 이미지 생성을 위한 의상영역 제거 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant