CN116704590A - 虹膜图像的矫正模型训练方法、矫正方法、装置及介质 - Google Patents

虹膜图像的矫正模型训练方法、矫正方法、装置及介质 Download PDF

Info

Publication number
CN116704590A
CN116704590A CN202310615061.8A CN202310615061A CN116704590A CN 116704590 A CN116704590 A CN 116704590A CN 202310615061 A CN202310615061 A CN 202310615061A CN 116704590 A CN116704590 A CN 116704590A
Authority
CN
China
Prior art keywords
iris image
feature
iris
image
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310615061.8A
Other languages
English (en)
Inventor
张小亮
王明魁
李茂林
魏衍召
杨占金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Superred Technology Co Ltd
Original Assignee
Beijing Superred Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Superred Technology Co Ltd filed Critical Beijing Superred Technology Co Ltd
Priority to CN202310615061.8A priority Critical patent/CN116704590A/zh
Publication of CN116704590A publication Critical patent/CN116704590A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及一种虹膜图像的矫正模型训练方法、矫正方法、装置及介质，其中矫正模型训练方法包括：获取至少一个正视虹膜图像和每个正视虹膜图像对应的畸变虹膜图像；将各畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征；根据重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像；根据正视虹膜图像对矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；基于重建虹膜图像和正视虹膜图像，对重建虹膜图像进行语义特征损失约束，并对初始矫正模型进行调整，得到目标矫正模型。本申请具有提升对畸变虹膜图像矫正的效率的效果。

Description

虹膜图像的矫正模型训练方法、矫正方法、装置及介质
技术领域
本申请涉及虹膜图像识别技术领域，具体涉及一种虹膜图像的矫正模型训练方法、矫正方法、装置及介质。
背景技术
目前，虹膜识别系统的应用越来越普遍，它是基于眼睛中的虹膜进行身份识别的智能系统。虹膜识别技术是人体生物识别技术的一种。虹膜的高度稳定性、独特性及不可更改的特点，是虹膜可用作身份鉴别的物质基础。在现有的虹膜识别系统中，对虹膜区域进行归一化展开时，多采用圆形模型，而虹膜区域也是圆环型，在采用圆形模型对采集的虹膜图像进行比对时，需要进行多次旋转，从而完成最终的虹膜识别。
但是虹膜识别系统在采集虹膜图像时，由于被采集人员不能保持正视采集相机，使得采集的虹膜图像存在斜视、旋转的情况，即采集到畸变虹膜图像，进而使得在比对虹膜图像时，旋转的次数增多，降低对畸变虹膜图像矫正的效率。
发明内容
为了提升对畸变虹膜图像矫正的效率，本申请提供一种虹膜图像的矫正模型训练方法、矫正方法、装置及介质。
在本申请的第一方面提供了一种虹膜图像的矫正模型训练方法，具体包括：
获取至少一个正视虹膜图像和每个所述正视虹膜图像对应的畸变虹膜图像；
将各所述畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征；
根据所述重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对所述瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像；
根据所述正视虹膜图像对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
基于所述重建虹膜图像和所述正视虹膜图像，对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整，得到目标矫正模型。
通过采用上述技术方案，获取到正视虹膜图像和正视虹膜图像对应的畸变虹膜图像，将畸变虹膜图像作为样本对初始矫正模型进行训练，训练过程中，由初始矫正模型对畸变虹膜图像进行图像矫正处理和特征重建，得到重建特征，使得矫正过程中虹膜纹理信息的损失得到弥补，进而使得矫正后的图像更为准确。接着从重建特征中提取瞳孔掩膜特征，得到分割的瞳孔掩膜，并用分割损失函数对分割的瞳孔掩膜对应的瞳孔形状进行监督约束，得到矫正虹膜图像，避免矫正过程中瞳孔形状发生形变，影响矫正后的虹膜图像准确性。矫正虹膜图像确定后，对矫正虹膜图像与正视虹膜图像之间进行相似度损失约束，使得在训练过程中最小化相似度损失，得到重建虹膜图像，使得矫正虹膜图像更接近正视虹膜图像。最后再将重建虹膜图像与正视虹膜图像之间的语义特征损失进行约束监督，并在训练过程中，最小化语义特征损失，弥补矫正过程中的语义特征损失，最终初始矫正模型训练完成，得到目标矫正模型，使得通过目标矫正模型预测的矫正后的虹膜图像更加准确。
可选的，所述获取至少一个正视虹膜图像和每个所述正视虹膜图像对应的畸变虹膜图像，具体包括：
获取至少一个正视虹膜图像，对各所述正视虹膜图像的虹膜外边缘进行标注，得到虹膜外环曲线圆；
建立坐标系，确定所述虹膜外环曲线圆与所述坐标系的四个交点，并将并将旋转线绕所述坐标系的原点按照预设旋转方式进行旋转，所述坐标系的原点为所述虹膜外环曲线圆的圆心；基于旋转后的所述旋转线与所述虹膜外环曲线圆的交点，得到四个顶点；
计算所述四个交点与所述四个顶点之间的投影矩阵，将所述投影矩阵求逆得到逆矩阵，将所述逆矩阵作用于所述正视虹膜图像，得到所述正视虹膜图像对应的畸变虹膜图像，其中，所述预设旋转方式为：
在所述旋转线为一条直线时，连续旋转所述旋转线两次，或
在所述旋转线为两条相交的直线时，旋转所述旋转线一次，或
在所述旋转线为一条射线时，连续旋转所述旋转线四次。
通过采用上述技术方案，先确定正常的正视虹膜图像对应的虹膜外环曲线圆与坐标系的四个交点，接着旋转旋转线，根据旋转线与虹膜外环曲线圆的交点，确定畸变虹膜图像对应四个顶点，最后计算正视虹膜图像对应的四个交点与畸变虹膜图像对应的四个顶点之间的投影矩阵，并对投影矩阵求逆，并将得到的逆矩阵作用于正视虹膜图像，得到畸变虹膜图像的训练样本，从而实现根据正视虹膜图像模拟得到多样化的畸变虹膜图像。
可选的，所述初始矫正模型包括三层特征提取层、三层空间变换层和空洞空间金字塔池化层，所述特征提取层和所述空间变换层交替分布，所述将所述畸变虹膜图像输入初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征，具体包括：
将所述畸变虹膜图像输入初始矫正模型中，经由所述三层特征提取层进行下采样、所述三层空间变换层进行特征空间变换，其中，每层所述空间变换层输出空间变换结果；
将第三层空间变换层输出的空间变换结果输入至所述空洞空间金字塔池化层，并进行特征重建得到第一重建特征，将所述第一重建特征与第二层空间变换层输出的空间变换结果进行融合，并进行特征重建得到第二重建特征。
通过采用上述技术方案，将畸变虹膜图像输入初始矫正模型进行训练时，通过三层特征提取层对畸变虹膜图像的特征进行逐级下采样，同时在每层特征提取层下采样后，均经过空间变换层进行特征空间变换，从而实现对畸变虹膜图像进行偏转矫正。接着将第三层空间变换层输出的空间变换结果输入到空洞空间金字塔池化层，以进行更多尺度的特征提取。并且在矫正过程中，对空洞空间金字塔池化层输出进行特征重建，得到第一重建特征，再将第一重建特征与第二层空间变换层输出的空间变换结果融合并特征重建，得到第二重建特征，从而使得对畸变虹膜图像矫正时产生的纹理损失进行弥补。
可选的，所述根据所述重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对所述瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像，具体包括：
从所述第一重建特征中提取第一瞳孔掩膜特征，从所述第二重建特征中提取第二瞳孔掩膜特征，并对所述第一瞳孔掩膜特征上采样处理后与所述第二瞳孔掩膜特征融合，得到瞳孔掩膜特征；
对所述瞳孔掩膜特征进行转置卷积，得到分割的瞳孔掩膜；
获取所述正视虹膜图像对应的瞳孔掩膜图像，将所述瞳孔掩膜图像作为标签，基于所述标签和所述瞳孔掩膜，得到瞳孔轮廓和标签轮廓；
根据所述瞳孔轮廓和所述标签轮廓，通过预设的分割损失函数对所述瞳孔掩膜对应的瞳孔形状进行监督，确定调整后的第二重建特征，并将所述调整后的第二重建特征与第一层空间变换层输出的空间变换结果进行特征重建，得到第三重建特征；
对所述第三重建特征进行转置卷积，得到矫正虹膜图像。
通过采用上述技术方案，第一重建特征和第二重建特征确定后，同时对第一重建特征和第二重建特征进行瞳孔掩膜特征提取，得到分割的瞳孔掩膜。由于矫正过程中还会存在虹膜瞳孔形状的形变，因此，需要通过分割损失函数，计算瞳孔轮廓和标签轮廓之间的分割损失，并且在模型训练过程中，最小化分割损失，第二重建特征得以调整，使得瞳孔形状的形变得以控制，进而使得矫正后的图像较为准确。接着将调整后的第二重建特征与第一层空间变换层的空间变换结果进行特征重建，得到瞳孔形状形变较小的第三重建特征，最后将第三重建特征进行转置卷积以进行放大，得到矫正虹膜图像，从而使初始矫正模型训练过程中，预测矫正后的虹膜图像准确性得到提升。
可选的，所述分割损失函数表示为：
dp＝sum(1,where(select(P3)>0.5))
P1表示分割的瞳孔掩膜，B1表示标签，B2表示标签轮廓，sum(B2)表示标签轮廓的周长，dp表示瞳孔轮廓的周长，LBCE表示二值交叉熵损失，P3表示瞳孔轮廓，select表示连续区域，where(select(P3)>0.5)表示瞳孔轮廓中连续区域大于0.5的像素数，Lm表示分割损失值，sum表示求和。
通过采用上述技术方案，首先利用sum函数对像素数1到瞳孔轮廓中连续区域大于0.5的像素数进行求和，得到瞳孔轮廓的周长，接着sum函数求取标签轮廓的周长，最后求取瞳孔轮廓与标签轮廓的周长比，通过分割损失函数最小化周长比与1之间的距离，并加上分割的瞳孔掩膜与标签之间的二值交叉熵损失，最终得到分割损失值，从而实现对瞳孔形状的监督。
可选的，所述根据所述正视虹膜图像对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像，具体包括：
根据所述正视虹膜图像，通过相似度损失函数对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
其中，所述相似度损失函数表示为：
Lc表示相似度损失值，N表示矫正虹膜图像或正视虹膜图像的像素总数，I表示正视虹膜图像，表示矫正虹膜图像，i表示第i个像素，其中，矫正虹膜图像和正视虹膜图像的像素总数相等。
通过采用上述技术方案，求取每个像素下的矫正虹膜图像和正视虹膜图像差值的范数平方，并将各个像素对应的范数平方求和之后，计算得到平均值，最终确定矫正虹膜图像与正视虹膜图像之间的相似度损失值，从而使得在训练过程中，对矫正虹膜图像与正视虹膜图像之间的相似度损失进行约束，不断缩小矫正虹膜图像与正视虹膜图像之间的差距，使得矫正虹膜图像更为准确。
可选的，所述基于所述重建虹膜图像和所述正视虹膜图像，对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整得到目标矫正模型，具体包括：
基于所述重建虹膜图像和所述正视虹膜图像，通过语义损失函数对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整得到目标矫正模型；
其中，所述语义损失函数表示为：
Lf表示语义特征损失值，M表示正视虹膜图像或重建虹膜图像的特征向量的长度，ω表示正视虹膜图像的特征向量，表示重建虹膜图像的特征向量，j表示正视虹膜图像或重建虹膜图像的特征向量中元素的序号。
通过采用上述技术方案，由于畸变虹膜图像在矫正过程中，会存在语义特征的损失，因此通过语义损失函数，在各个特征向量的长度下，求取矫正虹膜图像的特征向量和正视虹膜图像的特征向量之间距离的范数平方，然后各个长度对应的范数平方求和之后，计算得到平均值，进而确定矫正虹膜图像与正视虹膜图像之间的语义损失值。从而使得在训练过程中，最小化矫正虹膜图像与正视虹膜图像之间的语义损失值，不断缩小矫正虹膜图像与正视虹膜图像之间的差距，使得矫正虹膜图像更为准确。
在本申请的第二方面提供了一种虹膜图像的矫正方法，具体包括：
获取待矫正虹膜图像和利用第一方面任一项所述的虹膜图像的矫正模型训练方法得到的目标矫正模型；
将所述待矫正虹膜图像输入至所述目标矫正模型，得到矫正后的虹膜图像。
通过采用上述技术方案，通过上述矫正模型训练方法确定最终的目标矫正模型后，获取实际需要矫正的待矫正虹膜图像，将待矫正虹膜图像输入至目标矫正模型，通过目标矫正模型对待矫正虹膜图像进行矫正和重建后，快速预测出准确性较高的矫正后的虹膜图像，从而使得畸变虹膜图像矫正效率得到提升。
在本申请的第三方面提供了一种虹膜图像的矫正模型训练装置，具体包括：
图像获取模块，用于获取至少一个正视虹膜图像和每个所述正视虹膜图像对应的畸变虹膜图像；
特征重建模块，用于将各所述畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征；
图像矫正模块，用于根据所述重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对所述瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像；
图像重建模块，用于根据所述正视虹膜图像对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
模型确定模块，用于基于所述重建虹膜图像和所述正视虹膜图像，对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整，得到目标矫正模型。
通过采用上述技术方案，图像获取模块获取到正视虹膜图像和对应的畸变虹膜图像后，由特征重建模块对畸变虹膜图像进行图像矫正和特征重建，得到重建特征，接着图像矫正模块对重建特征进行瞳孔掩膜特征的提取，得到分割的瞳孔掩膜，并在训练过程中对分割的瞳孔掩膜的瞳孔形状进行约束，最终得到矫正虹膜图像，图像重建模块对矫正虹膜图像与正视虹膜图像之间的相似度损失进行约束，得到重建虹膜图像，最后模型确定模块在模型训练过程中，再对重建虹膜图像与正视虹膜图像之间的语义特征损失进行约束，最终得到目标矫正模型。
综上所述，本申请包括以下至少一种有益技术效果：
输入畸变虹膜图像至初始矫正模型进行训练，对畸变虹膜图像进行图像矫正和图像重建，得到重建特征，从重建特征中获取分割的瞳孔掩膜，并采用分割损失函数进行损失约束，以减少瞳孔形状的形变。接着先后对矫正虹膜图像进行相似度损失约束以及语义特征损失约束，不断进行模型训练，调整初始矫正模型的模型参数，得到目标矫正模型，从而使得通过目标矫正模型可以快速对待矫正虹膜图像进行矫正，提升畸变虹膜图像的矫正效率。
附图说明
图1是本申请实施例提供的一种虹膜图像的矫正模型训练方法的流程示意图；
图2是本申请实施例提供的一种初始矫正模型网络结构示意图；
图3是本申请实施例提供的另一种虹膜图像的矫正模型训练方法的流程示意图；
图4是本申请实施例提供的一种顶点确定策略的示意图；
图5是本申请实施例提供的又一种虹膜图像的矫正模型训练方法的流程示意图；
图6是本申请实施例提供的一种特征重建模块的结构示意图；
图7是本申请实施例提供的一种虹膜图像的矫正模型训练装置的结构示意图；
图8是本申请实施例提供的一种虹膜图像的矫正装置的结构示意图。
附图标记说明：11、图像获取模块；12、特征重建模块；13、图像矫正模块；14、图像重建模块；15、模型确定模块。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
需要说明的是，本申请公开的虹膜图像的矫正模型训练方法、矫正方法不仅仅可以应用于场景一中产生的畸变虹膜图像的矫正过程中，场景一为：人员不能保持正式采集相机，采集到畸变虹膜图像，进而影响虹膜识别的识别率。也可以应用于场景二中，场景二为VR领域中，VR设备中相机与人眼的距离比较近且存在一定的角度，导致获取到的虹膜图像中存在大量的具有透视情况的图像，这会严重影响虹膜识别系统的识别率，而针对这类虹膜图像只进行简单的仿射变换是不能解决问题的。另外，本申请公开的虹膜图像的矫正模型训练方法、矫正方法的执行主体为服务器，服务器可以是独立的物理服务器，也可以是也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。虹膜图像的矫正模型训练方法、矫正方法的实施环境包括图像采集设备和服务器，图像采集设备可以通过有线或无线网络与服务器进行直接或间接地连接，图像采集设备可以为虹膜采集仪或者虹膜摄像头。图像采集设备采集待矫正虹膜图像并传输至服务器中，并通过训练完成的目标矫正模型对待矫正虹膜图像进行矫正。
参见图1，本申请实施例公开了一种虹膜图像的矫正模型训练方法的流程示意图，可依赖于计算机程序实现，也可运行于基于冯诺依曼体系的虹膜图像的矫正模型训练装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行，具体包括：
S101：获取至少一个正视虹膜图像和每个正视虹膜图像对应的畸变虹膜图像。
具体的，通过图像采集设备采集至少一个人员单眼的正视虹膜图像，其中，正视虹膜图像为人员正视图像采集设备所采集到的、没有发生偏转的虹膜图像。通过关键点检测工具对正视虹膜图像的外边缘关键点进行检测，并对检测出来的关键点进行曲线拟合，得到正视虹膜图像外边缘对应的虹膜外环曲线圆。接着将虹膜外环曲线圆置于坐标系中，坐标系的原点为虹膜外环曲线圆的圆心，分别选取坐标系的横坐标、纵坐标与虹膜外环曲线圆的交点，得到初始的四个交点，然后将坐标系绕原点旋转预设角度，旋转后的坐标系的横坐标、纵坐标与虹膜外环曲线圆存在全新的四个交点。
最后将初始的四个交点的坐标与全新的四个交点的坐标之间计算投影矩阵，计算投影矩阵的方法为现有技术，在此不再赘述。投影矩阵确定后，将投影矩阵求逆得到对应的逆矩阵，最终将逆矩阵作用于正视虹膜图像，即，通过逆矩阵对正视虹膜图像进行变换，得到对应的畸变虹膜图像。
另外，可以通过旋转坐标系多次，最终得到一组正视虹膜图像对应的多个不同畸变图像，也可以旋转一次，最终得到一组正视虹膜图像对应的一组畸变虹膜图像。其中，预设角度的范围为0-90度，图像采集设备可以为虹膜采集仪，在其他实施例中，也可以为虹膜摄像头。
需要说明的是，此畸变虹膜图像获取方式充分利用虹膜图像外边缘为圆形的特点，基于正式虹膜图像模拟多种不同旋转角度的畸变虹膜图像，使得最终用于模型训练的畸变虹膜图像的样本较为丰富。另外，在其他实施例中，畸变虹膜图像也可以通过图像采集设备进行采集后，由人工进行干预，外部输入选择指令，筛选出采集的虹膜图像中的畸变虹膜图像。
S102：将各畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征。
具体的，如图2所示，多个畸变虹膜图像确定，将畸变虹膜图像输入至初始矫正模型中，对初始矫正模型进行训练，目的是得到能对畸变虹膜图像进行矫正的模型。其中，初始矫正模型可以为卷积神经网络模型，在其他实施例中，也可以为BP神经网络模型。在申请实施例中，初始矫正模型的网络结构包括特征提取层、空间变换层和空洞空间金字塔池化(Atrous spatial pyramid pooling，ASPP)层，特征提取层在前，空间变换层在后，交替分布。其中，特征提取层也被称为卷积层，由不同数量的残差块构成，其作用为提取输入的畸变虹膜图像中的图像特征。空间变换层由多个基础单元层构成，基础单元层包括3*3卷积和最大池化层，空间变换层的作用为逐步将输入的畸变虹膜图像矫正到标准的正式虹膜图像。ASPP层的作用为提取更多尺度的图像特征，其设置在第三层空间变换层后面。特征提取层和空间变换层分别有三层，在其他实施例中，特征提取层和空间变换层也可以均分别有四层。
畸变虹膜图像输入到初始矫正模型后，先由特征提取层进行图像特征提取，然后由空间变换层对提取的图像特征进行空间变换，按照此方式通过三层特征提取层和三层空间变换层后，通过ASPP层进行处理，并通过预设的特征重建模块进行图像特征重建处理，得到第一重建特征，最后将第一重建特征与第二层空间变换层的输出的特征进行融合，并也通过特征重建模块进行图像特征重建，得到第二层空间变换层对应的第二重建特征。需要说明的是，由于畸变虹膜图像经过空间变换层进行矫正后，矫正后的图像会存在一些纹理信息的丢失，会影响后续的虹膜识别，因此在需要通过特征重建来弥补矫正过程中损失的纹理信息。另外，此处的重建特征包括第一重建特征和第二重建特征。
S103：根据重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像。
具体的，虽然通过特征重建能对虹膜图像丢失的纹理信息进行弥补，但是在虹膜图像矫正过程中，瞳孔和虹膜形状会发生一些不可控的变化，需要在特征重建过程中，通过对产生的重建特征的瞳孔形状进行监督，进而起到对虹膜形状监督的作用，以确保矫正后的虹膜图像更加准确。因此第二层空间变换层对应的第二重建特征确定后，对第一重建特征和第二层空间变换层对应的第二重建特征分别进行瞳孔掩膜特征的提取，并对提取的瞳孔掩膜特征进行融合(逐像素相加)、转置卷积后得到分割的瞳孔掩膜。
分割的瞳孔掩膜确定后，在对初始矫正模型的训练过程中，通过分割损失函数对分割的瞳孔掩膜的瞳孔形状进行监督，即，通过分割损失函数计算损失时，不断最小化初始矫正模型预测的瞳孔轮廓与正视虹膜图像瞳孔轮廓周长比与1之间的距离，同时调整初始矫正模型的模型参数，进而实现通过对第一重建特征和第二层空间变换层对应的第二重建特征进行监督调整，从而避免矫正后的虹膜图像的瞳孔和虹膜形状发生不可控的变化。最后将调整后的第二层空间变换层对应的重建特征与第一层空间变换层输出的特征进行融合，通过特征重建模块后进行再一次特征重建，得到最终重建特征，对最终重建特征进行转置卷积，得到矫正虹膜图像。
S104：根据正视虹膜图像对矫正虹膜图像进行相似度损失约束，得到重建虹膜图像。
在一个可实现的实施方式中，根据正视虹膜图像，通过相似度损失函数对矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
其中，相似度损失函数表示为：
Lc表示相似度损失值，N表示矫正虹膜图像或正视虹膜图像的像素总数，I表示正视虹膜图像，表示矫正虹膜图像，i表示第i个像素，其中，矫正虹膜图像和正视虹膜图像的像素总数相等。
具体的，矫正虹膜图像确定后，需要对矫正虹膜图像进行监督，尽量使得矫正虹膜图像与作为标签的正式虹膜图像距离最小化。通过相似度损失函数求取矫正虹膜图像与正视虹膜图像的相似度损失值，在模型训练过程中，最小化相似度损失值，最终得到重建虹膜图像，从而使得矫正后的图像更加准确。需要说明的是，Ii表示正视虹膜图像的第i个像素，表示矫正虹膜图像的第i个像素。另外，此处的矫正虹膜图像为正视虹膜图像对应的畸变虹膜图像矫正得到。
S105：基于重建虹膜图像和正视虹膜图像，对重建虹膜图像进行语义特征损失约束，并对初始矫正模型进行调整，得到目标矫正模型。
在另一个可实现的实施方式中，基于重建虹膜图像和正视虹膜图像，通过语义损失函数对重建虹膜图像进行语义特征损失约束，并对初始矫正模型进行调整得到目标矫正模型；其中，语义损失函数表示为：
Lf表示语义特征损失值，M表示正视虹膜图像或重建虹膜图像的特征向量的长度，ω表示正视虹膜图像的特征向量，表示重建虹膜图像的特征向量，j表示正视虹膜图像或重建虹膜图像的特征向量中元素的序号。需要说明的是，ωj表示正视虹膜图像的特征向量中第j个元素，/>表示重建虹膜图像的特征向量中第j个元素。
具体的，由于通过空间变换层对畸变虹膜图像进行矫正过程中，会存在语义特征的损失，因此，重建虹膜图像确定后，通过语义损失函数对重建虹膜图像进行监督，从而达到最小化语义损失值的目的。详细过程如下：先将重建虹膜图像和正视虹膜图像进行相同的预处理，这里的预处理主要为通过OpenCV工具图像归一化处理，即，将图像的多个像素值均除以255，得到0到1之间的数值。预处理后，计算正视虹膜图像的特征向量与重建虹膜图像的特征向量的距离，在模型训练过程中，不断调整模型参数，最小化特征向量之间的距离，即，最小化语义损失值。当语义损失值达到损失值阈值，初始矫正模型训练完成，最终得到目标矫正模型。其中，损失值阈值为语义损失值的最小临界值。
参见图3，本申请实施例公开了另一种虹膜图像的矫正模型训练方法的流程示意图，可依赖于计算机程序实现，也可运行于基于冯诺依曼体系的虹膜图像的矫正模型训练装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行，具体包括：
S201：获取至少一个正视虹膜图像，对各正视虹膜图像的虹膜外边缘进行标注，得到虹膜外环曲线圆。
S202：建立坐标系，确定虹膜外环曲线圆与坐标系的四个交点，并将旋转线绕坐标系的原点按照预设旋转方式进行旋转。
S203：基于旋转后的旋转线与虹膜外环曲线圆的交点，得到四个顶点。
在一个可实现的实施方式中，预设旋转方式为：在旋转线为一条直线时，连续旋转旋转线两次，或
在旋转线为两条相交的直线时，旋转旋转线一次，或
在旋转线为一条射线时，连续旋转旋转线四次。
具体的，虹膜外环曲线圆与坐标系的四个交点确定方式可以详见步骤103，在此不再赘述，其中，建立坐标系是通过预置的matlab建立。坐标系的原点为虹膜外环曲线圆的圆心，旋转线可以是两条相交的直线，也可以是一条直线或一条射线。两条相交的直线之间可以互相垂直，也可以不为互相垂直，并且两条相交的直线之间角度处于预设角度范围内。在旋转线为两条相交的直线时，绕坐标系的原点旋转旋转线一次，并且旋转预设角度。在其他实施例中，在旋转线为一条直线时，连续绕坐标系的原点旋转旋转线两次，即每次这一条直线连续旋转两次，每次旋转的角度不同，分别选取这一条直线第一次旋转和第二次旋转后与虹膜外环曲线圆的交点。其中，第二次旋转的角度大于预设角度阈值，避免两次旋转间的角度过小，使得产生的图像透视情况较大，不符合实际使用情况。在另一个实施例中，在旋转线为一条射线时，连续旋转旋转线四次，分别选取旋转线第一次旋转、第二次旋转、第三旋转以及第四次旋转后与虹膜外环曲线圆的交点，其中，四次旋转后的射线分别位于坐标系的不同象限内，并且第一次旋转、第二次旋转、第三旋转以及第四次旋转后的射线中，相邻射线之间的角度大于预设角度阈值，从而使得最后生成的畸变虹膜图像更符合实际采集情况。
如图4所示，旋转线为两条相交的直线，且互相垂直的情况下，两条互相垂直的直线分别为沿坐标系的横坐标轴和纵坐标轴的直线(也可以不为沿坐标系的横坐标轴和纵坐标轴的直线)，将两条互相垂直的直线绕坐标系的原点旋转预设角度后，选取旋转后的两条互相垂直的直线与虹膜外环曲线圆的交点，以其中一个交点x进行详细论述如何得到最终的四个顶点。坐标系的原点o到x的距离Lox为虹膜外环曲线圆的半径，在ox所在直线上选取两个点m和n，om的距离Lom＝第一系数*Lox，on的距离Lon＝第二系数*Lox，其中，在本申请实施例中，第一系数为0.75，第二系数为1.25，在其他实施例，第一系数也可以为0.8，第二系数也可以为1.2。接着在mn之间任意选取一个作为四个顶点之一。最后四个顶点中剩余的3个顶点，基于旋转后的两条互相垂直的直线与虹膜外环曲线圆的其他3个交点，按照此顶点确定方式同理确定剩余的3个顶点，最终得到四个顶点。
需要说明的是，预设角度大于0度且小于90度，每旋转一次，根据旋转角度，以及四个顶点到坐标系原点的距离，计算四个顶点的坐标。并且当旋转角度累积之和达到90度时，则不再进行旋转。另外，旋转线旋转的方向可以是顺时针方向，也可以是逆时针方向。
S204：计算四个交点与四个顶点之间的投影矩阵，将投影矩阵求逆得到逆矩阵，将逆矩阵作用于正视虹膜图像，得到正视虹膜图像对应的畸变虹膜图像。
具体的，可参考步骤S101，进一步地详述逆矩阵做作用于对应的正式虹膜图像上的具体方式：通过预置的OpenCV工具，基于逆矩阵对正视虹膜图像进行调整，得到畸变虹膜图像。
S205：将各畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征。
S206：根据重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像。
S207：根据正视虹膜图像对矫正虹膜图像进行相似度损失约束，得到重建虹膜图像。
S208：基于重建虹膜图像和正视虹膜图像，对重建虹膜图像进行语义特征损失约束，并对初始矫正模型进行调整，得到目标矫正模型。
具体的，可参考步骤S102-S105，在此不再赘述。
参见图5，本申请实施例公开了又一种虹膜图像的矫正模型训练方法的流程示意图，可依赖于计算机程序实现，也可运行于基于冯诺依曼体系的虹膜图像的矫正模型训练装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行，具体包括：
S301：获取至少一个正视虹膜图像和每个正视虹膜图像对应的畸变虹膜图像。
具体的，可参考步骤S101，在此不再赘述。
S302：将畸变虹膜图像输入初始矫正模型中，经由三层特征提取层进行下采样、三层空间变换层进行特征空间变换，其中，每层空间变换层输出空间变换结果。
具体的，将畸变虹膜图像输入至初始矫正模型中，经过第一层特征提取层进行下采样，得到提取的图像特征，将图像特征输入至第一层特征提取层后的第一层空间变换层，对输入的图像特征进行空间特征的变换，接着再由第一层空间变换层后的第二层特征提取层再进行下采样，第二层空间变换层再次进行特征空间的变换，最后再经过第三层特征提取层和第三层空间变换层，从而实现对畸变虹膜图像的逐步矫正，这一层的处理过程与前两层一致，其中，每一层空间变换层输出为空间变换结果。参考步骤S102，由于每经过一层空间变换层后，图像特征的尺度会下降，因此第一层空间变换层采用4个基础单元层，第二空间变换层采用3个基础单元层，第三层空间变换层采用2个基础单元层。
需要说明的是，第三层空间变换层中基础单元层后面还连接有两个全连接层，全连接层的作用为将前面的图像特征综合起来，最后输出对应的特征向量构成特征形变矩阵，将特征形变矩阵作用与第一层空间变换层的输入特征，得到经过三层空间变换层矫正后的虹膜特征，具体用公式表示如下：
其中，f1表示全连接层，f2表示卷积和池化，grid_gen表示网格生成函数，grid_sample表示对输入特征进行差值采样操作，Wx表示第一层空间变换层的输入特征，表示矫正后的虹膜特征。
S303：将第三层空间变换层输出的空间变换结果输入至空洞空间金字塔池化层，并进行特征重建得到第一重建特征，将第一重建特征与第二层空间变换层输出的空间变换结果进行融合，并进行特征重建得到第二重建特征。
具体的，经过三层空间变换层进行特征空间变换后，将第三层空间变换层输出的空间变换结果输入至空洞空间金字塔池化层，从而从第三层空间变换层的空间变换结果中提取更多尺寸的图像特征，接着通过特征重建模块对空洞空间金字塔池化层的输出特征进行特征重建，得到第一重建特征。进一步地，详细说明特征重建模块，参见图6，图为特征重建模块的结构示意图，包括边缘增强分支(边缘增强层)和转置卷积分支(转置卷积层)，边缘增强分支用于提取虹膜图像中的高频纹理特征；其中，转置卷积(TransposedConvolution)又称为反卷积，通过矩阵的转置来达到上采样的效果，用于增加输入图像的宽高。在本申请实施例中，转置卷积分支主要对每层空间变换层空间变换后的特征进行重建，最后将两个分支的输出按通道进行逐像素相加，最终得到对应的重建特征。
第一重建特征确定后，将第一重建特征进行转置卷积，并与第二层空间变换层空间变换后的特征融合后，再次通过特征重建模块进行特征重建操作，得到第二重建特征，需要说明的是，第二重建特征是第二层空间变换层对应的重建特征。
S304：从第一重建特征中提取第一瞳孔掩膜特征，从第二重建特征中提取第二瞳孔掩膜特征，并对第一瞳孔掩膜特征上采样处理后与第二瞳孔掩膜特征融合，得到瞳孔掩膜特征。
S305：对瞳孔掩膜特征进行转置卷积，得到分割的瞳孔掩膜。
具体的，第一重建特征确定后，通过卷积从第一重建特征中提取第一瞳孔掩膜特征，其中掩膜是由0和1组成的一个二进制图像。接着按照同样方式，从第二重建特征中提取第二瞳孔掩膜特征，由于第一重建特征的特征尺度比第二重建特征的特征尺度小，因此将第一瞳孔掩膜特征进行上采样以进行放大，以使第一瞳孔掩膜特征上采样后的特征尺度与第二瞳孔掩膜特征一致，接着将第一瞳孔掩膜特征上采样后与第二瞳孔掩膜特征进行逐像素相加融合，得到瞳孔掩膜特征。最后将瞳孔掩膜特征进行转置卷积，放大瞳孔掩膜特征的尺度，得到分割的瞳孔掩膜，即初始矫正模型预测的瞳孔掩膜。
需要说明的是，在通过空间变换层对虹膜图像进行矫正过程中，虽然特征重建能弥补虹膜图像损失的纹理信息，但是虹膜图像的瞳孔和虹膜形状易发生不可控的变化(或形变)无法弥补，使得矫正后的虹膜图像在内容上与初始的虹膜图像存在差异，导致矫正后的虹膜图像准确性较差，识别率较低。因此通过对第一重建特征和第二重建特征分别进行瞳孔掩膜特征提取，方便模型训练中，能对第一重建特征和第二重建特征的瞳孔掩膜特征进行监督，进而达到对瞳孔形状的监督。
S306：获取正视虹膜图像对应的瞳孔掩膜图像，将瞳孔掩膜图像作为标签，基于标签和瞳孔掩膜，得到瞳孔轮廓和标签轮廓。
具体的，分割的瞳孔掩膜确定后，需要获取正视虹膜图像对应的瞳孔掩膜图像，一种可行的获取方式为：对正视虹膜图像的内边缘进行标注，得到虹膜内环曲线圆，接着通过预置的Pytorch工具对虹膜内环曲线圆内部进行填充，填充值为255，最终得到瞳孔掩膜图像。接下来开始对分割的瞳孔掩膜的瞳孔形状进行监督，过程如下：
将瞳孔掩膜图像确定为标签，定义3*3大小的卷积核K1，卷积核的每个元素都为1，将分割的瞳孔掩膜P1按照3*3大小，步长为1进行切块，得到n个3*3的块，即，n*3*3的张量Q，接着确定3*3的块中多个像素值中的最小值Qi，具体通过如下公式确定：Qi＝min(f(Qi，K1))，式中，f表示线性函数，多个像素值中的最小值确定后，将3*3的块中的每个像素值均替换为此最小值，最终将替换完成后的3*3的块还原到切块前的位置，得到P2，将P1减去P2，得到瞳孔轮廓P3。另外，将作为标签的瞳孔掩膜图像按照同种方式，得到标签轮廓B2。
S307：根据瞳孔轮廓和标签轮廓，通过预设的分割损失函数对瞳孔掩膜对应的瞳孔形状进行监督，确定调整后的第二重建特征，并将调整后的第二重建特征与第一层空间变换层输出的空间变换结果进行特征重建，得到第三重建特征。
S308：对第三重建特征进行转置卷积，得到矫正虹膜图像。
具体的，瞳孔轮廓和标签轮廓确定后，先根据瞳孔轮廓和标签轮廓分别计算分割的瞳孔掩膜的瞳孔轮廓的周长，以及标签轮廓的周长。其中瞳孔轮廓周长通过如下公式计算：
dp＝sum(1,where(select(P3)>0.5))
dp表示瞳孔轮廓的周长，P3表示瞳孔轮廓，select表示连续区域，where(select(P3)>0.5)表示瞳孔轮廓中连续区域大于0.5的像素数，sum表示求和。进一步，解释公式dp＝sum(1,where(select(P3)>0.5))，即：主要用于统计瞳孔轮廓中连续区域大于0.5的像素数(像素数量)。连续区域中像素大于0.5，即累加1，最终得到瞳孔轮廓的周长。
在瞳孔轮廓的周长和标签轮廓的周长确定后，通过分割损失函数计算的分割损失值，并在模型训练过程中，不断最小化分割损失值，从而不断缩小瞳孔轮廓、标签轮廓的周长比值与1之间的差距，从而实现对瞳孔形状进行监督，其中，分割损失函数表示为：
式中，LBCE表示二值交叉熵损失，Lm表示分割损失值，B1表示标签，另外，sum(B2)表示标签轮廓的周长，B2表示标签轮廓。
在最小化分割损失值过程中，不断进行模型训练，得到的第二重建特征不断调整，最终得到调整后的第二重建特征，使得分割损失值达到最小化，避免瞳孔和虹膜形状出现不可控的变化，确保矫正后的虹膜图像更准确。然后将调整后的第二重建特征与第一层空间变换层输出的空间变换结果(空间变换后的特征)进行特征重建处理，在此同样是通过特征重建模块进行特征重建，最后得到第三重建特征，并对第三重建特征进行转置卷积处理，得到矫正虹膜图像。
S309：根据正视虹膜图像对矫正虹膜图像进行相似度损失约束，得到重建虹膜图像。
S310：基于重建虹膜图像和正视虹膜图像，对重建虹膜图像进行语义特征损失约束，并对初始矫正模型进行调整，得到目标矫正模型。
具体的，可参考步骤S104-S105，在此不再赘述。
另外，基于与上述实施例中的虹膜图像的矫正模型训练方法相同的发明构思，本发明实施例还提供了一种虹膜图像的矫正方法，重复之处可以参照上述实施例的具体实施方式实施，不再赘述。
获取待矫正虹膜图像和利用上述任一实施例中的虹膜图像的矫正模型训练方法得到的目标矫正模型。
将待矫正虹膜图像输入至目标矫正模型，得到矫正后的虹膜图像。
具体的，目标矫正模型确定后，通过图像采集设备获取实际需要矫正的待矫正虹膜图像，将待矫正虹膜图像输入至目标矫正模型，通过目标矫正模型对待矫正虹膜图像进行矫正和重建后，快速预测出准确性较高的矫正后的虹膜图像，无需在虹膜识别比对时进行较多次旋转，从而使得畸变虹膜图像矫正效率得到提升，进而改善虹膜图像的识别效率。
本申请实施例虹膜图像的矫正模型训练方法的实施原理为：获取到正视虹膜图像和正视虹膜图像对应的畸变虹膜图像，将畸变虹膜图像作为样本对初始矫正模型进行训练，由初始矫正模型对畸变虹膜图像进行图像矫正处理和特征重建，得到重建特征，使得矫正过程中虹膜纹理信息的损失得到弥补，进而使得矫正后的图像更为准确。接着从重建特征中提取瞳孔掩膜特征，得到分割的瞳孔掩膜，并用分割损失函数对分割的瞳孔掩膜对应的瞳孔形状进行监督约束，得到矫正虹膜图像。矫正虹膜图像确定后，对矫正虹膜图像与正视虹膜图像之间进行相似度损失约束，使得在训练过程中最小化相似度损失，得到重建虹膜图像，使得矫正虹膜图像更接近正视虹膜图像。最后再将重建虹膜图像与正视虹膜图像之间的语义特征损失进行约束监督，最终初始矫正模型训练完成，得到目标矫正模型，使得通过目标矫正模型预测的矫正后的虹膜图像更加准确。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图7，为本申请实施例提供的虹膜图像的矫正模型训练装置的结构示意图。该应用于虹膜图像的矫正模型训练装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置1包括图像获取模块11、特征重建模块12、图像矫正模块13、图像重建模块14和模型确定模块15。
图像获取模块11，用于获取至少一个正视虹膜图像和每个正视虹膜图像对应的畸变虹膜图像；
特征重建模块12，用于将各畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征；
图像矫正模块13，用于根据重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像；
图像重建模块14，用于根据正视虹膜图像对矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
模型确定模块15，用于基于重建虹膜图像和正视虹膜图像，对重建虹膜图像进行语义特征损失约束，并对初始矫正模型进行调整，得到目标矫正模型。
可选的，图像获取模块11，具体用于：
获取至少一个正视虹膜图像，对各正视虹膜图像的虹膜外边缘进行标注，得到虹膜外环曲线圆；
建立坐标系，确定虹膜外环曲线圆与坐标系的四个交点，并将旋转线绕坐标系的原点按照预设旋转方式进行旋转，坐标系的原点为虹膜外环曲线圆的圆心；
基于旋转后的旋转线与虹膜外环曲线圆的交点，得到四个顶点；
计算四个交点与四个顶点之间的投影矩阵，将投影矩阵求逆得到逆矩阵，将逆矩阵作用于正视虹膜图像，得到正视虹膜图像对应的畸变虹膜图像，其中，预设旋转方式为：在旋转线为一条直线时，连续旋转旋转线两次，或
在旋转线为两条相交的直线时，旋转旋转线一次，或
在旋转线为一条射线时，连续旋转旋转线四次。
可选的，特征重建模块12，具体用于：
将畸变虹膜图像输入初始矫正模型中，经由三层特征提取层进行下采样、三层空间变换层进行特征空间变换，其中，每层空间变换层输出空间变换结果；
将第三层空间变换层输出的空间变换结果输入至空洞空间金字塔池化层，并进行特征重建得到第一重建特征，将第一重建特征与第二层空间变换层输出的空间变换结果进行融合，并进行特征重建得到第二重建特征。
可选的，图像矫正模块13，具体用于：
从第一重建特征中提取第一瞳孔掩膜特征，从第二重建特征中提取第二瞳孔掩膜特征，并对第一瞳孔掩膜特征上采样处理后与第二瞳孔掩膜特征融合，得到瞳孔掩膜特征；
对瞳孔掩膜特征进行转置卷积，得到分割的瞳孔掩膜；
获取正视虹膜图像对应的瞳孔掩膜图像，将瞳孔掩膜图像作为标签，基于标签和瞳孔掩膜，得到瞳孔轮廓和标签轮廓；
根据瞳孔轮廓和标签轮廓，通过预设的分割损失函数对瞳孔掩膜对应的瞳孔形状进行监督，确定调整后的第二重建特征，并将调整后的第二重建特征与第一层空间变换层输出的空间变换结果进行特征重建，得到第三重建特征；
对第三重建特征进行转置卷积，得到矫正虹膜图像。
可选的，图像重建模块14，具体用于：
根据正视虹膜图像，通过相似度损失函数对矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
其中，相似度损失函数表示为：
Lc表示相似度损失值，N表示矫正虹膜图像或正视虹膜图像的像素总数，I表示正视虹膜图像，表示矫正虹膜图像，i表示第i个像素，其中，矫正虹膜图像和正视虹膜图像的像素总数相等。
可选的，模型确定模块15，具体用于：
基于重建虹膜图像和正视虹膜图像，通过语义损失函数对重建虹膜图像进行语义特征损失约束，并对初始矫正模型进行调整得到目标矫正模型；
其中，语义损失函数表示为：
Lf表示语义特征损失值，表示正视虹膜图像或重建虹膜图像的特征向量的长度，ω表示正视虹膜图像的特征向量，表示重建虹膜图像的特征向量，j表示正视虹膜图像或重建虹膜图像的特征向量中元素的序号。
需要说明的是，上述实施例提供的一种虹膜图像的矫正模型训练装置在执行虹膜图像的矫正模型训练方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的一种虹膜图像的矫正模型训练装置与一种虹膜图像的矫正模型训练方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
请参见图8，为本申请实施例提供的虹膜图像的矫正装置的结构示意图。该应用于虹膜图像的矫正装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该装置包括信息获取模块21和虹膜矫正模块22。
信息获取模块21，用于获取待矫正虹膜图像和利用上述任一实施例中的虹膜图像的矫正模型训练方法得到的目标矫正模型；
虹膜矫正模块22，将待矫正虹膜图像输入至目标矫正模型，得到矫正后的虹膜图像。
本申请实施例还公开一种计算机可读存储介质，并且，计算机可读存储介质存储有计算机程序，其中，计算机程序被处理器执行时，采用了上述实施例的一种虹膜图像的矫正模型训练方法、矫正方法。
其中，计算机程序可以存储于计算机可读介质中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间件形式等，计算机可读介质包括能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM)、随机存取存储器(RAM)、电载波信号、电信信号以及软件分发介质等，需要说明的是，计算机可读介质包括但不限于上述元器件。
其中，通过本计算机可读存储介质，将上述实施例的一种虹膜图像的矫正模型训练方法、矫正方法存储于计算机可读存储介质中，并且，被加载并执行于处理器上，以方便上述方法的存储及应用。
本申请实施例还公开一种电子设备，计算机可读存储介质中存储有计算机程序，计算机程序被处理器加载并执行时，采用了上述一种虹膜图像的矫正模型训练方法、矫正方法。
其中，电子设备可以采用台式电脑、笔记本电脑或者云端服务器等电子设备，并且，电子设备设备包括但不限于处理器以及存储器，例如，电子设备还可以包括输入输出设备、网络接入设备以及总线等。
其中，处理器可以采用中央处理单元(CPU)，当然，根据实际的使用情况，也可以采用其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以采用微处理器或者任何常规的处理器等，本申请对此不做限制。
其中，存储器可以为电子设备的内部存储单元，例如，电子设备的硬盘或者内存，也可以为电子设备的外部存储设备，例如，电子设备上配备的插接式硬盘、智能存储卡(SMC)、安全数字卡(SD)或者闪存卡(FC)等，并且，存储器还可以为电子设备的内部存储单元与外部存储设备的组合，存储器用于存储计算机程序以及电子设备所需的其他程序和数据，存储器还可以用于暂时地存储已经输出或者将要输出的数据，本申请对此不做限制。
其中，通过本电子设备，将上述实施例的一种虹膜图像的矫正模型训练方法、矫正方法存储于电子设备的存储器中，并且，被加载并执行于电子设备的处理器上，方便使用。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种虹膜图像的矫正模型训练方法，其特征在于，所述方法包括：
获取至少一个正视虹膜图像和每个所述正视虹膜图像对应的畸变虹膜图像；
将各所述畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征；
根据所述重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对所述瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像；
根据所述正视虹膜图像对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
基于所述重建虹膜图像和所述正视虹膜图像，对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整，得到目标矫正模型。
2.根据权利要求1所述的虹膜图像的矫正模型训练方法，其特征在于，所述获取至少一个正视虹膜图像和每个所述正视虹膜图像对应的畸变虹膜图像，具体包括：
获取至少一个正视虹膜图像，对各所述正视虹膜图像的虹膜外边缘进行标注，得到虹膜外环曲线圆；
建立坐标系，确定所述虹膜外环曲线圆与所述坐标系的四个交点，并将旋转线绕所述坐标系的原点按照预设旋转方式进行旋转，所述坐标系的原点为所述虹膜外环曲线圆的圆心；
基于旋转后的所述旋转线与所述虹膜外环曲线圆的交点，得到四个顶点；
计算所述四个交点与所述四个顶点之间的投影矩阵，将所述投影矩阵求逆得到逆矩阵，将所述逆矩阵作用于所述正视虹膜图像，得到所述正视虹膜图像对应的畸变虹膜图像，其中，所述预设旋转方式为：
在所述旋转线为一条直线时，连续旋转所述旋转线两次，或
在所述旋转线为两条相交的直线时，旋转所述旋转线一次，或
在所述旋转线为一条射线时，连续旋转所述旋转线四次。
3.根据权利要求1所述的虹膜图像的矫正模型训练方法，其特征在于，所述初始矫正模型包括三层特征提取层、三层空间变换层和空洞空间金字塔池化层，所述特征提取层和所述空间变换层交替分布，所述将所述畸变虹膜图像输入初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征，具体包括：
将所述畸变虹膜图像输入初始矫正模型中，经由所述三层特征提取层进行下采样、所述三层空间变换层进行特征空间变换，其中，每层所述空间变换层输出空间变换结果；
将第三层空间变换层输出的空间变换结果输入至所述空洞空间金字塔池化层，并进行特征重建得到第一重建特征，将所述第一重建特征与第二层空间变换层输出的空间变换结果进行融合，并进行特征重建得到第二重建特征。
4.根据权利要求3所述的虹膜图像的矫正模型训练方法，其特征在于，所述根据所述重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对所述瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像，具体包括：
从所述第一重建特征中提取第一瞳孔掩膜特征，从所述第二重建特征中提取第二瞳孔掩膜特征，并对所述第一瞳孔掩膜特征上采样处理后与所述第二瞳孔掩膜特征融合，得到瞳孔掩膜特征；
对所述瞳孔掩膜特征进行转置卷积，得到分割的瞳孔掩膜；
获取所述正视虹膜图像对应的瞳孔掩膜图像，将所述瞳孔掩膜图像作为标签，基于所述标签和所述瞳孔掩膜，得到瞳孔轮廓和标签轮廓；
根据所述瞳孔轮廓和所述标签轮廓，通过预设的分割损失函数对所述瞳孔掩膜对应的瞳孔形状进行监督，确定调整后的第二重建特征，并将所述调整后的第二重建特征与第一层空间变换层输出的空间变换结果进行特征重建，得到第三重建特征；
对所述第三重建特征进行转置卷积，得到矫正虹膜图像。
5.根据权利要求4所述的虹膜图像的矫正模型训练方法，其特征在于，所述分割损失函数表示为：
dp＝sum(1,where(select(P3)>0.5))
P1表示分割的瞳孔掩膜，B1表示标签，B2表示标签轮廓，sum(B2)表示标签轮廓的周长，dp表示瞳孔轮廓的周长，LBCE表示二值交叉熵损失，P3表示瞳孔轮廓，select表示连续区域，where(select(P3)>0.5)表示瞳孔轮廓中连续区域大于0.5的像素数，Lm表示分割损失值，sum表示求和。
6.根据权利要求1所述的虹膜图像的矫正模型训练方法，其特征在于，所述根据所述正视虹膜图像对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像，具体包括：
根据所述正视虹膜图像，通过相似度损失函数对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
其中，所述相似度损失函数表示为：
Lc表示相似度损失值，N表示矫正虹膜图像或正视虹膜图像的像素总数，I表示正视虹膜图像，表示矫正虹膜图像，i表示第i个像素，其中，矫正虹膜图像和正视虹膜图像的像素总数相等。
7.根据权利要求1所述的虹膜图像的矫正模型训练方法，其特征在于，所述基于所述重建虹膜图像和所述正视虹膜图像，对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整得到目标矫正模型，具体包括：
基于所述重建虹膜图像和所述正视虹膜图像，通过语义损失函数对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整得到目标矫正模型；
其中，所述语义损失函数表示为：
Lf表示语义特征损失值，M表示正视虹膜图像或重建虹膜图像的特征向量的长度，ω表示正视虹膜图像的特征向量，表示重建虹膜图像的特征向量，j表示正视虹膜图像或重建虹膜图像的特征向量中元素的序号。
8.一种虹膜图像的矫正方法，其特征在于，包括：
获取待矫正虹膜图像和利用如权利要求1至7任一项所述的虹膜图像的矫正模型训练方法得到的目标矫正模型；
将所述待矫正虹膜图像输入至所述目标矫正模型，得到矫正后的虹膜图像。
9.一种虹膜图像的矫正模型训练装置，其特征在于，包括：
图像获取模块(11)，用于获取至少一个正视虹膜图像和每个所述正视虹膜图像对应的畸变虹膜图像；
特征重建模块(12)，用于将各所述畸变虹膜图像输入至初始矫正模型中进行图像矫正处理和图像特征重建，得到重建特征；
图像矫正模块(13)，用于根据所述重建特征，获取分割的瞳孔掩膜，并通过预设的分割损失函数对所述瞳孔掩膜的瞳孔形状进行监督，得到矫正虹膜图像；
图像重建模块(14)，用于根据所述正视虹膜图像对所述矫正虹膜图像进行相似度损失约束，得到重建虹膜图像；
模型确定模块(15)，用于基于所述重建虹膜图像和所述正视虹膜图像，对所述重建虹膜图像进行语义特征损失约束，并对所述初始矫正模型进行调整，得到目标矫正模型。
10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器加载并执行时，采用了权利要求1-7中任一项所述的方法。
CN202310615061.8A 2023-05-27 2023-05-27 虹膜图像的矫正模型训练方法、矫正方法、装置及介质 Pending CN116704590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310615061.8A CN116704590A (zh) 2023-05-27 2023-05-27 虹膜图像的矫正模型训练方法、矫正方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310615061.8A CN116704590A (zh) 2023-05-27 2023-05-27 虹膜图像的矫正模型训练方法、矫正方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116704590A true CN116704590A (zh) 2023-09-05

Family

ID=87831963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310615061.8A Pending CN116704590A (zh) 2023-05-27 2023-05-27 虹膜图像的矫正模型训练方法、矫正方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116704590A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894798A (zh) * 2023-09-11 2023-10-17 金华飞光科技有限公司 光固化3d打印机的投影畸形矫正方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894798A (zh) * 2023-09-11 2023-10-17 金华飞光科技有限公司 光固化3d打印机的投影畸形矫正方法及系统
CN116894798B (zh) * 2023-09-11 2023-12-05 金华飞光科技有限公司 光固化3d打印机的投影畸形矫正方法及系统

Similar Documents

Publication Publication Date Title
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
CN112733797B (zh) 人脸图像的视线矫正方法、装置、设备及存储介质
US20160042244A1 (en) Image feature extraction method and system
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
KR101308946B1 (ko) 3차원 얼굴 형상 재구성 방법
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN116704590A (zh) 虹膜图像的矫正模型训练方法、矫正方法、装置及介质
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
Moallem et al. Parametric active contour model using Gabor balloon energy for texture segmentation
CN114037992A (zh) 仪表示数识别方法、装置、电子设备及存储介质
CN113963009B (zh) 基于可形变划块的局部自注意力的图像处理方法和系统
CN109993695B (zh) 一种不规则图形标注的图像碎片拼接方法及系统
CN109829857B (zh) 一种基于生成对抗网络的倾斜图像的矫正方法及装置
CN114004770B (zh) 一种卫星时空图的精校正方法、装置及存储介质
CN113409375B (zh) 图像处理方法、装置以及非易失性存储介质
CN113705358B (zh) 一种基于特征映射的多角度侧脸正面化方法
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法
CN115689947A (zh) 一种图像锐化的方法、系统、电子装置和存储介质
CN114758145A (zh) 一种图像脱敏方法、装置、电子设备及存储介质
CN112116524A (zh) 一种街景图像立面纹理的纠正方法及装置
CN112949518A (zh) 虹膜图像处理方法、装置、设备及存储介质
CN114821216A (zh) 图片去网纹神经网络模型建模、使用方法及相关设备
CN113012132A (zh) 一种图像相似度确定方法、装置及计算设备、存储介质
CN112396602A (zh) 基于帧间跨尺度相似性聚合的钢材涂层检测方法
CN111369425A (zh) 图像处理方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination