CN117974508B - 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 - Google Patents

基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 Download PDF

Info

Publication number
CN117974508B
CN117974508B CN202410361828.3A CN202410361828A CN117974508B CN 117974508 B CN117974508 B CN 117974508B CN 202410361828 A CN202410361828 A CN 202410361828A CN 117974508 B CN117974508 B CN 117974508B
Authority
CN
China
Prior art keywords
iris image
iris
level semantic
convolution
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410361828.3A
Other languages
English (en)
Other versions
CN117974508A (zh
Inventor
陈英
徐亮
郭书斌
邓君康
龙泽烨
张裕良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Hangkong University
Original Assignee
Nanchang Hangkong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Hangkong University filed Critical Nanchang Hangkong University
Priority to CN202410361828.3A priority Critical patent/CN117974508B/zh
Publication of CN117974508A publication Critical patent/CN117974508A/zh
Application granted granted Critical
Publication of CN117974508B publication Critical patent/CN117974508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，方法包括：设计虹膜图像数据集预处理算法；对虹膜图像数据集进行无交叉的划分；设计用于融合虹膜图像高级语义特征和低级语义特征模块；设计关注虹膜图像全局上下文信息模块；设计不规则遮挡虹膜图像修复模型；基于融合虹膜图像高级语义特征和低级语义特征模块和关注虹膜图像全局上下文信息模块，并结合虹膜图像的特征，设计不规则遮挡虹膜图像修复模型；训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复。本发明能够扩充虹膜图像中有限的信息，且能有效提高对不规则遮挡的虹膜图像的修复性能。

Description

基于生成对抗网络用于不规则遮挡的虹膜图像修复方法
技术领域
本发明涉及图像修复领域，特别是涉及一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法。
背景技术
伴随着科技信息技术的高速发展，个人身份认证领域的关注度日益提升，而虹膜因为具有生物活性、唯一性、稳定性等特性被广泛认为具有广大发展潜力的生物识别方式之一。但是目前应用在边境控制、安全访问、生物特征护照、移动认证和计算机登录等场景下采集的虹膜图像大多数为非合作状态得到，导致采集图像的过程中存在外界或自身的诸多干扰，因此采集的虹膜图像会出现模糊、光斑、眼睑遮挡等问题，使得采集的虹膜图像中有效区域丢失，导致虹膜识别系统中定位、分割、识别的性能严重下降。由此需要针对虹膜信息缺失问题提出有效的虹膜修复方法，以提高虹膜识别系统的整体性能。
目前存在的虹膜图像修复方法较少，同时大部分方法都是局限于规则遮挡的虹膜图像修复方法，此类方法不适用真实情况中虹膜图像存在的眼睑、睫毛等不规则遮挡修复，并且由于虹膜具有独特的“多自由度”的高拓扑结构和“高熵率”的随机纹理，使得现有的基于深度学习的虹膜修复方法无法充分利用全局信息和高低语义信息，导致修复的虹膜图像存在纹理结构扭曲、模糊、过度修复等问题。因此本发明针对以上问题，利用虹膜图像预处理算法、融合虹膜图像高级语义特征和低级语义特征模块、关注虹膜图像全局上下文信息模块构建一个高效、可靠的不规则遮挡的虹膜图像修复模型。
发明内容
本发明的目的是提供一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，将虹膜图像预处理算法、融合虹膜图像高级语义特征和低级语义特征模块和关注虹膜图像全局上下文信息模块融合到修复模型中，以适用真实情况下不规则遮挡虹膜图像的修复，同时具备更加优秀的修复性能。
为实现上述目的，本发明提供了如下方案：一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，具体步骤如下：
步骤S1：设计虹膜图像数据集预处理算法；
步骤S2：对虹膜图像数据集进行无交叉的划分；
步骤S3：设计用于融合虹膜图像高级语义特征和低级语义特征模块；
步骤S4：设计关注虹膜图像全局上下文信息模块；
步骤S5：设计不规则遮挡虹膜图像修复模型：基于步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，并结合虹膜图像的特征，设计不规则遮挡虹膜图像修复模型；
步骤S6：训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复。
进一步地，步骤S1中设计虹膜图像数据集预处理算法，具体做法是：
步骤S11，根据采集的原始图像与对应的地面真实值GT图像进行像素间的逻辑与操作，得到只包含虹膜区域图像；
步骤S12，计算只包含虹膜区域图像中虹膜外边界上下左右的坐标，同时计算只包含虹膜区域图像中虹膜外边界和虹膜内边界上下左右的距离；
步骤S13，根据得到坐标和距离确定预裁剪区域上下左右边界并进行裁剪；将裁剪后的图像调整为256×256大小。
进一步地，步骤S2中对虹膜图像数据集进行无交叉的划分，具体做法为：
通过比较高质量虹膜图像特性，挑选出虹膜图像数据集中虹膜区域内无眼睑遮挡，睫毛遮挡的虹膜图像，将挑选出的虹膜图像作为训练集，其余为验证集。
进一步地，步骤S3中设计用于融合虹膜图像高级语义特征和低级语义特征模块，具体做法是：
步骤S31，由通道注意力和空间注意力作为基础结构，通道注意力通过全局平均池化和全局最大池化将输入的低级语义特征进行压缩，以获得每个通道的全局信息；
步骤S32，通过多层感知机和S型激活函数，与低级语义特征相乘来加权不同通道的特征图，获得关注重要通道的特征图，其公式如(1)所示；
(1)；
其中，为低级语义特征的重要通道特征图，为低级语义特征，为S型激活 函数，和分别为平均池化操作和最大池化操作，和分别为两个卷积层 权重；
步骤S33，空间注意力将低级语义特征的重要通道特征图在通道维度上进行 最大池化和平均池化，通过一个卷积层和S型激活函数与低级语义特征的重要通道特征 图相乘得到具有重要空间位置的低级注意力特征，其公式如(2)所示；
(2)；
其中，为重要空间位置特征图，为卷积核为大小的卷积操作，为特征图合并操作；
步骤S34，同时，为了低级语义特征能够更好地服务高级语义特征，高级语义特征通过一个卷积层和S型激活函数得到高级注意力特征，最后将低级语义特征与高级语义特征处理后的数据相乘融合得到高低语义特征，其公式如(3)所示；
(3)；
其中，为融合虹膜图像高级语义特征和低级语义特征模块输出，为卷积 核为大小的卷积操作，为高级语义特征。
进一步地，所述步骤S4中设计关注虹膜图像全局上下文信息模块，具体做法为：
步骤S41，关注虹膜图像全局上下文信息模块包含一个计算结构，计算结构由两条相互连接的路径组成：一条路径在部分输入特征信道上进行普通卷积的局部路径，另外一条路径在频谱域中工作的全局路径；
步骤S42，计算结构将输入数据的信道划分为两个分支：局部分支和全局分支，对应为局部路径和全局路径的输入；
步骤S43，关注虹膜图像全局上下文信息模块对编码层特征和解码层特征分别进行计算结构处理，将编码层特征和解码层特征进行特征图合并操作之后进行一个卷积操作，得到包含虹膜图像全局上下文信息的输出。
进一步地，所述步骤S5中设计不规则遮挡虹膜图像修复模型；根据挑选出的训练集训练得到不规则遮挡虹膜图像修复模型；不规则遮挡虹膜图像修复模型由生成器和鉴别器组成，生成器包含步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，生成器通过编码器-门控残差层-双路高低注意力连接-解码器的形式对不规则遮挡的虹膜图像进行修复，鉴别器对生成器修复的不规则遮挡的虹膜图像进行鉴别，具体为：
步骤S51，生成器中编码器由六层下采样门控卷积组成，下采样门控卷积的激活函数为泄露修正线性单元，输入图像经过一次普通卷积将图像卷积为含有多通道的初始特征，随后将初始特征经过下采样和实例归一化，剩余2-5层的每一层皆由下采样门控卷积和实例归一化组成，依次对上一层的输出数据进行特征提取，第六层对第五层的输出数据进行卷积得到编码器的输出数据；
步骤S52，生成器中门控残差层由4组门控残差组成，门控残差首先对编码器的输出数据进行两次卷积核大小为3×3的门控卷积操作和实例归一化操作，最后将编码器的输出数据和经过卷积和归一化操作后的结果进行相加得到输出；
步骤S53，生成器中双路高低注意力连接由编码层特征、解码层特征和融合虹膜图像高低级语义特征模块组成，融合虹膜图像高低级语义特征模块将编码层特征计算通道注意力值和空间注意力值，得到包含通道注意力和空间注意力的特征，融合虹膜图像高低级语义特征模块同时将解码层特征进行3×3卷积核大小的卷积操作和激活操作，并与包含通道注意力和空间注意力的特征相乘得到最后的输出；
步骤S54，生成器中解码器含有六层，每一层由上采样卷积和关注虹膜图像全局上下文信息模块组成，关注虹膜图像全局上下文信息模块首先将双路高低注意力连接的输出进行分路卷积计算得到包含全局上下文信息的第一输出，同时关注虹膜图像全局上下文信息模块对上一层的解码层输出进行同样操作得到第二输出，最后特征图合并操作第一输出和第二输出并进行卷积核大小为3×3的卷积操作得到关注虹膜图像全局上下文信息模块的最后输出，随后上采样卷积将关注虹膜图像全局上下文信息模块的输出卷积大小为输入特征大小两倍的特征并作为输出；解码器的每一层不断重复此操作以完成虹膜图像的修复；
步骤S55，鉴别器对生成器修复的不规则遮挡的虹膜图像进行鉴别，鉴别器共有七层，前六层中每一层分别由卷积核大小为3×3、步长为1，卷积核大小为4×4、步长为2以及泄露修正线性单元激活函数对输入特征进行特征提取，最后一层使用卷积核大小3×3的卷积操作、修正线性单元激活函数和平均池化操作，将提取的特征的宽高限制为1，同时使用全连接对输入图像进行最终判定。
进一步地，所述步骤S6中训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复，具体做法为：
不规则遮挡虹膜图像修复模型训练过程中，通过计算生成器和鉴别器的损失，利用反向传播优化模型能力，直至拟合；拟合完成后利用验证集对模型的图像修复性能进行检验。
本发明的有益效果是：
（1）本发明设计一个虹膜图像预处理算法，提高虹膜图像质量并扩充图像中虹膜的有效信息，得到大量的高质量虹膜图像。
（2）本发明设计一个可以融合虹膜图像高级语义特征和低级语义特征模块，解决不规则遮挡虹膜图像修复模型中无法利用图像高低级语义特征的问题。
（3）本发明设计一个关注虹膜图像全局上下文信息模块，解决虹膜图像模型在早期训练过程中无法关注图像全局上下文信息的问题。
（4）本发明设计一个能够对不规则遮挡的虹膜图像修复模型，学习虹膜图像的有效信息和待修复区域信息的关联，有效提升了虹膜图像的修复性能。
附图说明
图1为本发明提供的不规则遮挡的虹膜图像修复的方法流程图；
图2为本发明提供的虹膜图像经过预处理后的数据对比图；
图3为本发明提供的不规则遮挡虹膜图像修复模型中生成器模型的结构图；
图4为本发明提供的基于生成对抗网络的虹膜修复的流程图；
图5为本发明提供的模型进行修复后的结果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明涉及深度学习、计算机视觉、生成对抗网络框架、U型结构网络框架等相关技术领域，尤其是关于深度学习和计算机视觉中的关于图像修复的深度学习神经网络的设计和训练。本发明的目的是提供一种基于生成对抗网络的用于不规则遮挡虹膜图像修复的方法，以解决在虹膜图像采集过程导致的不规则遮挡问题，以提高虹膜图像的识别性能。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明采用图1所示流程图，方法及处理的关键步骤包括：
步骤S1：设计虹膜图像数据集预处理算法；对所给数据集中的地面真实值（GroundTruth，GT）数据集和图像数据集进行预处理，提高虹膜图像中虹膜信息含量。包括所给德里印度理工学院虹膜图像数据集IITD、中国科学院自动化研究所-虹膜-间隔虹膜图像数据集CA4I、圣母大学虹膜图像数据集ND-IRIS-0405，但不仅限于此；
步骤S2：对虹膜图像数据集进行无交叉的划分；挑选步骤S1中进行预处理后的无明显杂质信息的图像作为高质量虹膜图像，并将挑选出的高质量虹膜图像和剩余虹膜图像分为训练集和验证集，且二者不存在交叉；
步骤S3：设计用于融合虹膜图像高级语义特征和低级语义特征模块；针对训练过程中无法利用虹膜图像高级语义特征和低级语义特征的问题，设计融合虹膜图像高级语义特征和低级语义特征模块；
步骤S4：设计关注虹膜图像全局上下文信息模块；针对在早期训练过程中无法关注图像全局上下文信息问题，设计在早期训练过程中关注虹膜图像全局上下文信息的模块；
步骤S5：设计不规则遮挡虹膜图像修复模型；基于步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，并结合虹膜图像的特征，设计不规则遮挡虹膜图像修复模型；
步骤S6：训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复；将步骤S2得到的训练集作为步骤S5设计的不规则遮挡虹膜图像修复模型的输入，对不规则遮挡虹膜图像修复模型进行训练学习，并通过训练后的不规则遮挡虹膜图像修复模型进行不规则遮挡的虹膜图像修复。
在以上6个主要步骤中，其中步骤S1和步骤S2是发明实施的基础，步骤S5最为核心。以上步骤的具体实施如下：
步骤S1：设计虹膜图像数据集预处理算法；
由于采集得到虹膜图像中虹膜区域位置具有随机性，且虹膜区域在图像中的占比存在过大和过小的情况，不利于虹膜图像的修复，为此，本发明根据采集的原始图像与对应的地面真实值图像进行像素间的逻辑与操作得到只包含虹膜区域的图像，计算只包含虹膜区域图像中虹膜外边界上下左右的坐标，同时计算图像中虹膜外边界和虹膜内边界上下左右的距离，根据得到坐标和距离确定预裁剪区域上下左右边界，随后进行裁剪并将裁剪后的图像调整为256×256大小，虹膜图像进行预处理前后对比如图2所示。
步骤S2：对虹膜图像数据集进行无交叉的划分；
本发明所使用的数据集包括德里印度理工学院虹膜图像数据集IITD、中国科学院自动化研究所-虹膜-间隔虹膜图像数据集CA4I以及圣母大学虹膜图像数据集ND-IRIS-0405，其中，三个数据集中本发明使用的图像数量分别为2240张、2639张、10080张，并均在步骤S1中被预处理。具体信息如下表1所示。
IITD数据集的其中868张图像被划分为训练集，1372张被划分为验证集；CA4I数据集的其中1650张图像被划分为训练集，989张被划分为验证集；以及ND-IRIS-0405数据集的其中1792张图像被划分为训练集，8288张被划分为验证集。
表1数据集信息
步骤S3：设计用于融合虹膜图像高级语义特征和低级语义特征模块；
通常虹膜图像修复模型的训练过程中，模型对低级语义特征和高级语义特征只是进行单独的计算操作，并没有结合高低语义特征的特性，以达到更好的修复效果。本发明设计了用于融合虹膜图像高级语义特征和低级语义特征模块，具体做法是：融合虹膜图像高级语义特征和低级语义特征模块分为两路连接，其中一路连接由通道注意力和空间注意力作为基础结构，通道注意力通过全局平均池化和全局最大池化将输入的低级语义特征进行压缩，以获得每个通道的全局信息，并通过多层感知机和S型激活函数，最后与低级语义特征相乘来加权不同通道的特征图，获得关注重要通道的特征图，其公式如(1)所示。
(1)；
其中，为低级语义特征的重要通道特征图，为低级语义特征，为S型激活 函数，和分别为平均池化操作和最大池化操作，和分别为两个卷积层 权重。
空间注意力将低级语义特征重要通道特征图在通道维度上进行最大池化和 平均池化，以捕捉不同空间位置的信息，并通过一个卷积层和S型激活函数与低级语义特征重要通道特征图相乘得到具有重要空间位置的低级注意力特征，其公式如(2)所示。
(2)；
其中，为特征图合并操作，为卷积核为大小的卷积操作，为 重要空间位置特征图。
同时，为了低级语义特征能够更好地服务高级语义特征，高级语义特征通过一个卷积层和S型激活函数得到高级注意力特征，最后将低级语义特征与高级语义特征处理后的数据相乘融合得到高低语义特征，其公式如(3)所示。
(3)；
其中，为融合虹膜图像高级语义特征和低级语义特征模块输出，为卷积 核为大小的卷积操作，为高级语义特征。
融合虹膜图像高级语义特征和低级语义特征模块有效结合不规则遮挡虹膜图像修复模型中的不同特征，更好地学习了虹膜图像中有效区域和待修复区域之间的关系，有助于提高虹膜图像的修复性能。
步骤S4：设计关注虹膜图像全局上下文信息模块；
鉴于深度学习网络无法在浅层获取图像的全局上下文信息，导致在图像修复时容易出现局部区域信息不符合整体信息的问题，为此设计了一个在早期关注虹膜图像全局上下文信息的模块。其中关注虹膜图像全局上下文信息模块中包含一个计算结构，计算结构由两条相互连接的局部路径和全局路径组成：局部路径在部分输入特征信道上进行普通卷积，全局路径在频谱域中工作。同时计算结构将输入数据的信道划分为两个分支：局部分支和全局分支，对应为局部路径和全局路径的输入。
其中局部路径中对局部路径的输入和全局路径的输入进行卷积操作，并将二者相加得到局部路径的输出；全局路径中对全局路径的输入使用通道快速傅里叶变换，对局部路径的输入使用卷积操作，并将二者相加得到全局路径的输出；将局部路径的输出和全局路劲的输出相加得到计算结构的输出。两条路径都可以捕获具有不同感受野的互补信息，使得关注虹膜图像全局上下文信息模块不仅有非局部的感受野，而且也能融合跨尺度的信息。全局上下文信息模块对编码层特征和解码层特征分别进行计算结构处理，并将二者通过特征图合并操作之后进行一个卷积核为3×3的卷积操作，最终得到包含虹膜图像全局上下文信息的输出。
步骤S5：设计不规则遮挡虹膜图像修复模型；
由于虹膜图像常见的低质量图像通常存在光斑遮挡、眼睑遮挡和睫毛遮挡，而此类遮挡都是不规则遮挡，为此需要不规则遮挡虹膜图像修复方法。
由于U型结构网络的结构特性，其能够很好的结合高级语义信息和低级语义信息，并且能够在编码层特征和解码层特征之间建立联系，同时生成对抗网络通过生成器修复，鉴别器鉴别的方式进行对抗，使得网络能够达到优异的修复效果，因此不规则遮挡虹膜图像修复模型以U型结构网络的结构和生成对抗网络的思想作为基础进行设计。不规则遮挡虹膜图像修复模型由生成器和鉴别器组成，其中生成器包含步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，生成器通过编码器-门控残差层-双路高低注意力连接-解码器的形式对不规则遮挡的虹膜图像进行修复，鉴别器对生成器修复的图像进行鉴别以帮助生成器得到更优异的修复性能，具体为：
生成器中编码器由六层下采样门控卷积组成，门控卷积的激活函数为泄露修正线性单元，第一层编码器将输入图像经过一次普通卷积将图像卷积为含有多通道的初始特征，随后将初始特征经过门控卷积操作和实例归一化操作得到该层输出，并将输出作为下一层编码器的输入和对应解码器层的输入；剩余2-5层的每一层皆由下采样门控卷积和实例归一化组成，依次对上一层的输出数据进行特征提取，2-5层每一层的输出都为下一层编码器的输入和对应解码器层的输入；第六层对第五层的输出数据集进行卷积得到编码器的输出数据，并将其作为门控残差层的输入。
生成器中门控残差层由4组门控残差组成，门控残差对首先对编码器的输出数据进行两次卷积核大小为3×3的门控卷积操作和实例归一化操作，最后将编码器的输出数据和经过卷积和归一化操作后的结果进行相加得到输出。门控残差层的最终输出作为编码器的输入。
U型结构网络中的跳跃连接由生成器中双路高低注意力连接进行替换，双路高低注意力连接由编码层特征、解码层特征和融合虹膜图像高级语义特征和低级语义特征模块组成，融合虹膜图像高级语义特征和低级语义特征模块将编码层特征计算通道注意力值和空间注意力值，得到包含通道注意力和空间注意力的特征，融合虹膜图像高级语义特征和低级语义特征模块同时将解码层特征进行3×3卷积核大小的卷积操作和激活操作，并与包含通道注意力和空间注意力的特征相乘得到最后的输出。
生成器中解码器含有六层，每一层由上采样卷积和关注虹膜图像全局上下文信息模块组成，关注虹膜图像全局上下文信息模块将双路高低注意力连接的输出和上一层解码层的输出进行分路卷积计算得到包含全局上下文信息的输出，随后上采样卷积将关注虹膜图像全局上下文信息模块输出卷积大小为输入特征大小两倍的特征并作为输出。编码器每层不断重复此操作以完成虹膜图像的修复。
生成器模型的示意图如图3所示。
鉴别器对生成器修复的虹膜图像进行真假鉴别，以帮助生成器生成更加合理的修复图像。本发明鉴别共有七层，前六层中每一层分别由卷积核大小为3×3、步长为1，卷积核大小为4×4、步长为2以及泄露修正线性单元激活函数对输入特征进行特征提取，最后一层使用卷积核大小3×3的卷积操作、修正线性单元激活函数和平均池化操作，将提取出的特征的宽高限制为1，同时使用全连接对输入图像进行最终判定。
基于生成对抗网络的不规则虹膜图像修复模型的流程图如图4所示。
步骤S6：训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复。
使用步骤S2中划分出的训练集，对步骤S5中设计的不规则遮挡虹膜图像修复模型进行逐步训练得到不规则遮挡虹膜图像修复模型，其进行修复后的结果如图5所示。训练过程中的输入图像的分辨率为256×256，训练的轮数根据数据集的数量限定在150～200轮之间，每一轮训练随机使用训练集中全部的图片进行训练，以每次8张的密度输入。同时在每一次迭代过程中计算生成器损失和鉴别器损失，并通过反向传播不断更新模型的参数直至拟合。其中鉴别器损失的计算如公式(4)所示：
(4)；
其中，为判别器网络的损失函数，为真实虹膜图像的分布期望，为修正线 性单元激活函数，为鉴别器网络，为真实虹膜图像，为修复虹膜图像的分布期望，为 修复虹膜图像。
生成器损失的计算如公式(5)所示：
(5)；
其中，为生成器网络的损失函数。
通过使用步骤S2中划分出的验证集中的数据进行相关实验，证实了所训练的不规则遮挡虹膜图像修复模型具有较好的修复性能，其结果如表2所示，其中弗雷歇入侵距离FID、峰值信噪比PSNR和结构相似性SSIM为修复图像的评价指标。
其中弗雷歇入侵距离FID的计算如公式(6)所示：
(6)；
其中，为真实图像分布的特征向量集合，为修复图像分布的特征向量集合， 和分别为真实图像分布的特征向量集合和修复图像分布的特征向量集合的特征向量 集合的均值，和分别为真实图像分布的特征向量集合和修复图像分布的特征向量集 合的特征向量集合的协方差矩阵，表示协方差矩阵的迹的平方根。
其中峰值信噪比PSNR的计算如公式(7)所示：
(7)；
其中，表示真实图像和修复图像的均方差，为每像素的比特数，取值为8。
其中结构相似性SSIM的计算如公式(8)所示：
(8)；
其中，和是待比较的真实虹膜图像和修复虹膜图像，和分别是和的均 值，和分别是和的标准差，是和的协方差，和为两个常数。
表2验证结果
本发明使用计算机视觉前沿技术研究成果，设计不规则遮挡虹膜图像修复模型对虹膜图像中的存在的遮挡进行修复；通过设计虹膜图像预处理算法，以扩充虹膜图像中虹膜信息；同时设计融合虹膜图像高级语义特征和低级语义特征模块和设计关注虹膜图像全局上下文信息模块以提高图像的修复性能；并利用生成对抗网络的思想设计优异的不规则遮挡虹膜图像修复模型。通过以上一整套流程，实现不规则虹膜图像修复的统一框架。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

Claims (4)

1.一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，其特征在于：具体步骤如下：
步骤S1：设计虹膜图像数据集预处理算法；
步骤S2：对虹膜图像数据集进行无交叉的划分；
步骤S3：设计用于融合虹膜图像高级语义特征和低级语义特征模块；
步骤S4：设计关注虹膜图像全局上下文信息模块；
步骤S5：设计不规则遮挡虹膜图像修复模型：基于步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，并结合虹膜图像的特征，设计不规则遮挡虹膜图像修复模型；
步骤S6：训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复；
步骤S3中设计用于融合虹膜图像高级语义特征和低级语义特征模块，具体做法是：
步骤S31，由通道注意力和空间注意力作为基础结构，通道注意力通过全局平均池化和全局最大池化将输入的低级语义特征进行压缩，以获得每个通道的全局信息；
步骤S32，通过多层感知机和S型激活函数，与低级语义特征相乘来加权不同通道的特征图，获得关注重要通道的特征图，其公式如(1)所示；
(1)；
其中，为低级语义特征/>的重要通道特征图，/>为低级语义特征，/>为S型激活函数，/>和/>分别为平均池化操作和最大池化操作，/>和/>分别为两个卷积层权重；
步骤S33，空间注意力将低级语义特征的重要通道特征图/>在通道维度上进行最大池化和平均池化，通过一个卷积层和S型激活函数与低级语义特征/>的重要通道特征图相乘得到具有重要空间位置的低级注意力特征，其公式如(2)所示；
(2)；
其中，为重要空间位置特征图，/>为卷积核为/>大小的卷积操作，/>为特征图合并操作；
步骤S34，同时，高级语义特征通过一个卷积层和S型激活函数得到高级注意力特征，最后将低级语义特征与高级语义特征处理后的数据相乘融合得到高低语义特征，其公式如(3)所示；
(3)；
其中，为融合虹膜图像高级语义特征和低级语义特征模块输出，/>为卷积核为大小的卷积操作，/>为高级语义特征；
步骤S4中设计关注虹膜图像全局上下文信息模块，具体做法为：
步骤S41，关注虹膜图像全局上下文信息模块包含一个计算结构，计算结构由两条相互连接的路径组成：一条路径在部分输入特征信道上进行普通卷积的局部路径，另外一条路径在频谱域中工作的全局路径；
步骤S42，计算结构将输入数据的信道划分为两个分支：局部分支和全局分支，对应为局部路径和全局路径的输入；
步骤S43，关注虹膜图像全局上下文信息模块对编码层特征和解码层特征分别进行计算结构处理，将编码层特征和解码层特征进行特征图合并操作之后进行一个卷积操作，得到包含虹膜图像全局上下文信息的输出；
所述步骤S5中设计不规则遮挡虹膜图像修复模型；根据挑选出的训练集训练得到不规则遮挡虹膜图像修复模型；不规则遮挡虹膜图像修复模型由生成器和鉴别器组成，生成器包含步骤S3中融合虹膜图像高级语义特征和低级语义特征模块和步骤S4中关注虹膜图像全局上下文信息模块，生成器通过编码器-门控残差层-双路高低注意力连接-解码器的形式对不规则遮挡的虹膜图像进行修复，鉴别器对生成器修复的不规则遮挡的虹膜图像进行鉴别，具体为：
步骤S51，生成器中编码器由六层下采样门控卷积组成，下采样门控卷积的激活函数为泄露修正线性单元，输入图像经过一次普通卷积将图像卷积为含有多通道的初始特征，随后将初始特征经过下采样和实例归一化，剩余2-5层的每一层皆由下采样门控卷积和实例归一化组成，依次对上一层的输出数据进行特征提取，第六层对第五层的输出数据进行卷积得到编码器的输出数据；
步骤S52，生成器中门控残差层由4组门控残差组成，门控残差首先对编码器的输出数据进行两次卷积核大小为3×3的门控卷积操作和实例归一化操作，最后将编码器的输出数据和经过卷积和归一化操作后的结果进行相加得到输出；
步骤S53，生成器中双路高低注意力连接由编码层特征、解码层特征和融合虹膜图像高低级语义特征模块组成，融合虹膜图像高低级语义特征模块将编码层特征计算通道注意力值和空间注意力值，得到包含通道注意力和空间注意力的特征，融合虹膜图像高低级语义特征模块同时将解码层特征进行3×3卷积核大小的卷积操作和激活操作，并与包含通道注意力和空间注意力的特征相乘得到最后的输出；
步骤S54，生成器中解码器含有六层，每一层由上采样卷积和关注虹膜图像全局上下文信息模块组成，关注虹膜图像全局上下文信息模块首先将双路高低注意力连接的输出进行分路卷积计算得到包含全局上下文信息的第一输出，同时关注虹膜图像全局上下文信息模块对上一层的解码层输出进行同样操作得到第二输出，最后特征图合并操作第一输出和第二输出并进行卷积核大小为3×3的卷积操作得到关注虹膜图像全局上下文信息模块的最后输出，随后上采样卷积将关注虹膜图像全局上下文信息模块的输出卷积大小为输入特征大小两倍的特征并作为输出；解码器的每一层不断重复此操作以完成虹膜图像的修复；
步骤S55，鉴别器对生成器修复的不规则遮挡的虹膜图像进行鉴别，鉴别器共有七层，前六层中每一层分别由卷积核大小为3×3、步长为1，卷积核大小为4×4、步长为2以及泄露修正线性单元激活函数对输入特征进行特征提取，最后一层使用卷积核大小3×3的卷积操作、修正线性单元激活函数和平均池化操作，将提取的特征的宽高限制为1，同时使用全连接对输入图像进行最终判定。
2.根据权利要求1所述的一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，其特征在于：步骤S1中设计虹膜图像数据集预处理算法，具体做法是：
步骤S11，根据采集的原始图像与对应的地面真实值GT图像进行像素间的逻辑与操作，得到只包含虹膜区域图像；
步骤S12，计算只包含虹膜区域图像中虹膜外边界上下左右的坐标，同时计算只包含虹膜区域图像中虹膜外边界和虹膜内边界上下左右的距离；
步骤S13，根据得到坐标和距离确定预裁剪区域上下左右边界并进行裁剪；将裁剪后的图像调整为256×256大小。
3.根据权利要求2所述的一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，其特征在于：步骤S2中对虹膜图像数据集进行无交叉的划分，具体做法为：
通过比较高质量虹膜图像特性，挑选出虹膜图像数据集中虹膜区域内无眼睑遮挡，睫毛遮挡的虹膜图像，将挑选出的虹膜图像作为训练集，其余为验证集。
4.根据权利要求3所述的一种基于生成对抗网络用于不规则遮挡的虹膜图像修复方法，其特征在于：所述步骤S6中训练不规则遮挡虹膜图像修复模型并进行虹膜图像修复，具体做法为：
不规则遮挡虹膜图像修复模型训练过程中，通过计算生成器和鉴别器的损失，利用反向传播优化模型能力，直至拟合；拟合完成后利用验证集对模型的图像修复性能进行检验。
CN202410361828.3A 2024-03-28 2024-03-28 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法 Active CN117974508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410361828.3A CN117974508B (zh) 2024-03-28 2024-03-28 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410361828.3A CN117974508B (zh) 2024-03-28 2024-03-28 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法

Publications (2)

Publication Number Publication Date
CN117974508A CN117974508A (zh) 2024-05-03
CN117974508B true CN117974508B (zh) 2024-06-07

Family

ID=90853761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410361828.3A Active CN117974508B (zh) 2024-03-28 2024-03-28 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法

Country Status (1)

Country Link
CN (1) CN117974508B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109462747A (zh) * 2018-12-11 2019-03-12 成都美律科技有限公司 基于生成对抗网络的dibr系统空洞填充方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN113313180A (zh) * 2021-06-04 2021-08-27 太原理工大学 一种基于深度对抗学习的遥感图像语义分割方法
CN113962893A (zh) * 2021-10-27 2022-01-21 山西大学 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
CN114463214A (zh) * 2022-01-28 2022-05-10 北京邮电大学 区域注意力机制引导的双路虹膜补全方法及系统
CN115222609A (zh) * 2022-02-21 2022-10-21 南京信息工程大学 一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法
CN115424337A (zh) * 2022-09-02 2022-12-02 北京邮电大学 基于先验引导的虹膜图像修复系统
CN115578404A (zh) * 2022-11-14 2023-01-06 南昌航空大学 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN115578781A (zh) * 2022-09-09 2023-01-06 盛视科技股份有限公司 去遮挡的虹膜检测方法、虹膜识别方法及可读存储介质
CN116110113A (zh) * 2022-11-15 2023-05-12 南昌航空大学 一种基于深度学习的虹膜识别方法
CN116402717A (zh) * 2023-04-11 2023-07-07 华侨大学 基于自注意力机制与联合空洞卷积的goci图像修复去噪方法
CN116543437A (zh) * 2023-05-04 2023-08-04 燕山大学 一种基于遮挡-特征映射关系的遮挡人脸识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122926B2 (en) * 2012-07-19 2015-09-01 Honeywell International Inc. Iris recognition using localized Zernike moments
US10884503B2 (en) * 2015-12-07 2021-01-05 Sri International VPA with integrated object recognition and facial expression recognition
CN114463545A (zh) * 2022-02-10 2022-05-10 内蒙古工业大学 一种基于多通道深度加权聚合的图像语义分割算法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109462747A (zh) * 2018-12-11 2019-03-12 成都美律科技有限公司 基于生成对抗网络的dibr系统空洞填充方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN113313180A (zh) * 2021-06-04 2021-08-27 太原理工大学 一种基于深度对抗学习的遥感图像语义分割方法
CN113962893A (zh) * 2021-10-27 2022-01-21 山西大学 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
CN114463214A (zh) * 2022-01-28 2022-05-10 北京邮电大学 区域注意力机制引导的双路虹膜补全方法及系统
CN115222609A (zh) * 2022-02-21 2022-10-21 南京信息工程大学 一种基于生成对抗网络模型的水下图像修复方法和生成对抗网络模型训练方法
CN115424337A (zh) * 2022-09-02 2022-12-02 北京邮电大学 基于先验引导的虹膜图像修复系统
CN115578781A (zh) * 2022-09-09 2023-01-06 盛视科技股份有限公司 去遮挡的虹膜检测方法、虹膜识别方法及可读存储介质
CN115578404A (zh) * 2022-11-14 2023-01-06 南昌航空大学 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN116110113A (zh) * 2022-11-15 2023-05-12 南昌航空大学 一种基于深度学习的虹膜识别方法
CN116402717A (zh) * 2023-04-11 2023-07-07 华侨大学 基于自注意力机制与联合空洞卷积的goci图像修复去噪方法
CN116543437A (zh) * 2023-05-04 2023-08-04 燕山大学 一种基于遮挡-特征映射关系的遮挡人脸识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
From coarse to fine: Two-stage deep residual attention generative adversarial network for repair of iris textures obscured by eyelids and eyelashes;Ying Chen, Yugang Zeng, Liang Xu, Shubin Guo, Ali Asghar Heidari, Huiling Chen, Yudong Zhang;iScience;20230721(第07期);全文 *
Hybrid attention generative adversarial network:texture inpainting algorithm for iris defects with excellent repair performance and generalization;Ying Chen, Yugang Zeng , Liang Xu, Shubin Guo , and Huimin Gan;Journal of Electronic Imaging;20230614(第06期);全文 *
Two-Stage and Two-Discriminator generative adversarial network for the inpainting of irregularly incomplete iris images;Ying Chena, Liang Xua, *, Huiling Chenb, *, Yugang Zenga, Shubin Guoa, Junkang Denga, Ali Asghar Heidaric;ELSEVIER;20231226(第12期);正文第6页第（2）部分：图像处理，第4.4部分 *
生成对抗网络进行感知遮挡人脸还原的算法研究;魏赟;孙硕;;小型微型计算机系统;20200215(02);全文 *

Also Published As

Publication number Publication date
CN117974508A (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN109118467B (zh) 基于生成对抗网络的红外与可见光图像融合方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
Ding et al. DiResNet: Direction-aware residual network for road extraction in VHR remote sensing images
CN114626042B (zh) 一种人脸验证攻击方法和装置
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112825188A (zh) 一种基于深度卷积生成对抗网络的遮挡人脸补全算法
CN115512399A (zh) 一种基于局部特征和轻量级网络人脸融合攻击检测的方法
CN113011307A (zh) 一种基于深度残差网络的人脸识别身份认证方法
CN110222568B (zh) 一种基于时空图的跨视角步态识别方法
Yang et al. A gan-based method for generating finger vein dataset
CN112329538B (zh) 一种基于微波视觉的目标分类方法
CN117974508B (zh) 基于生成对抗网络用于不规则遮挡的虹膜图像修复方法
Chen et al. Face recognition with masks based on spatial fine-grained frequency domain broadening
Song et al. A single image dehazing method based on end-to-end cpad-net network in deep learning environment
CN117115675A (zh) 一种跨时相轻量化空谱特征融合高光谱变化检测方法、系统、设备及介质
CN116543437A (zh) 一种基于遮挡-特征映射关系的遮挡人脸识别方法
CN116704367A (zh) 一种多尺度特征融合耕地变化检测方法及系统
CN114764754B (zh) 一种基于几何感知先验引导的遮挡人脸修复方法
CN115761220A (zh) 一种基于深度学习的增强检测遮挡目标的目标检测方法
CN116403150A (zh) 一种基于融合c3-cbam注意力机制的口罩检测算法
CN112488936B (zh) 一种基于生成对抗网络的手指静脉模糊图像去模糊的方法
CN114120050A (zh) 地表生态数据提取方法及装置、设备和存储介质
CN112906508A (zh) 一种基于卷积神经网络的面部活体检测方法
CN113361417B (zh) 一种基于可变时序的人体行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant