CN116844192A - 一种低质量指纹图像的增强处理方法 - Google Patents

一种低质量指纹图像的增强处理方法 Download PDF

Info

Publication number
CN116844192A
CN116844192A CN202310888581.6A CN202310888581A CN116844192A CN 116844192 A CN116844192 A CN 116844192A CN 202310888581 A CN202310888581 A CN 202310888581A CN 116844192 A CN116844192 A CN 116844192A
Authority
CN
China
Prior art keywords
image
loss
stage
quality fingerprint
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310888581.6A
Other languages
English (en)
Other versions
CN116844192B (zh
Inventor
赵生慧
朱之强
赵亮
刘进军
赵玉艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuzhou University
Original Assignee
Chuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuzhou University filed Critical Chuzhou University
Priority to CN202310888581.6A priority Critical patent/CN116844192B/zh
Publication of CN116844192A publication Critical patent/CN116844192A/zh
Application granted granted Critical
Publication of CN116844192B publication Critical patent/CN116844192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种低质量指纹图像的增强处理方法，涉及图像处理技术领域，该方法包括：基于指纹图像生成软件制作数据集；构建迁移学习第一阶段和第二阶段的网络结构；基于由全局损失函数和局部损失函数构成的损失函数对第一阶段和第二阶段的UNet++网络进行训练；利用训练完成的第二阶段UNet++网络对待增强的低质量指纹图像进行增强。本发明基于全局和局部差异设计损失函数，使得模型可以学习到指纹脊线等局部细节，提高了指纹图像增强时对指纹脊线方向估计的准确性；除此之外，通过迁移学习训练UNet++网络模型，确保模型能够学习到足够的数据样本，减少过拟合风险，提高模型的泛化能力。

Description

一种低质量指纹图像的增强处理方法
技术领域
本发明涉及图像处理技术领域，特别涉及一种低质量指纹图像的增强处理方法。
背景技术
生物特征识别技术，是指采用计算机等电子设备利用人体固有的生理特征如：指纹、虹膜、面相等来进行个人身份鉴定的技术，目前广泛应用于各个领域。其中，指纹识别应用最为普及。但在进行指纹识别时，如果所获取的指纹不清晰就会对识别精度造成影响，因此就需要对所获的低质量指纹图像进行增强。
指纹图像超分辨率增强是一种通过提升指纹图像的像素密度增强其可见细节的图像处理技术，它是根据输入的低分辨率指纹图像中的已知细节来推测出其它可能的更多特征。神经网络是实现指纹图像超分辨率增强的方法之一，其原理是通过训练大量的指纹图像数据学习指纹图像中的梯度、脊线等特征，然后生成特定方向的指纹脊线并且过滤掉多余的噪声。
但是，指纹的形态结构复杂，包含大量的细节纹理，在进行网络训练时，传统的损失函数仅基于图像的像素级别的整体差异来指导模型训练，不考虑指纹脊线等局部细节差异，因此使用传统损失函数所训练的模型无法学习到局部脊线差异等细节特征，导致模型对低质量指纹图像的增强效果不理想；除此之外，对神经网络模型只训练一次可能存在模型过拟合的风险，从而导致模型的泛化能力弱。
发明内容
本发明提供一种低质量指纹图像的增强处理方法，可以解决现有技术中，使用神经网络模型进行指纹图像增强时，传统损失函数不考虑指纹脊线局部细节和模型泛化能力弱的问题。
本发明提供一种低质量指纹图像的增强处理方法，包括以下步骤:
构建配对的低质量指纹图像和高质量指纹图像数据集，所述数据集包括第一数据集和第二数据集；
通过迁移学习，训练第一阶段和第二阶段的具有嵌套结构且能进行低高级特征融合的UNet++网络模型，所述第一阶段和第二阶段的网络结构相同；
训练第一阶段UNet++网络：随机设定初始权重，将第一数据集中的低质量指纹图像输入第一阶段UNet++网络结构中，输出增强后的图像，通过损失函数计算增强后的图像与对应高质量指纹图像之间的误差，对误差进行反向传播，迭代更新第一阶段UNet++网络中的权重，迭代次数达到设定次数后，获得第一阶段UNet++网络的最终权重；
训练第二阶段UNet++网络：将所述第一阶段网络的最终权重作为第二阶段网络的初始权重，将第二数据集输入第二阶段UNet++网络中，基于损失函数进行训练；
所述第一阶段和第二阶段的UNet++网络训练过程中所使用的损失函数是基于全局损失和局部损失进行改进后的损失函数：
Loss＝LossTotal+LossTotal (1)
其中，
LossTotal是根据增强后图像和对应的高质量指纹图像之间的方向梯度损失、方向场损失、由指纹图像背景场转化的连续向量场损失得到的全局损失；
LossLocal是将增强后图像和对应的高质量指纹图像划分成2×2不重叠的图像块和，根据对应图像块和之间的方向梯度损失、方向场损失、由指纹图像背景转化的连续向量场损失得到的局部损失；
利用训练完成的第二阶段UNet++网络对待增强的低质量指纹图像进行增强处理，获得增强的指纹图像。
进一步的，所述构建配对的低质量指纹图像和高质量指纹图像数据集，具体包括：
利用图像生成软件Anguli生成若干张的高质量指纹图像；
对所述若干张的高质量指纹图像添加噪声和折痕，得到对应的低质量指纹图；
通过对匹配若干对的高、低质量指纹图像执行圆角裁剪或旋转操作，使其形状变为圆形；
将获得的若干对圆形高、低质量指纹图像划分，其中一半作为第一阶段模型训练时所用的数据集，剩余一半作为第二阶段模型训练时所用的数据集。
进一步的，所述UNet++网络结构，包括：
六个卷积块，所述卷积块均包含两层卷积，所述卷积块用于对输入的低质量指纹图像进行卷积；
五个第一反卷积块，所述第一反卷积块包含至少一个反卷积层，所述第一反卷积块用于对所述卷积层的输出进行反卷积；
五个第二反卷积块，所述第二反卷积块包含至少一个反卷积层和一个卷积层；所述第二反卷积块用于将所述第一反卷积块的输出恢复到原始指纹图像大小；
输出层。
进一步的，所述第二反卷积块中的卷积层所用的激活函数为sigmoid。
进一步的，所述输出层的输出为：
其中，Ci是所述各第二反卷积块的输出。
进一步的，所述全局损失，包括：
LossTotal＝Egrad(Ft，Fr)+λ(Eori+Erel) (3)
其中，
其中：
Ft是目标图像，即与输入低质量指纹图像对应的高质量指纹图像；
Fr是重建图像，即对输入低质量指纹图像增强后得到的图像；
Sθ为不同方向的Sobel算子，e表示卷积操作，Ω＝{0，45，90，135}，Egrad(Ft，Fr)是目标图像和重建图像之间的方向梯度损失；
Θ(Ft)是目标图像的方向场，Θ(Fr)是重建图像的方向场，n为像素点的个数，Eori是目标图像和重建图像的方向场损失；
R(Ft)是由目标图像背景场转化得到的连续向量场，R(Fr)是由重建图像背景场转化得到的连续向量场，Erel是目标图像和重建图像由背景场转化得到的连续向量场损失；
λ是对Erel和Eori进行正则化的超参数。
进一步的，所述局部损失，包括：
其中：
是划分后大小为2×2的目标图像；
是划分后大小为2×2的重建图像；
是划分后大小为2×2目标图像和重建图像的局部方向梯度损失；
是划分后大小为2×2目标图像和重建图像的脊线方向的局部方向场损失；
是划分后大小为2×2目标图像和重建图像的由背景场转化得到的局部连续向量场损失。
进一步的，需要对待增强指纹图像的大小进行重塑使其满足模型的输入大小，同时对其进行二值化后后再输入训练完成的第二阶段UNet++网络进行增强。
本发明提供一种低质量指纹图像的增强处理方法，与现有技术相比，其有益效果如下：
本发明通过全局与局部的方向梯度差异、方向场差异、由指纹图像背景场转化得到的连续向量场差异设计损失函数，使得模型可以学习到低、高质量的指纹脊线之间的更多细节差异，提高了指纹图像增强时对指纹脊线方向估计的准确性；除此之外，通过迁移学习训练UNet++网络模型，确保模型能够学习到足够的数据样本，减少过拟合风险，提高模型的泛化能力。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1为本发明提供的一种低质量指纹图像的增强处理方法的UNet++网络结构图；
图2为本发明提供的一种低质量指纹图像的增强处理方法的数据集构建方法流程图；
图3为本发明提供的一种低质量指纹图像的增强处理方法的低质量指纹图像增强方法流程图；
图4为本发明提供的一种低质量指纹图像的增强处理方法的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
实施例
如图1-3所示，一种低质量指纹图像的增强处理方法，包括以下步骤：
步骤1：基于指纹图像生成软件制作数据集，包括:
步骤1.1：图像生成软件Anguli生成一万张的高质量指纹图像；
由于现实世界中缺乏公开可用的配对指纹数据集用以模型的训练，所以通过指纹合成软件生成一万对高质量指纹指纹图像以有效解决训练指纹增强模型时缺乏数据集的问题；
步骤1.2：对所述一万张的高质量指纹图像添加噪声和折痕，得到对应的低质量指纹图；
指纹增强的目的是输入低质量指纹图像，这类指纹图像存在背景噪声以及脊线不清晰、有折痕等问题，对生成的高质量指纹图像添加噪声或折痕就可得到与高质量指纹图像一一对应的低质量指纹图像；
步骤1.3：通过对高、低质量指纹图像执行圆角裁剪或旋转等操作，使其形状变为圆形；
通过指纹合成软件生成的指纹图像呈方形，这与现实世界中的圆形指纹不对应，对原始指纹图像执行圆角裁剪或旋转等操作，可使其形状变为圆形；
步骤1.4：对变圆后的高质量指纹图像进行Gabor滤波增强；
由于变圆后的高质量指纹图像本身存在部分脊线缺失的问题，对其执行Gabor滤波操作，可以使其能够更加符合高质量指纹图像的标准；
步骤1.5：将一万对配对的圆形高、低质量指纹图像作为数据集，其中5000对作为第一阶段网络的数据集，剩余的5000对作为第二阶段网络的数据集。
步骤2：构建迁移学习第一阶段和第二阶段的网络结构，第一阶段和第二阶段的网络结构相同，都是具有嵌套结构且能进行低高级特征融合的UNet++网络模型，该网络模型的结构包括：
六个卷积块，具体包括：
构建的具有嵌套结构的UNet++网络第一至六层为卷积块，每个卷积块包含两层卷积，卷积步长分别是2×2和1×1，过滤器的个数由第一层卷积至第六层卷积分别是：32、64、128、256、512、1024，更深一层卷积的输入是上一层卷积的输出；
五个第一反卷积块，具体包括：
构建的具有嵌套结构的UNet++网络第七至十一层为反卷积层，第七层输入是第六层卷积的输出，八至十一层的输入是上一层反卷积的输出，反卷积步长是2×2，过滤器个数为1024；
构建的具有嵌套结构的UNet++网络第十二至十五层为反卷积层，第十二层输入是第五层卷积的输出，十三至十五层的输入是上一层反卷积的输出，反卷积步长是2×2，过滤器个数为512；
构建的具有嵌套结构的UNet++网络第十六至十八层为反卷积层，第十六层输入是第四层卷积的输出，十七至十八层的输入是上一层反卷积的输出，反卷积步长是2×2，过滤器个数为256；
构建的具有嵌套结构的UNet++网络第十九至二十层为反卷积层，第十九层输入是第三层卷积的输出，第二十层的输入是上一层反卷积的输出，反卷积步长是2×2，过滤器个数为128；
构建的具有嵌套结构的UNet++网络第二十一层为反卷积层，其输入是第二层卷积的输出，反卷积步长是2×2，过滤器个数为64；
上述第一反卷积块的输出分别为c1、c2、c3、c4、c5，这些输出用来将具有相同维度的特征合并；
五个第二反卷积块，具体包括；
构建的具有嵌套结构的UNet++网络第二十二层至二十六层为反卷积层，用来将合并后的c1恢复到原始指纹大小，第二十二层的输入是c1，其余更深一层的输入是上一级的反卷积层的输出，反卷积步长为2×2，过滤器个数为1。第二十七层为卷积层，用来对UNet++的第一级输出进行激活，激活函数为sigmoid；
构建的具有嵌套结构的UNet++网络第二十八层至三十一层为反卷积层，用来将合并后的c2恢复到原始指纹大小，第二十八层的输入是c2，其余更深一层的输入是上一级的反卷积层的输出，反卷积步长为2×2，过滤器个数为1。第三十二层为卷积层，用来对UNet++的第二级输出进行激活，激活函数为sigmoid；
构建的具有嵌套结构的UNet++网络构建的具有嵌套结构的UNet++网络第三十三层至三十五层为反卷积层，用来将合并后的c3恢复到原始指纹大小，第三十三层的输入是c3，其余更深一层的输入是上一级的反卷积层的输出，反卷积步长为2×2，过滤器个数为1。第三十六层为卷积层，用来对UNet++的第三级输出进行激活，激活函数为sigmoid；
构建的具有嵌套结构的UNet++网络第三十七层至三十八层为反卷积层，用来将合并后的c4恢复到原始指纹大小，第三十七层的输入是c4，其余更深一层的输入是上一级的反卷积层的输出，反卷积步长为2×2，过滤器个数为1。第三十九层为卷积层，用来对UNet++的第四级输出进行激活，激活函数为sigmoid；
构建的具有嵌套结构的UNet++网络第四十层为反卷积层，用来将合并后的c5恢复到原始指纹大小，第四十层的输入是c5，反卷积步长为2×2，过滤器个数为1。第四十一层为卷积层，用来对UNet++的第五级输出进行激活，激活函数为sigmoid；
输出层；
构建的具有嵌套结构的UNet++网络模型在得到每一级的输出后，按照的方式进行组合，其中Ci是各层第二反卷积块的输出，Y是最终的输出。
步骤3：设定第一阶段和第二阶段的UNet++网络的超参数，包括：
设定构建的第一阶段和第二阶段UNet++网络结构的BATCH_SIZE均为2，学习率为均0.0002，训练时迭代次数均为30。
步骤4：设计第一阶段和第二阶段的UNet++网络所使用的损失函数，包括：
步骤4.1：计算目标图像和重建图像之间的梯度均方误差，包括：
步骤4.1.1：通过不同方向的Sobel算子计算指纹图像的方向梯度Gθ(F)：
Gθ(F)＝F e Sθ (1)
其中：
F为输入指纹；
Sθ为不同方向的Sobel算子，θ包含的方向有0度、45度、90度、135度；
e表示卷积操作；
Gθ(F)为θ方向的指纹方向梯度；
步骤4.1.2：通过计算目标指纹图像与重建指纹图像之间的方向梯度Egrad(Ft，Fr)：
其中Ω＝{0，45，90，135}，n为像素点的个数；
步骤4.2：计算目标图像和重建图像之间的方向场差异，包括：
步骤4.2.1：计算指纹图像的协方差矩阵：
其中，
Gxx＝g e(Gx.Gx) (4)
Gxy＝g e(Gx.Gy) (5)
Gyy＝g e(Gy.Gy) (6)
其中，
g为高斯平滑核；
Gx＝G0，Gy＝G90分别表示指纹图像在水平方向与垂直方向的梯度；
步骤4.2.2：根据指纹图像的协方差矩阵，计算出指纹图像的脊线方向Θ：
步骤4.2.3：计算目标图像和重建图像之间的方向场Eori：
步骤4.3：计算目标图像和重建图像之间的由背景场转化得到的连续向量场，包括：
步骤4.3.1：获得连续向量场R：
其中，
Imax＝Gyy+Gxx-Imin (11)
(Φx z，Φy z)＝(geΦx，geΦy) (12)
(Φx，Φy)＝(cos(2Θ)，sin(2Θ)) (13)
步骤4.3.2：计算目标图像和重建图像之间的由背景场转化得到的连续向量场Erel：
步骤4.4：获得全局损失函数LossTotal：
Totalloss＝Egrad(Ft，Fr)+λ(Eori+Erel) (15)
其中，λ是对Erel和Eori进行正则化的超参数；
步骤4.4：通过将对应的目标图像与重建图像划分成2×2的不重叠的小块，然后对每个小块分别计算其局部方向梯度局部方向场/>以及指纹图像的背景场转化得到的局部连续向量场/>来获得局部损失函数LossLocal：
步骤4.5：获得损失函数Loss：
Loss＝LossTotal+LossLocal (17)
步骤5：对第一阶段UNet++网络和第二阶段UNet++网络进行训练，包括：
步骤5.1：随机设定第一阶段UNet++网络的初始权重，输入第一数据集对第一阶段UNet++网络进行训练得到第一阶段UNet++网络的最终权重；
步骤5.2：以第一阶段UNet++网络的最终权重为第二阶段UNet++网络的初始权重，输入第二数据集对第二阶段UNet++网络进行训练得到第二阶段UNet++网络的最终权重；
具体的训练过程为：将BATCH_SIZE大小的低质量指纹图像输入设计好的网络结构中，乘以每一层得权重并加上偏置项，再通过激活函数得到最终得输出。通过损失函数计算所输出重建图像与配对高质量指纹图像之间的误差，通过计算得到的误差对每一层权重求偏导，最后根据对每一层权重求偏导的结果来更新每一层权重。
步骤6：利用训练完成的第二阶段UNet++网络对待增强的低质量指纹图像进行增强。包括：
步骤6.1：将低质量指纹图像缩放至适合模型输入的尺寸大小，并对其进行预处理操作：对待增强指纹图像的大小进行重塑使其满足模型的输入大小，同时对其进行二值化；
步骤6.2：对预处理后的指纹图像进行增强，并将增强后的指纹图像保存。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种低质量指纹图像的增强处理方法，其特征在于，包括:
构建配对的低质量指纹图像和高质量指纹图像数据集，所述数据集包括第一数据集和第二数据集；
通过迁移学习，训练第一阶段和第二阶段的具有嵌套结构且能进行低高级特征融合的UNet++网络模型，所述第一阶段和第二阶段的网络结构相同；
训练第一阶段UNet++网络：随机设定初始权重，将第一数据集中的低质量指纹图像输入第一阶段UNet++网络结构中，输出增强后的图像，通过损失函数计算增强后的图像与对应高质量指纹图像之间的误差，对误差进行反向传播，迭代更新第一阶段UNet++网络中的权重，迭代次数达到设定次数后，获得第一阶段UNet++网络的最终权重；
训练第二阶段UNet++网络：将所述第一阶段网络的最终权重作为第二阶段网络的初始权重，将第二数据集输入第二阶段UNet++网络中，基于损失函数进行训练；
所述第一阶段和第二阶段的UNet++网络训练过程中所使用的损失函数是基于全局损失和局部损失进行改进后的损失函数：
Loss＝LossTotal+LossLocal (1)
其中，
LossTotal是根据增强后图像和对应的高质量指纹图像之间的方向梯度损失、方向场损失、由指纹图像背景场转化的连续向量场损失得到的全局损失；
LossLocal是将增强后图像和对应的高质量指纹图像划分成2×2不重叠的图像块和，根据对应图像块和之间的方向梯度损失、方向场损失、由指纹图像背景转化的连续向量场损失得到的局部损失；
利用训练完成的第二阶段UNet++网络对待增强的低质量指纹图像进行增强处理，获得增强的指纹图像。
2.如权利要求1所述的一种低质量指纹图像的增强处理方法，其特征在于，所述构建配对的低质量指纹图像和高质量指纹图像数据集，具体包括：
利用图像生成软件Anguli生成若干张的高质量指纹图像；
对所述若干张的高质量指纹图像添加噪声和折痕，得到对应的低质量指纹图；
通过对匹配若干对的高、低质量指纹图像执行圆角裁剪或旋转操作，使其形状变为圆形；
将获得的若干对圆形高、低质量指纹图像划分，其中一半作为第一阶段模型训练时所用的数据集，剩余一半作为第二阶段模型训练时所用的数据集。
3.如权利要求1所述的一种低质量指纹图像的增强处理方法，其特征在于，所述UNet++网络结构，包括：
六个卷积块，所述卷积块均包含两层卷积，所述卷积块用于对输入的低质量指纹图像进行卷积；
五个第一反卷积块，所述第一反卷积块包含至少一个反卷积层，所述第一反卷积块用于对所述卷积层的输出进行反卷积；
五个第二反卷积块，所述第二反卷积块包含至少一个反卷积层和一个卷积层；所述第二反卷积块用于将所述第一反卷积块的输出恢复到原始指纹图像大小；
输出层。
4.如权利要求3所述的一种低质量指纹图像的增强处理方法，其特征在于，所述第二反卷积块中的卷积层所用的激活函数为sigmoid。
5.如权利要求3所述的一种低质量指纹图像的增强处理方法，其特征在于，所述输出层的输出为：
其中，Ci是所述各第二反卷积块的输出。
6.如权利要求1所述的一种低质量指纹图像的增强处理方法，其特征在于，所述全局损失，包括：
LossTotal＝Egrad(Ft,Fr)+λ(Eori+Erel) (3)
其中，
其中：
Ft是目标图像，即与输入低质量指纹图像对应的高质量指纹图像；
Fr是重建图像，即对输入低质量指纹图像增强后得到的图像；
Sθ为不同方向的Sobel算子，e表示卷积操作，Ω＝{0，45，90，135}，Egrad(Ft,Fr)是目标图像和重建图像之间的方向梯度损失；
Θ(Ft)是目标图像的方向场，Θ(Fr)是重建图像的方向场，n为像素点的个数，Eori是目标图像和重建图像的方向场损失；
R(Ft)是由目标图像背景场转化得到的连续向量场，R(Fr)是由重建图像背景场转化得到的连续向量场，Erel是目标图像和重建图像由背景场转化得到的连续向量场损失；
λ是对Erel和Eori进行正则化的超参数。
7.如权利要求1所述的一种低质量指纹图像的增强处理方法，其特征在于，所述局部损失，包括：
其中：
是划分后大小为2×2的目标图像；
是划分后大小为2×2的重建图像；
是划分后大小为2×2目标图像和重建图像的局部方向梯度损失；
是划分后大小为2×2目标图像和重建图像的脊线方向的局部方向场损失；
是划分后大小为2×2目标图像和重建图像的由背景场转化得到的局部连续向量场损失。
8.如权利要求1所述的一种低质量指纹图像的增强处理方法，其特征在于，需要对待增强指纹图像的大小进行重塑使其满足模型的输入大小，同时对其进行二值化后后再输入训练完成的第二阶段UNet++网络进行增强。
CN202310888581.6A 2023-07-19 2023-07-19 一种低质量指纹图像的增强处理方法 Active CN116844192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310888581.6A CN116844192B (zh) 2023-07-19 2023-07-19 一种低质量指纹图像的增强处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310888581.6A CN116844192B (zh) 2023-07-19 2023-07-19 一种低质量指纹图像的增强处理方法

Publications (2)

Publication Number Publication Date
CN116844192A true CN116844192A (zh) 2023-10-03
CN116844192B CN116844192B (zh) 2024-04-12

Family

ID=88161649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310888581.6A Active CN116844192B (zh) 2023-07-19 2023-07-19 一种低质量指纹图像的增强处理方法

Country Status (1)

Country Link
CN (1) CN116844192B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765291A (zh) * 2018-05-29 2018-11-06 天津大学 基于稠密神经网络和双参数损失函数的超分辨率重建方法
CN109102483A (zh) * 2018-07-24 2018-12-28 厦门美图之家科技有限公司 图像增强模型训练方法、装置、电子设备及可读存储介质
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN113128364A (zh) * 2021-03-31 2021-07-16 杭州电子科技大学 一种基于深度神经网络编码的指纹生物密钥生成方法
CN113902625A (zh) * 2021-08-19 2022-01-07 深圳市朗驰欣创科技股份有限公司 一种基于深度学习的红外图像增强方法
WO2022121160A1 (zh) * 2020-12-07 2022-06-16 苏州深透智能科技有限公司 一种基于深度学习的增强ct图像质量和分辨率的方法
CN114663678A (zh) * 2022-04-19 2022-06-24 杭州电子科技大学 一种基于eco-gan的图像增强系统及方法
CN114913083A (zh) * 2022-04-22 2022-08-16 大连海事大学 一种基于上下文分解特征融合的水下图像增强方法
CN115205160A (zh) * 2022-08-11 2022-10-18 福州大学 基于局部场景感知的无参考低照度图像增强方法
CN116309232A (zh) * 2023-05-15 2023-06-23 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765291A (zh) * 2018-05-29 2018-11-06 天津大学 基于稠密神经网络和双参数损失函数的超分辨率重建方法
CN109102483A (zh) * 2018-07-24 2018-12-28 厦门美图之家科技有限公司 图像增强模型训练方法、装置、电子设备及可读存储介质
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
WO2022121160A1 (zh) * 2020-12-07 2022-06-16 苏州深透智能科技有限公司 一种基于深度学习的增强ct图像质量和分辨率的方法
CN113128364A (zh) * 2021-03-31 2021-07-16 杭州电子科技大学 一种基于深度神经网络编码的指纹生物密钥生成方法
CN113902625A (zh) * 2021-08-19 2022-01-07 深圳市朗驰欣创科技股份有限公司 一种基于深度学习的红外图像增强方法
CN114663678A (zh) * 2022-04-19 2022-06-24 杭州电子科技大学 一种基于eco-gan的图像增强系统及方法
CN114913083A (zh) * 2022-04-22 2022-08-16 大连海事大学 一种基于上下文分解特征融合的水下图像增强方法
CN115205160A (zh) * 2022-08-11 2022-10-18 福州大学 基于局部场景感知的无参考低照度图像增强方法
CN116309232A (zh) * 2023-05-15 2023-06-23 中国海洋大学 一种结合物理先验与深度学习的水下图像增强方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIN HONG ET AL.: "Fingerprint Image Enhancement: Algorithm and Performance Evaluation", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, vol. 20, no. 8, pages 777 - 789 *
RASHMI GUPTA ET AL.: "Fingerprint image enhancement and reconstruction using the orientation and phase reconstruction", 《INFORMATION SCIENCES》, pages 1 - 26 *
杨真真: "基于残差网络的高分辨指纹图像质量增强算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 138 - 2117 *
申政文: "手部静脉信息图像修复关键技术研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》, pages 006 - 634 *

Also Published As

Publication number Publication date
CN116844192B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
Lai et al. Fast and accurate image super-resolution with deep laplacian pyramid networks
Yang et al. DRFN: Deep recurrent fusion network for single-image super-resolution with large factors
Sohn et al. Learning invariant representations with local transformations
Yan et al. Fine-grained attention and feature-sharing generative adversarial networks for single image super-resolution
Ma et al. Image superresolution via dense discriminative network
Yang et al. Image denoising via sequential ensemble learning
Tang et al. A joint residual network with paired ReLUs activation for image super-resolution
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
Li et al. Context-aware semantic inpainting
Cao et al. Deconvolutional neural network for image super-resolution
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
Liu et al. Effective image super resolution via hierarchical convolutional neural network
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN112766083B (zh) 基于多尺度特征融合的遥感场景分类方法及系统
CN112837215B (zh) 一种基于生成对抗网络的图像形状变换方法
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN115564649A (zh) 一种图像超分辨率重建方法、装置及设备
Armando et al. Mesh denoising with facet graph convolutions
CN112419152A (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113920516A (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
Li Image super-resolution using attention based densenet with residual deconvolution
CN113421187B (zh) 一种超分辨率重建方法、系统、存储介质、设备
CN106033594B (zh) 基于卷积神经网络所获得特征的空间信息恢复方法及装置
CN112686817B (zh) 一种基于不确定性估计的图像补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant