CN113269702A - 基于跨尺度特征融合的低曝光静脉图像增强方法 - Google Patents

基于跨尺度特征融合的低曝光静脉图像增强方法 Download PDF

Info

Publication number
CN113269702A
CN113269702A CN202110559336.1A CN202110559336A CN113269702A CN 113269702 A CN113269702 A CN 113269702A CN 202110559336 A CN202110559336 A CN 202110559336A CN 113269702 A CN113269702 A CN 113269702A
Authority
CN
China
Prior art keywords
scale
vein
cross
low
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110559336.1A
Other languages
English (en)
Inventor
王军
韩淑雨
潘在宇
李玉莲
申政文
陈晓玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202110559336.1A priority Critical patent/CN113269702A/zh
Publication of CN113269702A publication Critical patent/CN113269702A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于跨尺度特征融合的低曝光静脉图像增强方法，制作低曝光静脉图像数据集，构建跨尺度特征融合模块，基于通道注意力机制，采用残差结构构建静脉跨尺度融合残差块，若干个残差块首尾连接堆叠成静脉图像跨尺度融合模型，构建测试集，将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。本发明提出一种多尺度分支的跨尺度特征信息融合方法，充分利用了静脉图像不同尺度之间空间结构信息，增强了网络模型对于静脉纹络等细节信息的表征学习能力，提升了低曝光静脉图像的增强效果。

Description

基于跨尺度特征融合的低曝光静脉图像增强方法
技术领域
本发明涉及计算机视觉领域，尤其涉及一种基于跨尺度特征融合的低曝光静脉图像增强方法。
背景技术
静脉血管与其他生物识别功能(如指纹，虹膜，手势和脸部)相比，具有防伪，易接受的特点，已成为最受欢迎的个人识别方法之一。但由于静脉采集设备的局限性，采集到的图像往往会出现背景灰暗，图像对比度低，静脉脉络不清晰和静脉信息细节丢失等问题。
静脉识别需要较多静脉细节信息，传统低曝光图像增强算法不能很好解决静脉信息细节丢失的问题。Lv等人提出多分支低光照增强网络，网络损失函数涉及图像的结构、上下文和区域信息，可以在无噪声图像中取得出色的结果，但其性能在具有较大黑色区域的图像和压缩图像上会降低。Yang等人提出一种实时的无监督生成对抗网络，从不同角度评估图像，网络还引入注意力机制用于特征融合，在定性和定量指标上均取得不错的结果，但是在低亮度图像增强任务中，不能抑制在现实世界的低光照条件下拍摄的图像普遍存在的噪声。
发明内容
本发明的目的在于提供一种基于跨尺度特征融合的低曝光静脉图像增强方法，能够有效解决静脉图像背景灰暗，图像对比度低，静脉的脉络不清晰和静脉细节信息丢失的问题。
实现本发明目的的技术解决方案为：一种基于跨尺度特征融合的低曝光静脉图像增强方法，包括以下步骤：
步骤1、采集P幅正常曝光下人体手背静脉图像，100＜P＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为h×w的2P幅静脉图像，2P幅静脉图像作为训练集。
步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果，构建若干个静脉跨尺度融合残差块。
步骤3、将若干个静脉跨尺度融合残差块首尾连接堆叠获得初步静脉图像跨尺度融合模型。
步骤4、将训练集中的正常曝光人体手背静脉图像作为标签图像，将低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，训练得到对应的增强图像，利用神经网络优化器，不断迭代优化，得到静脉图像跨尺度融合模型。
步骤5、采集M个人体手背的低曝光静脉图像，100<M＜1000，对其进行有效区域提取，得到像素大小为h×w的M幅静脉图像，作为测试集。
步骤6、将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。
与现有技术相比，本发明的优点在于：
1)静脉图像结构稀疏，其特征主要体现在静脉拓扑结构上，传统尺度不变图像增强深度学习框架虽然可以在普通的自然图像上取得良好的增强效果，但对图像的空间结构信息的表征学习能力不足，导致其在静脉图像增强效果上表现较差，因此，为了提高其在低曝光静脉图像增强上的效果，提出了一种跨尺度特征融合的尺度不变图像增强模型。通过将多尺度分支进行跨尺度连接，融合高低级语义特征，充分利用了静脉图像不同尺度之间空间结构信息，增强了网络模型对静脉纹络等细节信息的表征学习能力；
2)为了进一步提升有用特征在网络中的有效性，在跨尺度特征融合模块后面，使用通道注意力机制，学习网络中不同特征通道之间的依赖关系，提升有用特征在网络中发挥的作用，并抑制对当前任务用处不大的特征从而提升特征利用率；同时将跨尺度特征融合模型以残差结构方式连接，解决模块堆叠成网络模型时因为层数太深而导致梯度消失的问题。
附图说明
图1为基于跨尺度特征融合的低曝光静脉图像增强模型图和基于跨尺度特征融合的低曝光静脉图像增强方法流程图，其中图(a)为模型图，图(b)为流程图。
图2为自制手背静脉图像数据集合成图像和原始图像，其中图(a)为合成图像，图(b)为原始图像。
图3LIME、Cycle-GAN、Pix2pix、DIE在自制静脉数据集上与本发明提出方法的对比实验结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
结合图1，本发明提供了一种基于跨尺度特征融合的低曝光静脉图像增强方法，包括以下步骤：
步骤1、通过手背静脉图像采集装置采集P幅正常曝光下人体手背静脉图像，100＜P＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为h×w的2P幅静脉图像，2P幅静脉图像作为训练集。
步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果(图像评价指标：结构一致性SSIM和峰值信噪比PSNR)，构建若干个静脉跨尺度融合残差块，具体如下：
通过局部最大池化方法获取输入低曝光静脉图像的三个尺度分支，得到输入特征，每个分支采用相同的卷积网络对不同尺度的输入特征进行特征映射，提取高级的静脉语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的高低级语义特征进行跨尺度连接，通过特征级联的方式对跨尺度特征进行融合；
跨尺度特征融合模块的具体表示如下所述。使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(1)所示：
Figure BDA0003078349610000031
其中，x是输入的低曝光手背静脉图像；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；
Figure BDA0003078349610000032
是指输出的
Figure BDA0003078349610000033
尺度的静脉特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度静脉图像的高级静脉语义特征；在每个尺度分支中，将高级静脉语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(2)所示：
Figure BDA0003078349610000034
其中，
Figure BDA0003078349610000041
为
Figure BDA0003078349610000042
当k＝1时对应的值。
Figure BDA0003078349610000043
Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；
Figure BDA0003078349610000044
表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数；C(·)特征级联函数，k为步长。
然后通过特征级联的方式对三个跨尺度特征进行融合，如式(3)所示：
Figure BDA0003078349610000045
其中，Z是所提出的多尺度融合连接之后的卷积块输出。F(·)表示特征通道层面的融合函数，C(·)特征级联函数。
利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度特征融合残差块，通道注意力机制主要用于筛选两个跨尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(4)所示：
Z′＝SE(Z) (4)
其中，Z表示第二个跨尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作。
通过将低曝光手背静脉图像与通道注意力机制SE输出的特征进行跳跃连接，与跨尺度特征融合模块构成残差结构:
VCFR＝Res(x) (5)
其中，x表示输入的低曝光手背静脉图像，VCFR表示静脉跨尺度特征融合残差块的输出，Res(·)为残差网络结构。
步骤3、将若干个静脉跨尺度融合残差块首尾连接堆叠获得初步静脉图像跨尺度融合模型；
步骤4、将训练集中的正常曝光人体手背静脉图像作为标签图像，将低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，训练得到对应的增强图像，利用神经网络优化器，不断迭代优化，得到静脉图像跨尺度融合模型；
其中初步静脉图像跨尺度融合模型的损失函数为：
Figure BDA0003078349610000046
其中，f(·)是初步静脉图像跨尺度融合模型学习到的函数，Oi是训练集中的低曝光手背静脉图像，
Figure BDA0003078349610000051
是训练集中的正常曝光人体手背静脉图像，i指训练集中的第i张图像，N指训练集中静脉图像张数，N＝2P。
步骤5、采集M个人体手背的低曝光静脉图像，100<M＜1000，对其进行有效区域提取，得到像素大小为h×w的M幅静脉图像，作为测试集；
步骤6、将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型得到增强后的静脉图像。
实施例1
步骤1、采集2000幅正常曝光下人体手背静脉图像，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为256×256的4000幅静脉图像，4000幅静脉图像作为训练集，如图2所示；
步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果(图像评价指标：结构一致性SSIM和峰值信噪比PSNR)，构建若干个静脉跨尺度融合残差块；
通过局部最大池化方法获取图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级静脉语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，提取到三个分支的跨尺度特征之后，通过特征级联的方式对三个跨尺度特征进行融合，得到跨尺度融合特征；至此，构建了一个融合三个尺度特征的跨尺度特征融合模块；
跨尺度特征融合模块的具体表示如下所述。使用局部最大池化的方法获取不同尺度的特征提取网络分支，如式(1)所示：
Figure BDA0003078349610000052
其中，x是输入的低曝光手背静脉图像；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；
Figure BDA0003078349610000053
是指输出的
Figure BDA0003078349610000054
尺度的静脉特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度静脉图像的高级静脉语义特征；在每个尺度分支中，将高级静脉语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(2)所示：
Figure BDA0003078349610000061
其中，
Figure BDA0003078349610000062
为
Figure BDA0003078349610000063
当k＝1时对应的值。
Figure BDA0003078349610000064
Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；
Figure BDA0003078349610000065
表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数；C(·)特征级联函数，k为步长。
然后，通过特征级联的方式对三个跨尺度特征进行融合，如下式(3)所示：
Figure BDA0003078349610000066
其中，Z是所提出的跨尺度融合连接之后的卷积块输出。F(·)表示特征通道层面的融合函数，C(·)特征级联函数。
利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度特征融合残差块，通道注意力机制主要用于筛选两个跨尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(4)所示：
Z′＝SE(Z) (4)
其中，Z表示第二个跨尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作。
通过将低曝光手背静脉图像与通道注意力机制SE输出的特征进行跳跃连接，与跨尺度特征融合模块构成残差结构：
VCFR＝Res(x) (5)
其中，x表示输入的低曝光手背静脉图像，VCFR表示静脉跨尺度特征融合残差块的输出，Res(·)为残差网络结构。
步骤3、将若干个静脉跨尺度融合残差块首尾连接堆叠获得初步静脉图像跨尺度融合模型；
步骤4、将训练集中的正常曝光人体手背静脉图像作为标签图像，将低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，训练得到对应的增强图像，利用神经网络优化器，不断迭代优化，得到静脉图像跨尺度融合模型；
其中初步静脉图像跨尺度融合模型的损失函数如式(6)所示：
Figure BDA0003078349610000071
其中，f(·)是初步静脉图像跨尺度融合模型学习到的函数，Oi是训练集中的低曝光手背静脉图像，
Figure BDA0003078349610000072
是训练集中的正常曝光人体手背静脉图像，i指训练集中的第i张图像，N指训练集中静脉图像张数，N＝2P。
步骤5、采集300个人体手背的低曝光静脉图像，对其进行有效区域提取，得到像素大小为256×256的300幅静脉图像，作为测试集；
步骤6、将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型得到增强后的静脉图像。
本发明方法在Nvidia 2080Ti GPU主机上采用python编程语言和tensorflow框架语言搭建网络框架进行相关实验。在跨尺度特征融合模块中使用ReLU激活函数。使用跨尺度特征融合模块搭建静脉跨尺度融合残差块时，在跨尺度特征融合模块后面使用ReLU激活函数，在SE注意力机制中使用sigmoid激活函数，而残差块最后使用tanh激活函数得到每一个残差块的训练结果。实验过程中网络的学习率设置为5×10-5，由于实验设备的限制，将batch_size设置为2，在自制静脉数据集进行训练迭代300次得到实验结果。
本发明提出的使用若干个静脉跨尺度融合残差块，搭建静脉图像跨尺度融合模型，在搭建模型时，使用不同数量的静脉跨尺度融合残差块能取得不同的实验结果。由于静脉跨尺度融合残差块由两个跨尺度融合模块组成，不同数量的残差块对于网络超参数量以及训练时间有较大的影响，因此，在评价残差块数量对于网络的性能影响时，也需要综合考虑计算量和网络的训练时间。静脉图像具有稀疏特性，静脉的拓扑结构相对于自然图像较为简单，因此将网络的静脉跨尺度融合残差块的初始数量值设置为3，后续的实验采取其他设置不变的情况下，逐个增加静脉跨尺度融合残差块的方式进行，增加的个数达到11个。表1展示了静脉跨尺度融合残差块数量从4到11个的实验结果。根据实验结果自制静脉数据集的静脉跨尺度融合残差块个数达到9个时，图像的定量分析取得最好的实验结果。故在后续的实验过程中，将模型的静脉跨尺度融合残差块个数设置为9个，后续可根据不同数据集选择不同的静脉跨尺度融合残差块个数。
表1不同数量的静脉跨尺度融合残差块增强自制静脉数据集低曝光静脉图像的定量实验
Figure BDA0003078349610000081
为了验证低曝光图像增强有利于提高静脉识别系统的准确率，将没有经过增强的低曝光静脉图像和增强过后的静脉图像进行静脉识别对比实验，体现低曝光图像增强的实际应用意义。由于实际采集的低曝光静脉图像规模较小，不利于训练静脉识别模型，而且在实际的应用场所中，静脉采集装置采集得到的静脉图像大多是正常曝光的图像，只是由于某些因素可能导致采集过程中偶然出现背景灰暗的低对比度静脉图像。因此，使用正常曝光的静脉图像训练经典的图像识别网络VGG16，然后将没有经过增强的低曝光静脉图像和增强过的静脉图像作为网络的测试集，得到图像增强对静脉识别率的影响，Rank-One识别结果如表2所示，验证了低曝光图像增强对静脉系统验证效果提升的有效性。
表2Rank-One识别结果％
Figure BDA0003078349610000082
为了更好地体现本发明提出算法对于低曝光静脉图像增强的有效性，选取LIME,Cycle-GAN,Pix2pix,DIE作为对比实验的模型进行相关实验，在自制静脉数据集上的实验结果如图3所示。为了避免人类视觉偏差带来的误差，计算图像的PSNR和SSIM进行定量分析，结果如表2所示。由图3可知，Pix2Pix和DIE算法虽然能在一定程度上恢复图像的光照信息，但是静脉图像整体偏暗，静脉拓扑结构也存在一定的失真现象。由于静脉的拓扑结构为图像中颜色较深的部分，光照信息恢复不充分导致经过这两个算法增强的低曝光静脉图像的静脉血管相对于目标数据集中的图像出现膨胀现象，体现在较粗的静脉血管恢复边界不明显，并且在视觉上出现变粗的现象。本发明提出的算法在视觉层面上比较接近于Cycle-GAN的实验结果。但是，本发明提出的基于跨尺度融合的低曝光静脉图像增强算法可以更好地恢复低曝光静脉图像的细节信息，增强后的静脉图像更加接近于目标静脉图像。
表3LIME,Cycle-GAN,Pix2pix,DIE与本发明提出方法的PSNR和SSIM对比
Figure BDA0003078349610000091
由表3可知，本发明提出的方法在数值上相对于其他的对比模型在PSNR和SSIM指标上均有较为明显的提高。

Claims (8)

1.一种基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于，包括以下步骤：
步骤1、采集P幅正常曝光下人体手背静脉图像，100＜P＜10000，通过低亮度图像合成方法将上述正常曝光人体手背静脉图像逐张转化为低曝光手背静脉图像，再对所有静脉图像分别进行有效区域提取，得到像素大小为h×w的2P幅静脉图像，2P幅静脉图像作为训练集；
步骤2、利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块；根据需要的图像增强效果，构建若干个静脉跨尺度融合残差块；
步骤3、将若干个静脉跨尺度融合残差块首尾连接堆叠获得初步静脉图像跨尺度融合模型；
步骤4、将训练集中的正常曝光人体手背静脉图像作为标签图像，将低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，训练得到对应的增强图像，利用神经网络优化器进行迭代优化，得到静脉图像跨尺度融合模型；
步骤5、采集M个人体手背的低曝光静脉图像，100<M＜1000，对其进行有效区域提取，得到像素大小为h×w的M幅静脉图像，作为测试集；
步骤6、将测试集中的低曝光静脉图像输入到静脉图像跨尺度融合模型，得到增强后的静脉图像。
2.根据权利要求1所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于，步骤2中的跨尺度特征融合模块，构建方法如下：
通过局部最大池化方法获取图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级静脉语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，提取到三个分支的跨尺度特征之后，通过特征级联的方式对三个跨尺度特征进行融合，得到跨尺度融合特征；至此，构建了一个融合三个尺度特征的跨尺度特征融合模块；
利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度融合残差块。
3.根据权利要求2所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于：使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(1)所示：
Figure RE-FDA0003148511910000021
其中，x是输入的低曝光手背静脉图像；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；
Figure RE-FDA0003148511910000022
是指输出的
Figure RE-FDA0003148511910000023
尺度的静脉特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
4.根据权利要求2所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于：步骤2中，通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度静脉图像的高级静脉语义特征；在每个尺度分支中，将高级静脉语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(2)所示：
Figure RE-FDA0003148511910000024
其中，
Figure RE-FDA0003148511910000025
为当k＝1时
Figure RE-FDA0003148511910000026
对应的值；
Figure RE-FDA0003148511910000027
Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；
Figure RE-FDA0003148511910000028
表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数，C(·)特征级联函数，k为步长。
5.根据权利要求2所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于：步骤2中，通过特征级联的方式对三个跨尺度特征进行融合，如下式(3)所示：
Figure RE-FDA0003148511910000029
其中，Z是所提出的跨尺度融合连接之后的卷积块输出；F(·)表示特征通道层面的融合函数，C(·)特征级联函数。
6.根据权利要求1所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于：步骤2中，利用跨尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得静脉跨尺度特征融合残差块，注意力机制操作具体如表达式(4)所示：
Z′＝SE(Z) (4)
其中，Z表示第二个跨尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作；
通过将低曝光手背静脉图像与通道注意力机制SE输出的特征进行跳跃连接，与跨尺度特征融合模块构成残差结构：
VCFR＝Res(x) (5)
其中，x表示输入的低曝光手背静脉图像，VCFR表示静脉跨尺度融合残差块的输出，Res(·)为残差网络结构。
7.根据权利要求1所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于：步骤4中，将训练集中的低曝光手背静脉图像输入到初步静脉图像跨尺度融合模型中进行训练，初步静脉图像跨尺度融合模型的损失函数如式(6)所示：
Figure RE-FDA0003148511910000031
其中，f(·)是初步静脉图像跨尺度融合模型学习到的函数，Oi是训练集中的低曝光手背静脉图像，
Figure RE-FDA0003148511910000032
是训练集中的正常曝光人体手背静脉图像，i指训练集中的第i张图像，N指训练集中静脉图像张数，N＝2P。
8.根据权利要求1所述的基于跨尺度特征融合的低曝光静脉图像增强方法，其特征在于：所述低亮度图像合成方法采用随机伽马变换方法。
CN202110559336.1A 2021-05-21 2021-05-21 基于跨尺度特征融合的低曝光静脉图像增强方法 Pending CN113269702A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110559336.1A CN113269702A (zh) 2021-05-21 2021-05-21 基于跨尺度特征融合的低曝光静脉图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110559336.1A CN113269702A (zh) 2021-05-21 2021-05-21 基于跨尺度特征融合的低曝光静脉图像增强方法

Publications (1)

Publication Number Publication Date
CN113269702A true CN113269702A (zh) 2021-08-17

Family

ID=77232311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110559336.1A Pending CN113269702A (zh) 2021-05-21 2021-05-21 基于跨尺度特征融合的低曝光静脉图像增强方法

Country Status (1)

Country Link
CN (1) CN113269702A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563189A (zh) * 2023-07-06 2023-08-08 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335270A (zh) * 2018-01-19 2018-07-27 重庆大学 一种多帧图像血管特征识别及信息融合的彩色编码方法
CN110543822A (zh) * 2019-07-29 2019-12-06 浙江理工大学 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法
CN110675335A (zh) * 2019-08-31 2020-01-10 南京理工大学 基于多分辨率残差融合网络的浅表静脉增强方法
CN111882002A (zh) * 2020-08-06 2020-11-03 桂林电子科技大学 一种基于msf-am的低照度目标检测方法
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN111931793A (zh) * 2020-08-17 2020-11-13 湖南城市学院 一种显著性目标提取方法及系统
CN112070692A (zh) * 2020-08-26 2020-12-11 西安理工大学 一种基于虚拟曝光的单幅逆光图像增强方法
CN112258428A (zh) * 2020-12-21 2021-01-22 四川圣点世纪科技有限公司 一种基于CycleGAN的指静脉增强方法及装置
CN112580590A (zh) * 2020-12-29 2021-03-30 杭州电子科技大学 一种基于多语义特征融合网络的指静脉识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335270A (zh) * 2018-01-19 2018-07-27 重庆大学 一种多帧图像血管特征识别及信息融合的彩色编码方法
CN110543822A (zh) * 2019-07-29 2019-12-06 浙江理工大学 一种基于卷积神经网络和监督式离散哈希算法的指静脉识别方法
CN110675335A (zh) * 2019-08-31 2020-01-10 南京理工大学 基于多分辨率残差融合网络的浅表静脉增强方法
CN111915487A (zh) * 2020-08-04 2020-11-10 武汉工程大学 基于分层多尺度残差融合网络的人脸超分辨率方法及装置
CN111882002A (zh) * 2020-08-06 2020-11-03 桂林电子科技大学 一种基于msf-am的低照度目标检测方法
CN111931793A (zh) * 2020-08-17 2020-11-13 湖南城市学院 一种显著性目标提取方法及系统
CN112070692A (zh) * 2020-08-26 2020-12-11 西安理工大学 一种基于虚拟曝光的单幅逆光图像增强方法
CN112258428A (zh) * 2020-12-21 2021-01-22 四川圣点世纪科技有限公司 一种基于CycleGAN的指静脉增强方法及装置
CN112580590A (zh) * 2020-12-29 2021-03-30 杭州电子科技大学 一种基于多语义特征融合网络的指静脉识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUOQING等: ""Hand Vein Image Enhancement based on Multi-Scale Top-Hat Transform"", 《CYBERNETICS AND INFORMATION TECHNOLOGIES》 *
SHANG-HUA GAO等: ""Res2Net:A New Multi-scale Backbone Architecture"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENC》 *
田亚男等: ""基于注意模型的视觉替代方法"", 《电子学报》 *
裴君岩等: ""基于多尺度感受野扩增融合的遥感目标检测算法"", 《指挥控制与仿真》 *
解尧婷等: ""基于改进的YOLOv4输电线路小目标检测"", 《理论与方法》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563189A (zh) * 2023-07-06 2023-08-08 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及系统
CN116563189B (zh) * 2023-07-06 2023-10-13 长沙微妙医疗科技有限公司 一种基于深度学习的医学图像跨对比度合成方法及系统

Similar Documents

Publication Publication Date Title
CN109410261B (zh) 基于金字塔池化模块的单目图像深度估计方法
CN111325165B (zh) 考虑空间关系信息的城市遥感影像场景分类方法
CN109389171B (zh) 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法
CN111899168B (zh) 一种基于特征增强的遥感影像超分辨率重建方法和系统
CN107633272B (zh) 一种基于小样本下压缩感知的dcnn纹理疵点识别方法
CN114283158A (zh) 一种视网膜血管图像分割方法、装置及计算机设备
CN110533591B (zh) 基于编解码器结构的超分辨图像重建方法
CN110599502A (zh) 一种基于深度学习的皮肤病变分割方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN115965864A (zh) 一种用于农作物病害识别的轻量级注意力机制网络
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN113269702A (zh) 基于跨尺度特征融合的低曝光静脉图像增强方法
CN113989122A (zh) 图像的超分辨率恢复方法、系统、电子设备及存储介质
CN116993639A (zh) 基于结构重参数化的可见光与红外图像融合方法
CN117058367A (zh) 高分辨率遥感影像建筑物语义分割方法及装置
CN116309221A (zh) 一种多光谱图像融合模型的构建方法
CN115830054A (zh) 基于多窗口高低频视觉变换器的裂缝图像分割方法
CN115660979A (zh) 一种基于注意力机制的双判别器图像修复方法
CN114862696A (zh) 一种基于轮廓和语义引导的人脸图像修复方法
CN114581789A (zh) 一种高光谱图像分类方法及系统
CN113962332A (zh) 基于自优化融合反馈的显著目标识别方法
CN114022719A (zh) 一种多特征融合的显著性检测方法
CN111951177B (zh) 一种基于图像超分辨损失函数的红外图像细节增强方法
CN117455774B (zh) 一种基于差分输出的图像重建方法及系统
CN117011918B (zh) 基于线性注意力机制的人脸活体检测模型的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210817

RJ01 Rejection of invention patent application after publication