CN112288660B - 基于nmrt方向特征约束的静脉图像修复方法及装置 - Google Patents

基于nmrt方向特征约束的静脉图像修复方法及装置 Download PDF

Info

Publication number
CN112288660B
CN112288660B CN202011559246.4A CN202011559246A CN112288660B CN 112288660 B CN112288660 B CN 112288660B CN 202011559246 A CN202011559246 A CN 202011559246A CN 112288660 B CN112288660 B CN 112288660B
Authority
CN
China
Prior art keywords
nmrt
noise
vein image
image
finger vein
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011559246.4A
Other languages
English (en)
Other versions
CN112288660A (zh
Inventor
赵国栋
李学双
张烜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Holy Point Century Technology Co.,Ltd.
Original Assignee
Sichuan Shengdian Century Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Shengdian Century Technology Co ltd filed Critical Sichuan Shengdian Century Technology Co ltd
Priority to CN202011559246.4A priority Critical patent/CN112288660B/zh
Publication of CN112288660A publication Critical patent/CN112288660A/zh
Application granted granted Critical
Publication of CN112288660B publication Critical patent/CN112288660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于NMRT方向特征约束的静脉图像修复方法及装置，所述的静脉图像修复方法，包括如下步骤：1）对指静脉图像进行噪声检测，并标记出噪声区域；2）通过NMRT算法提取所述指静脉图像中的静脉方向特征，得到所述指静脉图像的NMRT方向特征图；3）以提取的指静脉的NMRT方向特征为约束修复所述噪声区域。本发明利用阈值分割方法准确提取出噪声区域，为后续噪声区域的准确修复打下了基础；修复后的指静脉图像静脉纹理更加连贯、清晰，从而提高了指静脉识别系统的识别性能。

Description

基于NMRT方向特征约束的静脉图像修复方法及装置
技术领域
本发明涉及生物特征识别和图像处理技术领域，具体涉及一种基于NMRT方向特征约束的静脉图像修复方法及装置。
背景技术
随着人工智能技术的发展，人们越来越注重对个人身份信息等隐私信息的保护。指静脉识别因具有活体检测，难以伪造和复制，安全性高等优点，被广泛应用到许多场景，如门禁系统、保险箱等。指静脉识别主要包含四个步骤：指静脉图像的采集、预处理、特征提取和识别。其中，指静脉特征提取最为关键，直接影响了指静脉识别系统的识别性能。而在图像采集过程中，受设备、环境等因素影响，采集到的指静脉图像上可能存在手指蜕皮、镜面脏污块等较大噪声块，这使得该部分的手指静脉特征缺失，严重影响指静脉识别系统的识别性能。
目前，常见的图像去噪方法包括中值滤波、均值滤波等，但往往对粉尘等小块噪声的去噪效果较好，对去除大块噪声性能较差。虽然传统的图像修复方法比如crinimisi等算法，原理上适合去除大块噪声，但以往的研究都是在纹理比较清晰的图像上进行的，而指静脉的粗细以及走向不同，且许多静脉图像边缘纹理信息不显著，这类传统的图像修复算法修复效果不佳，容易出现静脉模糊、静脉结构断裂等情况。
发明内容
本发明以克服传统图像去噪以及修复算法修复指静脉图像容易造成指静脉模糊以及结构断裂等修复效果不佳的问题为目的，提出了一种基于NMRT方向特征的静脉图像修复方法及装置。
为达此目的，本发明采用以下技术方案：
一种基于NMRT方向特征约束的静脉图像修复方法，其包括如下步骤：
1）对指静脉图像I进行噪声检测，并标记出噪声区域；
2）通过NMRT算法提取所述指静脉图像I中的静脉方向特征，得到所述指静脉图像I的NMRT方向特征图Iw；
3）以提取的指静脉图像I的NMRT方向特征为约束修复所述噪声区域。
优选地，所述步骤1）中，对所述指静脉图像I进行噪声检测的具体步骤包括：
1.1）采用r*r邻域窗口，在所述指静脉图像I 上滑动，计算出每个窗口邻域内像素灰度值的最大值、最小值和平均值，分别记为max、min、mean，得到三张图像记为Imax、Imin、Imean，r表示所述邻域窗口的长或宽；
1.2）计算所述指静脉图像I经噪声区域局部对比度增强后的图像Ienhance，计算公式为：
Figure 294546DEST_PATH_IMAGE001
公式（1）中，(i,j)表示图像的像素点坐标,i为整数且1≤i≤图像宽度，j为整数且1≤j≤图像高度；
1.3）对增强图像Ienhance(i,j)进行阈值分割，标记出所述指静脉图像I的二值图Ib，阈值分割计算公式为：
Figure 929927DEST_PATH_IMAGE002
公式（2）中，
Figure 617260DEST_PATH_IMAGE003
表示未进行噪声增强的原始指静脉图像
Figure 211052DEST_PATH_IMAGE004
上坐标为(i,j)的 像素点；
Figure 351047DEST_PATH_IMAGE005
为一阈值；
Figure 790118DEST_PATH_IMAGE006
表示为所述指静脉图像
Figure 331958DEST_PATH_IMAGE004
上的噪声区域；
Figure 831072DEST_PATH_IMAGE007
表示为所述指静脉图像
Figure 458363DEST_PATH_IMAGE004
上的正常区域。
优选地，所述步骤1.2）中，当所述邻域窗口内的像素点的灰度值与所述领域窗口内的灰度像素最大值的差值大于一阈值d时，对所述像素点进行噪声增强，否则不进行噪声增强，噪声增强限制条件通过公式（3）表达：
Figure 701125DEST_PATH_IMAGE008
d为一阈值。
优选地，所述步骤2）中，提取所述指静脉图像I的静脉方向特征的具体步骤包括：
2.1）构建8个大小为16*16的NMRT方向模板
Figure 566313DEST_PATH_IMAGE009
，
Figure 236329DEST_PATH_IMAGE010
；
2.2）通过8个所述NMRT方向模板
Figure 882074DEST_PATH_IMAGE009
分别对所述指静脉图像
Figure 131790DEST_PATH_IMAGE004
进行卷积操作，得 到8个方向的响应图像
Figure 648222DEST_PATH_IMAGE011
；
2.3）对于指静脉图像
Figure 489139DEST_PATH_IMAGE004
的任意像素点
Figure 825442DEST_PATH_IMAGE012
,计算该点所对应的8个方向卷积响应 值
Figure 675586DEST_PATH_IMAGE013
的最大值，取卷积最大值所对应的方向索引值作为NMRT方向特征，并通过 公式（4）和（5）得到指静脉图像
Figure 46525DEST_PATH_IMAGE004
的NMRT方向特征图
Figure 58343DEST_PATH_IMAGE014
（NMRT方向特征图如图5所示，图5中的 黑洞区域表示噪声区域）：
Figure 350784DEST_PATH_IMAGE015
Figure 473461DEST_PATH_IMAGE016
公式（4）中，
Figure 964485DEST_PATH_IMAGE017
表示指静脉图像上点I(i,j)所对应的8个方向 卷积响应值
Figure 412784DEST_PATH_IMAGE013
中最大值所对应的方向，
Figure 723680DEST_PATH_IMAGE018
为其索引值；公式（5）中
Figure 650048DEST_PATH_IMAGE019
为角度的索引值。
优选地，所述步骤3）中，以提取的NMRT方向特征为约束修复所述噪声区域的具体步骤包括：
3.1）根据待修复点邻域窗口w内的所述NMRT方向特征图提取静脉主方向特征作为参考序列，记所述参考序列中所有正常像素点集合为Ip，1≤p≤（r1*r1-1），计算Ip所有元素灰度值的平均值Iwm 作为噪声修复的参考值，wm表示均值；
3.2）根据所述参考值Iwm计算所述参考序列对应的所有正常像素点集合Ip中所有像素点的NMRT方向特征权值Wpkf，并计算Ip 中所有像素点与待修复点间的距离权值Wpkd, k=1,2,3,…,p；
3.3）根据所述NMRT方向特征权值Wpkf和所述距离权值Wpkd，计算得到Ip中所有像素点对应的联合权值LWpk；
3.4）根据所述联合权值LWpk计算当前待修复噪声点Ic的像素值；
3.5）重复所述步骤3.3）和所述步骤3.4），沿着所述噪声区域边界一圈一圈向内修复直至完成对所有噪声点的修复。
优选地，所述步骤3.2）中，所述NMRT方向特征权值
Figure 995578DEST_PATH_IMAGE020
通过以下公式（6）计算而 得：
Figure 349199DEST_PATH_IMAGE021
公式（6）中，0<Wpkf<1，|Ipk-Iwm|表示所述正常像素点集合Ip内任一正常像素点的灰度值Ipk与所述参考值Iwm的灰度差；c为一常数，且c>0。c用于控制权值函数的陡峭程度，c越大，则Ipk-Iwm越接近0，即所述正常像素点的灰度值Ipk与所述参考值Iwm灰度值越接近，曲线越陡，所述正常像素点的权值越大。
优选地，所述距离权值Wpkd 通过以下公式（7）计算而得：
Figure 350653DEST_PATH_IMAGE022
公式（7）中，0<Wpkd<1，upk表示Ip中所有像素点到当前待修复点的水平距离；vpk表示Ip中所有像素点到当前待修复点的竖直距离。
优选地，所述步骤3.3）中的所述联合权值
Figure 80712DEST_PATH_IMAGE023
通过以下公式（8）计算而得：
Figure 546328DEST_PATH_IMAGE024
公式（8）中，a，b为常数，a+b=1，
Figure 805271DEST_PATH_IMAGE025
为归一化后的所述NMRT方向特征权值，
Figure 356338DEST_PATH_IMAGE025
通过以下公式（9）计算而得：
Figure 890088DEST_PATH_IMAGE026
Figure 147894DEST_PATH_IMAGE027
为归一化后的所述距离权值，
Figure 843317DEST_PATH_IMAGE027
通过以下公式（10）计算而得：
Figure 616101DEST_PATH_IMAGE028
Figure 687963DEST_PATH_IMAGE029
为常数，
Figure 597013DEST_PATH_IMAGE030
。
优选地，所述步骤3.4）中，通过以下公式（11）计算当前待修复噪声点
Figure 994496DEST_PATH_IMAGE031
的像素值：
Figure 988997DEST_PATH_IMAGE032
。
本发明还提供了一种基于NMRT方向特征约束的静脉图像修复装置，该装置包括：
1）图像噪声检测模块，用于对指静脉图像I进行噪声检测，并标注出噪声区域；
2）NMRT方向特征图提取模块，用于通过NMRT算法提取所述指静脉图像I的静脉方向特征，得到所述指静脉图像I的NMRT方向特征图Iw；
3）噪声区域修复模块，分别连接所述图像噪声检测模块和所述NMRT方向特征图提取模块，用于以提取的指静脉图像的NMRT方向特征为约束修复所述噪声区域。
本发明具有的有益效果在于：
1、利用局部对比度增强方法增强噪声，并利用噪声区域未增强前与背景区域灰度差相对较大的特点，增加了噪声增强的限制条件，在确保噪声提取精度的前提下，避免了图像增强后噪声区域边界扩张的情况，并且利用阈值分割方法准确提取出噪声区域，为后续噪声区域的准确修复打下了基础；
2、以修复窗口内静脉主方向特征（在修复窗口内出现频次最高的方向特征）作为参考序列，计算参考序列中所有正常像素点灰度值的平均值作为噪声修复的参考值，并综合考虑正常像素点与参考值的灰度差和正常像素点与待修复点的距离相关性，为参考序列中的各正常像素点赋予相对应的权重，最后对参考序列中的所有正常像素点的灰度进行加权求和以更新待修复点的像素灰度，使得修复后的指静脉图像静脉纹理更加连贯、清晰，从而提高了指静脉识别系统的识别性能。
附图说明
图1是本发明实施例1提供的静脉图像修复方法的流程图；
图2（a）是0°方向的NMRT方向模板图，图2（b）是22.5°方向的NMRT方向模板图；
图3（a）是含镜面油污块噪声的指静脉图像，图3（b）是含手指干燥蜕皮噪声的指静脉图像；
图4（a）是镜面油污块的噪声二值图，图4（b）是干燥手指蜕皮的噪声二值图；
图5（a）是含镜面油污噪声的指静脉图像的NMRT方向特征图，图5（b）是含干燥手指蜕皮噪声的指静脉图像的NMRT方向特征图；
图6是提取邻域窗口内NMRT主方向特征作为参考序列的示意图；
图7（a）是含镜面油污噪声的静脉图像修复效果图，图7（b）是含干燥手指蜕皮噪声的静脉图像修复效果图；
图8是不同修复方法修复噪声后的ROC识别性能曲线；
图9是本发明实施例2提供的静脉图像修复装置的结构框图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
图1示出了本发明提供的基于NMRT方向特征约束的静脉图像修复方法的流程图。如图1所示，该静脉图像修复方法包括如下步骤：
1）对指静脉图像
Figure 67811DEST_PATH_IMAGE004
进行噪声检测，并标记出噪声区域（即为图1中所指的破损区 域），具体步骤包括：
1.1）采用r*r邻域窗口，在指静脉图像
Figure 831368DEST_PATH_IMAGE004
（含镜面油污块噪声的指静脉图像如图3 （a）所示，此时噪声所在区域的静脉信息完全被遮挡，含手指干燥蜕皮噪声的指静脉图像如 图3（b）所示，此时的噪声与静脉相似，并遮掩了静脉信息）上滑动，计算出每个窗口邻域内 的像素灰度值的最大值、最小值和平均值，分别记为max、min、mean，得到三张图像记为Imax、 Imin、Imean，r表示所述邻域窗口的长或宽，邻域窗口的尺寸优选为3*3；
1.2）计算指静脉图像
Figure 134173DEST_PATH_IMAGE004
经噪声区域局部对比度增强后的图像Ienhance，计算公式为：
Figure 615970DEST_PATH_IMAGE001
公式（1）中，(i,j)表示图像的像素点坐标,i为整数且1≤i≤图像宽度，j为整数且1≤j≤图像高度；
图像Ienhance(i,j)的计算原理为：
由于指静脉图像中，噪声区域一般灰度值较低，与静脉区域相比，噪声区域与图像 背景区域局部灰度值差异更加明显，即
Figure 295213DEST_PATH_IMAGE033
更大；而背景区域与静脉区域局 部灰度值差异相对较小，即
Figure 178856DEST_PATH_IMAGE033
比较小，这些区域增强后效果不明显，因此， 图像增强后的噪声区域更易通过阈值分割方法提取出来。
为了防止图像增强后噪声区域扩张，本发明利用噪声区域灰度值与邻域窗口内最大灰度值差异更加突出的特点，增加了公式（3）的噪声增强限制条件，公式（3）表达如下：
Figure 855825DEST_PATH_IMAGE008
公式（3）的噪声增强限制原理为：
当邻域窗口内的某个像素点的灰度值与邻域窗口内的灰度像素最大值的差值大于阈值d时，对该像素点进行增强处理，否则判定该像素点为非噪声点，不对其进行增强处理，增设该噪声增强限制条件同时能够避免对正常相对平缓区域的增强，以减少计算量。经实验总结，阈值d优选等于5。
1.3）对增强图像Ienhance(i,j)进行阈值分割，标记出所述指静脉图像I的二值图Ib（二值化后的指静脉图像如图4，镜面油污块的噪声二值图如图4（a）所示，干燥手指蜕皮的噪声二值图如图4（b）所示）。阈值分割的计算公式为：
Figure 824918DEST_PATH_IMAGE002
公式（2）中，
Figure 42272DEST_PATH_IMAGE003
表示未进行噪声增强的原始指静脉图像
Figure 780421DEST_PATH_IMAGE004
上坐标为(i,j)的 像素点；
Figure 690608DEST_PATH_IMAGE005
为一阈值；
Figure 146998DEST_PATH_IMAGE006
表示为所述指静脉图像
Figure 105726DEST_PATH_IMAGE004
上的噪声区域；
Figure 963961DEST_PATH_IMAGE007
表示为所述指静脉图像
Figure 513891DEST_PATH_IMAGE004
上的正常区域。
公式（2）的阈值分割原理为：
本发明利用噪声区域增强后灰度值明显增大，而正常区域灰度值基本不变或变化 较小的特点，将增强后的图像
Figure 457576DEST_PATH_IMAGE034
与原始的指静脉图像
Figure 282313DEST_PATH_IMAGE004
作减运算，并将相减后的 值大于阈值
Figure 995054DEST_PATH_IMAGE035
的区域判定为噪声区域。经实验总结，阈值
Figure 184727DEST_PATH_IMAGE035
优选等于18。
2）通过NMRT（Neighborhood Matching Radon Transform）算法提取指静脉图像
Figure 350129DEST_PATH_IMAGE004
中的静脉方向特征，得到指静脉图像I的NMRT方向特征图Iw，具体步骤包括：
2.1）构建8个大小为16*16的NMRT方向模板
Figure 447398DEST_PATH_IMAGE009
，
Figure 280225DEST_PATH_IMAGE010
；即8条直线代表8个卷积方向，其中 0°和22.5°方向模板分别如图2（a）、图2（b）所示，其他6个NMRT方向模板参照0°和22.5°方向 模板构建；
2.2）通过8个所述NMRT方向模板
Figure 437536DEST_PATH_IMAGE009
分别对所述指静脉图像
Figure 355814DEST_PATH_IMAGE004
进行卷积操作，得 到8个方向的响应图像
Figure 256774DEST_PATH_IMAGE011
；
2.3）对于指静脉图像
Figure 944107DEST_PATH_IMAGE004
的任意像素点
Figure 272320DEST_PATH_IMAGE012
,计算该点所对应的8个方向卷积响应 值
Figure 615577DEST_PATH_IMAGE013
的最大值，取卷积最大值所对应的方向索引值作为NMRT方向特征，并通过 公式（4）和（5）得到指静脉图像
Figure 54648DEST_PATH_IMAGE004
的NMRT方向特征图
Figure 596488DEST_PATH_IMAGE014
（含镜面油污噪声的指静脉图像的 NMRT方向特征图如图5（a）所示，含干燥手指蜕皮噪声的指静脉图像的NMRT方向特征图如图 5（b）所示，图5中的黑洞区域表示噪声区域）：
Figure 95603DEST_PATH_IMAGE015
Figure 988472DEST_PATH_IMAGE016
公式（4）中，
Figure 231235DEST_PATH_IMAGE017
表示指静脉图像上点I(i,j)所对应的8个方向 卷积响应值
Figure 627581DEST_PATH_IMAGE013
中最大值所对应的方向，
Figure 297597DEST_PATH_IMAGE018
为其索引值；公式（5）中
Figure 615446DEST_PATH_IMAGE019
为角度的索引值。
由于指静脉图像呈现出背景亮、静脉暗的特点，当NMRT方向模板中代表方向的直 线（图2中置“1”区域构成的直线）与静脉垂直时，因为此时包含的背景像素较多，卷积响应 值最大。经过公式（4）和（5）处理后的指静脉图像的NMRT方向特征图
Figure 661899DEST_PATH_IMAGE014
，其每个像素点的灰 度值在1-8之间。
3）以提取的指静脉图像I的NMRT方向特征为约束修复噪声区域A，具体步骤包括：
3.1）根据待修复点邻域窗口
Figure 912752DEST_PATH_IMAGE036
内的NMRT方向特征图提取静脉主方向特征作为参 考序列B（参考序列A、噪声区域B如图6所示），记所述参考序列中所有正常像素点集合为Ip， 1≤p≤（r1*r1-1），计算Ip所有元素灰度值的平均值Iwm 作为噪声修复的参考值，wm表示均 值；静脉主方向特征为待修复点邻域窗口
Figure 753669DEST_PATH_IMAGE036
中出现频次最高的NMRT方向特征（不包括邻域 窗口
Figure 355552DEST_PATH_IMAGE036
中噪声区域的方向特征）。
3.2）根据所述参考值Iwm计算所述参考序列对应的所有正常像素点集合Ip中所有 像素点的NMRT方向特征权值Wpkf，并计算Ip 中所有像素点与待修复点间的距离权值Wpkd, k= 1,2,3,…,p；NMRT方向特征权值
Figure 940117DEST_PATH_IMAGE020
通过以下公式（6）计算而得：
Figure 311055DEST_PATH_IMAGE021
公式（6）中，0<Wpkf<1，|Ipk-Iwm|表示所述正常像素点集合Ip内任一正常像素点的灰 度值Ipk与所述参考值Iwm的灰度差；c为一常数，且c>0。
Figure 588453DEST_PATH_IMAGE037
用于控制权值函数的陡峭程度，c越 大，则Ipk-Iwm越接近0，即所述正常像素点的灰度值Ipk与所述参考值Iwm灰度值越接近，曲线 越陡，所述正常像素点的灰度值
Figure 677631DEST_PATH_IMAGE038
的权值越大。
为了便于后续对噪声点的修复计算，本发明通过以下公式（9）对NMRT方向特征权 值
Figure 800308DEST_PATH_IMAGE020
进行归一化处理后，得到归一化后的NMRT方向特征权值
Figure 229016DEST_PATH_IMAGE025
，
Figure 677314DEST_PATH_IMAGE039
距离权值Wpkd 通过以下公式（7）计算而得：
Figure 988210DEST_PATH_IMAGE022
公式（7）中，0<Wpkd<1，upk表示Ip中所有像素点到当前待修复点的水平距离；vpk表示Ip中所有像素点到当前待修复点的竖直距离。
由公式（7）可知，距离当前待修复点的距离越近，距离权值越高。同样地，为了便于 后续对噪声点的修复计算，本发明通过以下公式（10）对距离权值
Figure 180157DEST_PATH_IMAGE040
进行归一化处理，得 到经归一化处理后的距离权值GWpkd：
Figure 525688DEST_PATH_IMAGE028
3.3）根据所述NMRT方向特征权值Wpkf和所述距离权值Wpkd，计算得到Ip中所有像素点对应的联合权值LWpk；
Figure 82571DEST_PATH_IMAGE024
公式（8）中，a，b为常数，a+b=1。
3.4）根据所述联合权值LWpk计算当前待修复噪声点Ic的像素值；计算公式为：
Figure 677500DEST_PATH_IMAGE032
。
3.5）重复步骤3.3）和步骤3.4，沿着噪声区域边界一圈一圈向内修复直至完成对所有噪声点的修复，修复后的指静脉图像请参照图7，含镜面油污噪声的静脉图像修复效果图如图7（a）所示，含干燥手指蜕皮噪声的静脉图像修复效果图如图7（b）所示。
实验例
为了验证本发明提供的静脉图像修复方法的有效性，我们比较了同一个指静脉识别系统分别对未经修复的指静脉图像、对经传统中值滤波、crinimisi算法修复后的指静脉图像以及对经本发明修复后的指静脉图像的识别性能。
采集一个正常手指静脉图像库及其对应的受损指静脉图像库，每个图像库均包含1000根手指，正常手指静脉图像库每根手指5张图像，共1000*5=5000张，作为注册模板，受损静脉图像库每根手指包含10张图像，共1000*10=10000张，作为验证图像。将验证图像分别经过未修复、传统中值滤波、传统crinimisi方法以及本发明方法修复后的图像与正常手指静脉图像库提取特征进行比对，采用验证图像：注册图像=1：5比对方式。
识别性能比较结果如图8所示，从图8示出的ROC识别性能曲线中可以看出，在零误识前提下，相比于对未经修复图像的指静脉识别性能，指静脉识别系统对经过传统的中值滤波、crinimisi算法和本发明提供的修复方法修复的指静脉图像的拒识率分别降低了17.31%、25.46%和36.34%。由此可见，本发明修复指静脉图像的能力高于其他两种传统的图像修复方法，充分体现了本发明提供的修复方法的有效性。
实施例2
一种基于NMRT方向特征约束的静脉图像修复装置，如图9所示，该装置包括：
1）图像噪声检测模块，用于对指静脉图像I进行噪声检测，并标注出噪声区域；图像噪声检测模块用于实现实施例1步骤1）的功能。
2）NMRT方向特征图提取模块，用于通过NMRT算法提取指静脉图像I的静脉方向特征，得到指静脉图像I的NMRT方向特征图Iw；NMRT方向特征图提取模块用于实现实施例1步骤2）的功能。
3）噪声区域修复模块，分别连接图像噪声检测模块和NMRT方向特征图提取模块，用于以提取的指静脉图像的NMRT方向特征为约束修复噪声区域。噪声区域修复模块用于实现实施例1步骤3）的功能。
显然，本实施例的静脉图像修复装置可以作为上述实施例1的静脉图像修复方法的执行主体，因此能够实现该静脉图像修复方法所实现的功能。由于原理相同，本文不再赘述。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (8)

1.一种基于NMRT方向特征约束的静脉图像修复方法，其特征在于，其包括如下步骤：
1）对指静脉图像 I进行噪声检测，并标记出噪声区域；
2）通过NMRT算法提取所述指静脉图像I中的静脉方向特征，得到所述指静脉图像I的NMRT方向特征图Iw；
3）以提取的指静脉图像I的NMRT方向特征为约束修复所述噪声区域；
所述步骤1）中，对所述指静脉图像I进行噪声检测的具体步骤包括：
1.1）采用r*r邻域窗口，在所述指静脉图像I 上滑动，计算出每个窗口邻域内像素灰度值的最大值、最小值和平均值，分别记为max、min、mean，得到三张图像记为Imax、Imin、Imean，r表示所述邻域窗口的长或宽；
1.2）计算所述指静脉图像I经噪声区域局部对比度增强后的图像Ienhance，计算公式为：
Figure 519612DEST_PATH_IMAGE001
公式（1）中，(i,j)表示图像的像素点坐标,i为整数且1≤i≤图像宽度，j为整数且1≤j≤图像高度；
1.3）对增强图像Ienhance(i,j)进行阈值分割，标记出所述指静脉图像I的二值图Ib，阈值分割计算公式为：
Figure 64863DEST_PATH_IMAGE002
公式（2）中，
Figure 101214DEST_PATH_IMAGE003
表示未进行噪声增强的原始指静脉图像
Figure 73718DEST_PATH_IMAGE004
上坐标为(i,j)的像素 点；
Figure 61266DEST_PATH_IMAGE005
为一阈值；
Figure 849356DEST_PATH_IMAGE006
表示为所述指静脉图像I上的噪声区域；
Figure 176432DEST_PATH_IMAGE007
表示为所述指静脉图像
Figure 585416DEST_PATH_IMAGE004
上的正常区域；
所述步骤3）中，以提取的指静脉图像的NMRT方向特征为约束修复所述噪声区域的具体步骤包括：
3.1）根据待修复点邻域窗口w*w内的所述NMRT方向特征图提取静脉主方向特征作为参考序列，记所述参考序列中所有正常像素点集合为Ip，1≤p≤（w*w-1），计算Ip所有元素灰度值的平均值Iwm 作为噪声修复的参考值；
3.2）根据所述参考值Iwm计算所述参考序列对应的所有正常像素点集合Ip中所有像素点的NMRT方向特征权值Wpkf，并计算Ip 中所有像素点与待修复点间的距离权值Wpkd, k=1,2,3,…,p；
3.3）根据所述NMRT方向特征权值Wpkf和所述距离权值Wpkd，计算得到Ip中所有像素点对应的联合权值LWpk；
3.4）根据所述联合权值LWpk计算当前待修复噪声点Ic的像素值；
3.5）重复所述步骤3.3）和所述步骤3.4），沿着所述噪声区域边界一圈一圈向内修复直至完成对所有噪声点的修复。
2.根据权利要求1所述的基于NMRT方向特征约束的静脉图像修复方法，其特征在于，所述步骤1.2）中，当所述邻域窗口内的像素点的灰度值与所述邻域窗口内的灰度像素最大值的差值大于一阈值d时，对所述像素点进行噪声增强，否则不进行噪声增强，噪声增强限制条件通过公式（3）表达：
Figure 60260DEST_PATH_IMAGE008
d为一阈值。
3.根据权利要求1所述的基于NMRT方向特征约束的静脉图像修复方法，其特征在于，所述步骤2）中，提取所述指静脉图像I的静脉方向特征的具体步骤包括：
2.1）构建8个大小为16*16的NMRT方向模板
Figure 386461DEST_PATH_IMAGE009
，
Figure 630361DEST_PATH_IMAGE010
；
2.2）通过8个所述NMRT方向模板
Figure 147930DEST_PATH_IMAGE009
分别对所述指静脉图像
Figure 110070DEST_PATH_IMAGE004
进行卷积操作，得到8个 方向的响应图像
Figure 239962DEST_PATH_IMAGE011
；
2.3）对于指静脉图像
Figure 276051DEST_PATH_IMAGE004
的任意像素点
Figure 964522DEST_PATH_IMAGE012
,计算该点所对应的8个方向卷积响应值
Figure 413957DEST_PATH_IMAGE013
的最大值，取卷积最大值所对应的方向索引值作为NMRT方向特征，并通过公 式（4）和（5）得到指静脉图像
Figure 580497DEST_PATH_IMAGE004
的NMRT方向特征图Iw：
Figure 300453DEST_PATH_IMAGE014
Figure 159825DEST_PATH_IMAGE015
公式（4）中，
Figure 830977DEST_PATH_IMAGE016
表示指静脉图像上点I(i,j)所对应的8个方向卷积 响应值
Figure 66787DEST_PATH_IMAGE013
中最大值所对应的方向，
Figure 641250DEST_PATH_IMAGE017
为其 索引值；公式（5）中
Figure 671523DEST_PATH_IMAGE018
为角度的索引值。
4.根据权利要求1所述的基于NMRT方向特征约束的静脉图像修复方法，其特征在于，所 述步骤3.2）中，所述NMRT方向特征权值
Figure 829972DEST_PATH_IMAGE019
通过以下公式（6）计算而得：
Figure 338313DEST_PATH_IMAGE020
公式（6）中，0<Wpkf<1，|Ipk-Iwm|表示所述正常像素点集合Ip内任一正常像素点的灰度值Ipk与所述参考值Iwm的灰度差；c为一常数，且c>0。
5.根据权利要求4所述的基于NMRT方向特征约束的静脉图像修复方法，其特征在于，所述距离权值Wpkd通过以下公式（7）计算而得：
Figure 469080DEST_PATH_IMAGE021
公式（7）中，0<Wpkd<1，upk表示Ip中所有像素点到当前待修复点的水平距离；vpk表示Ip中所有像素点到当前待修复点的竖直距离。
6.根据权利要求5所述的基于NMRT方向特征约束的静脉图像修复方法，其特征在于，所 述步骤3.3）中的所述联合6值
Figure 171719DEST_PATH_IMAGE022
通过以下公式（8）计算而得：
Figure 817464DEST_PATH_IMAGE023
公式（8）中，a，b为常数，a+b=1，
Figure 129497DEST_PATH_IMAGE024
为归一化后的所述NMRT方向特征权值，
Figure 177087DEST_PATH_IMAGE024
通 过以下公式（9）计算而得：
Figure 38909DEST_PATH_IMAGE025
Figure 171950DEST_PATH_IMAGE026
为归一化后的所述距离权值，
Figure 287674DEST_PATH_IMAGE026
通过以下公式（10）计算而得：
Figure 189771DEST_PATH_IMAGE027
。
7.根据权利要求6所述的基于NMRT方向特征约束的静脉图像修复方法，其特征在于，所 述步骤3.4）中，通过以下公式（11）计算当前待修复噪声点
Figure 234212DEST_PATH_IMAGE028
的像素值：
Figure 588970DEST_PATH_IMAGE029
。
8.一种基于NMRT方向特征约束的静脉图像修复装置，其特征在于，该装置包括：
1）图像噪声检测模块，用于对指静脉图像I进行噪声检测，并标注出噪声区域；
2）NMRT方向特征图提取模块，用于通过NMRT算法提取所述指静脉图像I的静脉方向特征，得到所述指静脉图像I的NMRT方向特征图Iw；
3）噪声区域修复模块，分别连接所述图像噪声检测模块和所述NMRT方向特征图提取模块，用于以提取的指静脉图像的NMRT方向特征为约束修复所述噪声区域；
所述图像噪声检测模块中，对所述指静脉图像I进行噪声检测的具体步骤包括：
1.1）采用r*r邻域窗口，在所述指静脉图像I 上滑动，计算出每个窗口邻域内像素灰度值的最大值、最小值和平均值，分别记为max、min、mean，得到三张图像记为Imax、Imin、Imean，r表示所述邻域窗口的长或宽；
1.2）计算所述指静脉图像I经噪声区域局部对比度增强后的图像Ienhance，计算公式为：
Figure 508385DEST_PATH_IMAGE001
公式（1）中，(i,j)表示图像的像素点坐标,i为整数且1≤i≤图像宽度，j为整数且1≤j≤图像高度；
1.3）对增强图像Ienhance(i,j)进行阈值分割，标记出所述指静脉图像I的二值图Ib，阈值分割计算公式为：
Figure 264988DEST_PATH_IMAGE002
公式（2）中，
Figure 480331DEST_PATH_IMAGE003
表示未进行噪声增强的原始指静脉图像
Figure 587964DEST_PATH_IMAGE004
上坐标为(i,j)的像素 点；
Figure 45491DEST_PATH_IMAGE005
为一阈值；
Figure 594284DEST_PATH_IMAGE006
表示为所述指静脉图像I上的噪声区域；
Figure 744642DEST_PATH_IMAGE007
表示为所述指静脉图像
Figure 575457DEST_PATH_IMAGE004
上的正常区域；
所述噪声区域修复模块中，以提取的指静脉图像的NMRT方向特征为约束修复所述噪声区域的具体步骤包括：
3.1）根据待修复点邻域窗口w*w内的所述NMRT方向特征图提取静脉主方向特征作为参考序列，记所述参考序列中所有正常像素点集合为Ip，1≤p≤（w*w-1），计算Ip所有元素灰度值的平均值Iwm 作为噪声修复的参考值；
3.2）根据所述参考值Iwm计算所述参考序列对应的所有正常像素点集合Ip中所有像素点的NMRT方向特征权值Wpkf，并计算Ip 中所有像素点与待修复点间的距离权值Wpkd, k=1,2,3,…,p；
3.3）根据所述NMRT方向特征权值Wpkf和所述距离权值Wpkd，计算得到Ip中所有像素点对应的联合权值LWpk；
3.4）根据所述联合权值LWpk计算当前待修复噪声点Ic的像素值；
3.5）重复所述步骤3.3）和所述步骤3.4），沿着所述噪声区域边界一圈一圈向内修复直至完成对所有噪声点的修复。
CN202011559246.4A 2020-12-25 2020-12-25 基于nmrt方向特征约束的静脉图像修复方法及装置 Active CN112288660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011559246.4A CN112288660B (zh) 2020-12-25 2020-12-25 基于nmrt方向特征约束的静脉图像修复方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011559246.4A CN112288660B (zh) 2020-12-25 2020-12-25 基于nmrt方向特征约束的静脉图像修复方法及装置

Publications (2)

Publication Number Publication Date
CN112288660A CN112288660A (zh) 2021-01-29
CN112288660B true CN112288660B (zh) 2021-04-13

Family

ID=74426300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011559246.4A Active CN112288660B (zh) 2020-12-25 2020-12-25 基于nmrt方向特征约束的静脉图像修复方法及装置

Country Status (1)

Country Link
CN (1) CN112288660B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272684B (zh) * 2022-09-29 2022-12-27 山东圣点世纪科技有限公司 一种静脉图像增强过程中伪噪声的处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778423A (zh) * 2013-11-25 2014-05-07 中国人民解放军国防科学技术大学 基于灰度近邻和方差约束的手指静脉纹路修复方法
CN104091145A (zh) * 2013-06-02 2014-10-08 广东智冠实业发展有限公司 人体掌脉特征图像采集方法
CN104504371A (zh) * 2014-12-15 2015-04-08 南方医科大学 一种手指静脉图像的线状纹理特征提取方法
CN104615635A (zh) * 2014-11-10 2015-05-13 南方医科大学 基于方向特征的手掌静脉分类索引构建方法
CN104615634A (zh) * 2014-11-10 2015-05-13 广东智冠信息技术股份有限公司 基于方向特征的手掌静脉指导性快速检索方法
EP3125194A1 (en) * 2014-03-25 2017-02-01 Fujitsu Frontech Limited Biometric authentication device, biometric authentication method, and program
CN109523484A (zh) * 2018-11-16 2019-03-26 中国民航大学 一种基于分形特征的手指静脉血管网络修复方法
CN111242864A (zh) * 2020-01-12 2020-06-05 杭州电子科技大学 一种基于Gabor纹理约束的手指静脉图像修复方法
CN112102209A (zh) * 2020-11-17 2020-12-18 四川圣点世纪科技有限公司 一种异常静脉图像的修复方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100458832C (zh) * 2007-06-21 2009-02-04 中国科学院合肥物质科学研究院 基于方向特征的掌纹识别方法
CN104268502B (zh) * 2013-06-02 2018-01-19 广东智冠实业发展有限公司 人体静脉图像特征提取后的认识方法
CN108509886B (zh) * 2018-03-26 2021-08-17 电子科技大学 基于静脉像素点判定的掌静脉识别方法
CN111507206B (zh) * 2020-03-29 2023-04-18 杭州电子科技大学 一种基于多尺度局部特征融合的手指静脉识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091145A (zh) * 2013-06-02 2014-10-08 广东智冠实业发展有限公司 人体掌脉特征图像采集方法
CN103778423A (zh) * 2013-11-25 2014-05-07 中国人民解放军国防科学技术大学 基于灰度近邻和方差约束的手指静脉纹路修复方法
EP3125194A1 (en) * 2014-03-25 2017-02-01 Fujitsu Frontech Limited Biometric authentication device, biometric authentication method, and program
CN104615635A (zh) * 2014-11-10 2015-05-13 南方医科大学 基于方向特征的手掌静脉分类索引构建方法
CN104615634A (zh) * 2014-11-10 2015-05-13 广东智冠信息技术股份有限公司 基于方向特征的手掌静脉指导性快速检索方法
CN104504371A (zh) * 2014-12-15 2015-04-08 南方医科大学 一种手指静脉图像的线状纹理特征提取方法
CN109523484A (zh) * 2018-11-16 2019-03-26 中国民航大学 一种基于分形特征的手指静脉血管网络修复方法
CN111242864A (zh) * 2020-01-12 2020-06-05 杭州电子科技大学 一种基于Gabor纹理约束的手指静脉图像修复方法
CN112102209A (zh) * 2020-11-17 2020-12-18 四川圣点世纪科技有限公司 一种异常静脉图像的修复方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Human Identification Using Palm-Vein Imags;Yingbo Zhou 等;《IEEE Transactions on Information Forensics and Security》;20110602;第6卷(第4期);第1259-1274页 *
低图像质量下的手指静脉识别算法研究;蓝师伟;《中国优秀硕士学位论文全文数据库信息科技辑》;20200115;第I138-1234页 *
基于多特征的掌静脉识别算法研究;杨园园;《中国优秀硕士学位论文全文数据库信息科技辑》;20180815;第I138-619页正文第16页第2段、第17页第5段-第18页第4段 *
手指静脉图像血管网分形修复方法;李振娟 等;《信号处理》;20190831;第35卷(第8期);第1334-1342页 *

Also Published As

Publication number Publication date
CN112288660A (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
Wu et al. Mantra-net: Manipulation tracing network for detection and localization of image forgeries with anomalous features
CN110188614B (zh) 一种基于皮裂纹分割的nlm滤波指静脉去噪方法
CN109509163B (zh) 一种基于fgf的多聚焦图像融合方法及系统
CN112686813A (zh) 基于部分卷积和掩膜更新的指静脉图像修复方法
KR20090093223A (ko) 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거
Lee et al. Multiscale morphology based illumination normalization with enhanced local textures for face recognition
CN112288660B (zh) 基于nmrt方向特征约束的静脉图像修复方法及装置
Salem A Survey on Various Image Inpainting Techniques.
CN107516083B (zh) 一种面向识别的远距离人脸图像增强方法
CN110569815B (zh) 基于改进灰度不均匀矫正的指静脉图像特征提取算法
Podder et al. Relative performance analysis of edge detection techniques in iris recognition system
Hu et al. A composite fingerprint segmentation based on log-gabor filter and orientation reliability
Peng et al. An effective preprocessing method for finger vein recognition
CN109636822A (zh) 一种基于新构建隶属度函数的改进Canny自适应边缘提取方法
Costa et al. Towards biometric identification using 3D epidermal and dermal fingerprints
CN116309780A (zh) 一种基于目标检测的水尺水位识别方法
Vlachos et al. Vein segmentation in infrared images using compound enhancing and crisp clustering
Huang et al. An integrated edge detection method using mathematical morphology
Cheriet et al. A formal model for document processing of business forms
Chowdhury et al. Fuzzy rule based approach for face and facial feature extraction in biometric authentication
CN114913607A (zh) 一种基于多特征融合的指静脉仿冒检测方法
CN112085683B (zh) 一种显著性检测中的深度图可信度检测方法
Hajri et al. Contrast enhancement and feature extraction algorithms of finger knucle print image for personal recognition
CN109934190B (zh) 基于变形高斯核函数的自适应强光人脸图像纹理恢复方法
Ren et al. A linear hybrid classifier for fingerprint segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210907

Address after: 030032 room 0906, floor 9, building C, qingkong innovation base, No. 529, South Central Street, Taiyuan Xuefu Park, comprehensive reform demonstration zone, Taiyuan, Shanxi Province

Patentee after: Holy Point Century Technology Co.,Ltd.

Address before: 9 / F, unit 1, building 2, no.41-5, Jinsha North 2nd Road, Jinniu District, Chengdu, Sichuan 610000

Patentee before: Sichuan ShengDian Century Technology Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Vein image restoration method and device based on nmrt directional feature constraint

Effective date of registration: 20220606

Granted publication date: 20210413

Pledgee: Bank of China Limited Taiyuan Binzhou sub branch

Pledgor: Holy Point Century Technology Co.,Ltd.

Registration number: Y2022140000021