CN113658238A - 一种基于改进特征检测的近红外静脉图像高精度匹配方法 - Google Patents
一种基于改进特征检测的近红外静脉图像高精度匹配方法 Download PDFInfo
- Publication number
- CN113658238A CN113658238A CN202110965997.4A CN202110965997A CN113658238A CN 113658238 A CN113658238 A CN 113658238A CN 202110965997 A CN202110965997 A CN 202110965997A CN 113658238 A CN113658238 A CN 113658238A
- Authority
- CN
- China
- Prior art keywords
- matching
- image
- local binary
- binary pattern
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003462 vein Anatomy 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 238000012896 Statistical algorithm Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 238000005286 illumination Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及近红外静脉图像处理技术领域,具体公开了一种基于改进特征检测的近红外静脉图像高精度匹配方法,首先构建局部二值模式高斯图像金字塔,计算每幅近红外静脉图像在该金字塔中的每一个尺度空间表示,然后对该组近红外静脉图像进行匹配,匹配过程是:首先在该金字塔上检测特征点,并进行特征点的描述,然后使用暴力匹配对特征点进行匹配,之后使用网格运动统计算法对初匹配点进行网格划分,并划分正确与错误匹配点对,然后过滤误匹配点对,最后利用随机抽样一致算法拟合最优匹配模型,得到精匹配的特征点对。实验结果表明,本发明所提出的方法检测的特征点数目具有明显改进,召回率高达47.055%,匹配精度高达98.852%。
Description
技术领域
本发明涉及近红外静脉图像处理技术领域,尤其涉及一种基于改进特征检测的近红外静脉图像高精度匹配方法。
背景技术
静脉识别技术是一种新的生物特征识别技术,相对于其他的生物识别技术,具有采集速度快、精度高、活体识别、非接触式等优点,有很高的市场价值与应用前景。利用近红外光线的敏感性,可得到近红外静脉图像。近红外静脉图像的匹配精度在特征识别中发挥着重要作用。但当前近红外静脉图像匹配方法所检测的特征点数目少,匹配精度和召回率整体较低。
发明内容
本发明提供一种基于改进特征检测的近红外静脉图像高精度匹配方法,解决的技术问题在于:如何在近红外静脉图像匹配时,获取更多的特征点数,以整体提高匹配精度及召回率。
为解决以上技术问题,本发明提供一种基于改进特征检测的近红外静脉图像高精度匹配方法,包括步骤:
S1、在一组近红外静脉图像输入后,对每幅近红外静脉图像构建对应的局部二值模式高斯图像金字塔;构建的过程包括步骤:
S11、计算该幅近红外静脉图像的局部二值模式纹理特征图像;
S12、对局部二值模式纹理特征图像进行高斯模糊与下采样,生成具有多层结构、多种尺度和多种分辨率特性的局部二值模式高斯金字塔;
S2、基于每幅近红外静脉图像所对应的局部二值模式高斯金字塔对该组近红外静脉图像进行匹配。
进一步地,在所述步骤S11中:
采用8邻域局部二值模式算子计算该幅近红外静脉图像的局部二值模式纹理特征图像;
该8邻域局部二值模式算子为:
以3像素*3像素作为一个纹理单元,在该纹理单元中,以单元中心像素点的灰度值为阈值,将周围的8个像素点的灰度值与该阈值进行比较,若大于该阈值,则该像素点的位置被标记为1,否则为0。
进一步地,所述步骤S11具体包括步骤:
S111、采用8邻域局部二值模式算子计算一个3*3的纹理单元的中心像素点的编码值,该编码值为将该中心像素点周围的8个像素点的二值结果按照既定顺序排列而成的8位二进制编码;
S112、将该8位二进制编码转化成一个十进制值;
S113、将原中心像素点的像素值替换为该十进制值,并采用8邻域局部二值模式算子重新计算该中心像素点的8位二进制编码;
S114、为该中心像素点周围的8个像素点分配权值;
S115、根据下式计算该中心像素点的局部二值模式值:
(xc,yc)表示该中心像素点,LBP(xc,yc)表示该中心像素点(xc,yc)的局部二值模式值,Gi、Ai分别表示该中心像素点周围一像素点的灰度值和权值,Gc表示该中心像素点(xc,yc)的灰度值,0≤i≤7,S(Gi-Gc)表示采用8邻域局部二值模式算子重新计算得到的该中心像素点周围一像素点的二值结果;
S116、采用步骤S111~S115的流程计算该幅近红外静脉图像中每个像素点的局部二值模式值,最后得到该幅近红外静脉图像的局部二值模式纹理特征图像。
进一步地,Ai=2i。
进一步地,在所述步骤S111中,所述既定顺序为:
从3*3的纹理单元左上角第一个像素点开始,沿着顺时针的方向包围其中心像素点一圈。
进一步地,在所述步骤S12中,局部二值模式高斯金字塔的尺度空间L(x,y,kσ)通过一个变尺度的高斯核函数G(x,y,kσ)与输入图像G(x,y,kσ)进行卷积而得到,即:
L(x,y,kσ)=G(x,y,kσ)*I(x,y)
其中,x,y表示输入图像中各个像素点的横纵坐标,*是x和y中的卷积运算,kσ是尺度空间的空间尺度因子。
进一步地,所述高斯核函数为:
进一步地,所述局部二值模式高斯金字塔具有J层图像,其中的第j+1层图像的分辨率是第j层图像的1/2。
进一步地,J=5。
进一步地,所述步骤S2具体包括步骤:
S21、扫描所述局部二值模式高斯金字塔,检测对应的特征点;
S22、将检测到的特征点转化为二元特征向量;
S23、基于该二元特征向量对该组近红外静脉图像进行粗匹配;
S24、采用网格运动统计算法对粗匹配的结果进行过滤,保留正确匹配点,滤除错误匹配点;
S25、采用随机抽样一致算法寻找一个最佳的单应矩阵H,符合单应矩阵转换的匹配点将被保留,不符合的则将被移除,从而获得近红外静脉匹配图像的高精度匹配点对。
本发明提供的一种基于改进特征检测的近红外静脉图像高精度匹配方法,首先构建局部二值模式高斯图像金字塔,计算每幅近红外静脉图像在该金字塔中的每一个尺度空间表示(步骤S1),然后对该组近红外静脉图像进行匹配(步骤S2),具体的匹配过程是:首先在该金字塔上检测特征点(步骤S21),并进行特征点的描述(步骤S22),然后使用暴力匹配对特征点进行匹配(步骤S23),之后使用网格运动统计算法对初匹配点进行网格划分,基于同一网格内匹配对邻域特征点具有更高支持度原理来划分正确与错误匹配点对,并过滤误匹配点对(步骤S24),最后利用随机抽样一致算法拟合最优匹配模型,得到精匹配的特征点对,实现高精度的近红外静脉图像匹配(步骤S25)。实验结果表明,本发明所提出的方法检测的特征点数目具有明显改进,召回率高达47.055%,匹配精度高达98.852%。
附图说明
图1是本发明实施例提供的一种基于改进特征检测的近红外静脉图像高精度匹配方法的步骤流程图;
图2是本发明实施例提供的使用四种局部二值模式算子生成的特征图像对比图;
图3是本发明实施例提供的使用四种局部二值模式算子生成的特征值统计直方对比图;
图4是本发明实施例提供的8邻域局部二值模式算子的在运算过程中的各个状态图;
图5是本发明实施例提供的8邻域局部二值模式算子的计算示例图;
图6是本发明实施例提供的局部二值模式高斯图像金字塔的生成过程示意图;
图7是本发明实施例提供的网格运动统计(GMS)算法的一次匹配示例图;
图8是本发明实施例提供的网格运动统计(GMS)算法的运动核示意图;
图9是本发明实施例提供的不同光照强度下的图像匹配结果比较图;
图10是本发明实施例提供的不同尺度高斯模糊下的图像匹配结果比较图;
图11是本发明实施例提供的不同尺寸下的图像匹配结果比较图。
具体实施方式
下面结合附图具体阐明本发明的实施方式,实施例的给出仅仅是为了说明目的,并不能理解为对本发明的限定,包括附图仅供参考和说明使用,不构成对本发明专利保护范围的限制,因为在不脱离本发明精神和范围基础上,可以对本发明进行许多改变。
为了在近红外静脉图像匹配时检测到更多的特征,并获得较高的匹配精度和召回率,本发明实施例提供一种基于改进特征检测的近红外静脉图像高精度匹配方法,如图1的流程图所示,包括步骤:
S1、在一组近红外静脉图像输入后,对每幅近红外静脉图像构建对应的局部二值模式高斯图像金字塔;构建的过程包括步骤:
S11、计算该幅近红外静脉图像的局部二值模式纹理特征图像;
S12、对局部二值模式纹理特征图像进行高斯模糊与下采样,生成具有多层结构、多种尺度和多种分辨率特性的局部二值模式高斯金字塔;
S2、基于每幅近红外静脉图像所对应的局部二值模式高斯金字塔对该组近红外静脉图像进行匹配。
在对近红外掌静脉图像进行处理前,对其进行预处理是非常有必要的,可以明显提高特征点的数量,本发明即采用的步骤S1进行前期处理。
更具体的,在所述步骤S11中:
采用8邻域局部二值模式(Local Binary Pattern,LBP)算子计算该幅近红外静脉图像的局部二值模式纹理特征图像。局部二值模式算子是一种用来描述图像局部纹理特征的算子,其具有灰度不变性以及计算简单等显著的优点,并且局部二值模式特征图像具有较强的识别能力,更能适应光照变化的环境,局部二值模式纹理描述子对于手背静脉这种灰度单调变化的图像具有更强的鲁棒性。如图2所示,与其他三种算子(旋转不变局部二值模式、统一局部二值模式、旋转-统一局部二值模式)相比,8邻域(或8方向)局部二值模式算子所生成的特征图像呈现出清晰的静脉纹理,原始图像中明显的静脉在8邻域局部二值模式特征图像中表现出更大的梯度差,不太明显的静脉骨架的特征信息也被增强。熵值是随机的统计度量,可以用来表征输入图像的纹理。可以看到,8局部二值模式特征图像的熵值(E=5.3575)与原始图像的熵值(E=6.3753)差距小,更为接近。
对于八采样点的局部二值模式算子来说,特征值范围为0~255,对每个特征值进行统计,这样就形成了一个直方图,该直方图有256个分量,也就是一个长度为256的向量。如果直接使用该向量的话,那么对八采样点的局部二值模式算子来说,一张图片至多会形成一个256长度的一个向量,如图3所示,(1)(2)(3)(4)分别是四种局部二值模式算子生成的局部二值模式统计直方图,8邻域局部二值模式算子统计直方图特征值范围遍历了0~255,且具有一定的均衡性,而其余三个改进局部二值模式算子的直方图仅包含一小部分灰度值范围,但由于局部二值模式统计直方图的位置信息全部丢失,对于图像匹配来说会产生很大的匹配误差。基于以上分析,本实施例最终使用8采样点的局部二值模式算子生成静脉图像局部二值模式特征图像,并将其作为特征描述方法的输入。
本实施例采用的8邻域局部二值模式算子,定义为:
以3像素*3像素作为一个纹理单元,在该纹理单元中,以单元中心像素点(GC)的灰度值为阈值,将周围的8个像素点(G0~G7)的灰度值与该阈值进行比较,若大于该阈值,则该像素点的位置被标记为1,否则为0,D0~D7代表标记后的值,如图4(1)和(2)所示。
基于该8邻域局部二值模式算子,参考图5的具体示例,步骤S11具体包括步骤:
S111、采用8邻域局部二值模式算子计算一个3*3的纹理单元的中心像素点的编码值,该编码值为将该中心像素点(102)周围的8个像素点(13、41、64、145、250、197、127、88)的二值结果(0、0、0、1、1、1、1、0)按照既定顺序排列而成的8位二进制编码(“00011110”);
S112、将该8位二进制编码(“00011110”)转化成一个十进制值(“30”);
S113、将原中心像素点的像素值(“102”)替换为该十进制值(“30”),并采用8邻域局部二值模式算子重新计算该中心像素点的8位二进制编码;
S114、为该中心像素点周围的8个像素点分配权值;
S115、根据下式计算该中心像素点的局部二值模式值:
(xc,yc)表示该中心像素点,LBP(xc,yc)表示该中心像素点(xc,yc)的局部二值模式值,Gi、Ai分别表示该中心像素点周围一像素点的灰度值和权值,Gc表示该中心像素点(xc,yc)的灰度值,0≤i≤7,S(Gi-Gc)表示采用8邻域局部二值模式算子重新计算得到的该中心像素点周围一像素点的二值结果;
S116、采用步骤S111~S115的流程计算该幅近红外静脉图像中每个像素点的局部二值模式值,最后得到该幅近红外静脉图像的局部二值模式纹理特征图像。
在步骤S114及S115中,如图4(3)所示,20~27为对应分配的权值,即Ai=2i,0≤i≤7。
从图4和图5可以看到,在所述步骤S111中,所述既定顺序为:
从3*3的纹理单元左上角第一个像素点开始,沿着顺时针的方向包围其中心像素点一圈。
当光照发生变化时,3像素*3像素窗口内,中心像素点以及周围其余像素点的灰度值也会相应改变,因此局部二值模式特征不易受单调光照变化的影响。通过对局部二值模式特征的统计度量,可以生成凸显细节、纹理清晰的局部二值模式特征图像,该图像可以作为特征提取以及图像匹配的输入。
进一步的,在步骤S12中,局部二值模式高斯金字塔的尺度空间L(x,y,kσ)通过一个变尺度的高斯核函数G(x,y,kσ)与输入图像G(x,y,kσ)进行卷积而得到,即:
L(x,y,kσ)=G(x,y,kσ)*I(x,y) (2)
其中,x,y表示输入图像中各个像素点的横纵坐标,*是x和y中的卷积运算,kσ是尺度空间的空间尺度因子。
构建的局部二值模式高斯金字塔具有J层图像,其中的第j+1层图像的分辨率是第j层图像的1/2,本实施例优选J=5。
局部二值模式高斯图像金字塔的生成过程如图6所示。塔的每层图像以2为倍数递增式地使用高斯函数进行卷积,局部二值模式高斯图像金字塔中,图片的模糊程度由下到上依次递增。图像的下采样包含更少的像素,并且以1/2的比例降低大小。到了第四级别图像的模糊程度是原始图像的4倍,分辨率是原始图像的1/16。局部二值模式高斯金字塔保留了图像金字塔的多分辨率特性的同时还具有多尺度特性以及静脉纹理特性,面对图像模糊及尺度的变化具有更强的鲁棒性。
具体的,基于该局部二值模式高斯金字塔的步骤S2具体包括步骤:
S21、采用oFast特征检测算法扫描所述局部二值模式高斯金字塔,检测对应的特征点;
S22、使用rBRIEF算法将检测到的特征点转化为二元特征向量;
S23、基于该二元特征向量对该组近红外静脉图像进行粗匹配;
S24、采用网格运动统计(GMS)算法对粗匹配的结果进行过滤,保留正确匹配点,滤除错误匹配点;
S25、采用随机抽样一致(RANSAC)算法寻找一个最佳的单应矩阵H,符合单应矩阵转换的匹配点将被保留,不符合的则将被移除,从而获得近红外静脉匹配图像的高精度匹配点对。
在步骤S24中,网格运动统计算法是一种基于匹配对邻域特征点支持量的评价方法。它主要是对特征提取以及暴力粗匹配后的特征匹配点进行过滤,保留正确匹配点,滤除错误匹配点。以图7为例,正确匹配对(Ci)邻域内有两个正确匹配支持量,而错误匹配对(Cj)邻域内没有正确匹配对对其支持。
输入两幅待匹配图像分别为Ia和Ib,通过粗匹配后,集合X={x1,x2,…xi,…,xn}表示Ia和Ib之间的最近邻匹配,xi表示区域{Ra,Rb}中像素点pi和pj的匹配对。xi的邻域可以表示为:
Ni={xj∣xj∈X,xj≠xi,d(pi,pj)<r1} (3)
xi的相似邻域可以表示为:
Si={cj∣cj∈Ni,d(qi,qj)<r2} (4)
其中d(·,·)表示匹配点对之间的欧氏距离,r1、r2表示距离阈值。
图像Ia中区域Ra含有n个特征点集合{a1,a2,a3,…,an},图像Ib中区域Rb对应含有n个特征点集合{b1,b2,b3,…,bn}。设Si为xi邻域Ra的支持匹配数,称为支持度:
Si=|xi|-1 (5)
其中,|xi|表示xi所在邻域内的匹配对数,-1表示减去假定为正确匹配对的因子。可以看到,正确匹配对邻域内存在与之相一致的特征匹配对,而错误匹配周围没有可支持的匹配对。
如图7所示,真实匹配点对的邻域Ni,支持它的匹配对数为Si=2,可以看到,错误匹配没有支持它的匹配对,即Sj=0。因此,可以通过统计支持域内的匹配数量来判别正确和错误匹配。建立Si的统计模型:
其中,B(·,·)表示二项分布,|Ni|表示邻域Ni内的匹配对数目,t和∈分别表示正确和错误匹配被其某个邻域窗口匹配支持的概率。t是受特征质量的控制,即接近匹配的正确率。∈通常很小,因为错误匹配几乎随机分布在图像范围内。式(6)的期望为:
方差为:
因此,真假匹配的可区分度(均值差异与比方差之和)被标示为如下形式:
从式(9)可以看到,当|Ni|→∞时,P→∞,也就是说,当图像中的匹配点越多,此时正确与错误匹配的可区分度就越高。同时,即使是在t比∈稍微大一点的情况下,也可以通过增多特征点的数量来弥补正确匹配与错误匹配区分程度不足的问题;当然,也可以通过提高特征质量t来增加正确与错误匹配之间的区分度。
实验发现,通过统计每个匹配所在小邻域内的匹配数量,正确匹配的支持域得分明显高于错误匹配,即使在非常困难的匹配序列上,该现象仍然存在。因此,通过对|Si|设置阈值来判定ci是正确或者错误匹配:
其中α为超参数,经验值为4~6。
Ni={cj∣cj∈Ca,ci≠cj} (12)
重新定义相似邻域:
Si={cj∣cj∈Cab,ci≠cj} (13)
其中,Ca表示落在网格Ga中的匹配对,Cab表示同时落在Ga和Gb中的匹配对。也就是说,落在同一个网格中的匹配被当作邻域,同时落在两个网格中的匹配成为相似邻域(小邻域)。
需要注意的是,一个小邻域中的匹配满足运动平滑性假设,所以在判断匹配关系是正确还是错误时,仅需要判定一个小邻域中的所有匹配是否正确即可,无需逐个匹配判断。此外,不需要确定所有可能的小邻域,而是只检查与第一个图像网格匹配数量最多的一个小邻域即可。
为了加大正确匹配时特征点支持度与错误匹配时特征点支持度的差距,提高区分的准确性以及方法的性,通过设置运动内核从而来考虑更多的邻域信息。
如果核的尺寸很小,那么很少的邻域会被考虑进来,这会降低方法的性能。如果核的尺寸很大,就会将不准确的匹配点对包含进来。为了解决这个问题,可以将网格大小设置得较小以提高匹配的准确性,因此提出了考虑更多邻域的运动核。图8显示了基本的运动核,其中考虑了另外八个邻域用来对初始的(Cab)进行分类。重新定义邻域:
Ni={cj∣cj∈CA,ci≠cj} (14)
重新定义相似邻域:
Si={cj∣cj∈CAB,ci≠cj} (15)
基本内核假设两幅图像之间的相对旋转很小。对于匹配具有显著旋转变化的图像对,因此可以旋转基本内核,来减少图片旋转对图像匹配的影响。
在步骤S25中,随机抽样一致(RANSAC)算法可用来移除图像匹配中的“局外点”,主要是通过迭代选择数据中的一组随机子集来拟合“局内点”数学模型。其方法流程如下:
1.有一个模型适用于假设的局内点,即所有的未知参数都能从假设的局内点计算得出;
2.用1中得到的模型去测试所有的其它数据,如果某个点适用于估计的模型,认为它也是局内点;
3.如果有足够多的点被归类为假设的局内点,那么估计的模型就足够合理;
4.然后,用所有假设的局内点去重新估计模型,因为它仅仅被初始的假设局内点估计过;
5.最后,通过估计局内点与模型的错误率来评估模型。
这个过程被重复执行一定的次数,舍弃局内点太少而产生的模型,选用比现有模型更好的模型,直到模型评估达到预定的要求或者迭代的次数而结束。
在图像匹配中,随机抽样一致算法常常被用来进行误匹配点的筛除。主要一般采用随机抽样一致算法寻找一个最佳的单应矩阵H,符合单应矩阵转换的匹配点将被保留,单应矩阵被用来描述两幅图像间像素点的变换关系:
其中,单应矩阵H由h构成的3*3矩阵表示,s是尺度因子,通常情况令h33=1来归一化矩阵。单应矩阵的自由度为8,因此至少需要构造8个线性方程,也就是4个匹配点对坐标来求解。
在实际计算单应矩阵的过程中,从匹配数据集中随机抽取4组样本,需要注意的是这4组样本不可以共线,然后计算对应的单应矩阵,最后统计满足此矩阵转换的匹配点对数并计算对应的投影误差,误差越小,模型越优秀。误差e计算如式(17)所示。
传统的误匹配筛选是直接将初次匹配的结果输入到随机抽样一致算法中,计算图像间的单应矩阵,保留适合此矩阵的匹配点。由于步骤S21能检测到大量的特征点,从而导致在图像匹配阶段含有大量的误匹配,如果直接输入到随机抽样一致算法中进行误匹配点的筛除会在多次迭代过中消耗大量的计算时间,方法收敛慢,实施性很差。
基于以上分析,为了改进匹配方法,本实施例构建了局部二值模式高斯图像金字塔,能够有效地从脉纹理图像中获得大量的更为准确的特征点,网格运动统计算法通过对静脉图像进行网格划分,基于网格内的特征点具有运动一致性约束的原理过滤掉粗匹配中错误的特征点,最后再将一次过滤后的匹配点对输入到随机抽样一致算法中迭代拟合最优匹配模型,从而获得近红外静脉匹配图像的高精度匹配点对,实现高精度的近红外静脉图像匹配。
为了说明本发明匹配方法的效果,下面进行实验验证。
首先是光照变化的图像匹配实验。
使用灰度线性变换调节手背静脉图像灰度级来改变其光照强度,实验结果如图9所示,其中a1、a2,b1、b2,c1、c2分别为来自三人的6组手背静脉图像。一组图像中,右图表示原图,左图表示调节亮度之后的图像。图a1、a2左边取原图像亮度的0.25倍,图b1、b2和图c1、c2左边取原图像亮度的0.5倍。左边一列是使用ORB特征提取算法(Oriented FAST andRotated BRIEF)、网格运动统计算法(GMS算法)、随机抽样一致算法(RANSAC算法)相结合的方法(ORB+GMS+RANSAC)得到的静脉图像匹配结果,右边一列是使用本方法得到的静脉图像匹配结果。
从图9可以看出,改进前的图像匹配方法与本例所提方法都能对光照明暗差异大的近红外静脉图像进行特征检测与匹配,在a组(a1、a2)明暗差异较大的图像中也能获得较好的匹配结果,最终筛出误匹配点后保留下来的特征点数目是未改进前的两倍多。从网格运动统计算法的原理出发,特征点数目足够大时,意味着基于匹配度模型的真假匹配的可分离性变得更可靠,通过增加特征点的数目,可以获得更多可靠的匹配。本例所提出的方法能够获取更多的特征点,以此,更加适用于网格运动统计算法,有利于后续区分真假匹配点以及筛除误匹配点。
下面进行高斯模糊下的图像匹配实验。
使用标准差为6的高斯滤波器对近红外静脉图像进行平滑处理,将平滑后的图像与原始图像分别使用ORB+GMS+RANSAC方法以及本例所提出的方法进行图像匹配。匹配结果如图10所示,实验结果可以看到,本例所提出的方法在对模糊图像进行匹配时,相比于未改进前大大增加了检测到的特征点个数,且通过误匹配点筛除后仍然能保留足够多的匹配点对,表现出对模糊图像具有更高的鲁棒性。高斯平滑后的静脉图像更加模糊,且血管纹路与走向不清晰,改进后的本方法具有保持血管纹理特性的优势,对于模糊的静脉图像表现出更加稳健的计算特性。
下面进行尺度缩放下的图像匹配实验。
通过尺度缩放,将原始图像放大至160%,对原始图像以及放大后的图像进行尺度变换下的图像匹配对比试验,实验结果如图11所示,a组(a1与a2)与b组(b1与b2)图像在方法改进前后都能检测到一定多的特征点,但明显的是,本实施例所提出来的方法(本方法)在尺度变换的图像上能检测到更多的特征点,是未改进前的两倍多。特别是c组(c1与c2)图像,由于图像本身血管脉络不明显,使用ORB+GMS+RANSAC进行特征检测只检测到少量的特征点,本实施例所提出的方法明显提高了特征检测的数目并且保留了足够多的内点。实验再次证明,本例所提出的方法对尺度变换的图像具有更高的鲁棒性。
为了验证本实施例所提出的改进方法在手背静脉图像上匹配精度的优异性,将本实施例所提出来的方法与经典的图像匹配方法流程:SIFT(Scale-Invariant FeatureTransform)+RT(Ratio Test)+RANSAC、ORB+RT+RANSAC、ORB+GMS+RANSAC之间进行比较。使用精度和召回率两项匹配评价指标来对方法的性能进行综合评价。
精度的定义为:
其中#correct matches表示匹配结果中正确匹配点对,#false matches表示匹配结果中错误匹配点对。
召回率的定义为:
其中,#correspodence表示征点检测时重复特征点对(特征点重复即认为实际为正确匹配点对,但可能被匹配方法匹配上,也可能未匹配上)。精度和召回率越大,表明图像匹配性能越好。
表1展示了本实施例所提出的方法与其余对比方法在静脉图像数据集的实验结果,通过分析各方法在全局中的表现,本实施例所提出来的方法所检测的初始特征点个数是ORB方法的两倍多,匹配精度维持在98%左右,召回率相比于ORB+GMS+RANSAC提高了约7%。在对粗匹配点进行提纯阶段,网格运动统计算法相比于RT表现出了更强的过滤误匹配点的优势,它可以快速分离真假匹配的同时保留更多的匹配内点,为RANSAC拟合最优匹配模型提供了有利力保障。而RT也正是由于其本身的对正确匹配点的约束力不够,筛除大量误匹配点的同时也移除了许多匹配内点,致使RT+RANSAC这条匹配点优化方法流程的优化能力减弱,到最后只能保留少量的特征点,不仅降低了方法的匹配精度,召回率也低于10%。
表1.在手背静脉数据集上使用不同算法的结果
综合所有实验结果,相比于当前最优的ORB+GMS+RANSAC,本实施例所提出来的方法的匹配精度和召回率整体更高,并且在光照强度变化和高斯模糊的图像中,本实施例所提出方法的匹配性能更加稳定。这也正是由于对于近红外静脉图像,本实施例所提出的方法具有更强的静脉纹理特性,和更稳定的灰度连续变化不变性,对光照变化和模糊图像具有更高的鲁棒性。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (10)
1.一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于,包括步骤:
S1、在一组近红外静脉图像输入后,对每幅近红外静脉图像构建对应的局部二值模式高斯图像金字塔;构建的过程包括步骤:
S11、计算该幅近红外静脉图像的局部二值模式纹理特征图像;
S12、对局部二值模式纹理特征图像进行高斯模糊与下采样,生成具有多层结构、多种尺度和多种分辨率特性的局部二值模式高斯金字塔;
S2、基于每幅近红外静脉图像所对应的局部二值模式高斯金字塔对该组近红外静脉图像进行匹配。
2.根据权利要求1所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于,在所述步骤S11中:
采用8邻域局部二值模式算子计算该幅近红外静脉图像的局部二值模式纹理特征图像;
该8邻域局部二值模式算子为:
以3像素*3像素作为一个纹理单元,在该纹理单元中,以单元中心像素点的灰度值为阈值,将周围的8个像素点的灰度值与该阈值进行比较,若大于该阈值,则该像素点的位置被标记为1,否则为0。
3.根据权利要求2所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于,所述步骤S11具体包括步骤:
S111、采用8邻域局部二值模式算子计算一个3*3的纹理单元的中心像素点的编码值,该编码值为将该中心像素点周围的8个像素点的二值结果按照既定顺序排列而成的8位二进制编码;
S112、将该8位二进制编码转化成一个十进制值;
S113、将原中心像素点的像素值替换为该十进制值,并采用8邻域局部二值模式算子重新计算该中心像素点的8位二进制编码;
S114、为该中心像素点周围的8个像素点分配权值;
S115、根据下式计算该中心像素点的局部二值模式值:
(xc,yc)表示该中心像素点,LBP(xc,yc)表示该中心像素点(xc,yc)的局部二值模式值,Gi、Ai分别表示该中心像素点周围一像素点的灰度值和权值,Gc表示该中心像素点(xc,yc)的灰度值,0≤i≤7,S(Gi-Gc)表示采用8邻域局部二值模式算子重新计算得到的该中心像素点周围一像素点的二值结果;
S116、采用步骤S111~S115的流程计算该幅近红外静脉图像中每个像素点的局部二值模式值,最后得到该幅近红外静脉图像的局部二值模式纹理特征图像。
4.根据权利要求3所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于:Ai=2i。
5.根据权利要求3所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于,在所述步骤S111中,所述既定顺序为:
从3*3的纹理单元左上角第一个像素点开始,沿着顺时针的方向包围其中心像素点一圈。
6.根据权利要求1所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于,在所述步骤S12中,局部二值模式高斯金字塔的尺度空间L(x,y,kσ)通过一个变尺度的高斯核函数G(x,y,kσ)与输入图像G(x,y,kσ)进行卷积而得到,即:
L(x,y,kσ)=G(x,y,kσ)*I(x,y)
其中,x,y表示输入图像中各个像素点的横纵坐标,*是x和y中的卷积运算,kσ是尺度空间的空间尺度因子。
8.根据权利要求7所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于:所述局部二值模式高斯金字塔具有J层图像,其中的第j+1层图像的分辨率是第j层图像的1/2。
9.根据权利要求8所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于:J=5。
10.根据权利要求1~9任一项所述的一种基于改进特征检测的近红外静脉图像高精度匹配方法,其特征在于,所述步骤S2具体包括步骤:
S21、扫描所述局部二值模式高斯金字塔,检测对应的特征点;
S22、将检测到的特征点转化为二元特征向量;
S23、基于该二元特征向量对该组近红外静脉图像进行粗匹配;
S24、采用网格运动统计算法对粗匹配的结果进行过滤,保留正确匹配点,滤除错误匹配点;
S25、采用随机抽样一致算法寻找一个最佳的单应矩阵H,符合单应矩阵转换的匹配点将被保留,不符合的则将被移除,从而获得近红外静脉匹配图像的高精度匹配点对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110965997.4A CN113658238B (zh) | 2021-08-23 | 2021-08-23 | 一种基于改进特征检测的近红外静脉图像高精度匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110965997.4A CN113658238B (zh) | 2021-08-23 | 2021-08-23 | 一种基于改进特征检测的近红外静脉图像高精度匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113658238A true CN113658238A (zh) | 2021-11-16 |
CN113658238B CN113658238B (zh) | 2023-08-08 |
Family
ID=78492496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110965997.4A Active CN113658238B (zh) | 2021-08-23 | 2021-08-23 | 一种基于改进特征检测的近红外静脉图像高精度匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658238B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI817848B (zh) * | 2021-11-30 | 2023-10-01 | 裕隆汽車製造股份有限公司 | 基於雙目立體視覺的靜脈三維資訊獲得方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331699A (zh) * | 2014-11-19 | 2015-02-04 | 重庆大学 | 一种三维点云平面化快速搜索比对的方法 |
WO2016097776A1 (en) * | 2014-12-17 | 2016-06-23 | Pi Holding Zrt | Method for changing the content of an image segment |
CN107832723A (zh) * | 2017-03-22 | 2018-03-23 | 大连海事大学 | 基于lbp高斯金字塔的烟雾识别方法和系统 |
CN108765463A (zh) * | 2018-05-30 | 2018-11-06 | 河海大学常州校区 | 一种结合区域提取与改进纹理特征的运动目标检测方法 |
CN110163182A (zh) * | 2019-05-30 | 2019-08-23 | 辽宁工业大学 | 一种基于kaze特征的手背静脉识别方法 |
CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
CN110246168A (zh) * | 2019-06-19 | 2019-09-17 | 中国矿业大学 | 一种移动巡检机器人双目图像拼接的特征匹配方法 |
WO2019221013A2 (en) * | 2018-05-15 | 2019-11-21 | Ricoh Company, Ltd. | Video stabilization method and apparatus and non-transitory computer-readable medium |
CN110533652A (zh) * | 2019-08-29 | 2019-12-03 | 长安大学 | 基于旋转不变lbp-surf特征相似度的图像拼接评价方法 |
CN110675437A (zh) * | 2019-09-24 | 2020-01-10 | 重庆邮电大学 | 一种基于改进gms-orb特征的图像匹配方法及存储介质 |
CN110738265A (zh) * | 2019-10-18 | 2020-01-31 | 太原理工大学 | 一种基于改进的lbp特征和lndp特征相融合的改进orb算法 |
WO2020134617A1 (zh) * | 2018-12-28 | 2020-07-02 | 南京航空航天大学 | 基于街景图像匹配重复结构建筑的定位方法 |
CN111784576A (zh) * | 2020-06-11 | 2020-10-16 | 长安大学 | 一种基于改进orb特征算法的图像拼接方法 |
-
2021
- 2021-08-23 CN CN202110965997.4A patent/CN113658238B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104331699A (zh) * | 2014-11-19 | 2015-02-04 | 重庆大学 | 一种三维点云平面化快速搜索比对的方法 |
WO2016097776A1 (en) * | 2014-12-17 | 2016-06-23 | Pi Holding Zrt | Method for changing the content of an image segment |
CN107832723A (zh) * | 2017-03-22 | 2018-03-23 | 大连海事大学 | 基于lbp高斯金字塔的烟雾识别方法和系统 |
WO2019221013A2 (en) * | 2018-05-15 | 2019-11-21 | Ricoh Company, Ltd. | Video stabilization method and apparatus and non-transitory computer-readable medium |
CN108765463A (zh) * | 2018-05-30 | 2018-11-06 | 河海大学常州校区 | 一种结合区域提取与改进纹理特征的运动目标检测方法 |
WO2020134617A1 (zh) * | 2018-12-28 | 2020-07-02 | 南京航空航天大学 | 基于街景图像匹配重复结构建筑的定位方法 |
CN110189281A (zh) * | 2019-04-10 | 2019-08-30 | 西安电子科技大学 | 一种多曝光红外图像融合方法 |
CN110163182A (zh) * | 2019-05-30 | 2019-08-23 | 辽宁工业大学 | 一种基于kaze特征的手背静脉识别方法 |
CN110246168A (zh) * | 2019-06-19 | 2019-09-17 | 中国矿业大学 | 一种移动巡检机器人双目图像拼接的特征匹配方法 |
CN110533652A (zh) * | 2019-08-29 | 2019-12-03 | 长安大学 | 基于旋转不变lbp-surf特征相似度的图像拼接评价方法 |
CN110675437A (zh) * | 2019-09-24 | 2020-01-10 | 重庆邮电大学 | 一种基于改进gms-orb特征的图像匹配方法及存储介质 |
CN110738265A (zh) * | 2019-10-18 | 2020-01-31 | 太原理工大学 | 一种基于改进的lbp特征和lndp特征相融合的改进orb算法 |
CN111784576A (zh) * | 2020-06-11 | 2020-10-16 | 长安大学 | 一种基于改进orb特征算法的图像拼接方法 |
Non-Patent Citations (3)
Title |
---|
PARALLAX: "ORB-GMS-RANSAC图像对齐", pages 1 - 3, Retrieved from the Internet <URL:https://www.cnblogs.com/Henry-ZHAO/p/12727261.html> * |
卫文乐 等: "融合描述子的ORB-LBP特征匹配算法", 《电光与控制》, vol. 27, no. 6, pages 47 - 52 * |
廖广军: "复杂条件下的人脸检测与识别应用研究", 《中国博士学位论文全文数据库 信息科技辑》, no. 11, pages 138 - 18 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI817848B (zh) * | 2021-11-30 | 2023-10-01 | 裕隆汽車製造股份有限公司 | 基於雙目立體視覺的靜脈三維資訊獲得方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113658238B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110021024B (zh) | 一种基于lbp和链码技术的图像分割方法 | |
CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
Svoboda et al. | Generative convolutional networks for latent fingerprint reconstruction | |
CN112052842B (zh) | 一种基于掌静脉的人员识别方法和装置 | |
CN114782715B (zh) | 一种基于统计信息的静脉识别方法 | |
CN108537832A (zh) | 基于局部不变灰度特征的图像配准方法、图像处理系统 | |
CN117036737A (zh) | 基于信息熵、gms与lc显著检测的特征提取与匹配方法 | |
CN111815640A (zh) | 一种基于忆阻器的rbf神经网络医学图像分割算法 | |
CN109241981B (zh) | 一种基于稀疏编码的特征检测方法 | |
CN113658238A (zh) | 一种基于改进特征检测的近红外静脉图像高精度匹配方法 | |
CN116958126B (zh) | 基于计算机视觉的模具注塑检测方法及系统 | |
CN105046262B (zh) | 一种鲁棒扩展局部二值模式纹理特征提取方法 | |
CN117037343B (zh) | 一种全自动人脸生物识别智能锁解锁方法及系统 | |
CN107729863B (zh) | 人体指静脉识别方法 | |
CN111339974B (zh) | 一种现代陶瓷与古陶瓷的鉴别方法 | |
CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
CN111612099A (zh) | 基于局部排序差值细化模式的纹理图像分类方法及系统 | |
Achban et al. | Wrist hand vein recognition using local line binary pattern (LLBP) | |
Patel et al. | Performance improvement in preprocessing phase of fingerprint recognition | |
CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
CN111382703B (zh) | 一种基于二次筛选与分数融合的指静脉识别方法 | |
Lam | A fast approach for detecting human faces in a complex background | |
CN112270287A (zh) | 一种基于旋转不变的手掌静脉识别方法 | |
Li et al. | High-fidelity illumination normalization for face recognition based on auto-encoder | |
CN111259914A (zh) | 一种茶树叶特征信息高光谱提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |