CN109308462A - 一种指静脉和指节纹感兴趣区域定位方法 - Google Patents

Abstract

一种指静脉和指节纹感兴趣区域定位方法。其包括构建手指成像系统；采集原始指节纹图像和原始指静脉图像；裁剪图像并边缘检测图；拟合曲线；找出拐点；画出指节纹ROI参考线；制作刻度板，完成ROI参考线定位修正；确定指节纹ROI的边界位置等步骤。本发明提供的指静脉和指节纹感兴趣区域定位方法具有如下有益效果：基本解决了改变指静脉成像区域后指静脉、指节纹ROI定位不准确的问题，并提高了针对不同类型的手指其指静脉、指节纹ROI定位的准确性，增加了ROI定位方法的普适性。

Description

一种指静脉和指节纹感兴趣区域定位方法

技术领域

本发明涉及一种指静脉和指节纹感兴趣区域定位方法，属于生物特征识别中的生物特征成像和感兴趣区域采集技术领域。

背景技术

在多模态融合识别中，从采集的手指静脉、手指节纹图像中准确定位并提取出待识别对象的感兴趣区域(region of interest，ROI)对提高识别性能十分重要。在传统的手指多模态采集装置中，指静脉成像区域位于指腹处，而指节纹成像区域则位于指背侧。由于两者成像区域相互独立，因此需要分别采用不同的定位方法对指静脉、指节纹ROI进行定位，结果耗费计算时间。并且在采集时，两者成像姿态难以得到统一，导致图像间相关性降低，从而影响后续融合与识别效果。为了解决上述问题，有学者将指静脉成像区域改到手指背侧，与指节纹在同一侧成像。并设计了先定位指静脉ROI，再利用双目摄像头成像空间之间的映射关系来定位指节纹ROI的方法。但由于改变了指静脉成像区域，指静脉图像中关节腔成像不明显，导致利用关节腔来进行指静脉ROI定位已不再准确，从而使指节纹ROI定位也不准确。

发明内容

为了解决上述问题，本发明的目的在于提供一种指静脉和指节纹感兴趣区域定位方法，可有效解决在手指多模态融合识别过程中，由于改变指静脉成像区域，从而使指静脉和指节纹ROI定位不准确的问题，以改善后续融合效果和提高识别的性能。

为了达到上述目的，本发明提供的指静脉和指节纹感兴趣区域定位方法包括按顺序进行的下列步骤：

1)构建手指成像系统，所述的手指成像系统包括近红外光源、指纹采集仪、双目摄像头、带通滤光片、平面反射镜和黑色挡板；其中双目摄像头设置在近红外光源的正上方；指纹采集仪位于近红外光源的前侧；带通滤光片位于双目摄像头的前侧；平面反射镜和黑色挡板分别设置在近红外光源的两侧，由平面反射镜、黑色挡板、指纹采集仪与近红外光源一起构成手指凹槽；

2)将待检测的手指放在上述手指凹槽内的近红外光源和指纹采集仪上，并使手指向上拱起某一高度；

3)利用双目摄像头同时采集原始指节纹图像和原始指静脉图像；其中，利用双目摄像头的后侧摄像头采集原始指节纹图像，包括位于左侧的指节纹图像和位于右侧的手指侧面图像，该图像中既包含手指正面成像区域，又包含手指侧面成像区域；而利用双目摄像头的前侧摄像头采集原始指静脉图像，包括位于左侧的指静脉图像和位于右侧的手指侧面图像，该图像中既包含手指正面成像区域，又包含手指侧面成像区域；

4)选取上述原始指节纹图像，裁剪掉指节纹图像，只保留手指侧面图像，然后对此裁剪后的图像进行边缘检测，得到边缘检测图；

5)选取上述边缘检测图中最右侧外边缘线中较稳定的区域，采用最小二乘法对该区域进行曲线拟合，得到拟合曲线；

6)求取拟合曲线中每一点斜率的倒数值，然后取绝对值，找出最小值K对应的点A，即为拐点，也即最高点；

7)若手指长短、胖瘦适中，且手指正面成像区域中的拐点处于双目摄像头的后侧摄像头正下方，直接在原始指节纹图像上画出指节纹ROI参考线；当人的手指较短时，在手指放在上述手指凹槽内的近红外光源和指纹采集仪上时，有时会出现一个伪拐点A′，真正的拐点应该满足式(3、4)所示的条件：

假设真正的拐点坐标为(x_l，y_l)，l∈[1，N]，伪拐点坐标为(x_m，y_m)， m∈(l，N]。

x_l-x_l-σ＞＞x_m-x_m-σ (7)

其中，α∈[1，l-1]，σ为一固定值。

因此，对步骤6)中求得的斜率的倒数值进行升序排列，取前n个值，再找出满足式(3、4)所示条件的点，即为真正的拐点，由此可消除伪拐点并获得拐点坐标；其中n的大小是经过大量的实验确定的；

8)根据步骤7)获得的拐点坐标，在原始指节纹图像中画出ROI参考线；

9)制作了一个刻度板；然后将刻度板放到双目摄像头下成像，之后对该图像进行画面标定，由此完成ROI参考线定位修正；

10)在上述ROI参考线定位修正后的原始指节纹图像中，裁剪掉指节纹图像中手指正面成像区域内左侧大片黑色区域和手指侧面成像区域，原始指静脉图像的裁剪区域和指节纹图像裁剪区域相同，两者剩下的区域用于后续融合及识别处理；

11)当确定出指节纹ROI参考线位置后，根据双目摄像头3成像区域之间的位置差值Δ，求出指静脉图像中指静脉ROI参考线位置，然后在步骤10)中裁剪得到的指静脉图像中画出指静脉ROI参考线；之后根据此指静脉ROI参考线位置，利用Canny边缘检测算法确定出手指左右轮廓线，然后求取指静脉ROI 参考线与左右轮廓线的两个交点坐标(x_{L_fv}，y_fv)(x_{R_fv}，y_fv)，进而求出定位ROI 区域的基准点坐标(x_{p_fv}，y_{p_fv})＝((x_{L_fv}+x_{R_fv})/2，y_fv)，最后以基准点坐标(x_{p_fv}，y_{p_fv})作为基准，沿上下左右方向进行合适的扩展就可确定出ROI水平和垂直方向上的边界位置，从而使ROI基本位于指静脉图像的中央；然后将指静脉ROI垂直方向上的边界位置映射到指节纹图像中，作为指节纹ROI垂直方向上的边界位置，之后利用指静脉ROI边界求取方法来确定指节纹ROI在水平方向上的边界位置。

在步骤6)中，所述的找出最小值K对应的点A，即为拐点的公式如下：

其中，(x_i，y_i)为拟合曲线中某一点，i＝1，…，N，N为拟合曲线中点的总数。

在步骤9)中，所述的刻度板包括底座、垂直板和顶板；其中垂直板的下端固定在底座的表面中部；顶板的一侧边缘连接在垂直板的上端，顶板的表面以及垂直板的侧面上均设有刻度，并且刻度板的高度大于手指拱起后拐点的高度。

在步骤9)中，所述的将刻度板放到双目摄像头下成像，然后对该图像进行画面标定，由此完成ROI参考线定位修正的方法是：

使刻度板在手指正面成像区域与手指侧面成像区域分别成像，然后在这两区域中的相同刻度处画线而进行标定；其次，将标定后的结果在像素坐标系下重新建立一个标定参考图；最后，根据标定参考图构建一个比例映射图，再根据式(5)求出B点的y轴坐标，然后在此点处画出ROI参考线；其中，B点为需要求得的手指正面成像区域中的拐点，B′点为手指侧面成像区域中的拐点，y_b为手指正面成像区域中拐点B的y轴坐标，y_b′为手指侧面成像区域中拐点B′的y轴坐标，y₀、a、e为已知量：

本发明提供的指静脉和指节纹感兴趣区域定位方法具有如下有益效果：基本解决了改变指静脉成像区域后指静脉、指节纹ROI定位不准确的问题，并提高了针对不同类型的手指其指静脉、指节纹ROI定位的准确性，增加了ROI定位方法的普适性。

附图说明

图1为采用本发明方法时手指拱起姿态成像示意图。

图2为采用本发明方法时手指侧面成像示意图。

图3为通过双目摄像头采集到的原始指节纹图像和原始指静脉图像。其中，图3(a)为指节纹图像；图3(b)为指静脉图像；并且在指节纹图像和指静脉图像中，左侧为手指正面成像区域，右侧为手指侧面成像区域。

图4为未进行伪拐点去除和ROI参考线修正过程的原始指节纹ROI定位流程图。其中图4(a)为手指侧面图像；图4(b)为边缘检测图像；图4(c)为曲线拟合图像；图4(d)为手指原始图像中画出指节纹ROI参考线图像；图4 (e)为指节纹正面图像。

图5为拐点检测错误后指节纹ROI参考线定位图与拐点修正后指节纹ROI 参考线定位图。其中图5(a)为在伪拐点处画出ROI参考线；图5(b)为在修正后的拐点处画出ROI参考线。

图6为本发明方法中采用的刻度板示意图。

图7为指节纹ROI参考线定位修正过程示意图。其中图7(a)为画面标定示意图；图7(b)为像素坐标系下的标定参考图；图7(c)为比例映射示意图。

图8为指节纹ROI参考线定位修正结果示意图。

图9(a)—图9(c)为指静脉ROI定位过程示意图。其中图9(a)为指节纹ROI参考线示意图；图9(b)为指节纹ROI参考线和指静脉ROI参考线示意图；图9(c)为指静脉ROI参考线示意图；

图10(a)—图10(f)为采用本发明方法后的指静脉、指节纹ROI定位结果图。其中图10(a)—图10(c)为指静脉ROI定位结果；图10(d)—图10 (f)为指节纹ROI定位结果。

具体实施方式

下面结合附图和具体实施例对本发明提供的指静脉和指节纹感兴趣区域定位方法进行详细说明。

在现有的手指多模态采集装置中，手指都是被要求平放在手指凹槽中，但在实际采集时，手指并不是严格平放的，都会有一些弯曲，即手指向上拱起。手指向上拱起后，从手指侧面看，在指节纹成像区域(近端指关节处)会出现一个拐点，也为最高点。本发明人利用这个手指几何特征设计了本发明方法。

本发明提供的指静脉和指节纹感兴趣区域定位方法包括按顺序进行的下列步骤：

1)构建如图1、图2所示的手指成像系统，所述的手指成像系统包括近红外光源1、指纹采集仪2、双目摄像头3、带通滤光片4、平面反射镜5和黑色挡板6；其中双目摄像头3设置在近红外光源1的正上方；指纹采集仪2位于近红外光源1的前侧；带通滤光片4位于双目摄像头3的前侧；平面反射镜5和黑色挡板6分别设置在近红外光源1的两侧，由平面反射镜5、黑色挡板6、指纹采集仪2与近红外光源1一起构成手指凹槽；

2)将待检测的手指放在上述手指凹槽内的近红外光源1和指纹采集仪2上，并使手指向上拱起某一高度d，以便既可以使指静脉成像清楚，又可以使拐点特征更加明显；

3)由于双目摄像头3位于手指正上方，无法采集到手指侧面图，进而无法确定拐点。因此本发明利用平面反射镜5将手指侧面成像在平面反射镜5中，从而使双目摄像头3能够采集到手指侧面图，黑色挡板6可使平面反射镜5的成像背景为黑色，这样便于找出拐点。利用双目摄像头3同时采集原始指节纹图像和原始指静脉图像；其中，利用双目摄像头3的后侧摄像头采集原始指节纹图像，包括位于左侧的指节纹图像和位于右侧的手指侧面图像，如图3(a) 所示，该图像中既包含手指正面成像区域，又包含手指侧面成像区域；而利用双目摄像头3的前侧摄像头采集原始指静脉图像，包括位于左侧的指静脉图像和位于右侧的手指侧面图像，如图3(b)所示，该图像中既包含手指正面成像区域，又包含手指侧面成像区域；

4)选取上述原始指节纹图像，裁剪掉指节纹图像，只保留如图4(a)所示的手指侧面图像，然后对此裁剪后的图像进行边缘检测，得到如图4(b)所示的边缘检测图；

5)选取上述边缘检测图中最右侧外边缘线中较稳定的区域，采用最小二乘法对该区域进行曲线拟合，得到如图4(c)所示的拟合曲线；

6)求取拟合曲线中每一点斜率的倒数值，然后取绝对值，找出最小值K对应的点A，即为拐点，也即最高点，公式如下：

其中，(x_i，y_i)为拟合曲线中某一点，i＝1，…，N，N为拟合曲线中点的总数。

7)若手指长短、胖瘦适中，且手指正面成像区域中的拐点处于双目摄像头 3的后侧摄像头正下方，如图4(e、f)所示，可直接在原始指节纹图像上画出指节纹ROI参考线；但不是所有人的手指都正好合适，当人的手指较短时，在手指放在上述手指凹槽内的近红外光源1和指纹采集仪2上时，如图5(a)所示，有时会出现一个伪拐点A′，这时容易出现定位错误。经观察，发现真正的拐点应该满足式(3、4)所示的条件：

假设真正的拐点坐标为(x_l，y_l)，l∈[1，N]，伪拐点坐标为(x_m，y_m)， m∈(l，N]。

x_l-x_l-σ＞＞x_m-x_m-σ (14)

其中，α∈[1，l-1]，σ为一固定值。

这意味着拐点之前的一段曲线较平缓，不像伪拐点之前的一段曲线较陡，基本成竖直状态。根据这个特征，对步骤6)中求得的斜率的倒数值进行升序排列，取前n个值，再找出满足式(3、4)所示条件的点，即为真正的拐点，由此可消除伪拐点并获得拐点坐标；其中n的大小是经过大量的实验确定的；

8)根据步骤7)获得的拐点坐标，如图5(b)所示，在原始指节纹图像中画出ROI参考线；

9)虽然上一步骤中拐点检测正确，但从拐点处画出的ROI参考线未处于手指正面成像区域中的拐点处。若手指正面成像区域中的拐点靠上，则画出的ROI 参考线处于手指正面成像区域的拐点下方，如图8(b)所示；若手指正面成像区域中的拐点靠下，则画出的ROI参考线处于手指正面成像区域中的拐点上方，如图8(c)所示。为了解决这个问题，首先，本发明人制作了一个如图6所示的刻度板7；所述的刻度板7包括底座8、垂直板9和顶板10；其中垂直板9的下端固定在底座8的表面中部；顶板10的一侧边缘连接在垂直板9的上端，顶板10的表面以及垂直板9的侧面上均设有刻度，并且刻度板7的高度大于手指拱起后拐点的高度；然后将刻度板7放到双目摄像头3下成像，之后如图7(a) 所示对该图像进行画面标定。标定过程是使刻度板7在手指正面成像区域与手指侧面成像区域分别成像，然后在这两区域中的相同刻度处画线而进行标定；其次，将标定后的结果在像素坐标系下重新建立一个如图7(b)所示的标定参考图；最后，根据标定参考图构建一个如图7(c)所示的比例映射图，再根据式(5)求出B点的y轴坐标，然后在此点处画出ROI参考线。其中，B点为需要求得的手指正面成像区域中的拐点，B′点为手指侧面成像区域中的拐点，y_b为手指正面成像区域中拐点B的y轴坐标，y_b′为手指侧面成像区域中拐点B′的y 轴坐标，y₀、a、e为已知量。图7(c)中处于同一垂直面的两条中间线的高度分别代表手指拱起后拐点高度范围，由此完成ROI参考线定位修正。ROI参考线定位修正后的效果图如图8(d)—图8(f)所示。

10)在上述ROI参考线定位修正后的原始指节纹图像中，裁剪掉指节纹图像中手指正面成像区域内左侧大片黑色区域和手指侧面成像区域，原始指静脉图像的裁剪区域和指节纹图像裁剪区域相同，两者剩下的区域用于后续融合及识别处理；

11)如图9(a)所示，当确定出指节纹ROI参考线位置后，参见图9(b) 和式(6)，根据双目摄像头3成像区域之间的位置差值Δ，求出指静脉图像中指静脉ROI参考线位置，然后如图9(c)所示，在步骤10)中裁剪得到的指静脉图像中画出指静脉ROI参考线；之后根据此指静脉ROI参考线位置，利用已有的求取ROI边界的方法，本发明利用Canny边缘检测算法确定出手指左右轮廓线，然后求取指静脉ROI参考线与左右轮廓线的两个交点坐标 (x_{L_fv}，y_fv)(x_{R_fv}，y_fv)，进而求出定位ROI区域的基准点坐标 (x_{p_fv}，y_{p_fv})＝((x_{L_fv}+x_{R_fv})/2，y_fv)，最后以基准点坐标(x_{p_fv}，y_{p_fv})作为基准，沿上下左右方向进行合适的扩展就可确定出ROI水平和垂直方向上的边界位置，从而使ROI基本位于指静脉图像的中央，这样可包含尽量多的指静脉信息；然后将指静脉ROI垂直方向上的边界位置映射到指节纹图像中，作为指节纹ROI垂直方向上的边界位置，之后利用指静脉ROI边界求取方法来确定指节纹ROI在水平方向上的边界位置。指静脉、指节纹ROI最终定位结果如图10 所示。

y_fv＝y_fkp+Δ-δ (16)

其中，y_fv、y_fkp分别为指静脉、指节纹ROI参考线的y轴坐标，δ为实验所得值。

实验结果

由图8(d、e、f)及图10可知，本发明提供的指静脉、指节纹ROI定位方法基本解决了改变指静脉成像区域后指静脉、指节纹ROI定位不准确的问题，并提高了针对不同类型的手指其指静脉、指节纹ROI定位的准确性，增加了ROI定位方法的普适性。并且由图10可知，本发明中提出的手指拱起高度合理，可使指静脉成像清晰，不会使指静脉成像质量变差。

Claims (4)

1.一种指静脉和指节纹感兴趣区域定位方法，其特征在于：所述的指静脉和指节纹感兴趣区域定位方法包括按顺序进行的下列步骤：

1)构建手指成像系统，所述的手指成像系统包括近红外光源(1)、指纹采集仪(2)、双目摄像头(3)、带通滤光片(4)、平面反射镜(5)和黑色挡板(6)；其中双目摄像头(3)设置在近红外光源(1)的正上方；指纹采集仪(2)位于近红外光源(1)的前侧；带通滤光片(4)位于双目摄像头(3)的前侧；平面反射镜(5)和黑色挡板(6)分别设置在近红外光源(1)的两侧，由平面反射镜(5)、黑色挡板(6)、指纹采集仪(2)与近红外光源(1)一起构成手指凹槽；

2)将待检测的手指放在上述手指凹槽内的近红外光源(1)和指纹采集仪(2)上，并使手指向上拱起某一高度；

3)利用双目摄像头(3)同时采集原始指节纹图像和原始指静脉图像；其中，利用双目摄像头(3)的后侧摄像头采集原始指节纹图像，包括位于左侧的指节纹图像和位于右侧的手指侧面图像，该图像中既包含手指正面成像区域，又包含手指侧面成像区域；而利用双目摄像头(3)的前侧摄像头采集原始指静脉图像，包括位于左侧的指静脉图像和位于右侧的手指侧面图像，该图像中既包含手指正面成像区域，又包含手指侧面成像区域；

4)选取上述原始指节纹图像，裁剪掉指节纹图像，只保留手指侧面图像，然后对此裁剪后的图像进行边缘检测，得到边缘检测图；

5)选取上述边缘检测图中最右侧外边缘线中较稳定的区域，采用最小二乘法对该区域进行曲线拟合，得到拟合曲线；

6)求取拟合曲线中每一点斜率的倒数值，然后取绝对值，找出最小值K对应的点A，即为拐点，也即最高点；

7)若手指长短、胖瘦适中，且手指正面成像区域中的拐点处于双目摄像头(3)的后侧摄像头正下方，直接在原始指节纹图像上画出指节纹ROI参考线；当人的手指较短时，在手指放在上述手指凹槽内的近红外光源(1)和指纹采集仪(2)上时，有时会出现一个伪拐点A′，真正的拐点应该满足式(3、4)所示的条件：

假设真正的拐点坐标为(x_l，y_l)，l∈[1，N]，伪拐点坐标为(x_m，y_m)，m∈(l，N]。

x_l-x_l-σ＞＞x_m-x_m-σ (2)

其中，α∈[1，l-1]，σ为一固定值。

因此，对步骤6)中求得的斜率的倒数值进行升序排列，取前n个值，再找出满足式(3、4)所示条件的点，即为真正的拐点，由此可消除伪拐点并获得拐点坐标；其中n的大小是经过大量的实验确定的；

8)根据步骤7)获得的拐点坐标，在原始指节纹图像中画出ROI参考线；

9)制作了一个刻度板(7)；然后将刻度板(7)放到双目摄像头(3)下成像，之后对该图像进行画面标定，由此完成ROI参考线定位修正；

10)在上述ROI参考线定位修正后的原始指节纹图像中，裁剪掉指节纹图像中手指正面成像区域内左侧大片黑色区域和手指侧面成像区域，原始指静脉图像的裁剪区域和指节纹图像裁剪区域相同，两者剩下的区域用于后续融合及识别处理；

11)当确定出指节纹ROI参考线位置后，根据双目摄像头(3)成像区域之间的位置差值Δ，求出指静脉图像中指静脉ROI参考线位置，然后在步骤10)中裁剪得到的指静脉图像中画出指静脉ROI参考线；之后根据此指静脉ROI参考线位置，利用Canny边缘检测算法确定出手指左右轮廓线，然后求取指静脉ROI参考线与左右轮廓线的两个交点坐标(x_{L_fv}，y_fv)(x_{R_fv}，y_fv)，进而求出定位ROI区域的基准点坐标(x_{p_fv}，y_{p_fv})＝((x_{L_fv}+x_{R_fv})/2，y_fv)，最后以基准点坐标(x_{p_fv}，y_{p_fv})作为基准，沿上下左右方向进行合适的扩展就可确定出ROI水平和垂直方向上的边界位置，从而使ROI基本位于指静脉图像的中央；然后将指静脉ROI垂直方向上的边界位置映射到指节纹图像中，作为指节纹ROI垂直方向上的边界位置，之后利用指静脉ROI边界求取方法来确定指节纹ROI在水平方向上的边界位置。

2.根据权利要求1所述的指静脉和指节纹感兴趣区域定位方法，其特征在于：在步骤6)中，所述的找出最小值K对应的点A，即为拐点的公式如下：

其中，(x_i，y_i)为拟合曲线中某一点，i＝1，…，N，N为拟合曲线中点的总数。

3.根据权利要求1所述的指静脉和指节纹感兴趣区域定位方法，其特征在于：在步骤9)中，所述的刻度板(7)包括底座(8)、垂直板(9)和顶板(10)；其中垂直板(9)的下端固定在底座(8)的表面中部；顶板(10)的一侧边缘连接在垂直板(9)的上端，顶板(10)的表面以及垂直板(9)的侧面上均设有刻度，并且刻度板(7)的高度大于手指拱起后拐点的高度。

4.根据权利要求1所述的指静脉和指节纹感兴趣区域定位方法，其特征在于：在步骤9)中，所述的将刻度板(7)放到双目摄像头(3)下成像，然后对该图像进行画面标定，由此完成ROI参考线定位修正的方法是：

使刻度板(7)在手指正面成像区域与手指侧面成像区域分别成像，然后在这两区域中的相同刻度处画线而进行标定；其次，将标定后的结果在像素坐标系下重新建立一个标定参考图；最后，根据标定参考图构建一个比例映射图，再根据式(5)求出B点的y轴坐标，然后在此点处画出ROI参考线；其中，B点为需要求得的手指正面成像区域中的拐点，B′点为手指侧面成像区域中的拐点，y_b为手指正面成像区域中拐点B的y轴坐标，y_b′为手指侧面成像区域中拐点B′的y轴坐标，y₀、a、e为已知量：