CN105718852A - 指纹图像的处理方法及装置 - Google Patents

Abstract

本发明适用于指纹识别技术领域，提供了指纹图像的处理方法及装置，包括：采集K个局部指纹图像，所述K个局部指纹图像为同一手指K次按压指纹传感器所产生的图像，所述K为大于1的整数；检测每个所述局部指纹图像的特征点；基于所述特征点计算所述局部指纹图像的SIFT特征描述向量；基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度；若所述匹配度不低于预设阈值，则将这两幅所述局部指纹图像进行拼接。本发明在一定程度上降低了对指纹传感器芯片尺寸的要求，使得技术人员可以在指纹传感器中采用小尺寸芯片，多次对指纹进行局部采集，以最终出完整的指纹图像，有效地降低了指纹传感器的制造成本。

Description

指纹图像的处理方法及装置

技术领域

本发明属于指纹识别技术领域，尤其涉及指纹图像的处理方法及装置。

背景技术

半导体电容指纹传感器(以下简称指纹传感器)为一个芯片式的集成电路，由于人体手指指尖按在传感器表面时，指纹中的“脊”所形成的电容要比指纹中的“谷”所形成的电容来得略大，因此，指纹传感器利用其表面电容阵列的充电及放电过程，便能够获得关于指纹的数字图像。

目前，在指纹图像采集的过程中，指纹传感器每次需要采集一个完整的指纹图像，这就要求指纹传感器的芯片面积较大才能达到所需要的采集效果，无疑增加了指纹传感器的制造成本。

发明内容

有鉴于此，本发明实施例提供了指纹图像的处理方法及装置，旨在解决现有技术导致指纹传感器的制造成本增加的问题。

第一方面，提供了一种指纹图像的处理方法，包括：

采集K个局部指纹图像，所述K个局部指纹图像为同一手指K次按压指纹传感器所产生的图像，所述K为大于1的整数；

检测每个所述局部指纹图像的特征点；

基于所述特征点计算所述局部指纹图像的尺度不变特征变换SIFT特征描述向量；

基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度；

若所述匹配度不低于预设阈值，则将这两幅所述局部指纹图像进行拼接。

第二方面，提供了一种指纹图像的处理装置，包括：

采集单元，用于采集K个局部指纹图像，所述K个局部指纹图像为同一手指K次按压指纹传感器所产生的图像，所述K为大于1的整数；

检测单元，用于检测每个所述局部指纹图像的特征点；

第一计算单元，用于基于所述特征点计算所述局部指纹图像的尺度不变特征变换SIFT特征描述向量；

第二计算单元，用于基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度；

拼接单元，用于若所述匹配度不低于预设阈值，则将这两幅所述局部指纹图像进行拼接。

本发明实施例可以对采集到的多个局部指纹图像进行拼接，从而得到完整的指纹图像，该方案的使用在一定程度上降低了对指纹传感器芯片尺寸的要求，使得技术人员可以在指纹传感器中采用小尺寸芯片，多次对指纹进行局部采集，以最终出完整的指纹图像，有效地降低了指纹传感器的制造成本。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的指纹图像的处理方法的实现流程图；

图2是本发明实施例提供的指纹图像的处理方法Harris角点的检测方法实现流程图；

图3是本发明实施例提供的本发明实施例提供的指纹图像的处理方法Harris角点的检测方法S203的具体实现流程图；

图4是本发明实施例提供的本发明实施例提供的指纹图像的处理方法S103的具体实现流程图；

图5是本发明实施例提供的本发明实施例提供的指纹图像的处理方法S104的具体实现流程图；

图6是本发明实施例提供的指纹图像拼接前后示例图；

图7是本发明实施例提供的指纹图像的处理装置的结构框图。

具体实施方式

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透切理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

图1示出了本发明实施例提供的指纹图像的处理方法的实现流程，详述如下：

在S101中，采集K个局部指纹图像，所述K个局部指纹图像为同一手指K次按压指纹传感器所产生的图像，所述K为大于1的整数。

在本实施例中，可以将手指多次按压在指纹传感器上，对于每次的手指按压，指纹传感器均进行一次图像采集。其中，指纹传感器中用于进行图像采集的芯片面积可以小于指纹面积，由此，在每次将手指按压在指纹传感器上时，指纹传感器采集到的是该手指的局部指纹图像。

在S102中，检测每个所述局部指纹图像的特征点。

所述特征点，在本实施例中也可称这为角点，即在局部指纹图像中亮度变化剧烈的点，或者在图像边缘曲线上曲率极大值的点。作为本发明的一种优选的实施方式，可以基于图像灰度的方法，采用Harris算子检测出每个局部指纹图像的Harris角点。

具体地，在S102中，Harris角点的检测方法如图2所示：

在S201中，对于所述局部指纹图像上的任意点，计算该点在水平方向和垂直方向的偏导数(Lx，Ly)，其中，Lx为该点在水平方向的偏导数，Ly为该点在垂直方向的偏导数。

在S202中，计算2*2阵列的Harris矩阵 $\left[\begin{array}{cc}{\mathrm{Lx}}^2& Lx*Ly\\ Ly*Lx& {\mathrm{Ly}}^2\end{array}\right]$ 的两个预设特征值。

在本实施例中，通过预先设定的算法，通过Harris矩阵计算得到两个特征值。例如，设上述两个预设特征值分别为fe1和fe2，则通过求二次方程，可以得到：

fe1＝(a+b+(((a+b)²+4(a*b-c)))^0.5))/2，

fe2＝(a+b-(((a+b)²+4(a*b-c)))^0.5))/2，

其中，a＝Lx²，b＝Ly²，c＝Lx*Ly*Lx*Ly。

在S203中，根据计算出的所述两个预设特征值，以及该点是否是以该点为中心的3*3邻域里的最值，来判断该点是否为Harris角点。

具体地，S203可以通过如图3所示的方式实现：

在S301中，获取所述3*3邻域里每个点对应的数值，所述数值由其对应的点的所述两个预设特征值通过预设算法计算得到。

在S302中，若在所述3*3邻域中，其中心点对应的所述数值最大且大于0，则确定该中心点为Harris角点。

例如，对于局部指纹图像上的每个点，其对应的Harris矩阵 $\left[\begin{array}{cc}{\mathrm{Lx}}^2& Lx*Ly\\ Ly*Lx& {\mathrm{Ly}}^2\end{array}\right]$ 的两个预设特征值fe1和fe2，均可以得到对应的数值value＝(fe1+fe2)-k*fe1*fe2，其中，所述k可以为设定值，例如，k＝0.05，若value＞0，且在以当前判断的点为中心的3*3像素领域内，该点的value值最大，则该点就为Harris角点。

在S103中，基于所述特征点计算所述局部指纹图像的尺度不变特征变换(ScaleInvariantFeatureTransform，SIFT)特征描述向量。

具体地，S103可以通过图4所示的方式实现：

在S401中，以所述特征点为中心，将所述局部指纹图像反向旋转指定角度，所述指定角度为所述特征点的主方向大小。

例如，Harris角点的主方向的大小记为MainAngle，则以该Harris角点为中心，将局部指纹图像旋转-MainAngle。

在S402中，在旋转后的所述局部指纹图像中，以所述特征点为中心截取12*12的图像窗口。

其中，所述图像窗口的大小可以不局限于12*12，还可以为其他大小，在此不作限定。

在S403中，将所述12*12的图像窗口划分成四个6*6的子图像，分别计算每个所述子图像中每个点的梯度值和梯度方向。

在S404中，在预先划分的8个梯度方向范围中，分别统计所述子图像在每个所述梯度方向范围中的所述梯度值之和，得到4*8的32维SIFT特征描述向量。

在S104中，基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度。

将当前计算匹配度的任意两幅局部指纹图像分别称为第一局部指纹图像和第二局部指纹图像，那么，可以通过图5所示的方式来描述S104的实现：

在S501中，根据第一局部指纹图像上的所述特征点的所述SIFT特征描述向量，查找所述特征点在第二局部指纹图像上的最近邻点和次近邻点。

对于第一局部指纹图像上的第一特征点，在第二局部指纹图像上寻找到与该第一特征点的SIFT特征描述向量之间的欧式距离最近的第二特征点，该第二特征点就是第一特征点的最近邻点，同样地，在第二局部指纹图像上寻找到与该第一特征点的SIFT特征描述向量之间的欧式距离次近的第三特征点，该第三特征点就是第一特征点的次近邻点。

在S502中，若所述特征点的所述最近邻点和所述次近邻点的所述SIFT特征描述向量之间的欧式距离之比小于预设阈值，则将所述特征点的所述最近邻点确定为待匹配候选点。

在S503中，基于所述待匹配候选点，使用ransac算法计算出所述第一局部指纹图像与所述第二局部指纹图像之间的匹配度。

通过S502确定的待匹配的候选点可以获知第一局部指纹图像与第二局部指纹图像之间的匹配度，具体来说：先在所有待匹配候选点中随机找到三个待匹配候选点记为矩阵X，然后将这三个待匹配候选点对应的三个最近邻点记为矩阵Y，通过方程AX＝Y来求得临时变换矩阵A；之后，通过这个变换矩阵A，在所有待匹配候选点中随机找到的一些待匹配候选点记为矩阵X1，对应的最近邻点记为矩阵Y1，计算矩阵A*X1-Y1，并计算该矩阵的每一个元素，根据计算结果取该矩阵中绝对值最小的一半元素，将这一部分元素的平方和记为Value1。重复随机待匹配候选点的步骤，然后用同样的方法继续得到Value2，最终，得到Value1、Value2、Value3……，最后在这其中找到一个最小值minValue，这个minValue就可以成为两幅局部指纹图像的匹配度，同时，求得minValue时所对应的变换矩阵就是这两幅局部指纹图像之间的匹配度。

在S105中，若所述匹配度不低于预设阈值，则将这两幅所述局部指纹图像进行拼接。

具体地，可以通过双线性插值法对所述两幅局部指纹图像进行拼接，其方法在此不赘述。而若S104计算出的匹配度低于预设阈值，则将两幅局部指纹图像中的其中一幅暂存，并将这两幅局部指纹图像中的剩余一幅与重新提取的另一幅局部指纹图像进行匹配过程。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明实施例可以对采集到的多个局部指纹图像进行拼接，从而得到完整的指纹图像，该方案的使用在一定程度上降低了对指纹传感器芯片尺寸的要求，使得技术人员可以在指纹传感器中采用小尺寸芯片，多次对指纹进行局部采集，以最终出完整的指纹图像，有效地降低了指纹传感器的制造成本。

与此同时，基于上述方案对局部指纹图像进行拼接，拼接速度快，数据运算量小，且对指纹图像的还原效果佳。如图6所示，上图是采集到的同一手指的三个局部指纹图像，下图是通过上述方案拼接完成的指纹图像，可以看出，图像拼接处的指纹图像过渡平常，真实地还原出了指纹纹路。

对应于上文实施例所述的指纹图像的处理方法，图7示出了本发明实施例提供的指纹图像的处理装置的结构框图，所述指纹图像的处理装置可以是内置于指纹传感器内的软件单元、硬件单元或者是软硬结合的单元。为了便于说明，仅示出了与本实施例相关的部分。

参照图7，该装置包括：

采集单元71，采集K个局部指纹图像，所述K个局部指纹图像为同一手指K次按压指纹传感器所产生的图像，所述K为大于1的整数；

检测单元72，检测每个所述局部指纹图像的特征点；

第一计算单元73，基于所述特征点计算所述局部指纹图像的尺度不变特征变换SIFT特征描述向量；

第二计算单元74，基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度；

拼接单元75，若所述匹配度不低于预设阈值，则将这两幅所述局部指纹图像进行拼接。

可选地，所述特征点包括Harris角点，所述检测单元包括：

第一计算子单元，对于所述局部指纹图像上的任意点，计算该点在水平方向和垂直方向的偏导数(Lx，Ly)，其中，Lx为该点在水平方向的偏导数，Ly为该点在垂直方向的偏导数；

第二计算子单元，计算Harris矩阵 $\left[\begin{array}{cc}{\mathrm{Lx}}^2& Lx*Ly\\ Ly*Lx& {\mathrm{Ly}}^2\end{array}\right]$ 的两个预设特征值；

判断子单元，根据计算出的所述两个预设特征值，以及该点是否是以该点为中心的3*3邻域里的最值，来判断该点是否为Harris角点。

可选地，所述判断子单元具体用于：

获取所述3*3邻域里每个点对应的数值，所述数值由其对应的点的所述两个预设特征值通过预设算法计算得到；

若在所述3*3邻域中，其中心点对应的所述数值最大且大于0，则确定该中心点为Harris角点。

可选地，所述第一计算单元73包括：

旋转子单元，以所述特征点为中心，将所述局部指纹图像反向旋转指定角度，所述指定角度为所述特征点的主方向大小；

截取子单元，在旋转后的所述局部指纹图像中，以所述特征点为中心截取12*12的图像窗口；

第三计算子单元，将所述12*12的图像窗口划分成四个6*6的子图像，分别计算每个所述子图像中每个点的梯度值和梯度方向；

统计子单元，用于在预先划分的8个梯度方向范围中，分别统计所述子图像在每个所述梯度方向范围中的所述梯度值之和，得到4*8的32维SIFT特征描述向量。

可选地，所述第二计算单元74包括：

查找子单元，根据第一局部指纹图像上的所述特征点的所述SIFT特征描述向量，查找所述特征点在第二局部指纹图像上的最近邻点和次近邻点；

确定子单元，若所述特征点的所述最近邻点和所述次近邻点的所述SIFT特征描述向量之间的欧式距离之比小于预设阈值，则将所述特征点的所述最近邻点确定为待匹配候选点；

第四计算子单元，基于所述待匹配候选点，使用ransac算法计算出所述第一局部指纹图像与所述第二局部指纹图像之间的匹配度。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例各实施例技术方案的精神和范围。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种指纹图像的处理方法，其特征在于，包括：

采集K个局部指纹图像，所述K个局部指纹图像为同一手指K次按压指纹传感器所产生的图像，所述K为大于1的整数；

检测每个所述局部指纹图像的特征点；

基于所述特征点计算所述局部指纹图像的尺度不变特征变换SIFT特征描述向量；

基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度；

若所述匹配度不低于预设阈值，则将这两幅所述局部指纹图像进行拼接。

2.如权利要求1所述的方法，其特征在于，所述特征点包括Harris角点，所述检测每个所述局部指纹图像的特征点包括：

对于所述局部指纹图像上的任意点，计算该点在水平方向和垂直方向的偏导数(Lx,Ly)，其中，Lx为该点在水平方向的偏导数，Ly为该点在垂直方向的偏导数；

计算Harris矩阵 $\left[\begin{array}{cc}{\mathrm{Lx}}^2& Lx*Ly\\ Ly*Lx& {\mathrm{Ly}}^2\end{array}\right]$ 的两个预设特征值；

根据计算出的所述两个预设特征值，以及该点是否是以该点为中心的3*3邻域里的最值，来判断该点是否为Harris角点。

3.如权利要求2所述的方法，其特征在于，所述根据计算出的所述两个预设特征值，以及该点是否是以该点为中心的3*3邻域里的最值，来判断该点是否为Harris角点包括：

获取所述3*3邻域里每个点对应的数值，所述数值由其对应的点的所述两个预设特征值通过预设算法计算得到；

若在所述3*3邻域中，其中心点对应的所述数值最大且大于0，则确定该中心点为Harris角点。

4.如权利要求1所述的方法，其特征在于，所述基于所述特征点计算所述局部指纹图像的SIFT特征描述向量包括：

以所述特征点为中心，将所述局部指纹图像反向旋转指定角度，所述指定角度为所述特征点的主方向大小；

在旋转后的所述局部指纹图像中，以所述特征点为中心截取12*12的图像窗口；

将所述12*12的图像窗口划分成四个6*6的子图像，分别计算每个所述子图像中每个点的梯度值和梯度方向；

在预先划分的8个梯度方向范围中，分别统计所述子图像在每个所述梯度方向范围中的所述梯度值之和，得到4*8的32维SIFT特征描述向量。

5.如权利要求1所述的方法，其特征在于，所述基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度包括：

根据第一局部指纹图像上的所述特征点的所述SIFT特征描述向量，查找所述特征点在第二局部指纹图像上的最近邻点和次近邻点；

若所述特征点的所述最近邻点和所述次近邻点的所述SIFT特征描述向量之间的欧式距离之比小于预设阈值，则将所述特征点的所述最近邻点确定为待匹配候选点；

基于所述待匹配候选点，使用ransac算法计算出所述第一局部指纹图像与所述第二局部指纹图像之间的匹配度。

6.一种指纹图像的处理装置，其特征在于，包括：

采集单元，用于采集K个局部指纹图像，所述K个局部指纹图像为同一手指K次按压指纹传感器所产生的图像，所述K为大于1的整数；

检测单元，用于检测每个所述局部指纹图像的特征点；

第一计算单元，用于基于所述特征点计算所述局部指纹图像的尺度不变特征变换SIFT特征描述向量；

第二计算单元，用于基于所述SIFT特征描述向量，计算任意两幅所述局部指纹图像之间的匹配度；

拼接单元，用于若所述匹配度不低于预设阈值，则将这两幅所述局部指纹图像进行拼接。

7.如权利要求6所述的装置，其特征在于，所述特征点包括Harris角点，所述检测单元包括：

第一计算子单元，用于对于所述局部指纹图像上的任意点，计算该点在水平方向和垂直方向的偏导数(Lx,Ly)，其中，Lx为该点在水平方向的偏导数，Ly为该点在垂直方向的偏导数；

第二计算子单元，用于计算Harris矩阵 $\left[\begin{array}{cc}{\mathrm{Lx}}^2& Lx*Ly\\ Ly*Lx& {\mathrm{Ly}}^2\end{array}\right]$ 的两个预设特征值；

判断子单元，用于根据计算出的所述两个预设特征值，以及该点是否是以该点为中心的3*3邻域里的最值，来判断该点是否为Harris角点。

8.如权利要求7所述的装置，其特征在于，所述判断子单元具体用于：

获取所述3*3邻域里每个点对应的数值，所述数值由其对应的点的所述两个预设特征值通过预设算法计算得到；

若在所述3*3邻域中，其中心点对应的所述数值最大且大于0，则确定该中心点为Harris角点。

9.如权利要求6所述的装置，其特征在于，所述第一计算单元包括：

旋转子单元，用于以所述特征点为中心，将所述局部指纹图像反向旋转指定角度，所述指定角度为所述特征点的主方向大小；

截取子单元，用于在旋转后的所述局部指纹图像中，以所述特征点为中心截取12*12的图像窗口；

第三计算子单元，用于将所述12*12的图像窗口划分成四个6*6的子图像，分别计算每个所述子图像中每个点的梯度值和梯度方向；

统计子单元，用于在预先划分的8个梯度方向范围中，分别统计所述子图像在每个所述梯度方向范围中的所述梯度值之和，得到4*8的32维SIFT特征描述向量。

10.如权利要求6所述的装置，其特征在于，所述第二计算单元包括：

查找子单元，用于根据第一局部指纹图像上的所述特征点的所述SIFT特征描述向量，查找所述特征点在第二局部指纹图像上的最近邻点和次近邻点；

确定子单元，用于若所述特征点的所述最近邻点和所述次近邻点的所述SIFT特征描述向量之间的欧式距离之比小于预设阈值，则将所述特征点的所述最近邻点确定为待匹配候选点；

第四计算子单元，用于基于所述待匹配候选点，使用ransac算法计算出所述第一局部指纹图像与所述第二局部指纹图像之间的匹配度。