CN114282566A - 指纹的污渍去除模型构建方法和指纹识别传感器 - Google Patents

Abstract

本发明提供一种指纹的污渍去除模型构建方法，该指纹的污渍去除模型构建方法包括：利用模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像；以及将所述多幅不同的模拟污渍指纹图像输入给卷积神经网络训练模型进行训练得到指纹的污渍去除模型。此外，本发明还提供一种指纹识别方法、指纹识别传感器及电子设备。上述指纹的污渍去除模型在识别带有污渍的指纹图像时，可以进行污渍去除从而恢复出指纹无污渍时的指纹图像，将污渍对指纹识别的影响较大程度地进行降低，从而提高了对带有污渍指纹识别的识别率。

Description

指纹的污渍去除模型构建方法和指纹识别传感器

技术领域

本发明涉及指纹识别技术领域，尤其涉及一种指纹的污渍去除模型构建方法、指纹识别方法、指纹识别传感器、及电子设备。

背景技术

随着全屏幕技术和指纹识别技术在移动终端的普及，光学式指纹传感器的需求快速递增，屏下光学指纹技术逐渐成为电子设备生物识别技术的主流技术。

在光学指纹技术中，图像质量对指纹识别率有很大的影响。当手指粘上水渍或者油渍时，会对指纹的清晰度和完整度造成较大的影响，例如，指纹脊粘连或者大面积覆盖指纹信息等，即手指粘上水渍或者油渍时，对识别率会产生负面影响。

发明内容

有鉴于此，实有必要提供一种提升污渍指纹识别率的指纹的污渍去除模型构建方法、识别方法、传感器及电子设备。

第一方面，本实施例提供一种指纹的污渍去除模型构建方法，该指纹的污渍去除模型构建方法包括：

利用模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像；以及

将所述多幅不同的模拟污渍指纹图像输入给卷积神经网络训练模型进行训练得到指纹的污渍去除模型。

第二方面，本发明实施例还提供一种指纹识别方法，所述指纹识别方法包括：

获取待验证指纹图像；

判断所述待验证指纹图像是否存在污渍；

若所述待验证指纹图像存在污渍，将所述待验证指纹图像输入指纹的污渍去除模型进行运算得到去除污渍后的待验证指纹图像，所述指纹的污渍去除模型借由上述指纹的污渍去除模型构建方法进行构建；以及

将所述去除污渍后的待验证指纹图像与样本指纹图像进行验证得到验证结果；或者

若所述待验证指纹图像不存在污渍，将所述待验证指纹图像与样本指纹图像进行验证得到验证结果。

第三方面，本发明实施例还提供一种指纹识别传感器，指纹识别传感器包括：

存储介质，用于存储指纹识别程序指令；以及

处理器，用于执行指纹识别程序指令实现上述的指纹识别方法。

第四方面，本发明实施例还提供一种电子设备，电子设备包括主体以及设置于主体的上述指纹识别传感器。

上述指纹的污渍去除模型构建方法可以创建出指纹的污渍去除模型，在识别带有污渍的指纹图像时，可以进行污渍去除从而恢复出指纹无污渍时的指纹图像，将污渍对指纹识别的影响较大程度地进行降低，从而提高了对带有污渍指纹识别的识别率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为一实施例提供的指纹的污渍去除模型构建方法的流程示意图。

图2为一实施例提供的指纹的污渍去除模型构建方法的第一子流程示意图。

图3-5为一实施例提供的模拟污渍指纹图像的示意图。

图6为一实施例提供的指纹的污渍去除模型构建方法的第二子流程示意图。

图7为一实施例提供的卷积神经网络模型的内部程序模块示意图。

图8为一实施例提供的指纹识别方法的流程示意图。

图9为一实施例提供的应用该指纹识别方法的电子设备示意图。

图10为一实施例提供的应用该指纹识别方法的指纹识别传感器的内部结构示意图。

元件标号说明

电子设备 100 指纹识别传感器 1

存储器 11 处理器 12

指纹识别程序指令 110 主体 101

样本指纹图像库 112 指纹的污渍去除模型 113

卷积神经网络模型 20 图像特征处理模型 21

对抗网络模型 22 下采样模型 210

上采样模型 212 生成模型 220

判别模型 222 样本指纹图像 S

第一模拟污渍指纹图像 S1 第二模拟污渍指纹图像 S2

第三模拟污渍指纹图像 S3

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。说明书附图示出本发明的实施例的示例。可以理解的是，说明书附图示出的比例并非本发明实际实施的比例，其仅为示意说明为目的，并非依照原尺寸作图。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提供一种提升污渍指纹识别率指纹的污渍去除模型构建方法、识别方法、传感器及电子设备。当指纹存在污渍，例如水渍、油渍时，指纹识别传感器感测到的指纹图像往往被污渍所覆盖或者纹脊或者谷脊无法准确分辨，因此，识别带有污渍的指纹，识别率受污渍影响比较大。本发明提供的方法创建出的指纹的污渍去除模型，可以在识别带有污渍的指纹图像时，先进行污渍去除从而恢复出指纹无污渍时的指纹图像，将污渍对指纹识别的影响较大程度地进行降低，从而提高了对带有污渍指纹识别的识别率。

请参看图1，其为第一实施例提供的指纹的污渍去除模型构建方法。该指纹的污渍去除模型构建方法包括下面步骤。

步骤S101，利用模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像。可以理解地，当用户对电子设备100(如图9所示)添加指纹密码时，需要录入指纹。样本指纹图像为用户利用电子设备上的指纹识别传感器设置指纹密码时获取。样本指纹图像存放于样本指纹图像库112中，样本指纹图像库112存储于电子设备本地存储器(如图10所示)，也可以存储于云服务器中。其中，指纹识别传感器采用光学指纹传感器或者电容式指纹传感器。电子设备100可以为但不限于手机，平板电脑或者笔记本电脑。在一些可行的实施例中，污渍指纹图像为正方形的指纹图像。具体地，步骤S101首先将该样本指纹图像转换成正方形的指纹图像训练样本；然后再利用模拟污渍算法对正方形的样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像。具体地，利用模拟污渍算法对样本指纹图像进行污渍模拟运算主要对样本指纹图像中添加噪声，以模拟样本指纹图像中存在污渍时的指纹图像形态。如何利用模拟污渍算法构建出多幅不同的模拟污渍指纹图像将在下面详细介绍。

步骤S103，将多幅不同的模拟污渍指纹图像输入卷积神经网络训练模型进行训练得到指纹的污渍去除模型。请结合参看图7，在本实施例中，卷积神经网络训练模型20包括图像特征处理模型21和对抗网络模型22。对抗网络模型22为生成式对抗网络，如标准GAN网络、或者WGAN和DCGAN等变种GAN网络。对抗网络模型22包括生成模型220和判别模型222。图像特征处理模型21为编解码模型。图像特征处理模型21包括下采样模型210和上采样模型212。其中，下采样模型210还可以称为编码模型；上采样模型212还可以称为解码模型。具体地，步骤S103具体包括：将多幅不同的模拟污渍指纹图像一一输入至图像特征处理模型21得到多幅特征图像；将多幅特征图像一一输入对抗网络模型22得到指纹的污渍去除模型。图像特征处理模型21和对抗网络模型22如何组成不同的污渍指纹识别模型将在下文详细描述。

上述实施例中，可以对多幅不同的模拟污渍指纹图像进行训练形成指纹的污渍去除模型从而可以利用污渍去除模型对带有污渍的指纹图像去除污渍，还原出指纹图像无污渍状态下的指纹图像。即，当验证指纹时，不管指纹图像是否存在污渍都可以进行还原，从而提高了指纹识别率。进一步地，在模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像时，先将样本指纹图像进行转换形成正方形的样本指纹图像，即模拟污渍指纹图像为正方形，使得转换后的样本指纹图像与卷积神经网络训练模型所要求的输入的图像尺寸相同。

请结合参看图2，其为步骤S101的一实施例子流程示意图。模拟污渍指纹图像包括第一模拟污渍指纹图像、第二模拟污渍指纹图像和第三模拟污渍指纹图像。具体地，步骤S101包括下面步骤。

步骤S201，利用形态学膨胀算法对样本指纹图像进行运算得到多张第一模拟污渍指纹图像。如图3所示，对样本指纹图像S进行形态学膨胀，从而生成多张模糊的第一模拟污渍指纹图像S1。即，模拟出由于用户手指带水渍或者油渍，且按压力度不一致，导致的脊谷线粗细不一致时，光学传感器采集的模糊指纹图像的形态。

步骤S203，利用椭圆形遮罩算法对样本指纹图像运算得到多张第二模拟污渍指纹图像。如图4所示，在样本指纹图像S中添加椭圆形遮罩噪声，从而生成多张多处区域被遮挡的第二模拟污渍指纹图像S2。即，模拟出由于用户手指带水渍或者油渍，指纹中椭圆形凹陷区域被水渍或者污渍遮挡时，光学传感器采集的指纹图像多处区域被遮挡的形态。

步骤S205，利用随机的柏林噪声算法对样本指纹图像运算得到多张第三模拟污渍指纹图像。如图5所示，在样本指纹图像S中添加柏林噪声，从而生成多张不同位置出现噪声的第三模拟污渍指纹图像S3。即，模拟出由于用户手指带水渍或者油渍，指纹中脊谷线被水渍或者污渍遮挡时，光学传感器采集的指纹图像多处出现被污渍遮挡而呈模糊区域的形态。

可以理解地，上述实施例采用了三种不同的污渍模拟算法得到多幅模拟污渍指纹图像。在一些可行的实施例中，还可以选择其中一者或者两者对样本指纹图像进行污渍模拟运算。在一些可行的实施例中，还可以采用其他图像噪声添加方法对样本指纹图像进行污渍模拟运算，即上述污渍模拟算法可以是一种，也可以三种或者三种以上更多的污渍模拟算法，在此不做限定。

请结合参看图6和图7，图6其为步骤S103一实施例子流程示意图。步骤S103包括下面步骤。

步骤S601，对多幅不同的模拟污渍指纹图像进行下采样获得对应的多幅模拟污渍指纹图像的多幅下采样特征图像。具体地，将模拟污渍指纹图像进行下采样，形成比模拟污渍指纹图像数据量小的特征图像。更具体地，将每一模拟污渍指纹图像划分成s*s大小的区块，将每个区块内的图像变成一个像素，这个像素点的值就是对应区块内所有像素的均值。

步骤S603，将多幅下采样特征图像转换成多幅上采样特征图像。即将下采样特征图像还原成多幅模拟污渍指纹图像数据量大小的上采样特征图像。更具地，对多幅下采样图像中进行插值，此时可以形成接近清晰的图像。

步骤S605，将上采样特征图像一一输入生成模型中生成对应的多幅期望指纹图像。

步骤S607，利用判别模型将所述多幅期望指纹图像和所述样本指纹图像进行比对得到比对结果。

步骤S609，当比对结果达到预设条件时，确定卷积神经网络训练模型当前的参数形成指纹的污渍去除模型。

可以理解地，上述步骤S601和步骤S603描述了将多幅不同的模拟污渍指纹图像一一输入至图像特征处理模型得到多幅特征图像的过程，即对模拟污渍指纹图像进行编解码的过程。

上述实施例中，利用编解码算法和对抗网络算法完成对模拟污渍指纹图像的训练，从而得到较优的指纹的污渍去除模型。

请参看图8，其为一实施例提供的指纹识别方法的流程示意图。指纹识别方法包括下面步骤。

步骤S801，获取待验证指纹图像。具体地，待验证指纹图像为用户用手指按压电子设备中的指纹传感器的感测区，以对锁定的电子设备进行解锁时产生或者对电子设备中执行的某一项功能进解锁时产生。

步骤S803，判断待验证指纹图像是否存在污渍。具体地，对待验证指纹图像进行分析，判断待验证指纹图像是否清晰、是否存在被遮挡的区域等。若待验证指纹图像存在污渍，执行步骤S805；若待验证指纹图像不存在污渍，执行步骤S809。

步骤S805，将待验证指纹图像输入至指纹的污渍去除模型进行运算得到去除污渍后的待验证指纹图像。其中，指纹的污渍去除模型113存储于指纹识别传感器1中(如图10所示)，且指纹的污渍去除模型113由于上述指纹的污渍去除模型构建方法进行创建。

步骤S807，将去除污渍后的待验证指纹图像与样本指纹图像进行验证得到验证结果。

步骤S809，将待验证指纹图像与样本指纹图像进行验证得到验证结果。样本指纹图像存储于指纹识别传感器中。

上述实施例中，在指纹识别时，利用污渍去除模型对待验证指纹图像进行了污渍识别以及去除污渍，从而将对带有污渍的指纹图像还原成清晰的图像，从而可以对带有污渍的指纹图像进行验证，提高了指纹识别率。

在上述实施例中，对待验证指纹图像进行了是否存在污渍的判断，识别出带有污渍的待验证指纹图像，然后再输入至指纹的污渍去除模型中进行验证，减少了对未带有污渍的指纹图像进行去污渍运算，大大减少了运算量。可以理解地，在一些可行的实施例中，在不考虑运算量的情况下，也可以直接将待验证指纹图像输入至指纹的污渍去除模型中，同样可以达到对待验证指纹图像中带有污渍的指纹图像进行验证。

请结合参看图10，其为指纹识别传感器1的内部结构示意图。指纹识别传感器1包括存储介质11和处理器12。存储介质11用于存储指纹识别程序指令110、样本指纹图像库112、指纹的污渍去除模型113等。处理器12用于执行指纹识别程序指令实现上述的指纹识别方法，指纹识别方法与上述各指纹识别方法相同，在此不再赘述。

图10仅示出了具有组件11和组件12的指纹识别传感器1，本领域技术人员可以理解的是，图10示出的结构并不构成对指纹识别传感器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

请结合参看图9，指纹识别传感器1应用于电子设备100中。电子设备100可以为手机、平板电脑、笔记本电脑、门禁等。在本实施例中，以电子设备100为手机为例描述指纹识别传感器1具体应用。电子设备100包括主体101和设置于主体101的指纹识别传感器1。指纹识别传感器1的感测区10设置于电子设备100的外表面。在本实施例中，指纹识别传感器1为光学指纹传感器。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种指纹的污渍去除模型构建方法，其特征在于，所述指纹的污渍去除模型构建方法包括：

利用模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像；以及

将所述多幅不同的模拟污渍指纹图像输入给卷积神经网络训练模型进行训练得到指纹的污渍去除模型。

2.如权利要求1所述的指纹的污渍去除模型构建方法，其特征在于，所述卷积神经网络训练模型包括图像特征处理模型和对抗网络模型，将所述多幅不同的模拟污渍指纹图像输入给卷积神经网络训练模型进行训练得到指纹的污渍去除模型具体包括：

将所述多幅不同的模拟污渍指纹图像一一输入至所述图像特征处理模型得到多幅特征图像；以及

将所述多幅特征图像一一输入所述对抗网络模型得到所述指纹的污渍去除模型。

3.如权利要求2所述的指纹的污渍去除模型构建方法，其特征在于，所述特征图像为上采样特征图像，将所述多幅不同的模拟污渍指纹图像一一输入至所述特征处理模型得到多幅特征图像具体包括：

对所述多幅不同的模拟污渍指纹图像进行下采样获得对应的多幅模拟污渍指纹图像的多幅下采样特征图像；以及

将所述多幅下采样特征图像转换成所述上采样特征图像。

4.如权利要求2所述的指纹的污渍去除模型构建方法，其特征在于，所述对抗网络模型为生成式对抗网络，所述生成式对抗网络包括生成模型和判别模型，其中，将所述多幅特征图像一一输入所述对抗网络模型得到所述指纹的污渍去除模型具体包括：

将所述多幅特征图像一一输入所述生成模型中生成对应的多幅期望指纹图像；

所述判别模型用于将所述多幅期望指纹图像和所述样本指纹图像进行比对得到比对结果；以及

当比对结果达到预设条件时，确定所述卷积神经网络训练模型当前的参数形成所述指纹的污渍去除模型。

5.如权利要求1所述的指纹的污渍去除模型构建方法，其特征在于，所述模拟污渍指纹图像包括第一模拟污渍指纹图像、第二模拟污渍指纹图像或者第三模拟污渍指纹图像，利用模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像具体包括：

利用形态学膨胀算法对所述样本指纹图像进行运算得到多张所述第一模拟污渍指纹图像；或者

利用椭圆形遮罩算法对所述样本指纹图像运算得到多张所述第二模拟污渍指纹图像；或者

利用随机的柏林噪声算法对所述样本指纹图像运算得到多张所述第三模拟污渍指纹图像。

6.如权利要求1所述的指纹的污渍去除模型构建方法，其特征在于，所述模拟污渍指纹图像包括第一模拟污渍指纹图像、第二模拟污渍指纹图像和第三模拟污渍指纹图像，利用模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像具体包括：

利用形态学膨胀算法对所述样本指纹图像进行运算得到多张所述第一模拟污渍指纹图像；

利用椭圆形遮罩算法对所述样本指纹图像运算得到多张所述第二模拟污渍指纹图像；以及

利用随机的柏林噪声算法对所述样本指纹图像运算得到多张所述第三模拟污渍指纹图像。

7.如权利要求5或者6所述的指纹的污渍去除模型构建方法，其特征在于，所述样本指纹图像为正方形样本指纹图像。

8.如权利要求1所述的指纹的污渍去除模型构建方法，其特征在于，利用模拟污渍算法对同一样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像具体包括：

将所述样本指纹图像转换成正方形样本指纹图像；以及

利用所述模拟污渍算法对所述正方形样本指纹图像进行模拟运算构建出多幅不同的模拟污渍指纹图像。

9.一种指纹识别方法，其特征在于，所述指纹识别方法还包括：

获取待验证指纹图像；

判断所述待验证指纹图像是否存在污渍；

若所述待验证指纹图像存在污渍，将所述待验证指纹图像输入指纹的污渍去除模型进行运算得到去除污渍后的待验证指纹图像，所述指纹的污渍去除模型借由如权利要求1～8任一项所述的指纹的污渍去除模型构建方法进行构建；以及

将所述去除污渍后的待验证指纹图像与样本指纹图像进行验证得到验证结果；或者

若所述待验证指纹图像不存在污渍，将所述待验证指纹图像与样本指纹图像进行验证得到验证结果。

10.一种指纹识别传感器，其特征在于，所述指纹识别传感器包括：

存储介质，用于存储指纹识别程序指令；以及

处理器，用于执行所述指纹识别程序指令实现如权利要求9所述的指纹识别方法。

11.一种电子设备，其特征在于，所述电子设备包括主体以及设置于所述主体的如权利要求10所述的指纹识别传感器。

Images