CN112183324A

CN112183324A - 一种屏下指纹图像的生成方法和生成装置

Info

Publication number: CN112183324A
Application number: CN202011033617.5A
Authority: CN
Inventors: 周剑扬; 庄铭泳; 吴晓芳; 黄敏君
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2020-09-27
Filing date: 2020-09-27
Publication date: 2021-01-05
Anticipated expiration: 2040-09-27
Also published as: CN112183324B

Abstract

一种屏下指纹图像的生成方法和生成装置，涉及图像处理的技术领域。生成方法：训练一个生成对抗神经网络，用于非屏下指纹图像与屏下指纹图像相互转换风格；利用训练完成的生成对抗神经网络进行图像转换，将输入的非屏下指纹图像转换为生成的屏下指纹图像。生成装置依次设有获取单元、转换单元和输出单元；获取单元用于获取非屏下指纹图像；获取单元的输出端接转换单元，转换单元用于将获取的屏下指纹图像转换为生成的屏下指纹图像；转换单元的输出端接输出单元，输出单元用于输出生成的屏下指纹图像。该方法利用已有的大量非屏下指纹图像来生成屏下指纹图像，缓解了在指纹识别领域中现有的屏下指纹图像样本数量不足、采集困难、隐私泄露等问题。

Description

一种屏下指纹图像的生成方法和生成装置

技术领域

本发明涉及图像处理的技术领域，具体是涉及一种屏下指纹图像的生成方法和生成装置。

背景技术

目前，指纹采集方式有光学式、超声波式、电容式采集。在近几年来，由于全屏智能手机的发展，屏下指纹传感器开始被使用。屏下指纹传感器也是基于光学式的指纹生物特征信息采集传感器。但是，由于屏下指纹传感器成像过程与非屏下指纹传感器有所不同，屏下指纹传感器采集到的屏下指纹图像和非屏下指纹传感器采集到的非屏下指纹图像在图像质量、图像特征上有所不同。屏下指纹传感器由于没有光学透镜的辅助，导致采集到的屏下指纹图像成像模糊、亮度不均匀。同时，屏下指纹传感器感光元件和指纹之间隔着OLED屏幕像素单元，采集到的屏下指纹图像带有规律的网格状噪声干扰。上述的屏下指纹图像网格状噪声特征是特有的，非屏下指纹图像并不具备。

随着人工智能技术的兴起，基于神经网络算法的指纹识别设备开始被应用；该种设备在研制过程中需要使用大量的指纹样本对算法进行训练，采用的指纹样本越多，训练出来的算法性能越好；但是，屏下指纹图像采集设备相对于非屏下指纹图像采集设备普及率低，屏下指纹图像带有个人生物特征隐私信息而难以采集、采集成本高。

中国专利CN201880001637.9公开一种基于多传感器的屏下指纹采集方法、系统和电子设备，该方法应用于包括多个指纹传感器的屏下指纹采集系统，包括：获取所述多个指纹传感器采集的用户的指纹信息，其中，每个指纹传感器对应一个感应区域，所述多个指纹传感器对应的感应区域组成所述屏下指纹采集系统的指纹采集区域；根据所述用户的指纹信息，确定所述多个指纹传感器中被有效按压的指纹传感器，其中，所述被有效按压的指纹传感器采集的所述用户的指纹信息用于所述用户的指纹认证。

中国专利CN201911058968.9公开一种屏下指纹图像的处理方法、装置和电子设备，包括：获取屏下指纹图像和与屏下指纹图像对应的屏上指纹图像；确定任意两张屏上指纹图像之间的第一几何映射关系；通过手眼标定的方法确定屏上指纹图像的坐标系和屏下指纹图像的坐标系之间的第二几何映射关系；基于第一几何映射关系和第二几何映射关系确定任意两张屏下指纹图像之间的目标几何映射关系。

现有的屏下指纹图像样本比非屏下指纹图像少。屏下指纹图像样本数量的不足会导致基于神经网络的指纹识别算法性能下降。由于屏下指纹图像特征与非屏下指纹图像特征存在差别，直接利用非屏下指纹图像替代屏下指纹图像来训练基于神经网络的指纹识别算法，会导致指纹识别性能不佳。

综上，屏下指纹图像的训练样本数量不足，会导致基于神经网络指纹识别算法的性能不加。为了提高屏下指纹识别设备的性能，需要解决屏下指纹图像训练样本不足的技术问题。

发明内容

本发明的目的在于提供可以利用现有的、大量的非屏下指纹图像来生成屏下指纹图像，解决基于神经网络的指纹识别设备在算法训练过程中屏下指纹图像训练样本不足等问题的一种屏下指纹图像的生成方法及其装置。

所述屏下指纹图像的生成方法，包括以下步骤：

1)训练一个生成对抗神经网络，用于非屏下指纹图像与屏下指纹图像相互转换风格；

2)利用步骤1)训练完成的生成对抗神经网络进行图像转换，将输入的非屏下指纹图像转换为生成的屏下指纹图像。

在步骤1)中，所述生成对抗神经网络包括第一生成单元、第一判别单元、第二生成单元和第二判别单元；第一生成单元用于将输入的非屏下指纹图像转换成生成的屏下指纹图像；第一判别单元用于判别输入的图像是否是屏下指纹图像；第二生成单元用于将输入的生成的屏下指纹图像转换为生成的非屏下指纹图像；第二判别单元用于判别输入的图像是否是非屏下指纹图像；

所述训练一个生成对抗神经网络的具体步骤可为：

(1)获取第一图像，为非屏下指纹图像；

(2)获取第二图像，为真实的屏下指纹图像；

(3)将第一图像输入生成对抗神经网络的第一生成单元中转换，输出第三图像，为生成的屏下指纹图像，其中，第三图像具有上述第一图像的生物特征内容但是成像风格是第二图像的风格；

(4)将第三图像与第二图像输入生成对抗神经网络的第一判别单元中，输出判断结果，其中，判断的结果分为输入的图像是屏下指纹图像与不是屏下指纹图像两种结果；

(5)将第三图像输入生成对抗神经网络的第二生成单元，生成第四图像，为生成的非屏下指纹图像；

(6)将第四图像与第一图像输入生成对抗网络的第二判别单元，输出判断结果，其中，判断的结果分为输入的图像是屏下指纹图像与不是屏下指纹图像两种结果。

在步骤2)中，所述利用步骤1)训练完成的生成对抗神经网络进行图像转换的具体步骤可为：

(1)获取一幅非屏下指纹图像；

(2)采用训练完成的生成对抗神经网络对上述获取的非屏下指纹图像进行风格转换；

(3)输出一幅生成的屏下指纹图像，该图像既带有屏下指纹图像的成像特征，同时又带有与输入的非屏下指纹图像中相同的生物特征信息。

所述屏下指纹图像的生成装置，依次设有获取单元、转换单元和输出单元；所述获取单元用于获取非屏下指纹图像；获取单元的输出端接转换单元，转换单元用于将上述获取的屏下指纹图像转换为生成的屏下指纹图像；转换单元的输出端接输出单元，输出单元用于输出生成的屏下指纹图像。

本发明所述生成方法中，仅需要使用到步骤一训练完成的生成对抗神经网络中的第一生成单元即可实现图像转换功能。步骤二中使用的训练完成的生成对抗神经网络中的第一生成单元的网络结构和权重参数，获取自步骤一的生成对抗神经网络中的第一生成单元的网络结构和权重参数。在执行上述屏下指纹图像生成方法时，并不需要每次都先执行步骤一的生成对抗神经网络训练，可以只执行一次步骤一的训练流程，保存网络结构与权重参数，在后续的步骤二中可以多次调用保存的网络结构与权重参数，进行图像生成。

本发明屏下指纹图像生成方法运行于生成装置之上。本发明的屏下指纹图像生成方法利用已有的大量非屏下指纹图像来生成屏下指纹图像，缓解了在指纹识别领域中现有的屏下指纹图像样本数量不足、采集困难、隐私泄露等问题。

附图说明

图1为本发明一个实施例的生成屏下指纹图像的生成方法的流程示意图；

图2为本发明一个实施例的训练用于生成屏下指纹图像的生成对抗神经网络的流程示意图；

图3为本发明一个实施例的用于屏下指纹图像生成的生成对抗网络训练装置示意框图；

图4为本发明一个实施例的非屏下指纹图像转换为屏下指纹图像的流程示意图；

图5为本发明一个实施例的生成屏下指纹图像的生成装置的示意框图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。然而，示例的实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了根据本发明的一个实施例的生成屏下指纹图像的生成方法的流程图；如图1所示，生成屏下指纹图像的生成方法至少包括步骤S101至步骤S102。

步骤S101为训练一个用于非屏下指纹图像与屏下指纹图像相互转换风格的生成对抗神经网络，能够完成非屏下指纹图像到屏下指纹图像再到非屏下指纹图像的转换过程。训练的过程中神经网络的参数权重会更新迭代，迭代的结果是生成的屏下指纹图像质量越来越高，生成的非屏下指纹图像的质量越来越高。

步骤S102为利用训练完成的生成对抗神经网络进行图像转换，把输入的非屏下指纹图像转换为生成的屏下指纹图像。

图2示出了根据本发明的一个实施例的训练用于生成屏下指纹图像的生成对抗神经网络的流程图。如图2所示，训练用于生成屏下指纹图像的生成对抗神经网络的流程图至少包括步骤S201至步骤S206。

步骤S201为获取一幅真实的非屏下指纹图像，可选的，在本发明的一个实施例中，获取一幅非屏下指纹图像的方式可以是从计算机可读介质中读取，也可以是通过非屏下指纹采集设备采集得到非屏下指纹图像，从非屏下指纹采集设备中读取，此处不做限定。

步骤S202为获取一幅真实的屏下指纹图像，可选的，在本发明的一个实施例中，获取一幅非屏下指纹图像的方式可以是从计算机可读介质中读取，也可以是通过非屏下指纹采集设备采集得到非屏下指纹图像，从非屏下指纹采集设备中读取，此处不做限定。

步骤S203非屏下指纹图像输入第一生成单元中转换,输出生成的屏下指纹图像。

步骤S204为生成的屏下指纹图像与真实的屏下指纹图像输入第一判别单元,输出判断的结果。

步骤S205生成的屏下指纹图像输入第二生成单元，生成生成的非屏下指纹图像。

步骤S206为生成的非屏下指纹图像与获取的非屏下指纹图像输入第二判别单元，输出判断的结果。

可选的，步骤S203与步骤S205中所述的第一生成单元与第二生成单元的结构相同，也可以不相同，此处不做具体限定，在本实施例中设置为相同。在本实施例中，第一生成单元与第二生成单元的结构都具有5层卷积层，包括：卷积核为4×4，步长为2，输出通道数为64的卷积层；卷积核为4×4，步长为2，输出通道数为128的卷积层；卷积核为4×4，步长为2，输出通道数为256的卷积层；卷积核为4×4，步长为2，输出通道数为512的卷积层；卷积核为4×4，步长为2，输出通道数为3的卷积层。

可选的，步骤S204与步骤S206中所述的第一判别单元与第二判别单元的结构相同，也可以不相同，此处不做具体限定，在本实施例中设置为相同。在本实施例中，第一判别单元与第判别成单元的结构都具有5层卷积层，包括：卷积核为4×4，步长为2，输出通道数为64的卷积层；卷积核为4×4，步长为2，输出通道数为128的卷积层；卷积核为4×4，步长为2，输出通道数为256的卷积层；卷积核为4×4，步长为2，输出通道数为512的卷积层；卷积核为4×4，步长为2，输出通道数为1的卷积层。

图3示出了根据本发明的一个实施例的生成屏下指纹图像的生成装置的框图300。如图3所示，为了更明确地说明生成对抗神经网络的训练过程以及各个部件之间的连接关系，根据本发明的一个实施例的用于屏下指纹图像生成的生成对抗网络训练装置的框图300，至少包括：第一图像获取单元301；第一生成单元302；第二生成单元303；第一判断单元304；第一判断单元判断结果的输出305；第二图像获取单元306；第二判断单元307；第二判断单元判断结果的输出308。

可选的，在本发明的一个实施例中，第一图像获取单元301可以是计算机可读介质，也可以是非屏下指纹采集设备，此处不做限定。

第一图像获取单元301分别与第一生成单元302和第一判断单元304连接，之间的连接箭头表示通过第一图像获取单元301获得的非屏下指纹图像分别送到第一生成单元302和第一判断单元304。

第一生成单元302分别与第二生成单元303和第二判断单元307连接，之间的连接箭头表示第一生成单元302生成的屏下指纹图像分别发送到第二生成单元303和第二判断单元307。

第二生成单元303与第一判断单元304连接，之间的连接箭头表示第二生成单元303生成的非屏下指纹图像发送到第一判断单元304。第一判断单元304的输入有两个，包括：来自第一图像获取单元301发送的非屏下指纹图像；来自第二生成单元303发送的生成的非屏下指纹图像。

在本发明的一个实施例中，第一判断单元304会随机选择上述输入的非屏下指纹图像和生成的非屏下指纹图像之一通过卷积层计算出判断结果，其中，判断的结果分为随机选取进行计算的图像是属于屏下指纹图像还是非屏下指纹图像两种结果。

可选的，在本发明的一个实施例中，第二图像获取单元306可以计算机可读介质，也可以是非屏下指纹采集设备，此处不做限定。

第二图像获取单元306与和第二判断单元307连接，之间的连接箭头表示通过第二图像获取单元306获得的屏下指纹图像送到第二判断单元307。

在本发明的一个实施例中，第二判断单元307会随机选择上述输入的非屏下指纹图像和生成的非屏下指纹图像之一通过卷积层计算出判断结果，其中，判断的结果分为随机选取进行计算的图像是属于屏下指纹图像还是非屏下指纹图像两种结果。

图4示出了根据本发明的一个实施例的非屏下指纹图像转换为屏下指纹图像的流程图。为了更加明确地展示图1中的步骤S102中的非屏下指纹图像转换为屏下指纹图像过程，根据本发明的一个实施例的非屏下指纹图像转换为屏下指纹图像的流程图，如图4所示，至少包括步骤S401至步骤S403。

步骤S401：获取一幅非屏下指纹图像，可选的，在本发明的一个实施例中，获取一幅非屏下指纹图像的方式可以是从计算机可读介质中读取，也可以是通过非屏下指纹采集设备采集得到非屏下指纹图像，从非屏下指纹采集设备中读取，此处不做限定。

步骤S402：非屏下指纹图像通过生成对抗神经网络的转换，生成了一幅生成的屏下指纹图像。

步骤S403：输出一幅生成的屏下指纹图像。上述生成的屏下指纹图像的特征是带有屏下指纹图像的成像特征，同时又带有与步骤S401中所述输入的非屏下指纹图像中相同的生物特征信息。上述的屏下指纹图像的成像特征指的是由屏下指纹图像采集设备的物理成像方法所导致的图像带有的成像特点，例如屏下指纹图像带有自身特有的规律的网格状噪声、图像几何中心亮度高而周围亮度低。上述的生物特征信息包括了指纹图像上指纹独特的生物特征，例如汗孔、指纹纹路分叉、指纹纹路断点，包括了指纹图像上指纹独特的生物特征之间的相对位置，根据上述特征可以鉴别出两张指纹图像中的指纹是否是从同一根手指上采集。

图5示出了根据本发明的一个实施例的生成屏下指纹图像的装置的框图500。如图5所示，根据本发明的一个实施例的用于生成屏下指纹图像的装置500至少包括：获取单元501，用于获得非屏下指纹图像；转换单元502，用于转换上述获得的屏下指纹图像图像的成像风格；输出单元503，用于输出生成的屏下指纹图像。

在本发明的一些实施例中，基于前述方案，获取单元501用于获得非屏下指纹图像。可选地，获取的来源可以是从计算机可读介质中读取，也可以是通过非屏下指纹采集设备采集得到非屏下指纹图像，从非屏下指纹采集设备中读取，此处不做限定。

在本发明的一些实施例中，基于前述方案，生成单元502包括：生成对抗网络的第一生成单元，用于把获取的非屏下指纹图像转换为屏下指纹图像，其中，第一生成单元的卷积层参数取自通过上述图5用于生成屏下指纹图像的生成对抗神经网络的训练方法训练好的生成对抗网络的第一生成单元的卷积层参数。

说明书附图中的流程图和装置框图，示出了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图中的每个方框可表示一个模块或程序代码的一部分，用于实现规定的逻辑功能的可执行指令。

也要注意的是，图1至图5的流程图或框图中的每个框、以及框图或流程图中的框的组合，可以用执行规定的功能或操作的专用的基于硬件的电子设备来实现，或者可以用专用电子设备与计算机指令的组合实现。

本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过电子设备的方式来实现，所描述的单元也可以设置在一个或者多个处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

Claims

1.一种屏下指纹图像的生成方法，其特征在于包括以下步骤：

2.如权利要求1所述一种屏下指纹图像的生成方法，其特征在于在步骤1)中，所述生成对抗神经网络包括第一生成单元、第一判别单元、第二生成单元和第二判别单元；第一生成单元用于将输入的非屏下指纹图像转换成生成的屏下指纹图像；第一判别单元用于判别输入的图像是否是屏下指纹图像；第二生成单元用于将输入的生成的屏下指纹图像转换为生成的非屏下指纹图像；第二判别单元用于判别输入的图像是否是非屏下指纹图像。

3.如权利要求1所述一种屏下指纹图像的生成方法，其特征在于在步骤1)中，所述训练一个生成对抗神经网络的具体步骤为：

(1)获取第一图像，为非屏下指纹图像；

(2)获取第二图像，为真实的屏下指纹图像；

4.如权利要求1所述一种屏下指纹图像的生成方法，其特征在于在步骤2)中，所述利用步骤1)训练完成的生成对抗神经网络进行图像转换的具体步骤为：

(1)获取一幅非屏下指纹图像；

5.屏下指纹图像的生成装置，其特征在于依次设有获取单元、转换单元和输出单元；所述获取单元用于获取非屏下指纹图像；获取单元的输出端接转换单元，转换单元用于将上述获取的屏下指纹图像转换为生成的屏下指纹图像；转换单元的输出端接输出单元，输出单元用于输出生成的屏下指纹图像。