CN113723167B - 一种指纹识别方法及电子设备 - Google Patents

一种指纹识别方法及电子设备 Download PDF

Info

Publication number
CN113723167B
CN113723167B CN202110363678.6A CN202110363678A CN113723167B CN 113723167 B CN113723167 B CN 113723167B CN 202110363678 A CN202110363678 A CN 202110363678A CN 113723167 B CN113723167 B CN 113723167B
Authority
CN
China
Prior art keywords
fingerprint
image
preset
fingerprint information
touch screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110363678.6A
Other languages
English (en)
Other versions
CN113723167A (zh
Inventor
邸皓轩
李丹洪
张晓武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202110363678.6A priority Critical patent/CN113723167B/zh
Publication of CN113723167A publication Critical patent/CN113723167A/zh
Priority to EP22778365.1A priority patent/EP4206983A4/en
Priority to PCT/CN2022/075709 priority patent/WO2022206177A1/zh
Priority to US18/029,799 priority patent/US20240005695A1/en
Application granted granted Critical
Publication of CN113723167B publication Critical patent/CN113723167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G06V40/1376—Matching features related to ridge properties or fingerprint texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Accounting & Taxation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Input (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种指纹识别方法及电子设备，涉及指纹识别和人工智能AI技术领域，可以提升屏下指纹识别的成功率。电子设备包括触摸屏和指纹传感器；电子设备显示第一界面，采集用户在第一界面输入的第一指纹信息；电子设备确定触摸屏是否处于第一状态，该第一状态用于指示所述触摸屏处于贴膜状态；若触摸屏处于第一状态，电子设备采用第一预设人工智能AI修复模型修复第一指纹信息得到第二指纹信息，电子设备确定第二指纹信息与预设指纹信息匹配，显示第二界面。其中，第二指纹信息的指纹图像的图像质量高于第一指纹信息的指纹图像的图像质量。

Description

一种指纹识别方法及电子设备
技术领域
本申请实施例涉及指纹识别和人工智能(artificial intelligence，AI)技术领域，尤其涉及一种指纹识别方法及电子设备。
背景技术
随着触摸屏的发展，屏下指纹作为触摸屏新的技术突破，逐渐被应用到电子设备(如手机)中。屏下指纹是指电子设备的触摸屏下集成了指纹传感器，该指纹传感器响应于用户对触摸屏中预设位置的触摸操作，可以采集用户的指纹信息。该指纹信息可用于在支付或解锁等场景下的指纹识别。
其中，屏下指纹识别的成功率很大程度上取决于指纹传感器采集的指纹信息的指纹图像质量。指纹传感器采集的指纹信息的指纹图像质量越高，采用该指纹信息进行用户身份校验(即屏下指纹识别)的成功率也会随之增高。其中，用户手指与触摸屏的贴合程度、用户触摸位置的准确度等都会影响指纹传感器采集的指纹信息的指纹图像质量。
当然，还有一些因素会影响指纹传感器采集的指纹信息的指纹图像质量。例如，为了保护触摸屏，用户经常会为电子设备(如手机)贴膜，如钢化膜或者水凝膜。为电子设备贴膜无疑会增大设置于该触摸屏下的指纹传感器与用户手指之间的距离，从而影响指纹传感器采集的指纹信息的指纹图像质量，进而降低屏下指纹识别的成功率。
发明内容
本申请提供一种指纹识别方法及电子设备，可以提升屏下指纹识别的成功率。
第一方面，本申请提供一种指纹识别方法，该方法可以应用于包括触摸屏的电子设备，该电子设备还包括指纹传感器。该方法中，电子设备可显示第一界面，该电子设备可采集用户在第一界面输入的第一指纹信息。之后，电子设备可以确定触摸屏是否处于第一状态。该第一状态用于指示所述触摸屏处于贴膜状态。若触摸屏处于第一状态，电子设备则可以采用第一预设AI修复模型修复第一指纹信息得到第二指纹信息。其中，第二指纹信息的指纹图像的图像质量高于第一指纹信息的指纹图像的图像质量。最后，电子设备确定该第二指纹信息与预设指纹信息匹配，显示第二界面。
其中，第一预设AI修复模型具备修复指纹图像提升图像质量的能力。第一预设AI修复模型可以预先配置在电子设备中。示例性的，指纹图像的图像质量也可以通过指纹图像的清晰度和完整度来表示。其中，指纹图像的清晰度越高，指纹图像的图像质量则越高。指纹图像越完整，指纹图像的图像质量则越高。
本申请中，若触摸屏处于第一状态，则电子设备可以对指纹传感器采集的指纹图像进行指纹图像修复，以减少由于贴膜对指纹识别的影响。然后，电子设备对修复后的指纹图像进行指纹识别。这样，便可以提升屏下指纹识别的成功率。
在第一方面的一种可能的设计方式中，在上述电子设备确定触摸屏是否处于第一状态之前，本申请的方法还可以包括：电子设备确定第一指纹信息与预设指纹信息不匹配；电子设备显示第三界面。该第三界面包括提示信息，该提示信息用于指示指纹识别失败。
也就是说，电子设备可以在第一指纹信息的指纹识别未通过的情况下，确定触摸屏是否处于第一状态。应理解，如果第一指纹信息的指纹识别未通过，则可能是因为触摸屏贴膜而影响指纹传感器采集的指纹信息的图像质量。如此，电子设备可以采用第一预设AI修复模型修复第一指纹信息得到图像质量较高的第二指纹信息，再对第二指纹信息进行指纹识别。这样，可以提升屏下指纹识别的成功率。
在第一方面的另一种可能的设计方式中，在电子设备确定触摸屏是否处于第一状态之后，本申请的方法还可以包括：若触摸屏处于第二状态，电子设备采用第二预设AI修复模型修复第一指纹信息得到第三指纹信息；电子设备确定第三指纹信息与预设指纹信息匹配，显示第二界面。其中，该第二状态用于指示触摸屏处于非贴膜状态，第三指纹信息的指纹图像的图像质量高于第一指纹信息的指纹图像的图像质量。上述第一预设AI修复模型与第二预设AI修复模型不同。
该设计方式中，如果指纹识别不通过，电子设备可以在触摸屏处于不同状态(如贴膜状态或非贴膜状态)时，采用不同的AI修复模型修复指纹传感器采集的指纹图像，以提升指纹图像的图像质量。这样，可以在触摸屏处于不同状态时，针对性的提升指纹图像的图像质量，从而可以提升指纹识别的成功率。
在第一方面的一种可能的设计方式中，上述第一界面包括以下至少一种界面：电子设备处于锁屏状态的界面，电子设备的指纹支付界面，电子设备中第一应用的部分功能的指纹解锁界面。当然，上述第一界面包括但不限于上述锁屏界面、支付界面和指纹解锁界面，该第一界面可以是任一种可接收用于指纹识别的指纹信息的界面。
在第一方面的另一种可能的设计方式中，上述电子设备确定触摸屏是否处于第一状态，可以包括：电子设备获取第一指纹信息的原始指纹数据，并获取预设指纹数据；电子设备对原始指纹数据和预设指纹数据进行特征融合，得到第一融合图像；电子设备将第一融合图像作为输入，运行预设AI识别模型，确定触摸屏是否处于第一状态。
其中，上述原始指纹数据也可以称为原始(Raw)数据。RAW可翻译为“未经加工”。也就是说，上述原始指纹数据是未经过由指纹传感器采集的未经过处理的指纹图像。预设指纹数据可以称为基础(Base)数据。该预设指纹数据包括基于触摸屏与指纹传感器的实际硬件参数产生的、影响指纹识别的成功率的噪声图像数据，预设指纹数据预先配置在电子设备中。预设AI识别模型具备根据一个指纹图像确定对应触摸屏是否处于贴膜状态的能力，预设AI识别模型的输出结果用于指示触摸屏是否处于贴膜状态，预设AI识别模型预先配置在电子设备中。
应理解，上述原始指纹数据是电子设备实时采集的。该原始指纹数据中包括上述基于触摸屏与指纹传感器的实际硬件参数产生的、影响指纹识别的成功率的噪声图像数据。因此，电子设备可以对原始指纹数据和预设指纹数据进行特征融合，以减少原始指纹数据中的噪声图像数据，得到第一融合图像。将该第一融合图像作为输入，运行预设AI识别模型，确定触摸屏是否处于贴膜状态；可以提升贴膜状态识别的准确率。
在第一方面的另一种可能的设计方式中，上述电子设备对原始指纹数据和预设指纹数据进行特征融合，得到第一融合图像的方法可以包括：电子设备采用预设指纹数据，去除原始指纹数据中的噪声图像数据，得到第二融合图像；电子设备对第二融合图像进行归一化处理，得到第一融合图像。其中，第一融合图像中各像素点的亮度的均匀程度高于第二融合图像中各像素点的亮度的均匀程度。
该设计方式中，电子设备可以对第二融合图像进行归一化处理以提升融合图像的亮度的均匀程度。其中，指纹图像的亮度的均匀程度可以通过该指纹图像的对比度来体现。指纹图像的对比度越高，则指纹图像的亮度的均匀程度越低；指纹图像的对比度越低，则指纹图像的亮度的均匀程度越高。采用该设计方式，可以对第二融合图像进行归一化处理以降低第二融合图像的对比度，从而提升第二融合图像的亮度的均匀程度。
在第一方面的另一种可能的设计方式中，原始指纹数据(如RAW数据)和预设指纹数据(如Base数据)进行图像融合，只可以去除原始指纹数据中的部分噪声图像数据，还有一些高斯噪声是无法通过图像融合去除的。基于此，电子设备可以对上述融合后的图像进行归一化处理，然后对归一化后的图像进行高斯滤波。
具体的，上述电子设备对原始指纹数据和预设指纹数据进行特征融合，得到第一融合图像的方法可以包括：电子设备采用预设指纹数据，去除原始指纹数据中的噪声图像数据，得到第二融合图像；电子设备对第二融合图像进行归一化处理，得到第三融合图像，该第三融合图像中各像素点的亮度的均匀程度高于第二融合图像中各像素点的亮度的均匀程度；电子设备对第三融合图像进行高斯滤波，得到第一融合图像，该第一融合图像中不包括第三融合图像中的高斯噪声。
其中，通过归一化处理可以去除原始指纹数据中的部分噪声图像数据，通过高斯滤波可以去除原始指纹数据中的高斯噪声。
在第一方面的另一种可能的设计方式中，上述预设AI识别模型是卷积神经网络(convolutional neural networks，CNN)模型或者残差网络(residual neural network，ResNet)模型中的任一种中的任一种。
在第一方面的另一种可能的设计方式中，上述电子设备采用第一预设人工智能AI修复模型修复所述第一指纹信息得到第二指纹信息的方法可以包括：电子设备将第一指纹信息作为输入，运行第一预设AI修复模型，得到第二指纹信息。
其中，所述第一预设AI修复模型是将多个第一组指纹图像作为训练样本训练得到的，每个第一组指纹图像包括第一指纹图像和第二指纹图像，所述第一指纹图像是所述触摸屏处于所述第一状态时采集的，所述第二指纹图像是预配置的所述第一指纹图像修复后的图像。
在第一方面的另一种可能的设计方式中，上述电子设备采用第二预设AI修复模型修复第一指纹信息得到第三指纹信息，包括：电子设备将第一指纹信息作为输入，运行第二预设AI修复模型，得到第三指纹信息。
其中，第二预设AI修复模型是将多个第二组指纹图像作为训练样本训练得到的，每个第二组指纹图像包括第三指纹图像和第四指纹图像，第三指纹图像是触摸屏处于第二状态时采集的，第四指纹图像是预配置的第三指纹图像修复后的图像。
应理解，由于上述方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向；因此，采用该方向场图像可以确定出第一指纹信息中指纹图像的指纹脊线的走向，根据该第一指纹信息中指纹图像的指纹脊线的走向，可以将第一指纹信息中的指纹断续点补充完整。如此，便可以得到图像质量高于第一指纹信息的第三指纹信息。
需要说明的是，第一预设AI修复模型与第二预设AI修复模型是采用不同的训练样本训练得到的。具体的，第一预设AI修复模型是采用上述多组第一组指纹图像作为训练样本训练得到的；第二预设AI修复模型是采用上述多组第二组指纹图像作为训练样本训练得到的。其中，每个第一组指纹图像包括触摸屏处于贴膜状态时指纹传感器采集的第一指纹图像，以及修复第一指纹图像得到的第二指纹图像。而每个第二组指纹图像包括触摸屏处于非贴膜状态时指纹传感器采集的第三指纹图像，以及修复第三指纹图像得到的第四指纹图像。
也就是说，上述第一预设AI修复模型是采用触摸屏处于贴膜状态时指纹传感器采集的指纹图像训练得到的；而第二预设AI修复模型是采用触摸屏处于非贴膜状态时指纹传感器采集的指纹图像训练得到的。因此，该第一预设AI修复模型针对贴膜状态下采集的指纹图像进行图像修复的效果会更好；而第二预设AI模型针对非贴膜状态下采集的指纹图像进行图像修复的效果会更好。
在第一方面的另一种可能的设计方式中，上述第一预设AI修复模型可以是全卷积网络(fully convolutional networks，FCN)模型。
在第一方面的另一种可能的设计方式中，第一预设AI修复模型可以是Unet模型。
在第一方面的另一种可能的设计方式中，第一预设AI修复模型还可以是Garbor滤波器。上述Garbor滤波器具备从第一指纹信息中提取方向场图像，并采用所述方向场图像修复第一指纹信息得到所述第二指纹信息的能力，该方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向。
应理解，由于上述方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向；因此，采用该方向场图像可以确定出第一指纹信息中指纹图像的指纹脊线的走向，根据该第一指纹信息中指纹图像的指纹脊线的走向，可以将第一指纹信息中的指纹断续点补充完整。如此，便可以得到图像质量高于第一指纹信息的第二指纹信息。
在第一方面的另一种可能的设计方式中，上述第二预设AI修复模型可以是FCN模型。
在第一方面的另一种可能的设计方式中，上述第二预设AI修复模型可以是Unet模型。
在第一方面的另一种可能的设计方式中，上述第二预设AI修复模型可以是Garbor滤波。该Garbor滤波器具备从第一指纹信息中提取方向场图像，并采用方向场图像修复第一指纹信息得到第三指纹信息的能力，方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向。
第二方面，本申请提供一种电子设备，该电子设备包括触摸屏、存储器和一个或多个处理器，该电子设备还包括指纹传感器。该触摸屏、存储器、指纹传感器与处理器耦合。其中，存储器中存储有计算机程序代码，该计算机程序代码包括计算机指令，当该计算机指令被处理器执行时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第三方面，本申请提供一种电子设备，该电子设备包括触摸屏、存储器和一个或多个处理器，该电子设备还包括指纹传感器。该触摸屏、存储器、指纹传感器与处理器耦合。其中，存储器中存储有计算机程序代码，该计算机程序代码包括计算机指令，当该计算机指令被处理器执行时，使得电子设备执行如下步骤：触摸屏显示第一界面；指纹传感器采集用户在第一界面输入的第一指纹信息；处理器确定触摸屏是否处于第一状态，第一状态用于指示触摸屏处于贴膜状态；若触摸屏处于第一状态，处理器采用第一预设AI修复模型修复第一指纹信息得到第二指纹信息，第二指纹信息的指纹图像的图像质量高于第一指纹信息的指纹图像的图像质量；处理器确定第二指纹信息与预设指纹信息匹配，显示第二界面。
在第三方面的一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：在处理器确定触摸屏是否处于第一状态之前，处理器确定第一指纹信息与预设指纹信息不匹配；触摸屏显示第三界面。该第三界面包括提示信息，该提示信息用于指示指纹识别失败。
在第三方面的另一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：在处理器确定触摸屏是否处于第一状态之后，若触摸屏处于第二状态，处理器采用第二预设AI修复模型修复第一指纹信息得到第三指纹信息，第二状态用于指示触摸屏处于非贴膜状态，第三指纹信息的指纹图像的图像质量高于第一指纹信息的指纹图像的图像质量；处理器确定第三指纹信息与预设指纹信息匹配，显示第二界面。其中，第一预设AI修复模型与第二预设AI修复模型不同。
在第三方面的另一种可能的设计方式中，上述第一界面包括以下至少一种界面：电子设备处于锁屏状态的界面，电子设备的指纹支付界面，电子设备中第一应用的部分功能的指纹解锁界面。
在第三方面的另一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器获取第一指纹信息的原始指纹数据，并获取预设指纹数据；处理器对原始指纹数据和预设指纹数据进行特征融合，得到第一融合图像；处理器将第一融合图像作为输入，运行预设AI识别模型，判断确定触摸屏是否处于第一状态。
在第三方面的另一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器采用预设指纹数据，去除原始指纹数据中的噪声图像数据，得到第二融合图像；处理器对第二融合图像进行归一化处理，得到第一融合图像。其中，第一融合图像中各像素点的亮度的均匀程度高于第二融合图像中各像素点的亮度的均匀程度。
在第三方面的另一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器采用预设指纹数据，去除原始指纹数据中的噪声图像数据，得到第二融合图像；处理器对第二融合图像进行归一化处理，得到第三融合图像，第三融合图像中各像素点的亮度的均匀程度高于第二融合图像中各像素点的亮度的均匀程度；处理器对第三融合图像进行高斯滤波，得到第一融合图像，第一融合图像中不包括第三融合图像中的高斯噪声。
在第三方面的另一种可能的设计方式中，上述预设AI识别模型包括CNN模型或者ResNet模型中的任一种。
在第三方面的另一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器将第一指纹信息作为输入，运行第一预设AI修复模型，得到第二指纹信息。其中，第一预设AI修复模型是将多个第一组指纹图像作为训练样本训练得到的，每个第一组指纹图像包括第一指纹图像和第二指纹图像，第一指纹图像是触摸屏处于第一状态时采集的，第二指纹图像是预配置的第一指纹图像修复后的图像。
在第三方面的另一种可能的设计方式中，上述第一预设AI修复模型是全卷积网络FCN模型；或者，第一预设AI修复模型是Unet模型；或者，第一预设AI修复模型是Garbor滤波器。
在第三方面的另一种可能的设计方式中，当该计算机指令被处理器执行时，使得电子设备还执行如下步骤：处理器将第一指纹信息作为输入，运行第二预设AI修复模型，得到第三指纹信息。其中，第二预设AI修复模型是将多个第二组指纹图像作为训练样本训练得到的，每个第二组指纹图像包括第三指纹图像和第四指纹图像，第三指纹图像是触摸屏处于第二状态时采集的，第四指纹图像是预配置的第三指纹图像修复后的图像。
在第三方面的另一种可能的设计方式中，第二预设AI修复模型是FCN模型；或者，第二预设AI修复模型是Unet模型；或者，第二预设AI修复模型是Garbor滤波器。
第四方面，本申请提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得电子设备执行如第一方面及其任一种可能的设计方式所述的方法。
第五方面，本申请提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面及其任一种可能的设计方式所述的方法。
可以理解地，上述提供的第二方面、第三方面及其任一种可能的设计方式所述的电子设备，第四方面所述的计算机存储介质，第五方面所述的计算机程序产品所能达到的有益效果，可参考第一方面及其任一种可能的设计方式中的有益效果，此处不再赘述。
附图说明
图1为本申请实施例提供的一种手机在贴膜状态和非贴膜状态下分别采集的指纹图像的示意图；
图2为本申请实施例提供的一种指纹识别方法的原理示意图；
图3为本申请实施例提供的一种电子设备的硬件结构示意图；
图4为本申请实施例提供的一种设置有指纹传感器的触摸屏的结构实例示意图；
图5为本申请实施例提供的一种指纹识别方法流程图；
图6为本申请实施例提供的一种手机的指纹识别场景的显示界面示意图；
图7为本申请实施例提供的另一种手机的指纹识别场景的显示界面示意图；
图8为本申请实施例提供的另一种手机的指纹识别场景的显示界面示意图；
图9为本申请实施例提供的一种指纹识别方法流程图；
图10为本申请实施例提供的一种修复前后的指纹图像的示意图；
图11为本申请实施例提供的另一种指纹识别方法的原理示意图；
图12为本申请实施例提供的另一种指纹识别方法的原理示意图；
图13为本申请实施例提供的另一种指纹识别方法的原理示意图；
图14为本申请实施例提供的另一种指纹识别方法的原理示意图。
具体实施方式
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例提供一种指纹识别方法，该方法可以应用于具备屏下指纹识别功能的电子设备。该电子设备包括触摸屏，以及设置于触摸屏下的指纹传感器。
为了保护触摸屏，用户经常会为电子设备(如手机)贴膜，如钢化膜或者水凝膜。为电子设备贴膜无疑会增大设置于该触摸屏下的指纹传感器与用户手指之间的距离，从而影响指纹传感器采集的指纹信息的指纹图像质量，进而降低屏下指纹识别的成功率。
本申请实施例这里通过测试数据，说明电子设备(如手机)贴膜，对设置于触摸屏下方的指纹传感器采集的指纹信息的图像质量，以及屏下指纹识别的成功率的影响。
请参考表1，其示出同一品牌、同一型号的五个新手机的触摸屏分别处于五种不同状态下，设置于触摸屏下的指纹传感器采集到的指纹图像的图像质量的中位值，以及指纹解锁成功率。其中，上述五种不同状态包括：非贴膜状态、贴0.50毫米(mm)钢化膜状态、贴0.36mm钢化膜状态、贴0.26mm水凝膜状态和贴0.22mm水凝膜状态。
表1
其中，指纹图像的图像质量可以通过指纹图像的清晰度和/或完整度来表征。本申请实施例这里将清晰度和/或完整度统称为指纹图像的质量参数。其中，清晰度越高，则质量参数越高，指纹图像的图像质量越高；完整度越高，则质量参数越高，指纹图像的图像质量越高。
手机处于上述任一种状态(如贴0.50mm钢化膜状态)时，指纹传感器可以采集到m个指纹图像，m≥2，m是整数。该m个指纹图像的图像质量可能不同，即该m个指纹图像的质量参数可能不同。
其中，将上述m个指纹图像按照质量参数从小到大或者按照质量参数从大到小的顺序排列，可得到一组指纹图像队列。若m为奇数，则上述图像质量的中位值是指：排列在该指纹图像队列中间位置的指纹图像的质量参数。若m为偶数，则上述图像质量的中位值是指：排列在该指纹图像队列中间位置的两个指纹图像的质量参数的平均值。
例如，假设手机处于贴0.50mm钢化膜状态时，指纹传感器可以采集到3个指纹图像：指纹图像1、指纹图像2和指纹图像3。其中，指纹图像1的质量参数为22.47，指纹图像2的质量参数为24，指纹图像3的质量参数为22。由于22<22.47<24；因此，如表1所示，贴0.50mm钢化膜状态下，指纹图像的图像质量的中位值为22.47。
又例如，假设手机处于贴贴0.36mm钢化膜状态时，指纹传感器可以采集到4个指纹图像：指纹图像a、指纹图像b、指纹图像c和指纹图像d。其中，指纹图像a的质量参数为24.68，指纹图像b的质量参数为24.62，指纹图像c的质量参数为24.68，指纹图像d的质量参数为24.80。由于24.62<24.68<24.70<24.80；因此，如表1所示，贴0.36mm钢化膜状态下，指纹图像的图像质量的中位值为：(24.68+24.70)/2＝49.38/2＝24.69。
应注意，表1所示的测试数据，是在同一低温场景下，由同一用户以同样的触摸方式向处于上述五种状态下的手机输入触摸操作得到的。
由表1可以得出：相比于贴膜状态，非贴膜状态下指纹传感器采集到的指纹图像的质量中位值(如35.17)最高；相比于贴膜状态，非贴膜状态下指纹解锁的成功率(如91％)最高。
例如，请参考图1，其示出一种手机在相同的条件下(如相同的用户的手指，相同的按压力度等)，贴膜状态和非贴膜状态下分别采集的指纹图像的示意图。如图1所示，指纹图像A101是手机在非贴膜状态下，手机的指纹传感器采集的指纹图像；指纹图像B102是手机在贴膜状态下，手机的指纹传感器采集的指纹图像。对比指纹图像A101和指纹图像B102，可以得出：相比于贴膜状态，非贴膜状态下指纹传感器采集到的指纹图像的图像更加清晰，图像质量更好。
并且，触摸屏上贴膜的厚度越薄，对应状态下指纹传感器采集到的指纹图像的质量中位值越高，指纹解锁的成功率越高。例如，相比于其他贴膜的状态，贴0.22mm水凝膜状态下指纹传感器采集到的指纹图像的质量中位值(如28.67)最高，指纹解锁的成功率(如87％)最高。
示例性的，指纹图像的图像质量也可以通过指纹图像的清晰度和完整度来表示。其中，指纹图像的清晰度越高，指纹图像的图像质量则越高。指纹图像越完整，指纹图像的图像质量则越高。一个指纹图像(如指纹图像a)的图像质量高于另一个指纹图像(如指纹图像b)的图像质量，可以包括：指纹图像a的清晰度高于指纹图像b的清晰度，和/或指纹图像a的完整度高于指纹图像b的完整度。
当然，环境光强度、环境的干湿度和用户手指的干湿度，也会影响指纹图像质量。目前，屏下指纹按照不同的技术原理有三种实现方式：光学式屏下指纹、超声波式屏下指纹和电容式屏下指纹。其中，光学式屏下指纹因为图像质量较好且技术相对成熟被广泛应用于各种配置有触摸屏的电子设备。由于光学式屏下指纹是利用光的折射和反射原理来实现的；因此，光学式屏下指纹识别对环境光和干湿度比较敏感。需要说明的是，本申请实施例的方法，可以适用于通过上述光学式屏下指纹、超声波式屏下指纹和电容式屏下指纹等实现方式实现的屏下指纹方案。
具体的，本申请实施例提供的指纹识别方法中，如图2所示，如果电子设备的指纹识别失败，电子设备可以识别该电子设备的触摸屏是否处于贴膜状态(即进行贴膜识别)；若触摸屏处于贴膜状态，则电子设备可以对指纹传感器采集的指纹图像进行指纹图像修复，以减少由于贴膜对指纹识别的影响。然后，电子设备对修复后的指纹图像进行指纹识别(如图2所示的再次指纹识别)。这样，便可以提升屏下指纹识别的成功率。
示例性的，本申请实施例中的电子设备可以为便携式计算机(如手机)、平板电脑、笔记本电脑、个人计算机(personal computer，PC)、可穿戴电子设备(如智能手表)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备、车载电脑等，以下实施例对该电子设备的具体形式不做特殊限制。
以上述电子设备是手机为例。请参考图3，其示出本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。
其中，上述传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器180A，温度传感器，触摸传感器180B，环境光传感器，骨传导传感器等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器神经网络处理器(neural-network processing unit，NPU)，和/或微控制单元(micro controller unit，MCU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，串行外设接口(serial peripheral interface，SPI)，集成电路内置音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processorinterface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serialbus，USB)接口等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如Wi-Fi网络)，蓝牙(blue tooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，NFC，红外技术(infrared，IR)等无线通信的解决方案。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。该显示屏是触摸屏。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：贴膜状态识别，图像修复、图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
指纹传感器180A用于采集指纹信息。电子设备100可以利用采集的指纹信息的指纹特性进行用户身份校验(即指纹识别)，以实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
在本申请实施例中，上述指纹传感器180A可以设置于显示屏194下；或者，指纹传感器180A可以集成在显示屏194中。其中，指纹传感器180A可以设置于显示屏194的一个固定位置。例如，当电子设备100是触屏手机时，指纹传感器180A可以设置于触屏手机的触摸屏(即显示屏194)中靠近触屏手机的下侧的位置处。例如，如图4所示，指纹传感器180A可以设置于显示屏194的位置a处。或者，指纹传感器180A可以设置于整个显示屏194中。
触摸传感器180B，也称“触控面板(TP)”。触摸传感器180B可以设置于显示屏194，由触摸传感器180B与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180B用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180B也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
按键190包括开机键，音量键等。马达191可以产生振动提示。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。
本申请实施例提供一种指纹识别方法，该方法可以应用于具备屏下指纹识别功能的电子设备。该电子设备包括触摸屏，以及设置于触摸屏下的指纹传感器。以上述电子设备是手机为例，如图5所示，该指纹识别方法可以包括S501-S509。
S501、手机显示第一界面，手机采集用户在第一界面输入的第一指纹信息。
其中，上述第一界面可以包括以下至少一种界面：手机处于锁屏状态的界面，手机的指纹支付界面，手机中第一应用的部分功能的指纹录入界面。其中，第一应用可以是部分功能需要解锁(如指纹解锁)才可以使用的应用。例如，第一应用可以是“银行”应用，该“银行”应用的账户详情页需要解锁(如指纹解锁)才可以被手机显示出来。又例如，第一应用可以是“设置”应用，该“设置”应用的密码修改解密需要解锁(如指纹解锁)才可以被手机显示出来。
在第一种应用场景中，上述第一界面是手机处于锁屏状态的界面。其中，手机处于锁屏状态的界面可以是手机的黑屏界面，也可以是手机的锁屏界面。
手机在图6中的(a)所示的黑屏界面601或者图6中的(b)所示的锁屏界面602，均可以接收(由指纹传感器采集)用户输入的指纹信息。该指纹信息用于手机解锁。例如，手机接收用户在黑屏界面601或者锁屏界面602输入的指纹信息(如第一指纹信息)后，手机可以执行S502确定第一指纹信息和预设指纹信息是否匹配。S602之后，若第一指纹信息的指纹识别通过，手机则可以显示图6中的(c)所示的主界面603，即第二界面。
需要说明的是，本申请实施例中所述的“指纹识别通过”也可以称为“指纹识别成功”，“指纹识别未通过”也可以称为“指纹识别失败”。
具体的，手机可以确定第一指纹信息和预设指纹信息是否匹配。如果第一指纹信息和预设指纹信息匹配，则表示第一指纹信息的指纹识别通过。如果第一指纹信息和预设指纹信息不匹配，则第一指纹信息的指纹识别未通过。示例性的，如果第一指纹信息和预设指纹信息的匹配度高于或等于预设匹配度阈值，则表示第一指纹信息和预设指纹信息匹配。如果第一指纹信息和预设指纹信息的匹配度低于预设匹配度阈值，则表示第一指纹信息和预设指纹信息不匹配。例如，预设匹配度阈值可以为80％、90％或85％等任一数值。该预设匹配度阈值预先保存在手机中。上述预设指纹信息预先保存在手机中。
在第二种应用场景中，上述第一界面是手机的指纹支付界面，如图7中的(a)所示的支付界面701。手机在支付界面701可以接收(由指纹传感器采集)用户输入的指纹信息(如第一指纹信息)。之后，手机可以执行S502对第一指纹信息进行指纹识别。S502之后，若指纹识别通过，手机则可以显示图7中的(b)所示的支付成功界面702，即第二界面。
在第三种应用场景中，上述第一界面是手机中第一应用的部分功能的指纹录入界面。例如，手机可显示图8中的(a)所示的“银行”应用的主页801。响应于用户对“银行”应用的主页801中“我的”按钮802的点击操作，手机可显示图8中的(b)所示的指纹录入界面803。上述第一界面可以是该指纹录入界面803。手机在指纹录入界面803可以接收(由指纹传感器采集)用户输入的指纹信息(如第一指纹信息)。之后，手机可以执行S502对第一指纹信息进行指纹识别。S502之后，若指纹识别通过，则“银行”应用的账户详情页被解锁，手机则可以显示图8中的(c)所示的“银行”应用的账户详情页804，即第二界面。
S502、手机确定第一指纹信息和预设指纹信息是否匹配。
其中，手机确定第一指纹信息和预设指纹信息是否匹配的具体方法，可以参考上述实施例和常规技术中的指纹识别方法，本申请实施例这里不予赘述。在一些实施例中，S502是可选的。手机执行S501之后，可以直接执行S503。
在S502之后，如果第一指纹信息的指纹识别未通过，则表示该第一指纹信息与手机中预先保存的用于指纹识别的预设指纹信息不匹配，则表示第一指纹信息的指纹识别未通过。如果第一指纹信息的指纹识别未通过，则可能是因为以下三方面的原因：(1)用户没有使用正确的手指输入指纹信息；(2)用户的指纹纹路比较模糊，不容易被采集到；(3)用户输入指纹信息时手指与触摸屏的贴合度不足无法保证指纹传感器采集到指纹图像质量较高的指纹信息。即使存在上述第二种或第三种原因；但是，如果手机的触摸屏没贴膜，那么该触摸传感器采集的指纹信息的指纹识别是可能会成功的。因此，手机可以修复上述第一指纹信息，以提升指纹识别的成功率。具体的，在S502之后，如果第一指纹信息和预设指纹信息不匹配，则表示第一指纹信息的指纹识别未通过，手机可执行S503；如果第一指纹信息的指纹识别通过，手机则可以执行S508。
S503、手机确定触摸屏是否处于第一状态。
其中，该第一状态用于指示触摸屏处于贴膜状态。触摸屏处于贴膜状态，具体是指该触摸屏上贴有保护膜；触摸屏处于未贴膜状态，具体是指该触摸屏上没有贴保护膜。本申请实施例中所述的保护膜可以是钢化膜、水凝膜或者高清塑料膜等任一种保护膜。
示例性的，手机中可以预先配置有预设AI识别模型。该预设AI识别模型具备根据一个指纹图像确定对应触摸屏是否处于贴膜状态的能力。具体的，手机确定触摸屏是否处于贴膜状态的方法可以包括S503a-S503c。例如，如图9所示，上述S503可以包括S503a-S503c。
S503a、手机获取第一指纹信息的原始指纹数据，并获取预设指纹数据。
其中，上述原始指纹数据也可以称为原始(Raw)数据。RAW可翻译为“未经加工”。也就是说，上述原始指纹数据是未经过由指纹传感器采集的未经过处理的指纹图像。
上述预设指纹数据可以称为基础(Base)数据。该预设指纹数据包括基于触摸屏与指纹传感器的实际硬件参数产生的、影响指纹识别的成功率的噪声图像数据。例如，该预设指纹数据可以包括由于触摸屏与指纹传感器之间贴合不紧密而产生的噪声图像数据。该预设指纹数据可以是手机出厂前，对该手机进行大量测试得到的。该预设指纹数据预先配置在手机中。
S503b、手机对原始指纹数据和预设指纹数据进行特征融合，得到第一融合图像。
应理解，上述原始指纹数据是手机执行S501的过程中实时采集的。该原始指纹数据中包括上述基于触摸屏与指纹传感器的实际硬件参数产生的、影响指纹识别的成功率的噪声图像数据。因此，手机可以对原始指纹数据和预设指纹数据进行特征融合，以减少原始指纹数据中的噪声图像数据，得到第一融合图像。
在一些实施例中，手机对原始指纹数据和预设指纹数据进行特征融合，得到第一融合图像的方法可以包括S1-S2。也就是说，S503b包括S1-S2。
S1：手机采用预设指纹数据(即Base数据)，去除原始指纹数据(即Raw数据)中的噪声图像数据，得到第二融合图像。
其中，手机采用预设指纹数据，去除原始指纹数据中的噪声图像数据，得到第二融合图像的方法，可以参考常规技术中的相关描述，这里不予赘述。
S2：手机对第二融合图像进行归一化处理，得到第一融合图像。
应理解，手机采集的指纹图像的图像质量不仅会受到手机的硬件参数的影响，还可能会收到用户操作和光照的影响。例如，手机执行S1得到的第二融合图像可能会因为用户手指出汗、用户手指与触摸屏的贴合度不够，以及周围环境光照太强等原因，而出现亮度不均匀的情况。其中，如果用户手指与触摸屏的贴合度不够或者周围环境光照太强，则触摸屏上指纹传感器对应位置则容易反光，导致指纹图像的亮度不均匀。
基于此，手机可以执行S2，对第二融合图像进行归一化处理，得到第一融合图像。如此，可以使得融合图像中各像素点的亮度更加均匀。其中，上述第一融合图像中各像素点的亮度的均匀程度高于第二融合图像中各像素点的亮度的均匀程度。
其中，指纹图像的亮度的均匀程度可以通过该指纹图像的对比度来体现。指纹图像的对比度越高，则指纹图像的亮度的均匀程度越低；指纹图像的对比度越低，则指纹图像的亮度的均匀程度越高。采用该设计方式，可以对第二融合图像进行归一化处理以降低第二融合图像的对比度，从而提升第二融合图像的亮度的均匀程度。
应注意，本申请实施例中，手机对融合图像(如第二融合图像)进行归一化处理以提升融合图像的亮度的均匀程度的方法，可以参考常规技术中的相关描述，本申请实施例这里不予赘述。
S503c、手机将第一融合图像作为输入，运行预设AI识别模型，确定触摸屏是否处于第一状态。
其中，上述预设AI识别模型具备根据一个指纹图像确定对应触摸屏是否处于第一状态的能力。该对应触摸屏是指采集上述一个指纹图像的指纹传感器所在的触摸屏。
该预设AI识别模型预先配置在手机中。该预设AI识别模型的输出结果用于指示触摸屏是否处于贴膜状态。示例性的，该预设AI识别模型的输出结果可以为第一信息或第二信息。该第一信息用于指示触摸屏处于贴膜状态，该第二信息用于指示触摸屏处于非贴膜状态。例如，该第一信息可以为“1”，第二信息可以为“0”；或者，第一信息可以为“10”，第二信息可以为“00”。
示例性的，上述预设AI识别模型至少可以包括以下任一种网络模块：CNN模型或者ResNet模型中的任一种。
应注意，本申请实施例中所述的ResNet模型，可以是修改现有ResNet模型得到的。具体的，本申请实施例中所述的ResNet模型，可以是删除ResNet模型中除了用于实现二分类功能之外的其他分支后得到的模型。上述二分类功能是指解决二分类问题的能力。二分类问题的结果有两个：是(YES)或否(NO)。上述第一信息是YES，上述第二信息是NO。
示例性的，本申请实施例这里介绍上述预设AI识别模型的训练过程。
本申请实施例中，可以收集不同使用场景下，手机的指纹传感器采集的大量用户的多个指纹图像a和多个指纹图像b。其中，多个指纹图像a是手机的触摸屏处于贴膜状态时，手机的指纹传感器采集的指纹图像。多个指纹图像b是手机的触摸屏处于非贴膜状态时，手机的指纹传感器采集的指纹图像。然后，可以根据采集到的每个指纹图像a得到对应的融合图像a(即第一融合图像)，根据采集到的每个指纹图像b得到对应的融合图像b(即第一融合图像)。如此，可以得到多个贴膜训练样本和多个非贴膜训练样本。每个贴膜训练样本包括一个指纹图像a对应的融合图像a，每个非贴膜训练样本包括一个指纹图像b对应的融合图像b。
最后，可以将上述多个贴膜训练样本(即多个融合图像a)作为输入样本，将第一信息作为输出样本，来训练预设AI识别模型；还将上述多个非贴膜训练样本(即多个融合图像b)作为输入样本，将第二信息作为输出样本，来训练预设AI识别模型。如此，经过多次训练，该预设AI识别模型便可以具备根据一个指纹图像判断对应触摸屏是否处于贴膜状态的能力。
其中，上述不同使用场景可以包括手机可能被使用的多种场景。例如，该多种场景至少可以包括以下使用场景：高温场景、低温场景、环境光亮度较高的场景、环境光亮度较低的场景、室内场景、室外场景，以及白天场景和夜晚场景等可能影响指纹传感器采集的指纹图像的图像质量因素对应的场景。上述大量用户可以包括：不同年龄段的多个用户、不同性别的多个用户、不同职业的多个用户、手指湿润度不同的多个用户等。
在S503(或者S503c)之后，如果触摸屏处于第一状态，则表示第一指纹信息的指纹识别未通过的原因，可能是因为触摸屏上贴了保护膜，影响了指纹传感器采集的第一指纹信息的指纹图像质量。在这种情况下，手机可以执行S504，采用第一预设AI修复模型修复第一指纹信息，然后执行S505对修复后的第二指纹信息进行指纹识别。
在S503(或者S503c)之后，如果触摸屏处于第二状态，则表示第一指纹信息的指纹识别未通过的原因，并不是因为触摸屏上贴了保护膜影响了指纹传感器采集的第一指纹信息的指纹图像质量；而是因为其他原因导致的。上述第二状态用于指示触摸屏处于未贴膜状态。在一些实施例中，在S503之后，如果触摸屏处于未贴膜状态，手机可以执行S509，指示指纹识别失败。在另一些实施例中，在S503之后，如果触摸屏处于未贴膜状态，手机可以不执行S509，而是采用另一种预设AI修复模型(如第二预设AI修复模型)修复第一指纹信息得到第三指纹信息，然后对第三指纹信息进行指纹识别。
S504、手机将第一指纹信息作为输入，运行第一预设AI修复模型，得到第二指纹信息。第二指纹信息的指纹图像的图像质量高于第一指纹信息的指纹图像的图像质量。
例如，图10所示的指纹图像1001是第一指纹信息的指纹图像，图10所示的指纹图像1002是第二指纹信息的指纹图像。如图10所示，指纹图像1002的图像质量高于指纹图像1001的图像质量。
其中，上述第一预设AI修复模型具备修复指纹图像提升图像质量的能力。该第一预设AI修复模型预先配置在手机中。该第一预设AI修复模型的输入为修复前的图像(如上述第一指纹信息)，该第一预设AI修复模型的输出为修复后的图像(如上述第二指纹信息)。
该第一预设AI修复模型是将多组第一组指纹图像作为训练样本训练得到的。每个第一组指纹图像包括第一指纹图像和第二指纹图像。该第一指纹图像是触摸屏处于贴膜状态时指纹传感器采集的。该第二指纹图像是该第一指纹图像修复后的图像。其中，该第二指纹图像可以是使用预先配置的图像修复工具(如AI模型)修复第一指纹图像得到的。
示例性的，本申请实施例这里介绍上述第一预设AI修复模型的训练过程。
本申请实施例中，可以收集多组第一组指纹图像，每组第一组指纹图像中包括一个第一指纹图像A和一个第二指纹图像B。该第二指纹图像B是使用预先配置的图像修复工具(如AI模型)修复第一指纹图像A得到的，第二指纹图像B的图像质量高于同组第一指纹图像A的图像质量。然后，可以分别将每组第一组指纹图像中的第一指纹图像A作为输入样本，将该组第一组指纹图像中的第二指纹图像B作为输出样本，来训练第一预设AI修复模型。如此，经过多次训练，该第一预设AI修复模型便可以具备修复指纹图像提升图像质量的能力。
在一些实施例中，上述第一预设AI修复模型可以是全卷积网络(fullyconvolutional networks，FCN)模型。在另一些实施例中，上述第一预设AI修复模型可以是Unet模型。其中，相比于FCN模型，Unet模型更加小型化。因此，Unet模型更适合小型终端，如手机、平板电脑或者穿戴设备等。
在另一些实施例中，上述第一预设AI修复模型是Garbor滤波器。该Garbor滤波器具备从第一指纹信息中提取方向场图像，并采用方向场图像修复第一指纹信息得到第二指纹信息的能力。该方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向。
应理解，由于上述方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向；因此，采用该方向场图像可以确定出第一指纹信息中指纹图像的指纹脊线的走向，根据该第一指纹信息中指纹图像的指纹脊线的走向，可以将第一指纹信息中的指纹断续点补充完整。如此，便可以得到图像质量高于第一指纹信息的第二指纹信息。
S505、手机确定第二指纹信息和预设指纹信息是否匹配。
其中，手机确定第二指纹信息和预设指纹信息是否匹配，即对第二指纹信息进行指纹识别的具体方法，可以参考上述实施例和常规技术中的指纹识别方法，本申请实施例这里不予赘述。
在S505之后，如果第二指纹信息的指纹识别通过(即第二指纹信息和预设指纹信息匹配)，手机则可以执行S508。如果第二指纹信息的指纹识别未通过(即第二指纹信息和预设指纹信息不匹配)，手机则可以执行S509。
S506、手机将第一指纹信息作为输入，运行第二预设AI修复模型，得到第三指纹信息。第三指纹信息的指纹图像的图像质量高于第一指纹信息的指纹图像的图像质量。
例如，图10所示的指纹图像1003是第一指纹信息的指纹图像，图10所示的指纹图像1004是第三指纹信息的指纹图像。如图10所示，指纹图像1004的图像质量高于指纹图像1003的图像质量。
其中，上述第二预设AI修复模型具备修复指纹图像提升图像质量的能力。该第二预设AI修复模型预先配置在手机中。该第二预设AI修复模型的输入为修复前的图像(如上述第一指纹信息)，该第二预设AI修复模型的输出为修复后的图像(如上述第三指纹信息)。
该第二预设AI修复模型是将多组第二组指纹图像作为训练样本训练得到的。每个第二组指纹图像包括第三指纹图像和第四指纹图像。该第三指纹图像是触摸屏处于未贴膜状态时指纹传感器采集的。该第四指纹图像是该第三指纹图像修复后的图像。其中，该第四指纹图像可以是使用预先配置的图像修复工具(如AI模型)修复第三指纹图像得到的。
示例性的，本申请实施例这里介绍上述第二预设AI修复模型的训练过程。
本申请实施例中，可以收集多组第二组指纹图像，每组第二组指纹图像中包括一个第三指纹图像C和一个第四指纹图像D。该第四指纹图像D是使用预先配置的图像修复工具(如AI模型)修复第三指纹图像C得到的，第四指纹图像D的图像质量高于同组第三指纹图像C的图像质量。然后，可以分别将每组第二组指纹图像中的第三指纹图像C作为输入样本，将该组第二组指纹图像中的第四指纹图像D作为输出样本，来训练第二预设AI修复模型。如此，经过多次训练，该第二预设AI修复模型便可以具备修复指纹图像提升图像质量的能力。
在一些实施例中，上述第二预设AI修复模型可以是FCN模型。在另一些实施例中，上述第二预设AI修复模型可以是Unet模型。
在另一些实施例中，上述第二预设AI修复模型是Garbor滤波器。该Garbor滤波器具备从第一指纹信息中提取方向场图像，并采用方向场图像修复第一指纹信息得到第三指纹信息的能力。该方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向。
应理解，由于上述方向场图像用于表征第一指纹信息中指纹图像的指纹脊线的走向；因此，采用该方向场图像可以确定出第一指纹信息中指纹图像的指纹脊线的走向，根据该第一指纹信息中指纹图像的指纹脊线的走向，可以将第一指纹信息中的指纹断续点补充完整。如此，便可以得到图像质量高于第一指纹信息的第三指纹信息。
需要说明的是，第一预设AI修复模型与第二预设AI修复模型是采用不同的训练样本训练得到的。具体的，第一预设AI修复模型是采用上述多组第一组指纹图像作为训练样本训练得到的；第二预设AI修复模型是采用上述多组第二组指纹图像作为训练样本训练得到的。其中，每个第一组指纹图像包括触摸屏处于贴膜状态时指纹传感器采集的第一指纹图像，以及修复第一指纹图像得到的第二指纹图像。而每个第二组指纹图像包括触摸屏处于非贴膜状态时指纹传感器采集的第三指纹图像，以及修复第三指纹图像得到的第四指纹图像。
也就是说，上述第一预设AI修复模型是采用触摸屏处于贴膜状态时指纹传感器采集的指纹图像训练得到的；而第二预设AI修复模型是采用触摸屏处于非贴膜状态时指纹传感器采集的指纹图像训练得到的。因此，该第一预设AI修复模型针对贴膜状态下采集的指纹图像进行图像修复的效果会更好；而第二预设AI模型针对非贴膜状态下采集的指纹图像进行图像修复的效果会更好。
本申请实施例的方法，如果指纹识别，手机可以在触摸屏处于不同状态(如贴膜状态或非贴膜状态)时，采用不同的AI修复模型修复指纹传感器采集的指纹图像，以提升指纹图像的图像质量。这样，可以在触摸屏处于不同状态时，针对性的提升指纹图像的图像质量，从而可以提升指纹识别的成功率。
S507、手机确定第三指纹信息和预设指纹信息是否匹配。
其中，手机确定第三指纹信息和预设指纹信息是否匹配，即手机对第三指纹信息进行指纹识别的具体方法，可以参考常规技术中的指纹识别方法，本申请实施例这里不予赘述。
在S509之后，如果第三指纹信息的指纹识别通过(即第三指纹信息和预设指纹信息匹配)，手机则可以执行S508。如果第三指纹信息的指纹识别未通过(即第三指纹信息和预设指纹信息不匹配)，手机则可以执行S509。
S508、手机显示第二界面。该第二界面是第一界面通过指纹识别后手机的显示界面。
例如，在上述第一种应用场景中，第二界面可以是图6中的(c)所示的主界面603。又例如，在上述第二种应用场景中，第二界面可以是图7中的(b)所示的支付成功界面702。又例如，在上述第三种应用场景中，第二界面可以是“银行”应用的账户详情页804。
S509、手机显示第三界面。该第三界面包括提示信息，该提示信息用于指示指纹识别失败。
其中，手机发出用于指示指纹识别未通过(即指纹识别失败)的提示信息的方法，可以参考常规技术中的相关描述，这里不予赘述。
示例性的，请参考图11，其示出本申请实施例提供的一种指纹识别方法的原理示意图。手机可以执行图11所示的指纹识别1101，采用指纹识别算法对第一指纹信息进行指纹识别1，得到指纹识别反馈(即指纹识别结果)。该指纹识别反馈可以为指纹识别失败或者成功。其中，图11所示的1101相当于上述S502。
图11所示的1101之后，如果指纹识别成功(即指纹识别通过)，手机可以显示第二界面。该第二界面是第一界面通过指纹识别后手机的显示界面。
图11所示的1101之后，如果指纹识别失败(即指纹识别未通过)，手机可执行图11所示的贴膜识别1102，将原始指纹数据(如RAW数据)和预设指纹数据(如Base数据)融合得到融合后的图像(即第一融合图像)，并将融合后的图像作为数据采用预设AI识别算法得到识别结果。该识别结果用于指示手机的触摸屏是否处于贴膜状态。应理解，该预设AI识别算法是上述预设AI识别模型进行贴膜识别所采用的算法。其中，图11所示的1102相当于S503。
图11所示的1102之后，如果手机的触摸屏处于贴膜状态，手机则可以执行图11所示的1103，采用第一预设AI修复算法修复预处理后的图像(如第一指纹信息)，得到修复后的图像(如第二指纹信息)。应理解，该第一预设AI修复算法是上述第一预设AI修复模型进行图像修复所采用的算法。其中，图11所示的1103相当于S504。
图11所示的1103之后，手机可执行图11所示的1104，采用指纹识别算法对修复后的图像(如第二指纹信息)进行指纹识别2，得到指纹识别反馈(即指纹识别结果)。该指纹识别反馈可以为指纹识别失败或者成功。其中，图11所示的1104相当于上述S505。
图11所示的1102之后，如果手机的触摸屏处于非贴膜状态，手机则可以执行图11所示的1105，采用第二预设AI修复算法修复预处理后的图像(如第一指纹信息)，得到修复后的图像(如第三指纹信息)。应理解，该第二预设AI修复算法是上述第二预设AI修复模型进行图像修复所采用的算法。其中，图11所示的1105相当于S506。
图11所示的1105之后，手机可执行图11所示的1106，采用指纹识别算法对修复后的图像(如第三指纹信息)进行指纹识别3，得到指纹识别反馈(即指纹识别结果)。该指纹识别反馈可以为指纹识别失败或者成功。其中，图11所示的1106相当于上述S507。
由上述描述可知：手机执行贴膜识别1102，可以对原始指纹数据(如RAW数据)和预设指纹数据(如Base数据)进行图像融合。这样，可以减少原始指纹数据中的噪声图像数据。
在另一些实施例中，手机还可以对融合后的图像进行归一化，以提升融合后的图像中各像素点的亮度的均匀程度。例如，上述S503b可以包括S1-S2。
在另一些实施例中，原始指纹数据(如RAW数据)和预设指纹数据(如Base数据)进行图像融合，只可以去除原始指纹数据中的部分噪声图像数据，还有一些高斯噪声是无法通过图像融合去除的。基于此，本申请实施例中，如图12所示，手机可以对上述融合后的图像进行归一化处理，然后对归一化后的图像进行高斯滤波。具体的，上述S503b可以包括S-a、S-b和S-c。
S-a：手机采用预设指纹数据(即Base数据)，去除原始指纹数据(即Raw数据)中的噪声图像数据，得到第二融合图像。
其中，S-a的详细描述，可以参考上述实施例对S1的介绍，本申请实施例这里不予赘述。
S-b：手机对第二融合图像进行归一化处理，得到第三融合图像。
其中，S-b的详细描述，可以参考上述实施例对S2的介绍，本申请实施例这里不予赘述。
S-c：手机对第三融合图像进行高斯滤波，得到第一融合图像。
手机可以执行S-c，可以滤除掉第三融合图像中的高斯噪声，得到第一融合图像。本申请实施例中，手机对融合图像(如第三融合图像)进行高斯滤波的方法，可以参考常规技术中的相关描述，本申请实施例这里不予赘述。
在另一些实施例中，为了进一步提升指纹识别的成功率，如图13所示，1103还可以包括：手机对预处理的图像(如第一指纹信息)进行归一化处理。其中，对第一指纹信息进行归一化处理可以提升第一指纹信息的指纹图像中各像素的亮度的均匀程度。然后，如图13所示，手机可以将归一化后的第一指纹信息作为输入，运行第一预设AI修复模型，得到修复后的图像1。最后，如图13所示，手机可以将归一化后的第一指纹信息和修复后的图像1进行图像融合，得到第二指纹图像。其中，将归一化后的第一指纹信息和修复后的图像1进行图像融合，可以得到纹理更加清晰、断续点更少的指纹图像。也就是说，相比于修复后的图像1，融合后得到的第二指纹图像的纹理更加清晰、断续点更少。如此，对融合后得到的第二指纹图像进行指纹识别的成功率更高。
在另一些实施例中，为了进一步提升指纹识别的成功率，如图14所示，1105还可以包括：手机对预处理的图像(如第一指纹信息)进行归一化处理。其中，对第一指纹信息进行归一化处理可以提升第一指纹信息的指纹图像中各像素的亮度的均匀程度。然后，如图14所示，手机可以将归一化后的第一指纹信息作为输入，运行第二预设AI修复模型，得到修复后的图像2。最后，如图14所示，手机可以将归一化后的第一指纹信息和修复后的图像2进行图像融合，得到第三指纹图像。其中，将归一化后的第一指纹信息和修复后的图像2进行图像融合，可以得到纹理更加清晰、断续点更少的指纹图像。也就是说，相比于修复后的图像2，融合后得到的第三指纹图像的纹理更加清晰、断续点更少。如此，对融合后得到的第三指纹图像进行指纹识别的成功率更高。
本申请实施例提供了一种电子设备，该电子设备可以包括：上述触摸屏、存储器和一个或多个处理器。该电子设备还可以包括指纹传感器。该指纹传感器与触摸屏可以提供屏下指纹功能。该触摸屏、指纹传感器存储器和处理器耦合。该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令。当处理器执行计算机指令时，电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图3所示的电子设备100的结构。
本申请实施例还提供一种计算机存储介质，该计算机存储介质包括计算机指令，当所述计算机指令在电子设备上运行时，使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种指纹识别方法，其特征在于，所述方法应用于包括触摸屏的电子设备，所述电子设备还包括指纹传感器，所述方法包括：
所述电子设备显示第一界面；
所述电子设备采集用户在所述第一界面输入的第一指纹信息；
所述电子设备确定所述触摸屏是否处于第一状态，所述第一状态用于指示所述触摸屏处于贴膜状态；
若所述触摸屏处于所述第一状态：
所述电子设备对所述第一指纹信息进行归一化处理，得到归一化后的第一指纹信息，所述归一化后的第一指纹信息的指纹图像中各像素点的亮度的均匀程度高于所述第一指纹信息的指纹图像中各像素点的亮度的均匀程度；
所述电子设备采用第一预设人工智能AI修复模型修复所述归一化后的第一指纹信息，得到修复后的图像；
所述电子设备将所述归一化后的第一指纹信息和所述修复后的图像融合，得到第二指纹信息，所述第二指纹信息的指纹纹理的清晰度高于所述第一指纹信息的指纹纹理的清晰度，所述第二指纹信息的指纹纹理的断续点数量少于所述第一指纹信息的指纹纹理的断续点数量；
所述电子设备确定所述第二指纹信息与预设指纹信息匹配，显示第二界面；
其中，所述电子设备确定所述触摸屏是否处于第一状态，包括：
所述电子设备获取所述第一指纹信息的原始指纹数据，所述原始指纹数据是由指纹传感器采集的未经过处理的指纹图像；
所述电子设备采用预设指纹数据，去除所述原始指纹数据中的噪声图像数据，得到第二融合图像，所述预设指纹数据是指基于所述触摸屏与所述指纹传感器的实际硬件参数产生的、影响指纹识别的成功率的噪声图像数据，所述预设指纹数据包括由于所述触摸屏与所述指纹传感器之间贴合不紧密而产生的噪声图像数据；
所述电子设备对所述第二融合图像进行归一化处理后，得到第一融合图像；其中，所述第一融合图像中各像素点的亮度的均匀程度高于所述第二融合图像中各像素点的亮度的均匀程度；
所述电子设备将所述第一融合图像作为输入，运行预设AI识别模型，确定所述触摸屏是否处于所述第一状态。
2.根据权利要求1所述的方法，其特征在于，在所述电子设备确定所述触摸屏是否处于第一状态之前，所述方法还包括：
所述电子设备确定所述第一指纹信息与所述预设指纹信息不匹配；
所述电子设备显示第三界面，所述第三界面包括提示信息，所述提示信息用于指示指纹识别失败。
3.根据权利要求1或2所述的方法，其特征在于，在所述电子设备确定所述触摸屏是否处于第一状态之后，所述方法还包括：
若所述触摸屏处于第二状态，所述电子设备采用第二预设AI修复模型修复所述第一指纹信息得到第三指纹信息，所述第二状态用于指示所述触摸屏处于非贴膜状态，所述第三指纹信息的指纹图像的图像质量高于所述第一指纹信息的指纹图像的图像质量；
所述电子设备确定所述第三指纹信息与所述预设指纹信息匹配，显示所述第二界面；
其中，所述第一预设AI修复模型与所述第二预设AI修复模型不同。
4.根据权利要求1或2所述的方法，其特征在于，所述第一界面包括以下至少一种界面：
所述电子设备处于锁屏状态的界面，所述电子设备的指纹支付界面，所述电子设备中第一应用的部分功能的指纹解锁界面。
5.根据权利要求1或2所述的方法，其特征在于，所述电子设备对所述第二融合图像进行归一化处理后，得到所述第一融合图像，包括：
所述电子设备对所述第二融合图像进行归一化处理，得到第三融合图像，所述第三融合图像中各像素点的亮度的均匀程度高于所述第二融合图像中各像素点的亮度的均匀程度；
所述电子设备对所述第三融合图像进行高斯滤波，得到所述第一融合图像，所述第一融合图像中不包括所述第三融合图像中的高斯噪声。
6.根据权利要求1或2所述的方法，其特征在于，所述预设AI识别模型包括卷积神经网络CNN模型或者残差网络ResNet模型中的任一种。
7.根据权利要求1或2所述的方法，其特征在于，所述电子设备采用第一预设人工智能AI修复模型修复归一化后的第一指纹信息，得到修复后的图像，包括：
所述电子设备将所述归一化后的第一指纹信息作为输入，运行所述第一预设AI修复模型，得到修复后的图像；
其中，所述第一预设AI修复模型是将多个第一组指纹图像作为训练样本训练得到的，每个第一组指纹图像包括第一指纹图像和第二指纹图像，所述第一指纹图像是所述触摸屏处于所述第一状态时采集的，所述第二指纹图像是预配置的所述第一指纹图像修复后的图像。
8.根据权利要求7所述的方法，其特征在于，所述第一预设AI修复模型是全卷积网络FCN模型；或者，
所述第一预设AI修复模型是Unet模型；或者，
所述第一预设AI修复模型是Garbor滤波器。
9.根据权利要求3所述的方法，其特征在于，所述电子设备采用第二预设AI修复模型修复所述第一指纹信息得到第三指纹信息，包括：
所述电子设备将所述第一指纹信息作为输入，运行所述第二预设AI修复模型，得到所述第三指纹信息；
其中，所述第二预设AI修复模型是将多个第二组指纹图像作为训练样本训练得到的，每个第二组指纹图像包括第三指纹图像和第四指纹图像，所述第三指纹图像是所述触摸屏处于所述第二状态时采集的，所述第四指纹图像是预配置的所述第三指纹图像修复后的图像。
10.根据权利要求9所述的方法，其特征在于，所述第二预设AI修复模型是FCN模型；或者，
所述第二预设AI修复模型是Unet模型；或者，
所述第二预设AI修复模型是Garbor滤波器。
11.一种电子设备，其特征在于，包括：触摸屏、存储器和一个或多个处理器，所述电子设备还包括指纹传感器；所述触摸屏、所述存储器、所述指纹传感器与所述处理器耦合；其中，所述存储器中存储有计算机程序代码，所述计算机程序代码包括计算机指令，当所述计算机指令被所述处理器执行时，使得所述电子设备执行如权利要求1-10任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-10中任一项所述的方法。
13.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-10中任一项所述的方法。
CN202110363678.6A 2021-04-02 2021-04-02 一种指纹识别方法及电子设备 Active CN113723167B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110363678.6A CN113723167B (zh) 2021-04-02 2021-04-02 一种指纹识别方法及电子设备
EP22778365.1A EP4206983A4 (en) 2021-04-02 2022-02-09 FINGERPRINT IDENTIFICATION METHOD AND ELECTRONIC DEVICE
PCT/CN2022/075709 WO2022206177A1 (zh) 2021-04-02 2022-02-09 一种指纹识别方法及电子设备
US18/029,799 US20240005695A1 (en) 2021-04-02 2022-02-09 Fingerprint Recognition Method and Electronic Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110363678.6A CN113723167B (zh) 2021-04-02 2021-04-02 一种指纹识别方法及电子设备

Publications (2)

Publication Number Publication Date
CN113723167A CN113723167A (zh) 2021-11-30
CN113723167B true CN113723167B (zh) 2024-07-02

Family

ID=78672623

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110363678.6A Active CN113723167B (zh) 2021-04-02 2021-04-02 一种指纹识别方法及电子设备

Country Status (4)

Country Link
US (1) US20240005695A1 (zh)
EP (1) EP4206983A4 (zh)
CN (1) CN113723167B (zh)
WO (1) WO2022206177A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723167B (zh) * 2021-04-02 2024-07-02 荣耀终端有限公司 一种指纹识别方法及电子设备
US20230119918A1 (en) * 2021-10-14 2023-04-20 Thales Dis France Sas Deep learning based fingerprint minutiae extraction
TWI793030B (zh) * 2022-06-02 2023-02-11 義隆電子股份有限公司 具有指紋感測器的卡片及其製造方法
CN117707353A (zh) * 2023-07-12 2024-03-15 荣耀终端有限公司 一种手写笔笔迹校正参数确定方法及装置
CN117711031A (zh) * 2023-08-03 2024-03-15 荣耀终端有限公司 一种指纹匹配方法及电子设备
CN117456571A (zh) * 2023-12-21 2024-01-26 荣耀终端有限公司 一种指纹识别方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256383A (zh) * 2017-05-22 2017-10-17 广东欧珀移动通信有限公司 指纹的采集方法及相关产品
CN111524480A (zh) * 2020-07-03 2020-08-11 深圳市汇顶科技股份有限公司 一种屏下光学装置及显示屏贴膜的检测方法
CN111710029A (zh) * 2020-05-29 2020-09-25 上海红阵信息科技有限公司 一种伪造指纹破解智能终端设备密码方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5679282B2 (ja) * 2010-10-19 2015-03-04 Ｎｅｃソリューションイノベータ株式会社 芯線幅測定装置、芯線幅計算方法、芯線幅計算プログラム
WO2017161501A1 (zh) * 2016-03-22 2017-09-28 深圳市汇顶科技股份有限公司 指纹图像的校正方法、装置和终端
CN106940598B (zh) * 2016-12-20 2019-12-03 上海交通大学 集触控和指纹识别的光学触摸屏
CN107122761B (zh) * 2017-05-16 2020-03-17 Oppo广东移动通信有限公司 指纹图像处理方法及相关产品
CN109711308B (zh) * 2018-12-19 2021-06-01 北京集创北方科技股份有限公司 指纹组件、电子设备及其指纹信号处理方法
CN109522885B (zh) * 2019-01-08 2024-06-14 深圳市台技光电有限公司 适用于超声波指纹识别功能的钢化玻璃保护膜及制备方法
KR20200101158A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 지문 센서를 포함하는 전자 장치
WO2020186415A1 (zh) * 2019-03-18 2020-09-24 深圳市汇顶科技股份有限公司 指纹识别的装置、方法和电子设备
CN110399852B (zh) * 2019-07-30 2021-07-20 Oppo广东移动通信有限公司 超声波模组的控制方法及相关产品
CN111191642B (zh) * 2020-04-08 2020-07-21 腾讯科技（深圳）有限公司 基于多任务分类的指纹防伪识别方法、装置及电子设备
CN111985391B (zh) * 2020-08-18 2023-11-28 Oppo（重庆）智能科技有限公司 保护膜的检测方法、装置、移动终端及存储介质
CN112257571A (zh) * 2020-10-20 2021-01-22 北京集创北方科技股份有限公司 生物特征图像的采集方法以及电子设备
CN113723167B (zh) * 2021-04-02 2024-07-02 荣耀终端有限公司 一种指纹识别方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107256383A (zh) * 2017-05-22 2017-10-17 广东欧珀移动通信有限公司 指纹的采集方法及相关产品
CN111710029A (zh) * 2020-05-29 2020-09-25 上海红阵信息科技有限公司 一种伪造指纹破解智能终端设备密码方法
CN111524480A (zh) * 2020-07-03 2020-08-11 深圳市汇顶科技股份有限公司 一种屏下光学装置及显示屏贴膜的检测方法

Also Published As

Publication number Publication date
US20240005695A1 (en) 2024-01-04
WO2022206177A1 (zh) 2022-10-06
EP4206983A1 (en) 2023-07-05
CN113723167A (zh) 2021-11-30
EP4206983A4 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
CN113723167B (zh) 一种指纹识别方法及电子设备
US10776646B2 (en) Identification method and apparatus and computer-readable storage medium
CN110471606B (zh) 输入方法及电子设备
CN111103922B (zh) 摄像头、电子设备和身份验证方法
CN114168065B (zh) 调整内存配置参数的方法和装置
CN117632067A (zh) 一种屏幕显示方法及电子设备
EP3809361B1 (en) Wrinkle detection method and electronic device
CN112241657A (zh) 一种指纹防伪方法和电子设备
CN111768352B (zh) 图像处理方法及装置
CN110780929B (zh) 调用硬件接口的方法及电子设备
CN111027490A (zh) 人脸属性识别方法及装置、存储介质
CN111445413A (zh) 图像处理方法、装置、电子设备及存储介质
CN112115748B (zh) 证件图像识别方法、装置、终端及存储介质
CN107944024B (zh) 一种确定音频文件的方法和装置
CN111027374B (zh) 一种图像识别方法及电子设备
CN115437601B (zh) 图像排序方法、电子设备、程序产品及介质
CN113747057B (zh) 一种图像处理方法、电子设备、芯片系统和存储介质
CN115442474B (zh) 信息保护方法、电子设备、计算机存储介质、计算机程序产品及芯片系统
CN111460942B (zh) 接近检测方法及装置、计算机可读介质及终端设备
CN111026285B (zh) 一种调节压力阈值的方法及电子设备
CN111985305A (zh) 防窥屏方法、装置及终端设备
CN116048769B (zh) 内存回收方法、装置和终端设备
CN117711014B (zh) 隔空手势识别方法、装置、电子设备及可读存储介质
CN116048681B (zh) 图标显示方法、电子设备和计算机可读存储介质
CN116719569B (zh) 启动应用的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant