CN110232349B - 屏下指纹去底纹方法、装置、计算机设备和存储介质 - Google Patents

屏下指纹去底纹方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110232349B
CN110232349B CN201910495781.9A CN201910495781A CN110232349B CN 110232349 B CN110232349 B CN 110232349B CN 201910495781 A CN201910495781 A CN 201910495781A CN 110232349 B CN110232349 B CN 110232349B
Authority
CN
China
Prior art keywords
image
difference value
base class
target
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910495781.9A
Other languages
English (en)
Other versions
CN110232349A (zh
Inventor
许姜严
李绪琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201910495781.9A priority Critical patent/CN110232349B/zh
Publication of CN110232349A publication Critical patent/CN110232349A/zh
Application granted granted Critical
Publication of CN110232349B publication Critical patent/CN110232349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及一种屏下指纹去底纹方法、装置、计算机设备和存储介质。包括:获取当前指纹图像与预设的底库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类;根据目标底库类,得到目标图像集;对目标图像集中的指纹图像进行加权处理,得到平均图像;根据当前指纹图像与平均图像,得到去底纹图像。能够避免较多底纹无法去除的现象,减少底纹在指纹图像识别中造成的干扰,提升指纹识别效率。

Description

屏下指纹去底纹方法、装置、计算机设备和存储介质
技术领域
本申请涉及指纹识别技术领域,特别涉及一种屏下指纹去底纹方法、装置、计算机设备和存储介质。
背景技术
随着指纹识别技术的不断发展,屏下指纹识别技术以其独有的优势受到广大制造商的青睐。其中,光学式屏下指纹识别可以很大程度上避免环境光的干扰,在极端环境下获得更好的稳定性。但是,利用光学式屏下指纹技术采集到的指纹图像通常包含指纹信息和底纹信息两部分,因此要想获得指纹图像,必须先进行去底纹运算。目前,多数光学屏下指纹去底纹算法是将距离当前指纹图像前一定时间范围内的多张图像作为底库图像,然后将这些底库图像进行加权得到一张平均图像,最后使用当前指纹图像与平均图像相减,得到当前指纹图像去底纹后的指纹图像。
然而,传统屏下指纹去底纹方法容易在状态切换或补光不一致时,造成较多底纹无法去除的现象,这些无法去除的底纹会在指纹图像中造成较多的干扰,为指纹识别带来困难。
发明内容
基于此,有必要针对上述技术问题,提供一种屏下指纹去底纹方法、装置、计算机设备和存储介质。
一种屏下指纹去底纹方法,所述方法包括:
获取当前指纹图像与预设的底库类之间的底库类差异值,根据所述底库类差异值,从所述底库类中确定出目标底库类;
根据所述目标底库类,得到目标图像集;
对所述目标图像集中的指纹图像进行加权处理,得到平均图像;
根据所述当前指纹图像与所述平均图像,得到去底纹图像。
在其中一个实施例中,所述获取当前指纹图像与预设的底库类之间的底库类差异值,根据所述底库类差异值,从所述底库类中确定出目标底库类,包括:
根据所述当前指纹图像与所述
获取当前指纹图像与预设的底库类之间的底库类差异值,根据所述底库类差异值,从所述底库类中确定出目标底库类,包括:
根据所述当前指纹图像与所述底库类中的指纹图像,得到与每一个底库类对应的底库类差异值;
比较所述底库类差异值,得到最小底库类差异值;
将所述最小底库类差异值对应的底库类,确定为所述目标底库类。
在其中一个实施例中,所述根据所述当前指纹图像与所述底库类中的指纹图像,得到与每一个底库类对应的底库类差异值,包括:
根据所述当前指纹图像与所述底库类中的指纹图像,得到与每一个底库类对应的第一图像差异值集;
根据所述第一图像差异值集,得到最小图像差异值和平均图像差异值;
根据所述最小图像差异值和所述平均图像差异值,得到与每一个底库类对应的底库类差异值。
在其中一个实施例中,所述将所述最小底库类差异值对应的底库类,确定为所述目标底库类,之前还包括:
判断所述最小底库类差异值与第一预设阈值的大小;
若所述最小底库类差异值小于所述第一预设阈值,则执行所述将所述最小底库类差异值对应的底库类,确定为所述目标底库类的步骤。
在其中一个实施例中,所述方法还包括:
若所述最小底库类差异值大于所述第一预设阈值,则将所述当前指纹图像存入一个新的底库类中。
在其中一个实施例中,所述根据目标底库类,得到目标图像集,包括:
获取所述当前指纹图像与所述目标底库类中的指纹图像之间的图像差异值,根据所述图像差异值,从所述目标底库类中的指纹图像中确定出所述目标图像集;或,
将所述目标底库类中的指纹图像确定为所述目标图像集。
在其中一个实施例中,所述获取所述当前指纹图像与所述目标底库类中的指纹图像之间的图像差异值,根据所述图像差异值,从所述目标底库类中的指纹图像中确定出所述目标图像集,包括:
根据所述当前指纹图像和所述目标底库类,将与所述目标底库类对应的第一图像差异值集确定为第二图像差异值集;
根据预设条件,从所述第二图像差异值集中筛选出目标图像差异值集;
将与所述目标图像差异值集中的目标图像差异值所对应的指纹图像,确定为所述目标图像集。
在其中一个实施例中,所述加权处理中的加权值与所述图像差异值之间负相关。
在其中一个实施例中,所述根据所述当前指纹图像与所述平均图像,得到去底纹图像,包括:
用所述当前指纹图像减去所述平均图像,得到所述去底纹图像。
在其中一个实施例中,所述根据所述当前指纹图像与所述平均图像,得到去底纹图像,之后还包括:
将所述当前指纹图像存入所述目标底库类中,对所述底库类进行更新。
在其中一个实施例中,所述方法还包括:
检测所述底库类的使用频率,若所述底库类的使用频率小于第二预设阈值,则将使用频率小于所述第二预设阈值的底库类从所述预设的底库类中删除。
一种屏下指纹去底纹装置,所述装置包括:
目标底库类获取模块,用于获取当前指纹图像与预设的底库类之间的底库类差异值,根据所述底库类差异值,从所述底库类中确定出目标底库类;
目标图像集获取模块,用于根据所述目标底库类,得到目标图像集;
平均图像获取模块,用于对所述目标图像集中的指纹图像进行加权处理,得到平均图像;
去底纹图像获取模块,用于根据所述当前指纹图像与所述平均图像,得到去底纹图像。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
上述屏下指纹去底纹方法、装置、计算机设备和存储介质,通过获取当前指纹图像与预设的底库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类,进一步,根据目标底库类,得到目标图像集,接着,对目标图像集中的指纹图像进行加权处理,得到平均图像,根据当前指纹图像与平均图像,得到去底纹图像。其中,利用当前指纹图像与底库类之间的差异值,选取目标底库类,并进一步在目标底库类中选取指纹图像进行去底纹运算的方式,可以实现根据当前指纹图像的自身状态属性选定去底纹的底库类和指纹图像,消除状态切换或补光不一致对当前指纹图像的影响,避免较多底纹无法去除的现象,减少底纹在指纹图像识别中造成的干扰,提升指纹识别效率。
附图说明
图1为一个实施例中屏下指纹去底纹方法的流程示意图;
图2为一个实施例中步骤S100的细化步骤的流程示意图;
图3为一个实施例中步骤S110的细化步骤的流程示意图;
图4为一个实施例中步骤S210的细化步骤的流程示意图;
图5为一个实施例中去底纹图像的效果图;
图6为一个实施例中屏下指纹去底纹装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解本申请中所使用的术语“第一”、“第二”等可在本文中用于描述各种条件关系,但这些条件关系不受这些术语限制。这些术语仅用于将一个条件关系与另一个条件关系区分开来。
在一个实施例中,如图1所示,提供了一种屏下指纹去底纹方法,包括以下步骤:
步骤S100,获取当前指纹图像与预设的底库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类。
其中,当前指纹图像为待处理的去底纹图像,包含指纹信息和底纹信息两部分,图像中的指纹信息和底纹信息杂糅在一起。预设的底库类可以为一个或多个,每一底库类中包含一张或多张之前采集到的指纹图像,同样地,底库类中的指纹图像也包含指纹信息和底纹信息两部分,其中的指纹信息和底纹信息杂糅在一起。
具体地,计算当前指纹图像与每一个底库类之间的差异值,得到一个或多个底库类差异值,根据底库类差异值对底库类进行筛选,得到目标底库类。例如,有多个预设的底库类,分别为底库类1、底库类2、……、库底类N,分别计算当前指纹图像与底库类1、底库类2、……、库底类N之间的底库类差异值,得到的底库类差异值分别为底库类差异值1、底库类差异值2、……、底库类差异值N,其中,底库类差异值1与底库类1对应,底库类差异值2与底库类2对应,以此类推,底库类差异值N与底库类N对应。比较底库类差异值1、底库类差异值2、……、底库类差异值N,根据预先设定的选择条件,将符合条件的底库类差异值确定为目标底库类差异值,并将与目标底库类差异值对应的库底类确定为目标底库类。
具体地,上述方法是在有一定预设的底库类的情况下进行的,如果当前还没有一定指纹图像和底库类的积累,则需要先对底库类进行初始化。初始化中,首先将当前指纹图像存入底库类1中,接着,在以后的屏下指纹采集过程中,比较当前屏下指纹图像与底库类1中的指纹图像的差异值,若差异值小于等于某一预设阈值,则将当前屏下指纹图像还存入底库类1中,若差异值大于某一预设阈值,则将当前屏下指纹图像存入底库类2中,以此类推,可以得到包含多张指纹图像的底库类1、底库类2、……底库类n(其中,n为自然数)。
步骤S200,根据目标底库类,得到目标图像集。
具体地,从目标底库类中选取全部或部分指纹图像,作为对当前指纹图像进行去底纹操作的图像集,将这一图像集确定为目标图像集。
步骤S300,对目标图像集中的指纹图像进行加权处理,得到平均图像。
具体地,目标图像集中的指纹图像为之前采集到的与当前图像相似度较高的指纹图像,从目标底库类中选取M张与当前指纹图像差异值小于等于某一预设阈值的底库图像,根据底库图像与当前指纹图像之间的差异值对M张图像进行归一化加权平均,得到平均图像,可以得到一个平均图像,该平均图像包含的底纹信息较为集中,为可忽略指纹信息影响的图像。
步骤S400,根据当前指纹图像与平均图像,得到去底纹图像。
具体地,根据当前图像中的指纹信息和底纹信息以及平均图像中的底纹信息,对当前指纹图像以及平均图像进行处理,得到去底纹图像。
上述屏下指纹去底纹方法,通过获取当前指纹图像与预设底的库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类,进一步,根据目标底库类,得到目标图像集,接着,对目标图像集中的指纹图像进行加权处理,得到平均图像,根据当前指纹图像与平均图像,得到去底纹图像。其中,利用当前指纹图像与底库类之间的差异值,选取目标底库类,并进一步在目标底库类中选取指纹图像进行去底纹运算的方式,可以实现根据当前指纹图像的自身状态属性选定去底纹的底库类和指纹图像,消除状态切换或补光不一致对当前指纹图像的影响,避免较多底纹无法去除的现象,减少底纹在指纹图像识别中造成的干扰,提升指纹识别效率。
在其中一个实施例中,如图2所示,为步骤S100的细化步骤,其中,获取当前指纹图像与底库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类,具体包括以下步骤:
步骤S110,根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的底库类差异值。
具体地,计算当前指纹图像与底库类中的指纹图像之间的差异值,根据前指纹图像与底库类中的指纹图像之间的差异值,得一个或多个底库类差异值,其中,有多少个预设的底库类就能得到多少个底库类差异值,每一个底库类差异值都对应着一个预设的底库类。例如,多个预设的底库类分别为底库类1、底库类2、……、库底类N,分别计算当前指纹图像与底库类1、底库类2、……、库底类N之间的底库类差异值,得到的底库类差异值分别为底库类差异值1、底库类差异值2、……、底库类差异值N,其中,底库类差异值1与底库类1对应,底库类差异值2与底库类2对应,以此类推,底库类差异值N与底库类N对应。
步骤S120,比较底库类差异值,得到最小底库类差异值。
具体地,对步骤S110中得到底库类差异值1、底库类差异值2、……、底库类差异值N进行筛选,得到库类差异值最小的底库类差异值,并将这一底库类差异值作为最小底库类差异值。
步骤S130,将最小底库类差异值对应的底库类,确定为目标底库类。
其中,底库类差异值越小,说明当前选定的目标底库类中的指纹图像与当前指纹图像的相似性越大。在获取到当前指纹图像后,则计算当前指纹图像分别与底库类1、底库类2、……、库底类N之间的底库类差异值,若当前指纹图像与底库类H(1≤H≤N)之间的差异值最小,且这个差异值小于等于预设的阈值,则将底库类H作为目标底库类。
上述实施例中,通过根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的底库类差异值,进一步,比较底库类差异值,得到最小底库类差异值,并将将最小底库类差异值对应的底库类,确定为目标底库类。其中,选取与往前指纹图像差异值最小的底库类作为目标底库类,底库类差异值越小,表示目标底库类中的指纹图像与当前指纹图像相似度越高,将目标底库类中的指纹图像作为计算和处理对象,用于后续计算,能一定程度提升计算结果的精确性。
在其中一个实施例中,如图3所示,为步骤S110的细化步骤,其中,根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的底库类差异值,具体包括以下步骤:
步骤S111,根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的第一图像差异值集。
具体地,计算当前指纹图像与目标底库类中指纹图像之间的差异值,得到一个或多个图像差异值,将这一个或多个图像差异值确定为对应的第一图像差异值集。例如,底库类m中包含M张指纹图像(底库图像),分别为底库图像1、底库图像2、……、库底图像M,分别计算当前指纹图像与底库图像1、底库图像2、……、库底图像M之间的图像差异值,得到的图像差异值分别为图像差异值1、图像差异值2、……、图像差异值M,其中,图像差异值1与底库图像1对应,图像差异值2与底库图像2对应,以此类推,图像差异值M与底库图像M对应。将图像差异值1、图像差异值2、……、图像差异值M构成的集合确定为与底库类m对应的第一图像差异值集。
步骤S112,根据第一图像差异值集,得到最小图像差异值和平均图像差异值。
具体地,对步骤S111中得到的图像差异值1、图像差异值2、……、图像差异值M进行排序即可得到最小图像差异值,平均图像差异值为图像差异值1、图像差异值2、……、图像差异值M的平均值,平均图像差异值的具体获取方式具体如公式(1)所示:
平均图像差异值=
(∑(图像差异值1+图像差异值2+…+图像差异值M))/M(1)
步骤S113,根据最小图像差异值和平均图像差异值,得到与每一个底库类对应的底库类差异值。
具体地,对步骤S112确定出最小的图像差异值和平均图像差异值进行加权求和,得到的加权和即为底库类差异值,具体如公式(2)所示:
底库类差异值=
C0*最小图像差异值+C1*平均图像差异值(2)
其中,C0、C1为两个加权系数,满足C0+C1=1。
上述实施例中,通过将当前指纹图像与底库类中的图像进行比较,得到与每一个底库类对应的第一图像差异值集,进一步,根据第一图像差异值集,得到最小图像差异值和平均图像差异值,最后,根据最小图像差异值和平均图像差异值,得到与每一个底库类对应的底库类差异值。其中,根据当前指纹图像与底库类中的指纹图像求得底库类差异值,为进一步获取目标底库类提供基础。
在其中一个实施例中,步骤S100,将最小底库类差异值对应的底库类,确定为目标底库类,之前还包括:
判断最小底库类差异值与第一预设阈值的大小;若最小底库类差异值小于第一预设阈值,则执行将最小底库类差异值对应的底库类,确定为目标底库类的步骤。
可选地,若最小底库类差异值大于第一预设阈值,则将当前指纹图像存入一个新的底库类中。
具体地,若当前指纹图像与底库类之间的底库类差异值都非常大的时候,说明当前指纹图像与所有底库类中的指纹图像均不属于同一类型,应用底库类中的指纹图像对当前指纹图像进行去底纹操作会对最终结果造成较大的影响,不能得到良好的去底纹效果,此时将当前指纹图像存入一个新的底库类中,增加底库类的数量,得到扩展底库类,此时,底库类由原来的底库类1、底库类2、……、库底类N变为底库类1、底库类2、……、库底类N、底库类N+1,为之后的去底纹运算增加可用的底库类和图像数据,进一步提升去底纹的效率。
在其中一个实施例中,为步骤S200的两种实现方式,其中,步骤S200,根据目标底库类,得到目标图像集,包括:
步骤S210,为步骤S200的其中一种实现方式,获取当前指纹图像与目标底库类中的指纹图像之间的图像差异值,根据图像差异值,从目标底库类中的指纹图像中确定出目标图像集。
具体地,计算当前指纹图像与目标底库类中指纹图像之间的差异值,得到一个或多个图像差异值,根据图像差异值对目标底库类中的图像进行筛选,得到目标图像集。例如,目标底库类中包含M张指纹图像(底库图像),分别为底库图像1、底库图像2、……、库底图像M,分别计算当前指纹图像与底库图像1、底库图像2、……、库底图像M之间的图像差异值,得到的图像差异值分别为图像差异值1、图像差异值2、……、图像差异值M,其中,图像差异值1与底库图像1对应,图像差异值2与底库图像2对应,以此类推,图像差异值M与底库图像M对应。比较图像差异值1、图像差异值2、……、图像差异值M,根据预先设定的选择条件,将符合条件的图像差异值确定为目标图像差异值,并将与图像差异值对应的指纹图像集确定为目标图像集。
步骤S220,为步骤S200的又一实现方式,将目标底库类中的指纹图像确定为目标图像集。
具体地,由于目标底库中的图像已经是与当前指纹图像差异值较小的图像的集合,因此,在得到目标底库类后,可以直接将目标底库类中的图像作为目标图像集,无需进一步地筛选。在其中一个实施例中,如图4所示,为步骤S210的细化步骤,其中,获取当前指纹图像与目标底库类中的指纹图像之间的图像差异值,根据图像差异值,从目标底库类中的指纹图像中确定出目标图像集,具体包括以下步骤:
步骤S211,根据当前指纹图像和目标底库类,将与目标底库类对应的第一图像差异值集确定为第二图像差异值集。
具体地,第二图像差异值集的获取方式与上述步骤S111得到第一图像差异值集的方式相似,不同的是,步骤S111中计算的是与每一个底库类对应的第一图像差异值集,而本发明实施例中,计算的是与目标底库类对应的第一图像差异值集,并将与目标底库类对应的第一图像差异值集确定为第二图像差异值集。具体为,计算当前指纹图像与目标底库类中指纹图像之间的差异值,得到一个或多个图像差异值,将这一个或多个图像差异值确定为对应的第一图像差异值集。例如,底库类中包含M张指纹图像(底库图像),分别为底库图像1、底库图像2、……、库底图像M,分别计算当前指纹图像与底库图像1、底库图像2、……、库底图像M之间的图像差异值,得到的图像差异值分别为图像差异值1、图像差异值2、……、图像差异值M,其中,图像差异值1与底库图像1对应,图像差异值2与底库图像2对应,以此类推,图像差异值M与底库图像M对应。将图像差异值1、图像差异值2、……、图像差异值M构成的集合与目标底库类相对应,将其确定为对应的第二图像差异值集。
步骤S212,根据预设条件,从第二图像差异值集中筛选出目标图像差异值集。
具体地,根据步骤S211中得到的图像差异值1、图像差异值2、……、图像差异值M,按照预设条件,从第二图像差异值集中筛选出部分图像差异值集作为目标图像差异值集。可选地,若预设选取数量R个图像差异值,则对图像差异值1、图像差异值2、……、图像差异值M由小到大进行排序,选取前R个图像差异值作为目标图像差异值集,其中R小于等于M。可选地,若按照图像差异值与预设阈值之间的关系选取图像差异值,则将所有小于等于预设阈值的图像差异值确定为目标图像差异值集。
步骤S213,将与目标图像差异值集中的目标图像差异值所对应的指纹图像,确定为目标图像集。
具体地,由步骤S211中可知,图像差异值1与底库图像1对应,图像差异值2与底库图像2对应,……,图像差异值M与底库图像M对应。步骤S212中选取的图像差异值也分别与底库图像相对应,目标图像差异值集也对应着一个图像的集合,将这个集合确定为目标图像集,其中目标图像集中指纹图像的张数也为R。
上述实施例中,通过根据当前指纹图像和目标底库类中的指纹图像,得到对应的第二图像差异值集,进一步根据预设条件,从第二图像差异值集中筛选出目标图像差异值集,最后,将目标图像差异值集中的目标图像差异值,对应的目标底库类中的指纹图像的集合,确定为目标图像集。其中,为获取与当前指纹图像相似的底库类图像,在目标底库类的基础上,进一步选取与当前指纹图像差异相对较小的图像作为目标图像集用于后续计算,进一步提升去底纹的效率。
在其中一个实施例中,加权处理中的加权值与图像差异值之间负相关。
具体地,图像差异值越小,与其对应的权重越大,以增加与当前指纹图像相似性较大的指纹图像对去底纹的影响,进一步提升去底纹的效率。
在其中一个实施例中,步骤S400,根据当前指纹图像与平均图像,得到去底纹图像,包括:
用当前指纹图像减去平均图像,得到去底纹图像。
具体地,当前指纹图像为包含底纹信息和指纹信息的图像,而平均图像为底纹信息较为集中的图像,用当前指纹图像减去平均图像,得到去底纹图像。如图5所示,(a)为采集到的指纹图像,(b)为去底纹后得到的指纹图像。
在其中一个实施例中,步骤S400,根据当前指纹图像与平均图像,得到去底纹图像,之后还包括:
将当前指纹图像存入目标底库类中,对底库类进行更新。
其中,将当前指纹图像存入目标底库类,可以增加目标底库类中的指纹图像数据量,为之后的去底纹运算增加可用的指纹图像数据,能进一步提升去底纹的效率。具体地,将当前指纹图像存入目标底库类是因为当前指纹图像与目标底库类中的指纹图像相似性较大,属于同一类型的图像数据。
可选地,检测底库类的使用频率,若底库类的使用频率小于第二预设阈值,则将使用频率小于第二预设阈值的底库类从预设的底库类中删除。
具体地,对底库类的使用频率进行检测,若某一底库类的使用频率非常小的时候,说明该底库类由于各种原因已不适用于现阶段的去底纹运算,则将该底库类删除,精简底库类,此时,底库类由原来的底库类1、底库类2、……、库底类N变为底库类1、底库类2、……、底库类N-1,这一操作可以释放部分内存,进一步提升去底纹的效率。
可选地,减少或增加底库类的分类阈值,从而增加或减少底库类的数量,将去底纹效率保持在一定的范围内。
在一个实施例中,如图6所示,提供了一种屏下指纹去底纹装置,包括:目标底库类获取模块601、目标图像集获取模块602、平均图像获取模块603和去底纹图像获取模块604,其中:
目标底库类获取模块601,用于获取当前指纹图像与预设的底库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类;
目标图像集获取模块602,用于根据目标底库类,得到目标图像集;
平均图像获取模块603,用于对目标图像集中的指纹图像进行加权处理,得到平均图像;
去底纹图像获取模块604,用于根据当前指纹图像与平均图像,得到去底纹图像。
在其中一个实施例中,目标底库类获取模块601还用于执行根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的底库类差异值;比较底库类差异值,得到最小底库类差异值;将最小底库类差异值对应的底库类,确定为目标底库类。
在其中一个实施例中,目标底库类获取模块601还用于执行根据当前指纹图像与底库类中的指纹图像,得到对应的第一图像差异值集;根据第一图像差异值集,得到与每一个底库类最小图像差异值和平均图像差异值;根据最小图像差异值和平均图像差异值,得到与每一个底库类对应的底库类差异值。
在其中一个实施例中,上述装置还包括判断模块,用于判断最小底库类差异值与第一预设阈值的大小;若最小底库类差异值小于第一预设阈值,则执行将最小底库类差异值对应的底库类,确定为目标底库类的步骤。
在其中一个实施例中,上述装置还包括底库类更新模块,用于执行若最小底库类差异值大于第一预设阈值,则将当前指纹图像存入一个新的底库类中。
在其中一个实施例中,目标图像集获取模块602还用于执行获取当前指纹图像与目标底库类中的指纹图像之间的图像差异值,根据图像差异值,从目标底库类中的指纹图像中确定出目标图像集;或,将目标底库类中的指纹图像确定为目标图像集。
在其中一个实施例中,目标图像集获取模块602还用于执行根据当前指纹图像和目标底库类,将与目标底库类对应的第一图像差异值集确定为第二图像差异值集;根据预设条件,从第二图像差异值集中筛选出目标图像差异值集;将与目标图像差异值集中的目标图像差异值所对应的指纹图像,确定为目标图像集。
在其中一个实施例中,平均图像获取模块603还用于确定加权处理中的加权值与图像差异值之间负相关。
在其中一个实施例中,去底纹图像获取模块604还用于执行用当前指纹图像减去平均图像,得到去底纹图像。
在其中一个实施例中,上述装置还包括底库类更新模块,用于执行将当前指纹图像存入目标底库类中,对底库类进行更新。
在其中一个实施例中,上述装置还包括底库类更新模块,用于执行检测底库类的使用频率,若底库类的使用频率小于第二预设阈值,则将使用频率小于第二预设阈值的底库类从预设的底库类中删除。
关于屏下指纹去底纹装置的具体限定可以参见上文中对于屏下指纹去底纹方法的限定,在此不再赘述。上述屏下指纹去底纹装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储屏下指纹去底纹数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种屏下指纹去底纹方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取当前指纹图像与预设的底库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类;
根据目标底库类,得到目标图像集;
对目标图像集中的指纹图像进行加权处理,得到平均图像;
根据当前指纹图像与平均图像,得到去底纹图像。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的底库类差异值;比较底库类差异值,得到最小底库类差异值;将最小底库类差异值对应的底库类,确定为目标底库类。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的第一图像差异值集;根据第一图像差异值集,得到最小图像差异值和平均图像差异值;根据最小图像差异值和平均图像差异值,得到与每一个底库类对应的底库类差异值。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:判断最小底库类差异值与第一预设阈值的大小;若最小底库类差异值小于第一预设阈值,则执行将最小底库类差异值对应的底库类,确定为目标底库类的步骤。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:若最小底库类差异值大于第一预设阈值,则将当前指纹图像存入一个新的底库类中。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:获取当前指纹图像与目标底库类中的指纹图像之间的图像差异值,根据图像差异值,从目标底库类中的指纹图像中确定出目标图像集;或,将目标底库类中的指纹图像确定为目标图像集。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:根据当前指纹图像和目标底库类,将与目标底库类对应的第一图像差异值集确定为第二图像差异值集;根据预设条件,从第二图像差异值集中筛选出目标图像差异值集;将与目标图像差异值集中的目标图像差异值所对应的指纹图像,确定为目标图像集。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:加权处理中的加权值与图像差异值之间负相关。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:用当前指纹图像减去平均图像,得到去底纹图像。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:将当前指纹图像存入目标底库类中,对底库类进行更新。
在其中一个实施例中,处理器执行计算机程序时还实现以下步骤:检测底库类的使用频率,若底库类的使用频率小于第二预设阈值,则将使用频率小于第二预设阈值的底库类从预设的底库类中删除。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取当前指纹图像与预设的底库类之间的底库类差异值,根据底库类差异值,从底库类中确定出目标底库类;
根据目标底库类,得到目标图像集;
对目标图像集中的指纹图像进行加权处理,得到平均图像;
根据当前指纹图像与平均图像,得到去底纹图像。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的底库类差异值;比较底库类差异值,得到最小底库类差异值;将最小底库类差异值对应的底库类,确定为目标底库类。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据当前指纹图像与底库类中的指纹图像,得到与每一个底库类对应的第一图像差异值集;根据第一图像差异值集,得到最小图像差异值和平均图像差异值;根据最小图像差异值和平均图像差异值,得到与每一个底库类对应的底库类差异值。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:判断最小底库类差异值与第一预设阈值的大小;若最小底库类差异值小于第一预设阈值,则执行将最小底库类差异值对应的底库类,确定为目标底库类的步骤。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:若最小底库类差异值大于第一预设阈值,则将当前指纹图像存入一个新的底库类中。
在其中一个实施例中,计算机程序被处理器执行时还实现以下:获取当前指纹图像与目标底库类中的指纹图像之间的图像差异值,根据图像差异值,从目标底库类中的指纹图像中确定出目标图像集;或,将目标底库类中的指纹图像确定为目标图像集。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:根据当前指纹图像和目标底库类,将与目标底库类对应的第一图像差异值集确定为第二图像差异值集;根据预设条件,从第二图像差异值集中筛选出目标图像差异值集;将与目标图像差异值集中的目标图像差异值所对应的指纹图像,确定为目标图像集。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:加权处理中的加权值与图像差异值之间负相关。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:用当前指纹图像减去平均图像,得到去底纹图像。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:将当前指纹图像存入目标底库类中,对底库类进行更新。
在其中一个实施例中,计算机程序被处理器执行时还实现以下步骤:检测底库类的使用频率,若底库类的使用频率小于第二预设阈值,则将使用频率小于第二预设阈值的底库类从预设的底库类中删除。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种屏下指纹去底纹方法,其特征在于,所述方法包括:
获取当前指纹图像与预设的底库类之间的底库类差异值,根据所述底库类差异值,从所述底库类中确定出目标底库类;
根据所述目标底库类,得到目标图像集;
对所述目标图像集中的指纹图像进行加权处理,得到平均图像;
根据所述当前指纹图像与所述平均图像,得到去底纹图像。
2.根据权利要求1所述的方法,其特征在于,所述获取当前指纹图像与预设的底库类之间的底库类差异值,根据所述底库类差异值,从所述底库类中确定出目标底库类,包括:
根据所述当前指纹图像与所述底库类中的指纹图像,得到与每一个底库类对应的底库类差异值;
比较所述底库类差异值,得到最小底库类差异值;
将所述最小底库类差异值对应的底库类,确定为所述目标底库类。
3.根据权利要求2所述的方法,其特征在于,所述根据所述当前指纹图像与所述底库类中的指纹图像,得到与每一个底库类对应的底库类差异值,包括:
根据所述当前指纹图像与所述底库类中的指纹图像,得到与每一个底库类对应的第一图像差异值集;
根据所述第一图像差异值集,得到最小图像差异值和平均图像差异值;
根据所述最小图像差异值和所述平均图像差异值,得到与每一个底库类对应的底库类差异值。
4.根据权利要求2所述的方法,其特征在于,所述将所述最小底库类差异值对应的底库类,确定为所述目标底库类,之前还包括:
判断所述最小底库类差异值与第一预设阈值的大小;
若所述最小底库类差异值小于所述第一预设阈值,则执行所述将所述最小底库类差异值对应的底库类,确定为所述目标底库类的步骤。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若所述最小底库类差异值大于所述第一预设阈值,则将所述当前指纹图像存入一个新的底库类中。
6.根据权利要求3所述的方法,其特征在于,所述根据目标底库类,得到目标图像集,包括:
获取所述当前指纹图像与所述目标底库类中的指纹图像之间的图像差异值,根据所述图像差异值,从所述目标底库类中的指纹图像中确定出所述目标图像集;或,
将所述目标底库类中的指纹图像确定为所述目标图像集。
7.根据权利要求6所述的方法,其特征在于,所述获取所述当前指纹图像与所述目标底库类中的指纹图像之间的图像差异值,根据所述图像差异值,从所述目标底库类中的指纹图像中确定出所述目标图像集,包括:
根据所述当前指纹图像和所述目标底库类,将与所述目标底库类对应的第一图像差异值集确定为第二图像差异值集;根据预设条件,从所述第二图像差异值集中筛选出目标图像差异值集;
将与所述目标图像差异值集中的目标图像差异值所对应的指纹图像,确定为所述目标图像集。
8.根据权利要求6所述的方法,其特征在于,所述加权处理中的加权值与所述图像差异值之间负相关。
9.根据权利要求1所述的方法,其特征在于,所述根据所述当前指纹图像与所述平均图像,得到去底纹图像,包括:
用所述当前指纹图像减去所述平均图像,得到所述去底纹图像。
10.根据权利要求1所述的方法,其特征在于,所述根据所述当前指纹图像与所述平均图像,得到去底纹图像,之后还包括:
将所述当前指纹图像存入所述目标底库类中,对所述底库类进行更新。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述底库类的使用频率,若所述底库类的使用频率小于第二预设阈值,则将使用频率小于所述第二预设阈值的底库类从所述预设的底库类中删除。
12.一种屏下指纹去底纹装置,其特征在于,所述装置包括:
目标底库类获取模块,用于获取当前指纹图像与预设的底库类之间的底库类差异值,根据所述底库类差异值,从所述底库类中确定出目标底库类;
目标图像集获取模块,用于根据所述目标底库类,得到目标图像集;
平均图像获取模块,用于对所述目标图像集中的指纹图像进行加权处理,得到平均图像;
去底纹图像获取模块,用于根据所述当前指纹图像与所述平均图像,得到去底纹图像。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述方法的步骤。
CN201910495781.9A 2019-06-10 2019-06-10 屏下指纹去底纹方法、装置、计算机设备和存储介质 Active CN110232349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910495781.9A CN110232349B (zh) 2019-06-10 2019-06-10 屏下指纹去底纹方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910495781.9A CN110232349B (zh) 2019-06-10 2019-06-10 屏下指纹去底纹方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110232349A CN110232349A (zh) 2019-09-13
CN110232349B true CN110232349B (zh) 2020-07-03

Family

ID=67859519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910495781.9A Active CN110232349B (zh) 2019-06-10 2019-06-10 屏下指纹去底纹方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110232349B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI738191B (zh) * 2019-09-23 2021-09-01 神盾股份有限公司 基於空間頻率移除背景雜訊的電子裝置及圖像信號處理方法
CN111028176B (zh) * 2019-12-10 2023-12-08 天津极豪科技有限公司 指纹图像处理方法、装置、电子设备及计算机可读介质
CN111507345A (zh) * 2020-03-20 2020-08-07 北京集创北方科技股份有限公司 图像处理的方法、装置、设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547052A (zh) * 2010-10-04 2012-07-04 夏普株式会社 图像处理装置、图像形成装置和图像处理方法
CN103150547A (zh) * 2013-01-21 2013-06-12 信帧电子技术(北京)有限公司 车辆跟踪方法及装置
CN104657969A (zh) * 2013-11-25 2015-05-27 方正国际软件(北京)有限公司 一种图像底纹去除方法及系统
US9330325B2 (en) * 2013-03-22 2016-05-03 Suprema Inc. Apparatus and method for reducing noise in fingerprint images
CN109145800A (zh) * 2018-08-13 2019-01-04 Oppo广东移动通信有限公司 指纹模板更新方法及相关产品
CN109522777A (zh) * 2017-09-20 2019-03-26 比亚迪股份有限公司 指纹比对方法和装置
CN109614964A (zh) * 2019-02-17 2019-04-12 北京意锐新创科技有限公司 适用于屏下的指纹识别方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9035895B2 (en) * 2012-07-13 2015-05-19 Apple Inc. Redundant sensing element sampling
CN106897989B (zh) * 2016-03-01 2019-09-20 闽南师范大学 一种基于线密度计算的指纹图像分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547052A (zh) * 2010-10-04 2012-07-04 夏普株式会社 图像处理装置、图像形成装置和图像处理方法
CN103150547A (zh) * 2013-01-21 2013-06-12 信帧电子技术(北京)有限公司 车辆跟踪方法及装置
US9330325B2 (en) * 2013-03-22 2016-05-03 Suprema Inc. Apparatus and method for reducing noise in fingerprint images
CN104657969A (zh) * 2013-11-25 2015-05-27 方正国际软件(北京)有限公司 一种图像底纹去除方法及系统
CN109522777A (zh) * 2017-09-20 2019-03-26 比亚迪股份有限公司 指纹比对方法和装置
CN109145800A (zh) * 2018-08-13 2019-01-04 Oppo广东移动通信有限公司 指纹模板更新方法及相关产品
CN109614964A (zh) * 2019-02-17 2019-04-12 北京意锐新创科技有限公司 适用于屏下的指纹识别方法和装置

Also Published As

Publication number Publication date
CN110232349A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN110232349B (zh) 屏下指纹去底纹方法、装置、计算机设备和存储介质
CN111080628A (zh) 图像篡改检测方法、装置、计算机设备和存储介质
AU2017232186A1 (en) Fast and robust image alignment for burst mode
CN113780466A (zh) 模型迭代优化方法、装置、电子设备和可读存储介质
CN112101386B (zh) 文本检测方法、装置、计算机设备和存储介质
CN112001983B (zh) 生成遮挡图像的方法、装置、计算机设备和存储介质
CN111860582B (zh) 图像分类模型构建方法、装置、计算机设备和存储介质
CN111914668A (zh) 一种基于图像增强技术的行人重识别方法、装置及系统
CN111292377A (zh) 目标检测方法、装置、计算机设备和存储介质
CN112241646A (zh) 车道线识别方法、装置、计算机设备和存储介质
CN111340025A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
CN111597553A (zh) 病毒查杀中的进程处理方法、装置、设备及存储介质
CN111897864B (zh) 一种基于互联网ai外呼的专家库数据抽取方法及系统
CN114168318A (zh) 存储释放模型的训练方法、存储释放方法及设备
CN107077617B (zh) 指纹提取方法及装置
CN112034981A (zh) 显示终端控制方法、显示终端及计算机可读存储介质
CN110263754B (zh) 屏下指纹去底纹方法、装置、计算机设备和存储介质
CN110705509A (zh) 人脸方向识别方法、装置、计算机设备和存储介质
CN112509052B (zh) 黄斑中心凹的检测方法、装置、计算机设备和存储介质
CN115272682A (zh) 目标对象检测方法、目标检测模型的训练方法及电子设备
US20220076102A1 (en) Method and apparatus for managing neural network models
CN113947154A (zh) 一种目标检测方法、系统、电子设备及存储介质
CN113127180A (zh) 一种内存优化方法、智能终端及存储介质
CN112287932A (zh) 一种确定图像质量的方法、装置、设备及存储介质
CN114282504B (zh) 一种服务器开发方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant