CN110175500A - 指静脉比对方法、装置、计算机设备及存储介质 - Google Patents

指静脉比对方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110175500A
CN110175500A CN201910263866.4A CN201910263866A CN110175500A CN 110175500 A CN110175500 A CN 110175500A CN 201910263866 A CN201910263866 A CN 201910263866A CN 110175500 A CN110175500 A CN 110175500A
Authority
CN
China
Prior art keywords
compared
vein
image
finger
vein image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910263866.4A
Other languages
English (en)
Other versions
CN110175500B (zh
Inventor
巢中迪
庄伯金
王少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910263866.4A priority Critical patent/CN110175500B/zh
Publication of CN110175500A publication Critical patent/CN110175500A/zh
Priority to SG11202100890TA priority patent/SG11202100890TA/en
Priority to JP2021506411A priority patent/JP7141518B2/ja
Priority to PCT/CN2019/104331 priority patent/WO2020199498A1/zh
Priority to US17/178,911 priority patent/US11893773B2/en
Application granted granted Critical
Publication of CN110175500B publication Critical patent/CN110175500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种指静脉比对方法、装置、计算机设备及存储介质,涉及人工智能领域。该指静脉比对方法包括:获取两张待比对指静脉图像,两张待比对指静脉图像为单通道图像;将两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像;将目标待比对指静脉图像输入到特征提取器中,通过特征提取器提取目标待比对指静脉图像的特征向量,其中,特征提取器是采用双通道卷积神经网络训练得到的;将目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果;根据二分类结果确定两张待比对指静脉图像是否来自同一根手指。采用该指静脉比对方法在现实生活场景中进行指静脉比对时具有较高的准确率。

Description

指静脉比对方法、装置、计算机设备及存储介质
【技术领域】
本发明涉及人工智能领域,尤其涉及一种指静脉比对方法、装置、计算机设备及存储介质。
【背景技术】
指静脉识别技术是利用近红外线穿透手指后所得的静脉纹路影像来进行个人识别的生物识别技术。在各种生物识别技术中,因指静脉识别技术是利用外部看不到的生物内部特征进行识别的技术,所以具有较高的防伪性。然而,目前指静脉识别的研究大都还停留在闭集识别。由于现实中不可能得到所有人的指静脉图像来进行网络训练,这种闭集识别的网络并不适用于现实生活中进行指静脉比对的场景,在现实生活场景中进行指静脉比对的准确率较低。
【发明内容】
有鉴于此,本发明实施例提供了一种指静脉比对方法、装置、计算机设备及存储介质,用以解决目前在现实生活场景中指静脉比对准确率较低的问题。
第一方面,本发明实施例提供了一种指静脉比对方法,包括:
获取两张待比对指静脉图像,所述两张待比对指静脉图像为单通道图像;
将所述两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像;
将所述目标待比对指静脉图像输入到特征提取器中,通过所述特征提取器提取所述目标待比对指静脉图像的特征向量,其中,所述特征提取器是采用双通道卷积神经网络训练得到的;
将所述目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果;
根据所述二分类结果确定所述两张待比对指静脉图像是否来自同一根手指。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述将所述两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像,包括:
获取第一张待比对指静脉图像的单通道像素矩阵;
获取第二张待比对指静脉图像的单通道像素矩阵;
将所述第一张待比对指静脉图像的单通道像素矩阵和所述第二张待比对指静脉图像的单通道像素矩阵中对应位置的像素值进行图像通道的融合,得到所述目标待比对指静脉图像。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,在所述将所述目标待比对指静脉图像输入到特征提取器中之前,还包括:
获取待训练指静脉样本;
将所述待训练指静脉样本输入到所述双通道卷积神经网络中进行训练,采用增强边缘余弦损失函数计算训练过程中产生的损失值,其中,所述双通道卷积神经网络包括四层卷积层、四层池化层和一层全连接层,所述双通道卷积神经网络的第1、3、5、7层为卷积层,第2、4、6、8层为池化层,第9层为全连接层;
根据所述损失值更新所述双通道卷积神经网络,得到所述特征提取器。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述获取待训练指静脉样本,包括:
获取单通道的待训练指静脉图像;
将每两张所述单通道的待训练指静脉图像进行图像通道的融合,得到双通道的待训练指静脉图像;
若进行融合的所述单通道的待训练指静脉图像来自同一根手指,则将所述双通道的待训练指静脉图像的标签值设为0;
若进行融合的所述单通道的待训练指静脉图像不是来自同一根手指,则将所述双通道的待训练指静脉图像的标签值设为1;
根据设置的所述标签值得到所述待训练指静脉样本。
如上所述的方面和任一可能的实现方式,进一步提供一种实现方式,所述根据所述二分类结果确定所述两张待比对指静脉图像是否来自同一根手指,包括:
若所述二分类结果得到的值为0,则确定所述两张待比对指静脉图像来自同一根手指;
若所述二分类结果得到的值为1,则确定所述两张待比对指静脉图像不是来自同一根手指。
第二方面,本发明实施例提供了一种指静脉比对装置,包括:
待比对指静脉图像获取模块,用于获取两张待比对指静脉图像,所述两张待比对指静脉图像为单通道图像;
目标待比对指静脉图像获取模块,用于将所述两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像;
特征向量获取模块,用于将所述目标待比对指静脉图像输入到特征提取器中,通过所述特征提取器提取所述目标待比对指静脉图像的特征向量,其中,所述特征提取器是采用双通道卷积神经网络训练得到的;
二分类结果获取模块,用于将所述目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果;
确定模块,用于根据所述二分类结果确定所述两张待比对指静脉图像是否来自同一根手指。
第三方面,一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述指静脉比对方法的步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,包括:计算机程序,所述计算机程序被处理器执行时实现上述指静脉比对方法的步骤。
在本发明实施例中,首先获取两张单通道的图像的待比对指静脉图像,并将两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像,通过图像通道的融合可以采用一张图像便可表示两张待比对指静脉图像,并在图像通道融合后具备关于两张待比对指静脉图像之间相似程度的深层特征,能够基于该深层特征确定两张待比对指静脉图像是否来自同一根手指;接着将目标待比对指静脉图像输入到特征提取器中,通过所述特征提取器提取目标待比对指静脉图像的特征向量,该提取的特征向量能够体现该目标待比对指静脉图像的深层特征,基于该特征向量有助于对待比对指静脉图像进行比对,并得到准确的指静脉比对结果;最后将目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果,并根据二分类结果确定待比对指静脉图像是否来自同一根手指,通过采用二分类器能够从待比对指静脉图像的深层特征的角度出发,对目标待比对指静脉图像的特征向量进行精准区分,得到准确的指静脉比对结果。
【附图说明】
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1是本发明一实施例中指静脉比对方法的一流程图;
图2是本发明一实施例中指静脉比对装置的一示意图;
图3是本发明一实施例中计算机设备的一示意图。
【具体实施方式】
为了更好的理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的相同的字段,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等,但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一预设范围也可以被称为第二预设范围,类似地,第二预设范围也可以被称为第一预设范围。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1示出本实施例中指静脉比对方法的一流程图。该指静脉比对方法可应用在指静脉比对系统中,在判断指静脉图像是否来自同一根手指时可采用该指静脉比对系统实现。该指静脉比对系统具体可应用在计算机设备上,其中,该计算机设备是可与用户进行人机交互的设备,包括但不限于电脑、智能手机和平板等设备。如图1所示,该指静脉比对方法包括如下步骤:
S10:获取两张待比对指静脉图像,两张待比对指静脉图像为单通道图像。
其中,待比对指静脉图像是指进行指静脉比对的指静脉图像。可以理解地,进行比对的两张待比对指静脉图像的规格是相同的,比如两张待比对指静脉图像的规格都是128*256。在采用指静脉采集设备采集指静脉图像时,允许采集的指静脉图像的规格是不同的,此时可以经过尺寸变换等处理使采集的指静脉图像的规格一致,从而更精确地进行指静脉比对。
其中,进行比对的两张待比对指静脉图像为单通道图像,可以理解地,为了提高指静脉比对的效率,在采用指静脉采集设备采集指静脉图像后,不仅对指静脉图像的规格进行统一,还会对采集的指静脉图像进行预处理,使得预处理后的指静脉图像能够用较少的数据量便体现指静脉图像的特征。将采集的指静脉图像转变成单通道图像就是其中一种方法,其中,图像的通道与其编码方式相关,若将图像分解为RGB(red,green,blue)三个分量来表示,则是三通道;若图像是灰度图像,则是一个通道。具体地,本实施例中可以将采集的指静脉图像统一转换成灰度图像,此时采集的指静脉图像为单通道图像。待比对指静脉图像为单通道图像可以提高指静脉图像比对的效率,能够根据待比对指静脉图像实时得到指静脉比对结果。
在一实施例中,可以通过对采用指静脉采集设备采集的指静脉图像进行图像预处理,获取单通道的两张待比对指静脉图像。
S20:将两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像。
其中,图像通道的融合是指图像的通道的叠加,如将一张红色通道的图像、一张绿色通道的图像和一张蓝色通道的图像进行图像通道的融合,将得到一张包含红色通道、绿色通道和蓝色通道的图像。
在一实施例中,将两张待比对指静脉图像进行图像通道的融合,即将两张待比对指静脉图像的通道叠加起来,得到一张同时包括两张待比对指静脉图像各对应单通道的指静脉图像,该指静脉图像为双通道,称为目标待比对指静脉图像。该目标待比对指静脉图像同时包括两张待比对指静脉图像原本单通道的信息,且在图像通道融合后具备关于两张待比对指静脉图像之间相似程度的深层特征(可以理解地,来自相同手指的待比对指静脉图像在通道融合后与来自不同手指的待比对指静脉图像在通道融合后所具备的关于两张待比对指静脉图像之间相似程度的深层特征是不同的),能够基于该深层特征确定两张待比对指静脉图像是否来自同一根手指。
进一步地,在步骤S20中,将两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像,具体包括:
S21:获取第一张待比对指静脉图像的单通道像素矩阵。
S22:获取第二张待比对指静脉图像的单通道像素矩阵。
可以理解地,图像由像素组成,可以采用像素矩阵的方式表示。具体地,对于单通道的图像采用单通道像素矩阵表示。
在一实施例中,获取第一张待比对指静脉图像的单通道像素矩阵和第二张待比对指静脉图像的单通道像素矩阵,以进行图像通道的融合。
S23:将第一张待比对指静脉图像的单通道像素矩阵和第二张待比对指静脉图像的单通道像素矩阵中对应位置的像素值进行图像通道的融合,得到目标待比对指静脉图像。
可以理解地,图像通道的融合是指图像的通道的叠加,其中,像素包括像素在图像上的位置以及像素值,本实施例中,两张待比对图像的规格是相同的,因此在进行图像融合时需要按像素位置对应地进行融合,融合后两个通道内的像素互为独立,相当于一张图像用两个通道的像素进行表示。
在步骤S21-S23中,通过图像通道的融合可以采用一张图像便可表示两张待比对图像,有利于提高指静脉比对的效率,此外,在图像通道融合后目标待比对指静脉图像具备关于两张待比对指静脉图像之间相似程度的深层特征,能够基于该深层特征确定两张待比对指静脉图像是否来自同一根手指。
S30:将目标待比对指静脉图像输入到特征提取器中,通过特征提取器提取目标待比对指静脉图像的特征向量,其中,特征提取器是采用双通道卷积神经网络训练得到的。
其中,双通道卷积神经网络是指用于识别双通道图像的卷积神经网络,对于提取双通道图像的特征向量有较好的效果。采用双通道卷积神经网络训练得到的特征提取器能够从双通道图像中提取出特征向量,该特征向量能够准确地体现双通道图像的深层特征。
在一实施例中,采用特征提取器提取输入的目标待比对指静脉图像的特征向量,由于该特征提取器是采用双通道卷积神经网络训练得到的,能够准确地提取目标待比对指静脉图像的特征向量,有助于根据该特征向量对待比对指静脉图像进行比对,得到准确的指静脉比对结果。
进一步地,在步骤S30之前,即在将目标待比对指静脉图像输入到特征提取器中之前,还包括:
S31:获取待训练指静脉样本。
其中,待训练指静脉样本中用于训练的样本和用于测试的样本相互之间不重叠,遵循开集的标准。可以理解地,目前指静脉识别基本都停留在闭集,其用于测试的样本都是在训练集中出现过的,此时训练得到的模型将会出现过拟合的情况,对于闭集内样本的指静脉对比有较高的比对准确率,但是对于现实生活场景(开集条件下)的比对准确率将比较低,无法满足正常的指静脉比对需求。在现实生活场景中,有关指静脉图像的数据集是比较少的,但是在训练特征提取模型时,仍遵循开集的标准,使得用于训练的样本和用于测试的样本相互之间不重叠,能够有效提高模型的泛化能力。
S32:将待训练指静脉样本输入到双通道卷积神经网络中进行训练,采用增强边缘余弦损失函数计算训练过程中产生的损失值,其中,双通道卷积神经网络包括四层卷积层、四层池化层和一层全连接层,双通道卷积神经网络的第1、3、5、7层为卷积层,第2、4、6、8层为池化层,第9层为全连接层。
本实施例中,计算模型训练过程中产生的损失值具体采用的是增强边缘余弦损失函数,该增强边缘余弦损失函数以归一化后的特征向量为输入(双通道卷积神经网络将提取输入的待训练指静脉样本的特征向量,并进行归一化处理),能够进一步最大化所学习的深层特征在余弦角度空间中的决策边界,通过最大化类间余弦边缘来学习高度判别性的深层特征。
本实施中双通道卷积神经网络具体采用的网络结构仅为四层卷积层、四层池化层和一层全连接层,双通道卷积神经网络的第1、3、5、7层为卷积层,第2、4、6、8层为池化层,第9层为全连接层,该网络结构简洁,在能够准确地提取待训练指静脉样本的特征向量的前提下,有效提高了模型训练的效率,能够保证指静脉比对的实时性。
S33:根据损失值更新双通道卷积神经网络,得到特征提取器。
其中,损失值反映的是训练输出的结果与实际期望存在偏差的值。可以通过采用反向传播算法,根据损失值对双通道卷积神经网络中的网络参数进行迭代更新,使每次网络更新后输出的结果与实际期望更接近。在训练达到预设迭代次数或网络参数的变化值均小于停止迭代阈值时训练结束,得到特征提取模型。该特征提取模型是针对提取双通道的图像的特性向量所训练的,能够实时、准确地提取目标待比对指静脉图像的特征向量。
在步骤S31-S33中,提供了一种训练得到特征提取模型的具体实施方式,训练过程遵循了开集的标准,能够提高模型的泛化能力,此外,进行训练的双通道卷积神经网络采用增强边缘余弦损失函数计算训练过程中产生的损失值,对双通道卷积神经网络进行迭代更新得到特征提取模型,能够更精确地描述训练过程中产生的损失,有助于提高模型训练的效率和特征提取模型的特征提取能力。
进一步地,在步骤S31中,获取待训练指静脉样本,具体包括:
S311:获取单通道的待训练指静脉图像。
可以理解地,若指静脉采集设备初始采集的指静脉图像不是单通道的,则按照规定好的图像预处理将初始采集的指静脉图像转换为统一标准的单通道的待训练指静脉图像。
S312:将每两张单通道的待训练指静脉图像进行图像通道的融合,得到双通道的待训练指静脉图像。
在现实生活场景中,有关指静脉图像的数据集是比较少的,本实施例中,采用图像通道的融合的处理方式,将每两张单通道的待训练指静脉图像融合成一张双通道的待训练指静脉图像,将数量为n的单通道的待训练指静脉图像提高到数量为n*(n-1)/2的双通道的待训练指静脉图像,使指静脉图像的数据集能够得到更充分的利用。
S313:若进行融合的单通道的待训练指静脉图像来自同一根手指,则将双通道的待训练指静脉图像的标签值设为0。
S314:若进行融合的单通道的待训练指静脉图像不是来自同一根手指,则将双通道的待训练指静脉图像的标签值设为1。
在一实施例中,需要对得到的双通道的待训练指静脉图像预先进行标记,以通过标记的标签值在特征提取模型训练过程中有效地更新网络参数。指静脉图像比对是一个二分类的问题,因此可以根据进行融合的单通道的待训练指静脉图像是否来自同一根手指设置标签值。
S315:根据设置的标签值得到待训练指静脉样本。
可以理解地,对双通道待训练指静脉样本设置完标签值后,得到用于训练特征提取模型的待训练指静脉样本。
在步骤S311-S315中,提供了一种获取待训练指静脉样本的具体实施方式,采用图像通道的融合的处理方式将每两张单通道的待训练指静脉图像融合成一张双通道的待训练指静脉图像,将数量为n的单通道的待训练指静脉图像提高到数量为n*(n-1)/2的双通道的待训练指静脉图像,使指静脉图像的数据集能够得到更充分的利用,并根据进行融合的单通道的待训练指静脉图像是否来自同一根手指设置标签值,有助于在特征提取模型训练过程中有效地对网络参数进行调整。
S40:将目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果。
其中,二分类器可以是采用神经网络预先训练得到的分类器,具体可以是SVM(Support Vector Machine,支持向量机)二分类器,该SVM二分类器能够根据输入的特征向量输出两种分类结果。具体地,输入的特征向量可以是目标待比对指静脉图像的特征向量,分类结果可以是关于两张待比对指静脉图像是否来自同一根手指的分类结果。
在一实施例中,将目标待比对指静脉图像的特征向量输入到二分类器中,将根据两张待比对指静脉图像是否来自同一根手指进行分类,输出二分类结果。
S50:根据二分类结果确定两张待比对指静脉图像是否来自同一根手指。
进一步地,在步骤S50中,根据二分类结果确定两张待比对指静脉图像是否来自同一根手指,具体包括:
S51:若二分类结果得到的值为0,则确定两张待比对指静脉图像来自同一根手指。
S52:若二分类结果得到的值为1,则确定两张待比对指静脉图像不是来自同一根手指。
可以理解地,二分类结果为0代表两张待比对指静脉图像来自同一根手指,二分类结果为1代表两张待比对指静脉图像不是来自同一根手指。
在步骤S51-S52中,提供了根据二分类结果确定两张待比对指静脉图像是否来自同一根手指的具体实施方式,能够快速得到准确的指静脉比对结果。
在本发明实施例中,首先获取两张单通道的图像的待比对指静脉图像,并将两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像,通过图像通道的融合可以采用一张图像便可表示两张待比对指静脉图像,并在图像通道融合后具备关于两张待比对指静脉图像之间相似程度的深层特征,能够基于该深层特征确定两张待比对指静脉图像是否来自同一根手指;接着将目标待比对指静脉图像输入到特征提取器中,通过特征提取器提取目标待比对指静脉图像的特征向量,该提取的特征向量能够体现该目标待比对指静脉图像的深层特征,基于该特征向量有助于对待比对指静脉图像进行比对,并得到准确的指静脉比对结果;最后将目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果,并根据二分类结果确定待比对指静脉图像是否来自同一根手指,通过采用二分类器能够从待比对指静脉图像的深层特征的角度出发,对目标待比对指静脉图像的特征向量进行精准区分,得到准确的指静脉比对结果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
基于实施例中所提供的指静脉比对方法,本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
图2示出与实施例中指静脉比对方法一一对应的指静脉比对装置的原理框图。如图2所示,该指静脉比对装置包括待比对指静脉图像获取模块10、目标待比对指静脉图像获取模块20、特征向量获取模块30、二分类结果获取模块40和确定模块50。其中,待比对指静脉图像获取模块10、目标待比对指静脉图像获取模块20、特征向量获取模块30、二分类结果获取模块40和确定模块50的实现功能与实施例中指静脉比对方法对应的步骤一一对应,为避免赘述,本实施例不一一详述。
待比对指静脉图像获取模块10,用于获取两张待比对指静脉图像,两张待比对指静脉图像为单通道图像。
目标待比对指静脉图像获取模块20,用于将两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像。
特征向量获取模块30,用于将目标待比对指静脉图像输入到特征提取器中,通过特征提取器提取目标待比对指静脉图像的特征向量,其中,特征提取器是采用双通道卷积神经网络训练得到的。
二分类结果获取模块40,用于将目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果。
确定模块50,用于根据二分类结果确定两张待比对指静脉图像是否来自同一根手指。
可选地,目标待比对指静脉图像获取模块20包括第一像素矩阵获取单元、第二像素矩阵获取单元和目标待比对指静脉图像获取单元。
第一像素矩阵获取单元,用于获取第一张待比对指静脉图像的单通道像素矩阵。
第二像素矩阵获取单元,用于获取第二张待比对指静脉图像的单通道像素矩阵。
目标待比对指静脉图像获取单元,用于将第一张待比对指静脉图像的单通道像素矩阵和第二张待比对指静脉图像的单通道像素矩阵中对应位置的像素值进行图像通道的融合,得到目标待比对指静脉图像。
可选地,指静脉比对装置还包括待训练指静脉样本获取单元、损失值获取单元和特征提取器获取单元。
待训练指静脉样本获取单元,用于获取待训练指静脉样本。
损失值获取单元,用于将待训练指静脉样本输入到双通道卷积神经网络中进行训练,采用增强边缘余弦损失函数计算训练过程中产生的损失值,其中,双通道卷积神经网络包括四层卷积层、四层池化层和一层全连接层,双通道卷积神经网络的第1、3、5、7层为卷积层,第2、4、6、8层为池化层,第9层为全连接层。
特征提取器获取单元,用于根据损失值更新双通道卷积神经网络,得到特征提取器。
可选地,待训练指静脉样本获取单元包括单通道待训练指静脉图像获取子单元、双通道待训练指静脉图像获取子单元、第一标签值获取子单元、第二标签值获取子单元和待训练指静脉样本获取子单元。
单通道待训练指静脉图像获取子单元,用于获取单通道的待训练指静脉图像。
双通道待训练指静脉图像获取子单元,用于将每两张单通道的待训练指静脉图像进行图像通道的融合,得到双通道的待训练指静脉图像。
第一标签值获取子单元,用于当进行融合的单通道的待训练指静脉图像来自同一根手指时,将双通道的待训练指静脉图像的标签值设为0。
第二标签值获取子单元,用于当进行融合的单通道的待训练指静脉图像不是来自同一根手指时,将双通道的待训练指静脉图像的标签值设为1。
待训练指静脉样本获取子单元,用于根据设置的标签值得到待训练指静脉样本。
可选地,确定模块50包括度量距离计算单元和确定单元。
第一确定单元,用于当二分类结果得到的值为0时,确定两张待比对指静脉图像来自同一根手指。
第二确定单元,用于当二分类结果得到的值为1时,确定两张待比对指静脉图像不是来自同一根手指。
在本发明实施例中,首先获取两张单通道的图像的待比对指静脉图像,并将两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像,通过图像通道的融合可以采用一张图像便可表示两张待比对指静脉图像,并在图像通道融合后具备关于两张待比对指静脉图像之间相似程度的深层特征,能够基于该深层特征确定两张待比对指静脉图像是否来自同一根手指;接着将目标待比对指静脉图像输入到特征提取器中,通过特征提取器提取目标待比对指静脉图像的特征向量,该提取的特征向量能够体现该目标待比对指静脉图像的深层特征,基于该特征向量有助于对待比对指静脉图像进行比对,并得到准确的指静脉比对结果;最后将目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果,并根据二分类结果确定待比对指静脉图像是否来自同一根手指,通过采用二分类器能够从待比对指静脉图像的深层特征的角度出发,对目标待比对指静脉图像的特征向量进行精准区分,得到准确的指静脉比对结果。
本实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现实施例中指静脉比对方法,为避免重复,此处不一一赘述。或者,该计算机程序被处理器执行时实现实施例中指静脉比对装置中各模块/单元的功能,为避免重复,此处不一一赘述。
图3是本发明一实施例提供的计算机设备的示意图。如图3所示,该实施例的计算机设备60包括:处理器61、存储器62以及存储在存储器62中并可在处理器61上运行的计算机程序63,该计算机程序63被处理器61执行时实现实施例中的指静脉比对方法,为避免重复,此处不一一赘述。或者,该计算机程序63被处理器61执行时实现实施例中指静脉比对装置中各模型/单元的功能,为避免重复,此处不一一赘述。
计算机设备60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备60可包括,但不仅限于,处理器61、存储器62。本领域技术人员可以理解,图3仅仅是计算机设备60的示例,并不构成对计算机设备60的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器61可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器62可以是计算机设备60的内部存储单元,例如计算机设备60的硬盘或内存。存储器62也可以是计算机设备60的外部存储设备,例如计算机设备60上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器62还可以既包括计算机设备60的内部存储单元也包括外部存储设备。存储器62用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种指静脉比对方法,其特征在于,所述方法包括:
获取两张待比对指静脉图像,所述两张待比对指静脉图像为单通道图像;
将所述两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像;
将所述目标待比对指静脉图像输入到特征提取器中,通过所述特征提取器提取所述目标待比对指静脉图像的特征向量,其中,所述特征提取器是采用双通道卷积神经网络训练得到的;
将所述目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果;
根据所述二分类结果确定所述两张待比对指静脉图像是否来自同一根手指。
2.根据权利要求1所述的方法,其特征在于,所述将所述两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像,包括:
获取第一张待比对指静脉图像的单通道像素矩阵;
获取第二张待比对指静脉图像的单通道像素矩阵;
将所述第一张待比对指静脉图像的单通道像素矩阵和所述第二张待比对指静脉图像的单通道像素矩阵中对应位置的像素值进行图像通道的融合,得到所述目标待比对指静脉图像。
3.根据权利要求1所述的方法,其特征在于,在所述将所述目标待比对指静脉图像输入到特征提取器中之前,还包括:
获取待训练指静脉样本;
将所述待训练指静脉样本输入到所述双通道卷积神经网络中进行训练,采用增强边缘余弦损失函数计算训练过程中产生的损失值,其中,所述双通道卷积神经网络包括四层卷积层、四层池化层和一层全连接层,所述双通道卷积神经网络的第1、3、5、7层为卷积层,第2、4、6、8层为池化层,第9层为全连接层;
根据所述损失值更新所述双通道卷积神经网络,得到所述特征提取器。
4.根据权利要求3所述的方法,其特征在于,所述获取待训练指静脉样本,包括:
获取单通道的待训练指静脉图像;
将每两张所述单通道的待训练指静脉图像进行图像通道的融合,得到双通道的待训练指静脉图像;
若进行融合的所述单通道的待训练指静脉图像来自同一根手指,则将所述双通道的待训练指静脉图像的标签值设为0;
若进行融合的所述单通道的待训练指静脉图像不是来自同一根手指,则将所述双通道的待训练指静脉图像的标签值设为1;
根据设置的所述标签值得到所述待训练指静脉样本。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述根据所述二分类结果确定所述两张待比对指静脉图像是否来自同一根手指,包括:
若所述二分类结果得到的值为0,则确定所述两张待比对指静脉图像来自同一根手指;
若所述二分类结果得到的值为1,则确定所述两张待比对指静脉图像不是来自同一根手指。
6.一种指静脉比对装置,其特征在于,所述装置包括:
待比对指静脉图像获取模块,用于获取两张待比对指静脉图像,所述两张待比对指静脉图像为单通道图像;
目标待比对指静脉图像获取模块,用于将所述两张待比对指静脉图像进行图像通道的融合,得到一张双通道的目标待比对指静脉图像;
特征向量获取模块,用于将所述目标待比对指静脉图像输入到特征提取器中,通过所述特征提取器提取所述目标待比对指静脉图像的特征向量,其中,所述特征提取器是采用双通道卷积神经网络训练得到的;
二分类结果获取模块,用于将所述目标待比对指静脉图像的特征向量输入到二分类器中,得到二分类结果;
确定模块,用于根据所述二分类结果确定所述两张待比对指静脉图像是否来自同一根手指。
7.根据权利要求6所述的装置,其特征在于,所述目标待比对指静脉图像获取模块,包括:
第一像素矩阵获取单元,用于获取第一张待比对指静脉图像的单通道像素矩阵;
第二像素矩阵获取单元,用于获取第二张待比对指静脉图像的单通道像素矩阵;
目标待比对指静脉图像获取单元,用于将所述第一张待比对指静脉图像的单通道像素矩阵和所述第二张待比对指静脉图像的单通道像素矩阵中对应位置的像素值进行图像通道的融合,得到所述目标待比对指静脉图像。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
待训练指静脉样本获取单元,用于获取待训练指静脉样本;
损失值获取单元,用于将所述待训练指静脉样本输入到所述双通道卷积神经网络中进行训练,采用增强边缘余弦损失函数计算训练过程中产生的损失值,其中,所述双通道卷积神经网络包括四层卷积层、四层池化层和一层全连接层,所述双通道卷积神经网络的第1、3、5、7层为卷积层,第2、4、6、8层为池化层,第9层为全连接层;
特征提取器获取单元,用于根据所述损失值更新所述双通道卷积神经网络,得到所述特征提取器。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述指静脉比对方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述指静脉比对方法的步骤。
CN201910263866.4A 2019-04-03 2019-04-03 指静脉比对方法、装置、计算机设备及存储介质 Active CN110175500B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910263866.4A CN110175500B (zh) 2019-04-03 2019-04-03 指静脉比对方法、装置、计算机设备及存储介质
SG11202100890TA SG11202100890TA (en) 2019-04-03 2019-09-04 Finger vein comparison method and device, computer equipment, and storage medium
JP2021506411A JP7141518B2 (ja) 2019-04-03 2019-09-04 指静脈照合方法、装置、コンピュータ機器、及び記憶媒体
PCT/CN2019/104331 WO2020199498A1 (zh) 2019-04-03 2019-09-04 指静脉比对方法、装置、计算机设备及存储介质
US17/178,911 US11893773B2 (en) 2019-04-03 2021-02-18 Finger vein comparison method, computer equipment, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910263866.4A CN110175500B (zh) 2019-04-03 2019-04-03 指静脉比对方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110175500A true CN110175500A (zh) 2019-08-27
CN110175500B CN110175500B (zh) 2024-01-19

Family

ID=67689375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910263866.4A Active CN110175500B (zh) 2019-04-03 2019-04-03 指静脉比对方法、装置、计算机设备及存储介质

Country Status (5)

Country Link
US (1) US11893773B2 (zh)
JP (1) JP7141518B2 (zh)
CN (1) CN110175500B (zh)
SG (1) SG11202100890TA (zh)
WO (1) WO2020199498A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199498A1 (zh) * 2019-04-03 2020-10-08 平安科技(深圳)有限公司 指静脉比对方法、装置、计算机设备及存储介质
CN112132099A (zh) * 2020-09-30 2020-12-25 腾讯科技(深圳)有限公司 身份识别方法、掌纹关键点检测模型训练方法和装置
CN113313082A (zh) * 2021-07-28 2021-08-27 北京电信易通信息技术股份有限公司 一种基于多任务损失函数的目标检测方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016155371A1 (zh) * 2015-03-31 2016-10-06 百度在线网络技术(北京)有限公司 识别交通标志的方法和装置
CN107977609A (zh) * 2017-11-20 2018-05-01 华南理工大学 一种基于cnn的指静脉身份验证方法
CN108921100A (zh) * 2018-07-04 2018-11-30 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8190239B2 (en) * 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
TWI340920B (en) * 2007-02-09 2011-04-21 Egis Technology Inc Biometrics method based on a thermal image of a finger
US8872909B2 (en) * 2010-06-10 2014-10-28 The Hong Kong Polytechnic University Method and apparatus for personal identification using finger imaging
TWI599964B (zh) * 2010-09-03 2017-09-21 國立台灣科技大學 手指靜脈辨識系統與方法
US8494283B2 (en) * 2010-12-21 2013-07-23 Microsoft Corporation Image quality assessment
KR101141312B1 (ko) * 2011-05-16 2012-05-04 동국대학교 산학협력단 영상의 융합 기법을 이용한 의료용 혈관영상 처리방법
US20150023572A1 (en) * 2013-07-22 2015-01-22 Rocky Williform System and methods for providing finger vein authentication and signature for execution of electronic wallet transactions
US10599932B2 (en) * 2014-06-09 2020-03-24 Lawrence Livermore National Security, Llc Personal electronic device for performing multimodal imaging for non-contact identification of multiple biometric traits
US9558392B2 (en) * 2015-02-12 2017-01-31 Korecen Co., Ltd. Finger vein authentication system
WO2017059591A1 (zh) * 2015-10-10 2017-04-13 厦门中控生物识别信息技术有限公司 手指静脉识别方法及装置
US20190026453A1 (en) * 2016-04-15 2019-01-24 All It Top Co., Ltd. Polyhedral three-dimensional imaging device for simultaneously authenticating fingerprint and finger veins
JP6708044B2 (ja) * 2016-07-28 2020-06-10 富士通株式会社 画像認識装置、画像認識プログラム、画像認識方法および認識装置
WO2018198233A1 (ja) * 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 学習装置、画像認識装置、学習方法及びプログラム
JP2020529695A (ja) * 2017-08-01 2020-10-08 ナンジン・イーストハウス・エレクトリカル・カンパニー・リミテッドNanjing Easthouse Electrical Co., Ltd. 指静脈画像取得装置
CN107832684B (zh) * 2017-10-26 2021-08-03 通华科技(大连)有限公司 一种具有自主学习能力的智能静脉认证方法和系统
CN108615002A (zh) * 2018-04-22 2018-10-02 广州麦仑信息科技有限公司 一种基于卷积神经网络的手掌静脉认证方法
CN108491835B (zh) * 2018-06-12 2021-11-30 常州大学 面向面部表情识别的双通道卷积神经网络
CN109409227A (zh) * 2018-09-25 2019-03-01 五邑大学 一种基于多通道cnn的手指静脉图质量评估方法及其装置
CN110175500B (zh) * 2019-04-03 2024-01-19 平安科技(深圳)有限公司 指静脉比对方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016155371A1 (zh) * 2015-03-31 2016-10-06 百度在线网络技术(北京)有限公司 识别交通标志的方法和装置
CN107977609A (zh) * 2017-11-20 2018-05-01 华南理工大学 一种基于cnn的指静脉身份验证方法
CN108921100A (zh) * 2018-07-04 2018-11-30 武汉高德智感科技有限公司 一种基于可见光图像与红外图像融合的人脸识别方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199498A1 (zh) * 2019-04-03 2020-10-08 平安科技(深圳)有限公司 指静脉比对方法、装置、计算机设备及存储介质
US11893773B2 (en) 2019-04-03 2024-02-06 Ping An Technology (Shenzhen) Co., Ltd. Finger vein comparison method, computer equipment, and storage medium
CN112132099A (zh) * 2020-09-30 2020-12-25 腾讯科技(深圳)有限公司 身份识别方法、掌纹关键点检测模型训练方法和装置
CN113313082A (zh) * 2021-07-28 2021-08-27 北京电信易通信息技术股份有限公司 一种基于多任务损失函数的目标检测方法及系统
CN113313082B (zh) * 2021-07-28 2021-10-29 北京电信易通信息技术股份有限公司 一种基于多任务损失函数的目标检测方法及系统

Also Published As

Publication number Publication date
SG11202100890TA (en) 2021-02-25
JP7141518B2 (ja) 2022-09-22
US20210174104A1 (en) 2021-06-10
WO2020199498A1 (zh) 2020-10-08
JP2021533493A (ja) 2021-12-02
US11893773B2 (en) 2024-02-06
CN110175500B (zh) 2024-01-19

Similar Documents

Publication Publication Date Title
Xu et al. Light-YOLOv3: fast method for detecting green mangoes in complex scenes using picking robots
CN109934173A (zh) 表情识别方法、装置及电子设备
AU2014218444B2 (en) Dynamic feature selection for joint probabilistic recognition
CN110147732A (zh) 指静脉识别方法、装置、计算机设备及存储介质
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
Qian et al. Sequence-dropout block for reducing overfitting problem in image classification
CN108537168B (zh) 基于迁移学习技术的面部表情识别方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
Yan et al. Multiscale convolutional neural networks for hand detection
CN110175500A (zh) 指静脉比对方法、装置、计算机设备及存储介质
CN109871845A (zh) 证件图像提取方法及终端设备
CN109034012A (zh) 基于动态图像和视频子序列的第一人称视角手势识别方法
CN107967461A (zh) Svm 差分模型训练及人脸验证方法、装置、终端及存储介质
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
Sahu et al. Dynamic routing using inter capsule routing protocol between capsules
CN111126347A (zh) 人眼状态识别方法、装置、终端及可读存储介质
Yang et al. A Face Detection Method Based on Skin Color Model and Improved AdaBoost Algorithm.
Kim et al. A shape preserving approach for salient object detection using convolutional neural networks
Chen et al. Fast face detection algorithm based on improved skin-color model
Liu et al. Presentation attack detection for face in mobile phones
CN109583492A (zh) 一种识别对抗性图像的方法及终端
Gass et al. Warp that smile on your face: Optimal and smooth deformations for face recognition
CN117197864A (zh) 基于深度学习的证件照分类识别及免冠检测方法及系统
Lee et al. Efficient Face Detection and Tracking with extended camshift and haar-like features
CN116758622A (zh) 用于出勤管理系统的数据处理方法、装置、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant