CN109472213B - 掌纹识别方法、装置、计算机设备和存储介质 - Google Patents

掌纹识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109472213B
CN109472213B CN201811205254.1A CN201811205254A CN109472213B CN 109472213 B CN109472213 B CN 109472213B CN 201811205254 A CN201811205254 A CN 201811205254A CN 109472213 B CN109472213 B CN 109472213B
Authority
CN
China
Prior art keywords
palm print
palm
preset
coordinates
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811205254.1A
Other languages
English (en)
Other versions
CN109472213A (zh
Inventor
曹辰捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811205254.1A priority Critical patent/CN109472213B/zh
Publication of CN109472213A publication Critical patent/CN109472213A/zh
Application granted granted Critical
Publication of CN109472213B publication Critical patent/CN109472213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请涉及一种基于人工智能的掌纹识别方法、装置、计算机设备和存储介质。所述方法包括:获取待识别的手掌图像;将所述手掌图像输入至回归模型中;根据所述回归模型获取所述手掌图像中包含预设掌纹类型的关键点;获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标;根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息。这种掌纹识别方法,可以准确的获取到输入的手掌图像中所包含的掌纹类型以及各个掌纹类型对应的关键点和关键点对应的坐标,在此基础上可以根据各个掌纹类型对应的关键点的坐标信息对用户的性格进行分析等。

Description

掌纹识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种掌纹识别方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的飞速发展,人工智能的应用也越来越广泛。在传统技术中,可通过机器模型对用户的掌纹进行特征提取以进行身份识别。但没有对掌纹关键点进行相关研究,即根据传统技术,无法获取到掌纹中所包含的各个掌纹所包含的关键点,也无法获知掌纹中所包含的各个关键点的坐标信息。
发明内容
基于此,有必要针对上述技术问题,提供一种能够获取到手掌图像中关键点的掌纹识别方法、装置、计算机设备和存储介质。
一种掌纹识别方法,所述方法包括:
获取待识别的手掌图像;
将所述手掌图像输入至回归模型中;
根据所述回归模型获取所述手掌图像中包含预设掌纹类型的关键点;
获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标;
根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息。
在其中一个实施例中,所述获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标,包括:获取所述回归模型依次输出的与所述预设掌纹类型对应的多个目标手掌图像,每个所述目标手掌图像中包含有预设数量的与所述预设掌纹类型对应的关键点的坐标;获取与所述预设掌纹类型对应的多个目标手掌图像中包含的关键点的坐标;根据所述目标手掌图像中包含的关键点的坐标确定所述预设掌纹类型对应的各个关键点的坐标。
在其中一个实施例中,所述方法还包括:获取所述手掌图像中第一手指和第二手指的坐标;根据所述第一手指和所述第二手指的坐标确定所述手掌图像中手指的宽度;将所述手指的宽度作为测量所述手掌图像中包含的预设掌纹类型长度的测量单位,得到所述手掌图像中包含的预设掌纹类型的长度。
在其中一个实施例中,所述得到所述手掌图像中包含的预设掌纹类型长度,包括:获取与所述预设掌纹类型对应的各个关键点的坐标;根据相邻的两个关键点的坐标计算相邻关键点之间的距离;以所述手指的宽度为测量单位确定相邻关键点之间的距离所对应的长度;根据所述相邻关键点之间的距离所对应的长度确定所述预设掌纹类型的长度。
在其中一个实施例中,在所述得到所述手掌图像中包含的预设掌纹类型长度之后,还包括:从数据库中获取掌纹数据集,所述掌纹数据集中包含有多个标准掌纹图像、各个标准掌纹图像中包含的所述预设掌纹类型的长度,以及与所述标准掌纹图像对应的分析数据;将所述手掌图像中包含的各个预设掌纹类型的长度与所述掌纹数据集进行匹配,确定所述手掌图像对应的分析数据。
在其中一个实施例中,所述回归模型的训练步骤包括:获取多个样本掌纹图像,及对每个所述样本掌纹图像中包含的所述预设掌纹类型对应的标准关键点的坐标;依次将每个样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至所述回归模型中;所述回归模型依次输出与每个所述预设掌纹类型对应的预测关键点的坐标;所述回归模型将与每个预设掌纹类型对应的预测关键点的坐标与所述标准关键点的坐标进行对比,根据对比结果调整所述回归模型的参数;根据所述预设掌纹类型对应的预测关键点的坐标与所述标准关键点的坐标计算所述回归模型的预测准确率;当所述预测准确率达到预设准确值时,得到训练好的回归模型。
一种掌纹识别装置,所述装置包括:
图像获取模块,用于获取待识别的手掌图像;
坐标确定模块,用于将所述手掌图像输入至回归模型中;根据所述回归模型获取所述手掌图像中包含预设掌纹类型的关键点;获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标;
位置信息确定模块,用于根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待识别的手掌图像;
将所述手掌图像输入至回归模型中;
根据所述回归模型获取所述手掌图像中包含预设掌纹类型的关键点;
获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标;
根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待识别的手掌图像;
将所述手掌图像输入至回归模型中;
根据所述回归模型获取所述手掌图像中包含预设掌纹类型的关键点;
获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标;
根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息。
上述掌纹识别方法、装置、计算机设备和存储介质,通过获取到待识别的手掌图像,将手掌图像输入至回归模型中,通过回归模型获取到手掌图像中包含的预设掌纹类型的关键点,并输出与预设掌纹类型对应的各个关键点的坐标,从而可以确定各个预设掌纹类型在手掌图像中的位置信息。这种掌纹识别方法,可以准确的获取到输入的手掌图像中所包含的掌纹类型以及各个掌纹类型对应的关键点和关键点对应的坐标,在此基础上可以根据各个掌纹类型对应的关键点的坐标信息对用户的性格进行分析等。
附图说明
图1为一个实施例中掌纹识别方法的应用场景图;
图2为一个实施例中掌纹识别方法的流程示意图;
图3为一个实施例中掌纹识别方法还包括的步骤的流程示意图;
图4为一个实施例中得到手掌图像中包含的预设掌纹类型长度的步骤的流程示意图;
图5为一个实施例中手掌图像中的生命线的分析数据示意图;
图6为一个实施例中手掌图像中的智慧线的分析数据示意图;
图7为一个实施例中手掌图像中的感情线的分析数据示意图;
图8为一个实施例中回归模型的训练步骤的流程示意图;
图9为一个实施例中掌纹识别装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的掌纹识别方法,可以应用于如图1所示的应用环境中。其中,终端110通过网络与服务器120通过网络进行通信。回归模型可以在终端110上,也可以在服务120上,当回归模型在服务器120上时,可以通过终端110将待识别的手掌图像输入至服务器120中的回归模型中。其中,终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种掌纹识别方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,获取待识别的手掌图像。
步骤204,将手掌图像输入至回归模型中。
步骤206,根据回归模型获取手掌图像中包含预设掌纹类型的关键点。
步骤208,获取回归模型依次输出的与预设掌纹类型对应的各个关键点的坐标。
步骤210,根据预设掌纹类型对应的各个关键点的坐标确定各个预设掌纹类型在手掌图像中的位置信息。
待识别的手掌图像是指需要识别手掌中掌纹所采集的对应的手掌图像。为了提高识别准确率,可在采集手掌图像时进行校准,即只采集手掌部分的图像。或者在采集到手掌图像时,对手掌图像进行图像裁剪,以确定输入至回归模型中的手掌图像中包含有完整的手掌区域,且尽量少存在手掌之外的特征,比如白边,或者图像背景等。服务器在获取到手掌图像后,可以将手掌图像输入至预先训练好的回归模型中,回归模型可以获取到手掌图像中所包含的预设掌纹类型对应的关键点,且在回归模型在对手掌图像进行特征提取时,也会获取到各个关键点的坐标,因此回归模型可以将识别出来的与各个预设掌纹类型对应的各个关键点的坐标进行输出。预设掌纹类型是指预先设置的多个掌纹类型,比如预设掌纹类型可以是生命线,智慧线,感情线等,每个掌纹类型在每个人的手掌图像中均对应有一条曲线。
关键点则是指组成每个掌纹类型对应曲线的多个点,将每个掌纹类型对应的关键点进行连接后,即可得到该掌纹类型对应的曲线。因此,在回归模型将与各个预设掌纹类型对应的各个关键点的坐标后,可根据与每个预设掌纹类型对应的各个关键点的坐标确定各个预设掌纹类型在手掌图像中的位置信息。假设预设掌纹类型X对应的关键点分别为A1,A2,A3,A4,A5,那么在确定了这5个关键点以及每个关键点对应的坐标后,根据关键点的坐标依次将这5个关键点进行连接即可得到与预设掌纹类型X对应的曲线,也可以确定预设掌纹类型X在手掌图像中的位置信息。服务器在获取到预设掌纹类型的各个关键点以及与各个关键点对应的坐标后,可以将与预设掌纹类型的各个关键点进行连接,得到与预设掌纹类型对应的曲线。从而可以根据关键点的坐标信息确定该曲线的轨迹点,即确定了该曲线在手掌图像中的位置信息。也就是说,曲线的位置信息即为各个关键点的坐标信息。比如当预设掌纹类型为智慧线时,可以获取到手掌图像中的智慧线对应的N个关键点以及各个关键点的坐标。将这N个关键点进行连接得到智慧线的曲线后,则可以根据N个关键点的坐标获知智慧线对应的曲线在手掌图像中的位置信息。还可以进一步地根据预设掌纹类型X的关键点确定预设掌纹类型X的曲线长度。
在一个实施例中,回归模型依次输出的与预设掌纹类型对应的各个关键点的坐标,包括:获取回归模型依次输出的与预设掌纹类型对应的多个目标手掌图像,每个目标手掌图像中包含有预设数量的与预设掌纹类型对应的关键点的坐标;获取与预设掌纹类型对应的多个目标手掌图像中包含的关键点的坐标;根据目标手掌图像中包含的关键点的坐标确定预设掌纹类型对应的各个关键点的坐标。
在服务器获取到回归模型输出的与预设掌纹类型对应的各个关键点的坐标时,可以依次输出多个目标手掌图像,在每个目标手掌图像中可以标注一个关键点和关键点的坐标。假设预设掌纹类型X对应的关键点有A1,A2,A3,A4,A5,那么回归模型可以输出5张与预设掌纹类型X对应的目标手掌图像,而在每一张目标手掌图像中包含有一个关键点和关键点的坐标。如此,可清晰准确的知道每个预设掌纹类型的关键点和坐标。且,在回归模型输出与预设掌纹类型对应的多个目标手掌图像时,可以根据预先定义的输出顺序对目标手掌图像进行输出。比如定义的输出顺序为预设掌纹类型X、预设掌纹类型Y、预设掌纹类型Z。那么回归模型在输出时,会先将预设掌纹类型X对应的5个目标手掌图像进行输出,再将预设掌纹类型Y对应的5个目标手掌图像进行输出,最后输出预设掌纹类型Z对应的5个目标手掌图像进行输出。
上述掌纹识别方法中,通过获取到待识别的手掌图像,将手掌图像输入至回归模型中,通过回归模型获取到手掌图像中包含的预设掌纹类型的关键点,并输出与预设掌纹类型对应的各个关键点的坐标,从而可以确定各个预设掌纹类型在手掌图像中的位置信息。这种掌纹识别方法,可以准确的获取到输入的手掌图像中所包含的掌纹类型以及各个掌纹类型对应的关键点和关键点对应的坐标,在此基础上可以根据各个掌纹类型对应的关键点的坐标信息对用户的性格进行分析等。
在一个实施例中,如图3所示,上述方法还包括:
步骤302,获取手掌图像中第一手指和第二手指的坐标。
步骤304,根据第一手指和第二手指的坐标确定手掌图像中手指的宽度。
步骤306,将手指的宽度作为测量手掌图像中包含的预设掌纹类型长度的测量单位,得到手掌图像中包含的预设掌纹类型的长度。
在手掌图像中包含有5个手指,可以选取出两个手指以确定手指的宽度。第一手指和第二手指是指手掌图像中不同的两个手指,用于确定该手掌图像中包含的手指的宽度。第一和第二是相对概念,第一手指可以是无名指,第二手指可以是食指。可以通过手掌图像获取到第一手指和第二手指的坐标,根据这两个手指的坐标即可计算出这两个手指之间的距离,将手指的距离除以包含的手指的数量得到的值即为手指的宽度。比如第一手指可以是无名指,第二手指可以是食指时,假设根据这两个手指的坐标计算出两个手指之间间隔的距离为S,距离S中包含的手指数量为3,那么S/3得到的值即为手指的宽度。为了测量的准确性,可以将手指的宽度作为测量手掌图像中包含的预设掌纹类型长度的测量单位,如此,从手掌图像中选取一个参照物作为测量单位能够提高测量出来的数值的准确性。
在一个实施例中,如图4所示,得到手掌图像中包含的预设掌纹类型长度,包括:
步骤402,获取与预设掌纹类型对应的各个关键点的坐标。
步骤404,根据相邻的两个关键点的坐标计算相邻关键点之间的距离。
步骤406,以手指的宽度为测量单位确定相邻关键点之间的距离所对应的长度。
步骤408,根据相邻关键点之间的距离所对应的长度确定预设掌纹类型的长度。
每个预设掌纹类型在手掌图像中对应的关键点有多个,每个关键点均有各自的坐标,可以获取到预设掌纹类型对应的各个关键点的坐标后,可以根据关键点的坐标分别计算相邻的两个关键点之间的距离。根据关键点的左边计算出关键点之间的距离后,即可得到预设掌纹类型的长度。假设预设掌纹类型A对应的关键点有5个,分别为A1、A2、A3、A4、A5,可以根据关键点的坐标计算出相邻的两个关键点的坐标。即,可以计算出A1与A2、A2与A3、A3与A4、A4与A5之间的距离,分别为S1、S2、S3、S4、S5。那么可确定预设掌纹类型A的长度为S1、S2、S3、S4、S5相加得到的和。
在一个实施例中,在得到手掌图像中包含的预设掌纹类型长度之后,还包括:从数据库中获取掌纹数据集,掌纹数据集中包含有多个标准掌纹图像、各个标准掌纹图像中包含的预设掌纹类型的长度,以及与标准掌纹图像对应的分析数据;将手掌图像中包含的各个预设掌纹类型的长度与掌纹数据集进行匹配,确定手掌图像对应的分析数据。
在数据库中存储有掌纹数据集,在掌纹数据集中包含有多个用户的标准掌纹图像、各个标准掌纹图像中包含的预设掌纹类型的长度以及与各个标准掌纹图像对应的分析数据。标准掌纹图像是指掌纹数据集中包含的手掌图像,在采集标准掌纹图像时,也会对该标准掌纹图像对应用户的信息进行采集。用户的信息可以包括该用户的性格,就业方向的考虑,喜好以及用户的健康状况等,也可以根据实际需求对用户的信息进行增加,比如增加用户对另一半的要求或择偶要求信息等等。同时,在采集到多个用户的掌纹图像后,还对获取到用户的掌纹图像中各个预设掌纹类型的长度,并进行记录。
因此,在得到手掌图像中包含的预设掌纹类型长度之后,即在根据相邻关键点之间的距离所对应的长度确定预设掌纹类型的长度之后,还可以对预设掌纹类型的长度进行分析。可以将需要分析的手掌图像中包含的各个预设掌纹类型的长度,与掌纹数据集中包含的各个标准掌纹图像中包含的预设掌纹类型进行匹配。在匹配时,会依次对待分析的手掌图像中的各个预设掌纹类型进行匹配。比如,预设掌纹类型包括生命线,智慧线,感情线这三个类型,在将待分析的手掌图像与每个用户的标准手掌图像进行匹配时,可以依次比对待分析的手掌图像中的生命线的长度与数据集中包含的全部标准手掌图像中的生命线的长度、待分析的手掌图像中的智慧线的长度与数据集中包含的全部标准手掌图像中的智慧线的长度、待分析的手掌图像中的感情线的长度与数据集中包含的全部标准手掌图像中的感情线的长度。当待分析的手掌图像中的生命线的长度超过了第一预设百分比的数据集中包含的用户人数时,则可以认为生命线的长度较长,从而可以分析得到待分析的手掌图像中关于生命线对应的分析数据。若是手掌图像中的生命线的长度超过了第二预设百分比的数据集中包含的用户人数时,则可以认为生命线的长度较短,从而可以分析得到待分析的手掌图像中关于生命线对应的分析数据。此处,第一预设百分比大于第二预设百分比,比如可以将第一预设百分比设置为68%,将第二预设百分比设置为23%。以此方式,再依次得到智慧线与感情线对应的分析数据。具体地,以预设掌纹类型为生命线,智慧线,感情线为例,在得到这三个类型的掌纹类型的长度后可进行分析得到分析结果。如图5、图6、图7所示,分别展示了对某一个待分析的手掌图像中包含的生命线,智慧线,感情线这三个类型各自对应的分析数据。
分析数据也可以根据数据库中存储的标准掌纹图像的不同以及标准掌纹图像对应的分析数据的不同,进行变化。对预设掌纹类型的长度进行分析时,也可以采取以下的分析方法。依次比对待分析的手掌图像中的生命线的长度与数据集中的全部标准手掌图像中的生命线的长度、待分析的手掌图像中的智慧线的长度与标准手掌图像中的智慧线的长度、待分析的手掌图像中的感情线的长度与标准手掌图像中的感情线的长度。当待分析的手掌图像中的生命线,智慧线,感情线的长度,与某一个用户的标准手掌图像中包含的生命线,智慧线,感情线的长度的差值均达到预设的差值阈值时,可认为待分析的手掌图像与该用户的标准手掌图像属于相似的手掌图像,从而可以将该用户的标准掌纹图像对应的分析数据作为待分析的手掌图像的分析数据。即可以将该用户的标准掌纹图像对应的性格信息、健康信息、择偶要求信息等作为对该待分析的手掌图像的用户的分析数据。分析方法也可以根据实际需求而设置。
在一个实施例中,如图8所示,回归模型的训练步骤包括:
步骤802,获取多个样本掌纹图像,及对每个样本掌纹图像中包含的预设掌纹类型对应的标准关键点的坐标。
步骤804,依次将每个样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至回归模型中。
步骤806,回归模型依次输出与每个预设掌纹类型对应的预测关键点的坐标。
步骤808,回归模型将与每个预设掌纹类型对应的预测关键点的坐标与标准关键点的坐标进行对比,根据对比结果调整回归模型的参数。
步骤810,根据预设掌纹类型对应的预测关键点的坐标与标准关键点的坐标计算回归模型的预测准确率。
步骤812,当预测准确率达到预设准确值时,得到训练好的回归模型。
在将回归模型投入实际使用之前,为了提高回归模型的预测准确率,可以预先对回归模型进行训练。可以获取到多个样本掌纹图像,及对每个样本掌纹图像中包含的预设掌纹类型对应的标准关键点的坐标。样本掌纹图像是指采集到的多个用户的掌纹图像,作为训练样本。在获取到多个用户的掌纹图像后,可以对样本掌纹图像中包含的各个预设掌纹类型的关键点进行人工标注,这样可以保证标注出的与各个预设掌纹类型的关键点的准确性。标注后,可以依次将每个样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至回归模型中,以对回归模型进行训练。在训练过程中回归模型会根据输入的数据不断的对模型的参数进行调整,以提高预测准确率,回归模型的参数进行调整的过程即为回归模型的训练过程。在对回归模型进行训练时,会预先定义好输入的预设掌纹类型的顺序,以及回归模型的对预设掌纹类型的关键点坐标的输出顺序,即回归模型会依次输出与每个预设掌纹类型对应的预测关键点的坐标。
假设预先定义对预设掌纹类型的输入类型为掌纹类型A、掌纹类型B、掌纹类型C,那么在将样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至回归模型中时,也会依次输入将样本掌纹图像中的掌纹类型A、掌纹类型B、掌纹类型C以及各个掌纹类型的标准关键点的坐标。回归模型在输出时,也会依次将样本掌纹图像中的掌纹类型A、掌纹类型B、掌纹类型C对应的预测关键点的坐标进行输出。因此,根据回归模型的输出顺序即可获知每个样本掌纹图像中各个预设掌纹类型的关键点的坐标。
还可以根据回归模型的预测结果计算出回归模型的预测准确率。将回归模型输出的预测关键点的坐标与输入的标准关键点的坐标进行比对,以确定回归模型输出的预测结果是否与输入的标准关键点的坐标是相同的。假设输入了100个关键点对应的坐标,回归模型输出的100个预测关键点的坐标中与输入的标准关键点的坐标相同的数量为80,则可以计算得到回归模型的预测准确率为80/100=0.8。将回归模型的预测准确率与预设准确值进行比较,若是预测准确率达到了预设准确值时,则可认为回归模型训练完毕,即可得到训练好的回归模型。比如若是预设准确值为0.95,则上述的预测准确率0.8未达到预设准确值0.95,则需要进一步对回归模型进行训练,可以使用新的样本掌纹图像对回归模型进行进一步的训练,直到回归模型的预测准确率达到预设准确值0.95,才认为回归模型训练完毕。
应该理解的是,虽然图2-4以及图8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4以及图8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图9所示,提供了一种掌纹识别装置,包括:图像获取模块、坐标确定模块和位置信息确定模块,其中:
图像获取模块902,用于获取待识别的手掌图像。
坐标确定模块904,用于将所述手掌图像输入至回归模型中;根据回归模型获取手掌图像中包含预设掌纹类型的关键点;获取回归模型依次输出的与预设掌纹类型对应的各个关键点的坐标。
位置信息确定模块906,用于根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息。
在一个实施例中,上述坐标确定模块904还用于获取所述回归模型依次输出的与所述预设掌纹类型对应的多个目标手掌图像,每个所述目标手掌图像中包含有预设数量的与所述预设掌纹类型对应的关键点的坐标;获取与预设掌纹类型对应的多个目标手掌图像中包含的关键点的坐标;根据目标手掌图像中包含的关键点的坐标确定预设掌纹类型对应的各个关键点的坐标。
在一个实施例中,上述装置还包括测量模块(图中未示出),用于获取所述手掌图像中第一手指和第二手指的坐标;根据所述第一手指和所述第二手指的坐标确定所述手掌图像中手指的宽度;将所述手指的宽度作为测量所述手掌图像中包含的预设掌纹类型长度的测量单位。
在一个实施例中,上述测量模块还用于获取与所述预设掌纹类型对应的各个关键点的坐标;根据相邻的两个关键点的坐标计算相邻关键点之间的距离;以所述手指的宽度为测量单位确定相邻关键点之间的距离所对应的长度;根据所述相邻关键点之间的距离所对应的长度确定所述预设掌纹类型的长度。
在一个实施例中,上述测量模块还用于从数据库中获取掌纹数据集,所述掌纹数据集中包含有多个标准掌纹图像、各个标准掌纹图像中包含的所述预设掌纹类型的长度,以及与所述标准掌纹图像对应的分析数据;将所述手掌图像中包含的各个预设掌纹类型的长度与所述掌纹数据集进行匹配,确定所述手掌图像对应的分析数据。
在一个实施例中,上述装置还包括训练模块(图中未示出),用于获取多个样本掌纹图像,及对每个所述样本掌纹图像中包含的所述预设掌纹类型对应的标准关键点的坐标;依次将每个样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至所述回归模型中;所述回归模型依次输出与每个所述预设掌纹类型对应的预测关键点的坐标;所述回归模型将与每个预设掌纹类型对应的预测关键点的坐标与所述标准关键点的坐标进行对比,根据对比结果调整所述回归模型的参数;根据所述预设掌纹类型对应的预测关键点的坐标与所述标准关键点的坐标计算所述回归模型的预测准确率;当所述预测准确率达到预设准确值时,得到训练好的回归模型。
关于掌纹识别装置的具体限定可以参见上文中对于掌纹识别方法的限定,在此不再赘述。上述掌纹识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储掌纹识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种掌纹识别方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行计算机程序时实现以下步骤:获取待识别的手掌图像;将手掌图像输入至回归模型中;根据回归模型获取手掌图像中包含预设掌纹类型的关键点;获取回归模型依次输出的与预设掌纹类型对应的各个关键点的坐标;根据预设掌纹类型对应的各个关键点的坐标确定各个预设掌纹类型在手掌图像中的位置信息。
在一个实施例中,回归模型依次输出的与预设掌纹类型对应的各个关键点的坐标,包括:获取回归模型依次输出的与预设掌纹类型对应的多个目标手掌图像,每个目标手掌图像中包含有预设数量的与预设掌纹类型对应的关键点的坐标;获取与预设掌纹类型对应的多个目标手掌图像中包含的关键点的坐标;根据目标手掌图像中包含的关键点的坐标确定预设掌纹类型对应的各个关键点的坐标。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:获取手掌图像中第一手指和第二手指的坐标;根据第一手指和第二手指的坐标确定手掌图像中手指的宽度;将手指的宽度作为测量手掌图像中包含的预设掌纹类型长度的测量单位,得到手掌图像中包含的预设掌纹类型的长度。
在一个实施例中,得到手掌图像中包含的预设掌纹类型长度,包括:获取与预设掌纹类型对应的各个关键点的坐标;根据相邻的两个关键点的坐标计算相邻关键点之间的距离;以手指的宽度为测量单位确定相邻关键点之间的距离所对应的长度;根据相邻关键点之间的距离所对应的长度确定预设掌纹类型的长度。
在一个实施例中,在得到手掌图像中包含的预设掌纹类型长度之后,处理器执行计算机程序时还实现以下步骤:从数据库中获取掌纹数据集,掌纹数据集中包含有多个标准掌纹图像、各个标准掌纹图像中包含的预设掌纹类型的长度,以及与标准掌纹图像对应的分析数据;将手掌图像中包含的各个预设掌纹类型的长度与掌纹数据集进行匹配,确定手掌图像对应的分析数据。
在一个实施例中,回归模型的训练步骤包括:获取多个样本掌纹图像,及对每个样本掌纹图像中包含的预设掌纹类型对应的标准关键点的坐标;依次将每个样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至回归模型中;回归模型依次输出与每个预设掌纹类型对应的预测关键点的坐标;回归模型将与每个预设掌纹类型对应的预测关键点的坐标与标准关键点的坐标进行对比,根据对比结果调整回归模型的参数;根据预设掌纹类型对应的预测关键点的坐标与标准关键点的坐标计算回归模型的预测准确率;当预测准确率达到预设准确值时,得到训练好的回归模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:获取待识别的手掌图像;将手掌图像输入至回归模型中;根据回归模型获取手掌图像中包含预设掌纹类型的关键点;获取回归模型依次输出的与预设掌纹类型对应的各个关键点的坐标;根据预设掌纹类型对应的各个关键点的坐标确定各个预设掌纹类型在手掌图像中的位置信息。
在一个实施例中,回归模型依次输出的与预设掌纹类型对应的各个关键点的坐标,包括:获取回归模型依次输出的与预设掌纹类型对应的多个目标手掌图像,每个目标手掌图像中包含有预设数量的与预设掌纹类型对应的关键点的坐标;获取与预设掌纹类型对应的多个目标手掌图像中包含的关键点的坐标;根据目标手掌图像中包含的关键点的坐标确定预设掌纹类型对应的各个关键点的坐标。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:获取手掌图像中第一手指和第二手指的坐标;根据第一手指和第二手指的坐标确定手掌图像中手指的宽度;将手指的宽度作为测量手掌图像中包含的预设掌纹类型长度的测量单位,得到手掌图像中包含的预设掌纹类型的长度。
在一个实施例中,得到手掌图像中包含的预设掌纹类型长度,包括:获取与预设掌纹类型对应的各个关键点的坐标;根据相邻的两个关键点的坐标计算相邻关键点之间的距离;以手指的宽度为测量单位确定相邻关键点之间的距离所对应的长度;根据相邻关键点之间的距离所对应的长度确定预设掌纹类型的长度。
在一个实施例中,在得到手掌图像中包含的预设掌纹类型长度之后,计算机程序被处理器执行时还实现以下步骤:从数据库中获取掌纹数据集,掌纹数据集中包含有多个标准掌纹图像、各个标准掌纹图像中包含的预设掌纹类型的长度,以及与标准掌纹图像对应的分析数据;将手掌图像中包含的各个预设掌纹类型的长度与掌纹数据集进行匹配,确定手掌图像对应的分析数据。
在一个实施例中,回归模型的训练步骤包括:获取多个样本掌纹图像,及对每个样本掌纹图像中包含的预设掌纹类型对应的标准关键点的坐标;依次将每个样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至回归模型中;回归模型依次输出与每个预设掌纹类型对应的预测关键点的坐标;回归模型将与每个预设掌纹类型对应的预测关键点的坐标与标准关键点的坐标进行对比,根据对比结果调整回归模型的参数;根据预设掌纹类型对应的预测关键点的坐标与标准关键点的坐标计算回归模型的预测准确率;当预测准确率达到预设准确值时,得到训练好的回归模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种掌纹识别方法,其特征在于,所述方法包括:
获取待识别的手掌图像;
将所述手掌图像输入至回归模型中;
根据所述回归模型获取所述手掌图像中包含预设掌纹类型的关键点;
获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标;
根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息;
所述方法还包括:
获取所述手掌图像中第一手指和第二手指的坐标;
根据所述第一手指和所述第二手指的坐标确定所述手掌图像中手指的宽度;
将所述手指的宽度作为测量所述手掌图像中包含的预设掌纹类型长度的测量单位,得到所述手掌图像中包含的预设掌纹类型的长度;其中,所述预设掌纹类型的长度根据所述预设掌纹类型的关键点确定。
2.根据权利要求1所述的方法,其特征在于,所述获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标,包括:
获取所述回归模型依次输出的与所述预设掌纹类型对应的多个目标手掌图像,每个所述目标手掌图像中包含有预设数量的与所述预设掌纹类型对应的关键点的坐标;
获取与所述预设掌纹类型对应的多个目标手掌图像中包含的关键点的坐标;
根据所述目标手掌图像中包含的关键点的坐标确定所述预设掌纹类型对应的各个关键点的坐标。
3.根据权利要求1所述的方法,其特征在于,所述得到所述手掌图像中包含的预设掌纹类型长度,包括:
获取与所述预设掌纹类型对应的各个关键点的坐标;
根据相邻的两个关键点的坐标计算相邻关键点之间的距离;
以所述手指的宽度为测量单位确定相邻关键点之间的距离所对应的长度;
根据所述相邻关键点之间的距离所对应的长度确定所述预设掌纹类型的长度。
4.根据权利要求1所述的方法,其特征在于,在所述得到所述手掌图像中包含的预设掌纹类型长度之后,还包括:
从数据库中获取掌纹数据集,所述掌纹数据集中包含有多个标准掌纹图像、各个标准掌纹图像中包含的所述预设掌纹类型的长度,以及与所述标准掌纹图像对应的分析数据;
将所述手掌图像中包含的各个预设掌纹类型的长度与所述掌纹数据集进行匹配,确定所述手掌图像对应的分析数据。
5.根据权利要求1所述的方法,其特征在于,所述回归模型的训练步骤包括:
获取多个样本掌纹图像,及对每个所述样本掌纹图像中包含的所述预设掌纹类型对应的标准关键点的坐标;
依次将每个样本掌纹图像以及与每个样本掌纹图像对应的标准关键点的坐标输入至所述回归模型中;
所述回归模型依次输出与每个所述预设掌纹类型对应的预测关键点的坐标;
所述回归模型将与每个预设掌纹类型对应的预测关键点的坐标与所述标准关键点的坐标进行对比,根据对比结果调整所述回归模型的参数;
根据所述预设掌纹类型对应的预测关键点的坐标与所述标准关键点的坐标计算所述回归模型的预测准确率;
当所述预测准确率达到预设准确值时,得到训练好的回归模型。
6.一种掌纹识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取待识别的手掌图像;
坐标确定模块,用于将所述手掌图像输入至回归模型中;根据所述回归模型获取所述手掌图像中包含预设掌纹类型的关键点;获取所述回归模型依次输出的与所述预设掌纹类型对应的各个关键点的坐标;
位置信息确定模块,用于根据所述预设掌纹类型对应的各个关键点的坐标确定各个所述预设掌纹类型在所述手掌图像中的位置信息;
所述装置还包括测量模块,用于获取所述手掌图像中第一手指和第二手指的坐标;根据所述第一手指和所述第二手指的坐标确定所述手掌图像中手指的宽度;将所述手指的宽度作为测量所述手掌图像中包含的预设掌纹类型长度的测量单位,得到所述手掌图像中包含的预设掌纹类型的长度;其中,所述预设掌纹类型的长度根据所述预设掌纹类型的关键点确定。
7.根据权利要求6所述的装置,其特征在于,所述测量模块还用于获取与所述预设掌纹类型对应的各个关键点的坐标;根据相邻的两个关键点的坐标计算相邻关键点之间的距离;以所述手指的宽度为测量单位确定相邻关键点之间的距离所对应的长度;根据所述相邻关键点之间的距离所对应的长度确定所述预设掌纹类型的长度。
8.根据权利要求6所述的装置,其特征在于,所述坐标确定模块还用于获取所述回归模型依次输出的与所述预设掌纹类型对应的多个目标手掌图像,每个所述目标手掌图像中包含有预设数量的与所述预设掌纹类型对应的关键点的坐标;获取与所述预设掌纹类型对应的多个目标手掌图像中包含的关键点的坐标;根据所述目标手掌图像中包含的关键点的坐标确定所述预设掌纹类型对应的各个关键点的坐标。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201811205254.1A 2018-10-16 2018-10-16 掌纹识别方法、装置、计算机设备和存储介质 Active CN109472213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811205254.1A CN109472213B (zh) 2018-10-16 2018-10-16 掌纹识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811205254.1A CN109472213B (zh) 2018-10-16 2018-10-16 掌纹识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109472213A CN109472213A (zh) 2019-03-15
CN109472213B true CN109472213B (zh) 2023-04-18

Family

ID=65665878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811205254.1A Active CN109472213B (zh) 2018-10-16 2018-10-16 掌纹识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109472213B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309708A (zh) * 2019-05-09 2019-10-08 北京尚文金泰教育科技有限公司 一种基于神经网络的智能皮纹采集分类识别方法
CN110287775B (zh) * 2019-05-15 2023-09-22 平安科技(深圳)有限公司 手掌图像裁剪方法、装置、计算机设备及存储介质
CN110879956A (zh) * 2019-07-12 2020-03-13 熵加网络科技(北京)有限公司 一种掌纹特征提取的方法
CN110852216A (zh) * 2019-10-30 2020-02-28 平安科技(深圳)有限公司 一种掌纹验证方法、装置、计算机设备及可读存储介质
CN111028212B (zh) * 2019-12-02 2024-02-27 上海联影智能医疗科技有限公司 关键点检测方法、装置、计算机设备和存储介质
CN111178310A (zh) * 2019-12-31 2020-05-19 广东灵机文化传播有限公司 手掌特征识别方法、装置、计算机设备和存储介质
CN111507279B (zh) * 2020-04-21 2021-05-25 北京智能工场科技有限公司 一种基于UNet++网络的掌纹识别方法
CN111950492B (zh) * 2020-08-19 2023-09-29 山西慧虎健康科技有限公司 一种基于中医理论与手掌多特征提取的高血压风险预测方法
CN112069928B (zh) * 2020-08-19 2024-02-02 山西慧虎健康科技有限公司 一种手部目标掌纹提取的生命线与中线拟合方法
CN112132099A (zh) * 2020-09-30 2020-12-25 腾讯科技(深圳)有限公司 身份识别方法、掌纹关键点检测模型训练方法和装置
CN114177056A (zh) * 2021-12-22 2022-03-15 深圳市倍轻松科技股份有限公司 一种手部按摩器控制方法及其相关设备
CN115527079B (zh) * 2022-02-28 2023-07-14 腾讯科技(深圳)有限公司 掌纹样本的生成方法、装置、设备、介质及程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268483A (zh) * 2013-05-31 2013-08-28 沈阳工业大学 开放式环境非接触采集下的掌纹识别方法
CN104866804A (zh) * 2014-02-20 2015-08-26 阿里巴巴集团控股有限公司 一种掌纹信息识别的方法和设备
CN107016323A (zh) * 2016-01-28 2017-08-04 厦门中控生物识别信息技术有限公司 一种手掌感兴趣区域的定位方法及装置
CN107944356A (zh) * 2017-11-13 2018-04-20 湖南商学院 综合多类型特征的层次主题模型掌纹图像识别的身份认证方法
CN108182389A (zh) * 2017-12-14 2018-06-19 华南师范大学 基于大数据与深度学习的用户数据处理方法、机器人系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268483A (zh) * 2013-05-31 2013-08-28 沈阳工业大学 开放式环境非接触采集下的掌纹识别方法
CN104866804A (zh) * 2014-02-20 2015-08-26 阿里巴巴集团控股有限公司 一种掌纹信息识别的方法和设备
CN107016323A (zh) * 2016-01-28 2017-08-04 厦门中控生物识别信息技术有限公司 一种手掌感兴趣区域的定位方法及装置
CN107944356A (zh) * 2017-11-13 2018-04-20 湖南商学院 综合多类型特征的层次主题模型掌纹图像识别的身份认证方法
CN108182389A (zh) * 2017-12-14 2018-06-19 华南师范大学 基于大数据与深度学习的用户数据处理方法、机器人系统

Also Published As

Publication number Publication date
CN109472213A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN109472213B (zh) 掌纹识别方法、装置、计算机设备和存储介质
CN108377240B (zh) 异常接口检测方法、装置、计算机设备和存储介质
CN109241842B (zh) 疲劳驾驶检测方法、装置、计算机设备及存储介质
CN111950329A (zh) 目标检测及模型训练方法、装置、计算机设备和存储介质
CN110569500A (zh) 文本语义识别方法、装置、计算机设备和存储介质
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN110399484A (zh) 长文本的情感分析方法、装置、计算机设备和存储介质
CN109285105A (zh) 水印检测方法、装置、计算机设备和存储介质
CN111160275B (zh) 行人重识别模型训练方法、装置、计算机设备和存储介质
CN111832581B (zh) 肺部特征识别方法、装置、计算机设备及存储介质
CN112434556A (zh) 宠物鼻纹识别方法、装置、计算机设备及存储介质
CN110516558B (zh) 样本数据获取方法、装置、计算机设备及存储介质
CN111178128B (zh) 图像识别方法、装置、计算机设备和存储介质
CN109793526B (zh) 测谎方法、装置、计算机设备和存储介质
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN109831677B (zh) 视频脱敏方法、装置、计算机设备和存储介质
CN108200087B (zh) web入侵检测方法、装置、计算机设备和存储介质
CN110633751A (zh) 车标分类模型的训练方法、车标识别方法、装置及设备
CN113034514A (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN110705489A (zh) 目标识别网络的训练方法、装置、计算机设备和存储介质
CN110751171A (zh) 图像数据分类方法、装置、计算机设备和存储介质
CN110163151B (zh) 人脸模型的训练方法、装置、计算机设备和存储介质
CN116863522A (zh) 痤疮分级方法、装置、设备及介质
CN113128448B (zh) 基于肢体识别的视频匹配方法、装置、设备及存储介质
CN114022738A (zh) 训练样本获取方法、装置、计算机设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant