CN108985212B - 人脸识别方法及装置 - Google Patents

人脸识别方法及装置 Download PDF

Info

Publication number
CN108985212B
CN108985212B CN201810738927.3A CN201810738927A CN108985212B CN 108985212 B CN108985212 B CN 108985212B CN 201810738927 A CN201810738927 A CN 201810738927A CN 108985212 B CN108985212 B CN 108985212B
Authority
CN
China
Prior art keywords
target
preset
face
point set
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810738927.3A
Other languages
English (en)
Other versions
CN108985212A (zh
Inventor
陈伟平
陈宏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kemai Technology Co ltd
Original Assignee
Shenzhen Kemai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kemai Technology Co ltd filed Critical Shenzhen Kemai Technology Co ltd
Priority to CN201810738927.3A priority Critical patent/CN108985212B/zh
Publication of CN108985212A publication Critical patent/CN108985212A/zh
Application granted granted Critical
Publication of CN108985212B publication Critical patent/CN108985212B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人脸识别方法及装置,所述方法包括:获取目标图像,所述目标图像中包括部分人脸;对所述目标图像进行目标提取,得到所述部分人脸;对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。通过本发明实施例能够在人脸图像被遮挡的情况下,利用部分人脸,实现人脸识别,提升了人脸识别实用性以及普适性,提升了用户体验。

Description

人脸识别方法及装置
技术领域
本发明涉及图像处理技术领域,具体涉及一种人脸识别方法及装置。
背景技术
随着电子技术快速发展,电子设备(如手机、平板电脑等)越来越渗透到用户生活,给用户带来了生活以及工作上的便利,尤其是人脸识别技术,人脸识别越来越受到企业关注,例如,人脸解锁,人脸支付,俨然,人脸识别已成为用户生活中的一部分,但是,在人脸识别过程中,倘若用户人脸被遮住,则无法识别成功,例如,用户戴口罩,或者,被其他物体挡住的话,则往往人脸识别失败,因此,如何在部分人脸的情况下,实现人脸识别的问题亟待解决。
发明内容
本发明实施例提供了一种人脸识别方法及装置,可以在部分人脸的情况下,实现人脸识别。
第一方面,本发明实施例提供了一种人脸识别方法,包括:
获取目标图像,所述目标图像中包括部分人脸;
对所述目标图像进行目标提取,得到所述部分人脸;
对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;
将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;
在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。
第二方面,本申请实施例提供了一种人脸识别装置,包括:
获取单元,用于获取目标图像,所述目标图像中包括部分人脸;
目标提取单元,用于对所述目标图像进行目标提取,得到所述部分人脸;
特征提取单元,用于对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;
匹配单元,用于将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;
第一确定单元,用于在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。
第三方面,本申请实施例提供一种人脸识别装置,包括处理器、存储器以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例,具有如下有益效果:
通过本发明实施例所描述的人脸识别方法及装置,获取目标图像,目标图像中包括部分人脸,对目标图像进行目标提取,得到部分人脸,对部分人脸进行特征提取,得到目标外围轮廓和目标特征点集,将目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将目标特征点集与预设人脸模板的预设特征点集进行匹配,在目标外围轮廓与预设外围轮廓匹配成功且目标特征点集与预设特征点集匹配成功时,确认部分人脸被识别成功,从而,能够在人脸图像被遮挡的情况下,利用部分人脸,实现人脸识别,提升了人脸识别实用性以及普适性,提升了用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸识别方法的实施例流程示意图;
图2是本发明实施例提供的一种人脸识别方法的实施例流程示意图;
图3A是本发明实施例提供的一种人脸识别装置的实施例结构示意图;
图3B是本发明实施例提供的图3A所描述的人脸识别装置的又一结构示意图;
图4是本发明实施例提供的一种人脸识别装置的实施例结构示意图;
图5是本发明实施例提供的一种人脸识别装置的实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例所描述的人脸识别装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID,Mobile Internet Devices)或穿戴式设备(例如,蓝牙耳机、VR设备或者IR设备)等,上述仅是举例,而非穷举,包含但不限于上述人脸识别装置。
请参阅图1,为本发明实施例提供的一种人脸识别方法的实施例流程示意图。本实施例中所描述的人脸识别方法,包括以下步骤:
101、获取目标图像,所述目标图像中包括部分人脸。
其中,目标图像可以由人脸识别装置的摄像头获取,或者,可以为网络图像,目标图像中可以包含至少一个部分人脸。本申请实施例中,仅仅对目标图像中包含一个部分人脸的情况加以说明,部分人脸由于人脸被遮挡,例如,用户戴口罩,又例如,用户摆pose遮住脸等等,部分人脸为人脸的一部分。
可选地,在上述步骤101之前,还可以包括如下步骤:
获取拍摄对象的人脸角度,在所述人脸角度为预设拍摄角度时,执行步骤101。
其中,预设拍摄角度可以由用户自行设置或者系统默认。人脸识别装置可以确定部分人脸的人脸角度,在人脸角度为预设拍摄角度时,执行步骤101,否则结束流程。
102、对所述目标图像进行目标提取,得到所述部分人脸。
其中,人脸识别装置可以对目标图像进行目标提取,例如,可以对目标图像进行图像分割,得到用户图像(人所在区域的图像),再次依据人脸的器官特征(例如,眼、鼻、嘴唇等等)从用户图像中分割出部分人脸。
可选地,在上述步骤101与步骤102之间,还可以包括如下步骤:
对所述目标图像进行图像增强处理;
那么,步骤102,对所述目标图像进行目标提取,可按照如下方式实施:
对图像增强处理之后的所述目标图像进行目标提取。
其中,图像增强处理的方式可以为以下至少一种:直方图均衡化、灰度拉伸、图像复原、小波去燥等等,在此不做限定,在图像增强处理之后,可以提升图像质量,使得图像更加清晰,包含更多的特征,例如,让原本不明显的特征显现出来。
可选地,在上述步骤102与步骤103之间,还可以包括如下步骤:
确定所述部分人脸的人脸角度,在所述人脸角度为预设人脸角度时,执行步骤103。
其中,预设人脸角度可以由用户自行设置或者系统默认。人脸识别装置可以确定部分人脸的人脸角度,在人脸角度为预设人脸角度时,执行步骤103,否则结束流程。
103、对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集。
其中,本申请实施例中,人脸识别装置可以对部分人脸进行特征提取,具体地,一方面可以对部分人脸进行轮廓提取,得到轮廓集,轮廓集包含多条轮廓,可以从多条轮廓中选取外围轮廓,即人脸图像的边缘轮廓,轮廓提取的方式可以为以下至少一种:霍夫变换、神经网络算法、遗传算法、canny算子等等,在此不做限定,另一方面,可以对部分人脸进行特征点提取,得到目标特征点集,特征点提取的方法可以为以下至少一种:尺度不变特征变换(scale invariant feature transform,SIFT)、Harris角点提取算法、SURF算法等等,在此不做限定。
104、将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配。
其中,本申请实施例中,预设人脸模板可以预先保存在人脸识别装置中,为了完全保证人脸识别的精度,可以对预设人脸模板进行轮廓提取,得到预设外围轮廓,对预设人脸模板进行特征点提取,得到预设特征点集,不仅将目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,还将目标特征点集与预设人脸模板的预设特征点集进行匹配,从多个不同维度,全方位实现人脸识别。
可选地,上述步骤104,将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,可包括如下步骤:
A1、依据人脸的对称性原理,对所述目标外围轮廓进行完善,得到完善后的外围轮廓;
A2、将所述完善后的外围轮廓与所述预设外围轮廓进行匹配。
其中,由于人脸符合对称性原理,因此,人脸的左脸与右脸呈现对称,而且人脸的外围轮廓也符合对称特征,例如,在左脸完整的情况下,可以对右脸进行勾勒,从而,可以得到一个完整的外围轮廓。具体实现中,可以依据人脸的对称性原理,对目标外围轮廓进行完善,得到完善的外围轮廓,进而,可以将完善后的外围轮廓与预设外围轮廓进行匹配。完善后的外围轮廓可以为一个完整的闭合区域,也可以为非闭合区域。在非闭合区域的情况下,上述步骤A2,将所述完善后的外围轮廓与所述预设外围轮廓进行匹配,则可以设置轮廓匹配阈值,并采取子串匹配算法进行部分轮廓匹配。
进一步可选地,上述步骤104将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配,可包括如下步骤:
B11、确定所述完善后的外围轮廓对应的第一面积值;
B12、计算所述部分人脸对应的第二面积值与所述第一面积值之间的目标比值;
B13、依据所述目标比值调整特征点匹配阈值,得到目标特征点匹配阈值;
B14、根据目标特征点匹配阈值将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配。
其中,完善后的外围轮廓可为一个闭合区间,可以确定该闭合区间对应的第一面积值,若完善后的外围轮廓为非闭合区间,则可以确定外围轮廓的孤立点,依次用直线连接相邻孤立点,形成一个闭合区间,将闭合区间对应的面积值作为第一面积值,当然,部分人脸也对应一个面积值,即第二面积值,可以计算第二面积值与第一面积值之间的目标比值,即目标比值=第二面积值/第一面积值,通常情况下,人脸识别会以整个人脸进行匹配,因此,部分人脸的话,得考虑的是部分人脸与整个人脸之间的匹配度,因此,则有必要调整特征点匹配阈值,人脸识别装置中可以预先存储一个特征点匹配阈值,该特征点匹配阈值为整个人脸的特征点匹配阈值,可以依据目标比值对特征点匹配阈值进行调整,目标特征点匹配阈值,例如,之前特征点匹配阈值为90%,若目标比值为0.3,则目标特征点匹配阈值=90%*0.3=27%。进而,可以根据目标特征点匹配阈值将目标特征点集与预设人脸模板的预设特征点集进行匹配,即在目标特征点集与预设人脸模板的预设特征点集之间的匹配值大于或等于目标特征点匹配阈值时,则确认匹配成功,否则匹配失败,如此,实现了部分人脸与整个人脸之间的匹配。
可选地,上述步骤103,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配,可包括如下步骤:
B31、依据人脸结构,确定所述部分人脸映射在所述预设人脸模板中的目标区域;
B22、对所述目标区域进行特征提取,得到所述预设特征点集;
B23、将所述目标特征点集与所述预设特征点集进行匹配。
其中,本申请实施例中,人脸结构主要是指人脸器官的位置结构,具体实现中,可以依据人脸结构,确定部分人脸映射在预设人脸模板中的目标区域,例如,确定部分人脸中的指定器官(如双眼),依据指定器官与部分人脸之间的面积比值,从预设人脸模板中选取对应的目标区域,例如,若部分人脸图像为左半边脸,则目标区域也为左半边脸。进一步地,可以对目标区域进行特征提取,得到预设特征点集,并将目标特征点集与预设特征点集进行匹配,如此,可以将部分人脸与人脸模板的对应区域进行匹配,实现了部分人脸匹配。
105、在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。
其中,在目标外围轮廓与预设外围轮廓匹配成功且目标特征点集与预设特征点集匹配成功时,确认部分人脸被识别成功,反之,若目标外围轮廓与预设外围轮廓之间的匹配结果,以及目标特征点集与预设特征点集之间的匹配结果,两者匹配结果之间任一匹配结果失败,则确认部分人脸被识别失败。
可选地,上述步骤102与步骤104之间,还可以包括如下步骤:
确定所述部分人脸的目标人脸角度;从预设人脸模板集中选取与所述目标人脸角度对应的所述预设人脸模板,执行所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配的步骤。
其中,在确定了部分人脸之后,则可以通过刚体变换或者放射变换,确定部分人脸的人脸角度,具体地,可以通过刚体变换或者放射变换,将部分人脸旋转到指定角度,通过指定角度以及旋转角度,确定部分人脸的人脸角度,人脸识别装置中可以预先存储预设人脸模板集,预设人脸模板集可以包含多个模板,每一人脸模板对应一个人脸角度,进而,可以从预设人脸模板集中选取与目标人脸角度对应的预设人脸模板。
举例说明下,采用本申请实施例,在部分人脸情况下,可确定未被遮挡部分的人脸图像,提取该人脸图像的轮廓信息,并依据人脸对称性对该轮廓信息进行完善,得到人脸轮廓,将该人脸轮廓与预设人脸图像的人脸轮廓进行匹配,以及将未被遮挡部分的人脸图像与预设人脸图像进行匹配,在两者均匹配成功的情况下,确认匹配成功
通过本发明实施例所描述的人脸识别方法,获取目标图像,目标图像中包括部分人脸,对目标图像进行目标提取,得到部分人脸,对部分人脸进行特征提取,得到目标外围轮廓和目标特征点集,将目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将目标特征点集与预设人脸模板的预设特征点集进行匹配,在目标外围轮廓与预设外围轮廓匹配成功且目标特征点集与预设特征点集匹配成功时,确认部分人脸被识别成功,从而,能够在人脸图像被遮挡的情况下,利用部分人脸,实现人脸识别,提升了人脸识别实用性以及普适性,提升了用户体验。
与上述一致地,请参阅图2,为本发明实施例提供的一种人脸识别方法的第二实施例流程示意图。本实施例中所描述的人脸识别方法,包括以下步骤:
201、获取目标图像,所述目标图像中包括部分人脸。
202、对所述目标图像进行目标提取,得到所述部分人脸。
203、对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集。
204、确定所述部分人脸的目标人脸角度。
205、从预设人脸模板集中选取与所述目标人脸角度对应的预设人脸模板。
206、将所述目标外围轮廓与所述预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配。
207、在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。
其中,上述步骤201-207的具体描述可以参照图1所描述的人脸识别方法的相应描述,在此不再赘述。
通过本发明实施例所描述的人脸识别方法,获取目标图像,目标图像中包括部分人脸,对目标图像进行目标提取,得到部分人脸,对部分人脸进行特征提取,得到目标外围轮廓和目标特征点集,确定部分人脸的目标人脸角度;从预设人脸模板集中选取与目标人脸角度对应的预设人脸模板,将目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将目标特征点集与预设人脸模板的预设特征点集进行匹配,在目标外围轮廓与预设外围轮廓匹配成功且目标特征点集与预设特征点集匹配成功时,确认部分人脸被识别成功,从而,能够在人脸图像被遮挡的情况下,利用部分人脸,实现人脸识别,提升了人脸识别实用性以及普适性,提升了用户体验。
与上述一致地,以下为实施上述人脸识别方法的装置,具体如下:
请参阅图3A,为本发明实施例提供的一种人脸识别装置的实施例结构示意图。本实施例中所描述的人脸识别装置,包括:获取单元301、目标提取单元302、特征提取单元303、匹配单元304和第一确定单元305,具体如下:
获取单元301,用于获取目标图像,所述目标图像中包括部分人脸;
目标提取单元302,用于对所述目标图像进行目标提取,得到所述部分人脸;
特征提取单元303,用于对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;
匹配单元304,用于将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;
第一确定单元305,用于在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。
可选地,在所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配方面,所述匹配单元304具体用于:
依据人脸的对称性原理,对所述目标外围轮廓进行完善,得到完善后的外围轮廓;
将所述完善后的外围轮廓与所述预设外围轮廓进行匹配。
可选地,在所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配方面,所述匹配单元304具体用于:
确定所述完善后的外围轮廓对应的第一面积值;
计算所述部分人脸对应的第二面积值与所述第一面积值之间的目标比值;
依据所述目标比值调整特征点匹配阈值,得到目标特征点匹配阈值;
根据目标特征点匹配阈值将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配
可选地,在所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配方面,所述匹配单元304具体用于:
依据人脸结构,确定所述部分人脸映射在所述预设人脸模板中的目标区域;
对所述目标区域进行特征提取,得到所述预设特征点集;
将所述目标特征点集与所述预设特征点集进行匹配。
可选地,如图3B,图3B为图3A所描述的人脸识别装置的又一变型结构,其与图3A相比较,还可以包括:第二确定单元306,具体如下:
第二确定单元306,用于确定所述部分人脸的目标人脸角度;以及从预设人脸模板集中选取与所述目标人脸角度对应的所述预设人脸模板,由所述匹配单元执行所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配的步骤。
通过本发明实施例所描述的人脸识别装置,获取目标图像,目标图像中包括部分人脸,对目标图像进行目标提取,得到部分人脸,对部分人脸进行特征提取,得到目标外围轮廓和目标特征点集,确定所述部分人脸的目标人脸角度;从预设人脸模板集中选取与所述目标人脸角度对应的所述预设人脸模板,将目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将目标特征点集与预设人脸模板的预设特征点集进行匹配,在目标外围轮廓与预设外围轮廓匹配成功且目标特征点集与预设特征点集匹配成功时,确认部分人脸被识别成功,从而,能够在人脸图像被遮挡的情况下,利用部分人脸,实现人脸识别,提升了人脸识别实用性以及普适性,提升了用户体验。
与上述一致地,请参阅图4,为本发明实施例提供的一种人脸识别装置的实施例结构示意图。本实施例中所描述的人脸识别装置,包括:至少一个输入设备1000;至少一个输出设备2000;至少一个处理器3000,例如CPU;和存储器4000,上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中,上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器,也可为非易失存储器(non-volatilememory),例如磁盘存储器。上述存储器4000用于存储一组程序代码,上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码,执行如下操作:
上述处理器3000,用于:
获取目标图像,所述目标图像中包括部分人脸;
对所述目标图像进行目标提取,得到所述部分人脸;
对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;
将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;
在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。
可选地,在将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配方面,上述处理器3000具体用于:
依据人脸的对称性原理,对所述目标外围轮廓进行完善,得到完善后的外围轮廓;
将所述完善后的外围轮廓与所述预设外围轮廓进行匹配。
可选地,在所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配方面,上述处理器3000具体用于:
确定所述完善后的外围轮廓对应的第一面积值;
计算所述部分人脸对应的第二面积值与所述第一面积值之间的目标比值;
依据所述目标比值调整特征点匹配阈值,得到目标特征点匹配阈值;
根据目标特征点匹配阈值将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配。
可选地,在所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配方面,上述处理器3000具体用于:
依据人脸结构,确定所述部分人脸映射在所述预设人脸模板中的目标区域;
对所述目标区域进行特征提取,得到所述预设特征点集;
将所述目标特征点集与所述预设特征点集进行匹配。
可选地,上述处理器3000还具体用于:
确定所述部分人脸的目标人脸角度;
从预设人脸模板集中选取与所述目标人脸角度对应的所述预设人脸模板,执行所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配的步骤。
本申请实施例还提供了另一种人脸识别装置,如图5所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该人脸识别装置可以为包括手机、平板电脑、PDA(personal digital assistant,个人数字助理)、POS(point of sales,销售终端)、车载电脑等任意终端设备,以人脸识别装置为手机为例:
图5示出的是与本申请实施例提供的人脸识别装置相关的手机的部分结构的框图。参考图5,手机包括:射频(radio frequency,RF)电路910、存储器920、输入单元930、传感器950、音频电路960、无线保真(wireless fidelity,WiFi)模块970、应用处理器AP980、以及电源990等部件。本领域技术人员可以理解,图5中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图5对手机的各个构成部件进行具体的介绍:
输入单元930可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元930可包括触控显示屏933、人脸识别装置931以及其他输入设备932。人脸识别装置931可以为摄像头,例如,红外摄像头,可见光摄像头或者双摄像头等等。输入单元930还可以包括其他输入设备932。具体地,其他输入设备932可以包括但不限于物理按键、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
其中,所述AP980,用于执行如下步骤:
获取目标图像,所述目标图像中包括部分人脸;
对所述目标图像进行目标提取,得到所述部分人脸;
对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;
将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;
在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功。
AP980是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器920内的软件程序和/或模块,以及调用存储在存储器920内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,AP980可包括一个或多个处理单元;优选的,AP980可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到AP980中。
此外,存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
RF电路910可用于信息的接收和发送。通常,RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,LNA)、双工器等。此外,RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobilecommunication,GSM)、通用分组无线服务(general packet radio service,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code divisionmultiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
手机还可包括至少一种传感器950,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节触控显示屏的亮度,接近传感器可在手机移动到耳边时,关闭触控显示屏和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路960、扬声器961,传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号,传输到扬声器961,由扬声器961转换为声音信号播放;另一方面,传声器962将收集的声音信号转换为电信号,由音频电路960接收后转换为音频数据,再将音频数据播放AP980处理后,经RF电路910以发送给比如另一手机,或者将音频数据播放至存储器920以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图5示出了WiFi模块970,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
手机还包括给各个部件供电的电源990(比如电池),优选的,电源可以通过电源管理系统与AP980逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
前述图1、图2所示的实施例中,各步骤方法流程可以基于该手机的结构实现。
前述图3A、图3B、图4所示的实施例中,各单元功能可以基于该手机的结构实现。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白,本发明的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中,与其它硬件一起提供或作为硬件的一部分,也可以采用其他分布形式,如通过Internet或其它有线或无线电信系统。
本发明是参照本发明实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本发明进行了描述,显而易见的,在不脱离本发明的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本发明的示例性说明,且视为已覆盖本发明范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种人脸识别方法,其特征在于,包括:
获取目标图像,所述目标图像中包括部分人脸;
对所述目标图像进行目标提取,得到所述部分人脸;
对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;
将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;
在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功;
其中,所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,包括:
依据人脸的对称性原理,对所述目标外围轮廓进行完善,得到完善后的外围轮廓;
将所述完善后的外围轮廓与所述预设外围轮廓进行匹配;
其中,所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配,包括:
确定所述完善后的外围轮廓对应的第一面积值;
计算所述部分人脸对应的第二面积值与所述第一面积值之间的目标比值;
依据所述目标比值调整特征点匹配阈值,得到目标特征点匹配阈值;
根据目标特征点匹配阈值将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配。
2.根据权利要求1所 述的方法,其特征在于,所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配,包括:
依据人脸结构,确定所述部分人脸映射在所述预设人脸模板中的目标区域;
对所述目标区域进行特征提取,得到所述预设特征点集;
将所述目标特征点集与所述预设特征点集进行匹配。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
确定所述部分人脸的目标人脸角度;
从预设人脸模板集中选取与所述目标人脸角度对应的所述预设人脸模板,执行所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配的步骤。
4.一种人脸识别装置,其特征在于,包括:
获取单元,用于获取目标图像,所述目标图像中包括部分人脸;
目标提取单元,用于对所述目标图像进行目标提取,得到所述部分人脸;
特征提取单元,用于对所述部分人脸进行特征提取,得到目标外围轮廓和目标特征点集;
匹配单元,用于将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配;
第一确定单元,用于在所述目标外围轮廓与所述预设外围轮廓匹配成功且所述目标特征点集与所述预设特征点集匹配成功时,确认所述部分人脸被识别成功;
其中,在所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配方面,所述匹配单元具体用于:
依据人脸的对称性原理,对所述目标外围轮廓进行完善,得到完善后的外围轮廓;
将所述完善后的外围轮廓与所述预设外围轮廓进行匹配;
其中,在所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配方面,所述匹配单元具体用于:
确定所述完善后的外围轮廓对应的第一面积值;
计算所述部分人脸对应的第二面积值与所述第一面积值之间的目标比值;
依据所述目标比值调整特征点匹配阈值,得到目标特征点匹配阈值;
根据目标特征点匹配阈值将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配。
5.根据权利要求4所述的装置,其特征在于,在所述将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配方面,所述匹配单元具体用于:
依据人脸结构,确定所述部分人脸映射在所述预设人脸模板中的目标区域;
对所述目标区域进行特征提取,得到所述预设特征点集;
将所述目标特征点集与所述预设特征点集进行匹配。
6.根据权利要求4或5所述的装置,其特征在于,所述装置还包括:
第二确定单元,用于确定所述部分人脸的目标人脸角度;以及从预设人脸模板集中选取与所述目标人脸角度对应的所述预设人脸模板,由所述匹配单元执行所述将所述目标外围轮廓与预设人脸模板的预设外围轮廓进行匹配,以及,将所述目标特征点集与所述预设人脸模板的预设特征点集进行匹配的步骤。
CN201810738927.3A 2018-07-06 2018-07-06 人脸识别方法及装置 Active CN108985212B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810738927.3A CN108985212B (zh) 2018-07-06 2018-07-06 人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810738927.3A CN108985212B (zh) 2018-07-06 2018-07-06 人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN108985212A CN108985212A (zh) 2018-12-11
CN108985212B true CN108985212B (zh) 2021-06-04

Family

ID=64537286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810738927.3A Active CN108985212B (zh) 2018-07-06 2018-07-06 人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN108985212B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766759A (zh) * 2018-12-12 2019-05-17 成都云天励飞技术有限公司 情绪识别方法及相关产品
CN109740444B (zh) * 2018-12-13 2021-07-20 深圳云天励飞技术有限公司 人流量信息展示方法及相关产品
CN109829370A (zh) * 2018-12-25 2019-05-31 深圳市天彦通信股份有限公司 人脸识别方法及相关产品
CN109815359B (zh) * 2018-12-27 2023-02-03 深圳云天励飞技术有限公司 图像检索方法及相关产品
CN109858355B (zh) * 2018-12-27 2023-03-24 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN109785439B (zh) * 2018-12-27 2023-08-01 深圳云天励飞技术有限公司 人脸素描图像生成方法及相关产品
CN109784274B (zh) * 2018-12-29 2021-09-14 杭州励飞软件技术有限公司 识别尾随的方法及相关产品
CN109685040B (zh) * 2019-01-15 2021-06-29 广州唯品会研究院有限公司 形体数据的测量方法、装置以及计算机可读存储介质
CN109920098A (zh) * 2019-01-29 2019-06-21 迅捷安消防及救援科技(深圳)有限公司 可移动模块化智慧消防执勤保障装备及相关产品
CN109946703B (zh) * 2019-04-10 2021-09-28 北京小马智行科技有限公司 一种传感器姿态调整方法及装置
CN110084200A (zh) * 2019-04-29 2019-08-02 重庆指讯科技股份有限公司 一种基于人脸识别的零售方法、系统及终端设备
CN110110672A (zh) * 2019-05-10 2019-08-09 广东工业大学 一种人脸表情识别方法、装置及设备
CN110610127B (zh) * 2019-08-01 2023-10-27 平安科技(深圳)有限公司 人脸识别方法、装置、存储介质及电子设备
CN112584032A (zh) * 2019-09-27 2021-03-30 北京安云世纪科技有限公司 一种图像编辑方法、装置、设备及介质
CN111382672A (zh) * 2019-12-31 2020-07-07 国网北京市电力公司 在线考试的作弊监测方法和装置
CN111915616A (zh) * 2020-05-26 2020-11-10 华瑞新智科技(北京)有限公司 一种基于弱监督图像分割进行红外测温的方法及装置
CN111626213A (zh) * 2020-05-27 2020-09-04 北京嘀嘀无限科技发展有限公司 一种身份验证方法、装置、电子设备及可读存储介质
CN111598047B (zh) * 2020-05-28 2023-06-27 重庆康普达科技有限公司 一种人脸识别方法
CN113836970A (zh) * 2020-06-23 2021-12-24 深圳酷派技术有限公司 身份验证方法、装置、存储介质和电子设备
CN111768543A (zh) * 2020-06-29 2020-10-13 杭州翔毅科技有限公司 基于人脸识别的通行管理方法、设备、存储介质及装置
CN114359998B (zh) * 2021-12-06 2024-03-15 江苏理工学院 一种人脸口罩佩戴状态下的识别方法
CN117273571B (zh) * 2023-10-12 2024-04-02 江苏泓鑫科技有限公司 一种基于区块链的智慧港口作业数据管理系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1811793A (zh) * 2006-03-02 2006-08-02 复旦大学 一种人脸特征点自动定位方法
CN105160297A (zh) * 2015-07-27 2015-12-16 华南理工大学 基于肤色特征的蒙面人事件自动检测方法
CN105205437A (zh) * 2014-06-16 2015-12-30 浙江宇视科技有限公司 基于头部轮廓验证的侧脸检测方法及装置
CN105678213A (zh) * 2015-12-20 2016-06-15 华南理工大学 基于视频特征统计的双模式蒙面人事件自动检测方法
CN107657218A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN107832675A (zh) * 2017-10-16 2018-03-23 广东欧珀移动通信有限公司 拍照处理方法及相关产品

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5639832B2 (ja) * 2010-09-30 2014-12-10 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理システム、及び情報処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1811793A (zh) * 2006-03-02 2006-08-02 复旦大学 一种人脸特征点自动定位方法
CN105205437A (zh) * 2014-06-16 2015-12-30 浙江宇视科技有限公司 基于头部轮廓验证的侧脸检测方法及装置
CN105160297A (zh) * 2015-07-27 2015-12-16 华南理工大学 基于肤色特征的蒙面人事件自动检测方法
CN105678213A (zh) * 2015-12-20 2016-06-15 华南理工大学 基于视频特征统计的双模式蒙面人事件自动检测方法
CN107657218A (zh) * 2017-09-12 2018-02-02 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN107832675A (zh) * 2017-10-16 2018-03-23 广东欧珀移动通信有限公司 拍照处理方法及相关产品

Also Published As

Publication number Publication date
CN108985212A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108985212B (zh) 人脸识别方法及装置
US10169639B2 (en) Method for fingerprint template update and terminal device
CN107657218B (zh) 人脸识别方法及相关产品
CN107679482B (zh) 解锁控制方法及相关产品
CN107609514B (zh) 人脸识别方法及相关产品
US11074466B2 (en) Anti-counterfeiting processing method and related products
CN107590461B (zh) 人脸识别方法及相关产品
CN107197146B (zh) 图像处理方法和装置、移动终端、计算机可读存储介质
CN107292285B (zh) 虹膜活体检测方法及相关产品
CN107451446B (zh) 解锁控制方法及相关产品
CN107679481B (zh) 解锁控制方法及相关产品
CN107480489B (zh) 解锁控制方法及相关产品
CN107451454B (zh) 解锁控制方法及相关产品
CN110209245B (zh) 人脸识别方法及相关产品
CN107480488B (zh) 解锁控制方法及相关产品
WO2019011098A1 (zh) 解锁控制方法及相关产品
CN111339822A (zh) 活体检测方法及相关产品
CN107506697B (zh) 防伪处理方法及相关产品
CN108345848A (zh) 用户注视方向识别方法及相关产品
CN107506708B (zh) 解锁控制方法及相关产品
CN107613550B (zh) 解锁控制方法及相关产品
CN110162954B (zh) 权限管理方法及相关产品
CN107545163B (zh) 解锁控制方法及相关产品
CN109165546B (zh) 人脸识别方法及装置
CN107451444A (zh) 解锁控制方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Face recognition method and device

Effective date of registration: 20220329

Granted publication date: 20210604

Pledgee: Shenzhen small and medium sized small loan Co.,Ltd.

Pledgor: Shenzhen Kemai Technology Co.,Ltd.

Registration number: Y2022440020036

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230421

Granted publication date: 20210604

Pledgee: Shenzhen small and medium sized small loan Co.,Ltd.

Pledgor: Shenzhen Kemai Technology Co.,Ltd.

Registration number: Y2022440020036

PC01 Cancellation of the registration of the contract for pledge of patent right