CN107590474A - 解锁控制方法及相关产品 - Google Patents

解锁控制方法及相关产品 Download PDF

Info

Publication number
CN107590474A
CN107590474A CN201710864459.XA CN201710864459A CN107590474A CN 107590474 A CN107590474 A CN 107590474A CN 201710864459 A CN201710864459 A CN 201710864459A CN 107590474 A CN107590474 A CN 107590474A
Authority
CN
China
Prior art keywords
angle
facial image
matching value
target facial
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710864459.XA
Other languages
English (en)
Other versions
CN107590474B (zh
Inventor
周海涛
王健
郭子青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710864459.XA priority Critical patent/CN107590474B/zh
Publication of CN107590474A publication Critical patent/CN107590474A/zh
Application granted granted Critical
Publication of CN107590474B publication Critical patent/CN107590474B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

本发明实施例公开了一种解锁控制方法及相关产品,其中方法包括:选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;根据所述N个匹配值确定目标匹配值;在所述目标匹配值大于第一阈值时进行解锁。采用本发明,可提高解锁的识别率和灵活性。

Description

解锁控制方法及相关产品
技术领域
本发明涉及移动终端技术领域,主要涉及了一种解锁控制方法及相关产品。
背景技术
随着移动终端技术的不断发展,手机、计算机、平板等移动终端的使用越来越普及,且允许采用人脸识别方法进行解锁。现有技术中,当图像采集器采集的待验证人脸图像与预设人脸图像匹配时,进行解锁。然而,图像采集器采集待验证人脸图像需要依赖很多因素,例如:光线、角度和图像采集器的硬件支持等,且用户有时会佩戴帽子、纱巾、眼镜或墨镜等等遮挡物体,则导致解锁的识别率低。
发明内容
本发明实施例提供了一种解锁控制方法及相关产品,可以提高解锁的识别率和灵活性。
第一方面,本发明实施例提供一种解锁控制方法,包括:
选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;
确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;
根据所述N个匹配值确定目标匹配值;
在所述目标匹配值大于第一阈值时,进行解锁。
第二方面,本发明实施例提供一种移动终端,包括处理器、与所述处理器连接的存储器,其中:
所述存储器,用于存储第一阈值;
所述处理器,用于选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;根据所述N个匹配值确定目标匹配值;以及在所述目标匹配值大于所述第一阈值时进行解锁。
第三方面,本发明实施例提供一种解锁控制装置,包括:
第一选取单元,用于选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;
第一确定单元,用于确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;
第二确定单元,用于根据所述N个匹配值确定目标匹配值;
解锁单元,用于在所述目标匹配值大于第一阈值时,进行解锁。
第四方面,本发明实施例提供了另一种解锁控制方法,应用于包括处理器、与所述处理器连接的存储器的移动终端,其中:
所述存储器存储第一阈值;
所述处理器选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;根据所述N个匹配值确定目标匹配值;以及在所述目标匹配值大于所述第一阈值时进行解锁。
第五方面,本发明实施例提供另一种移动终端,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
第六方面,本发明实施例提供了一种计算机可读存储介质,其中,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行如本发明实施例第一方面中所描述的部分或全部步骤。
第七方面,本发明实施例提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本发明实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本发明实施例,将具有如下有益效果:
采用了上述的解锁控制方法及相关产品之后,选取N个角度中每个角度对应的目标人脸图像得到N张目标人脸图像,确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值得到N个匹配值,根据N个匹配值确定目标匹配值,可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了解锁的识别率。在目标匹配值大于第一阈值时,便可以进行解锁,而不需要每个角度都匹配,也不需要用户摘除遮挡物体,从而提高了解锁的灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
其中:
图1为本发明实施例提供的一种移动终端的结构示意图;
图1A为本发明实施例提供的一种包括多个区块的目标人脸图像;
图2为本发明实施例提供的一种解锁控制方法的流程示意图;
图3为本发明实施例提供的另一种解锁控制方法的流程示意图;
图4为本发明实施例提供的一种解锁控制装置的结构示意图;
图5为本发明实施例提供的另一种移动终端的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例所涉及到的移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(User Equipment,UE),移动台(Mobile Station,MS),终端设备(terminaldevice)等等。为方便描述,上面提到的设备统称为移动终端。下面对本发明实施例进行详细介绍。
本发明实施例提供了一种解锁控制方法及相关产品,可以提高解锁的识别率和灵活性。下面结合附图对本发明实施例进行介绍。
请参阅图1,图1是本发明实施例提供了一种移动终端100的结构示意图,上述移动终端100包括:壳体、触控显示屏、主板、电池和副板,主板上设置有前置摄像头21、处理器110、存储器120和客户识别模块(Subscriber Identity Module,SIM)卡槽等,副板上设置有振子、一体音腔和VOOC闪充接口,上述前置摄像头21组成该移动终端100的面部识别模块。
需要说明的是,采集目标人脸图像的默认摄像头为前置摄像头,若点击摄像头切换组件可切换至后置摄像头,也就是说,若后置摄像头采集的目标人脸图像若验证成功,也可进行解锁,即提高了操作的便利性。
基于图1所描述的移动终端100,可执行下述操作:
在本发明实施例中,所述存储器120用于存储预设人脸图像和第一阈值。
其中,预设人脸图像和第一阈值用于解锁控制,即根据N张目标人脸图像中每张目标人脸图像与预设人脸图像之间的匹配值确定的目标匹配值,在目标匹配值大于第一阈值时可进行解锁。
在本发明实施例中,所述处理器110用于选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像;确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;根据所述N个匹配值确定目标匹配值;以及在所述目标匹配值大于所述第一阈值时进行解锁。
其中,N为大于1的整数,N个角度可以是用户任意摆拍的角度,也可以是移动终端100指定的角度,还可以用户转动脸部时前置摄像头21抓拍的角度。
每个角度对应至少一张目标人脸图像,可选的,所述存储器120还用于存储第二阈值;在所述处理器110选取N个角度中每个角度对应的目标人脸图像之前,处理器110还用于对第一人脸图像进行区块划分,得到M个区块;从所述M个区块中选取特征点个数小于所述第二阈值的区块,得到L个区块;根据所述L个区块生成所述N个角度的提示信息;所述前置摄像头21用于采集所述N个角度中每个角度对应的目标人脸图像,得到N组目标人脸图像。
其中,第一人脸图像为前置摄像头21在启动解锁应用时采集的待验证图像,本发明实施例对于如何启动解锁应用不作限定,可以是移动终端100处于预设姿态时,例如:抬起移动终端,以使移动终端从水平姿态切换至垂直姿态;也可以是满足预设手势,例如:双击、画圈等;还可以直接选择进入解锁验证页面,例如:点击解锁组件、点击锁屏页面上的新消息等。
其中,M为大于1的整数,本发明实施例对于如何对第一人脸图像进行区块划分不作限定,可以在提取人脸特征点的基础上,进一步确定每个区块中人脸特征点(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置,如图1A所示,包括眼睛区块、眉毛区块、鼻子区块、嘴巴区块、脸部区块,其中脸部区块为第一人脸图像中除了眼睛区块、眉毛区块、鼻子区块和嘴巴区块之外的部分,图中的点代表目标人脸图像的特征点位置,其中每个特征点对应的一个特征值;也可以按照一定比例进行区块划分;还可以在上述两种区块划分方法中任一方法的基础上,提取面部特殊区域,例如:痣、疤、酒窝等等。
其中,第二阈值为判断第一人脸图像是否包含遮挡区块的依据,可以是一个值,也可以预设人脸目标中该区块的特征点个数与比值之积。若区块中的特征点数小于第二阈值时,判断该区域为遮挡区块。
例如,假设预设人脸图像中第一区块包括26个特征点,第二阈值为特征点的60%,则当目标人脸图像中第一区块的特征点个数小于16时,判断第一区块为遮挡区块,否则确定第一区块为完整区块。
其中,L为小于M的正整数,提示信息用于指示用户调整人脸姿势。将前置摄像头21采集的第一人脸图像进行区块划分,并从划分的M个区块中选取遮挡区块得到L个区块,根据L个区块生成N个角度提示信息。也就是说,N个角度是根据第一人脸图像中判断得出的遮挡区块生成的推荐角度,而不是任意角度,可提高解锁的成功率。
举例来说,假设第一人脸图像包括脸型区块、眼睛区块、眉毛区块、鼻子区块和嘴巴区块五个区块,预设人脸图像中脸型区块包括30个特征点,眼睛区块中包括26个特征点,眉毛区块包括24个特征点,鼻子区块包括12个特征点,嘴巴区块包括20个特征点,第二阈值为特征点的60%。若第一人脸图像中脸型区块包括20个特征点,眼睛区块中包括24个特征点,眼睛区块中包括20个特征点,鼻子区块包括12个特征点,嘴巴区块包括10个特征点,则特征点个数小于第二阈值的区块为嘴巴区块,根据嘴巴区块可生成抬头、向右转20度和向左转20度这三个角度。
其中,每组目标人脸图像中至少包括一张人脸图像,通过提示信息用户可根据进行摆拍,前置摄像头21可采集N个角度对应的N组目标人脸图像,可提高操作的便利性和拍摄角度的准确性。
可选的,在所述处理器110选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像方面,所述处理器110具体用于获取所述N组目标人脸图像中每张目标人脸图像的评价值,得到P个评价值;根据所述P个评价值确定所述N组目标人脸图像中每组目标人脸图像对应的最大评价值,得到N个最大评价值;从所述N组目标人脸图像中选取与所述N个最大评价值对应的目标人脸图像,得到所述N张目标人脸图像。
其中,P为大于或等于N的整数,目标人脸图像可包括多个维度,例如:画质信息或表情信息等。对于最大评价值对应的目标人脸图像可以是最贴近指定角度,也可以是画质信息中最清晰、还可以是表情最自然的一幅,本发明实施例不作限定,即对于评价值的计算不作限定。选取每组目标人脸图像中最大评级值对应的目标人脸图像进行解锁验证,利于提高解锁的识别率。
可选的,在N组目标人脸图像包括P张目标人脸图像,且目标人脸图像包括Q个维度时,Q为大于1的整数;P张目标人脸图像中任意一张目标人脸图像的评价值为Q个维度中每个维度对应的匹配值和权值的加权之和。
本发明实施例对于如何根据N个匹配值确定目标匹配值不作限定,可以取N个匹配值的平均值,也可以取N个匹配值中的最小值,还可以是N个匹配值和对应的权值之和等等。
在一个可能的示例中,在所述处理器110根据所述N个匹配值确定目标匹配值方面,所述处理器110具体用于获取所述N个角度中每个角度对应的权值;根据所述N个角度中每个角度对应的匹配值和权值进行加权计算,得到所述目标匹配值。
其中,每个角度对应一个权值,可以是预设权值;也可以根据每个角度的匹配值确定;还可以根据历史解锁记录获取的解锁成功率确定等等。每个角度的目标人脸图像和预设人脸图像对应一个匹配值,由于其权值和匹配值都是与角度对应的,则目标匹配值为N张目标人脸图像每张目标人脸图像的匹配值和权值的加权值,目标匹配值可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了目标匹配值的准确性,从而提高了解锁的识别率。
可选的,处理器110从历史解锁记录中获取所述N个角度的解锁成功率,得到N个解锁成功率;根据所述N个解锁成功率获取所述N个角度中每个角度对应的权值。
每个角度对应解锁成功率不同,根据历史解锁记录获取对应角度的目标人脸图像的解锁成功率,并根据该解锁成功率获取该角度对应的权值,提高了目标匹配值的准确性,从而提高了解锁的识别率。
其中,解锁成功率越大,权值越重。例如:左侧20度的解锁成功率为80%,权值为0.8;左侧40度的解锁成功率为70%,权值为0.7;左侧60度的解锁成功率为60%,权值为0.6;左侧80度的解锁成功率为40%,权值为0.4。
可选的,提取所述N张目标人脸图像中每张目标人脸图像的特征点,得到N组特征点;根据所述N组特征点获取所述N个角度中每个角度对应的权值。
其中,每个角度对应一张目标人脸图像,每张目标人脸图像对应一组特征点,根据N组特征点获取对应角度的权值。对于如何根据N组特征点获取对应角度的权值不作限定,可以为角度和对应角度之间匹配的特征点和整张人脸的特征点个数之比,也可以是匹配的特征点构成的区域和整张人脸的面积之比,还可以预设权值和上述比值的乘积等等。
举例来说,假设将第一人脸图像划分为第一区块、第二区块和第三区块三个区块,其中,第一区块的预设权值为0.5、包括30个特征点;第二区块的预设权值为0.2、包括26个特征点;第三区块的预设权值为0.3、包括20个特征点。而预设人脸图像中第一区块包括30个特征点、第二区块包括22个特征点,第三区块包括18个特征点。根据每个区块和对应区块之间特征点的比值得到1、11/13、9/10,则第一区块、第二区块和第三区块分别对应的权值约等于0.4、0.17、0.27。
可以看出,本发明实施例中,处理器110选取N个角度中每个角度对应的目标人脸图像得到N张目标人脸图像,确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值得到N个匹配值,根据N个匹配值确定目标匹配值,可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了解锁的识别率。在目标匹配值大于第一阈值时,便可以进行解锁,而不需要每个角度都匹配,也不需要用户摘除遮挡物体,从而提高了解锁的灵活性。
与图1的实施例一致,请参照图2,图2为本发明实施例提供的一种解锁控制方法,应用于如图1所描述的移动终端。其中:
201:存储器存储预设人脸图像和第一阈值。
202:处理器选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像;确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;根据N个匹配值确定目标匹配值;以及在目标匹配值大于第一阈值时进行解锁。
可以看出,本发明实施例中,处理器选取N个角度中每个角度对应的目标人脸图像得到N张目标人脸图像,确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值得到N个匹配值,根据N个匹配值确定目标匹配值,可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了解锁的识别率。在目标匹配值大于第一阈值时,便可以进行解锁,而不需要每个角度都匹配,也不需要用户摘除遮挡物体,从而提高了解锁的灵活性。
在一个可能的示例中,所述处理器根据N个匹配值确定目标匹配值包括:所述处理器获取所述N个角度中每个角度对应的权值;根据所述N个角度中每个角度对应的匹配值和权值进行加权计算,得到所述目标匹配值。
在一个可能的示例中,所述处理器获取所述N个角度中每个角度对应的权值包括:所述处理器从历史解锁记录中获取所述N个角度的解锁成功率,得到N个解锁成功率;根据所述N个解锁成功率获取所述N个角度中每个角度对应的权值。
在一个可能的示例中,在所述处理器选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像之前,所述方法还包括:
所述存储器存储第二阈值;
所述处理器对第一人脸图像进行区块划分,得到M个区块,所述M为大于1的整数;从所述M个区块中选取特征点个数小于所述第二阈值的区块,得到L个区块,所述L为小于所述M的正整数;根据所述L个区块生成所述N个角度的提示信息,所述提示信息用于指示用户调整人脸姿势;
所述前置摄像头,用于采集所述N个角度中每个角度对应的目标人脸图像,得到N组目标人脸图像,每组目标人脸图像中至少包括一张人脸图像。
在一个可能的示例中,所述处理器选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像包括:所述处理器获取所述N组目标人脸图像中每张目标人脸图像的评价值,得到P个评价值,所述P为大于或等于所述N的整数;根据所述P个评价值确定所述N组目标人脸图像中每组目标人脸图像对应的最大评价值,得到N个最大评价值;从所述N组目标人脸图像中选取与所述N个最大评价值对应的目标人脸图像,得到所述N张目标人脸图像。
请参照图3,图3为本发明实施例提供的一种解锁控制方法,应用于如图1所描述的移动终端。如图3所示,包括:
301:选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像。
其中,N为大于1的整数,N个角度可以是用户任意摆拍的角度,也可以是移动终端指定的角度,还可以用户转动脸部时前置摄像头抓拍的角度。
每个角度对应至少一张目标人脸图像,可选的,第一人脸图像进行区块划分,得到M个区块;从所述M个区块中选取特征点个数小于所述第二阈值的区块,得到L个区块;根据所述L个区块生成所述N个角度的提示信息;采集所述N个角度中每个角度对应的目标人脸图像,得到N组目标人脸图像。
其中,第一人脸图像为前置摄像头在启动解锁应用时采集的待验证图像,本发明实施例对于如何启动解锁应用不作限定,可以是移动终端处于预设姿态时,例如:抬起移动终端,以使移动终端从水平姿态切换至垂直姿态;也可以是满足预设手势,例如:双击、画圈等;还可以直接选择进入解锁验证页面,例如:点击解锁组件、点击锁屏页面上的新消息等。
其中,M为大于1的整数,本发明实施例对于如何对第一人脸图像进行区块划分不作限定,可以在提取人脸特征点的基础上,进一步确定每个区块中人脸特征点(眼睛、眉毛、鼻子、嘴巴、脸部外轮廓)的位置;也可以按照一定比例进行区块划分;还可以在上述两种区块划分方法中任一方法的基础上,提取面部特殊区域,例如:痣、疤、酒窝等等。
其中,第二阈值为判断第一人脸图像是否包含遮挡区块的依据,可以是一个值,也可以预设人脸目标中该区块的特征点个数与比值之积。若区块中的特征点数小于第二阈值时,判断该区域为遮挡区块。
例如,假设预设人脸图像中第一区块包括26个特征点,第二阈值为特征点的60%,则当目标人脸图像中第一区块的特征点个数小于16时,判断第一区块为遮挡区块,否则确定第一区块为完整区块。
其中,L为小于M的正整数,提示信息用于指示用户调整人脸姿势。将前置摄像头采集的第一人脸图像进行区块划分,并从划分的M个区块中选取遮挡区块,得到L个区块,根据L个区块生成N个角度提示信息。也就是说,N个角度是根据第一人脸图像中判断得出的遮挡区块生成的推荐角度,而不是任意角度,可提高解锁的成功率。
其中,每组目标人脸图像中至少包括一张人脸图像,通过提示信息用户可根据进行摆拍,前置摄像头可采集N个角度对应的N组目标人脸图像,可提高操作的便利性和拍摄角度的准确性。
可选的,所述选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像包括:获取所述N组目标人脸图像中每张目标人脸图像的评价值,得到P个评价值;根据所述P个评价值确定所述N组目标人脸图像中每组目标人脸图像对应的最大评价值,得到N个最大评价值;从所述N组目标人脸图像中选取与所述N个最大评价值对应的目标人脸图像,得到所述N张目标人脸图像。
其中,P为大于或等于N的整数,目标人脸图像可包括多个维度,例如:画质信息或表情信息等。对于最大评价值对应的目标人脸图像可以是最贴近指定角度,也可以是画质信息中最清晰、还可以是表情最自然的一幅,本发明实施例不作限定,即对于评价值的计算不作限定。选取每组目标人脸图像中最大评级值对应的目标人脸图像进行解锁验证,利于提高解锁的识别率。
可选的,在N组目标人脸图像包括P张目标人脸图像,且目标人脸图像包括Q个维度时,Q为大于1的整数;P张目标人脸图像中任意一张目标人脸图像的评价值为Q个维度中每个维度对应的匹配值和权值的加权之和。
302:确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值。
其中,每个角度的目标人脸图像和预设人脸图像对应一个匹配值,每个角度还对应一个权值,可以是预设权值;也可以根据每个角度的匹配值确定;还可以根据历史解锁记录获取的解锁成功率确定等等。
可选的,每个角度对应解锁成功率不同,根据历史解锁记录获取对应角度的目标人脸图像的解锁成功率,并根据该解锁成功率获取该角度对应的权值,提高了目标匹配值的准确性,从而提高了解锁的识别率。
其中,解锁成功率越大,权值越重。例如:左侧20度的解锁成功率为80%,权值为0.8;左侧40度的解锁成功率为70%,权值为0.7;左侧60度的解锁成功率为60%,权值为0.6;左侧80度的解锁成功率为40%,权值为0.4。
303:根据N个匹配值确定目标匹配值。
本发明实施例对于如何根据N个匹配值确定目标匹配值不作限定,可以取N个匹配值的平均值,也可以取N个匹配值中的最小值,还可以是N个匹配值和对应的权值之和等等。
可选的,所述根据所述N个匹配值确定目标匹配值包括:获取所述N个角度中每个角度对应的权值;根据所述N个角度中每个角度对应的匹配值和权值进行加权计算,得到所述目标匹配值。
由于其权值和匹配值都是与角度对应的,则目标匹配值为N张目标人脸图像每张目标人脸图像的匹配值和权值的加权值,目标匹配值可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了目标匹配值的准确性,从而提高了解锁的识别率。
304:在目标匹配值大于第一阈值时进行解锁。
其中,预设人脸图像和第一阈值用于解锁控制,即根据N张目标人脸图像中每张目标人脸图像与预设人脸图像之间的匹配值确定的目标匹配值,在目标匹配值大于第一阈值时可进行解锁。
如图3所示的解锁控制方法中,选取N个角度中每个角度对应的目标人脸图像得到N张目标人脸图像,确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值得到N个匹配值,根据N个匹配值确定目标匹配值,可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了解锁的识别率。在目标匹配值大于第一阈值时,便可以进行解锁,而不需要每个角度都匹配,也不需要用户摘除遮挡物体,从而提高了解锁的灵活性。
与图3的实施例一致,请参照图4,图4是本发明实施例提供的一种解锁控制装置,应用于如图1所描述的移动终端。如图4所示,该解锁控制装置包括:
第一选取单元401,用于选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数。
第一确定单元402,用于确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值。
第二确定单元403,用于根据所述N个匹配值确定目标匹配值。
解锁单元404,用于在所述目标匹配值大于第一阈值时进行解锁。
如图4所示的解锁控制装置中,选取N个角度中每个角度对应的目标人脸图像得到N张目标人脸图像,确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值得到N个匹配值,根据N个匹配值确定目标匹配值,可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了解锁的识别率。在目标匹配值大于第一阈值时,便可以进行解锁,而不需要每个角度都匹配,也不需要用户摘除遮挡物体,从而提高了解锁的灵活性。
在一个可能的示例中,所述装置400还包括:
第一获取单元405,用于获取所述N个角度中每个角度对应的权值;由所述第二确定单元403根据所述N个角度中每个角度对应的匹配值和权值进行加权计算,得到所述目标匹配值。
在一个可能的示例中,所述装置400还包括:
第二获取单元406,用于从历史解锁记录中获取所述N个角度的解锁成功率,得到N个解锁成功率;由所述第一获取单元405根据所述N个解锁成功率获取所述N个角度中每个角度对应的权值。
在一个可能的示例中,所述装置400还包括:
划分单元407,用于对第一人脸图像进行区块划分,得到M个区块,所述M为大于1的整数;
第二选取单元408,用于从所述M个区块中选取特征点个数小于第二阈值的区块,得到L个区块,所述L为小于所述M的正整数;
生成单元409,用于根据所述L个区块生成所述N个角度的提示信息,所述提示信息用于指示用户调整人脸姿势;
采集单元410,用于采集所述N个角度中每个角度对应的目标人脸图像,得到N组目标人脸图像,每组目标人脸图像中至少包括一张人脸图像。
在一个可能的示例中,所述装置400还包括:
第三获取单元411,用于获取所述N组目标人脸图像中每张目标人脸图像的评价值,得到P个评价值,所述P为大于或等于所述N的整数;
第三确定单元412,用于根据所述P个评价值确定所述N组目标人脸图像中每组目标人脸图像对应的最大评价值,得到N个最大评价值;由所述第一选取单元401从所述N组目标人脸图像中选取与所述N个最大评价值对应的目标人脸图像,得到所述N张目标人脸图像。
可以理解的是,本实施例的解锁控制装置的各程序模块的功能可根据方法实施例中的方法具体实现,其具体实现过程可以参照方法实施例的相关描述,此处不再赘述。
与图1、图2、图3和图4的实施例一致,请参照图5,图5是本发明实施例提供的一种移动终端的结构示意图,如图5所示,该移动终端500包括处理器510、存储器520、通信接口530以及一个或多个程序540,其中,一个或多个程序540被存储在存储器520中,并且被配置由处理器510执行,程序540包括用于执行以下步骤的指令:
选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;
确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;
根据所述N个匹配值确定目标匹配值;
在所述目标匹配值大于第一阈值时,进行解锁。
可以看出,本发明实施例中,选取N个角度中每个角度对应的目标人脸图像得到N张目标人脸图像,确定N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值得到N个匹配值,根据N个匹配值确定目标匹配值,可体现目标人脸图像和预设人脸图像之间的匹配程度,提高了解锁的识别率。在目标匹配值大于第一阈值时,便可以进行解锁,而不需要每个角度都匹配,也不需要用户摘除遮挡物体,从而提高了解锁的灵活性。
在一个可能的示例中,在所述根据所述N个匹配值确定目标匹配值方面,上述程序540具体用于执行以下步骤的指令:
获取所述N个角度中每个角度对应的权值;
根据所述N个角度中每个角度对应的匹配值和权值进行加权计算,得到所述目标匹配值。
在一个可能的示例中,在所述获取所述N个角度中每个角度对应的权值方面,上述程序540具体用于执行以下步骤的指令:
从历史解锁记录中获取所述N个角度的解锁成功率,得到N个解锁成功率;
根据所述N个解锁成功率获取所述N个角度中每个角度对应的权值。
在一个可能的示例中,在所述选取N个角度中每个角度对应的目标人脸图像之前,上述程序540还用于执行以下步骤的指令:
对第一人脸图像进行区块划分,得到M个区块,所述M为大于1的整数;
从所述M个区块中选取特征点个数小于第二阈值的区块,得到L个区块,所述L为小于所述M的正整数;
根据所述L个区块生成所述N个角度的提示信息,所述提示信息用于指示用户调整人脸姿势;
采集所述N个角度中每个角度对应的目标人脸图像,得到N组目标人脸图像,每组目标人脸图像中至少包括一张人脸图像。
在一个可能的示例中,在所述选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像方面,上述程序540具体用于执行以下步骤的指令:
获取所述N组目标人脸图像中每张目标人脸图像的评价值,得到P个评价值,所述P为大于或等于所述N的整数;
根据所述P个评价值确定所述N组目标人脸图像中每组目标人脸图像对应的最大评价值,得到N个最大评价值;
从所述N组目标人脸图像中选取与所述N个最大评价值对应的目标人脸图像,得到所述N张目标人脸图像。
本发明实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于存储计算机程序,该计算机程序使得计算机执行如方法实施例中记载的任一方法的部分或全部步骤,计算机包括移动终端。
本发明实施例还提供一种计算机程序产品,计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,计算机程序可操作来使计算机执行如方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,计算机包括移动终端。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上对本发明实施例进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种解锁控制方法,其特征在于,包括:
选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;
确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;
根据所述N个匹配值确定目标匹配值;
在所述目标匹配值大于第一阈值时,进行解锁。
2.根据权利要求1所述的方法,其特征在于,所述根据所述N个匹配值确定目标匹配值,包括:
获取所述N个角度中每个角度对应的权值;
根据所述N个角度中每个角度对应的匹配值和权值进行加权计算,得到所述目标匹配值。
3.根据权利要求2所述的方法,其特征在于,所述获取所述N个角度中每个角度对应的权值,包括:
从历史解锁记录中获取所述N个角度的解锁成功率,得到N个解锁成功率;
根据所述N个解锁成功率获取所述N个角度中每个角度对应的权值。
4.根据权利要求1-3任一项所述的方法,其特征在于,在所述选取N个角度中每个角度对应的目标人脸图像之前,所述方法还包括:
对第一人脸图像进行区块划分,得到M个区块,所述M为大于1的整数;
从所述M个区块中选取特征点个数小于第二阈值的区块,得到L个区块,所述L为小于所述M的正整数;
根据所述L个区块生成所述N个角度的提示信息,所述提示信息用于指示用户调整人脸姿势;
采集所述N个角度中每个角度对应的目标人脸图像,得到N组目标人脸图像,每组目标人脸图像中至少包括一张人脸图像。
5.根据权利要求4所述的方法,其特征在于,所述选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,包括:
获取所述N组目标人脸图像中每张目标人脸图像的评价值,得到P个评价值,所述P为大于或等于所述N的整数;
根据所述P个评价值确定所述N组目标人脸图像中每组目标人脸图像对应的最大评价值,得到N个最大评价值;
从所述N组目标人脸图像中选取与所述N个最大评价值对应的目标人脸图像,得到所述N张目标人脸图像。
6.一种移动终端,其特征在于,包括处理器、与所述处理器连接的存储器,其中:
所述存储器,用于存储预设人脸图像和第一阈值;
所述处理器,用于选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;确定所述N张目标人脸图像中每张目标人脸图像和所述预设人脸图像之间的匹配值,得到N个匹配值;根据所述N个匹配值确定目标匹配值;以及在所述目标匹配值大于所述第一阈值时进行解锁。
7.根据权利要求6所述的移动终端,其特征在于,在所述处理器根据所述N个匹配值确定目标匹配值方面,所述处理器具体用于获取所述N个角度中每个角度对应的权值;根据所述N个角度中每个角度对应的匹配值和权值进行加权计算,得到所述目标匹配值。
8.根据权利要求7所述的移动终端,其特征在于,在所述处理器获取所述N个角度中每个角度对应的权值方面,所述处理器具体用于从历史解锁记录中获取所述N个角度的解锁成功率,得到N个解锁成功率;根据所述N个解锁成功率获取所述N个角度中每个角度对应的权值。
9.根据权利要求6-8任一项所述的移动终端,其特征在于,
所述存储器,还用于存储第二阈值;
在所述处理器选取N个角度中每个角度对应的目标人脸图像之前,所述处理器还用于对第一人脸图像进行区块划分,得到M个区块,所述M为大于1的整数;从所述M个区块中选取特征点个数小于所述第二阈值的区块,得到L个区块,所述L为小于所述M的正整数;根据所述L个区块生成所述N个角度的提示信息,所述提示信息用于指示用户调整人脸姿势;
所述移动终端还包括与所述处理器连接的前置摄像头,用于采集所述N个角度中每个角度对应的目标人脸图像,得到N组目标人脸图像,每组目标人脸图像中至少包括一张人脸图像。
10.根据权利要求9所述的移动终端,其特征在于,在所述处理器选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像方面,所述处理器具体用于获取所述N组目标人脸图像中每张目标人脸图像的评价值,得到P个评价值,所述P为大于或等于所述N的整数;根据所述P个评价值确定所述N组目标人脸图像中每组目标人脸图像对应的最大评价值,得到N个最大评价值;从所述N组目标人脸图像中选取与所述N个最大评价值对应的目标人脸图像,得到所述N张目标人脸图像。
11.一种解锁控制装置,其特征在于,包括:
第一选取单元,用于选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;
第一确定单元,用于确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;
第二确定单元,用于根据所述N个匹配值确定目标匹配值;
解锁单元,用于在所述目标匹配值大于第一阈值时,进行解锁。
12.一种解锁控制方法,其特征在于,应用于包括处理器、与所述处理器连接的存储器的移动终端,其中:
所述存储器存储第一阈值;
所述处理器选取N个角度中每个角度对应的目标人脸图像,得到N张目标人脸图像,所述N为大于1的整数;确定所述N张目标人脸图像中每张目标人脸图像和预设人脸图像之间的匹配值,得到N个匹配值;根据所述N个匹配值确定目标匹配值;以及在所述目标匹配值大于所述第一阈值时进行解锁。
13.一种移动终端,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行权利要求1-5任一项方法中的步骤的指令。
14.一种计算机可读存储介质,其特征在于,其用于存储计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN201710864459.XA 2017-09-21 2017-09-21 解锁控制方法及相关产品 Expired - Fee Related CN107590474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710864459.XA CN107590474B (zh) 2017-09-21 2017-09-21 解锁控制方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710864459.XA CN107590474B (zh) 2017-09-21 2017-09-21 解锁控制方法及相关产品

Publications (2)

Publication Number Publication Date
CN107590474A true CN107590474A (zh) 2018-01-16
CN107590474B CN107590474B (zh) 2020-08-14

Family

ID=61048405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710864459.XA Expired - Fee Related CN107590474B (zh) 2017-09-21 2017-09-21 解锁控制方法及相关产品

Country Status (1)

Country Link
CN (1) CN107590474B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268765A (zh) * 2018-01-31 2018-07-10 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108288046A (zh) * 2018-01-31 2018-07-17 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108345779A (zh) * 2018-01-31 2018-07-31 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN109816628A (zh) * 2018-12-20 2019-05-28 深圳云天励飞技术有限公司 人脸评价方法及相关产品
CN110032852A (zh) * 2019-04-15 2019-07-19 维沃移动通信有限公司 屏幕解锁方法及终端设备
CN110659541A (zh) * 2018-06-29 2020-01-07 深圳云天励飞技术有限公司 图像识别方法、装置及存储介质
US11816923B2 (en) 2018-09-06 2023-11-14 Nec Solution Innovators, Ltd. Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393598A (zh) * 2007-09-21 2009-03-25 希姆通信息技术(上海)有限公司 利用手机摄像头对人脸识别来决定允许开机/解锁的方法
CN102622604A (zh) * 2012-02-14 2012-08-01 西安电子科技大学 一种基于可变形部件加权的多角度人脸检测方法
CN103049736A (zh) * 2011-10-17 2013-04-17 天津市亚安科技股份有限公司 一种基于最大稳定极值区域的人脸识别方法
CN105956518A (zh) * 2016-04-21 2016-09-21 腾讯科技(深圳)有限公司 一种人脸识别方法、装置和系统
WO2016203717A1 (ja) * 2015-06-15 2016-12-22 パナソニックIpマネジメント株式会社 顔認識システム、顔認識サーバ及び顔認識方法
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101393598A (zh) * 2007-09-21 2009-03-25 希姆通信息技术(上海)有限公司 利用手机摄像头对人脸识别来决定允许开机/解锁的方法
CN103049736A (zh) * 2011-10-17 2013-04-17 天津市亚安科技股份有限公司 一种基于最大稳定极值区域的人脸识别方法
CN102622604A (zh) * 2012-02-14 2012-08-01 西安电子科技大学 一种基于可变形部件加权的多角度人脸检测方法
WO2016203717A1 (ja) * 2015-06-15 2016-12-22 パナソニックIpマネジメント株式会社 顔認識システム、顔認識サーバ及び顔認識方法
CN105956518A (zh) * 2016-04-21 2016-09-21 腾讯科技(深圳)有限公司 一种人脸识别方法、装置和系统
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268765A (zh) * 2018-01-31 2018-07-10 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108288046A (zh) * 2018-01-31 2018-07-17 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108345779A (zh) * 2018-01-31 2018-07-31 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN110659541A (zh) * 2018-06-29 2020-01-07 深圳云天励飞技术有限公司 图像识别方法、装置及存储介质
US11816923B2 (en) 2018-09-06 2023-11-14 Nec Solution Innovators, Ltd. Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium
CN109816628A (zh) * 2018-12-20 2019-05-28 深圳云天励飞技术有限公司 人脸评价方法及相关产品
CN110032852A (zh) * 2019-04-15 2019-07-19 维沃移动通信有限公司 屏幕解锁方法及终端设备

Also Published As

Publication number Publication date
CN107590474B (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN107590474A (zh) 解锁控制方法及相关产品
CN107527046A (zh) 解锁控制方法及相关产品
CN107450708A (zh) 解锁控制方法及相关产品
CN109472206B (zh) 基于微表情的风险评估方法、装置、设备及介质
CN107622243A (zh) 解锁控制方法及相关产品
CN107437067A (zh) 人脸活体检测方法及相关产品
CN108345779A (zh) 解锁控制方法及相关产品
CN105868677A (zh) 一种活体人脸检测方法及装置
CN105205380A (zh) 一种移动终端的解锁方法及装置
CN107729836A (zh) 人脸识别方法及相关产品
CN107622246A (zh) 人脸识别方法及相关产品
CA2922342A1 (en) Methods and systems for detecting head motion during an authentication transaction
CN107451453A (zh) 解锁控制方法及相关产品
CN109543633A (zh) 一种人脸识别方法、装置、机器人和存储介质
CN107516032A (zh) 解锁控制方法及相关产品
CN109389002A (zh) 活体检测方法及装置
CN107527019A (zh) 解锁控制方法及相关产品
CN107844742A (zh) 人脸图像眼镜去除方法、装置及存储介质
CN110099219A (zh) 全景拍摄方法及相关产品
CN107480488A (zh) 解锁控制方法及相关产品
CN105007413A (zh) 一种拍摄控制方法及用户终端
CN105488462A (zh) 眼睛定位识别装置和方法
CN107491743A (zh) 虹膜图像采集方法及相关产品
CN108268765A (zh) 解锁控制方法及相关产品
CN107742073A (zh) 信息展示方法、装置、计算机装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: 523860 No. 18 Wusha Haibin Road, Chang'an Town, Dongguan City, Guangdong Province

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200814