CN109583332A - 人脸识别方法、人脸识别系统、介质及电子设备 - Google Patents

人脸识别方法、人脸识别系统、介质及电子设备 Download PDF

Info

Publication number
CN109583332A
CN109583332A CN201811361958.8A CN201811361958A CN109583332A CN 109583332 A CN109583332 A CN 109583332A CN 201811361958 A CN201811361958 A CN 201811361958A CN 109583332 A CN109583332 A CN 109583332A
Authority
CN
China
Prior art keywords
sample
model
face
training
recognition result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811361958.8A
Other languages
English (en)
Other versions
CN109583332B (zh
Inventor
金钰丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201811361958.8A priority Critical patent/CN109583332B/zh
Publication of CN109583332A publication Critical patent/CN109583332A/zh
Application granted granted Critical
Publication of CN109583332B publication Critical patent/CN109583332B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本发明实施例提供了一种人脸识别方法、人脸识别系统、介质及电子设备,涉及大数据技术领域。该方法包括:获取多个人脸样本作为第一训练集,通过聚类方法训练基于所述第一训练集的第一模型,并利用所述第一模型得到待识别人脸样本的第一识别结果;根据所述第一识别结果确定多个三元组,计算所述多个三元组样本的相似度,将所述样本的相似度满足第一阈值条件的样本集作为第二训练集训练第二模型以获取第二识别结果;将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;基于训练后的所述第一模型、第二模型与第三模型对所述待识别人脸进行识别。本发明实施例的技术方案可以提高人脸识别系统的识别精度。

Description

人脸识别方法、人脸识别系统、介质及电子设备
技术领域
本发明涉及数据处理技术领域,具体而言,涉及一种人脸识别方法、人脸识别系统、介质及电子设备。
背景技术
随着数据处理技术的发展,人脸识别技术越来越成熟。
现有的一种人脸识别技术可以通过收集到的人脸图片,训练出一个人脸分类模型,从而通过人脸分类模型对提取的人脸特征的进行对比识别,实现人脸识别。这种方法对于人脸特征非常相似的人脸的识别精度不够,可能导致识别错误。另外,还有一种人脸识别技术可以通过人脸关键点定位,将人脸特征分为多个局部特征,对于不同的局部特征分别训练模型,在通过联合贝叶斯方法进行局部特征的融合训练,从而达到较高的人脸识别精度。这种方法可能导致非显著但是具有区分性的局部特征的缺失,从而导致人脸识别失败。此外,还有的人脸识别技术利用上述两种技术,先对人脸特征进行对比识别,再将人脸特征划分为局部特征,再次进行对比识别,获取最终识别结果。这种方法虽然融合了前两种技术,但是并没有解决前两种技术中存在的问题。
因此,如何在不丢失局部人脸特征的同时实现人脸的精细化识别,提高识别精度成为亟待解决的问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明实施例的目的在于提供一种人脸识别方法、人脸识别系统、存储介质及电子设备,进而至少在一定程度上克服识别精度低的问题。
本发明的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本发明的实践而习得。
根据本发明实施例的第一方面,提供了一种人脸识别方法,包括:获取多个人脸样本作为第一训练集,通过聚类方法训练基于所述第一训练集的第一模型,并利用所述第一模型得到待识别人脸样本的第一识别结果;
根据所述第一识别结果确定多个三元组,计算所述三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本作为第二训练集训练第二模型以获取第二识别结果;
将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;
基于训练后的所述第一模型、第二模型与第三模型对待识别人脸进行识别。
在本发明的一种示例实施例中,所述方法还包括:
计算所述第一识别结果中样本之间的距离;
所述样本之间的距离小于第一预设距离时,确定所述样本之间的相似度满足第一阈值条件。
在本发明的一种示例实施例中,所述方法还包括:
计算所述第二识别结果中样本之间的距离;
所述样本之间的距离小于第二预设距离时,确认所述样本之间的相似度满足第二阈值条件,其中所述第二预设距离小于所述第一预设距离。
在本发明的一种示例实施例中,所述根据所述第一识别结果确定多个三元组,计算所述三元组中样本的相似度,筛选所述样本的相似度满足第一阈值条件的样本作为第二训练集包括:
根据第一识别结果确定所述待识别人脸样本的正样本和负样本,得到三元组,其中所述三元组中待识别人脸样本与所述正样本构成正样本对,所述待识别人脸样本与所述负样本构成负样本对;
计算所述三元组的正样本对的距离,以及所述负样本对的距离;
确定所述正样本对的距离大于负样本对的距离的三元组作为第二训练集。
在本发明的一种示例实施例中,所述获取多个人脸样本作为第一训练集,通过聚类方法训练第一模型包括:
获取多帧人脸样本,按照各所述人脸样本对应的真实人脸对各所述人脸样本进行标记;
将标记后的人脸样本作为所述第一训练集。
在本发明的一种示例实施例中,筛选所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型包括:
按照所述第三训练集中的各样本对应的真实人脸对各所述样本进行标记;
将标记后的各所述样本输入第三模型,以训练第三模型。
在本发明的一种示例实施例中,所述训练第一模型还包括:
训练所述第一模型,使用的损失函数为:其中,0<λ<1,m为样本总数,y为样本簇序号,c为簇中心点。
在本发明的一种示例实施例中,所述训练第二模型还包括:
训练所述第二模型,使用的损失函数为:
其中N为样本组总数,a为随机选取的一个样本,p为与a在同一类中的样本,n为与a在不同类中的样本,α为最小距离。
在本发明的一种示例实施例中,所述训练第三模型还包括:
训练所述第三模型,使用的损失函数为:
其中,k为样本总数,θ为样本夹角,0<s<1,β为最小距离。
根据本发明实施例的第二方面,提供了一种人脸识别系统,所述人脸识别系统包括:
第一识别单元,用于获取多个人脸样本作为第一训练集,通过聚类方法训练基于所述第一训练集的第一模型,并利用所述第一模型得到参考样本的第一识别结果;
第二识别单元,用于根据所述第一识别结果确定多个三元组,计算所述三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本作为第二训练集训练第二模型以获取第二识别结果;
第三识别单元,用于将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;
识别结果确定单元,用于基于训练后的所述第一模型、第二模型与第三模型对待识别人脸进行识别。
根据本发明实施例的第三方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中第一方面所述的人脸识别方法。
根据本发明实施例的第四方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中第一方面所述的人脸的识别方法。
本发明实施例提供的技术方案可以包括以下有益效果:
在本发明的一些实施例所提供的技术方案中,通过获取多个人脸样本作为第一训练集,通过聚类方法训练第一模型,并利用所述第一模型得到待识别人脸样本的第一识别结果,根据第一识别结果确定多个三元组,计算三元组中样本的相似度,将样本的相似度满足第一阈值条件的样本集作为第二训练集,训练第二模型以获取第二识别结果,将第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型,基于训练后的第一模型、第二模型与第三模型对待识别人脸进行识别。在识别过程中,可以对待识别人脸的全局特征进行对比识别,不会导致特征的丢失,从而提高识别精度和识别可靠性;并且通过三个模型,达到三层级联的识别效果,可以进一步提高识别精度;同时可以对级联层级进行扩展,提高了识别系统的可扩展性;此外,识别系统还可以在各种平台环境下运行,提高了可操作性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本发明的实施例的人脸识别方法的流程图;
图2示意性示出了根据本发明的实施例的人脸识别系统的框图;
图3示意性示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本发明将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本发明的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本发明的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本示例实施方式首先提供了一种人脸识别方法。如图1所示,该方法可以包括步骤S110、S120、S130、S140。其中:
步骤S110,获取多个人脸样本作为第一训练集,通过聚类方法训练第一模型,并利用所述第一模型得到待识别人脸样本的第一识别结果;
步骤S120,根据所述第一识别结果确定多个三元组,计算所述多个三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本作为第二训练集训练第二模型以获取第二识别结果;
步骤S130,将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;
步骤S140,基于训练后的所述第一模型、第二模型与第三模型对待识别人脸进行识别。
根据本示例实施例中的人脸识别方法,通过获取多个人脸样本作为第一训练集,通过聚类方法训练第一模型,并利用所述第一模型得到待识别人脸样本的第一识别结果,根据所述第一识别结果确定多个三元组,计算所述多个三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本作为第二训练集训练第二模型以获取第二识别结果,将第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型,基于训练后的第一模型、第二模型与第三模型对待识别人脸进行识别。在识别过程中,可以对待识别人脸的全局特征进行对比识别,不会导致特征的丢失,从而提高识别精度和识别可靠性;并且通过三个模型,达到三层级联的识别效果,可以进一步提高识别精度;同时可以对级联层级进行扩展,提高了人脸识别系统的可扩展性;此外,人脸识别系统还可以在各种平台环境下运行,提高了可操作性。
下面,将结合图1对本示例实施例中的人脸的识别方法的各个步骤进行更加详细的说明。
步骤S110,获取多个人脸样本作为第一训练集,通过聚类方法训练第一模型,并利用所述第一模型得到待识别人脸样本的第一识别结果。
人脸样本可以是包含人脸的图像,或者照片。同一个人在不同的角度、不同的环境中的人脸图像可能是不同的,因此人脸样本中可以包含同一个人的多张人脸图像;或者不同人的多张人脸图像。这些包含人脸的图像可以作为人脸样本,从数据库中获取。数据库中的人脸样本可以是已经被成功识别的人脸样本,并且可以带有识别的标识信息,标识信息可以标识人脸样本是已经被认证过的,可以与其他样本进行区分的标识信息。比如,姓别、姓名等。将获取到的大量的人脸样本作为第一训练集,来进行第一模型的训练。第一训练集中的每一个样本可以表示为一个特征表达式,例如像素特征,从而将样本的特征信息转化成可进行计算或者量化对比的数学表达。
在本发明的一些实施例中,获取第一训练集还可以通过获取多个人脸样本,按照各人脸样本对应的真实人脸对个人脸样本进行标记;进而将标记后的人脸样本作为第一训练集。其中,人脸样本中可以有多个人脸样本对应同一真实人脸,这些人脸样本可以对应相同的标记。举例而言,获取1000张人脸样本,其中有50张都为第一个人的人脸图像,将这50张可以标记为“1”,有100张为第二个人的人脸图像,这100张可以标记为“2”,以此类推,可以将每个人脸样本对应的真实人脸进行标记。然后,将标记后的人脸样本作为第一训练集。使用该第一训练集训练第一模型时,可以通过验证该第一模型的输出结果是否与标记一致,来判断该第一模型是否训练成功,如果该第一模型的输出结果与标记不一致,可以对该第一模型输出错误的样本进行再次训练。并且,对于输出错误的样本还可以进行数据增强,来强化该样本的特征,使得该第一模型对与该样本进行正确的区分。
第一模型可以根据机器学习技术构建。机器学习技术能够在训练过程中,学习经验自动改进算法。通过监督学习方法,或者非监督学习方法可以来进行机器学习。同时还可以利用各种机器学习方法来进行机器学习,比如,决策树、贝叶斯分类、聚类等。本示例实施例中采用聚类的方法。在本示例实施例中,聚类方法可以将第一训练集中的样本划分成若干个不相交的子集。每个子集包含一定数量的样本,可以将一个子集作为一个样本簇。同一个样本簇可以存在潜在的联系或者概念。还可以通过损失函数来衡量模型的好坏,损失函数可以表示真实值与模型的输出值之间的差距。利用损失函数可以缩小类间的距离,使得同一样本簇中的样本与聚类中心点的距离尽可能的小。
在本示例实施例中,利用聚类方法可以确定第一模型的参数,从而完成第一模型的训练。第一模型的参数可以是查全率、查准率等。此外,利用损失函数可以确定查全率和查准率。优选地,训练第一模型时,可以使第一模型的查全率大于查准率。优选地,训练第一模型时可以使用损失函数:其中,m为样本总数,0<λ<1,用来平衡每个样本簇中样本离中心样本的差距,y为样本簇序号,c为簇中心点,簇中心点是聚类时每个样本簇的聚类中心。
在本示例实施例中,利用第一模型可以将第一训练集中的样本进行聚类,从而获取待识别人脸样本的第一识别结果。将待识别人脸样本输入训练后的第一模型,从而可以获取第一识别结果。第一识别结果可以是与待识别人脸样本相似度较高的样本集合。
步骤S120,根据所述第一识别结果确定多个三元组,计算所述多个三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本集作为第二训练集,训练第二模型以获取第二识别结果。
在本示例实施例中,通过将待识别人脸样本输入第一模型可以获取待识别人脸样本的第一识别结果。第一识别结果中可以包含多个类,可以随机选取与待识别人脸样本属于同一类的一样本,以及与待识别人脸样本属于不同类的一样本,构成三元组,因此可以获得多个三元组。计算该三元组中的样本之间的相似度,可以将满足第一阈值条件的样本确定为第二训练集中的样本。
筛选相似度满足第一阈值条件的样本集作为第二训练集。样本的相似度可以通过样本之间的距离来衡量,样本距离越小可以表示样本相似度越高。距离的计算可以通过各种距离公式来进行。比如,闵科夫斯基距离即欧式距离、马氏距离等。利用距离公式可以计算出第一识别结果中样本之间的距离。因此,本示例实施例中,判断相似度是否满足第一阈值条件可以通过样本之间距离是否小于第一预设距离来判断。如果样本之间的距离第一预设距离,那么可以确定该样本满足第一阈值条件,从而可以筛选出满足第一阈值条件的样本集作为第二训练集。
优选地,可将与待识别人脸样本属于同一类的样本确定为正样本,与待识别人脸样本不属于同一类的样本确定为负样本,从正样本、负样本中各随机选择一样本与待识别人脸样本构成三元组。并且,在该三元组中,待识别人脸样本与正样本可以构成正样本对,待识别人脸样本与负样本可以构成负样本对。进而,计算该三元组中正样本对的距离,以及负样本对的距离,从而确定正样本对的距离大于负样本对的距离的三元组为第二训练集。
第二训练集可以用来训练第二模型。训练第二模型的过程中,可以利用第二模型的查准率大于第一模型的查准率来确定最终的第二模型。优选地,第二模型的损失函数可以是:其中,N可以是样本组总数,样本组可以是在第二训练集的所有样本中,随机选取两个不同类中的三个样本作为一组样本。a可以为每组样本中随机选取的一个样本,p可以为与a在同一类中的样本,n可以为与a在不同类中的样本,α可以为样本间的最小距离。α可以使同类间的样本之间距离尽可能的小,从而使得不同类的样本间距离增大。
此外,可以利用训练后的第二模型获取第二识别结果。可以将第一识别结果输入第二模型,也可以将第二训练集输入第二模型,从而获取第二模型输出的结果,该结果可以作为第二识别结果。
步骤S130,将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型。
在本示例实施例中,判断第二识别结果中相似度是否满足第二阈值条件,可以通过第二识别结果中样本的距离是否小于第二预设距离来判断。可以将样本的距离小于第二预设距离的样本筛选出来作为第三训练集。当然,根据实际情况,也可以通过其他方式来确定第二识别结果中相似度满足第二阈值条件的样本集。比如,皮尔森相关系数(PearsonCorrelation Coefficient)、余弦相似度等。第三训练集可以用来进行第三模型的训练。
在本发明的一些实施例中,还可以确定第三训练集中的各样本对应的真实人脸,按照第三训练集中各样本对应的真实人脸对各样本进行标记,将标记后的各样本输入第三模型,对第三模型进行训练。并且,可以获取大量的人脸样本,按照这些人脸样本对应的真实人脸对人脸样本进行标记,得到一样本集,该样本集可以与第三训练集中标记的样本共同用于第三模型的训练。
在训练第三模型时,可以使得最终的训练结果满足第三模型的查准率可以小于第二模型的查准率。优选地,第三模型的损失函数可以是:
其中,k可以为样本总数,θ可以为样本夹角,样本夹角可以根据余弦距离得到,s大于0并且小于1,β为最小距离。β可以根据每次训练结果来调整,从而进一步降低同类间的样本距离。
进一步地,为了使第三模型的识别结果更加精确,可以使第二预设距离小于上述第一预设距离。在本示例实施例中,可以在上述的损失函数中,使α>β。
步骤S140,基于训练后的所述第一模型、第二模型与第三模型对待识别人脸进行识别。
可以对待识别人脸进行图像采集,获取到待识别人脸的图像后,可以对该图像进行标记,然后将标记后的待识别人脸的图像输入第一模型进行识别。第一模型的输出结果可以作为第二模型的输入样本,进而由第二模型对第一模型的识别结果进行再次识别,并且将第二识别结果输出到第三模型,由第三模型输出最终结果。在本示例实施例中,利用上述方案中训练得到的第一模型、第二模型与第三模型对待识别人脸可以进行识别。当然,根据实际需求,对该待识别人脸进行识别时还可以借助于其他模块或者电子设备,比如,图像采集模块、数据存储模块、图像采集设备等。
以下介绍本发明的人脸识别系统的实施例,该人脸识别系统可以用于执行本发明上述的人脸识别方法,对待识别的人脸进行识别。如图2所示,该人脸识别系统200可以包括:
第一识别单元210,用于获取多个人脸样本作为第一训练集,通过聚类方法训练基于所述第一训练集的第一模型,并利用所述第一模型得到参考样本的第一识别结果;
第二识别单元220,用于根据所述第一识别结果确定多个三元组,计算所述三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本作为第二训练集训练第二模型以获取第二识别结果;
第三识别单元230,用于将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;
识别结果确定单元240,用于基于训练后的所述第一模型、第二模型与第三模型对待识别人脸进行识别。
本示例实施例中的识别系统可以利用上述人脸识别方法来构建。
由于本发明的示例实施例的人脸识别系统的各个功能模块与上述人脸识别方法的示例实施例的步骤对应,因此对于本发明人脸识别系统实施例中未披露的细节,请参照本发明上述的人脸识别方法的实施例。
下面参考图3,其示出了适于用来实现本发明实施例的电子设备的计算机系统300的结构示意图。图3示出的电子设备的计算机系统300仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示,计算机系统300包括中央处理单元(CPU)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有系统操作所需的各种程序和数据。CPU301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地,根据本发明的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的人脸识别方法。
例如,所述的电子设备可以实现如图1中所示的:步骤S110,获取多个人脸样本作为第一训练集,通过聚类方法训练基于所述第一训练集的第一模型,并利用所述第一模型得到待识别人脸样本的第一识别结果;步骤S120,根据所述第一识别结果确定多个三元组,计算所述多个三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本集作为第二训练集,训练第二模型以获取第二识别结果;步骤S130,将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;步骤S140,基于训练后的所述第一模型、第二模型与第三模型对所述待识别人脸进行识别。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本发明实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本发明实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (12)

1.一种人脸识别方法,其特征在于,包括:
获取多个人脸样本作为第一训练集,通过聚类方法训练基于所述第一训练集的第一模型,并利用所述第一模型得到参考样本的第一识别结果;
根据所述第一识别结果确定多个三元组,计算所述三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本作为第二训练集训练第二模型以获取第二识别结果;
将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;
基于训练后的所述第一模型、第二模型与第三模型对待识别人脸进行识别。
2.根据权利要求1所述的人脸识别方法,其特征在于,还包括:
计算所述第一识别结果中样本之间的距离;
所述样本之间的距离小于第一预设距离时,所述样本之间的相似度满足第一阈值条件。
3.根据权利要求2所述的人脸识别方法,其特征在于,还包括:
计算所述第二识别结果中样本之间的距离;
所述样本之间的距离小于第二预设距离时,确认所述样本之间的相似度满足第二阈值条件,其中所述第二预设距离小于所述第一预设距离。
4.根据权利要求1所述的人脸识别方法,其特征在于,所述根据所述第一识别结果确定多个三元组,计算所述三元组中样本的相似度,筛选所述样本的相似度满足第一阈值条件的样本作为第二训练集包括:
根据第一识别结果确定所述待识别人脸样本的正样本和负样本,得到三元组,其中所述三元组中待识别人脸样本与所述正样本构成正样本对,所述待识别人脸样本与所述负样本构成负样本对;
计算所述三元组的正样本对的距离,以及所述负样本对的距离;
确定所述正样本对的距离大于负样本对的距离的三元组作为第二训练集。
5.根据权利要求1所述的人脸识别方法,其特征在于,所述获取多个人脸样本作为第一训练集包括:
获取多个人脸样本,按照各所述人脸样本对应的真实人脸对各所述人脸样本进行标记;
将标记后的人脸样本作为第一训练集。
6.根据权利要求1所述的人脸识别方法,其特征在于,筛选所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型包括:
按照所述第三训练集中的各样本对应的真实人脸对各所述样本进行标记;
将标记后的各所述样本输入第三模型,以训练第三模型。
7.根据权利要求1所述的人脸识别方法,其特征在于,还包括:
所述第一模型使用的损失函数为:其中,0<λ<1,m为样本总数,y为样本簇序号,c为簇中心点。
8.根据权利要求1所述的人脸识别方法,其特征在于,还包括:
所述第二模型使用的损失函数为:
其中N为样本组总数,a为随机选取的一个样本,p为与a在同一类中的样本,n为与a在不同类中的样本,α为最小距离。
9.根据权利要求1所述的人脸识别方法,其特征在于,还包括:
所述第三模型使用的损失函数为:
其中,k为样本总数,θ为样本夹角,0<s<1,β为最小距离。
10.一种人脸识别系统,其特征在于,包括:
第一识别单元,用于获取多个人脸样本作为第一训练集,通过聚类方法训练基于所述第一训练集的第一模型,并利用所述第一模型得到参考样本的第一识别结果;
第二识别单元,用于根据所述第一识别结果确定多个三元组,计算所述三元组中样本的相似度,将所述样本的相似度满足第一阈值条件的样本作为第二训练集训练第二模型以获取第二识别结果;
第三识别单元,用于将所述第二识别结果中相似度满足第二阈值条件的样本集作为第三训练集,训练第三模型;
识别结果确定单元,用于基于训练后的所述第一模型、第二模型与第三模型对待识别人脸进行识别。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至9中任一项所述的人脸识别方法。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至9中任一项所述的人脸识别方法。
CN201811361958.8A 2018-11-15 2018-11-15 人脸识别方法、人脸识别系统、介质及电子设备 Active CN109583332B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811361958.8A CN109583332B (zh) 2018-11-15 2018-11-15 人脸识别方法、人脸识别系统、介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811361958.8A CN109583332B (zh) 2018-11-15 2018-11-15 人脸识别方法、人脸识别系统、介质及电子设备

Publications (2)

Publication Number Publication Date
CN109583332A true CN109583332A (zh) 2019-04-05
CN109583332B CN109583332B (zh) 2021-07-27

Family

ID=65922843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811361958.8A Active CN109583332B (zh) 2018-11-15 2018-11-15 人脸识别方法、人脸识别系统、介质及电子设备

Country Status (1)

Country Link
CN (1) CN109583332B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046586A (zh) * 2019-04-19 2019-07-23 腾讯科技(深圳)有限公司 一种数据处理方法、设备及存储介质
CN110276283A (zh) * 2019-06-10 2019-09-24 腾讯科技(深圳)有限公司 图片识别方法、目标识别模型训练方法及装置
CN110321778A (zh) * 2019-04-26 2019-10-11 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技(深圳)有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质
CN111062342A (zh) * 2019-12-20 2020-04-24 中国银行股份有限公司 一种人脸识别系统的调试方法及装置
CN111860062A (zh) * 2019-04-29 2020-10-30 中国移动通信集团河北有限公司 人脸识别样本处理方法及装置
CN112861962A (zh) * 2021-02-03 2021-05-28 北京百度网讯科技有限公司 样本处理方法、装置、电子设备和存储介质
CN113298197A (zh) * 2021-07-28 2021-08-24 腾讯科技(深圳)有限公司 数据聚类方法、装置、设备及可读存储介质
CN113642472A (zh) * 2021-08-13 2021-11-12 北京百度网讯科技有限公司 判别器模型的训练方法和动作识别方法
CN113762019A (zh) * 2021-01-22 2021-12-07 北京沃东天骏信息技术有限公司 特征提取网络的训练方法、人脸识别方法和装置
CN113887283A (zh) * 2021-08-30 2022-01-04 兴圣创(苏州)科技有限公司 陌生人脸识别分数阈值确定方法、人脸识别方法和系统
US11507882B2 (en) 2019-09-12 2022-11-22 Beijing Xiaomi Intelligent Technology Co., Ltd. Method and device for optimizing training set for text classification and storage medium
CN116503923A (zh) * 2023-02-16 2023-07-28 深圳市博安智控科技有限公司 训练人脸识别模型的方法及装置

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1794266A (zh) * 2005-12-31 2006-06-28 清华大学 生物特征融合的身份识别和认证方法
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
US20080192991A1 (en) * 2005-03-18 2008-08-14 Koninklijke Philips Electronics, N.V. Magnetic Resonance Imaging at Several Rf Frequencies
CN101281598A (zh) * 2008-05-23 2008-10-08 清华大学 基于多部件多特征融合的人脸识别方法
CN101986328A (zh) * 2010-12-06 2011-03-16 东南大学 一种基于局部描述符的三维人脸识别方法
CN102004908A (zh) * 2010-11-30 2011-04-06 汉王科技股份有限公司 一种自适应的人脸识别方法及装置
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
US20170061257A1 (en) * 2013-12-16 2017-03-02 Adobe Systems Incorporated Generation of visual pattern classes for visual pattern regonition
CN106529395A (zh) * 2016-09-22 2017-03-22 文创智慧科技(武汉)有限公司 基于深度置信网络和k均值聚类的签名图像鉴定方法
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法
CN106845330A (zh) * 2016-11-17 2017-06-13 北京品恩科技股份有限公司 一种基于深度卷积神经网络的二维人脸识别模型的训练方法
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN107679078A (zh) * 2017-08-29 2018-02-09 银江股份有限公司 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN107944020A (zh) * 2017-12-11 2018-04-20 深圳云天励飞技术有限公司 人脸图像查找方法及装置、计算机装置和存储介质
CN108090451A (zh) * 2017-12-20 2018-05-29 湖北工业大学 一种人脸识别方法及系统
CN108171136A (zh) * 2017-12-21 2018-06-15 浙江银江研究院有限公司 一种多任务卡口车辆以图搜图的系统及方法
CN108197538A (zh) * 2017-12-21 2018-06-22 浙江银江研究院有限公司 一种基于局部特征和深度学习的卡口车辆检索系统及方法
CN108197532A (zh) * 2017-12-18 2018-06-22 深圳云天励飞技术有限公司 人脸识别的方法、装置及计算机装置
CN108229532A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN108256450A (zh) * 2018-01-04 2018-07-06 天津大学 一种基于深度学习的人脸识别和人脸验证的监督学习方法

Patent Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080192991A1 (en) * 2005-03-18 2008-08-14 Koninklijke Philips Electronics, N.V. Magnetic Resonance Imaging at Several Rf Frequencies
CN1794266A (zh) * 2005-12-31 2006-06-28 清华大学 生物特征融合的身份识别和认证方法
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN101281598A (zh) * 2008-05-23 2008-10-08 清华大学 基于多部件多特征融合的人脸识别方法
CN102004908A (zh) * 2010-11-30 2011-04-06 汉王科技股份有限公司 一种自适应的人脸识别方法及装置
CN101986328A (zh) * 2010-12-06 2011-03-16 东南大学 一种基于局部描述符的三维人脸识别方法
US20170061257A1 (en) * 2013-12-16 2017-03-02 Adobe Systems Incorporated Generation of visual pattern classes for visual pattern regonition
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN105975959A (zh) * 2016-06-14 2016-09-28 广州视源电子科技股份有限公司 基于神经网络的人脸特征提取建模、人脸识别方法及装置
CN106203533A (zh) * 2016-07-26 2016-12-07 厦门大学 基于混合训练的深度学习人脸验证方法
CN106529395A (zh) * 2016-09-22 2017-03-22 文创智慧科技(武汉)有限公司 基于深度置信网络和k均值聚类的签名图像鉴定方法
CN106845330A (zh) * 2016-11-17 2017-06-13 北京品恩科技股份有限公司 一种基于深度卷积神经网络的二维人脸识别模型的训练方法
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN107330383A (zh) * 2017-06-18 2017-11-07 天津大学 一种基于深度卷积神经网络的人脸识别方法
CN107679078A (zh) * 2017-08-29 2018-02-09 银江股份有限公司 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN108229532A (zh) * 2017-10-30 2018-06-29 北京市商汤科技开发有限公司 图像识别方法、装置和电子设备
CN107944020A (zh) * 2017-12-11 2018-04-20 深圳云天励飞技术有限公司 人脸图像查找方法及装置、计算机装置和存储介质
CN108197532A (zh) * 2017-12-18 2018-06-22 深圳云天励飞技术有限公司 人脸识别的方法、装置及计算机装置
CN108090451A (zh) * 2017-12-20 2018-05-29 湖北工业大学 一种人脸识别方法及系统
CN108171136A (zh) * 2017-12-21 2018-06-15 浙江银江研究院有限公司 一种多任务卡口车辆以图搜图的系统及方法
CN108197538A (zh) * 2017-12-21 2018-06-22 浙江银江研究院有限公司 一种基于局部特征和深度学习的卡口车辆检索系统及方法
CN108256450A (zh) * 2018-01-04 2018-07-06 天津大学 一种基于深度学习的人脸识别和人脸验证的监督学习方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TRIGUEROS D S等: "Enhancing Convolutional Neural Networks for Face Recognition with Occlusion Maps and Batch Triplet Loss", 《IMAGE AND VISION COMPUTING》 *
张顺等: "深度卷积神经网络的发展及其在计算机视觉领域的应用", 《计算机学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046586A (zh) * 2019-04-19 2019-07-23 腾讯科技(深圳)有限公司 一种数据处理方法、设备及存储介质
CN110321778A (zh) * 2019-04-26 2019-10-11 北京市商汤科技开发有限公司 一种人脸图像处理方法、装置和存储介质
CN111860062A (zh) * 2019-04-29 2020-10-30 中国移动通信集团河北有限公司 人脸识别样本处理方法及装置
CN111860062B (zh) * 2019-04-29 2023-11-24 中国移动通信集团河北有限公司 人脸识别样本处理方法及装置
CN110276283A (zh) * 2019-06-10 2019-09-24 腾讯科技(深圳)有限公司 图片识别方法、目标识别模型训练方法及装置
CN110276283B (zh) * 2019-06-10 2021-05-25 腾讯医疗健康(深圳)有限公司 图片识别方法、目标识别模型训练方法及装置
US11507882B2 (en) 2019-09-12 2022-11-22 Beijing Xiaomi Intelligent Technology Co., Ltd. Method and device for optimizing training set for text classification and storage medium
CN111027442A (zh) * 2019-12-03 2020-04-17 腾讯科技(深圳)有限公司 用于行人重识别的模型训练方法、识别方法、装置及介质
CN111062342A (zh) * 2019-12-20 2020-04-24 中国银行股份有限公司 一种人脸识别系统的调试方法及装置
CN111062342B (zh) * 2019-12-20 2023-04-07 中国银行股份有限公司 一种人脸识别系统的调试方法及装置
CN113762019A (zh) * 2021-01-22 2021-12-07 北京沃东天骏信息技术有限公司 特征提取网络的训练方法、人脸识别方法和装置
CN113762019B (zh) * 2021-01-22 2024-04-09 北京沃东天骏信息技术有限公司 特征提取网络的训练方法、人脸识别方法和装置
CN112861962A (zh) * 2021-02-03 2021-05-28 北京百度网讯科技有限公司 样本处理方法、装置、电子设备和存储介质
CN112861962B (zh) * 2021-02-03 2024-04-09 北京百度网讯科技有限公司 样本处理方法、装置、电子设备和存储介质
CN113298197A (zh) * 2021-07-28 2021-08-24 腾讯科技(深圳)有限公司 数据聚类方法、装置、设备及可读存储介质
CN113642472A (zh) * 2021-08-13 2021-11-12 北京百度网讯科技有限公司 判别器模型的训练方法和动作识别方法
CN113887283A (zh) * 2021-08-30 2022-01-04 兴圣创(苏州)科技有限公司 陌生人脸识别分数阈值确定方法、人脸识别方法和系统
CN116503923A (zh) * 2023-02-16 2023-07-28 深圳市博安智控科技有限公司 训练人脸识别模型的方法及装置
CN116503923B (zh) * 2023-02-16 2023-12-08 深圳市博安智控科技有限公司 训练人脸识别模型的方法及装置

Also Published As

Publication number Publication date
CN109583332B (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN109583332A (zh) 人脸识别方法、人脸识别系统、介质及电子设备
CN108197532B (zh) 人脸识别的方法、装置及计算机装置
CN107688823B (zh) 一种图像特征获取方法及装置,电子设备
CN109922032A (zh) 用于确定登录账户的风险的方法和装置
CN109344154A (zh) 数据处理方法、装置、电子设备及存储介质
CN108898086A (zh) 视频图像处理方法及装置、计算机可读介质和电子设备
CN112070027B (zh) 网络训练、动作识别方法、装置、设备及存储介质
CN108960114A (zh) 人体识别方法及装置、计算机可读存储介质及电子设备
CN108846440A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN108171191B (zh) 用于检测人脸的方法和装置
Guo et al. Group-level emotion recognition using deep models on image scene, faces, and skeletons
CN108647307A (zh) 图像处理方法、装置、电子设备及存储介质
CN109743311A (zh) 一种WebShell检测方法、装置及存储介质
CN108564102A (zh) 图像聚类结果评价方法和装置
CN110097098A (zh) 基于基分类器的数据分类方法及装置、介质和电子设备
CN111539903B (zh) 训练人脸图像合成模型的方法和装置
CN107679457A (zh) 用户身份校验方法及装置
CN108596110A (zh) 图像识别方法及装置、电子设备、存储介质
CN110164455A (zh) 用户身份识别的装置、方法和存储介质
CN109583389A (zh) 绘本识别方法及装置
CN112883990A (zh) 数据分类方法及装置、计算机存储介质、电子设备
CN111241992A (zh) 人脸识别模型构建方法、识别方法、装置、设备及存储介质
WO2023020214A1 (zh) 检索模型的训练和检索方法、装置、设备及介质
CN110348516A (zh) 数据处理方法、装置、存储介质及电子设备
CN109948401A (zh) 用于文本的数据处理方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant