CN110879981A - 人脸关键点质量评估方法、装置、计算机设备及存储介质 - Google Patents

人脸关键点质量评估方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN110879981A
CN110879981A CN201911113841.2A CN201911113841A CN110879981A CN 110879981 A CN110879981 A CN 110879981A CN 201911113841 A CN201911113841 A CN 201911113841A CN 110879981 A CN110879981 A CN 110879981A
Authority
CN
China
Prior art keywords
evaluation
quality
face image
key point
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911113841.2A
Other languages
English (en)
Other versions
CN110879981B (zh
Inventor
张欢
张诗
陈兴委
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huafu Information Technology Co Ltd
Original Assignee
Shenzhen Huafu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huafu Information Technology Co Ltd filed Critical Shenzhen Huafu Information Technology Co Ltd
Priority to CN201911113841.2A priority Critical patent/CN110879981B/zh
Publication of CN110879981A publication Critical patent/CN110879981A/zh
Application granted granted Critical
Publication of CN110879981B publication Critical patent/CN110879981B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人脸关键点质量评估方法、装置、计算机设备及存储介质，该方法包括获取待评估人脸图像；将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；根据评估结果计算待评估人脸图像的关键点质量得分，以得到评估分数；判断评估分数是否不超过预设置的阈值；若评估分数不超过预设置的阈值，则将待评估人脸图像发送至终端，以进行人脸识别；其中，质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的。本发明实现可兼容各种环境下的人脸关键点的质量评估，且以统一标准进行人脸关键点的质量评估，配合人脸识别技术可以更好地提高人脸识别的准确率和效率。

Description

人脸关键点质量评估方法、装置、计算机设备及存储介质
技术领域
本发明涉及人脸检测方法，更具体地说是指人脸关键点质量评估方法、装置、计算机设备及存储介质。
背景技术
人脸关键点是指双眼、鼻子、两个嘴角等5个关键点或者包括更多轮廓点的28个关键点乃至64个、128个面部关键点。人脸关键点的质量在一定程度代表了人脸的质量，例如关键点被遮挡或者模糊不清，那么人脸就不能被有效的识别，前期先挑选有质量高的关键点的人脸图像进行人脸识别，既可以提高人脸识别的准确率，还可以提高人脸识别的效率。
现有人脸关键点质量评估方案之一是通过关键点是否可见来表示，但是这种方式对模糊和光照等造成的质量差不兼容，还有另外一种评估方案是对关键点质量进行打分，但是当前的这种方式严重依赖于标注人员对关键点质量的评判，主观性太强，且质量涉及到模糊、遮挡、光照等多个方面，评分标准较难统一，配合人脸识别技术也无法更好地提高人脸识别的准确率。
因此，有必要设计一种新的方法，实现可兼容各种环境下的人脸关键点的质量评估，且以统一标准进行人脸关键点的质量评估，配合人脸识别技术可以更好地提高人脸识别的准确率和效率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供人脸关键点质量评估方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：人脸关键点质量评估方法，包括：
获取待评估人脸图像；
将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；
根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数；
判断所述评估分数是否不超过预设置的阈值；
若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别；
其中，所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的。
其进一步技术方案为：所述判断所述评估分数是否不超过预设置的阈值之后，还包括：
若所述评估分数超过预设置的阈值，则发送所述待评估人脸图像的关键点质量不合格的通知至终端，以显示于终端。
其进一步技术方案为：所述待评估人脸图像是指经过人脸检测器检测后的人脸图像。
其进一步技术方案为：所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的，包括：
获取带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集，并将样本集划分为训练集以及测试集；
构建卷积神经网络以及损失函数；
将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；
利用损失函数计算标签与关键点坐标均值以及关键点坐标方差之间的损失值；
判断所述损失值是否维持不变；
若所述损失值不是维持不变，则调整所述卷积神经网络的参数，并执行所述将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；
若所述损失值维持不变，则将测试集输入至卷积神经网络内进行卷积测试，以得到测试结果；
判断所述测试结果是否符合条件；
若所述测试结果符合条件，则将所述卷积神经网络作为质量评估模型；
若所述测试结果不符合条件，则执行所述调整所述卷积神经网络的参数。
其进一步技术方案为：所述卷积神经网络包括五个卷积层，且卷积神经网络的头部为两个输出节点个数为10的全连接层。
其进一步技术方案为：所述损失函数为一计算卷积神经网络预测的关键点分布和关键点真实分布的相对熵的函数。
其进一步技术方案为：所述根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数，包括：
获取评价标准；
判断所述评价标准是否为单个关键点；
若所述评价标准是单个关键点，则获取所有关键点的横坐标方差和纵坐标方差的较大值，以得到评估分数；
若所述评价标准不是单个关键点，获取所有关键点方差的最大值，以得到评估分数。
本发明还提供了人脸关键点质量评估装置，包括：
图像获取单元，用于获取待评估人脸图像；
评估单元，用于将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；
分数形成单元，用于根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数；
判断单元，用于判断所述评估分数是否不超过预设置的阈值；
图像发送单元，用于若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过将经过人脸检测器检测后的待评估人脸图像输入至质量评估模型内，以获取关键点坐标均值以及关键点坐标方差，根据评级标准、关键点坐标均值以及关键点坐标方差计算评估分数，且质量评估模型是用于拟合预测的关键点分布情况与真实关键点分布情况，对于评估分数不大于阈值的待评估人脸图像进行后续的人脸识别，可剔除不合格的图像，从而实现可兼容各种环境下的人脸关键点的质量评估，且以统一标准进行人脸关键点的质量评估，配合人脸识别技术可以更好地提高人脸识别的准确率和效率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸关键点质量评估方法的应用场景示意图；
图2为本发明实施例提供的人脸关键点质量评估方法的流程示意图；
图3为本发明实施例提供的人脸关键点质量评估方法的子流程示意图；
图4为本发明实施例提供的人脸关键点质量评估方法的子流程示意图；
图5为本发明实施例提供的人脸关键点的分布示意图；
图6为本发明实施例提供的质量评估模型评估的人脸图像的示意图一；
图7为本发明实施例提供的质量评估模型评估的人脸图像的示意图二；
图8为本发明实施例提供的质量评估模型评估的人脸图像的示意图三；
图9为本发明实施例提供的质量评估模型评估的人脸图像的示意图四；
图10为本发明实施例提供的质量评估模型评估的人脸图像的示意图五；
图11为本发明实施例提供的质量评估模型评估的人脸图像的示意图六；
图12为本发明实施例提供的人脸关键点质量评估装置的示意性框图；
图13为本发明实施例提供的人脸关键点质量评估装置的分数形成单元单元的示意性框图；
图14为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的人脸关键点质量评估方法的应用场景示意图。图2为本发明实施例提供的人脸关键点质量评估方法的示意性流程图。该人脸关键点质量评估方法应用于服务器中。该服务器与终端进行数据交互，先由集成在终端内的人脸检测器进行人脸检测后形成待评估人脸图像，将该待评估人脸图像输入至服务器进行质量评估，借助质量评估模型进行关键点坐标的均值和方差，并由这些数值计算评估分数，由评估分数来断定是否有必要进入下一步的人脸识别，以提高人脸识别的效率和准确率。
图2是本发明实施例提供的人脸关键点质量评估方法的流程示意图。如图2所示，该方法包括以下步骤S110至S160。
S110、获取待评估人脸图像。
在本实施例中，待评估人脸图像是指经过人脸检测器检测后的人脸图像。比如在超市人脸支付过程中，终端先获取图像后，经过人脸检测器进行人脸检测后，得到关键点，先进行第一关不合格的图像的剔除，再形成待评估人脸图像，对于待评估人脸图像进行关键点质量的评估，以提高整个人脸识别的准确率和效率。
S120、将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果。
在本实施例中，评估结果包括待评估人脸图像的关键点坐标均值以及方差。
其中，所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S129。
S121、获取带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集，并将样本集划分为训练集以及测试集。
在本实施例中，人脸图像是指由人脸检测器检测出的人脸图片，标签为人脸关键点坐标与人脸图片边长的比值xg，即将坐标归一化到[0，1]，便于卷积神经网络收敛。
将样本集划分为训练集和测试集后，先利用训练集进行卷积神经网络的训练，训练至卷积神经网络能够输出符合要求的坐标均值以及方差，再利用测试集对训练后的卷积神经网络进行验证，以确保整个卷积神经网络作为质量评估模型时能够输出准确率符合要求的坐标均值和方差。
S122、构建卷积神经网络以及损失函数。
在本实施例中，所述卷积神经网络包括五个卷积层，且卷积神经网络的头部为两个输出节点个数为10的全连接层。仅用一个简单的5层卷积网络就可以达到很好的质量评估效果，且卷积神经网络的收敛速度很快。以5个关键点为例，考虑到横纵坐标，要学习10个均值xd和10个方差，为了梯度稳定，用log(σ2)代替方差σ2，因此网络头部是两个的对全连接层，每个对全连接层的输出节点个数为10。
所述损失函数为一计算卷积神经网络预测的关键点分布和关键点真实分布的相对熵的函数。
人脸关键点质量越差，从统计学的角度，卷积神经网络在预测时，其预测坐标的分布方差越大，假设网络输出的人脸关键点坐标服从高斯分布，即
Figure BDA0002273503760000061
Figure BDA0002273503760000062
其中，xd和σ2分别表示卷积神经网络输出的关键点坐标以及方差，如图5所示的曲线；假设真实的人脸关键点坐标服从迪克拉δ分布，即
Figure BDA0002273503760000063
g(x)＝δ(x-xg)，其中，xg表示关键点的真实坐标值，如图5中所示的带箭头的直线。当高斯分布的方差趋近于0时即为迪克拉δ分布。
整个卷积神经网络是为了用卷积神经网络预测的高斯分布f(x)去拟合样本标签满足的迪克拉δ分布g(x)。在信息学中用相对熵表示使用理论分布拟合真实分布时产生的信息损耗，两个分布差别越大，相对熵越大，因此可以用预测分布f(x)和真实分布g(x)的相对熵作为关键点分布检测的损失函数：
Figure BDA0002273503760000071
Figure BDA0002273503760000072
式中H(g(x))表示迪克拉δ分布g(x)的熵。用上述损失函数，通过反向传播和梯度下降学习网络权重，以使得卷积神经网络能输出满足要求的坐标均值以及方差。
S123、将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差。
S124、利用损失函数计算标签与关键点坐标均值以及关键点坐标方差之间的损失值。
具体是利用上述的损失函数计算标签内真实的数据与关键点坐标均值以及关键点坐标方差之间拟合程度，也可以认为是差异程度。
S125、判断所述损失值是否维持不变。
在本实施例中，当损失值维持不变，即当前的卷积神经网络已经收敛，即损失值基本不变且非常小，也表明当前的卷积神经网络是可以被用作质量评估模型的，一般是开始训练时损失值比较大，越往后训，损失值越小，倘若该损失值未维持不变，表明当前的卷积神经网络不可以用作质量评估模型，也就是评估出来的坐标均值以及方差并不准确，会导致后期的人脸识别也不准确。
S126、若所述损失值不是维持不变，则调整所述卷积神经网络的参数，并执行所述步骤S123。
在本实施例中，调整卷积神经网络的参数是指调整卷积神经网络中各个层的权重值。通过不断地训练，便可以得到满足要求的卷积神经网络。
S127、若所述损失值维持不变，则将测试集输入至卷积神经网络内进行卷积测试，以得到测试结果。
在本实施例中，测试结果是指测试集进行质量评估测试后，便可得到测试集对应的关键点坐标均值以及方差。
S128、判断所述测试结果是否符合条件；
S129、若所述测试结果符合条件，则将所述卷积神经网络作为质量评估模型；
若所述测试结果不符合条件，则执行所述步骤S126。
当测试结果的精度和召回率这两个指标评估符合条件，则表明拟合程度符合要求，便可认为测试结果是符合要求的；否则，则认为该测试结果不符合要求。卷积神经网络收敛时停止训练。卷积神经网络训练好后对卷积神经网络进行测试，如果测试结果不好，需要调整训练策略重新进行卷积神经网络训练。当然，在训练的过程中，会进行训练和测试，训练时测试是为了实时查看训练情况；而训练卷积神经网络完成后的测试，用精度和召回率这两个指标评估整个卷积神经网络的执行准确程度。
如图6至图11所示，在应用该质量评估模型时，输入一张人脸图片，经过卷积神经网络，可以得到该人脸的关键点坐标的均值和方差，因为主干网络很小，因此推断速度很快，方差越大，关键点质量确实越差，图片下方的数值为卷积神经网络输出的关键点的方差。
S130、根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数。
在本实施例中，评估分数是指评估该待评估人脸图像的单个关键点质量或者是整个图像的质量的分数。
在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S134。
S131、获取评价标准。
在本实施例中，评价标准是针对单个关键点或者整张人脸图像，也就是把单个关键点的得分作为评价标准，或者把整张人脸图像的得分作为评价标准，确定评价标准，可以统一评价标准，且体现公平性。
S132、判断所述评价标准是否为单个关键点；
S133、若所述评价标准是单个关键点，则获取所有关键点的横坐标方差和纵坐标方差的较大值，以得到评估分数。
评价单个关键点时，取该关键点横坐标方差和纵坐标方差的较大值作为该关键点的质量得分，该质量得分可作为评估分数。
S134、若所述评价标准不是单个关键点，获取所有关键点方差的最大值，以得到评估分数。
评价整张人脸图像为标价标准时，可以取所有关键点方差的最大值作为整张人脸图像的得分，该得分可以作为评估分数。
S140、判断所述评估分数是否不超过预设置的阈值。
在本实施例中，先设定一个阈值，用于划分待评估人脸图像是否可进入后续人脸识别的分界线。
S150、若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别；
S160、若所述评估分数超过预设置的阈值，则发送所述待评估人脸图像的关键点质量不合格的通知至终端，以显示于终端。
通过多次实验给出阈值，当评估分数大于该阈值时，这表明该待评估人脸图像的质量不合格，不进行后续的人脸对齐和识别，当评估分数不大于该阈值时，这表明该待评估人脸图像的质量合格，进行后续的人脸对齐和识别，既可以提高整个人脸识别的效率，还可以提高整个人脸识别的准确率。端到端快速准确得到人脸关键点质量得分，能兼容光照、遮挡、模糊等场景。
上述的人脸关键点质量评估方法，通过将经过人脸检测器检测后的待评估人脸图像输入至质量评估模型内，以获取关键点坐标均值以及关键点坐标方差，根据评级标准、关键点坐标均值以及关键点坐标方差计算评估分数，且质量评估模型是用于拟合预测的关键点分布情况与真实关键点分布情况，对于评估分数不大于阈值的待评估人脸图像进行后续的人脸识别，可剔除不合格的图像，从而实现可兼容各种环境下的人脸关键点的质量评估，且以统一标准进行人脸关键点的质量评估，配合人脸识别技术可以更好地提高人脸识别的准确率和效率。
图12是本发明实施例提供的一种人脸关键点质量评估装置300的示意性框图。如图12所示，对应于以上人脸关键点质量评估方法，本发明还提供一种人脸关键点质量评估装置300。该人脸关键点质量评估装置300包括用于执行上述人脸关键点质量评估方法的单元，该装置可以被配置于服务器中。
具体地，请参阅图12，该人脸关键点质量评估装置300包括图像获取单元301、评估单元302、分数形成单元303、判断单元304、图像发送单元305以及通知发送单元306。
图像获取单元301，用于获取待评估人脸图像；评估单元302，用于将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；分数形成单元303，用于根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数；判断单元304，用于判断所述评估分数是否不超过预设置的阈值；图像发送单元305，用于若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别；通知发送单元306，用于若所述评估分数超过预设置的阈值，则发送所述待评估人脸图像的关键点质量不合格的通知至终端，以显示于终端。
在一实施例中，还包括模型构建单元。
模型构建单元，用于通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络，以得到质量评估模型。
在一实施例中，所述模型构建单元包括样本集处理子单元、构建子单元、训练子单元、损失值计算子单元、损失值判断子单元、参数调整子单元、测试子单元、测试判断子单元以及模型形成子单元。
样本集处理子单元，用于获取带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集，并将样本集划分为训练集以及测试集；构建子单元，用于构建卷积神经网络以及损失函数；训练子单元，用于将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；损失值计算子单元，用于利用损失函数计算标签与关键点坐标均值以及关键点坐标方差之间的损失值；损失值判断子单元，用于判断所述损失值是否维持不变；参数调整子单元，用于若所述损失值不是维持不变，则调整所述卷积神经网络的参数，并执行所述将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；测试子单元，用于若所述损失值维持不变，则将测试集输入至卷积神经网络内进行卷积测试，以得到测试结果；测试判断子单元，用于判断所述测试结果是否符合条件；若所述测试结果不符合条件，则执行所述调整所述卷积神经网络的参数；模型形成子单元，用于若所述测试结果符合条件，则将所述卷积神经网络作为质量评估模型。
在一实施例中，如图13所示，所述分数形成单元303包括标准获取子单元3031、标准判断子单元3032、关键点评估子单元3033以及图像评估子单元3034。
标准获取子单元3031，用于获取评价标准；标准判断子单元3032，用于判断所述评价标准是否为单个关键点；关键点评估子单元3033，用于若所述评价标准是单个关键点，则获取所有关键点的横坐标方差和纵坐标方差的较大值，以得到评估分数；图像评估子单元3034，用于若所述评价标准不是单个关键点，获取所有关键点方差的最大值，以得到评估分数。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述人脸关键点质量评估装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述人脸关键点质量评估装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图14所示的计算机设备上运行。
请参阅图14，图14是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图14，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种人脸关键点质量评估方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种人脸关键点质量评估方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待评估人脸图像；将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数；判断所述评估分数是否不超过预设置的阈值；若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别。
其中，所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的。
在一实施例中，处理器502在实现所述判断所述评估分数是否不超过预设置的阈值步骤之后，还实现如下步骤：
若所述评估分数超过预设置的阈值，则发送所述待评估人脸图像的关键点质量不合格的通知至终端，以显示于终端。
其中，所述待评估人脸图像是指经过人脸检测器检测后的人脸图像。
在一实施例中，处理器502在实现所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的步骤时，具体实现如下步骤：
获取带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集，并将样本集划分为训练集以及测试集；构建卷积神经网络以及损失函数；将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；利用损失函数计算标签与关键点坐标均值以及关键点坐标方差之间的损失值；判断所述损失值是否维持不变；若所述损失值不是维持不变，则调整所述卷积神经网络的参数，并执行所述将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；若所述损失值维持不变，则将测试集输入至卷积神经网络内进行卷积测试，以得到测试结果；判断所述测试结果是否符合条件；若所述测试结果符合条件，则将所述卷积神经网络作为质量评估模型；若所述测试结果不符合条件，则执行所述调整所述卷积神经网络的参数。
其中，所述卷积神经网络包括五个卷积层，且卷积神经网络的头部为两个输出节点个数为10的全连接层。
所述损失函数为一计算卷积神经网络预测的关键点分布和关键点真实分布的相对熵的函数。
在一实施例中，处理器502在实现所述根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数步骤时，具体实现如下步骤：
获取评价标准；判断所述评价标准是否为单个关键点；若所述评价标准是单个关键点，则获取所有关键点的横坐标方差和纵坐标方差的较大值，以得到评估分数；若所述评价标准不是单个关键点，获取所有关键点方差的最大值，以得到评估分数。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待评估人脸图像；将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数；判断所述评估分数是否不超过预设置的阈值；若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别。
其中，所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述判断所述评估分数是否不超过预设置的阈值步骤之后，还实现如下步骤：
若所述评估分数超过预设置的阈值，则发送所述待评估人脸图像的关键点质量不合格的通知至终端，以显示于终端。
其中，所述待评估人脸图像是指经过人脸检测器检测后的人脸图像。
在一实施例中，所述处理器在执行所述计算机程序而实现所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的步骤时，具体实现如下步骤：
获取带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集，并将样本集划分为训练集以及测试集；构建卷积神经网络以及损失函数；将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；利用损失函数计算标签与关键点坐标均值以及关键点坐标方差之间的损失值；判断所述损失值是否维持不变；若所述损失值不是维持不变，则调整所述卷积神经网络的参数，并执行所述将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；若所述损失值维持不变，则将测试集输入至卷积神经网络内进行卷积测试，以得到测试结果；判断所述测试结果是否符合条件；若所述测试结果符合条件，则将所述卷积神经网络作为质量评估模型；若所述测试结果不符合条件，则执行所述调整所述卷积神经网络的参数。
其中，所述卷积神经网络包括五个卷积层，且卷积神经网络的头部为两个输出节点个数为10的全连接层。
所述损失函数为一计算卷积神经网络预测的关键点分布和关键点真实分布的相对熵的函数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数步骤时，具体实现如下步骤：
获取评价标准；判断所述评价标准是否为单个关键点；若所述评价标准是单个关键点，则获取所有关键点的横坐标方差和纵坐标方差的较大值，以得到评估分数；若所述评价标准不是单个关键点，获取所有关键点方差的最大值，以得到评估分数。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.人脸关键点质量评估方法，其特征在于，包括：
获取待评估人脸图像；
将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；
根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数；
判断所述评估分数是否不超过预设置的阈值；
若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别；
其中，所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的。
2.根据权利要求1所述的人脸关键点质量评估方法，其特征在于，所述判断所述评估分数是否不超过预设置的阈值之后，还包括：
若所述评估分数超过预设置的阈值，则发送所述待评估人脸图像的关键点质量不合格的通知至终端，以显示于终端。
3.根据权利要求1所述的人脸关键点质量评估方法，其特征在于，所述待评估人脸图像是指经过人脸检测器检测后的人脸图像。
4.根据权利要求1所述的人脸关键点质量评估方法，其特征在于，所述质量评估模型是通过带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集训练卷积神经网络所得的，包括：
获取带有人脸关键点坐标与人脸图像边长的比值标签的人脸图像作为样本集，并将样本集划分为训练集以及测试集；
构建卷积神经网络以及损失函数；
将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；
利用损失函数计算标签与关键点坐标均值以及关键点坐标方差之间的损失值；
判断所述损失值是否维持不变；
若所述损失值不是维持不变，则调整所述卷积神经网络的参数，并执行所述将训练集输入至卷积神经网络中进行卷积训练，以得到关键点坐标均值以及关键点坐标方差；
若所述损失值维持不变，则将测试集输入至卷积神经网络内进行卷积测试，以得到测试结果；
判断所述测试结果是否符合条件；
若所述测试结果符合条件，则将所述卷积神经网络作为质量评估模型；
若所述测试结果不符合条件，则执行所述调整所述卷积神经网络的参数。
5.根据权利要求4所述的人脸关键点质量评估方法，其特征在于，所述卷积神经网络包括五个卷积层，且卷积神经网络的头部为两个输出节点个数为10的全连接层。
6.根据权利要求4所述的人脸关键点质量评估方法，其特征在于，所述损失函数为一计算卷积神经网络预测的关键点分布和关键点真实分布的相对熵的函数。
7.根据权利要求1至6任一项所述的人脸关键点质量评估方法，其特征在于，所述根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数，包括：
获取评价标准；
判断所述评价标准是否为单个关键点；
若所述评价标准是单个关键点，则获取所有关键点的横坐标方差和纵坐标方差的较大值，以得到评估分数；
若所述评价标准不是单个关键点，获取所有关键点方差的最大值，以得到评估分数。
8.人脸关键点质量评估装置，其特征在于，包括：
图像获取单元，用于获取待评估人脸图像；
评估单元，用于将待评估人脸图像输入质量评估模型内进行关键点质量评估，以得到评估结果；
分数形成单元，用于根据评估结果计算所述待评估人脸图像的关键点质量得分，以得到评估分数；
判断单元，用于判断所述评估分数是否不超过预设置的阈值；
图像发送单元，用于若所述评估分数不超过预设置的阈值，则将所述待评估人脸图像发送至终端，以进行人脸识别。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
CN201911113841.2A 2019-11-14 2019-11-14 人脸关键点质量评估方法、装置、计算机设备及存储介质 Active CN110879981B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113841.2A CN110879981B (zh) 2019-11-14 2019-11-14 人脸关键点质量评估方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911113841.2A CN110879981B (zh) 2019-11-14 2019-11-14 人脸关键点质量评估方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN110879981A true CN110879981A (zh) 2020-03-13
CN110879981B CN110879981B (zh) 2023-07-28

Family

ID=69729672

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911113841.2A Active CN110879981B (zh) 2019-11-14 2019-11-14 人脸关键点质量评估方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN110879981B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069887A (zh) * 2020-07-31 2020-12-11 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112102314A (zh) * 2020-11-02 2020-12-18 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112270269A (zh) * 2020-10-30 2021-01-26 湖南快乐阳光互动娱乐传媒有限公司 一种人脸图像质量的评估方法及装置
CN112329598A (zh) * 2020-11-02 2021-02-05 杭州格像科技有限公司 人脸关键点定位的方法、系统、电子装置和存储介质
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN113435400A (zh) * 2021-07-14 2021-09-24 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质
CN113792682A (zh) * 2021-09-17 2021-12-14 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
US11625665B1 (en) * 2022-03-29 2023-04-11 Todd Martin Contactless authorized event entry and item delivery system and method
CN112329598B (zh) * 2020-11-02 2024-05-31 杭州格像科技有限公司 人脸关键点定位的方法、系统、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590807A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN110309706A (zh) * 2019-05-06 2019-10-08 深圳市华付信息技术有限公司 人脸关键点检测方法、装置、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107590807A (zh) * 2017-09-29 2018-01-16 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN108171256A (zh) * 2017-11-27 2018-06-15 深圳市深网视界科技有限公司 人脸图像质评模型构建、筛选、识别方法及设备和介质
CN108269250A (zh) * 2017-12-27 2018-07-10 武汉烽火众智数字技术有限责任公司 基于卷积神经网络评估人脸图像质量的方法和装置
CN110309706A (zh) * 2019-05-06 2019-10-08 深圳市华付信息技术有限公司 人脸关键点检测方法、装置、计算机设备及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069887B (zh) * 2020-07-31 2023-12-29 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112069887A (zh) * 2020-07-31 2020-12-11 深圳市优必选科技股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112270269A (zh) * 2020-10-30 2021-01-26 湖南快乐阳光互动娱乐传媒有限公司 一种人脸图像质量的评估方法及装置
CN112102314A (zh) * 2020-11-02 2020-12-18 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112329598A (zh) * 2020-11-02 2021-02-05 杭州格像科技有限公司 人脸关键点定位的方法、系统、电子装置和存储介质
CN112102314B (zh) * 2020-11-02 2021-03-09 成都考拉悠然科技有限公司 基于不确定性来判断人脸图片质量的计算方法
CN112329598B (zh) * 2020-11-02 2024-05-31 杭州格像科技有限公司 人脸关键点定位的方法、系统、电子装置和存储介质
CN112418098A (zh) * 2020-11-24 2021-02-26 深圳云天励飞技术股份有限公司 视频结构化模型的训练方法及相关设备
CN113435400A (zh) * 2021-07-14 2021-09-24 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质
CN113435400B (zh) * 2021-07-14 2022-08-30 世邦通信股份有限公司 无屏人脸识别校准方法、装置、无屏人脸识别设备及介质
WO2023040156A1 (zh) * 2021-09-17 2023-03-23 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN113792682B (zh) * 2021-09-17 2024-05-10 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
CN113792682A (zh) * 2021-09-17 2021-12-14 平安科技（深圳）有限公司 基于人脸图像的人脸质量评估方法、装置、设备及介质
US11625665B1 (en) * 2022-03-29 2023-04-11 Todd Martin Contactless authorized event entry and item delivery system and method
US11755986B1 (en) 2022-03-29 2023-09-12 Todd Martin Combined flow-thru facial recognition for mass spectator event entry and item fulfillment system and method

Also Published As

Publication number Publication date
CN110879981B (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN110879981A (zh) 人脸关键点质量评估方法、装置、计算机设备及存储介质
KR102236046B1 (ko) 얼굴 검출 훈련 방법, 장치 및 전자 장치
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN106875422B (zh) 人脸跟踪方法和装置
CN110610242A (zh) 一种联邦学习中参与者权重的设置方法及装置
CN110956255A (zh) 难样本挖掘方法、装置、电子设备及计算机可读存储介质
WO2018006631A1 (zh) 一种用户等级自动划分方法及系统
US11783471B2 (en) Method and device for determining whether object includes defect
CN108550163A (zh) 一种复杂背景场景中运动目标检测方法
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
CN112508126B (zh) 深度学习模型训练方法、装置、电子设备及可读存储介质
CN111860568B (zh) 数据样本的均衡分布方法、装置及存储介质
CN113706472A (zh) 公路路面病害检测方法、装置、设备及存储介质
CN113989519B (zh) 一种长尾目标检测方法及系统
CN109002758B (zh) 人脸特征点定位方法、装置、设备及存储介质
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
CN110889817B (zh) 图像融合质量评价方法及装置
CN112233161A (zh) 手部图像深度确定方法、装置、电子设备及存储介质
CN115690100B (zh) 半监督信号点检测模型训练方法、信号点检测方法和装置
CN110688875B (zh) 人脸质量评估网络训练方法、人脸质量评估方法及装置
TWI667054B (zh) 飛行器飛行控制方法、裝置、飛行器及系統
CN111368792B (zh) 特征点标注模型训练方法、装置、电子设备及存储介质
CN114565961A (zh) 一种面部检测模型训练方法、装置、电子设备及存储介质
WO2018035768A1 (zh) 一种候选框尺度的获取方法及装置
CN112363859A (zh) 异常判定阈值的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: Shenzhen Huafu Technology Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: SHENZHEN HUAFU INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant