CN112529888B - 基于深度学习的人脸图像评估方法、装置、设备及介质 - Google Patents
基于深度学习的人脸图像评估方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112529888B CN112529888B CN202011509136.7A CN202011509136A CN112529888B CN 112529888 B CN112529888 B CN 112529888B CN 202011509136 A CN202011509136 A CN 202011509136A CN 112529888 B CN112529888 B CN 112529888B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- gradient
- value
- face image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 75
- 238000013135 deep learning Methods 0.000 title claims abstract description 41
- 238000013210 evaluation model Methods 0.000 claims abstract description 106
- 239000013598 vector Substances 0.000 claims abstract description 104
- 238000002372 labelling Methods 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000009467 reduction Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像识别技术领域,揭露一种基于深度学习的人脸图像评估方法、装置、设备及介质,其中方法包括获取用来训练的人脸图像,并获取其图像识别区域;将图像识别区域进行灰度处理,得到灰度图,再计算灰度图的梯度值,得到灰度图对应的梯度值,根据人脸评估模型进行向量提取,将得到的基础向量进行降维处理,得到目标向量,并根据目标向量和标注数据对人脸评估模型的参数进行更新,得到训练好的人脸评估模型;将待评估的人脸图像输入到训练好的人脸评估模型中,输出评估结果。本申请还涉及区块链技术,待评估的人脸图像存储于区块链中。本申请通过训练人脸评估模型,进而输出待评估的人脸图像模糊程度,有利于提高人脸图像的评估精准度。
Description
技术领域
本申请涉及图像识别技术领域,尤其涉及一种基于深度学习的人脸图像评估方法、装置、设备及介质。
背景技术
图像识别是深度学习领域一个重要分支,人脸图像的质量对人脸识别、行人Reid、活体检测甚至OCR检测等都有直接的影响。而图像模糊程度是评估图像质量中一个必不可少因素,因此准确评估无参考情况下图像的模糊程度就成为了问题的关键。
目前在无参考情况下,对图像的模糊程度的评估方法采用的是添加模糊衰减因子(如高斯滤波器)的方式。这种方式是通过采用生成数据的算法,评估出图像的模糊程度;但是,这种方式用于训练的数据难以完全模拟真实场景中复杂的模糊状态,导致对图像的模糊程度的评估不够精准。现亟需一种能够提高对图像模糊程度评估精准度的方法。
发明内容
本申请实施例的目的在于提出一种基于深度学习的人脸图像评估方法、装置、设备及介质,以提高对人脸图像评估的精准度。
为了解决上述技术问题,本申请实施例提供一种基于深度学习的人脸图像评估方法,包括:
获取用于训练的人脸图像,并按照预设数量,将所述人脸图像划分为多个相同大小的区域,作为图像识别区域;
将每个所述图像识别区域进行灰度处理,得到每个所述图像识别区域对应的灰度图;
计算所述灰度图的梯度值,得到灰度图对应的梯度值,并根据所述梯度值,得到标注数据;
根据人脸评估模型,对所述图像识别区域进行向量提取,得到基础向量;
对所述基础向量进行降维处理,得到目标向量,并根据所述目标向量和所述标注数据对所述人脸评估模型的参数进行更新,得到训练好的人脸评估模型;
获取待评估的人脸图像,并将所述待评估的人脸图像输入到所述训练好的人脸评估模型中,输出所述待评估的人脸图像对应的评估结果。
为了解决上述技术问题,本申请实施例提供一种基于深度学习的人脸图像评估装置,包括:
获取用于训练的人脸图像,并按照预设数量,将所述人脸图像划分为多个相同大小的区域,作为图像识别区域;
将每个所述图像识别区域进行灰度处理,得到每个所述图像识别区域对应的灰度图;
计算所述灰度图的梯度值,得到灰度图对应的梯度值,并根据所述梯度值,得到标注数据;
根据人脸评估模型,对所述图像识别区域进行向量提取,得到基础向量;
对所述基础向量进行降维处理,得到目标向量,并根据所述目标向量和所述标注数据对所述人脸评估模型的参数进行更新,得到训练好的人脸评估模型;
获取待评估的人脸图像,并将所述待评估的人脸图像输入到所述训练好的人脸评估模型中,输出所述待评估的人脸图像对应的评估结果。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种计算机设备,包括,一个或多个处理器;存储器,用于存储一个或多个程序,使得一个或多个处理器实现上述任意一项所述的基于深度学习的人脸图像评估方法。
为解决上述技术问题,本发明采用的一个技术方案是:一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的基于深度学习的人脸图像评估方法。
本发明实施例提供了一种基于深度学习的人脸图像评估方法、装置、设备及介质。其中,方法包括:获取用于训练的人脸图像,并按照预设数量,将人脸图像划分为多个相同大小的区域,作为图像识别区域;将每个图像识别区域进行灰度处理,得到每个图像识别区域对应的灰度图;计算灰度图的梯度值,得到灰度图对应的梯度值,并根据梯度值,得到标注数据;根据人脸评估模型,对图像识别区域进行向量提取,得到基础向量;对基础向量进行降维处理,得到目标向量,并根据目标向量和标注数据对人脸评估模型的参数进行更新,得到训练好的人脸评估模型;获取待评估的人脸图像,并将待评估的人脸图像输入到训练好的人脸评估模型中,输出待评估的人脸图像对应的评估结果。本发明实施例通过对人脸图像进行划分并计算其梯度值,再进行向量提取和处理,以此来训练人脸评估模型,进而输出待评估的人脸图像模糊程度,有利于提高人脸图像的评估精准度。
附图说明
为了更清楚地说明本申请中的方案,下面将对本申请实施例描述中所需要使用的附图作一个简单介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的基于深度学习的人脸图像评估方法的应用环境示意图;
图2根据本申请实施例提供的基于深度学习的人脸图像评估方法的一实现流程图;
图3是本申请实施例提供的基于深度学习的人脸图像评估方法中子流程的一实现流程图;
图4是本申请实施例提供的基于深度学习的人脸图像评估方法中子流程的又一实现流程图;
图5是本申请实施例提供的基于深度学习的人脸图像评估方法中子流程的又一实现流程图;
图6是本申请实施例提供的基于深度学习的人脸图像评估方法中子流程的又一实现流程图;
图7是本申请实施例提供的基于深度学习的人脸图像评估方法中子流程的又一实现流程图;
图8是本申请实施例提供的基于深度学习的人脸图像评估方法中子流程的又一实现流程图;
图9是本申请实施例提供的基于深度学习的人脸图像评估装置示意图;
图10是本申请实施例提供的计算机设备的示意图。
具体实施方式
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同;本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请;本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
下面结合附图和实施方式对本发明进行详细说明。
请参阅图1,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如网页浏览器应用、搜索类应用、即时通信工具等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是,本申请实施例所提供的基于深度学习的人脸图像评估方法一般由服务器执行,相应地,基于深度学习的人脸图像评估装置一般配置于服务器中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
请参阅图2,图2示出了基于深度学习的人脸图像评估方法的一种具体实施方式。
需注意的是,若有实质上相同的结果,本发明的方法并不以图2所示的流程顺序为限,该方法包括如下步骤:
S1:获取用于训练的人脸图像,并按照预设数量,将人脸图像划分为多个相同大小的区域,作为图像识别区域。
具体的,为了能够将人脸图像进行模糊程度的评估,本申请实施例将用于训练的人脸图像进行划分,并且根据需要划分的数量,将人脸图像划分为相同大小,也即按照预设数量,将人脸图像划分为相同大小的区域,并将这些相同大小的区域作为图像识别区域,以便以后续对每个图像识别区域进行评估。
需要说明的是,预设数量根据实际情况进行设定,此处不做限定。在一具体实施例中,预设数量为4个。
S2:将每个图像识别区域进行灰度处理,得到每个图像识别区域对应的灰度图。
具体的,由于光照、背景颜色等因素会对人脸图像的模糊程度的评估产生影响,故为了减少这些因素的影响,提高对人脸图像的模糊程度的评估的准确度,本申请实施例会对图像识别区域进行灰度处理,将彩色的图像转化成灰度图像,进而得到每个图像识别区域对应的灰度图。
S3:计算灰度图的梯度值,得到灰度图对应的梯度值,并根据梯度值,得到标注数据。
具体的,通过计算灰度图的梯度值,能够避免人脸图像局部过于清晰或者过于模糊等因素导致梯度差异相互抵消的情况,并且在图像识别区域选取过程中,避免人脸图像中人物头发差异以及背景过多造成的干扰,使得人脸图像中人物脸部及关键器官(包括眼睛、鼻子嘴巴)更加明显,从而使得人脸图像的模糊程度评估更加精准。
具体的,根据梯度值,生成标注数据。该标注数据指的是用于有监督训练的训练集的分类准确性,主要用于统计模型中验证或推翻某种研究假设。在本申请实施例中,标注数据作为后续人脸评估模型训练的监督信息,便于对人脸评估模型的参数的更新。
S4:根据人脸评估模型,对图像识别区域进行向量提取,得到基础向量。
具体的,将图像识别区域输入到人脸评估模型中,通过人脸评估模型对图像识别区域进行深度特征提取,再对深度特征进行向量计算,得到列向量,再将列向量作为基础向量。人脸评估模型是基于深度学习网络进行架构的,该深度学习网络是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对文字、图像等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像等数据。
其中,向量提取是指人脸评估模型基于深度学习网络,对图像识别区域进行深度特征提取,再将提取的深度特征进行向量计算。基础向量是指对图像识别区域进行向量提取后,得到的列向量。
S5:对基础向量进行降维处理,得到目标向量,并根据目标向量和标注数据对人脸评估模型的参数进行更新,得到训练好的人脸评估模型。
具体的,降维处理是指将基础向量的通道数进行减少,已实现减少参数量。在本申请中,对基础向量进行降维处理,以减少基础向量的通道数,以减少参数量,从而得到目标向量,便于后续对人脸评估模型的更新。进一步的,根据目标向量和标注数据对人脸评估模型的参数进行更新,得到训练好的人脸评估模型的详细过程见步骤S51-S54,为避免赘述,此处不再重复。
S6:获取待评估的人脸图像,并将待评估的人脸图像输入到训练好的人脸评估模型中,输出待评估的人脸图像对应的评估结果。
具体的,将待评估的人脸图像输入到训练好的人脸评估模型中,训练好的人脸评估模型会对待评估的人脸图像进行划分识别区域,并对划分的识别区域进行模糊程度的打分,得到每个识别区域的模糊得分值,再将该模糊得分值与预设的模糊阈值进行比较,从而得到评估结果。
本实施例中,获取人脸图像,并按照预设数量,将人脸图像划分为多个相同大小的区域,作为图像识别区域;将图像识别区域进行灰度处理,得到每个图像识别区域对应的灰度图;计算灰度图的梯度值,得到灰度图对应的梯度值,并根据梯度值,得到标注数据;根据人脸评估模型,对图像识别区域进行向量提取,得到基础向量;对基础向量进行降维处理,得到目标向量,并根据目标向量和标注数据对人脸评估模型的参数进行更新,得到训练好的人脸评估模型;获取待评估的人脸图像,并将待评估的人脸图像输入到训练好的人脸评估模型中,输出待评估的人脸图像对应的评估结果。本发明实施例通过对人脸图像进行划分并计算其梯度值,再进行向量提取和处理,以此来训练人脸评估模型,进而输出待评估的人脸图像模糊程度,有利于提高人脸图像的评估精准度。
请参阅图3,图3示出了步骤S4的一种具体实施方式,步骤S4中根据人脸评估模型,对图像识别区域进行向量提取,得到基础向量的具体实现过程,详叙如下:
S41:根据人脸评估模型,提取每个图像识别区域的深度特征。
具体的,由于人脸评估模型是基于深度学习网络进行架构的,也即通过深度学习网络的方式,对图像识别区域进行深度特征提取。该深度特征提取主要提取人脸图像中关键部位的特征,例如人脸图像中的人脸脸部轮廓、眼睛、嘴巴等部位。
S42:通过均值池化的方式,对深度特征进行池化处理,得到深度特征对应的列向量,并将列向量作为基础向量。
具体的,由于深度特征本质上也是一种向量数据,通过均值池化的方式,对图像识别区域对应的深度特征进行池化处理,得到列向量,图像识别区域对应的列向量都对应存储在张量中。其中,均值池化(mean-pooling)是指对局部接受域中的所有值求均值。
在本实施中,根据人脸评估模型,提取每个图像识别区域的深度特征,再通过均值池化的方式,对深度特征进行池化处理,得到深度特征对应的列向量,并将列向量作为基础向量,实现对人脸图像进行向量提取,便于后续对人脸评估模型参数的更新,进而提高人脸图像的模糊程度的评估准确度。
请参阅图4,图4示出了步骤S5的一种具体实施方式,步骤S5中对基础向量进行降维处理,得到目标向量,并根据目标向量和标注数据对人脸评估模型的参数进行更新,得到训练好的人脸评估模型量的具体实现过程,详叙如下:
S51:对基础向量进行降维处理,得到目标向量。
具体的,通过对基础向量进行降维处理,减少基础向量的通道数,以减少后续的参数量,减少计算量,最终得到目标向量。
S52:对目标向量进行sigmoid函数计算,得到计算结果。
具体的,将目标向量进行sigmoid函数计算,将计算结果归一化到0-1之间的分数值,便于后续进行损失函数计算。
其中,sigmoid函数是一个在生物学中常见的S型函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,sigmoid函数常被用作神经网络的激活函数,将变量映射到0,1之间。在本申请实施例中,对目标向量进行sigmoid函数计算,将目标向量映射到0,1之间,便于后续计算损失函数值。
S53:基于标注数据,对计算结果进行损失函数计算,得到图像识别区域对应的损失值。
具体的,本申请的损失函数计算采用的是L1损失函数计算,其中,L1损失函数也被称为最小化绝对误差,就是最小化真实值和预测值之间差值的绝对值的和。进一步的,在损失函数计算过程中,通过标注数据进行监督,以减少损失函数计算过程中的误差。
S54:根据图像识别区域对应的损失值,对人脸评估模型的参数进行更新,得到训练好的人脸评估模型。
具体的,将损失值进行梯度回传,对人脸评估模型的参数进行更新,待人脸评估模型有较好的表现时,也即损失值较小时,停止对参数的更新,得到训练好的人脸评估模型。
本实施例中,通过对基础向量进行降维处理,得到目标向量,对目标向量进行sigmoid函数计算,得到计算结果,基于标注数据,对计算结果进行损失函数计算,得到图像识别区域对应的损失值,根据图像识别区域对应的损失值,对人脸评估模型的参数进行更新,得到训练好的人脸评估模型,实现对人脸评估模型的训练,有利于后续输入待评估的人脸图像的评估结果,进而实现提高人脸图像的模糊程度评估的准确度。
请参阅图5,图5示出了步骤S54的一种具体实施方式,步骤S54中根据图像识别区域对应的损失值,对人脸评估模型的参数进行更新,得到训练好的人脸评估模型的具体实现过程,详叙如下:
S541:将所有的图像识别区域对应的损失值进行相加,得到目标损失值。
具体的,由于人脸图像是经过划分成不同区域的,每个区域都有对应的损失值,将每张人脸图像所有的区域的损失值进行相加,便可以得到整张人脸图像的损失值,也即目标损失值。
S542:按照梯度回传的方式,将目标损失值进行梯度回传,对人脸评估模型的参数进行更新。
具体的,由于在对人脸评估模型的训练过程中,不单单采用一张人脸图像,往往采用的是许多张人脸图像,不同的人脸图像对应的目标损失值有所不同,将这些目标损失值进行梯度回传,逐渐对人脸评估模型进行更新,直至人脸评估模型得到较好的表现。
S543:当目标损失值达到预设值时,停止对人脸评估模型的参数的更新,得到训练好的人脸评估模型。
具体的,当目标损失值达到预设阈值时,说明人脸评估模型已经有了较好的表现,此时可以停止对人脸评估模型的参数的更新,得到训练好的人脸评估模型。
需要说明的是,预设值根据实际情况进行设定,此处不做限定。在一具体实施例中,预设值为0.05。
本实施例中,通过将所有的图像识别区域对应的损失值进行相加,得到目标损失值,按照梯度回传的方式,将目标损失值进行梯度回传,对人脸评估模型的参数进行更新,当目标损失值达到预设值时,停止对人脸评估模型的参数的更新,得到训练好的人脸评估模型,实现将目标损失值对人脸评估模型的参数进行更新,有利于提高人脸图像的模糊程度评估的准确度。
请参阅图6,图6示出了步骤S1的一种具体实施方式,步骤S1中获取用于训练的人脸图像,并按照预设数量,将人脸图像划分为多个相同大小的区域,作为图像识别区域的具体实现过程,详叙如下:
S11:获取用于训练的人脸图像。
具体的,为了对人脸评估模型进行训练,首先会获取用于训练的人脸图像。
S12:将人脸图像向中心缩放预设倍数,得到取样区域。
具体的,人脸图像的边缘更多的是人物背景和人物头发,为了减少这些人脸图像的边缘因素对后续人脸评估图像的参数更新的影响,会对人脸图像向中心缩放预设倍数,得到取样区域。
需要说明的是,预设倍数根据实际情况进行设定,此处不做限定。在一具体实施方式中,预设倍数为0.8倍。
S13:按照预设数量,将取样区域划分为多个相同大小的区域,作为图像识别区域。
具体的,由于上述步骤已经获取到取样区域,只要按照预设数量,将取样区域划分为多个相同大小的区域,即可获取到图像识别区域。
本实施例中,通过获取用于训练的人脸图像,将人脸图像向中心放缩预设倍数,得到取样区域,按照预设数量,将取样区域划分为相同大小的区域,作为图像识别区域,有利于减少其他因素对人脸图像的影响,进而有利于提高人脸图像的模糊程度评估的准确度。
请参阅图7,图7示出了步骤S3的一种具体实施方式,步骤S3中计算灰度图的梯度值,得到灰度图对应的梯度值,并根据梯度值,得到标注数据的具体实现过程,详叙如下:
S31:按照预设的梯度计算方式,计算灰度图的梯度值,得到灰度图对应的梯度值。
具体的,梯度计算方式包括:数值法,解析法,反向传播法。
需要说明的是,预设的梯度计算方式不做限定,在一具体实施例中,采用数值法计算灰度图的梯度值。
S32:设定梯度阈值,将灰度值与梯度阈值进行比较,得到标注数据,其中,若梯度值大于梯度阈值,则标注数据为1,若梯度值小于或等于梯度阈值,则标注数据为0。
具体的,标注数据用作于后续人脸评估模型训练中的监督信息,所以根据梯度阈值,将灰度值进行转化为标注数据。
需要说明的是,梯度阈值的设定根据实际情况进行设定,此处不做限定。
本实施例中,按照预设的梯度计算方式,计算灰度图的梯度值,得到灰度图对应的梯度值,设定梯度阈值,将灰度值与梯度阈值进行比较,得到标注数据,有利于后续对人脸评估模型的训练。
请参阅图8,图8示出了步骤S6的一种具体实施方式,步骤S6中获取待评估的人脸图像,并将待评估的人脸图像输入到训练好的人脸评估模型中,输出待评估的人脸图像对应的评估结果的具体实现过程,详叙如下:
S61:获取待评估的人脸图像,并通过训练好的人脸评估模型中,输出待评估的人脸图像对应图像识别区域的得分值。
具体的,上述步骤已经对人脸评估模型训练完毕,获得了训练好的人脸评估模型,在需要对人脸图像进行评估时,只要将获取待评估的人脸图像输入到训练好的人脸评估模型中,训练好的人脸评估模型对待评估的人脸图像进行区域划分,并对每个区域进行模糊程度的打分,得到每个区域的得分值。
S62:将得分值与预设模糊阈值进行对比,得到待评估的人脸图像对应的评估结果。
具体的,将得分值与预设模糊阈值进行对比,得到待评估的人脸图像的评估结果,例如,评估结果为图像清晰。
需要说明的是,预设模糊阈值的设定根据实际情况进行设定,此处不做限定。预设阈值是指设置多个阈值范围,每个阈值范围对应一种评估结果,例如,不同阈值范围对应评估结果为清晰、较清晰、较模糊以及非常模糊等。
本实施例中,通过获取待评估的人脸图像,并通过训练好的人脸评估模型中,输出待评估的人脸图像对应图像识别区域的得分值,将得分值与预设模糊阈值进行对比,得到待评估的人脸图像对应的评估结果,实现对待评估的人脸图像进行评估,有利于提高人脸图像的模糊程度评估的准确度。
需要强调的是,为进一步保证上述待评估的人脸图像的私密和安全性,上述待评估的人脸图像还可以存储于一区块链的节点中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
请参考图9,作为对上述图2所示方法的实现,本申请提供了一种基于深度学习的人脸图像评估装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图9所示,本实施例的基于深度学习的人脸图像评估装置包括:图像识别区域获取模块71、图像识别区域处理模块72、标注数据获取模块73、基础向量获取模块74、人脸评估模型训练模块75及人脸图像评估模块76,其中:
图像识别区域获取模块71,用于获取用于训练的人脸图像,并按照预设数量,将人脸图像划分为多个相同大小的区域,作为图像识别区域;
图像识别区域处理模块72,用于将每个图像识别区域进行灰度处理,得到每个图像识别区域对应的灰度图;
标注数据获取模块73,用于计算灰度图的梯度值,得到灰度图对应的梯度值,并根据梯度值,得到标注数据;
基础向量获取模块74,用于根据人脸评估模型,对图像识别区域进行向量提取,得到基础向量;
人脸评估模型训练模块75,用于对基础向量进行降维处理,得到目标向量,并根据目标向量和标注数据对人脸评估模型的参数进行更新,得到训练好的人脸评估模型;
人脸图像评估模块76,用于获取待评估的人脸图像,并将待评估的人脸图像输入到训练好的人脸评估模型中,输出待评估的人脸图像对应的评估结果。
进一步的,基础向量获取模块74包括:
深度特征提取单元,用于根据人脸评估模型,提取每个图像识别区域的深度特征;
池化处理单元,用于通过均值池化的方式,对深度特征进行池化处理,得到深度特征对应的列向量,并将列向量作为基础向量。
进一步的,人脸评估模型训练模块75包括:
目标向量获取单元,用于对基础向量进行降维处理,得到目标向量;
计算结果获取单元,用于对目标向量进行sigmoid函数计算,得到计算结果;
损失函数计算单元,用于基于标注数据,对计算结果进行损失函数计算,得到图像识别区域对应的损失值;
参数更新单元,用于根据图像识别区域对应的损失值,对人脸评估模型的参数进行更新,得到训练好的人脸评估模型。
进一步的,参数更新单元包括:
目标损失值获取子单元,用于将所有的图像识别区域对应的损失值进行相加,得到目标损失值;
目标损失值回传子单元,用于按照梯度回传的方式,将目标损失值进行梯度回传,对人脸评估模型的参数进行更新;
参数更新停止子单元,用于当目标损失值达到预设值时,停止对人脸评估模型的参数的更新,得到训练好的人脸评估模型。
进一步的,图像识别区域获取模块71包括:
人脸图像获取单元,用于获取用于训练的人脸图像;
取样区域确认单元,用于将人脸图像向中心缩放预设倍数,得到取样区域;
图像识别区域确定单元,用于按照预设数量,将取样区域划分为多个相同大小的区域,作为图像识别区域。
进一步的,标注数据获取模块73包括:
梯度计算单元,用于按照预设的梯度计算方式,计算灰度图的梯度值,得到灰度图对应的梯度值;
标注数据确定单元,用于设定梯度阈值,将灰度值与梯度阈值进行比较,得到标注数据,其中,若梯度值大于梯度阈值,则标注数据为1,若梯度值小于或等于梯度阈值,则标注数据为0。
进一步的,人脸图像评估模块76包括:
得分值获取单元,用于获取待评估的人脸图像,并通过训练好的人脸评估模型中,输出待评估的人脸图像对应图像识别区域的得分值;
评估结果获取单元,用于将得分值与预设模糊阈值进行对比,得到待评估的人脸图像对应的评估结果。
需要强调的是,为进一步保证上述待评估的人脸图像的私密和安全性,上述待评估的人脸图像还可以存储于一区块链的节点中。
为解决上述技术问题,本申请实施例还提供计算机设备。具体请参阅图10,图10为本实施例计算机设备基本结构框图。
计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是,图中仅示出了具有三种组件存储器81、处理器82、网络接口83的计算机设备8,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。其中,本技术领域技术人员可以理解,这里的计算机设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程门阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器81至少包括一种类型的可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器81可以是计算机设备8的内部存储单元,例如该计算机设备8的硬盘或内存。在另一些实施例中,存储器81也可以是计算机设备8的外部存储设备,例如该计算机设备8上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器81还可以既包括计算机设备8的内部存储单元也包括其外部存储设备。本实施例中,存储器81通常用于存储安装于计算机设备8的操作系统和各类应用软件,例如基于深度学习的人脸图像评估方法的程序代码等。此外,存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器82在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制计算机设备8的总体操作。本实施例中,处理器82用于运行存储器81中存储的程序代码或者处理数据,例如运行上述基于深度学习的人脸图像评估方法的程序代码,以实现基于深度学习的人脸图像评估方法的各种实施例。
网络接口83可包括无线网络接口或有线网络接口,该网络接口83通常用于在计算机设备8与其他电子设备之间建立通信连接。
本申请还提供了另一种实施方式,即提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序可被至少一个处理器执行,以使至少一个处理器执行如上述的一种基于深度学习的人脸图像评估方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例的方法。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
显然,以上所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例,附图中给出了本申请的较佳实施例,但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现,相反地,提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明,对于本领域的技术人员来而言,其依然可以对前述各具体实施方式所记载的技术方案进行修改,或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构,直接或间接运用在其他相关的技术领域,均同理在本申请专利保护范围之内。
Claims (7)
1.一种基于深度学习的人脸图像评估方法,其特征在于,包括:
获取用于训练的人脸图像,并按照预设数量,将所述人脸图像划分为多个相同大小的区域,作为图像识别区域;
将每个所述图像识别区域进行灰度处理,得到每个所述图像识别区域对应的灰度图;
计算所述灰度图的梯度值,得到灰度图对应的梯度值,并根据所述梯度值,得到标注数据;
根据人脸评估模型,对所述图像识别区域进行向量提取,得到基础向量;
对所述基础向量进行降维处理,得到目标向量;
对所述目标向量进行sigmoid函数计算,得到计算结果;
基于所述标注数据,对所述计算结果进行最小化绝对误差的计算,且在计算过程中通过所述标注数据进行监督,得到图像识别区域对应的损失值;
将所有的所述图像识别区域对应的损失值进行相加,得到目标损失值;
按照梯度回传的方式,将所述目标损失值进行梯度回传,对所述人脸评估模型的参数进行更新;
当所述目标损失值达到预设值时,停止对所述人脸评估模型的参数的更新,得到训练好的人脸评估模型;
获取待评估的人脸图像,并将所述待评估的人脸图像输入到所述训练好的人脸评估模型中,输出所述待评估的人脸图像对应的评估结果;
其中,所述计算所述灰度图的梯度值,得到灰度图对应的梯度值,并根据所述梯度值,得到标注数据,包括:
按照预设的梯度计算方式,计算所述灰度图的梯度值,得到所述灰度图对应的梯度值;
设定梯度阈值,将所述梯度值与所述梯度阈值进行比较,得到所述标注数据,其中,若所述梯度值大于所述梯度阈值,则标注数据为1,若所述梯度值小于或等于所述梯度阈值,则标注数据为0。
2.根据权利要求1所述的基于深度学习的人脸图像评估方法,其特征在于,所述根据人脸评估模型,对所述图像识别区域进行向量提取,得到基础向量,包括:
根据所述人脸评估模型,提取每个所述图像识别区域的深度特征;
通过均值池化的方式,对所述深度特征进行池化处理,得到所述深度特征对应的列向量,并将所述列向量作为所述基础向量。
3.根据权利要求1所述的基于深度学习的人脸图像评估方法,其特征在于,所述获取用于训练的人脸图像,并按照预设数量,将所述人脸图像划分为多个相同大小的区域,作为图像识别区域,包括:
获取用于训练的人脸图像;
将所述人脸图像向中心缩放预设倍数,得到取样区域;
按照预设数量,将所述取样区域划分为多个相同大小的区域,作为所述图像识别区域。
4.根据权利要求1至3任一项所述的基于深度学习的人脸图像评估方法,其特征在于,所述获取待评估的人脸图像,并将所述待评估的人脸图像输入到所述训练好的人脸评估模型中,输出所述待评估的人脸图像对应的评估结果,包括:
获取待评估的人脸图像,并通过所述训练好的人脸评估模型中,输出所述待评估的人脸图像对应图像识别区域的得分值;
将所述得分值与预设模糊阈值进行对比,得到所述待评估的人脸图像对应的评估结果。
5.一种基于深度学习的人脸图像评估装置,其特征在于,包括:
图像识别区域获取模块,用于获取用于训练的人脸图像,并按照预设数量,将所述人脸图像划分为多个相同大小的区域,作为图像识别区域;
图像识别区域处理模块,用于将每个所述图像识别区域进行灰度处理,得到每个所述图像识别区域对应的灰度图;
标注数据获取模块,用于计算所述灰度图的梯度值,得到灰度图对应的梯度值,并根据所述梯度值,得到标注数据;
基础向量获取模块,用于根据人脸评估模型,对所述图像识别区域进行向量提取,得到基础向量;
目标向量获取单元,用于对所述基础向量进行降维处理,得到目标向量;
计算结果获取单元,用于对所述目标向量进行sigmoid函数计算,得到计算结果;
损失函数计算单元,用于基于所述标注数据,对所述计算结果进行最小化绝对误差的计算,且在计算过程中通过所述标注数据进行监督,得到图像识别区域对应的损失值;
目标损失值获取子单元,用于将所有的所述图像识别区域对应的损失值进行相加,得到目标损失值;
目标损失值回传子单元,用于按照梯度回传的方式,将所述目标损失值进行梯度回传,对所述人脸评估模型的参数进行更新;
参数更新停止子单元,用于当所述目标损失值达到预设值时,停止对所述人脸评估模型的参数的更新,得到训练好的人脸评估模型;
人脸图像评估模块,用于获取待评估的人脸图像,并将所述待评估的人脸图像输入到所述训练好的人脸评估模型中,输出所述待评估的人脸图像对应的评估结果;
其中,所述标注数据获取模块包括:
梯度计算单元,用于按照预设的梯度计算方式,计算所述灰度图的梯度值,得到所述灰度图对应的梯度值;
标注数据确定单元,用于设定梯度阈值,将所述梯度值与所述梯度阈值进行比较,得到所述标注数据,其中,若所述梯度值大于所述梯度阈值,则标注数据为1,若所述梯度值小于或等于所述梯度阈值,则标注数据为0。
6.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于深度学习的人脸图像评估方法。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的基于深度学习的人脸图像评估方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011509136.7A CN112529888B (zh) | 2020-12-18 | 2020-12-18 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
PCT/CN2021/083750 WO2022126917A1 (zh) | 2020-12-18 | 2021-03-30 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011509136.7A CN112529888B (zh) | 2020-12-18 | 2020-12-18 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112529888A CN112529888A (zh) | 2021-03-19 |
CN112529888B true CN112529888B (zh) | 2024-04-30 |
Family
ID=75001907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011509136.7A Active CN112529888B (zh) | 2020-12-18 | 2020-12-18 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112529888B (zh) |
WO (1) | WO2022126917A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529888B (zh) * | 2020-12-18 | 2024-04-30 | 平安科技(深圳)有限公司 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
CN114283475A (zh) * | 2021-12-24 | 2022-04-05 | 深圳万兴软件有限公司 | 视频人脸分割方法、装置、计算机设备及存储介质 |
CN115100714A (zh) * | 2022-06-27 | 2022-09-23 | 平安银行股份有限公司 | 基于人脸图像的活体检测方法、装置及服务器 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839033A (zh) * | 2012-11-20 | 2014-06-04 | 广东工业大学 | 一种基于模糊规则的人脸识别方法 |
WO2017088432A1 (zh) * | 2015-11-26 | 2017-06-01 | 腾讯科技(深圳)有限公司 | 图像识别方法和装置 |
CN108171254A (zh) * | 2017-11-22 | 2018-06-15 | 北京达佳互联信息技术有限公司 | 图像标签确定方法、装置及终端 |
CN109637664A (zh) * | 2018-11-20 | 2019-04-16 | 平安科技(深圳)有限公司 | 一种bmi评测方法、装置及计算机可读存储介质 |
CN109657612A (zh) * | 2018-12-19 | 2019-04-19 | 苏州纳智天地智能科技有限公司 | 一种基于人脸图像特征的质量排序系统及其使用方法 |
CN110348319A (zh) * | 2019-06-18 | 2019-10-18 | 武汉大学 | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 |
WO2019232862A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105160336B (zh) * | 2015-10-21 | 2018-06-15 | 云南大学 | 基于Sigmoid函数的人脸识别方法 |
CN112529888B (zh) * | 2020-12-18 | 2024-04-30 | 平安科技(深圳)有限公司 | 基于深度学习的人脸图像评估方法、装置、设备及介质 |
-
2020
- 2020-12-18 CN CN202011509136.7A patent/CN112529888B/zh active Active
-
2021
- 2021-03-30 WO PCT/CN2021/083750 patent/WO2022126917A1/zh active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103839033A (zh) * | 2012-11-20 | 2014-06-04 | 广东工业大学 | 一种基于模糊规则的人脸识别方法 |
WO2017088432A1 (zh) * | 2015-11-26 | 2017-06-01 | 腾讯科技(深圳)有限公司 | 图像识别方法和装置 |
CN108171254A (zh) * | 2017-11-22 | 2018-06-15 | 北京达佳互联信息技术有限公司 | 图像标签确定方法、装置及终端 |
WO2019232862A1 (zh) * | 2018-06-06 | 2019-12-12 | 平安科技(深圳)有限公司 | 嘴巴模型训练方法、嘴巴识别方法、装置、设备及介质 |
CN109637664A (zh) * | 2018-11-20 | 2019-04-16 | 平安科技(深圳)有限公司 | 一种bmi评测方法、装置及计算机可读存储介质 |
WO2020103417A1 (zh) * | 2018-11-20 | 2020-05-28 | 平安科技(深圳)有限公司 | 一种bmi评测方法、装置及计算机可读存储介质 |
CN109657612A (zh) * | 2018-12-19 | 2019-04-19 | 苏州纳智天地智能科技有限公司 | 一种基于人脸图像特征的质量排序系统及其使用方法 |
CN110348319A (zh) * | 2019-06-18 | 2019-10-18 | 武汉大学 | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022126917A1 (zh) | 2022-06-23 |
CN112529888A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112529888B (zh) | 基于深度学习的人脸图像评估方法、装置、设备及介质 | |
CN112489677B (zh) | 基于神经网络的语音端点检测方法、装置、设备及介质 | |
US10691928B2 (en) | Method and apparatus for facial recognition | |
CN112863683B (zh) | 基于人工智能的病历质控方法、装置、计算机设备及存储介质 | |
CN109034069B (zh) | 用于生成信息的方法和装置 | |
CN109345553B (zh) | 一种手掌及其关键点检测方法、装置和终端设备 | |
CN111898550B (zh) | 建立表情识别模型方法、装置、计算机设备及存储介质 | |
CN110795714A (zh) | 一种身份验证方法、装置、计算机设备及存储介质 | |
CN112686243A (zh) | 智能识别图片文字的方法、装置、计算机设备及存储介质 | |
CN113793256A (zh) | 基于用户标签的动漫人物生成方法、装置、设备及介质 | |
CN113240071A (zh) | 图神经网络处理方法、装置、计算机设备及存储介质 | |
CN112733645A (zh) | 手写签名校验方法、装置、计算机设备及存储介质 | |
CN112084752A (zh) | 基于自然语言的语句标注方法、装置、设备及存储介质 | |
CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
CN114049646B (zh) | 一种银行卡识别方法、装置、计算机设备及存储介质 | |
CN114861241A (zh) | 基于智能检测的防窥屏方法及其相关设备 | |
CN112507141B (zh) | 调查任务生成方法、装置、计算机设备及存储介质 | |
CN116704528A (zh) | 票据识别核验方法、装置、计算机设备及存储介质 | |
CN116130088A (zh) | 多模态面诊问诊方法、装置及相关设备 | |
CN111582404B (zh) | 内容分类方法、装置及可读存储介质 | |
CN113936286A (zh) | 图像文本识别方法、装置、计算机设备及存储介质 | |
CN113688268B (zh) | 图片信息抽取方法、装置、计算机设备及存储介质 | |
CN113761375B (zh) | 基于神经网络的消息推荐方法、装置、设备及存储介质 | |
CN114333024B (zh) | 基于对抗训练网络进行学生面部表情识别的方法、装置、设备及存储介质 | |
CN115826973A (zh) | 列表页面的生成方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |