CN111723700A - 一种人脸识别方法、装置及电子设备 - Google Patents
一种人脸识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111723700A CN111723700A CN202010514524.8A CN202010514524A CN111723700A CN 111723700 A CN111723700 A CN 111723700A CN 202010514524 A CN202010514524 A CN 202010514524A CN 111723700 A CN111723700 A CN 111723700A
- Authority
- CN
- China
- Prior art keywords
- recognized
- face image
- face
- acupoint
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明实施例提供了一种人脸识别方法、装置及电子设备,获取待识别人脸图像;所述待识别人脸图像为遮挡条件下的人脸图像;对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征;基于所述形状特征,确定所述待识别人脸图像的遮挡率;当所述遮挡率大于预设遮挡率阈值时,获取与所述待识别人脸图像对应的待识别红外人脸图像;基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征;基于所述形状特征和穴位间距特征,采用预先训练完成的分类器模型进行类别划分,得到人脸识别结果。本发明实施例中的穴位间距特征,为从图像中提取到的真实特征,提高了人脸识别的准确度。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种人脸识别方法、装置及电子设备。
背景技术
人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术,用摄像机采集含有人脸的图像,并自动在图像中检测人脸,进而对检测到的人脸进行脸部识别。在某些识别场景下,获取到的待识别图像中,人脸的部分信息可能会被遮挡,例如,在户外恶劣环境下的运维作业场景中,人脸可能会被帽子、口罩等遮挡,即:获取到的待识别图像为遮挡条件下的图像。
通常,对遮挡条件下的图像进行人脸识别的方法为:对图像进行预设人脸部位的形状特征提取操作,例如,眼睛、鼻子和嘴巴的形状特征提取操作。当因图像遮挡原因,导致某个预设部位的形状特征提取操作失败,也就是,未能提取到该预设部位的形状特征向量时,则按照预设预测算法,得到该预设部位的形状特征向量预测值,之后,再基于实际提取到的形状特征向量以及上述形状特征向量预测值,进行类别划分,得到人脸识别结果。
上述方法中,当存在预设部位特征信息缺失情况时,需要基于形状特征信息预测值,进行人脸识别,因此,人脸识别的准确度较低。
发明内容
本发明实施例的目的在于提供一种人脸识别方法、装置及电子设备,以提高人脸识别的准确度。具体技术方案如下:
第一方面,本发明实施例提供了一种人脸识别方法,包括:
获取待识别人脸图像;所述待识别人脸图像为遮挡条件下的人脸图像;
对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征;
基于所述形状特征,确定所述待识别人脸图像的遮挡率,所述遮挡率表征所述待识别人脸图像中脸部形状信息被遮挡的程度;
当所述遮挡率大于预设遮挡率阈值时,获取与所述待识别人脸图像对应的待识别红外人脸图像;
基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征;
基于所述形状特征和穴位间距特征,采用预先建立的分类器进行类别划分,得到人脸识别结果。
进一步的,所述对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征,包括:
对所述待识别人脸图像进行人脸检测,得到人脸区域;
对所述人脸区域进行特征点检测,得到所述人脸区域中的特征点信息;
基于所述特征点信息,进行特征提取,得到所述待识别人脸图像的形状特征向量组;
所述基于所述形状特征,确定所述待识别人脸图像的遮挡率,包括:
根据所述形状特征向量组中包含的形状特征向量的个数与标准个数,计算所述待识别人脸图像的遮挡率;所述标准个数为对无遮挡条件下的人脸图像进行形状特征提取所得到的形状特征向量组中包含的形状特征向量个数。
进一步的,所述基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征,包括:
基于所述特征点信息,进行预设辅助穴位检测,得到所述预设辅助穴位位置信息;
将所述预设辅助穴位位置信息输入预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的目标穴位位置信息;
基于所述目标穴位位置信息,得到所述待识别红外人脸图像的穴位间距特征。
进一步的,所述穴位特征提取模型为反向传播BP神经网络模型;所述BP神经网络模型的训练过程,包括:
构建初始BP神经网络模型;
获取训练样本和样本真值;所述训练样本为红外人脸图像样本中所述预设辅助穴位的位置信息;所述样本真值为所述红外人脸图像样本中所述目标穴位的实际位置信息;
将所述训练样本输入所述初始BP神经网络模型,得到所述红外人脸图像样本中所述目标穴位的预测位置信息;
计算所述目标穴位的预测位置信息和所述样本真值之间的误差值;当所述误差值小于预设误差阈值时,结束训练,得到训练完成的神经网络模型;当所述误差值大于或者等于所述预设误差阈值时,调整所述初始BP神经网络模型中的网络参数,继续下一次训练。
进一步的,所述分类器为非线性支持向量机SVM分类器;所述非线性VM分类器中的核函数为Sigmoid函数。
进一步的,所述方法还包括:
当所述遮挡率小于或于预设遮挡率阈值时,基于所述形状特征,采用所述分类器模型进行类别划分,得到人脸识别结果。
第二方面,本发明实施例提供了一种人脸识别装置,包括:
待识别人图像脸获取模块,用于获取待识别人图像脸;所述待识别人脸图像为遮挡条件下的人脸图像;
形状特征提取模块,用于对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征;
遮挡率确定模块,用于基于所述形状特征,确定所述待识别人脸图像的遮挡率,所述遮挡率表征所述待识别人脸图像中脸部形状信息被遮挡的程度;
待识别红外人脸图像获取模块,用于当所述遮挡率大于预设遮挡率阈值时,获取与所述待识别人脸图像对应的待识别红外人脸图像;
穴位间距特征提取模块,用于基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征;
第一人脸识别结果得到模块,用于基于所述形状特征和穴位间距特征,采用预先建立的分类器进行类别划分,得到人脸识别结果。
进一步的,所述形状特征提取模块,具体用于:
对所述待识别人脸图像进行人脸检测,得到人脸区域;
对所述人脸区域进行特征点检测,得到所述人脸区域中的特征点信息;
基于所述特征点信息,进行特征提取,得到所述待识别人脸图像的形状特征向量组;
所述遮挡率确定模块,具体用于:根据所述形状特征向量组中包含的形状特征向量的个数与标准个数,计算所述待识别人脸图像的遮挡率;所述标准个数为对无遮挡条件下的人脸图像进行形状特征提取所得到的形状特征向量组中包含的形状特征向量个数。
进一步的,所述穴位间距特征提取模块,具体用于:
基于所述特征点信息,进行预设辅助穴位检测,得到所述预设辅助穴位位置信息;
将所述预设辅助穴位位置信息输入预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的目标穴位位置信息;
基于所述目标穴位位置信息,得到所述待识别红外人脸图像的穴位间距特征。
进一步的,所述穴位特征提取模型为反向传播BP神经网络模型;
所述装置,还包括:BP神经网络模型训练模块
所述BP神经网络模型训练模块,用于:
构建初始BP神经网络模型;
获取训练样本和样本真值;所述训练样本为红外人脸图像样本中所述预设辅助穴位的位置信息;所述样本真值为所述红外人脸图像样本中所述目标穴位的实际位置信息;
将所述训练样本输入所述初始BP神经网络模型,得到所述红外人脸图像样本中所述目标穴位的预测位置信息;
计算所述目标穴位的预测位置信息和所述样本真值之间的误差值;当所述误差值小于预设误差阈值时,结束训练,得到训练完成的神经网络模型;当所述误差值大于或者等于所述预设误差阈值时,调整所述初始BP神经网络模型中的网络参数,继续下一次训练。
进一步的,所述分类器为非线性支持向量机SVM分类器;所述非线性VM分类器中的核函数为Sigmoid函数。
进一步的,所述装置,还包括:
第二人脸识别结果得到模块,用于:当所述遮挡率小于或等于预设遮挡率阈值时,基于所述形状特征,采用所述分类器模型进行类别划分,得到人脸识别结果。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一人脸识别方法的步骤。
第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述任一所述的人脸识别方法。
第五方面,本发明实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的人脸识别方法。
本发明实施例有益效果:
本发明实施例提供的人脸识别方法、装置及电子设备,获取待识别人脸图像;所述待识别人脸图像为遮挡条件下的人脸图像;对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征;基于所述形状特征,确定所述待识别人脸图像的遮挡率,所述遮挡率表征所述待识别人脸图像中脸部形状信息被遮挡的程度;当所述遮挡率大于预设遮挡率阈值时,获取与所述待识别人脸图像对应的待识别红外人脸图像;基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征;基于所述形状特征和穴位间距特征,采用预先训练完成的分类器模型进行类别划分,得到人脸识别结果。
本发明实施例中,当待识别人脸图像中脸部形状信息被遮挡的程度较高时,则在获取形状特征的前提下,还获得穴位间距特征,基于形状特征和穴位间距特征得到人脸识别结果。本发明实施例中的穴位间距特征,为从图像中提取到的真实特征,因此,与基于形状特征信息预测值的人脸识别方法相比,本发明实施例基于真实特征得到的人脸识别结果更加准确,即:提高了人脸识别的准确度。
当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的人脸识别方法的一种流程示意图;
图2为本发明实施例提供的人脸识别方法的另一种流程示意图;
图3为图2所示实施例中穴位特征提取模型的训练流程示意图;
图4人脸识别准确人数和人脸识别正确率;
图5为本发明实施例提供的人脸识别装置的结构示意图;
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高人脸识别的准确度,本发明实施例提供了一种人脸识别方法、装置及电子设备。
参见图1,图1为本发明实施例提供的人脸识别方法的一种流程示意图,具体包括如下步骤:
步骤101,获取待识别人脸图像;待识别人脸图像为遮挡条件下的人脸图像。
步骤102,对待识别人脸图像进行形状特征提取,得到待识别人脸图像的形状特征。
步骤103,基于形状特征,确定待识别人脸图像的遮挡率,遮挡率表征待识别人脸图像中脸部形状信息被遮挡的程度。
步骤104,当遮挡率大于预设遮挡率阈值时,获取与待识别人脸图像对应的待识别红外人脸图像。
步骤105,基于预先训练完成的穴位特征提取模型,得到待识别红外人脸图像的穴位间距特征。
步骤106,基于形状特征和穴位间距特征,采用预先建立的分类器进行类别划分,得到人脸识别结果。
由上述的实施例可见,在本发明实施例中,当待识别人脸图像中脸部形状信息被遮挡的程度较高时,则在获取形状特征的前提下,还获得穴位间距特征,基于形状特征和穴位间距特征得到人脸识别结果。本发明实施例中的穴位间距特征,为从图像中提取到的真实特征,因此,与基于形状特征信息预测值的人脸识别方法相比,本发明实施例基于真实特征得到的人脸识别结果更加准确,即:提高了人脸识别的准确度。
参见图2,图2为本发明实施例提供的人脸识别方法的另一种流程示意图,具体包括如下步骤:
步骤201,获取待识别人脸图像;待识别人脸图像为遮挡条件下的人脸图像。
步骤202,对待识别人脸图像进行人脸检测,得到人脸区域。
通常,在获取到待识别人脸图像之后,可以先对待识别人脸图像进行灰度化以及去噪等预处理操作。
常见的灰度化处理方法包括:分量法、最大值法、平均值法和加权平均法。
可以采用中值滤波的方法,消除图像中的孤立噪声。中值滤波是一种典型的非线性平滑滤波方法,基本原理是将图像数字序列中的每个值用其规定邻域内数值的中值代替。中值滤波减小了图像相邻像素点之间的差值,从而到达消除孤立噪音的效果。因此,中值滤波处理离散的噪音效果明显,适用于“椒盐”噪音等离散型噪音。
本发明实施例中,可以采用任意的人脸检测算法对待识别人脸图像进行检测,从而得到人脸区域。例如,可以采用基于Haar特征的级联分类器的人脸检测算法。其中,分类器训练过程为:先对样本图像进行Haar特征提取,之后,采用Adaboost算法筛选出能够表征人脸的人脸特征,再按照人脸特征在人脸区域识别过程中的重要程度,将上述筛选出的人脸特征划分为不同阶段的人脸特征;最后,将不同阶段的人脸特征分类至Cascade分类器不同阶段下的特征组别中,并分阶段判断该人脸特征对应的图像区域是否为人脸区域,再将判断结果与样本真值进行对比,不断调整分类器参数,最终形成最后的人脸检测分类器。
步骤203,对人脸区域进行特征点检测,得到人脸区域中的特征点信息。
步骤204,基于特征点信息,进行特征提取,得到待识别人脸图像的形状特征向量组。
本步骤中,可以先基于特征点信息,进行特征提取,得到初始形状特征向量组,初始形状特征向量组中包含的初始形状特征向量可以为人脸预设部位的形状特征向量,例如:眼睛的特征向量、嘴巴的特征向量或者鼻子的特征向量等;然后再采用主成分分析法,对初始形状特征向量组进行降维处理,从而得到形状特征向量组。进行降维处理,可以在保留主要特征的同时,降低向量维数,便于数据处理,提高人脸识别的效率。
步骤205,根据形状特征向量组中包含的形状特征向量的个数与标准个数,计算待识别人脸图像的遮挡率;标准个数为对无遮挡条件下的人脸图像进行形状特征提取所得到的形状特征向量组中包含的形状特征向量个数。当遮挡率大于预设遮挡率阈值时,执行步骤206;当遮挡率小于或等于预设遮挡率阈值时,执行步骤211。
具体的,标准个数可以通过如下计算方式获取:对多个无遮挡条件下的人脸图像进行形状特征提取,分别得到多个形状特征向量组,然后对各形状特征向量组中包含的形状特征向量个数取平均;也可以为根据经验设定的经验值。
例如:假设标准个数为100,而得到的待识别人脸图像的形状特征向量组中包含的形状特征向量的个数为40,则遮挡率可以通过如下方式计算:(100-40)/100=60%。
本步骤中的预设遮挡率阈值可以为经过实验分析得到的阈值,本发明实施例中,通过仿真实例得到:预设遮挡率阈值可以为40%。当遮挡率大于40%时,与基于形状特征信息预测值的人脸识别方法相比,本发明实施例中,在获取形状特征的前提下,还获得穴位间距特征,并基于形状特征和穴位间距特征得到的人脸识别结果的准确度明显升高。
步骤206,获取与待识别人脸图像对应的待识别红外人脸图像。
本步骤中的待识别红外人脸图像为与步骤201中的待识别人脸图像在同一拍摄状态下获取到的红外人脸图像。具体的,可以在获取201中的待识别人脸图像的同时,在相同拍摄位置获取到待识别红外人脸图像,从而保证获取到的两幅图像中人脸状态的一致性。
步骤207,基于特征点信息,进行预设辅助穴位检测,得到预设辅助穴位位置信息。
人脸部位分布有多个穴位,可以按照各穴位位置与人脸器官位置关联性的大小,将穴位分为两个类别:与人脸器官位置关联性较大的第一类穴位,例如:阳白穴、丝竹空穴、鱼腰穴、攒竹穴、颧髎穴、迎香穴、口禾髎穴、地仓穴等;以及与人脸器官位置关联性较低,位置信息主要取决于上述第一类穴位的第二类穴位,例如:四白穴、人中穴以及承浆穴等。
由于第一类穴位与人脸器官位置关联性较大,因此,在本步骤中,可以根据需要从第一类穴位中选择预设数量个穴位作为预设辅助穴位,基于步骤203中检测到的特征点信息,进行预设预设辅助穴位检测,从而得到预设辅助穴位位置信息。
在检测到特征点信息之后,可以采用传统中医中,确定穴位位置时所使用的“同身寸”方法,得到预设辅助穴位位置信息。具体的,例如:在检测到人脸图像中的特征点信息之后,则可以确定出鼻子最下端位置,以及上嘴唇最下端位置,进而得到鼻子最下端与上嘴唇最下端之间的基准距离,将该基准距离作为确定预设辅助穴位位置信息的基本长度单位,也即:将该基本长度单位作为当前人脸图像中“一寸”的长度。以阳白穴作为预设辅助穴位举例,传统中医中,该穴位位于:瞳孔上方,眉上“一寸”。此时,可以先基于检测到特征点信息,确定瞳孔和眉毛的位置。之后,则可以将瞳孔上方,且位于眉上“一寸”长度(也就是位于眉毛上方,且距离眉毛上述基准距离)的点确定为阳白穴的位置。
步骤208,将预设辅助穴位位置信息输入预先训练完成的穴位特征提取模型,得到待识别红外人脸图像的目标穴位位置信息。
本步骤中的目标穴位可以为上述第二类穴位,其位置信息主要取决于第一类穴位,也就是预设辅助穴位。
预先训练完成的穴位特征提取模型,用于确定待识别红外人脸图像中,预设辅助穴位位置信息与目标穴位位置信息之间的映射关系,即:将设辅助穴位位置信息输入预先训练完成的穴位特征提取模型,则可以获得目标穴位位置信息。对于穴位特征提取模型的具体结构,此处,不作限定。
本发明另一实施例中,在步骤206获取到与待识别人脸图像对应的待识别红外人脸图之后,可以直接基于步骤203中检测到的特征点信息,进行目标穴位检测,得到目标穴位的位置信息,其中,目标穴位为上述第一类穴位。之后,执行步骤209。
步骤209,基于目标穴位位置信息,得到待识别红外人脸图像的穴位间距特征。
例如:目标穴位为四白穴、人中穴以及承浆穴三个穴位,则可以基于上述三个穴位的位置信息,得到三个穴位之间的间距信息,生成穴位间距特征。此处,对于生成穴位间距特征的具体方式不作限定。
步骤210,基于形状特征和穴位间距特征,采用预先建立的分类器进行类别划分,得到人脸识别结果。
步骤211,基于形状特征,采用分类器模型进行类别划分,得到人脸识别结果。
本发明实施例对于步骤210和步骤211中所采用的分类器的类型不作限定。
较优的,由于人脸识别分类并不是简单的线性二分类问题,因此,可以采用非线性支持向量机SVM分类器。同时,以Sigmoid函数为核函数的SVM分类器性能良好,泛化能力强,因此,SVM分类器中,可以采用Sigmoid函数为核函数。
建立SVM分类器最重要的是确定其惩罚参数C和径向基内积核函数参数γ,SVM分类器的建立过程为:
(1)根据实际情况和实验要求,在合理范围内设置参数γ和C的取值范围。
(2)在设置的取值范围内采用交叉验证法,分别选取不同的γ值和C值,组成多个参数组,进而建立多个分类器。针对建立的每个分类器,对样本集中各形状特征样本进行类别划分,得到类别划分的结果;然后基于该分类器得到的各形状特征样本的类别划分的结果以及各形状特征样本的真实类别,计算该分类器对样本集分类的正确率。
(3)选择正确率最高的分类器作为步骤210和步骤211中的分类器。
由图2所示的实施例可见,在本发明实施例中,当待识别人脸图像中脸部形状信息被遮挡的程度较高时,则在获取形状特征的前提下,还获得穴位间距特征,基于形状特征和穴位间距特征得到人脸识别结果。本发明实施例中的穴位间距特征,为从图像中提取到的真实特征,因此,与基于形状特征信息预测值的人脸识别方法相比,本发明实施例基于真实特征得到的人脸识别结果更加准确,即:提高了人脸识别的准确度。
另外,当待识别人脸图像中脸部形状信息被遮挡的程度较低,遮挡率小于或等于预设遮挡率阈值时,无需获取红外图像,也无需进行穴位间距特征提取操作,而是基于提取到的形状特征,得到人脸识别结果。可以在保障准确率的同时,尽可能的提高识别效率。
参见图3,图3为图2所示实施例中穴位特征提取模型的训练流程示意图,在该示意图中,穴位特征提取模型为BP神经网络模型,具体训练流程包括:
步骤301,构建初始BP神经网络模型。
具体的,初始BP神经网络模型可以包括:输入层、隐含层以及输出层。本步骤中,可以确定输入层节点个数、隐含层节点个数、输出层节点个数、各神经元之间的连接权值,误差阈值等。
步骤302,获取训练样本和样本真值;训练样本为红外人脸图像样本中预设辅助穴位的位置信息;样本真值为红外人脸图像样本中目标穴位的实际位置信息。
步骤303,将训练样本输入BP神经网络模型,得到红外人脸图像样本中目标穴位的预测位置信息。
步骤304,计算目标穴位的预测位置信息和样本真值之间的误差值。当误差值小于预设误差阈值时,结束训练,得到训练完成的神经网络模型;当误差值大于或者等于预设误差阈值时,执行步骤305。
在本发明的另一实施例中,可以将算法循环次数作为判断神经网络模型是否训练完成的依据,具体的:当算法循环次数达到预设的算法循环次数阈值时,则结束训练,得到训练完成的神经网络模型;当算法循环次数未达到预设的算法循环次数阈值时,则执行步骤305。
步骤305,调整网络参数,返回执行步骤303。
BP神经网络模型具有很强的非线性映射能力和柔性的网络结构,三层的神经网络就能够以任意精度逼近任何非线性连续函数。因此,本发明实施例中,采用BP神经网络模型作为穴位特征提取模型,进行穴位特征的提取,可以提高特征提取的精确度,进而提高人脸识别的准确率。
下面结合仿真实例,对本发明实施例中,预设遮挡率阈值的确定过程进行解释说明,本次人脸识别的仿真过程是基于MATLAB平台进行的:
本次仿真所使用的人脸样本集中包括:不同年龄、不同性别和不同种族的40个人物对象。并且,按照不同的面部遮挡率(分别为:0%、10%、……、100%),每个人对应有10幅常规人脸图像和10幅红外人脸图像,即:人脸样本集中包括:400幅正常人脸图像和400幅红外人脸图像。
针对BP神经网络模型:
仿真过程中,采用三层BP神经网络模型来进行穴位特征提取,BP神经网络模型的参数设置如下:输入层神经元16个,分别用于输入16个预设辅助穴位的位置信息(均为第一类穴位),具体包括:阳白穴、丝竹空穴、鱼腰穴、攒竹穴、颧髎穴、迎香穴、口禾髎穴、地仓穴,上述穴位均为对称分布,因此,共计16个;输出层神经元4个,分别用于输出4个目标穴位位置信息(均为第二类穴位),具体包括:人中穴、承浆穴以及四白穴,其中,四白穴位为对称分布,因此,共计4个。
针对层BP神经网络模型的隐含层神经元个数,可以根据如下优化公式得到:
其中,m表示输入层神经元个数,n表示输出层神经元个数,c为取值范围在1~10之间的常数,令c=8。因此,隐含层神经元个数为12。
针对SVM分类器:
参见表1,表1为由不同惩罚参数C和径向基内积核函数参数γ建立的分类器的分类正确率分布表。其中,第一列为分类器中惩罚参数C和径向基内积核函数参数γ的取值,第二列为分类器对样本集中各形状特征样本的分类正确率,其中,样本集中的形状特征样本为对样本集中的图像进行形状特征提取之后得到的。
表1由不同C和γ建立的分类器的分类正确率分布表
从表1可以看出:表中SVM核函数模型中的参数惩罚系数C和核函数半径γ选择直接影响着人脸识别率。仿真过程中,采用LibSVM工其包提供的交叉验证功能,得出参数C为128,γ为0.007时人脸识别率,也就是分类正确率高达95%。因此,确定分类器的参数为:C=128,γ=0.007。
仿真结果分析:
针对人脸样本集中的样本,分别采用本发明实施例中,基于上述三层BP神经网络模型,以及SVM分类器,在获取形状特征的前提下,还获得穴位间距特征,基于形状特征和穴位间距特征得到人脸识别结果的人脸识别方法(简称:红外辅助识别方法),以及仅基于形状特征得到人脸识别结果的传统识别方法进行人脸识别,并计算人脸识别的正确率。
参见图4,图4为人脸识别率图表,其中,横坐标表示遮挡率,纵坐标表示人脸识别率。从该图表中可以看出:当遮挡率小于或者等于40%时,无论是红外辅助识别方法,还是传统识别方法,其识别率均较高,在75%以上;当遮挡率大于40%时,红外辅助识别方法的识别率(简称:红外识别率)明显高于传统识别方法的识别率(简称传统识别率),此种情况下,传统识别方法已无法使用。因此,可以将预设遮挡率阈值设定为40%。
当待识别人脸图像遮挡率小于或等于40%时,无需获取红外图像,也无需进行穴位间距特征提取操作,而是采用传统识别方法基于提取到的形状特征,得到人脸识别结果。这样可以在保障识别率的同时,尽可能的提高识别效率。
当待识别人脸图像遮挡率大于40%时,则在获取形状特征的前提下,还获得穴位间距特征,基于形状特征和穴位间距特征得到人脸识别结果,提高了人脸识别的识别率,也就是准确度。
基于同一发明构思,根据本发明上述实施例提供的人脸识别方法,相应地,本发明一个实施例还提供了一种人脸识别装置,其结构示意图如图5所示,包括:
待识别人图像脸获取模块501,用于获取待识别人图像脸;待识别人脸图像为遮挡条件下的人脸图像;
形状特征提取模块502,用于对待识别人脸图像进行形状特征提取,得到待识别人脸图像的形状特征;
遮挡率确定模块503,用于基于形状特征,确定待识别人脸图像的遮挡率,遮挡率表征待识别人脸图像中脸部形状信息被遮挡的程度;
待识别红外人脸图像获取模块504,用于当遮挡率大于预设遮挡率阈值时,获取与待识别人脸图像对应的待识别红外人脸图像;
穴位间距特征提取模块505,用于基于预先训练完成的穴位特征提取模型,得到待识别红外人脸图像的穴位间距特征;
第一人脸识别结果得到模块506,用于基于形状特征和穴位间距特征,采用预先训练完成的分类器模型进行类别划分,得到人脸识别结果。
进一步的,形状特征提取模块502,具体用于:
对待识别人脸图像进行人脸检测,得到人脸区域;
对人脸区域进行特征点检测,得到人脸区域中的特征点信息;
基于特征点信息,进行特征提取,得到待识别人脸图像的形状特征向量组;
遮挡率确定模块503,具体用于:根据形状特征向量组中包含的形状特征向量的个数与标准个数,计算待识别人脸图像的遮挡率;标准个数为对无遮挡条件下的人脸图像进行形状特征提取所得到的形状特征向量组中包含的形状特征向量个数。
进一步的,穴位间距特征提取模块505,具体用于:
基于特征点信息,进行预设辅助穴位检测,得到预设辅助穴位位置信息;
将预设辅助穴位位置信息输入预先训练完成的穴位特征提取模型,得到待识别红外人脸图像的目标穴位位置信息;
基于目标穴位位置信息,得到待识别红外人脸图像的穴位间距特征。
进一步的,穴位特征提取模型为反向传播BP神经网络模型;
装置,还包括:BP神经网络模型训练模块
BP神经网络模型训练模块,用于:
构建初始BP神经网络模型;
获取训练样本和样本真值;训练样本为红外人脸图像样本中预设辅助穴位的位置信息;样本真值为红外人脸图像样本中目标穴位的实际位置信息;
将训练样本输入初始BP神经网络模型,得到红外人脸图像样本中目标穴位的预测位置信息;
计算目标穴位的预测位置信息和样本真值之间的误差值;当误差值小于预设误差阈值时,结束训练,得到训练完成的神经网络模型;当误差值大于或者等于预设误差阈值时,调整初始BP神经网络模型中的网络参数,继续下一次训练。
进一步的,分类器模型为非线性支持向量机SVM分型模型;非线性VM分类器模型中的和函数为Sigmoid函数。
进一步的,装置,还包括:
第二人脸识别结果得到模块,用于:当遮挡率小于或等于预设遮挡率阈值时,基于形状特征,采用分类器模型进行类别划分,得到人脸识别结果。
图6实施例中,当待识别人脸图像中脸部形状信息被遮挡的程度较高时,则在获取形状特征的前提下,还获得穴位间距特征,基于形状特征和穴位间距特征得到人脸识别结果。本发明实施例中的穴位间距特征,为从图像中提取到的真实特征,因此,与基于形状特征信息预测值的人脸识别方法相比,本发明实施例基于真实特征得到的人脸识别结果更加准确,即:提高了人脸识别的准确度。
本发明实施例还提供了一种电子设备,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现如下步骤:
获取待识别人脸图像;待识别人脸图像为遮挡条件下的人脸图像;
对待识别人脸图像进行形状特征提取,得到待识别人脸图像的形状特征;
基于形状特征,确定待识别人脸图像的遮挡率,遮挡率表征待识别人脸图像中脸部形状信息被遮挡的程度;
当遮挡率大于预设遮挡率阈值时,获取与待识别人脸图像对应的待识别红外人脸图像;
基于预先训练完成的穴位特征提取模型,得到待识别红外人脸图像的穴位间距特征;
基于形状特征和穴位间距特征,采用预先训练完成的分类器模型进行类别划分,得到人脸识别结果。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一人脸识别方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一人脸识别方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种人脸识别方法,其特征在于,包括:
获取待识别人脸图像;
对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征;
基于所述形状特征,确定所述待识别人脸图像的遮挡率,所述遮挡率用于表征所述待识别人脸图像中脸部形状信息被遮挡的程度;
当所述遮挡率大于预设遮挡率阈值时,获取与所述待识别人脸图像对应的待识别红外人脸图像;
基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征;
基于所述形状特征和穴位间距特征,采用预先建立的分类器进行类别划分,得到人脸识别结果。
2.根据权利要求1所述的方法,其特征在于,所述对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征,包括:
对所述待识别人脸图像进行人脸检测,得到人脸区域;
对所述人脸区域进行特征点检测,得到所述人脸区域中的特征点信息;
基于所述特征点信息,进行特征提取,得到所述待识别人脸图像的形状特征向量组;
所述基于所述形状特征,确定所述待识别人脸图像的遮挡率,包括:
根据所述形状特征向量组中包含的形状特征向量的个数与标准个数,计算所述待识别人脸图像的遮挡率;所述标准个数为对无遮挡条件下的人脸图像进行形状特征提取所得到的形状特征向量组中包含的形状特征向量个数。
3.根据权利要求2所述的方法,其特征在于,所述基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征,包括:
基于所述特征点信息,进行预设辅助穴位检测,得到所述预设辅助穴位位置信息;
将所述预设辅助穴位位置信息输入预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的目标穴位位置信息;
基于所述目标穴位位置信息,得到所述待识别红外人脸图像的穴位间距特征。
4.根据权利要求3所述的方法,其特征在于,所述穴位特征提取模型为反向传播BP神经网络模型;所述BP神经网络模型的训练过程,包括:
构建初始BP神经网络模型;
获取训练样本和样本真值;所述训练样本为红外人脸图像样本中所述预设辅助穴位的位置信息;所述样本真值为所述红外人脸图像样本中所述目标穴位的实际位置信息;
将所述训练样本输入所述初始BP神经网络模型,得到所述红外人脸图像样本中所述目标穴位的预测位置信息;
计算所述目标穴位的预测位置信息和所述样本真值之间的误差值;当所述误差值小于预设误差阈值时,结束训练,得到训练完成的神经网络模型;当所述误差值大于或者等于所述预设误差阈值时,调整所述初始BP神经网络模型中的网络参数,继续下一次训练。
5.根据权利要求1所述的方法,其特征在于,所述分类器为非线性支持向量机SVM分类器;所述非线性VM分类器中的核函数为Sigmoid函数。
6.根据权利要求1-5任一所述的方法,其特征在于,所述方法还包括:
当所述遮挡率小于或等于预设遮挡率阈值时,基于所述形状特征,采用所述分类器模型进行类别划分,得到人脸识别结果。
7.一种人脸识别装置,其特征在于,包括:
待识别人图像脸获取模块,用于获取待识别人图像脸;
形状特征提取模块,用于对所述待识别人脸图像进行形状特征提取,得到所述待识别人脸图像的形状特征;
遮挡率确定模块,用于基于所述形状特征,确定所述待识别人脸图像的遮挡率,所述遮挡率表征所述待识别人脸图像中脸部形状信息被遮挡的程度;
待识别红外人脸图像获取模块,用于当所述遮挡率大于预设遮挡率阈值时,获取与所述待识别人脸图像对应的待识别红外人脸图像;
穴位间距特征提取模块,用于基于预先训练完成的穴位特征提取模型,得到所述待识别红外人脸图像的穴位间距特征;
第一人脸识别结果得到模块,用于基于所述形状特征和穴位间距特征,采用预先建立的分类器进行类别划分,得到人脸识别结果。
8.根据权利要求7所述的装置,其特征在于,所述形状特征提取模块,具体用于:
对所述待识别人脸图像进行人脸检测,得到人脸区域;
对所述人脸区域进行特征点检测,得到所述人脸区域中的特征点信息;
基于所述特征点信息,进行特征提取,得到所述待识别人脸图像的形状特征向量组;
所述遮挡率确定模块,具体用于:根据所述形状特征向量组中包含的形状特征向量的个数与标准个数,计算所述待识别人脸图像的遮挡率;所述标准个数为对无遮挡条件下的人脸图像进行形状特征提取所得到的形状特征向量组中包含的形状特征向量个数。
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010514524.8A CN111723700B (zh) | 2020-06-08 | 2020-06-08 | 一种人脸识别方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010514524.8A CN111723700B (zh) | 2020-06-08 | 2020-06-08 | 一种人脸识别方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111723700A true CN111723700A (zh) | 2020-09-29 |
CN111723700B CN111723700B (zh) | 2022-11-11 |
Family
ID=72567257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010514524.8A Active CN111723700B (zh) | 2020-06-08 | 2020-06-08 | 一种人脸识别方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111723700B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239761A (zh) * | 2021-04-29 | 2021-08-10 | 广州杰赛科技股份有限公司 | 人脸识别方法、装置以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024145A (zh) * | 2010-12-01 | 2011-04-20 | 五邑大学 | 一种伪装人脸分层识别方法及系统 |
CN105250136A (zh) * | 2015-10-28 | 2016-01-20 | 广东小天才科技有限公司 | 一种智能提醒穴位按摩的方法、装置及设备 |
CN107137225A (zh) * | 2017-06-22 | 2017-09-08 | 山东中医药大学 | 个性化头面部穴位识别模型建立、定位的方法和系统 |
CN208737556U (zh) * | 2018-07-06 | 2019-04-12 | 北京英特瑞科技发展有限公司 | 一种具有遮挡检测功能的人脸识别门禁系统 |
-
2020
- 2020-06-08 CN CN202010514524.8A patent/CN111723700B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024145A (zh) * | 2010-12-01 | 2011-04-20 | 五邑大学 | 一种伪装人脸分层识别方法及系统 |
CN105250136A (zh) * | 2015-10-28 | 2016-01-20 | 广东小天才科技有限公司 | 一种智能提醒穴位按摩的方法、装置及设备 |
CN107137225A (zh) * | 2017-06-22 | 2017-09-08 | 山东中医药大学 | 个性化头面部穴位识别模型建立、定位的方法和系统 |
CN208737556U (zh) * | 2018-07-06 | 2019-04-12 | 北京英特瑞科技发展有限公司 | 一种具有遮挡检测功能的人脸识别门禁系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113239761A (zh) * | 2021-04-29 | 2021-08-10 | 广州杰赛科技股份有限公司 | 人脸识别方法、装置以及存储介质 |
CN113239761B (zh) * | 2021-04-29 | 2023-11-14 | 广州杰赛科技股份有限公司 | 人脸识别方法、装置以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111723700B (zh) | 2022-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110084173B (zh) | 人头检测方法及装置 | |
Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
CN108038476B (zh) | 一种基于边缘检测与sift的人脸表情识别特征提取方法 | |
KR20210100602A (ko) | 안면 이미지 기반의 리스크 인식 방법, 장치, 컴퓨터 디바이스 및 저장 매체 | |
CN109657554A (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
Salve et al. | Iris recognition using SVM and ANN | |
US11281895B2 (en) | Expression recognition method, computer device, and computer-readable storage medium | |
CN110569731A (zh) | 一种人脸识别方法、装置及电子设备 | |
CN112418135A (zh) | 人体行为识别方法、装置、计算机设备及可读存储介质 | |
CN112052746A (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
CN109840413A (zh) | 一种钓鱼网站检测方法及装置 | |
CN111178130A (zh) | 一种基于深度学习的人脸识别方法、系统和可读存储介质 | |
CN114943924B (zh) | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 | |
Sabharwal et al. | Recognition of surgically altered face images: an empirical analysis on recent advances | |
CN111814612A (zh) | 目标的脸部检测方法及其相关装置 | |
CN112183504A (zh) | 一种基于非接触式手掌静脉图像的视频注册方法及装置 | |
CN114677730A (zh) | 活体检测方法、装置、电子设备及存储介质 | |
CN112818774A (zh) | 一种活体检测方法及装置 | |
CN114419378B (zh) | 图像分类的方法、装置、电子设备及介质 | |
CN111860056B (zh) | 基于眨眼的活体检测方法、装置、可读存储介质及设备 | |
Chiu et al. | A micro-control capture images technology for the finger vein recognition based on adaptive image segmentation | |
CN111598144A (zh) | 图像识别模型的训练方法和装置 | |
CN110705341A (zh) | 基于指静脉图像的验证方法、装置、存储介质 | |
CN111723700B (zh) | 一种人脸识别方法、装置及电子设备 | |
CN112861743B (zh) | 一种掌静脉图像防伪方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |