CN103902977B - 基于Gabor二值模式的人脸识别方法及装置 - Google Patents
基于Gabor二值模式的人脸识别方法及装置 Download PDFInfo
- Publication number
- CN103902977B CN103902977B CN201410126927.XA CN201410126927A CN103902977B CN 103902977 B CN103902977 B CN 103902977B CN 201410126927 A CN201410126927 A CN 201410126927A CN 103902977 B CN103902977 B CN 103902977B
- Authority
- CN
- China
- Prior art keywords
- yardstick
- image
- lgbp
- pixel
- under
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于Gabor二值模式的人脸识别方法及装置。该装置包括:阈值确定模块,采用费希尔准则获取训练图像集合中所有第一滤波响应图像的鉴别因子,并根据鉴别因子确定各方向的各尺度下的像素点阈值;滤波处理模块,对待处理图像进行珈波滤波,获得预设的每一方向和尺度下的第二滤波响应图像;确定模块,依据与各第二滤波响应图像的像素点阈值,确定该第二滤波响应图像的LGBP二进制图;获取模块,根据LGBP二进制图获取待处理图像的特征向量;识别模块,根据上述特征向量及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像的相似度,并根据相似度阈值得到识别结果。本发明实施例可提高对人脸的鉴别能力。
Description
技术领域
本发明实施例涉及图像处理与模式识别技术,尤其涉及一种基于Gabor二值模式的人脸识别方法及装置。
背景技术
由于人脸识别技术具有直观性与不可复制性,因此,被广泛应用于安检系统、门禁系统、考勤系统、智能机器人系统以及虚拟游戏系统等。其基本概念是从一幅包含人脸的图像或视频中检测出人脸区域;选择并提取人脸区分性较强的特征描述符;然后根据所选特征设计分类器,实现人脸的识别。
现有技术中,采用基于二维多尺度局部珈波二进制模式(Multi-scale BlockLocal Gabor Binary Patterns,简称:MB-LGBP)特征的表情识别及其光照检测的方法对人脸进行识别。该方法利用Gabor小波滤波以及局部二值模式(Local Binary Patterns,简称:LBP)相结合的方法进行人脸表情识别,其关键步骤在于对同一尺度,不同方向下的Gabor滤波响应图像中的对应像素点的像素值求和,从而减少Gabor滤波响应图像的数量,在此基础上进一步提取每一尺度的LBP二值模式,作为最终的特征数据,输入到向量分类器中进行表情分类。其中,求和示例如图1所示,图1为现有技术对某一尺度对应的八个方向下的Gabor滤波响应图像中的三个像素点的像素值求和示例图。
但采用上述识别技术进行人脸的识别,可能造成图像纹理跳变特征的丢失,最终导致鉴别能力低下。
发明内容
本发明实施例提供一种基于Gabor二值模式的人脸识别方法及装置,以提高对人脸的鉴别能力。
第一方面,本发明实施例提供一种基于Gabor二值模式的人脸识别装置,包括:
阈值确定模块,用于对训练图像集合中的在同一方向的同一尺度的所有第一滤波响应图像采用费希尔Fisher准则,获取所述方向的所述尺度下的鉴别因子,并根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各尺度下的像素点阈值;
滤波处理模块,用于根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像;
确定模块,用于对于所述滤波处理模块获得的每一个方向的各个尺度下所述第二滤波响应图像,依据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个所述第二滤波响应图像对应的二进制模式LGBP二进制图;
获取模块,用于获取所述确定模块得到的每一所述LGBP二进制图的特征向量,根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量;
识别模块,用于根据所述获取模块获取的所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取所述待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果。
结合第一方面,在第一方面的第一种可能的实现方式中,将所述训练图像集合中每一个所述第一滤波响应图像作为与该第一滤波响应图像具有相同方向和尺度的样本,将所述训练图像集合中同一目标的训练图像的在同一方向的同一尺度的第一滤波响应图像作为该方向的该尺度的类内样本,所述阈值确定模块获取所述方向的所述尺度下的鉴别因子具体为:
计算所述训练图像集合中每一目标所述方向的所述尺度下类内样本的像素均值,及所述训练图像集合中所有目标在所述方向的所述尺度下的所有样本的像素平均值;
根据所述方向的所述尺度下的所述像素均值和所述方向的所述尺度下的所述像素平均值,确定所述方向的所述尺度下的类内离散矩阵和所述方向的所述尺度下的类间离散矩阵;
根据所述方向的所述尺度下的所述类内离散矩阵和所述方向的所述尺度下的类间离散矩阵,计算所述方向的所述尺度下的鉴别因子。
结合第一方面或第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,所述阈值确定模块根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各个尺度的像素点阈值具体为:
根据如下公式,计算所述第一滤波响应图像所在方向的尺度下的像素点阈值t为:
其中,t为与W同方向的尺度下的第一滤波响应图像的像素点阈值,α为大于1的实数,W为所述第一滤波响应图像所在的方向的尺度下的鉴别因子。
第二方面,本发明实施例提供一种基于珈波Gabor二值模式的人脸识别方法,包括:
根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像;
对于每一个方向的各个尺度下所述第二滤波响应图像,依据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个所述第二滤波响应图像对应的二进制模式LGBP二进制图;所述像素点阈值为:对训练图像集合中的在同一方向的同一尺度的所有第一滤波响应图像采用费希尔Fisher准则,获取所述方向的所述尺度下的鉴别因子,并根据所述方向的尺度下的所述鉴别因子确定的;
获取每一所述LGBP二进制图的特征向量,根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量;
根据所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取所述待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果。
结合第二方面,在第二方面的第一种可能的实现方式中,将所述训练图像集合中每一个所述第一滤波响应图像作为与该第一滤波响应图像具有相同方向和尺度的样本,将所述训练图像集合中同一目标的训练图像的在同一方向的同一尺度下的第一滤波响应图像作为该方向的该尺度的类内样本,所述获取所述方向的所述尺度的鉴别因子,具体为:
计算所述训练图像集合中每一目标所述方向的所述尺度下类内样本的像素均值,及所述训练图像集合中所有目标在所述方向的所述尺度下的所有样本的像素平均值;
根据所述方向的所述尺度下的所述像素均值和所述方向的所述尺度下的所述像素平均值,确定所述方向的所述尺度下的类内离散矩阵和所述方向的所述尺度下的类间离散矩阵;
根据所述方向的所述尺度下的所述类内离散矩阵和所述方向的所述尺度下的类间离散矩阵,计算所述方向的所述尺度下的的鉴别因子。
结合第二方面或第二方面的第一种可能的实现方式,在第二方面的第二种可能的实现方式中,所述根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各个尺度下的像素点阈值具体为:
根据如下公式,计算所述第一滤波响应图像所在方向的尺度下的像素点阈值t为:
其中,t为与W同方向的尺度下的第一滤波响应图像的像素点阈值,α为大于1的实数,W为所述第一滤波响应图像所在的方向的尺度下的鉴别因子。
本发明实施例中,对于一个方向的一个尺度下的像素点阈值是通过在同一方向的同一尺度下的第一滤波响应图像的鉴别因子获取的,则通过使用训练阶段获取的一个方向的一个尺度下的像素点阈值提取待识别图像中的LGBP纹理特征,可以提高LGBP纹理特征的健壮性,进而确保所提取的LGBP纹理特征具有较强的鉴别能力,提高对人脸的鉴别能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术对某一尺度对应的八个方向下的Gabor滤波响应图像中的三个像素点的像素值求和示例图;
图2为本发明基于Gabor二值模式的人脸识别装置实施例一的结构示意图;
图3为本发明基于Gabor二值模式的人脸识别装置实施例二的结构示意图;
图4为本发明基于Gabor二值模式的人脸识别装置实施例二中Gabor滤波前后图像示例图;
图5为本发明基于Gabor二值模式的人脸识别装置实施例二中融合前后示例图;
图6为本发明基于Gabor二值模式的人脸识别方法实施例二中计算LGBP二进制值的示例图;
图7为本发明基于Gabor二值模式的人脸识别装置实施例三的结构示意图;
图8为本发明基于Gabor二值模式的人脸识别方法实施例一的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图2为本发明基于Gabor二值模式的人脸识别装置实施例一的结构示意图。本发明实施例提供一种基于Gabor二值模式的人脸识别装置,该装置可以集成在通信设备中,其中,通信设备可以为手机、个人计算机(Personal Computer,简称:PC)、笔记本电脑或服务器等任意终端设备。如图2所示,本实施例的装置10包括:阈值确定模块11、滤波处理模块12、确定模块13、获取模块14和识别模块15。
其中,阈值确定模块11用于对训练图像集合中的在同一方向的同一尺度的所有第一滤波响应图像采用费希尔(Fisher)准则,获取所述方向的所述尺度下的鉴别因子,并根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各尺度下的像素点阈值;滤波处理模块12用于根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像;确定模块13用于对于滤波处理模块12获得的每一个方向的各个尺度下第二滤波响应图像,依据针对与该第二滤波响应图像具有相同方向和尺度下的像素点阈值(由阈值确定模块11提供),确定与每一个第二滤波响应图像对应的二进制模式(Local Gabor Binary Patterns,简称:LGBP)二进制图;所述与第二滤波响应图像对应的Gabor LGBP二进制图为:与所述第二滤波响应图像具有相同方向和尺度的LGBP二进制图。
获取模块14用于获取确定模块13得到的每一LGBP二进制图的特征向量,根据每一LGBP二进制图的特征向量获取待处理图像的特征向量;识别模块15用于根据获取模块14获取的待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取所述待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果。
其中,每一方向的各尺度的相似度阈值和每一方向的各尺度的像素点阈值均为训练阶段根据训练图像集合获得的。相似度阈值为根据训练图像集合中训练图像的特征向量获得的。
具体地,滤波处理模块12具体用于:对待处理图像使用Gabor滤波的核函数做卷积处理,获得每一个方向的各个尺度下的第二滤波响应图像;其中,核函数中的尺度及方向的取值为根据实际需求设定的。其中,将待处理图像使用核函数做卷积处理具体是指:将待处理图像,使用上述所设定的每一尺度取值和方向取值的Gabor滤波的核函数做卷积处理,从而得到每一个方向的各个尺度下的第二滤波响应图像。例如,当尺度取值为5,方向取值为8是,则遍历五个尺度(0,1,2,3,4)和八个方向(0,1,2,3,4,5,6,7),得到40个核函数,并利用每一核函数分别对待处理图像做卷积,从而得到5个尺度、8个方向的40个第二滤波响应图像。
其中,Gabor滤波的核函数可以为:
其中,z=(x,y)表示空间域像素的位置,即待处理图像中各像素点的坐标值;||·||示求取范数,π以及中,ν的取值指示了Gabor核函数的尺度,μ的取值指示了Gabor核函数的方向,K表示总的方向数,决定了高斯窗口的大小。
在现有的实现有,一般设定5个不同的尺度,即υ∈{0,1,...,4},8个方向,即μ∈{0,1,...,7},共40个Gabor滤波核函数,确定σ=2π,kmax=π/2,
同时参考图2和图3,确定模块13可以包括:阈值获取单元131,用于获取该第二滤波响应图像所在的方向的尺度下的像素点阈值;确定单元132,用于针对每一个所述第二滤波响应图像,根据所述与该第二滤波响应图像所在方向的尺度的像素点阈值,获得该第二滤波响应图像的各像素点对应的LGBP二进制序列,并根据该第二滤波响应图像的各像素点对应的LGBP二进制序列得到该第二滤波响应图像对应的LGBP二进制图。其中,二进制图即用二进制值表征第二滤波响应图像中的像素值。所述第二滤波响应图像对应的二进制模式LGBP二进制图具体为:所述第二滤波响应图像具有相同方向下的相同尺度的LGBP二进制图。
进一步的,确定单元132获得所述第二滤波响应图像中各像素点对应的LGBP二进制序列具体为:根据如下公式获得所述第二滤波响应图像中各所述像素点作为中心像素点时对应邻域中的任一周围像素点的LGBP二进制值:
其中,ub表示所述第二滤波响应图像中任一像素点作为中心像素点c时,该中心像素点c所在邻域中的一个周围像素点b的像素值;ic表示该中心像素点c的像素值,t表示所述第二滤波响应图像所在的方向和尺度下的像素点阈值,S(ub,ic,t)表示中心像素点c所在邻域中的该任一个周围像素点的二进制值;所述像素点对应的二进制序列为该像素点的各周围像素点的二进制值组成的二进制序列
具体地,LGBP是在经过Gabor滤波后得到的滤波响应图像上进一步提取得出的局部二值模式(Local Binary Patterns,简称:LBP),体现了待处理图像经过Gabor滤波后的微观纹理结构。其中,LBP是用一个局部区域的模式来描述纹理,每个像素点由一个与之最匹配的局部邻域的原始纹理形成的码值来标记。
实际场景中,对待处理图像进行人脸识别之前,人脸识别装置还需要对已有的图像集合进行训练,称之为训练阶段。其中,在训练阶段,人脸识别装置根据训练图像集合获得上述每一方向以及各尺度的像素点阈值。
进一步的,本发明实施例中,确定模块13对于每一个方向的各个尺度下第二滤波响应图像,根据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,计算该第二滤波响应图像中每个像素点对应的LGBP二进制值。相比于现有技术中根据各像素点所对应的中心像素点的像素值,确定其对应的LGBP二进制值的方式,由于本发明根据训练图像集合中每一第一滤波响应图像在所有方向的各尺度下的第一滤波响应图像的鉴别因子计算得到的像素点阈值,提取LGBP二进制值,从而能够提取出更具有鉴别能力的LGBP纹理特征。因此,该像素点阈值的设置目的在于提高所提取的LGBP纹理特征的健壮性,从而实现人脸识别装置的高鉴别能力。
获取模块14获取确定模块13得到的每一所述LGBP二进制图的特征向量中,任一个所述LGBP二进制图的特征向量的获取过程包括:采用预设大小的区域块,对其所接收的确定模块13发送的LGBP二进制图进行区域划分;将各所述区域块中每一像素点的邻域二进制序列转换成十进制值,作为该像素点的LGBP编码值;所述像素点的邻域二进制序列由该像素点的各周围像素点的二进制值组成;以所有所述区域块中的最大LGBP编码值作为每一个所述区域块所对应向量的总维度,将所述区域块内LGBP编码值为n-1的LGBP编码值的个数作为该区域块对应向量中第n维的取值;所述区域块对应的向量的各维度的取值组成该区域块对应的LGBP直方图;其中,n为1到最大LGPB编码值之间的任意整数;串联各所述区域块的LGBP直方图,得到所述LGBP二进制图的特征向量。比如,各向量中第1维表示该向量对应的区域块内LGBP编码值为0的个数,第2维表示区域块内LGBP编码值为1的个数,第3维表示区域块内LGBP编码值为2的个数,依次类推到总维度为止;进一步的,所述获取模块13根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量具体为:串联各LGBP二进制图的特征向量,得到所述待处理图像的特征向量。
需要说明的是,在本发明任一实施例中,区域块的形状可以为矩形块或方形块等任意形状;第一滤波响应图像及第二滤波响应图像中的“第一”与“第二”仅为区分训练图像和待识别图像通过Gabor滤波后的响应图像。
另外,值得说明的是,本发明实施例中方向的尺度表示某一方向上的某一尺度,如第一方向的第一尺度(如图4中40个滤波响应图像中最左上角的滤波响应图像,而针对这个滤波响应图像,也可以说成是第一尺度的第一方向。因此,对于表征滤波响应图像、LGBP二进制图、鉴别因子、像素点阈值等,某一方向的某一尺度的表达和某一尺度的某一方向的表达具有相同的意义。主要是方向和尺度的具体取值。比如,第一方向的第二尺度与第二尺度的第一方向,第二方向的第五尺度和第五尺度的第二方向,等具有相同的意义。如果方向或尺度的取值不同,则不同。
识别模块15可以具体用于:采用直方图交叉法,根据获取模块14获取的待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度;并根据相似度阈值,得到识别结果。具体的,确定该相似度大于或等于相似度阈值,并确定待处理图像与用于获取相似度的训练图像为同一目标的图像;或,确定该相似度小于相似度阈值,并确定待处理图像与用于获取相似度的训练图像为不同目标的图像。
本发明实施例通过使用训练阶段获取的像素点阈值(根据训练图像集合中每一第一滤波响应图像在所有方向的各尺度下的第一滤波响应图像的鉴别因子计算得到的像素点阈值)提取待识别图像中的LGBP纹理特征,提高LGBP纹理特征的健壮性,进而确保所提取的LGBP纹理特征具有较强的鉴别能力。
在以下实施例中,结合人脸识别的训练阶段和识别阶段,对本发明实施例提供的人脸识别装置的实际功能和技术效果进行详细说明,以验证待识别图像是否存在于训练图像集合中,即将待识别图像与每一幅训练图像作一一认证,以判定该待识别图像是否包含于上述训练图像集合中。其中,待处理图像可以包括待识别图像和训练图像集合中的图像,训练图像集合中训练图像的个数为任意数值,在这里不对其进行限定,在具体应用时训练图像集合的大小根据实际场景设定。为便于区分,用于训练的训练图像集合,每张训练图像标记有独立的标识符(Identifier,简称:ID)。
图3为本发明基于Gabor二值模式的人脸识别装置实施例二的结构示意图。如图3所示,该实施例在上述实施例的基础上,还可以包括预处理模块21。
一、在训练阶段,对上述训练图像集合中的图像进行处理。具体地:
滤波处理模块12用于对训练图像进行Gabor滤波处理。Gabor滤波过程:确定尺度因子为5(即尺度的取值可以为0,1,2,3和4)与方向因子为8(即方向的取值可以为0,1,2,3,4,5,6,7)的Gabor核函数;分别将训练图像集合中的每一训练图像,与Gabor核函数作卷积,得到每一方向(共8个方向)的各尺度下的(共5个尺度)的第一滤波响应图像,即训练图像集合中的每一训练图像都由40(5*8)张第一滤波响应图像来代替,其中,40指的是5个尺度上每个尺度均有8个方向的图像,共有40张,如图4所示。
阈值确定模块11对训练图像集合中的在同一方向和同一尺度的所有第一滤波响应图像采用Fisher准则,获取所述方向和尺度下的鉴别因子,并根据所有方向的各尺度下的该鉴别因子确定每一方向的各尺度下的像素点阈值。
具体的,将每一个第一滤波响应图像作为与该第一滤波响应图像具有相同方向和尺度的样本。将训练图像集合中同一目标的训练图像的在同一方向和尺度下的第一滤波响应图像作为在该方向和尺度下的类内样本,用jt表示第j目标的第t张训练图像在该方向和尺度下的第一滤波响应图像的各像素点的像素值,其中t=1,……,K,K为每个目标的训练图像总张数。作为一个例子,一个目标有8张训练图像,以5个方向8个尺度为例,而j为第一方向的第一尺度的第一滤波响应图像。计算训练图像集合中每一个目标在该方向和尺度下的类内样本的像素均值mj(即在与类内样本相同的方向和尺度下的像素平均值)及训练图像集合中所有目标在该方向和尺度下的样本的像素平均值M(即在与类内样本相同的方向和尺度下的所有样本的像素平均值),其中j=1,……,N,N为训练图像集合中目标的总数;根据该方向和尺度下的像素均值和该方向和尺度下的像素平均值,确定所述第一滤波图像在所述方向和尺度下的类内离散矩阵和类间离散矩阵;根据所述方向和尺度下的类内离散矩阵和所述方向和尺度下的类间离散矩阵,计算所述方向的尺度下的鉴别因子。
根据xt、mj以及M,计算所有第一滤波响应图像之间的类内离散度矩阵Sw以及类间离散度矩阵Sb,计算公式如下:
根据公式(3)和公式(4)得到Sw和Sb,计算二者的比值Sw/Sb,将该比值作为该方向和尺度下的鉴别因子。所述该方向和尺度下的鉴别因子为:在该方向和尺度下的第一滤波响应图像对应的鉴别因子。
进一步的,阈值确定模块11根据每一方向的各尺度下的鉴别因子确定每一方向的各个尺度的像素点阈值,也就是确定与鉴别因子具有相同方向的相同尺度的像素点阈值。以5个方向8个尺度为例,每一张训练图像共40个第一滤波响应图像。则阈值确定模块可以获取40个鉴别因子,以及40个像素点阈值。其中,鉴别因子和像素点阈值一一对应。
具体的,可以按照某一方向尺度上第一滤波响应图像的鉴别因子与对应方向尺度上该第一滤波响应图像的LGBP二进制值提取的像素点阈值成反比的原则,确定每一个方向尺度上第一滤波响应图像的LGBP二进制提取的像素点阈值。可选地,阈值确定模块11根据每一方向的各尺度下的鉴别因子确定每一方向的各个尺度的像素点阈值具体为:根据如下公式,计算第一滤波响应图像所在方向的尺度下像素点阈值t为:
其中,t为与W同方向的尺度下的第一滤波响应图像的像素点阈值,α为大于1的实数,W为第一滤波响应图像所在的方向的尺度下的鉴别因子。采用公式(5)计算像素点阈值的目的是为保证像素点阈值的准确性。当W>1时,公式(5)可进一步简化为取
从上可以看出,本发明实施例中像素点阈值的确定根据了以类间离散度与类内离散度的比值作为某个方向尺度下的鉴别因子计算;该鉴别因子越大,说明该尺度方向下的样本类间离散度较大且类内离散度较小,更具有鉴别能力;否则鉴别能力较差。从而可以提高识别的准确率。
进一步的,对于滤波处理模块12获得的每一第一滤波响应图像,确定模块13从依据针对与所述该第一滤响应图像具有相同方向和尺度下的预设像素点阈值,确定与每一个所述第一滤波响应图像对应的LGBP二进制图具体包括:对每一第一滤波响应图像,以每个像素点分别作为一个邻域的中心像素点,确定邻域半径为1,周围像素点个数为8,提取该中心像素点的LGBP二进制序例。将第一滤波响应图像中每一像素点作为中心像素点,提取该中心像素点对应的LGBP二进制序列作为LGBP二进制图中该像素点的值。对位于图像边缘的像素点,则采用双线性插值法,补全该邻域。其中,上述邻域半径和周围像素点的个数仅为示例,不以此为限。
为了计算第一滤波响应图像中边缘像素点的LGBP二进制序列,利用插值法扩充第一滤波响应图像。在图6中用虚线框表示扩充的像素点。作为一个例子,以第一滤波响应图像左上角像素点X11作为起始像素点,横向遍历每个像素点(即X11-->…-->X17-->X21-->…-->X27-->…-->X57)。在遍历的过程中,分别计算每个像素点LGBP二进制序列。
在图6中,以计算X11像素点作为例子,描述LGBP二进制值的计算过程。其中,t为该第一滤波响应图像对应的像素点阈值。
以中心像素点的灰度值作为像素点阈值的LGBP二进制值提取方法,对噪音比较敏感。如果该邻域的中心像素点的像素值位于这些邻域像素点的像素值之间,那么将邻域像素点分别与该中心像素点的像素值作比较,就会包含跳变信息,呈现出的LGBP二进制值扩大了该邻域内的纹理信息,因此说该方法对噪音比较敏感。如果对中心像素点的像素值加上一个合适的值再作为阈值,促使在该情况下,使阈值都大于或小于邻域像素点的像素值,那么将邻域像素点与该中心像素点的像素值作比较时,就不存在跳变信息,这样就可以抑制部分像素值非常接近的纹理信息。因此,本发明实施例根据鉴别因子计算像素点阈值来提取训练图像的LGBP二进制值,就是为了保证像素点阈值的合理性,如公式(2)所示。本发明提供的LGBP二进制值提取方法不仅抑制部分灰度值非常接近的纹理信息,提高纹理特征提取的健壮性,更提高了所提取的LGBP二进制值的鉴别能力。
确定模块13进一步可用于针对每一尺度下至少两个方向中的每个方向的所述LGBP二进制图,融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图。以图4为例,针对5个方向8个尺度的第二滤波响应图像,确定模块13先获取与每一个所述第二滤波响应图像对应的二进制模式LGBP二进制图,即获取5个方向中每一个方向的8个尺度的LGBP二进制图,共40个LGBP二进制图。然后,确定模块融合同一尺度下的每个方向(有5个方向)的LGBP二进制图,得到8个融合后的LGBP二进制图,即每个尺度对应一个融合后的LGBP二进制图。
可选地,确定模块13针对每一尺度,融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图具体为:确定模块13以按位相或的方式,融合同一尺度下所有方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图。
具体地,确定模块13融合同一尺度下,所有方向的LGBP二进制图,融合方法如图5所示。参考图5,图中只列举,同一尺度下,各个方向的LGBP二进制图中对应的一个像素点的二进制序列中的对应三位二进制值,其他二进制值依次类推。首先对第一方向与第二方向的LGBP二进制图对应像素点的二进制序列中的每一对相互对应的二进制值进行“或”操作;然后将这个“或”操作的结果与第三方向的LGBP二进制图对应像素点的二进制序列中的对应二进制值再做“或”操作;依次类推,直到将“或”操作的结果与第八方向上的LGBP二进制图对应像素点的二进制序列中的对应二进制值做“或”操作,作为融合后的LGBP二进制图
对所有尺度下的LGBP二进制图做上述处理,得到各尺度的融合后的LGBP二进制度。即训练图像集合中的每一训练图像由确定张数(即尺度的数量,如5))的融合后的LGBP二进制图组成。也就是说:每个尺度分别有一张融合后的LGBP二进制图。对同一尺度在不同方向下的各第一滤波响应图像的LGBP二进制图中的各像素点的二进制序列的第一个二进制值采用“按位相或”作融合的方法,如果某个第一滤波响应图像上出现跳变信息,即存在二进制值为“1”,则通过与该尺度下其他第一滤波响应图像中对应该跳变信息的位置的二进制值“相或”的结果必为“1”,即保留了该位置上的跳变信息。此外,在鉴别因子以及像素点阈值的作用下,提取的LGBP二进制值已经进行了鉴别信息的筛选,得到的是鉴别能力更强的信息。在此基础上进行融合处理,可以实现在保证特征数据的鉴别能力的前提下有效降低人脸识别的计算量。
获取模块14获取确定模块13得到的每一所述LGBP二进制图的特征向量具体为:获取确定模块13得到的每一尺度融合后的LGBP二进制图的特征向量,并将该特征向量发送给阈值确定模块11。
具体地,获取模块14对每个尺度的融合后的LGBP二进制图采用预设大小的区域块进行分块;所述预设大小的区域块的大小可以根据LGBP二进制图实际大小预先设定的,例如可以为4*8;将每一个区域块中每个像素点对应的二进制序列转换成十进制值,并将该十进制值作为该像素点的LGBP编码值;以所有区域块中所有像素点的最大LGBP编码值作为每一个区域块所对应向量的总维度,将区域块内LGBP编码值为n-1的LGBP编码值的个数作为该区域块对应向量中第n维的取值;所述区域块对应的向量的各维度的取值组成该区域块对应的LGBP直方图。其中n为1到最大LGBP编码值之间的任意整数。例如,所有区域块中最大编码值为59,其中一个区域块中有4个编码值3,有10个编码值6,有9个编码值59,而其他值为0,则LGBP直方图为:向量的总长度为59维;串联每一个区域块的LGBP直方图,构成该LGBP二进制图的LGBP直方图。又比如,某一尺度的LGBP二进制图划分为2个区域块,每一区域块对应的LGBP直方图均为则串联这2个区域块的LGBP直方图,构成该LGBP二进制图的LGBP直方图,即在这里,上述例子仅为说明串联的方式,具体的向量维度和向量中各元素的取值不以上述例子为限;另外,串联各LGBP二进制图的特征向量得到所述待处理图像的特征向量中串联方式也可参考上述例子,以便于理解。
进一步地,获取模块14串联各尺度的融合后的LGBP二进制图各自对应的LGBP直方图,构成该训练图像对应LGBP直方图。所述该训练图像对应的LGBP直方图即为对训练图像的特征向量。
阈值确定模块11接收获取模块14发送的各训练图像的特征向量。进一步地,阈值确定模块11可具体用于:按照十字交叉验证准则,任意组合训练图像集合中的训练图像,将训练图像集合中的训练图像分为待训练图像和测试图像;采用直方图交叉法,计算各待训练图像与测试图像的特征向量的相似度;依次以每一相似度作为阈值,统计每组中的准确率及误判率;根据每组中的准确率与误判率,确定相似度阈值。具体的,遍历每组中准确率与误判率,若一组中的准确率与误判率相加再减1后的绝对值最小时,将其对应的相似度阈值作为该组的最优相似度阈值;取各个组最优相似度值的平均值,作为该训练图像集合的相似度阈值。
以下举例说明相似度阈值的训练:根据上述得到的各训练图像的特征向量,按照十字交叉验证准则,将训练图像集合分为十份,选择其中任意一份作为测试图像集合,余下作为待训练图像集合,重复十次,构成十组待训练图像与测试图像的集合,使得十份中的每一份都作过测试图像。如此,每一组都包含待训练图像与测试图像;采用直方图交叉法计算每组中每一对待训练图像与测试图像的特征向量之间的相似度;依次以每一对待训练图像和测试图像的相似度作为待定相似度阈值,根据公式(6)和公式(7)统计所识别出的正实例占所有正实例的比例(true positive rate,简称:TPR)以及错认为正实例的负实例占所有负实例的比例(false positive rate,简称:FPR)值;以FPR-(1-TPR)的绝对值最小为准则,计算出每组最优相似度阈值,最终取十组最优阈值的均值作为识别阶段的相似度阈值,即识别模块15用于识别的相似度阈值。
其中,TP为将同一个人的图像正确的识别出来的次数,FN是将同一个人的图像识别为不同人的次数,FP是将不同人的图像识别为同一个人的图像的次数,TN是将不同人的图像识别为不同人的图像的次数。
二、在识别阶段,对待识别图像进行处理,目的在于计算待识别图像的特征向量,将待识别图像与每一训练图像的特征向量作一一认证,计算两者的相似度,与相似度阈值进行比较以确定该待识别图像与某一训练图像是否属于同一个人。具体地:
与训练阶段相比,在识别阶段,只需利用训练阶段阈值确定模块11获取的所述每一方向的各尺度下的像素点阈值,及相似度阈值;识别模块15基于待处理图像的特征向量和训练图像集合中各训练图像的特征向量,获取待处理图像与训练图像集合中训练图像的相似度,并根据阈值确定模块11得到的相似度阈值,对待处理图像进行识别,获得识别结果。
以下说明识别阶段各模块的用途:
滤波处理模块12用于根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像;
确定模块13用于对于滤波处理模块12获得的每一个方向的各个尺度下所述第二滤波响应图像,依据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个所述第二滤波响应图像对应的LGBP二进制图;
获取模块14用于获取确定模块13得到的每一所述LGBP二进制图的特征向量,根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量;
识别模块15用于根据获取模块14获取的所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果。
进一步的,在识别阶段,确定模块13确定二进制模式LGBP二进制图的方法,以及获取模块获取所述待处理图像的特征向量的方法,与在训练阶段确定模块和获取模块的执行的方法不同。本发明实施例并不针对训练阶段和识别阶段作详细的区分介绍。
识别模块15具体用于:采用直方图交叉法,根据所述获取模块获取的所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度;并根据相似度阈值,得到识别结果。
其中,识别模块15根据相似度阈值,得到识别结果具体为:确定所述相似度大于或等于所述相似度阈值,并确定所述待处理图像与用于获取相似度的训练图像为同一目标的图像;或,确定所述相似度小于所述相似度阈值,并确定所述待处理图像与用于获取相似度的训练图像为不同目标的图像。
还需说明的是,人脸图像的变化包括内在变化和外在变化:内在变化是由于人的身份不同引起的,属于人脸的本质属性;而外在变化是由于外界条件的不同而引起的,包括光照、姿态、表情、年龄等,反映了不同的图像采集条件。理想的人脸描述特征应该只反映人脸的内在变化,而对外在变化不敏感。因此,在上述基础上,进一步地,人脸识别装置20包括预处理模块21,用于对待处理图像进行预处理,并将预处理后的待处理图像发送给滤波处理模块12,其中,预处理包括脸部区域获取、人脸对齐处理及光照预处理。
若预处理为脸部区域获取,则预处理模块24具体用于:在待处理图像中,根据人眼坐标,获取两眼间距离;根据距离,截取待处理图像中的前额、眼睛、鼻子、嘴巴以及下巴所在的区域。
若预处理为人脸对齐处理,则预处理模块21具体用于:计算待处理图像中两眼连线与水平线之间的夹角;根据该夹角,旋转待处理图像,使得待处理图像中两眼连线位于水平位置。
若预处理为光照预处理,则预处理模块21具体用于:采用高斯滤波和/或伽马(Gamma)矫正光照预处理方法,使待处理图像的光照强度变均匀。
本发明实施例中,人脸识别装置通过Fisher准则确定LGBP二进制图提取的像素点阈值,另通过对LGBP二进制图进行“按位相或”的计算进行融合,提高LGBP二进制图的鉴别能力,在降低LGBP二进制图计算量的同时保留各个方向上的LGBP二值模式的跳变信息,从而提高识别率。
需要说明的是,在上述实施例中,预处理模块、滤波处理模块、确定模块、获取模块和阈值确定模块可用于训练阶段,人脸识别装置离线和/或在线获取像素点阈值和相似度阈值;预处理模块、滤波处理模块、确定模块、获取模块和识别模块可用于在识别阶段,人脸识别装置在线获取识别结果。其中,上述各模块可以集成在一个人脸识别装置中,也可用于训练阶段的装置和用于识别阶段的装置分立设置,本发明不对其进行限制。
图7为本发明基于Gabor二值模式的人脸识别装置实施例三的结构示意图。该装置可以集成在通信设备中,其中,通信设备可以为手机、PC、笔记本电脑或服务器等任意终端设备。如图7所示,本实施例的装置70包括:处理器71和存储器72。
其中,处理器71用于对训练图像集合中的在同一方向的同一尺度的所有第一滤波响应图像采用Fisher准则,获取所述方向的所述尺度下的鉴别因子,并根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各尺度下的像素点阈值;存储器72与处理器71连接,用于存储所述每一方向的各尺度下的像素点阈值、各像素点阈值与预设方向的尺度的对应关系,以及相似度阈值;处理器71还可以用于根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像;对于每一个方向的各个尺度下所述第二滤波响应图像,依据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个所述第二滤波响应图像对应的LGBP二进制图;获取每一所述LGBP二进制图的特征向量,根据每一所述LGBP二进制图的特征向量获取待处理图像的特征向量;及,根据所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度,并根据所述相似度阈值,得到识别结果。
此外,本发明实施例的处理器,还用于执行上述阈值确定模块,滤波处理模块,确定模块,获取模块以及识别模块执行的各个步骤,本发明实施例在此不在一一详细。
图8为本发明基于Gabor二值模式的人脸识别方法实施例一的流程图。本发明实施例提供一种基于Gabor二值模式的人脸识别方法,该方法可以由上述人脸识别装置执行,该装置可以集成在通信设备中,其中,通信设备可以为手机、PC、笔记本电脑或服务器等任意终端设备。如图8所示,该基于Gabor二值模式的人脸识别方法包括:
S801、根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像。
S802、对于每一个方向的各个尺度下第二滤波响应图像,依据针对与第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个第二滤波响应图像对应的LGBP二进制图。
其中,该像素点阈值为:所述像素点阈值为:对训练图像集合中的在同一方向的同一尺度的所有第一滤波响应图像采用费希尔Fisher准则,获取所述方向的所述尺度下的鉴别因子,并根据所述方向的尺度下的所述鉴别因子确定的。
S803、获取每一LGBP二进制图的特征向量,根据每一LGBP二进制图的特征向量获取待处理图像的特征向量。
S804、根据待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果。
本发明实施例的方法,可以由图2、图3或图7所示装置执行,其实现原理和技术效果类似,此处不再赘述。
在上述实施例中,将所述训练图像集合中每一个所述第一滤波响应图像作为与该第一滤波响应图像具有相同方向和尺度的样本,将所述训练图像集合中同一目标的训练图像的在同一方向的同一尺度下的第一滤波响应图像作为该方向的该尺度的类内样本,
所述获取所述方向的所述尺度的鉴别因子,具体为:计算所述训练图像集合中每一目标所述方向的所述尺度下类内样本的像素均值,及所述训练图像集合中所有目标在所述方向和所述尺度下的所有样本的像素平均值;根据所述方向的所述尺度下的所述像素均值和所述方向的所述尺度下的所述像素平均值,确定所述方向的所述尺度下的类内离散矩阵和所述方向的所述尺度下的类间离散矩阵;根据所述方向的所述尺度下的所述类内离散矩阵和所述方向的所述尺度下的类间离散矩阵,计算所述方向的所述尺度下的的鉴别因子。
可选地,根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各个尺度下的像素点阈值可以具体为:根据如下公式,计算第一滤波响应图像所在方向的尺度下的像素点阈值t为:
其中,t为与W同方向的尺度下的第一滤波响应图像的像素点阈值,α为大于1的实数,W所述第一滤波响应图像所在的方向的尺度下的鉴别因子。
在上述实施例的基础上,S802可以包括:获取与所述第二滤波响应图像对应的像素点阈值,所述与所述第二滤波响应图像对应的像素点阈值为该第二滤波响应图像所在的方向和尺度下的像素点阈值;针对每一个所述第二滤波响应图像,根据所述与该第二滤波响应图像对应的像素点阈值,获得该第二滤波响应图像的各像素点对应的LGBP二进制序列,并根据该第二滤波响应图像的各像素点对应的LGBP二进制序列得到该第二滤波响应图像对应的LGBP二进制图。
进一步地,所述获得所述第二滤波响应图像中各像素点对应的LGBP二进制序列具体为:根据如下公式获得所述第二滤波响应图像中各所述像素点作为中心像素点时对应邻域中的任一周围像素点的LGBP二进制值:
其中,ub表示所述第二滤波响应图像中任一像素点作为中心像素点c时,该中心像素点c所在邻域中的一个周围像素点b的像素值;ic表示该中心像素点c的像素值,t表示所述第二滤波响应图像所在的方向和尺度下的像素点阈值,S(ub,ic,t)表示中心像素点c所在邻域中的该任一个周围像素点的二进制值;所述像素点对应的二进制序列为该像素点的各周围像素点的二进制值组成的二进制序列
在上述基础上,步骤803中获取每一所述LGBP二进制图的特征向量中,任一个所述LGBP二进制图的特征向量的获取过程包括:
采用预设大小的区域块,对所述LGBP二进制图进行区域划分;将各所述区域块中每一像素点的邻域二进制序列转换成十进制值,作为该像素点的LGBP编码值;所述像素点的邻域二进制序列由该像素点的各周围像素点的二进制值组成;以所有所述区域块中的最大LGBP编码值作为每一个所述区域块所对应向量的总维度,将所述区域块内LGBP编码值为n-1的LGBP编码值的个数作为该区域块对应向量中第n维的取值;所述区域块对应的向量的各维度的取值组成该区域块对应的LGBP直方图;其中,n为1到最大LGPB编码值之间的任意整数;串联各所述区域块的LGBP直方图,得到所述LGBP二进制图的特征向量;所述根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量具体为:串联各LGBP二进制图的特征向量,得到所述待处理图像的特征向量。
可选地,S803之前,该方法还可以包括:针对每一尺度至少两个方向中的每个方向的所述LGBP二进制图,融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图;所述获取每一所述LGBP二进制图的特征向量具体为:获取所述每一尺度融合后的LGBP二进制图的特征向量。
其中,所述融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图具体为:以按位相或的方式,融合同一尺度下所述至少两个方向中每个方向的的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图。
进一步地,S804可以包括:采用直方图交叉法,根据待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度;并根据相似度阈值,得到识别结果。
其中,根据相似度阈值,得到识别结果可以具体为:确定相似度大于或等于相似度阈值,并确定待处理图像与用于获取相似度的训练图像为同一目标的图像;或,确定相似度小于相似度阈值,并确定待处理图像与用于获取相似度的训练图像为不同目标的图像。
在上述实施例中,S804之前,所述方法还可以包括:按照十字交叉验证准则,任意组合所述训练图像集合中的训练图像,将训练图像集合中的训练图像分为待训练图像和测试图像;采用直方图交叉法,计算各待训练图像与测试图像的特征向量的相似度;依次以每一相似度作为阈值,统计准确率及误判率;根据每组中的准确率与误判率,确定相似度阈值。
其中,根据每组中的准确率与误判率,确定相似度阈值,可以包括:遍历每组中所述准确率与误判率,若一组中的准确率与误判率相加再减1后的绝对值最小时,将其对应的相似度阈值作为该组的最优相似度阈值;取各个组的最优相似度阈值的平均值,作为所述训练图像集合的相似度阈值。
在上述实施例中,S801之前,基于Gabor二值模式的人脸识别方法还可以包括:对待处理图像进行预处理,预处理可以包括脸部区域获取、人脸对齐处理及光照预处理。
其中,脸部区域获取可以包括:在待处理图像中,根据人眼坐标,获取两眼间距离;根据距离,截取待处理图像中的前额、眼睛、鼻子、嘴巴以及下巴所在的区域。
人脸对齐处理可以包括:计算待处理图像中两眼连线与水平线之间的夹角;根据夹角,旋转待处理图像,使得待处理图像中两眼连线位于水平位置。
光照预处理可以包括:采用高斯滤波和/或Gamma矫正光照预处理方法,使待处理图像的光照强度变均匀。
本发明实施例通过使用训练阶段获取的像素点阈值提取待识别图像中的LGBP纹理特征,提高LGBP纹理特征的健壮性,进而确保所提取的LGBP纹理特征具有较强的鉴别能力,提高对人脸的鉴别能力。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (24)
1.一种基于珈波Gabor二值模式的人脸识别装置,其特征在于,包括:
阈值确定模块,用于对训练图像集合中的在同一方向的同一尺度的所有第一滤波响应图像采用费希尔Fisher准则,获取所述方向的所述尺度下的鉴别因子,并根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各尺度下的像素点阈值;
滤波处理模块,用于根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像;
确定模块,用于对于所述滤波处理模块获得的每一个方向的各个尺度下所述第二滤波响应图像,依据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个所述第二滤波响应图像对应的二进制模式LGBP二进制图;
获取模块,用于获取所述确定模块得到的每一所述LGBP二进制图的特征向量,根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量;
识别模块,用于根据所述获取模块获取的所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取所述待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果。
2.根据权利要求1所述的装置,其特征在于,将所述训练图像集合中每一个所述第一滤波响应图像作为与该第一滤波响应图像具有相同方向和尺度的样本,将所述训练图像集合中同一目标的训练图像的在同一方向的同一尺度的第一滤波响应图像作为该方向的该尺度的类内样本,所述阈值确定模块获取所述方向的所述尺度下的鉴别因子具体为:
计算所述训练图像集合中每一目标所述方向的所述尺度下类内样本的像素均值,及所述训练图像集合中所有目标在所述方向的所述尺度下的所有样本的像素平均值;
根据所述方向的所述尺度下的所述像素均值和所述方向的所述尺度下的所述像素平均值,确定所述方向的所述尺度下的类内离散矩阵和所述方向的所述尺度下的类间离散矩阵;
根据所述方向的所述尺度下的所述类内离散矩阵和所述方向的所述尺度下的类间离散矩阵,计算所述方向的所述尺度下的鉴别因子。
3.根据权利要求1所述的装置,其特征在于,所述阈值确定模块根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各个尺度的像素点阈值具体为:
根据如下公式,计算所述第一滤波响应图像所在方向的尺度下的像素点阈值t为:
其中,t为与W同方向的尺度下的第一滤波响应图像的像素点阈值,α为大于1的实数,W为所述第一滤波响应图像所在的方向的尺度下的鉴别因子。
4.根据权利要求1-3任一项所述的装置,其特征在于,所述确定模块包括:
阈值获取单元,用于获取该第二滤波响应图像所在的方向的尺度下的像素点阈值;
确定单元,用于针对每一个所述第二滤波响应图像,根据所述与该第二滤波响应图像所在方向的尺度的像素点阈值,获得该第二滤波响应图像的各像素点对应的LGBP二进制序列,并根据该第二滤波响应图像的各像素点对应的LGBP二进制序列得到该第二滤波响应图像对应的LGBP二进制图。
5.根据权利要求4所述的装置,其特征在于,所述确定单元获得所述第二滤波响应图像中各像素点对应的LGBP二进制序列具体为:
根据如下公式获得所述第二滤波响应图像中各所述像素点作为中心像素点时对应邻域中的任一周围像素点的LGBP二进制值:
其中,ub表示所述第二滤波响应图像中任一像素点作为中心像素点c时,该中心像素点c所在邻域中的一个周围像素点b的像素值;ic表示该中心像素点c的像素值,t表示所述第二滤波响应图像所在的方向和尺度下的像素点阈值,S(ub,ic,t)表示中心像素点c所在邻域中的该任一个周围像素点的二进制值;所述像素点对应的二进制序列为该像素点的各周围像素点的二进制值组成的二进制序列。
6.根据权利要求4所述的装置,其特征在于,所述获取模块获取所述确定模块得到的每一所述LGBP二进制图的特征向量中,任一个所述LGBP二进制图的特征向量的获取过程包括:
采用预设大小的区域块,对其所接收的所述确定模块得到的所述LGBP二进制图进行区域划分;
将各所述区域块中每一像素点对应的二进制序列转换成十进制值,作为该像素点的LGBP编码值;
以所有所述区域块中的最大LGBP编码值作为每一个所述区域块所对应向量的总维度,将所述区域块内LGBP编码值为n-1的LGBP编码值的个数作为该区域块对应向量中第n维的取值;所述区域块对应的向量的各维度的取值组成该区域块对应的LGBP直方图;其中,n为1到最大LGPB编码值之间的任意整数;
串联各所述区域块的LGBP直方图,得到所述LGBP二进制图的特征向量;
所述获取模块根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量具体为:串联各LGBP二进制图的特征向量,得到所述待处理图像的特征向量。
7.根据权利要求1-3,5-6任一项所述的装置,其特征在于,所述确定模块进一步用于针对每一尺度下至少两个方向中的每个方向的所述LGBP二进制图,融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图;
所述获取模块获取所述确定模块得到的每一所述LGBP二进制图的特征向量具体为:获取所述确定模块得到的每一尺度融合后的LGBP二进制图的特征向量。
8.根据权利要求7所述的装置,其特征在于,所述确定模块针融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图具体为:所述确定模块以按位相或的方式,融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图。
9.根据权利要求1-3,5-6,8任一项所述的装置,其特征在于,所述识别模块具体用于:
采用直方图交叉法,根据所述获取模块获取的所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度;并根据相似度阈值,得到识别结果。
10.根据权利要求9所述的装置,其特征在于,所述识别模块根据相似度阈值,得到识别结果具体为:
确定所述相似度大于或等于所述相似度阈值,并确定所述待处理图像与用于获取相似度的训练图像为同一目标的图像;或
确定所述相似度小于所述相似度阈值,并确定所述待处理图像与用于获取相似度的训练图像为不同目标的图像。
11.根据权利要求1-3,5-6,8,10任一项所述的装置,其特征在于,所述阈值确定模块还用于:
按照十字交叉验证准则,任意组合所述训练图像集合中的训练图像,将所述训练图像集合中的训练图像分为待训练图像和测试图像;
采用直方图交叉法,计算各所述待训练图像与所述测试图像的特征向量的相似度;
依次以每一相似度作为阈值,统计该组的准确率及误判率;
根据每组中的准确率与误判率,确定相似度阈值。
12.根据权利要求11所述的装置,其特征在于,所述阈值确定模块根据每组中的准确率与误判率,确定相似度阈值具体为:
遍历每组中所述准确率与误判率,若一组中的准确率与误判率相加再减1后的绝对值最小时,将其对应的相似度阈值作为该组的最优相似度阈值;
取各个组的最优相似度阈值的平均值,作为所述训练图像集合的相似度阈值。
13.一种基于珈波Gabor二值模式的人脸识别方法,其特征在于,包括:
根据预设的至少两个方向与至少两个尺度,对待处理图像进行每一个方向的各个尺度的Gabor滤波处理,获得每一个方向的各个尺度下的第二滤波响应图像;
对于每一个方向的各个尺度下所述第二滤波响应图像,依据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个所述第二滤波响应图像对应的二进制模式LGBP二进制图;所述像素点阈值为:对训练图像集合中的在同一方向的同一尺度的所有第一滤波响应图像采用费希尔Fisher准则,获取所述方向的所述尺度下的鉴别因子,并根据所述方向的尺度下的所述鉴别因子确定的;
获取每一所述LGBP二进制图的特征向量,根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量;
根据所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取所述待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果。
14.根据权利要求13所述的方法,其特征在于,将所述训练图像集合中每一个所述第一滤波响应图像作为与该第一滤波响应图像具有相同方向和尺度的样本,将所述训练图像集合中同一目标的训练图像的在同一方向的同一尺度下的第一滤波响应图像作为该方向的该尺度的类内样本,所述获取所述方向的所述尺度的鉴别因子,具体为:
计算所述训练图像集合中每一目标所述方向的所述尺度下类内样本的像素均值,及所述训练图像集合中所有目标在所述方向的所述尺度下的所有样本的像素平均值;
根据所述方向的所述尺度下的所述像素均值和所述方向的所述尺度下的所述像素平均值,确定所述方向的所述尺度下的类内离散矩阵和所述方向的所述尺度下的类间离散矩阵;
根据所述方向的所述尺度下的所述类内离散矩阵和所述方向的所述尺度下的类间离散矩阵,计算所述方向的所述尺度下的的鉴别因子。
15.根据权利要求13所述的方法,其特征在于,所述根据每一方向的各尺度下的所述鉴别因子确定所述每一方向的各个尺度下的像素点阈值具体为:
根据如下公式,计算所述第一滤波响应图像所在方向的尺度下的像素点阈值t为:
其中,t为与W同方向的尺度下的第一滤波响应图像的像素点阈值,α为大于1的实数,W为所述第一滤波响应图像所在的方向的尺度下的鉴别因子。
16.根据权利要求13-15任一项所述的方法,其特征在于,所述对于每一个方向的各个尺度下所述第二滤波响应图像,依据针对与所述第二滤波响应图像具有相同方向和尺度下的像素点阈值,确定与每一个所述第二滤波响应图像对应的LGBP二进制图,包括:
获取与所述第二滤波响应图像对应的像素点阈值,所述与所述第二滤波响应图像对应的像素点阈值为该第二滤波响应图像所在的方向和尺度下的像素点阈值;
针对每一个所述第二滤波响应图像,根据所述与该第二滤波响应图像对应的像素点阈值,获得该第二滤波响应图像的各像素点对应的LGBP二进制序列,并根据该第二滤波响应图像的各像素点对应的LGBP二进制序列得到该第二滤波响应图像对应的LGBP二进制图。
17.根据权利要求16所述的方法,其特征在于,所述获得所述第二滤波响应图像中各像素点对应的LGBP二进制序列具体为:
根据如下公式获得所述第二滤波响应图像中各所述像素点作为中心像素点时对应邻域中的任一周围像素点的LGBP二进制值:
其中,ub表示所述第二滤波响应图像中任一像素点作为中心像素点c时,该中心像素点c所在邻域中的一个周围像素点b的像素值;ic表示该中心像素点c的像素值,t表示所述第二滤波响应图像所在的方向和尺度下的像素点阈值,S(ub,ic,t)表示中心像素点c所在邻域中的该任一个周围像素点的二进制值;所述像素点对应的二进制序列为该像素点的各周围像素点的二进制值组成的二进制序列。
18.根据权利要求16所述的方法,其特征在于,所述获取每一所述LGBP二进制图的特征向量中,任一个所述LGBP二进制图的特征向量的获取过程包括:
采用预设大小的区域块,对所述LGBP二进制图进行区域划分;
将各所述区域块中每一像素点的邻域二进制序列转换成十进制值,作为该像素点的LGBP编码值;
以所有所述区域块中的最大LGBP编码值作为每一个所述区域块所对应向量的总维度,将所述区域块内LGBP编码值为n-1的LGBP编码值的个数作为该区域块对应向量中第n维的取值;所述区域块对应的向量的各维度的取值组成该区域块对应的LGBP直方图;其中,n为1到最大LGPB编码值之间的任意整数;
串联各所述区域块的LGBP直方图,得到所述LGBP二进制图的特征向量;
所述根据每一所述LGBP二进制图的特征向量获取所述待处理图像的特征向量具体为:串联各LGBP二进制图的特征向量,得到所述待处理图像的特征向量。
19.根据权利要求13-15,17-18任一项所述的方法,其特征在于,所述获取每一所述LGBP二进制图的特征向量之前,所述方法还包括:
针对每一尺度至少两个方向中的每个方向的所述LGBP二进制图,融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图;
所述获取每一所述LGBP二进制图的特征向量具体为:获取所述每一尺度融合后的LGBP二进制图的特征向量。
20.根据权利要求19所述的方法,其特征在于,所述融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图具体为:以按位相或的方式,融合同一尺度下所述至少两个方向中每个方向的所述LGBP二进制图,得到每一尺度融合后的LGBP二进制图。
21.根据权利要求13-15,17-18,20任一项所述的方法,其特征在于,所述根据所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度,并根据相似度阈值,得到识别结果,包括:
采用直方图交叉法,根据所述待处理图像的特征向量以及训练图像集合中任一训练图像的特征向量,获取待处理图像与训练图像集合中该训练图像的相似度;并根据相似度阈值,得到识别结果。
22.根据权利要求21所述的方法,其特征在于,所述根据相似度阈值,得到识别结果具体为:
确定所述相似度大于或等于所述相似度阈值,并确定所述待处理图像与用于获取相似度的训练图像为同一目标的图像;或
确定所述相似度小于所述相似度阈值,并确定所述待处理图像与用于获取相似度的训练图像为不同目标的图像。
23.根据权利要求13-15,17-18,20,22任一项所述的方法,其特征在于,所述根据相似度阈值,得到识别结果之前,所述方法还包括:
按照十字交叉验证准则,任意组合所述训练图像集合中的训练图像,将所述训练图像集合中的训练图像分为待训练图像和测试图像;
采用直方图交叉法,计算各所述待训练图像与所述测试图像的特征向量的相似度;
依次以每一相似度作为阈值,统计准确率及误判率;
根据每组中的准确率与误判率,确定相似度阈值。
24.根据权利要求23所述的方法,其特征在于,所述根据每组中的准确率与误判率,确定相似度阈值,包括:
遍历每组中所述准确率与误判率,若一组中的准确率与误判率相加再减1后的绝对值最小时,将其对应的相似度阈值作为该组的最优相似度阈值;
取各个组的最优相似度阈值的平均值,作为所述训练图像集合的相似度阈值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410126927.XA CN103902977B (zh) | 2014-03-31 | 2014-03-31 | 基于Gabor二值模式的人脸识别方法及装置 |
PCT/CN2014/093450 WO2015149534A1 (zh) | 2014-03-31 | 2014-12-10 | 基于Gabor二值模式的人脸识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410126927.XA CN103902977B (zh) | 2014-03-31 | 2014-03-31 | 基于Gabor二值模式的人脸识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103902977A CN103902977A (zh) | 2014-07-02 |
CN103902977B true CN103902977B (zh) | 2017-04-05 |
Family
ID=50994289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410126927.XA Active CN103902977B (zh) | 2014-03-31 | 2014-03-31 | 基于Gabor二值模式的人脸识别方法及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103902977B (zh) |
WO (1) | WO2015149534A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103902977B (zh) * | 2014-03-31 | 2017-04-05 | 华为技术有限公司 | 基于Gabor二值模式的人脸识别方法及装置 |
CN104183029A (zh) * | 2014-09-02 | 2014-12-03 | 济南大学 | 一种便携式快速人群考勤方法 |
CN104361357B (zh) * | 2014-11-07 | 2018-02-06 | 北京途迹科技有限公司 | 基于图片内容分析的相片集分类系统及分类方法 |
CN105678208B (zh) * | 2015-04-21 | 2019-03-08 | 深圳Tcl数字技术有限公司 | 提取人脸纹理的方法及装置 |
CN105469080B (zh) * | 2016-01-07 | 2018-09-25 | 东华大学 | 一种人脸表情识别方法 |
CN106507199A (zh) * | 2016-12-20 | 2017-03-15 | 深圳Tcl数字技术有限公司 | 电视节目推荐方法及装置 |
CN106934350A (zh) * | 2017-02-21 | 2017-07-07 | 东南大学 | 一种基于Gabor张量的MLFDA人脸识别方法 |
CN107392142B (zh) * | 2017-07-19 | 2020-11-13 | 广东工业大学 | 一种真伪人脸识别方法及其装置 |
CN108520215B (zh) * | 2018-03-28 | 2022-10-11 | 电子科技大学 | 基于多尺度联合特征编码器的单样本人脸识别方法 |
CN108596250B (zh) * | 2018-04-24 | 2019-05-14 | 深圳大学 | 图像特征编码方法、终端设备及计算机可读存储介质 |
CN108875629B (zh) * | 2018-06-14 | 2021-06-04 | 电子科技大学 | 基于多样本特征融合的掌静脉识别方法 |
CN109376754B (zh) * | 2018-08-31 | 2023-08-04 | 平安科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN109377444B (zh) * | 2018-08-31 | 2023-10-24 | 平安科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN109859053B (zh) * | 2018-11-08 | 2023-08-29 | 平安科技(深圳)有限公司 | 图像查重的方法、装置、计算机设备及存储介质 |
CN109947756A (zh) * | 2019-03-18 | 2019-06-28 | 成都好享你网络科技有限公司 | 用于增广数据的数据清洗方法、装置和设备 |
CN110321858B (zh) * | 2019-07-08 | 2022-06-14 | 北京字节跳动网络技术有限公司 | 视频相似度确定方法、装置、电子设备及存储介质 |
CN112069993B (zh) * | 2020-09-04 | 2024-02-13 | 西安西图之光智能科技有限公司 | 基于五官掩膜约束的密集人脸检测方法及系统和存储介质 |
CN112148981A (zh) * | 2020-09-29 | 2020-12-29 | 广州小鹏自动驾驶科技有限公司 | 同人识别方法、装置、设备和存储介质 |
US11403817B1 (en) | 2021-04-14 | 2022-08-02 | Lineage Logistics, LLC | Point cloud filtering |
CN113065530B (zh) * | 2021-05-12 | 2023-05-30 | 曼德电子电器有限公司 | 人脸识别方法和装置、介质、设备 |
CN114627046B (zh) * | 2021-12-30 | 2024-07-16 | 山东爱普电气设备有限公司 | 一种基于可见光多滤波维度的电力线检测方法及系统 |
CN116957524B (zh) * | 2023-09-21 | 2024-01-05 | 青岛阿斯顿工程技术转移有限公司 | 一种技术转移过程中人才信息智能管理方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024141A (zh) * | 2010-06-29 | 2011-04-20 | 上海大学 | 基于Gabor小波变换和局部二值模式优化的人脸识别方法 |
CN102663426A (zh) * | 2012-03-29 | 2012-09-12 | 东南大学 | 一种基于小波多尺度分析和局部三值模式的人脸识别方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100846500B1 (ko) * | 2006-11-08 | 2008-07-17 | 삼성전자주식회사 | 확장된 가보 웨이브렛 특징 들을 이용한 얼굴 인식 방법 및장치 |
CN103902977B (zh) * | 2014-03-31 | 2017-04-05 | 华为技术有限公司 | 基于Gabor二值模式的人脸识别方法及装置 |
-
2014
- 2014-03-31 CN CN201410126927.XA patent/CN103902977B/zh active Active
- 2014-12-10 WO PCT/CN2014/093450 patent/WO2015149534A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102024141A (zh) * | 2010-06-29 | 2011-04-20 | 上海大学 | 基于Gabor小波变换和局部二值模式优化的人脸识别方法 |
CN102663426A (zh) * | 2012-03-29 | 2012-09-12 | 东南大学 | 一种基于小波多尺度分析和局部三值模式的人脸识别方法 |
Non-Patent Citations (2)
Title |
---|
"基于多尺度局部二值模式的人脸识别";刘中华等;《计算机科学》;20091130;第36卷(第11期);第293-299页 * |
"基于局部Gabor变化直方图序列的人脸描述与识别";张文超等;《软件学报》;20061231;第17卷(第12期);第2508-2517页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2015149534A1 (zh) | 2015-10-08 |
CN103902977A (zh) | 2014-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103902977B (zh) | 基于Gabor二值模式的人脸识别方法及装置 | |
CN108985134B (zh) | 基于双目摄像机的人脸活体检测及刷脸交易方法及系统 | |
CN112215180B (zh) | 一种活体检测方法及装置 | |
CN101142584B (zh) | 面部特征检测的方法 | |
CN103914676B (zh) | 一种在人脸识别中使用的方法和装置 | |
Gunay et al. | Automatic age classification with LBP | |
WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
CN101558431B (zh) | 脸认证设备 | |
CN105956578A (zh) | 一种基于身份证件信息的人脸验证方法 | |
EP2434431A1 (en) | Method and device for classifying image | |
CN102629320B (zh) | 基于特征层定序测量统计描述的人脸识别方法 | |
CN103679118A (zh) | 一种人脸活体检测方法及系统 | |
Wang et al. | Traffic sign detection using a cascade method with fast feature extraction and saliency test | |
Rouhi et al. | A review on feature extraction techniques in face recognition | |
CN105893946A (zh) | 一种正面人脸图像的检测方法 | |
CN104123543A (zh) | 一种基于人脸识别的眼球运动识别方法 | |
Lin et al. | Robust license plate detection using image saliency | |
Paul et al. | Extraction of facial feature points using cumulative histogram | |
Das et al. | Multi-angle based lively sclera biometrics at a distance | |
Boles et al. | Personal identification using images of the human palm | |
KR101174103B1 (ko) | 근골격 구조에 기초한 수학적 패턴 분석의 얼굴인식 방법 | |
CN112232162B (zh) | 一种基于多特征融合级联分类器的行人检测方法及装置 | |
CN108491798A (zh) | 基于个性化特征的人脸识别方法 | |
CN105787491A (zh) | 一种指纹图像的特征提取方法 | |
CN113610071B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |