CN107609455B - 人脸子分类器扩展器 - Google Patents
人脸子分类器扩展器 Download PDFInfo
- Publication number
- CN107609455B CN107609455B CN201610543535.2A CN201610543535A CN107609455B CN 107609455 B CN107609455 B CN 107609455B CN 201610543535 A CN201610543535 A CN 201610543535A CN 107609455 B CN107609455 B CN 107609455B
- Authority
- CN
- China
- Prior art keywords
- classifier
- code
- face
- ulbp
- facial image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种人脸子分类器扩展器,包括:像素点位置变换单元以及ULBP码变换单元,其中:所述像素点位置变换单元,适于根据所述扩展的人脸子分类器待检测人脸的姿态与预设的基础人脸子分类器待检测人脸的姿态的关系,对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行相应的变换,得到所述扩展的人脸子分类器所选择的与人脸图像像素点A对应的人脸图像像素点B的位置;所述ULBP码变换单元,适于对所述扩展的人脸子分类器中选择的人脸图像像素点B的ULBP码进行变换操作,得到变换后的ULBP码,所述变换后的ULBP码与所述基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。上述方案能够降低子分类器扩展时所需成本,降低扩展所需时长。
Description
技术领域
本发明涉及人脸检测领域,尤其涉及一种人脸子分类器扩展器。
背景技术
人脸检测(Face Detection)的目标是在输入图像中确定所有人脸的位置、大小和姿态,已经广泛用于数字相机自动聚焦、视频监控、身份验证等领域,具有巨大的商业价值。目前,主流的人脸检测方法是基于统计学习的方法,通过在包含大量人脸、非人脸样本的图像库上进行学习的方式生成人脸检测器。
为了达到高正确率的人脸检测效果,需要考虑不同视角情况下的人脸检测情况。常用的多视角人脸检测方法首先根据人脸姿态将人脸分为不同的区域,然后在每个区域内分别训练一个人脸子分类器,最后将这些子分类器根据一定的结构组合成完整的多视角人脸检测器。现有技术中,通常采用以几个子分类器为基础,用旋转和镜像变换扩展出其他的子分类器。
均匀局部二值模式(Uniform Local Binary Pattern,ULBP)码是人脸检测中被广泛使用的特征之一,是一种基于灰度的纹理度量。由于在图像旋转和镜像变换时,像素点对应的ULBP码会发生改变。因此,若采用ULBP码进行人脸检测,在需要通过旋转和镜像对子分类器进行扩展时,通常会生成对应不同旋转和镜像变换的查找表,再采用查表的方法使得变换前和变换后同一像素点的ULBP保持不变。
然而,上述人脸子分类器的扩展所需的成本较高,且所需要消耗较长时间。
发明内容
本发明解决的技术问题是如何降低子分类器扩展的成本,降低扩展所需时长。
为解决上述技术问题,本发明实施例提供了一种人脸子分类器扩展器,包括:像素点位置变换单元以及ULBP码变换单元,其中:所述像素点位置变换单元,适于根据扩展的人脸子分类器待检测人脸的姿态与预设的基础人脸子分类器待检测人脸的姿态的关系,对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行相应的变换,得到所述扩展的人脸子分类器所选择的与人脸图像像素点A对应的人脸图像像素点B的位置;所述ULBP码变换单元,适于对所述扩展的人脸子分类器中选择的人脸图像像素点B的ULBP码进行变换操作,得到变换后的ULBP码,所述变换后的ULBP码与所述基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。
可选的,所述人脸图像像素点的ULBP码采用如下方式编码:将所有LBP码中所有0、1跳变次数等于2的LBP码划分为第一类LBP码,并将所述第一类LBP码中1的个数相同的LBP码划分为一组;分别对每一组LBP码进行编码,得到一一对应的ULBP码,其中:每一组ULBP码中,所有的的ULBP码的高3位相等,低3位均不相等;将所有LBP码中全0、全1以及0、1跳变次数大于2的LBP码划分为第二类LBP码,并将第二类LBP码进行编码,得到的第二类LBP码对应的ULBP码与所述第一类LBP码对应的ULBP码均不同。
可选的,所述ULBP码变换单元包括:保持子单元,适于当所述人脸图像像素点B对应的LBP码为全0、全1以及0、1跳变次数大于2时,保持所述人脸图像像素点B的ULBP码不变。
可选的,所述ULBP码变换单元包括:镜像变换子单元,适于当所述像素点位置变换单元对所述基础人脸子分类器中人脸图像像素点A的位置进行镜像变换操作时,对人脸图像像素点B的ULBP码进行变换,包括:提取所述扩展的人脸子分类器中选择的人脸图像像素点B对应的ULBP码的高3位,作为变换后的ULBP码的高3位;分别将所述扩展的人脸子分类器中选择的人脸图像像素点A对应的ULBP码的高3位以及低3位取反,高3位取反值与低3位取反值求和之后与二进制数100相加,得到的结果作为变换后的ULBP码的低3位。
可选的,所述ULBP码变换单元包括:旋转变换子单元,适于当所述像素点位置变换单元对所述基础人脸子分类器中人脸图像像素点A的位置进行旋转操作时,对人脸图像像素点B的ULBP码进行变换,包括:提取所述扩展的人脸子分类器中选择的人脸图像像素点B对应的ULBP码的高3位,作为变换后的ULBP码的高3位;将所述扩展的人脸子分类器中选择的人脸图像像素点A对应的ULBP码的低3位与旋转操作角度对应的旋转值相减,当相减结果大于或等于0时,将所述相减结果作为变换后的ULBP码的低3位;当相减结果小于0时,将相减结果与二进制数1000相加,取相加结果作为变换后的ULBP码的低3位。
可选的,所述旋转操作角度对应的旋转值为:当顺时针旋转90°时,对应的旋转值为二进制数10;当顺时针旋转180°时,对应的旋转值为二进制数100;当顺时针旋转270°时,对应的旋转值为二进制数110。
可选的,所述像素点位置变换单元,适于当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行镜像变化操作时,计算得到所述扩展的人脸子分类器中的人脸图像像素点B的横坐标为:xai=w-xoi,纵坐标为yai=yoi;其中,xai为所述扩展的人脸子分类器中所选择的人脸图像像素点B的横坐标,yai为所述扩展的人脸子分类器中所选择的人脸图像像素点B的纵坐标,xoi为所述基础人脸子分类器中选择的人脸图像像素点A的横坐标,yoi为所述基础人脸子分类器中选择的人脸图像像素点A的纵坐标,w为人脸检测窗口宽度。
可选的,所述像素点位置变换单元,适于当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转90°时,计算得到所述扩展的人脸子分类器中的人脸图像像素点B的横坐标为:xai=w-yoi;纵坐标为:yai=xoi;当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转180°时,计算得到所述扩展的人脸子分类器中人脸图像像素点B的横坐标为:xai=w-xoi,纵坐标为:yai=w-yoi;当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转270°时,计算得到所述扩展的人脸子分类器中人脸图像像素点B的横坐标为:xai=yoi,纵坐标为:yai=w-xoi;其中,xai为所述扩展的人脸子分类器所选择的人脸图像像素点B的横坐标,yai为所述扩展的人脸子分类器所选择的人脸图像像素点B的纵坐标,xoi为所述基础人脸子分类器中选择的人脸图像像素点A的横坐标,yoi为所述基础人脸子分类器中选择的人脸图像像素点A的纵坐标,w为人脸检测窗口宽度。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
根据扩展的人脸子分类器中待检测人脸的姿态与基础人脸子分类器中待检测人脸的姿态之间的关系,通过像素点位置变换单元对基础人脸子分类器中的人脸图像像素点A的位置进行相应的变换,得到扩展的人脸子分类器中与人脸图像像素点A对应的人脸图像像素点B的位置。通过ULBP码变换单元对扩展的人脸子分类器中的人脸图像像素点B的ULBP码进行变换操作,使得变换后的ULBP码与基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。因此,无需采用查表的方法生成扩展的人脸子分类器,故可以降低子分类器扩展所需成本,降低子分类器扩展所需消耗的时间。
附图说明
图1是现有的一种人脸在空间中绕颈部的人脸姿态的示意图;
图2是现有的一种人脸绕视平面法向量旋转角的人脸姿态示意图;
图3(a)~3(f)为六种基础人脸子分类器与扩展的人脸子分类器的映射图;
图4是本发明实施例中的一种人脸子分类器扩展器的结构示意图;
图5(a)为像素点周围3×3窗口示意图;
图5(b)为像素点的LBP码示意图;
图6(a)为本发明一实施例中的人脸图像像素点A的LBP码示意图;
图6(b)为本发明一实施例中的人脸图像像素点B的LBP码示意图;
图7是本发明实施例中的一种人脸检测方法的流程图。
具体实施方式
现有技术中多视角人脸检测方法中,先根据人脸姿态将人脸分为不同的区域,然后在每个区域内分别训练一个人脸子分类器,最后将这些子分类器根据一定的结构组合成完整的多视角人脸检测器。采用统计学习的方法训练人脸子分类器需要耗费几个星期甚至更长的时间。若所有的人脸子分类器都采用统计学习的方法训练生成,需要耗费大量的训练时间。因此,通常情况下,以几个人脸子分类器为基础,用旋转和镜像变换扩展出其他子分类器。
但是,在图像进行旋转和镜像变换时,由于ULBP码不具备旋转和镜像变换不变性的特点,因此像素点对应的ULBP码会发生变化。在通过旋转和镜像变换得到扩展的人脸子分类器时,通常会生成对应不同旋转角度和镜像变换的查找表,然后采用查表的方法使得旋转和镜像变换之后像素点对应的ULBP码与变换前的ULBP码保持一致。
然而,现有的查表方法存在如下缺陷:1)查找表需要占用一定的存储空间,因此需要增加芯片上的存储器的存储容量;2)查表操作需要消耗一定的时长。也就是说,现有的查表方法在进行人脸子分类器扩展时,需要较高的扩展成本,且所需消耗较长的时间。
在本发明实施例中,根据扩展的人脸子分类器中待检测人脸的姿态与基础人脸子分类器中待检测人脸的姿态之间的关系,通过像素点位置变换单元对基础人脸子分类器中的人脸图像像素点A的位置进行相应的变换,得到扩展的人脸子分类器中与人脸图像像素点A对应的人脸图像像素点B的位置。ULBP码变换单元对扩展的人脸子分类器中的人脸图像像素点B的ULBP码进行变换操作,使得变换后的ULBP码与基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。因此,无需采用查表的方法生成扩展的人脸子分类器,故可以降低子分类器扩展所需成本,降低子分类器扩展所需消耗的时间。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
在实际应用中,人脸子分类器通常适用于进行人脸检测,是人脸检测器中的一个组成部分。通常情况下,人脸检测器中可以包括多个人脸子分类器。在具体实施中,每一个人脸子分类器检测某个姿态范围内的人脸图像。
参照图1及图2,在实际应用中,根据人脸在空间中绕颈部的旋转角(又称摇摆角)将人脸姿态分为左全侧脸101、左半侧脸102、正脸103、右半侧脸104、右全侧脸105这五个类别。根据人脸绕视平面法向量旋转角(又称倾斜角)将人脸姿态分为倾斜0度201、倾斜45度202、倾斜90度203、倾斜135度204、倾斜180度205、倾斜225度206、倾斜270度207、倾斜315度208这8个类别。
结合人脸姿态摇摆角和倾斜角,人脸姿态总共分为40个区域,对这40个区域进行编号,每一个区域对应的姿态范围如下表所示。
正脸 | 左半侧脸 | 左全侧脸 | 右半侧脸 | 右全侧脸 | |
倾斜0° | 1 | 2 | 3 | 4 | 5 |
倾斜45° | 6 | 7 | 8 | 9 | 10 |
倾斜90° | 11 | 12 | 13 | 14 | 15 |
倾斜135° | 16 | 17 | 18 | 19 | 20 |
倾斜180° | 21 | 22 | 23 | 24 | 25 |
倾斜225° | 26 | 27 | 28 | 29 | 30 |
倾斜270° | 31 | 32 | 33 | 34 | 35 |
倾斜315° | 36 | 37 | 38 | 39 | 40 |
表1
表1中,1~40为不同的人脸姿态的标号。例如,标号1对应的人脸姿态为人脸正脸且倾斜角度为0°,标号12对应的人脸姿态为人脸左半侧脸且倾斜角度为90°。
在具体实施中,每一个姿态可以对应一个人脸子分类器,该人脸子分类器能检测属于该姿态范围内的人脸。在本发明实施例中,可以选择标号为1,2,3,6,7,8的人脸姿态对应的人脸子分类器作为基础人脸子分类器,对上述6个基础人脸子分类器进行扩展,得到其余的34个扩展的人脸子分类器。
参照图3(a)~3(f),给出了本发明实施例中的一种基础人脸子分类器的图像与对应的扩展人脸子分类器的图像的示意图,结合图1和图2以及表1进行说明。
参照图3(a),标号为1的基础人脸子分类器检测的人脸姿态为表1中标号为1的人脸姿态。将标号为1的基础人脸子分类器检测的人脸姿态顺时针旋转90°,可以得到标号为11的人脸子分类器所要检测的人脸姿态。相应地,将标号为1的基础人脸子分类器检测的人脸姿态顺时针旋转180°,可以得到标号为21的人脸子分类器所要检测的人脸姿态;将标号为1的基础人脸子分类器检测的人脸姿态顺时针旋转270°,可以得到标号为31的人脸子分类器所要检测的人脸姿态。
参照图3(b),标号为2的基础人脸子分类器检测的人脸姿态为表1中标号为2的人脸姿态。将标号为2的基础人脸子分类器检测的人脸姿态顺时针旋转90°,可以得到标号为12的人脸子分类器所要检测的人脸姿态;将标号为2的基础人脸子分类器检测的人脸姿态顺时针旋转180°,可以得到标号为22的人脸子分类器所要检测的人脸姿态;将标号为2的基础人脸子分类器检测的人脸姿态顺时针旋转270°,可以得到标号为32的人脸子分类器所要检测的人脸姿态。
将标号为2的基础人脸子分类器检测的人脸姿态进行镜像,可以得到标号为4的人脸子分类器所要检测的人脸姿态;将标号为2的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转90°,可以得到标号为14的人脸子分类器所要检测的人脸姿态;将标号为2的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转180°,可以得到标号为24的人脸子分类器所要检测的人脸姿态;将标号为2的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转270°,可以得到标号为34的人脸子分类器所要检测的人脸姿态。
参照图3(c),标号为3的基础人脸子分类器检测的人脸姿态为表1中标号为3的人脸姿态。将标号为3的基础人脸子分类器检测的人脸姿态顺时针旋转90°,可以得到标号为13的人脸子分类器所要检测的人脸姿态;将标号为3的基础人脸子分类器检测的人脸姿态顺时针旋转180°,可以得到标号为23的人脸子分类器所要检测的人脸姿态;将标号为3的基础人脸子分类器检测的人脸姿态顺时针旋转270°,可以得到标号为33的人脸子分类器所要检测的人脸姿态。
将标号为3的基础人脸子分类器检测的人脸姿态进行镜像,可以得到标号为5的人脸子分类器所要检测的人脸姿态;将标号为3的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转90°,可以得到标号为15的人脸子分类器所要检测的人脸姿态;将标号为3的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转180°,可以得到标号为25的人脸子分类器所要检测的人脸姿态;将标号为3的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转270°,可以得到标号为35的人脸子分类器所要检测的人脸姿态。
参照图3(d),标号为6的基础人脸子分类器检测的人脸姿态为表1中标号为6的人脸姿态。将标号为6的基础人脸子分类器检测的人脸姿态顺时针旋转90°,可以得到标号为16的人脸子分类器所要检测的人脸姿态;将标号为6的基础人脸子分类器检测的人脸姿态顺时针旋转180°,可以得到标号为26的人脸子分类器所要检测的人脸姿态;将标号为6的基础人脸子分类器检测的人脸姿态顺时针旋转270°,可以得到标号为36的人脸子分类器所要检测的人脸姿态。
参照图3(e),标号为7的基础人脸子分类器检测的人脸姿态为表1中标号为7的人脸姿态。将标号为7的基础人脸子分类器检测的人脸姿态顺时针旋转90°,可以得到标号为17的人脸子分类器所要检测的人脸姿态;将标号为7的基础人脸子分类器检测的人脸姿态顺时针旋转180°,可以得到标号为27的人脸子分类器所要检测的人脸姿态;将标号为7的基础人脸子分类器检测的人脸姿态顺时针旋转270°,可以得到标号为37的人脸子分类器所要检测的人脸姿态。
将标号为7的基础人脸子分类器检测的人脸姿态进行镜像,可以得到标号为39的人脸子分类器所要检测的人脸姿态;将标号为7的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转90°,可以得到标号为9的人脸子分类器所要检测的人脸姿态;将标号为7的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转180°,可以得到标号为19的人脸子分类器所要检测的人脸姿态;将标号为7的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转270°,可以得到标号为29的人脸子分类器所要检测的人脸姿态。
参照图3(f),标号为8的基础人脸子分类器检测的人脸姿态为表1中标号为8的人脸姿态。将标号为8的基础人脸子分类器检测的人脸姿态顺时针旋转90°,可以得到标号为18的人脸子分类器所要检测的人脸姿态;将标号为8的基础人脸子分类器检测的人脸姿态顺时针旋转180°,可以得到标号为28的人脸子分类器所要检测的人脸姿态;将标号为8的基础人脸子分类器检测的人脸姿态顺时针旋转270°,可以得到标号为38的人脸子分类器所要检测的人脸姿态。
将标号为8的基础人脸子分类器检测的人脸姿态进行镜像,可以得到标号为40的人脸子分类器所要检测的人脸姿态;将标号为8的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转90°,可以得到标号为10的人脸子分类器所要检测的人脸姿态;将标号为8的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转180°,可以得到标号为20的人脸子分类器所要检测的人脸姿态;将标号为8的基础人脸子分类器检测的人脸姿态进行镜像后顺时针旋转270°,可以得到标号为30的人脸子分类器所要检测的人脸姿态。
也就是说,针对上述的6个人脸不同姿态的图像生成对应的子分类器,对6种子分类器进行扩展,即可扩展生成剩余的34种人脸不同姿态的子分类器,从而无需针对每一种人脸子分类器都去采用统计学习的方法训练生成。
从图3(a)~3(f)可以得知,所有的扩展人脸子分类器都可以通过预先选取的基础人脸子分类器进行镜像或者旋转中的至少一种操作生成。
参照图4,给出了本发明实施例中的一种人脸子分类器扩展器40,包括:像素点位置变换单元401以及ULBP码变换单元402,其中:
所述像素点位置变换单元401,适于根据扩展的人脸子分类器待检测人脸的姿态与预设的基础人脸子分类器待检测人脸的姿态的关系,对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行相应的变换,得到所述扩展的人脸子分类器所选择的与人脸图像像素点A对应的人脸图像像素点B的位置;
所述ULBP码变换单元402,适于对所述扩展的人脸子分类器中选择的人脸图像像素点B的ULBP码进行变换操作,得到变换后的ULBP码,所述变换后的ULBP码与所述基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。
在本发明实施例中,人脸图像像素点B为:扩展的人脸子分类器中,与基础人脸子分类器中选择的人脸图像像素点A相同的像素点。例如,基础人脸子分类器中选择的人脸图像像素点A对应的像素点为鼻尖的像素点,则扩展的人脸子分类器中人脸图像像素点B也同样为鼻尖的像素点。
在本发明实施例中,当像素点位置变换单元401对基础人脸子分类器中选择的人脸图像像素点A的位置进行镜像变换操作时,计算得到的扩展的人脸子分类器中人脸图像像素点B的横坐标为:xai=w-xoi,纵坐标为yai=yoi;
当像素点位置变换单元401对基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转90°时,计算得到的人脸图像像素点B的横坐标为xai=w-yoi,纵坐标为yai=xoi;
当像素点位置变换单元401对基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转180°时,计算得到的人脸图像像素点B的横坐标为xai=w-xoi,纵坐标为yai=w-yoi;
当像素点位置变换单元401对基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转270°时,计算得到的人脸图像像素点B的横坐标为xai=yoi,纵坐标为yai=w-xoi;
其中:xai为扩展的人脸子分类器中所选择的人脸图像像素点B的横坐标,yai为扩展的人脸子分类器中所选择的人脸图像像素点B的纵坐标,xoi为基础人脸子分类器中选择的人脸图像像素点A的横坐标,yoi为基础人脸子分类器中选择的人脸图像像素点A的纵坐标,w为人脸检测窗口宽度
下面结合图3(a)~3(f),对像素点位置变换单元401的具体工作原理进行说明。
例如,标号为4的人脸子分类器由标号为2的基础人脸子分类器变换得到。具体地,将标号为2的基础人脸子分类器检测的人脸姿态进行镜像,可以得到标号为4的人脸子分类器所要检测的人脸姿态。标号为2的基础人脸子分类器中,选择的人脸图像像素点A为人脸鼻尖的像素点,坐标为(xoi,yoi),则像素点位置变换单元401对人脸图像像素点A进行镜像变换后,在标号为4的人脸子分类器中,得到人脸图像像素点B的坐标为(xai,yai),且xai=w-xoi,yai=yoi。在标号为4的人脸子分类器中,人脸图像像素点B也为人脸鼻尖的像素点。
又如,标号为11的人脸子分类器由标号为1的基础人脸子分类器变换得到。具体地,将标号为1的基础人脸子分类器检测的人脸姿态顺时针旋转90°,可以得到标号为11的人脸子分类器所要检测的人脸姿态。标号为1的基础人脸子分类器中,选择的人脸图像像素点A为人脸鼻尖像素点,坐标为(xoi,yoi),则像素点位置变换单元401对人脸图像像素点A进行顺时针旋转90°变换后,在标号为11的人脸子分类器中,得到人脸图像像素点B的坐标为(xai,yai),且xai=w-yoi,yai=xoi。在标号为11的人脸子分类器中,人脸图像像素点B也为人脸鼻尖的像素点。
在对ULBP码变换单元402的工作原理进行说明之前,先对ULBP码的编码进行说明,ULBP码是由人脸图像像素点对应的LBP码编码生成。
在现有技术中,LBP码表示的是像素点的局部二值模式。在像素点附近3×3的窗口中,以窗口中心像素点的灰度值为阈值,将相邻的8个像素点的灰度值与其进行比较。若周围某一个像素点的灰度值大于中心像素值,则该像素点的位置被标记为1;否则,该像素点的位置被标记为0。这样就产生了一个8位二进制数,以左上角的像素点为最低位,按照顺时针方向位数依次增加。
例如,参照图5(a),为窗口中心像素点周围3×3窗口示意图,窗口中心像素点的灰度值为76,从左上角顺时针旋转,周围像素点的灰度值依次为40、112、240、82、125、54、34以及62。分别将周围像素点的灰度值与中心像素点的灰度值进行比较,灰度值大于中心像素点时灰度值时取1,灰度值小于中心像素点时灰度值取0,则中心像素点周围的像素点的灰度值从左上角顺时针旋转依次被置为0、1、1、1、1、0、0、0,参照图5(b)。左上角的像素点为最低位,则中心像素点的LBP码为00011110。
在具体实施中,LBP码的最高位为第0位,最低位为第7位。例如,LBP码为10000010,则LBP码的第0位为1,第7位为0。
在实际应用中,采用上述的LBP编码方法,总共可以获取256种LBP码。在本发明实施例中,在对LBP码进行编码,生成ULBP码时,先将8位二进制LBP码中0、1跳变次数小于或等于2次的模式划为第一类,将8位二进制LBP码中0、1次数跳变次数大于2次的模式划分为第二类,第二类中0、1跳变次数大于2的LBP码在编码过程中均映射到同一ULBP码。
需要说明的是,8位二进制数中0、1跳变次数是指:从0跳变成1的次数以及从1跳变成0的次数之和。此外,LBP码可以看成是首尾连接的,因此8位二进制数的第一位与最后一位不同时,跳变次数加1。
例如,对于8位二进制数10010100,从0跳变成1的次数为3次,从1跳变成0的次数为3次,因此,其0、1跳变次数为6次。又如,对于8位二进制数00001111,从0跳变成1的次数为1,从1跳变为0的次数为1,因此,其0、1跳变次数为2次。
在本发明实施例中,在第一类LBP码中,将1的个数相同的LBP码划分成一组。对于8位二进制数,其中的1的个数为0~8,当1的个数为0时,8位二进制数为00000000;当1的个数为8时,8位二进制数为11111111。
这样,剩余的第一类LBP码可以根据1的个数划分成7组,7组中LBP码中1的个数依次为1、2、3、4、5、6、7。在将LBP码分组后,可以将分组后的LBP码映射成对应的ULBP码,7组LBP码映射成7组ULBP码。每一组ULBP码中的ULBP码的高3位相等,低3位均不相等。
当LBP码为00000000时,其对应的ULBP编码与上述7组ULBP码均不相同。相类似的,当LBP码为11111111时,其对应的ULBP编码与上述7组ULBP码以及LBP码为00000000时对应的ULBP码均不相同。
对于第二类LBP码,其对应的ULBP码可以均相同,且与第一类LBP码对应的ULBP码均不同。也就是说,所有的属于第二类的LBP码对应的ULBP为同一个,且该ULBP码与第一类LBP码对应的所有ULBP码不相同。
参照表2,给出了本发明一实施例中的一种ULBP编码表。
表2
从表2中可以看出,除第二类LBP码、全0的LBP码以及全1的LBP码对应的ULBP之外,第一类LBP码对应的每一组ULBP码包括8个,这8个ULBP码的高3位均相同,低3位均不相同。
可以理解的是,在本发明其他实施例中,每一组LBP码所映射的ULBP码并不仅限于表2中提供的映射方法。在对LBP码进行ULBP编码时,LBP码所对应的ULBP码还可以为其他值。
例如,LBP码中1的个数为1的8个LBP码被划分为一组,这一组LBP码对应的ULBP码的高3位均可以为100,低3位为000~111。
由此可见,在获取到人脸图像像素点B的LBP码之后,即可获知人脸图像像素点B对应的ULBP码。
下面对本发明实施例中提供的ULBP码变换单元402的工作原理进行说明。
在本发明实施例中,ULBP码变换单元402包括保持子单元、镜像变换子单元以及旋转变换子单元。
所述保持子单元,适于当人脸图像像素点B对应的LBP码为全0、全1以及0、1跳变次数大于2时,保持人脸图像像素点B对应的ULBP码保持不变。
例如,人脸图像像素点B对应的LBP码为00000000,则在表2中可以得知,人脸图像像素点B对应的ULBP码为111010。无论像素点位置变换单元401对人脸图像像素点B进行怎样的变换,人脸图像像素点B对应的ULBP码为111010,这是因为:当人脸图像像素点B对应的LBP码为全0或者全1时,无论是镜像变换还是旋转变换,人脸图像像素点B对应的LBP码不会发生变化,因此对应的ULBP码也不会发生变化;当人脸图像像素点B对应的LBP码的0、1跳变次数大于2时,在经过镜像变换或者旋转变换后,得到的LBP码的0、1跳变次数扔大于2,因此,ULBP码并没有发生变化。
在本发明实施例中,镜像变换子单元,适于当像素点位置变换单元401对基础人脸子分类器中人脸图像像素点A的位置进行镜像变换操作时,对人脸图像像素点B的ULBP码进行变换,提取扩展的人脸子分类器中选择的人脸图像像素点B对应的ULBP码的高3位,作为变换后的ULBP码的高3位;分别将扩展的人脸子分类器中选择的人脸图像像素点A对应的ULBP码的高3位以及低3位取反,高3位取反值与低3位取反值求和之后与二进制数100相加,得到的结果作为变换后的ULBP码的低3位;
例如,参照图5(a),基础人脸子分类器中人脸图像像素点A的LBP码为00000001,从表2中可知,对应的ULBP码为000000。像素点位置变换单元401对人脸图像像素点A进行镜像变换,得到的人脸图像像素点B对应的LBP码为00000100,参照图5(b),根据表2可知,对应的ULBP码为000010。
用pre表示人脸图像像素点B的ULBP码,用new表示为变换之后的人脸图像像素点B的ULBP码,则pre=000010。取pre的高3位000作为变换之后的ULBP码的高3位,即new的高3位为000。
分别将pre的高3位以及低3位取反,pre的高3位取反为111,pre的低3位取反为101,将二者相加之后再与二进制数100相加,得到的相加结果为111+101+100=10000,取相加结果的低3位作为变换之后的ULBP码的低3位,即new的低3位为000。
因此,new=000000。
将new与基础人脸子分类器中的人脸图像像素点A对应的ULBP码进行比较可以得知,new与基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。
在本发明实施例中,旋转变换子单元,适于当像素点位置变换单元对基础人脸子分类器中人脸图像像素点A的位置进行旋转操作时,对人脸图像像素点B的ULBP码进行变换,提取扩展的人脸子分类器中选择的人脸图像像素点B对应的ULBP码的高3位,作为变换后的ULBP码的高3位;将扩展的人脸子分类器中选择的人脸图像像素点A对应的ULBP码的低3位与旋转操作角度对应的旋转值相减,当相减结果大于或等于0时,将所述相减结果作为变换后的ULBP码的低3位;当相减结果小于0时,将相减结果与二进制数1000相加,取相加结果作为变换后的ULBP码的低3位。
在本发明实施例中,所述旋转操作角度对应的旋转值为:当顺时针旋转90°时,对应的旋转值为二进制数10;当顺时针旋转180°时,对应的旋转值为二进制数100;当顺时针旋转270°时,对应的旋转值为二进制数110。
当对人脸图像像素点A的变换操作为旋转操作时,人脸图像像素点A的LBP码的变换可以看做是将LBP码进行左移。
例如,对人脸图像像素点A进行的变换操作为顺时针旋转90°。人脸图像像素点A对应的LBP码为00000001,参照表2,可以获知00000001对应的ULBP码为000000。像素点位置变换单元401对人脸图像像素点A进行顺时针旋转90°的旋转变换,得到的人脸图像像素点B对应的LBP码为00000100,对应的ULBP码为000010。
用pre表示人脸图像像素点B的ULBP码,用new表示为变换之后的人脸图像像素点B的ULBP码,则pre=000010。取pre的高3位000作为变换之后的ULBP码的高3位,即new的高3位为000。
将pre的低3位与旋转操作角度对应的旋转值相减,顺时针旋转90°对应的旋转值为90°/45°,即为2,对应的二进制数值为010。相减之后,低3位为000,即new的低3位为000。
因此,new=000000。
将new与基础人脸子分类器中的人脸图像像素点A对应的ULBP码进行比较可以得知,new与基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。
又如,对人脸图像像素点A进行的变换操作为顺时针旋转180°。人脸图像像素点A对应的LBP码为10000111,根据表2可知对应的ULBP码为011111。在顺时针旋转180°后,得到扩展的人脸子分类器中的人脸图像像素点B,人脸图像像素点B对应的LBP码变为011110000,对应的ULBP码为011011。
用pre表示人脸图像像素点B的ULBP码,用new表示为变换之后的人脸图像像素点B的ULBP码,则pre=011011。取pre的高3位011作为变换之后的ULBP码的高3位,即new的高3位为011。
将pre的低3位于旋转操作角度对应的旋转值相减,顺时针旋转180°对应的旋转值为180°/45°,即为4,对应的二进制数为100。将011与100相减得知,对应的差值小于0,因此,将得到的差值与二进制数1000相加,得到的和值为1000+011-100=111。得到的和值即为变换之后的ULBP码的低3位,也即new的低3位为111。
因此,new=011111。
将new与基础人脸子分类器中的人脸图像像素点A对应的ULBP码进行比较可以得知,new与基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。
在具体实施中,在对基础人脸子分类器进行扩展时,可以直接采用本发明上述实施例中提供的人脸子分类器扩展器对基础人脸子分类器进行扩展。例如,在对编号为1的基础人脸子分类器进行扩展时,可以采用本发明上述实施例中提供的人脸子分类器进行扩展,得到编号为11、21、31的扩展的人脸子分类器。
也就是说,在对基础人脸子分类器进行扩展时,无需采用查表的方法生成扩展的人脸子分类器,故可以降低子分类器扩展所需成本,降低子分类器扩展所需消耗的时间。
由此可见,根据扩展的人脸子分类器中待检测人脸的姿态与基础人脸子分类器中待检测人脸的姿态之间的关系,通过像素点位置变换单元对基础人脸子分类器中的人脸图像像素点A的位置进行相应的变换,得到扩展的人脸子分类器中与人脸图像像素点A对应的人脸图像像素点B的位置。通过ULBP码变换单元对扩展的人脸子分类器中的人脸图像像素点B的ULBP码进行变换操作,使得变换后的ULBP码与基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。因此,无需采用查表的方法生成扩展的人脸子分类器,故可以降低子分类器扩展所需成本,降低子分类器扩展所需消耗的时间。
参照图7,给出了本发明实施例中的一种人脸检测方法,下面通过具体步骤进行详细说明。
步骤S701,接收输入的待检测图像。
在具体实施中,可以将待检测图像输入至人脸检测器。人脸检测器接收到待检测图像后,即可执行后续的人脸检测过程。在本发明实施例中,人脸检测器中可以包括多个人脸子分类器,其中的部分人脸子分类器为基础人脸子分类器,其余的人脸子分类器均是由基础人脸子分类器扩展生成。
步骤S702,依次对所述待检测图像进行检测。
在具体实施中,可以采用多个本发明上述实施例中提供的人脸子分类器,依次对待检测图像进行检测。
在本发明实施例中,多个人脸子分类器可以为串行工作,即一个人脸子分类器执行完成检测后,下一个人脸检测子分类器才进行检测。多个人脸子分类器也可以为并行工作,即所有子分类器同时对待检测图像进行检测。
步骤S703,输出人脸检测结果。
在本发明实施例中,当所有的人脸检测器在待检测图像中均未检测到人脸时,输出的人脸检测结果为该待检测图像中不存在人脸;当其中的第一人脸子分类器在待检测图像中检测到人脸时,输出的人脸检测结果包括:该待检测图像中存在人脸以及人脸姿态。
例如,标号为1的人脸子分类器对应的人脸姿态为表1中的标号为1,即正脸且倾斜角度为0°。当标号为1的人脸子分类器检测到待检测图像中存在人脸时,则输出的人脸检测结果为:当前待检测图像中存在人脸,人脸姿态为正脸且倾斜角度为0°。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (8)
1.一种人脸子分类器扩展器,其特征在于,包括:像素点位置变换单元以及ULBP码变换单元,其中:
所述像素点位置变换单元,适于根据扩展的人脸子分类器待检测人脸的姿态与预设的基础人脸子分类器待检测人脸的姿态的关系,对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行相应的变换,得到所述扩展的人脸子分类器所选择的与人脸图像像素点A对应的人脸图像像素点B的位置;
所述ULBP码变换单元,适于对所述扩展的人脸子分类器中选择的人脸图像像素点B的ULBP码进行变换操作,得到变换后的ULBP码,所述变换后的ULBP码与所述基础人脸子分类器中的人脸图像像素点A对应的ULBP码相同。
2.如权利要求1所述的人脸子分类器扩展器,其特征在于,所述人脸图像像素点的ULBP码采用如下方式编码:
将所有LBP码中所有0、1跳变次数等于2的LBP码划分为第一类LBP码,并将所述第一类LBP码中1的个数相同的LBP码划分为一组;分别对每一组LBP码进行编码,得到一一对应的ULBP码,其中:每一组ULBP码中,所有的的ULBP码的高3位相等,低3位均不相等;
将所有LBP码中全0、全1以及0、1跳变次数大于2的LBP码划分为第二类LBP码,并将第二类LBP码进行编码,得到的第二类LBP码对应的ULBP码与所述第一类LBP码对应的ULBP码均不同。
3.如权利要求2所述的人脸子分类器扩展器,其特征在于,所述ULBP码变换单元包括:保持子单元,适于当所述人脸图像像素点B对应的LBP码为全0、全1以及0、1跳变次数大于2时,保持所述人脸图像像素点B的ULBP码不变。
4.如权利要求2所述的人脸子分类器扩展器,其特征在于,所述ULBP码变换单元包括:镜像变换子单元,适于当所述像素点位置变换单元对所述基础人脸子分类器中人脸图像像素点A的位置进行镜像变换操作时,对人脸图像像素点B的ULBP码进行变换,提取所述扩展的人脸子分类器中选择的人脸图像像素点B对应的ULBP码的高3位,作为变换后的ULBP码的高3位;分别将所述扩展的人脸子分类器中选择的人脸图像像素点A对应的ULBP码的高3位以及低3位取反,高3位取反值与低3位取反值求和之后与二进制数100相加,得到的结果作为变换后的ULBP码的低3位。
5.如权利要求2所述的人脸子分类器扩展器,其特征在于,所述ULBP码变换单元包括:旋转变换子单元,适于当所述像素点位置变换单元对所述基础人脸子分类器中人脸图像像素点A的位置进行旋转操作时,对人脸图像像素点B的ULBP码进行变换,提取所述扩展的人脸子分类器中选择的人脸图像像素点B对应的ULBP码的高3位,作为变换后的ULBP码的高3位;将所述扩展的人脸子分类器中选择的人脸图像像素点A对应的ULBP码的低3位与旋转操作角度对应的旋转值相减,当相减结果大于或等于0时,将所述相减结果作为变换后的ULBP码的低3位;当相减结果小于0时,将相减结果与二进制数1000相加,取相加结果的低3位作为变换后的ULBP码的低3位。
6.如权利要求5所述的人脸子分类器扩展器,其特征在于,所述旋转操作角度对应的旋转值为:当顺时针旋转90°时,对应的旋转值为二进制数10;当顺时针旋转180°时,对应的旋转值为二进制数100;当顺时针旋转270°时,对应的旋转值为二进制数110。
7.如权利要求1所述的人脸子分类器扩展器,其特征在于,所述像素点位置变换单元,适于当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行镜像变化操作时,计算得到所述扩展的人脸子分类器中的人脸图像像素点B的横坐标为:xai=w-xoi,纵坐标为yai=yoi;
其中,xai为所述扩展的人脸子分类器中所选择的人脸图像像素点B的横坐标,yai为所述扩展的人脸子分类器中所选择的人脸图像像素点B的纵坐标,xoi为所述基础人脸子分类器中选择的人脸图像像素点A的横坐标,yoi为所述基础人脸子分类器中选择的人脸图像像素点A的纵坐标,w为人脸检测窗口宽度。
8.如权利要求1所述的人脸子分类器扩展器,其特征在于,所述像素点位置变换单元,适于当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转90°时,计算得到所述扩展的人脸子分类器中的人脸图像像素点B的横坐标为:xai=w-yoi;纵坐标为:yai=xoi;
当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转180°时,计算得到所述扩展的人脸子分类器中人脸图像像素点B的横坐标为:xai=w-xoi,纵坐标为:yai=w-yoi;
当对所述基础人脸子分类器中选择的人脸图像像素点A的位置进行顺时针旋转270°时,计算得到所述扩展的人脸子分类器中人脸像素点B的横坐标为:xai=yoi,纵坐标为:yai=w-xoi;
其中,xai为所述扩展的人脸子分类器所选择的人脸图像像素点B的横坐标,yai为所述扩展的人脸子分类器所选择的人脸图像像素点B的纵坐标,xoi为所述基础人脸子分类器中选择的人脸图像像素点A的横坐标,yoi为所述基础人脸子分类器中选择的人脸图像像素点A的纵坐标,w为人脸检测窗口宽度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610543535.2A CN107609455B (zh) | 2016-07-11 | 2016-07-11 | 人脸子分类器扩展器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610543535.2A CN107609455B (zh) | 2016-07-11 | 2016-07-11 | 人脸子分类器扩展器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107609455A CN107609455A (zh) | 2018-01-19 |
CN107609455B true CN107609455B (zh) | 2019-11-12 |
Family
ID=61055301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610543535.2A Active CN107609455B (zh) | 2016-07-11 | 2016-07-11 | 人脸子分类器扩展器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107609455B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719222A (zh) * | 2009-11-27 | 2010-06-02 | 北京中星微电子有限公司 | 分类器训练方法和装置以及人脸认证方法和装置 |
CN103824090A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种自适应的人脸低层特征选择方法及人脸属性识别方法 |
-
2016
- 2016-07-11 CN CN201610543535.2A patent/CN107609455B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719222A (zh) * | 2009-11-27 | 2010-06-02 | 北京中星微电子有限公司 | 分类器训练方法和装置以及人脸认证方法和装置 |
CN103824090A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种自适应的人脸低层特征选择方法及人脸属性识别方法 |
Non-Patent Citations (2)
Title |
---|
Robust face detection using local gradient patterns and evidence accumulation;Bongjin Jun et al;《Pattern Recognition》;20121231;第3304-3316页 * |
基于局部二值模式和相位变换的瑕疵检测方法;张永梅 等;《计算机工程与设计》;20141231;第35卷(第9期);第3123-3126页 * |
Also Published As
Publication number | Publication date |
---|---|
CN107609455A (zh) | 2018-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110059620B (zh) | 基于时空注意力的骨骼行为识别方法 | |
CN109816012B (zh) | 一种融合上下文信息的多尺度目标检测方法 | |
CN111047516B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
KR101581112B1 (ko) | 계층적 패턴 구조에 기반한 기술자 생성 방법 및 이를 이용한 객체 인식 방법과 장치 | |
CN105844669B (zh) | 一种基于局部哈希特征的视频目标实时跟踪方法 | |
US10055639B2 (en) | Face detection in an image data stream using skin colour patch constructs | |
Sergyan | Color histogram features based image classification in content-based image retrieval systems | |
CN103929644B (zh) | 一种视频指纹库建立、视频指纹识别方法及装置 | |
Delmerico et al. | Building facade detection, segmentation, and parameter estimation for mobile robot localization and guidance | |
JP2002319024A (ja) | 色と質感との組み合わせに基づく映像検索方法 | |
CN111401387B (zh) | 异常样本构建方法、装置、计算机设备和存储介质 | |
CN104715481A (zh) | 基于随机森林的多尺度印刷品缺陷检测方法 | |
US20130342559A1 (en) | Temporally consistent superpixels | |
CN112581462A (zh) | 工业产品的外观缺陷检测方法、装置及存储介质 | |
CN107248172A (zh) | 一种基于cva和样本选择的遥感影像变化检测方法 | |
CN108537196A (zh) | 基于运动历史点云生成的时空分布图的人体行为识别方法 | |
Finlayson et al. | A curious problem with using the colour checker dataset for illuminant estimation | |
CN103093226B (zh) | 一种用于图像特征处理的ratmic描述子的构造方法 | |
CN107392211B (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
Chen et al. | Salbinet360: Saliency prediction on 360 images with local-global bifurcated deep network | |
CN113065598A (zh) | 一种绝缘子识别模型的获取方法、装置及计算机设备 | |
CN107609455B (zh) | 人脸子分类器扩展器 | |
CN105700402B (zh) | 基于人员检测的嵌入式控制系统、设备和方法 | |
CN103034859B (zh) | 一种获取姿势模型的方法及装置 | |
CN107085725B (zh) | 一种通过基于自适应码本的llc聚类图像区域的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address | ||
CP03 | Change of name, title or address |
Address after: 100089 18 / F, block B, Zhizhen building, No.7, Zhichun Road, Haidian District, Beijing Patentee after: Beijing Ziguang zhanrui Communication Technology Co.,Ltd. Address before: 100084, Room 516, building A, Tsinghua Science Park, Beijing, Haidian District Patentee before: BEIJING SPREADTRUM HI-TECH COMMUNICATIONS TECHNOLOGY Co.,Ltd. |