CN107169463B - 人脸检测方法、装置、计算机设备及存储介质 - Google Patents

人脸检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN107169463B
CN107169463B CN201710365520.6A CN201710365520A CN107169463B CN 107169463 B CN107169463 B CN 107169463B CN 201710365520 A CN201710365520 A CN 201710365520A CN 107169463 B CN107169463 B CN 107169463B
Authority
CN
China
Prior art keywords
node
image
branch
regression tree
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710365520.6A
Other languages
English (en)
Other versions
CN107169463A (zh
Inventor
王新亮
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710365520.6A priority Critical patent/CN107169463B/zh
Publication of CN107169463A publication Critical patent/CN107169463A/zh
Application granted granted Critical
Publication of CN107169463B publication Critical patent/CN107169463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00248Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • G06K9/00275Holistic features and representations, i.e. based on the facial image taken as a whole
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00268Feature extraction; Face representation
    • G06K9/00281Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00288Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6267Classification techniques
    • G06K9/6279Classification techniques relating to the number of classes
    • G06K9/628Multiple classes
    • G06K9/6281Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G06K9/6282Tree-organised sequential classifiers
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree

Abstract

本发明涉及一种人脸检测方法、装置、计算机设备及存储介质。上述方法包括:获取待检测图像;获取预先构建的概率回归模型中本次回归树的初始形状;从待检测图像提取图像特征,并根据图像特征分别计算本次回归树各个叶子结点的概率;从本次回归树中提取所述各个叶子结点的误差;根据各个叶子结点的概率及误差确定本次回归树的形状误差;根据初始形状及形状误差计算得到本次回归树的估计形状;将估计形状作为相邻的下一回归树的初始形状进行迭代计算,直至概率回归模型中的最后一棵回归树,得到最后一棵回归树的估计形状,作为检测到的人脸形状。上述人脸检测方法、装置、计算机设备及存储介质,可以有效解决视频图像序列出现的人脸特征点抖动问题。

Description

人脸检测方法、装置、计算机设备及存储介质
技术领域
[0001] 本发明涉及计算机技术领域,特别是涉及一种人脸检测方法、装置、计算机设备及 存储介质。
背景技术
[0002] 伴随着机器视觉研究的兴起,以人脸检测、标记和分析等技术为基础的应用成为 当下的热点,包括人脸身份识别,人脸特效,表情分析识别等。所有这些应用依赖的基础就 是人脸检测和标记技术。人脸标记就是给定一张人脸图像,在人脸图像的人脸区域找出面 部和五官边缘轮廓的位置,通过找到的位置就可以获得面部轮廓形状和五官的位置及形 状,从而可以进一步进行特征分析、属性分析等。
[0003] 进行人脸标记的算法可主要包括形状模型算法、级联回归算法及基于神经网络和 深度神经网络的算法等。其中,形状模型算法对人脸特征点构成的形状进行建模,假设前提 是任何一张人脸形状都可以由一个相对稳定的平均形状经过旋转,平移和尺度缩放来得 至IJ;级联回归算法是非参数的方法,对图像特征和形状建模,通过样本训练过程学习图像特 征和形状之间的映射关系,并且学习这个过程是逐级迭代的过程,逐渐逼近真实形状,直到 满足误差要求;基于神经网络和深度神经网络的算法,则是通过多层神经网络模型建立起 图像特征和特征点形状的映射关系,在训练过程中通过学习得到输入图像特征和形状的确 定函数关系。传统的人脸标记的算法都是基于单帧图像的,而对于视频图像序列而言,由于 摄像头的和外部光照环境的影响,视频前后帧的图像即使没有运动也会有明显的差异,会 导致特征点的抖动,位置不稳定,利用传统的人脸标记算法对视频图像序列进行人脸检测 标记准确性较低。
发明内容
[0004] 本发明实施例提供一种人脸检测方法、装置、计算机设备及存储介质,可以有效解 决视频图像序列出现的人脸特征点抖动问题,使检测到的人脸形状更加稳定、准确。
[0005] 本发明实施例还提供一种用于人脸检测的模型的构建方法、装置、计算机设备及 存储介质,可以有效解决视频图像序列出现的人脸特征点抖动问题,使检测到的人脸形状 更加稳定、准确。
[0006] —种人脸检测方法,包括:
[0007] 获取待检测图像;
[0008] 获取预先构建的概率回归模型中本次回归树的初始形状;
[0009] 从所述待检测图像提取图像特征,并根据所述图像特征分别计算所述本次回归树 各个叶子结点的概率;
[0010] 从所述本次回归树中提取所述各个叶子结点的误差;
[0011] 根据所述各个叶子结点的概率及误差确定所述本次回归树的形状误差;
[0012] 根据所述初始形状及所述形状误差计算得到所述本次回归树的估计形状;
[0013] 将所述估计形状作为相邻的下一回归树的初始形状进行迭代计算,直至所述概率 回归模型中的最后一棵回归树,得到所述最后一棵回归树的估计形状,作为检测到的人脸 形状。
[0014] —种用于人脸检测的模型的构建方法,包括:
[0015] 根据样本图像集构建级联回归的概率回归模型,所述概率回归模型包括多级随机 森林,每级随机森林包括多棵回归树;
[0016] 所述根据样本图像集构建级联回归的概率回归模型,包括:
[0017] 构建每级随机森林时,从所述样本图像集中随机选取第一像素对集合;
[0018] 根据所述第一像素对集合对所述样本图像集的样本图像进行划分,分裂生成回归 树的各个结点,配置生成的回归树各个叶子结点的概率,并根据分配到所述各个叶子结点 的样本图像的真实形状与所述生成的回归树的初始预测形状确定所述各个叶子结点的误 差;
[0019] 根据所述生成的回归树的初始预测形状与所述各个叶子结点的误差计算所述生 成的回归树的预测形状,并将所述预测形状作为相邻的下一棵回归树的初始预测形状迭代 生成所述下一棵回归树,直至完成概率回归模型最后一级随机森林的回归树生成。
[0020] 一种人脸检测装置,包括:
[0021] 图像获取模块,用于获取待检测图像;
[0022] 初始形状获取模块,用于获取预先构建的概率回归模型中本次回归树的初始形 状;
[0023] 概率计算模块,用于从所述待检测图像提取图像特征,并根据所述图像特征分别 计算所述本次回归树各个叶子结点的概率;
[0024] 误差提取模块,用于从所述本次回归树中提取所述各个叶子结点的误差;
[0025] 形状误差确定模块,用于根据所述各个叶子结点的概率及误差确定所述本次回归 树的形状误差;
[0026] 估计形状计算模块,用于根据所述初始形状及所述形状误差计算得到所述本次回 归树的估计形状;
[0027] 迭代计算模块,用于将所述估计形状作为相邻的下一回归树的初始形状进行迭代 计算,直至所述概率回归模型中的最后一棵回归树,得到所述最后一棵回归树的估计形状, 作为检测到的人脸形状。
[0028] —种用于人脸检测的模型的构建装置,包括:
[0029] 模型构建模块,用于根据样本图像集构建级联回归的概率回归模型,所述概率回 归模型包括多级随机森林,每级随机森林包括多棵回归树;
[0030] 所述模型构建模块,包括:
[0031] 第一选取单元,用于构建每级随机森林时,从所述样本图像集中随机选取第一像 素对集合;
[0032] 回归树生成单元,用于根据所述第一像素对集合对所述样本图像集的样本图像进 行划分,分裂生成回归树的各个结点;
[0033] 概率配置单元,用于配置生成的回归树各个叶子结点的概率;
[0034] 误差确定单元,用于根据生成的回归树中分配到各个叶子结点的样本图像的真实 形状与所述生成的回归树的初始预测形状确定所述各个叶子结点的误差;
[0035] 迭代生成单元,用于根据所述生成的回归树的初始预测形状与所述各个叶子结点 的误差计算所述生成的回归树的预测形状,并将所述预测形状作为相邻的下一棵回归树的 初始预测形状迭代生成所述下一棵回归树,直至完成概率回归模型最后一级随机森林的回 归树生成。
[0036] 一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的 计算机程序,所述处理器执行所述程序时实现如上所述的人脸检测方法。
[0037] 一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的 计算机程序,所述处理器执行所述程序时实现如上所述的用于人脸检测的模型的构建方 法。
[0038] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执 行时实现如上所述的人脸检测方法。
[0039] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执 行时实现如上所述的用于人脸检测的模型的构建方法。
[0040] 上述人脸检测方法、装置、计算机设备及存储介质,从待检测图像提取图像特征, 并计算在概率回归模型的本次回归树各个叶子结点的概率,根据各个叶子结点的概率及误 差确定本次回归树的形状误差,从而计算得到本次回归树的估计形状,将该估计形状作为 相邻的下一回归树的初始形状进行迭代计算,从而逐步逼近真实误差,得到准确的人脸形 状,每棵回归树的形状误差由该回归树所有叶子结点的误差及概率来确定,可使得估计形 状更为稳定、准确,可以有效解决视频图像序列出现的人脸特征点抖动问题。
[0041] 上述用于人脸检测的模型的构建方法、装置、计算机设备及存储介质,根据样本图 像集构建级联回归的概率回归模型,通过随机选取的第一像素对集合对样本图像集的样本 图像进行划分,分裂生成回归树的各个结点,配置生成的回归树各个叶子结点的概率,并确 定各个叶子结点的误差,得到生成的回归树的预测形状,从而将该预测形状作为相邻的下 一棵回归树的初始预测形状迭代生成下一棵回归树,概率回归模型中的每一级随机森林及 每级随机森林下的每一棵回归树都是对真实误差的进一步预测,通过该概率回归模型进行 人脸检测时,每棵回归树的形状误差由该回归树所有叶子结点的误差及概率来确定,可使 得估计形状更为稳定、准确,可以有效解决视频图像序列出现的人脸特征点抖动问题。
附图说明
[0042] 图1为一个实施例中计算机设备的框图;
[0043] 图2为一个实施例中人脸检测方法的流程示意图;
[0044] 图3为一个实施例中用特征点组成的人脸形状示意图;
[0045] 图4 (a)为一个实施例中概率回归模型的示意图;
[0046] 图4⑹为一个实施例中回归树的示意图;
[0047] 图5为一个实施例中计算本次回归树各个叶子结点的概率的流程示意图;
[0048]图6为另一个实施例中回归树的不意图;
[0049] 图7为一个实施例中对待检测图像进行中值滤波处理的流程示意图;
[0050] 图8为一个实施例中构建级联回归的概率回归模型的流程示意图;
[0051] 图9为一个实施例中对样本图像集的样本图像进行划分,分裂生成回归树的各个 结点的流程示意图;
[0052] 图10为一个实施例中确定各个结点的划分像素对的流程示意图;
[0053] 图11为一个实施例中计算划分后的样本图像在结点的误差的流程示意图;
[0054] 图12为一个实施例中人脸检测装置的框图;
[0055] 图13为一个实施例中概率计算模块的框图;
[0056] 图14为一个实施例中滤波模块的框图;
[0057] 图15为一个实施例中模型构建模块的框图。
具体实施方式
[0058] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对 本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不 用于限定本发明。
[0059] 图1为一个实施例中计算机设备的框图。如图1所示,该计算机设备包括通过系统 总线连接的处理器、非易失性存储介质、内存储器及网络接口。其中,计算机设备的非易失 性存储介质存储有操作系统及计算机可执行指令,该计算机可执行指令用于实现本发明实 施例中提供的适用于计算机设备的一种人脸检测方法。该处理器用于提供计算和控制能 力,支撑整个计算机设备的运行。计算机设备中的内存储器为非易失性存储介质中的操作 系统及计算机可执行指令的运行提供环境,网络接口用于与其它的计算机设备进行网络通 信。该计算机设备可以是手机、平板电脑、PC (personal computer)等终端,也可以是服务器 等。本领域技术人员可以理解,图1中示出的结构,仅仅是与本申请方案相关的部分结构的 框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体地计算机设备可以 包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0060] 在另一个实施例中,图1所示的计算机设备的非易失性存储介质存储有操作系统 及计算机可执行指令,该计算机可执行指令还用于实现本发明实施例中提供的适用于计算 机设备的一种用于人脸检测的模型的构建方法。
[0061] 如图2所示,在一个实施例中,提供一种人脸检测方法,包括以下步骤:
[0062] 步骤S210,获取待检测图像。
[0063] 待检测图像指的是需要检测人脸形状的图像,其中,人脸形状可包括面部轮廓形 状和五官的位置及形状等。人脸形状可由在人脸标记的各个特征点所在的位置进行表示, 如图3所示,图3为一个实施例中用特征点组成的人脸形状示意图,图3中各个带有标号的点 即为特征点,根据各个特征点的位置即可组成人脸形状,其中,标号1至17的特征点表示面 部轮廓形状,标号18至27的特征点表示眉毛位置及形状,标号28至37的特征点表示鼻子位 置及形状,标号37至46的特征点表示眼睛位置及形状,标号49至68的特征点表示嘴巴位置 及形状。
[0064] 在一个实施例中,计算机设备获取待检测图像,若该待检测图像为彩色图像,可将 彩色图像按照对应的转化矩阵转化为灰度图像,其中,灰度图像指的是每个像素只有一个 采样颜色的图像。计算机设备可先根据灰度图像的图像特征粗略检测待检测图像中是否包 含人脸,若包含,可从灰度图像中提取检测到的人脸,并将提取的人脸放入预设的单位矩形 区域内。若待检测图像中包含多个人脸,可分别将人脸提取放入预设的单位矩形区域内,再 逐一进行检测人脸形状。
[0065] 进一步地,计算机设备可通过摄像头等实时采集待检测图像,也可以获取预先存 储的待检测图像,待检测图像可以是视频流中的帧图像,也可以是静态图像等。
[0066] 步骤S220,获取预先构建的概率回归模型中本次回归树的初始形状。
[0067] 概率回归模型包含级联的随机森林,概率回归模型中可包括多级随机森林,每级 随机森林下可包括多棵回归树,每级随机森林及每级随机森林下的每棵回归树具备级联关 系,上一级随机森林输出的估计形状是相邻的下一级随机森林的初始形状,同级随机森林 中上一棵回归树输出的估计形状是相邻的下一棵回归树的初始形状。回归树使用了二叉树 将预测空间划分为若干子集,回归树中的每个叶子结点对应划分的不同区域,每个进入回 归树的图像最终均会被分配到唯一的叶子结点上。
[0068] 计算机设备可获取预先生成的模型文件,并对模型文件进行解析,根据模型文件 中包含的信息重新构建级联的概率回归模型,并根据该概率回归模型检测待检测人脸图像 中的人脸形状,其中,模型文件包含的信息可包括随机森林的级数、每级随机森林的回归树 数量、每棵回归树的深度、回归树中每个结点的结点信息等。
[0069] 针对于概率回归模型中的每一级随机森林,每级随机森林下的每棵回归树进行迭 代计算,最后得到检测到的人脸形状。计算机设备进行迭代计算时,需获取概率回归模型中 本次回归树的初始形状,其中,本次回归树指的是正在进行估计形状计算的回归树。进一步 地,计算机设备解析模型文件,还可获取在根据样本图像集构建概率回归模型时,该样本图 像集中各个样本图像的平均形状,并将样本图像集中各个样本图像的平均形状作为概率回 归模型第一级随机森林的第一棵回归树的初始形状。
[0070] 步骤S230,从待检测图像提取图像特征,并根据图像特征分别计算本次回归树各 个叶子结点的概率。
[0071] 计算机设备可根据本次回归树中各个结点包含的对应的结点信息,从待检测图像 中提取图像特征,其中,结点信息用于表示对应结点的划分规则。进一步地,结点信息可包 括划分像素对的坐标信息,计算机设备可根据划分像素对的坐标信息,从放有提取的人脸 的预设单位矩形区域内对应的位置处提取图像特征。计算机设备可根据从待检测图像提取 的与本次回归树各个结点对应的图像特征,分别计算各个叶子结点的概率,其中,叶子结点 指的是度为0的结点,叶子结点没有子结点,也可称为终端结点。
[0072] 步骤S240,从本次回归树中提取各个叶子结点的误差。
[0073] 计算机设备可从模型文件中读取本次回归树中各个叶子结点的误差,其中,各个 叶子结点的误差指的是对应叶子结点计算得到的估计形状与待检测图像的真实形状之间 的差异值,各个叶子结点的误差可为建立概率回归模型时根据样本图像集中大量的样本图 像计算得到。
[0074] 步骤S250,根据各个叶子结点的概率及误差确定本次回归树的形状误差。
[0075] 计算机设备可根据本次回归树各个叶子结点的概率及对应的误差进行加权和计 算,分别计算各个叶子结点的概率及对应的误差的乘积,并将计算得到的乘积进行累加,得 到本次回归树的形状误差。本次回归树的形状误差即为本次回归树计算的估计形状与待检 测图像的真实形状之间的差异值。
[0076] 步骤S260,根据初始形状及形状误差计算得到本次回归树的估计形状。
[0077] 计算机设备可将本次回归树的初始形状与形状误差进行累加,即可得到本次回归 树的估计形状,假设本次回归树的估计形状为sk,初始形状为s1-1,计算得到的形状误差为
Figure CN107169463BD00121
,则
Figure CN107169463BD00122
其中,
Figure CN107169463BD00123
可为本次回归树相邻的上一棵回归树计算得到的估计形 状。
[0078] 步骤S270,将估计形状作为相邻的下一回归树的初始形状进行迭代计算,直至概 率回归模型中的最后一棵回归树,得到最后一棵回归树的估计形状,作为检测到的人脸形 状。
[0079] 计算得到本次回归树的估计形状后,可将本次回归树的估计形状作为相邻的下一 回归树的初始形状,并重复执行步骤S320至步骤S360,得到该下一回归树的估计形状,再将 该下一回归树的估计形状作为相邻的再下一棵回归树的初始形状……以此类推,在概率回 归模型中进行迭代计算,直至概率回归模型的最后一级随机森林的最后一棵回归树,计算 得到最后一级随机森林的最后一棵回归树的估计形状,即为检测到的人脸形状。概率回归 模型中的每级随机森林,每级随机森林下的每棵回归树,均是对待检测图像的真实形状的 逼近。在概率模型中按照上述方式进行迭代计算,可逐步从最初样本图像集中各个样本图 像的平均形状逐步逼近待检测图像的真实形状,从而得到检测到的人脸形状。
[0080] 图4 (a)为一个实施例中概率回归模型的示意图。如图4 (a)所示,该概率回归模型 中包括T级随机森林410,上一级随机森林RH输出的估计形状为St-1,作为相邻的下一级随 机森林Rt输入的初始形状。每一级随机森林410下还包括K棵回归树420,上一棵回归树rk_1 输出的估计形状为sk'作为相邻的下一棵回归树rk输入的初始形状。其中,St3表示从模型文 件中获取的样本图像集中各个样本图像的平均形状,通过多次的迭代计算,逐步逼近待检 测图像的真实形状,最后一级随机森林Rt计算得到的估计形状St,作为检测到的人脸形状。
[0081] 图4⑹为一个实施例中回归树的示意图。如图4⑹所示,回归树rk包括多个结点 422,可根据各个结点422包含的对应的结点信息从待检测图像中提取图像特征,并根据提 取的图像特征分别计算回归树rk各个叶子结点424的概率,从回归树rk中提取各个叶子结点 424的误差,根据各个叶子结点424的概率及对应的误差计算回归树rk的形状误差,再根据 回归树rk的初始形状Slrf及计算得到的形状误差得到回归树rk的估计形状sk。
[0082] 上述人脸检测方法,从待检测图像提取图像特征,并计算在概率回归模型的本次 回归树各个叶子结点的概率,根据各个叶子结点的概率及误差确定本次回归树的形状误 差,从而计算得到本次回归树的估计形状,将该估计形状作为相邻的下一回归树的初始形 状进行迭代计算,从而逐步逼近真实误差,得到准确的人脸形状,每棵回归树的形状误差由 该回归树所有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可以有效解 决视频图像序列出现的人脸特征点抖动问题。
[0083] 如图5所示,在一个实施例中,步骤S330从待检测图像提取图像特征,并根据图像 特征分别计算本次回归树各个叶子结点的概率,包括以下步骤:
[0084] 步骤S502,从本次回归树的根结点开始,根据各个结点的结点信息从待检测图像 提取图像特征。
[0085] 回归树中可包括有多个结点,各个结点包含有对应的结点信息,其中,结点信息可 包括划分像素对的坐标信息,其中,划分像素对指的是结点用于划分样本图像的像素对,划 分像素对的坐标信息包括有像素对的第一像素坐标及第二像素坐标。计算机设备可从本次 回归树的根结点开始,根据各个结点包含的划分像素对的坐标信息从待检测图像中提取对 应位置的第一灰度值及第二灰度值,并根据第一灰度值及第二灰度值计算灰度差值,作为 待检测图像与对应结点匹配的图像特征。
[0086] 进一步地,计算机设备可根据各个结点包含的划分像素对的坐标信息,从放有提 取的人脸的预设单位矩形区域内,提取对应位置的第一灰度值及第二灰度值,根据第一灰 度值及第二灰度值计算灰度差值,作为待检测图像与对应结点匹配的图像特征。可以理解 地,图像特征也可以是其它的特征信息,例如像素的梯度特征、纹理特征等,并不仅限于灰 度差值。
[0087] 步骤S504,根据各个结点提取的图像特征计算对应结点的分支概率,分支概率包 括左分支概率及右分支概率,右分支概率与对应结点提取的图像特征成正相关关系,左分 支概率与右分支概率之和为1。
[0088] 各个结点包含的结点信息还可包括对应的划分阈值及分支概率,其中,划分阈值 指的是结点用于划分样本图像的图像特征阈值;回归树除叶子结点外的各个结点,均可分 裂生成左分支结点及右分支结点,分支概率指的是结点上样本图像被分配到该结点的左分 支结点及右分支结点的概率,分支概率可包括左分支概率及右分支概率,左分支概率用于 表;^分配到结点的样本图像被划分到该结点的左分支结点的概率,右分支概率用于表不分 配到结点的样本图像被划分到该结点的右分支结点的概率。
[0089] 在本实施例中,可根据下列公式⑴计算得到各个结点的右分支概率:
[
Figure CN107169463BD00131
[0091] 其中,Pr表示结点的右分支概率,α为常量,取值一般可在(〇. 05,0.3]之间,g为待 检测图像中与该结点对应的灰度差值,th为与该结点对应的划分阈值。结点的右分支概率 Pr与提取的与该结点对应灰度差值g成正相关关系。结点的左分支概率与右分支概率之和 为1,左分支概率Pl=l_Pr。
[0092] 计算机设备可计算本次回归树中除叶子结点外的各个结点的右分支概率及左分 支概率,从根结点开始,先计算根结点的左分支概率及右分支概率,然后计算由根结点分裂 生成的左分支结点的左分支概率及右分支概率,计算由根结点分裂生成的右分支结点的左 分支概率及右分支概率……以此类推,按顺序逐级计算回归树每个层级上各个结点的分支 概率,直至最后一级深度则停止计算。
[0093] 步骤S506,确定各个叶子结点所经历过的分支对应的分支概率,并确定对应的分 支概率计算得到各个叶子结点的概率。
[0094] 可分别确定本次回归树中各个叶子结点所经历过的分支对应的分支概率,并将叶 子结点所经历过的分支对应的分支概率进行相乘,得到对应叶子结点的概率。
[0095] 举例对上述计算回归树各个叶子结点的步骤进行说明。图6为另一个实施例中回 归树的示意图。如图6所示,回归树4包括7个结点,其中,结点1为根结点,结点1分裂生成结 点2及结点3,结点2又分裂生成结点4与结点5,结点3分裂生成结点6与结点7,结点4至结点7 为叶子结点。计算机设备可根据公式(1)分别计算回归树rk除叶子结点外各个结点的分支 概率,从根结点1开始,计算根结点1的右分支概率Prl及左分支概率Pll = I-Prl,再计算由根 结点1分裂生成的左分支结点2的右分支概率Pr2及左分支概率P12 = I-Pr2,计算由根结点1分 裂生成的分支结点3的右分支概率Pr3及左分支概率P13 = I-Pr3。叶子结点4所经历过的分支 对应的分支概率包括结点1的左分支概率PIi及结点2的左分支概率Pi2,因此叶子结点4的概 率为Pll*pi2;叶子结点5所经历过的分支对应的分支概率包括结点1的左分支概率Pii及结点 2的右分支概率pr2,因此叶子结点5的概率为pn*pr2;叶子结点6所经历过的分支对应的分支 概率包括结点1的右分支概率Prl及结点3的左分支概率Pl3,因此叶子结点6的概率为prl*pi3; 叶子结点7所经历过的分支对应的分支概率包括结点1的右分支概率Prl及结点3的右分支概 率Pr3,因此叶子结点7的概率为prl*pr3。
[0096] 在本实施例中,可根据待检测图像的图像特征计算回归树各个叶子结点的概率, 使得根据概率回归模型检测待检测图像的人脸形状时,每棵回归树的形状误差由该回归树 所有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可以有效解决视频图 像序列出现的人脸特征点抖动问题。
[0097] 在一个实施例中,在步骤S310获取待检测图像之后,还包括:对待检测图像进行中 值滤波处理。
[0098] 计算机设备获取待检测图像,可对待检测图像进行去噪滤波处理。在本实施例中, 计算机设备将待检测图像转化为灰度图像,可对该灰度图像进行中值滤波处理,中值滤波 是一种非线性平滑技术,可将该灰度图像中任意一点的像素值用该点的一个区域内各点的 像素值的中值代替,让该点周围的像素值接近真实值,从而可消除待检测图像中孤立的噪 声点。可以理解地,除了采用中值滤波对待检测图像进行去噪外,还可采用均值滤波、小波 变换滤波等其它滤波方法进行降噪处理。
[0099] 如图7所示,在一个实施例中,对待检测图像进行中值滤波处理,包括以下步骤:
[0100] 步骤S702,在待检测图像中定义预设大小的窗口。
[0101] 计算机设备可在待检测图像转化的灰度图像中定义预设大小的窗口,预设大小可 为N*N大小,其中,N为奇数,例如,N可为5、7等,N不宜过大或过小,当N太大时,会导致灰度图 像中丢失一些细节,造成图像失真,当N太小时,会导致去噪效果不明显。
[0102] 步骤S704,计算窗口包含的各个像素点的灰度值的中值。
[0103] 可提取灰度图像中定义的预设大小的窗口中的各个像素点的灰度值,并将各个像 素点的灰度值按大小顺序进行排列,生成一个数列,并获取位于该数列中间位置的灰度值, 即为窗口包含的各个像素点的灰度值的中值。
[0104] 步骤S706,将位于窗口中心的像素点的灰度值替换为中值。
[0105] 计算机设备可将灰度图像中,位于定义的预设大小的窗口中心的像素点的灰度值 替换为计算得到的该窗口的中值,完成中值滤波。可重复多次在灰度图像中定义不同位置 的窗口进行中值滤波处理。进一步地,可对包含有提取的人脸的预设的单位矩形区域进行 中值滤值处理,在该单位矩形区域内定义预设大小的窗口,并将位于该窗口中心的像素点 的灰度值替换为该窗口包含的各个像素点的灰度值的中值。
[0106] 在本实施例中,获取待检测图像后,可对待检测图像进行滤波处理,降低待检测图 像中的噪声,减弱视频图像序列中由于硬件和环境光照的变化导致的前后帧图像的噪声影 响,使最终检测到的人脸形状更为稳定、准确。
[0107] 在一个实施例中,在步骤S310获取待检测图像之前,还包括:根据样本图像集构建 级联回归的概率回归模型。
[0108] 样本图像集中包含大量的样本图像,每个样本图像均是对人脸区域进行过特征点 标记的图像,样本图像的人脸形状用对应特征点的坐标信息进行表示。由于不同的样本图 像的分辨率及姿态等存在差异,需对样本图像集中的各个样本图像进行归一化处理,通过 将各个样本图像的特征点进行同构尺度的缩放、平移等操作,将各个样本图像的人脸形状 都映射到统一的标准矩阵内,并得到各个样本图像在标准矩阵内对应的形状信息,包括对 应各个特征点的坐标信息等。统一的标准矩阵可以为1*1的单位矩阵,也可为其它大小的矩 阵。对样本图像集中各个样本图像进行归一化处理,可保证各个样本图像上的特征点所在 的矩阵是一致的,方便进行训练,构建得到概率回归模型。
[0109] 在一个实施例中,为了防止样本图像集中的样本图像过拟合,可重新计算样本图 像集中各个样本图像的人脸形状,其中,为了得到一致假设而使假设变得过度严格称为过 拟合,当样本图像过拟合时,将导致构建的概率回归模型检测人脸形状的准确性差。计算机 设备可将样本图像集中的样本图像进行分组,例如,将所有样本图像分成多个组,每个组中 包含的M个样本图像,其中,M可为大于2的整数。
[0110] 计算机设备可对分组后的样本图像循环进行如下处理:选取任一样本图像,从选 取的样本图像所属的组别中随机选择预设数量的样本图像,将预设数量的样本图像进行加 权和计算得到新样本图像,并将选取的样本图像替换为该新样本图像。例如,选取任一样本 图像L·,该样本图像I1属于第3组别,则从第3组别中随机选取2个样本图像Ik及I」,按照预设 的权值,对样本图像Ik及的人脸形状进行加权和计算,得到新的人脸形状,并将样本图像 I1的人脸形状替换为新的人脸形状。可以理解地,预设数量还可以是3、4等,并不限于此,预 设的权值也可根据实际需求进行计算,也可对预设数量的样本图像进行均值计算得到新样 本图像的人脸形状,并进行替换。计算机设备可进行第二预设次数的样本替换,其中,第二 预设次数可根据实际需求及样本图像的数量进行设定,例如,计算机设备对分组后的样本 图像循环进行100次、150次的样本替换等。
[0111] 如图8所示,在一个实施例中,根据样本图像集构建级联回归的概率回归模型,包 括以下步骤:
[0112] 步骤S802,构建每级随机森林时,从样本图像集中随机选取第一像素对集合。
[0113] 概率回归模型中包含级联的随机森林,概率回归模型中可包括多级随机森林,每 级随机森林下可包括多棵回归树。生成概率回归模型是一个迭代生成的过程,逐级生成随 机森林,并逐棵生成每级随机森林下的回归树。当构建每级随机森林时,计算机设备均需从 样本图像集随机选取第一像素对集合,第一像素对集合中可包含N对像素点,每对像素对中 包括随机选取的两个像素点的坐标信息,其中,N可为较大的整数,例如300、400、500等。 [01M]进一步地,计算机设备可按照下述公式(2)从样本图像集中随机选取第一像素对 集合。
Figure CN107169463BD00151
[0116]其中,P为获取分布在人脸五官边缘或人脸轮廓附近的像素点的因子,λ为通用系 数,u和V分别表示随机选取的两个像素点的坐标信息,可通过公式(2)对从样本图像集中随 机选取的像素对进行筛选,当根据随机选取的像素对计算得到的P小于预设阈值 该像素对放在第一像素对集合中。通过公式⑵随机选取第一像素对,无须计算选取的像素 对的梯度差值,即可选择分布在人脸五官边缘或人脸轮廓附近的像素点,计算方式简单快 速,且构建的概率回归模型更加准确。
[0117] 步骤S804,根据第一像素对集合对样本图像集的样本图像进行划分,分裂生成回 归树的各个结点,配置生成的回归树各个叶子结点的概率,并根据分配到各个叶子结点的 样本图像的真实形状与生成的回归树的初始预测形状确定各个叶子结点的误差。
[0118] 计算机设备构建每级随机森林时,可根据随机选取的第一像素对集合构建生成对 应随机森林下的多棵回归树。构建生成每棵回归树时,从回归树的根结点开始,对样本图像 集中的样本图像进行划分,分裂生成该回归树的各个结点,样本图像集中的每个样本图像 最终均会被划分到唯一的叶子结点上。
[0119] 对样本图像集的样本图像进行划分,生成回归树时,可对生成的回归树的叶子结 点的概率进行配置。在分裂生成回归树的各个结点时,对进行样本图像划分的结点配置对 应的分支概率,进行样本图像划分的结点可分裂生成左分支结点及右分结点,分支概率可 包括左分支概率及右分支概率,分别对应进行样本图像划分的结点的左分支及右分支。可 按照公式(1)配置各个进行样本图像划分的结点的右分支概率Pr,右分支概率与样本图像 在对应结点提取的图像特征成正相关关系,并配置各个结点的左分支概率P1=I-Pr,进行样 本图像划分的结点的左分支概率与右分支概率之和为1。计算机设备对生成的回归树除叶 子结点外的各个结点配置对应的分支概率后,可配置各个叶子结点的概率为叶子结点所经 历过的分支对应的分支概率的乘积。
[0120] 计算机设备可迭代生成每级随机森林,以及每级随机森林下的每棵回归树,最终 构建得到级联的概率回归模型。进行迭代生成回归树时,需获取生成的回归树的初始预测 形状,计算机设备可求取样本图像集中所有样本图像的平均形状,并将平均形状作为生成 的第一级随机森林中的第一棵回归树的初始预测形状。样本图像集中的每个样本图像最终 均会被分配到生成的回归树上唯一的叶子结点,可根据分配到各个叶子结点的样本图像的 真实形状与生成的回归树的初始预测形状确定对应叶子结点的误差,其中,样本图像的真 实形状即为样本图像通过特征点表示的人脸形状。
[0121] 进一步地,分别计算分配到各个叶子结点的样本图像的真实形状与初始预测形状 的差值,并求取对应叶子结点上样本图像的真实形状与初始预测形状的差值的均值,即为 该叶子结点的误差。例如,回归树的叶子结点4中分配有2个样本图像,分别计算2个样本图 像与该回归树的初始预测形状的差值为X1&X2,则叶子结点4的误差为(X1+X2) /2。
[0122] 步骤S806,根据生成的回归树的初始预测形状与各个叶子结点的误差计算生成的 回归树的预测形状,并将预测形状作为相邻的下一棵回归树的初始预测形状迭代生成下一 棵回归树,直至完成概率回归模型最后一级随机森林的回归树生成。
[0123] 生成的回归树的各个叶子结点的误差的累加,即为该生成的回归树的误差,将该 生成的回归树的误差与初始预测形状进行累加,即可得到该生成的回归树的预测形状,并 将该预测形状作为相邻的下一棵回归树的初始预测形状,重复执行步骤S804生成下一棵回 归树,并重复执行步骤S802及步骤S804生成下一级随机森林,直至完成概率回归模型最后 一级随机森林的回归树生成。生成的概率模型中的每级随机森林下的每棵回归树的误差的 累加逼近样本图像集中各个样本图像的真实形状与平均形状的真实误差,每级随机森林, 以及每级随机森林下的每棵树都是对各个样本图像的真实形状与平均形状的真实误差的 进一步预测。
[0124] 在本实施例中,根据样本图像集的各个样本图像构建生成级联的概率回归模型, 概率回归模型中的每一级随机森林及每级随机森林下的每一棵回归树都是对真实误差的 进一步预测,通过该概率回归模型进行人脸检测时,每棵回归树的形状误差由该回归树所 有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可以有效解决视频图像 序列出现的人脸特征点抖动问题。
[0125] 如图9所示,在一个实施例中,根据所述第一像素对集合对所述样本图像集的样本 图像进行划分,分裂生成回归树的各个结点,包括:
[0126] 从回归树的根结点开始,对根结点及分裂生成的各个结点进行如下处理:
[0127] 步骤S902,从第一像素对集合中随机选取第二像素对集合。
[0128] 从回归树的根结点开始,对每个结点进行分裂时,均需从第一像素对集合中随机 选取K对像素对,生成第二像素对集合,其中,K为整数,K是相对第一像素对集合的数量N较 小的值,例如N为400时,K可为15、20、30等。
[0129] 步骤S904,根据第二像素对集合对分配到结点的样本图像进行划分,将结点分裂 生成新的分支结点,并确定结点的划分像素对,直至生成的回归树的深度满足预设深度则 停止分裂生成新的分支结点。
[0130] 计算机设备每一次将回归数据结点分裂生成新的分支结点,均是对分配到进行分 裂的结点的样本图像的再次划分。可根据实际需求预先设定回归树的深度,回归树的深度 指的是回归树中最深结点所在的层数,例如,根结点所在的层数为1,根结点分裂生成的分 支结点所在的层数为2,根结点分裂生成的分支结点再分裂生成的分支结点所在的层数为3 等,依此类推。
[0131] 计算机设备可根据从第一像素对集合中随机选取的第二像素对集合,对分配到各 个结点的样本图像进行划分,将对应结点分裂生成新的分支结点,同时,确定结点的划分像 素对,直至生成的回归树的深度满足预设深度则停止分裂生成新的分支结点。
[0132] 如图10所示,在一个实施例中,步骤S904包括以下步骤:
[0133] 步骤S1002,循环第一预设次数从第二像素对集合中随机选取一对像素对对分配 到结点的样本图像进行划分,将结点分裂生成新的分支结点,并确定划分后的样本图像所 处的分支结点,计算划分后的样本图像在结点的误差。
[0134] 结点的划分像素对,指的是根据该划分像素对对分配到该结点的样本图像进行划 分后,样本图像在该结点的误差最小。计算机设备可从第二像素对集合中随机选取一对像 素对,并根据该像素对从各个样本图像对应的位置提取图像特征,将提取的图像特征与预 设阈值进行比对,并根据比对结果将样本图像分配到该结点的左分支结点或右分支结点。 样本划分完成后,可根据分配到左分支结点的样本图像计算左分支误差,根据分配到右分 支结点的样本图像计算右分支误差,从而确定该结点在选取的像素对下的误差。计算机设 备可循环第一预设次数,例如10次、15次或20次等从第二像素对集合中随机选取像素对进 行划分,第一预设次数可根据第二像素对集合中包含的像素对数量。
[0135] 步骤S1004,从第二像素对集合中选取划分后的样本图像在结点的误差最小的像 素对作为结点的划分像素对。
[0136] 计算机设备可循环多次从第二像素对集合中随机选取像素对,对分配到结点的样 本图像进行划分,并计算结点在该选取的像素对下的误差,从而可从中选取划分后的样本 图像在该结点的误差最小的像素对作为该结点的划分像素对。
[0137] 现根据图6对上述生成回归树的过程进行说明。如图6所示,假设样本图像集中共 有1000个样本图像,从根结点1开始,从第一像素对集合中随机选取20个像素对生成第二像 素对集合,循环多次从该20对像素对中随机选取一对像素对,对1000个样本图像进行划分, 并计算划分后的样本图像在根结点1的误差,从中选取误差最小的像素对作为根结点1的划 分像素对(m,V1)。根据该划分像素对(m,V1)将第1-500个样本图像分配至根结点1的左分 支结点2,将第501 -1000个样本图像分配至根结点1的右分支结点3。再对分配到结点2的第 1-500个样本图像进行划分,确定结点2的划分像素对(U2,V2),并将第1-250个样本图像分配 到结点2的左分支结点4,将第251-500个样本图像分配到结点2的右分支结点5。对分配到结 点3的第501-1000个样本图像进行划分,确定结点3的划分像素对(u3,V3),并将第501-750个 样本图像分配到结点3的左分支结点6,将第751-1000个样本图像分配到结点3的右分支结 点7,到达预设深度3,则不进行再次划分。可以理解地,本实施例仅是用于对生成回归树的 过程的说明,实际生成回归树时,对样本图像进行划分时,落在结点的左分支结点与右分支 结点的样本图像数量不一定相等,划分到左、右分支结点的样本图像也不具备任何顺序关 系,完全由该结点的划分像素对决定各样本图像的划分。
[0138] 在本实施例中,确定回归树中每个结点的划分像素对,并根据划分像素对对样本 图像进行划分,可保证每个结点的误差均为最小,使构建的概率回归模型更加准确。
[0139] 如图11所示,在一个实施例中,步骤S1002循环第一预设次数从第二像素对集合中 随机选取一对像素对对分配到结点的样本图像进行划分,将结点分裂生成新的分支结点, 并确定划分后的样本图像所处的分支结点,计算划分后的样本图像在结点的误差,包括以 下步骤:
[0140] 步骤S1102,获取从第二像素对集合中随机选取的一对像素对的坐标信息。
[0M1]步骤S1104,根据坐标信息从分配到结点的样本图像的对应位置提取图像特征。
[0142] 计算机设备从回归树的根结点开始,当对各个结点进行分裂时,可从第二像素对 中随机选取一对像素对,并获取选取的像素对包含的两个像素点的坐标信息,根据该坐标 信息从分配到进行分裂的结点的各个样本图像的对应位置,提取对应的图像特征。在本实 施例中,可分别在分配到结点的样本图像的对应位置提取第三灰度值及第四灰度值,并计 算第三灰度值及第四灰度值的灰度差值,作为样本图像在该结点的图像特征。
[0143] 步骤S1106,将从样本图像中提取的图像特征与预设的划分阈值进行比较,并将图 像特征小于划分阈值的样本图像划分至左分支结点,将图像特征大于或等于划分阈值的样 本图像划分至右分支结点。
[0144] 划分阈值可为预先设定好的固定的图像特征阈值,也可是从预设的图像特征数值 范围内随机选取的划分阈值。计算机设备可将分配到结点的样本图像的对应图像特征与划 分阈值进行比较,并将图像特征小于划分阈值的样本图像划分至左分支结点,将图像特征 大于或等于划分阈值的样本图像划分至右分支结点。可以理解地,也可将图像特征小于划 分阈值的样本图像划分至右分支结点,将图像特征大于或等于划分阈值的样本图像划分至 左分支结点。
[0145] 步骤S1108,计算处于左分支结点的样本图像的第一平均形状,并根据处于左分支 结点的样本图像的真实形状与第一平均形状确定左分支误差。
[0146] 根据分配到结点的左分支结点的各个样本图像的真实形状求取均值,得到第一平 均形状,并分别计算分配到左分支结点的各个样本图像的真实形状与第一平均形状的差 值,将分配到左分支结点的各个样本图像的真实形状与第一平均形状的差值进行累加,即 可得到结点的左分支误差。
[0147] 步骤S1110,计算处于所述右分支结点的样本图像的第二平均形状,并根据所述处 于右分支结点的样本图像的真实形状与第二平均形状确定右分支误差。
[0148] 根据分配到结点的右分支结点的各个样本图像的真实形状求取均值,得到第二平 均形状,并分别计算分配到右分支结点的各个样本图像的真实形状与第二平均形状的差 值,将分配到右分支结点的各个样本图像的真实形状与第二平均形状的差值进行累加,即 可得到结点的右分支误差。
[0M9]步骤S1112,根据左分支误差与右分支误差之和及分配到结点的样本图像的数量 求取均值,得到结点的误差。
[0150] 计算机设备可计算随机选取的像素对下,正在进行分裂的结点的左分支误差及右 分支误差,并求取左分支误差及右分支误差之和,将该左分支误差及右分支误差之和除以 分配到该结点样本图像的数量,得到该结点的误差。针对回归树的各个结点,从第一像素对 集合中随机选取第二像素对集合,循环多次从第二像素对集合中随机选取一对像素对,并 按照步骤S1102至步骤S1112计算该选取的像素对下,对应结点的误差,再从中选取误差最 小的像素对作为该结点的划分像素对。
[0151] 在一个实施例中,根据样本图像集中的样本图像构建生成级联的概率回归模型 后,可生成对应的模型文件,模型文件中存储有概率回归模型包含的随机森林级数,每级随 机森林下的回归树数量,每棵回归树的深度,每棵回归树中各个结点的划分像素对、划分阈 值及配置的分支概率,以及各个叶子结点配置的概率、误差等信息。
[0152] 在本实施例中,可计算随机选取的像素对下结点的误差,从而确定回归树中每个 结点的划分像素对,并根据划分像素对对样本图像进行划分,可保证每个结点的误差均为 最小,使构建的概率回归模型更加准确。
[0153] 在一个实施例中,提供一种用于人脸检测的模型的构建方法,该方法包括:
[0154] 根据样本图像集构建级联回归的概率回归模型,概率回归模型包括多级随机森 林,每级随机森林包括多棵回归树。
[0155] 在一个实施例中,根据样本图像集构建级联回归的概率回归模型,包括以下步骤:
[0156] 构建每级随机森林时,从样本图像集中随机选取第一像素对集合。
[0157] 根据第一像素对集合对样本图像集的样本图像进行划分,分裂生成回归树的各个 结点,配置生成的回归树各个叶子结点的概率,并根据分配到各个叶子结点的样本图像的 真实形状与生成的回归树的初始预测形状确定各个叶子结点的误差。
[0158] 根据生成的回归树的初始预测形状与各个叶子结点的误差计算生成的回归树的 预测形状,并将预测形状作为相邻的下一棵回归树的初始预测形状迭代生成下一棵回归 树,直至完成概率回归模型最后一级随机森林的回归树生成。
[0159] 在一个实施例中,配置生成的回归树各个叶子结点的概率,包括以下步骤:
[0160] 在分裂生成回归树的各个结点时,对进行样本图像划分的结点配置对应的分支概 率,分支概率包括左分支概率及右分支概率,右分支概率与样本图像的图像特征成正相关 关系,左分支概率与右分支概率之和为1。
[0161] 配置生成的回归树的各个叶子结点的概率为叶子结点所经历过的分支对应的分 支概率的乘积。
[0162] 上述用于人脸检测的模型的构建方法,根据样本图像集构建级联回归的概率回归 模型,通过随机选取的第一像素对集合对样本图像集的样本图像进行划分,分裂生成回归 树的各个结点,配置生成的回归树各个叶子结点的概率,并确定各个叶子结点的误差,得到 生成的回归树的预测形状,从而将该预测形状作为相邻的下一棵回归树的初始预测形状迭 代生成下一棵回归树,概率回归模型中的每一级随机森林及每级随机森林下的每一棵回归 树都是对真实误差的进一步预测,通过该概率回归模型进行人脸检测时,每棵回归树的形 状误差由该回归树所有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可 以有效解决视频图像序列出现的人脸特征点抖动问题。
[0163] 在一个实施例中,根据第一像素对集合对所述样本图像集的样本图像进行划分, 分裂生成回归树的各个结点,包括:
[0164] 从回归树的根结点开始,对根结点及分裂生成的各个结点进行如下处理:
[0165] 从第一像素对集合中随机选取第二像素对集合;
[0166] 根据第二像素对集合对分配到结点的样本图像进行划分,将结点分裂生成新的分 支结点,并确定结点的划分像素对,直至生成的回归树的深度满足预设深度则停止分裂生 成新的分支结点。
[0167] 在一个实施例中,根据第二像素对集合对分配到结点的样本图像进行划分,将结 点分裂生成新的分支结点,并确定结点的划分像素对,直至生成的回归树的深度满足预设 深度则停止分裂生成新的分支结点,包括以下步骤:
[0168] 循环第一预设次数从第二像素对集合中随机选取一对像素对对分配到结点的样 本图像进行划分,将结点分裂生成新的分支结点,并确定划分后的样本图像所处的分支结 点,计算划分后的样本图像在结点的误差。
[0169] 从第二像素对集合中选取划分后的样本图像在结点的误差最小的像素对作为结 点的划分像素对。
[0170] 在本实施例中,确定回归树中每个结点的划分像素对,并根据划分像素对对样本 图像进行划分,可保证每个结点的误差均为最小,使构建的概率回归模型更加准确。
[0171] 在一个实施例中,循环第一预设次数从第二像素对集合中随机选取一对像素对对 分配到结点的样本图像进行划分,将结点分裂生成新的分支结点,并确定划分后的样本图 像所处的分支结点,计算划分后的样本图像在结点的误差,包括以下步骤:
[0172] 获取从第二像素对集合中随机选取的一对像素对的坐标信息。
[0173] 根据坐标信息从分配到结点的样本图像的对应位置提取图像特征。
[0174] 将从样本图像中提取的图像特征与预设的划分阈值进行比较,并将图像特征小于 划分阈值的样本图像划分至左分支结点,将图像特征大于或等于划分阈值的样本图像划分 至右分支结点。
[0〃5]计算处于左分支结点的样本图像的第一平均形状,并根据处于左分支结点的样本 图像的真实形状与第一平均形状确定左分支误差。
[0176] 计算处于右分支结点的样本图像的第二平均形状,并根据处于右分支结点的样本 图像的真实形状与第二平均形状确定右分支误差。
[0177] 根据左分支误差与右分支误差之和及分配到结点的样本图像的数量求取均值,得 到结点的误差。
[0178] 在本实施例中,可计算随机选取的像素对下结点的误差,从而确定回归树中每个 结点的划分像素对,并根据划分像素对对样本图像进行划分,可保证每个结点的误差均为 最小,使构建的概率回归模型更加准确。
[0179] 如图12所示,在一个实施例中,提供一种人脸检测装置1200,包括图像获取模块 1210、初始形状获取模块1220、概率计算模块1230、误差提取模块1240、形状误差确定模块 1250、估计形状计算模块1260及迭代计算模块1270。
[0180] 图像获取模块1210,用于获取待检测图像。
[0181] 初始形状获取模块1220,用于获取预先构建的概率回归模型中本次回归树的初始 形状。
[0182] 概率计算模块1230,用于从待检测图像提取图像特征,并根据图像特征分别计算 本次回归树各个叶子结点的概率。
[0183] 误差提取模块1240,用于从本次回归树中提取各个叶子结点的误差。
[0184] 形状误差确定模块1250,用于根据各个叶子结点的概率及误差确定本次回归树的 形状误差。
[0185] 在一个实施例中,形状误差确定模块1250还用于分别计算各个叶子结点的概率及 对应的误差的乘积,并将计算得到的乘积进行累加,得到本次回归树的形状误差。
[0186] 估计形状计算模块1260,用于根据初始形状及形状误差计算得到本次回归树的估 计形状。
[0187] 迭代计算模块1270,用于将估计形状作为相邻的下一回归树的初始形状进行迭代 计算,直至概率回归模型中的最后一棵回归树,得到最后一棵回归树的估计形状,作为检测 到的人脸形状。
[0188] 上述人脸检测装置,从待检测图像提取图像特征,并计算在概率回归模型的本次 回归树各个叶子结点的概率,根据各个叶子结点的概率及误差确定本次回归树的形状误 差,从而计算得到本次回归树的估计形状,将该估计形状作为相邻的下一回归树的初始形 状进行迭代计算,从而逐步逼近真实误差,得到准确的人脸形状,每棵回归树的形状误差由 该回归树所有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可以有效解 决视频图像序列出现的人脸特征点抖动问题。
[0189] 如图13所示,在一个实施例中,概率计算模块1230,包括提取单元1232、第一计算 单元1234及第二计算单元1236。
[0190] 提取单元1232,用于从本次回归树的根结点开始,根据各个结点的结点信息从待 检测图像提取图像特征。
[0191] 第一计算单元1234,用于根据各个结点提取的图像特征计算对应结点的分支概 率,分支概率包括左分支概率及右分支概率,右分支概率与对应结点提取的图像特征成正 相关关系,左分支概率与右分支概率之和为1。
[0192] 第二计算单元1236,用于确定各个叶子结点所经历过的分支对应的分支概率,并 根据对应的分支概率计算得到各个叶子结点的概率。
[0193] 在本实施例中,可根据待检测图像的图像特征计算回归树各个叶子结点的概率, 使得根据概率回归模型检测待检测图像的人脸形状时,每棵回归树的形状误差由该回归树 所有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可以有效解决视频图 像序列出现的人脸特征点抖动问题。
[0194] 在一个实施例中,上述人脸检测装置1200,除了包括图像获取模块1210、初始形状 获取模块1220、概率计算模块1230、误差提取模块1240、形状误差确定模块1250、估计形状 计算模块1260及迭代计算模块1270,还包括滤波模块。
[0195] 滤波模块,用于对待检测图像进行中值滤波处理。
[0196] 如图14所示,滤波模块,包括定义单元1402、中值计算单元1404及替换单元1406。
[0197] 定义单元1402,用于在待检测图像中定义预设大小的窗口。
[0198] 中值计算单元1404,用于计算窗口包含的各个像素点的灰度值的中值。
[0199] 替换单元1406,用于将位于窗口中心的像素点的灰度值替换为中值。
[0200] 在本实施例中,获取待检测图像后,可对待检测图像进行滤波处理,降低待检测图 像中的噪声,减弱视频图像序列中由于硬件和环境光照的变化导致的前后帧图像的噪声影 响,使最终检测到的人脸形状更为稳定、准确。
[0201 ] 在一个实施例中,上述人脸检测装置1200,还包括模型构建模块。
[0202] 模型构建模块,用于根据样本图像集构建级联回归的概率回归模型,概率回归模 型包括多级随机森林,每级随机森林包括多棵回归树。
[0203] 如图15所示,模型构建模块,包括第一选取单元1502、回归树生成单元1504、概率 配置单元1506、误差确定单元1508及迭代生成单元1510。
[0204] 第一选取单元1502,用于构建每级随机森林时,从样本图像集中随机选取第一像 素对集合。
[0205] 回归树生成单元1504,用于根据第一像素对集合对样本图像集的样本图像进行划 分,分裂生成回归树的各个结点。
[0206] 概率配置单元1506,用于配置生成的回归树各个叶子结点的概率。
[0207] 在一个实施例中,概率配置单元1506包括第一配置子单元及第二配置子单元。
[0208] 第一配置子单元,用于在分裂生成回归树的各个结点时,对进行样本图像划分的 结点配置对应的分支概率,分支概率包括左分支概率及右分支概率,右分支概率与样本图 像的图像特征成正相关关系,左分支概率与右分支概率之和为1。
[0209] 第二配置子单元,用于配置生成的回归树的各个叶子结点的概率为叶子结点所经 历过的分支对应的分支概率的乘积。
[0210] 误差确定单元1508,用于根据生成的回归树中分配到各个叶子结点的样本图像的 真实形状与生成的回归树的初始预测形状确定各个叶子结点的误差。
[0211] 迭代生成单元1510,用于根据生成的回归树的初始预测形状与各个叶子结点的误 差计算生成的回归树的预测形状,并将预测形状作为相邻的下一棵回归树的初始预测形状 迭代生成下一棵回归树,直至完成概率回归模型最后一级随机森林的回归树生成。
[0212] 在一个实施例中,上述模型构建模块,还包括分组单元,用于将样本图像集中的样 本图像进行分组,并对分组后的样本图像循环第二预设次数进行如下处理:选取任一样本 图像,从选取的样本图像所属的组别中随机选择预设数量的样本图像,将预设数量的样本 图像进行加权和计算得到新样本图像,并将选取的样本图像替换为新样本图像。
[0213] 在本实施例中,根据样本图像集的各个样本图像构建生成级联的概率回归模型, 概率回归模型中的每一级随机森林及每级随机森林下的每一棵回归树都是对真实误差的 进一步预测,通过该概率回归模型进行人脸检测时,每棵回归树的形状误差由该回归树所 有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可以有效解决视频图像 序列出现的人脸特征点抖动问题。
[0214] 在一个实施例中,回归树生成单元1504,还用于从回归树的根结点开始,对根结点 及分裂生成的各个结点进行如下处理:从第一像素对集合中随机选取第二像素对集合;根 据第二像素对集合对分配到结点的样本图像进行划分,将结点分裂生成新的分支结点,并 确定结点的划分像素对,直至生成的回归树的深度满足预设深度则停止分裂生成新的分支 结点。
[0215] 在一个实施例中,回归树生成单元1504,包括计算子单元及选取子单元。
[0216] 计算子单元,用于循环第一预设次数从第二像素对集合中随机选取一对像素对对 分配到结点的样本图像进行划分,将结点分裂生成新的分支结点,并确定划分后的样本图 像所处的分支结点,计算划分后的样本图像在结点的误差。
[0217] 选取子单元,用于从第二像素对集合中选取划分后的样本图像在结点的误差最小 的像素对作为结点的划分像素对。
[0218] 在本实施例中,确定回归树中每个结点的划分像素对,并根据划分像素对对样本 图像进行划分,可保证每个结点的误差均为最小,使构建的概率回归模型更加准确。
[0219] 在一个实施例中,计算子单元还用于获取从第二像素对集合中随机选取的一对像 素对的坐标信息;根据坐标信息从分配到结点的样本图像的对应位置提取图像特征;将从 样本图像中提取的图像特征与预设的划分阈值进行比较,并将图像特征小于划分阈值的样 本图像划分至左分支结点,将图像特征大于或等于划分阈值的样本图像划分至右分支结 点;计算处于左分支结点的样本图像的第一平均形状,并根据处于左分支结点的样本图像 的真实形状与第一平均形状确定左分支误差;计算处于右分支结点的样本图像的第二平均 形状,并根据处于右分支结点的样本图像的真实形状与第二平均形状确定右分支误差;根 据左分支误差与右分支误差之和及分配到结点的样本图像的数量求取均值,得到结点的误 差。
[0220] 在本实施例中,可计算随机选取的像素对下结点的误差,从而确定回归树中每个 结点的划分像素对,并根据划分像素对对样本图像进行划分,可保证每个结点的误差均为 最小,使构建的概率回归模型更加准确。
[0221] 在一个实施例中,提供一种用于人脸检测的模型的构建装置,包括模型构建模块, 用于根据样本图像集构建级联回归的概率回归模型,概率回归模型包括多级随机森林,每 级随机森林包括多棵回归树。
[0222] 模型构建模块,包括第一选取单元、回归树生成单元、概率配置单元、误差确定单 元及迭代生成单元。
[0223] 第一选取单元,用于构建每级随机森林时,从样本图像集中随机选取第一像素对 集合。
[0224] 回归树生成单元,用于根据第一像素对集合对样本图像集的样本图像进行划分, 分裂生成回归树的各个结点。
[0225] 概率配置单元,用于配置生成的回归树各个叶子结点的概率。
[0226] 在一个实施例中,概率配置单元包括第一配置子单元及第二配置子单元。
[0227] 第一配置子单元,用于在分裂生成回归树的各个结点时,对进行样本图像划分的 结点配置对应的分支概率,分支概率包括左分支概率及右分支概率,右分支概率与样本图 像的图像特征成正相关关系,左分支概率与右分支概率之和为1。
[0228] 第二配置子单元,用于配置生成的回归树的各个叶子结点的概率为叶子结点所经 历过的分支对应的分支概率的乘积。
[0229] 误差确定单元,用于根据生成的回归树中分配到各个叶子结点的样本图像的真实 形状与生成的回归树的初始预测形状确定各个叶子结点的误差。
[0230] 迭代生成单元,用于根据生成的回归树的初始预测形状与各个叶子结点的误差计 算生成的回归树的预测形状,并将预测形状作为相邻的下一棵回归树的初始预测形状迭代 生成下一棵回归树,直至完成概率回归模型最后一级随机森林的回归树生成。
[0231] 在一个实施例中,上述模型构建模块,还包括分组单元,用于将样本图像集中的样 本图像进行分组,并对分组后的样本图像循环第二预设次数进行如下处理:选取任一样本 图像,从选取的样本图像所属的组别中随机选择预设数量的样本图像,将预设数量的样本 图像进行加权和计算得到新样本图像,并将选取的样本图像替换为新样本图像。
[0232] 上述用于人脸检测的模型的构建装置,根据样本图像集构建级联回归的概率回归 模型,通过随机选取的第一像素对集合对样本图像集的样本图像进行划分,分裂生成回归 树的各个结点,配置生成的回归树各个叶子结点的概率,并确定各个叶子结点的误差,得到 生成的回归树的预测形状,从而将该预测形状作为相邻的下一棵回归树的初始预测形状迭 代生成下一棵回归树,概率回归模型中的每一级随机森林及每级随机森林下的每一棵回归 树都是对真实误差的进一步预测,通过该概率回归模型进行人脸检测时,每棵回归树的形 状误差由该回归树所有叶子结点的误差及概率来确定,可使得估计形状更为稳定、准确,可 以有效解决视频图像序列出现的人脸特征点抖动问题。
[0233] 在一个实施例中,回归树生成单元,还用于从回归树的根结点开始,对根结点及分 裂生成的各个结点进行如下处理:从第一像素对集合中随机选取第二像素对集合;根据第 二像素对集合对分配到结点的样本图像进行划分,将结点分裂生成新的分支结点,并确定 结点的划分像素对,直至生成的回归树的深度满足预设深度则停止分裂生成新的分支结 点。
[0234] 在一个实施例中,回归树生成单元,包括计算子单元及选取子单元。
[0235] 计算子单元,用于循环第一预设次数从第二像素对集合中随机选取一对像素对对 分配到结点的样本图像进行划分,将结点分裂生成新的分支结点,并确定划分后的样本图 像所处的分支结点,计算划分后的样本图像在结点的误差。
[0236] 选取子单元,用于从第二像素对集合中选取划分后的样本图像在结点的误差最小 的像素对作为结点的划分像素对。
[0237] 在本实施例中,确定回归树中每个结点的划分像素对,并根据划分像素对对样本 图像进行划分,可保证每个结点的误差均为最小,使构建的概率回归模型更加准确。
[0238] 在一个实施例中,计算子单元还用于获取从第二像素对集合中随机选取的一对像 素对的坐标信息;根据坐标信息从分配到结点的样本图像的对应位置提取图像特征;将从 样本图像中提取的图像特征与预设的划分阈值进行比较,并将图像特征小于划分阈值的样 本图像划分至左分支结点,将图像特征大于或等于划分阈值的样本图像划分至右分支结 点;计算处于左分支结点的样本图像的第一平均形状,并根据处于左分支结点的样本图像 的真实形状与第一平均形状确定左分支误差;计算处于右分支结点的样本图像的第二平均 形状,并根据处于右分支结点的样本图像的真实形状与第二平均形状确定右分支误差;根 据左分支误差与右分支误差之和及分配到结点的样本图像的数量求取均值,得到结点的误 差。
[0239] 在本实施例中,可计算随机选取的像素对下结点的误差,从而确定回归树中每个 结点的划分像素对,并根据划分像素对对样本图像进行划分,可保证每个结点的误差均为 最小,使构建的概率回归模型更加准确。
[0240] 本发明实施例还提供了一种计算机设备。一种计算机设备,包括存储器,处理器及 存储在存储器上并可在处理器上运行的计算机程序,处理器执行该程序时实现如上所述的 人脸检测方法。
[0241] 本发明实施例还提供了一种计算机设备。一种计算机设备,包括存储器,处理器及 存储在存储器上并可在处理器上运行的计算机程序,处理器执行该程序时实现如上所述的 用于人脸检测的模型的构建方法。
[0242] 本发明实施例还提供了一种可读存储介质。一种计算机可读存储介质,其上存储 有计算机程序,计算机程序被处理器执行时实现如上所述的人脸检测方法。
[0243] 本发明实施例还提供了一种可读存储介质。一种计算机可读存储介质,其上存储 有计算机程序,计算机程序被处理器执行时实现如上所述的用于人脸检测的模型的构建方 法。
[0244] 以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实 施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存 在矛盾,都应当认为是本说明书记载的范围。
[0245] 以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并 不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来 说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护 范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (20)

1. 一种人脸检测方法,包括: 获取待检测图像; 获取预先构建的概率回归模型中本次回归树的初始形状; 从所述待检测图像提取图像特征,并根据所述图像特征分别计算所述本次回归树各个 叶子结点的概率; 从所述本次回归树中提取所述各个叶子结点的误差; 根据所述各个叶子结点的概率及误差确定所述本次回归树的形状误差; 根据所述初始形状及所述形状误差计算得到所述本次回归树的估计形状; 将所述估计形状作为相邻的下一回归树的初始形状进行迭代计算,直至所述概率回归 模型中的最后一棵回归树,得到所述最后一棵回归树的估计形状,作为检测到的人脸形状。
2. 根据权利要求1所述的方法,其特征在于,所述从所述待检测图像提取图像特征,并 根据所述图像特征分别计算所述本次回归树各个叶子结点的概率,包括: 从所述本次回归树的根结点开始,根据各个结点的结点信息从所述待检测图像提取图 像特征; 根据所述各个结点提取的图像特征计算对应结点的分支概率,所述分支概率包括左分 支概率及右分支概率,所述右分支概率与对应结点提取的图像特征成正相关关系,所述左 分支概率与所述右分支概率之和为1; 确定各个叶子结点所经历过的分支对应的分支概率,并根据所述对应的分支概率计算 得到所述各个叶子结点的概率。
3. 根据权利要求1所述的方法,其特征在于,所述根据所述各个叶子结点的概率及误差 确定所述本次回归树的形状误差,包括: 分别计算所述各个叶子结点的概率及对应的误差的乘积,并将计算得到的乘积进行累 加,得到所述本次回归树的形状误差。
4. 根据权利要求1所述的方法,其特征在于,在所述获取待检测图像之后,所述方法还 包括: 对所述待检测图像进行中值滤波处理,包括: 在所述待检测图像中定义预设大小的窗口; 计算所述窗口包含的各个像素点的灰度值的中值; 将位于所述窗口中心的像素点的灰度值替换为所述中值。
5. 根据权利要求1所述的方法,其特征在于,在所述获取待检测图像之前,所述方法还 包括: 根据样本图像集构建级联回归的概率回归模型,所述概率回归模型包括多级随机森 林,每级随机森林包括多棵回归树; 所述根据样本图像集构建级联回归的概率回归模型,包括: 构建每级随机森林时,从所述样本图像集中随机选取第一像素对集合; 根据所述第一像素对集合对所述样本图像集的样本图像进行划分,分裂生成回归树的 各个结点,配置生成的回归树各个叶子结点的概率,并根据分配到所述各个叶子结点的样 本图像的真实形状与所述生成的回归树的初始预测形状确定所述各个叶子结点的误差; 根据所述生成的回归树的初始预测形状与所述各个叶子结点的误差计算所述生成的 回归树的预测形状,并将所述预测形状作为相邻的下一棵回归树的初始预测形状迭代生成 所述下一棵回归树,直至完成概率回归模型最后一级随机森林的回归树生成。
6. 根据权利要求5所述的方法,其特征在于,所述根据所述第一像素对集合对所述样本 图像集的样本图像进行划分,分裂生成回归树的各个结点,包括: 从回归树的根结点开始,对所述根结点及分裂生成的各个结点进行如下处理: 从所述第一像素对集合中随机选取第二像素对集合; 根据所述第二像素对集合对分配到结点的样本图像进行划分,将所述结点分裂生成新 的分支结点,并确定所述结点的划分像素对,直至生成的回归树的深度满足预设深度则停 止分裂生成新的分支结点。
7. 根据权利要求6所述的方法,其特征在于,所述根据所述第二像素对集合对分配到结 点的样本图像进行划分,将所述结点分裂生成新的分支结点,并确定所述结点的划分像素 对,包括: 循环第一预设次数从所述第二像素对集合中随机选取一对像素对,对分配到结点的样 本图像进行划分,将所述结点分裂生成新的分支结点,并确定划分后的样本图像所处的分 支结点,计算划分后的样本图像在所述结点的误差; 从所述第二像素对集合中选取划分后的样本图像在所述结点的误差最小的像素对作 为所述结点的划分像素对。
8. 根据权利要求7所述的方法,其特征在于,所述循环第一预设次数从所述第二像素对 集合中随机选取一对像素对,对分配到结点的样本图像进行划分,将所述结点分裂生成新 的分支结点,并确定划分后的样本图像所处的分支结点,计算划分后的样本图像在所述结 点的误差,包括: 获取从所述第二像素对集合中随机选取的一对像素对的坐标信息; 根据所述坐标信息从分配到结点的样本图像的对应位置提取图像特征; 将从样本图像中提取的图像特征与预设的划分阈值进行比较,并将所述图像特征小于 所述划分阈值的样本图像划分至左分支结点,将所述图像特征大于或等于所述划分阈值的 样本图像划分至右分支结点; 计算处于所述左分支结点的样本图像的第一平均形状,并根据所述处于左分支结点的 样本图像的真实形状与所述第一平均形状确定左分支误差; 计算处于所述右分支结点的样本图像的第二平均形状,并根据所述处于右分支结点的 样本图像的真实形状与所述第二平均形状确定右分支误差; 根据所述左分支误差与所述右分支误差之和及分配到所述结点的样本图像的数量求 取均值,得到所述结点的误差。
9. 根据权利要求5所述的方法,其特征在于,所述配置生成的回归树各个叶子结点的概 率,包括: 在分裂生成回归树的各个结点时,对进行样本图像划分的结点配置对应的分支概率, 所述分支概率包括左分支概率及右分支概率,所述右分支概率与样本图像的图像特征成正 相关关系,所述左分支概率与所述右分支概率之和为1; 配置生成的回归树的各个叶子结点的概率为叶子结点所经历过的分支对应的分支概 率的乘积。
10. 根据权利要求6所述的方法,其特征在于,在所述构建每级随机森林时,从所述样本 图像集中随机选取第一像素对集合之前,所述方法还包括: 将所述样本图像集中的样本图像进行分组,并对分组后的样本图像循环第二预设次数 进行如下处理: 选取任一样本图像,从选取的样本图像所属的组别中随机选择预设数量的样本图像, 将所述预设数量的样本图像进行加权和计算得到新样本图像,并将所述选取的样本图像替 换为所述新样本图像。
11. 一种用于人脸检测的模型的构建方法,包括: 根据样本图像集构建级联回归的概率回归模型,所述概率回归模型包括多级随机森 林,每级随机森林包括多棵回归树; 所述根据样本图像集构建级联回归的概率回归模型,包括: 构建每级随机森林时,从所述样本图像集中随机选取第一像素对集合; 根据所述第一像素对集合对所述样本图像集的样本图像进行划分,分裂生成回归树的 各个结点,配置生成的回归树各个叶子结点的概率,并根据分配到所述各个叶子结点的样 本图像的真实形状与所述生成的回归树的初始预测形状确定所述各个叶子结点的误差; 根据所述生成的回归树的初始预测形状与所述各个叶子结点的误差计算所述生成的 回归树的预测形状,并将所述预测形状作为相邻的下一棵回归树的初始预测形状迭代生成 所述下一棵回归树,直至完成概率回归模型最后一级随机森林的回归树生成。
12. 根据权利要求11所述的方法,其特征在于,所述配置生成的回归树各个叶子结点的 概率,包括: 在分裂生成回归树的各个结点时,对进行样本图像划分的结点配置对应的分支概率, 所述分支概率包括左分支概率及右分支概率,所述右分支概率与样本图像的图像特征成正 相关关系,所述左分支概率与所述右分支概率之和为1; 配置生成的回归树的各个叶子结点的概率为叶子结点所经历过的分支对应的分支概 率的乘积。
13. 根据权利要求11所述的方法,其特征在于,所述根据所述第一像素对集合对所述样 本图像集的样本图像进行划分,分裂生成回归树的各个结点,包括: 从回归树的根结点开始,对所述根结点及分裂生成的各个结点进行如下处理: 从所述第一像素对集合中随机选取第二像素对集合; 根据所述第二像素对集合对分配到结点的样本图像进行划分,将所述结点分裂生成新 的分支结点,并确定所述结点的划分像素对,直至生成的回归树的深度满足预设深度则停 止分裂生成新的分支结点。
14. 根据权利要求13所述的方法,其特征在于,所述根据所述第二像素对集合对分配到 结点的样本图像进行划分,将所述结点分裂生成新的分支结点,并确定所述结点的划分像 素对,包括: 循环第一预设次数从所述第二像素对集合中随机选取一对像素对,对分配到结点的样 本图像进行划分,将所述结点分裂生成新的分支结点,并确定划分后的样本图像所处的分 支结点,计算划分后的样本图像在所述结点的误差; 从所述第二像素对集合中选取划分后的样本图像在所述结点的误差最小的像素对作 为所述结点的划分像素对。
15. 根据权利要求14所述的方法,其特征在于,所述循环第一预设次数从所述第二像素 对集合中随机选取一对像素对,对分配到结点的样本图像进行划分,将所述结点分裂生成 新的分支结点,并确定划分后的样本图像所处的分支结点,计算划分后的样本图像在所述 结点的误差,包括: 获取从所述第二像素对集合中随机选取的一对像素对的坐标信息; 根据所述坐标信息从分配到结点的样本图像的对应位置提取图像特征; 将从样本图像中提取的图像特征与预设的划分阈值进行比较,并将所述图像特征小于 所述划分阈值的样本图像划分至左分支结点,将所述图像特征大于或等于所述划分阈值的 样本图像划分至右分支结点; 计算处于所述左分支结点的样本图像的第一平均形状,并根据所述处于左分支结点的 样本图像的真实形状与所述第一平均形状确定左分支误差; 计算处于所述右分支结点的样本图像的第二平均形状,并根据所述处于右分支结点的 样本图像的真实形状与所述第二平均形状确定右分支误差; 根据所述左分支误差与所述右分支误差之和及分配到所述结点的样本图像的数量求 取均值,得到所述结点的误差。
16. 根据权利要求11所述的方法,其特征在于,在所述构建每级随机森林时,从所述样 本图像集中随机选取第一像素对集合之前,所述方法还包括: 将所述样本图像集中的样本图像进行分组,并对分组后的样本图像循环第二预设次数 进行如下处理: 选取任一样本图像,从选取的样本图像所属的组别中随机选择预设数量的样本图像, 将所述预设数量的样本图像进行加权和计算得到新样本图像,并将所述选取的样本图像替 换为所述新样本图像。
17. —种人脸检测装置,其特征在于,包括: 图像获取模块,用于获取待检测图像; 初始形状获取模块,用于获取预先构建的概率回归模型中本次回归树的初始形状; 概率计算模块,用于从所述待检测图像提取图像特征,并根据所述图像特征分别计算 所述本次回归树各个叶子结点的概率; 误差提取模块,用于从所述本次回归树中提取所述各个叶子结点的误差; 形状误差确定模块,用于根据所述各个叶子结点的概率及误差确定所述本次回归树的 形状误差; 估计形状计算模块,用于根据所述初始形状及所述形状误差计算得到所述本次回归树 的估计形状; 迭代计算模块,用于将所述估计形状作为相邻的下一回归树的初始形状进行迭代计 算,直至所述概率回归模型中的最后一棵回归树,得到所述最后一棵回归树的估计形状,作 为检测到的人脸形状。
18. —种用于人脸检测的模型的构建装置,其特征在于,包括: 模型构建模块,用于根据样本图像集构建级联回归的概率回归模型,所述概率回归模 型包括多级随机森林,每级随机森林包括多棵回归树; 所述模型构建模块,包括: 第一选取单元,用于构建每级随机森林时,从所述样本图像集中随机选取第一像素对 集合; 回归树生成单元,用于根据所述第一像素对集合对所述样本图像集的样本图像进行划 分,分裂生成回归树的各个结点; 概率配置单元,用于配置生成的回归树各个叶子结点的概率; 误差确定单元,用于根据生成的回归树中分配到各个叶子结点的样本图像的真实形状 与所述生成的回归树的初始预测形状确定所述各个叶子结点的误差; 迭代生成单元,用于根据所述生成的回归树的初始预测形状与所述各个叶子结点的误 差计算所述生成的回归树的预测形状,并将所述预测形状作为相邻的下一棵回归树的初始 预测形状迭代生成所述下一棵回归树,直至完成概率回归模型最后一级随机森林的回归树 生成。
19. 一种计算机设备,包括存储器,处理器及存储在存储器上并可在处理器上运行的计 算机程序,所述处理器执行所述程序时实现如权利要求1至16任一所述的方法。
20. —种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序 被处理器执行时实现如权利要求1至16任一所述的方法。
CN201710365520.6A 2017-05-22 2017-05-22 人脸检测方法、装置、计算机设备及存储介质 Active CN107169463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710365520.6A CN107169463B (zh) 2017-05-22 2017-05-22 人脸检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201710365520.6A CN107169463B (zh) 2017-05-22 2017-05-22 人脸检测方法、装置、计算机设备及存储介质
PCT/CN2018/085475 WO2018214713A1 (zh) 2017-05-22 2018-05-03 人脸检测方法、装置、计算机设备及存储介质
EP18805735.0A EP3605388A4 (en) 2017-05-22 2018-05-03 FACIAL DETECTION METHOD AND DEVICE, COMPUTER DEVICE AND STORAGE MEDIUM
US16/521,089 US20190392264A1 (en) 2017-05-22 2019-07-24 Face detection method and apparatus, computer device, and storage medium

Publications (2)

Publication Number Publication Date
CN107169463A CN107169463A (zh) 2017-09-15
CN107169463B true CN107169463B (zh) 2018-09-14

Family

ID=59815694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710365520.6A Active CN107169463B (zh) 2017-05-22 2017-05-22 人脸检测方法、装置、计算机设备及存储介质

Country Status (4)

Country Link
US (1) US20190392264A1 (zh)
EP (1) EP3605388A4 (zh)
CN (1) CN107169463B (zh)
WO (1) WO2018214713A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108075959B (zh) * 2016-11-14 2021-03-12 腾讯科技(深圳)有限公司 一种会话消息处理方法和装置
CN107169463B (zh) * 2017-05-22 2018-09-14 腾讯科技(深圳)有限公司 人脸检测方法、装置、计算机设备及存储介质
CN108205677A (zh) * 2017-09-21 2018-06-26 北京市商汤科技开发有限公司 对象检测方法、装置、计算机程序、存储介质和电子设备
CN109963072B (zh) * 2017-12-26 2021-03-02 Oppo广东移动通信有限公司 对焦方法、装置、存储介质及电子设备
CN108875528B (zh) * 2018-01-08 2021-01-29 北京旷视科技有限公司 一种人脸形状点定位方法及装置、存储介质
CN109063597A (zh) * 2018-07-13 2018-12-21 北京科莱普云技术有限公司 人脸检测方法、装置、计算机设备和存储介质
CN109062769A (zh) * 2018-08-21 2018-12-21 南京星邺汇捷网络科技有限公司 It系统性能风险趋势预测的方法、装置和设备
CN110263663A (zh) * 2019-05-29 2019-09-20 南京师范大学 一种基于多维面部特征的驾驶员多级疲劳度识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419671A (zh) * 2008-11-10 2009-04-29 北方工业大学 基于模糊支持向量机的人脸性别识别方法
CN104392250A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于MapReduce的图像分类方法
CN106529397A (zh) * 2016-09-21 2017-03-22 中国地质大学(武汉) 一种非约束环境中的人脸特征点定位方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971959B2 (en) * 2013-03-15 2018-05-15 Nvidia Corporation Performing object detection operations via a graphics processing unit
CN105469081B (zh) * 2016-01-15 2019-03-22 成都品果科技有限公司 一种用于美颜的人脸关键点定位方法及系统
CN105718913B (zh) * 2016-01-26 2018-11-02 浙江捷尚视觉科技股份有限公司 一种鲁棒的人脸特征点定位方法
CN107169463B (zh) * 2017-05-22 2018-09-14 腾讯科技(深圳)有限公司 人脸检测方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101419671A (zh) * 2008-11-10 2009-04-29 北方工业大学 基于模糊支持向量机的人脸性别识别方法
CN104392250A (zh) * 2014-11-21 2015-03-04 浪潮电子信息产业股份有限公司 一种基于MapReduce的图像分类方法
CN106529397A (zh) * 2016-09-21 2017-03-22 中国地质大学(武汉) 一种非约束环境中的人脸特征点定位方法及系统

Also Published As

Publication number Publication date
US20190392264A1 (en) 2019-12-26
EP3605388A4 (en) 2020-06-10
CN107169463A (zh) 2017-09-15
WO2018214713A1 (zh) 2018-11-29
EP3605388A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
CN107169463B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN107330115B (zh) 一种信息推荐方法及装置
CN107808122B (zh) 目标跟踪方法及装置
Wang et al. Efficient learning by directed acyclic graph for resource constrained prediction
CN105243395B (zh) 一种人体图像比对方法和装置
CN104715023A (zh) 基于视频内容的商品推荐方法和系统
CN106570497A (zh) 一种场景图像的文本检测方法和装置
CN109697434B (zh) 一种行为识别方法、装置和存储介质
CN106295502A (zh) 一种人脸检测方法及装置
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN109272509A (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN105574848A (zh) 用于对象的自动分割的方法和装置
CN109086873B (zh) 递归神经网络的训练方法、识别方法、装置及处理设备
CN106844407A (zh) 基于数据集相关性的标签网络产生方法和系统
CN109377445A (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
CN109934293A (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN111046949A (zh) 一种图像分类方法、装置及设备
CN110543838A (zh) 车辆信息检测的方法及装置
CN108287864B (zh) 一种兴趣群组划分方法、装置、介质及计算设备
CN108765532A (zh) 儿童绘本模型建立方法、阅读机器人及存储设备
CN111461301B (zh) 序列化数据处理方法和装置、文本处理方法和装置
CN109409305A (zh) 一种人脸图像清晰度评价方法及装置
CN106227364A (zh) 用于确定人名结果的展现顺序的方法和装置
Xu et al. Predicting Amazon Deforestation with Satellite Images
Yang et al. Learning the synthesizability of dynamic texture samples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant