CN107633229A - 基于卷积神经网络的人脸检测方法及装置 - Google Patents

基于卷积神经网络的人脸检测方法及装置 Download PDF

Info

Publication number
CN107633229A
CN107633229A CN201710856524.4A CN201710856524A CN107633229A CN 107633229 A CN107633229 A CN 107633229A CN 201710856524 A CN201710856524 A CN 201710856524A CN 107633229 A CN107633229 A CN 107633229A
Authority
CN
China
Prior art keywords
image
foreground
face
region
foreground area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710856524.4A
Other languages
English (en)
Inventor
谢静
王正
李志国
曾建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhi Xinyuandong Science And Technology Ltd
Original Assignee
Beijing Zhi Xinyuandong Science And Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhi Xinyuandong Science And Technology Ltd filed Critical Beijing Zhi Xinyuandong Science And Technology Ltd
Priority to CN201710856524.4A priority Critical patent/CN107633229A/zh
Publication of CN107633229A publication Critical patent/CN107633229A/zh
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了基于卷积神经网络的人脸检测方法,该方法包括:输入待处理图像;采用双肤色分割法,从待处理图像中提取前景区域;根据前景区域的前景点所占比值和宽高比,从前景区域中筛选出候选区域;选取标注人脸的图像为正样本图像,标注非人脸的图像为负样本图像,根据正样本图像和负样本图像对卷积神经网络进行反复训练,获取训练好的人脸检测模型;采用训练好的人脸检测模型对候选区域进行人脸检测,输出检测结果。与现有技术相比,本发明能快速地检测复杂场景中的人脸,且鲁棒性较好。

Description

基于卷积神经网络的人脸检测方法及装置
技术领域
本发明涉及图像处理、视频监控以及安防领域,特别涉及人脸检测方法及装 置。
背景技术
近年来,由于人脸识别的广泛应用和其较高的市场期望,人脸识别一直是模 式识别中的一个热门方向。
人脸检测作为人脸识别系统中的关键环节,占用了大部分的系统资源,并且 其检测性能直接影响最终的识别精度,因此显得十分重要。
目前,常见的基于视频图像的人脸检测方法有模板匹配法、肤色模型法、神 经网络法、SVM分类器法、Adaboost分类器法等。但这些方法检测准确率较低, 难以适应复杂的环境。
近年来,随着人工智能的快速发展,深度学习被越来越多地引入到人脸识别 领域中,其通过组合底层特征形成高层特征,受环境变化的影响较小。卷积神经 网络(Convolutional Neural Networks,简称CNN)是深度学习的一种模型结构, 其通过卷积层和子采样层的相关运算来处理图像信息,对平移、缩放、倾斜和旋 转等变形的敏感度低,更加适用于无约束环境的图像人脸检测。
然而,现有的基于卷积神经网络的人脸检测方法一般采用较多的网络层实 现,其运算复杂度较高。
综上所述,需要提出一种运算复杂度低且检测准确率高的人脸检测方法。
发明内容
有鉴于此,本发明的主要目的在于快速的实现人脸检测,且检测准确率高。
为达到上述目的,按照本发明的第一个方面,提供了基于卷积神经网络的人 脸检测方法,该方法包括:
第一步骤,输入待处理图像;
第二步骤,采用双肤色分割法,从待处理图像中提取前景区域;
第三步骤,根据前景区域的前景点所占比值和宽高比,从前景区域中筛选出 候选区域;
第四步骤,选取标注人脸的图像为正样本图像,标注非人脸的图像为负样本 图像,根据正样本图像和负样本图像对卷积神经网络进行反复训练,获取训练好 的人脸检测模型;以及
第五步骤,采用训练好的人脸检测模型对候选区域进行人脸检测,输出检测 结果。
进一步地,所述第二步骤包括:
YIQ前景分割步骤,将待处理图像从RGB颜色空间转换到YIQ颜色空间, 统计待处理图像中像素点(x,y)的I分量值I(x,y),若ITh1≤I(x,y)≤ITH2,则 认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背 景点构成的二值图像,对二值图像进行中值滤波处理,以获取YIQ二值图像;
YCbCr前景分割步骤,将待处理图像从RGB颜色空间转换到YCbCr颜色空 间,统计待处理图像中像素点(x,y)的Cb分量值Cb(x,y)和Cr分量值Cr(x,y), 若CbTh1≤Cb(x,y)≤CbTh2并且CrTh1≤Cr(x,y)≤CrTh2,则认为像素点(x,y) 为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构成的二值 图像,对二值图像进行中值滤波处理,以获取YCbCr二值图像;
双肤色二值图像获取步骤,YIQ二值图像与YCbCr二值图像做与操作,获 取双肤色二值图像;
前景区域获取步骤,采用连通区域法对双肤色二值图像进行连通区域标记, 统计标记连通区域CRi的标记点的个数SRi,若SRi≥STh,则在待处理图像中获 取对应标记连通区域的外接矩形区域作为前景区域,其中CRi为标记的第i个连 通区域。
进一步地,所述第三步骤包括:
区域宽高比计算步骤,统计第j个前景区域的宽度FAWj和高度FAHj,计 算宽度与高度的比值
前景点比值计算步骤,统计第j个前景区域内前景点数量FSumj,计算前景 点所占的比值
候选区域筛选步骤,若RTh1≤WHRj≤RTh2并且FRj≥RTh3,则认为第j个 前景区域为候选区域,否则将第j个前景区域内的所有前景点设置为背景点。
进一步地,所述第四步骤包括:
训练样本选取步骤,选取多样式的标注人脸图像为正样本图像,选取多样式 的标注非人脸图像为负样本图像;
样本初步训练步骤,将正样本图像和负样本图像进行灰度化处理,并将其缩 放到固定宽度和固定高度,采用卷积神经网络对经过灰度化和缩放处理的正样本 图像和负样本图像进行训练,获得初步训练的人脸检测模型;
测试样本选取步骤,选取多样式的标注人脸图像和标注非人脸图像为测试图 像;
样本二次训练步骤,将测试图像进行灰度化处理,并将其缩放到固定宽度和 固定高度,采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图像进 行反复训练,直至人脸检测模型收敛。
进一步地,所述第五步骤包括:
前景区域特征提取步骤,利用训练好的人脸检测模型分别提取前景区域图像 的特征;
人脸检测判定步骤,计算提取的前景区域图像特征与人脸检测模型中人脸分 类特征的相似度Simi1,计算提取的前景区域图像特征与人脸检测模型中非人脸 分类特征的相似度Simi2,若Simi1>Simi2,则认为前景区域为人脸区域,否则认 为前景区域为非人脸区域;
人脸区域输出步骤,标注人脸区域并输出。
按照本发明的另一个方面,提供了基于卷积神经网络的人脸检测装置,该装 置包括:
图像采集模块,用于输入待处理图像;
前景区域提取模块,用于采用双肤色分割法,从待处理图像中提取前景区域;
候选区域获取模块,用于根据前景区域的前景点所占比值和宽高比,从前景 区域中筛选出候选区域;
人脸检测模型训练模块,用于选取标注人脸的图像为正样本图像,标注非人 脸的图像为负样本图像,根据正样本图像和负样本图像对卷积神经网络进行反复 训练,获取训练好的人脸检测模型;以及
人脸区域获取模块,用于采用训练好的人脸检测模型对候选区域进行人脸检 测,输出检测结果。
进一步地,所述前景区域提取模块包括:
YIQ前景分割模块,用于将待处理图像从RGB颜色空间转换到YIQ颜色空 间,统计待处理图像中像素点(x,y)的I分量值I(x,y),若ITh1≤I(x,y)≤ITh2, 则认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与 背景点构成的二值图像,对二值图像进行中值滤波处理,以获取YIQ二值图像;
YCbCr前景分割模块,用于将待处理图像从RGB颜色空间转换到YCbCr 颜色空间,统计待处理图像中像素点(x,y)的Cb分量值Cb(x,y)和Cr分量值 Cr(x,y),若CbTh1≤Cb(x,y)≤CbTh2并且CrTh1≤Cr(x,y)≤CrTh2,则认为像 素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构 成的二值图像,对二值图像进行中值滤波处理,以获取YCbCr二值图像;
双肤色二值图像获取模块,用于YIQ二值图像与YCbCr二值图像做与操作, 获取双肤色二值图像;
前景区域获取模块,用于采用连通区域法对双肤色二值图像进行连通区域标 记,统计标记连通区域CRi的标记点的个数SRi,若SRi≥STh,则在待处理图像 中获取对应标记连通区域的外接矩形区域作为前景区域,其中CRi为标记的第i 个连通区域。
进一步地,所述候选区域获取模块包括:
区域宽高比计算模块,用于统计第j个前景区域的宽度FAWj和高度FAHj, 计算宽度与高度的比值
前景点比值计算模块,用于统计第j个前景区域内前景点数量FSumj,计算 前景点所占的比值
候选区域筛选模块,用于当RTh1≤WHRj≤RTh2并且FRj≥RTh3,则认为第 j个前景区域为候选区域,否则将第j个前景区域内的所有前景点设置为背景 点。
进一步地,所述人脸检测模型训练模块包括:
训练样本选取模块,用于选取多样式的标注人脸图像为正样本图像,选取多 样式的标注非人脸图像为负样本图像;
样本初步训练模块,用于将正样本图像和负样本图像进行灰度化处理,并将 其缩放到固定宽度和固定高度,采用卷积神经网络对经过灰度化和缩放处理的正 样本图像和负样本图像进行训练,获得初步训练的人脸检测模型;
测试样本选取模块,用于选取多样式的标注人脸图像和标注非人脸图像为测 试图像;
样本二次训练模块,用于将测试图像进行灰度化处理,并将其缩放到固定宽 度和固定高度,采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图 像进行反复训练,直至人脸检测模型收敛。
进一步地,所述人脸区域获取模块包括:
前景区域特征提取模块,用于利用训练好的人脸检测模型分别提取前景区域 图像的特征;
人脸检测判定模块,用于计算提取的前景区域图像特征与人脸检测模型中人 脸分类特征的相似度Simi1,计算提取的前景区域图像特征与人脸检测模型中非 人脸分类特征的相似度Simi2,若Simi1>Simi2,则认为前景区域为人脸区域,否 则认为前景区域为非人脸区域;
人脸区域输出模块,用于标注人脸区域并输出。
与现有的人脸检测技术相比,本发明的基于卷积神经网络的人脸检测方法及 装置一方面采用双肤色分割法先获取可能存在人脸的前景区域,并对前景区域进 行筛选获取候选区域,减少了后期进行人脸检测的区域,从而提高了检测速度; 另一方面采用卷积神经网络对样本图像进行训练,根据训练好的人脸检测模型对 可能存在人脸的前景区域进行检测,提高了人脸检测的准确率,且鲁棒性较好。
附图说明
图1示出了按照本发明的基于卷积神经网络的人脸检测方法的流程图。
图2示出了按照本发明的基于卷积神经网络的人脸检测装置的框架图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的,现结合所附较 佳实施例详细说明如下,所说明的较佳实施例仅用于说明本发明的技术方案,并 非限定本发明。
图1给出了按照本发明的基于卷积神经网络的人脸检测方法的流程图。如图 1所示,按照本发明的基于卷积神经网络的人脸检测方法包括:
第一步骤S1,输入待处理图像;
第二步骤S2,采用双肤色分割法,从待处理图像中提取前景区域;
第三步骤S3,根据前景区域的前景点所占比值和宽高比,从前景区域中筛 选出候选区域;
第四步骤S4,选取标注人脸的图像为正样本图像,标注非人脸的图像为负 样本图像,根据正样本图像和负样本图像对卷积神经网络进行反复训练,获取训 练好的人脸检测模型;以及
第五步骤S5,采用训练好的人脸检测模型对候选区域进行人脸检测,输出 检测结果。
所述第一步骤S1中待处理图像为RGB彩色图像。
进一步地,所述第二步骤S2包括:
YIQ前景分割步骤S21,将待处理图像从RGB颜色空间转换到YIQ颜色空 间,统计待处理图像中像素点(x,y)的I分量值I(x,y),若ITh1≤I(x,y)≤ITh2, 则认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与 背景点构成的二值图像,对二值图像进行中值滤波处理,以获取YIQ二值图像;
YCbCr前景分割步骤S22,将待处理图像从RGB颜色空间转换到YCbCr颜 色空间,统计待处理图像中像素点(x,y)的Cb分量值Cb(x,y)和Cr分量值 Cr(x,y),若CbTh1≤Cb(x,y)≤CbTh2并且CrTh1≤Cr(x,y)≤CrTh2,则认为像 素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构 成的二值图像,对二值图像进行中值滤波处理,以获取YCbCr二值图像;
双肤色二值图像获取步骤S23,若YIQ二值图像与YCbCr二值图像做与操 作,获取双肤色二值图像;
前景区域获取步骤S24,采用连通区域法对双肤色二值图像进行连通区域标 记,统计标记连通区域CRi的标记点的个数SRi,若SRi≥STh,则在待处理图像 中获取对应标记连通区域的外接矩形区域作为前景区域,其中CRi为标记的第i 个连通区域。
进一步地,所述ITh1的取值范围为0.01~0.06,所述ITh2的取值范围为 0.1~0.6,所述CbTh1的取值范围为60~90,所述CbTh2的取值范围为110~150, CrTh1的取值范围为115~155,所述CrTh2的取值范围为150~190,所述STh的取 值范围为15~40。例如,所述ITh1可以选为0.02或者0.025或者0.03,所述ITh2 可以选为0.2或者0.25或者0.5,所述CbTh1可以选为70或者77或者85,所述 CbTh2可以选为120或者130或者140,所述CrTh1可以选为125或者133或者 140,所述CrTh2可以选为160或者173或者185,所述STh可以选为20或者30。
进一步地,所述第三步骤S3包括:
区域宽高比计算步骤S31,统计第j个前景区域的宽度FAWj和高度FAHj, 计算宽度与高度的比值
前景点比值计算步骤S32,统计第j个前景区域内前景点数量FSumj,计算 前景点所占的比值
候选区域筛选步骤S33,当RTh1≤WHRj≤RTh2并且FRj≥RTh3,则认为第 j个前景区域为候选区域,否则将第j个前景区域内的所有前景点设置为背景 点。
进一步地,所述RTh1的取值范围为0.4~0.9,所述RTh2的取值范围为 1.2~2.2,所述RTh3的取值范围为0.4~0.9。例如,所述RTh1可以选为0.6或者 0.75或者0.8,所述RTh2可以选为1.6或者1.75或者2,所述RTh3可以选为0.6 或者0.7或者0.75。
进一步地,所述第四步骤S4包括:
训练样本选取步骤S41,选取多样式的标注人脸图像为正样本图像,选取多 样式的标注非人脸图像为负样本图像;
样本初步训练步骤S42,将正样本图像和负样本图像进行灰度化处理,并将 其缩放到固定宽度和固定高度,采用卷积神经网络对经过灰度化和缩放处理的正 样本图像和负样本图像进行训练,获得初步训练的人脸检测模型;
测试样本选取步骤S43,选取多样式的标注人脸图像和标注非人脸图像为测 试图像;
样本二次训练步骤S44,将测试图像进行灰度化处理,并将其缩放到固定宽 度和固定高度,采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图 像进行反复训练,直至人脸检测模型收敛。
所述多样式的标注人脸图像为不同场景、不同光照、不同姿态、不同人种等 情况下只框选人脸的图像,所述多样式的标注非人脸图像为不同场景、不同光照 等情况下不含人脸的图像。
所述固定宽度的取值范围为16~256,所述固定高度的取值范围为16~256。 例如,所述固定宽度可以选为32或者64,所述固定高度可以选为32或者64。
实施例,所述卷积神经网络(Convolutional Neural Network,简称CNN)包 括并不限于以下一种或者多种网络的组合:RCNN、SPPNET、Fast-RCNN、 Faster-RCNN、YOLO、SSD等。
实施例,所述卷积神经网络包括:
输入层,输入固定宽度和固定高度的图像;
第一层卷积层,输出CK1个卷积核,卷积核的大小为CKSi1*CKSi1、步长为 1;
第一层采样层,采用池化算法输出大小为KSi*KSi、步长为KSi的采样核;
第二层卷积层,输出CK2个卷积核,卷积核的大小为CKSi2*CKSi2、步长 为1;
第二层采样层,采用池化算法输出大小为KSi*KSi、步长为KSi的采样核;
第一层全连接层,采用激活函数,输出NNum个神经元;
第二层全连接层,输出2个神经元,即人脸类别与非人脸类别。
其中,所述CK1的取值范围为6~20,所述CKSi1的取值范围为3~7,所述KSi 的取值范围为2~4,所述CK2的取值范围为10~40,所述CKSi2的取值范围为 3~9,所述NNum的取值范围为80~10000。
进一步地,所述第五步骤S5包括:
前景区域特征提取步骤S51,利用训练好的人脸检测模型分别提取前景区域 图像的特征;
人脸检测判定步骤S52,计算提取的前景区域图像特征与人脸检测模型中人 脸分类特征的相似度Simi1,计算提取的前景区域图像特征与人脸检测模型中非 人脸分类特征的相似度Simi2,若Simi1>Simi2,则认为前景区域为人脸区域,否 则认为前景区域为非人脸区域;
人脸区域输出步骤S53,标注人脸区域并输出。
图2给出了按照本发明的基于卷积神经网络的人脸检测装置的框架图。如图 2所示,按照本发明的基于卷积神经网络的人脸检测装置包括:
图像采集模块1,用于输入待处理图像;
前景区域提取模块2,用于采用双肤色分割法,从待处理图像中提取前景区 域;
候选区域获取模块3,用于根据前景区域的前景点所占比值和宽高比,从前 景区域中筛选出候选区域;
人脸检测模型训练模块4,用于选取标注人脸的图像为正样本图像,标注非 人脸的图像为负样本图像,根据正样本图像和负样本图像对卷积神经网络进行反 复训练,获取训练好的人脸检测模型;以及
人脸区域获取模块5,用于采用训练好的人脸检测模型对候选区域进行人脸 检测,输出检测结果。
所述图像采集模块1中待处理图像为RGB彩色图像。
进一步地,所述前景区域提取模块2包括:
YIQ前景分割模块21,用于将待处理图像从RGB颜色空间转换到YIQ颜色 空间,统计待处理图像中像素点(x,y)的I分量值I(x,y),若ITh1≤I(x,y)≤ITh2, 则认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与 背景点构成的二值图像,对二值图像进行中值滤波处理,以获取YIQ二值图像;
YCbCr前景分割模块22,用于将待处理图像从RGB颜色空间转换到YCbCr 颜色空间,统计待处理图像中像素点(x,y)的Cb分量值Cb(x,y)和Cr分量值 Cr(x,y),若CbTh1≤Cb(x,y)≤CbTh2并且CrTh1≤Cr(x,y)≤CrTh2,则认为像 素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构 成的二值图像,对二值图像进行中值滤波处理,以获取YCbCr二值图像;
双肤色二值图像获取模块23,用于YIQ二值图像与YCbCr二值图像做与操 作,获取双肤色二值图像;
前景区域获取模块24,用于采用连通区域法对双肤色二值图像进行连通区 域标记,统计标记连通区域CRi的标记点的个数SRi,若SRi≥STh,则在待处理 图像中获取对应标记连通区域的外接矩形区域作为前景区域,其中CRi为标记的 第i个连通区域。
进一步地,所述ITh1的取值范围为0.01~0.06,所述ITh2的取值范围为 0.1~0.6,所述CbTh1的取值范围为60~90,所述CbTh2的取值范围为110~150, CrTh1的取值范围为115~155,所述CrTh2的取值范围为150~190,所述STh的取 值范围为15~40。例如,所述ITh1可以选为0.02或者0.025或者0.03,所述ITh2 可以选为0.2或者0.25或者0.5,所述CbTh1可以选为70或者77或者85,所述 CbTh2可以选为120或者130或者140,所述CrTh1可以选为125或者133或者 140,所述CrTh2可以选为160或者173或者185,所述STh可以选为20或者30。
进一步地,所述候选区域获取模块3包括:
区域宽高比计算模块31,用于统计第j个前景区域的宽度FAWj和高度 FAHj,计算宽度与高度的比值
前景点比值计算模块32,用于统计第j个前景区域内前景点数量FSumj,计 算前景点所占的比值
候选区域筛选模块33,用于当RTh1≤WHRj≤RTh2并且FRj≥RTh3,则认 为第j个前景区域为候选区域,否则将第j个前景区域内的所有前景点设置为背 景点。
进一步地,所述RTh1的取值范围为0.4~0.9,所述RTh2的取值范围为 1.2~2.2,所述RTh3的取值范围为0.4~0.9。例如,所述RTh1可以选为0.6或者 0.75或者0.8,所述RTh2可以选为1.6或者1.75或者2,所述RTh3可以选为0.6 或者0.7或者0.75。
进一步地,所述人脸检测模型训练模块4包括:
训练样本选取模块41,用于选取多样式的标注人脸图像为正样本图像,选 取多样式的标注非人脸图像为负样本图像;
样本初步训练模块42,用于将正样本图像和负样本图像进行灰度化处理, 并将其缩放到固定宽度和固定高度,采用卷积神经网络对经过灰度化和缩放处理 的正样本图像和负样本图像进行训练,获得初步训练的人脸检测模型;
测试样本选取模块43,用于选取多样式的标注人脸图像和标注非人脸图像 为测试图像;
样本二次训练模块44,用于将测试图像进行灰度化处理,并将其缩放到固 定宽度和固定高度,采用初步训练的人脸检测模型对经过灰度化和缩放处理的测 试图像进行反复训练,直至人脸检测模型收敛。
所述多样式的标注人脸图像为不同场景、不同光照、不同姿态、不同人种等 情况下只框选人脸的图像,所述多样式的标注非人脸图像为不同场景、不同光照 等情况下不含人脸的图像。
所述固定宽度的取值范围为16~256,所述固定高度的取值范围为16~256。 例如,所述固定宽度可以选为32或者64,所述固定高度可以选为32或者64。
进一步地,所述人脸区域获取模块5包括:
前景区域特征提取模块51,用于利用训练好的人脸检测模型分别提取前景 区域图像的特征;
人脸检测判定模块52,用于计算提取的前景区域图像特征与人脸检测模型 中人脸分类特征的相似度Simi1,计算提取的前景区域图像特征与人脸检测模型 中非人脸分类特征的相似度Simi2,若Simi1>Simi2,则认为前景区域为人脸区域, 否则认为前景区域为非人脸区域;
人脸区域输出模块53,用于标注人脸区域并输出。
与现有的人脸检测技术相比,本发明的基于卷积神经网络的人脸检测方法及 装置一方面采用双肤色分割法先获取可能存在人脸的前景区域,减少了后期进行 人脸检测的区域,从而提高了检测速度;另一方面采用卷积神经网络对样本图像 进行训练,根据训练好的人脸检测模型对可能存在人脸的前景区域进行检测,提 高了人脸检测的准确率,且鲁棒性较好。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围, 应当理解,本发明并不限于这里所描述的实现方案,这些实现方案描述的目的在 于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱 离本发明精神和范围的情况下进行进一步的改进和完善,因此本发明只受到本发 明权利要求的内容和范围的限制,其意图涵盖所有包括在由所附权利要求所限定 的本发明精神和范围内的备选方案和等同方案。

Claims (13)

1.基于卷积神经网络的人脸检测方法,其特征在于,该方法包括:
第一步骤,输入待处理图像;
第二步骤,采用双肤色分割法,从待处理图像中提取前景区域;
第三步骤,根据前景区域的前景点所占比值和宽高比,从前景区域中筛选出候选区域;
第四步骤,选取标注人脸的图像为正样本图像,标注非人脸的图像为负样本图像,根据正样本图像和负样本图像对卷积神经网络进行反复训练,获取训练好的人脸检测模型;以及
第五步骤,采用训练好的人脸检测模型对候选区域进行人脸检测,输出检测结果。
2.如权利要求1所述的方法,其特征在于,所述第二步骤包括:
YIQ前景分割步骤,将待处理图像从RGB颜色空间转换到YIQ颜色空间,统计待处理图像中像素点(x,y)的I分量值I(x,y),若ITh1≤I(x,y)≤ITh2,则认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构成的二值图像,对二值图像进行中值滤波处理,以获取YIQ二值图像;
YCbCr前景分割步骤,将待处理图像从RGB颜色空间转换到YCbCr颜色空间,统计待处理图像中像素点(x,y)的Cb分量值Cb(x,y)和Cr分量值Cr(x,y),若CbTh1≤Cb(x,y)≤CbTh2并且CrTh1≤Cr(x,y)≤CrTh2,则认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构成的二值图像,对二值图像进行中值滤波处理,以获取YCbCr二值图像;
双肤色二值图像获取步骤,若YIQ二值图像与YCbCr二值图像做与操作,获取双肤色二值图像;
前景区域获取步骤,采用连通区域法对双肤色二值图像进行连通区域标记,统计标记连通区域CRi的标记点的个数SRi,若SRi≥STh,则在待处理图像中获取对应标记连通区域的外接矩形区域作为前景区域,其中CRi为标记的第i个连通区域。
3.如权利要求2所述的方法,所述ITh1的取值范围为0.01~0.06,所述ITh2的取值范围为0.1~0.6,所述CbTh1的取值范围为60~90,所述CbTh2的取值范围为110~150,CrTh1的取值范围为115~155,所述CrTh2的取值范围为150~190,所述STh的取值范围为15~40。
4.如权利要求1所述的方法,其特征在于,所述第三步骤包括:
区域宽高比计算步骤,统计第j个前景区域的宽度FAWj和高度FAHj,计算宽度与高度的比值
前景点比值计算步骤,统计第j个前景区域内前景点数量FSumj,计算前景点所占的比值
候选区域筛选步骤,若RTh1≤WHRj≤RTh2并且FRj≥RTh3,则认为第j个前景区域为候选区域,否则将第j个前景区域内的所有前景点设置为背景点。
5.如权利要求4所述的方法,所述RTh1的取值范围为0.4~0.9,所述RTh2的取值范围为1.2~2.2,所述RTh3的取值范围为0.4~0.9。
6.如权利要求1所述的方法,其特征在于,所述第四步骤包括:
训练样本选取步骤,选取多样式的标注人脸图像为正样本图像,选取多样式的标注非人脸图像为负样本图像;
样本初步训练步骤,将正样本图像和负样本图像进行灰度化处理,并将其缩放到固定宽度和固定高度,采用卷积神经网络对经过灰度化和缩放处理的正样本图像和负样本图像进行训练,获得初步训练的人脸检测模型;
测试样本选取步骤,选取多样式的标注人脸图像和标注非人脸图像为测试图像;样本二次训练步骤,将测试图像进行灰度化处理,并将其缩放到固定宽度和固定高度,采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图像进行反复训练,直至人脸检测模型收敛。
7.如权利要求6所述的方法,所述固定宽度的取值范围为16~256,所述固定高度的取值范围为16~256。
8.如权利要求1所述的方法,其特征在于,所述第五步骤包括:
前景区域特征提取步骤,利用训练好的人脸检测模型分别提取前景区域图像的特征;
人脸检测判定步骤,计算提取的前景区域图像特征与人脸检测模型中人脸分类特征的相似度Simi1,计算提取的前景区域图像特征与人脸检测模型中非人脸分类特征的相似度Simi2,若Simi1>Simi2,则认为前景区域为人脸区域,否则认为前景区域为非人脸区域;
人脸区域输出步骤,标注人脸区域并输出。
9.基于卷积神经网络的人脸检测装置,其特征在于,该装置包括:
图像采集模块,用于输入待处理图像;
前景区域提取模块,用于采用双肤色分割法,从待处理图像中提取前景区域;
候选区域获取模块,用于根据前景区域的前景点所占比值和宽高比,从前景区域中筛选出候选区域;
人脸检测模型训练模块,用于选取标注人脸的图像为正样本图像,标注非人脸的图像为负样本图像,根据正样本图像和负样本图像对卷积神经网络进行反复训练,获取训练好的人脸检测模型;以及
人脸区域获取模块,用于采用训练好的人脸检测模型对候选区域进行人脸检测,输出检测结果。
10.如权利要求9所述的装置,其特征在于,所述前景区域提取模块包括:
YIQ前景分割模块,用于将待处理图像从RGB颜色空间转换到YIQ颜色空间,统计待处理图像中像素点(x,y)的I分量值I(x,y),若ITh1≤I(x,y)≤ITh2,则认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构成的二值图像,对二值图像进行中值滤波处理,以获取YIQ二值图像;
YCbCr前景分割模块,用于将待处理图像从RGB颜色空间转换到YCbCr颜色空间,统计待处理图像中像素点(x,y)的Cb分量值Cb(x,y)和Cr分量值Cr(x,y),若CbTh1≤Cb(x,y)≤CbTh2并且CrTh1≤Cr(x,y)≤CrTh2,则认为像素点(x,y)为前景点,否则认为像素点(x,y)为背景点,生成由前景点与背景点构成的二值图像,对二值图像进行中值滤波处理,以获取YCbCr二值图像;
双肤色二值图像获取模块,用于YIQ二值图像与YCbCr二值图像做与操作,获取双肤色二值图像;
前景区域获取模块,用于采用连通区域法对双肤色二值图像进行连通区域标记,统计标记连通区域CRi的标记点的个数SRi,若SRi≥STh,则在待处理图像中获取对应标记连通区域的外接矩形区域作为前景区域,其中CRi为标记的第i个连通区域。
11.如权利要求9所述的装置,其特征在于,所述候选区域获取模块包括:
区域宽高比计算模块,用于统计第j个前景区域的宽度FAWj和高度FAHj,计算宽度与高度的比值
前景点比值计算模块,用于统计第j个前景区域内前景点数量FSumj,计算前景点所占的比值
候选区域筛选模块,用于若RTh1≤WHRj≤RTh2并且FRj≥RTh3,则认为第j个前景区域为候选区域,否则将第j个前景区域内的所有前景点设置为背景点。
12.如权利要求9所述的装置,其特征在于,所述人脸检测模型训练模块包括:
训练样本选取模块,用于选取多样式的标注人脸图像为正样本图像,选取多样式的标注非人脸图像为负样本图像;
样本初步训练模块,用于将正样本图像和负样本图像进行灰度化处理,并将其缩放到固定宽度和固定高度,采用卷积神经网络对经过灰度化和缩放处理的正样本图像和负样本图像进行训练,获得初步训练的人脸检测模型;
测试样本选取模块,用于选取多样式的标注人脸图像和标注非人脸图像为测试图像;
样本二次训练模块,用于将测试图像进行灰度化处理,并将其缩放到固定宽度和固定高度,采用初步训练的人脸检测模型对经过灰度化和缩放处理的测试图像进行反复训练,直至人脸检测模型收敛。
13.如权利要求9所述的装置,其特征在于,所述人脸区域获取模块包括:
前景区域特征提取模块,用于利用训练好的人脸检测模型分别提取前景区域图像的特征;
人脸检测判定模块,用于计算提取的前景区域图像特征与人脸检测模型中人脸分类特征的相似度Simi1,计算提取的前景区域图像特征与人脸检测模型中非人脸分类特征的相似度Simi2,若Simi1>Simi2,则认为前景区域为人脸区域,否则认为前景区域为非人脸区域;
人脸区域输出模块,用于标注人脸区域并输出。
CN201710856524.4A 2017-09-21 2017-09-21 基于卷积神经网络的人脸检测方法及装置 Withdrawn CN107633229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710856524.4A CN107633229A (zh) 2017-09-21 2017-09-21 基于卷积神经网络的人脸检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710856524.4A CN107633229A (zh) 2017-09-21 2017-09-21 基于卷积神经网络的人脸检测方法及装置

Publications (1)

Publication Number Publication Date
CN107633229A true CN107633229A (zh) 2018-01-26

Family

ID=61102256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710856524.4A Withdrawn CN107633229A (zh) 2017-09-21 2017-09-21 基于卷积神经网络的人脸检测方法及装置

Country Status (1)

Country Link
CN (1) CN107633229A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145855A (zh) * 2018-08-31 2019-01-04 北京诚志重科海图科技有限公司 一种人脸检测方法及装置
CN109919002A (zh) * 2019-01-23 2019-06-21 平安科技(深圳)有限公司 黄色禁停线识别方法、装置、计算机设备及存储介质
CN110135223A (zh) * 2018-02-08 2019-08-16 浙江宇视科技有限公司 人脸检测方法及装置
CN110458119A (zh) * 2019-08-15 2019-11-15 中国水利水电科学研究院 一种非接触式测量的混凝土骨料级配快速识别方法
WO2020081770A1 (en) * 2018-10-18 2020-04-23 Sony Corporation Enhanced color reproduction for upscaling
CN111367415A (zh) * 2020-03-17 2020-07-03 北京明略软件系统有限公司 一种设备的控制方法、装置、计算机设备和介质
CN111486961A (zh) * 2020-04-15 2020-08-04 贵州安防工程技术研究中心有限公司 基于宽光谱人体额头成像与距离感知的高效额温估计方法
CN111626313A (zh) * 2019-02-28 2020-09-04 银河水滴科技(北京)有限公司 一种特征提取模型训练方法、图像处理方法及装置
CN112968999A (zh) * 2021-02-25 2021-06-15 上海吉盛网络技术有限公司 一种数模混合的电梯多方通话装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN104715244A (zh) * 2015-04-01 2015-06-17 华中科技大学 一种基于肤色分割和机器学习的多视角人脸检测方法
CN104732206A (zh) * 2015-03-12 2015-06-24 苏州阔地网络科技有限公司 一种人脸检测方法及装置
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法
US20170124385A1 (en) * 2007-12-31 2017-05-04 Applied Recognition Inc. Face authentication to mitigate spoofing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170124385A1 (en) * 2007-12-31 2017-05-04 Applied Recognition Inc. Face authentication to mitigate spoofing
CN104346607A (zh) * 2014-11-06 2015-02-11 上海电机学院 基于卷积神经网络的人脸识别方法
CN104732206A (zh) * 2015-03-12 2015-06-24 苏州阔地网络科技有限公司 一种人脸检测方法及装置
CN104715244A (zh) * 2015-04-01 2015-06-17 华中科技大学 一种基于肤色分割和机器学习的多视角人脸检测方法
CN105354548A (zh) * 2015-10-30 2016-02-24 武汉大学 一种基于ImageNet检索的监控视频行人重识别方法
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
于玲等: "利用双重彩色空间肤色模型实现快速人脸检测", 《辽宁工业大学学报(自然科学版)》 *
滕秋霞等: "基于多肤色模型的人脸检测系统研究", 《电子测量技术》 *
魏祯等: "基于YIQ颜色空间的自适应肤色检测算法", 《福州大学学报(自然科学版)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135223A (zh) * 2018-02-08 2019-08-16 浙江宇视科技有限公司 人脸检测方法及装置
CN109145855A (zh) * 2018-08-31 2019-01-04 北京诚志重科海图科技有限公司 一种人脸检测方法及装置
WO2020081770A1 (en) * 2018-10-18 2020-04-23 Sony Corporation Enhanced color reproduction for upscaling
US10931853B2 (en) 2018-10-18 2021-02-23 Sony Corporation Enhanced color reproduction for upscaling
CN109919002A (zh) * 2019-01-23 2019-06-21 平安科技(深圳)有限公司 黄色禁停线识别方法、装置、计算机设备及存储介质
CN109919002B (zh) * 2019-01-23 2024-02-27 平安科技(深圳)有限公司 黄色禁停线识别方法、装置、计算机设备及存储介质
CN111626313A (zh) * 2019-02-28 2020-09-04 银河水滴科技(北京)有限公司 一种特征提取模型训练方法、图像处理方法及装置
CN111626313B (zh) * 2019-02-28 2023-06-02 银河水滴科技(北京)有限公司 一种特征提取模型训练方法、图像处理方法及装置
CN110458119A (zh) * 2019-08-15 2019-11-15 中国水利水电科学研究院 一种非接触式测量的混凝土骨料级配快速识别方法
CN110458119B (zh) * 2019-08-15 2020-08-18 中国水利水电科学研究院 一种非接触式测量的混凝土骨料级配快速识别方法
CN111367415B (zh) * 2020-03-17 2024-01-23 北京明略软件系统有限公司 一种设备的控制方法、装置、计算机设备和介质
CN111367415A (zh) * 2020-03-17 2020-07-03 北京明略软件系统有限公司 一种设备的控制方法、装置、计算机设备和介质
CN111486961A (zh) * 2020-04-15 2020-08-04 贵州安防工程技术研究中心有限公司 基于宽光谱人体额头成像与距离感知的高效额温估计方法
CN112968999A (zh) * 2021-02-25 2021-06-15 上海吉盛网络技术有限公司 一种数模混合的电梯多方通话装置

Similar Documents

Publication Publication Date Title
CN107633229A (zh) 基于卷积神经网络的人脸检测方法及装置
CN106204779B (zh) 基于多人脸数据采集策略和深度学习的课堂考勤方法
CN106127164B (zh) 基于显著性检测和卷积神经网络的行人检测方法及装置
Shahriar et al. Real-time american sign language recognition using skin segmentation and image category classification with convolutional neural network and deep learning
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN104392463B (zh) 一种基于联合稀疏多尺度融合的图像显著区域检测方法
CN108171196A (zh) 一种人脸检测方法及装置
CN107506740A (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN108268859A (zh) 一种基于深度学习的人脸表情识别方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN108334847A (zh) 一种真实场景下的基于深度学习的人脸识别方法
CN106529448A (zh) 利用聚合通道特征进行多视角人脸检测的方法
CN108710829A (zh) 一种基于深度学习的表情分类及微表情检测的方法
CN107066972B (zh) 基于多通道极值区域的自然场景文本检测方法
CN106156765A (zh) 基于计算机视觉的安全检测方法
CN110503613A (zh) 基于级联空洞卷积神经网络的面向单幅图像去雨方法
CN107220643A (zh) 基于紧凑型神经网络的深度学习模型的交通标志识别系统
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN108108760A (zh) 一种快速人脸识别方法
CN109977887A (zh) 一种抗年龄干扰的人脸识别方法
CN109614866A (zh) 基于级联深度卷积神经网络的人脸检测方法
CN103778430B (zh) 一种基于肤色分割和AdaBoost相结合的快速人脸检测方法
CN110399820A (zh) 一种公路路边景物视觉识别分析方法
CN111160194A (zh) 一种基于多特征融合的静态手势图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180126