CN105809114B - 人脸检测方法及装置 - Google Patents

人脸检测方法及装置 Download PDF

Info

Publication number
CN105809114B
CN105809114B CN201610115769.7A CN201610115769A CN105809114B CN 105809114 B CN105809114 B CN 105809114B CN 201610115769 A CN201610115769 A CN 201610115769A CN 105809114 B CN105809114 B CN 105809114B
Authority
CN
China
Prior art keywords
images
acf
image
scaled
zooming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610115769.7A
Other languages
English (en)
Other versions
CN105809114A (zh
Inventor
陈榕齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aizhi Technology Shenzhen Co ltd
Beijing Zhihong Technology Co ltd
Original Assignee
Chi Meida (jiangsu) Digital Technology Co Ltd
Airmada Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chi Meida (jiangsu) Digital Technology Co Ltd, Airmada Technology Inc filed Critical Chi Meida (jiangsu) Digital Technology Co Ltd
Priority to CN201610115769.7A priority Critical patent/CN105809114B/zh
Publication of CN105809114A publication Critical patent/CN105809114A/zh
Application granted granted Critical
Publication of CN105809114B publication Critical patent/CN105809114B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种人脸检测方法及装置，根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；并行计算所述多个缩放图像的每一个像素点的ACF特征值；采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。由于根据ACF特征值运用判决模型，判决每个所述子窗口是否为人脸，判决结果准确、精度高；由于ACF特征值的计算是采用并行方式计算的，故上述人脸检测方法及装置速度快，实时性高。

Description

人脸检测方法及装置
技术领域
本发明涉及生物特征识别领域，尤其涉及一种人脸检测方法及装置。
背景技术
现阶段最常用的人脸检测方法步骤为：提取原始图像的haar特征得到特征图；对原始特征图进行多尺度缩放；对每个尺度下的特征图按照固定大小的滑动窗口扫描得到子窗口特征图；对每个子窗口使用adaboost决策树算法判决是否为人脸。
Haar特征提取速度较快但是描述人脸特征不够准确使得精度较低、虚假警报较多。一种改进的方法为使用多通道混合特征(Aggregate Channels Features)简称ACF，该特征包括图像Luv特征、梯度模值特征、HOG特征等。ACF特征需要计算至少10个特征值，使用传统的CPU串行计算方式速度很难达到实时的要求。
发明内容
基于此，有必要提供一种检测精度高且速度快的人脸检测方法及人脸检测装置。
一种人脸检测方法，包括：
根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；
并行计算所述多个缩放图像的每一个像素点的ACF特征值；
采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；
根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；
当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。
上述人脸检测方法，根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；并行计算所述多个缩放图像的每一个像素点的ACF特征值；采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。由于根据ACF特征值运用判决模型，判决每个所述子窗口是否为人脸，判决结果准确、精度高；由于ACF特征值的计算是采用并行方式计算的，故上述人脸检测方法速度快，实时性高。
一种人脸检测装置，其特征在于，包括：
缩放模块，用于根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；
特征并行计算模块，用于并行计算所述多个缩放图像的每一个像素点的ACF特征值；
子窗口检测模块，用于采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；
子窗口判决模块，用于根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；
人脸确定模块，用于当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。
上述人脸检测装置，缩放模块根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；特征并行计算模块并行计算所述多个缩放图像的每一个像素点的ACF特征值；子窗口检测模块采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；子窗口判决模块根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；人脸确定模块当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。由于根据ACF特征值运用判决模型，判决每个所述子窗口是否为人脸，判决结果准确、精度高；由于ACF特征值的计算是采用并行方式计算的，故上述人脸检测装置速度快，实时性高。
附图说明
图1为一种实施方式的人脸检测方法的流程图；
图2为图1的人脸检测方法的流程图的一个步骤的具体流程图；
图3为一种实施方式的人脸检测装置的结构图；
图4为图3的人脸检测装置的特征并行计算模块的单元结构图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“或/和”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，为本发明一种实施方式的人脸检测方法，包括：
S110：根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像。
设I(x,y)为一副h×w的待测的彩色图像，h是高度，w是宽度。假设人脸检测为正方型区域，预设人脸检测活动窗口的人脸检测区域，即最小人脸检测区域为d×d，图像缩放因子为sRatio。It(x,y)表示原图像I(x,y)依照缩放因子按照线性插值的方法缩放t次后所得图像，其中，ht、wt分别是It(x,y)的高、宽。
S150：并行计算所述多个缩放图像的每一个像素点的ACF特征值。
获取待测图像进行多尺度缩放后得到的多个缩放图像中每一个点的RGB灰度值，根据多个缩放图像的每一个像素点的RGB灰度值，并行计算每一个像素点的ACF特征值。
在其中一个实施例中，p幅多尺度缩放图像的总像素数为其中，p为缩放图像的数量。
S170：采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口。
检测缩放图像中通过活动窗口形成的所有预设人脸检测活动窗口大小的子窗口，获取所有子窗口的每个像素的ACF特征值。
具体地，活动窗口以2为行列步长进行滑动确定子窗口。
S180：根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸。
以训练好的CRT级联决策树作为判决模型判决每个所述子窗口是否为人脸。
S190：当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。
子窗口的信息包括子窗口相对所述待测图像的位置区域；或者包括子窗口所在的缩放图像的缩放比例、子窗口在所述缩放图像中的位置信息。
根据所述信息可以通过非极大值抑制算法合并所有判决所述子窗口为人脸的区域，得到待测图像中的人脸区域。
可以理解的，当判决所有缩放图像的所有子窗口均不为人脸时，则待测图像中不包括人脸区域。
上述人脸检测方法，根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；并行计算所述多个缩放图像的每一个像素点的ACF特征值；采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。由于根据ACF特征值运用判决模型，判决每个所述子窗口是否为人脸，判决结果准确、精度高；由于ACF特征值的计算是采用并行方式计算的，故上述人脸检测方法速度快，实时性高。
在其中一个实施例中，步骤S110包括：
S111(图未示)：根据所述待测图像的长宽度、所述预设人脸检测活动窗口的长宽度及所述缩放因子，确定所述多个缩放图像的最大数量。
将待测图像的长宽度分别除以缩放因子多次，直至结果分别接近设人脸检测活动窗口的长宽度。多个缩放图像的最大数量即为除以缩放因子的次数。
S113(图未示)：根据图像缩放因子对待测图像进行多尺度缩放得到预设数量个数的缩放图像，所述预设数量小于所述最大数量。
在其中一个实施例中，可以通过随机选取的方式确定预设数量个数的缩放次数，也可以按均匀分配的方式确定预设数量个数的缩放次数。其中，缩放次数为对待测图像采用缩放因子进行缩放的次数，即得到的缩放图像与待测图像的缩放比例为缩放因子的缩放次数次方。
在本实施例中，如图2所示，S150包括：
S151：利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值。
利用显卡的GPU(Graphic Processing Unit，图形处理器)并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值。从而，主机的处理器，可以用于处理其它操作；且相对于主机的处理器，GPU对ACF特征值的计算具有更好的性能。如此，可以进一步提高人脸检测方法的实时性。
S153：根据所述预设数量个数的所述缩放图像的每一个像素点的所述ACF特征值，拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值，所述剩余数量等于所述最大数量减去所述预设数量。
传统方法需要对待测图像进行最大数量个数的缩放，得到最大数量个数的缩放图像，对每个尺度的缩放图像计算ACF特征是耗时的一个主要因素。在本实施例中，仅计算预设数量个数的缩放图像的ACF特征，即仅计算预设数量个数的缩放图像的每一个像素点的ACF特征值，剩余数量个数的缩放图像的ACF特征通过拟合的方式获取。如此，可以进一步提高人脸检测方法的速度，实时性。
在其中一个实施例中，步骤S153中拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值的拟合公式为：
其中，为所述预设数量个数所述缩放图像中的第n个所述缩放图像的ACF特征的表达式，p为预设数量，ACF特征由所述缩放图像的每一个像素点的ACF特征值组成；为所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的ACF特征的表达式；imresize为线性插值缩放函数，K为所述最大数量，λ为经验系数，s为所述预设数量个数所述缩放图像中的第n个所述缩放图像与所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的尺度缩放比例。
进一步地，步骤S153之前，还包括步骤：
获取经验系数、线性差值缩放函数，及所述预设数量个数所述缩放图像中的第n个所述缩放图像与所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的尺度缩放比例。
其中，尺度缩放比例可以由缩放因子以及所述预设数量个数所述缩放图像中的第n个缩放图像及所述剩余数量个数的所述缩放图像中的第m个所述缩放图像关于缩放因子的缩放次数确定。
在其中一个实施例中，所述ACF特征值包括Luv通道值、梯度幅值及HOG特征。步骤S151，包括：
S1511(图未示)：获取所运行的线程索引对应的所述缩放图像的一个像素点的RGB灰度值。
在本实施例中，多个线程并行，每一个线程获取其索引对应的像素点的RGB灰度值。
S1513(图未示)：根据所述RGB灰度值确定所述像素点的Luv通道值。
根据所述RGB灰度值可以通过转换公式计算确定所述像素点的Luv通道值，也可以通过转换表查找确定所述像素点的Luv通道值。转换表中存储有所有RGB灰度值对应的Luv通道值。
S1515(图未示)：根据所述Luv通道值确定所述Luv通道值灰度化后的灰度值，并根据所述灰度化后的灰度值确定梯度幅值及梯度方向。
利用Luv空间转换灰度空间公式可以将Luv通道值灰度化，如此，确定灰度化后的灰度值。进一步地，还可以对灰度化后的灰度值采用中值滤波算法进行平滑化，得到最终的灰度化后的灰度值。在本实施例中，采用中值滤波算法进行平滑化时，将相邻的八个像素点的灰度化后的灰度值作为中值滤波算法的输入进行平滑化，输出最终的灰度化后的灰度值。
根据灰度化后的灰度值采用梯度差分算法计算该像素点位置的梯度幅值及梯度方向。
S1517(图未示)：根据所述梯度方向确定HOG特征。
根据所述梯度方向利用HOG6方向算子确定HOG特征。在其中一个实施例中，由于确定HOG特征的过程中需要用到反余弦函数，因此可以结合反余弦查找表快速确定HOG特征。
如此，可以利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值。
为了提供具体的并行方式，请继续参阅图2，在其中一个实施例中，步骤S151包括：
根据CUDA架构及硬件本身对共享内存大小的制约、寄存器大小的制约、线程束数量的制约及一个流处理器内活动块数量的制约确定并行的线程数量，通过GPU根据确定的所述并行的线程数量并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值。
调用CUDA架构提供的deviceQuery程序获取显卡的硬件参数。在其中一个具体实施例中，设获取的硬件参数如下：
一个Block(块)内的最大线程数NTmax；
一个SM(流处理器)内的最大共享内存大小Mshared-max；
一个SM内的最大寄存器大小Mreg-max；
一个SM内的Warp(线程束)个数Nwarp；
一个SM内的activeblock(激活块)最大个数为8。
设一个Block内线程数为NT 2(即，NT×NT)，每个线程使用寄存器大小则一 个Block使用共享内存为式中4表示需要4个矩阵用以存储临 时变量，size(float)表示浮点型数据的大小。使用寄存器内存为
受共享内存大小的制约：该SM上activeblock个数为
受寄存器大小的制约：该SM上activeblock个数为
受warp个数的制约：该SM上activeblock个数为式中32表示在CUDA架构下线程运行必须以32个为一组。
受一个SM内activeblock最大个数制约：该SM上activeblock个数为NB4＝8。
根据经验表明，一个SM上activeblock个数为6时效率是最高的。因此，在CPU程序中遍历NT 2∈[1,NTmax]的所有整数值，计算argmin(abs(min(NB1,NB2,NB3,NB4)-6))，可以得到NT 2为最终线程数量的计算结果。
在其中一个实施例中，使用单一Grid二维Block机制，设一个Grid含有NB×NB个Block，设预设数量p幅缩放图像总像素数为Sp，则
可以理解地，由于ACF特征值的确定是利用GPU实现的，步骤S151之前，还包括步骤：
S154：将所述多个缩放图像的每一个像素点的RGB灰度值拷贝至显存纹理空间。
步骤S151之后、S153之前，还包括步骤：
S156：将所述多个缩放图像的每一个像素点的所述ACF特征值拷贝至主机内存。
在其中一个实施例中，步骤S151之前，还包括步骤：
S157：根据RGB转Luv公式确定每个RGB灰度值对应Luv通道值的转换表，并将所述转换表拷贝至显卡常量存储区。如此，可以事先将转换表拷贝至显卡常量存储区，提高人脸检测方法的实时性。
在其中一个实施例中，步骤S151之前，还包括步骤：
S159：以0.001为间隔确定-1至+1之间所有数的反余弦角度的反余弦查找表，并将所述反余弦查找表拷贝至显卡常量存储区。如此，可以事先将反余弦查找表拷贝至显卡常量存储区，提高人脸检测方法的实时性。
在其中一个实施例中，步骤S151之前，还包括步骤：
S1581：申请所述预设数量个数的所述缩放图像的像素总个数大小的显存纹理空间。如此，用于存储每一个所述像素的RGB灰度值。
进一步地，步骤S151之前，还包括步骤：
S1582：申请显卡中的共用存储空间，所述共用存储空间的大小为所述像素总个数的大小的三分之十倍。如此，用以存放每个像素点的ACF特征值。这是由于ACF特征值包括Luv通道值(3个)、梯度幅值(1个)及HOG特征(6个)，共有10个特征值。
如图3所示，为本发明一种实施方式的人脸检测装置，包括：
缩放模块110，用于根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像。
设I(x,y)为一副h×w的待测的彩色图像，h是高度，w是宽度。假设人脸检测为正方型区域，预设人脸检测活动窗口的人脸检测区域，即最小人脸检测区域为d×d，图像缩放因子为sRatio。It(x,y)表示原图像I(x,y)依照缩放因子按照线性插值的方法缩放t次后所得图像，其中，ht、wt分别是It(x,y)的高、宽。
特征并行计算模块150，用于并行计算所述多个缩放图像的每一个像素点的ACF特征值。
获取待测图像进行多尺度缩放后得到的多个缩放图像中每一个点的RGB灰度值，根据多个缩放图像的每一个像素点的RGB灰度值，并行计算每一个像素点的ACF特征值。
在其中一个实施例中，p幅多尺度缩放图像的总像素数为其中，p为缩放图像的数量。
子窗口检测模块170，用于采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口。
检测缩放图像中通过活动窗口形成的所有预设人脸检测活动窗口大小的子窗口，获取所有子窗口的每个像素的ACF特征值。
具体地，活动窗口以2为行列步长进行滑动确定子窗口。
子窗口判决模块180，用于根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸。
以训练好的CRT级联决策树作为判决模型判决每个所述子窗口是否为人脸。
人脸确定模块190，用于当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。
子窗口的信息包括子窗口相对所述待测图像的位置区域；或者包括子窗口所在的缩放图像的缩放比例、子窗口在所述缩放图像中的位置信息。
根据所述信息可以通过非极大值抑制算法合并所有判决所述子窗口为人脸的区域，得到待测图像中的人脸区域。
可以理解的，当判决所有缩放图像的所有子窗口均不为人脸时，则待测图像中不包括人脸区域。
上述人脸检测装置，缩放模块110根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；特征并行计算模块150并行计算所述多个缩放图像的每一个像素点的ACF特征值；子窗口检测模块170采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；子窗口判决模块180根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；人脸确定模块190当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域。由于根据ACF特征值运用判决模型，判决每个所述子窗口是否为人脸，判决结果准确、精度高；由于ACF特征值的计算是采用并行方式计算的，故上述人脸检测装置速度快，实时性高。
在其中一个实施例中，缩放模块110包括：
最大数量确定单元111(图未示)，用于根据所述待测图像的长宽度、所述预设人脸检测活动窗口的长宽度及所述缩放因子，确定所述多个缩放图像的最大数量。
将待测图像的长宽度分别除以缩放因子多次，直至结果分别接近设人脸检测活动窗口的长宽度。多个缩放图像的最大数量即为除以缩放因子的次数。
预设数量缩放单元113(图未示)，用于根据图像缩放因子对待测图像进行多尺度缩放得到预设数量个数的缩放图像，所述预设数量小于所述最大数量。
在其中一个实施例中，可以通过随机选取的方式确定预设数量个数的缩放次数，也可以按均匀分配的方式确定预设数量个数的缩放次数。其中，缩放次数为对待测图像采用缩放因子进行缩放的次数，即得到的缩放图像与待测图像的缩放比例为缩放因子的缩放次数次方。
在本实施例中，如图4所示，特征并行计算模块150包括：
预设特征计算单元151，用于利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值。
利用显卡的GPU(Graphic Processing Unit，图形处理器)并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值。从而，主机的处理器，可以用于处理其它操作；且相对于主机的处理器，GPU对ACF特征值的计算具有更好的性能。如此，可以进一步提高人脸检测装置的速度，实时性。
剩余特征拟合单元153，用于根据所述预设数量个数的所述缩放图像的每一个像素点的所述ACF特征值，拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值，所述剩余数量等于所述最大数量减去所述预设数量。
传统方法需要对待测图像进行最大数量个数的缩放，得到最大数量个数的缩放图像，对每个尺度的缩放图像计算ACF特征是耗时的一个主要因素。在本实施例中，仅计算预设数量个数的缩放图像的ACF特征，即仅计算预设数量个数的缩放图像的每一个像素点的ACF特征值，剩余数量个数的缩放图像的ACF特征通过拟合的方式获取。如此，可以进一步提高人脸检测装置的速度，实时性。
在其中一个实施例中，剩余特征拟合单元153中拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值的拟合公式为：
其中，为所述预设数量个数所述缩放图像中的第n个所述缩放图像的ACF特征的表达式，p为预设数量，ACF特征由所述缩放图像的每一个像素点的ACF特征值组成；为所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的ACF特征的表达式；imresize为线性插值缩放函数，K为所述最大数量，λ为经验系数，s为所述预设数量个数所述缩放图像中的第n个所述缩放图像与所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的尺度缩放比例。
进一步地，还包括：
参数获取单元，用于获取经验系数、线性差值缩放函数，及所述预设数量个数所述缩放图像中的第n个所述缩放图像与所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的尺度缩放比例。
其中，尺度缩放比例可以由缩放因子以及所述预设数量个数所述缩放图像中的第n个缩放图像及所述剩余数量个数的所述缩放图像中的第m个所述缩放图像关于缩放因子的缩放次数确定。
在其中一个实施例中，所述ACF特征值包括Luv通道值、梯度幅值及HOG特征。预设特征计算单元151包括：
RGB获取子单元1511(图未示)，用于获取所运行的线程索引对应的所述缩放图像的一个像素点的RGB灰度值。
在本实施例中，多个线程并行，每一个线程获取其索引对应的像素点的RGB灰度值。
Luv确定子单元1513(图未示)，用于根据所述RGB灰度值确定所述像素点的Luv通道值。
根据所述RGB灰度值可以通过转换公式计算确定所述像素点的Luv通道值，也可以通过转换表查找确定所述像素点的Luv通道值。转换表中存储有所有RGB灰度值对应的Luv通道值。
梯度确定子单元1515(图未示)，用于根据所述Luv通道值确定所述Luv通道值灰度化后的灰度值，并根据所述灰度化后的灰度值确定梯度幅值及梯度方向。
利用Luv空间转换灰度空间公式可以将Luv通道值灰度化，如此，确定灰度化后的灰度值。进一步地，还可以对灰度化后的灰度值采用中值滤波算法进行平滑化，得到最终的灰度化后的灰度值。在本实施例中，采用中值滤波算法进行平滑化时，将相邻的八个像素点的灰度化后的灰度值作为中值滤波算法的输入进行平滑化，输出最终的灰度化后的灰度值。
根据灰度化后的灰度值采用梯度差分算法计算该像素点位置的梯度幅值及梯度方向。
HOG确定子单元1517(图未示)，用于根据所述梯度方向确定HOG特征。
根据所述梯度方向利用HOG6方向算子确定HOG特征。在其中一个实施例中，由于确定HOG特征的过程中需要用到反余弦函数，因此可以结合反余弦查找表快速确定HOG特征。
如此，可以利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值。
为了提供具体的并行方式，请继续参阅图4，在其中一个实施例中，预设特征计算单元151，包括：
线程数确定单元152(图未示)，用于根据CUDA架构及硬件本身对共享内存大小的制约、寄存器大小的制约、线程束数量的制约及一个流处理器内活动块数量的制约确定并行的线程数量。
调用CUDA架构提供的deviceQuery程序获取显卡的硬件参数。在其中一个具体实施例中，设获取的硬件参数如下：
一个Block(块)内的最大线程数NTmax；
一个SM(流处理器)内的最大共享内存大小Mshared-max；
一个SM内的最大寄存器大小Mreg-max；
一个SM内的Warp(线程束)个数Nwarp；
一个SM内的activeblock(激活块)最大个数为8。
设一个Block内线程数为NT 2(即，NT×NT)，每个线程使用寄存器大小则一 个Block使用共享内存为式中4表示需要4个矩阵用以存储临 时变量，size(float)表示浮点型数据的大小。使用寄存器内存为
受共享内存大小的制约：该SM上activeblock个数为
受寄存器大小的制约：该SM上activeblock个数为
受warp个数的制约：该SM上activeblock个数为式中32表示在CUDA架构下线程运行必须以32个为一组。
受一个SM内activeblock最大个数制约：该SM上activeblock个数为NB4＝8。
根据经验表明，一个SM上activeblock个数为6时效率是最高的。因此，在CPU程序中遍历NT 2∈[1,NTmax]的所有整数值，计算argmin(abs(min(NB1,NB2,NB3,NB4)-6))，可以得到NT 2为最终线程数量的计算结果。
在其中一个实施例中，使用单一Grid二维Block机制，设一个Grid含有NB×NB个Block，设预设数量p幅缩放图像总像素数为Sp，则
可以理解地，由于ACF特征值的确定是利用GPU实现的，特征并行计算模块150还包括：
显卡图像拷贝单元154，用于将所述多个缩放图像的每一个像素点的RGB灰度值拷贝至显存纹理空间。
主机图像拷贝单元156，用于将所述多个缩放图像的每一个像素点的所述ACF特征值拷贝至主机内存。
在其中一个实施例中，特征并行计算模块150还包括：
转化表单元157，用于根据RGB转Luv公式确定每个RGB灰度值对应Luv通道值的转换表，并将所述转换表拷贝至显卡常量存储区。如此，可以事先将转换表拷贝至显卡常量存储区，提高人脸检测装置的实时性。
在其中一个实施例中，特征并行计算模块150还包括：
查找表单元159，用于以0.001为间隔确定-1至+1之间所有数的反余弦角度的反余弦查找表，并将所述反余弦查找表拷贝至显卡常量存储区。如此，可以事先将反余弦查找表拷贝至显卡常量存储区，提高人脸检测装置的实时性。
在其中一个实施例中，特征并行计算模块150还包括：
显存申请单元1581，用于申请所述预设数量个数的所述缩放图像的像素总个数大小的显存纹理空间。如此，用于存储每一个所述像素的RGB灰度值。
进一步地，特征并行计算模块150还包括：
共用空间申请单元1582，用于申请显卡中的共用存储空间，所述共用存储空间的大小为所述像素总个数的大小的三分之十倍。如此，用以存放每个像素点的ACF特征值。这是由于ACF特征值包括Luv通道值(3个)、梯度幅值(1个)及HOG特征(6个)，共有10个特征值。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出多个变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种人脸检测方法，其特征在于，包括：
根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；
并行计算所述多个缩放图像的每一个像素点的ACF特征值；
采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；
根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；
当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域；
所述根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像的步骤包括：
根据所述待测图像的长宽度、所述预设人脸检测活动窗口的长宽度及所述缩放因子，确定所述多个缩放图像的最大数量；
根据图像缩放因子对待测图像进行多尺度缩放得到预设数量个数的缩放图像，所述预设数量小于所述最大数量；
所述并行计算所述多个缩放图像的每一个像素点的ACF特征值的步骤，包括：
利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值；
根据所述预设数量个数的所述缩放图像的每一个像素点的所述ACF特征值，拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值，所述剩余数量等于所述最大数量减去所述预设数量；
所述根据所述预设数量个数的所述缩放图像的每一个像素点的所述ACF特征值，拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值的拟合公式为：
其中，为所述预设数量个数所述缩放图像中的第n个所述缩放图像的ACF特征的表达式，p为所述预设数量，所述ACF特征由所述缩放图像的每一个像素点的所述ACF特征值组成；为所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的ACF特征的表达式；imresize为线性插值缩放函数，K为所述最大数量，λ为经验系数，s为所述预设数量个数所述缩放图像中的第n个所述缩放图像与所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的尺度缩放比例。
2.根据权利要求1所述的人脸检测方法，其特征在于，所述利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值的步骤，包括：
获取所运行的线程索引对应的所述缩放图像的一个像素点的RGB灰度值；
根据所述RGB灰度值确定所述像素点的Luv通道值；
根据所述Luv通道值确定所述Luv通道值灰度化后的灰度值，并根据所述灰度化后的灰度值确定梯度幅值及梯度方向；
根据所述梯度方向确定HOG特征；
其中，所述ACF特征值包括Luv通道值、梯度幅值及HOG特征。
3.根据权利要求1所述的人脸检测方法，其特征在于，所述利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值的步骤包括：
根据CUDA架构及硬件本身对共享内存大小的制约、寄存器大小的制约、线程束数量的制约及一个流处理器内活动块数量的制约确定并行的线程数量，通过GPU根据确定的所述并行的线程数量并行计算所述预设数量个数的所述缩放图像的每一个像素点的所述ACF特征值。
4.根据权利要求1所述的人脸检测方法，其特征在于，所述利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值的步骤之前，还包括步骤：
将所述多个缩放图像的每一个像素点的RGB灰度值拷贝至显存纹理空间；
所述利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值的步骤之后，所述拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值的步骤之前，还包括步骤：
将所述多个缩放图像的每一个像素点的所述ACF特征值拷贝至主机内存。
5.根据权利要求4所述的人脸检测方法，其特征在于，所述利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值的步骤之前，还包括步骤：
申请显卡中的共用存储空间，所述共用存储空间的大小为所述像素总个数的大小的三分之十倍。
6.一种人脸检测装置，其特征在于，包括：
缩放模块，用于根据图像缩放因子对待测图像进行多尺度缩放得到多个缩放图像；
特征并行计算模块，用于并行计算所述多个缩放图像的每一个像素点的ACF特征值；
子窗口检测模块，用于采用预设人脸检测活动窗口依次检测每个所述缩放图像的所有子窗口；
子窗口判决模块，用于根据所述ACF特征值运用判决模型，判决每个所述子窗口是否为人脸；
人脸确定模块，用于当判决所述子窗口为人脸时，记录所述子窗口的信息，根据所述信息确定所述待测图像中的人脸区域；
所述图像缩放模块包括：
最大数量确定单元，用于根据所述待测图像的长宽度、所述预设人脸检测活动窗口的长宽度及所述缩放因子，确定所述多个缩放图像的最大数量；
预设数量缩放单元，用于根据图像缩放因子对待测图像进行多尺度缩放得到预设数量个数的缩放图像，所述预设数量小于所述最大数量；
所述特征并行计算模块包括：
预设特征计算单元，用于利用GPU并行计算所述预设数量个数的所述缩放图像的每一个像素点的ACF特征值；
剩余特征拟合单元，用于根据所述预设数量个数的所述缩放图像的每一个像素点的所述ACF特征值，拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值，所述剩余数量等于所述最大数量减去所述预设数量；
所述剩余特征拟合单元，根据所述预设数量个数的所述缩放图像的每一个像素点的所述ACF特征值，拟合剩余数量个数的缩放图像的每一个像素点的ACF特征值的拟合公式为：
其中，为所述预设数量个数所述缩放图像中的第n个所述缩放图像的ACF特征的表达式，p为所述预设数量，所述ACF特征由所述缩放图像的每一个像素点的所述ACF特征值组成；为所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的ACF特征的表达式；imresize为线性插值缩放函数，K为所述最大数量，λ为经验系数，s为所述预设数量个数所述缩放图像中的第n个所述缩放图像与所述剩余数量个数的所述缩放图像中的第m个所述缩放图像的尺度缩放比例。
7.根据权利要求6所述的人脸检测装置，其特征在于，所述预设特征计算单元包括：
RGB获取子单元，用于获取所运行的线程索引对应的所述缩放图像的一个像素点的RGB灰度值；
Luv确定子单元，用于根据所述RGB灰度值确定所述像素点的Luv通道值；
梯度确定子单元，用于根据所述Luv通道值确定所述Luv通道值灰度化后的灰度值，并根据所述灰度化后的灰度值确定梯度幅值及梯度方向；
HOG确定子单元，用于根据所述梯度方向确定HOG特征；
其中，所述ACF特征值包括Luv通道值、梯度幅值及HOG特征。
CN201610115769.7A 2016-02-29 2016-02-29 人脸检测方法及装置 Active CN105809114B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610115769.7A CN105809114B (zh) 2016-02-29 2016-02-29 人脸检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610115769.7A CN105809114B (zh) 2016-02-29 2016-02-29 人脸检测方法及装置

Publications (2)

Publication Number Publication Date
CN105809114A CN105809114A (zh) 2016-07-27
CN105809114B true CN105809114B (zh) 2019-02-01

Family

ID=56466020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610115769.7A Active CN105809114B (zh) 2016-02-29 2016-02-29 人脸检测方法及装置

Country Status (1)

Country Link
CN (1) CN105809114B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108664853B (zh) * 2017-03-30 2022-05-27 北京君正集成电路股份有限公司 人脸检测方法及装置
CN109993035B (zh) * 2017-12-29 2021-06-29 深圳市优必选科技有限公司 基于嵌入式系统的人体检测的方法以及装置
CN110443825A (zh) * 2018-05-03 2019-11-12 香港商女娲创造股份有限公司 视觉追踪与人机互动系统及追随系统
CN109034100B (zh) * 2018-08-13 2021-03-26 成都云盯科技有限公司 人脸图样检测方法、装置、设备及存储介质
CN109063683B (zh) * 2018-08-28 2022-02-11 第六镜科技(北京)集团有限责任公司 人脸检测方法及系统
CN109359577B (zh) * 2018-10-08 2021-06-29 福州大学 一种基于机器学习的复杂背景下人数检测系统
CN110246169B (zh) * 2019-05-30 2021-03-26 华中科技大学 一种基于梯度的窗口自适应立体匹配方法及系统
CN113378863B (zh) * 2021-07-09 2023-12-19 上海商汤科技开发有限公司 一种图像处理方法及装置、电子设备和存储介质
CN114049627B (zh) * 2022-01-11 2022-04-08 浙江华是科技股份有限公司 可智能选择缩放尺度的船牌检测方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013444A (zh) * 2007-02-13 2007-08-08 华为技术有限公司 一种自适应生成足球视频摘要的方法和装置
CN103093250A (zh) * 2013-02-22 2013-05-08 福建师范大学 一种基于新Haar-like特征的Adaboost人脸检测方法
CN103886308A (zh) * 2014-04-15 2014-06-25 中南大学 一种使用聚合通道特征和软级联分类器的行人检测方法
CN105046278A (zh) * 2015-07-17 2015-11-11 江苏物联网研究发展中心 基于Haar特征的Adaboost检测算法的优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013444A (zh) * 2007-02-13 2007-08-08 华为技术有限公司 一种自适应生成足球视频摘要的方法和装置
CN103093250A (zh) * 2013-02-22 2013-05-08 福建师范大学 一种基于新Haar-like特征的Adaboost人脸检测方法
CN103886308A (zh) * 2014-04-15 2014-06-25 中南大学 一种使用聚合通道特征和软级联分类器的行人检测方法
CN105046278A (zh) * 2015-07-17 2015-11-11 江苏物联网研究发展中心 基于Haar特征的Adaboost检测算法的优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多尺度聚合通道特征的实时行人检测;李庆武等;《电子测量与仪器学报》;20151130;第29卷(第11期);第1691-1697页
基于多通道特征的人脸检测;许倩茹等;《工业控制计算机》;20151231;第28卷(第5期);第118-119，147页

Also Published As

Publication number Publication date
CN105809114A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105809114B (zh) 人脸检测方法及装置
CN106683048B (zh) 一种图像超分辨率方法及设备
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
EP3333768A1 (en) Method and apparatus for detecting target
CN111860407B (zh) 一种视频中人物的表情识别方法、装置、设备及存储介质
CN111311543B (zh) 图像清晰度检测方法、系统、设备及存储介质
US8103058B2 (en) Detecting and tracking objects in digital images
CN108664981A (zh) 显著图像提取方法及装置
CN109740589B (zh) 视频模式中的异步对象roi检测方法及系统
JP6937508B2 (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
US8873839B2 (en) Apparatus of learning recognition dictionary, and method of learning recognition dictionary
KR101479225B1 (ko) 특징 벡터 생성 방법 및 그 장치, 이를 이용한 영상 인식 방법 및 장치
KR20100090829A (ko) 실시간 얼굴 검출 장치
CN105005798B (zh) 一种基于局部相似结构统计匹配的目标识别方法
CN110111347B (zh) 图像标志提取方法、装置及存储介质
US9715729B2 (en) Method and apparatus for processing block to be processed of urine sediment image
JP2015153120A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN106503700A (zh) 基于FPGA的Haar特征多处理架构人脸检测系统及检测方法
CN111709305B (zh) 一种基于局部图像块的人脸年龄识别方法
CN112818774A (zh) 一种活体检测方法及装置
CN112733823A (zh) 手势姿态识别关键帧提取方法、装置及可读存储介质
US8953893B2 (en) System and method to determine feature candidate pixels of an image
AU2009347563B2 (en) Detection of objects represented in images
US20170091593A1 (en) Pattern classifying apparatus, information processing apparatus, pattern classifying method, and non-transitory computer readable storage medium
CN114449362A (zh) 视频封面的选取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230510

Address after: 518057, 25th Floor, Building A, Financial Technology Building, No. 11 Keyuan Road, Nanshan District, Shenzhen, Guangdong Province

Patentee after: ZMODO TECHNOLOGY SHENZHEN Corp.,Ltd.

Patentee after: Beijing Zhihong Technology Co.,Ltd.

Address before: Floor 25, Building A, Financial Technology Building, No. 11, Keyuan Road, Nanshan District, Shenzhen, Guangdong 518000

Patentee before: ZMODO TECHNOLOGY SHENZHEN Corp.,Ltd.

Patentee before: ZMODO (JIANGSU) DIGITAL TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230908

Address after: 518000 1F218, Building B, Guoren Building, No. 5, Keji Middle Third Road, Maling Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong

Patentee after: Aizhi Technology (Shenzhen) Co.,Ltd.

Patentee after: Beijing Zhihong Technology Co.,Ltd.

Address before: 518057, 25th Floor, Building A, Financial Technology Building, No. 11 Keyuan Road, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: ZMODO TECHNOLOGY SHENZHEN Corp.,Ltd.

Patentee before: Beijing Zhihong Technology Co.,Ltd.