CN103116756B - 一种人脸检测与跟踪方法及装置 - Google Patents
一种人脸检测与跟踪方法及装置 Download PDFInfo
- Publication number
- CN103116756B CN103116756B CN201310025617.4A CN201310025617A CN103116756B CN 103116756 B CN103116756 B CN 103116756B CN 201310025617 A CN201310025617 A CN 201310025617A CN 103116756 B CN103116756 B CN 103116756B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- module
- histogram
- brightness value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明提出一种人脸检测与跟踪方法及装置,其中该方法包括:输入人脸图像或视频;对所述人脸图像或视频进行光照预处理;利用AdaBoost算法进行人脸检测,确定人脸初始位置;以及利用MeanShift算法进行人脸跟踪。本发明的方法及装置,在图像预处理阶段,本发明提出自适应局部对比度增强方法来增强图像细节信息;在人脸检测阶段,采用AdaBoost算法,为了提高在不同光照下算法的鲁棒性,在训练样本中增加不同光照的人脸正样本,提高人脸检测的准确性;在人脸跟踪阶段,采用MeanShift跟踪算法,为了克服该算法使用颜色特征的单一性,融合梯度特征和局部二值模式LBP纹理特征,其中LBP纹理特征还考虑了利用LBP局部方差表示图像对比度信息的变化,提高了人脸检测和跟踪的准确性。
Description
技术领域
本发明涉及模式识别和图像处理技术领域,具体涉及一种人脸检测与跟踪方法及装置。
背景技术
人脸检测与跟踪是两个相互独立又密不可分的问题。人脸检测是人脸跟踪实现的基础和前提,人脸跟踪又可以看作是在人脸检测的基础上进行的,两者相互关联。近几年来,随着网络的发展,视频中人脸检测与跟踪有着广泛的应用前景,比如说视频会议、远程教育、视频监控等。
人脸检测的主要目的是把输入图像分成为两部分:人脸区域和非人脸区域。根据检测原理的不同,常用的人脸检测方法分为:基于人脸特征的检测方法和基于统计模型的检测方法。人脸包含颜色特征,轮廓特征,几何特征等丰富多样的特征信息。基于人脸特征的检测方法就是根据人脸已知的特征来进行检测。基于人脸特征的方法又可分为基于先验知识的方法、基于特征不变性的方法和基于模板匹配的方法。基于统计学习的方法作为一种整体属性的方法,是当今人脸检测算法的主流算法。总的来说,基于统计学习的方法是将人脸问题看作“人脸”与“非人脸”两种模式的分类问题,通过大量的人脸和非人脸样本建立一个分类器,它能够正确分辨这两种不同的图像模式,再利用训练好的分类器在待测图像中检测人脸。这类方法的优势是不再使用人脸的特征信息等先验知识,也无需设定模板参数等操作,避免了不精确或者不完整的知识造成的误判。在统计过程中采用了实例学习的方法获取模型参数,统计意义上更为可靠,同时它可以通过增加学习的实例扩充检测模型范围,使检测结果更具鲁棒性。基于统计学习的检测方法包括子空间方法,神经网络方法,支持向量机方法,隐马尔可夫模型方法以及目前较新的AdaBoost学习法等。
与人脸检测不同,人脸跟踪处理的是视频序列。人脸跟踪就是根据已定位的人脸,在后续图像序列中确定该人脸的运动轨迹及大小变化的过程。人脸跟踪研究是目标跟踪研究的一个分支,根据跟踪算法中所运用方法的侧重点的不同,我们将人脸跟踪方法大体上分为基于匹配的跟踪和基于运动特性的跟踪。基于匹配的跟踪算法根据提取目标的特征不同又可分为区域匹配跟踪、模型匹配跟踪和特征匹配跟踪。基于运动特性的跟踪又分为基于光流的跟踪和运动预测跟踪。
目前的人脸检测及跟踪方法及系统中仍存在问题,例如光照变化、表情变化、遮挡等,这其中又以光照变化带来的干扰最为严重。在户外日光等不能控制光照的环境下,人脸特征受光照方向和光照强度的影响明显产生非线性变化,使人脸检测变得很困难。相同人脸在不同光照条件下的差别,有时比不同人脸在相同光照条件下的差别还要大。因此,提高人脸检测及跟踪系统对光照的鲁棒性,从学术和实际应用的角度都有非常重要的意义。
发明内容
本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择
为此,本发明的一个目的在于提出一种光照条件下鲁棒的人脸检测与跟踪方法。
根据本发明实施例的人脸检测与跟踪方法,包括:S1:输入人脸图像或视频;S2:光照预处理;S3:利用AdaBoost算法进行人脸检测,确定人脸初始位置;以及S4:利用MeanShift算法进行人脸跟踪。
可选地,所述步骤S2进一步包括:S21:计算每一帧图像的平均亮度值,将所述平均亮度值与预设的亮度阈值作比较,对过暗图像进行对数变换,对过亮图像进行指数变换;以及S22:对亮度变换后的图像计算梯度模,将所述梯度模的数值与预设的梯度模阈值作比较,对过小梯度值的图像区域进行局部细节调整,否则无需调整。
可选地,所述步骤S3进一步包括:S31:离线地收集大量不同光照条件下的人脸正样本及非人脸负样本;S32:离线地利用所述人脸正样本及非人脸负样本训练分类器,其中,采用积分图的快速算法计算图像各个区域的像素和,用于计算设计好的不同Haar-Like特征值,利用AdaBoost算法挑选出分类能力强的特征作为弱分类器,计算出弱分类器阈值,再将挑选出的弱分类器组成一个强分类器,计算出强分类器阈值,最后将强分类器级联成一个多层分类器;以及S33:利用训练的分类器对输入图像或视频检测人脸,并将检测到的人脸位置作为人脸跟踪的初始位置。
可选地,所述步骤S4进一步包括:S41:对输入的图像或视频所述分别计算梯度直方图、颜色直方图和纹理直方图;S42:将所述梯度直方图、颜色直方图和纹理直方图进行融合,获得目标融合直方图;S43:利用与步骤S41和步骤S42的方法计算候选区域的候选目标融合直方图;S44:计算所述目标融合直方图和所述候选目标融合直方图之间的相似度;S45:通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代,并最终收敛到目标的真实位置,达到目标跟踪的目的。
可选地,所述计算纹理直方图进一步包括:计算LBP描述子,统计局部二值模式特征;计算LBP方差描述子,统计局部对比度变化特征;以及利用融合策略,将局部二值模式特征和局部对比度变化特征有效融合,共同表示纹理特征。
本发明的另一个目的在于提出一种光照条件下鲁棒的人脸检测与跟踪装置。
根据本发明实施例的人脸检测与跟踪装置,包括:输入模块,所述输入模块用于输入人脸图像或视频;预处理模块,所述预处理模块对所述人脸图像或视频进行光照预处理;人脸检测模块,所述人脸检测模块利用AdaBoost算法进行人脸检测,确定人脸初始位置;以及人脸跟踪模块,所述人脸跟踪模块利用MeanShift算法进行人脸跟踪。
可选地,所述预处理模块进一步包括:亮度修正模块,所述亮度修正模块首先计算每一帧图像的平均亮度值,然后将所述平均亮度值与预设的亮度阈值作比较,对过暗图像进行对数变换,对过亮图像进行指数变换;以及梯度修正模块,所述梯度修正模块首先对亮度变换后的图像计算梯度模,然后将所述梯度模的数值与预设的梯度模阈值作比较,对过小梯度值的图像区域进行局部细节调整,否则无需调整。
可选地,所述人脸检测模块进一步包括:人脸样本库,所述人脸样本库存储有离线收集到的大量不同光照条件下的人脸正样本及非人脸负样本;分类器训练模块,所述分类器训练模块用于离线地利用所述人脸正样本及非人脸负样本训练分类器,其中,采用积分图的快速算法计算图像各个区域的像素和,用于计算设计好的不同Haar-Like特征值,利用AdaBoost算法挑选出分类能力强的特征作为弱分类器,计算出弱分类器阈值,再将挑选出的弱分类器组成一个强分类器,计算出强分类器阈值,最后将强分类器级联成一个多层分类器;以及所述分类器,所述分类器经过训练后对输入图像或视频检测人脸,并将检测到的人脸位置作为人脸跟踪的初始位置。
可选地,所述人脸追踪模块进一步包括:梯度直方图计算模块、颜色直方图计算模块以及纹理直方图计算模块,用于计算输入的图像或视频的梯度直方图、颜色直方图和纹理直方图,以及计算候选区域的梯度直方图、颜色直方图和纹理直方图;直方图融合模块,所述直方图融合模块用于将所述梯度直方图、颜色直方图和纹理直方图进行融合,获得目标融合直方图和候选目标融合直方图;相似度计算模块,所述相似度计算模块计算所述目标融合直方图和所述候选目标融合直方图之间的相似度;以及迭代求解模块,所述迭代求解模块通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代,并最终收敛到目标的真实位置,达到目标跟踪的目的。
可选地,所述纹理直方图计算模块进一步包括:LBP计算模块,用于计算LBP描述子,统计局部二值模式特征;LBP方差计算模块,用于计算LBP方差描述子,统计局部对比度变化特征;以及纹理特征融合模块,用于利用融合策略,将局部二值模式特征和局部对比度变化特征有效融合,共同表示纹理特征。
根据本发明实施例的人脸检测与跟踪方法及装置,具有以下优点:
(1)针对强光和背光等不同的光照条件下人脸检测效果变差的情况,提出使用对数变换或指数变换对图像进行光照补偿,同时利用梯度模值作为判别阈值,对图像信息损失处进行局部对比度增强。该算法用对数函数作为基函数,使变换后的图像更加符合人类的视觉特点。引入自适应局部对比度增强算法来增强图像细节,使变换后的图像更清晰。
(2)针对LBP算子的特征提取过程忽略了灰度值强度变化的问题,提出了利用LBP局部对比度信息和传统局部二值模式相结合的方法共同表示人脸纹理特征,使人脸纹理特征更加丰富。
(3)将纹理特征和梯度特征集成到传统基于颜色的Meanshift跟踪算法中,把目标的颜色特征和纹理特征、梯度特征结合起来,充分利用了目标的特征信息,可有效解决传统Meanshift算法易受光照强度影响的问题。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明实施例的人脸检测与跟踪方法的流程框图;
图2是本发明实施例的人脸检测与跟踪方法的光照预处理步骤的流程框图;
图3是本发明实施例的人脸检测与跟踪方法的AdaBoost人脸检测步骤的流程框图;
图4是本发明实施例的人脸检测与跟踪方法的MeanShift人脸跟踪步骤的流程框图;
图5是本发明实施例的人脸检测与跟踪装置的结构示意图;
图6是本发明实施例的人脸检测与跟踪装置的预处理模块的结构示意图;
图7是本发明实施例的人脸检测与跟踪装置的人脸检测模块的结构示意图;
图8是本发明实施例的人脸检测与跟踪装置的人脸跟踪模块的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
下面将参照附图来说明本发明的人脸检测及跟踪方法。
如图1所示,本发明实施例的人脸检测与跟踪方法可以包括如下步骤:
S1:输入人脸图像或视频。
S2:对人脸图像或视频进行光照预处理。
具体地,如图2所示,进一步包括:S21:计算每一幅图像的平均亮度值,对于灰度图像,亮度值即为灰度值,对于彩色图像来说,亮度值即为HSI颜色空间中的亮度值,然后将平均亮度值与预设的亮度阈值作比较,对过暗图像进行对数变换,对过亮图像进行指数变换;以及S22:对亮度变换后的图像计算梯度模,将梯度模的数值与预设的梯度模阈值作比较,对过小梯度值的图像区域进行局部细节调整,否则无需调整。
其中,步骤S22中对变换后图像计算梯度模,判断梯度模的数值是否小于一定阈值,如果小于,进行局部细节调整,否则无需调整。具体公式如下:
因为视频序列一般为彩色图像,且相关文献指出,与RGB颜色模型相比,HSI颜色模型更加符合人眼对景物颜色的感知。所以先将视频图像转换为HSI颜色空间,并对亮度I进行光照补偿处理。式中,xi,j为原始图像在位置(i,j)处的亮度值,x′i,j为经对数或指数变换处理后像素的亮度值;为原始图像中窗口W内各像素的平均亮度值;为经变换处理后窗口W内各像素的平均亮度值; 为原始图像窗W内局部亮度方差;dx,j和分别为原始图像及变换处理后图像的梯度模值;c为梯度变化判断阈值;k为常数。
对数变换或指数变换起到调节全局光照亮度的作用,而自适应对比度增强则相当于一个高通滤波器,起到了增强细节的作用,并且仅处理部分图像数据(5%~25%),计算量小,算法比较简洁,容易实现。
S3:利用AdaBoost算法进行人脸检测,确定人脸初始位置。
具体地,如图3所示,进一步包括:S31:离线地收集大量不同光照条件下的人脸正样本及非人脸负样本;S32:离线地利用人脸正样本及非人脸负样本训练分类器,其中,采用积分图的快速算法计算图像各个区域的像素和,用于计算设计好的不同Haar-Like特征值,利用AdaBoost算法挑选出分类能力强的特征作为弱分类器,计算出弱分类器阈值,再将挑选出的弱分类器组成一个强分类器,计算出强分类器阈值,最后将强分类器级联成一个多层分类器;以及S33:利用训练的分类器对输入图像或视频检测人脸,并将检测到的人脸位置作为跟踪的初始位置。
S4:利用MeanShift算法进行人脸跟踪。
具体地,如图4所述,进一步包括:S41:对输入的图像或视频分别计算梯度直方图、颜色直方图和纹理直方图;S42:将梯度直方图、颜色直方图和纹理直方图进行融合,获得目标融合直方图;S43:利用与步骤S41和步骤S42的方法计算候选区域的候选目标融合直方图;S44:计算目标融合直方图和候选目标融合直方图之间的相似度;以及S45:通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代,并最终收敛到目标的真实位置,达到目标跟踪的目的。其中,计算纹理直方图进一步包括:计算LBP描述子,统计局部二值模式特征;计算LBP方差描述子,统计局部对比度变化特征;以及利用融合策略,将局部二值模式特征和局部对比度变化特征有效融合,共同表示纹理特征。
本发明实施例针对人脸检测与跟踪受光照严重影响的问题,提出了一套解决光照问题的完整方案。在图像预处理阶段,利用对数变换或指数变换对过亮或过暗图像进行整体光照补偿,在此基础上,对细节损失局部区域提出利用自适应局部对比度增强方法来增强图像细节信息。人脸检测阶段,采用经典的AdaBoost算法,为了提高在不同光照下算法的鲁棒性,在训练样本中增加不同光照的人脸正样本,提高人脸检测的准确性。在人脸跟踪阶段,采用MeanShift跟踪算法,为了克服该算法使用颜色特征的单一性和不稳定性,融合梯度特征和局部二值模式LBP纹理特征,其中LBP纹理特征还考虑了利用方差表示图像对比度信息,进一步提高人脸跟踪的准确性,最终实现人脸的正确检测与跟踪。
如图5所示,本发明实施例的人脸检测与跟踪装置,包括以下部分:输入模块100,输入模块100用于输入人脸图像或视频;预处理模块200,预处理模块200对人脸图像或视频进行光照预处理;人脸检测模块300,人脸检测模块300利用AdaBoost算法进行人脸检测,确定人脸初始位置;以及人脸跟踪模块400,人脸跟踪模块400利用MeanShift算法进行人脸跟踪。
其中,预处理模块200进一步包括:亮度修正模块210和梯度修正模块220。亮度修正模块210首先计算每一幅图像的平均亮度值,对于灰度图像,亮度值即为灰度值,对于彩色图像来说,亮度值即为HSI颜色空间中的亮度值,然后将平均亮度值与预设的亮度阈值作比较,对过暗图像进行对数变换,对过亮图像进行指数变换;梯度修正模块220首先对亮度变换后的图像计算梯度模,然后将梯度模的数值与预设的梯度模阈值作比较,对过小梯度值的图像区域进行局部细节调整,否则无需调整。
其中,人脸检测模块300进一步包括:人脸样本库310,分类器训练模块320和分类器330。人脸样本库310存储有离线收集到的大量不同光照条件下的人脸正样本及非人脸负样本;分类器训练模块320用于离线地利用人脸正样本及非人脸负样本训练分类器,其中,采用积分图的快速算法计算图像各个区域的像素和,用于计算设计好的不同Haar-Like特征值,利用AdaBoost算法挑选出分类能力强的特征作为弱分类器,计算出弱分类器阈值,再将挑选出的弱分类器组成一个强分类器,计算出强分类器阈值,最后将强分类器级联成一个多层分类器;分类器330经过训练后对输入图像或视频检测人脸,并将检测的人脸位置作为跟踪的初始位置。
其中,人脸追踪模块400进一步包括:梯度直方图计算模块410a、颜色直方图计算模块410b、纹理直方图计算模块410c,它们分别用于计算输入的图像或视频的梯度直方图、颜色直方图和纹理直方图,以及计算候选区域的梯度直方图、颜色直方图和纹理直方图;直方图融合模块420,直方图融合模块420用于将梯度直方图、颜色直方图和纹理直方图进行融合,获得目标融合直方图和候选目标融合直方图;相似度计算模块430,相似度计算模块430计算目标融合直方图和候选目标融合直方图之间的相似度;以及迭代求解模块440,迭代求解模块440通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代,并最终收敛到目标的真实位置,达到目标跟踪的目的。
其中,纹理直方图计算模块410c还进一步包括:LBP计算模块,用于计算LBP描述子,统计局部二值模式特征;LBP方差计算模块,用于计算LBP方差描述子,统计局部对比度变化特征;以及纹理特征融合模块,用于利用融合策略,将局部二值模式特征和局部对比度变化特征有效融合,共同表示纹理特征。
根据本发明实施例的人脸检测与跟踪方法及装置,具有以下优点:
(1)针对强光和背光等不同的光照条件下人脸检测效果变差的情况,提出使用对数变换或指数变换对图像进行光照补偿,同时利用梯度模值作为判别阈值,对图像信息损失处进行局部对比度增强。该算法用对数函数作为基函数,使变换后的图像更加符合人类的视觉特点。引入自适应局部对比度增强算法来增强图像细节,使变换后的图像更清晰。
(2)针对LBP算子的特征提取过程忽略了灰度值强度变化的问题,提出了利用LBP局部对比度信息和传统局部二值模式相结合的方法共同表示人脸纹理特征,使人脸纹理特征更加丰富。
(3)将纹理特征和梯度特征集成到传统基于颜色的Meanshift跟踪算法中,把目标的颜色特征和纹理特征、梯度特征结合起来,充分利用了目标的特征信息,可有效解决传统Meanshift算法易受光照强度影响的问题。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种人脸检测与跟踪方法,其特征在于,包括以下步骤:
S1:输入人脸图像或视频;
S2:对所述人脸图像或视频进行光照预处理,其中,所述步骤S2进一步包括:
S21:计算每一帧图像的平均亮度值,将所述平均亮度值与预设的亮度阈值作比较,对过暗图像进行对数变换,对过亮图像进行指数变换,对于彩色图像,亮度值为HSI颜色空间中的亮度值;以及
S22:对亮度变换后的图像计算梯度模,将所述梯度模的数值与预设的梯度模阈值作比较,对过小梯度值的图像区域进行局部细节调整,否则无需调整,对于彩色图像,先将视频图像转换为HSI颜色空间,并对亮度I进行光照补偿处理;其中,梯度建模的公式为:
式中,xi,j为原始图像在位置(i,j)处的亮度值,x’i,j为进行细节调整或未进行细节调整后的亮度值;为经对数或指数变换处理后像素的亮度值;为原始图像中窗口W内各像素的平均亮度值;为经变换处理后窗口W内各像素的平均亮度值;为原始图像窗W内局部亮度方差;为变化处理后图像的梯度模值;di,j为原始图像的梯度模值,c是梯度变化判断阈值;k为常数;
S3:利用AdaBoost算法进行人脸检测,确定人脸初始位置;以及
S4:利用MeanShift算法进行人脸跟踪。
2.如权利要求1所述的方法,其特征在于,所述步骤S3进一步包括:
S31:离线地收集大量不同光照条件下的人脸正样本及非人脸负样本;
S32:离线地利用所述人脸正样本及非人脸负样本训练分类器,其中,采用积分图的快速算法计算图像各个区域的像素和,用于计算设计好的不同Haar-Like特征值,利用AdaBoost算法挑选出分类能力强的特征作为弱分类器,计算出弱分类器阈值,再将挑选出的弱分类器组成一个强分类器,计算出强分类器阈值,最后将强分类器级联成一个多层分类器;以及
S33:利用训练的分类器对输入图像或视频检测人脸,并将检测到的人脸位置作为跟踪的初始位置。
3.如权利要求1所述的方法,其特征在于,所述步骤S4进一步包括:
S41:对输入的图像或视频分别计算梯度直方图、颜色直方图和纹理直方图;
S42:将所述梯度直方图、颜色直方图和纹理直方图进行融合,获得目标融合直方图;
S43:利用步骤S41和步骤S42的方法计算候选区域的候选目标融合直方图;
S44:计算所述目标融合直方图和所述候选目标融合直方图之间的相似度;以及
S45:通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代,并最终收敛到目标的真实位置,达到目标跟踪的目的。
4.如权利要求3所述的方法,其特征在于,所述计算纹理直方图进一步包括:计算LBP描述子,统计局部二值模式特征;计算LBP方差描述子,统计局部对比度变化特征;以及利用融合策略,将局部二值模式特征和局部对比度变化特征有效融合,共同表示纹理特征。
5.一种人脸检测与跟踪装置,其特征在于,包括以下部分:
输入模块,所述输入模块用于输入人脸图像或视频;
预处理模块,所述预处理模块对所述人脸图像或视频进行光照预处理,其中,所述预处理模块进一步包括:
亮度修正模块,所述亮度修正模块首先计算每一帧图像的平均亮度值,然后将所述平均亮度值与预设的亮度阈值作比较,对过暗图像进行对数变换,对过亮图像进行指数变换,对于彩色图像,亮度值为HSI颜色空间中的亮度值;以及
梯度修正模块,所述梯度修正模块首先对亮度变换后的图像计算梯度模,然后将所述梯度模的数值与预设的梯度模阈值作比较,对过小梯度值的图像区域进行局部细节调整,否则无需调整,对于彩色图像,先将视频图像转换为HSI颜色空间,并对亮度I进行光照补偿处理;其中,梯度建模的具体公式为:
式中,xi,j为原始图像在位置(i,j)处的亮度值,x’i,j为进行细节调整或未进行细节调整后的亮度值;为经对数或指数变换处理后像素的亮度值;为原始图像中窗口W内各像素的平均亮度值;为经变换处理后窗口W内各像素的平均亮度值;为原始图像窗W内局部亮度方差;为变化处理后图像的梯度模值;di,j为原始图像的梯度模值,c是梯度变化判断阈值;k为常数;
人脸检测模块,所述人脸检测模块利用AdaBoost算法进行人脸检测,确定人脸初始位置;
以及
人脸跟踪模块,所述人脸跟踪模块利用MeanShift算法进行人脸跟踪。
6.如权利要求5所述的装置,其特征在于,所述人脸检测模块进一步包括:
人脸样本库,所述人脸样本库存储有离线收集到的大量不同光照条件下的人脸正样本及非人脸负样本;
分类器训练模块,所述分类器训练模块用于离线地利用所述人脸正样本及非人脸负样
本训练分类器,其中,采用积分图的快速算法计算图像各个区域的像素和,用于计算设计好的不同Haar-Like特征值,利用AdaBoost算法挑选出分类能力强的特征作为弱分类器,计算出弱分类器阈值,再将挑选出的弱分类器组成一个强分类器,计算出强分类器阈值,最后将强分类器级联成一个多层分类器;以及
所述分类器,所述分类器经过训练后对输入图像或视频检测人脸,并将检测到的人脸位置作为跟踪的初始位置。
7.如权利要求5所述的装置,其特征在于,所述人脸跟踪模块进一步包括:
梯度直方图计算模块、颜色直方图计算模块以及纹理直方图计算模块,用于计算输入的图像或视频的梯度直方图、颜色直方图和纹理直方图,以及计算候选区域的梯度直方图、颜色直方图和纹理直方图;
直方图融合模块,所述直方图融合模块用于将所述梯度直方图、颜色直方图和纹理直方图进行融合,获得目标融合直方图和候选目标融合直方图;
相似度计算模块,所述相似度计算模块计算所述目标融合直方图和所述候选目标融合直方图之间的相似度;以及
迭代求解模块,所述迭代求解模块通过求最大相似度来获得目标的MeanShift向量,该向量使得目标从初始位置向最可能的候选目标位置不断迭代,并最终收敛到目标的真实
位置,达到目标跟踪的目的。
8.如权利要求7所述的装置,其特征在于,所述纹理直方图计算模块进一步包括:
LBP计算模块,用于计算LBP描述子,统计局部二值模式特征;
LBP方差计算模块,用于计算LBP方差描述子,统计局部对比度变化特征;以及
纹理特征融合模块,用于利用融合策略,将局部二值模式特征和局部对比度变化特征有效融合,共同表示纹理特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310025617.4A CN103116756B (zh) | 2013-01-23 | 2013-01-23 | 一种人脸检测与跟踪方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310025617.4A CN103116756B (zh) | 2013-01-23 | 2013-01-23 | 一种人脸检测与跟踪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103116756A CN103116756A (zh) | 2013-05-22 |
CN103116756B true CN103116756B (zh) | 2016-07-27 |
Family
ID=48415128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310025617.4A Expired - Fee Related CN103116756B (zh) | 2013-01-23 | 2013-01-23 | 一种人脸检测与跟踪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103116756B (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9477889B2 (en) | 2013-06-27 | 2016-10-25 | Intel Corporation | Face recognition with parallel detection and tracking, and/or grouped feature motion shift tracking |
CN103366187B (zh) * | 2013-07-04 | 2016-12-28 | 华侨大学 | 一种基于四点二元模型的图像纹理特征值的提取方法 |
CN103530645B (zh) * | 2013-09-25 | 2016-06-15 | 北京工商大学 | 基于局部二值模式和Zernike矩的纹理图像分类方法及系统 |
CN103617601B (zh) * | 2013-11-29 | 2017-02-22 | 深圳超多维光电子有限公司 | 一种图像处理方法及装置 |
CN104680120B (zh) * | 2013-12-02 | 2018-10-19 | 华为技术有限公司 | 一种人脸检测的强分类器的生成方法及装置 |
CN104866805B (zh) * | 2014-02-20 | 2020-09-11 | 腾讯科技(深圳)有限公司 | 人脸实时跟踪的方法和装置 |
CN104866809B (zh) * | 2014-02-25 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 画面播放方法和装置 |
CN103971092B (zh) * | 2014-04-09 | 2018-06-05 | 中国船舶重工集团公司第七二六研究所 | 人脸轨迹跟踪的方法 |
CN103927520B (zh) * | 2014-04-14 | 2018-04-27 | 中国华戎控股有限公司 | 一种逆光环境下人脸检测方法 |
CN104200198A (zh) * | 2014-08-19 | 2014-12-10 | 浪潮软件集团有限公司 | 一种图形纹理的鉴识方法 |
US9430694B2 (en) * | 2014-11-06 | 2016-08-30 | TCL Research America Inc. | Face recognition system and method |
TWI553512B (zh) * | 2015-01-07 | 2016-10-11 | 國立臺灣科技大學 | 一種手勢辨識追蹤方法 |
CN105005768B (zh) * | 2015-07-06 | 2018-09-14 | 河海大学 | 动态百分比样本裁剪AdaBoost人脸检测方法 |
CN105320947B (zh) * | 2015-11-04 | 2019-03-01 | 博宏信息技术有限公司 | 一种基于光照成分的人脸活体检测方法 |
CN106022225B (zh) * | 2016-05-10 | 2019-03-05 | 中科天网(广东)科技有限公司 | 一种基于AdaBoost的人脸检测分类器构造方法 |
CN106127674A (zh) * | 2016-06-15 | 2016-11-16 | 公安部第三研究所 | 基于lbp的图像白平衡方法 |
CN106909875B (zh) * | 2016-09-12 | 2020-04-10 | 湖南拓视觉信息技术有限公司 | 人脸脸型分类方法和系统 |
CN106446872A (zh) * | 2016-11-07 | 2017-02-22 | 湖南源信光电科技有限公司 | 一种低照度下的视频人脸检测识别方法 |
CN106846365B (zh) * | 2016-12-30 | 2020-02-07 | 中国科学院上海高等研究院 | 基于his空间的目标跟踪方法 |
CN106971158B (zh) * | 2017-03-23 | 2019-07-16 | 南京邮电大学 | 一种基于CoLBP共生特征与GSS特征的行人检测方法 |
CN107145899A (zh) * | 2017-04-18 | 2017-09-08 | 重庆金山医疗器械有限公司 | 三通道Narrow‑band感知颜色特征提取用于描述消化道内医学图像的工作方法 |
CN107292848A (zh) * | 2017-06-29 | 2017-10-24 | 华中科技大学鄂州工业技术研究院 | 一种基于对数变换的弱光照补偿方法和系统 |
CN109670386A (zh) * | 2017-10-16 | 2019-04-23 | 深圳泰首智能技术有限公司 | 人脸识别方法及终端 |
CN109859234B (zh) * | 2017-11-29 | 2023-03-24 | 深圳Tcl新技术有限公司 | 一种视频人体轨迹跟踪方法、装置及存储介质 |
CN108182381B (zh) * | 2017-12-05 | 2020-12-22 | 华南理工大学 | 基于快速Adaboost训练算法的自动扶梯乘客检测方法 |
CN107945137B (zh) * | 2017-12-06 | 2020-04-14 | 深圳云天励飞技术有限公司 | 人脸检测方法、电子设备及存储介质 |
CN108334811B (zh) * | 2017-12-26 | 2021-06-04 | 大唐软件技术股份有限公司 | 一种人脸图像处理方法及装置 |
CN108170017A (zh) * | 2017-12-26 | 2018-06-15 | 南通尚力机电工程设备有限公司 | 一种钟表性能在线测试方法 |
CN109002851B (zh) * | 2018-07-06 | 2021-04-02 | 东北大学 | 一种基于图像多特征融合的水果分类方法及应用 |
CN109101915B (zh) * | 2018-08-01 | 2021-04-27 | 中国计量大学 | 基于深度学习的人脸与行人及属性识别网络结构设计方法 |
CN109410253B (zh) * | 2018-11-06 | 2019-11-26 | 北京字节跳动网络技术有限公司 | 用于生成信息的方法、装置、电子设备和计算机可读介质 |
CN109523573A (zh) * | 2018-11-23 | 2019-03-26 | 上海新世纪机器人有限公司 | 目标对象的跟踪方法和装置 |
CN109583375B (zh) * | 2018-11-30 | 2021-04-06 | 中山大学 | 一种多特征融合的人脸图像光照识别方法及系统 |
CN112395901A (zh) * | 2019-08-12 | 2021-02-23 | 天津大学青岛海洋技术研究院 | 一种改进型复杂环境下人脸检测定位识别方法 |
CN110705412A (zh) * | 2019-09-24 | 2020-01-17 | 北京工商大学 | 一种基于运动历史图像的视频目标检测方法 |
CN111460988B (zh) * | 2020-03-31 | 2023-08-22 | 国网河北省电力有限公司沧州供电分公司 | 一种违规行为识别方法及装置 |
CN113836980A (zh) * | 2020-06-24 | 2021-12-24 | 中兴通讯股份有限公司 | 人脸识别方法、电子设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673403A (zh) * | 2009-10-10 | 2010-03-17 | 安防制造(中国)有限公司 | 复杂干扰场景下的目标跟踪方法 |
CN102306290A (zh) * | 2011-10-14 | 2012-01-04 | 刘伟华 | 一种基于视频的人脸跟踪识别技术 |
CN102722698A (zh) * | 2012-05-17 | 2012-10-10 | 上海中原电子技术工程有限公司 | 多姿态人脸检测与跟踪方法及系统 |
CN102819733A (zh) * | 2012-08-09 | 2012-12-12 | 中国科学院自动化研究所 | 一种快速的街景图像中人脸的检测模糊方法 |
-
2013
- 2013-01-23 CN CN201310025617.4A patent/CN103116756B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673403A (zh) * | 2009-10-10 | 2010-03-17 | 安防制造(中国)有限公司 | 复杂干扰场景下的目标跟踪方法 |
CN102306290A (zh) * | 2011-10-14 | 2012-01-04 | 刘伟华 | 一种基于视频的人脸跟踪识别技术 |
CN102722698A (zh) * | 2012-05-17 | 2012-10-10 | 上海中原电子技术工程有限公司 | 多姿态人脸检测与跟踪方法及系统 |
CN102819733A (zh) * | 2012-08-09 | 2012-12-12 | 中国科学院自动化研究所 | 一种快速的街景图像中人脸的检测模糊方法 |
Non-Patent Citations (4)
Title |
---|
Chunshui Zhao等.Face Tracking via Block Texture Feature Based Mean Shift.《Fourth International Conference on Natural Computation》.2008,190-194. * |
一种适用于人脸检测的自适应光照补偿方法;陈丹 等;《计算机工程与应用》;20121231;第48卷(第22期);175-178 * |
基于局部二值模式的医学图像检索;蔡蕾等;《光电子激光》;20080131;第19卷(第1期);第104-106页 * |
苏景龙等.视频流下的人脸检测与跟踪.《应用科技》.2011,第38卷(第3期),5-11. * |
Also Published As
Publication number | Publication date |
---|---|
CN103116756A (zh) | 2013-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103116756B (zh) | 一种人脸检测与跟踪方法及装置 | |
CN107330920B (zh) | 一种基于深度学习的监控视频多目标追踪方法 | |
CN107194346A (zh) | 一种汽车疲劳驾驶预测方法 | |
CN100452081C (zh) | 一种人眼定位及人眼状态识别方法 | |
CN111144496B (zh) | 一种基于混合卷积神经网络的垃圾分类方法 | |
CN104504383B (zh) | 一种基于肤色和Adaboost算法的人脸检测方法 | |
CN109460704B (zh) | 一种基于深度学习的疲劳检测方法、系统和计算机设备 | |
CN102567744B (zh) | 基于机器学习的虹膜图像质量确定方法 | |
CN111666843A (zh) | 一种基于全局特征和局部特征拼接的行人重识别方法 | |
CN107133974A (zh) | 高斯背景建模与循环神经网络相结合的车型分类方法 | |
CN105719285A (zh) | 一种基于方向倒角距离特征的行人检测方法 | |
CN110298297A (zh) | 火焰识别方法和装置 | |
CN103488974A (zh) | 基于模拟生物视觉神经网络的人脸表情识别方法及系统 | |
CN103996018A (zh) | 基于4dlbp的人脸识别方法 | |
CN110175603A (zh) | 一种雕刻文字识别方法、系统及存储介质 | |
CN106529532A (zh) | 一种基于积分特征通道与灰度投影的车牌识别系统 | |
CN103295016A (zh) | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 | |
CN105243356B (zh) | 一种建立行人检测模型的方法及装置及行人检测方法 | |
CN101996308A (zh) | 人脸认证方法及系统、人脸模型训练方法及系统 | |
CN109753950A (zh) | 动态人脸表情识别方法 | |
CN105654505B (zh) | 一种基于超像素的协同跟踪算法和系统 | |
CN103745238B (zh) | 基于AdaBoost和主动形状模型的受电弓识别方法 | |
CN106485715A (zh) | 一种非结构化道路识别方法 | |
Luo et al. | The driver fatigue monitoring system based on face recognition technology | |
CN109656808A (zh) | 一种基于混合式主动学习策略的软件缺陷预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160727 Termination date: 20200123 |