CN103905733A - 一种单目摄像头对人脸实时跟踪的方法及系统 - Google Patents

一种单目摄像头对人脸实时跟踪的方法及系统 Download PDF

Info

Publication number
CN103905733A
CN103905733A CN201410132194.0A CN201410132194A CN103905733A CN 103905733 A CN103905733 A CN 103905733A CN 201410132194 A CN201410132194 A CN 201410132194A CN 103905733 A CN103905733 A CN 103905733A
Authority
CN
China
Prior art keywords
face
image
camera
tracking
detect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410132194.0A
Other languages
English (en)
Other versions
CN103905733B (zh
Inventor
张钦宇
林威
汪翠
王培盛
王伟志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201410132194.0A priority Critical patent/CN103905733B/zh
Publication of CN103905733A publication Critical patent/CN103905733A/zh
Application granted granted Critical
Publication of CN103905733B publication Critical patent/CN103905733B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种单目摄像头对人脸实时跟踪方法,首先打开摄像头,搜索周围是否存在人脸,将摄像头采集到的图像传输给图像处理器,图像处理器调用图像处理程序进行图像压缩,图像处理程序还加载3个基于Haar特征的AdaBoost级联强分类器,对压缩后的图像中的所有图像进行肤色检测,再将检测出的窗口通过3个AdaBoost级联强分类器检测多角度的人脸,检测到人脸后,对人脸目标进行实时跟踪,比较人脸目标区域的中心点坐标与整幅图像的中心点坐标差距,调整摄像头使人脸图像中心点坐标近似对准图像中心点坐标,实现对人脸的实时跟踪。本发明的有益效果是跟踪方法简单,跟踪过程中计算量小,并且硬件结构简单,对人脸目标能很好的实现实时跟踪。

Description

一种单目摄像头对人脸实时跟踪的方法及系统
技术领域
本发明属于机器视觉技术领域,涉及一种单目摄像头对人脸实时跟踪的方法及系统。
背景技术
近年来随着科技技术的快速发展,摄影领域的技术也不断提高,如数码相机的出现,相机的分辨率不断的提高,自动调焦调距等技术不断涌现,但是这些技术仍然避免不了手持相机。于是技术人员想到了让摄像镜头跟着要拍摄的物体转动,或根据人们的意愿转动。例如近年市场上出现的Pixy颜色传感器,可以实现摄像头跟随某一特定颜色的纯色物体转动,当纯色物体不停运动过程中,摄像头在云台配合下仍可以保持物体在摄像头的镜头范围之内。此外,还有一些相关的专利。
(1)“一种基于多摄像头的跟踪摄像装置”,此装置包括底座、云台和可见光、红外光摄像头,虽然可以准确的调整摄像头角度和变焦,但是设备较多,含有移动发射装置和红外光摄像头以及可见光摄像头等,因此成本较高,而且必须是特定的摄像头并且是多个摄像头。在我们的技术中,只需要单一的USB或CMOS摄像头,并将摄像头固定在云台上即可。
(2)“双摄像头协同工作的人脸识别”,通过数据选择开关以及控制和状态信号选择开关来选择使用哪个摄像头对指定的人脸进行识别。与之不同的是,我们的技术中使用ARM或单片机来控制云台舵机,从而带动摄像头的转动,并使用人脸检测和跟踪程序实现人脸始终在摄像头的镜头范围内。
(3)“底部可滚动的目标跟踪摄像头”,是一款集成的目标跟踪摄像头,不能使用任意型号的摄像头,鲁棒性较低,成本较高。
因此,现有的摄像设备虽然可以检测人脸,但是不能保证对多角度多光照人脸的准确检测;摄像头的移动性和人脸的多角度检测技术,已有技术往往只是考虑了其中一项,没有将两者结合。虽然已有少量的设备可以跟踪人脸,但是所用的设备比较复杂,成本较高,不能使用我们日常使用的摄像头。
发明内容
本发明的目的在于提供一种单目摄像头对人脸实时跟踪方法,解决了现有的技术跟踪过程复杂,计算量大的问题。
本发明的另一个目的是提供一种单目摄像头对人脸实时跟踪的系统。
本发明一种单目摄像头对人脸实时跟踪方法所采用的技术方案是按照以下步骤进行:首先打开摄像头,摄像头将以360°转动巡视周围,搜索周围是否存在人脸,将摄像头采集到的图像传输给图像处理器,图像处理器调用图像处理程序进行图像压缩,图像处理程序还加载3个基于Haar特征的AdaBoost级联强分类器,对压缩后的图像中的所有图像进行肤色检测,选出类似于肤色的所有窗口,再将这些窗口依次通过3个AdaBoost级联强分类器检测多角度的人脸,检测到人脸后,对人脸目标进行实时跟踪,得到人脸目标区域的中心点坐标,比较人脸目标区域的中心点坐标与整幅图像的中心点坐标差距,调整人脸图像中心点坐标对准整幅图像中心点坐标,从而确定摄像头应该转动的角度,使人脸保持在视频图像的中心范围内,实现对人脸的实时跟踪。
本发明的特点还在于基于Haar特征的AdaBoost级联强分类器训练过程为:利用AdaBoost算法,使用扩展的Haar特征,采用CMU、MIT以及FERET的人脸库和网上下载并剪裁的人脸图片,共计40800张样本图片,训练可以检测正脸,半侧脸以及全侧脸的基于Haar特征的3个AdaBoost级联分类器,将3个AdaBoost分类器联合使用,3个分类器分别用来检测正脸,半侧脸以及全侧脸,检测时,先用正脸分类器对肤色或类肤色图像进行检测,如果检测出人脸,则无需使用半侧脸和全侧脸分类器对其进行检测;如果使用正脸分类器没有检测出人脸,则使用半侧脸分类器进行检测,如果没有检测出人脸,则用全侧脸分类器,如果最终连全侧脸分类器也没有检测出人脸,则认为此图像中不含有人脸。
图像中对人脸目标的跟踪结合了图像处理技术和Camshift算法按照如下方法步骤实现:
1)图像处理技术:将单目摄像头所采集的每一帧图像转换为HSV模式并提取其中的Hue分量,其后对人脸区域的Hue分量进行先膨胀后腐蚀以及中值滤波平滑处理,并求人脸区域的Hue分量的颜色直方图;
2)Camshift算法:求人脸区域的Hue分量在整幅图像中的反向投影图并进行求和、膨胀、腐蚀等预处理;根据反向投影图不断移动跟踪窗口直到窗口内的的中心与像素的重心近似重合即认为是某一帧图像的搜索收敛的最后窗口,即为图像中人脸所在的位置,在下一帧图像中将以此位置为初始位置重新开始搜索;刚开始进行跟踪时,跟踪的窗口即为检测到的人脸窗口。
本发明单目摄像头对人脸实时跟踪的方法的系统,包括USB摄像头,USB摄像头通过USB接口连接图像处理器,图像处理器通过串口连接舵机控制器,舵机控制器分别通过GPIO口连接上舵机和下舵机,上舵机控制USB摄像头上下转动,下舵机控制USB摄像头左右转动。图像处理器型号为S5PV210;所述舵机控制器是AVR单片机。
本发明的有益效果是跟踪方法简单,跟踪过程中计算量小,对人脸目标能很好的实现实时跟踪。
附图说明
图1是本发明单目摄像头对人脸跟踪的流程图;
图2是点A(x,y)的积分图;
图3是矩形内像素图;
图4是强分类器级联结构图;
图5是人脸检测流程图;
图6是人脸跟踪流程图;
图7是单目摄像头对人脸实时跟踪的系统图;
图8是舵机的转动原理图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明如图1所示为单目摄像头对人脸跟踪的流程图:
(1)对已有的人脸检测方法进行改进,使其能够对多角度而且背景复杂的人脸进行检测,并进行跟踪;
(2)为了节省检测花费的时间,保证摄像头跟踪的实时性,先对每一帧图像压缩后进行肤色检测,然后将通过检测的所有图像子窗口用AdaBoost分类器进行检测,得到符合条件的多角度人脸,对检测到的目标进行跟踪;
(3)将(2)中的跟踪结果与舵机控制器相结合,使单目摄像头可以在舵机的带动下上下、左右转动一定的角度,使检测到的人脸一直在摄像机的镜头范围内。如果检测不到人脸,单目摄像头将自动按照一定时间间隔360°巡视周围一圈,看其周围是否存在人脸。
本技术研究涉及两个方面的技术,第一,对人脸的多角度检测;第二,对检测到的人脸目标区域的实时跟踪。
本发明的具体步骤为:
步骤1:人脸检测:首先打开摄像头,单目摄像头将自动按照一定时间间隔360°巡视周围一圈,搜索其周围是否存在人脸。将摄像头采集到的图像传输给图像处理器,图像处理器调用图像处理程序,为了节省人脸检测与跟踪的时间及跟踪的实时性,将摄像头采集的图像进行压缩,本发明中采集的图像的分辨率为640*480,压缩后的分辨率为320*240。然后对采集到的并且压缩的所有图像进行肤色检测,选出肤色或类似于肤色的所有子窗口;图像处理程序采用加载3个基于Haar特征的AdaBoost级联强分类器对这些类肤色窗口进行检测,看是否存在多角度的人脸,检测人脸标记Object为0,表示不含有人脸;检测人脸标记Object为1,表示检测到人脸。
步骤2:软件实现人脸跟踪:如果检测人脸标记Object为1,即检测到人脸后,图像处理程序使用Camshift算法开始对目标进行跟踪,并计算跟踪到的人脸目标区域的中心点坐标,比较中心点坐标与整幅图象的中心点坐标差距,以此来发送命令控制舵机带动摄像头上下左右转动,以及转动的角度,使人脸保持在摄像头镜头范围内。当人脸跟踪不满足程序中设置好的条件时,即认为跟踪丢失,重新从步骤1开始;
人脸的多角度检测:人脸检测技术是人脸跟踪的首要环节,其处理的问题是确认图像中是否存在人脸,如果存在人脸则对人脸进行快速定位。人脸检测的主要难点包括几个方面:(1)人脸具有相当复杂的细节变化,如肤色,眼睛的睁开与闭合,嘴的开与闭,还有皱纹、斑点甚至化妆等带来的纹理特征;(2)人脸的遮挡问题,如眼镜、头发,胡须,帽子等;(3)光照的影响,如图像的亮度变化、对比度、阴影等;(4)图像成像条件,如相机的分辨率等。传统的人脸检测一般只限于对正面人脸的检测,所用的技术一般为基于人脸几何特征、肤色特征以及对人眼的检测等从而确定是否存在人脸,其缺点是检测过程容易受到外部环境的影响如光照,与人脸相似的物体等;而且对于多角度的人脸无法进行检测,远远落后于实际应用的要求。针对上文所提到的问题,我们利用AdaBoost算法,使用扩展的Haar特征,采用CMU、MIT以及FERET的人脸库和网上下载并剪裁的人脸图片,共计40800张样本图片,训练可以检测正脸,半侧脸以及全侧脸的基于Haar特征的AdaBoost级联分类器,即3个AdaBoost分类器联合使用,3个分类器分别用来检测正脸,半侧脸以及全侧脸。检测时,先用正脸分类器对肤色或类肤色图像进行检测,如果检测出人脸,则无需使用半侧脸和全侧脸分类器对其进行检测;如果使用正脸分类器没有检测出人脸,则使用半侧脸分类器进行检测,如果没有检测出人脸,则用全侧脸分类器,如果最终连全侧脸分类器也没有检测出人脸,则认为此图像中不含有人脸。训练分类器时需要使用Haar特征,计算Haar特征时又需要使用积分图进行计算。训练好的3个AdaBoost级联强分类器被图像处理程序加载,可以用来检测正脸,半侧脸以及全侧脸(即多角度人脸)。在图像处理程序中,一旦检测到人脸,即进行人脸跟踪,将跟踪到的人脸区域的中心点坐标计算出,并与整幅图的中心坐标进行比较,最后判断摄像头应该转多少度。然后发送命令给上下舵机,驱动摄像头上下左右转动。
下面将具体介绍本技术中所使用的Haar特征的计算方法,以及AdaBoost分类器的训练,以及人脸检测的具体实现过程。
Haar特征的计算:
Haar特征是训练Adaboost分类器所使用的特征;而积分图则是用来计算Haar特征的先决条件。此文中Haar特征,训练Adaboost分类器均为现在已经使用的方法。几乎所有的训练基于Haar特征的Adaboost的分类器均用此方法。Haar特征,也叫矩形特征,使用简单的矩形组合作为所需特征的模板。这类特征模板由两个或多个全等的矩形相邻组合而成,模板内有白色和黑色两种矩形,并将其特征值定义为白色矩形像素和减去黑色矩形像素和。由于我们需要检测多角度的人脸,因此使用扩展的Haar特征,分为三类,分别是边缘特征、线性特征和中心特征。Haar特征值可以通过积分图间接计算求得。积分图的引入是为了能够快速计算矩形特征值。如图2所示为点A(x,y)的积分图定义为其左上角矩形所有元素之和,对于任意一个输入图像,像素处的积分图像值定义为:
ii ( x , y ) = Σ x ′ ≤ x , y ′ ≤ y I ( x ′ , y ′ )
通过积分图,矩形特征就可以通过很少的计算量得到。任意一个矩形的像素和可以由积分图上对应的四点得到,如图3所示利用积分图快速计算矩形内像素和:
ii1=区域A的像素值
ii2=区域A的像素值+区域B的像素值
ii3=区域A的像素值+区域C的像素值
ii4=区域A的像素值+区域B的像素值+区域C的像素值+区域D的像素值由此可知:
区域D的像素值=ii1+ii4-(ii2+ii3)
AdaBoost分类器:
弱分类器:一个弱分类器由fj(x)特征,门限θj,奇偶性Pj组成,hj(x)即为Haar特征。
h j ( x ) = 1 P j f j ( x ) < P j &theta; j 0 otherwise
每一个特征都对应于一个分量分类器(弱分类器),将所有分量分类器中分类误差最小的分类器找出来,此时完成1个最优弱分类器的构造,然后根据是否错分,对样本的权值进行更新,然后再重新计算错分误差,再根据误差最小来确定另外一个弱分类器,由此完成第二个最优弱分类器的构造,如此循环,直到构造出理想数目的弱分类器或达到设定的阈值,便完成了弱分类器的全部构造。
强分类器:将上述得到的一系列弱分类器进行加权叠加组合,即完成了一个强分类器的构造。强分类器为:
h j ( x ) = 1 &Sigma; t = 1 T &alpha; t h t ( x ) &GreaterEqual; 1 2 &Sigma; t = 1 T &alpha; t 0 otherwise
强分类器级联:
由AdaBoost算法训练出来的强分类器在检测速度和检测率方面仍然不能满足实时的人脸检测需要,因此引入了级联分类器。如图4所示为强分类器级联结构图:所有摄像头采集的图像(已经过图像压缩)通过级联分类器,最终检测出人脸。
本发明使用级联的强分类器,而级联的强分类器中的每个AdaBoost强分类器又由好多个弱分类器构成。
人脸检测:
使用上述AdaBoost方法训练出来的分类器,虽然可以检测多角度人脸,但是检测所需要的时间长。因此本发明先对图像中的所有摄像头捕捉到的图像压缩后进行肤色检测,肤色检测的方法如下:(1)首先将摄像头获取的RGB图像拷贝两份,将其中一份拷贝的图像转换到HSV空间,由于H通道代表色度,色度可以很好的描述颜色特征,当H通道的像素值在(7,29)之间的点即认为是肤色区域内的点,同时在另外的一份拷贝图像中选择保留此位置的点,其他不符合此条件的像素点变为黑色的点;(2)其次将修改过的拷贝的RGB图像进行灰度化,二值化;(3)最后找出二值化图像中所有的面积大于一定值的轮廓,并在原始的RGB图像中相同位置用矩形框出这些区域同时将这些区域保存为一幅幅类似肤色或肤色图片送入我们训练出的AdaBoost级联分类器中进行人脸检测。图像一开始经过肤色检测,然后在进行人脸检测,这样便可以节省很多时间。其流程图如图5所示人脸检测流程图;当检测出人脸后,进行人脸目标的实时跟踪。
步骤3:人脸目标的实时跟踪:对人脸目标的实时跟踪包括两方面,一是在图像上对人脸目标区域进行跟踪,这样可以省去对每帧图像进行人脸检测的计算量;一是由图像的跟踪结果来控制云台舵机,控制摄像头的转动,实现对目标的连续跟踪。
人脸目标区域的图像跟踪:
人脸目标的图像跟踪结合了图像处理技术和Camshift算法按照如下方法步骤实现:
(1)将单目摄像头所采集的每一帧图像转换为HSV模式并提取其中的Hue分量,其后对人脸区域的Hue分量进行先膨胀后腐蚀以及中值滤波平滑处理,并求人脸区域的Hue分量的颜色直方图;(图像处理技术,以下部分为Camshift算法)
(2)求人脸区域的Hue分量在整幅图像中的反向投影图,并对反向投影图进行求和、膨胀、腐蚀预处理。
(3)根据(2)中求得的反向投影图不断移动跟踪窗口直到窗口内的的中心与像素的重心近似重合即认为是某一帧图像的搜索收敛的最后窗口(即图像中人脸所在的位置),下一帧图像将以此位置为初始位置重新开始搜索;(注意刚开始进行跟踪时,跟踪的窗口即为检测到的人脸窗口)。
如图6所示,对人脸进行图像跟踪时,有3种可能出现的情况:第一,检测出的人脸数为0,表示程序正在检测人脸。第二,已经检测出人脸,程序正在对其中最先出现在镜头中的人脸进行跟踪;第三,人脸跟踪失败,程序重新进行检测人脸,再跟踪;跟踪失败的标准:设起始位置的跟踪窗口1内的像素和为a1,最后收敛的搜索窗口内的像素和为a2,如果0.4*a1<=a2并且a2<=1.1*a1,a1<400同时搜索窗口的长度、宽度,变为跟踪窗口的两倍或者0.5倍则认为人脸跟踪失败,需要重新进行人脸检测。
一种对人脸实时跟踪的单目摄像头系统:
单目摄像头系统硬件原理图如图7所示,系统主要包括两部分:图像处理器2、舵机控制器3、舵机云台以及任意型号的单目摄像头等。USB摄像头1通过USB接口连接图像处理器2,图像处理器2通过串口连接舵机控制器3,舵机控制器3分别通过GPIO口连接上舵机4和下舵机5,上舵机4控制USB摄像头1上下转动,下舵机5控制USB摄像头1左右转动。
其中图像处理器2实现USB摄像头1的驱动、图像采集、图像处理及图像压缩。并得出图像处理结果之后,通过串口发送舵机转动命令给舵机控制器3。舵机控制器根据串口收到的命令控制舵机云台的转动。其中上舵机4控制摄像图的上下转动,下舵机5控制摄像头的左右转动。摄像头跟踪的原理为:根据图像处理器中程序对图像跟踪的结果找出人脸区域的中心点坐标,用来检测和跟踪的人脸区域是一个矩形,人脸区域的中心点坐标是矩形区域左上顶点和右下顶点的坐标和的平均值。假设人脸区域中心点坐标为(x,y),将人脸区域中心坐标与整幅图像的中心坐标(x0,y0)作比较,比较结果为(x-x0,y-y0),根据这个结果来控制两个舵机的转动。其中x-x0的结果用于控制下舵机5的转动,y-y0的结果用于控制上舵机4的转动。舵机的转动条件有个阈值h(h>0),当|x-x0|>h时,下舵机5转动,转动方向为(x-x0)>h时向右,(x-x0)<-h时向左;当|y-y0|>h时,上舵机4转动,转动方向为(y-y0)>h时向上,(y-y0)<-h时向下。转动的角度根据|x-x0|和|y-y0|的大小而定,绝对值越大,转动的角度越大。舵机的转动原理可用图8表示:其中的横坐标和纵坐标上的度数表示在此区域内上、下舵机5应该转动的角度,如图8舵机的转动原理图中,中心点处表示(x0,y0)点,图中的点0表示人脸区域中心点的初始位置,点3、2、1表示不断跟踪到的人脸目标区域的中心位置,如图中的1点位置表示,X轴和Y轴的转动角度为0°;2点位置表示X轴和Y轴转动的角度均为1°;3点的位置表示X轴转动2°,Y轴转动1°;图中其他的点转动的角度可以此类推。
本发明还具有如下特点:
(1)在人脸检测部分使用了基于Haar特征来训练分类器,也可以用其他的特征进行训练,如LBP特征,HOG特征等。
(2)对人脸进行检测时使用的分类器是基于AdaBoost方法,也可以使用其他的机器学习方法进行检测人脸,如支持向量机(SVM)、主成分分析(PCA)、神经网络等。
(3)本技术中仅仅对人脸进行检测和跟踪,也可以训练其他类型的分类器,如对行人或某一感兴趣的物体进行跟踪检测。
(4)在本技术中,系统硬件部分的图像处理器是S5PV210,舵机控制器3是AVR单片机。也可以使用其他型号的性能、配置更高的处理器及微控制器组合使用进行替代;如全部使用ARM处理器,或者ARM处理器与C51单片机组合使用等。
与已有技术相比,本发明技术设备结构简单,成本低,而且任何类型的摄像头只需要固定在舵机上即可对人脸进行实时跟踪。
基于这个技术,可以将任何形状的照相机和摄像机固定在云台上,并且能够对行人进行实时观测,拍摄人的半身或全身。可以用来跟踪拍摄运动员的运动情况,也可以方便父母在孩子们玩耍时进行自动跟拍。
本发明的优点是:
(1)已有技术,有些(如Pixy颜色传感器)只能对纯色物体进行跟踪,有些可以实现人脸的跟踪,但设备复杂,成本高。我们的技术可以对人脸进行跟踪,并且能够保持实时性,鲁棒性也较理想,同时跟踪设备简单。
(2)技术实现过程比较简单,改进后的人脸检测技术和硬件结合紧密。技术的可扩充性大,未来有望对行人、移动物体、儿童进行自动跟踪观测。
(3)我们可以使用任何型号的单目摄像头,只需将摄像头固定在舵机云台上即可。
人脸检测与跟踪算法与硬件设备完美结合,使固定在舵机云台上的单目摄像头能够跟随舵机转动对人脸进行实时可靠跟踪,保持人脸始终在摄像头的镜头范围内。更重要的是本技术中使用的摄像头可以是任何型号和形状的,甚至可以是普通的用来视频的摄像头。

Claims (5)

1.一种单目摄像头对人脸实时跟踪的方法,其特征在于按照以下步骤进行:首先打开摄像头,摄像头将以360°转动巡视周围,搜索周围是否存在人脸,将摄像头采集到的图像传输给图像处理器,图像处理器调用图像处理程序进行图像压缩,图像处理程序还加载3个基于Haar特征的AdaBoost级联强分类器,对压缩后的图像中的所有类肤色或肤色图像进行肤色检测,选出类似于肤色的所有窗口,再将这些窗口通过3个AdaBoost级联强分类器检测多角度的人脸,检测到人脸后,对人脸目标进行实时跟踪,得到人脸目标区域的中心点坐标,比较人脸目标区域的中心点坐标与整幅图像的中心点坐标差距,调整人脸图像中心点坐标对准图像中心点坐标,从而确定摄像头应该转动的角度,使人脸保持在视频图像的中心范围内,实现对人脸的实时跟踪。
2.按照权利与要求1所述一种单目摄像头对人脸实时跟踪的方法,其特征在于:所述基于Haar特征的AdaBoost级联强分类器训练过程为:利用AdaBoost算法,使用扩展的Haar特征,采用CMU、MIT以及FERET的人脸库和网上下载并剪裁的人脸图片,共计40800张样本图片,训练可以分别检测正脸,半侧脸以及全侧脸的基于Haar特征的3个AdaBoost级联分类器,将3个AdaBoost分类器联合使用,3个分类器分别用来检测正脸,半侧脸以及全侧脸,检测时,先用正脸分类器对肤色或类肤色图像进行检测,如果检测出人脸,则无需使用半侧脸和全侧脸分类器对其进行检测;如果使用正脸分类器没有检测出人脸,则使用半侧脸分类器,如果没有检测出人脸,则用全侧脸分类器,如果最终连全侧脸分类器也没有检测出人脸,则认为此图像中不含有人脸。
3.按照权利与要求1所述一种单目摄像头对人脸实时跟踪的方法,其特征在于:所述图像中人脸目标的跟踪结合了图像处理技术和Camshift算法按照如下方法步骤实现:
1)图像处理技术:将单目摄像头所采集的每一帧图像转换为HSV模式并提取其中的Hue分量,其后对人脸区域的Hue分量进行先膨胀后腐蚀以及中值滤波平滑处理,并求人脸区域的Hue分量的颜色直方图;
2)Camshift算法:求人脸区域的Hue分量在整幅图像中的反向投影图,并对反向投影图进行求和、膨胀、腐蚀等预处理;根据反向投影图不断移动跟踪窗口直到窗口内的的中心与像素的重心近似重合即认为是某一帧图像的搜索收敛的最后窗口,即为图像中人脸所在的位置,下一帧图像将以此位置为初始位置重新开始搜索;刚开始进行跟踪时,跟踪的窗口即为检测到的人脸窗口。
4.一种应用权利要求1所述单目摄像头对人脸实时跟踪的方法的系统,其特征在于:包括USB摄像头(1),USB摄像头(1)通过USB接口连接图像处理器(2),图像处理器(2)通过串口连接舵机控制器(3),舵机控制器(3)分别通过GPIO口连接上舵机(4)和下舵机(5),上舵机(4)控制USB摄像头(1)上下转动,下舵机(5)控制USB摄像头(1)左右转动。
5.按照权利要求4所述系统,其特征在于:所述图像处理器(2)型号为S5PV210;所述舵机控制器(3)是AVR单片机。
CN201410132194.0A 2014-04-02 2014-04-02 一种单目摄像头对人脸实时跟踪的方法及系统 Expired - Fee Related CN103905733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410132194.0A CN103905733B (zh) 2014-04-02 2014-04-02 一种单目摄像头对人脸实时跟踪的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410132194.0A CN103905733B (zh) 2014-04-02 2014-04-02 一种单目摄像头对人脸实时跟踪的方法及系统

Publications (2)

Publication Number Publication Date
CN103905733A true CN103905733A (zh) 2014-07-02
CN103905733B CN103905733B (zh) 2018-01-23

Family

ID=50996863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410132194.0A Expired - Fee Related CN103905733B (zh) 2014-04-02 2014-04-02 一种单目摄像头对人脸实时跟踪的方法及系统

Country Status (1)

Country Link
CN (1) CN103905733B (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504408A (zh) * 2015-01-12 2015-04-08 吴建忠 一种人脸识别比对方法和实现该方法的系统
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN105868574A (zh) * 2016-04-25 2016-08-17 南京大学 一种摄像头跟踪人脸的优化方法及基于视频的智慧健康监视系统
CN105975930A (zh) * 2016-05-04 2016-09-28 南靖万利达科技有限公司 一种机器人语音定位过程的摄像头角度校准方法
CN106303195A (zh) * 2015-05-28 2017-01-04 中兴通讯股份有限公司 拍摄设备及跟踪拍摄方法和系统
CN106341660A (zh) * 2016-09-12 2017-01-18 四川天辰智创科技有限公司 一种图像处理方法、装置及无人机图像处理系统
CN106375726A (zh) * 2016-09-29 2017-02-01 哈尔滨理工大学 基于Mega2560智能监控系统
WO2017049816A1 (zh) * 2015-09-24 2017-03-30 北京零零无限科技有限公司 一种控制无人机随脸转动的方法和装置
CN106570471A (zh) * 2016-10-26 2017-04-19 武汉科技大学 基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法
CN106650665A (zh) * 2016-12-26 2017-05-10 北京旷视科技有限公司 人脸跟踪方法及装置
CN106650631A (zh) * 2016-11-24 2017-05-10 努比亚技术有限公司 基于相机预览的人脸识别方法及装置
CN107030693A (zh) * 2016-12-09 2017-08-11 南京理工大学 一种基于双目视觉的带电作业机器人目标跟踪方法
CN107085703A (zh) * 2017-03-07 2017-08-22 中山大学 融合脸部检测与跟踪的汽车乘员计数方法
CN108133183A (zh) * 2017-12-19 2018-06-08 深圳怡化电脑股份有限公司 定点捕捉人像的方法、装置、自助设备及计算机可读存储介质
CN108177146A (zh) * 2017-12-28 2018-06-19 北京奇虎科技有限公司 机器人头部的控制方法、装置及计算设备
CN108197547A (zh) * 2017-12-26 2018-06-22 深圳云天励飞技术有限公司 人脸姿态估计方法、装置、终端及存储介质
CN108463823A (zh) * 2016-11-24 2018-08-28 华为技术有限公司 一种用户头发模型的重建方法、装置及终端
CN108764160A (zh) * 2018-05-30 2018-11-06 北京百度网讯科技有限公司 信息获取方法和装置
CN108985225A (zh) * 2018-07-13 2018-12-11 北京猎户星空科技有限公司 焦点跟随方法、装置、电子设备及存储介质
CN109194927A (zh) * 2018-10-19 2019-01-11 天津天地基业科技有限公司 基于深度学习的车载目标追踪云台相机设备
CN109391775A (zh) * 2018-10-22 2019-02-26 哈尔滨工业大学(深圳) 一种基于人脸识别的智能拍摄云台控制方法与系统
CN109605397A (zh) * 2019-01-11 2019-04-12 山东元脉电子技术股份有限公司 具有自动跟踪功能的人工智能教育机器人及其控制方法
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质
CN109729268A (zh) * 2018-12-26 2019-05-07 武汉市澜创信息科技有限公司 一种人脸拍摄方法、装置、设备及介质
CN109831616A (zh) * 2017-11-23 2019-05-31 上海未来伙伴机器人有限公司 一种基于单目摄像头的人脸跟随方法及其装置
CN109977770A (zh) * 2019-02-21 2019-07-05 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、系统及存储介质
CN110072064A (zh) * 2019-06-12 2019-07-30 睿魔智能科技(深圳)有限公司 一种图像拍摄方法、装置、设备以及存储介质
CN110223315A (zh) * 2019-06-13 2019-09-10 长沙品先信息技术有限公司 一种基于单摄像头运动目标跟踪定位方法
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
CN110414314A (zh) * 2019-06-11 2019-11-05 汉腾汽车有限公司 一种可进行人脸跟踪识别的摄像头结构及系统
CN110852275A (zh) * 2019-11-12 2020-02-28 成都新舟锐视科技有限公司 一种球机跟踪过程中人脸检测再放大的跟踪方法
CN111147749A (zh) * 2019-12-31 2020-05-12 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置、终端及存储介质
CN111400687A (zh) * 2020-03-09 2020-07-10 京东数字科技控股有限公司 鉴权方法、装置和机器人
CN111611974A (zh) * 2020-06-03 2020-09-01 广州通达汽车电气股份有限公司 车载人脸抓拍方法及系统
CN111862620A (zh) * 2020-07-10 2020-10-30 浙江大华技术股份有限公司 一种图像融合处理方法及装置
WO2021122130A1 (en) * 2019-12-17 2021-06-24 Koninklijke Philips N.V. Device and method for assisting in 3d scanning a subject
CN113055514A (zh) * 2021-02-07 2021-06-29 深圳市慧眼视讯电子有限公司 一种人体跟随云台及其控制方法
CN113635833A (zh) * 2020-04-26 2021-11-12 晋城三赢精密电子有限公司 基于汽车a柱的车载显示装置、方法、系统及存储介质
CN114140839A (zh) * 2020-08-14 2022-03-04 腾讯科技(深圳)有限公司 用于人脸识别的图像发送方法、装置、设备及存储介质
CN114310909A (zh) * 2022-01-26 2022-04-12 美的集团(上海)有限公司 一种机器人及其控制方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389093A (zh) * 2018-10-23 2019-02-26 同济大学 基于人脸识别的面向型追踪方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030108244A1 (en) * 2001-12-08 2003-06-12 Li Ziqing System and method for multi-view face detection
CN101068314A (zh) * 2006-09-29 2007-11-07 腾讯科技(深圳)有限公司 一种网络视频秀方法及系统
CN101540890A (zh) * 2009-04-28 2009-09-23 南京航空航天大学 一种获得监控视频中运动人体清晰人脸图像的方法
CN101609509A (zh) * 2008-06-20 2009-12-23 中国科学院计算技术研究所 一种基于预分类器的图像物体检测方法及系统
CN101996310A (zh) * 2009-08-12 2011-03-30 Tcl数码科技(深圳)有限责任公司 基于嵌入式系统的人脸检测与跟踪方法
CN102332095A (zh) * 2011-10-28 2012-01-25 中国科学院计算技术研究所 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102413320A (zh) * 2011-12-21 2012-04-11 上海大学 一种无线网络智能视频监控系统的实现方法
CN102831392A (zh) * 2012-07-09 2012-12-19 哈尔滨工业大学 一种远距离虹膜跟踪与采集装置及其方法
CN103455822A (zh) * 2013-08-19 2013-12-18 江苏科技大学 复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030108244A1 (en) * 2001-12-08 2003-06-12 Li Ziqing System and method for multi-view face detection
CN101068314A (zh) * 2006-09-29 2007-11-07 腾讯科技(深圳)有限公司 一种网络视频秀方法及系统
CN101609509A (zh) * 2008-06-20 2009-12-23 中国科学院计算技术研究所 一种基于预分类器的图像物体检测方法及系统
CN101540890A (zh) * 2009-04-28 2009-09-23 南京航空航天大学 一种获得监控视频中运动人体清晰人脸图像的方法
CN101996310A (zh) * 2009-08-12 2011-03-30 Tcl数码科技(深圳)有限责任公司 基于嵌入式系统的人脸检测与跟踪方法
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102332095A (zh) * 2011-10-28 2012-01-25 中国科学院计算技术研究所 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN102413320A (zh) * 2011-12-21 2012-04-11 上海大学 一种无线网络智能视频监控系统的实现方法
CN102831392A (zh) * 2012-07-09 2012-12-19 哈尔滨工业大学 一种远距离虹膜跟踪与采集装置及其方法
CN103455822A (zh) * 2013-08-19 2013-12-18 江苏科技大学 复杂工业环境中的巡检机器人系统及多人脸动态跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
万川 等: "基于主动机器视觉的人脸跟踪与表情识别系统", 《吉林大学学报(工学版)》 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573646A (zh) * 2014-12-29 2015-04-29 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
CN104573646B (zh) * 2014-12-29 2017-12-12 长安大学 基于激光雷达和双目相机的车前行人检测方法及系统
CN104504408A (zh) * 2015-01-12 2015-04-08 吴建忠 一种人脸识别比对方法和实现该方法的系统
CN106303195A (zh) * 2015-05-28 2017-01-04 中兴通讯股份有限公司 拍摄设备及跟踪拍摄方法和系统
WO2017049816A1 (zh) * 2015-09-24 2017-03-30 北京零零无限科技有限公司 一种控制无人机随脸转动的方法和装置
CN105787448A (zh) * 2016-02-28 2016-07-20 南京信息工程大学 基于时空级联形状回归的人脸形状跟踪方法
CN105868574A (zh) * 2016-04-25 2016-08-17 南京大学 一种摄像头跟踪人脸的优化方法及基于视频的智慧健康监视系统
CN105868574B (zh) * 2016-04-25 2018-12-14 南京大学 一种摄像头跟踪人脸的优化方法及基于视频的智慧健康监视系统
CN105975930A (zh) * 2016-05-04 2016-09-28 南靖万利达科技有限公司 一种机器人语音定位过程的摄像头角度校准方法
CN106341660A (zh) * 2016-09-12 2017-01-18 四川天辰智创科技有限公司 一种图像处理方法、装置及无人机图像处理系统
CN106375726A (zh) * 2016-09-29 2017-02-01 哈尔滨理工大学 基于Mega2560智能监控系统
CN106570471B (zh) * 2016-10-26 2019-04-26 武汉科技大学 基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法
CN106570471A (zh) * 2016-10-26 2017-04-19 武汉科技大学 基于压缩跟踪算法的尺度自适应多姿态人脸跟踪方法
CN108463823A (zh) * 2016-11-24 2018-08-28 华为技术有限公司 一种用户头发模型的重建方法、装置及终端
CN106650631A (zh) * 2016-11-24 2017-05-10 努比亚技术有限公司 基于相机预览的人脸识别方法及装置
CN107030693A (zh) * 2016-12-09 2017-08-11 南京理工大学 一种基于双目视觉的带电作业机器人目标跟踪方法
CN106650665A (zh) * 2016-12-26 2017-05-10 北京旷视科技有限公司 人脸跟踪方法及装置
CN107085703A (zh) * 2017-03-07 2017-08-22 中山大学 融合脸部检测与跟踪的汽车乘员计数方法
CN109831616A (zh) * 2017-11-23 2019-05-31 上海未来伙伴机器人有限公司 一种基于单目摄像头的人脸跟随方法及其装置
CN109831616B (zh) * 2017-11-23 2022-07-26 上海未来伙伴机器人有限公司 一种基于单目摄像头的人脸跟随方法及其装置
CN108133183A (zh) * 2017-12-19 2018-06-08 深圳怡化电脑股份有限公司 定点捕捉人像的方法、装置、自助设备及计算机可读存储介质
CN108197547A (zh) * 2017-12-26 2018-06-22 深圳云天励飞技术有限公司 人脸姿态估计方法、装置、终端及存储介质
CN108197547B (zh) * 2017-12-26 2019-12-17 深圳云天励飞技术有限公司 人脸姿态估计方法、装置、终端及存储介质
CN108177146A (zh) * 2017-12-28 2018-06-19 北京奇虎科技有限公司 机器人头部的控制方法、装置及计算设备
CN108764160A (zh) * 2018-05-30 2018-11-06 北京百度网讯科技有限公司 信息获取方法和装置
CN108985225A (zh) * 2018-07-13 2018-12-11 北京猎户星空科技有限公司 焦点跟随方法、装置、电子设备及存储介质
CN109194927A (zh) * 2018-10-19 2019-01-11 天津天地基业科技有限公司 基于深度学习的车载目标追踪云台相机设备
CN109391775A (zh) * 2018-10-22 2019-02-26 哈尔滨工业大学(深圳) 一种基于人脸识别的智能拍摄云台控制方法与系统
CN109729268A (zh) * 2018-12-26 2019-05-07 武汉市澜创信息科技有限公司 一种人脸拍摄方法、装置、设备及介质
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质
CN109605397A (zh) * 2019-01-11 2019-04-12 山东元脉电子技术股份有限公司 具有自动跟踪功能的人工智能教育机器人及其控制方法
CN109977770A (zh) * 2019-02-21 2019-07-05 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、系统及存储介质
CN109977770B (zh) * 2019-02-21 2023-06-27 安克创新科技股份有限公司 一种自动跟踪拍摄方法、装置、系统及存储介质
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
CN110414314A (zh) * 2019-06-11 2019-11-05 汉腾汽车有限公司 一种可进行人脸跟踪识别的摄像头结构及系统
CN110072064A (zh) * 2019-06-12 2019-07-30 睿魔智能科技(深圳)有限公司 一种图像拍摄方法、装置、设备以及存储介质
US11736800B2 (en) 2019-06-12 2023-08-22 Remo Tech Co., Ltd. Method, apparatus, and device for image capture, and storage medium
CN110223315A (zh) * 2019-06-13 2019-09-10 长沙品先信息技术有限公司 一种基于单摄像头运动目标跟踪定位方法
CN110852275A (zh) * 2019-11-12 2020-02-28 成都新舟锐视科技有限公司 一种球机跟踪过程中人脸检测再放大的跟踪方法
WO2021122130A1 (en) * 2019-12-17 2021-06-24 Koninklijke Philips N.V. Device and method for assisting in 3d scanning a subject
CN111147749A (zh) * 2019-12-31 2020-05-12 宇龙计算机通信科技(深圳)有限公司 拍摄方法、拍摄装置、终端及存储介质
CN111400687B (zh) * 2020-03-09 2024-02-09 京东科技控股股份有限公司 鉴权方法、装置和机器人
CN111400687A (zh) * 2020-03-09 2020-07-10 京东数字科技控股有限公司 鉴权方法、装置和机器人
CN113635833A (zh) * 2020-04-26 2021-11-12 晋城三赢精密电子有限公司 基于汽车a柱的车载显示装置、方法、系统及存储介质
CN111611974A (zh) * 2020-06-03 2020-09-01 广州通达汽车电气股份有限公司 车载人脸抓拍方法及系统
CN111862620A (zh) * 2020-07-10 2020-10-30 浙江大华技术股份有限公司 一种图像融合处理方法及装置
CN114140839A (zh) * 2020-08-14 2022-03-04 腾讯科技(深圳)有限公司 用于人脸识别的图像发送方法、装置、设备及存储介质
CN114140839B (zh) * 2020-08-14 2024-02-23 腾讯科技(深圳)有限公司 用于人脸识别的图像发送方法、装置、设备及存储介质
CN113055514A (zh) * 2021-02-07 2021-06-29 深圳市慧眼视讯电子有限公司 一种人体跟随云台及其控制方法
CN114310909A (zh) * 2022-01-26 2022-04-12 美的集团(上海)有限公司 一种机器人及其控制方法

Also Published As

Publication number Publication date
CN103905733B (zh) 2018-01-23

Similar Documents

Publication Publication Date Title
CN103905733A (zh) 一种单目摄像头对人脸实时跟踪的方法及系统
US10303172B2 (en) Unmanned aerial vehicle having automatic tracking function and method of controlling the same
CN102841354B (zh) 一种具有显示屏幕的电子设备的保护视力实现方法
TW201915831A (zh) 對象識別方法
CN107533370B (zh) 图像处理设备、图像处理方法和程序
US20120218398A1 (en) Automatic Detection of Vertical Gaze Using an Embedded Imaging Device
CN108427503A (zh) 人眼追踪方法及人眼追踪装置
WO2020125499A1 (zh) 一种操作提示方法及眼镜
Medioni et al. Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models
CN103079034A (zh) 一种感知拍摄方法及系统
Farazi et al. A monocular vision system for playing soccer in low color information environments
CN110705357A (zh) 人脸识别方法和人脸识别装置
JP2003015816A (ja) ステレオカメラを使用した顔・視線認識装置
CN106529494A (zh) 一种基于多摄像头机型的人脸识别方法
CN103500335A (zh) 一种基于手势识别的照片拍摄与浏览的方法及其装置
Tawari et al. Attention estimation by simultaneous analysis of viewer and view
CN110163126A (zh) 一种基于人脸的活体检测方法、装置及设备
CN111582036A (zh) 可穿戴设备下基于形状和姿态的跨视角人物识别方法
CN114022514A (zh) 一种融合头部姿态和眼球跟踪的实时视线推断方法
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
CN116453198B (zh) 一种基于头部姿态差异的视线校准方法和装置
Ahlvers et al. Model-free face detection and head tracking with morphological hole mapping
Vural et al. Multi-view fast object detection by using extended haar filters in uncontrolled environments
Xiang et al. Vehicle detection and tracking for gas station surveillance based on AdaBoosting and optical flow
Reddy et al. Tracking people in real time video footage using facial recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180123

Termination date: 20190402

CF01 Termination of patent right due to non-payment of annual fee