CN104680122A - 一种基于肤色检测的跟踪方法及装置 - Google Patents

一种基于肤色检测的跟踪方法及装置 Download PDF

Info

Publication number
CN104680122A
CN104680122A CN201310638144.5A CN201310638144A CN104680122A CN 104680122 A CN104680122 A CN 104680122A CN 201310638144 A CN201310638144 A CN 201310638144A CN 104680122 A CN104680122 A CN 104680122A
Authority
CN
China
Prior art keywords
area
parameter
fitted ellipse
pixel
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310638144.5A
Other languages
English (en)
Other versions
CN104680122B (zh
Inventor
穆星
张乐
陈敏杰
林福辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN201310638144.5A priority Critical patent/CN104680122B/zh
Publication of CN104680122A publication Critical patent/CN104680122A/zh
Application granted granted Critical
Publication of CN104680122B publication Critical patent/CN104680122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种基于肤色检测的跟踪方法及装置,所述方法包括:对至少一个第一区域分别进行拟合处理,以获取每一第一区域的拟合椭圆参数,所述第一区域为第一输入图像中的肤色区域;基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数,所述第二区域为第二输入图像中的肤色区域,所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数,所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数;基于所述第二区域的第一参数和第二参数,对所述第二区域进行跟踪。该方法可对被跟踪的肤色区域进行准确跟踪,且该方法处理简单,计算量小,易于在移动终端上实现。

Description

一种基于肤色检测的跟踪方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于肤色检测的跟踪方法及装置。
背景技术
在彩色图像中,由于肤色信息不受人体姿态、面部表情等的影响,具有相对的稳定性,且由于肤色与大多数背景物体的颜色有比较明显的区别,使得肤色检测技术在检测、手势分析、目标跟踪和图像检索中都有着广泛的应用,人体肤色检测的目的是从图像中自动定位出人体裸露的皮肤区域,例如从图像中检测出人的脸部、手部等区域。
同时,随着运动目标跟踪技术的快速发展,相应的产生了多种用于对运动目标进行跟踪的方法,现有技术中基于运动目标的颜色特征、运动信息、图像信息等建立相应的跟踪方法,例如基于运动目标的颜色特征的跟踪方法有均值漂移、连续的自适应均值漂移等方法,此类方法在一些简单场景下可以实现较好的人的手势等的跟踪,基于运动目标的运动信息的跟踪方法有光流法、卡尔曼滤波(Kalman Filter)、粒子滤波(Particle Filter)等方法。
基于上述运动目标检测跟踪的方法,可以对处于运动状态人的手部、脸部所拍摄的图像序列的特征进行跟踪,例如可以对上述基于人体肤色检测方法从图像中检测出人的脸部、手部等区域进行跟踪。在对运动目标检测跟踪的过程中,对运动目标的特征检测与跟踪是研究的重要基础和关键技术。
但现有技术中,在采用上述方法对运动目标进行检测及跟踪的过程中,可能都会存在一些问题,例如,基于颜色特征的方法对复杂场景和光照变化的鲁棒性较低,基于运动信息的方法可能难以适应手势的任意变化,或者跟踪处理过程中,计算量较大的问题,且在上述跟踪方法中,存在当多个运动目标之间产生大面积遮挡时,较难对运动目标进行准确跟踪。
相关技术可参考公开号为US2013259317A1的美国专利申请。
发明内容
本发明技术方案解决的是较难对跟踪物体进行准确跟踪,且跟踪处理过程中计算量较大的问题。
为解决上述问题,本发明技术方案提供一种基于肤色检测的跟踪方法,所述方法包括:
对至少一个第一区域分别进行拟合处理,以获取每一第一区域的拟合椭圆参数,所述第一区域为第一输入图像中的肤色区域;
基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数,所述第二区域为第二输入图像中的肤色区域,所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数,所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数;
基于所述第二区域的第一参数和第二参数,对所述第二区域进行跟踪;
其中,
所述拟合处理包括:对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度;对所述长轴长度和短轴长度进行变换;所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度;
所述椭圆参数集包括各第一区域的拟合椭圆参数的集合;
所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。
可选的,所述肤色区域通过基于肤色椭圆模型的肤色检测方法获得。
可选的,所述方法还包括:
通过公式P(s/c)=γ×P(s/c)+(1-γ)×Pw(s/c)更新所述肤色椭圆模型;其中,s为输入图像的像素点的像素值,c为肤色像素点的像素值,P(s/c)为该像素点为肤色点的概率值,Pw(s/c)为连续w帧图像中经肤色椭圆模型所得到的该像素点为肤色点的概率值,γ为灵敏度参数。
可选的,所述对区域进行拟合椭圆计算是基于对所述区域的像素点求取协方差矩阵所确定的。
可选的,基于公式α=σ1×α对拟合椭圆的长轴长度α进行变换,σ1的取值范围为1~2之间的数值;
基于公式β=σ2×β对拟合椭圆的短轴长度β进行变换,其中,σ2的取值范围为1~2之间的数值。
可选的,所述基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数包括:
若所述第二区域的所有像素点与至少一个第一区域的距离均小于μ,则所述第二区域的第一参数为所述至少一个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数;
所述与所述第二区域距离最近的第一区域所对应的像素点的个数最多,所述第一区域所对应的像素点为所述第二区域中与该第一区域的距离小于与其他第一区域的距离的像素点。
可选的,所述基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数包括:
若所述第二区域的部分像素点与N个第一区域h1、h2、...、hN的距离均小于μ,则确定所述第二区域有N个第一参数A1、A2、...、AN和N个第二参数B1、B2、...、BN,其中,Aj为第一区域hj的拟合椭圆参数,Bj为对第一集合和第二集合的像素点进行拟合处理所获取的拟合椭圆参数,所述第一集合为所述部分像素点的集合,所述第二集合为所述第二区域中除所述部分像素点外、第一区域hj所对应的像素点的集合,所述第一区域hj所对应的像素点与第一区域hj的距离小于该像素点与其他第一区域的距离,1≤j≤N,N≥2。
可选的,所述距离阈值μ的取值范围为1~2之间的数值。
可选的,所述拟合椭圆参数还包括拟合椭圆的旋转角度;
基于公式计算第二区域的像素点与第一区域的距离,其中, v → = cos θ - sin θ sin θ cos θ ( x - x c α , y - y c β ) , p为第二区域的像素点,(x,y)为p点的坐标值,h为第一区域所对应的拟合椭圆,(xc,yc)为拟合椭圆的中心点的坐标值,α为拟合椭圆的长轴长度,β为拟合椭圆的短轴长度,θ为拟合椭圆的旋转角度。
可选的,所述基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数包括:
若所述第二区域的所有像素点与任一第一区域的的距离均大于μ,则所述第二区域的第一参数为空,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数。
可选的,所述方法还包括:在对连续K帧的所有第二区域跟踪后,若所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于μ,则将该第一区域的拟合椭圆参数从所述椭圆参数集中删除,其中,K的取值范围为5~20。
可选的,所述方法还包括:将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。
可选的,所述方法还包括:
基于公式(xc+1,yc+1)=(xc,yc)+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值(xc+1,yc+1),所述第三区域为下一帧输入图像中与第二区域对应的肤色区域;
其中,Δc=(xc,yc)-(xc-1,yc-1),(xc,yc)为第二区域的第二参数中拟合椭圆的中心点的坐标值,(xc-1,yc-1)为第二区域的第一参数中拟合椭圆的中心点的坐标值。
本发明技术方案还提供一种基于肤色检测的跟踪装置,所述装置包括:
第一获取单元,适于对至少一个第一区域分别进行拟合处理,以获取每一第一区域的拟合椭圆参数,所述第一区域为第一输入图像中的肤色区域;
第二获取单元,适于基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数,所述第二区域为第二输入图像中的肤色区域,所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数,所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数;
跟踪单元,适于基于所述第二区域的第一参数和第二参数,对所述第二区域进行跟踪;
其中,
所述拟合处理包括:对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度;对所述长轴长度和短轴长度进行变换;所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度;
所述椭圆参数集包括各第一区域的拟合椭圆参数的集合;
所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。
可选的,所述装置还包括:变换单元,适于基于公式α=σ1×α对拟合椭圆的长轴长度α进行变换,σ1的取值范围为1~2之间的数值;基于公式β=σ2×β对拟合椭圆的短轴长度β进行变换,其中,σ2的取值范围为1~2之间的数值。
可选的,所述装置还包括:更新单元,适于将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。
可选的,所述装置还包括:预测单元,适于基于公式(xc+1,yc+1)=(xc,yc)+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值(xc+1,yc+1),所述第三区域为下一帧输入图像中与第二区域对应的肤色区域;
其中,Δc=(xc,yc)-(xc-1,yc-1),(xc,yc)为第二区域的第二参数中拟合椭圆的中心点的坐标值,(xc-1,yc-1)为第二区域的第一参数中拟合椭圆的中心点的坐标值。
与现有技术相比,本发明的技术方案具有以下优点:
在对基于肤色检测方法所得到的肤色区域(第一区域和第二区域)进行拟合处理的过程中,通过对肤色区域进行拟合椭圆计算获得区域所对应的拟合椭圆参数,并对所述拟合椭圆参数中的长轴和短轴的长度进行适当的变换,使得拟合得到的肤色区域所对应的拟合椭圆参数会更加准确,即肤色区域所对应的拟合椭圆区域会更加准确,则进行跟踪的肤色区域也会更加准确。在跟踪过程中,基于当前输入图像的肤色区域(第二区域)的像素点与之前的输入图像中的各肤色区域(各第一区域)距离与距离阈值μ之间的关系,可以准确确定被跟踪的肤色区域(第二区域)的拟合椭圆参数(第一参数和第二参数),基于跟踪过程中所述被跟踪的肤色区域的拟合椭圆参数的变化,即可对所述被跟踪的肤色区域进行准确跟踪,且该方法处理简单,计算量小,易于在移动终端上实现。
在基于肤色检测方法对肤色区域进行检测的过程中,对进行肤色检测的肤色椭圆模型进行优化,优化后的肤色椭圆模型可以根据当前输入图像信息进行自适应性的检测,优化后的肤色椭圆模型对光照具有更好的鲁棒性,有效提高肤色区域的检测的准确性。
在跟踪过程中,基于当前输入图像的肤色区域(第二区域)的像素点与之前的输入图像中的各肤色区域(第一区域)距离与距离阈值μ之间的不同关系,相应的采取不同的确定第一参数和第二参数的方法,使得可以准确确定被跟踪的肤色区域在跟踪过程中的拟合椭圆参数,特别对于当前输入图像中有多个肤色区域相互遮挡时,该方法仍可以较好的对各肤色区域分别进行跟踪。
在跟踪后,基于当前输入图像中被跟踪的肤色区域的拟合椭圆参数以及之前的输入图像中的所述被跟踪的肤色区域的拟合椭圆参数,可以实现对下一帧输入图像中的所述被跟踪的肤色区域的拟合椭圆参数的预测。
附图说明
图1是本发明技术方案提供的基于肤色检测的跟踪方法的流程示意图;
图2是本发明一实施例提供的基于肤色检测的跟踪方法的流程示意图;
图3是本发明一实施例提供的对肤色椭圆模型进行优化的流程示意图;
图4是本发明另一实施例提供的基于肤色检测的跟踪方法的流程示意图。
具体实施方式
现有技术中,在对肤色区域进行检测及跟踪的过程中,对复杂场景和光照变化的鲁棒性较低,且当存在多个肤色区域进行跟踪时,无法对所述多个肤色区域有效进行跟踪。
为了解决上述问题,本发明技术方案提供一种基于肤色检测的跟踪方法,在该方法中,为了可以得到准确的肤色区域,在检测到输入图像中的肤色区域之后,对采用常规的拟合椭圆计算方法所得到的肤色区域的拟合椭圆参数中的长轴和短轴的长度进行变换,并在跟踪过程中,基于当前输入图像的肤色区域的像素点与之前的输入图像中的各肤色区域的距离与距离阈值μ之间的关系,确定当前输入图像的肤色区域的拟合椭圆参数,实现对当前输入图像的肤色区域的跟踪。
图1是本发明技术方案提供的基于肤色检测的跟踪方法的流程示意图,如图1所示,首先执行步骤S101,对至少一个第一区域分别进行拟合处理,以获取每一第一区域的拟合椭圆参数。
所述第一区域为第一输入图像中的肤色区域,所述肤色区域是指被用于跟踪的肤色区域。所述第一输入图像可以为当前肤色区域进行跟踪前的初始输入图像,基于现有技术中的多种肤色检测方法可以获得所述第一输入图像中所包含的肤色区域,由于在一帧输入图像中,可能包含有一个肤色区域或者包含有多个肤色区域,所以所述第一输入图像中所包含的用于跟踪的肤色区域可以为一个或者多个,即在此步骤中,需要对至少一个肤色区域(第一区域)进行拟合处理,所述肤色检测方法可以基于单高斯模型、混合高斯模型、椭圆肤色模型等实现对于图像的肤色检测。
所述拟合处理主要包括拟合椭圆计算和变换的过程,首先对肤色区域(第一区域)进行拟合椭圆计算以获得所述肤色区域所对应的初始拟合椭圆参数,所述初始拟合椭圆参数包括所述肤色区域所对应的拟合椭圆的中心点的坐标值、长轴长度、短轴长度以及旋转角度等。在得到所述肤色区域所对应的初始拟合椭圆参数后,对所述初始拟合椭圆参数中所述肤色区域所对应的拟合椭圆的长轴长度和短轴长度进行变换,将变换之后的拟合椭圆参数作为所述肤色区域所对应的拟合椭圆参数。
基于所述拟合处理,可以得到所述第一输入图像中的每一个第一区域的拟合椭圆参数。
执行步骤S102,基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数。
所述第二区域为第二输入图像中的肤色区域,所述第二输入图像可以为包含有被跟踪的肤色区域(第二区域)的当前输入图像。
所述第二区域的像素点与各第一区域的距离是指第二区域的像素点与椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离,所述椭圆参数集为步骤S101中所得到的第一输入图像中的各第一区域的拟合椭圆参数的集合。
所述第二区域的第一参数是指椭圆参数集中与所述第二区域所对应的第一区域的拟合椭圆参数,所述第二参数为基于对所述第二区域进行的拟合处理所获取得到的拟合椭圆参数。
执行步骤S103,基于所述第二区域的第一参数和第二参数,对所述第二区域进行跟踪。
在基于步骤S102得到第二区域的第一参数和第二参数后,由于所述第二区域的第一参数是第二区域所对应的第一区域的拟合椭圆参数,根据此参数可获得所述第二区域之前的拟合椭圆信息,而第二参数为基于对所述第二区域进行的拟合处理所获取得到的拟合椭圆参数,根据所述第二参数可获得所述第二区域当前的拟合椭圆信息,则基于上述不同时刻的拟合椭圆信息可实现对于所述第二区域的准确跟踪。
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
在本实施例中,对检测到输入图像中的肤色区域采用常规的拟合椭圆计算方法所得到的拟合椭圆参数中的长轴和短轴的长度进行变换,并在跟踪过程中,当被跟踪的肤色区域在椭圆参数集中有多个拟合椭圆参数于其对应时的跟踪过程进行说明。
图2是本实施例提供的基于肤色检测的跟踪方法的流程示意图,如图2所示,首先执行步骤S201,基于肤色椭圆模型检测第一输入图像中的第一区域。
首先读取第一输入图像,对于第一输入图像,如果其为RGB空间的图像格式,可以首先进行色彩空间转换,将其从RGB空间转换为YCbCr空间。
由于在YCbCr空间中,Y表示亮度,Cb和Cr是颜色差别信号,代表色度,而在不同的光照条件下,虽然物体的颜色的亮度会产生很大的差异,但是色度在很大范围内具有稳定性,基本保持不变,而且,现有技术中,也有相关的研究结果表明,人类的肤色在YCbCr空间中的分布相对比较集中,即肤色的聚类特性,不同种族之间的颜色的差异主要是由亮度引起,而与颜色属性无关,所以利用此特性,可以将图像像素分为肤色和非肤色像素,所以在本实施例中,为了可以提高肤色区域检测的准确性,将图像从普遍采用的RGB空间转换到YCbCr空间中。
之后可以利用现有技术中已经训练好的肤色椭圆模型进行初始检测,以获得初始输入图像中所包含的一个或者多个肤色区域。
由于基于现有技术已经训练好的肤色椭圆模型在进行肤色检测,检测结果可能会存在一些错误的检测区域,例如,可能在肤色区域中存在的空洞现象等。所以,在本实施例中,可以先对肤色检测结果中的肤色区域信息进行信息优化,鉴于肤色物体的连通性和大小,通过四连通区域填充法或者八连通区域填充法,可以消除图像中肤色区域存在的空洞现象。
在本实施例中,可以基于信息优化后的肤色区域信息通过下述公式(1)对所述肤色椭圆模型进行模型优化。
P(s/c)=γ×P(s/c)+(1-γ)×Pw(s/c)             (1)
其中,s为输入图像的像素点的像素值,c为肤色像素点的像素值,等式左边的P(s/c)为优化后该像素点为肤色点的概率值,等式右边的P(s/c)为优化前经肤色椭圆模型所得到的该像素点为肤色点的概率值,Pw(s/c)为连续w帧图像中经肤色椭圆模型所得到的该像素点为肤色点的概率值,γ为灵敏度参数。
在对肤色椭圆模型进行优化后,可以返回重新读取第一输入图像,接着可以进行色彩空间转换,之后可以基于更新后的肤色椭圆模型再次进行肤色检测,检测后仍然可以对肤色检测结果中的肤色区域信息进行信息优化,如果优化后的肤色区域信息认为满意,则可以基于当前优化后的肤色区域信息提取一个或者多个具体的肤色区域,如果不满意则可以继续基于信息优化后的肤色区域信息,通过公式(1)再次对肤色椭圆模型进行模型优化,直到经过信息优化和模型优化后的肤色区域信息满足用户要求为止。
上述过程请结合参考图3,图3为对肤色椭圆模型进行优化的流程示意图。
需要说明的是,在基于肤色椭圆模型进行初始检测的过程中,可以采用如上所述的信息优化和模型优化中的至少一种方法进行优化。
步骤S201之后,执行步骤S202,对所述第一输入图像中的各第一区域分别进行拟合椭圆计算。
基于步骤S201,可以得到第一输入图像中的一个或者多个肤色区域,基于所述肤色区域即可确定第一输入图像中的各第一区域。
考虑到肤色物体在实际运动过程中,可能会存在交叉重叠的情况,所以检测到的肤色区域的个数可能不等同于用于跟踪的肤色区域,在本申请文件中,所述第一区域是指被用于跟踪的肤色区域。
在本实施例中,以第一输入图像中含有多个第一区域为例进行说明。
由于人脸、人手等肤色物体的形状近似为椭圆形状,所以可以通过拟合椭圆计算将第一输入图像中所含有的多个第一区域分别对应的拟合为椭圆形状,所述椭圆形状通常可以通过如公式(2)所示的椭圆模型进行表示。
h=h(xc,yc,α,β,θ)                  (2)
其中,h表示所述第一区域所对应的拟合椭圆,xc,yc为所述第一区域所对应的拟合椭圆的中心点的坐标值,α为所述第一区域所对应的拟合椭圆的长轴长度,β为所述第一区域所对应的拟合椭圆的短轴长度,θ为所述第一区域所对应的拟合椭圆的旋转角度。
在本实施例中,可以基于对所述第一区域的像素点求取协方差矩阵对所述第一区域进行拟合椭圆计算。
以所述第一输入图像中的一个第一区域为例进行说明,由于所述第一区域对应于一簇连续的肤色像素点,所以可以对所述第一区域内的肤色像素点求取协方差矩阵∑。
具体地,假设令X=[x1…xn]表示像素点集的X方向向量,Y=[y1…yn]表示像素点集的Y方向向量,其中,x1...xn表示所述第一区域中的肤色像素点的X方向的坐标,y1...yn表示所述第一区域中的肤色像素点的Y方向的坐标,n表示所述第一区域中的肤色像素点的个数。
Z = X Y , 则协方差矩阵∑可以通过公式(3)获取。
∑=E((Z-E(Z))(Z-E(Z))T)               (3)
其中,E表示求取数学期望。
则协方差矩阵∑在公式(3)所示的向量计算上,实质上是一个2×2的矩阵,其可以表示为公式(4)的形式。
Σ = δ xx δ xy δ xy δ yy - - - ( 4 )
其中,协方差矩阵∑中的每个元素表示像素点集的X方向向量,Y方向向量之间的协方差。
基于公式(5)可以得到所述第一区域所对应的拟合椭圆的长轴长度α。
其中,
基于公式(6)可以得到所述第一区域所对应的拟合椭圆的长轴长度β。
其中,
基于公式(7)可以得到所述第一区域所对应的拟合椭圆的旋转角度θ。
对于所述第一区域所对应的拟合椭圆的中心点坐标值(xc,yc)可以在对所述第一区域拟合的过程中,利用所述第一区域的边界的像素点的坐标值,即可获得。
至此,即可获得所述第一区域的初始拟合椭圆参数,所述初始拟合椭圆参数包括所述第一区域所对应的拟合椭圆的中心点的坐标值、长轴长度、短轴长度以及旋转角度。
执行步骤S203,对所述第一输入图像中的各第一区域所对应的拟合椭圆的长轴长度和短轴长度进行变换。
由于通过传统的拟合椭圆参数计算,所拟合得到的第一区域所对应的拟合椭圆相对于实际的肤色物体可能是偏小的,例如,当人手张开进行移动的过程中,由于手指部分在所对应的肤色区域上的不连通性,会造成手所对应的拟合椭圆会只限定于手掌上,和实际的手的形状是有误差的,由此导致在后续对手部进行跟踪时,也会跟踪不准确。
在本实施例中,对于步骤S203中多得到的第一输入图像中的各第一区域所对应的拟合椭圆的长轴长度α和短轴长度β进行变换。
基于公式α=σ1×α对拟合椭圆的长轴长度α进行变换,由于基于公式(5)可知所以可以基于公式(8)实现对拟合椭圆的长轴长度α进行变换。
其中,σ1为长轴长度变换参数,σ1的取值范围为1~2之间的数值。
基于公式β=σ2×β对拟合椭圆的短轴长度β进行变换,由于基于公式(6)可知所以可以基于公式(9)实现对拟合椭圆的短轴长度β进行变换。
其中,σ2为长轴长度变换参数,σ2的取值范围为1~2之间的数值。
所述σ1和σ2可以根据实际跟踪情况,跟踪物体的大小、跟踪场景的复杂度以及协方差矩阵的计算方法等因素进行相应的设定,所述σ1和σ2可以设置为相同的数值,也可以设置为不同的数值。
执行步骤S204,设置椭圆参数集。
基于步骤S202和步骤S203,可以得到第一输入图像中各第一区域的拟合椭圆参数。所述拟合椭圆参数中的各第一区域所对应的拟合椭圆的长轴长度和短轴长度为步骤S203变换后的值。
将第一输入图像中各第一区域的拟合椭圆参数设置在同一个集合中,构成所述椭圆参数集。
执行步骤S205,基于肤色椭圆模型检测第二输入图像中的各第二区域。
对于当前输入图像,即所述第二输入图像,可以基于肤色椭圆模型,得到当前输入图像中所包含的各肤色区域,基于所述肤色区域即可确定第二输入图像中的各第二区域,具体请参考步骤S201。
之后可以对所述各第二区域进行跟踪。
执行步骤S206,计算第二区域的像素点与各第一区域的距离。
以对其中一个第二区域进行跟踪为例进行说明,首先通过本步骤计算被跟踪的第二区域的所有像素点与各第一区域的距离。
基于公式(10)计算可以获得被跟踪的第二区域的每一个像素点与各第一区域的距离。
D ( p , h ) = v → · v → - - - ( 10 )
其中, v → = cos θ - sin θ sin θ cos θ ( x - x c α , y - y c β ) , p为第二区域的像素点,(x,y)为p点的坐标值,h为第一区域所对应的拟合椭圆,(xc,yc)为第一区域所对应的拟合椭圆的中心点的坐标值,α为第一区域所对应的拟合椭圆的长轴长度,β为第一区域所对应的拟合椭圆的短轴长度,θ为第一区域所对应的拟合椭圆的旋转角度。
对于任意一个第一区域,均可以基于公式(10)获得被跟踪的第二区域的每一个像素点到所述第一区域的距离。
执行步骤S207,确定第二区域的第一参数和第二参数。
在基于步骤S206得到被跟踪的第二区域的每一个像素点到所述第一区域的距离后,就可以根据所述距离确定被跟踪的第二区域在椭圆参数集中所对应的第一区域的拟合椭圆参数。
在本实施例中,以被跟踪的第二区域在椭圆参数集中有多个对应的第一区域的拟合椭圆参数为例进行说明。
基于被跟踪的第二区域的每一个像素点到所述第一区域的距离,可以判断该像素点是否位于所述第一区域的拟合椭圆参数所确定的椭圆范围内。
通常认为,当基于公式(10)计算得到被跟踪的第二区域的一个像素点到一个第一区域的距离D(p,h)≤1时,则认为该像素点位于所述第一区域所对应的拟合椭圆内,即该像素点位于由该第一区域的拟合椭圆参数所确定的拟合椭圆范围内,该第一区域的拟合椭圆参数可以称为所述第二区域所对应的第一区域的拟合椭圆参数,也可以认为由第一区域的拟合椭圆参数所确定的拟合椭圆为所述第二区域的前一时刻的目标拟合椭圆。将与所述第二区域对应的第一区域的拟合椭圆参数称为所述第二区域的第一参数。
但由于手部等肤色物体的不规则性,如果对肤色物体的拟合椭圆太小,会影响到跟踪结果的准确性,所以此处为了可以获得比较好的跟踪效果,可以在计算得到被跟踪的第二区域的一个像素点到一个第一区域的距离之后,可以基于所述距离与距离阈值μ的关系,判断该像素点是否位于所述第一区域所对应的拟合椭圆内,所述距离阈值μ可以根据实际跟踪情况,跟踪物体的大小、跟踪场景的复杂度以及协方差矩阵的计算方法等因素进行相应的设定,在本申请文件中,所述距离阈值μ的取值可以为1~2之间的数值。
若基于公式(10)计算得到,所述第二区域中有部分像素点与多个第一区域的距离均小于距离阈值μ,假设所述第二区域中有部分像素点与N个第一区域h1、h2、...、hN的距离均小于μ,即可以认为所述部分像素点同时位于所述N个第一区域的拟合椭圆参数所确定的拟合椭圆范围内,则也可以认为这N个第一区域h1、h2、...、hN之间彼此之间可能相互交叠,即可能不同的第一区域可能在跟踪场景中发生相互遮挡,这N个第一区域的拟合椭圆参数所确定的拟合椭圆均可以认为所述第二区域的目标拟合椭圆,该第二区域相应的有N个第一参数A1、A2、...、AN,所述N个第一参数为椭圆参数集中与所述第二区域对应的N个第一区域的拟合椭圆参数。
由于第二区域有N个目标拟合椭圆,即N个第一区域的拟合椭圆参数与其对应,则此时需要针对N个不同的第一区域hj,相应的对所述第二区域进行拟合处理,以便基于拟合处理结果,对所述第二区域进行跟踪。
举例来说,对于任意一个第一区域hj来说,第二区域中的像素点,除所述部分像素点与所述所有第一区域的距离均小于距离阈值μ外,可能剩余的像素点中有距离hj近的,也有距离hk比较近的,此时如果将距离hk比较近的像素点也用于拟合处理,进而得到与第一区域hj的对应的第二区域的拟合椭圆参数,显然可能存在问题。
所以,在本申请文件中,在对与第一区域hj对应的第二区域的拟合处理中,采用所述部分像素点(第一集合)和第二区域的像素点中除所述部分像素点外的剩余的像素点中距离hj最近的像素点(第二集合),用于对与第一区域hj对应的第二区域的拟合处理,所述距离hj最近的像素点也可以称为是第二区域中与第一区域hj所对应的像素点,所述第一区域hj所对应的像素点与第一区域hj的距离小于该像素点与其他第一区域的距离。
同理,对于第一区域hk来说,在对与第一区域hk对应的第二区域的拟合处理中,采用所述部分像素点和第二区域的像素点中除所述部分像素点外的剩余的像素点中距离hk最近的像素点,用于对与第一区域hk对应的第二区域的拟合处理,依次类推,对于第二区域对应的N个不同的第一区域,相应对第二区域进行N次拟合处理,得到N个分别与第一区域h1、h2、…、hN一一对应的拟合椭圆参数B1、B2、...、BN,将所述拟合椭圆参数B1、B2、...、BN称为所述第二区域的第二参数,其中,1≤j≤N,N≥2。需要说明的是,在对第二区域进行拟合处理的过程包含拟合椭圆参数的计算以及变换过程,详细请参考步骤S202和步骤S203。
至此得到第二区域针对多个不同的目标拟合椭圆,多个对应的第一参数和第二参数。
执行步骤S208,基于所述第二区域的第一参数和第二参数,对所述第二区域进行跟踪。
由于所述第二区域的第一参数为第一区域对应的拟合椭圆参数,可以认为是所述第二区域前一时刻所对应的拟合椭圆参数,而所述第二区域的第二参数为当前时刻进行拟合处理所得到与第一参数相对应的拟合椭圆参数,则所述第二区域的第一参数和第二参数,可以准确确定所述第二区域不同时刻的拟合椭圆参数,可以对所述第二区域的运动情况进行确定,实现对于第二区域的跟踪。
在本实施例中,如步骤S203所述,在得到第一区域或者第二区域的拟合椭圆计算结果之后,进一步对拟合椭圆的长轴长度和短轴长度进行变换,在原有拟合椭圆计算上加以改进,增大拟合椭圆的覆盖区域,可以使得拟合椭圆更符合实际的肤色区域,为后续的跟踪提供比较准确的跟踪区域。
在确定被跟踪的第二区域的目标拟合椭圆时,将计算得到的第二区域与椭圆参数集中第一区域的距离与距离阈值进行比较,同样可以根据实际跟踪情况,确定合适的距离阈值,使得对于第二区域的跟踪结果更加准确,进而,在具体实施时,可以结合之前对拟合椭圆的长轴长度和短轴长度所采取的变换比例,设置相应的距离阈值,使得距离阈值可以关联于拟合椭圆放大的比例,可以取得更稳定的跟踪效果。
该方法对于输入图像中有多个肤色区域(第一区域)相互遮挡时,该方法仍可以较好的肤色区域进行跟踪。
上述实施例给出的是当被跟踪的肤色区域在椭圆参数集中有多个拟合椭圆参数与其对应时的跟踪过程,在实际跟踪过程中,被跟踪的肤色区域与椭圆参数集中的拟合椭圆参数的关系可能也有多种不同的情况。
图4是本发明另一实施例提供的基于肤色检测的跟踪方法的流程示意图,在本实施例中,针对被跟踪的肤色物体不同的情况,进行不同的跟踪处理。
由于在跟踪过程中,通常需要考虑下面几种情况:A,在跟踪场景中出现新的肤色物体;B,之前跟踪的肤色物体从跟踪场景中消失;C,被跟踪的肤色物体在场景中连续运动;D,不同肤色物体在跟踪场景中发生遮挡。针对上述A、B、C和D四种不同的肤色物体情况,对于设置好的椭圆参数集而言,相应会对应有目标拟合椭圆的产生,目标拟合椭圆的释放,目标拟合椭圆的连续跟踪,目标拟合椭圆的重叠等情况,相应对肤色物体所对应的肤色区域进行跟踪处理也有各不相同,所述目标拟合椭圆即为上文所述的第一区域所对应的拟合椭圆。
在本实施例中,对所述A、B、C和D四种不同的情况,肤色物体的跟踪情况进行说明。
如图4所示,首先执行步骤S401,基于肤色椭圆模型检测第一输入图像中的第一区域。
执行步骤S402,对所述第一输入图像中的各第一区域分别进行拟合椭圆计算。
执行步骤S403,对所述第一输入图像中的各第一区域所对应的拟合椭圆的长轴长度和短轴长度进行变换。
执行步骤S404,设置椭圆参数集。
执行步骤S405,基于肤色椭圆模型检测第二输入图像中的各第二区域。
执行步骤S406,计算第二区域的像素点与各第一区域的距离。
步骤S401至步骤S406请参考步骤S201至步骤S206。
基于步骤S406中所确定的第二区域的像素点与各第一区域的距离,可以分如下a、b、c和d四种情况对第二区域进行确定。
如图4所示,若所述第二区域的所有像素点与任一第一区域的距离均大于距离阈值μ,则确定为a情况。
若在对连续K帧的所有第二区域跟踪后,所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于距离阈值μ,则确定为b情况。
若所述第二区域的所有像素点与至少一个第一区域的距离均小于距离阈值μ,则确定为c情况。
若所述第二区域的部分像素点与N个第一区域h1、h2、...、hN的距离均小于距离阈值μ,则确定为d情况。
针对a、b、c和d四种不同情况进行跟踪处理。
若为a情况,如图4所示,则执行步骤S407,将所述第二区域的第一参数设置为空,将对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数作为所述第二区域的第二参数。
当所述第二区域的所有像素点与任一第一区域的距离均大于距离阈值μ,则可以确定所述第二区域在椭圆参数集中没有对应的第一区域,即其不属于任何一个第一区域所对应的拟合椭圆,所述第二区域应该是跟踪场景中心出现的肤色物体对应的肤色区域,则将所述第二区域的第一参数设置为空,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数,可以将对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数新增加到椭圆参数集中,在之后的输入图像中对所述第二区域进行跟踪时,基于之后所拟合处理得到的拟合椭圆参数更新椭圆参数集中所述第二区域对应的拟合椭圆参数。
若为b情况,则执行步骤S408,将该第一区域的拟合椭圆参数从所述椭圆参数集中删除。
若在对连续K帧的所有第二区域跟踪后,所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于距离阈值μ,则可以确定任何一个第二区域都与该第一区域的距离大于距离阈值μ,也即说明在前一帧中与该第一区域对应的跟踪物体已消失,则可以将该第一区域的拟合椭圆参数从所述椭圆参数集中删除。
这里需要对连续K帧的图像信息均进行考虑,是由于在肤色检测的过程中,有时可能会出现在帧图像信息中丢失肤色信息的情况,所以在一帧输入图像信息中,所有第二区域的所有像素点与同一个第一区域的距离均大于距离阈值μ时,可以采取不对该第一区域的拟合椭圆参数进行更新,若后面一帧输入图像中,又检测到有第二区域的像素点与该第一区域的距离均小于距离阈值μ,则可以继续采用上述方法对该第一区域的拟合椭圆参数进行更新,若连续K帧均出现此种情况,可以确定跟踪物体已消失,则可以将该第一区域的拟合椭圆参数从所述椭圆参数集中删除。K的取值范围可以为5~20。
若为c情况,则执行步骤S409,所述第二区域的第一参数为所述至少一个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数,基于第二区域的第一参数和第二参数进行跟踪。
若所述第二区域的所有像素点与至少一个第一区域的距离均小于距离阈值μ,则说明在椭圆参数集中可能存在一个或者多个对应的第一区域。
若所述第二区域的所有像素点与所述椭圆参数集中一个第一区域的距离小于μ,与所述椭圆参数集中其他第一区域的距离均大于μ,则确定该第一区域是所述第二区域对应的第一区域,则所述第二区域的第一参数为该第一区域的拟合椭圆参数,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数。
若所述第二区域的所有像素点与所述椭圆参数集中多个第一区域的距离均小于μ,通常我们认为两个不同的第一区域不可能为同一个被跟踪的肤色区域所对应的肤色区域,所以可以基于第二区域与不同的第一区域之间的距离确定所述第二区域对应的第一区域。
具体地,所述第二区域的第一参数为所述多个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数,所述与所述第二区域距离最近的第一区域所对应的像素点的个数最多,所述第一区域所对应的像素点为所述第二区域中与该第一区域的距离小于与其他第一区域的距离的像素点。
以两个第一区域U和V为例来说,当所述第二区域中的一个像素点与第一区域U的距离小于与第一区域V的距离时,则确定该像素点为第一区域U所对应的像素点,当第二区域中与第一区域所对应的像素点的个数较多的时候,则确定第一区域U为与第二区域距离最近的第一区域。
若为d情况,如图4所示,则执行步骤S410,确定所述第二区域有N个第一参数A1、A2、...、AN和N个第二参数B1、B2、...、BN,基于第二区域的第一参数和第二参数进行跟踪。
若所述第二区域的部分像素点与N个第一区域h1、h2、...、hN的距离均小于距离阈值μ,则说明所述第二区域中有部分像素点可能同时位于N个第一区域的拟合椭圆之内,即可能不同的第一区域可能在跟踪场景中发生相互遮挡,此时的跟踪情况如本申请文件中之前的实施例所描述的具体情况,具体跟踪处理过程请参考S207和步骤S208,在此不再赘述。
在本实施例中,针对不同的情况相应的进行不同的跟踪处理,使得对于被跟踪的肤色区域在不同的情况下,都可以准确有效进行跟踪。
在对当前输入图像,即所述第二输入图像中的第二区域进行跟踪后,为了便于对下一帧输入图像中所述第二区域继续跟踪,上述本发明实施例的基于肤色检测的跟踪方法还可以进一步包括,将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数,更新为当前帧输入图像(第二输入图像)的所述第二区域的第二参数。之后在对下一帧输入图像中的该第二区域进行跟踪时,可以以椭圆参数集中更新后所述第二区域对应的第一区域的拟合椭圆参数作为所述第二区域的第一参数,再对下一帧输入图像中的该第二区域,基于本发明实施例提供的方法确定其第二参数,基于下一帧输入图像中该第二区域的第一参数和第二参数实现对下一帧输入图像中的该第二区域的跟踪,依次类推,可以在跟踪过程中,实时同步更新所述椭圆参数集。
可以基于第二区域的像素点与第一区域之间的距离确定与所述第二区域对应的第一区域。
以图4所示的实施例中的a情况为例,若所述第二区域的所有像素点与任一第一区域的距离均大于距离阈值μ,则所述第二区域在椭圆参数集中没有对应的第一区域,可以将对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数新增加到椭圆参数集中,在之后的输入图像中对所述第二区域进行跟踪时,可以以上述新增加到椭圆参数集中的拟合椭圆参数所确定的椭圆区域作为所述第二区域对应的第一区域。
再以图4所示的实施例中的c情况为例,若所述第二区域的所有像素点与所述椭圆参数集中一个第一区域的距离小于μ,与所述椭圆参数集中其他第一区域的距离均大于μ,则确定该第一区域是所述第二区域对应的第一区域,若所述第二区域的所有像素点与所述椭圆参数集中多个第一区域的距离均小于μ,与所述第二区域距离最近的第一区域确定为所述第二区域对应的第一区域。
若以图4所示的实施例中的d情况为例,若所述第二区域中有部分像素点与多个第一区域的距离均小于距离阈值μ,则这多个第一区域均可以称为所述第二区域对应的第一区域,具体确定所述第二区域对应的第一区域可以参考上述方法进行确定。
另外,鉴于人手、人脸等肤色物体在运动场景中运动时,虽然可能为不规则的运动轨迹,但相邻帧之间肤色物体的运动可以近似看做为线性运动,这样就可以基于当前帧和前一帧输入图像的拟合椭圆的中心点坐标值,预测下一帧输入图像中所述肤色物体所对应的拟合椭圆的中心点坐标值,在预测过程中,拟合椭圆的其它参数可以保持不变。
具体地,基于第二区域的第一参数和第二参数,通过公式(11)可以实时预测第三区域所对应的拟合椭圆的中心点的坐标值(xc+1,yc+1)。
(xc+1,yc+1)=(xc,yc)+Δc                  (11)
其中,Δc=(xc,yc)-(xc-1,yc-1),(xc,yc)为第二区域的第二参数中拟合椭圆的中心点的坐标值,(xc-1,yc-1)为第二区域的第一参数中拟合椭圆的中心点的坐标值。所述第三区域为下一帧输入图像中与该第二区域对应的肤色区域。
需要说明的是,在图4所示的实施例中,若在a情况出现时,在新的肤色物体出现时,是无法预测下一帧中该肤色物体所对应的肤色区域的中心点坐标值的,只有当对新出现的肤色物体的当前帧和下一帧输入图像中该肤色物体对应的肤色区域经过拟合处理之后,则可以基于初始两帧的输入图像中的肤色区域的拟合处理结果,对后面帧中的该肤色区域的拟合椭圆参数进行预测。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (17)

1.一种基于肤色检测的跟踪方法,其特征在于,包括:
对至少一个第一区域分别进行拟合处理,以获取每一第一区域的拟合椭圆参数,所述第一区域为第一输入图像中的肤色区域;
基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数,所述第二区域为第二输入图像中的肤色区域,所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数,所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数;
基于所述第二区域的第一参数和第二参数,对所述第二区域进行跟踪;
其中,
所述拟合处理包括:对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度;对所述长轴长度和短轴长度进行变换;所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度;
所述椭圆参数集包括各第一区域的拟合椭圆参数的集合;
所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。
2.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,所述肤色区域通过基于肤色椭圆模型的肤色检测方法获得。
3.如权利要求2所述的基于肤色检测的跟踪方法,其特征在于,还包括:
通过公式P(s/c)=γ×P(s/c)+(1-γ)×Pw(s/c)更新所述肤色椭圆模型;其中,s为输入图像的像素点的像素值,c为肤色像素点的像素值,P(s/c)为该像素点为肤色点的概率值,Pw(s/c)为连续w帧图像中经肤色椭圆模型所得到的该像素点为肤色点的概率值,γ为灵敏度参数。
4.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,所述对区域进行拟合椭圆计算是基于对所述区域的像素点求取协方差矩阵所确定的。
5.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,
基于公式α=σ1×α对拟合椭圆的长轴长度α进行变换,σ1的取值范围为1~2之间的数值;
基于公式β=σ2×β对拟合椭圆的短轴长度β进行变换,其中,σ2的取值范围为1~2之间的数值。
6.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,所述基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数包括:
若所述第二区域的所有像素点与至少一个第一区域的距离均小于μ,则所述第二区域的第一参数为所述至少一个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数;
所述与所述第二区域距离最近的第一区域所对应的像素点的个数最多,所述第一区域所对应的像素点为所述第二区域中与该第一区域的距离小于与其他第一区域的距离的像素点。
7.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,所述基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数包括:
若所述第二区域的部分像素点与N个第一区域h1、h2、...、hN的距离均小于μ,则确定所述第二区域有N个第一参数A1、A2、...、AN和N个第二参数B1、B2、...、BN,其中,Aj为第一区域hj的拟合椭圆参数,Bj为对第一集合和第二集合的像素点进行拟合处理所获取的拟合椭圆参数,所述第一集合为所述部分像素点的集合,所述第二集合为所述第二区域中除所述部分像素点外、第一区域hj所对应的像素点的集合,所述第一区域hj所对应的像素点与第一区域hj的距离小于该像素点与其他第一区域的距离,1≤j≤N,N≥2。
8.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,所述距离阈值μ的取值范围为1~2之间的数值。
9.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,所述拟合椭圆参数还包括拟合椭圆的旋转角度;
基于公式计算第二区域的像素点与第一区域的距离,其中, v → = cos θ - sin θ sin θ cos θ ( x - x c α , y - y c β ) , p为第二区域的像素点,(x,y)为p点的坐标值,h为第一区域所对应的拟合椭圆,(xc,yc)为拟合椭圆的中心点的坐标值,α为拟合椭圆的长轴长度,β为拟合椭圆的短轴长度,θ为拟合椭圆的旋转角度。
10.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,所述基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数包括:
若所述第二区域的所有像素点与任一第一区域的距离均大于μ,则所述第二区域的第一参数为空,所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数。
11.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,还包括:在对连续K帧的所有第二区域跟踪后,若所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于μ,则将该第一区域的拟合椭圆参数从所述椭圆参数集中删除,其中,K的取值范围为5~20。
12.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,还包括:将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。
13.如权利要求1所述的基于肤色检测的跟踪方法,其特征在于,还包括:
基于公式(xc+1,yc+1)=(xc,yc)+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值(xc+1,yc+1),所述第三区域为下一帧输入图像中与第二区域对应的肤色区域;
其中,Δc=(xc,yc)-(xc-1,yc-1),(xc,yc)为第二区域的第二参数中拟合椭圆的中心点的坐标值,(xc-1,yc-1)为第二区域的第一参数中拟合椭圆的中心点的坐标值。
14.一种基于肤色检测的跟踪装置,其特征在于,包括:
第一获取单元,适于对至少一个第一区域分别进行拟合处理,以获取每一第一区域的拟合椭圆参数,所述第一区域为第一输入图像中的肤色区域;
第二获取单元,适于基于第二区域的像素点与各第一区域的距离与距离阈值μ之间的关系,获取所述第二区域的第一参数和第二参数,所述第二区域为第二输入图像中的肤色区域,所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数,所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数;
跟踪单元,适于基于所述第二区域的第一参数和第二参数,对所述第二区域进行跟踪;
其中,
所述拟合处理包括:对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度;对所述长轴长度和短轴长度进行变换;所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度;
所述椭圆参数集包括各第一区域的拟合椭圆参数的集合;
所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。
15.如权利要求14所述的基于肤色检测的跟踪装置,其特征在于,所述第一获取单元包括:变换单元,适于基于公式α=σ1×α对拟合椭圆的长轴长度α进行变换,σ1的取值范围为1~2之间的数值;基于公式β=σ2×β对拟合椭圆的短轴长度β进行变换,其中,σ2的取值范围为1~2之间的数值。
16.如权利要求14所述的基于肤色检测的跟踪装置,其特征在于,还包括:更新单元,适于将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。
17.如权利要求14所述的基于肤色检测的跟踪装置,其特征在于,还包括:预测单元,适于基于公式(xc+1,yc+1)=(xc,yc)+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值(xc+1,yc+1),所述第三区域为下一帧输入图像中与第二区域对应的肤色区域;
其中,Δc=(xc,yc)-(xc-1,yc-1),(xc,yc)为第二区域的第二参数中拟合椭圆的中心点的坐标值,(xc-1,yc-1)为第二区域的第一参数中拟合椭圆的中心点的坐标值。
CN201310638144.5A 2013-11-29 2013-11-29 一种基于肤色检测的跟踪方法及装置 Active CN104680122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310638144.5A CN104680122B (zh) 2013-11-29 2013-11-29 一种基于肤色检测的跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310638144.5A CN104680122B (zh) 2013-11-29 2013-11-29 一种基于肤色检测的跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN104680122A true CN104680122A (zh) 2015-06-03
CN104680122B CN104680122B (zh) 2019-03-19

Family

ID=53315141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310638144.5A Active CN104680122B (zh) 2013-11-29 2013-11-29 一种基于肤色检测的跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN104680122B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491718A (zh) * 2016-06-13 2017-12-19 南京亿猫信息技术有限公司 不同亮度环境下进行人手肤色检测的方法
CN109544590A (zh) * 2018-11-27 2019-03-29 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101699510A (zh) * 2009-09-02 2010-04-28 北京科技大学 视线追踪系统中的基于粒子滤波的瞳孔跟踪方法
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统
US20130259317A1 (en) * 2008-10-15 2013-10-03 Spinella Ip Holdings, Inc. Digital processing method and system for determination of optical flow

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130259317A1 (en) * 2008-10-15 2013-10-03 Spinella Ip Holdings, Inc. Digital processing method and system for determination of optical flow
CN101699510A (zh) * 2009-09-02 2010-04-28 北京科技大学 视线追踪系统中的基于粒子滤波的瞳孔跟踪方法
CN103176607A (zh) * 2013-04-16 2013-06-26 重庆市科学技术研究院 一种眼控鼠标实现方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高建坡等: "《一种新的基于直接最小二乘椭圆拟合的肤色检测方法》", 《信号处理》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107491718A (zh) * 2016-06-13 2017-12-19 南京亿猫信息技术有限公司 不同亮度环境下进行人手肤色检测的方法
CN109544590A (zh) * 2018-11-27 2019-03-29 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN111158457A (zh) * 2019-12-31 2020-05-15 苏州莱孚斯特电子科技有限公司 一种基于手势识别的车载hud人机交互系统

Also Published As

Publication number Publication date
CN104680122B (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN107767405B (zh) 一种融合卷积神经网络的核相关滤波目标跟踪方法
WO2021082635A1 (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN103310194B (zh) 视频中基于头顶像素点梯度方向的行人头肩部检测方法
CN110276264B (zh) 一种基于前景分割图的人群密度估计方法
CN102968643B (zh) 一种基于李群论的多模态情感识别方法
CN105184779A (zh) 一种基于快速特征金字塔的车辆多尺度跟踪方法
CN104318263A (zh) 一种实时高精度人流计数方法
CN103735269B (zh) 一种基于视频多目标跟踪的高度测量方法
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN106355602A (zh) 一种多目标定位跟踪视频监控方法
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN103049751A (zh) 一种改进的加权区域匹配高空视频行人识别方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN103632153B (zh) 一种基于区域的图像显著图提取方法
CN102915545A (zh) 一种基于OpenCV的视频目标跟踪算法
CN104123714B (zh) 一种人流量统计中最优目标检测尺度的生成方法
CN109146925A (zh) 一种动态场景下显著性目标检测方法
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN106056078A (zh) 一种基于多特征回归式集成学习的人群密度估计方法
CN104680122A (zh) 一种基于肤色检测的跟踪方法及装置
Feng Mask RCNN-based single shot multibox detector for gesture recognition in physical education
CN102509308A (zh) 基于混合动态纹理空时显著性检测的运动分割方法
CN102005056A (zh) 基于鲁棒pca子空间的目标跟踪方法
CN103295238A (zh) 安卓平台上基于roi运动检测的视频实时定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant