CN104680552B - 一种基于肤色检测的跟踪方法及装置 - Google Patents

Abstract

一种基于肤色检测的跟踪方法及装置，所述方法包括：对至少一个第一区域分别进行拟合处理，以获取每一第一区域的拟合椭圆参数，所述第一区域为第一输入图像中的肤色区域；基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数，所述第二区域为第二输入图像中的肤色区域，所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数，所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数；基于所述第二区域的第一参数和第二参数，对所述第二区域进行跟踪。该方法可对被跟踪的肤色区域进行准确跟踪，且该方法处理简单，计算量小，易于在移动终端上实现。

Description

一种基于肤色检测的跟踪方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于肤色检测的跟踪方法及装置。

背景技术

在彩色图像中，由于肤色信息不受人体姿态、面部表情等的影响，具有相对的稳定性，且由于肤色与大多数背景物体的颜色有比较明显的区别，使得肤色检测技术在检测、手势分析、目标跟踪和图像检索中都有着广泛的应用，人体肤色检测的目的是从图像中自动定位出人体裸露的皮肤区域，例如从图像中检测出人的脸部、手部等区域。

同时，随着运动目标跟踪技术的快速发展，相应的产生了多种用于对运动目标进行跟踪的方法，现有技术中基于运动目标的颜色特征、运动信息、图像信息等建立相应的跟踪方法，例如基于运动目标的颜色特征的跟踪方法有均值漂移、连续的自适应均值漂移等方法，此类方法在一些简单场景下可以实现较好的人的手势等的跟踪，基于运动目标的运动信息的跟踪方法有光流法、卡尔曼滤波（Kalman Filter）、粒子滤波（Particle Filter）等方法。

基于上述运动目标检测跟踪的方法，可以对处于运动状态人的手部、脸部所拍摄的图像序列的特征进行跟踪，例如可以对上述基于人体肤色检测方法从图像中检测出人的脸部、手部等区域进行跟踪。在对运动目标检测跟踪的过程中，对运动目标的特征检测与跟踪是研究的重要基础和关键技术。

但现有技术中，在采用上述方法对运动目标进行检测及跟踪的过程中，可能都会存在一些问题，例如，基于颜色特征的方法对复杂场景和光照变化的鲁棒性较低，基于运动信息的方法可能难以适应手势的任意变化，或者跟踪处理过程中，计算量较大的问题，较难对运动目标进行准确跟踪。

相关技术可参考公开号为US2013259317A1的美国专利申请。

发明内容

本发明技术方案解决的是较难对跟踪物体进行准确跟踪，且跟踪处理过程中计算量较大的问题。

为解决上述问题，本发明技术方案提供一种基于肤色检测的跟踪方法，所述方法包括：

对至少一个第一区域分别进行拟合处理，以获取每一第一区域的拟合椭圆参数，所述第一区域为第一输入图像中的肤色区域；

基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数，所述第二区域为第二输入图像中的肤色区域，所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数，所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数；

基于所述第二区域的第一参数和第二参数，对所述第二区域进行跟踪；

其中，

所述拟合处理包括：对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度；对所述长轴长度和短轴长度进行变换；所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度；

所述椭圆参数集包括各第一区域的拟合椭圆参数的集合；

所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。

可选的，所述肤色区域通过基于肤色椭圆模型的肤色检测方法获得。

可选的，所述方法还包括：

通过公式P(s/c)=γ×P(s/c)+(1-γ)×P_w(s/c)更新所述肤色椭圆模型；其中，s为输入图像的像素点的像素值，c为肤色像素点的像素值，P(s/c)为该像素点为肤色点的概率值，P_w(s/c)为连续w帧图像中经肤色椭圆模型所得到的该像素点为肤色点的概率值，γ为灵敏度参数。

可选的，所述对区域进行拟合椭圆计算是基于对所述区域的像素点求取协方差矩阵所确定的。

可选的，基于公式α=σ₁×α对拟合椭圆的长轴长度α进行变换，σ₁的取值范围为1～2之间的数值；

基于公式β=σ₂×β对拟合椭圆的短轴长度β进行变换，其中，σ₂的取值范围为1～2之间的数值。

可选的，所述基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数包括：

若所述第二区域的所有像素点与至少一个第一区域的距离均小于1，，则所述第二区域的第一参数为所述至少一个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数；

所述与所述第二区域距离最近的第一区域所对应的像素点的个数最多，所述第一区域所对应的像素点为所述第二区域中与该第一区域的距离小于与其他第一区域的距离的像素点。

可选的，所述拟合椭圆参数还包括拟合椭圆的旋转角度；

基于公式计算第二区域的像素点与第一区域的距离，其中，p为第二区域的像素点，（x，y）为p点的坐标值，h为第一区域所对应的拟合椭圆，（x_c，y_c）拟为拟合椭圆的中心点的坐标值，α为拟合椭圆的长轴长度，β为拟合椭圆的短轴长度，θ为拟合椭圆的旋转角度。

可选的，所述基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数包括：

若所述第二区域的所有像素点与任一第一区域的距离均大于1，则所述第二区域的第一参数为空，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数。

可选的，所述方法还包括：在对连续K帧的所有第二区域跟踪后，若所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于1，则将该第一区域的拟合椭圆参数从所述椭圆参数集中删除，其中，K的取值范围为5～20。

可选的，所述方法还包括：将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。

可选的，所述方法还包括：基于公式（x_c+1，y_c+1）=（x_c，y_c）+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值（x_c+1，y_c+1），所述第三区域为下一帧输入图像中与第二区域对应的肤色区域；

其中，Δc=（x_c，y_c）-（x_c-1，y_c-1），（x_c，y_c）为第二区域的第二参数中拟合椭圆的中心点的坐标值，（x_c-1，y_c-1）为第二区域的第一参数中拟合椭圆的中心点的坐标值。

本发明技术方案还提供一种基于肤色检测的跟踪装置，所述装置包括：

第一获取单元，适于对至少一个第一区域分别进行拟合处理，以获取每一第一区域的拟合椭圆参数，所述第一区域为第一输入图像中的肤色区域；

第二获取单元，适于基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数，所述第二区域为第二输入图像中的肤色区域，所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数，所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数；

跟踪单元，适于基于所述第二区域的第一参数和第二参数，对所述第二区域进行跟踪；

其中，

所述拟合处理包括：对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度；对所述长轴长度和短轴长度进行变换；所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度；

所述椭圆参数集包括各第一区域的拟合椭圆参数的集合；

所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。

可选的，所述第一获取单元包括：变换单元，适于基于公式α=σ₁×α对拟合椭圆的长轴长度α进行变换，σ₁的取值范围为1～2之间的数值；基于公式β=σ₂×β对拟合椭圆的短轴长度β进行变换，其中，σ₂的取值范围为1～2之间的数值。

可选的，所述装置还包括：更新单元，适于将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。

可选的，所述装置还包括：预测单元，适于基于公式（x_c+1，y_c+1）=（x_c，y_c）+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值（x_c+1，y_c+1），所述第三区域为下一帧输入图像中与第二区域对应的肤色区域；

其中，Δc=（x_c，y_c)-（x_c-1，y_c-1），（x_c，y_c）为第二区域的第二参数中拟合椭圆的中心点的坐标值，（x_c-1，y_c-1）为第二区域的第一参数中拟合椭圆的中心点的坐标值。

与现有技术相比，本发明的技术方案具有以下优点：

在对基于肤色检测方法所得到的肤色区域（第一区域和第二区域）进行拟合处理的过程中，通过对肤色区域进行拟合椭圆计算获得区域所对应的拟合椭圆参数，并对所述拟合椭圆参数中的长轴和短轴的长度进行适当的变换，使得拟合得到的肤色区域所对应的拟合椭圆参数会更加准确，即肤色区域所对应的拟合椭圆区域会更加准确，则进行跟踪的肤色区域也会更加准确。在跟踪过程中，基于当前输入图像的肤色区域（第二区域）的像素点与之前的输入图像中的各肤色区域（各第一区域）距离，可以准确确定被跟踪的肤色区域（第二区域）的拟合椭圆参数（第一参数和第二参数），基于跟踪过程中所述被跟踪的肤色区域的拟合椭圆参数的变化，即可对所述被跟踪的肤色区域进行准确跟踪，且该方法处理简单，计算量小，易于在移动终端上实现。

在基于肤色检测方法对肤色区域进行检测的过程中，对进行肤色检测的肤色椭圆模型进行优化，优化后的肤色椭圆模型可以根据当前输入图像信息进行自适应性的检测，优化后的肤色椭圆模型对光照具有更好的鲁棒性，有效提高肤色区域的检测的准确性。

在跟踪过程中，基于当前输入图像的肤色区域（第二区域）的像素点与之前的输入图像中的各肤色区域（第一区域）不同的距离，相应的采取不同的确定第一参数和第二参数的方法，使得可以准确确定被跟踪的肤色区域在跟踪过程中的拟合椭圆参数，该方法仍可以较好的对各肤色区域分别进行跟踪。

在跟踪后，基于当前输入图像中被跟踪的肤色区域的拟合椭圆参数以及之前的输入图像中的所述被跟踪的肤色区域的拟合椭圆参数，可以实现对下一帧输入图像中的所述被跟踪的肤色区域的拟合椭圆参数的预测。

附图说明

图1是本发明技术方案提供的基于肤色检测的跟踪方法的流程示意图；

图2是本发明一实施例提供的基于肤色检测的跟踪方法的流程示意图；

图3是本发明一实施例提供的对肤色椭圆模型进行优化的流程示意图。

具体实施方式

现有技术中，在对肤色区域进行检测及跟踪的过程中，对复杂场景和光照变化的鲁棒性较低，且当存在多个肤色区域进行跟踪时，无法对所述多个肤色区域有效进行跟踪。

为了解决上述问题，本发明技术方案提供一种基于肤色检测的跟踪方法，在该方法中，为了可以得到准确的肤色区域，在检测到输入图像中的肤色区域之后，对采用常规的拟合椭圆计算方法所得到的肤色区域的拟合椭圆参数中的长轴和短轴的长度进行变换，并在跟踪过程中，基于当前输入图像的肤色区域的像素点与之前的输入图像中的各肤色区域的距离，确定当前输入图像的肤色区域的拟合椭圆参数，实现对当前输入图像的肤色区域的跟踪。

图1是本发明技术方案提供的基于肤色检测的跟踪方法的流程示意图，如图1所示，首先执行步骤S101，对至少一个第一区域分别进行拟合处理，以获取每一第一区域的拟合椭圆参数。

所述第一区域为第一输入图像中的肤色区域，所述肤色区域是指被用于跟踪的肤色区域。所述第一输入图像可以为当前肤色区域进行跟踪前的初始输入图像，基于现有技术中的多种肤色检测方法可以获得所述第一输入图像中所包含的肤色区域，由于在一帧输入图像中，可能包含有一个肤色区域或者包含有多个肤色区域，所以所述第一输入图像中所包含的用于跟踪的肤色区域可以为一个或者多个，即在此步骤中，需要对至少一个肤色区域（第一区域）进行拟合处理，所述肤色检测方法可以基于单高斯模型、混合高斯模型、椭圆肤色模型等实现对于图像的肤色检测。

所述拟合处理主要包括拟合椭圆计算和变换的过程，首先对肤色区域（第一区域）进行拟合椭圆计算以获得所述肤色区域所对应的初始拟合椭圆参数，所述初始拟合椭圆参数包括所述肤色区域所对应的拟合椭圆的中心点的坐标值、长轴长度、短轴长度以及旋转角度等。在得到所述肤色区域所对应的初始拟合椭圆参数后，对所述初始拟合椭圆参数中所述肤色区域所对应的拟合椭圆的长轴长度和短轴长度进行变换，将变换之后的拟合椭圆参数作为所述肤色区域所对应的拟合椭圆参数。

基于所述拟合处理，可以得到所述第一输入图像中的每一个第一区域的拟合椭圆参数。

执行步骤S102，基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数。

所述第二区域为第二输入图像中的肤色区域，所述第二输入图像可以为包含有被跟踪的肤色区域（第二区域）的当前输入图像。

所述第二区域的像素点与各第一区域的距离是指第二区域的像素点与椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离，所述椭圆参数集为步骤S101中所得到的第一输入图像中的各第一区域的拟合椭圆参数的集合。

所述第二区域的第一参数是指椭圆参数集中与所述第二区域所对应的第一区域的拟合椭圆参数，所述第二参数为基于对所述第二区域进行的拟合处理所获取得到的拟合椭圆参数。

执行步骤S103，基于所述第二区域的第一参数和第二参数，对所述第二区域进行跟踪。

在基于步骤S102得到第二区域的第一参数和第二参数后，由于所述第二区域的第一参数是第二区域所对应的第一区域的拟合椭圆参数，根据此参数可获得所述第二区域之前的拟合椭圆信息，而第二参数为基于对所述第二区域进行的拟合处理所获取得到的拟合椭圆参数，根据所述第二参数可获得所述第二区域当前的拟合椭圆信息，则基于上述不同时刻的拟合椭圆信息可实现对于所述第二区域的准确跟踪。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

在本实施例中，对检测到输入图像中的肤色区域采用常规的拟合椭圆计算方法所得到的拟合椭圆参数中的长轴和短轴的长度进行变换，在跟踪过程中，基于第二区域的像素点与各第一区域的距离的关系，对所述第二区域的跟踪过程进行说明。

图2是本实施例提供的基于肤色检测的跟踪方法的流程示意图，如图2所示，首先执行步骤S201，基于肤色椭圆模型检测第一输入图像中的第一区域。

首先读取第一输入图像，对于第一输入图像，如果其为RGB空间的图像格式，可以首先进行色彩空间转换，将其从RGB空间转换为YCbCr空间。

由于在YCbCr空间中，Y表示亮度，Cb和Cr是颜色差别信号，代表色度，而在不同的光照条件下，虽然物体的颜色的亮度会产生很大的差异，但是色度在很大范围内具有稳定性，基本保持不变，而且，现有技术中，也有相关的研究结果表明，人类的肤色在YCbCr空间中的分布相对比较集中，即肤色的聚类特性，不同种族之间的颜色的差异主要是由亮度引起，而与颜色属性无关，所以利用此特性，可以将图像像素分为肤色和非肤色像素，所以在本实施例中，为了可以提高肤色区域检测的准确性，将图像从普遍采用的RGB空间转换到YCbCr空间中。

之后可以利用现有技术中已经训练好的肤色椭圆模型进行初始检测，以获得初始输入图像中所包含的一个或者多个肤色区域。

由于基于现有技术已经训练好的肤色椭圆模型在进行肤色检测，检测结果可能会存在一些错误的检测区域，例如，可能在肤色区域中存在的空洞现象等。所以，在本实施例中，可以先对肤色检测结果中的肤色区域信息进行信息优化，鉴于肤色物体的连通性和大小，通过四连通区域填充法或者八连通区域填充法，可以消除图像中肤色区域存在的空洞现象。

在本实施例中，可以基于信息优化后的肤色区域信息通过下述公式（1）对所述肤色椭圆模型进行模型优化。

P(s/c)=γ×P(s/c)+(1-γ)×P_w(s/c) （1）

其中，s为输入图像的像素点的像素值，c为肤色像素点的像素值，等式左边的P(s/c)为优化后该像素点为肤色点的概率值，等式右边的P(s/c)为优化前经肤色椭圆模型所得到的该像素点为肤色点的概率值，P_w(s/c)为连续w帧图像中经肤色椭圆模型所得到的该像素点为肤色点的概率值，γ为灵敏度参数。

在对肤色椭圆模型进行优化后，可以返回重新读取第一输入图像，接着可以进行色彩空间转换，之后可以基于更新后的肤色椭圆模型再次进行肤色检测，检测后仍然可以对肤色检测结果中的肤色区域信息进行信息优化，如果优化后的肤色区域信息认为满意，则可以基于当前优化后的肤色区域信息提取一个或者多个具体的肤色区域，如果不满意则可以继续基于信息优化后的肤色区域信息，通过公式（1）再次对肤色椭圆模型进行模型优化，直到经过信息优化和模型优化后的肤色区域信息满足用户要求为止。

上述过程请结合参考图3，图3为对肤色椭圆模型进行优化的流程示意图。

需要说明的是，在基于肤色椭圆模型进行初始检测的过程中，可以采用如上所述的信息优化和模型优化中的至少一种方法进行优化。

步骤S201之后，执行步骤S202，对所述第一输入图像中的各第一区域分别进行拟合椭圆计算。

基于步骤S201，可以得到第一输入图像中的一个或者多个肤色区域，基于所述肤色区域即可确定第一输入图像中的各第一区域。

考虑到肤色物体在实际运动过程中，可能会存在交叉重叠的情况，所以检测到的肤色区域的个数可能不等同于用于跟踪的肤色区域，在本申请文件中，所述第一区域是指被用于跟踪的肤色区域。

在本实施例中，以第一输入图像中含有多个第一区域为例进行说明。

由于人脸、人手等肤色物体的形状近似为椭圆形状，所以可以通过拟合椭圆计算将第一输入图像中所含有的多个第一区域分别对应的拟合为椭圆形状，所述椭圆形状通常可以通过如公式（2）所示的椭圆模型进行表示。

h=h(x_c,y_c,α,β,θ) （2）

其中，h表示所述第一区域所对应的拟合椭圆，x_c,y_c为所述第一区域所对应的拟合椭圆的中心点的坐标值，α为所述第一区域所对应的拟合椭圆的长轴长度，β为所述第一区域所对应的拟合椭圆的短轴长度，θ为所述第一区域所对应的拟合椭圆的旋转角度。

在本实施例中，可以基于对所述第一区域的像素点求取协方差矩阵对所述第一区域进行拟合椭圆计算。

以所述第一输入图像中的一个第一区域为例进行说明，由于所述第一区域对应于一簇连续的肤色像素点，所以可以对所述第一区域内的肤色像素点求取协方差矩阵∑。

具体地，假设令X=[x₁…x_n]表示像素点集的X方向向量，Y=[y₁…y_n]表示像素点集的Y方向向量，其中，x₁...x_n表示所述第一区域中的肤色像素点的X方向的坐标，y₁...y_n表示所述第一区域中的肤色像素点的Y方向的坐标，n表示所述第一区域中的肤色像素点的个数。

令则协方差矩阵∑可以通过公式（3）获取。

∑=E((Z-E(z))(Z-E(Z))^T) （3）

其中，E表示求取数学期望。

则协方差矩阵∑在公式（3）所示的向量计算上，实质上是一个2×2的矩阵，其可以表示为公式（4）的形式。

其中，协方差矩阵∑中的每个元素表示像素点集的X方向向量，Y方向向量之间的协方差。

基于公式（5）可以得到所述第一区域所对应的拟合椭圆的长轴长度α。

其中，

基于公式（6）可以得到所述第一区域所对应的拟合椭圆的长轴长度β。

其中，

基于公式（7）可以得到所述第一区域所对应的拟合椭圆的旋转角度θ。

对于所述第一区域所对应的拟合椭圆的中心点坐标值（x_c,y_c）可以在对所述第一区域拟合的过程中，利用所述第一区域的边界的像素点的坐标值，即可获得。

至此，即可获得所述第一区域的初始拟合椭圆参数，所述初始拟合椭圆参数包括所述第一区域所对应的拟合椭圆的中心点的坐标值、长轴长度、短轴长度以及旋转角度。

执行步骤S203，对所述第一输入图像中的各第一区域所对应的拟合椭圆的长轴长度和短轴长度进行变换。

由于通过传统的拟合椭圆参数计算，所拟合得到的第一区域所对应的拟合椭圆相对于实际的肤色物体可能是偏小的，例如，当人手张开进行移动的过程中，由于手指部分在所对应的肤色区域上的不连通性，会造成手所对应的拟合椭圆会只限定于手掌上，和实际的手的形状是有误差的，由此导致在后续对手部进行跟踪时，也会跟踪不准确。

在本实施例中，对于步骤S203中多得到的第一输入图像中的各第一区域所对应的拟合椭圆的长轴长度α和短轴长度β进行变换。

基于公式α=σ₁×α对拟合椭圆的长轴长度α进行变换，由于基于公式（5）可知所以可以基于公式（8）实现对拟合椭圆的长轴长度α进行变换。

其中，σ₁为长轴长度变换参数，σ₁的取值范围为1～2之间的数值。

基于公式β=σ₂×β对拟合椭圆的短轴长度β进行变换，由于基于公式（6）可知所以可以基于公式（9）实现对拟合椭圆的短轴长度β进行变换。

其中，σ₂为长轴长度变换参数，σ₂的取值范围为1～2之间的数值。

所述σ₁和σ₂可以根据实际跟踪情况，跟踪物体的大小、跟踪场景的复杂度以及协方差矩阵的计算方法等因素进行相应的设定，所述σ₁和σ₂可以设置为相同的数值，也可以设置为不同的数值。

执行步骤S204，设置椭圆参数集。

基于步骤S202和步骤S203，可以得到第一输入图像中各第一区域的拟合椭圆参数。所述拟合椭圆参数中的各第一区域所对应的拟合椭圆的长轴长度和短轴长度为步骤S203变换后的值。

将第一输入图像中各第一区域的拟合椭圆参数设置在同一个集合中，构成所述椭圆参数集。

执行步骤S205，基于肤色椭圆模型检测第二输入图像中的各第二区域。

对于当前输入图像，即所述第二输入图像，可以基于肤色椭圆模型，得到当前输入图像中所包含的各肤色区域，基于所述肤色区域即可确定第二输入图像中的各第二区域，具体请参考步骤S201。

之后可以对所述各第二区域进行跟踪。

执行步骤S206，计算第二区域的像素点与各第一区域的距离。

以对其中一个第二区域进行跟踪为例进行说明，首先通过本步骤计算被跟踪的第二区域的所有像素点与各第一区域的距离。

基于公式（10）计算可以获得被跟踪的第二区域的每一个像素点与各第一区域的距离。

其中，p为第二区域的像素点，（x，y）为p点的坐标值，h为第一区域所对应的拟合椭圆，（x_c，y_c）为第一区域所对应的拟合椭圆的中心点的坐标值，α为第一区域所对应的拟合椭圆的长轴长度，β为第一区域所对应的拟合椭圆的短轴长度，θ为第一区域所对应的拟合椭圆的旋转角度。

对于任意一个第一区域，均可以基于公式（10）获得被跟踪的第二区域的每一个像素点到所述第一区域的距离。

在基于步骤S206得到被跟踪的第二区域的每一个像素点到所述第一区域的距离后，就可以根据所述距离确定被跟踪的第二区域在椭圆参数集中所对应的第一区域的拟合椭圆参数。

通常认为，当基于公式（10）计算得到被跟踪的第二区域的一个像素点到一个第一区域的距离D(p,h)≤1时，则认为该像素点位于所述第一区域所对应的拟合椭圆内，即该像素点位于由该第一区域的拟合椭圆参数所确定的拟合椭圆范围内，该第一区域的拟合椭圆参数可以称为所述第二区域所对应的第一区域的拟合椭圆参数，也可以认为由第一区域的拟合椭圆参数所确定的拟合椭圆为所述第二区域的前一时刻的目标拟合椭圆。将与所述第二区域对应的第一区域的拟合椭圆参数称为所述第二区域的第一参数。

在实际跟踪过程中，被跟踪的肤色区域与椭圆参数集中的拟合椭圆参数的关系可能也有多种不同的情况。由于在跟踪过程中，通常需要考虑下面几种情况：A，在跟踪场景中出现新的肤色物体；B，之前跟踪的肤色物体从跟踪场景中消失；C，被跟踪的肤色物体在场景中连续运动。针对上述A、B、C三种不同的肤色物体情况，对于设置好的椭圆参数集而言，相应会对应有目标拟合椭圆的产生，目标拟合椭圆的释放，目标拟合椭圆的连续跟踪等情况，相应对肤色物体所对应的肤色区域进行跟踪处理也有各不相同，所述目标拟合椭圆即为上文所述的第一区域所对应的拟合椭圆。

基于公式（10）中所确定的第二区域的像素点与各第一区域的距离，可以分如下a、b、c三种情况对第二区域进行确定。

如图2所示，若所述第二区域的所有像素点与任一第一区域的距离均大于1，则确定为a情况。

若在对连续K帧的所有第二区域跟踪后，所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于1，则确定为b情况。

若所述第二区域的所有像素点与至少一个第一区域的距离均小于1，则确定为c情况。

针对a、b和c三种不同情况进行跟踪处理。

若为a情况，如图2所示，则执行步骤S207，将所述第二区域的第一参数设置为空，将对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数作为所述第二区域的第二参数。在对第二区域进行拟合处理的过程包含拟合椭圆参数的计算以及变换过程，详细请参考步骤S202和步骤S203。

当所述第二区域的所有像素点与任一第一区域的距离均大于1，则可以确定所述第二区域在椭圆参数集中没有对应的第一区域，即其不属于任何一个第一区域所对应的拟合椭圆，所述第二区域应该是跟踪场景中心出现的肤色物体对应的肤色区域，则将所述第二区域的第一参数设置为空，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数，可以将对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数新增加到椭圆参数集中，在之后的输入图像中对所述第二区域进行跟踪时，基于之后所拟合处理得到的拟合椭圆参数更新椭圆参数集中所述第二区域对应的拟合椭圆参数。

若为b情况，则执行步骤S208，将该第一区域的拟合椭圆参数从所述椭圆参数集中删除。

若在对连续K帧的所有第二区域跟踪后，所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于1，则可以确定任何一个第二区域都与该第一区域的距离大于1，也即说明在前一帧中与该第一区域对应的跟踪物体已消失，则可以将该第一区域的拟合椭圆参数从所述椭圆参数集中删除。

这里需要对连续K帧的图像信息均进行考虑，是由于在肤色检测的过程中，有时可能会出现在帧图像信息中丢失肤色信息的情况，所以在一帧输入图像信息中，所有第二区域的所有像素点与同一个第一区域的距离均大于1时，可以采取不对该第一区域的拟合椭圆参数进行更新，若后面一帧输入图像中，又检测到有第二区域的像素点与该第一区域的距离均小于1，则可以继续采用上述方法对该第一区域的拟合椭圆参数进行更新，若连续K帧均出现此种情况，可以确定跟踪物体已消失，则可以将该第一区域的拟合椭圆参数从所述椭圆参数集中删除。K的取值范围可以为5～20。

若为c情况，则执行步骤S209，所述第二区域的第一参数为所述至少一个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数，基于第二区域的第一参数和第二参数进行跟踪。

若所述第二区域的所有像素点与至少一个第一区域的距离均小于1，则说明在椭圆参数集中可能存在一个或者多个对应的第一区域。

若所述第二区域的所有像素点与所述椭圆参数集中一个第一区域的距离小于1，与所述椭圆参数集中其他第一区域的距离均大于1，则确定该第一区域是所述第二区域对应的第一区域，则所述第二区域的第一参数为该第一区域的拟合椭圆参数，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数。

若所述第二区域的所有像素点与所述椭圆参数集中多个第一区域的距离均小于1，通常我们认为两个不同的第一区域不可能为同一个被跟踪的肤色区域所对应的肤色区域，所以可以基于第二区域与不同的第一区域之间的距离确定所述第二区域对应的第一区域。

具体地，所述第二区域的第一参数为所述多个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数，所述与所述第二区域距离最近的第一区域所对应的像素点的个数最多，所述第一区域所对应的像素点为所述第二区域中与该第一区域的距离小于与其他第一区域的距离的像素点。

以两个第一区域U和V为例来说，当所述第二区域中的一个像素点与第一区域U的距离小于与第一区域V的距离时，则确定该像素点为第一区域U所对应的像素点，当第二区域中与第一区域所对应的像素点的个数较多的时候，则确定第一区域U为与第二区域距离最近的第一区域。

由于所述第二区域的第一参数为第一区域对应的拟合椭圆参数，可以认为是所述第二区域前一时刻所对应的拟合椭圆参数，而所述第二区域的第二参数为当前时刻进行拟合处理所得到与第一参数相对应的拟合椭圆参数，则所述第二区域的第一参数和第二参数，可以准确确定所述第二区域不同时刻的拟合椭圆参数，可以对所述第二区域的运动情况进行确定，实现对于第二区域的跟踪。

在本实施例中，如步骤S203所述，在得到第一区域或者第二区域的拟合椭圆计算结果之后，进一步对拟合椭圆的长轴长度和短轴长度进行变换，在原有拟合椭圆计算上加以改进，增大拟合椭圆的覆盖区域，可以使得拟合椭圆更符合实际的肤色区域，为后续的跟踪提供比较准确的跟踪区域。

在本实施例中，针对不同的情况相应的进行不同的跟踪处理，使得对于被跟踪的肤色区域在不同的情况下，都可以准确有效进行跟踪。

在对当前输入图像，即所述第二输入图像中的第二区域进行跟踪后，为了便于对下一帧输入图像中所述第二区域继续跟踪，上述本发明实施例的基于肤色检测的跟踪方法还可以进一步包括，将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数，更新为当前帧输入图像（第二输入图像）的所述第二区域的第二参数。之后在对下一帧输入图像中的该第二区域进行跟踪时，可以以椭圆参数集中更新后所述第二区域对应的第一区域的拟合椭圆参数作为所述第二区域的第一参数，再对下一帧输入图像中的该第二区域，基于本发明实施例提供的方法确定其第二参数，基于下一帧输入图像中该第二区域的第一参数和第二参数实现对下一帧输入图像中的该第二区域的跟踪，依次类推，可以在跟踪过程中，实时同步更新所述椭圆参数集。

可以基于第二区域的像素点与第一区域之间的距离确定与所述第二区域对应的第一区域。

以图2所示的实施例中的a情况为例，若所述第二区域的所有像素点与任一第一区域的距离均大于1，则所述第二区域在椭圆参数集中没有对应的第一区域，可以将对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数新增加到椭圆参数集中，在之后的输入图像中对所述第二区域进行跟踪时，可以以上述新增加到椭圆参数集中的拟合椭圆参数所确定的椭圆区域作为所述第二区域对应的第一区域。

再以图2所示的实施例中的c情况为例，若所述第二区域的所有像素点与所述椭圆参数集中一个第一区域的距离小于1，与所述椭圆参数集中其他第一区域的距离均大于1，则确定该第一区域是所述第二区域对应的第一区域，若所述第二区域的所有像素点与所述椭圆参数集中多个第一区域的距离均小于1，与所述第二区域距离最近的第一区域确定为所述第二区域对应的第一区域。

另外，鉴于人手、人脸等肤色物体在运动场景中运动时，虽然可能为不规则的运动轨迹，但相邻帧之间肤色物体的运动可以近似看做为线性运动，这样就可以基于当前帧和前一帧输入图像的拟合椭圆的中心点坐标值，预测下一帧输入图像中所述肤色物体所对应的拟合椭圆的中心点坐标值，在预测过程中，拟合椭圆的其它参数可以保持不变。

具体地，基于第二区域的第一参数和第二参数，通过公式（11）可以实时预测第三区域所对应的拟合椭圆的中心点的坐标值（x_c+1，y_c+1）。

（x_c+1，y_c+1）=（x_c，y_c）+Δc （11）

其中，Δc=（x_c，y_c）-（x_c-1，y_c-1），（x_c，y_c）为第二区域的第二参数中拟合椭圆的中心点的坐标值，（x_c-1，y_c-1）为第二区域的第一参数中拟合椭圆的中心点的坐标值。所述第三区域为下一帧输入图像中与该第二区域对应的肤色区域。

需要说明的是，在图2所示的实施例中，若在a情况出现时，在新的肤色物体出现时，是无法预测下一帧中该肤色物体所对应的肤色区域的中心点坐标值的，只有当对新出现的肤色物体的当前帧和下一帧输入图像中该肤色物体对应的肤色区域经过拟合处理之后，则可以基于初始两帧的输入图像中的肤色区域的拟合处理结果，对后面帧中的该肤色区域的拟合椭圆参数进行预测。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种基于肤色检测的跟踪方法，其特征在于，包括：

对至少一个第一区域分别进行拟合处理，以获取每一第一区域的拟合椭圆参数，所述第一区域为第一输入图像中的肤色区域；

基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数，所述第二区域为第二输入图像中的肤色区域，所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数，所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数；

基于所述第二区域的第一参数和第二参数，对所述第二区域进行跟踪；

其中，

所述拟合处理包括：对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度；对所述长轴长度和短轴长度进行变换；所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度；

所述椭圆参数集包括各第一区域的拟合椭圆参数的集合；

所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。

2.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，所述肤色区域通过基于肤色椭圆模型的肤色检测方法获得。

3.如权利要求2所述的基于肤色检测的跟踪方法，其特征在于，还包括：

通过公式P(s/c)＝γ×P(s/c)+(1-γ)×P_w(s/c)更新所述肤色椭圆模型；其中，s为输入图像的像素点的像素值，c为肤色像素点的像素值，P(s/c)为该像素点为肤色点的概率值，P_w(s/c)为连续w帧图像中经肤色椭圆模型所得到的该像素点为肤色点的概率值，γ为灵敏度参数。

4.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，所述对区域进行拟合椭圆计算是基于对所述区域的像素点求取协方差矩阵所确定的。

5.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，

基于公式α＝σ₁×α对拟合椭圆的长轴长度α进行变换，其中，σ₁为长轴长度变换参数，σ₁的取值范围为1～2之间的数值；

基于公式β＝σ₂×β对拟合椭圆的短轴长度β进行变换，其中，σ₂为短轴长度变换参数，σ₂的取值范围为1～2之间的数值。

6.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，所述基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数包括：

若所述第二区域的所有像素点与至少一个第一区域的距离均小于1，则所述第二区域的第一参数为所述至少一个第一区域中与所述第二区域距离最近的第一区域的拟合椭圆参数，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数；

所述与所述第二区域距离最近的第一区域所对应的像素点的个数最多，所述第一区域所对应的像素点为所述第二区域中与该第一区域的距离小于与其他第一区域的距离的像素点。

7.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，所述拟合椭圆参数还包括拟合椭圆的旋转角度；

基于公式计算第二区域的像素点与第一区域的距离，其中，p为第二区域的像素点，(x，y)为p点的坐标值，h为第一区域所对应的拟合椭圆，(x_c，y_c)为拟合椭圆的中心点的坐标值，具体是第一区域所对应的拟合椭圆的中心点的坐标值，α为拟合椭圆的长轴长度，β为拟合椭圆的短轴长度，θ为拟合椭圆的旋转角度。

8.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，所述基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数包括：

若所述第二区域的所有像素点与任一第一区域的距离均大于1，则所述第二区域的第一参数为空，所述第二区域的第二参数为对所述第二区域的所有像素点进行拟合处理所获取的拟合椭圆参数。

9.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，还包括：在对连续K帧的所有第二区域跟踪后，若所述连续K帧的所有第二区域的所有像素点与同一个第一区域的距离均大于1，则将该第一区域的拟合椭圆参数从所述椭圆参数集中删除，其中，K的取值范围为5～20。

10.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，还包括：将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。

11.如权利要求1所述的基于肤色检测的跟踪方法，其特征在于，还包括：基于公式(x_c+1，y_c+1)＝(x_c，y_c)+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值(x_c+1，y_c+1)，所述第三区域为下一帧输入图像中与第二区域对应的肤色区域；

其中，Δc＝(x_c，y_c)-(x_c-1，y_c-1)，(x_c，y_c)为拟合椭圆的中心点的坐标值，具体是第二区域的第二参数中拟合椭圆的中心点的坐标值，(x_c-1，y_c-1)为第二区域的第一参数中拟合椭圆的中心点的坐标值。

12.一种基于肤色检测的跟踪装置，其特征在于，包括：

第一获取单元，适于对至少一个第一区域分别进行拟合处理，以获取每一第一区域的拟合椭圆参数，所述第一区域为第一输入图像中的肤色区域；

第二获取单元，适于基于第二区域的像素点与各第一区域的距离，获取所述第二区域的第一参数和第二参数，所述第二区域为第二输入图像中的肤色区域，所述第一参数为椭圆参数集中对应的第一区域的拟合椭圆参数，所述第二参数为基于对所述第二区域进行的拟合处理所获取的拟合椭圆参数；

跟踪单元，适于基于所述第二区域的第一参数和第二参数，对所述第二区域进行跟踪；

其中，

所述拟合处理包括：对区域进行拟合椭圆计算以获得区域所对应的拟合椭圆的中心点的坐标值、长轴长度和短轴长度；对所述长轴长度和短轴长度进行变换；所述拟合椭圆参数包括拟合椭圆的中心点的坐标值、变换后的长轴长度和短轴长度；

所述椭圆参数集包括各第一区域的拟合椭圆参数的集合；

所述像素点与第一区域的距离为像素点与所述椭圆参数集中该第一区域的拟合椭圆的中心点之间的距离。

13.如权利要求12所述的基于肤色检测的跟踪装置，其特征在于，所述第一获取单元包括：变换单元，适于基于公式α＝σ₁×α对拟合椭圆的长轴长度α进行变换，σ₁的取值范围为1～2之间的数值；基于公式β＝σ₂×β对拟合椭圆的短轴长度β进行变换，其中，σ₂的取值范围为1～2之间的数值。

14.如权利要求12所述的基于肤色检测的跟踪装置，其特征在于，还包括：更新单元，适于将所述椭圆参数集中与所述第二区域对应的第一区域的拟合椭圆参数更新为所述第二区域的第二参数。

15.如权利要求12所述的基于肤色检测的跟踪装置，其特征在于，还包括：

预测单元，适于基于公式(x_c+1，y_c+1)＝(x_c，y_c)+Δc确定第三区域所对应的拟合椭圆的中心点的坐标值(x_c+1，y_c+1)，所述第三区域为下一帧输入图像中与第二区域对应的肤色区域；

其中，Δc＝(x_c，y_c)-(x_c-1，y_c-1)，(x_c，y_c)为拟合椭圆的中心点的坐标值，具体是第二区域的第二参数中拟合椭圆的中心点的坐标值，(x_c-1，y_c-1)为第二区域的第一参数中拟合椭圆的中心点的坐标值。