CN109977833A - 物体追踪方法、物体追踪装置、存储介质及电子设备 - Google Patents

Abstract

本发明实施方式涉及一种物体追踪方法、物体追踪装置、存储介质与电子设备，属于计算机视觉技术领域。该方法包括：获取目标物体在上一帧图像中的轮廓F；获取当前帧图像以及所述当前帧图像中物体的轮廓，所述当前帧图像中物体的轮廓包括第一类轮廓与第二类轮廓；检测轮廓F与所述第一类轮廓是否匹配；如果轮廓F与所述第一类轮廓均不匹配，则检测轮廓F与所述第二类轮廓是否匹配；如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，则根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E。本发明可以在物体被遮挡的情况下实现准确的物体追踪，并简化追踪算法，提高效率。

Description

物体追踪方法、物体追踪装置、存储介质及电子设备

技术领域

本发明的实施方式涉及计算机视觉技术领域，更具体地，本发明的实施方式涉及一种物体追踪方法、物体追踪装置、存储介质及电子设备。

背景技术

本部分旨在为权利要求中陈述的本发明的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。

物体追踪是指在视频的连续帧图像中持续地识别与定位特定的物体，在人机交互、虚拟现实/增强现实、教育、安防监控等领域都有着重要应用。

现有的物体追踪技术大多采用深度学习的框架，从第一帧或者前几帧图像中提取物体特征，通过卷积神经网络对当前帧图像中的物体特征进行匹配，以识别物体，从而实现在连续帧图像中追踪物体。

发明内容

然而，在现有技术中，如果发生物体被遮挡的情况，使得物体特征缺失，特别是在物体被大面积遮挡的情况下，物体原有的特征仅能保留一小部分，卷积神经网络在处理时，无法提取足够的特征，其准确度会大大降低，可能识别为其他物体或者认为物体丢失，影响追踪效果。

为此，非常需要一种改进的物体追踪方法，可以在物体被遮挡时仍然准确地追踪到物体。

在本上下文中，本发明的实施方式期望提供一种物体追踪方法、物体追踪装置、存储介质及电子设备。

根据本发明实施方式的第一方面，提供一种物体追踪方法，包括：获取目标物体在上一帧图像中的轮廓F；获取当前帧图像以及所述当前帧图像中物体的轮廓，所述当前帧图像中物体的轮廓包括第一类轮廓与第二类轮廓；检测轮廓F与所述第一类轮廓是否匹配；如果轮廓F与所述第一类轮廓均不匹配，则检测轮廓F与所述第二类轮廓是否匹配；如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，则根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E。

在本发明的一种实施方式中，所述第一类轮廓为所述当前帧图像中未与所述当前帧图像边缘相连的物体的轮廓，所述第二类轮廓为所述当前帧图像中与所述当前帧图像边缘相连的物体的轮廓。

在本发明的一种实施方式中，所述方法还包括：如果轮廓F与所述第一类轮廓中的轮廓m_h匹配，则确定轮廓E为轮廓m_h。

在本发明的一种实施方式中，所述第一类轮廓为轮廓的集合M＝{m_i|i＝1～a}，a为M中轮廓的数量；所述检测轮廓F与所述第一类轮廓是否匹配，包括：计算轮廓F与M中每个轮廓的重合度，以确定M中与轮廓F重合度最高的轮廓m_h；判断轮廓F与轮廓m_h的重合度Co(F,m_h)是否达到第一阈值T1；所述如果轮廓F与所述第一类轮廓均不匹配，包括：如果Co(F,m_h)<T1。

在本发明的一种实施方式中，所述如果轮廓F与所述第一类轮廓中的轮廓m_h匹配，则将轮廓E确定为轮廓m_h，包括：如果T2>Co(F,m_h)≥T1，则将轮廓E确定为轮廓m_h，并根据轮廓m_h在所述当前帧图像中确定所述目标物体的运动参数；所述方法还包括：如果Co(F,m_h)≥T2，则确定所述目标物体在所述当前帧图像中相对于所述上一帧图像静止，确定轮廓E为轮廓F；其中，T2为第二阈值，T2>T1。

在本发明的一种实施方式中，所述计算轮廓F与M中每个轮廓的重合度，包括：通过以下公式计算轮廓F与M中任一轮廓m_i的重合度：其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(m_i)为轮廓m_i的包围盒。

在本发明的一种实施方式中，所述第二类轮廓为轮廓的集合N＝{n_j|j＝1～b}，b为N中轮廓的数量；所述检测轮廓F与所述第二类轮廓是否匹配，包括：计算轮廓F与N中每个轮廓的重合度，以确定N中与轮廓F重合度最高的轮廓n_g；判断轮廓F与轮廓n_g的重合度Co(F,n_g)是否达到第三阈值T3；所述如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，包括：如果Co(F,n_g)≥T3。

在本发明的一种实施方式中，所述方法还包括：如果Co(F,n_g)<T3，则确定所述当前帧图像中不存在所述目标物体。

在本发明的一种实施方式中，所述计算轮廓F与N中每个轮廓的重合度，包括：通过以下公式计算轮廓F与N中任一轮廓n_j的重合度：其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(n_j)为轮廓n_j的包围盒。

在本发明的一种实施方式中，所述根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E，包括：以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F，所述变换包括旋转和/或平移。

在本发明的一种实施方式中，所述以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F，包括：将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)；获取轮廓n_g位于区域exp(F)内的部分，记为轮廓G；循环执行以下迭代过程，直到达到预设条件，确定轮廓E为变换后的轮廓F：对于轮廓F中的任意点f_k，在轮廓G中确定与点f_k距离最近的点g_k，通过公式表示轮廓F与轮廓G的误差，其中，f_k表示点f_k在所述当前帧图像或上一帧图像中的坐标，g_k表示点g_k在所述当前帧图像或上一帧图像中的坐标，J表示误差，c为轮廓F中点的数量，R为旋转的参数，t为平移的参数；计算R与t，使误差J最小；利用R与t对轮廓F进行变换，以更新轮廓F；其中，所述预设条件包括：误差J小于第四阈值，或者达到预设循环次数。

在本发明的一种实施方式中，c为预设点数；在循环执行所述迭代过程之前，所述方法还包括：对轮廓F与轮廓G进行下采样，使轮廓F与轮廓G均具有c个点。

在本发明的一种实施方式中，所述方法还包括：如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，则根据轮廓F的面积判断所述目标物体为大物体或小物体；如果所述目标物体为小物体，则估计所述目标物体在所述当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E；如果所述目标物体为大物体，则执行以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F的步骤。

在本发明的一种实施方式中，所述方法还包括：如果所述目标物体为大物体，则获取轮廓F中位于轮廓n_g以外的区域F’，检测区域F’中每个点到轮廓n_g的最小距离，并确定所述最小距离中的最大值；如果所述最大值小于第五阈值，则确定轮廓E为轮廓F；如果所述最大值大于或等于所述第五阈值，则执行以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F的步骤。

在本发明的一种实施方式中，所述估计所述目标物体在所述当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E，包括：在轮廓F的包围盒与轮廓n_g的包围盒上确定至少一组参照点p₀与p₁，p₀位于轮廓F的包围盒上，p₁位于轮廓n_g的包围盒上；基于p₀与p₁之间的平移量估计所述目标物体的平移量w’；对轮廓F平移w’，以确定轮廓E。

在本发明的一种实施方式中，w’为平移量估计值；所述基于p₀与p₁之间的平移量估计所述目标物体的平移量w’之后，所述方法还包括：利用欧式距离变换计算轮廓F的中心位置C₀与内切圆半径R，对C₀加上w’，以初步估计所述目标物体在所述当前帧图像中的中心位置C’；对于轮廓n_g中的任意点q，获取点q到轮廓F的最小距离d(q)，并通过公式D(q)＝|d(q)-R|+‖qC′‖·e计算点q的中心距离，其中，点q位于轮廓F以内时，d(q)为正，否则为负，D表示中心距离，e为经验参数；将所述中心距离最小的点作为精确估计的中心位置C，将C₀与C之间的平移量作为所述目标物体在所述当前帧图像中的平移量w；所述对轮廓F平移w’，以确定轮廓E，包括：对轮廓F平移w，以确定轮廓E。

在本发明的一种实施方式中，所述方法还包括：如果所述目标物体为小物体，则判断所述目标物体在所述上一帧图像中是否处于运动状态，并判断所述目标物体在所述当前帧图像中是否处于被控制状态；如果所述目标物体在所述上一帧图像中未处于运动状态，且在所述当前帧图像中未处于被控制状态，则确定轮廓E为轮廓F；如果所述目标物体在所述上一帧图像中处于运动状态，或在所述当前帧图像中处于被控制状态，则执行估计所述目标物体在所述当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E的步骤。

在本发明的一种实施方式中，所述上一帧图像与所述当前帧图像均为深度图像；所述判断所述目标物体在所述当前帧图像中是否处于被控制状态，包括：将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)；在区域exp(F)内，利用所述当前帧图像的深度值减去所述目标物体的初始深度值，得到深度差值图像；检测所述深度差值图像中深度值处于第一预设范围内的像素点，标记为手部按压像素点，统计所述手部按压像素点的数量；如果所述手部按压像素点的数量大于第六阈值，则确定所述目标物体在所述当前帧图像中处于被控制状态；如果所述手部按压像素点的数量小于或等于所述第六阈值，则检测所述深度差值图像中深度值处于第二预设范围内的像素点，标记为手部抓持像素点，并统计所述手部抓持像素点的数量；如果所述手部抓持像素点的数量大于第七阈值，则确定所述目标物体在所述当前帧图像中处于被控制状态；如果所述手部抓持像素点的数量小于或等于所述第七阈值，则确定所述目标物体在所述当前帧图像中未处于被控制状态。

在本发明的一种实施方式中，所述根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E之后，所述方法还包括：将轮廓n_g的包围盒沿中心方向向外扩展，得到区域exp(n_g)，判断轮廓E是否全部处于区域exp(n_g)内；如果轮廓E全部处于区域exp(n_g)内，则确定追踪成功；如果轮廓E未全部处于区域exp(n_g)内，则确定追踪失败。

在本发明的一种实施方式中，所述上一帧图像与所述当前帧图像均为经过背景减除的深度图像。

根据本发明实施方式的第二方面，提供一种物体追踪装置，包括：第一获取模块，用于获取目标物体在上一帧图像中的轮廓F；第二获取模块，用于获取当前帧图像以及所述当前帧图像中物体的轮廓，所述当前帧图像中物体的轮廓包括第一类轮廓与第二类轮廓；第一检测模块，用于检测轮廓F与所述第一类轮廓是否匹配；第二检测模块，用于如果轮廓F与所述第一类轮廓均不匹配，则检测轮廓F与所述第二类轮廓是否匹配；轮廓确定模块，用于如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，则根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E。

在本发明的一种实施方式中，所述第一类轮廓为所述当前帧图像中未与所述当前帧图像边缘相连的物体的轮廓，所述第二类轮廓为所述当前帧图像中与所述当前帧图像边缘相连的物体的轮廓。

在本发明的一种实施方式中，所述轮廓确定模块还用于如果轮廓F与所述第一类轮廓中的轮廓m_h匹配，则确定廓E为轮廓m_h。

在本发明的一种实施方式中，所述第一类轮廓为轮廓的集合M＝{m_i|i＝1～a}，a为M中轮廓的数量；所述第一检测模块包括：第一计算单元，用于计算轮廓F与M中每个轮廓的重合度，以确定M中与轮廓F重合度最高的轮廓m_h；第一判断单元，用于判断轮廓F与轮廓m_h的重合度Co(F,m_h)是否达到第一阈值T1；所述第二检测模块用于如果Co(F,m_h)<T1，则检测轮廓F与所述第二类轮廓是否匹配。

在本发明的一种实施方式中，所述轮廓确定模块用于如果T2>Co(F,m_h)≥T1，则将轮廓E确定为轮廓m_h，并根据轮廓m_h在所述当前帧图像中确定所述目标物体的运动参数，如果Co(F,m_h)≥T2，则确定所述目标物体在所述当前帧图像中相对于所述上一帧图像静止，确定轮廓E为轮廓F；其中，T2为第二阈值，T2>T1。

在本发明的一种实施方式中，所述第一计算单元用于通过以下公式计算轮廓F与M中任一轮廓m_i的重合度：其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(m_i)为轮廓m_i的包围盒。

在本发明的一种实施方式中，所述第二类轮廓为轮廓的集合N＝{n_j|j＝1～b}，b为N中轮廓的数量；所述第二检测模块包括：第二计算单元，用于计算轮廓F与N中每个轮廓的重合度，以确定N中与轮廓F重合度最高的轮廓n_g；第二判断单元，用于判断轮廓F与轮廓n_g的重合度Co(F,n_g)是否达到第三阈值T3；所述轮廓确定模块用于如果Co(F,n_g)≥T3，则根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E。

在本发明的一种实施方式中，所述轮廓确定模块还用于如果Co(F,n_g)<T3，则确定所述当前帧图像中不存在所述目标物体。

在本发明的一种实施方式中，所述第二计算单元用于通过以下公式计算轮廓F与N中任一轮廓n_j的重合度：其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(n_j)为轮廓n_j的包围盒。

在本发明的一种实施方式中，所述轮廓确定模块用于以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F，所述变换包括旋转和/或平移。

在本发明的一种实施方式中，所述轮廓确定模块包括：第一扩展单元，用于将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)；轮廓截取单元，用于获取轮廓n_g位于区域exp(F)内的部分，记为轮廓G；循环处理单元，用于循环执行以下迭代过程，直到达到预设条件，确定轮廓E为变换后的轮廓F：对于轮廓F中的任意点f_k，在轮廓G中确定与点f_k距离最近的点g_k，通过公式表示轮廓F与轮廓G的误差，其中，f_k表示点f_k在所述当前帧图像或上一帧图像中的坐标，g_k表示点g_k在所述当前帧图像或上一帧图像中的坐标，J表示误差，c为轮廓F中点的数量，R为旋转的参数，t为平移的参数；计算R与t，使误差J最小；利用R与t对轮廓F进行变换，以更新轮廓F；其中，所述预设条件包括：误差J小于第四阈值，或者达到预设循环次数。

在本发明的一种实施方式中，c为预设点数；所述轮廓确定模块还包括：下采样单元，用于在所述循环处理单元循环执行所述迭代过程之前，对轮廓F与轮廓G进行下采样，使轮廓F与轮廓G均具有c个点。

在本发明的一种实施方式中，所述轮廓确定模块包括：面积分类单元，用于如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，则根据轮廓F的面积判断所述目标物体为大物体或小物体；第一确定单元，用于如果所述目标物体为小物体，则估计所述目标物体在所述当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E；第二确定单元，用于如果所述目标物体为大物体，则以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F。

在本发明的一种实施方式中，所述轮廓确定模块还包括：距离检测单元，用于如果所述目标物体为大物体，则获取轮廓F中位于轮廓n_g以外的区域F’，检测区域F’中每个点到轮廓n_g的最小距离，并确定所述最小距离中的最大值；第三确定单元，用于如果所述最大值小于第五阈值，则确定轮廓E为轮廓F；所述第二确定单元用于如果所述最大值大于或等于所述第五阈值，则以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F。

在本发明的一种实施方式中，所述第一确定单元包括：参照点确定单元，用于在轮廓F的包围盒与轮廓n_g的包围盒上确定至少一组参照点p₀与p₁，p₀位于轮廓F的包围盒上，p₁位于轮廓n_g的包围盒上；平移量估计单元，用于基于p₀与p₁之间的平移量估计所述目标物体的平移量w’；轮廓平移单元，用于对轮廓F平移w’，以确定轮廓E。

在本发明的一种实施方式中，w’为平移量估计值；所述第一确定单元还包括：中心位置估计单元，用于利用欧式距离变换计算轮廓F的中心位置C₀与内切圆半径R，对C₀加上w’，以初步估计所述目标物体在所述当前帧图像中的中心位置C’；中心距离计算单元，用于对于轮廓n_g中的任意点q，获取点q到轮廓F的最小距离d(q)，并通过公式D(q)＝|d(q)-R|+‖qC′‖·e计算点q的中心距离，其中，点q位于轮廓F以内时，d(q)为正，否则为负，D表示中心距离，e为经验参数；平移量优化单元，用于将所述中心距离最小的点作为精确估计的中心位置C，将C₀与C之间的平移量作为所述目标物体在所述当前帧图像中的平移量w；所述轮廓平移单元用于对轮廓F平移w，以确定轮廓E。

在本发明的一种实施方式中，所述轮廓确定模块还包括：状态判断单元，用于如果所述目标物体为小物体，则判断所述目标物体在所述上一帧图像中是否处于运动状态，并判断所述目标物体在所述当前帧图像中是否处于被控制状态；第四确定单元，用于如果所述目标物体在所述上一帧图像中未处于运动状态，且在所述当前帧图像中未处于被控制状态，则确定轮廓E为轮廓F；所述第一确定单元用于如果所述目标物体在所述上一帧图像中处于运动状态，或在所述当前帧图像中处于被控制状态，则估计所述目标物体在所述当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E。

在本发明的一种实施方式中，所述上一帧图像与所述当前帧图像均为深度图像；所述状态判断单元包括：第二扩展单元，用于将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)；深度求差单元，用于在区域exp(F)内，利用所述当前帧图像的深度值减去所述目标物体的初始深度值，得到深度差值图像；按压点检测单元，用于检测所述深度差值图像中深度值处于第一预设范围内的像素点，标记为手部按压像素点，统计所述手部按压像素点的数量；第一状态确定单元，用于如果所述手部按压像素点的数量大于第六阈值，则确定所述目标物体在所述当前帧图像中处于被控制状态；抓持点检测单元，如果所述手部按压像素点的数量小于或等于所述第六阈值，则检测所述深度差值图像中深度值处于第二预设范围内的像素点，标记为手部抓持像素点，并统计所述手部抓持像素点的数量；第二状态确定单元，用于如果所述手部抓持像素点的数量大于第七阈值，则确定所述目标物体在所述当前帧图像中处于被控制状态；第三状态确定单元，用于如果所述手部抓持像素点的数量小于或等于所述第七阈值，则确定所述目标物体在所述当前帧图像中未处于被控制状态。

在本发明的一种实施方式中，所述装置还包括：追踪判定模块，用于将轮廓n_g的包围盒沿中心方向向外扩展，得到区域exp(n_g)，判断轮廓E是否全部处于区域exp(n_g)内；如果轮廓E全部处于区域exp(n_g)内，则确定追踪成功；如果轮廓E未全部处于区域exp(n_g)内，则确定追踪失败。

在本发明的一种实施方式中，所述上一帧图像与所述当前帧图像均为经过背景减除的深度图像。

根据本发明实施方式的第三方面，提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。

根据本发明实施方式的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。

根据本发明实施方式的物体追踪方法、物体追踪装置、存储介质及电子设备，将上一帧图像中目标物体的轮廓分别与当前帧图像中的第一类轮廓及第二类轮廓匹配，如果其与第二类轮廓匹配，说明目标物体在当前帧图像中存在遮挡、交叠等位置关系，基于第二类轮廓提取或估计出目标物体在当前帧图像中的轮廓，以实现对目标物体的追踪。一方面，提出了一种可以在物体被遮挡或与其他物体发生交叠等情况下追踪物体的方法，以解决在手持物体等场景中无法准确追踪的问题，减少由于遮挡等导致追踪失败的情况，实现对物体的长时间连续追踪。另一方面，本示例实施方式通过轮廓匹配的方式对物体进行追踪，无需对物体进行特征提取以及分类识别，且追踪算法以预设公式为主，相比于以深度学习为主要手段的现有技术，本示例实施方式减少了物体追踪过程所需的运算量，提高了效率。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了根据本发明实施方式的物体追踪方法的流程步骤图；

图2示出了根据本发明实施方式的物体追踪效果实例图；

图3示出了根据本发明实施方式在轮廓n_g中确定轮廓E的流程步骤图；

图4示出了根据本发明实施方式在轮廓n_g中确定轮廓G的示意图；

图5示出了根据本发明实施方式对目标物体分类处理的流程步骤图；

图6示出了根据本发明实施方式计算轮廓F与轮廓n_g最大距离的示意图；

图7示出了根据本发明实施方式确定小物体轮廓E的流程步骤图；

图8示出了根据本发明实施方式确定小物体状态的流程步骤图；

图9示出了根据本发明实施方式的物体追踪方法的流程示意图；

图10示出了根据本发明实施方式的物体追踪装置的结构方框图；

图11示出了根据本发明实施方式的存储介质的示意图；以及

图12示出了根据本发明实施方式的电子设备的结构方框图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提供一种物体追踪方法、物体追踪装置、存储介质及电子设备。

在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐述本发明的原理和精神。

发明概述

本发明人发现，在现有的物体追踪技术中，依赖于深度学习技术对图像进行识别，如果发生图像中物体被遮挡的情况，使得物体特征缺失，特别是在物体被大面积遮挡的情况下，物体原有的特征仅能保留一小部分，卷积神经网络在处理时无法提取足够的特征，其准确度会大大降低，可能识别为其他物体或者认为物体丢失，影响追踪效果。

鉴于上述内容，本发明的基本思想在于：提供一种物体追踪方法、物体追踪装置、存储介质及电子设备，将上一帧图像中目标物体的轮廓分别与当前帧图像中的第一类轮廓及第二类轮廓匹配，如果其与第二类轮廓匹配，说明目标物体在当前帧图像中存在遮挡、交叠等位置关系，基于第二类轮廓提取或估计出目标物体在当前帧图像中的轮廓，以实现对目标物体的追踪。一方面，提出了一种可以在物体被遮挡或与其他物体发生交叠等情况下追踪物体的方法，以解决在手持物体等场景中无法准确追踪的问题，减少由于遮挡等导致追踪失败的情况，实现对物体的长时间连续追踪。另一方面，本示例实施方式通过轮廓匹配的方式对物体进行追踪，无需对物体进行特征提取以及分类识别，且追踪算法以预设公式为主，相比于以深度学习为主要手段的现有技术，本示例实施方式减少了物体追踪过程所需的运算量，提高了效率。

在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。

应用场景总览

需要注意的是，下述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。

本发明可以应用于在连续帧图像中追踪物体的大部分场景，特别是对手持物体进行追踪的场景，例如：在幼儿教育投影交互的场景中，小朋友拿着玩具玩耍时，手可能遮挡住玩具，本发明的实施方式可以追踪到玩具，将对应的影像投影到玩具周围；在沙盘展示的场景中，用户移动沙盘中的物体，可能遮挡住物体，本发明的实施方式可以追踪到物体，在沙盘上呈现实时投影。

示例性方法

本发明示例实施方式首先提出了一种物体追踪方法，执行主体可以是具备处理功能的计算设备，例如计算机、服务器、虚拟现实的主机、移动终端等，其可以在内部集成图像采集装置，例如计算机或移动终端的内置相机，以拍摄连续帧图像，识别并追踪其中的物体，也可以由外部的图像采集装置获取图像，例如用户终端拍摄连续帧图像，发送至服务器以进行物体追踪。图1示出了该方法的流程步骤，可以包括步骤S110～S150：

步骤S110，获取目标物体在上一帧图像中的轮廓F。

步骤S120，获取当前帧图像以及当前帧图像中物体的轮廓，当前帧图像中物体的轮廓包括第一类轮廓与第二类轮廓。

本示例实施方式中，上一帧图像与当前帧图像为连续的两帧图像，具有相同的尺寸与像素数。目标物体为上一帧图像中出现过的特定物体，本示例实施方式的目的在于识别出目标物体在当前帧图像中的位置与姿态，以实现对目标物体的追踪。本示例实施方式可以通过多种方式从图像中提取轮廓，例如将图像二值化处理后提取单色区域的边界，作为轮廓，或者基于图像像素点的参数(如像素点的灰度值或深度值)突变确定物体边界，以绘制出轮廓等。轮廓F是上一帧图像中目标物体的边界，表现出目标物体的形状，对于系统而言，轮廓F是由多个像素点形成的边界信息，例如可以是目标物体的边界点云集合。

通过上述提取轮廓的方法可以从当前帧图像中提取出所有物体的轮廓，将每个轮廓划分为第一类轮廓或第二类轮廓。第一类轮廓是单独物体的完整轮廓，可视为正常轮廓，第二类轮廓是由于物体被手遮挡或者物体之间遮挡而形成的组合轮廓，例如物体与手的组合轮廓、两个物体重叠在一起的轮廓等，即第二类轮廓难以单独、完整的代表一个物体，可视为非正常轮廓。本示例实施方式中，可以通过多种具体方式进行两类轮廓的划分，举例说明：

(1)第一类轮廓可以是当前帧图像中未与当前帧图像边缘相连的物体的轮廓，第二类轮廓可以是当前帧图像中与当前帧图像边缘相连的物体的轮廓；这是由于轮廓与边缘相连时，轮廓内可能包括了从图像边缘延伸进来的手部，或者物体本身位于图像边缘上，有一部分在图像之外。其中，如果轮廓中有超过特定数量的像素点位于当前帧图像的边缘上，可以确定该轮廓与边缘相连，即为第二类轮廓。

(2)可以基于应用场景中物体的大小，设定阈值，例如可以是该场景中最大物体的面积，则面积大于该阈值的轮廓应该是由至少两个物体(或物体与手)组合而成的轮廓，为第二类轮廓，反之为第一类轮廓。

(3)对各个轮廓进行多边形形状拟合，并基于应用场景中物体的形状特点设定阈值，如果轮廓的边数超过该阈值，说明该轮廓的形状比较复杂，可能是多个物体(或物体与手)组合而成的轮廓，为第二类轮廓，反之为第一类轮廓。

(4)如果当前帧图像为深度图像，则各个轮廓中携带像素点的深度信息，可以基于应用场景中物体的深度(即垂直于图像平面的方向上)尺寸设定阈值，如果轮廓的深度范围(即轮廓各像素点中的最大深度减去最小深度)超过该阈值，说明该轮廓内可能存在遮挡、叠加关系，为第二类轮廓，反之为第一类轮廓。

实际应用中，可以组合采用上述各种方式，或者采用其他类似的分类方式，本发明实施方式对此不做限定。

在本发明的一种实施方式中，上一帧图像与当前帧图像可以是经过背景减除的深度图像。具体的，在图像采集装置镜头固定的情况下，所拍摄的连续帧图像均具有相同的背景，因此可以预先拍摄并存储背景信息，在物体追踪阶段拍摄连续帧图像时，可以将图像与背景信息作差，得到前景图像，即为上述经过背景减除的深度图像，该前景图像包括图像中各个物体的前景信息，可以方便地提取出物体轮廓。

步骤S130，检测轮廓F与第一类轮廓是否匹配。

本示例实施方式中，可以检测轮廓F与第一类轮廓中的每一个轮廓是否匹配，其中，检测两个轮廓是否匹配的目的在于判断两个轮廓是否属于同一物体，即判断目标物体在当前帧图像中的轮廓是否在第一类轮廓中。具体而言，可以检测两个轮廓的形状是否一致，将形状相同部分的面积除以总面积(轮廓F的面积，或所检测的第一类轮廓的面积，或二者取并集的面积)得到一致度，如果达到预定值则说明两个轮廓匹配；或者基于轮廓F在上一帧图像中所覆盖的像素点集合与所检测的第一类轮廓在当前帧图像中所覆盖的像素点集合，检测两个集合的交并比，如果达到预定值则说明两个轮廓匹配，等等。

在本发明的一种实施方式中，如果上一帧图像与当前帧图像为深度图像，则可以根据图像中的深度信息与像素信息分别获取轮廓F与所检测的第一类轮廓的三维点云，轮廓F的三维点云是由轮廓F中一定数量的特征点形成的集合，每个点以其三维坐标值来表示，上述第一类轮廓的三维点云情况类似。然后计算两个三维点云之间的平均欧式距离，如果小于预定值，则两个轮廓匹配。

在本发明的一种实施方式中，第一类轮廓可以表示为轮廓的集合M＝{m_i|i＝1～a}，m_i表示M中的任一轮廓，a为M中轮廓的数量。步骤S130可以通过以下步骤实现：

计算轮廓F与M中每个轮廓的重合度，以确定M中与轮廓F重合度最高的轮廓m_h；

判断轮廓F与轮廓m_h的重合度Co(F,m_h)是否达到第一阈值T1。

其中，重合度可以通过上述形状的一致度表示，也可以通过上述像素点集合的交并比表示，本发明实施方式对此不做限定。举例而言，可以通过以下公式(1)计算轮廓F与M中任一轮廓m_i的重合度：

其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(m_i)为轮廓m_i的包围盒。包围盒是指物体或轮廓在图像中的外接矩形，本示例实施方式中的包围盒可以是轴对齐包围盒(Axis-aligned Bounding Box，AABB)，也可以是有向包围盒(Oriented BoundingBox，OBB)等，本示例实施方式中轮廓或包围盒的面积可以通过其所覆盖的像素点数量来表示，基于此，公式(1)中的面积比可以通过像素点数量比来表示，计算过程可以表述为：BB(F)在上一帧图像中所覆盖的像素点形成集合，BB(m_i)在当前帧图像中所覆盖的像素点也形成集合，两集合中包含的像素点为像素点在图像中的坐标，例如BB(F)在上一帧图像中覆盖像素点(30，40)，(30，40)为BB(F)中的一个元素，BB(m_i)在当前帧图像中覆盖像素点(30，40)，(30，40)为BB(m_i)中的一个元素，BB(F)中的(30，40)与BB(m_i)中的(30，40)为相同元素。因此，可以对BB(F)与BB(m_i)取交集和并集，计算交并比，即为两个轮廓的重合度。

基于上述重合度，判断轮廓F与第一类轮廓是否匹配的标准可以是：

如果Co(F,m_h)≥T1，则轮廓F与第一类轮廓中的轮廓m_h匹配；

如果Co(F,m_h)<T1，则轮廓F与第一类轮廓均不匹配。

其中，T1可以根据物体的移动速度、图像帧率等进行设定，例如：物体移动速度越快，T1越小，图像帧率越低，T1越小。如果Co(F,m_h)<T1，说明轮廓F与轮廓m_h偏差较大，二者不匹配。

需要说明的是，对于第一类轮廓中的每一个轮廓，都可以采用上述方法进行匹配检测，在本发明的一种实施方式中，还可以通过一些简化的标准预先排除一部分第一类轮廓，例如：基于轮廓F在上一帧图像中的位置，在当前帧图像中确定框选范围，可以认为目标物体在当前帧图像中必定处于该范围内(在连续两帧中物体不可能移动过多距离)，处于该范围外的第一类轮廓可以被排除；基于轮廓F的面积确定一个面积大小范围，处于该范围外的第一类轮廓，其面积与轮廓F差别过大，可以被排除，等等。通过这种方式可以简化步骤S130中的运算量，增加处理速度。

在本发明的一种实施方式中，步骤S130之后可以执行以下步骤：

步骤S131，如果轮廓F与第一类轮廓中的轮廓m_h匹配，则确定目标物体在当前帧图像中的轮廓E为轮廓m_h。

本示例实施方式中，将目标物体在当前帧图像中的轮廓记为轮廓E，下文相同，则本示例实施方式的目的等同于在当前帧图像中确定轮廓E，一旦确定轮廓E，即可以在当前帧图像中将轮廓E标记出来，表示目标物体的追踪结果。步骤S131中，轮廓F与轮廓m_h的匹配度达到预定值，说明轮廓m_h属于目标物体，轮廓m_h就是目标物体的轮廓，即为轮廓E，对于目标物体的追踪完成。

进一步的，步骤S131可以包括以下步骤：

如果T2>Co(F,m_h)≥T1，则将轮廓E确定为轮廓m_h，并根据轮廓m_h在当前帧图像中确定目标物体的运动参数；

相应的，物体追踪方法还可以包括以下步骤：

如果Co(F,m_h)≥T2，则确定目标物体在当前帧图像中相对于上一帧图像静止，确定轮廓E为轮廓F；

其中，T2为第二阈值，T2>T1。举例而言，T2＝0.95，T1＝0.5，则如果Co(F,m_h)≥0.95，即轮廓F与轮廓m_h的重合度非常高，可以认为从上一帧图像到当前帧图像，目标物体未发生运动，保持静止，在此情况下可以直接采用轮廓F作为轮廓E；如果0.95>Co(F,m_h)≥0.5，即轮廓F与轮廓m_h的重合度较高，可以认为目标物体发生了一定程度的运动，可以将轮廓m_h作为轮廓E，并根据轮廓m_h相对于轮廓F的变换参数(通常包括平移参数与旋转参数)确定目标物体的运动参数，即从上一帧图像到当前帧图像，目标物体平移了多少距离，旋转了多少角度。当然，T1与T2还可以设定为其他数值，本发明实施方式对此不做限定。

步骤S140，如果轮廓F与第一类轮廓均不匹配，则检测轮廓F与第二类轮廓是否匹配。

通过上述方法可以判断轮廓F与第一类轮廓是否匹配，如果均不匹配，即满足步骤S140的条件，在此条件下，进一步检测轮廓F与当前帧图像中的第二类轮廓是否匹配，可以采用步骤S130中的匹配检测方法，但考虑到第二类轮廓为非正常轮廓，通常包括了两个以上的物体，可以适当降低判断标准，例如为匹配度或重合度等设定较低的阈值。

在本发明的一种实施方式中，第二类轮廓可以表示为轮廓的集合N＝{n_j|j＝1～b}，n_j表示N中的任一轮廓，b为N中轮廓的数量。可以通过以下步骤检测轮廓F与第二类轮廓是否匹配：

计算轮廓F与N中每个轮廓的重合度，以确定N中与轮廓F重合度最高的轮廓n_g；

判断轮廓F与轮廓n_g的重合度Co(F,n_g)是否达到第三阈值T3；

其中，重合度可以参照步骤S130或公式(1)的方法计算。在本发明的一种实施方式中，可以通过以下公式(2)计算轮廓F与N中任一轮廓n_j的重合度：

公式(2)与公式(1)的区别在于分母不同，在公式(2)中，不采用BB(F)与BB(n_j)的并集做分母，这是由于n_j作为第二类轮廓，其面积或其包围盒的面积通常较大，导致BB(F)与BB(n_j)的交并比较低；而采用BB(F)的面积做分母，当轮廓F较多的位于轮廓n_j以内时，计算得到的重合度较高，从而通过重合度的计算可以体现出轮廓F较大比例的位于轮廓n_j以内的情况，此时轮廓n_j内包含目标物体的概率很高，因此轮廓F与轮廓n_j匹配。

基于上述重合度，判断轮廓F与第二类轮廓是否匹配的标准可以是：

如果Co(F,n_g)≥T3，则轮廓F与第二类轮廓中的轮廓n_g匹配；

如果Co(F,n_g)<T3，则轮廓F与第二类轮廓均不匹配。

其中，T3可以根据物体的移动速度、图像帧率等进行设定，例如：物体移动速度越快，T3越小，图像帧率越低，T3越小。如果Co(F,n_g)<T3，说明轮廓F并非较大比例的位于轮廓n_g以内，二者不匹配。

在本发明的一种实施方式中，步骤S140之后可以执行以下步骤：

步骤S141，如果轮廓F与第二类轮廓均不匹配，则确定当前帧图像中不存在目标物体。

其中，判断条件可以具体采用Co(F,n_g)<T3，当通过其他方法计算匹配度时，也可以采用其他的条件。在步骤S141中，轮廓F同时满足两个条件：与第一类轮廓均不匹配，且与第二类轮廓均不匹配，即轮廓F与当前帧图像中所有物体的轮廓均不匹配，在此情况下可以判断当前帧图像中不存在目标物体，目标物体可能移动到了图像以外，则对于目标物体的追踪结束，可以继续追踪图像中的其他物体。

步骤S150，如果轮廓F与第二类轮廓中的轮廓n_g匹配，则根据轮廓n_g在当前帧图像中确定目标物体的轮廓E。

在满足步骤S150的判断条件时，可以认为在当前帧图像中，目标物体处于轮廓n_g以内，本示例实施方式中，可以从轮廓n_g内提取出目标物体的轮廓E，或者基于轮廓n_g估计出目标物体的轮廓E，例如：分别检测轮廓n_g与轮廓F的内角角度，以角度相同的内角为重合点，将轮廓F重叠在轮廓n_g中，提取轮廓F所覆盖的区域，即为轮廓E；或者将轮廓F沿中心方向向外扩展一定尺寸，得到一个扩展区域，将扩展区域在当前帧图像中标记出来，轮廓n_g位于该扩展区域内部的局部区域为轮廓E；截取形状与轮廓F最为相近的局部轮廓，即为轮廓E。此外，还可以采用其他方法根据轮廓n_g确定轮廓E，将在下面的示例实施方式中进一步详细说明，本发明实施方式对此不做限定。

图2示出了应用本发明物体追踪方法的实例图，在手持玩具车的场景中，目标物体为玩具车，固定相机镜头采集连续帧图像，在手遮挡目标物体的情况下追踪目标物体，在每一帧图像中确定其轮廓E后，可以在图像画面中标记出来，以显示追踪的结果。实际应用中，在图像画面中标记出的物体轮廓可以是经过简化的轮廓，例如图2所示的矩形轮廓，也可以是圆形、椭圆形的近似轮廓等。

需要补充的是，步骤S110～S150示出了在当前帧图像中追踪目标物体的方法流程，实际应用中，可以分别以上一帧图像中的每个物体为目标物体，以其轮廓为轮廓F，执行步骤S110～S150，在当前帧图像中识别并追踪到该物体，从而实现在连续帧图像中追踪多物体。下面结合表1对追踪多物体的流程进行详细说明：

系统可以以表1所示的形式存储每一帧图像中的物体信息。从第一帧图像开始，识别其中的每个物体，为每个物体分配ID，存储每个物体的轮廓信息(通常为像素点集合的信息)，也可以存储每个物体的前景图、包围盒、像素面积等其他信息；然后以第一帧图像为步骤S110中的上一帧图像，以第二帧图像为步骤S120中的当前帧图像，分别以物体1与物体2为目标物体，执行步骤S110～S150，在第二帧图像中识别出物体1与物体2的轮廓，以对物体1与物体2进行追踪；然后在第三帧图像中继续追踪物体1与物体2，如果物体1被手遮挡，物体2移出图像外，则以物体1为目标物体、第二帧图像为上一帧图像，执行步骤S110～S150，仍然可以基于第三帧图像中的第二类轮廓追踪到物体1，以物体2为目标物体执行步骤S110～S150，可能发生第三帧图像中所有的物体轮廓匹配不成功的情况，可以放弃对物体2的追踪，表1中N/A表示在特定帧图像中不存在该物体；此外，第三帧图像中还存在未与任何已知物体匹配的轮廓，则可以将其存储为新的物体(表中的物体3)，分配物体ID，记录相关信息。

依据上述方法，对于每一帧图像，将其所有的物体轮廓提取出来，然后将上一帧图像中每个物体轮廓在当前帧图像中的物体轮廓中逐个匹配，如果匹配上，则追踪到对应的物体，在当前帧图像中记录新的轮廓信息，也可以同时记录其包围盒等信息，如果匹配不上，则丢弃对应的物体信息，结束对该物体的追踪，后续该物体如果重新出现，可以作为新物体处理。在当前帧图像中的物体轮廓中遍历上一帧图像中所有物体轮廓后，如果当前帧图像的物体轮廓还有剩余，其中的第一类轮廓可以存储为新物体，在下一帧图像中进行追踪，其前景图、像素面积等为固定信息，首次存储后可以在后续继承；剩余轮廓中的第二类轮廓可以暂不做处理，从而在连续帧图像中对每个物体实现追踪。

表1

在本发明的一种实施方式中，对于当前帧图像中识别的新的物体，可以将其图像(物体的前景图或其在当前帧图像中的截图)输入到另外的物体分类模型中，以识别该物体的种类或名称。本示例实施方式可以预先配置需要追踪的物体白名单，如果新的物体在白名单上，则启动对该物体的追踪，如果不在白名单上，则可以不进行追踪，从而过滤掉图像中可能出现的无关物体，将系统资源集中应用于追踪重要物体，进一步提高效率。

基于上述说明，本示例实施方式中，将上一帧图像中目标物体的轮廓分别与当前帧图像中的第一类轮廓及第二类轮廓匹配，如果其与第二类轮廓匹配，说明目标物体在当前帧图像中存在遮挡、交叠等位置关系，基于第二类轮廓提取或估计出目标物体在当前帧图像中的轮廓，以实现对目标物体的追踪。一方面，提出了一种可以在物体被遮挡或与其他物体发生交叠等情况下追踪物体的方法，以解决在手持物体等场景中无法准确追踪的问题，减少由于遮挡等导致追踪失败的情况，实现对物体的长时间连续追踪。另一方面，本示例实施方式通过轮廓匹配的方式对物体进行追踪，无需对物体进行特征提取以及分类识别，且追踪算法以预设公式为主，相比于以深度学习为主要手段的现有技术，本示例实施方式减少了物体追踪过程所需的运算量，提高了效率。

在本发明的一种实施方式中，根据轮廓n_g在当前帧图像中确定目标物体的轮廓E，可以通过以下步骤实现：

以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F。

其中，对轮廓F的变换可以包括旋转与平移中任意一种或两种。由于轮廓n_g内包括目标物体，将轮廓F进行合适的变换后，可以与轮廓n_g的局部重合或者接近重合，相当于从轮廓n_g内提取出被遮挡的目标物体。

在本发明的一种实施方式中，可以通过以下方法实现上述步骤：在轮廓F与轮廓n_g上确定至少一组角度相等的内角，内角1位于轮廓F上，内角2位于轮廓n_g上，以轮廓n_g的内角2作为参照，对轮廓F进行变换，使内角1的顶点平移到内角2的顶点上，并使内角1的两边旋转到与内角2的两边重合，则变换后的轮廓F覆盖了轮廓n_g的一个局部，即为轮廓E。

在本发明的一种实施方式中，如图3所示，也可以具体通过步骤S301～S306来实现：

步骤S301，将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)。

结合图4进行示例性说明。图4为追踪玩具车的场景，左图为上一帧图像，右图为当前帧图像。在上一帧图像中，获取目标物体的轮廓F，并确定其包围盒BB(F)，图中所示包围盒为有向包围盒；将BB(F)沿中心方向向外扩展，是指将其边界上的点沿与中心连线的方向向外延伸一定的长度，形成新的区域，即exp(F)，exp(F)实质上是一个更大的包围盒，可视为当前帧图像中目标物体的活动范围。本示例实施方式中，考虑到目标物体可能向各个方向运动，在扩展时可以使BB(F)在各个方向上等比例扩展，扩展的尺寸与物体的移动速度、图像帧率、图像分辨率等相关，通常物体移动越快，或图像帧率越低，或图像分辨率越高，物体在前后两帧之间可能移动的距离越远，则可以扩展越大的尺寸。

步骤S302，获取轮廓n_g位于区域exp(F)内的部分，记为轮廓G。

如图4所示，在当前帧图像中目标物体被手遮挡，形成了与边缘相连的第二类轮廓n_g。截取轮廓n_g位于区域exp(F)内的部分，即轮廓G，则轮廓G包含了目标物体与一部分手。

循环执行迭代过程，迭代过程包括步骤S303～S305：

步骤S303，对于轮廓F中的任意点f_k，在轮廓G中确定与点f_k距离最近的点g_k，通过以下公式(3)表示轮廓F与轮廓G的误差：

其中，‖‖表示欧氏距离，f_k表示点f_k在当前帧图像或上一帧图像中的坐标，g_k表示点g_k在当前帧图像或上一帧图像中的坐标，由于当前帧图像与上一帧图像的尺寸与像素数相同，轮廓F或轮廓G中的点在当前帧图像与上一帧图像中具有相同的坐标，表示各个点在图像的场景空间中的位置坐标，如果当前帧图像与上一帧图像为深度图像，则f_k与g_k可以是三维坐标。J表示误差，体现两个轮廓整体的偏差程度。c为轮廓F中点的数量，R为旋转的参数，t为平移的参数，两参数可以是常数、向量或矩阵，与坐标的形式相关，本发明实施方式对此不做限定。

步骤S304，计算R与t，使误差J最小；

步骤S305，利用R与t对轮廓F进行变换，以更新轮廓F。

迭代过程的目的在于使轮廓F通过变换后与轮廓G接近重合，以估计目标物体在轮廓G中的位置与姿态。每轮迭代中，计算R与t，通过以下公式(4)迭代更新轮廓F：

F＝R·F+t； (4)

每轮迭代后，可以判断是否达到预设条件，预设条件可以包括：J<T4，或者达到预设循环次数(或称预设迭代轮数，例如可以是15)，T4为预设的第四阈值，其数值可以参考区域exp(F)的扩展大小，按照经验设定。如果未达到预设条件，则以更新后的轮廓F继续执行步骤S303，并执行步骤S304与S305对轮廓F再次迭代更新；如果达到预设条件，则执行步骤S306，结束迭代过程，确定轮廓E为变换后的轮廓F。同时可以将迭代过程中每轮计算的R与t进行合并计算，得到轮廓F的累积变换参数，即为目标物体从上一帧图像到当前帧图像的运动参数，作为追踪结果的一部分予以存储。

需要说明的是，本示例实施方式所采用的变换可以是欧式变换，步骤S304的计算可视为一种最小二乘估计的问题，可以采用奇异值分解(Singular Value Decomposition，SVD)算法求解，也可以采用随机赋值加梯度下降，或其他相关算法，本发明实施方式对此不做限定。

进一步的，在本发明的一种实施方式中，公式(3)中的c可以是预设点数，可以根据经验设定。如图3所示，在循环执行迭代过程之前，还可以先执行步骤S3021：对轮廓F与轮廓G进行下采样，使轮廓F与轮廓G均具有c个点。在下采样中，可以均匀的丢弃轮廓F与轮廓G的部分点，使得保留的c个点均匀的分布在轮廓上，也可以选择性丢弃，在图形较复杂的部分保留较多的点，在图形较简单或者直线部分保留较少的点，以体现出轮廓的细节图形特征。如果轮廓F或轮廓G本身点的数量小于c，则可以按照两轮廓中较少的点数对点数较多的轮廓进行下采样。通过下采样的方式，可以简化轮廓，降低公式(3)中确定f_k与g_k点对所需的计算量，简化整个迭代过程的计算量，进一步提高效率。

在手持物体等场景中，物体可能被部分遮挡，也可能被全部遮挡，在这两种情况下追踪物体的难度不同，全部遮挡的情况显然增加了追踪的难度，因此可以对这两种情况分别处理。在本发明的一种实施方式中，如图5所示，步骤S140之后，还可以执行以下步骤S510～S530：

步骤S510，如果轮廓F与第二类轮廓中的轮廓n_g匹配，则根据轮廓F的面积判断目标物体为大物体或小物体；

步骤S520，如果目标物体为小物体，则估计目标物体在当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E；

步骤S530，如果目标物体为大物体，则以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F。

其中，轮廓F的面积可以用其覆盖的像素点数量来表征，根据场景的特点设定面积阈值，例如在手持物体场景中，可以以成人手的大小作为面积阈值，当然也可以考虑图像分辨率与相机参数(特别是镜头距离、角度)的影响。如果轮廓F的面积超过面积阈值，说明目标物体比手大，不会被完全遮挡，将其划分为大物体，反之为小物体。

如果目标物体为小物体，执行步骤S520，考虑到其可能被完全遮挡，采用近似度相对较高的方法估计轮廓E，可以简化性假设目标物体只发生平移，不发生旋转，通过比较轮廓F与轮廓n_g，估计平移量，确定轮廓E。如果目标物体为大物体，执行步骤S530，步骤S530的实施方式在上文已经说明，可以通过确定角度相等的内角对轮廓F进行变换，也可以通过图3所示的方法对轮廓F进行迭代变换，还可以通过轮廓n_g中的其他参照信息进行轮廓F的变换，以确定轮廓E，本发明实施方式对此不做限定。

进一步的，在估计轮廓E之前，可以先对目标物体的运动状态进行估计，以简化一部分处理。因此，在本发明的一种实施方式中，物体追踪方法还可以包括以下步骤：

如果目标物体为大物体，则获取轮廓F中位于轮廓n_g以外的区域F’，检测区域F’中每个点到轮廓n_g的最小距离，并确定最小距离中的最大值；

如果该最大值小于第五阈值，则确定轮廓E为轮廓F；

如果该最大值大于或等于第五阈值，则以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F。

上述过程可以参考图6所示，图6中左图为上一帧图像，右图为当前帧图像。区域F’为轮廓F中位于轮廓n_g以外的部分，通过计算区域F’与轮廓n_g的距离，判断轮廓F与轮廓n_g的偏差程度，以估计目标物体的运动程度。其中，对于区域F’中的每个点，可以在轮廓n_g上确定与其距离最短的点，两点之间的距离为区域F’上的该点到轮廓n_g的最小距离，依照该方法求得每个点到轮廓n_g的最小距离，取其中的最大值，表示轮廓F与轮廓n_g的偏差距离。特别的，如果轮廓F全部位于轮廓n_g以内，则区域F’为空，上述最小距离中的最大值(即偏差距离)为0。

参考物体的移动速度、图像帧率、图像分辨率等并结合经验设定第五阈值，如果上述最大值小于第五阈值，说明目标物体的运动程度较低，可以近似认为其静止，采用轮廓F作为轮廓E。如果上述最大值大于或等于第五阈值，说明目标物体的运动程度较高，可以执行步骤S530，通过变换轮廓F估计目标物体的运动参数，得到轮廓E。

在本发明的一种实施方式中，如图7所示，对于目标物体为小物体的情况，可以通过以下步骤确定轮廓E：

步骤S701，在轮廓F的包围盒与轮廓n_g的包围盒上确定至少一组参照点p₀与p₁，p₀位于轮廓F的包围盒上，p₁位于轮廓n_g的包围盒上；

步骤S702，基于p₀与p₁之间的平移量估计目标物体的平移量w’；

步骤S703，对轮廓F平移w’，以确定轮廓E。

其中，参照点p₀与p₁可视为目标物体上的同一点或者近似的同一点，例如p₀可以位于轮廓F的包围盒的左上角，为目标物体的左上角端点，在轮廓n_g中同样确定出目标物体的左上角端点，为p₁，则两点之间的平移量即为目标物体从上一帧图像到当前帧图像的平移量w’。关于如何确定参照点，本发明不做限定，以下通过几种具体方式进行示例性说明：

(1)在多个方向上比较轮廓F与轮廓n_g，尺寸最为相近的方向是目标物体被遮挡最少的方向，在该方向上，轮廓n_g最有可能保留目标物体的一部分边缘信息，因此可以在该方向上确定参照点，例如做一条沿该方向的轴线，将轴线与两个轮廓的包围盒相交的点确定为参照点，则可以得到至少两组参照点。

(2)通过内角角度检测，将角度相同的内角顶点确定为参照点。

(3)获取轮廓n_g与当前帧图像边缘相连的方向，推测该方向为手伸入图像的方向，则其垂直方向上的遮挡程度一般较低，可以在垂直方向上确定参照点。例如：若当前帧图像中轮廓n_g与下边缘相连，推测目标物体位于轮廓n_g内的上端部分。获取轮廓F的包围盒BB(F)＝(x₁,y₁,WD₁,HT₁)，其中x₁和y₁为BB(F)左上角的坐标，WD₁和HT₁分别为BB(F)的宽和高，轮廓n_g的包围盒BB(n_g)＝(x₂,y₂,WD₂,HT₂)，各参数的含义可以参考BB(F)。根据目标物体的尺寸设定参考高度HT_ref，可以是目标物体在y方向上的尺寸，也可以是其在各个方向上的最大尺寸，根据包围盒BB(ng)确定包围盒BB_K＝(x₂,y₂,WD₂,min{HT₂,HT_ref})内的部分，取其中x坐标的最大值x_max和最小值x_min，通过以下公式(5)估计出平移量：

换而言之，如果满足|x_mi+-x₁|>|x_maR-x₁-WD₁|，则在包围盒BB(F)与BB₃的左上角确定一组参照点以计算平移量，反之，则在右上角确定一组参照点。

需要补充的是，如果确定了多组参照点，可以根据每组参照点估计平移量，再取其平均值得到目标物体的平移量w’。

在确定平移量w’，对轮廓F进行平移，可以得到轮廓E。

在本发明的一种实施方式中，步骤S702中的w’为平移量估计值，还可以在此基础上进行更精确的估计，如图7所示，可以采用另一种方法确定小物体的轮廓E，具体可以先执行步骤S701与S702，然后执行步骤S704～S707：

步骤S704，利用欧式距离变换计算轮廓F的中心位置C₀与内切圆半径R，对C₀加上w’，以初步估计目标物体在当前帧图像中的中心位置C’。

本示例实施方式中，中心位置可以是目标物体的几何中心，通常近似认为目标物体为均匀密度体，因此几何中心实质上也是质心。进行欧式距离变换时，可以将上一帧图像做二值化处理，轮廓F以内的区域为1，属于目标区域，其他区域为0，属于背景区域，计算轮廓F内每个点到背景区域的欧式距离，距离最大的点为中心位置C₀，如果距离最大的点不止一个，可以选取其中任意一个点为C₀，也可以按照x坐标或y坐标的大小顺序排列这几个点，选取最中间的一个点为C₀。以C₀为圆心，以C₀到背景区域的欧式距离为半径R，可以确定轮廓F的内切圆，R是后续计算中需要的参数。由于w’为平移量估计值，用C₀加上w’，可以较为粗糙的估计目标物体在当前帧图像中的中心位置C’。

步骤S705，对于轮廓n_g中的任意点q，获取点q到轮廓F的最小距离d(q)，并通过以下公式(6)计算点q的中心距离：

D(q)＝|d(q)-R|+‖qC′‖·e； (6)

其中，点q位于轮廓F以内时，d(q)为正，否则为负；D表示中心距离，其含义为点q与目标物体的实际中心位置之间的距离，由于实际中心位置尚未确定，公式(6)带有一定的近似处理；e为经验参数，用于对步骤S704中估计的中心位置C’与实际中心位置的偏移进行修正，实际应用中可以迭代确定e的数值；本示例实施方式中，可以对轮廓n_g的边界以及内部的所有点(或有代表性的选取一部分点)计算中心距离，需要注意，由于计算中心距离是为了估计目标物体的中心位置，轮廓n_g内部的点应当参与计算，而不仅仅是计算边界点。

步骤S706，将中心距离最小的点作为精确估计的中心位置C，将C₀与C之间的平移量作为目标物体在当前帧图像中的平移量w。

由于中心距离表示点q与实际中心位置之间的距离，轮廓n_g中，中心距离最小的点即为精确估计的中心位置C。需要说明的是，中心距离仅是点q到实际中心位置距离的一种度量，并非实际的距离，并且该算法不可避免的存在一点误差，所以轮廓F中最小的中心距离可以大于0。在确定C后，计算C₀到C的向量，即为目标物体从上一帧图像到当前帧图像的平移量w。

步骤S707，对轮廓F平移w，以确定轮廓E。

相比于w’，w的精确度更高，更接近于目标物体实际的平移量，因此对轮廓F平移w，可以得到轮廓E。

对于目标物体为小物体的情况，也可以先估计其状态，以简化一部分处理。因此，在本发明的一些实施方式中，物体追踪方法还可以包括以下步骤：

如果目标物体为小物体，则判断目标物体在上一帧图像中是否处于运动状态，并判断目标物体在当前帧图像中是否处于被控制状态；

如果目标物体在上一帧图像中未处于运动状态，且在当前帧图像中未处于被控制状态，则确定轮廓E为轮廓F；

如果目标物体在上一帧图像中处于运动状态，或在当前帧图像中处于被控制状态，则估计目标物体在当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E。

其中，目标物体未处于运动状态即表示其处于静止状态，可以在每一帧图像中存储目标物体的运动参数，从而判断其在上一帧图像中是否运动，也可以基于上两帧图像中目标物体的位置关系判断其是否运动。未被控制是指在当前帧图像中用户的手未对目标物体发生抓持、按压等作用。目标物体如果在当前帧图像中是运动状态，通常有两种原因：在上一帧图像中运动，保持运动惯性；用户手控制目标物体移动。基于此，如果目标物体在上一帧图像中静止，且用户的手仅仅是遮挡住了目标物体，则可以得到目标物体在当前帧图像中继续静止的推论，其位置与姿态不变，可以将轮廓F作为轮廓E。反之，如果不满足上述任一条，则判断目标物体可能发生运动，可以执行图7中的方法步骤以估计轮廓E。

进一步的，在本发明的一种实施方式中，如图8所示，如果上一帧图像与当前帧图像均为深度图像，则可以通过步骤S801～807判断目标物体在当前帧图像中是否处于被控制状态：

步骤S801，将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)；

步骤S802，在区域exp(F)内，利用当前帧图像的深度值减去目标物体的初始深度值，得到深度差值图像；

步骤S803，检测深度差值图像中深度值处于第一预设范围内的像素点，标记为手部按压像素点，统计手部按压像素点的数量；

步骤S804，如果手部按压像素点的数量大于第六阈值，则确定目标物体在当前帧图像中处于被控制状态；

步骤S805，如果手部按压像素点的数量小于或等于第六阈值，则检测深度差值图像中深度值处于第二预设范围内的像素点，标记为手部抓持像素点，并统计手部抓持像素点的数量；

步骤S806，如果手部抓持像素点的数量大于第七阈值，则确定目标物体在当前帧图像中处于被控制状态；

步骤S807，如果手部抓持像素点的数量小于或等于第七阈值，则确定目标物体在当前帧图像中未处于被控制状态。

其中，轮廓F的包围盒BB(F)的外扩尺寸可以参考目标物体的移动速度、图像帧率、图像分辨率等并结合经验设定。目标物体的初始深度值是指在连续帧图像中首次识别出目标物体所检测的深度值，即目标物体所在的第一帧图像中的深度值，当然在仅有上一帧图像与当前帧图像的情况下，也可以将轮廓F的深度值作为其初始深度值。在步骤S802中，可以截取当前帧图像位于区域exp(F)以内的部分，为深度图像A；基于目标物体的初始深度值，在其周围填充背景深度信息，以填满区域exp(F)，为深度图像B；图像A减去图像B，即对应像素点的深度值相减，得到深度差值图像Z。

图像Z中主要是目标物体的遮挡物的深度信息，本示例实施方式判断两种情况：遮挡物是不是按压目标物体的手，是不是抓持目标物体的手，按压与遮挡是目标物体被控制的两种具体情况，这两种情况下手的深度信息有所差异，因此可以区分处理。如果是按压目标物体的手，在手与目标物体重叠的区域，深度值为目标物体的深度值减去手的厚度，第一预设范围即关于该深度值的范围，深度值处于预设范围内的像素点，可以认为其满足按压目标物体的条件，标记为手部按压像素点。根据目标物体与手的相对大小，用户按压目标物体时习惯按压多少面积的经验，设定关于按压面积(按压的像素点数量)的第六阈值，如果手部按压像素点数量大于第六阈值，则确定目标物体被用户用手按压；反之则未被按压，继续判断是否被抓持。与按压判断类似的，可以根据手持物体的实际情况确定第二预设范围与第七阈值，例如考虑到手持物体时，目标物体的一部分是被手指覆盖，第二预设范围可以是关于手指厚度的范围，第七阈值可以是关于手指面积的阈值，从而确定目标物体是否被用户用手抓持。如果既未按压也未抓持，可以确定目标物体未被控制。应当理解，在其他实施方式中，也可以改变步骤S803～S807之间的顺序，先进行抓持判断，再进行按压判断，其原理、过程与结果相同。

在本发明的一种实施方式中，进行上述按压判断与抓持判断时，可以基于深度差值图像的局部图像做更加精确的判断。例如：从图像Z中截取目标物体的前景区域，其保留了手按压住目标物体的那一部分，基于该区域图像执行步骤S803；从图像Z中截取背景区域(即目标物体的前景区域以外的区域)，其保留了手抓持在目标物体侧面的那一部分，这部分在图像Z中经过与背景深度的作差，为抓持部位的手的厚度，该厚度大于目标物体的高度，因此可以统计这部分区域中深度值小于目标物体高度的像素点数量，为手部抓持像素点的数量，并确定关于抓持部位面积的第七阈值，从而实现步骤S805～807。

通常，在当前帧图像中确定目标物体的轮廓E后，即实现了追踪。在本发明的一种实施方式中，还可以对追踪结果进行验证，以保证追踪的质量。具体地，在步骤S150之后，可以执行以下步骤：

将轮廓n_g的包围盒沿中心方向向外扩展，得到区域exp(n_g)，判断轮廓E是否全部处于区域exp(n_g)内；

如果轮廓E全部处于区域exp(n_g)内，则确定追踪成功；

如果轮廓E未全部处于区域exp(n_g)内，则确定追踪失败。

其中，包围盒BB(n_g)外扩的尺寸与图像帧率、图像分辨率等相关。由于轮廓E是从轮廓n_g中提取或估计得到的目标物体轮廓，通常目标物体应当位于轮廓n_g内，而区域exp(n_g)是比轮廓n_g更大的区域，可视为目标物体所在的置信区域，如果轮廓E超出区域exp(n_g)，说明在估计轮廓E的过程中出现较大的偏差，可以确定追踪失败，丢弃追踪结果。从而进一步提高了追踪的准确度。

图9示出了本示例实施方式的一种方法流程，具体可以包括：

步骤S901，获取上一帧图像与其中目标物体的轮廓F；步骤S902，获取当前帧图像与其中的物体轮廓，包括第一类轮廓M与第二类轮廓N；步骤S903，检测轮廓F与M中的轮廓是否匹配；步骤S904，如果轮廓F与M中的m_h匹配，则确定轮廓E＝轮廓m_h，完成当前帧的追踪，进入下一帧的追踪。

步骤S905，如果轮廓F与M中的轮廓均不匹配，则检测轮廓F与N中轮廓是否匹配；步骤S906，如果轮廓F与N中的轮廓也均不匹配，则确定目标物体移出图像外，结束对目标物体的追踪。

步骤S907，如果轮廓F与N中的轮廓n_g匹配，则对目标物体进行分类，确定其为大物体或小物体；步骤S908，如果目标物体为小物体，则判断其在上一帧中是否运动；步骤S909，如果目标物体在上一帧中静止，则继续判断其在当前帧是否被控制；如果目标物体同时满足在上一帧中静止且在当前帧未被控制，则确定目标物体静止，执行步骤S911，以轮廓n_g作为轮廓E。

步骤S910，如果目标物体为大物体，则判断其在当前帧是否静止；如果静止，则执行步骤S911，以轮廓ng作为轮廓E；步骤S912，如果目标物体非静止，则以轮廓F的包围盒扩展区域，截取轮廓n_g中的局部轮廓G；步骤S913，对轮廓F进行迭代变换，使其接近于重合轮廓G；步骤S914，以变换后的轮廓F作为轮廓E。

在目标物体为小物体的情况下，如果其满足在上一帧中运动或在当前帧中被控制，则执行步骤S915，估计目标物体从上一帧到当前帧的平移量w；步骤S916，对轮廓F平移w，得到轮廓E。

在目标物体被遮挡时，基于各种细分的情况，分别通过步骤S911、S914、S916确定了目标物体在当前帧图像中的轮廓E，然后可以执行步骤S917，通过检测轮廓E是否全部轮廓的包围盒扩展区域exp(n_g)内，判断是否追踪成功；如果追踪失败，则可以丢弃目标物体的信息；如果追踪成功，则确定轮廓E为有效信息，完成当前帧的追踪，进入下一帧的追踪，此时轮廓E成为新的轮廓F。

通过图9所示的方法流程，可以对连续帧图像中的每一帧图像循环进行物体追踪，根据物体的状态实时调整追踪算法，基于物体是否被遮挡、被遮挡的程度、是否运动等情况进行细分判断，并针对不同的情况采用不同的追踪算法，在保证追踪准确度的同时，提高了处理速度，减少了“追不上”或追踪滞后的情况，并且物体一旦恢复未被遮挡的状态，对其识别与追踪的准确度可以立即恢复到只有像素级误差的程度，从而保证了长时间运行的鲁棒性。

示例性装置

在介绍了本发明示例性实施方式的物体追踪方法之后，接下来，参考图10对本发明示例性实施方式的物体追踪装置进行说明。

如图10所示，本发明实施方式的物体追踪装置1000可以包括：第一获取模块1010，用于获取目标物体在上一帧图像中的轮廓F；第二获取模块1020，用于获取当前帧图像以及当前帧图像中物体的轮廓，当前帧图像中物体的轮廓划分为第一类轮廓与第二类轮廓；第一检测模块1030，用于检测轮廓F与第一类轮廓是否匹配；第二检测模块1040，用于如果轮廓F与第一类轮廓均不匹配，则检测轮廓F与第二类轮廓是否匹配；轮廓确定模块1050，用于如果轮廓F与第二类轮廓中的轮廓n_g匹配，则根据轮廓n_g在当前帧图像中确定目标物体的轮廓E。

在本发明的一种实施方式中，上述第一类轮廓可以是当前帧图像中未与当前帧图像边缘相连的物体的轮廓，上述第二类轮廓可以是当前帧图像中与当前帧图像边缘相连的物体的轮廓。

在本发明的一种实施方式中，轮廓确定模块1050还可以用于如果轮廓F与第一类轮廓中的轮廓m_h匹配，则确定廓E为轮廓m_h。

在本发明的一种实施方式中，第一类轮廓可以是轮廓的集合M＝{m_i|i＝1～a}，a为M中轮廓的数量；第一检测模块1030可以包括：第一计算单元1031，用于计算轮廓F与M中每个轮廓的重合度，以确定M中与轮廓F重合度最高的轮廓m_h；第一判断单元1032，用于判断轮廓F与轮廓m_h的重合度Co(F,m_h)是否达到第一阈值T1；第二检测模块1040可以用于如果Co(F,m_h)<T1，则检测轮廓F与第二类轮廓是否匹配。

在本发明的一种实施方式中，轮廓确定模块1050可以用于如果T2>Co(F,m_h)≥T1，则将轮廓E确定为轮廓m_h，并根据轮廓m_h在当前帧图像中确定目标物体的运动参数，如果Co(F,m_h)≥T2，则确定目标物体在当前帧图像中相对于上一帧图像静止，确定轮廓E为轮廓F；其中，T2为第二阈值，T2>T1。

在本发明的一种实施方式中，第一计算单元1031可以用于通过以下公式计算轮廓F与M中任一轮廓m_i的重合度：其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(m_i)为轮廓m_i的包围盒。

在本发明的一种实施方式中，第二类轮廓可以是轮廓的集合N＝{n_j|j＝1～b}，b为N中轮廓的数量；第二检测模块1040可以包括：第二计算单元1041，用于计算轮廓F与N中每个轮廓的重合度，以确定N中与轮廓F重合度最高的轮廓n_g；第二判断单元1042，用于判断轮廓F与轮廓n_g的重合度Co(F,n_g)是否达到第三阈值T3；轮廓确定模块1050可以用于如果Co(F,n_g)≥T3，则根据轮廓n_g在当前帧图像中确定目标物体的轮廓E。

在本发明的一种实施方式中，轮廓确定模块1050还可以用于如果Co(F,n_g)<T3，则确定当前帧图像中不存在目标物体。

在本发明的一种实施方式中，第二计算单元1041可以用于通过以下公式计算轮廓F与N中任一轮廓n_j的重合度：其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(n_j)为轮廓n_j的包围盒。

在本发明的一种实施方式中，轮廓确定模块1050可以用于以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F，变换包括旋转和/或平移。

在本发明的一种实施方式中，轮廓确定模块1050可以包括：第一扩展单元10531，用于将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)；轮廓截取单元10532，用于获取轮廓n_g位于区域exp(F)内的部分，记为轮廓G；循环处理单元10534，用于循环执行以下迭代过程，直到达到预设条件，确定轮廓E为变换后的轮廓F：对于轮廓F中的任意点f_k，在轮廓G中确定与点f_k距离最近的点g_k，通过公式 表示轮廓F与轮廓G的误差，其中，f_k表示点f_k在当前帧图像或上一帧图像中的坐标，g_k表示点g_k在当前帧图像或上一帧图像中的坐标，J表示误差，c为轮廓F中点的数量，R为旋转的参数，t为平移的参数；计算R与t，使误差J最小；利用R与t对轮廓F进行变换，以更新轮廓F；其中，预设条件包括：误差J小于第四阈值，或者达到预设循环次数。

在本发明的一种实施方式中，c可以是预设点数；轮廓确定模块1050还可以包括：下采样单元10533，用于在循环处理单元10534循环执行迭代过程之前，对轮廓F与轮廓G进行下采样，使轮廓F与轮廓G均具有c个点。

在本发明的一种实施方式中，轮廓确定模块1050可以包括：面积分类单元1051，用于如果轮廓F与第二类轮廓中的轮廓n_g匹配，则根据轮廓F的面积判断目标物体为大物体或小物体；第一确定单元1052，用于如果目标物体为小物体，则估计目标物体在当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E；第二确定单元1053，用于如果目标物体为大物体，则以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F。

在本发明的一种实施方式中，轮廓确定模块1050还可以包括：距离检测单元1054，用于如果目标物体为大物体，则获取轮廓F中位于轮廓n_g以外的区域F’，检测区域F’中每个点到轮廓n_g的最小距离，并确定最小距离中的最大值；第三确定单元1055，用于如果最大值小于第五阈值，则确定轮廓E为轮廓F；第二确定单元1053可以用于如果最大值大于或等于第五阈值，则以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F。

在本发明的一种实施方式中，第一确定单元1052可以包括：参照点确定单元10521，用于在轮廓F的包围盒与轮廓n_g的包围盒上确定至少一组参照点p₀与p₁，p₀位于轮廓F的包围盒上，p₁位于轮廓n_g的包围盒上；平移量估计单元10522，用于基于p₀与p₁之间的平移量估计目标物体的平移量w’；轮廓平移单元10526，用于对轮廓F平移w’，以确定轮廓E。

在本发明的一种实施方式中，w’为平移量估计值；第一确定单元1052还可以包括：中心位置估计单元10523，用于利用欧式距离变换计算轮廓F的中心位置C₀与内切圆半径R，对C₀加上w’，以初步估计目标物体在当前帧图像中的中心位置C’；中心距离计算单元10524，用于对于轮廓n_g中的任意点q，获取点q到轮廓F的最小距离d(q)，并通过公式D(q)＝|d(q)-R|+‖qC′‖·e计算点q的中心距离，其中，点q位于轮廓F以内时，d(q)为正，否则为负，D表示中心距离，e为经验参数；平移量优化单元10525，用于将中心距离最小的点作为精确估计的中心位置C，将C₀与C之间的平移量作为目标物体在当前帧图像中的平移量w；轮廓平移单元10526可以用于对轮廓F平移w，以确定轮廓E。

在本发明的一种实施方式中，轮廓确定模块1050还可以包括：

状态判断单元1056，用于如果目标物体为小物体，则判断目标物体在上一帧图像中是否处于运动状态，并判断目标物体在当前帧图像中是否处于被控制状态；

第四确定单元1057，用于如果目标物体在上一帧图像中未处于运动状态，且在当前帧图像中未处于被控制状态，则确定轮廓E为轮廓F；

第一确定单元1052可以用于如果目标物体在上一帧图像中处于运动状态，或在当前帧图像中处于被控制状态，则估计目标物体在当前帧图像中的平移量，对轮廓F进行平移，以确定轮廓E。

在本发明的一种实施方式中，上一帧图像与当前帧图像均为深度图像；状态判断单元1056可以包括：第二扩展单元10561，用于将轮廓F的包围盒沿中心方向向外扩展，得到区域exp(F)；深度求差单元10562，用于在区域exp(F)内，利用当前帧图像的深度值减去目标物体的初始深度值，得到深度差值图像；按压点检测单元10563，用于检测深度差值图像中深度值处于第一预设范围内的像素点，标记为手部按压像素点，统计手部按压像素点的数量；第一状态确定单元10564，用于如果手部按压像素点的数量大于第六阈值，则确定目标物体在当前帧图像中处于被控制状态；抓持点检测单元10565，如果手部按压像素点的数量小于或等于第六阈值，则检测深度差值图像中深度值处于第二预设范围内的像素点，标记为手部抓持像素点，并统计手部抓持像素点的数量；第二状态确定单元10566，用于如果手部抓持像素点的数量大于第七阈值，则确定目标物体在当前帧图像中处于被控制状态；第三状态确定单元10567，用于如果手部抓持像素点的数量小于或等于第七阈值，则确定目标物体在当前帧图像中未处于被控制状态。

在本发明的一种实施方式中，物体追踪装置1000还可以包括：追踪判定模块1060，用于将轮廓n_g的包围盒沿中心方向向外扩展，得到区域exp(n_g)，判断轮廓E是否全部处于区域exp(n_g)内，如果轮廓E全部处于区域exp(n_g)内，则确定追踪成功，或者如果轮廓E未全部处于区域exp(n_g)内，则确定追踪失败。

在本发明的一种实施方式中，上一帧图像与当前帧图像均为经过背景减除的深度图像。

此外，本发明实施方式的其他具体细节在上述物体追踪方法的发明实施方式中已经详细说明，在此不再赘述。

示例性存储介质

在介绍了本发明示例性实施方式的物体追踪方法和装置之后，接下来，参考图11对本发明示例性实施方式的存储介质进行说明。

如图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

该程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RE等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言-诸如Java、C++等，还包括常规的过程式程序设计语言-诸如"C"语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(FAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

示例性电子设备

在介绍了本发明示例性实施方式的存储介质之后，接下来，参考图12对本发明示例性实施方式的电子设备进行说明。

图12显示的电子设备1200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240。

其中，存储单元存储有程序代码，程序代码可以被处理单元1210执行，使得处理单元1210执行本说明书上述"示例性方法"部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元1210可以执行如图1、图3或图5所示的方法步骤等。

存储单元1220可以包括易失性存储单元，例如随机存取存储单元(RAM)1221和/或高速缓存存储单元1222，还可以进一步包括只读存储单元(ROM)1223。

存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块1225包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1230可以包括数据总线、地址总线和控制总线。

电子设备1200也可以与一个或多个外部设备1300(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口1250进行。电子设备1200还包括显示单元1240，其连接到输入/输出(I/O)接口1250，用于进行显示。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(FAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了装置的若干模块或子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种物体追踪方法，其特征在于，包括：

获取目标物体在上一帧图像中的轮廓F；

获取当前帧图像以及所述当前帧图像中物体的轮廓，所述当前帧图像中物体的轮廓包括第一类轮廓与第二类轮廓；

检测轮廓F与所述第一类轮廓是否匹配；

如果轮廓F与所述第一类轮廓均不匹配，则检测轮廓F与所述第二类轮廓是否匹配；

如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，则根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E。

2.根据权利要求1所述的方法，其特征在于，所述第一类轮廓为所述当前帧图像中未与所述当前帧图像边缘相连的物体的轮廓，所述第二类轮廓为所述当前帧图像中与所述当前帧图像边缘相连的物体的轮廓。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果轮廓F与所述第一类轮廓中的轮廓m_h匹配，则确定轮廓E为轮廓m_h。

4.根据权利要求3所述的方法，其特征在于，所述第一类轮廓为轮廓的集合M＝{m_i|i＝1～a}，a为M中轮廓的数量；

所述检测轮廓F与所述第一类轮廓是否匹配，包括：

计算轮廓F与M中每个轮廓的重合度，以确定M中与轮廓F重合度最高的轮廓m_h；

判断轮廓F与轮廓m_h的重合度Co(F，m_h)是否达到第一阈值T1；

所述如果轮廓F与所述第一类轮廓均不匹配，包括：

如果Co(F，m_h)＜T1。

5.根据权利要求4所述的方法，其特征在于，所述如果轮廓F与所述第一类轮廓中的轮廓m_h匹配，则将轮廓E确定为轮廓m_h，包括：

如果T2＞Co(F，m_h)≥T1，则将轮廓E确定为轮廓m_h，并根据轮廓m_h在所述当前帧图像中确定所述目标物体的运动参数；

所述方法还包括：

如果Co(F，m_h)≥T2，则确定所述目标物体在所述当前帧图像中相对于所述上一帧图像静止，确定轮廓E为轮廓F；

其中，T2为第二阈值，T2＞T1。

6.根据权利要求4所述的方法，其特征在于，所述计算轮廓F与M中每个轮廓的重合度，包括：

通过以下公式计算轮廓F与M中任一轮廓m_i的重合度：

其中，Co表示重合度，S表示面积，BB(F)为轮廓F的包围盒，BB(m_i)为轮廓m_i的包围盒。

7.根据权利要求1所述的方法，其特征在于，所述根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E，包括：

以轮廓n_g为参照，对轮廓F进行变换，确定轮廓E为变换后的轮廓F，所述变换包括旋转和/或平移。

8.一种物体追踪装置，其特征在于，包括：

第一获取模块，用于获取目标物体在上一帧图像中的轮廓F；

第二获取模块，用于获取当前帧图像以及所述当前帧图像中物体的轮廓，所述当前帧图像中物体的轮廓包括第一类轮廓与第二类轮廓；

第一检测模块，用于检测轮廓F与所述第一类轮廓是否匹配；

第二检测模块，用于如果轮廓F与所述第一类轮廓均不匹配，则检测轮廓F与所述第二类轮廓是否匹配；

轮廓确定模块，用于如果轮廓F与所述第二类轮廓中的轮廓n_g匹配，则根据轮廓n_g在所述当前帧图像中确定所述目标物体的轮廓E。

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任一项所述的方法。