CN110211158B - 候选区域确定方法、装置及存储介质 - Google Patents

Abstract

本发明实施例提供一种候选区域确定方法、装置及存储介质，该方法包括：获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，其中，N为大于或等于3的正整数；根据N帧图像中运动目标的中心点位置，确定第t帧图像中运动目标的中心点位置；根据N帧图像中运动目标的尺度信息，确定第t帧图像中所述运动目标的尺度信息；根据第t帧图像中运动目标的中心点位置和尺度信息，确定第t帧图像对应的候选区域。本发明实施例可以更合理、有效地进行候选区域的选取，使追踪更加准确。

Description

候选区域确定方法、装置及存储介质

技术领域

本发明实施例涉及视觉追踪技术，尤其涉及一种候选区域确定方法、装置及存储介质。

背景技术

视觉追踪技术，作为计算机视觉领域的热门课题之一，是对图像序列中的运动目标进行检测、特征提取、识别和跟踪，以获得运动目标的运动信息，例如位置、速度、运动轨迹等，并对其进行相应的处理分析，实现对运动目标的行为理解。

目前常用的视觉追踪方法，是根据上一帧图像中运动目标的中心点位置，结合该上一帧图像中运动目标的尺度，来确定当前帧图像的候选区域，其中，该候选区域即运动目标的潜在位置划定区域；然后，在该候选区域中进行特征提取和识别等处理，来获得当前帧图像中运动目标所在的位置。

但通过上述方法确定的候选区域，可能出现候选区域中运动目标不存在的情况，从而导致追踪的失败；或者，还可能出现候选区域过大的情况，导致追踪效率差。

发明内容

本发明实施例提供一种候选区域确定方法、装置及存储介质，以更合理、有效地进行候选区域的选取，使追踪更加准确。

第一方面，本发明实施例提供一种候选区域确定方法，包括：获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，其中，N为大于或等于3的正整数；根据N帧图像中运动目标的中心点位置，确定第t帧图像中运动目标的中心点位置；根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的尺度信息；根据第t帧图像中运动目标的中心点位置和尺度信息，确定第t帧图像对应的候选区域。本发明实施例根据历史数据，即发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，确定第t帧图像中运动目标的中心点位置和尺度信息，进一步确定第t帧图像对应的候选区域，相比相关技术中根据上一帧图像中运动目标的中心点位置，结合该上一帧图像中运动目标的尺度，来确定当前帧图像的候选区域的实现方式，可以更合理、有效地进行候选区域的选取，使追踪更加准确。

第二方面，本发明实施例提供一种候选区域确定装置，包括：

获取模块，用于获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，其中，N为大于或等于3的正整数；

第一确定模块，用于根据N帧图像中运动目标的中心点位置，确定第t帧图像中运动目标的中心点位置；

第二确定模块，用于根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的尺度信息；

第三确定模块，用于根据第t帧图像中运动目标的中心点位置和尺度信息，确定第t帧图像对应的候选区域。

第三方面，本发明实施例提供一种候选区域确定装置，包括：处理器，所述处理器与存储器耦合；

所述存储器，用于存储计算机程序；

所述处理器，用于调用并执行所述存储器中存储的计算机程序，以使得所述候选区域确定装置执行上述第一方面所述的方法。

第四方面，本发明实施例提供一种可读存储介质，该计算机存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面所述的方法。

本发明实施例提供的候选区域确定方法、装置及存储介质，首先发生在获取第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，其中，N为大于或等于3的正整数，之后，根据N帧图像中运动目标的中心点位置，确定第t帧图像中运动目标的中心点位置，并根据N帧图像中运动目标的尺度信息，确定第t帧图像中所述运动目标的尺度信息，最后，根据第t帧图像中运动目标的中心点位置和尺度信息，确定第t帧图像对应的候选区域。相比相关技术中根据上一帧图像中运动目标的中心点位置，结合该上一帧图像中运动目标的尺度，来确定当前帧图像的候选区域的实现方式，可以更合理、有效地进行候选区域的选取，使追踪更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供候选区域确定方法的流程图；

图2为某帧率下对应的中心点位置示意图；

图3为图2所示帧率下对应的中心点位置在s为2时的示意图；

图4为本发明一实施例提供的候选区域的示意图；

图5为本发明一实施例提供的运动轨迹的示例图；

图6为本发明一实施例提供的第t帧图像中运动目标的中心点位置的确定流程示意图；

图7为本发明一实施例提供的第t帧图像中运动目标的尺度信息的确定流程示意图；

图8为相关技术中视觉追踪效果示意图；

图9为采用本发明实施例提供的候选区域确定方法后的视觉追踪效果示意图；

图10为本发明一实施例提供的候选区域确定装置的结构示意图；

图11为本发明另一实施例提供的候选区域确定装置的结构示意图；

图12为本发明又一实施例提供的候选区域确定装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

目前的视觉追踪方法主要包括两个方向：一个是基于深度学习的视觉追踪方法，另一个是基于模板的视觉追踪方法。发明人经研究发现：通常情况下，前者的追踪精度较高，但是该类方法的实时性很差，很难于实际环境中进行应用，例如：SANet算法，在CVPR2013公开数据集的准确率高达95％，但是帧率仅约为1每秒传输帧数(frames persecond，简称：FPS)；而基于模板的视觉追踪方法，精度虽然低于基于深度学习的视觉追踪方法，但是帧率非常高，例如，基于循环特征映射的大边缘目标跟踪(large margin objecttracking with circulant feature maps，简称：LMCF)算法，在相同数据集上准确率为0.839，帧率高达85FPS。因此，在实时追踪上，惯用的方法是将基于模板的视觉追踪方法同检测算法结合，具体通过检测算法定期或定帧地对采用基于模板的视觉追踪方法的追踪效果进行监督，从而弥补基于模板的视觉追踪方法准确率较低的缺陷。

在基于模板的视觉追踪方法中，当对第t帧图像中运动目标进行追踪时，首先从第t帧图像上选定一个比运动目标尺寸大的候选区域，然后以运动目标尺寸为单位，提取候选区域的特征获得多个特征图，将每个特征图和上一帧得到的模板进行相关运算，获得响应图，根据响应图即可获得第t帧图像中运动目标的中心点坐标，然后，再获得第t帧图像中运动目标的尺度，至此，获得第t帧图像中运动目标的所在位置的矩形框。

由于后续的特征提取、相关运算等都是对候选区域内的像素进行“排查”，因此，假如该候选区域选定过大，势必会带来不必要的计算量，导致追踪效率差；而如果该候选区域选定过小或者坐标位置出现偏差，则会出现候选区域中运动目标不存在的情况，导致追踪失败。可见，候选区域的确定对追踪的性能有着直接的影响。

经研究表明，上述基于模板的视觉追踪方法在室外场景、目标体积较小且形状规则的情况下效果较好。但在家居场景下，且被追踪的运动目标为人体时，由于摄像头与人体距离较近，目标在整个视频画面的位置更新得较快，且尺度变换更加频繁，因此，常常会出现候选区域选取不合适，尤其是候选区域偏离运动目标较远及候选区域尺度过小而不能完全覆盖运动目标的情况。基于此，本发明实施例提供一种候选区域确定方法、装置及存储介质，以更合理、有效地进行候选区域的选取，使追踪更加准确，其应用场景包括但不限于家居场景中人体追踪。

图1为本发明一实施例提供候选区域确定方法的流程图。本发明实施例提供一种候选区域确定方法，该方法可以由候选区域确定装置执行，该装置可以通过软件和/或硬件的方式实现。示例性地，候选区域确定装置可以具体为手机、平板电脑、计算机或服务器等设备。

如图1所示，该候选区域确定方法，包括以下步骤：

S101、获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息。

其中，N为大于或等于3的正整数。

可选地，当图像对应的帧率大于预设帧率时，也就是当图像对应的帧率较大时，N帧图像中每相邻两个图像的实际间隔帧数为s，s为大于1的正整数。示例性地，s可以取值为1、2或3，等等，具体可以根据算法和实际应用进行设置。例如，当帧率较高时，帧数较多，对应的中心点位置较为密集，为了更好地分析与估算，可以取s为2。如图2所示，某帧率下对应的中心点位置较为密集；当s为2时，剩余用于分析的中心点位置可如图3所示例。

假设当前要针对第t帧图像确定候选区域，该步骤首先获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息。例如，获取第t-N*s帧图像、第t-(N-1)*s帧图像、···、第t-s帧图像，共N帧图像中运动目标的中心点位置和尺度信息。若无特殊说明，s可以取值为1，即获取第t-N帧图像、第t-(N-1)帧图像、···、第t-1帧图像，共N帧图像中运动目标的中心点位置和尺度信息。

可以理解，图像中运动目标的中心点位置，是指图像中候选区域的中心点位置(或坐标)。

S102、根据N帧图像中运动目标的中心点位置，确定第t帧图像中运动目标的中心点位置。

S103、根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的尺度信息。

在部分应用场景，例如家庭场景，对人体进行追踪时，由于人体距离摄像头较近，人体的尺度变换比较频繁，因此，该实施例考虑不同帧图像中运动目标对应的尺度变换因子是不同的，因此，该步骤根据第t帧图像的N帧历史数据确定第t帧图像中运动目标的尺度信息。

对于S102和S103这两个步骤，可以理解，结合之前至少3(N大于或等于3)帧图像中运动目标的中心点位置或者尺度信息，确定当前第t帧图像中运动目标的中心点位置或者尺度信息。

S104、根据第t帧图像中运动目标的中心点位置和尺度信息，确定第t帧图像对应的候选区域。

其中，尺度信息可以包括运动目标可能存在区域，也即候选区域的宽和高等信息。假设第t帧图像中运动目标的中心点位置为(X，Y)，尺度信息为：宽为W，高为H，则第t帧图像对应的候选区域如图4所示。

通过上述步骤，该实施例在数据输入与特征提取之间完善了候选区域的确定，尽可能地使得运动目标被覆盖在该候选区域内，保证了候选区域的准确性；且，上述候选区域确定方法的计算量较小，从而可保证追踪的时效性。

本发明实施例根据历史数据，即发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，其中，N为大于或等于3的正整数，确定第t帧图像中运动目标的中心点位置和尺度信息，进一步确定第t帧图像对应的候选区域，相比相关技术中根据上一帧图像中运动目标的中心点位置，结合该上一帧图像中运动目标的尺度，来确定当前帧图像的候选区域的实现方式，可以更合理、有效地进行候选区域的选取，使追踪更加准确。

在上述实施例中，一些实施例中，S102、根据N帧图像中运动目标的中心点位置，确定第t帧图像中运动目标的中心点位置，可以包括：根据N帧图像中运动目标的中心点位置，确定运动目标的运动轨迹及第一运动速度，该第一运动速度为运动目标在第一图像至第t帧图像期间对应的速度，其中，第一图像为N帧图像中，与第t帧图像的发生时间最接近的图像；根据该第一运动速度，确定运动目标在第一图像至第t帧图像期间移动的第一距离；根据运动轨迹、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置。

进一步地，上述根据N帧图像中运动目标的中心点位置，确定运动目标的运动轨迹及第一运动速度，可以包括：根据N帧图像中运动目标的中心点位置，拟合运动目标的运动轨迹；根据第三图像、第二图像和第一图像这三帧中运动目标的中心点位置，确定运动目标在第三图像至第二图像期间移动的第二距离，以及运动目标在第二图像至第一图像期间移动的第三距离；根据第二距离，确定运动目标在第三图像至第二图像期间对应的第二运动速度；根据第三距离，确定运动目标在第二图像至第一图像期间对应的第三运动速度；根据第三运动速度和第二运动速度，确定运动目标的第一运动速度。其中，第二图像和第三图像分别为N帧图像中，与第t帧图像的发生时间第二接近、第三接近的图像。

示例地，如图5所示，根据N帧图像中运动目标的中心点位置，拟合运动目标的运动轨迹，即虚线TL，为运动目标在第t帧图像之前的实际路线，其中，点P_t-3s(x_t-3s,y_t-3s)、P_t-2s(x_t-2s,y_t-2s)和P_t-s(x_t-s,y_t-s)分别为在第三图像、第二图像和第一图像追踪到的运动目标的中心点位置。

利用两点间的距离公式，计算P_t-2s与P_t-s之间的距离(即第三距离)L₁，以及P_t-3s与P_t-2s之间的距离(即第二距离)L₂；然后，根据距离速度公式，计算P_t-2s至P_t-s的第三运动速度V₁，以及P_t-3s至P_t-2s的第二运动速度V₂；最后，根据第三运动速度V₁和第二运动速度V₂，确定运动目标的第一运动速度V₀，具体地：

假设运动目标在上一个动作做加速(减速)运动的情况下，下一个动作惯性地保持加速(减速)运动。

1)V₁-V₂>0，说明运动目标是在进行加速运动，加速度a₂>0。假设运动目标继续保持加速运动状态，则该情况下有V₀＝a₂+V1，a₂>0。若a₁近似a₂，则有V₀＝a₁+V1。

2)V₁-V₂<0，说明运动目标是在进行减速运动，加速度a₂<0。假设运动目标继续保持减速运动状态，则该情况下有V₀＝a₂+V1，a₂<0。若a₁近似a₂，则有V₀＝a₁+V1。

3)V₁-V₂＝0，说明运动目标保持匀速运动，则可视为a₁≈a₂＝0，同样有V₀＝a₁+V1。

基于以上假设和推导可得，无论运动目标在做何种运动，都可以使用公式V₀＝a₁+V₁近似求得运动目标在第一图像至第t帧图像期间对应的速度，即第一运动速度V₀。

接下来，利用距离速度公式，根据该第一运动速度V₀，确定运动目标在第一图像至第t帧图像期间移动的第一距离L₀。

可选地，上述根据运动轨迹、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置，可以通过多种方式实现，以下进行示例说明。

一种实现方式中，根据运动轨迹、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置，可以包括：根据运动轨迹，确定运动目标的运动方向；根据运动方向、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置。

在对运动目标的运动方向进行估算时，显然参与计算的历史坐标数据越多，运动方向估算越准确，但同时带来的计算也越复杂。假如只结合P_t-2s、P_t-s两个坐标点，虽然可以大大的减少计算量，但显然对历史坐标数据考虑不够全面，运动方向估算不够准确。因此，本发明实施例选择同时考虑三个历史坐标数据，即P_t-3s、P_t-2s、P_t-s三点坐标值，来确定下一帧运动目标的运动方向。

将运动目标实际的运行轨迹看作一元二次方程曲线：f(x)＝ax²+bx+c，已知其中3点坐标，即P_t-3s(x_t-3s,y_t-3s)、P_t-2s(x_t-2s,y_t-2s)、P_t-s(x_t-s,y_t-s)，求该方程的系数a、b、c。具体地，已知矩阵

系数向量α＝(a,b,c),β＝(y_t-3s,y_t-2s,y_t-s)^T，有α·A＝β。从而可以求得系数向量α＝β·A^-1。

已知运动目标的运行轨迹f(x)、第一图像中运动目标的中心点位置P_t-s(x_t-s,y_t-s)、以及点P_t-s与点P_t间的第一距离L₀，通过以下公式可以求知第t帧图像中运动目标的中心点位置(x_t,f(x_t))：

另一种实现方式中，根据运动轨迹、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置，可以包括：确定运动轨迹在第一图像中运动目标的中心点位置处的切线方程；根据切线方程、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置。

考虑到根据上式获得第t帧图像中运动目标的中心点位置(x_t,f(x_t))，计算量较大。因此，还可以运行轨迹f(x)在点P_t-s处的切线GL作为追踪运动目标下一步运动方向，然后，取距离点P_t-s长度为第一距离L₀的点P_t作为第t帧图像中运动目标的中心点位置，参考图5。具体地：

求得运行轨迹f(x)在P_t-s(x_t-s,y_t-s)的切线斜率：k_t-s＝2×a×x_t-s+b。

得到运动轨迹f(x)在第t-s帧图像中运动目标的中心点位置处的切线方程为：

k(x)＝k_t-sx+m

由公式

可得x_t，从而得到第t帧图像中运动目标的中心点位置P_t(x_t,k(x_t))。其中，第t帧图像中运动目标的中心点位置的确定流程可如图6所示。

上述实施例说明了如何确定第t帧图像中运动目标的中心点位置，接下来说明如何确定第t帧图像中运动目标的尺寸信息。

可选地，S103、根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的尺度信息，可以包括：根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的变化趋势；根据该变化趋势，确定第t帧图像中运动目标对应的尺度变换因子；根据运动目标的基准尺度和第t帧图像中运动目标对应的尺度变换因子，确定第t帧图像中运动目标的尺度信息。

其中，根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的变化趋势，可以包括以下任一：

若根据N帧图像中运动目标的尺度信息，确定N帧图像中运动目标逐渐变大或保持不变，则确定第t帧图像中运动目标的变化趋势为变大；

若根据N帧图像中运动目标的尺度信息，确定N帧图像中运动目标逐渐变小，则确定第t帧图像中运动目标的变化趋势为变小；

否则，确定第t帧图像中运动目标的变化趋势为不变。

基于在当下追踪准确率较高的实时追踪算法中，帧率可以逼近100FPS(例如，CFNet_conv2帧率为75FPS、LMCF算法帧率为85FPS、SiamFC_{3s}帧率为86FPS)之高，完全可以满足实时追踪的情况。为了进一步提高追踪的准确率，可以选择在不影响实时追踪的情况下，牺牲部分帧率(即计算量)来换取更高的追踪准确率。即当确定运动目标的尺度在一定概率下变大时，增大尺度变换因子；当连续多帧图像中运动目标的尺度都在变小的情况下，则减小尺度变换因子；其余情况下，均不改变尺度变换因子。具体方法为：

令differ_2＝g_t-2s-g_t-3s，differ_1＝g_t-s-g_t-2s，其中，g_t-3s、g_t-2s和g_t-s分别表示第三图像、第二图像和第一图像中运动目标的尺度变换因子。

A)运动目标的尺度变大情况：

当满足条件：differ_1≥0且differ_2≥0，确定第t帧图像中运动目标的变化趋势为变大。

该情况的判定条件相较于“运动目标的尺度变小情况”较为宽松，其目的是牺牲部分帧率，换取更高的追踪准确率。

B)运动目标的尺度变小情况：

当满足条件：differ_1<0且differ_2<0，确定第t帧图像中运动目标的变化趋势为变小。

该情况的判定条件较为严格，即只有当尺度一直连续减小时才成立。其目的是为了尽量避免因为尺度变换因子变小的误判，运动目标无法被覆盖而追踪失败的情况。

C)其他情况：

确定第t帧图像中运动目标的变化趋势为不变。

进一步地，上述根据变化趋势，确定第t帧图像中运动目标对应的尺度变换因子，可以包括：

(1)若变化趋势为变大，则确定第t帧图像中运动目标对应的尺度变换因子为第一值，第一值为第一图像中运动目标对应的尺度变换因子与最大差值之和，最大差值为N帧图像中每相邻两帧图像中运动目标的尺度差值的最大值。

例如，第t帧图像中运动目标对应的尺度变换因子g_t为：

g_t＝g_t-s+max{differ_1,differ_2，…}，其中，max{differ_i}，i＝1,2···，为从differ_i中取最大值；g_t-s为第一图像中运动目标对应的尺度变换因子。

(2)若变化趋势为变小，则确定第t帧图像中运动目标对应的尺度变换因子为第二值，第二值为第一图像中运动目标对应的尺度变换因子与最小差值之和，最小差值为N帧图像中每相邻两帧图像中运动目标的尺度差值的最小值。

例如，第t帧图像中运动目标对应的尺度变换因子g_t为：

g_t＝g_t-s+min{differ_1,differ_2，…}，其中，min{differ_i}，i＝1,2···，为从differ_i中取最小值。

(3)若变化趋势为不变，则确定第t帧图像中运动目标对应的尺度变换因子为第一图像中运动目标对应的尺度变换因子。

即，第t帧图像中运动目标对应的尺度变换因子g_t＝g_t-s。

最后，根据运动目标的基准尺度和第t帧图像中运动目标对应的尺度变换因子，确定第t帧图像中运动目标的尺度信息，可以具体为：

由以下公式确定第t帧图像中运动目标的尺度信息：

其中，(w_b、h_b)为运动目标的基准尺度，w_b为基准尺度的宽，h_b为基准尺度的高。

可选地，对该尺度信息进行适当扩充：

其中，round()表示对数值取四舍五入。其中，第t帧图像中运动目标的尺度信息的确定流程可如图7所示。

基于以上推理与计算，得到一个以P_t(x_t,y_t)为中心点坐标，以w_g ^/、h_g ^/分别为宽、高的候选区域。

目前的大多数视觉追踪方法没有特定的应用场景，且在后续算法的改进上把大部分精力放在特征的选取和模板的设计上，而没有从每一帧位置更新的开始阶段，即候选区域的确定上，对算法或者策略进行改进；而本发明实施例提供的候选区域确定方法，填补了基于模板的视觉追踪方法中对候选区域进行预估算的空白，且基于历史尺度信息对候选区域进行估算的方法，有效地避免了相关视觉追踪方法在家居等场景下，当运动目标尺度快速变化时而候选区域不能覆盖运动目标的问题，从而提高了追踪的准确率。

本发明实施例提供的候选区域确定方法与背景技术部分提及的候选区域的确定方法相比：

背景技术部分提及的候选区域的确定方法，该方法寄希望于前后帧中运动目标相对位置变化不大、追踪实时性足够高的情景，该方法在面对运动目标移动较快、算法自身帧率较低、硬件计算能力较差等情况时，候选区域的中心很难与实际运动目标位置重合，因此，可能会出现运动目标偏离候选区域的情况，导致追踪失败。此外，目前视觉追踪方法基于上一帧运动目标的尺度变换因子确定一个较大的矩形框，作为当前帧的候选区域，该种方法一定程度上可以缓解运动目标出现在候选区域以外的问题，但是在家庭等场景下，运动目标的尺度变化较快，当运动目标快速靠近摄像头时，该方法同样存在上述问题，且在家居等场景下，该种方法会带来一些不必要的计算，降低视觉追踪的整体性能。

而以上这些问题，恰恰是本发明实施例提供的候选区域确定方法能解决的。

效果对比展示：

采用相关技术中基于模板的视觉追踪方法STAPLE算法，对9号球员进行跟踪，如图8中(a)至(f)所示，从图中可以发现，当矩形框中出现另一球员时，由于9号球员运动较快，候选区域不能及时紧随9号球员，因此，模板过多学习了不精确候选区域下的非跟踪目标(这里是指另一球员)的特征，导致追踪失败。

如图9中(a)至(f)所示，在上述STAPLE算法中加入本发明实施例提供的候选区域确定方法之后，利用运动目标的历史运动信息和历史尺度信息，使得候选区域的确定更加合理，从而使得追踪更准确。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图10为本发明一实施例提供的候选区域确定装置的结构示意图。如图10所示，本实施例提供一种候选区域确定装置100，包括：获取模块11、第一确定模块12、第二确定模块13和第三确定模块14。其中，

获取模块11，用于获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息。其中，N为大于或等于3的正整数。

第一确定模块12，用于根据N帧图像中运动目标的中心点位置，确定第t帧图像中运动目标的中心点位置。

第二确定模块13，用于根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的尺度信息。

第三确定模块14，用于根据第t帧图像中运动目标的中心点位置和尺度信息，确定第t帧图像对应的候选区域。

本发明实施例提供的装置可以执行上述方法实施例所示的技术方案，其实现原理以及有益效果类似，此处不再进行赘述。

图11为本发明另一实施例提供的候选区域确定装置的结构示意图。如图11所示，在图10所示结构的基础上，在候选区域确定装置110中，进一步地，第一确定模块12可以包括：第一确定子模块121、第二确定子模块122和第三确定子模块123。其中：

第一确定子模块121，用于根据N帧图像中运动目标的中心点位置，确定运动目标的运动轨迹及第一运动速度，该第一运动速度为运动目标在第一图像至第t帧图像期间对应的速度，第一图像为N帧图像中，与第t帧图像的发生时间最接近的图像。

第二确定子模块122，用于根据该第一运动速度，确定运动目标在第一图像至第t帧图像期间移动的第一距离。

第三确定子模块123，用于根据运动轨迹、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置。

可选地，第一确定子模块121可具体用于：根据N帧图像中运动目标的中心点位置，拟合运动目标的运动轨迹；根据第三图像、第二图像和第一图像这三帧中运动目标的中心点位置，确定运动目标在第三图像至第二图像期间移动的第二距离，以及运动目标在第二图像至第一图像期间移动的第三距离，第二图像和第三图像分别为N帧图像中，与第t帧图像的发生时间第二接近、第三接近的图像；根据第二距离，确定运动目标在第三图像至第二图像期间对应的第二运动速度；根据第三距离，确定运动目标在第二图像至第一图像期间对应的第三运动速度；根据第三运动速度和第二运动速度，确定运动目标的第一运动速度。

可选地，第三确定子模块123可以具体用于：根据运动轨迹，确定运动目标的运动方向；根据运动方向、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置。

或者，第三确定子模块123可以具体用于：确定运动轨迹在第一图像中运动目标的中心点位置处的切线方程；根据切线方程、第一图像中运动目标的中心点位置及第一距离，确定第t帧图像中运动目标的中心点位置。

一些实施例中，第二确定模块13可以包括：第四确定子模块131、第五确定子模块132和第六确定子模块133。其中：

第四确定子模块131，用于根据N帧图像中运动目标的尺度信息，确定第t帧图像中运动目标的变化趋势。

第五确定子模块132，用于根据该变化趋势，确定第t帧图像中运动目标对应的尺度变换因子。

第六确定子模块133，用于根据运动目标的基准尺度和第t帧图像中运动目标对应的尺度变换因子，确定第t帧图像中运动目标的尺度信息。

可选地，第四确定子模块131可以具体用于：

若根据N帧图像中运动目标的尺度信息，确定N帧图像中运动目标逐渐变大或保持不变，则确定第t帧图像中运动目标的变化趋势为变大；

若根据N帧图像中运动目标的尺度信息，确定N帧图像中运动目标逐渐变小，则确定第t帧图像中运动目标的变化趋势为变小；

否则，确定第t帧图像中运动目标的变化趋势为不变。

可选地，第五确定子模块132可以具体用于：

若变化趋势为变大，则确定第t帧图像中运动目标对应的尺度变换因子为第一值，第一值为第一图像中运动目标对应的尺度变换因子与最大差值之和，最大差值为N帧图像中每相邻两帧图像中运动目标的尺度差值的最大值；

或者，若变化趋势为变小，则确定第t帧图像中运动目标对应的尺度变换因子为第二值，第二值为第一图像中运动目标对应的尺度变换因子与最小差值之和，最小差值为N帧图像中每相邻两帧图像中运动目标的尺度差值的最小值；

或者，若变化趋势为不变，则确定第t帧图像中运动目标对应的尺度变换因子为第一图像中运动目标对应的尺度变换因子。其中，第一图像为N帧图像中，与第t帧图像的发生时间最接近的图像。

在上述任一实施例中，当图像对应的帧率大于预设帧率时，N帧图像中每相邻两个图像的实际间隔帧数为s，s为大于1的正整数。

图12为本发明又一实施例提供的候选区域确定装置的结构示意图。如图12所示，候选区域确定装置200包括：处理器21，该处理器21与存储器22耦合。其中：

存储器22，用于存储计算机程序。

处理器21，用于调用并执行存储器22中存储的计算机程序，以使得候选区域确定装置200执行上述任一方法实施例所述的方法。

本发明实施例提供一种可读存储介质，该计算机存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例所述的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明实施例的技术方案，而非对其限制；尽管参照前述各实施例对本发明实施例进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例方案的范围。

Claims (9)

1.一种候选区域确定方法，其特征在于，包括：

获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，其中，N为大于或等于3的正整数；

根据所述N帧图像中运动目标的中心点位置，确定所述运动目标的运动轨迹及第一运动速度，所述第一运动速度为所述运动目标在第一图像至所述第t帧图像期间对应的速度，所述第一图像为所述N帧图像中，与所述第t帧图像的发生时间最接近的图像；

根据所述第一运动速度，确定所述运动目标在所述第一图像至所述第t帧图像期间移动的第一距离；

根据所述运动轨迹、所述第一图像中所述运动目标的中心点位置及所述第一距离，确定第t帧图像中所述运动目标的中心点位置；

根据所述N帧图像中运动目标的尺度信息，确定所述第t帧图像中所述运动目标的尺度信息；

根据所述第t帧图像中所述运动目标的中心点位置和尺度信息，确定所述第t帧图像对应的候选区域。

2.根据权利要求1所述的方法，其特征在于，所述根据所述N帧图像中运动目标的中心点位置，确定所述运动目标的运动轨迹及第一运动速度，包括：

根据所述N帧图像中运动目标的中心点位置，拟合所述运动目标的运动轨迹；

根据第三图像、第二图像和所述第一图像这三帧中所述运动目标的中心点位置，确定所述运动目标在所述第三图像至所述第二图像期间移动的第二距离，以及所述运动目标在所述第二图像至所述第一图像期间移动的第三距离，所述第二图像和所述第三图像分别为所述N帧图像中，与所述第t帧图像的发生时间第二接近、第三接近的图像；

根据所述第二距离，确定所述运动目标在所述第三图像至所述第二图像期间对应的第二运动速度；

根据所述第三距离，确定所述运动目标在所述第二图像至所述第一图像期间对应的第三运动速度；

根据所述第三运动速度和所述第二运动速度，确定所述运动目标的第一运动速度。

3.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹、所述第一图像中所述运动目标的中心点位置及所述第一距离，确定第t帧图像中所述运动目标的中心点位置，包括：

根据所述运动轨迹，确定所述运动目标的运动方向；

根据所述运动方向、所述第一图像中所述运动目标的中心点位置及所述第一距离，确定第t帧图像中所述运动目标的中心点位置。

4.根据权利要求1所述的方法，其特征在于，所述根据所述运动轨迹、所述第一图像中所述运动目标的中心点位置及所述第一距离，确定第t帧图像中所述运动目标的中心点位置，包括：

确定所述运动轨迹在所述第一图像中所述运动目标的中心点位置处的切线方程；

根据所述切线方程、所述第一图像中所述运动目标的中心点位置及所述第一距离，确定第t帧图像中所述运动目标的中心点位置。

5.根据权利要求1所述的方法，其特征在于，所述根据所述N帧图像中运动目标的尺度信息，确定所述第t帧图像中所述运动目标的尺度信息，包括：

根据所述N帧图像中运动目标的尺度信息，确定所述第t帧图像中所述运动目标的变化趋势；

根据所述变化趋势，确定所述第t帧图像中所述运动目标对应的尺度变换因子；

根据所述运动目标的基准尺度和所述第t帧图像中所述运动目标对应的尺度变换因子，确定所述第t帧图像中所述运动目标的尺度信息。

6.根据权利要求5所述的方法，其特征在于，所述根据所述N帧图像中运动目标的尺度信息，确定所述第t帧图像中所述运动目标的变化趋势，包括：

若根据所述N帧图像中运动目标的尺度信息，确定所述N帧图像中所述运动目标逐渐变大或保持不变，则确定所述第t帧图像中所述运动目标的变化趋势为变大；

若根据所述N帧图像中运动目标的尺度信息，确定所述N帧图像中所述运动目标逐渐变小，则确定所述第t帧图像中所述运动目标的变化趋势为变小；

否则，确定所述第t帧图像中所述运动目标的变化趋势为不变。

7.根据权利要求5所述的方法，其特征在于，所述根据所述变化趋势，确定所述第t帧图像中所述运动目标对应的尺度变换因子，包括：

若所述变化趋势为变大，则确定所述第t帧图像中所述运动目标对应的尺度变换因子为第一值，所述第一值为第一图像中所述运动目标对应的尺度变换因子与最大差值之和，所述最大差值为N帧图像中每相邻两帧图像中所述运动目标的尺度差值的最大值；

或者，若所述变化趋势为变小，则确定所述第t帧图像中所述运动目标对应的尺度变换因子为第二值，所述第二值为所述第一图像中所述运动目标对应的尺度变换因子与最小差值之和，所述最小差值为N帧图像中每相邻两帧图像中所述运动目标的尺度差值的最小值；

或者，若所述变化趋势为不变，则确定所述第t帧图像中所述运动目标对应的尺度变换因子为所述第一图像中所述运动目标对应的尺度变换因子；

其中，所述第一图像为所述N帧图像中，与所述第t帧图像的发生时间最接近的图像。

8.根据权利要求1至7任一项所述的方法，其特征在于，当图像对应的帧率大于预设帧率时，所述N帧图像中每相邻两个图像的实际间隔帧数为s，s为大于1的正整数。

9.一种候选区域确定装置，其特征在于，包括：

获取模块，用于获取发生在第t帧图像之前的N帧图像中运动目标的中心点位置和尺度信息，其中，N为大于或等于3的正整数；

第一确定模块，用于根据所述N帧图像中运动目标的中心点位置，确定第t帧图像中所述运动目标的中心点位置；

第二确定模块，用于根据所述N帧图像中运动目标的尺度信息，确定所述第t帧图像中所述运动目标的尺度信息；

第三确定模块，用于根据所述第t帧图像中所述运动目标的中心点位置和尺度信息，确定所述第t帧图像对应的候选区域；

所述第一确定模块具体用于：

根据所述N帧图像中运动目标的中心点位置，确定所述运动目标的运动轨迹及第一运动速度，所述第一运动速度为所述运动目标在第一图像至所述第t帧图像期间对应的速度，所述第一图像为所述N帧图像中，与所述第t帧图像的发生时间最接近的图像；

根据所述第一运动速度，确定所述运动目标在所述第一图像至所述第t帧图像期间移动的第一距离；

根据所述运动轨迹、所述第一图像中所述运动目标的中心点位置及所述第一距离，确定第t帧图像中所述运动目标的中心点位置。

Images