CN108198199A - 运动物体跟踪方法、运动物体跟踪装置和电子设备 - Google Patents

Abstract

公开了一种运动物体跟踪方法、运动物体跟踪装置和电子设备。所述运动物体跟踪方法包括：接收由第一成像设备在当前朝向角度所拍摄的当前帧图像；获取由所述第一成像设备所拍摄的先前帧图像；对所述当前帧图像与所述先前帧图像进行差分处理；根据差分处理的结果图像来确定运动物体在所述当前帧图像中的当前图像位置；以及，根据所述当前图像位置来确定所述第一成像设备拍摄后续帧图像的步进偏转角度。因此，可以使得图像帧的差分处理能够用于实现运动物体的大范围、高可靠性和低成本跟踪。

Description

运动物体跟踪方法、运动物体跟踪装置和电子设备

技术领域

本申请涉及图像处理领域，且更为具体地，涉及一种运动物体跟踪方法、 运动物体跟踪装置和电子设备。

背景技术

随着图像处理技术的发展，越来越多的应用涉及对于某一目标的检 测、识别、跟踪等。通过提取、跟踪场景中的目标，可以记录目标的轨 迹，并通过计算机处理，可以进一步获得目标活动的分析结果。典型的应 用场景包括体育运动(如篮球、网球、航模等)、演出、聚会等很多自动目 标跟拍方面。通过自动跟踪移动目标，不需要专人守候做摄像机/手机的视 角调整，从而能够高效地获取目标图像。

此外，移动目标跟踪在监控等领域的研究和应用也越来越多。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种运 动物体跟踪方法、运动物体跟踪装置和电子设备，其可以使得图像帧的差分 处理能够用于实现运动物体的大范围、高可靠性和低成本跟踪。

根据本申请的一个方面，提供了一种运动物体跟踪方法，包括：接收由 第一成像设备在当前朝向角度所拍摄的当前帧图像；获取由所述第一成像设 备所拍摄的先前帧图像；对所述当前帧图像与所述先前帧图像进行差分处理； 根据差分处理的结果图像来确定运动物体在所述当前帧图像中的当前图像 位置；以及，根据所述当前图像位置来确定所述第一成像设备拍摄后续帧图 像的步进偏转角度。

根据本申请的又一方面，提供了一种运动物体跟踪装置，包括：当前帧 接收单元，用于接收由第一成像设备在当前朝向角度所拍摄的当前帧图像； 先前帧获取单元，用于获取由所述第一成像设备所拍摄的先前帧图像；差分 处理单元，用于对所述当前帧图像与所述先前帧图像进行差分处理；物体位 置确定单元，用于根据差分处理的结果图像来确定运动物体在所述当前帧图 像中的当前图像位置；以及，步进角度确定单元，用于根据所述当前图像位 置来确定所述第一成像设备拍摄后续帧图像的步进偏转角度。

根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及， 存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被 所述处理器运行时使得所述处理器执行如上所述的运动物体跟踪方法。

根据本申请的又一方面，通过了一种计算机可读存储介质，其上存储有 计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执 行如上所述的运动物体跟踪方法。

与现有技术相比，采用根据本申请实施例的运动物体跟踪方法、运动物 体跟踪装置和电子设备，可以接收由第一成像设备在当前朝向角度所拍摄的 当前帧图像；获取由所述第一成像设备所拍摄的先前帧图像；对所述当前帧 图像与所述先前帧图像进行差分处理；根据差分处理的结果图像来确定运动 物体在所述当前帧图像中的当前图像位置；以及，根据所述当前图像位置来 确定所述第一成像设备拍摄后续帧图像的步进偏转角度。这样，可以使得图 像帧的差分处理成为可能，以用于确定运动物体的位置，从而实现运动物体 的大范围、高可靠性和低成本跟踪。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其 他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一 步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请， 并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或 步骤。

图1图示了根据本申请实施例的运动物体跟踪方法的流程图。

图2A和图2B图示了当前帧图像和先前帧图像的示例的示意图。

图3图示了二值化处理之后的图像的示例的示意图。

图4图示了形态学处理之后的图像的示例的示意图。

图5图示了确定运动物体的轮廓的图像的示例的示意图。

图6A到图6D图示了确定第一成像设备所拍摄的运动物体的连续四帧 图像的示例的示意图。

图7图示了第一成像设备的两个朝向角度的示例的示意图。

图8图示了根据本申请实施例的运动物体跟踪装置的框图。

图9图示了根据本申请实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述 的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理 解，本申请不受这里描述的示例实施例的限制。

申请概述

移动目标跟踪的方法主要可以分为以下两类：特征法和帧差法。

特征法包括基于特征的统计学习的识别算法、基于像素的图像特征的识 别算法、基于神经网络的学习算法等，范围非常广泛。该方法的特点是通过 被追踪物体本身的视觉特征来识别物体并追踪，对于相机在运动的场景有效， 目标保持不动也可输出结果。但是，该方法的计算复杂度非常高，另外由于 运动目标一般在不同角度图像特点都不一样，常常需要对于运动目标各个角 度都需要做训练，或结合光流、神经网络等多种方法实现对目标的追踪，且 结果可能会出错，有一定的误检测率。另外，由于算法设计非常复杂，计算 的性能要求也非常高，需要运算性能更高的ARM处理器，结合专用DSP或 者专用加速处理芯片来完成，硬件成本高。

帧差法(又称帧间差分方法)是在连续的图像序列中的两个或几个相邻 帧之间作差来提取出图像中的运动区域。相比特征法，帧差法的特点是算法 简单且可靠性高，有运动即可追踪，且计算复杂度很低(更低硬件成本)，使 用低端ARM处理器或者中高性能MCU即可实现相关算法。因为上述特点， 帧差法在实际场景已经取得大量应用。但是，在对于运动目标自动跟拍时， 由于相机往往是在随拍摄目标运动的，此时帧差法就会失效。

针对上述技术问题，本申请的构思是提出一种运动物体跟踪方法、运动 物体跟踪装置和电子设备，其通过使用图像帧的差分处理来确定运动物体在 图像中的当前位置，并使用所述位置确定用于拍摄图像的成像设备的步进偏 转角度，以便该成像设备可以在短时间内迅速完成该角度偏转，以保证后续 帧差算法的可行。因此，即使对于跟拍运动物体的成像设备，也可以使用帧 差法来确定运动物体的位置，从而实现运动物体的大范围、高可靠性和低成 本跟踪。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的 各种非限制性实施例。

示例性方法

图1图示了根据本申请实施例的运动物体跟踪方法的流程图。

如图1所示，根据本申请实施例的运动物体跟踪方法包括：S110，接收 由第一成像设备在当前朝向角度所拍摄的当前帧图像；S120，获取由所述第 一成像设备所拍摄的先前帧图像；S130，对所述当前帧图像与所述先前帧图 像进行差分处理；S140，根据差分处理的结果图像来确定运动物体在所述当 前帧图像中的当前图像位置；以及S150，根据所述当前图像位置来确定所述 第一成像设备拍摄后续帧图像的步进偏转角度。

帧差法的使用需要用于跟踪运动物体的成像设备保持不动，即朝向角度 固定不变，以便在相邻帧之间检测运动物体、而不受其他噪声干扰。但是， 在跟踪运动物体的情况下，随着物体的大范围运动，用于拍摄物体的成像设 备本身也可能需要随之移动，例如，跟踪运动物体的移动发生角度偏转。因 此，在根据本申请实施例的运动物体跟踪方法中，可以首先利用帧差法获得 运动物体在图像中的位置，再基于所述位置来确定成像设备拍摄后续图像的 步进偏转角度，并让成像设备在短时间内迅速完成该角度偏转，以保证后续帧差算法的可行，从而既可以利用帧差法的优点，又可以应用于成像设备运 动的场景，实现对于运动物体的跟踪。

下面，将详细地描述各个步骤。

在步骤S110中，接收由第一成像设备在当前朝向角度所拍摄的当前帧 图像。

也就是说，针对运动物体，为了使用帧差法确定其位置，第一成像设备 在当前朝向角度拍摄物体，并得到当前帧图像。

在步骤S120中，获取由所述第一成像设备所拍摄的先前帧图像。

例如，可以在拍摄了运动物体的当前帧图像之后、之前或者与之同时地， 从所述第一成像设备的存储器或其他存储位置中读取所拍摄的先前帧图像。 取决于成像设备的成像速度和跟踪算法的精度，所述先前帧图像可以是与当 前帧图像紧邻的上一图像帧，也可以是与其间隔一帧或几帧的图像帧。

此外，所述先前帧图像可能是所述第一成像设备以与所述当前朝向角度 相同的先前朝向角度拍摄的图像帧，即，所述第一成像设备在获取当前帧图 像和先前帧图像的过程中保持静止。替换地，所述先前帧图像也可能是所述 第一成像设备以不同于所述当前朝向角度的先前朝向角度拍摄的帧图像，即， 所述第一成像设备在获取当前帧图像和先前帧图像的过程中发生了移动。

在步骤S130中，对所述当前帧图像与所述先前帧图像进行差分处理。

如上所述，理想上来说，使用帧差法需要所述第一成像设备拍摄所述先 前帧图像的所述先前朝向角度与拍摄所述当前帧图像的所述当前朝向角度 完全相同。即，希望所述第一成像设备在获取当前帧图像和先前帧图像的过 程中保持绝对静止，使得该当前帧图像和先前帧图像中的背景部分保持不变， 从而可以很好地对两帧图像进行差分处理，去除静止的背景部分以识别运动 物体。

但是，在实践中，如果两个朝向角度之间的差异很小，例如，仅有几度 或零点几度的差异，则所述第一成像设备的移动对于运动物体在图像中的位 置也可以忽略。或者，可以通过对于当前帧图像和先前帧图像进行一些预定 处理，比如通过图像裁剪处理来去除两个图像帧的边缘部分或仅关注图像的 中间区域进行差分，来消除所述第一成像设备的微小角度偏转所造成的影响。 这样，根据本申请实施例的运动物体跟踪方法还可以排除成像设备的角度偏 转上的一些微小的扰动，例如由于机械暗转原因导致的微小偏转或环境振动， 从而仍然可以使用帧差法来确定运动物体在图像中的位置，以跟踪运动物体。

当然，如果第一成像设备在拍摄两帧图像时产生的偏转角度较大，则两 帧图像之间的背景部分将存在很大差异，这时帧差法就会失效。

因此，在根据本申请实施例的运动物体跟踪方法中，对所述当前帧图像 与所述先前帧图像进行差分处理可以包括：判断所述第一成像设备拍摄所述 先前帧图像的先前朝向角度与所述当前朝向角度之间的差值是否小于或等 于预定阈值；以及，响应于所述先前朝向角度与所述当前朝向角度之间的差 值小于或等于所述预定阈值，对所述当前帧图像与所述先前帧图像进行差分 处理。

此外，对所述当前帧图像与所述先前帧图像进行差分处理还可以包括： 响应于所述先前朝向角度与所述当前朝向角度之间的差值大于所述预定阈 值，存储所述当前帧图像，作为新的上一帧图像，并且回到步骤S110继续 执行，以接收新的当前帧图像。

在步骤S140中，根据差分处理的结果图像来确定运动物体在所述当前 帧图像中的当前图像位置。

下面，将结合图2A到图5来具体说明如何对两帧图像进行差分处理以 及根据差分处理结果来确定运动物体在图像中的位置的详细过程。

图2A和图2B图示了当前帧图像和先前帧图像的示例的示意图。如图 2A和图2B所示，首先获得相邻的两帧原始图像。然后，对两帧原始图像进 行帧差分处理，即，在两帧图像之间作差。接下来，对差分处理后的结果图 像进行二值化，二值化处理的结果图像如图3所示。图3图示了二值化处理 之后的图像的示例的示意图。接下来，查找二值化处理的结果图像中的连通 域。这里，为了防止帧差法不能完全提取出所有相关的特征点，从而在颜色单一的运动体内产生空洞，可以采用一些图像的形态学处理来克服。即，可 以对二值化处理的结果图像进行形态学处理，比如进行图像的腐蚀与膨胀处 理，从而消除小的单通区域和复连通的区域噪点，形态学处理的结果图像如 图4所示。图4图示了形态学处理之后的图像的示例的示意图。最后，通过 连通域找到的运动区域，即为跟踪目标。并且，可以基于连通域确定跟踪目 标的轮廓，从而确定运动物体在当前帧图像中的位置，如图5所示。图5图示了确定运动物体的轮廓的图像的示例的示意图。

因此，在根据本申请实施例的运动物体跟踪方法中，根据差分处理的结 果图像来确定运动物体在所述当前帧图像中的当前图像位置可以包括：对所 述差分处理的结果图像进行二值化处理；查找二值化处理的结果图像中的连 通域；以及，根据所述连通域来确定所述当前图像位置。

并且，在根据本申请实施例的运动物体跟踪方法中，查找二值化处理的 结果图像中的连通域可以包括：对所述二值化处理的结果图像进行形态学处 理；以及，在形态学处理的结果图像中查找所述连通域。

另外，在根据本申请实施例的运动物体跟踪方法中，根据所述连通域来 确定所述当前图像位置可以包括：根据所述连通域来确定所述运动物体在所 述当前帧图像中的坐标集合；根据所述运动物体的形态来确定各个坐标的目 标权重；以及，根据所述连通域的坐标集合和各个坐标的目标权重来确定所 述当前图像位置。

也就是说，通过提取当前帧图像与先前帧图像进行图像帧的差分处理， 并进行形态学处理，可查找连通域以获得运动物体在当前帧图像中的坐标集 合(X,Y)，然后，可以计算目标权重以确定追踪目标坐标(x,y)。例如，简单地， 可以将各个坐标的目标权重设置为相等。替换地，也可以根据不同坐标所代 表的不同物理意义来为它们分配不同的权重值。

在步骤S150中，可以根据所述当前图像位置来确定所述第一成像设备 拍摄后续帧图像的步进偏转角度。

接下来，可以进一步判断运动物体的坐标(x,y)与当前帧图像的特定区域 的参考位置(xc,yc)之间的距离是否超出阈值，即当前图像位置是否位于当前 帧图像的特定区域中。所述特定区域可以是适于使用帧差法来确定运动物体 在图像中的位置的区域，其可以小于第一成像设备的成像区域。一旦运动物 体超出该特定区域，则表明存在以下风险，即如果该运动物体继续运动，则 可能超出第一成像设备的成像区域，从而导致后续的帧差法失效。例如，通 常来说，为了很好地观察运动物体、防止成像畸变，往往希望将该运动物体放置在图像帧的中间位置。即，该特定区域可以是图像帧的中心区域，而该 参考位置可以是图像帧的中心点。例如，在将图像帧划分为九宫格时，该特 定区域可以是图像帧的中间格区域，而该参考位置可以是中间格区域的中心 点。当然，该本申请的实施例不限于此。该特定区域和参考位置都可以根据 需要来个性化设置。例如，该特定区域也可以是九宫格的左上格区域，而该 参考位置可以是左上格区域的右下角点。替换地，在一个简单情况下，该特 定区域也可以是第一成像设备的成像区域本身，即该特定区域就是整个图像 帧区域。这时，一旦运动物体超出该特定区域，则说明该运动物体已经超出 第一成像设备的成像区域。

如果判断结果指示出所述距离并未超出预定阈值，说明运动物体还在适 于使用帧差法的第一成像设备的预定成像范围内，可以在当前朝向角度下继 续追踪。否则，说明运动物体可能会移动到所述第一成像设备的预定成像范 围之外，造成后续的帧差法失效。

为了使得能够继续使用帧差法来确定运动物体在图像中的位置，需要偏 转第一成像设备使得将运动物体保持在其预定成像范围内。因此，需要根据 运动物体的当前坐标(x,y)与当前帧图像的图像中心之间的距离的大小，控制 第一成像设备旋转相应角度(ΔθX,ΔθY)。

也就是说，在根据本申请实施例的运动物体跟踪方法中，根据所述当前 图像位置来确定所述第一成像设备拍摄后续帧图像的步进偏转角度可以包 括：判断所述当前图像位置是否位于所述当前帧图像中的特定区域；响应于 所述当前图像位置位于所述当前帧图像中的特定区域，将所述步进偏转角度 确定为零；以及，响应于所述当前图像位置超出所述当前帧图像中的特定区 域，根据所述当前图像位置和所述特定区域来确定所述步进偏转角度。

并且，在根据本申请实施例的运动物体跟踪方法中，根据所述当前图像 位置和所述特定区域来确定所述步进偏转角度可以包括：计算所述当前图像 位置与所述特定区域的参考位置之间的像素距离；以及，根据所述像素距离 和所述第一成像设备的每像素视角值来计算所述步进偏转角度。所述步进偏 转角度可以包括水平方向上的水平步进偏转角度和垂直方向上的垂直步进 偏转角度。

例如，在实际确定步进偏转角度的过程中，可以根据运动物体在当前帧 图像中的当前图像位置和特定区域的参考位置之间的像素距离计算所述第 一成像设备的步进偏转角度(ΔθX,ΔθY)。这里，运动物体的当前图像位置的 坐标为(x,y)，当前帧图像的特定区域的参考位置(例如，假设图像中心点) 的坐标为(xc,yc)，则所述第一成像设备的步进偏转角度为(ΔθX,ΔθY)可以如 下式所示地计算：

ΔθX＝(x-xc)×Kp

ΔθY＝(y-yc)×Kp

其中，Kp是所述第一成像设备的每像素视角值，即所述第一成像设备的单位 像素对应的实际物理视角。

并且，上述第一成像设备的步进偏转角度为(ΔθX,ΔθY)分别表示水平方 向上的水平步进偏转角度ΔθX和垂直方向上的垂直步进偏转角度ΔθY。

在获得了所述第一成像设备的步进偏转角度之后，需要控制所述第一设 成像设备以所述步进偏转角度偏转。在根据本申请实施例的运动物体跟踪方 法中，通过向所述第一成像设备的第一转动控制部件输出所述步进偏转角度， 以触发所述第一转动控制部件在预定时间内将所述第一成像设备从所述当 前朝向角度偏转所述步进偏转角度。这里，步进偏转角度涉及用于通过步进 方式控制角度的偏转，便于在短时间内进行精确可控的瞬时角度移动。也就 是说，在步进式的角度偏转中，转动是突发性的、而非连续的，转动的角度 具有较大的角度间隔，以实现快速的角度偏转。即，所述步进偏转角度大于 第一角度阈值。同时，该步进偏转角度还可以小于第二角度阈值，以使得转 动完成后的图像与先前的图像之间存在一定的重叠区域。

具体地，可以采用步进电机来进行步进式的角度控制。也就是说，在根 据本申请实施例的运动物体跟踪方法中，所述第一转动控制部件是步进电机， 所述步进电机与所述第一成像设备的转动轴机械连接。

图6A到图6D图示了确定第一成像设备所拍摄的运动物体的连续四帧 图像的示例的示意图。图7图示了第一成像设备的两个朝向角度的示例的示 意图。

如图7所示，运动物体从A点持续运动到B点，该第一成像设备在第 一朝向角度下对该运动物体进行持续拍摄，得到了一系列的图像帧，如图6A 到图6C所示，可以看出，该运动物体的坐标(x,y)从图像帧的中心位置(xc,yc) 逐渐移动到图像帧的边缘位置，即将超出第一成像设备的成像区域。此时， 返回参考图7，为了保证后续的帧差法继续有效，可以驱动该第一成像设备 产生一定角度的步进偏转，从第一朝向角度切换到第二朝向角度，以将该运 动物体重新置于成像区域的中心，如图6D所示。在得到图6D的图像帧时， 由于与之相邻的先前图像帧是第一朝向角度下拍摄的，所以无法立即启动帧 差法来跟踪运动物体。这时，可以等到在该第二朝向角度下拍摄到第二帧图 像时，再基于这两个图像帧，执行帧差法来实现运动物体的继续跟踪。

进一步地，在包括体育运动等应用目的的目标跟拍时，往往希望将运动 物体始终保持在画面的中心，以实现较佳的观影体验。然而，上述的第一成 像设备为了实现帧差，希望其更多地保持拍摄角度不变，不能用于实时地追 踪物体移动拍摄。因此，在本申请的实施例中，可以额外地设置第二成像设 备用于实现上述功能。例如，该第二成像设备可以利用第一成像设备所获得 的运动物体的位置坐标来对运动物体进行连续跟拍。也就是说，在根据本申 请实施例的运动物体跟踪方法中，所述第二成像设备可以不同于所述第一成 像设备，其用于连续拍摄所述运动物体的成像设备。

为此，在根据本申请实施例的运动物体跟踪方法中，可以基于所述运动 物体的当前图像位置、所述第一成像设备的每像素视角值和所述当前朝向角 度来确定所述运动物体在世界坐标系下的当前空间位置。

例如，令运动物体的当前图像位置的坐标为(x,y)，当前帧图像的特定区 域的参考位置的坐标为(xc,yc)，所述第一成像设备的每像素视角值为Kp，所 述第一成像设备的当前朝向角度为(θcamX,θcamY)，则所述运动物体在世界 坐标系下的当前空间位置(追踪目标角度)可以由下式表示：

θtargetX＝θcamX+(x-xc)×Kp

θtargetY＝θcamY+(x-xc)×Kp

然后，在获得了运动物体的目标角度之后，可以进一步基于所述目标角 度控制所述第二成像设备来实现对于运动物体的持续追拍。具体来说，在根 据本申请实施例的运动物体跟踪方法中，可以将第二成像设备的当前朝向角 度为(θcamX′,θcamY′)实时地设置为等于所述运动物体在世界坐标系下的当 前空间位置(θtargetX,θtargetY)，以使得第二成像设备始终对准该运动物体。 为此，可以计算第二成像设备的当前朝向角度为(θcamX′,θcamY′)与所述运 动物体在世界坐标系下的当前空间位置(θtargetX,θtargetY)之间的差值，作 为第二成像设备的连续偏转角度(ΔθX,ΔθY)。替换地，也可以将所述第二成 像设备的连续偏转角度为(ΔθX′,ΔθY′)直接设置为所述第一成像设备的步进 偏转角度(ΔθX,ΔθY)。不过这里，为了实时地调整该第二成像设备，该步进 偏转角度为(ΔθX,ΔθY)可以针对每一帧图像都执行，而无需判断所述当前图 像位置是否超出所述当前帧图像中的特定区域。

也就是说，在根据本申请实施例的运动物体跟踪方法中，可以进一步包 括：据所述当前图像位置、所述第一成像设备的每像素视角值、和所述当前 朝向角度来计算所述运动物体在世界坐标系下的当前空间。

并且，在根据本申请实施例的运动物体跟踪方法中，可以进一步包括： 根据所述当前空间位置和所述第二成像设备的当前朝向角度来计算所述第 二成像设备的连续偏转角度；以及，向所述第二成像设备的第二转动控制部 件输出所述连续偏转角度，以触发所述第二转动控制部件将所述第二成像设 备从所述当前朝向位置偏转所述连续偏转角度，所述连续偏转角度小于角度 阈值。也就是说，在连续式的角度偏转中，转动是连续性的，转动的角度具 有较小的角度间隔，即，所述步进偏转角度小于第一角度阈值，以实现平滑 的角度偏转。

并且，在上述运动物体跟踪方法中，所述第二转动控制部件是无刷电机， 所述无刷电机与所述第二成像设备的转动轴机械连接。例如，该第二成像设 备可以布置在云台上，该无刷电机可以控制云台平稳旋转，以调节第二成像 设备的朝向角度，从而持续、不间断地追踪目标进行拍摄、录像、或者直播 等活动。

这里，本领域技术人员可以理解，根据控制所述第二成像设备的转动的 第二转动控制部件的不同，连续偏转角度也并不一定是绝对的连续量。也就 是说，连续偏转角度也可能是离散量，只不过相对于上述步进偏转角度来说， 其每次偏转的角度间隔较小。因此，在根据本申请实施例的运动物体跟踪方 法中，定义所述步进偏转角度大于一角度阈值，而所述连续偏转角度小于该 角度阈值，从而区分成像设备的步进偏转和连续偏转两种不同运动方式。

这样，根据本申请实施例的运动物体跟踪方法使得基于帧间差分的跟踪 方法可以用于跟拍，解决了现有的帧差法无法用于需要跟随运动物体的运动 而转动的成像设备的问题。并且，相比于目前采用的基于特征的统计学习的 识别算法或特征统计结合光流/神经网络算法的追踪方法，算法简单，且可靠 性高，有运动即可追踪。而且，因为大幅减小了算法设计的复杂程度，降低 了运算量，也可以采用成本更低的硬件设备。

示例性装置

图8图示了根据本申请实施例的运动物体跟踪装置的框图。

如图8所示，根据本申请实施例的运动物体跟踪装置200包括：当前帧 接收单元210，用于接收由第一成像设备在当前朝向角度所拍摄的当前帧图 像；先前帧获取单元220，用于获取由所述第一成像设备所拍摄的先前帧图 像；差分处理单元230，用于对所述当前帧接收单元210接收的当前帧图像 与所述先前帧获取单元220获得的先前帧图像进行差分处理；物体位置确定 单元240，用于根据所述差分处理单元230的差分处理的结果图像来确定运 动物体在所述当前帧图像中的当前图像位置；以及步进角度确定单元250， 用于根据所述物体位置确定单元240确定的当前图像位置来确定所述第一成 像设备拍摄后续帧图像的步进偏转角度。

在一个示例中，在所述运动物体跟踪装置200中，所述差分处理单元230 可以用于：判断所述第一成像设备拍摄所述先前帧图像的先前朝向角度与所 述当前朝向角度之间的差值是否小于或等于预定阈值；以及，响应于所述先 前朝向角度与所述当前朝向角度之间的差值小于或等于所述预定阈值，对所 述当前帧图像与所述先前帧图像进行差分处理。

在一个示例中，在所述运动物体跟踪装置200中，所述物体位置确定单 元240可以用于：对所述差分处理的结果图像进行二值化处理；查找二值化 处理的结果图像中的连通域；以及，根据所述连通域来确定所述当前图像位 置。

在一个示例中，在所述运动物体跟踪装置200中，所述物体位置确定单 元240查找二值化处理的结果图像中的连通域可以包括：对所述二值化处理 的结果图像进行形态学处理；以及，在形态学处理的结果图像中查找所述连 通域。

在一个示例中，在所述运动物体跟踪装置200中，所述物体位置确定单 元240根据所述连通域来确定所述当前图像位置可以包括：根据所述连通域 来确定所述运动物体在所述当前帧图像中的坐标集合；根据所述运动物体的 形态来确定各个坐标的目标权重；以及，根据所述连通域的坐标集合和各个 坐标的目标权重来确定所述当前图像位置。

在一个示例中，在所述运动物体跟踪装置200中，所述步进角度确定单 元250可以用于：判断所述当前图像位置是否位于所述当前帧图像中的特定 区域；响应于所述当前图像位置位于所述当前帧图像中的特定区域，将所述 步进偏转角度确定为零；以及，响应于所述当前图像位置超出所述当前帧图 像中的特定区域，根据所述当前图像位置和所述特定区域来确定所述步进偏 转角度。

在一个示例中，在所述运动物体跟踪装置200中，步进角度确定单元250 根据所述当前图像位置和所述特定区域来确定所述步进偏转角度可以包括： 计算所述当前图像位置与所述特定区域的参考位置之间的像素距离；以及， 根据所述像素距离和所述第一成像设备的每像素视角值来计算所述步进偏 转角度。

在一个示例中，在所述运动物体跟踪装置200中，所述步进偏转角度可 以包括水平方向上的水平步进偏转角度和垂直方向上的垂直步进偏转角度。

在一个示例中，在所述运动物体跟踪装置200中，可以进一步包括偏转 控制单元，用于向所述第一成像设备的第一转动控制部件输出所述步进偏转 角度，以触发所述第一转动控制部件在预定时间内将所述第一成像设备从所 述当前朝向角度偏转所述步进偏转角度，所述步进偏转角度大于角度阈值。

在一个示例中，在所述运动物体跟踪装置200中，所述第一转动控制部 件可以是步进电机，所述步进电机与所述第一成像设备的转动轴机械连接。

在一个示例中，在所述运动物体跟踪装置200中，可以进一步包括空间 位置计算单元，用于根据所述当前图像位置、所述第一成像设备的每像素视 角值、和所述当前朝向角度来计算所述运动物体在世界坐标系下的当前空间 位置。

在一个示例中，在所述运动物体跟踪装置200中，可以进一步包括设备 控制单元，用于根据所述当前空间位置和所述第二成像设备的当前朝向角度 来计算所述第二成像设备的连续偏转角度；以及，向所述第二成像设备的第 二转动控制部件输出所述连续偏转角度，以触发所述第二转动控制部件将所 述第二成像设备从所述当前朝向位置偏转所述连续偏转角度，所述连续偏转 角度小于角度阈值。

在一个示例中，在所述运动物体跟踪装置200中，所述第二转动控制部 件可以是无刷电机，所述无刷电机与所述第二成像设备的转动轴机械连接。

本领域技术人员可以理解，根据本申请实施例的运动物体跟踪装置的其 它细节与之前根据本申请实施例的运动物体跟踪方法中描述的相应细节相 同，这里为了避免荣誉便不再赘述。

示例性电子设备

下面，参考图9来描述根据本申请实施例的电子设备。该电子设备可以 是集成有第一成像设备的电子设备，或者是与所述第一成像设备独立的单机 设备，该单机设备可以与所述第一成像设备进行通信，以从其接收所采集到 的输入信号。

图9图示了根据本申请实施例的电子设备的框图。

如图9所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指 令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组 件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品 可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性 存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速 缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多 个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的运动物体跟踪方法以及/或者其他期望的功能。在所述 计算机可读存储介质中还可以存储诸如当前帧图像、先前帧图像、差分处理 的结果图像等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14， 这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

例如，在该电子设备集成有所述第一成像设备时，该输入装置13可以 是所述第一成像设备，例如摄像头，用于捕获运动物体的各帧图像。在该电 子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从所述 第一成像设备接收所采集的输入信号。

此外，该输入设备13还可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的偏转角度信息 等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及 其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备10中与本申请有关的组 件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据 具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品， 其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处 理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例 的运动物体跟踪方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编 写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象 的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言， 诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备 上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用 户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务 器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算 机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本 说明书上述“示例性方法”部分中描述的根据本申请各种实施例的运动物体 跟踪方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可 读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括 但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者 任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具 有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、 只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、 便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述 的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是， 在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优 点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具 体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限 制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子 并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。 如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、 装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇， 指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词 汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用 的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是 可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方 案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或 者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而 易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范 围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的 原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本 申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和 实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子 组合。

Claims (16)

1.一种运动物体跟踪方法，包括：

接收由第一成像设备在当前朝向角度所拍摄的当前帧图像；

获取由所述第一成像设备所拍摄的先前帧图像；

对所述当前帧图像与所述先前帧图像进行差分处理；

根据差分处理的结果图像来确定运动物体在所述当前帧图像中的当前图像位置；以及

根据所述当前图像位置来确定所述第一成像设备拍摄后续帧图像的步进偏转角度。

2.如权利要求1所述的运动物体跟踪方法，其中，对所述当前帧图像与所述先前帧图像进行差分处理包括：

判断所述第一成像设备拍摄所述先前帧图像的先前朝向角度与所述当前朝向角度之间的差值是否小于或等于预定阈值；以及

响应于所述先前朝向角度与所述当前朝向角度之间的差值小于或等于所述预定阈值，对所述当前帧图像与所述先前帧图像进行差分处理。

3.如权利要求1所述的运动物体跟踪方法，其中，根据差分处理的结果图像来确定运动物体在所述当前帧图像中的当前图像位置包括：

对所述差分处理的结果图像进行二值化处理；

查找二值化处理的结果图像中的连通域；以及

根据所述连通域来确定所述当前图像位置。

4.如权利要求3所述的运动物体跟踪方法，其中，查找二值化处理的结果图像中的连通域包括：

对所述二值化处理的结果图像进行形态学处理；以及

在形态学处理的结果图像中查找所述连通域。

5.如权利要求3所述的运动物体跟踪方法，其中，根据所述连通域来确定所述当前图像位置包括：

根据所述连通域来确定所述运动物体在所述当前帧图像中的坐标集合；

根据所述运动物体的形态来确定各个坐标的目标权重；以及

根据所述连通域的坐标集合和各个坐标的目标权重来确定所述当前图像位置。

6.如权利要求1所述的运动物体跟踪方法，其中，根据所述当前图像位置来确定所述第一成像设备拍摄后续帧图像的步进偏转角度包括：

判断所述当前图像位置是否位于所述当前帧图像中的特定区域；

响应于所述当前图像位置位于所述当前帧图像中的特定区域，将所述步进偏转角度确定为零；以及

响应于所述当前图像位置超出所述当前帧图像中的特定区域，根据所述当前图像位置和所述特定区域来确定所述步进偏转角度。

7.如权利要求6所述的运动物体跟踪方法，其中，根据所述当前图像位置和所述特定区域来确定所述步进偏转角度包括：

计算所述当前图像位置与所述特定区域的参考位置之间的像素距离；以及

根据所述像素距离和所述第一成像设备的每像素视角值来计算所述步进偏转角度。

8.如权利要求7所述的运动物体跟踪方法，其中，所述步进偏转角度包括水平方向上的水平步进偏转角度和垂直方向上的垂直步进偏转角度。

9.如权利要求1所述的运动物体跟踪方法，还包括：

向所述第一成像设备的第一转动控制部件输出所述步进偏转角度，以触发所述第一转动控制部件在预定时间内将所述第一成像设备从所述当前朝向角度偏转所述步进偏转角度，所述步进偏转角度大于角度阈值。

10.如权利要求9所述的运动物体跟踪方法，其中，所述第一转动控制部件是步进电机，所述步进电机与所述第一成像设备的转动轴机械连接。

11.如权利要求1所述的运动物体跟踪方法，还包括：

根据所述当前图像位置、所述第一成像设备的每像素视角值、和所述当前朝向角度来计算所述运动物体在世界坐标系下的当前空间位置。

12.如权利要求11所述的运动物体跟踪方法，还包括：

根据所述当前空间位置和所述第二成像设备的当前朝向角度来计算所述第二成像设备的连续偏转角度；以及

向所述第二成像设备的第二转动控制部件输出所述连续偏转角度，以触发所述第二转动控制部件将所述第二成像设备从所述当前朝向位置偏转所述连续偏转角度，所述连续偏转角度小于角度阈值。

13.如权利要求12所述的运动物体跟踪方法，其中，所述第二转动控制部件是无刷电机，所述无刷电机与所述第二成像设备的转动轴机械连接。

14.一种运动物体跟踪装置，包括：

当前帧接收单元，用于接收由第一成像设备在当前朝向角度所拍摄的当前帧图像；

先前帧获取单元，用于获取由所述第一成像设备所拍摄的先前帧图像；

差分处理单元，用于对所述当前帧图像与所述先前帧图像进行差分处理；

物体位置确定单元，用于根据差分处理的结果图像来确定运动物体在所述当前帧图像中的当前图像位置；以及

步进角度确定单元，用于根据所述当前图像位置来确定所述第一成像设备拍摄后续帧图像的步进偏转角度。

15.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-13中任一项所述的运动物体跟踪方法。

16.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-13中任一项所述的运动物体跟踪方法。