CN112119627A - 基于云台的目标跟随方法、装置、云台和计算机存储介质 - Google Patents

Abstract

一种基于云台的目标跟随方法、装置、云台和计算机存储介质，所述方法包括：基于目标对象的特征模型对所述目标对象进行跟随(S110)；当所述目标对象丢失时，根据跟随过程中所述目标对象的运动轨迹，预估未来预定时间内所述目标对象的可能运动轨迹(S120)；根据所述可能运动轨迹调整云台的运动(S130)；以及在调整所述云台的运动的过程中，根据所述特征模型进行目标重识别(S140)。该方法在目标跟随过程中发生目标丢失以后，基于预估的可能运动轨迹继续调整云台，并在该过程中对目标对象进行重识别，增强目标跟随的可靠性，从而减少拍摄者的干预，并且能够使拍摄的画面更加流畅自然。

Description

基于云台的目标跟随方法、装置、云台和计算机存储介质

技术领域

本发明涉及自动跟随技术领域，具体而言涉及一种基于云台的目标跟随方法、装置、云台和计算机存储介质。

背景技术

在使用具有自动跟拍功能的云台产品对目标对象进行跟随拍摄时，拍摄者必须时刻注视拍摄预览画面，查看是否正常跟随拍摄对象。一旦跟随失败，需要重新选中目标进行跟随。但是在跟随拍摄过程中，往往会由于各种原因导致目标跟随失败，例如：跟随拍摄对象在经过树木、建筑物、车辆等时被遮挡而导致跟随失败；拍摄者处于较大颠簸而导致跟随失败等。因此在跟拍过程中往往需要拍摄者不断手动干预，还会带来拍摄画面不流畅等问题。

因此，鉴于上述技术问题的存在，有必要提出一种新的目标跟随方法、系统和计算机存储介质。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

针对现有技术的不足，本发明实施例第一方面提供了一种目标跟随方法，所述方法包括：

基于目标对象的特征模型对所述目标对象进行跟随；

当所述目标对象丢失时，根据跟随过程中所述目标对象的运动轨迹，预估未来预定时间内所述目标对象的可能运动轨迹；

根据所述可能运动轨迹调整云台的运动；以及

在调整所述云台的运动的过程中，根据所述特征模型进行目标重识别。

本发明实施例第二方面提供了一种基于云台的目标跟随装置，包括存储器与处理器，其中

所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序，并在执行所述计算机程序时，实现本发明实施例所提供的基于云台的目标跟随方法。

本发明实施例第三方面提供了一种云台，包括：

转轴机构，以及

本发明第二方面提供的基于云台的目标跟随装置。

本发明实施例第四方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面所述方法的步骤。

本发明的基于云台的目标跟随方法、装置、云台和计算机存储介质，当目标跟随过程中发生目标丢失以后，基于预估的可能运动轨迹继续调整云台，并在该过程中对目标对象进行重识别，增强目标跟随的可靠性，从而减少拍摄者的干预，并且能够使拍摄的画面更加流畅自然。

附图说明

本发明的下列附图在此作为本发明的一部分用于理解本发明。附图中示出了本发明的实施例及其描述，用来解释本发明的原理。

附图中：

图1示出了根据本发明一实施例的基于云台的目标跟随方法的流程图；

图2示出了根据本发明一实施例的基于云台的目标跟随装置的结构框图；

图3示出了根据本发明一实施例的云台的结构框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。

在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明提出的技术方案。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。

本发明实施例的技术主要用于云台。云台可以是安装、固定拍摄装置的支撑设备。本申请实施例的云台可以是手持云台，或者，云台也可以设置在可移动平台上，例如无人机或汽车等。云台可以对拍摄装置所拍摄的目标进行跟随，跟随(Tracking)是指在拍摄过程中拍摄装置对准跟随对象(例如跟随目标框所对应的预定目标)，使得跟随对象移动时仍然在拍摄装置的镜头视野下。

在本发明实施例中，云台包括至少一个转轴机构，转轴机构可以包括电机(例如，无刷电机，或有刷电机)和轴臂。例如，该转轴机构可以包括俯仰轴(pitch)、横滚轴(roll)和偏航轴(yaw)。多个转轴机构之间可以串联连接。俯仰轴机构可以包括俯仰轴电机和俯仰轴轴臂，横滚轴机构可以包括横滚轴电机和横滚轴轴臂，以及偏航轴机构可以包括偏航轴电机和偏航轴轴臂。

可选地，云台的平台本体还可以包括基座，其中，在云台是手持云台时，基座可以随着用户手上的运动而运动，在云台连接于其他可移动平台时，基座可以刚性连接于可移动平台，并随着可移动平台的运动而运动。

可选地，云台还可以包括惯性测量单元(Inertial Measurement Unit，IMU)，该IMU与拍摄装置无相对运动，可以用于测量相机的姿态。例如，该IMU可以刚性固定在相机的固定机构上。可选地，云台上的基座上也可以设置IMU(未示出)，该IMU与基座无相对运动。例如，该IMU可以刚性固定在基座上。

在云台是手持云台时，在对运动目标进行拍摄时，用户可以转动云台，也即转动云台的基座，控制器可以控制云台的转轴机构，可以使得拍摄装置的目标姿态与基座的姿态相匹配。其中，在云台是手持云台时，手柄或手持环可以与基座连接，用户可以通过手柄或手持环控制云台的运动。

如上所述，鉴于目前基于云台的目标跟随方法在目标丢失后无法自动找回，需要拍摄者频繁手动干预，且会导致画面不流畅的问题，本发明实施例中提供一种目标跟随的方法，如图1所示，所述方法包括以下步骤：步骤S110，基于目标对象的特征模型对所述目标对象进行跟随；步骤S120，当所述目标对象丢失时，根据跟随过程中所述目标对象的运动轨迹，预估未来预定时间内所述目标对象的可能运动轨迹；步骤S130，根据所述可能运动轨迹调整云台的运动；以及步骤S140，在调整所述云台的运动的过程中，根据所述特征模型进行目标重识别。通过本发明实施例的方法，可以在目标跟随过程中目标丢失后自动重找回，增强跟随的可靠性，从而减少拍摄者的干预，并能够使拍摄的画面更加流畅自然。

下面结合附图，对本申请的目标跟随的方法、装置、云台和计算机可读存储介质进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。

图1示出了根据本发明的一个实施例的、目标跟随方法100的流程图。如图1所示，方法100包括如下步骤：

首先，在步骤S110，基于目标对象的特征模型对所述目标对象进行跟随。

其中，所述目标对象可以是任何能够被识别出的对象，包括而不限于人、动物、交通工具或机器人等。在一个实施例中，所述目标对象是用户选择的。例如，当接收到用户进行的框选操作时，将用户选中的对象确定为自动跟随的目标对象。在其他实施例中，所述目标对象也可以是系统自动确定的，例如，当识别具有特定特征的对象时，将该对象确定为自动跟随的目标对象。

在一个实施例中，利用训练好的深度学习神经网络生成所述目标对象的特征模型，以及基于所述特征模型对所述目标对象进行跟随。所述目标对象的特征模型包括目标对象的多种特征信息。例如，颜色、纹理、形状、尺寸和/或其他特性。深度学习神经网络提取目标对象的特征以生成特征模型，建立目标框，并根据目标框调整云台的运动以对目标对象进行跟随，从而使目标对象处于镜头视野的较佳位置。

在一个实施例中，所述深度学习神经网络可以采用生成类模型方法和判别类模型方法进行目标跟随。生成类模型方法是通过对目标对象所在的区域建立目标模型，并在每帧图像中寻找相近区域的目标跟踪方法，其计算量较小。生成类模型方法进一步包括基于模板匹配的目标跟踪算法、基于子空间的目标跟踪算法和基于稀疏编码的目标跟踪算法等。生成类跟踪算法包括而不限于：Meanshift(均值漂移)算法、粒子滤波算法、卡尔曼滤波算法等。

判别类模型方法则是通过在当前帧图像中，建立以目标区域为正样本、以背景区域为负样本，利用机器学习算法来训练分类器，并使用分类器来得到最优区域，从而实现目标跟踪的方法。判别类跟踪算法的准确率高，可应用于复杂背景的目标跟踪。判别类跟踪算法包括而不限于：KCF算法及SVM算法等。

在一个较佳的实施例中，可以基于孪生网络进行目标跟随。一种示例性的网络结构由孪生网络、特征金字塔和分类定位并行网络组成，其中，孪生网络包括两个VGG子网络，其共享相同的参数，且两个子网络的作用分别是对目标图像和搜索图像的特征进行提取；孪生网络完成特征提取后，分别获得了不同尺度的目标特征层和搜索特征层，根据上述不同层次和不同尺度的特征层构建特征模型；之后，将特征模型与分类定位并行网络结合，从而实现对目标对象的跟随。上述孪生网络的算法速度较快。

应该理解，本发明不受具体采用的目标跟随算法的限制，无论是现有的目标跟随算法还是将来开发的目标跟随算法，都可以应用于根据本发明实施例的目标跟随方法中，并且也应包括在本发明的保护范围内。

在步骤S120，当所述目标对象丢失时，根据跟随过程中所述目标对象的运动轨迹，预估未来预定时间内所述目标对象的可能运动轨迹。

其中，所述目标丢失即目标跟踪的中断。例如，可以将跟踪框在拍摄的视频帧中消失认为是目标丢失。

在一个实施例中，为了取得较佳的拍摄效果，所述预定时间不小于2秒，优选为3秒。

在一个实施例中，基于训练好的运动轨迹预估模型预估未来预定时间内所述目标对象的最优的可能运动轨迹。为了获得较高的预估精度，本发明实施例采用基于概率统计的运动轨迹预估模型预估目标对象的最优的可能运动轨迹，所述最优的可能运动轨迹即所有可能的运动轨迹中概率最高的一个。

可以理解的是，在利用运动轨迹预估模型预估可能运动轨迹之前，还包括模型训练阶段。模型训练阶段可以在离线状态下进行，用于利用训练样本构建模型。然而，该预估模型不一定要重新训练，也可以采用已有的预估模型进行预估。

所述运动轨迹预估模型基于预估算法和目标对象的历史运动轨迹预估未来的可能运动轨迹。其中，可以在跟随开始时，以目标对象最初所在位置为原点建立坐标系，进而根据目标对象在坐标系中位置坐标的变化，确定目标对象在跟随过程中的运动轨迹。当然，本发明其它实施例中也可以采用其它方式确定目标对象的历史运动轨迹，例如也可以使用差分图像或者帧间差分等方法进行确定，本发明实施例对此不做限定。

作为一例，采用马尔可夫模型预估目标对象的可能运动轨迹。其中，首先确定在目标跟随过程中目标对象的历史运动轨迹，接着，利用所述历史运动轨迹构建状态转移矩阵，基于马尔可夫链对目标对象未来预定时间内的运动轨迹进行预估。作为另一例，采用贝叶斯概率预估模型对目标对象的可能运动轨迹进行预估。贝叶斯概率预估模型模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图。

应该理解，本发明不受具体采用的运动轨迹估计算法的限制，无论是现有的运动轨迹估计算法还是将来开发的运动轨迹估计算法，都可以应用于根据本发明实施例的目标跟随方法中，并且也应包括在本发明的保护范围内。

在步骤S130，根据所述可能运动轨迹调整云台的运动。

如上所述，根据目标对象的历史运动轨迹预测得到了所述目标对象在未来预定时间(例如3秒)内的可能运动轨迹。则在所述未来预定时间内，假设目标对象按照所述可能运动轨迹运动，并调整云台的运动，以使假设的目标对象的位置处在较佳的拍摄位置，即对该假设的运动轨迹进行跟随。

在一个实施例中，根据所述可能运动轨迹调整云台的运动包括：基于所述目标对象的可能运动轨迹，得出所述云台的姿态轨迹；基于所述云台的姿态轨迹确定所述未来预定时间内所述云台各轴运动的速度、角度以及加速度和角加速度；以及在所述预定时间内，根据所述云台各轴运动的速度、角度以及加速度和角加速度控制所述云台各轴。其中，所述云台各轴包括上述的俯仰轴(pitch)、横滚轴(roll)和偏航轴(yaw)。

具体地，可以基于目标对象的可能运动轨迹，得出能够使目标对象的可能位置处于拍摄装置视野较佳位置的云台的运动轨迹；在考虑到控制偏差的基础上，主控板给出云台目标姿态，控制器(例如，闭环控制器)根据云台的目标姿态和云台的实际姿态进行反馈控制，向云台各轴的电机输出控制电流；此时，电机可以基于该控制电流，产生力矩，从而使得云台进行运动，从而减少实际姿态和目标姿态的偏差，使云台的实际姿态等于目标姿态。

在步骤S140，在调整所述云台的运动的过程中，根据所述特征模型进行目标重识别。

其中，由于对所述云台运动的调整是根据步骤S120中预测得到的目标对象的可能运动轨迹进行的，也就是说，在调整云台运动的过程中拍摄到目标对象的可能性较高。在调整云台的过程中在其拍摄到的全图范围内持续不断地搜索目标对象，将很有可能重新识别到目标对象。

其中，所述目标重识别基于训练好的目标重识别神经网络进行。目标重识别神经网络包括各种可用于在目标丢失后对其重新识别的神经网络，以下仅描述其中的一个示例。

在一个实施例中，所述目标重识别神经网络首先在调整所述云台的过程中所述云台在当前姿态下所拍摄到的图像范围内进行目标检测。区别于目标跟随过程，所述目标重识别在所拍摄到的图像的全局范围内进行目标对象的查找，而不限于临近区域。

以目标对象为人为例，在进行所述重识别时，首先在调整云台的过程中所拍摄到的图像范围内进行行人检测，以确定拍摄到的图像全局范围内的所有行人。接着，对所述目标检测所检测到的所有目标生成特征模型，计算所述特征模型与所述目标对象的特征模型之间的相似性，并将相似性高于阈值的目标确定为所述目标对象，即在所有行人中通过特征比对确定作为目标对象的行人。

其中，所述目标对象的特征模型为步骤S110中建立的目标对象的特征模型。由于在目标跟随过程中，不断地对特征模型进行更新，因此在一个实施例中，所述特征模型采用目标丢失前最近更新的特征模型。

在一个实施例中，当重识别到目标对象时，继续对所述目标对象进行跟随。由此，在整个跟随过程中，目标丢失以后的一段时间内，云台虽然没有定位到目标对象所在的位置，但目标对象仍然在云台的拍摄范围内，直到重识别到目标对象并继续跟随，拍摄的画面流畅自然。

在一个实施例中，当重识别到所述目标对象时，还包括对所述目标对象所在的区域进行自动框选。也就是说，在显示界面上显示重识别到的目标对象的定位框。若用户判断重识别到的目标对象并非最初跟随的目标对象，则可以手动重新选择正确的目标对象，或停止拍摄。若用户确定重识别到的目标对象为待跟随的目标对象，则无需执行其他操作，由云台继续对该目标对象进行自动跟随。

在一个实施例中，在所述预定时间内，若接收到用户针对目标对象进行的框选操作，则对所述框选操作选定的目标对象进行跟随，并停止所述目标重识别。

在一个实施例中，若在所述预定时间内没有重识别到目标对象，则停止重识别。之后，可以停止拍摄或由用户手段选择目标对象。

基于上面的描述，根据本发明实施例的目标跟随方法在目标丢失后一段时间内根据预测到的运动轨迹调整云台的运动，并在这段时间内不断进行目标重识别，当重识别到目标后继续对目标进行跟随，从而减少了人工干预，并且使拍摄到的画面更为流畅。

图2是本发明实施例的对目标进行跟踪的装置200的一个示意性框图。图2所示的装置200包括：处理器210、存储器220及存储在所述存储器220上且在所述处理器210上运行的计算机程序，处理器执行所述程序时实现前述图1所示的目标跟随方法100的步骤。

具体地，处理器执行所述程序时实现以下步骤：基于目标对象的特征模型对所述目标对象进行跟随；当所述目标对象丢失时，根据跟随过程中所述目标对象的运动轨迹，预估未来预定时间内所述目标对象的可能运动轨迹；根据所述可能运动轨迹调整云台的运动；以及在调整所述云台的运动的过程中，根据所述特征模型进行目标重识别。方法100的其他细节可参见上文。

所述处理器210可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，所述处理器210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述目标跟随装置200中的其它组件以执行期望的功能。例如，处理器210能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。

所述存储器220包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器210可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的目标跟随的方法以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

在一种实施方式中，目标跟随装置还包括输入装置(未示出)，所述输入装置可以是用户用来输入指令的装置，并且可以包括操作键、键盘、鼠标、麦克风和触摸屏等中的一个或多个。此外，所述输入装置也可以是任何接收信息的接口。

在一种实施方式中，目标跟随装置还包括输出装置，所述输出装置可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器(例如向用户显示点云等)、扬声器等中的一个或多个。此外，所述输出装置也可以是任何其他具备输出功能的设备。

在一种实施方式中，目标跟随装置还包括通信接口，通信接口用于目标跟随装置200和其他设备之间进行通信，包括有线或者无线方式的通信。目标跟随装置200可以接入基于通信标准的无线网络，如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中，通信接口还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

另外，本发明实施例还提供了一种云台，如图3所示，该云台300包括转轴机构310以及如图2所示的目标跟随装置200。在一种实施方式中，转轴机构310可以包括俯仰轴(pitch)、横滚轴(roll)和偏航轴(yaw)中的至少一个。

云台300可以是安装、固定拍摄装置的支撑设备。本发明实施例的云台300可以是手持云台，云台也可以设置在可移动平台上，例如，无人机或汽车等。

在本发明实施例中，所述转轴机构可以包括电机(例如，无刷电机，或有刷电机)和轴臂。例如，该转轴机构可以包括俯仰轴(pitch)机构、横滚轴(roll)机构和偏航轴(yaw)机构。该多个转轴机构可以串联连接。俯仰轴机构可以包括俯仰轴电机和俯仰轴轴臂，横滚轴机构可以包括横滚轴电机和横滚轴轴臂，以及偏航轴机构可以包括偏航轴电机和偏航轴轴臂。

可选地，云台的平台本体还可以包括基座，其中，在云台是手持云台时，基座可以随着用户手上的运动而运动，在云台连接于其他可移动平台时，基座可以刚性连接于可移动平台，并随着可移动平台的运动而运动。

可选地，云台还可以包括惯性测量单元(Inertial Measurement Unit，IMU)，该IMU与拍摄装置无相对运动，可以用于测量相机的姿态。例如，该IMU可以刚性固定在相机的固定机构上。可选地，云台上的基座上也可以设置IMU(未示出)，该IMU与基座无相对运动。例如，该IMU可以刚性固定在基座上。

所述平台本体上设有拍摄装置，拍摄装置安装在云台上以进行拍摄。作为一例，拍摄装置与所述云台可拆卸连接。举例来说，拍摄装置可以为携带有摄像头的手机或相机，手持云台可以和手机或相机可拆卸连接。作为另一例，拍摄装置与所述云台固定连接。举例来说，拍摄装置可以为固定设置在该云台上的相机。

在云台是手持云台时，在对运动目标进行拍摄时，用户可以转动云台，也即转动云台的基座，控制器可以控制云台的转轴机构，可以使得拍摄装置的目标姿态与基座的姿态相匹配。其中，在云台是手持云台时，手柄或手持环可以与基座连接，用户可以通过手柄或手持环控制云台的运动。

云台300还包括图2所示的目标跟随装置200，具体包括一个或多个处理器210、存储器220及存储在所述存储器220上且在所述处理器210上运行的计算机程序，处理器执行所述程序时实现前述图1所示的目标跟随方法100的步骤。

另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图1所示的方法的步骤。

例如，该计算机存储介质为计算机可读存储介质。计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：基于目标对象的特征模型对所述目标对象进行跟随；当所述目标对象丢失时，根据跟随过程中所述目标对象的运动轨迹，预估未来预定时间内所述目标对象的可能运动轨迹；根据所述可能运动轨迹调整云台的运动；以及在调整所述云台的运动的过程中，根据所述特征模型进行目标重识别。

综上所述，本发明的基于云台的目标跟随方法、装置、云台和计算机存储介质，当目标跟随过程中发生目标丢失以后，基于预估的可能运动轨迹继续调整云台，并在该过程中对目标对象进行重识别，从而减少拍摄者的干预，并且能够使拍摄的画面更加流畅自然。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机存储介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (17)

1.一种基于云台的目标跟随方法，其特征在于，所述方法包括：

基于目标对象的特征模型对所述目标对象进行跟随；

当所述目标对象丢失时，根据跟随过程中所述目标对象的运动轨迹，预估未来预定时间内所述目标对象的可能运动轨迹；

根据所述可能运动轨迹调整云台的运动；以及

在调整所述云台的运动的过程中，根据所述特征模型进行目标重识别。

2.根据权利要求1所述的目标跟随方法，其特征在于，还包括：

当重识别到所述目标对象时，继续对所述目标对象进行跟随。

3.根据权利要求1所述的目标跟随方法，其特征在于，所述根据所述可能运动轨迹调整云台的运动包括：

基于所述目标对象的可能运动轨迹，得出所述云台的姿态轨迹；

基于所述云台的姿态轨迹确定所述未来预定时间内所述云台各轴运动的速度、角度以及加速度和角加速度；以及

在所述预定时间内，根据所述云台各轴运动的速度、角度以及加速度和角加速度控制所述云台各轴。

4.根据权利要求1所述的目标跟随方法，其特征在于，所述预定时间不小于2秒。

5.根据权利要求1所述的目标跟随方法，其特征在于，利用训练好的深度学习神经网络生成所述目标对象的特征模型。

6.根据权利要求5所述的目标跟随方法，其特征在于，所述训练好的深度学习神经网络基于所述特征模型对所述目标对象进行跟随。

7.根据权利要求5所述的目标跟随方法，其特征在于，所述深度学习神经网络包括孪生网络。

8.根据权利要求1所述的目标跟随方法，其特征在于，所述预估未来预定时间内所述目标对象的可能运动轨迹包括：

基于训练好的运动轨迹预测模型预测未来预定时间内所述目标对象的最优的可能运动轨迹。

9.根据权利要求8所述的目标跟随方法，其特征在于，所述运动轨迹预测模型包括马尔可夫模型或贝叶斯概率预测模型。

10.根据权利要求1所述的目标跟随方法，其特征在于，在调整所述云台的过程中，根据所述特征模型进行目标重识别，所述目标重识别基于在调整所述云台的过程中所述云台在当前姿态下所拍摄到的图像范围内进行。

11.根据权利要求10所述的目标跟随方法，其特征在于，利用训练好的目标重识别神经网络进行所述目标重识别。

12.根据权利要求11所述的目标跟随方法，其特征在于，所述利用训练好的目标重识别神经网络进行所述目标重识别包括：

对在调整所述云台的过程中所述云台在当前姿态下拍摄到的图像进行目标检测；

对所述目标检测所检测到的所有目标生成特征模型；

计算所述特征模型与所述目标对象的特征模型之间的相似性，并将相似性高于阈值的目标确定为所述目标对象。

13.根据权利要求1所述的目标跟随方法，其特征在于，还包括：在调整所述云台的运动的过程中，若接收到用户针对目标对象进行的框选操作，则对所述框选操作选定的目标对象进行跟随，并停止所述目标重识别。

14.根据权利要求1所述的目标跟随方法，其特征在于，当重识别到所述目标对象时，还包括对所述目标对象所在的区域进行自动框选。

15.一种基于云台的目标跟随装置，其特征在于，包括存储器与处理器，其中

所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序，并在执行所述计算机程序时，实现如权利要求1-14之一所述的基于云台的目标跟随方法。

16.一种云台，其特征在于，包括：

转轴机构，以及

如权利要求15所述的基于云台的目标跟随装置。

17.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至14中任一项所述方法的步骤。

Images