CN107564040A - 目标跟踪方法及全景相机 - Google Patents

Abstract

本发明公开了一种目标跟踪方法及全景相机，选取全景视频中的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成N个子图像，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标；以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。本发明提供的目标跟踪方法及全景相机，能够提高目标跟踪的实时性。

Description

目标跟踪方法及全景相机

技术领域

本发明涉及全景视频技术领域，尤其涉及一种目标跟踪方法及全景相机。

背景技术

全景视频是由具有一些有时间关联的全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。拍摄静止场景的立方体全景视频的全局运动通常以水平运动为主，覆盖了360度场景范围，对于连续多帧的全景图像而言，目标物体会从立方体全景的一个面移动到相邻面。由于其可能具有动态背景，不适合使用背景差的方法进行动态物体的检测和跟踪，且使用背景差的方法进行动态物体的检测和跟踪，效果有限，所以不适用很多情况，因此需要设计一种快速高效的立方体全景视频中的目标跟踪方法。

现有技术在全景视频中跟踪物体的方法，通常根据用户观看的角度由全景视频图像投影成投影视图，并将其作为目标跟踪的输入图像。跟踪过程中建立目标物体的模型，并根据前后帧建立跟踪目标出现在不同区域的概率，以较大概率的位置作为目标的新位置；采用上述方法，首先需要先获取全景视频图像再进行投影得到预设视场的投影图像，再进行前后帧跟踪目标出现在不同区域的概率，以确定跟踪目标的新位置，其计算步骤较多及计算量较大，而且在进行多目标跟踪时，其计算量会成倍增加，由此导致了全景视频的跟踪效率较低的问题。

发明内容

本发明提供了一种目标跟踪方法及全景相机，能够提高目标跟踪的实时性。

本申请第一方面提供了一种目标跟踪方法，包括：选取全景视频中的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成N个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于 2的整数；从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，其中M为不小于1的整数；以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

结合第一方面，在第一方面的第一种可能的实现方式中，每帧全景图像分成的N个子图像中每相邻两个子图像之间具有重叠区域。

结合第一方面的第一种可能的实现方式中，在第一方面的第二种可能的实现方式中，所述从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，具体包括：根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标。

结合第一方面的第二种可能的实现方式中，在第一方面的第三种可能的实现方式中，所述根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，具体包括：根据所述预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标；从所述M个跟踪目标中获取具有重叠区域的跟踪目标对集；从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标。

结合第一方面的第三种可能的实现方式中，在第一方面的第四种可能的实现方式中，所述从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标，具体包括：获取每个跟踪目标对中每个跟踪目标的置信度；去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述M个跟踪目标。

结合第一方面，在第一方面的第五种可能的实现方式中，所述利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，具体包括：创建与每帧全景图像中的N个子图像一一对应的N个跟踪器；根据跟踪目标与子图像的对应关系，将第i帧全景图像中的每个跟踪目标添加到所述N个跟踪器中对应的跟踪器中进行跟踪。

结合第一方面，在第一方面的第六种可能的实现方式中，所述利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，具体包括：创建与每帧全景图像中的所有跟踪目标一一对应的P个跟踪器，P为不小于0整数；将第 i帧全景图像中的每个跟踪目标添加到所述P个跟踪器中对应的跟踪器中进行跟踪。

结合第一方面，在第一方面的第七种可能的实现方式中，在从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标之后，所述方法还包括以下步骤：以所述初始帧全景图像为起点，每间隔k帧全景图像从相应帧全景图像对应的N个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1；利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

结合第一方面或第一方面的第七种可能的实现方式，在第一方面的第八种可能的实现方式中，在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标之后，所述方法还包括：将第(i+1)帧全景图像中的N 个子图像中跟踪成功的至少一个跟踪目标显示在第(i+1)帧全景图像或第(i+2) 帧全景图像中。

结合第一方面或第一方面的第七种可能的实现方式，在第一方面的第九种可能的实现方式中，在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标时，所述方法还包括以下步骤：检测第(i+1)帧全景图像中的N个子图像中的每个跟踪目标是否均跟踪成功；在每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，根据子图像之间的邻接关系，获取与该跟踪失败的跟踪目标所在的子图像邻接的相邻子图像；利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的相邻子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N个子图像中的所有跟踪目标。

结合第一方面的第九种可能的实现方式，在第一方面的第十种可能的实现方式中，在每个子图像与至少一个子图像存在重叠区域，且每检测到第(i+1) 帧全景图像中的一个跟踪目标跟踪失败时，所述方法还包括以下步骤：检测该跟踪失败的跟踪目标是否位于两个子图像之间的重叠区域内；若检测到该跟踪失败的跟踪目标不位于两个子图像之间的重叠区域内，则丢弃该跟踪失败的跟踪目标；若检测到该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，则获取与该跟踪失败的跟踪目标所在的子图像具有重叠区域的特定子图像；利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的所述特定子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N 个子图像中的所有跟踪目标。

结合第一方面或第一方面的第七种可能的实现方式，在第一方面的第十一种可能的实现方式中，所述利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标，具体包括：检测i是否不小于2；若i小于2，则通过目标跟踪算法对第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1) 帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标；若i不小于2，则获取第i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹；利用第 i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹，预测出第(i+1) 帧全景图像中的N个子图像中的至少一个跟踪目标的新位置，将预测出新位置的至少一个跟踪目标作为第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标。

本申请第二方面还提供了一种全景相机，包括可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现以下步骤：

选取全景视频中的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成N个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；

从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，其中M 为不小于1的整数；

以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：

利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第 (i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

结合第二方面，在第二方面的第一种可能的实现方式中，所述程序被处理器执行时每帧全景图像分成的N个子图像中每相邻两个子图像之间具有重叠区域。

结合第二方面的第一种可能的实现方式中，在第二方面的第二种可能的实现方式中，所述程序被处理器执行时从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标的步骤时，具体实现以下步骤：根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标。

结合第二方面的第二种可能的实现方式中，在第二方面的第三种可能的实现方式中，所述程序被处理器执行时根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标的步骤时，还实现以下步骤：根据所述预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标；从所述M个跟踪目标中获取具有重叠区域的跟踪目标对集；从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标。

结合第二方面的第三种可能的实现方式中，在第二方面的第四种可能的实现方式中，所述程序被处理器执行时从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标的步骤时，具体实现以下步骤：获取每个跟踪目标对中每个跟踪目标的置信度；去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述M个跟踪目标。

结合第二方面，在第二方面的第五种可能的实现方式中，所述程序被处理器执行时利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪的步骤时，具体实现以下步骤：创建与每帧全景图像中的N个子图像一一对应的N 个跟踪器；根据跟踪目标与子图像的对应关系，将第i帧全景图像中的每个跟踪目标添加到所述N个跟踪器中对应的跟踪器中进行跟踪。

结合第二方面，在第二方面的第六种可能的实现方式中，所述程序被处理器执行时在利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪的步骤时，还实现以下步骤：若第(i+1)帧全景图像中的N个子图像中不存在跟踪成功的跟踪目标，则从第(i+1)帧全景图像中的N个子图像中选取至少一个跟踪目标。

结合第二方面，在第二方面的第七种可能的实现方式中，在从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标之后，所述方法还包括以下步骤：以所述初始帧全景图像为起点，每间隔k帧全景图像从相应帧全景图像对应的N个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1；利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

结合第二方面或第二方面的第七种可能的实现方式，在第二方面的第八种可能的实现方式中，所述程序被处理器执行时在得到第(i+1)帧全景图像中的 N个子图像中跟踪成功的至少一个跟踪目标之后的步骤时，还实现以下步骤：将第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标显示在第(i+1)帧全景图像或第(i+2)帧全景图像中。

本发明的有益效果如下：

由于本申请实施例是利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标；使得每个跟踪目标在在对应的子图像中进行目标跟踪；本发明实施例是在全景图像中直接跟踪，无需进行投影和计算概率等步骤。因此，与现有技术相比，在进行目标跟踪时其计算步骤减少和计算量降低，因而促使全景视频中目标跟踪效率提高，有效提高了全景视频中的多个目标跟踪的实时性。

附图说明

图1为本发明实施例中目标跟踪方法的第一种流程图；

图2为本发明实施例中全景图像划分成N个子图像的结构示意图；

图3为本发明实施例中从N个子图像中选取M个跟踪目标的方法流程图；

图4为本发明实施例中目标跟踪方法的第二种流程图；

图5为本发明实施例中跟踪目标跟踪失败时的处理方法的流程图。

具体实施方式

本发明提供了一种目标跟踪方法及全景相机，能够提高目标跟踪的实时性。

如图1所示，本发明实施例中提供了一种目标跟踪方法，包括以下步骤：

S101、选取全景视频中的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成N个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；

S102、从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，其中M为不小于1的整数；

S103、以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：

S1031、利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

其中，在步骤S101中，可以通过多个广角镜头录制全景视频。在通过多个广角镜头录制全景视频过程中，利用多个广角镜头每一时刻采集多个广角图像，然后可以实时或非实时的将每一时刻采集的多个广角图像拼接成一帧全景图像；最后按照时间顺序对拼接成的所有全景图像进行排序，得到全景视频。

本发明实施例中，所述多个广角镜头设置在一个全景相机中，也可以是所述多个广角镜头连接同一主机，本申请不作具体限制。下面具体以所述多个广角镜头设置在一个全景相机中为例进行说明。

本发明实施例中，所述多个广角镜头是由普通广角镜头、超广角镜头和鱼眼镜头中的一种或多种镜头组成，本申请不作限制。

本发明实施例中，可以通过图像拼接算法将每一时刻采集的多个广角图像拼接成一帧全景图像。所述图像拼接算法例如可以是基于区域相关的拼接算法和基于特征相关的拼接方法等。若没有特别指定，本发明中记载的全景图像均为柱面全景图像。

在具体实施过程中，首先选取所述初始帧全景图像，然后再将所述初始帧全景图像及之后的每帧全景图像分成M个子图像；其中，在将每帧全景图像分成M个子图像时，可以根据子图像的划分规则，将所述初始帧全景图像及之后的每帧全景图像分成M个子图像。所述划分规则可以是基于预设经度或预设纬度或基于预设经纬度的划分规则等，本申请不作具体限制。

具体来讲，由于本发明实施例需要进行目标跟踪，优选地，可以确保每帧全景图像分成的N个子图像中每相邻两个子图像之间具有重叠区域，以降低出现跟踪目标从一个子图像进入另一子图像时出现消失的情况的概率。若每个子图像与任意一个子图像不存在重叠区域，当跟踪目标从一个子图像进入另一个子图像中时，由于不存在重叠区域，从而会出现跟踪目标从子图像中消失的问题；而在每个子图像与至少一个子图像存在重叠区域，使得在目标有很大概率通过重叠区域从一个子图像进入另一个子图像。如此，能够有效降低目标从一个子图像进入另一子图像时出现消失的情况的概率，提高目标跟踪的准确性。

具体地，所述N个子图像中两两相邻的子图像之间的重叠率在预设范围内，例如所述重叠率可以不低于子图像大小的1％且不高于子图像的30％，此时，所述预设范围为1％-30％。优选地，所述N个子图像中两两相邻的图像之间的重叠率间不低于子图像大小的5％且不高于子图像的15％，此时，所述预设范围为5％-15％。本发明实施例中，由于两两相邻的子图像之间具有重叠率，如此，还可以记录每个子图像与其它子图像的邻接关系。

由于全景图像的分辨率通常较高，且跟踪目标具一定的大小，使得N的取值优选为4-8中的任意一个数，当然也可以去2、3或大于8的数，本申请不作具体限制。

例如，全景图像中选取的4个子图像为a子图像、a1子图像、a2子图像和a3子图像。若a子图像仅与a1子图像具有重叠区域，则a子图像的邻接关系为(a->a1)；若a1子图像与a和a2子图像具有重叠区域，则a1子图像的邻接关系为(a1->(a，a2))；若a2子图像与a1和a3子图像具有重叠区域，则 a2子图像的邻接关系为(a2->(a1，a3))；若a3子图像与a2子图像具有重叠区域，则a3子图像的邻接关系为(a3->a2)。

在本发明另一实施例中，全景相机使用的是与人眼相对一致的视角，在多数情况，全景图像中的南北两极图像包含跟踪目标的概率较小，且南北两极图像的畸变较大会导致出现跟踪的准确性较差的问题。如此，为了提升算法速度和跟踪的准确性，可以从每帧全景图像中的南北两极图像去掉之后的剩余全景图像中选取N个子图像，以提高跟踪的效率和准确性。

较优地，如图2所示，可以只保留全景图像的赤道一圈图像进行目标跟踪，全景图像的赤道方向共360度，假设将赤道附近内容拆分成n个子图像，则每个子图像包含的经度范围为360/n+2b，b为相邻的两幅图像重合的部分，一般情况下，5≤b≤360*0.25/n，相邻子图像的中心经度间隔360/n，每个子图像的纬度取值范围为-e～+e；其中，e为纬度值，其取值范围为35～45。

接下来执行步骤S102，在该步骤中，通过步骤S101划分出所述初始帧全景图像中的N个子图像之后，根据预设条件，从所述初始帧全景图像中划分出的N个子图像中选取所述M个跟踪目标。其中，M为不小于1的整数；优选地，M为不小于2的整数，例如为2、3、4等。

本发明实施例中，所述预设条件可以是用户自行选取的，也可以是通过目标检测方法检测到的，还可以是通过目标跟踪方法跟踪到的，还可以采用上述三种方法中的至少两种方法得到的。所述目标检测方法可以是人脸检测方法、基于Region Proposal的深度学习目标检测算法和生物识别方法等，本申请不作具体限制。进一步地，所述目标跟踪方法可以基于主动轮廓的跟踪方法、基于特征的跟踪方法、基于区域的跟踪方法和基于模型的跟踪方法等。

具体来讲，在通过目标检测方法从N个子图像中选取所述M个跟踪目标时，通过目标检测方法对所述N个子图像中的每个子图像进行检测，将针对每个子图像检测到的所有检测结果作为所述M个跟踪目标；并将记录所述M个跟踪目标与所述N个子图像的对应关系。

具体地，在记录所述M个跟踪目标与所述N个子图像的对应关系时，可以通过建立索引标记来标记每个子图像，然后可以记录每个跟踪目标与索引标记的对应关系即记录每个跟踪目标与所述N个子图像的对应关系。

本发明实施例中，每个子图像的索引标记是唯一的，防止由于索引标记不唯一导致出现跟踪目标与子图像的对应关系不正确的问题。进一步地，在从所述初始帧全景图像中划分出的N个子图像中选取所述M个跟踪目标时，可以并行执行，也可以依次执行，本申请不作具体限制。

例如，如图2所示，若N＝4，则4个子图像中的第一子图像、第二子图像、第三子图像和第四子图像依次对应的索引标记为T1、T2、T3和T4；以及通过目标检测方法对4个子图像进行目标检测，得到从所述第一子图像中检测到的F1目标、从所述第二子图像中检测到的F2目标和F3目标、从所述第四子图像中检测到的F4目标。由此可知，4个子图像与跟踪目标的对应关系包括 {(F1->T1)、((F2，F3)->T2)和(F4->T4)}。下面具体以T1、T2、T3和 T4分别表示第一子图像、第二子图像、第三子图像和第四子图像进行举例说明。

在本发明的另一实施例中，所述根据预设条件，从所述初始帧全景图像中划分出的N个子图像中选取所述M个跟踪目标，还可以包括以下步骤，如图 3所示：

S301、根据所述预设条件，从所述初始帧全景图像中划分出的N个子图像中选取所有跟踪目标；

S302、将所述所有跟踪目标转换到同一坐标系中，获取在同一坐标系中具有重叠区域的跟踪目标对集；

S303、从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标。

其中，在步骤S301中，根据所述预设条件，从所述初始帧全景图像中提取出的每个子图像中选取跟踪目标，得到从每个子图像中选取的跟踪目标，即得到所述所有跟踪目标。

例如，若所述初始帧全景图像中的N个子图像为T1、T2、T3和T4，则根据人脸检测算法分别对T1、T2、T3和T4进行检测；检测得到T1中的人脸目标R1和R2、T2中的人脸目标R3和R4、T3中的人脸目标R5和T4中未检测到人脸目标，即得到所述初始帧全景图像中的所有跟踪目标为R1、R2、R3、 R4和R5，其中4个子图像与跟踪目标的对应关系包括{((R1，R2)->T1)、((R3，R4)->T2)和(R5->T3)}。

接下来执行步骤S302，在将所述所有跟踪目标转换到同一坐标系之后，可以在将所述所有跟踪目标转换到同一坐标系之后，将转换到同一坐标系中的所有跟踪目标中每两个跟踪目标进行对比；对比出所有存在重叠区域的跟踪目标对组成所述跟踪目标对集。

当然，也可以根据记录的每个子图像与其它子图像的邻接关系和踪目标与子图像的对应关系，将转换后的两两相邻的子图像中的跟踪目标的坐标进行比对；对比出所有两两相邻的子图像中存在重叠区域的跟踪目标对组成所述跟踪目标对集。如此，与将转换到同一坐标系中的所有跟踪目标中每两个跟踪目标进行对比相比，其进行对比的每两个跟踪目标的数量变少，能够降低计算量，提高计算效率。

例如，若T1、T2、T3和T4的邻接关系为{(T1->T2)，(T2->(T1，T3))， (T3->(T2，T4))，(T4->T3)}，在得到所有跟踪目标R1、R2、R3、R4和 R5之后；根据所述邻接关系，将R3和R4依次与R1、R2和R5进行比对；若 R3和R2具有重叠区域，以及R4与R5具有重叠区域，则确定所述跟踪目标对集为{(R2，R3)、(R4，R5)}。

接下来执行步骤S303，可以随机选择从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，得到余下的全部跟踪目标并将其作为所述M个跟踪目标。

在本发明另一实施例中，为了提高所述M个跟踪目标中的跟踪目标的准确度，也可以获取每个跟踪目标对中每个跟踪目标的置信度；去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述M 个跟踪目标。如此，使得所述M个跟踪目标中保留了每个跟踪目标对中置信度大的跟踪目标，进而能够提高所述M个跟踪目标中的跟踪目标的准确度。

具体地，若在获取跟踪目标时已获取每个跟踪目标的置信度，则在去除掉每个跟踪目标对中置信度小的跟踪目标时，可以根据已获取的每个跟踪目标对的两个置信度进行比对即可。例如，在通过目标检测方法和/或目标跟踪方法来获取每个跟踪目标时，目标检测方法和/或目标跟踪方法会自动计算出每个跟踪目标的置信度。如此，在去除掉每个跟踪目标对中置信度小的跟踪目标时，可以根据已获取的每个跟踪目标对的两个置信度进行比对即可。

进一步地，若在获取跟踪目标时未获取每个跟踪目标的置信度，则在去除掉每个跟踪目标对中置信度小的跟踪目标之前，可以根据置信度算法来获取每个跟踪目标的置信度，然后根据获取的每个跟踪目标对的两个置信度进行比对。其中，所述置信度算法例如可以是置信区间计算方法、正态分布方法等。

进一步地，根据置信度算法来获取跟踪目标的置信度时，也可以仅根据置信度算法来获取所有跟踪点对中每个跟踪目标的置信度，而无需获取每个跟踪目标的置信度，以降低计算量，进而提高计算效果。

例如，若T1、T2、T3和T4对应的所有跟踪目标为所有跟踪目标为R1、 R2、R3、R4和R5，且相应的跟踪目标对集为{(R2，R3)、(R4，R5)}，若 R2对应的置信度为0.72，R3对应的置信度为0.85，R4对应的置信度为0.78， R5对应的置信度为0.75，由于0.72<0.85且0.78>0.75，则从R2和R3中去除掉置信度小的R2和从R4和R5中去除掉置信度小的R5，得到余下的全部跟踪目标为R1、R3和R4，即R1、R3和R4为所述M个跟踪目标，此时M＝3。

接下来执行步骤S103，依次针对第1帧全景图像之后的每帧全景图像执行步骤S1031。

本发明实施中，由于每帧全景图像中的N个子图像均是根据所述预设条件选取的，而每帧全景图像对应的预设条件均相同；由此可知，每帧全景图像中的N个子图像与其它任意一帧全景图像中的N个子图像所对应的视场均是相同；因此，可以使得前一帧全景图像中的每个跟踪目标在下一帧全景图像中对应的子图像中进行跟踪。

例如，若所述初始帧全景图像中的子图像为T1、T2、T3和T4，4个子图像与跟踪目标的对应关系为{((R1，R2)->T1)、((R3，R4)->T2)和(R5->T3)}；以及对应的M个跟踪目标为R1、R3和R4；若下一帧全景图像中的子图像为T11、T21、T31和T41，其中，T1与T11对应、T21与T2对应，T31与T3 对应，T41与T4对应；再根据子图像与跟踪目标的对应关系，利用目标跟踪算法将R1在T11中进行跟踪，利用目标跟踪算法将R3和R4在T21中进行跟踪。

在具体实施过程中，可以采用两种跟踪方式进行跟踪，其中，第一种跟踪方式具体为：在i依次从1取到s时，可以通过目标跟踪算法对第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

具体来讲，由于i依次从1取到s，在i＝1，则利用第1帧全景图像中M 个跟踪目标中的每个跟踪目标进行跟踪；而且由于每执行一次步骤S1031，能够得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标，使得i依次从1取到s时，可以利用得到的第(i+1)帧全景图像中跟踪成功的每个跟踪目标来执行步骤S1031。例如，在i＝1，则利用第i帧全景图像中M 个跟踪目标中的每个跟踪目标进行跟踪，得到第2帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标；在i＝2，则利用得到的第2帧全景图像中的跟踪成功的每个跟踪目标进行跟踪，然后i依次3一直取到s。

本发明另一实施例中，为了提高跟踪目标在N个子图像中的跟踪的准确性，第二种跟踪方式具体为：首先检测i是否不小于2；若i小于2，则通过目标跟踪算法对第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第 (i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标；若i不小于2，则获取第i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹；利用第i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹，预测出第 (i+1)帧全景图像中的N个子图像中的至少一个跟踪目标的新位置，将预测出新位置的至少一个跟踪目标作为第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标。

具体地，由于本申请实施例中的全景图像为柱面全景图像，其与球面全景图像对应。在球面全景图像中不同纬度对应的线条长度根据每个纬度对应的半径不同而变化，而其对应的柱面全景图像中的每个纬度对应的线条长度相同。

例如，在球面全景图像中，若赤道对应的半径为R为表示，而某个纬度θ对应的半径r＝Rcosθ，其中，赤道的线条长度为2πR，而某个纬度θ对应的圆的线条长度为2πRcosθ，而在柱面全景图像中2πR和2πRcosθ对应的线条的长度相同，θ的取值为0至90°。由此可知，在柱面全景图像中的跟踪目标从赤道向南纬和北纬移动时，其跟踪目标所对应的目标窗口会变大，如此，根据跟踪目标所在位置，可以计算出跟踪目标对应的目标窗口，并能够有效提高计算出的跟踪目标对应的目标窗口的精确度。

相应的，为了提高跟踪目标的跟踪的准确性，还可以在预测出第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标的新位置之后，根据第(i+1) 帧全景图像中的至少一个跟踪目标中每个跟踪目标的新位置，计算出第(i+1) 帧全景图像中的每个跟踪目标对应的目标窗口，并将计算出目标窗口的所有跟踪目标作为第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标。

例如，全景图像中某个跟踪目标从纬度θ1移动到纬度θ2的位置，若该跟踪目标在纬度θ1时的目标窗口用d1表示，则可以确定该跟踪目标在纬度θ2时的目标窗口d2＝d1*cosθ1/cosθ2，公式(1)。

例如，若第1帧全景图像中的子图像为T1、T2、T3和T4，4个子图像与跟踪目标的对应关系为{((R1，R2)->T1)、((R3，R4)->T2)和(R5->T3)}；以及对应的M个跟踪目标为R1、R3和R4；相应的第2帧全景图像中的子图像为T11、T21、T31和T41；在i＝1时，根据子图像与跟踪目标的对应关系，利用目标跟踪算法将R1在T11中进行跟踪，利用目标跟踪算法将R3和R4在 T21中进行跟踪；得到从第2帧全景图像中的投影图像中跟踪成功的R1用R11 表示和跟踪成功的R3用R31表示。

其中，在i＝2且第3帧全景图像中的子图像为T12、T22、T32和T42时，则根据第1、2帧全景图像中的R1和R11所在位置，确定R11的运动轨迹；以及根据第1、2帧全景图像中的R3和R31所在位置，确定R31的运动轨迹；根据R11的运动轨迹，预测出第3帧全景图像中的T12中的R11的新位置，其中将预测出新位置的R11用R12表示；以及根据R31的运动轨迹，预测出第3 帧全景图像中的T32中的R31的新位置，其中将预测出新位置的R31用R32表示。由此可知，第3帧全景图像中的子图像中的跟踪目标为R12和R32。

进一步地，在i依次从3取到s时，可以利用第i帧全景图像及与其相邻一帧或多帧的全景图像中各跟踪目标的位置，确定第i帧全图像中的每个跟踪目标的运动轨迹；再根据第i帧全图像中的每个跟踪目标的运动轨迹，预测出第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标的新位置，并将预测出新位置的至少一个跟踪目标作为第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标。

本发明另一实施例中，也可以创建与每帧全景图像中的N个子图像一一对应的N个跟踪器；再根据跟踪目标与子图像的对应关系，将第i帧全景图像中的每个跟踪目标添加到所述N个跟踪器中对应的跟踪器中进行跟踪。

在具体实施过程中，在采用第一种跟踪方式进行跟踪时，所述跟踪器是利用目标跟踪算法计算出来的跟踪模型，例如根据前一帧全景图像中某个子图像的一个跟踪目标的特征点的参数写入跟踪模型，然后所述跟踪器自动对写入的参数进行运算来进行跟踪。其中，所述目标跟踪算法包括基于CamShift的目标跟踪算法、基于均值漂移与卡尔曼滤波的目标跟踪算法、基于SIFT特征目标跟踪算法研究和基于卡尔曼预测的动态目标跟踪算法等。

具体来讲，在采用第二种跟踪方式进行跟踪时，所述跟踪器是基于所述第二种跟踪方式创建出的跟踪模型。

例如，若第1帧全景图像中的N个子图像为T1、T2、T3和T4，则创建 G1跟踪器、G2跟踪器、G3跟踪器和G4跟踪器这四个跟踪器，其中，G1与 T1对应，G2与T2对应，G3与T3对应和G4与T4对应。以及M个跟踪目标为R1、R3和R4，由于R1与T1对应，R3与T2对应和R4与T3对应，则根据跟踪器与子图像的对应关系，将R1添加到G1中，将R3添加到G2中，以及将R4添加到G3中；若第2帧全景图像中的子图像为T11、T21、T31和T41，其中，T1与T11对应、T21与T2对应，T31与T3对应，T41与T4对应；则通过G1在T11中跟踪R1，通过G2在T21中跟踪R3和R4；得到从第2帧全景图像中的子图像中跟踪成功的R1用R11表示和跟踪成功的R3用R31表示；若第3帧全景图像中的子图像为T12、T22、T32和T42，则利用R11通过G1 在T12中进行跟踪和利用R31通过G2在T22中进行跟踪，得到从第3帧全景图像中的子图像中跟踪成功的R11用R12表示和跟踪成功的R31用R32表示。

本发明实施例中，在第i帧全景图像中的跟踪目标为多个时，则可以并行跟踪多个跟踪目标，以缩短跟踪所耗费的时间；当然，也可以串行跟踪多个跟踪目标，本申请不作具体限制。

本发明另一实施例中，还可以创建与每帧全景图像中的所有跟踪目标一一对应的P个跟踪器，P为不小于0的整数；将第i帧全景图像中的每个跟踪目标添加到所述P个跟踪器中对应的跟踪器中进行跟踪。

在具体实施过程中，在采用第一种跟踪方式进行跟踪时，所述跟踪器是利用目标跟踪算法计算出来的跟踪模型；相应地，在采用第二种跟踪方式进行跟踪时，所述跟踪器是基于所述第二种跟踪方式创建出的跟踪模型。

具体来讲，根据每帧全景图像中的所有跟踪目标的数量不同，其P的取值也不相同；在某帧全景图像中的所有跟踪目标的数量为0时，P＝0；在某帧全景图像中的所有跟踪目标的数量为2时，P＝2。

例如，若第1帧全景图像中的N个子图像为T1、T2、T3和T4中检测到 M个跟踪目标为R1、R3和R4，则创建G1跟踪器、G3跟踪器和G4跟踪器这 3个跟踪器，其中，G1与R1对应，R3与G3对应和R4与G4对应；然后将 R1添加到G1中，将R3添加到G3中，以及将R4添加到G4中；若第2帧全景图像中的子图像为T11、T21、T31和T41；则通过G1在T11中跟踪R1，通过G3在T21中跟踪R3和通过G4在T21中跟踪R4；得到从第2帧全景图像中的子图像中跟踪成功的R1用R11表示和跟踪成功的R3用R31表示；此时，由于R4跟踪失败，则删除G4；以及R1和R3跟踪成功，则保留G1和 G3。

若第3帧全景图像中的子图像为T12、T22、T32和T42，则利用R11通过G1在T12中进行跟踪和利用R31通过G3在T22中进行跟踪，得到从第3 帧全景图像中的子图像中跟踪成功的R11用R12表示和跟踪成功的R31用R32 表示，此时R11和R31均跟踪成功，则保留G1和G3。

本发明实施例中，在第i帧全景图像中的跟踪目标为多个时，则可以并行跟踪多个跟踪目标，以缩短跟踪所耗费的时间；当然，也可以串行跟踪多个跟踪目标，本申请不作具体限制。

本发明另一实施例中，在利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪时，若第(i+1)帧全景图像中的N个子图像中不存在跟踪成功的跟踪目标，则从第(i+1)帧全景图像中的N个子图像中选取至少一个跟踪目标；当然，也可以从第(i+2)帧全景图像中的N个子图像中选取至少一个跟踪目标。其中，在从第(i+1)或(i+2)帧全景图像中的N个子图像中选取至少一个跟踪目标时，可以根据所述预设条件，从第(i+1)或(i+2)帧全景图像中的N个子图像中选取至少一个跟踪目标。其选取至少一个跟踪目标的具体实施过程中可以参考针对步骤S101的叙述，为了说明书的简洁，在此就不再赘述了。

例如，若第3帧全景图像中的子图像为T12、T22、T32和T42，则利用 R11通过G1在T12中进行跟踪和利用R31通过G2在T22中进行跟踪；若R11 和R31均未跟踪成功，则根据所述预设条件，从T12、T22、T32和T42中选取至少一个跟踪目标。当然，也可以根据所述预设条件，从第4帧全景图像中的子图像为T13、T23、T33和T43中选取至少一个跟踪目标。

本发明另一实施例中，在从所述初始帧全景图像选取的N个子图像中选取 M个跟踪目标之后，所述方法还包括以下步骤，参见图4：

S401、以所述初始帧全景图像为起点，每间隔k帧全景图像从相应帧全景图像对应的N个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；

S402、在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1：

S4021、利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

其中，在步骤S401中，在确定相应帧全景图像时，依次对每个间隔k帧全景图像的周期内的多帧全景图像进行目标检测，将首次检测到至少一个跟踪目标的某帧全景图像作为相应帧全景图像。如此，使得相应帧全景图像可以为某个间隔k帧全景图像的周期内的开始帧全景图像或之后的全景图像。

若k＝4，使得第一个间隔4帧全景图像的周期包含的全景图像为第1、2、 3、4和5帧全景图像，其中第一个间隔4帧全景图像的周期内的开始帧全景图像为第1帧全景图像，则依次针对第1、2、3、4和5帧全景图像进行目标检测；若从第1帧全景图像对应的N个投影图像中检测到了至少一个跟踪目标，则确定第1帧全景图像为相应帧全景图像，此时，在该间隔k帧全景图像的周期内的相应帧全景图像为初始帧全景图像；相应的，第二个间隔4帧全景图像的周期包含的全景图像为第6、7、8、9和10帧全景图像，其中第二个间隔4 帧全景图像的周期内的开始帧全景图像为第6帧全景图像，则依次针对第6、7、 8、9和10帧全景图像进行目标检测；若从第6帧全景图像未检出跟踪目标，则对第7帧全景图像进行目标；若从第7帧全景图像检出了至少一个跟踪目标，则确定第7帧全景图像为相应帧全景图像，此时，在该间隔k帧全景图像的周期内的相应帧全景图像为初始帧全景图像之后的1帧全景图像。

本发明实施例中，步骤S401的具体实施方式可以为步骤S102的任意一个实施方式，为了说明书的简洁，在此就不再赘述了。

在执行步骤S401之后，在每个间隔k帧全景图像的周期内，以选取至少一个跟踪目标的相应帧全景图像为第1帧全景图像，然后依次针对该周期内的第1帧全景图像之后的每帧全景图像执行步骤S4021，其中步骤S403的具体实施过程可以参考步骤S1032的实施过程。

例如，若第二个间隔4帧全景图像的周期包含的全景图像为第6、7、8、9 和10帧全景图像，首先从第二个间隔4帧全景图像的周期内的开始帧全景图像即第6帧全景图像中的子图像为T15、T25、T35和T45；此时，可以根据人脸检测方法从T15、T25、T35和T45中选取至少一个跟踪目标；然后利用选取的至少一个跟踪目标在第7帧全景图像中对应的子图像中进行跟踪。

由于本实施例中每间隔k帧全景图像就从相应帧全景图像对应的N个子图像中选取至少一个跟踪目标，使得在全景图像对应的场景有新的跟踪目标进入时能够即时检测到并进行跟踪。如此，能够提高检测到跟踪目标的及时性和准确性，使得跟踪的准确性和及时性也会随之提高。

本发明另一实施例中，在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标之后，可以将第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标显示在第(i+1)帧全景图像或第(i+2)帧全景图像中。

具体来讲，为了更精确显示跟踪成功的至少一个跟踪目标，可以在预测出第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标的新位置之后，将预测出的每个跟踪目标显示在第(i+1)帧全景图像或第(i+2)帧全景图像中对应的新位置。

具体地，也可以在根据第(i+1)帧全景图像中的至少一个跟踪目标中每个跟踪目标的新位置，计算出第(i+1)帧全景图像中的每个跟踪目标对应的目标窗口之后，将预测出的每个跟踪目标显示在第(i+1)帧全景图像或第(i+2) 帧全景图像中的对应的目标窗口中。

例如，若第2帧全景图像中的子图像为T11、T21、T31和T41，则通过 G1在T11中跟踪R1，通过G2在T21中跟踪R3和R4；得到从第2帧全景图像中的子图像中跟踪成功的R1用R11表示和跟踪成功的R3用R31表示。

其中，若R1对应的纬度和窗口分别为θ1和d1；R11对应的纬度和窗口分别为θ11和d11；R3对应的纬度和窗口分别为θ3和d3；以及R31对应的纬度和窗口分别为θ31和d31，则根据公式(1)可知d11＝d1*cosθ1/cosθ11 和d31＝d3*cosθ3/cosθ31；则在第2帧全景图像中的d11窗口中显示R11 和d31窗口中显示R31。当然，也可以在第3帧全景图像中的d11窗口中显示 R11和d31窗口中显示R31。

本发明实施例中，在将第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标显示在第(i+1)帧全景图像中时，将第1帧全景图像中的N个子图像中的至少一个跟踪目标显示在第1帧全景图像中；在将第(i+1) 帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标显示在第(i+2) 帧全景图像中时，将第1帧全景图像中的N个子图像中的至少一个跟踪目标显示在第2帧全景图像中；通过上述方式，以防止出现第1和2帧全景图像中的 N个子图像中的至少一个跟踪目标同时显示在第2帧全景图像中的问题，降低出现跟踪目标重合显示的问题。

本发明另一实施例中，在利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标时，所述方法还包括以下步骤，如图5所示：

S501、检测第(i+1)帧全景图像中的N个子图像中的每个跟踪目标是否均跟踪成功；

S502、在每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，根据子图像之间的邻接关系，获取与该跟踪失败的跟踪目标所在的子图像邻接的相邻子图像；

S503、利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的相邻子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；

S504、从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N个子图像中的所有跟踪目标。

其中，在步骤S501中，在利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪时，检测第i帧全景图像中的每个跟踪目标是否跟踪成功；若每个跟踪目标都跟踪成功，则可以确定第(i+1)帧全景图像中的N个子图像中的所有跟踪目标均跟踪成功；以及在每检测到一个跟踪目标跟踪失败时，执行步骤S502。

例如，若第2帧全景图像中的子图像为T11、T21、T31和T41，则通过 G1在T11中跟踪R1，通过G2在T21中跟踪R3和R4；检测到R1跟踪成功得到R11和R3跟踪成功得到R31，以及检测到R4跟踪失败，此时，执行步骤S502。

在每检测到一个跟踪目标跟踪失败时，执行步骤S502，由于在跟踪目标跟踪失败时，跟踪失败的跟踪目标有较大的概率从其所在的子图像移动到所述相邻子图像中；因此，通过步骤S502获取到所述相邻子图像，再通过步骤S503 在第(i+2)帧全景图像中的相邻子图像中对跟踪失败的跟踪目标进行检测，得到检测结果；如此，可以将部分跟踪失败的跟踪目标重新检测出来再进行跟踪，进而能够实现对跟踪目标进行更准确的跟踪，降低跟踪目标丢失的概率。

例如，若第2帧全景图像中的子图像为T11、T21、T31和T41，则通过 G1在T11中跟踪R1，通过G2在T21中跟踪R3和R4；检测到R1跟踪成功得到R11和R3跟踪成功得到R31，以及检测到R4跟踪失败，则根据邻接关系{(T1->T2)，(T2->(T1，T3))，(T3->(T2，T4))，(T4->T3)}，确定与 R4所在的T2邻接的相邻子图像为T1和T3；然后获取第3帧全景图像中的子图像为T12、T22、T32和T42，第3帧全景图像中与T1和T3对应的子图像为T12和T32，则利用R4在T12和T32中进行目标检测，获得检测结果。

其中，若所述检测结果表征在T32中检测到R4用R42表示，且利用R11 通过G1在T12中进行跟踪和利用R31通过G2在T22中进行跟踪，得到从第 3帧全景图像中的子图像中跟踪成功的R11用R12表示和跟踪成功的R31用 R32表示，则确定第3帧全景图像中的4个子图像中的所有跟踪目标为R12、 R32和R42。

进一步地，若第4帧全景图像中的子图像为T13、T23、T33和T43，则利用R12通过G1在T13中进行跟踪、利用R32通过G2在T23中进行跟踪和利用R42通过G3在T33中进行跟踪，得到从第3帧全景图像中的子图像中跟踪成功的R12用R13表示、跟踪成功的R32用R33表示和跟踪成功R42用R43 表示。如此，可以将部分跟踪失败的跟踪目标重新检测出来再进行跟踪，进而能够实现对跟踪目标进行更准确的跟踪，降低跟踪目标丢失的概率。

在本发明的另一实施例中，在每个投影图像与至少一个投影图像存在重叠区域，且每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，所述方法还包括以下步骤：

S601、检测该跟踪失败的跟踪目标是否位于两个投影图像之间的重叠区域内；

S602、若检测到该跟踪失败的跟踪目标不位于两个投影图像之间的重叠区域内，则丢弃该跟踪失败的跟踪目标；

本发明实施例中，若检测到该跟踪失败的跟踪目标不位于两个子图像之间的重叠区域内，还可以依次执行步骤S502～S504。

S603、若检测到该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，则获取与该跟踪失败的跟踪目标所在的子图像具有重叠区域的特定子图像；

S604、利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的所述特定子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；

S605、从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N个子图像中的所有跟踪目标。

其中，在步骤S601中，可以根据该跟踪失败的跟踪目标的坐标，检测该跟踪失败的跟踪目标是否位于两个子图像之间的重叠区域内。当然，为了快速的检测出该跟踪失败的跟踪目标是否位于两个子图像之间的重叠区域内，还可以根据该跟踪失败的跟踪目标的坐标和子图像之间的邻接关系，检测该跟踪失败的跟踪目标是否位于两个子图像之间的重叠区域内。

具体地，首先将该跟踪失败的跟踪目标的坐标进行坐标转换，将该跟踪失败的跟踪目标的坐标转换成全景图像中的经纬度坐标；然后再将转换成的经纬度坐标与每个子图像对应的全景图像中的经纬度坐标进行比对；若转换成的经纬度坐标与两个子图像对应的经纬度坐标存在相同部分，则可以判定该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，则执行步骤S603～S605；若转换成的经纬度坐标仅与一个子图像对应的经纬度坐标存在相同部分，则可以判定该跟踪失败的跟踪目标步位于两个子图像之间的重叠区域内，则执行步骤 S602。

具体地，在获取该跟踪失败的跟踪目标的坐标之后，根据子图像之间的邻接关系，确定与该跟踪失败的跟踪目标所在子图像相邻的子图像；然后将该跟踪失败的跟踪目标的坐标转换成全景图像中的经纬度坐标，并将转换成的经纬度坐标与相邻子图像对应的全景图像中的经纬度坐标进行比对；若转换成的经纬度坐标与相邻子图像对应的经纬度坐标存在相同部分，则可以判定该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，则执行步骤S603～S605；若转换成的经纬度坐标与相邻子图像对应的经纬度坐标不存在相同部分，则可以判定该跟踪失败的跟踪目标步位于两个子图像之间的重叠区域内，则执行步骤S602。

此时，转换成的经纬度坐标仅需与相邻子图像对应的全景图像中的经纬度坐标进行比对，而不需与每个子图像的全景图像中的经纬度坐标进行比对，其对比的数量减少，促使其计算量也随之减少，从而能够缩短检测时间提高检测效率。

若检测到该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，执行步骤S603，此时，可以获取该跟踪失败的跟踪目标所在重叠区域所对应的两个子图像，所在重叠区域所对应的两个子图像一个为该跟踪失败的跟踪目标所在的子图像，另一个为所述特定子图像，通过此种方式即可获取到所述特定子图像。

本发明实施例中，步骤S604～S605的具体实施过程可以参考步骤 S503～S504的实施过程，为了说明书的简洁，在此就不再赘述了。

例如，若第2帧全景图像中的子图像为T11、T21、T31和T41，则通过 G1在T11中跟踪R1，通过G2在T21中跟踪R3和R4；检测到R1跟踪成功得到R11和R3跟踪成功得到R31，以及检测到R4跟踪失败，检测R4是否位于否位于两个子图像之间的重叠区域内。

由于R4位于子图像T2内，而根据邻接关系{(T1->T2)，(T2->(T1，T3))， (T3->(T2，T4))，(T4->T3)}，确定与R4所在的T2邻接的相邻子图像为 T1和T3；然后将R4的坐标转换成经纬度坐标，再将转换成的经纬度坐标分别与T1和T3对应的经纬度坐标进行比对。若R4转换成的经纬度坐标与T3 对应的经纬度坐标存在相同部分，则可以确定R4位于T2和T3之间的重叠区域，且由于R4所在的子图像为T2，由此可知，R4对应的特定子图像为T3。

其中，在确定R4对应的特定子图像为T3之后，若第3帧全景图像中的子图像为T12、T22、T32和T42，第3帧全景图像中与T3对应的子图像为T32，则利用R4在T32中进行目标检测，获得检测结果。

其次，若所述检测结果表征在T32中检测到R4用R42表示，且利用R11 通过G1在T12中进行跟踪和利用R31通过G2在T22中进行跟踪，得到从第 3帧全景图像中的子图像中跟踪成功的R11用R12表示和跟踪成功的R31用 R32表示，则确定第3帧全景图像中的4个子图像中的所有跟踪目标为R12、 R32和R42。

进一步地，若第4帧全景图像中的子图像为T13、T23、T33和T43，则利用R12通过G1在T13中进行跟踪、利用R32通过G2在T23中进行跟踪和利用R42通过G3在T33中进行跟踪，得到从第3帧全景图像中的子图像中跟踪成功的R12用R13表示、跟踪成功的R32用R33表示和跟踪成功R42用R43 表示。如此，可以将部分跟踪失败的跟踪目标重新检测出来再进行跟踪，进而能够实现对跟踪目标进行更准确的跟踪，降低跟踪目标丢失的概率。

本发明实施中，通过检测该跟踪失败的跟踪目标是否位于两个投影图像之间的重叠区域内的检测结果作为选择条件，去掉部分无需进行目标检测的跟踪失败的跟踪目标，而不需要所有跟踪失败的跟踪目标都要进行目标检测，从而能够有效降低计算量提高跟踪的效率。而且，去掉的部分无需进行目标检测的跟踪失败的跟踪目标较小的概率出现在后续帧全景图像中，提高需要进行目标检测的跟踪失败的跟踪目标的精确性。

基于与本发明第一方面提供的方法相同的技术构思，本发明第二方面还提供了一种全景相机，包括可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现以下步骤：

选取全景视频中的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成N个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；

从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，其中M 为不小于1的整数；

以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：

利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第 (i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

较佳地，所述程序被处理器执行时每帧全景图像分成的N个子图像中每相邻两个子图像之间具有重叠区域。

较佳地，所述程序被处理器执行时从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标的步骤时，具体实现以下步骤：根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标。

较佳地，所述程序被处理器执行时根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标的步骤时，还实现以下步骤：根据所述预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标；从所述M个跟踪目标中获取具有重叠区域的跟踪目标对集；从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标。

较佳地，所述程序被处理器执行时从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标的步骤时，具体实现以下步骤：获取每个跟踪目标对中每个跟踪目标的置信度；去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述M个跟踪目标。

较佳地，所述程序被处理器执行时利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪的步骤时，具体实现以下步骤：创建与每帧全景图像中的N个子图像一一对应的N个跟踪器；根据跟踪目标与子图像的对应关系，将第i帧全景图像中的每个跟踪目标添加到所述N个跟踪器中对应的跟踪器中进行跟踪。

较佳地，所述程序被处理器执行时利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪的步骤时，具体实现以下步骤：创建与每帧全景图像中的所有跟踪目标一一对应的P个跟踪器，P为不小于0的整数；将第i帧全景图像中的每个跟踪目标添加到所述P个跟踪器中对应的跟踪器中进行跟踪。

较佳地，所述程序被处理器执行时在利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪的步骤时，还实现以下步骤：若第(i+1)帧全景图像中的N个子图像中不存在跟踪成功的跟踪目标，则从第(i+1)帧全景图像中的N个子图像中选取至少一个跟踪目标。

较佳地，在从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标之后，所述方法还包括以下步骤：以所述初始帧全景图像为起点，每间隔k 帧全景图像从相应帧全景图像对应的N个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1；利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

较佳地，所述程序被处理器执行时在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标之后的步骤时，还实现以下步骤：将第 (i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标显示在第 (i+1)帧全景图像或第(i+2)帧全景图像中。

较佳地，在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标时，所述方法还包括以下步骤：检测第(i+1)帧全景图像中的N 个子图像中的每个跟踪目标是否均跟踪成功；在每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，根据子图像之间的邻接关系，获取与该跟踪失败的跟踪目标所在的子图像邻接的相邻子图像；利用跟踪失败的跟踪目标在第 (i+2)帧全景图像中的相邻子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N个子图像中的所有跟踪目标。

较佳地，所述程序被处理器执行时在每个子图像与至少一个子图像存在重叠区域，且每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败的步骤时，还实现以下步骤：检测该跟踪失败的跟踪目标是否位于两个子图像之间的重叠区域内；若检测到该跟踪失败的跟踪目标不位于两个子图像之间的重叠区域内，则丢弃该跟踪失败的跟踪目标；若检测到该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，则获取与该跟踪失败的跟踪目标所在的子图像具有重叠区域的特定子图像；利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的所述特定子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第 (i+2)帧全景图像中的N个子图像中的所有跟踪目标。

较佳地，所述程序被处理器执行时利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标的步骤时，具体实现以下步骤：检测i是否不小于2；若i小于2，则通过目标跟踪算法对第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标；若i不小于2，则获取第i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹；利用第i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹，预测出第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标的新位置，将预测出新位置的至少一个跟踪目标作为第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标。

本发明的有益效果如下：

由于本申请实施例是利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标；使得每个跟踪目标在在对应的子图像中进行目标跟踪；本发明实施例是在全景图像中直接跟踪，无需进行投影和计算概率等步骤。因此，与现有技术相比，在进行目标跟踪时其计算步骤减少和计算量降低，因而促使全景视频中目标跟踪效率提高，有效提高了全景视频中的多个目标跟踪的实时性。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (15)

1.一种目标跟踪方法，其特征在于，包括：

选取全景视频中的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成N个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；

从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，其中M为不小于1的整数；

以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：

利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

2.如权利要求1所述的方法，其特征在于，每帧全景图像分成的N个子图像中每相邻两个子图像之间具有重叠区域。

3.如权利要求2所述的方法，其特征在于，所述从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，具体包括：

根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标。

4.如权利要求3所述的方法，其特征在于，所述根据预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，具体包括：

根据所述预设条件，从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标；

从所述M个跟踪目标中获取具有重叠区域的跟踪目标对集；

从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标。

5.如权利要求4所述的方法，其特征在于，所述从所述所有跟踪目标中去除掉每个跟踪目标对中的一个跟踪目标，将余下的全部跟踪目标作为所述M个跟踪目标，具体包括：

获取每个跟踪目标对中每个跟踪目标的置信度；

去除掉每个跟踪目标对中置信度小的跟踪目标，得到余下的全部跟踪目标并将其作为所述M个跟踪目标。

6.如权利要求1所述的方法，其特征在于，所述利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，具体包括：

创建与每帧全景图像中的N个子图像一一对应的N个跟踪器；

根据跟踪目标与子图像的对应关系，将第i帧全景图像中的每个跟踪目标添加到所述N个跟踪器中对应的跟踪器中进行跟踪。

7.如权利要求1所述的方法，其特征在于，所述利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，具体包括：

创建与每帧全景图像中的所有跟踪目标一一对应的P个跟踪器，P为不小于0的整数；

将第i帧全景图像中的每个跟踪目标添加到所述P个跟踪器中对应的跟踪器中进行跟踪。

8.如权利要求1所述的方法，其特征在于，在从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标之后，所述方法还包括以下步骤：

以所述初始帧全景图像为起点，每间隔k帧全景图像从相应帧全景图像对应的N个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；

在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1；

利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

9.如权利要求1或8所述的方法，其特征在于，在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标之后，所述方法还包括：

将第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标显示在第(i+1)帧全景图像或第(i+2)帧全景图像中。

10.如权利要求1或8所述的方法，其特征在于，在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标时，所述方法还包括以下步骤：

检测第(i+1)帧全景图像中的N个子图像中的每个跟踪目标是否均跟踪成功；

在每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，根据子图像之间的邻接关系，获取与该跟踪失败的跟踪目标所在的子图像邻接的相邻子图像；

利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的相邻子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；

从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N个子图像中的所有跟踪目标。

11.如权利要求10所述的方法，其特征在于，在每个子图像与至少一个子图像存在重叠区域，且每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，所述方法还包括以下步骤：

检测该跟踪失败的跟踪目标是否位于两个子图像之间的重叠区域内；

若检测到该跟踪失败的跟踪目标不位于两个子图像之间的重叠区域内，则丢弃该跟踪失败的跟踪目标；

若检测到该跟踪失败的跟踪目标位于两个子图像之间的重叠区域内，则获取与该跟踪失败的跟踪目标所在的子图像具有重叠区域的特定子图像；

利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的所述特定子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；

从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N个子图像中的所有跟踪目标。

12.如权利要求1或8所述的方法，其特征在于，所述利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标，具体包括：

检测i是否不小于2；

若i小于2，则通过目标跟踪算法对第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标；

若i不小于2，则获取第i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹；利用第i帧全景图像中的N个子图像中的每个跟踪目标的运动轨迹，预测出第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标的新位置，将预测出新位置的至少一个跟踪目标作为第(i+1)帧全景图像中的N个子图像中的至少一个跟踪目标。

13.一种全景相机，其特征在于，包括可读存储介质，所述可读存储介质上存储有程序，所述程序被处理器执行时实现以下步骤：

选取全景视频中的某帧全景图像为初始帧全景图像，将所述初始帧全景图像及之后的每帧全景图像分成N个子图像，其中，每个子图像为对应全景图像中的部分图像，N为不小于2的整数；

从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标，其中M为不小于1的整数；

以所述初始帧全景图像为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到s，s为大于1的整数：

利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

14.如权利要求13所述的可读存储介质，其特征在于，所述程序被处理器执行时在从所述初始帧全景图像分成的N个子图像中选取M个跟踪目标之后的步骤时，还实现以下步骤：

以所述初始帧全景图像为起点，每间隔k帧全景图像从相应帧全景图像对应的N个子图像中选取至少一个跟踪目标，其中，k为不小于2的整数；

在每个间隔k帧全景图像的周期内，将选取至少一个跟踪目标的相应帧全景图像作为第1帧全景图像，依次针对第1帧全景图像之后的每帧全景图像执行以下步骤，其中，i依次从1取到k+1；

利用第i帧全景图像中的N个子图像中的每个跟踪目标进行跟踪，得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标。

15.如权利要求13或14所述的可读存储介质，其特征在于，所述程序被处理器执行时在得到第(i+1)帧全景图像中的N个子图像中跟踪成功的至少一个跟踪目标的步骤时，还实现以下步骤：

检测第(i+1)帧全景图像中的N个子图像中的每个跟踪目标是否均跟踪成功；

在每检测到第(i+1)帧全景图像中的一个跟踪目标跟踪失败时，根据子图像之间的邻接关系，获取与该跟踪失败的跟踪目标所在的子图像邻接的相邻子图像；

利用跟踪失败的跟踪目标在第(i+2)帧全景图像中的相邻子图像中进行目标检测，得到跟踪失败的跟踪目标对应的检测结果；

从所有跟踪失败的跟踪目标对应的检测结果中获取检测结果表征检测成功的每个跟踪目标，将检测成功的每个跟踪目标和跟踪得到的至少一个跟踪目标作为第(i+2)帧全景图像中的N个子图像中的所有跟踪目标。