CN110570448A - 一种全景视频的目标追踪方法、装置及便携式终端 - Google Patents

Abstract

本发明提供了一种全景视频的目标追踪方法、装置及便携式终端。所述方法包括：获取全景视频的全景视频帧；将全景视频向一边作扩边处理，得到扩边视频帧；对当前扩边视频帧进行目标检测，选取目标跟踪的类别；对后续每个扩边视频帧进行目标检测与跟踪；获取所有跟踪目标对应的视频段。本发明技术方案通过在扩边视频帧上进行目标检测与追踪，实现了获取每个追踪物体对应的视频段，且实现使目标物体始终处在全景视频的中间或者平面视频的中心的效果。

Description

一种全景视频的目标追踪方法、装置及便携式终端

技术领域

本发明属于视频领域，尤其涉及一种全景视频的目标追踪方法、装置及便携式终端。

背景技术

目标追踪是计算机视觉中的一个重要研究方向，已广泛应用于视频监控和人机交互等领域；目标追踪是通过在视频的每一帧中定位目标，来生成目标的运动轨迹，是对视频序列中的目标状态进行持续推断的一种方法。

全景视频是将静态的全景图片转化为动态的全景视频图像，用户能够任意观看在全景摄像机拍摄角度范围内的动态视频；在观看全景视频时，由于平面显示器某一时刻只能显示全景视频的其中一个视角，当用户想要持续观看特定目标对象时，可能由于目标消失在当前视角而需要不断控制显示器转动视角，因此操作比较麻烦。当观众感兴趣的一个物体在全景视频中位置不断变化时，观众需要跟随物体的转动不断地调整观看视角，这种情况下观众会有眩晕感；当观众对同一个全景视频中多个目标物体感兴趣时，则需要重复多次观看全景视频找寻不同的目标，因此这种情况下观看全景比较麻烦且效率低。

发明内容

本发明提出一种全景视频的目标追踪方法、装置及便携式终端，旨在对全景视频中的物体进行目标检测与追踪，实现获取每个追踪物体对应的视频段，且能使目标物体始终处在全景视频的中间或者平面视频的中心的效果。

第一方面，本发明提供了一种全景视频的目标追踪方法，所述方法包括：

获取全景视频的全景视频帧；

将全景视频向一边作扩边处理，得到扩边视频帧；

对当前扩边视频帧进行目标检测，选取目标跟踪的类别；

对后续每个扩边视频帧进行目标检测与跟踪；

获取所有跟踪目标对应的视频段。

第二方面，本发明提供了一种全景视频的目标追踪装置，所述装置包括：

获取模块，用于获取全景视频的全景视频帧；

扩边模块，用于将全景视频向一边作扩边处理，得到扩边视频帧；

目标检测模块，用于对当前扩边视频帧进行目标检测，选取目标跟踪的类别；

目标跟踪模块，用于对后续每个扩边视频帧进行目标检测与跟踪；

获取视频段模块，用于获取所有跟踪目标对应的视频段。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的一种全景视频的目标追踪方法的步骤。

第四方面，本发明提供了一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的一种全景视频的目标追踪方法的步骤。

本发明通过对全景视频帧进行扩边，在扩边视频帧上进行目标检测与追踪，实现获取每个追踪物体对应的视频段，且能使跟踪到的目标物体始终处在全景视频的中间或者平面视频的中心的效果，本发明还可以对感兴趣物体快速选择，实现浏览对应视频画面的效果。

附图说明

图1是本发明实施例一提供的一种全景视频的目标追踪方法流程图。

图2是本发明实施例二提供的一种全景视频的目标追踪模块示意图。

图3是本发明实施例三提供的便携式终端的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1，本发明实施例一提供的一种全景视频的目标追踪方法包括以下步骤：

S101.获取全景视频的全景视频帧；

所述全景视频为全景的平面视频，当全景视频为全景的球面视频时，应先将全景的球面视频投射到全景的平面视频；

获取全景视频帧的总数S个，S为大于1的整数。

S102.将全景视频向一边作扩边处理，得到扩边视频帧；

所述一边为视频帧的左边或者右边；

所述将所述全景视频帧向一边作扩边处理，其中一个实施例为：对所述全景视频帧的左边进行扩边处理时，将视频画面靠右边的1/n的部分平行复制粘贴到左边，拼接生成扩边视频帧，其中n不等于0，n>0；

所述将所述全景视频帧向一边作扩边处理，另一个实施例为：当对所述全景视频帧的右边进行扩边处理时，将视频画面靠左边的1/n的部分平行复制粘贴到右边，拼接生成扩边视频帧，其中n不等于0，n>0；

所述扩边视频帧使全景视频展开后的全景视频帧画面有图像冗余，以解决投射法展开的全景视频帧画面的边界有目标物体被分成两半，导致用目标检测方法检测不出来的问题。

S103.对当前扩边视频帧进行目标检测，选取目标跟踪的类别；

以当前扩边视频帧为第i帧；对第i帧进行目标检测，预设目标检测的阈值为k，根据该阈值选取当前扩展视频帧目标跟踪的目标类别为m_i个，其中i为大于1的整数，m_i为大于0的整数；

所述跟踪的目标对象，包括但不限于人、动物和车辆等物体；

所述目标检测的方法可以是预训练的目标检测方法，所述预训练的目标检测方法具体为：通过预定义目标检测的类别，制作类别数据集，然后基于神经网络训练的目标检测算法；

进一步的，所述目标检测方法还可以是人脸检测方法、基于Region Proposal的深度学习目标检测算法和生物识别方法等，本申请不作具体限制。

S104.对后续每个扩边视频帧进行目标检测与跟踪；

令所述当前视频帧之后依次第j个扩边视频帧为第i+j帧，j为大于1的整数：

所述对后续每个扩边视频帧进行目标检测与跟踪具体包括：

S1041.依次对第i+j帧用所述目标检测方法进行目标检测，选取目标跟踪的类别m_i+j个；

S1042.采用目标跟踪算法进行跟踪，若跟踪目标连续a帧出现，则将该目标加入追踪队列，若该目标连续b帧没有检测到，则结束该目标的跟踪，其中a和b为大于0的整数；

所述目标跟踪算法具体为：

若i＝1，则根据从第i帧图像中选取的跟踪目标作为第i帧图像中的所有跟踪目标；

若1＜i＜S，则根据从第i帧全景图像中中选取的跟踪目标和从第i帧跟踪得到的跟踪目标，作为第i帧图像中所有跟踪目标；

若i＝S，则将从第i帧中跟踪得到的所有跟踪目标作为第i帧图像中的所有跟踪目标；

所述目标跟踪方法可以为iou-track跟踪算法或者sort跟踪算法；

进一步地，所述目标跟踪方法还可以为基于主动轮廓的跟踪方法、基于特征的跟踪方法、基于区域的跟踪方法和基于模型的跟踪方法等；

本发明实施例中，所述目标类别可以是通过目标检测方法检测到的，可以是通过目标跟踪方法跟踪到的，还可以是采用上述两种方法得到的；

所述目标跟踪算法一个实施例为采用iou-track跟踪算法；设定目标检测的阈值σl，对目标检测得分小于该阈值的结果进行过滤，剩下得分高于该阈值的检测框；对于每一帧，在当前帧的检测框中找到和当前追踪队列的追踪框中iou最大的检测框，然后判断该iou是否大于阈值，如果是，则将该检测框加入，作为与之匹配的追踪框在当前帧中的位置；否则，判断该追踪框在之前帧中的最大检测得分是否大于阈值σh，且在该帧之前目标出现的帧数是否大于阈值tmin；如果是，说明是一个正常的追踪物体，且在当前帧已经离开了屏幕，因此将该追踪物体移出追踪队列；对于没有匹配上的检测框，认为是一个新出现的物体，作为待追踪的物体将检测框加入到追踪队列中。

S105.获取所有跟踪目标对应的视频段；

所述所有跟踪目标为从视频开始检测的第一帧到直到结束检测为止，在追踪队列中出现的目标个数，设为X个，其中X为不小于1的整数；

所述回去所有跟踪目标对应的视频段具体为：分别获取每个追踪目标追踪成功的视频帧，将对应视频帧剪辑成对应视频段。

在S105步骤之后还可以使所述视频段始终以目标为中心进行平面显示；

使所述视频段始终以目标为中心进行平面显示具体采用中国专利“一种全景视频的目标跟踪方法、装置和全景相机，申请号：2018105415536”中的方法使视频始终以目标为中心进行平面显示推荐给用户；

所述推荐给用户的视频段以所有跟踪目标类别进行显示，供用户选择，当用户选择感兴趣物体时，可以实现浏览该物体对应视频段画面的效果。

实施例二：

请参阅图3，本发明实施例二提供的一种全景视频的目标追踪装置包括：

获取模块，用于获取全景视频的全景视频帧；

扩边模块，用于将全景视频向一边作扩边处理，得到扩边视频帧；

目标检测模块，用于对当前扩边视频帧进行目标检测，选取目标跟踪的类别；

目标跟踪模块，用于对后续每个扩边视频帧进行目标检测与跟踪；

获取视频段模块，用于获取所有跟踪目标对应的视频段。

本发明实施例二提供的一种全景视频的目标追踪的装置及本发明实施例一提供的一种全景视频的目标追踪方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

实施例三：

本发明实施例三提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如本发明实施例一提供的一种全景视频的目标追踪方法的步骤。

实施例四：

图3示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种全景视频的目标追踪方法的步骤。

在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

本发明通过对全景视频帧进行扩边，在扩边视频帧上进行目标检测与追踪，获取每个追踪物体对应的视频段，能实现使目标物体始终处在全景视频的中间或者平面视频的中心的效果；本发明还可以对感兴趣物体快速选择，实现浏览对应视频画面的效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种全景视频的目标追踪方法，其特征在于，包括以下步骤：

获取全景视频的全景视频帧；

将全景视频帧向一边作扩边处理，得到扩边视频帧；

对当前扩边视频帧进行目标检测，选取目标跟踪的类别；

对后续每个扩边视频帧进行目标检测与跟踪；

获取所有跟踪目标对应的视频段。

2.如权利要求1所述的方法，其特征在于：所述获取所有跟踪目标对应的视频段之后还包括步骤：使所述视频段始终以目标为中心进行平面显示。

3.如权利要求1所述的方法，其特征在于：所述将全景视频向一边作扩边处理，得到扩边视频帧具体为：

所述全景视频帧的总数为S个，S为大于1的整数；

将全景视频帧的左边或右边的内容向右边或左边做扩边处理。

4.如权利要求1所述的方法，其特征在于：所述对当前扩边视频帧进行目标检测，选取目标跟踪的类别具体为：

以当前扩边视频帧为第i帧；对第i帧进行目标检测，预设目标检测的阈值为k，选取当前扩展视频帧目标跟踪的目标类别为m_i个，其中i为大于1的整数，m为大于0的整数。

5.如权利要求1所述的方法，其特征在于：所述的对后续每个扩边视频帧进行目标检测与跟踪具体包括：

依次对第i+j帧用进行目标检测，选取目标跟踪的类别m_i+j个；

采用目标跟踪算法进行跟踪，若该目标连续a帧出现，则将该目标加入追踪队列；若该目标连续b帧没有检测到，则结束该目标的跟踪，a和b分别为大于1的整数；

所述目标跟踪算法具体为：

若i＝1，则根据从第i帧图像中选取的跟踪目标作为第i帧图像中的所有跟踪目标；

若1＜i＜S，则根据从第i帧全景图像中中选取的跟踪目标和从第i帧跟踪得到的跟踪目标，作为第i帧图像中所有跟踪目标；

若i＝S，则将从第i帧中跟踪得到的所有跟踪目标作为第i帧图像中的所有跟踪目标。

6.如权利要求1所述的方法，其特征在于：所述获取所有跟踪目标对应的视频段具体为；

从全景视频帧开始检测的第一帧到最后一帧，总计检测X个目标类别，X为不小于1的整数；

对全景视频帧采用上述方法检测追踪，获取每个追踪目标追踪成功的视频段。

7.一种全景视频的目标追踪的装置，其特征在于，包括：

获取模块，用于获取全景视频的全景视频帧；

扩边模块，用于将全景视频向一边作扩边处理，得到扩边视频帧；

目标检测模块，用于对当前扩边视频帧进行目标检测，选取目标跟踪的类别；

目标跟踪模块，用于对后续每个扩边视频帧进行目标检测与跟踪；

获取视频段模块，用于获取所有跟踪目标对应的视频段。

8.一种全景视频的目标追踪的装置，其特征在于所述获取所有跟踪目标对应的视频段之后还包括步骤：使所述视频段始终以目标为中心进行平面显示。

9.一种计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的一种全景视频的目标追踪方法的步骤。

10.一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的一种全景视频的目标追踪方法的步骤。