CN113518214B - 全景视频数据处理方法及装置 - Google Patents
全景视频数据处理方法及装置 Download PDFInfo
- Publication number
- CN113518214B CN113518214B CN202110571830.XA CN202110571830A CN113518214B CN 113518214 B CN113518214 B CN 113518214B CN 202110571830 A CN202110571830 A CN 202110571830A CN 113518214 B CN113518214 B CN 113518214B
- Authority
- CN
- China
- Prior art keywords
- video frame
- polar coordinate
- target object
- image
- plane image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
Abstract
本申请提供全景视频数据处理方法及装置，其中全景视频数据处理方法包括：根据下一视频帧在球极坐标系中的全景图像，以当前视频帧的播放平面图像的中心位置的参考极坐标为中心，生成下一视频帧的跟踪平面图像；根据目标对象的对象特征，确定下一视频帧的跟踪平面图像中目标对象的中心位置在球极坐标系中的更新极坐标；将更新极坐标作为参考极坐标，返回执行根据下一视频帧在球极坐标系中的全景图像，以参考极坐标为中心，生成下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到当前视频帧至目标视频帧对应的参考极坐标序列，提高播放体验。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种全景视频数据处理方法。本申请同时涉及一种全景视频数据处理装置，一种计算设备，以及一种计算机可读存储介质。
背景技术
随着计算机技术和图像处理技术的快速发展，全景视频应运而生，全景视频的拍摄以及制作越来越受到人们的追捧，许多的视频网站也将全景视频作为一个专门的类别供用户选择并观看。全景视频是通过全景相机拍摄的、包含360度全方位画面内容的动态视频，它将静态的全景图片转化为动态的视频图像，用户能够任意观看在全景摄像机拍摄角度范围内的动态视频。
现有技术中，全景视频在拍摄的时候，由于本身可覆盖360度视角，所以并不会将某个想要重点进行拍摄的物体或目标固定在某个视角范围内，且在播放全景视频时，无法将360度视角范围的画面内容一次性地完全显示在播放装置上，用户需要不断选择适合自己的观察视角，该观察视角即当前视频的画面播放视角，也即用户在观看全景视频时，需要不停地拖拽视角以观看到自己想要观看的内容，较为麻烦，全景视频的观看体验较差。
发明内容
有鉴于此，本申请实施例提供了一种全景视频数据处理方法。本申请同时涉及一种全景视频数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的全景视频的观看体验较差的问题。
根据本申请实施例的第一方面，提供了一种全景视频数据处理方法，包括：
在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
根据本申请实施例的第二方面，提供了一种全景视频数据处理装置，包括：
第一确定模块，被配置为在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
第二确定模块，被配置为根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
生成模块，被配置为根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
第三确定模块，被配置为根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
执行模块，被配置为将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
根据本申请实施例的第三方面，提供了一种计算设备，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现下述方法：
在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现任意所述全景视频数据处理方法的步骤。
本申请提供的全景视频数据处理方法，在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
这种情况下，用户在当前视频帧中框选目标对象后，可以确定该目标对象的中心位置在球极坐标系中的初始极坐标，然后再将目标对象挪至播放平面图像的中心位置，确定所述目标对象位于所述中心位置的对象特征，用于后续目标跟踪，并将播放平面图像的中心位置的参考极坐标作为生成下一视频帧的跟踪平面图像的中心，从而始终以该目标对象为中心，进行目标跟踪，并播放相应的全景视频，即用户只需框选任意位置的目标对象，即可自动生成以该目标对象为中心的跟踪平面图像，针对目标对象可以自动生成连续的跟踪平面图像的视角中心，无需用户不停对全景视频进行拖拽，全景视频的处理效率大大提高，提高了全景视频的观看体验；且针对框选的目标对象，是以球极坐标系进行全景视频中目标对象的跟踪，可以有效避免因目标对象在全景视频中不同位置产生的图形畸变而导致的跟踪失败，提高了目标对象跟踪的准确率和成功率，从而提高全景视频的处理效果和播放效果。
附图说明
图1是本申请一实施例提供的一种全景视频数据处理方法的流程图；
图2是本申请一实施例提供的一种球极坐标系的原理示意图；
图3是本申请一实施例提供的另一种全景视频数据处理方法的流程图；
图4是本申请一实施例提供的一种全景视频数据处理装置的结构示意图；
图5是本申请一实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先，对本申请一个或多个实施例涉及的名词术语进行解释。
在本申请中，提供了一种全景视频数据处理方法，本申请同时涉及一种全景视频数据处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
图1示出了根据本申请一实施例提供的一种全景视频数据处理方法的流程图，具体包括以下步骤：
步骤102：在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标。
实际应用中，全景视频在拍摄的时候，由于本身可覆盖360度视角，所以并不会将某个想要重点进行拍摄的物体或目标固定在某个视角范围内，且在播放全景视频时，无法将360度视角范围的画面内容一次性地完全显示在播放装置上，用户需要选择适合自己的观察视角，该观察视角即当前视频的画面播放视角，也即用户在观看全景视频时，需要不停地拖拽视角以观看到自己想要观看的内容，较为麻烦，观看全景视频的体验较差。
此外，目前对于全景视频进行逐帧处理时，往往是直接将全景视频解码为帧序列图像后，直接在原始全景图像上逐帧进行目标跟踪，由于目标在原始全景图像中的不同位置时，可能产生图形畸变，从而可能导致目标对象跟踪失败。
因而，为了提高全景视频的观看体验、全景视频的处理效率和目标对象的跟踪成功率，本申请提供了一种全景视频数据处理方法，在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。如此，用户只需框选任意位置的目标对象，即可自动生成以该目标对象为中心的跟踪平面图像，针对目标对象可以自动生成连续的跟踪平面图像的视角中心，无需用户不停对全景视频进行拖拽，全景视频的处理效率大大提高，提高了全景视频的观看体验；且针对框选的目标对象，是以球极坐标系进行全景视频中目标对象的跟踪，可以有效避免因目标对象在全景视频中不同位置产生的图形畸变而导致的跟踪失败。
具体的，当前视频帧是指用户框选目标对象的全景视频帧；平面图像是指全景视频图像映射得到的二维图像；目标对象是指用户想要后续显示在平面图像中心的对象，框选操作所框选的内容即为目标对象；框选操作是指在目标对象外添加目标边框的操作，即采用目标边框框选目标对象。实际实现时，用户可以暂停播放全景视频，然后再当前视频帧的平面图像上任意框选目标对象。
另外，球极坐标系又称空间极坐标，是三维坐标系的一种，由二维极坐标系扩展而来，用以确定三维空间中点、线、面以及体的位置，它以坐标原点为参考点，由方位角、仰角和半径距离构成，本申请中预先将球极坐标系中的半径距离设置为默认值，通常设置为100-300之间，如128。也即，本申请中球极坐标系是一个固定球体半径的球极坐标系，因而本申请中球极坐标系中的初始极坐标(参考极坐标)包括方位角和仰角，通过方位角和仰角可以唯一确定球面上的一点(即目标对象的中心位置在球面上对应的点)。其中，初始极坐标是指用户框选的目标对象的中心位置的极坐标。
示例的，图2是本申请一实施例提供的一种球极坐标系的原理示意图，如图2所示，lat(仰角)和lon(方位角)分别为点A在球体中的仰角、方位角的极坐标表示。
需要说明的是，通常用户观看到的全景视频的平面图像都是以球体上的某个点为中心，一定的仰角、方位角范围作为视角生成的平面图片。本申请中对目标对象进行跟踪也是根据参考极坐标(方位角和仰角)的变化进行的，其中，仰角的变化范围为正负90度，方位角的变化范围为正负180度。
本申请中用户需要将哪个目标对象固定为平面图像视角中心时，可以框选该目标对象，之后可以根据目标对象的中心位置在球极坐标系中的初始极坐标(方位角和仰角)，在后续视频帧中自动对目标对象进行跟踪，更新中心位置的参考极坐标，从而生成该段视频对应的连续的平面图像视角中心，以该连续的平面图像视角中心对该段视频进行播放。
本实施例一个可选的实施方式中，确定所述目标对象的中心位置在球极坐标系中的初始极坐标，具体实现过程可以如下：
确定当前视频帧的播放平面图像中所述目标对象的中心位置；
根据所述当前视频帧在所述球极坐标系中的全景图像和所述中心位置，确定所述中心位置在所述球极坐标系中的初始极坐标。
需要说明的是，播放平面图像是指客户端实际播放的平面图像，即用户可以看到的平面图像。某一帧全景视频(即全景图像)投射至球极坐标系后，每个像素点在该球极坐标系上都有对应的极坐标，而平面图像是某一全景视频帧映射出的二维平面图像，该平面图像中也包括多个像素点，因而可以先确定平面图像中目标对象的中心位置的像素点，然后找到该像素点在球极坐标系上对应的极坐标，该极坐标就是目标对象的中心位置在球极坐标系中的初始极坐标。
步骤104：根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征。
具体的，在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标的基础上，进一步的，将根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征。
需要说明的是，与事先对全景视频编辑好播放视角供用户选择的方式不同，在播放场景下，用户一般是根据自己的喜好进行任意框选，并不一定参照创作者的初衷。而且用户的框选行为难以约束，可能会框选播放平面图像的边缘部分，而不是中心位置。因而，在用户框选目标对象后，需要根据目标对象当前在播放平面图像中所处的位置，确定目标对象处于播放平面图像的中心位置时的对象特征，后续进行目标跟踪时，可以以位于播放平面图像中心的目标对象的对象特征作为跟踪标准。
另外，目标对象移动至播放平面图像的中心位置后，目标对象的中心位置的极坐标其实就是播放平面图像的中心位置的极坐标，因而可以将播放平面图像的中心位置的极坐标确定为生成下一视频帧的跟踪平面图像的参考极坐标。
本实施例一个可选的实施方式中，根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征，具体实现过程可以如下：
确定所述当前视频帧的播放平面图像的中心位置在所述球极坐标系上的中心极坐标；
根据所述初始极坐标和所述中心极坐标进行插值，得到预设数值个中间极坐标；
根据所述中间极坐标和所述中心极坐标，确定所述目标对象位于所述中心位置对应的对象特征。
需要说明的是，用户框选目标对象时，目标对象可能并不位于播放平面图像的中心，当目标对象距离播放平面图像的中心位置较远时，如果直接将目标对象移动到播放平面图像的中心位置，可能会导致目标对象发生畸变，因而需要通过插值的方式，将目标对象慢慢从框选的初始位置移动到播放平面图像的中心位置，然而确定目标对象位于中心位置的对象特征。
本实施例一个可选的实施方式中，根据所述中间极坐标和所述中心极坐标，确定所述目标对象位于所述中心位置对应的对象特征，具体实现过程可以如下：
将所述中间极坐标和所述中心极坐标依次按序排列得到极坐标集合；
对所述当前视频帧的播放平面图像进行图像识别，确定所述目标对象的对象特征；
根据所述当前视频帧在所述球极坐标系中的全景图像，以所述极坐标集合中的第i个极坐标为中心，生成所述当前视频帧的跟踪平面图像，所述i等于1；
令所述i自增1，并将所述跟踪平面图像作为所述播放平面图像，返回执行所述对所述当前视频帧的播放平面图像进行图像识别，得到所述目标对象的对象特征的操作步骤，直至所述i等于所述极坐标集合中包括的极坐标个数，得到所述目标对象位于所述中心位置对应的对象特征。
具体的，跟踪平面图像是指针对目标对象进行目标跟踪所使用到的平面图像。另外，将所述中间极坐标和所述中心极坐标依次按序排列得到极坐标集合，即是指将插值得到的各个中间极坐标，按照与初始极坐标的距离由小至大进行排列，中间极坐标排列完后，再排列该中心极坐标，得到该极坐标集合；也就是说，极坐标集合中的第一个极坐标是与初始极坐标距离最小的极坐标，极坐标集合中的最后一个极坐标是与初始极坐标距离最大的极坐标(即中心极坐标)。
实际实现时，需要将目标对象的中心从当前的初始极坐标移动至当前播放平面图像的中心位置的中心极坐标，即初始极坐标为插值的起点，而中心极坐标为插值的终点。在进行插值时是根据初始极坐标和中心极坐标进行插值，即将初始极坐标和中心极坐标之间的数值平均分为预设数值份，得到多个插值的中间极坐标。然后依次按序以插值得到的各个中间极坐标和最终的中心极坐标为中心，生成相应的跟踪平面图像，直至得到最后一个以中心极坐标为中心的跟踪平面图像，即目标对象位于当前视频帧的播放平面图像中心的平面图像，对以中心极坐标为中心的跟踪平面图像进行图像识别，即可得到目标对象位于当前视频帧的播放平面图像的中心位置的对象特征。另外，在确定插值的参数时，即在确定将初始极坐标和中心极坐标之间的数值平均分为多少份时，可以根据初始极坐标中较大的坐标进行确定。
示例的，假设中心极坐标为(0，0)，初始极坐标为(50，80)，即插值的起始值为(50，80)，终止值为(0，0)，假设预设数值为20，则此时需要将80-0平均划分为20分，将50-0平均划分为20分，得到中间极坐标((47.5，76)，(45，72)，……，(5，8)，(2.5，4))。因而，此时得到的极坐标集合为((47.5，76)，(45，72)，……，(5，8)，(2.5，4)，(0，0))。
对当前视频帧的播放平面图像(即目标对象的中心位置的极坐标为(50，80)的平面图像)进行图像识别，得到目标对象的对象特征；然后根据所述当前视频帧在所述球极坐标系中的全景图像，以(47.5，76)为中心，生成所述当前视频帧的跟踪平面图像，将该跟踪平面图像作为播放平面图像进行图像识别，得到目标对象的对象特征；然后继续以(45，72)为中心，生成所述当前视频帧的跟踪平面图像，将该跟踪平面图像作为播放平面图像进行图像识别，得到目标对象的对象特征。以此类推，直至以(0，0)为中心，生成所述当前视频帧的跟踪平面图像，对该跟踪平面图像进行图像识别，得到目标对象位于当前视频帧的播放平面图像的中心位置的对象特征。
本实施例一个可选的实施方式中，对所述当前视频帧的播放平面图像进行图像识别，确定所述目标对象的对象特征，包括：
确定所述框选操作对应的目标边框；
根据所述目标边框，确定对应的确定识别区域；
在所述当前视频帧的播放平面图像中所述识别区域内进行图像识别，确定所述目标对象的对象特征。
需要说明的是，在框选目标对象时，可以使用一个目标边框进行框选，然后可以根据该目标边框，选择大于或等于目标边框的部分图像内容作为识别区域，后续仅在该识别区域内进行图像识别。
实际应用时，可以确定所述目标边框所框选的面积，将所述面积的预设倍数确定为识别区域。当然，还可以确定所述目标边框的长和宽，将所述长和宽的预设倍数构成的区域确定为识别区域。具体的，预设倍数可以预设进行设置，该预设倍数用于确定最后进行图像识别的区域，如该预设倍数可以1.5倍、2倍等。
需要说明的是，为了对后续视频帧进行目标对象的跟踪，需要对当前视频帧中框选的目标对象进行图像识别，得到位于播放平面图像中心的目标对象的对象特征。具体实现时，跟踪算法可以为基于相关性滤波的跟踪算法，如KCF(Kernel Correlation Filter，核相关滤波算法)、DSST(Discriminatiive Scale Space Tracker，一种结合位置和尺度的滤波算法)等，还可以为基于深度学习的跟踪算法，如SiamRPN、SiamFC等，本申请中不对具体的跟踪算法进行限制。
另外，在对当前视频帧的播放平面图像进行图像识别，提取目标对象的对象特征时，可以对整个播放平面图像进行图像识别，以提取特征。另外，由于最后需要获取的仅仅是目标对象的对象特征，因而还可以只对目标对象附近的区域进行图像识别，也即可以先确定框选操作所框选的面积，然后将预设倍数的该面积确定为识别区域，仅在该识别区域内进行图像识别，无需对整个播放平面图像进行图像识别，提高了图像识别的速度，从而提高了整个全景视频的处理效率。
本申请中用户在当前视频帧的播放平面图像中框选任意位置的目标对象后，可以根据目标对象当前在播放平面图像中所处的位置，确定目标对象处于播放平面图像的中心位置时的对象特征，后续进行目标跟踪时，可以以位于播放平面图像中心的目标对象的对象特征作为跟踪标准。
步骤106：根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像。
具体的，在根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征的基础上，进一步的，将根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像。
本实施例一个可选的实施方式中，根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像，具体实现过程可以如下：
将所述下一视频帧映射至所述球极坐标系中，得到所述下一视频帧在所述球极坐标系中的全景图像；
以所述参考极坐标为中心，预设角度为范围，截取所述全景图像；
将截取到的所述全景图像转化为所述下一视频帧的跟踪平面图像。
具体的，预设角度范围是指预设的仰角和方位角范围，如仰角为0-30度，方位角为10-45度。需要说明的是，生成全景视频的每一视频帧对应的跟踪平面图像时，预设角度范围是相同的，也就是说，先预设一个仰角和方位角的范围，以该仰角和方位角的范围生成第一帧全景视频帧的跟踪平面图像，并以该仰角和方位角的范围生成后续每一帧全景视频帧的跟踪平面图像。
本申请中可以将下一视频帧的全景图像投射至球极坐标系中，然后以确定出的参考极坐标为中心，截取一定的全景图像，映射成二维平面图像，就可以得到该下一视频帧的跟踪平面图像，由于该跟踪平面图像是以前一视频帧(将该下一视频帧看做当前视频帧)的目标对象的中心位置的参考极坐标为中心截取生成，因而该下一视频帧中目标对象依旧处于跟踪平面图像的中心位置。
本实施例一个可选的实施方式中，根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像之后，还包括：
对所述下一视频帧的跟踪平面图像进行镜头边界检测；
确定所述下一视频帧属于当前镜头的置信度。
具体的，置信度也称为可靠度，或置信水平、置信系数。镜头边界检测是指检测该下一视频帧对应的镜头是否依旧为当前镜头，即视频的镜头是否发生变化。下一视频帧属于当前镜头的置信度是指该下一视频帧对应的镜头依旧属于当前镜头的可信度。
需要说明的是，视频由多个场景构成，每个场景由多个镜头构成，每个镜头又由多个帧构成，帧是视频的最小单位，即每一幅静态画面。当视频的镜头变化时，目标对象可能也发生变化，如当镜头从操作切换到教室时，目标对象“狗”消失了，因而本申请中可以通过下一视频帧属于当前镜头的置信度，得出当前镜头是否发生改变，从而最为后续判断是否停止跟踪的条件。
本申请中是在全景视频的播放场景下，用户无法提前知晓镜头分割的位置，因而需要对平面图像进行镜头边界检测，从而确定镜头是否发生变化，便于后续确定是否停止跟踪目标对象。
步骤108：根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标。
具体的，在根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的基础上，进一步的，将根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标。
需要说明的是，对当前视频帧的播放平面图像进行图像识别，可以得到位于当前播放平面图像中心的目标对象的对象特征，基于该对象特征，可以在生成的下一视频帧的跟踪平面图像中进行目标跟踪，找到相应的目标对象，然后基于新确定出的目标对象，对参考极坐标进行更新。
本实施例一个可选的实施方式中，根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标，具体实现过程可以如下：
对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，确定所述下一视频帧中目标对象的中心位置；
确定所述下一视频帧中目标对象的中心位置在所述球极坐标系中的更新极坐标。
需要说明的是，对下一视频帧的跟踪平面图像进行图像识别可以得到相应的图像特征，然后将具备目标对象的对象特征的图像特征确定为目标对象，之后就可以确定出该更新后的目标对象的中心位置的更新极坐标。实际应用时，可以直接对下一视频帧的整个跟踪平面图像进行识别，得到相应的图像特征，还可以基于当前视频帧确定出的识别区域进行识别，即只在下一视频帧的跟踪平面图像中所述识别区域内进行图像识别。
本实施例一个可选的实施方式中，对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，确定所述下一视频帧中目标对象的中心位置，具体实现过程可以如下：
对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，得到图像特征；
对所述图像特征和所述对象特征进行分析处理，得到所述识别区域中存在所述目标对象的置信度，以及所述图像特征相对于所述识别区域的中心位置的位置偏移量；
在所述置信度大于置信度阈值的情况下，根据所述播放平面图像中所述目标对象的中心位置和所述位置偏移量，确定所述下一视频帧中目标对象的中心位置。
具体的，置信度也称为可靠度，或置信水平、置信系数，所述识别区域中存在所述目标对象的置信度可以表示识别区域中是否存在目标对象。需要说明的是，在对下一视频帧的跟踪平面图像中识别区域进行图像识别，得到图像特征后，需要确定识别得到的图像特征是否为初始框选的目标对象，因而可以对图像特征和对象特征进行分析处理，确定识别区域中存在目标对象的置信度，即识别区域中存在目标对象的可靠度，具体实现时，可以通过不同的算法对图像特征和对象特征进行分析处理，以得到识别区域中存在目标对象的置信度。
一种可能的实现方式中，可以通过特征对比，确定图像特征和对象特征之间的相似度，从而得到识别区域中存在目标对象的置信度。具体实现时，可以将所述图像特征和所述对象特征进行对比，确定所述图像特征和所述对象特征之间的相似度，将该相似度确定为识别区域中存在目标对象的置信度。
另外，还可以通过对图像特征和对象特征进行卷积，得到识别区域中存在目标对象的置信度，当然，实际应用中，还可以采用其他的跟踪算法，将图像特征和对象特征输入跟踪算法中，得到识别区域中存在目标对象的置信度，本申请对此不进行限制。
需要说明的是，在对所述图像特征和所述对象特征进行分析处理，除了可以得到识别区域中存在目标对象的置信度之外，还可以得到图像特征相对于识别区域的中心位置的位置偏移量。由于识别区域是根据当前视频帧的播放平面图像中的目标对象确定的，因而识别区域的中心位置实际上可以表示目标对象在该当前视频帧中的中心位置。另外，图像特征是对下一视频帧中识别区域进行识别得到的特征，而对象特征是当前视频帧中目标对象的对象特征(即目标对象位于图像中心位置时的特征)，通过分析比较图像特征和对象特征，可以得出下一视频帧中图像特征相对于目标对象位于图像中心位置时的特征发生的变化，该变化可以表示图像特征相对于识别区域的中心位置的位置偏移量。
另外，由于图像特征是对下一视频帧的跟踪平面图像中的识别区域进行图像识别得到的特征，因而该图像特征就是候选的目标对象对应的特征，那么图像特征相对于识别区域的中心位置的位置偏移量就是候选的目标对象相对于识别区域的中心位置的位置偏移量，在后续确定出该候选的目标对象就是当前视频帧中的目标对象时，该位置偏移量可以表示在下一视频帧中目标对象相对于当前视频帧移动了多少距离。
在置信度大于置信度阈值时，说明识别出的图像特征大概率就是初始框选的目标对象，因而此时可以根据初始的中心位置(播放平面图像中所述目标对象的中心位置)和位置偏移量(即目标对象移动的距离)，得到目标对象更新后的中心位置(即下一视频帧中目标对象的中心位置)。
需要说明的是，在新的视频帧(即下一视频帧)中进行目标跟踪，确定目标对象在该下一视频帧中所处的位置，然后再进一步确定目标对象的中心位置的更新极坐标，从而便于继续生成后续视频帧的平面图像，并继续对目标对象进行跟踪。
本实施例一个可选的实施方式中，根据所述播放平面图像中所述目标对象的中心位置和所述位置偏移量，确定所述下一视频帧中目标对象的中心位置之后，还包括：
将所述图像特征和所述对象特征进行融合，得到更新的对象特征。
需要说明的是，对初始的视频帧的播放平面图像进行图像识别，得到位于播放平面图像中心的目标对象的初始对象特征后，后续对每一视频帧进行目标跟踪时，可以将识别出的图像特征均和该初始对象特征进行对比，从而确定出目标对象。另外，还可以将每次识别出的图像特征和之前的对象特征进行融合，作为下一视频帧识别目标对象的跟踪标准，也即，每次将识别出的图像特征和之前的对象特征融合，得到更新的对象特征，作为后续视频帧目标跟踪的对比标准。
示例的，假设初始的视频帧为第10帧视频帧，对第10帧视频帧的播放平面图像进行图像识别，得到目标对象的对象特征1(狗的特征)；然后对第11帧视频帧的跟踪平面图像进行图像识别，对识别得到的图像特征1(戴帽子的狗)和对象特征1进行分析处理，在确定出识别得到的图像特征1与对象特征1之间的置信度大于置信度阈值时，说明识别得到的图像特征1就是目标对象，此事将对象特征1和图像特征1融合，得到更新对象特征1(戴帽子的狗)；然后对第12帧视频帧的跟踪平面图像进行图像识别，对识别得到的图像特征2(穿衣服的狗)和更新对象特征1进行分析处理，在确定出识别得到的图像特征2与更新对象特征1之间的置信度大于置信度阈值时，说明识别得到的图像特征2就是目标对象，此时将图像特征2和更新对象特征1融合，得到更新对象特征2(戴帽子、穿衣服的狗)，以此类推。
本实施例一个可选的实施方式中，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标之后，还包括：
对所述更新极坐标进行滤波处理，得到滤波处理后的更新极坐标；
将所述滤波处理后的更新极坐标作为所述下一视频帧的跟踪平面图像的中心极坐标。
实际实现时，在得到更新极坐标后，可以将该更新极坐标输入滤波器中进行滤波处理。需要说明的是，在播放场景下，每一视频帧都是实时播放，无法获知后续视频帧的极坐标，因而是在确定出一个更新极坐标后就直接进行滤波处理。
步骤110：将所述更新极坐标作为所述参考极坐标，返回执行步骤106的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
具体的，在根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标的基础上，进一步的，将所述更新极坐标作为所述参考极坐标，返回执行步骤106的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
其中，跟踪停止条件是指表示目标跟踪失败的条件，在达到跟踪停止条件时，说明目标跟踪失败，当前的跟踪平面图像中可能已经不存在该目标对象了，因而停止跟踪，输出得到的一连串的参考极坐标(即参考极坐标序列)，该一连串的参考极坐标是当前视频帧至目标视频帧的跟踪平面图像的视角中心，即后续可以根据该一连串的参考极坐标为跟踪平面图像的中心，对当前视频帧至目标视频帧的平面图像进行播放。
需要说明的是，在确定出更新极坐标后，可以继续返回处理下一视频帧，按照上述步骤106的操作步骤，生成下一视频帧的跟踪平面图像，并确定出更新极坐标，再将该更新极坐标作为参考看极坐标，继续对下一视频帧进行处理，循环往复，直至达到跟踪停止条件，得到一段视频对应的连续的参考极坐标序列，该连续的参考极坐标序列可以作为后续播放该段视频的参考。
本实施例一个可选的实施方式中，达到跟踪停止条件，具体实现过程可以如下：
在所述识别区域中存在所述目标对象的置信度低于第一置信度阈值，或所述下一视频帧属于当前镜头的置信度低于第二置信度阈值的情况下，确定达到所述跟踪停止条件。
具体的，第一置信度阈值和第二置信度阈值是预先设置的数值，第一置信度阈值用于判断识别区域中存在所述目标对象的置信度是否过低，即判断识别区域中是否还存在所述目标对象，如该第一置信度阈值可以为50、60等；第二置信度阈值用于判断当前生成的跟踪平面图像的镜头是否依旧为当前镜头(用户框选目标对象的视频帧对应的镜头)，即判断镜头是否发生变化目标，如该第二置信度阈值可以为30、40等。
需要说明的是，对下一视频帧的跟踪平面图像进行图像识别，可以得到相应的图像特征，对该图像特征和对象特征进行分析处理，可以得到识别区域中存在所述目标对象的置信度，若该置信度大于第一置信度阈值，则说明识别区域中还存在所述目标对象，此时表示目标跟踪正常，可以继续对下一帧进行跟踪；而若该置信度低于第一置信度阈值，则说明识别区域中已经不存在所述目标对象，此时表示目标跟踪丢失，达到跟踪停止条件，不再进行跟踪。
另外，若下一视频帧属于当前镜头的置信度低于第二置信度阈值，则说明下一视频帧中镜头大概率发生了改变，此时可以确定目标对象消失了，即目标对象跟踪失败，达到跟踪停止条件。也就是说，只要图像特征和对象特征之间的置信度低于第一置信度阈值，和下一视频帧属于当前镜头的置信度低于第二置信度阈值，二者满足其一，就说明目标对象跟踪失败，此时即可确定达到跟踪停止条件。如此，可以通过图像特征和对象特征之间的置信度或者下一视频帧属于当前镜头的置信度，确定是否跟踪到了目标对象，在跟踪不到目标对象的情况下，说明包括目标对象的连续视频已经截止，可以输出该段视频中确定出的参考极坐标(即平面图像视角中心)。
本申请提供的全景视频数据处理方法，在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
这种情况下，用户在当前视频帧中框选目标对象后，可以确定该目标对象的中心位置在球极坐标系中的初始极坐标，然后再将目标对象挪至播放平面图像的中心位置，确定所述目标对象位于所述中心位置的对象特征，用于后续目标跟踪，并将播放平面图像的中心位置的参考极坐标作为生成下一视频帧的跟踪平面图像的中心，从而始终以该目标对象为中心，进行目标跟踪，并播放相应的全景视频，即用户只需框选任意位置的目标对象，即可自动生成以该目标对象为中心的跟踪平面图像，针对目标对象可以自动生成连续的跟踪平面图像的视角中心，无需用户不停对全景视频进行拖拽，全景视频的处理效率大大提高，提高了全景视频的观看体验；且针对框选的目标对象，是以球极坐标系进行全景视频中目标对象的跟踪，可以有效避免因目标对象在全景视频中不同位置产生的图形畸变而导致的跟踪失败，提高了目标对象跟踪的准确率和成功率，从而提高全景视频的处理效果和播放效果。
图3示出了根据本申请一实施例提供的另一种全景视频数据处理方法的流程图，具体包括以下步骤：
步骤302：暂停播放全景视频，在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标。
步骤304：确定所述当前视频帧的播放平面图像的中心位置在所述球极坐标系上的中心极坐标；根据所述初始极坐标和所述中心极坐标进行插值，得到预设数值个中间极坐标；根据所述中间极坐标和所述中心极坐标，确定所述目标对象位于所述中心位置对应的对象特征。
步骤306：根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像。
步骤308：根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标。
步骤310：对所述下一视频帧的跟踪平面图像进行镜头边界检测；确定所述下一视频帧属于当前镜头的置信度。
步骤312：确定下一视频帧的跟踪平面图像中图像特征与所述对象特征之间的置信度。
步骤314：确定所述图像特征与所述对象特征之间的置信度是否低于第一置信度阈值，或所述下一视频帧属于当前镜头的置信度是否低于第二置信度阈值。若是，则执行步骤316，若否，则返回执行步骤306。
步骤316：确定达到所述跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
本申请提供的全景视频数据处理方法，用户在当前视频帧中框选目标对象后，可以确定该目标对象的中心位置在球极坐标系中的初始极坐标，然后再将目标对象挪至播放平面图像的中心位置，确定所述目标对象位于所述中心位置的对象特征，用于后续目标跟踪，并将播放平面图像的中心位置的参考极坐标作为生成下一视频帧的跟踪平面图像的中心，从而始终以该目标对象为中心，进行目标跟踪，并播放相应的全景视频，即用户只需框选任意位置的目标对象，即可自动生成以该目标对象为中心的跟踪平面图像，针对目标对象可以自动生成连续的跟踪平面图像视角中心，无需用户不停对全景视频进行拖拽，全景视频的处理效率大大提高，提高了全景视频的观看体验；且针对框选的目标对象，是以球极坐标系进行全景视频中目标对象的跟踪，可以有效避免因目标对象在全景视频中不同位置产生的图形畸变而导致的跟踪失败，提高了目标对象跟踪的准确率和成功率，从而提高全景视频的处理效果和播放效果。
上述为本实施例的一种全景视频数据处理方法的示意性方案。需要说明的是，图3所示的全景视频数据处理方法的技术方案与上述图1所示的全景视频数据处理方法的技术方案属于同一构思，图3所示的全景视频数据处理方法的技术方案未详细描述的细节内容，均可以参见上述图1所示的全景视频数据处理方法的技术方案的描述。
与上述方法实施例相对应，本申请还提供了全景视频数据处理装置实施例，图4示出了本申请一实施例提供的一种全景视频数据处理装置的结构示意图。
如图4所示，该装置包括：
第一确定模块402，被配置为在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
第二确定模块404，被配置为根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
生成模块406，被配置为根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
第三确定模块408，被配置为根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
执行模块410，被配置为将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
可选地，第二确定模块404进一步被配置为：
确定所述当前视频帧的播放平面图像的中心位置在所述球极坐标系上的中心极坐标；
根据所述初始极坐标和所述中心极坐标进行插值，得到预设数值个中间极坐标；
根据所述中间极坐标和所述中心极坐标，确定所述目标对象位于所述中心位置对应的对象特征。
可选地，第二确定模块404进一步被配置为：
将所述中间极坐标和所述中心极坐标依次按序排列得到极坐标集合；
对所述当前视频帧的播放平面图像进行图像识别，确定所述目标对象的对象特征；
根据所述当前视频帧在所述球极坐标系中的全景图像，以所述极坐标集合中的第i个极坐标为中心，生成所述当前视频帧的跟踪平面图像，所述i等于1；
令所述i自增1，并将所述跟踪平面图像作为所述播放平面图像，返回执行所述对所述当前视频帧的播放平面图像进行图像识别，得到所述目标对象的对象特征的操作步骤，直至所述i等于所述极坐标集合中包括的极坐标个数，得到所述目标对象位于所述中心位置对应的对象特征。
可选地，第二确定模块404进一步被配置为：
确定所述框选操作对应的目标边框；
根据所述目标边框，确定对应的识别区域；
在所述当前视频帧的播放平面图像中所述识别区域内进行图像识别，确定所述目标对象的对象特征。
可选地，生成模块406进一步被配置为：
将所述下一视频帧映射至所述球极坐标系中，得到所述下一视频帧在所述球极坐标系中的全景图像；
以所述参考极坐标为中心，预设角度为范围，截取所述全景图像；
将截取到的所述全景图像转化为所述下一视频帧的跟踪平面图像。
可选地，第三确定模块408进一步被配置为：
对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，确定所述下一视频帧中目标对象的中心位置；
确定所述下一视频帧中目标对象的中心位置在所述球极坐标系中的更新极坐标。
可选地，第三确定模块408进一步被配置为：
对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，得到图像特征；
对所述图像特征和所述对象特征进行分析处理，得到所述识别区域中存在所述目标对象的置信度，以及所述图像特征相对于所述识别区域的中心位置的位置偏移量；
在所述置信度大于置信度阈值的情况下，根据所述播放平面图像中所述目标对象的中心位置和所述位置偏移量，确定所述下一视频帧中目标对象的中心位置。
可选地，第三确定模块408进一步被配置为：
将所述图像特征和所述对象特征进行融合，得到更新的对象特征。
可选地，所述装置还包括检测模块，被配置为：
对所述下一视频帧的跟踪平面图像进行镜头边界检测；
确定所述下一视频帧属于当前镜头的置信度。
可选地，执行模块410进一步被配置为：
在所述识别区域中存在所述目标对象的置信度低于第一置信度阈值，或所述下一视频帧属于当前镜头的置信度低于第二置信度阈值的情况下，确定达到所述跟踪停止条件。
可选地，所述装置还包括处理模块，被配置为：
对所述更新极坐标进行滤波处理，得到滤波处理后的更新极坐标；
将所述滤波处理后的更新极坐标作为所述下一视频帧的跟踪平面图像的中心极坐标。
本申请提供的全景视频数据处理装置，用户在当前视频帧中框选目标对象后，可以确定该目标对象的中心位置在球极坐标系中的初始极坐标，然后再将目标对象挪至播放平面图像的中心位置，确定所述目标对象位于所述中心位置的对象特征，用于后续目标跟踪，并将播放平面图像的中心位置的参考极坐标作为生成下一视频帧的跟踪平面图像的中心，从而始终以该目标对象为中心，进行目标跟踪，并播放相应的全景视频，即用户只需框选任意位置的目标对象，即可自动生成以该目标对象为中心的跟踪平面图像，针对目标对象可以自动生成连续的跟踪平面图像的视角中心，无需用户不停对全景视频进行拖拽，全景视频的处理效率大大提高，提高了全景视频的观看体验；且针对框选的目标对象，是以球极坐标系进行全景视频中目标对象的跟踪，可以有效避免因目标对象在全景视频中不同位置产生的图形畸变而导致的跟踪失败，提高了目标对象跟踪的准确率和成功率，从而提高全景视频的处理效果和播放效果。
上述为本实施例的一种全景视频数据处理装置的示意性方案。需要说明的是，该全景视频数据处理装置的技术方案与上述的全景视频数据处理方法的技术方案属于同一构思，全景视频数据处理装置的技术方案未详细描述的细节内容，均可以参见上述全景视频数据处理方法的技术方案的描述。
图5示出了根据本申请一实施例提供的一种计算设备500的结构框图。该计算设备500的部件包括但不限于存储器510和处理器520。处理器520与存储器510通过总线530相连接，数据库550用于保存数据。
计算设备500还包括接入设备540，接入设备540使得计算设备500能够经由一个或多个网络560通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备540可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
在本申请的一个实施例中，计算设备500的上述部件以及图5中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图5所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
计算设备500可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备500还可以是移动式或静止式的服务器。
其中，处理器520用于执行如下计算机可执行指令，以实现下述方法：
在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的全景视频数据处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述全景视频数据处理方法的技术方案的描述。
本申请一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时以用于实现上述全景视频数据处理方法的操作步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的全景视频数据处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述全景视频数据处理方法的技术方案的描述。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种全景视频数据处理方法，其特征在于，包括：
在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
2.根据权利要求1所述的全景视频数据处理方法，其特征在于，所述根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征，包括：
确定所述当前视频帧的播放平面图像的中心位置在所述球极坐标系上的中心极坐标；
根据所述初始极坐标和所述中心极坐标进行插值，得到预设数值个中间极坐标；
根据所述中间极坐标和所述中心极坐标，确定所述目标对象位于所述中心位置对应的对象特征。
3.根据权利要求2所述的全景视频数据处理方法，其特征在于，所述根据所述中间极坐标和所述中心极坐标，确定所述目标对象位于所述中心位置对应的对象特征，包括：
将所述中间极坐标和所述中心极坐标依次按序排列得到极坐标集合；
对所述当前视频帧的播放平面图像进行图像识别，确定所述目标对象的对象特征；
根据所述当前视频帧在所述球极坐标系中的全景图像，以所述极坐标集合中的第i个极坐标为中心，生成所述当前视频帧的跟踪平面图像，所述i等于1；
令所述i自增1，并将所述跟踪平面图像作为所述播放平面图像，返回执行所述对所述当前视频帧的播放平面图像进行图像识别，得到所述目标对象的对象特征的操作步骤，直至所述i等于所述极坐标集合中包括的极坐标个数，得到所述目标对象位于所述中心位置对应的对象特征。
4.根据权利要求3所述的全景视频数据处理方法，其特征在于，所述对所述当前视频帧的播放平面图像进行图像识别，确定所述目标对象的对象特征，包括：
确定所述框选操作对应的目标边框；
根据所述目标边框，确定对应的识别区域；
在所述当前视频帧的播放平面图像中所述识别区域内进行图像识别，确定所述目标对象的对象特征。
5.根据权利要求1-4任一所述的全景视频数据处理方法，其特征在于，所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像，包括：
将所述下一视频帧映射至所述球极坐标系中，得到所述下一视频帧在所述球极坐标系中的全景图像；
以所述参考极坐标为中心，预设角度为范围，截取所述全景图像；
将截取到的所述全景图像转化为所述下一视频帧的跟踪平面图像。
6.根据权利要求4所述的全景视频数据处理方法，其特征在于，所述根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标，包括：
对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，确定所述下一视频帧中目标对象的中心位置；
确定所述下一视频帧中目标对象的中心位置在所述球极坐标系中的更新极坐标。
7.根据权利要求6所述的全景视频数据处理方法，其特征在于，所述对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，确定所述下一视频帧中目标对象的中心位置，包括：
对所述下一视频帧的跟踪平面图像中所述识别区域进行图像识别，得到图像特征；
对所述图像特征和所述对象特征进行分析处理，得到所述识别区域中存在所述目标对象的置信度，以及所述图像特征相对于所述识别区域的中心位置的位置偏移量；
在所述置信度大于置信度阈值的情况下，根据所述播放平面图像中所述目标对象的中心位置和所述位置偏移量，确定所述下一视频帧中目标对象的中心位置。
8.根据权利要求7所述的全景视频数据处理方法，其特征在于，所述根据所述播放平面图像中所述目标对象的中心位置和所述位置偏移量，确定所述下一视频帧中目标对象的中心位置之后，还包括：
将所述图像特征和所述对象特征进行融合，得到更新的对象特征。
9.根据权利要求7所述的全景视频数据处理方法，其特征在于，所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像之后，还包括：
对所述下一视频帧的跟踪平面图像进行镜头边界检测；
确定所述下一视频帧属于当前镜头的置信度。
10.根据权利要求9所述的全景视频数据处理方法，其特征在于，所述达到跟踪停止条件，包括：
在所述识别区域中存在所述目标对象的置信度低于第一置信度阈值，或所述下一视频帧属于当前镜头的置信度低于第二置信度阈值的情况下，确定达到所述跟踪停止条件。
11.根据权利要求1-4任一所述的全景视频数据处理方法，其特征在于，所述确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标之后，还包括：
对所述更新极坐标进行滤波处理，得到滤波处理后的更新极坐标；
将所述滤波处理后的更新极坐标作为所述下一视频帧的跟踪平面图像的中心极坐标。
12.一种全景视频数据处理装置，其特征在于，包括：
第一确定模块，被配置为在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
第二确定模块，被配置为根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
生成模块，被配置为根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
第三确定模块，被配置为根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
执行模块，被配置为将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
13.一种计算设备，其特征在于，包括：
存储器和处理器；
所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，以实现下述方法：
在接收到针对当前视频帧的目标对象的框选操作的情况下，确定所述目标对象的中心位置在球极坐标系中的初始极坐标；
根据所述初始极坐标和所述当前视频帧的播放平面图像的中心位置的参考极坐标，确定所述目标对象位于所述中心位置对应的对象特征；
根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像；
根据所述目标对象的对象特征，确定所述下一视频帧的跟踪平面图像中所述目标对象的中心位置在所述球极坐标系中的更新极坐标；
将所述更新极坐标作为所述参考极坐标，返回执行所述根据下一视频帧在所述球极坐标系中的全景图像，以所述参考极坐标为中心，生成所述下一视频帧的跟踪平面图像的操作步骤，直至达到跟踪停止条件，得到所述当前视频帧至目标视频帧对应的参考极坐标序列，所述目标视频帧为达到所述跟踪停止条件对应的视频帧。
14.一种计算机可读存储介质，其特征在于，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述全景视频数据处理方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110571830.XA CN113518214B (zh) | 2021-05-25 | 2021-05-25 | 全景视频数据处理方法及装置 |
| US17/730,950 US11647294B2 (en) | 2021-05-25 | 2022-04-27 | Panoramic video data process |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110571830.XA CN113518214B (zh) | 2021-05-25 | 2021-05-25 | 全景视频数据处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113518214A CN113518214A (zh) | 2021-10-19 |
| CN113518214B true CN113518214B (zh) | 2022-03-15 |
Family
ID=78064896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110571830.XA Active CN113518214B (zh) | 2021-05-25 | 2021-05-25 | 全景视频数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113518214B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103017653A (zh) * | 2012-11-27 | 2013-04-03 | 武汉海达数云技术有限公司 | 一种球面全景影像与三维激光扫描点云的配准及测量方法 |
| WO2015135323A1 (zh) * | 2014-03-14 | 2015-09-17 | 华为技术有限公司 | 一种摄像机跟踪方法及装置 |
| CN104977580A (zh) * | 2014-04-04 | 2015-10-14 | 上海机电工程研究所 | 遥测目标跟踪方法及系统 |
| CN107025659A (zh) * | 2017-04-11 | 2017-08-08 | 西安理工大学 | 基于单位球面坐标映射的全景目标跟踪方法 |
| CN107316305A (zh) * | 2017-06-11 | 2017-11-03 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频标定方法及装置 |
| CN109063581A (zh) * | 2017-10-20 | 2018-12-21 | 奥瞳系统科技有限公司 | 用于有限资源嵌入式视觉系统的增强型人脸检测和人脸跟踪方法和系统 |
| CN109523471A (zh) * | 2018-11-16 | 2019-03-26 | 厦门博聪信息技术有限公司 | 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置 |
| CN109598744A (zh) * | 2018-11-29 | 2019-04-09 | 广州市百果园信息技术有限公司 | 一种视频跟踪的方法、装置、设备和存储介质 |
| CN110441797A (zh) * | 2019-08-07 | 2019-11-12 | 中国海洋大学 | 基于载噪比的高可靠北斗rdss天线自动稳定跟踪方法 |
| CN111161313A (zh) * | 2019-12-16 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种视频流中的多目标追踪方法及装置 |
| CN111292376A (zh) * | 2020-02-13 | 2020-06-16 | 北京理工大学 | 一种仿生视网膜的视觉目标跟踪方法 |
| CN111599018A (zh) * | 2019-02-21 | 2020-08-28 | 浙江宇视科技有限公司 | 一种目标追踪方法、系统及电子设备和存储介质 |
| CN112052837A (zh) * | 2020-10-09 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 基于人工智能的目标检测方法以及装置 |
| CN112085815A (zh) * | 2020-09-14 | 2020-12-15 | 深圳市先地图像科技有限公司 | 一种极坐标图像的表达方法及其变换算法 |
| CN112699839A (zh) * | 2021-01-13 | 2021-04-23 | 安徽水天信息科技有限公司 | 一种动态背景下视频目标自动锁定及跟踪方法 |
| CN112799051A (zh) * | 2020-12-24 | 2021-05-14 | 济南和普威视光电技术有限公司 | 一种低慢小目标的自动捕获跟踪方法及系统 |
| WO2021096328A2 (ko) * | 2019-11-15 | 2021-05-20 | 한국기계연구원 | 타겟의 초기 위치 감지 기능을 구비한 레이저 추적 장치 및 추적 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8619265B2 (en) * | 2011-03-14 | 2013-12-31 | Faro Technologies, Inc. | Automatic measurement of dimensional data with a laser tracker |
| US9615064B2 (en) * | 2010-12-30 | 2017-04-04 | Pelco, Inc. | Tracking moving objects using a camera network |
| JP7253441B2 (ja) * | 2019-05-09 | 2023-04-06 | 東芝テック株式会社 | 追跡装置及び情報処理プログラム |
-
2021
- 2021-05-25 CN CN202110571830.XA patent/CN113518214B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103017653A (zh) * | 2012-11-27 | 2013-04-03 | 武汉海达数云技术有限公司 | 一种球面全景影像与三维激光扫描点云的配准及测量方法 |
| WO2015135323A1 (zh) * | 2014-03-14 | 2015-09-17 | 华为技术有限公司 | 一种摄像机跟踪方法及装置 |
| CN104977580A (zh) * | 2014-04-04 | 2015-10-14 | 上海机电工程研究所 | 遥测目标跟踪方法及系统 |
| CN107025659A (zh) * | 2017-04-11 | 2017-08-08 | 西安理工大学 | 基于单位球面坐标映射的全景目标跟踪方法 |
| CN107316305A (zh) * | 2017-06-11 | 2017-11-03 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频标定方法及装置 |
| CN109063581A (zh) * | 2017-10-20 | 2018-12-21 | 奥瞳系统科技有限公司 | 用于有限资源嵌入式视觉系统的增强型人脸检测和人脸跟踪方法和系统 |
| CN109523471A (zh) * | 2018-11-16 | 2019-03-26 | 厦门博聪信息技术有限公司 | 一种地面坐标和广角摄像机画面坐标的转换方法、系统以及装置 |
| CN109598744A (zh) * | 2018-11-29 | 2019-04-09 | 广州市百果园信息技术有限公司 | 一种视频跟踪的方法、装置、设备和存储介质 |
| CN111599018A (zh) * | 2019-02-21 | 2020-08-28 | 浙江宇视科技有限公司 | 一种目标追踪方法、系统及电子设备和存储介质 |
| CN110441797A (zh) * | 2019-08-07 | 2019-11-12 | 中国海洋大学 | 基于载噪比的高可靠北斗rdss天线自动稳定跟踪方法 |
| WO2021096328A2 (ko) * | 2019-11-15 | 2021-05-20 | 한국기계연구원 | 타겟의 초기 위치 감지 기능을 구비한 레이저 추적 장치 및 추적 방법 |
| CN111161313A (zh) * | 2019-12-16 | 2020-05-15 | 华中科技大学鄂州工业技术研究院 | 一种视频流中的多目标追踪方法及装置 |
| CN111292376A (zh) * | 2020-02-13 | 2020-06-16 | 北京理工大学 | 一种仿生视网膜的视觉目标跟踪方法 |
| CN112085815A (zh) * | 2020-09-14 | 2020-12-15 | 深圳市先地图像科技有限公司 | 一种极坐标图像的表达方法及其变换算法 |
| CN112052837A (zh) * | 2020-10-09 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 基于人工智能的目标检测方法以及装置 |
| CN112799051A (zh) * | 2020-12-24 | 2021-05-14 | 济南和普威视光电技术有限公司 | 一种低慢小目标的自动捕获跟踪方法及系统 |
| CN112699839A (zh) * | 2021-01-13 | 2021-04-23 | 安徽水天信息科技有限公司 | 一种动态背景下视频目标自动锁定及跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113518214A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11809998B2 (en) | Maintaining fixed sizes for target objects in frames | |
| CN108121952B (zh) | 人脸关键点定位方法、装置、设备及存储介质 | |
| US10956967B2 (en) | Generating and providing augmented reality representations of recommended products based on style similarity in relation to real-world surroundings | |
| Liao et al. | DR-GAN: Automatic radial distortion rectification using conditional GAN in real-time | |
| US10609284B2 (en) | Controlling generation of hyperlapse from wide-angled, panoramic videos | |
| JP5827445B2 (ja) | 拡張現実インタラクションを実現する方法およびシステム | |
| KR101479387B1 (ko) | 얼굴 검출을 위한 방법 및 장치 | |
| CN111464834B (zh) | 一种视频帧处理方法、装置、计算设备及存储介质 | |
| US20200285859A1 (en) | Video summary generation method and apparatus, electronic device, and computer storage medium | |
| US20230123820A1 (en) | Generating animated digital videos utilizing a character animation neural network informed by pose and motion embeddings | |
| CN111144156B (zh) | 一种图像数据处理方法和相关装置 | |
| CN113313735B (zh) | 全景视频数据处理方法及装置 | |
| CN113315914B (zh) | 全景视频数据处理方法及装置 | |
| KR20210007276A (ko) | 영상 생성 장치 및 방법 | |
| US11647294B2 (en) | Panoramic video data process | |
| CN113518214B (zh) | 全景视频数据处理方法及装置 | |
| JP2012203823A (ja) | 画像認識装置 | |
| CN117336526A (zh) | 视频生成方法、装置、存储介质及电子设备 | |
| CN110084306B (zh) | 用于生成动态图像的方法和装置 | |
| CN110309721A (zh) | 视频处理方法、终端和存储介质 | |
| An et al. | Rotateview: A video composition system for interactive product display | |
| WO2020063436A1 (zh) | 一种深度学习(dnn)的课堂学习行为分析方法及装置 | |
| CN113849088B (zh) | 目标图片确定方法及装置 | |
| Liu et al. | Video stabilization based on GMS and warping transform | |
| WO2023123213A1 (zh) | 手部按压深度检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |