CN108628913A - 视频的处理方法及装置 - Google Patents

Abstract

本发明提供了一种视频的处理方法及装置，包括：对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，其中，标识信息至少用于指示以下之一：目标对象的类型，目标对象的内容，目标对象在视频中的空间位置信息；获取指令信息，根据指令信息索引指定目标对象的指定标识信息；推送或显示在所述视频中指定标识信息对应的部分或全部视频。

Description

视频的处理方法及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种视频的处理方法及装置。

背景技术

随着数字媒体技术的快速发展，流媒体消费中的应用场景越来越智能化、个性化和多样化。而这些应用场景的核心，往往在于对用户感兴趣区域(Region of Interest，ROI)的研究和处理。用户感兴趣区域即用户在观看视频媒体时，其视线主要集中和关注的视频区域。

现有技术中，对于ROI的研究集中在用户收到视频后对视频内容进行相应的识别和检索。例如在视频监控的应用中，若用户需要查找特定的视频内容，可以在用户收到监控视频之后，通过感兴趣区域检测技术寻找用户所需的视频内容，这就需要在短期内对大量监控视频进行检测，进而识别出来用户感兴趣的区域对应的视频图像。此外，在全景视频的应用领域中，用户若对其中某些区域的视频内容感兴趣，也需要在用户收到全景视频之后，通过感兴趣区域检测技术寻找用户所需的视频区域。上述检索过程中用户需要在接收到的大量视频中通过识别视频内容来检测自己感兴趣的视频区域，需要耗费大量的资源和时间。

针对相关技术中，用户需要在接收到的大量视频中通过识别视频内容来检测自己感兴趣的视频区域，导致需要耗费大量的资源和时间的问题，目前尚未有合理的解决办法。

发明内容

本发明实施例提供了一种视频的处理方法及装置，以至少解决相关技术中用户需要在接收到的大量视频中通过识别视频内容来检测自己感兴趣的视频区域，导致需要耗费大量的资源和时间的问题。

根据本发明的一个方面，提供了一种视频的处理方法，包括：对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息，其中，所述标识信息至少用于指示以下之一：所述目标对象的类型，所述目标对象的内容，所述目标对象在所述视频中的空间位置信息；获取指令信息，根据所述指令信息索引指定目标对象的指定标识信息；推送或显示在所述视频中所述指定标识信息对应的部分或全部视频。

优选的，所述标识信息至少用于指示以下之一：所述标识信息的标记类型，所述标识信息的标记内容类型，所述标识信息的标记内容，所述标识信息的长度信息，所述目标对象所在的部分或全部视频的质量等级，所述目标对象所在的部分或全部视频中包含的标识信息的数量，所述目标对象所在的部分或全部视频对应的时间信息，所述目标对象所在的部分或全部视频在所述视频中的空间位置信息。

优选的，所述部分或全部视频在所述视频中的空间位置信息至少包括以下之一：所述部分或全部视频的中心点坐标，所述部分或全部视频的宽度，所述部分或全部视频的高度；其中，所述坐标所在的坐标系包括以下之一：二维空间坐标系，三维空间坐标系。

优选的，在二维空间坐标系下，所述坐标的取值包括以下至少之一：二维直角坐标系取值，二维球面坐标系取值；在三维空间坐标系下，所述坐标的取值为以下至少之一：三维空间直角坐标系取值，三维球面坐标系取值。

优选的，所述对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息，包括：在视频采集或编辑的过程中，对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息；和/或在采集或编辑完成的视频数据中，对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息。

优选的，所述获取用于指示至少一个指定目标对象的指令信息包括：获取用户预先设置的第一指令信息；和/或获取在分析用户的视频观看行为后得出的第二指令信息。

根据本发明的另一个方面，还提供了一种视频的处理装置，包括：标记模块，用于对视频中的目标对象进行标记；生成模块，用于根据标记结果生成所述目标对象的标识信息，其中，所述标识信息至少用于指示以下之一：所述目标对象的类型，所述目标对象的内容，所述目标对象在所述视频中的空间位置信息；获取模块，用于获取指令信息；索引模块，用于根据所述指令信息索引所述指定目标对象的指定标识信息；处理模块，用于推送或显示在所述视频中所述指定标识信息对应的部分或全部视频。

优选的，所述标识信息至少用于指示以下之一：所述标识信息的标记类型，所述标识信息的标记内容类型，所述标识信息的长度信息，所述标识信息的标记内容，所述目标对象所在的部分或全部视频的质量等级，所述目标对象所在的部分或全部视频中包含的标识信息的数量，所述部分或全部视频对应的时间信息，所述部分或全部视频在所述视频中的空间位置信息。

优选的，所述部分或全部视频在所述视频中的空间位置信息至少包括以下之一：所述部分或全部视频的中心点坐标，所述部分或全部视频的宽度，所述部分或全部视频的高度；其中，所述坐标所在的坐标系包括以下之一：二维空间坐标系，三维空间坐标系。

优选的，在二维空间坐标系下，所述坐标的取值包括以下至少之一：二维直角坐标系取值，二维球面坐标系取值；三维空间直角坐标系取值，三维球面坐标系取值。

优选的，所述标记模块包括：第一标记单元，用于在视频采集或编辑的过程中，对视频中的目标对象进行标记；第二标记单元，用于在采集或编辑完成的视频数据中，对视频中的目标对象进行标记。

优选的，所述获取模块包括：第一获取单元，用于获取用户预先设置的第一指令信息；第二获取单元，用于获取在分析用户的视频观看行为后得出的第二指令信息。

根据本发明的另一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述实施例中的视频的处理方法的实现。

根据本发明的另一个方面，还提供了一种处理器，所述存储器用于运行程序，其中，所述程序运行时执行上述实施例中的视频的处理方法的实现。

通过本发明，对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，标识信息中至少含有目标对象在视频中的空间位置信息，然后通过获取用于指示指定目标对象的指令信息，并根据指令信息索引到指定目标对象的指定标识信息，然后根据标识信息中的空间位置信息推送或显示指定标识信息对应的部分或全部视频，此处的部分或全部视频包含在整个视频中。通过上述方法，解决了相关技术中用户需要在接收到的大量视频中通过识别视频内容来检测自己感兴趣的视频区域，导致需要耗费大量的资源和时间的问题，用户可以通过索引视频中已经存在的标识信息快速获取感兴趣的视频，大大节省了视频检索过程中的资源和时间。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的视频的处理方法的应用环境示意图；

图2是根据本发明实施例的一种可选的视频的处理方法的流程图；

图3是根据本发明实施例的一种可选的视频的处理装置的结构框图；

图4是根据本发明实施例的一种可选的视频的处理装置的结构框图；

图5是根据本发明实施例的一种可选的视频的处理装置的结构框图；

图6是本发明实施例中的一种可选的标识信息的内容示意图；

图7是本发明实施例的一种可选的视频定位方法示意图；

图8是本发明实施例的一种可选的视频检索方法示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

在本发明实施例中，提供了一种上述视频的处理方法的实施例。图1是根据本发明实施例的一种可选的视频的处理方法的应用环境示意图。作为一种可选的实施方式，该视频的处理方法可以但不限于应用于如图1所示的应用环境中，终端102与服务器106连接，其中服务器106可以向终端102推送视频文件。终端102上运行有可以接收并显示视频图像的应用客户端104。服务器106对视频图像中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，其中，标识信息至少用于指示以下之一：目标对象的类型，目标对象的内容，目标对象在所述视频图像中的空间位置信息；服务器106获取指令信息，根据指令信息获取指定目标对象的指定标识信息，其中，指令信息用于指示至少一个指定目标对象；服务器106推送指定标识信息对应的视频，其中，视频包括：部分或全部视频。需要说明的是，上述服务器106完成的每一步工作也可以在终端102测执行，本发明实施例对此不做限定。

本发明实施例还提供了一种视频的处理方法。图2是根据本发明实施例的一种可选的视频的处理方法的流程图。如图2所示，视频的处理方法的一种可选流程包括：

步骤S202，对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，其中，标识信息至少用于指示以下之一：目标对象的类型，目标对象的内容，目标对象在视频中的空间位置信息；

步骤S204，获取指令信息，根据所指令信息索引指定目标对象的指定标识信息；

步骤S206，推送或显示在视频中指定标识信息对应的部分或全部视频。

通过本发明提供的方法，对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，标识信息中至少含有目标对象在视频中的空间位置信息，然后通过获取用于指示指定目标对象的指令信息，并根据指令信息索引到指定目标对象的指定标识信息，然后根据标识信息中的空间位置信息推送或显示指定标识信息对应的部分或全部视频，此处的部分或全部视频包含在整个视频中。通过上述方法，解决了相关技术中用户需要在接收到的大量视频中通过识别视频内容来检测自己感兴趣的视频区域，导致需要耗费大量的资源和时间的问题，用户可以通过索引视频中已经存在的标识信息快速获取感兴趣的视频，大大节省了视频检索过程中的资源和时间。

本发明实施例的一个可选示例中，标识信息至少用于指示以下之一：标识信息的标记类型，标识信息的标记内容类型，标识信息的标记内容，标识信息的长度信息，目标对象所在的部分或全部视频的质量等级，目标对象所在的部分或全部视频中包含的标识信息的数量，部分或全部视频对应的时间信息，部分或全部视频在视频中的空间位置信息。

本发明实施例的一个可选示例中，部分或全部视频在视频中的空间位置信息至少包括以下之一：部分或全部视频的中心点坐标，部分或全部视频的宽度，部分或全部视频的高度；其中，坐标所在的坐标系包括以下之一：二维空间坐标系，三维空间坐标系。

本发明实施例的一个可选示例中，在二维空间坐标系下，坐标的取值包括以下至少之一：二维直角坐标系取值，二维球面坐标系取值。此处的二维直角坐标系取值可以表示为(x，y)，二维球面坐标系取值可以表示为(俯仰角坐标值，偏航角坐标值)。在三维空间坐标系下，坐标的取值为以下至少之一：三维空间直角坐标系取值，三维球面坐标系取值。此处的三维空间直角坐标系取值可以表示为(x，y，z)，三维球面坐标系取值可以表示为(俯仰角坐标值，偏航角坐标值，翻滚角)。

本发明实施例的一个可选示例中，对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，包括：在视频采集或编辑的过程中，对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息；和/或在采集或编辑完成的视频数据中，对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息。

本发明实施例的一个可选示例中，获取用于指示至少一个指定目标对象的指令信息包括：获取用户预先设置的第一指令信息；和/或获取在分析用户的视频观看行为后得出的第二指令信息。

实施例2

在本实施例中还提供了一种可选的视频的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本发明实施例，还提供了一种用于实施上述视频的处理装置。图3是根据本发明实施例的一种可选的视频的处理装置的结构框图。如图3所示，该装置包括：

标记模块302，用于对视频中的目标对象进行标记；

生成模块304，用于根据标记结果生成目标对象的标识信息，其中，标识信息至少用于指示以下之一：目标对象的类型，目标对象的内容，目标对象在视频中的空间位置信息；

获取模块306，用于获取指令信息，其中，指令信息用于指示至少一个指定目标对象；

索引模块308，用于根据指令信息索引指定目标对象的指定标识信息；

处理模块310，用于推送或显示在视频中指定标识信息对应的部分或全部视频。

通过上述装置，标记模块对视频中的目标对象进行标记，进而生成模块根据标记结果生成目标对象的标识信息，标识信息中至少含有目标对象在视频中的空间位置信息，然后通过获取模块获取用于指示指定目标对象的指令信息，索引模块根据指令信息索引到指定目标对象的指定标识信息，然后处理模块根据标识信息中的空间位置信息推送或显示在视频中的指定标识信息对应的部分或全部视频，此处的部分或全部视频包含在整个视频中。解决了相关技术中用户需要在接收到的大量视频中通过识别视频内容来检测自己感兴趣的视频区域，导致需要耗费大量的资源和时间的问题，用户可以通过索引视频中已经存在的标识信息快速获取感兴趣的视频推送，大大节省了视频检索过程中的资源和时间。

本发明实施例的一个可选示例中，标识信息至少用于指示以下之一：标识信息的标记类型，标识信息的标记内容类型，标识信息的长度信息，标识信息的标记内容，目标对象所在的部分或全部视频的质量等级，目标对象所在的部分或全部视频中包含的标识信息的数量，部分或全部视频对应的时间信息，部分或全部视频在视频中的空间位置信息。

本发明实施例的一个可选示例中，部分或全部视频在视频中的空间位置信息至少包括以下之一：部分或全部视频的中心点坐标，部分或全部视频的宽度，部分或全部视频的高度；其中，坐标所在的坐标系包括以下之一：二维空间坐标系，三维空间坐标系。

本发明实施例的一个可选示例中，在二维空间坐标系下，坐标的取值包括以下至少之一：二维直角坐标系取值，二维球面坐标系取值。此处的二维直角坐标系取值可以表示为(x，y)，二维球面坐标系取值可以表示为(俯仰角坐标值，偏航角坐标值)。在三维空间坐标系下，坐标的取值为以下至少之一：三维空间直角坐标系取值，三维球面坐标系取值。此处的三维空间直角坐标系取值可以表示为(x，y，z)，三维球面坐标系取值可以表示为(俯仰角坐标值，偏航角坐标值，翻滚角)。

本发明实施例还提供了一种可选的视频的处理装置。图4是根据本发明实施例的一种可选的视频的处理装置的结构框图。

如图4所示，标记模块302包括：第一标记单元3020，用于在视频采集或编辑的过程中，对视频中的目标对象进行标记；第二标记单元3022，用于在采集或编辑完成的视频数据中，对视频中的目标对象进行标记。

获取模块306包括：第一获取单元3060，用于获取用户预先设置的第一指令信息；第二获取单元3062，用于获取在分析用户的视频观看行为后得出的第二指令信息。

需要说明的是，在本发明实施例中，上述装置可以应用于服务器或者终端任何具有上述功能模块的硬件设备，本发明实施例对此不作限制。

本发明实施例还提供了一种应用上述功能模块的实体装置。图5是根据本发明实施例的一种可选的视频的处理装置的结构框图。如图5所示，该装置包括：

处理器50；存储器52，其中，存储器52用于存储处理器50可执行的指令；处理器50用于根据存储器52中存储的指令执行以下操作：对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，其中，标识信息至少用于指示以下之一：目标对象的类型，目标对象的内容，目标对象在视频中的空间位置信息；获取指令信息，根据指令信息索引指定目标对象的指定标识信息；推送或显示指定标识信息对应的部分或全部视频。

上述处理器50还可以执行上述视频处理方法中的任一可选示例的实现。

通过上述装置，处理器对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，标识信息中至少含有目标对象在视频中的空间位置信息，然后通过获取用于指示指定目标对象的指令信息，并根据指令信息索引到指定目标对象的指定标识信息，然后根据标识信息中的空间位置信息推送指定标识信息对应的部分或全部视频，此处的部分或全部视频包含在整个视频中。通过上述方法，解决了相关技术中用户需要在接收到的大量视频中通过识别视频内容来检测自己感兴趣的视频区域，导致需要耗费大量的资源和时间的问题，用户可以通过索引视频中已经存在的标识信息快速获取感兴趣的视频推送，大大节省了视频检索过程中的资源和时间。

本发明实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，所述程序运行时执行上述实施例及其可选示例中的视频的处理方法的实现。

实施例3

为了更好地理解上述实施例中的技术方案，本实施例基于具体的应用场景来进一步介绍本发明实施例的技术方案。

本发明实施例提供了一种基于视频内容及其空间位置的标识信息标记方法，能够对视频媒体中特定内容或特定空间位置的视频区域进行对应信息标识，从而能够根据用户的感兴趣内容，通过本发明实施例中提供的标识信息关联到相应的视频区域。此处的视频区域可以理解为标识信息关联的目标对象周边一定范围的视频图像，区域大小或形状可以自定义，本实施例对此不做限定。

具体地，可以应用为视频定位和视频检索等应用和服务。视频定位，即根据用户习惯、喜好等预先获取的信息，与视频本身标记的标识信息进行匹配，由于该标识信息是基于特定视频内容和空间位置的，因此直接定位到该视频区域并将该视频区域推送给用户。特别的，在全景视频的消费中，由于用户无法一次性观看整个全景视频而是只能观看其中的一部分区域，结合本发明的视频定位应用即可实现诸如初始视角等全景视频的应用，也可以对用户感兴趣的区域进行优先呈现。视频检索，即在大量视频中直接检索用户所需要的视频内容。例如在视频监控应用场景中，需要对用户感兴趣的区域进行快速和集中处理等。

本发明提供了一种基于视频内容及其空间位置的标识信息的标记方法，因此，可以通过检索本发明提供的标识信息从而快速检索到对应的视频区域，大大地提高了视频检索的效率。

为实现上述目的，本发明实施例采用了以下技术方案，需要说明的是，本发明实施例中提及的视频内容附属标签或者标签，可以理解为基于视频内容及其空间位置的标识信息。

本发明的目的是提供一种基于视频内容及其空间位置的标识信息标记方法，具体为：对于最终呈现给用户的视频画面，针对其中特定内容或特定空间位置的视频区域，附加与之唯一关联的特定的视频标签信息。

本发明中，需添加的基于视频内容及其空间位置的标识信息可以多样，优选地，可以由以下一组信息为例实现：

信息一：用于指示该区域视频内容附属标签的标签类型；

信息二：用于指示该区域视频内容附属标签的标签内容类型；

信息三：用于指示该区域视频内容附属标签的标签内容的具体信息；

信息四：用于指示该区域视频内容的质量等级；；

信息五：用于指示该区域在整体视频中的空间位置。

本发明对视频媒体的特定内容或特定空间位置进行信息标识，标识信息指示了该部分视频具体的内容类别、内容信息、内容质量以及内容位置。在具体的应用中，比如视频会议、视频监控、视频广告投放等，本发明提供的视频标签信息可进一步用于客户端应用或服务的处理和呈现。

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

具体来说，服务器在视频拍摄采集阶段可同时通过图像处理、模式识别等技术对视频内容进行分析。根据分析结果，对视频媒体的特定内容或特定空间位置进行标记。

也可以，服务器在视频编辑过程中，对视频媒体的特定内容或特定空间位置进行标记。

也可以，服务器在采集完成或者编辑完成的视频数据中，对视频媒体的特定内容或特定空间位置进行标记。

具体地，服务器可以将标记的特定内容或特定空间位置信息放置在视频流或码流中的的预留字段中。

也可以是服务器单独制作标记数据与对应的视频数据关联。

也可以用户使用的客户端根据用户使用习惯，单独制作对应视频的标记数据形成标识信息，并反馈给服务器。

用户在收到视频媒体后，可通过对这些信息标识获悉该视频中的特定内容及其空间位置，从而进行进一步具体的应用处理。

服务器在向用户推送视频的前，可以先通过匹配预设用户信息和视频中标记的标识信息来获取与用户信息相匹配的视频区域。再根据用户喜好或设定进行匹配推送。

也可以，服务器在视频推送的过程中，服务器根据用户针对特定内容的视频观看需求，动态匹配标识信息，并推送对应的视频区域给用户。

也可以，服务器给用户推送的是完整视频，终端根据预设的用户信息和视频中标记的标识信息来获取用户信息相匹配的视频区域，在根据用户的喜好或设定进行匹配显示。

也可以，服务器给用户推送的是完整视频，终端在用户观看的过程中，根据用户对特定内容的视频观看需求，动态匹配标识信息，并显示对应的视频区域给用户。

此处的用户信息可以包括但不限于以下至少之一：用户的观看习惯，用户对特定内容的喜好，用户的喜好程度，用户的特定用途。此处的标识信息可以用于指示但不限于以下至少之一：该区域视频内容附属标签的标签类型，该区域视频内容附属标签的标签内容类型，该区域视频内容附属标签的标签内容的具体信息，该区域视频内容的质量等级，该区域在整体视频中的空间位置。

由于视频中的标识信息是基于特定视频内容和空间位置来进行标识的，因此可以服务器可以直接定位到与用户信息相匹配的视频区域并将该视频区域推送给用户，终端可以直接定位到用户信息相匹配的视频区域并将该视频区域显示给用户。需要说明的是，此处的用户信息可以是在视频推送之前预先获取的用户信息，也可以是在用户观看视频的过程中，通过收集用户的反馈来获取的，本实施例对此不做限定。若是预先收集的用户信息，可以在用户观看视频的初始阶段，就将匹配好的视频区域推送给用户，若是在用户观看视频的过程中收集的用户信息，可以在分析用户信息并与视频中标识信息匹配后，在用户的后续观看过程中，将匹配好的视频区域推送给用户。

上述标记过程可以通过在视频媒体相关信息中增加新的标识信息来实现，这些信息可以多样地，优选地由以下一组信息为例实现。

quality_level：指示该区域视频内容的质量等级；

label_center_yaw：指示该标签区域中心点的偏航角yaw坐标值；

label_center_pitch：指示该标签区域中心点的俯仰角pitch坐标值；

label_width：指示该标签区域的宽；

label_height：指示该标签区域的高；

label_type：指示该区域视频内容附属标签的标签类型；

label_info_type：指示该区域视频内容附属标签的标签内容类型；

label_info_content_length：指示该区域视频内容附属标签的内容长度；

content_byte：指示该区域视频内容附属标签的标签内容的具体字节信息。

以下实施例中为了描述方便，引用上述的一组标识信息描述，但在其他实施例中，也可以或可能是其他的信息。

以基础媒体文件格式ISOBMFF为例，合理地添加基于视频内容及其空间位置的标识信息，即quality_level、label_center_yaw、label_center_pitch、label_width、label_height、label_type、label_info_type、label_info_content_length、content_byte，形成对特定内容和特定空间位置视频区域的标识。

针对本发明，可以根据需要合理地添加如下字段：

label_number：指示该视频区域中包含的标签数量。

quality_level：指示该区域视频内容的质量等级，取值越高则视频质量越高。

label_center_yaw：指示该标签区域中心点的yaw坐标值，以0.01度为单位，取值范围[-18000,18000)。

label_center_pitch：指示该标签区域中心点的pitch坐标值，以0.01度为单位，取值范围[-9000,9000]。

label_width：指示该标签区域的宽度，以0.01度为单位。

label_height：指示该标签区域的高度，以0.01度为单位。label_type：指示该区域视频内容附属标签的标签类型，其中标签类型的取值和含义如表1所示。

表1

label_info_type：指示该区域视频内容附属标签的标签内容类型，其中标签内容类型的取值和含义如表2所示。

表2

取值	描述
		0	该标签内容为文本
1	该标签内容为URL
		2-255	该部分为保留字段

label_info_content_length：指示该区域视频内容附属标签的标签内容的长度。

content_byte：指示该区域视频内容附属标签的标签内容的具体字节信息。

基于以上信息，以ISOBMFF为例，下面给出一种对这些信息的组织结构。一个视频区域对应的标签组LabelBox中包含label_number个标签信息LabelInfoBox和标签区域信息LabelRegionBox。

一个标签信息LabelInfoBox包含有一个标签类型label_type，一个标签内容类型label_info_type，一个标签的内容长度label_content_length，以及label_content_length的内容信息content_byte。

一个标签区域信息LabelRegionBox包含质量等级quality_level、空间位置信息：标签区域中心点信息(label_center_yaw.label_center_pitch),标签区域宽度label_width，标签区域高度label_height。

上述各字段的含义，已在上文中作出说明。

需要注意的是，本发明中只是以上述字段为例对视频内容附属标签进行说明，并不局限于以上字段及其大小。为了更好的理解以上字段的含义，可参见附图6所示的应用实例。图6是本发明实施例中的一种可选的标识信息的内容示意图。

实施例4

为了更好地理解上述实施例中的技术方案，本实施例通过以下优选实施例来进一步介绍本发明实施例的技术方案。

优选实施例一：视频定位应用

在全景视频包含180度或者360度的视角范围，但人的视角有局限性，并不能同一时刻观看整个全景视频的内容，而只是观看全景视频的部分内容。因此，用户可以按照不同的浏览顺序来观看全景中的不同区域视频。值得注意的是，用户观看全景视频的某些区域并不是完全随机的行为，而是根据用户个人的喜好来进行视频区域的切换。本发明提供与视频关联的标签，用于指示部分视频区域特定内容和特定空间位置信息，进而结合用户喜好直接定位到对应的视频区域，将该部分的视频呈现给用户。以下通过几个示例来具体说明。

示例一

根据预设标签类型在已录制完成的全景视频内容中，标记出对应视频区域的信息，在用户观看过程中根据用户的对标签类型的喜好设置，将含有此标签的视频区域优先推送给用户观看。

也可以根据视频中已有的标签类型，动态收集用户观看内容信息，分析用户喜好，推送用户感兴趣区域视频给用户观看。

具体地可参见图7。图7是本发明实施例的一种可选的视频定位方法示意图。如图7所示，标签可以指示对应区域为人脸、植物等信息。如果该用户喜欢关注视频中的植物，则可以在用户观看全景视频时，通过定位植物标签并根据其对应的空间位置信息和旋转信息，优先推送该区域视频内容给用户观看。

示例二

因为同一时刻用户视角区域有限，不会观看全部全景视频，所以，在带宽有限的情况下，可以对用户感兴趣区域进行高质量编码，对用户非感兴趣区域进行低质量编码。

具体地，用户感兴趣的人脸所在区域采用高质量编码方式，其它部分采用低质量编码。

示例三

在观看全景视频的过程中，用户可以设置多个感兴趣标签，根据这些标签的各种可能组合形式，给用户推送最优区域视频。

也可以根据动态收集用户的观看习惯，分析用户喜好，选取多个用户喜好组合成多种形式。

具体地，用户对某个人和某种车感兴趣，同时将这两类设置为感兴趣标签，在推送视频的时候，优先显示同时含有人和车两个标签的视频区域，当没有同时存在时，选取单独存在人或车的视频区域显示。

示例四

在全景视频中添加的标签类型可以是预先设定好的，也可以是用户根据自身需要自定义的标签，

或者是用户自己对现有标签进行组合定义出自己需要的组合类型。

具体地，用户对视频中某个物品设置自定义标签，将标签的信息反馈会服务器，服务器根据设定的标签，后续推送给用户相关视频区域。

示例五

在全景视频中的不同标签携带的内容形式和内容本身可以不同，标签内容可以是文字，如人物标签，文字内容描述人物姓名和履历。标签内容可以是数字，比如商品标签，数字内容描述价格信息。标签内容可以是链接，比如植物标签，链接内容给出植物详细介绍的URL地址。

示例六

同一个视频区域里的一个标签可以关联多种类型的内容信息，具体地，对于视频中的某一商品标志进行描述，可以添加商品名称的文本信息，商品价格或者生产日期的数字信息，商品购买路径的链接信息。

示例七

全景视频区域设定的一个标签可以嵌套包含多个子标签，具体地，针对体育运动全景视频，场上有多位运动员，用户关注的不是单独某位运动员，而是整个运动画面和运动员之间的配合，在同一体育标签下可以嵌套多个人物子标签，以便用户可以观看。

优选实施例二：虚拟现实视频应用

类似全景视频应用，在虚拟现实视频应用中，用户观看的视频区域并不是完整的虚拟现实视频区域，因此通过增加不同标签的方法，可以为用户推送感兴趣视频内容。

优选实施例三：多视点视频应用

多个视点视频里增加标签，用户对感兴趣区域设定标签，可以根据用户感兴趣标签，选取最佳视点视频推送给用户。

优选实施例四：视频检索应用

在视频监控的应用场景中，获取的监控视频通常被用来追踪目标车辆、目标人物等，但由于这些追踪行为往往需要在短时间内通过图像处理等技术分析处理大量的监控视频，为视频监控的应用带来了繁重的工作量。而结合本发明提供的指示信息，由于在拍摄监控视频期间即可对特定内容如人脸、车牌等的视频区域进行标签指示，在收到该监控视频后则能直接对视频中的标签进行检索，大大地减少了视频检索的工作量。以下通过几个示例来具体说明。

示例一

图8是本发明实施例的一种可选的视频检索方法示意图。如图8所示，在监控视频拍摄采集期间对视频中的特定内容进行标签标识，用户在收到监控视频后即可直接对这些标签进行检索，比如可检索所有车牌的标签，并获取这些标签所关联的信息，最后获得视频中包含的所有车牌的视频信息和车牌的号码信息。

示例二

视频检索时可以设置多个标签，根据这些标签的各种组合形式，搜索出所有相关视频区域。

具体地，以某个人和某种车为组合标签进行搜索，最后获得包含这两个标签的视频信息。

视频检索，即在大量视频中直接检索用户所需要的视频内容。本发明提供了一种基于视频内容及其空间位置的标识信息标记方法，因此，可以通过检索本发明提供的标识信息从而快速检索到对应的视频区域，大大地提高了视频检索的效率。

本发明中以ISOBMFF为例，阐明所提出的解决方案，但是这些方案同样也可以用于其它文件封装、传输系统和协议里。

实施例5

本发明的实施例还提供了一种存储介质。可选地，在本发明实施例中，上述存储介质可以用于保存上述实施例一所提供的卡托弹出方法所执行的程序代码。

可选地，在本发明实施例中，上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，或者位于移动终端群中的任意一个移动终端中。

可选地，在本发明实施例中，存储介质被设置为存储用于执行以下步骤的程序代码：

S1，对视频中的目标对象进行标记，进而根据标记结果生成目标对象的标识信息，其中，标识信息至少用于指示以下之一：目标对象的类型，目标对象的内容，目标对象在视频中的空间位置信息；

S2，获取指令信息，根据所指令信息索引指定目标对象的指定标识信息；

S3，推送或显示在视频中指定标识信息对应的部分或全部视频。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种视频的处理方法，其特征在于，包括：

对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息，其中，所述标识信息至少用于指示以下之一：所述目标对象的类型，所述目标对象的内容，所述目标对象在所述视频中的空间位置信息；

获取指令信息，根据所述指令信息索引指定目标对象的指定标识信息；

推送或显示在所述视频中所述指定标识信息对应的部分或全部视频。

2.根据权利要求1所述的方法，其特征在于，所述标识信息至少还用于指示以下之一：所述标识信息的标记类型，所述标识信息的标记内容类型，所述标识信息的标记内容，所述标识信息的长度信息，所述目标对象所在的部分或全部视频的质量等级，所述目标对象所在的部分或全部视频中包含的标识信息的数量，所述目标对象所在的部分或全部视频对应的时间信息，所述目标对象所在的部分或全部视频在所述视频中的空间位置信息。

3.根据权利要求2所述的方法，其特征在于，所述部分或全部视频在所述视频中的空间位置信息至少包括以下之一：所述部分或全部视频的中心点坐标，所述部分或全部视频的宽度，所述部分或全部视频的高度；其中，所述坐标所在的坐标系包括以下之一：二维空间坐标系，三维空间坐标系。

4.根据权利要求3所述的方法，其特征在于，

在二维空间坐标系下，所述坐标的取值包括以下至少之一：二维直角坐标系取值，二维球面坐标系取值；

在三维空间坐标系下，所述坐标的取值为以下至少之一：三维空间直角坐标系取值，三维球面坐标系取值。

5.根据权利要求1所述的方法，其特征在于，所述对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息，包括：

在视频采集或编辑的过程中，对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息；和/或

在采集或编辑完成的视频数据中，对视频中的目标对象进行标记，进而根据标记结果生成所述目标对象的标识信息。

6.根据权利要求1所述的方法，其特征在于，所述获取指令信息包括：

获取用户预先设置的第一指令信息；和/或

获取在分析用户的视频观看行为后得出的第二指令信息。

7.一种视频的处理装置，其特征在于，包括：

标记模块，用于对视频中的目标对象进行标记；

生成模块，用于根据标记结果生成所述目标对象的标识信息，其中，所述标识信息至少用于指示以下之一：所述目标对象的类型，所述目标对象的内容，所述目标对象在所述视频中的空间位置信息；

获取模块，用于获取指令信息；

索引模块，用于根据所述指令信息索引所述指定目标对象的指定标识信息；

处理模块，用于推送或显示在所述视频中所述指定标识信息对应的部分或全部视频。

8.根据权利要求7所述的装置，其特征在于，所述标识信息至少用于指示以下之一：所述标识信息的标记类型，所述标识信息的标记内容类型，所述标识信息的长度信息，所述标识信息的标记内容，所述目标对象所在的部分或全部视频的质量等级，所述目标对象所在的部分或全部视频中包含的标识信息的数量，所述部分或全部视频对应的时间信息，所述部分或全部视频在所述视频中的空间位置信息。

9.根据权利要求8所述的装置，其特征在于，所述部分或全部视频在所述视频中的空间位置信息至少包括以下之一：所述部分或全部视频的中心点坐标，所述部分或全部视频的宽度，所述部分或全部视频的高度；其中，所述坐标所在的坐标系包括以下之一：二维空间坐标系，三维空间坐标系。

10.根据权利要求9所述的装置，其特征在于，

在二维空间坐标系下，所述坐标的取值包括以下至少之一：二维直角坐标系取值，二维球面坐标系取值；

在三维空间坐标系下，所述坐标的取值为以下至少之一：三维空间直角坐标系取值，三维球面坐标系取值。

11.根据权利要求7所述的装置，其特征在于，所述标记模块包括：

第一标记单元，用于在视频采集或编辑的过程中，对视频中的目标对象进行标记；

第二标记单元，用于在采集或编辑完成的视频数据中，对视频中的目标对象进行标记。

12.根据权利要求7所述的装置，其特征在于，所述获取模块包括：

第一获取单元，用于获取用户预先设置的第一指令信息；

第二获取单元，用于获取在分析用户的视频观看行为后得出的第二指令信息。

13.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至6中任一项所述的方法。

14.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任一项所述的方法。