CN113014942A - 一种视频转码方法、视频转码系统及视频直播系统 - Google Patents

Abstract

本发明公开一种视频转码的方法、视频转码系统和视频直播系统，包括：S1：获取视频帧，检测视频帧头部SEI字段中是否含有视角参数信息，如果有，则提取视角参数信息；S2：对所述视频帧进行转码处理，得到转码后的视频帧；S3：将所述视角参数信息重新填充到所述转码后的视频帧的头部SEI字段中。本发明还公开一种视频转码系统，本发明的方法和系统，在对包含了自定义的视频帧描述信息的视频帧进行转码时，能借助目前主流的编码和解码器，不需要进行改造和定制就可以实现无缝支持，降低成本并提高了系统的扩展性，因此具有明显的技术优势和有益效果。

Description

一种视频转码方法、视频转码系统及视频直播系统

技术领域

本发明涉及直播服务领域，尤其涉及一种视频转码方法、视频转码系统及视频直播系统。

背景技术

目前主流转码器，包括编码器和解码器很少使用的SEI字段，如果在视频帧中的SEI字段中包含了自定义的视频帧描述信息，在转码器转码阶段，这些信息会造成丢失。一些现有的解决方案是对转码器进行改造或定制，其明显的缺陷是会大大提高改造和定制的成本。

发明内容

本发明为解决现有技术中存在的上述缺陷，提出一种视频转码解决方案，目的是使得包含了自定义的视频帧描述信息的视频帧能借助目前主流的转码器，不需要进行改造和定制就可以实现转码，最大程度上降低成本。

为了实现以上目的，本发明提出了一种视频转码方法，包括：

S1：获取视频帧，检测视频帧头部SEI字段中是否含有视角参数信息，如果有，则提取视角参数信息；

S2：对所述视频帧进行转码处理，得到转码后的视频帧；

S3：将所述视角参数信息重新填充到所述转码后的视频帧的头部SEI字段中。

进一步的，所述视频帧的编码格式包括H264编码。

进一步的，所述的视角参数信息的数据格式为json格式。

进一步的，所述视角参数信息包括包括视角对象名、视角对象的坐标。

进一步的，所述视角对象的坐标为相对坐标。

进一步的，所述视角对象的坐标包括左上角、左下角、右上角、右下角围成的矩形区域的坐标。

基于同样的发明构思，本发明还公开一种视频转码系统，包括视角参数提取模块、视频帧转码模块、视角参数填充模块，其中：视角参数提取模块：用于检测视频帧头部SEI字段中是否含有视角参数信息，如果有，则提取视角参数信息；视频帧转码模块：用于对所述视频帧进行转码处理得到转码后的视频帧；视角参数填充模块：用于将所述视角参数信息重新填充到所述转码后的视频帧的头部SEI字段中。

进一步的，所述系统还包括：视频编码解析模块，所述的视频编码解析模块用于解析不同视频编码方式下的视频帧。

本申请还公开一种视频播放终端，包括视频播放系统、视频转码系统，其中，所述视频播放终端用以播放和展示视频，所述的视频转码系统为上述视频转码系统。

本发明还公开一种视频直播系统，包括直播cdn分发系统、视频采集终端、视频处理系统、视频转码系统以及视频播放终端，其中，所述直播cdn分发系统用以接收直播视频流并分发，所述视频采集终端用以用于采集直播视频源的数据，所述视频处理系统用以对视频帧的内容进行处理，所述视频转码系统用以对视频帧进行转码处理，所述视频播放终端用以播放和展示视频，所述的视频转码系统为上述视频转码系统。

本发明还公开一种电子设备，其特征在于，所述系统包括处理器以及存储器，所述存储器用于存储可执行程序；所述处理器用于执行所述可执行程序以实现本发明第一方面公开的任何一种视频转码方法。

利用本发明公开的方法、系统和设备，在对包含了自定义的视频帧描述信息的视频帧进行转码时，能借助目前主流的转码器，不需要进行改造和定制就可以实现无缝支持，降低了部署成本；并且对于播放器端和推流端的需求变化可以无缝适配，提高了系统的扩展性，因此具有明显的技术优势和有益效果。

本发明公开的方法和系统中所述模块，在实际应用中，即可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。

为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种实施例中一种视频转码方法的流程示意图。

图2示出了一种实施例中H264编码的视频帧头部附加信息结构示意图。

图3示出了一种实施例中一种视频转码系统的结构示意图。

图4示出了一种实施例中视频转码系统的数据处理流程示意图。

图5示出了一种实施例的视频直播系统实现直播的结构示意图。

具体实施方式

请参阅图1，图1示出了一种实施例中一种视频转码方法的流程示意图，具体包括步骤S11～S13：

步骤S11：获取视频帧，检测视频帧头部SEI字段中是否含有视角参数信息，如果有，则提取视角参数信息；

步骤S12：对所述视频帧进行转码处理，得到转码后的视频帧；

在具体实施例中，可借助主流的编码器或解码器对所述视频帧进行转码处理。

步骤S13：将所述视角参数信息重新填充到所述转码后的视频帧的头部SEI字段中；

在一个实施例中，视频帧的视角参数信息设置在视频帧的头部的SEI字段的userdata字段中，user data的数据采用json数据格式。

作为一个举例，SEI字段中的视角参数信息的数据规定格式类似如下：

{“key”：“value”}

作为一个举例，对标签类型的定义如下：

以#符号为标识，以足球比赛为例，可以标识出人物(#characters)和热点区域(#highlightSpot)，具体标签则不需以#符号为标识，此时标签的value为对应的视角的相对坐标，例如messi标签下的人物的定位区域为左上角：0.1，右上角：0.1，左下角：0.23，右下角：0.23，这样的矩形区域，该视角参数信息的数据结构如下所示：

在一个实施例中，采用相对坐标进行区域的标识，这样有利于终端在根据不同分辨率的视频源进行处理时不需要额外处理。

每一种编码方式的视频帧，其内容描述信息的设置和格式都不尽相同，当目标视频帧的编码格式为H264编码时，视频帧的头部信息请参阅图2，图2示出了一种实施例中H264编码的视频帧头部附加信息结构示意图，其中，201为NRI载荷，202为NAL载荷，203为载荷类型(payload type)，204为载荷大小(payload size)，在一个实施例中，H264编码头部在NALU赋值为6时表示SEI信息，即00110，因此对于需要进行本发明所描述的转码处理的视频帧，NALU需要赋值为6，payload type字段标识user data类型，在该实施例中采用json数据格式，因此userdata的数据以json的数据格式进行填充。

请参阅图3，图3示出了一种实施例中一种视频转码系统的结构示意图，实施例包括视角参数提取模块101、视频帧转码模块102、视角参数填充模块103，其中：

视角参数提取模块101：用于检测视频帧头部SEI字段中是否含有视角参数信息，如果有，则提取视角参数信息；

视频帧转码模块102：用于对所述视频帧进行转码处理得到转码后的视频帧，在具体实施例中，可借助主流的编码器或解码器对所述视频帧进行转码处理。

视角参数填充模块103：用于将所述视角参数信息重新填充到所述转码后的视频帧的头部SEI字段中。

在一个实施例中，转码系统还包括视频编码解析模块，所述的视频编码解析模块用于解析不同视频编码方式下的视频帧，例如对H264编码的视频帧进行解析。

请参阅图4，图4示出了一种实施例中视频转码系统的数据处理流程示意图，在该实施例中，视频转码系统分推流端和播放端，下面以视频帧1为例描述数据处理流程：

推流端的数据处理流程：

首先，视角参数提取模块101获取视频帧1，检测视频帧1头部SEI字段中是否含有视角参数信息，如果有，则提取SEI的视角参数信息；

其次，视频帧转码模块102对所述视频帧1进行转码处理，得到转码后的视频帧2；

最后，将SEI的视角参数信息重新填充到所述转码后的视频帧2的头部SEI字段中，获得转码视频数据。

播放端的数据处理流程和推流端的数据处理流程相同，处理流程如下：

首先，视角参数提取模块101获取转码视频数据，检测转码视频数据头部SEI字段中是否含有视角参数信息，如果有，则提取SEI的视角参数信息；

其次，视频帧转码模块102对所述转码视频数据进行转码处理，得到转码后的视频帧2；

最后，将SEI的视角参数信息重新填充到所述转码后的视频帧2的头部SEI字段中，获得原始视频帧1。

基于上述实施例，本申请还公开一种视频播放终端，包括视频播放系统、视频转码系统，其中，所述视频播放终端用以播放和展示视频，所述的视频转码系统为上述视频转码系统,播放器终端接收到视频流之后，首先采用视频转码系统对视频进行转码处理，然后根据播放设置对视角信息进行提取和渲染，实现视频的播放和展示。

基于上述实施例，本申请还公开一种视频直播系统，请参阅图5，图5为本实施例的视频直播系统实现直播的结构示意图，在该实施例中，该视频直播系统包括直播cdn分发系统、视频采集终端、视频处理系统、视频转码系统以及视频播放终端，其中，直播cdn分发系统用以接收直播视频流并分发，视频采集终端用以用于采集直播视频源的数据，视频处理系统用以对视频帧的内容进行处理，视频转码系统用以对视频帧进行转码处理，视频播放终端用以播放和展示视频，视频转码系统为上述视频转码系统。如图所示，视频采集终端完成直播视频内容的采集，在直播服务的cdn分发阶段，视频处理系统接收到直播流或者视频流，通过对视频流帧画面数据进行处理，提取页面中视角对象以及视角对象的视角信息，并将其封装为结构数据填充或者补充在视频帧的页面数据中，组装为新的视频流数据重新分发到直播cdn分发系统中进行分发，并在进行cdn网络分发之前采用视频转码系统对视频进行转码处理，然后通过cdn网络把视频流或者视频数据分发输送到播放器终端，播放器终端接收到视频流之后，首先采用视频转码系统对视频进行转码处理，然后根据播放设置对视角信息进行提取和渲染，实现视频的播放和展示。

此外，通过该系统，在直播视频分发时，同时传输其画面的视角信息，以使系统在播放器解码阶段可以在解码视频帧的同时具有对视频画面进行进一步描述，实现推拉流端的后续处理和功能拓展，例如多视角选择性播放等，都可以有效支持。

本申请实施例还提供一种电子设备，所述电子设备中包括处理器及存储器，所述存储器中存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行上述任一实施例所述的方法和系统。

需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种视频转码的方法，其特征是，包括以下步骤：

S1：获取视频帧，检测视频帧头部SEI字段中是否含有视角参数信息，如果有，则提取视角参数信息；

S2：对所述视频帧进行转码处理，得到转码后的视频帧；

S3：将所述视角参数信息重新填充到所述转码后的视频帧的头部SEI字段中。

2.如权利要求1所述的视频转码方法，其特征是，所述视频帧的编码格式包括H264编码。

3.如权利要求1所述的视频转码方法，其特征是，所述的视角参数信息的数据格式为json格式。

4.如权利要求1所述的视频转码方法，其特征是，所述视角参数信息包括包括视角对象名、视角对象的坐标。

5.如权利要求4所述的视频转码方法，其特征是，所述视角对象的坐标为相对坐标。

6.如权利要求4所述的视频转码方法，其特征是，所述视角对象的坐标包括左上角、左下角、右上角、右下角围成的矩形区域的坐标。

7.一种视频转码系统，其特征是，包括：视角参数提取模块、视频帧转码模块、视角参数填充模块，其中：

视角参数提取模块：用于获取视频帧，检测视频帧头部SEI字段中是否含有视角参数信息，如果有，则提取视角参数信息；

视频帧转码模块：用于对所述视频帧进行转码处理，得到转码后的视频帧；

视角参数填充模块：用于将所述视角参数信息重新填充到所述转码后的视频帧的头部SEI字段中。

8.如权利要求7所述的视频转码系统，其特征是，所述系统还包括：视频编码解析模块，所述的视频编码解析模块用于解析不同视频编码方式下的视频帧。

9.一种视频播放终端，包括视频播放系统、视频转码系统，其中，所述视频播放终端用以播放和展示视频，其特征是，所述的视频转码系统为权利要求7-8中任意一种视频转码系统。

10.一种视频直播系统，包括直播cdn分发系统、视频采集终端、视频处理系统、视频转码系统以及视频播放终端，其中，所述直播cdn分发系统用以接收直播视频流并分发，所述视频采集终端用以用于采集直播视频源的数据，所述视频处理系统用以对视频帧的内容进行处理，所述视频转码系统用以对视频帧进行转码处理，所述视频播放终端用以播放和展示视频，其特征是，所述的视频转码系统为权利要求7-8中任意一种视频转码系统。

11.一种电子设备，其特征在于，所述系统包括处理器以及存储器，

所述存储器用于存储可执行程序；

所述处理器用于执行所述可执行程序以实现权利要求1-6中任意一种视频转码方法。

Images