CN111355976B - 一种基于hevc标准的视频直播方法及系统 - Google Patents

Abstract

本发明提供的基于HEVC标准的视频直播方法及系统，包括：利用Web播放器接收由视频服务器端发送的直播数据流，提取出包含的基于HEVC标准处理后的视频和音频数据；将视频和音频数据封装成Web播放器解码器所支持的格式数据，发送至Web播放器解码器；Web播放器解码器对接收到的文件格式数据进行解码；Web播放器根据解码结果，完成直播视频的播放。本实施例提供的方法及系统，利用Web播放器直接从视频服务器端提取基于HEVC标准、任意格式的音视频数据，充分利用客户端资源，完成转码，减少服务器消耗，服务器端不需要转码，节约了服务器成本；Web播放器的播放格式灵活多样，突破了播放器格式限制；音视频同步更精确。

Description

一种基于HEVC标准的视频直播方法及系统

技术领域

本发明实施例为计算机技术领域，尤其涉及一种基于HEVC标准的视频直播方法及系统。

背景技术

近年来，随着直播技术的更新迭代，高画质、低带宽、低成本成为直播行业追求的重要目标之一。在这一背景下，已作为行业主流的H.264标准(市场占额超80％)以不能适应行业的需求，新一代的H.265标准(又称HEVC标准)在直播领域被越来越广泛的使用。

HEVC标准，全称为高效视频编码(High Efficiency Video Coding)，是继H.264标准之后所制定的新的视频编码标准。H.265标准硬件编码技术在码流、编码质量、延时以及算法复杂度上加以提高和改进，仅需H.264标准硬件编码技术的一半带宽就可以播放原来相同质量的视频内容，能够极大的节约带宽成本。

虽然，H.265硬件解码能够获得更好的性能，但是碍于技术壁垒以及支持硬解码设备要求的限制(当前市场上只有部分GPU支持H.265硬解码)，尚未得到全面的普及。但可以预见，随着计算机CPU性能的不断快速的提升，H.265软解码将开始得到广泛的运用。

目前各主流浏览器对H.265标准原生播放的支持情况不够理想，其中，Web端的几大浏览器全部不支持H.265原生播放，Web端的H.265标准播放均需要通过软件解码来完成。

综上所述，现有技术中的对基于HEVC标准的视频播放，都是服务器将推上来的直播数据流在服务端转码成flv等格式，再发给web播放器；web播放器通过WebAssembly解码播放。这种解码方式主要存在以下几个缺点：

首先，由于需要在服务器端进行视频转码，大大的消耗了服务器性能，增加服务器负担，成本高；其次，对web端解码格式有严格限制；并且，很难做到十分精确的音视频同步。

有鉴于此，亟需提供一种能够有效的克服上述缺陷，减小服务器的消耗，并且能够突破Web播放器对于解码格式的要求限制的，针对基于HEVC标准视频的直播方法。

发明内容

本发明实施例提供一种基于HEVC标准的视频直播方法及系统，用以克服现有技术中针对基于HEVC标准视频的直播中存在的诸多缺陷。

第一方面，本发明实施例提供一种基于HEVC标准的视频直播方法，主要包括以下步骤：

Web播放器接收由视频服务器端发送的直播数据流，并提取出直播数据流中所包含的基于HEVC标准处理后的视频和音频数据；将视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器；Web播放器解码器对接收到的文件格式数据进行解码；Web播放器根据解码结果，完成直播视频的播放。

作为可选地，在Web播放器解码器对接收的格式数据进行解码时，生成与每一帧视频相对应的音视频时间戳。

作为可选地，上述Web播放器解码器对接收的格式数据进行解码，主要包括：基于WebAssembly解码方式，对格式数据进行解码，获取解码后的YUV视频数据和PCM音频数据，并将YUV视频数据、PCM音频数据以及音视频时间戳，发送至Web播放器。

作为可选地，上述Web播放器解码器所支持的格式数据，主要包括：flv格式数据或者mp4格式数据。

作为可选地，上述Web播放器根据解码结果，完成直播视频的播放，主要包括：

Web播放器利用WebGL将YUV视频数据转换成rgb数据后，在Canvas上绘制视频画面；根据音视频时间戳，利用Web Audio API同步播放与每帧视频画面相对应的PCM音频数据。

第二方面，本发明实施例提供一种基于HEVC标准的视频直播系统，主要包括第一逻辑运算单元、单元第二逻辑运算单元、第三逻辑运算单元以及第四逻辑运算单元，其中：

第一逻辑运算单元主要用于利用Web播放器接收由视频服务器端发送的直播数据流，并提取出直播数据流中所包含的基于HEVC标准处理后的视频和音频数据。

第二逻辑控制单元主要用于控制Web播放器将视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器。

第三逻辑控制单元主要用于Web播放器解码器对接收到的文件格式数据进行解码。

第四逻辑控制单元主要用于控制Web播放器根据解码结果，完成直播视频的播放。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现如第一方面任一所述的基于HEVC标准的视频直播方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面任一所述的基于HEVC标准的视频直播方法的步骤。

本发明实施例提供的基于HEVC标准的视频直播方法及系统，利用Web播放器直接从视频服务器端提取基于HEVC标准、任意格式的音视频数据，一方面，充分利用客户端资源，完成转码，减少服务器消耗，服务器端不需要转码，节约了服务器成本；另一方面，Web播放器的播放格式灵活多样，突破了播放器格式限制；最后，能够使得音视频同步更精确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于HEVC标准的视频直播方法流程示意图；

图2为本发明实施例提供的一种基于HEVC标准的视频直播系统的结构示意图；

图3为本发明实施例提供的一种电子设备的实体结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于HEVC标准的视频解码方式主要分为硬件解码和软件解码。其中，硬件解码主要指的是显卡内置对基于H.265标准的视频的硬解支持；软件解码则主要是通过软件本身占用的CPU进行解码，所以软件解码的过程会增加CPU的工作负荷，导致CPU占用率一般在60％-80％间波动(同样配置的CPU在播放H.264视频，CPU占有率在10％左右)。软件解码能够解码所有视频格式数据，且画质更加清晰，基于HEVC标准的视频编码技术的特点是压缩率高，相同清晰度的电影文件比H.264小30％-50％。但是解压时，运算复杂度比H.264视频高几倍，要求Web播放器需要硬件解码支持才能流畅播放。

现有技术中，在进行基于HEVC标准的视频直播的过程中，采用的软件解码的方法，主要包括：

首先，利用视频服务器将接收到的直播数据流转码成flv等格式，然后将转码成特定格式后的直播数据文件发送至Web播放器。而由Web播放器对接收到的特定格式的文件进行解码，对于非特定解码格式的文件，则无法进行正式的解码。因此，可以获知到在现有的基于HEVC标准的视频直播过程中，一方面需要在视频服务器进行直播数据流的转码工作，需要消耗较多的服务器资源，对于建设服务器站的成本要求更高；另一方面，由于Web播放器只能针对特定格式的文件进行解码，因此对于文件的格式要求具有严格的限制，难以适应多元化的网络环境。

有鉴于此，本发明实施例提供一种基于HEVC标准的视频直播方法及方法，如图1所示，包括但不限于以下步骤：

步骤S1：利用Web播放器接收由视频服务器端发送的直播数据流，并提取出直播数据流中所包含的基于HEVC标准处理后的视频和音频数据。

步骤S2：将视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器。

步骤S3：Web播放器解码器对接收到的文件格式数据进行解码；

步骤S4：Web播放器根据解码结果，完成直播视频的播放。

具体地，Web播放器从视频服务器读取直播音视频流。在web播放器中实现边解码边播放。与现有技术不同，在这一步骤中，不需要借助视频服务器对上传的直播音视频流进行转码，能够有效节约视频服务器的资源。

进一步地，Web播放器解析直播音视频流原有的封装格式，提取出该直播视频流里的HEVC(h265)裸流，和音频数据。

进一步地，在Web播放器中，对提取出HEVC(h265)裸流和音频数据进行重新封装成解码器支持的格式文件数据，并发送至Web播放器解码器。

最后，由Web播放器解码器对该格式文件数据进行解码，完成直播视频的播放。

本发明实施例提供的基于HEVC标准的视频直播方法利用Web播放器直接从视频服务器端提取基于HEVC标准、任意格式的音视频数据，一方面，充分利用客户端资源，完成转码，减少服务器消耗，服务器端不需要转码，节约了服务器成本；另一方面，Web播放器的播放格式灵活多样，突破了播放器格式限制。

基于上述实施例的内容，作为一种可选实施例，在Web播放器解码器对接收的所述格式文件数据进行解码时，生成与每一帧视频相对应的音视频时间戳。

具体地，在Web播放器解码器在对接收到的封装后的视频和音频数据，对其进行解压的过程中，为了实现每帧画面与声音的同步，同时生成音视频时间戳。在播放器播放的过程中，基于所述音视频时间戳，保证以音视频时间戳为标准，利用每一帧视频去同步音频(比如视频加快播放或者慢速播放，但是音频是正常播放，不加快播放，也不慢速播放)。

本发明实施例提供的基于HEVC标准的视频直播方法，通过在解压封装后的视频和音频数据的同时生成音视频时间戳，相对于现有技术来说能够方便Web播放器准确无误的实现音、视频的同步。

基于上述实施例的内容，作为一种可选实施例，Web播放器解码器对接收的所述格式文件数据进行解码，可以包括：

基于WebAssembly解码方式，对格式文件数据进行解码，获取解码后的YUV视频数据和PCM音频数据，并将YUV视频数据、PCM音频数据以及每一帧视频相对应的音视频时间戳，发送至Web播放器。

其中，Web播放器解码器所支持的格式数据，可以包括：flv格式数据或者mp4格式数据等多种格式数据。

其中，Web播放器根据解码结果，完成直播视频的播放，包括但不限于：Web播放器利用WebGL将所述YUV视频数据转换成rgb数据后，在Canvas上绘制视频画面；根据每一帧视频相对应的音视频时间戳，利用Web Audio API同步播放与每帧视频画面相对应的PCM音频数据。

具体地，Web播放器把封装好的格式文件数据实时送入web播放器的解码器进行解码。web播放器解码器把解码后的YUV视频数据和PCM音频数据返回给web播放器，web播放器用WebGL将yuv转成rgb，然后在Canvas上绘制视频画面。同时，将音频pcm数据通过WebAudio API播放。解码器在解码的过程中，也会生成解码该帧画面的音视频时间戳，方便web播放器在播放时能够准确无误的实现音视频同步。

本发明实施例提供一种基于HEVC标准的视频直播系统，如图2所示，主要包括第一逻辑运算单元11、第一逻辑运算单元12、第一逻辑运算单元13和第一逻辑运算单元14，其中：

第一逻辑运算单元11主要用于利用Web播放器接收由视频服务器端发送的直播数据流，并提取出直播数据流中所包含的基于HEVC标准处理后的视频和音频数据；第二逻辑控制单元12主要用于控制Web播放器将视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器；第三逻辑控制单元13主要用于控制Web播放器解码器对接收的格式文件数据进行解码；第四逻辑控制单元14主要用于控制Web播放器根据解码结果，完成直播视频的播放。

具体地，如表1所示，将采用了本发明实施例所提供的基于HEVC标准的视频直播系统进行视屏直播的方法与现有技术中所记载的直播视频数据处理方法进行比较：

表1

根据表1的比较结果，可以获知：本发明实施例提供的基于HEVC标准的视频直播方法及系统，利用Web播放器直接从视频服务器端提取基于HEVC标准、任意格式的音视频数据，一方面，充分利用客户端资源，完成转码，减少服务器消耗，服务器端不需要转码，节约了服务器成本；另一方面，Web播放器的播放格式灵活多样，突破了播放器格式限制；最后，能够使得音视频同步更精确。

需要说明的是，本发明实施例提供的基于HEVC标准的视频直播系统，在具体运行时，可用于执行上述任一实施例中所述的基于HEVC标准的视频直播方法，再次不作一一赘述。

图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行如下方法：Web播放器接收由视频服务器端发送的直播数据流，并提取出直播数据流中所包含的基于HEVC标准处理后的视频和音频数据；将视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器；Web播放器解码器对接收的格式文件数据进行解码；Web播放器根据解码结果，完成直播视频的播放。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：Web播放器接收由视频服务器端发送的直播数据流，并提取出直播数据流中所包含的基于HEVC标准处理后的视频和音频数据；将视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器；Web播放器解码器对接收的格式文件数据进行解码；Web播放器根据解码结果，完成直播视频的播放。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于HEVC标准的视频直播方法，其特征在于，包括：

利用Web播放器接收由视频服务器端发送的直播数据流，并提取出所述直播数据流中所包含的基于HEVC标准处理后的视频和音频数据；所述基于HEVC标准处理后的视频和音频数据的格式为任意格式；

将所述视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器；

Web播放器解码器对接收到的文件格式数据进行解码；

所述Web播放器根据解码结果，完成直播视频的播放；

在所述Web播放器解码器对接收的所述格式数据进行解码时，生成音视频时间戳；各音视频时间戳与分别每一帧视频一一对应；

在所述Web播放器播放的过程中，基于所述音视频时间戳，以所述音视频时间戳为标准，利用音视频时间戳，将每一帧视频与音频同步。

2.根据权利要求1所述的基于HEVC标准的视频直播方法，其特征在于，所述Web播放器解码器对接收的所述格式数据进行解码，包括：基于WebAssembly解码方式，对所述格式数据进行解码，获取解码后的YUV视频数据和PCM音频数据，并将所述YUV视频数据、所述PCM音频数据以及所述音视频时间戳，发送至所述Web播放器。

3.根据权利要求2所述的基于HEVC标准的视频直播方法，其特征在于，所述Web播放器解码器所支持的格式数据，包括：flv格式数据或者mp4格式数据。

4.根据权利要求2所述的基于HEVC标准的视频直播方法，其特征在于，所述Web播放器根据解码结果，完成直播视频的播放，包括：

所述Web播放器利用WebGL将所述YUV视频数据转换成rgb数据后，在Canvas上绘制视频画面；

根据所述音视频时间戳，利用Web Audio API同步播放与每帧所述视频画面相对应的所述PCM音频数据。

5.一种基于HEVC标准的视频直播系统，其特征在于，包括：

第一逻辑运算单元，用于利用Web播放器接收由视频服务器端发送的直播数据流，并提取出所述直播数据流中所包含的基于HEVC标准处理后的视频和音频数据；所述基于HEVC标准处理后的视频和音频数据的格式为任意格式；

第二逻辑控制单元，用于控制所述Web播放器将所述视频和音频数据封装成Web播放器解码器所支持的格式数据后，发送至Web播放器解码器；

第三逻辑控制单元，用于控制所述Web播放器解码器对接收到的文件格式数据进行解码；

第四逻辑控制单元，用于控制所述Web播放器根据解码结果，完成直播视频的播放；

在所述Web播放器解码器对接收的所述格式数据进行解码时，生成音视频时间戳；各音视频时间戳与分别每一帧视频一一对应；

在所述Web播放器播放的过程中，基于所述音视频时间戳，以所述音视频时间戳为标准，利用音视频时间戳，将每一帧视频与音频同步。

6.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述基于HEVC标准的视频直播方法的步骤。

7.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4任一项所述基于HEVC标准的视频直播方法的步骤。

Images