CN114363648A - 直播系统混流过程中音视频对齐的方法、设备及存储介质 - Google Patents

Abstract

本发明提供了一种直播系统混流过程中音视频对齐的方法、设备及存储介质，包括拉取第一直播流进行解封装解码输出第一数据结构，对第一数据结构中的原始帧进行标记；将原始帧和标记进行映射生成映射表；将第一数据结构进行编码并输出包含第二直播流的第二数据结构，第二直播流中的若干不同码率的直播流子单元均包括编码帧和数据增强信息；将标记写入编码帧的数据增强信息中；获取第二直播流，录制解说直播流，将解说直播流加入到码率相对应的直播流子单元中形成混合直播流子单元且保留写入标记的数据增强信息；将混合直播流子单元和其余直播流子单元在云端进行解析，进行混流得到第三直播流。本发明具有成本低，且能够满足不同的用户喜好的优点。

Description

直播系统混流过程中音视频对齐的方法、设备及存储介质

技术领域

本发明涉及视频直播技术领域，具体地，涉及直播系统混流过程中音视频对齐的方法、设备及存储介质。

背景技术

随着时代的发展，直播行业有了质的飞跃，对高清画质、低延时、声画同步等问题已经优化到了极致，然而用户的需求并不满足于此。

在某些场景例如各大体育赛事、各大游戏赛事等，解说一般都是通过现场直播间或后方直播间进行制作，可以理解的是，上述方案中，解说员需要聚集在一个直播间对比赛进行解说，上述方式存在如下问题：

1、如果需要较多的解说人员，那么对网络环境要求就会增高，较高的网络环境会消耗巨大的成本，因此增加解说人员相对不易；

2、因为需要解说员聚集在一起，场地问题会限制解说人员增加的数量；

3、在解说人员数量增加后，对应的对服务器的性能的要求也会提升，因此，会增加服务器的硬件成本。

因此，现有模式中，如果需要增加解说人员十分不方便，但是，不同地区和不同年龄段的观众，会对解说风格有着不同的喜好，在解说人员数量存在限制的情况下，无法更好的满足不同观众的喜好，就会造成用户的流失状况。对于赛事方和直播端都是很大的损失。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种直播系统混流过程中音视频对齐的方法，包括如下步骤：

拉取第一直播流进行解封装解码输出第一数据结构，第一数据结构中包含若干原始帧，对每一原始帧进行标记；

将每一原始帧和对应的标记进行映射生成映射表；

将第一数据结构作为输入进行编码，输出第二数据结构，第二数据结构包含第二直播流，第二直播流包括若干路不同码率的直播流子单元，若干不同码率的直播流子单元均包括若干编码帧和若干数据增强信息，每一数据增强信息对应一个编码帧；

将映射表中的标记写入对应的编码帧的数据增强信息中；

获取第二数据结构中的第二直播流，根据第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的直播流子单元中形成混合直播流子单元，混合直播流子单元保留写入标记的数据增强信息；

将混合直播流子单元和其余直播流子单元传输到云端并在云端进行解析，获取混合直播流子单元中的编码帧对应的标记和其余直播流子单元的编码帧对应的标记，将标记相同的编码帧进行混流得到第三直播流。

可选地，将每一原始帧和对应的标记进行映射生成映射表，进一步包括：

对第一数据结构中的原始帧进行帧数统计，并将原始帧按时间顺序标记上对应的序列号；

将每一原始帧对应的序列号和原始帧对应的标记进行映射得到映射表。

可选地，第二直播流包括高码率直播流子单元和低码率直播流子单元。

可选地，获取第二数据结构中的第二直播流，根据第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的直播流子单元中形成混合直播流子单元，混合直播流子单元保留写入标记的数据增强信息，进一步包括：

获取第二直播流，根据第二直播流录制解说内容以获得解说直播流，将解说直播流加入到低码率直播流子单元形成混合直播流子单元，混合直播流子单元保留写入标记的数据增强信息。

可选地，将混合直播流子单元和其余直播流子单元传输到云端并在云端进行解析，获取混合直播流子单元中的编码帧对应的标记和其余直播流子单元的编码帧对应的标记，将标记相同的编码帧进行混流得到第三直播流，进一步包括：

将混合直播流子单元和高码率直播流子单元传输到云端并在云端进行解析，获取混合直播流子单元中的编码帧对应的标记和高码率直播流子单元的编码帧对应的标记，将标记相同的编码帧进行混流得到第三直播流。

可选地，于将映射表中的标记写入对应的编码帧的数据增强信息中步骤之前，对第二数据结构中的帧数进行统计。

可选地，第一数据结构为AVFrame结构体，对应的第二数据结构为AVpacket结构体。

可选地，解说音频流的数量为一个或者多个。

一种直播系统混流过程中音视频对齐的设备，包括：

存储器和至少一个处理器，存储器中存储有指令，存储器和至少一个处理器通过线路互连；

至少一个处理器调用存储器中的指令，以使得直播系统混流过程中音视频对齐的装置执行本发明一实施例中的直播系统混流过程中音视频对齐的方法。

一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明一实施例中的直播系统混流过程中音视频对齐的方法。

与现有技术相比，本发明具有如下的有益效果：

本发明提供一种直播系统混流过程中音视频对齐的方法，能够实现远程加入解说流，降低了直播时高网络环境的需求，而且解说流和直播流是在云端进行混流，因此，不使用本地服务器进行混流，降低了成本，远程加入解说流，则解说人员的数量不再受直播间场地的影响，可以根据用户的喜好加入不同的解说流，满足不同地区和不同年龄段的观众的需求，而且混流后的直播流能够很好的做到声画同步，从而给用户带来很好的观看体验。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明提供的实施例1和实施例2的流程图；

图2为本发明提供的实施例1和实施例2的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

在对本申请的实施例进行详细的解释说明之前，先将本申请中涉及的名词结合到本申请的实施例中进行解释说明，其中，

AVFrame结构体：是FFMPEG有几个最重要的结构体之一，用于存储原始数据(即非压缩数据，例如对视频来说是YUV，RGB，对音频来说是PCM)，此外还包含了一些相关的信息。比如说，解码的时候存储了宏块类型表，QP表，运动矢量表等数据。编码的时候也存储了相关的数据，其中，FFMPEG是FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

AVpacket结构体：同样是FFMPEG有几个最重要的结构体之一，用于存储压缩数据。

utctime：即世界标准时间，是以原子时秒长为基础，在时刻上尽量接近于世界时的一种时间计量系统。

和/或：仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

映射：映射是个术语，指两个元素的集之间元素相互“对应”的关系。

混流：可以理解为将多路音频流和/或多路视频流混合在一起。

实施例1

本实施例是在直播流加上直播间的解说流的基础上，给出了一种可以远程加入解说流，且成本较低，声画同步效果好的直播系统混流过程中音视频对齐的方法。

如图1至图2所示，本实施例中的直播系统混流过程中音视频对齐的方法可以包括：

S1，拉取第一直播流进行解封装解码输出第一数据结构，第一数据结构中包含若干原始帧，对每一原始帧进行标记。

在实际应用中，通过解码器引擎拉取第一直播流，解码器引擎一般包含若干解码器1，第一直播流一般包括音频流和/或视频流，解码器1对音频流和/或视频流解封装解码输出第一数据结构，第一数据结构可以是AVFrame结构体，但不限于AVFrame结构体，其中，第一数据结构中的原始帧为音频帧和/或视频帧，对原始帧进行标记一般会标记utctime(世界标准时间)，其中，原始帧标记的utctime一般为原始帧解封装解码时的utctime。

S2，将每一原始帧和对应的标记进行映射生成映射表(map)。

在实际应用中，对第一数据结构中的原始帧进行帧数统计，并将原始帧按时间顺序标记上对应的序列号；将每一原始帧对应的序列号和原始帧对应的标记进行映射得到映射表，可以理解的是，在获得原始帧的帧数后，为了使得原始帧进行标记时不显得混乱，一般将原始帧按时间顺序标记上对应的序列号，其中，序列号可以为阿拉伯数字或者英文字母等，将原始帧中的序列号和其对应的utctime进行映射即可获得映射表。

S3，将第一数据结构作为输入进行编码，输出第二数据结构，第二数据结构包含第二直播流，第二直播流包括若干路不同码率的直播流子单元，若干不同码率的直播流子单元均包括若干编码帧和若干数据增强信息，每一数据增强信息对应一个编码帧，其中，编码帧可以理解为编码处理后的原始帧。

在实际应用中，通过编码器2对第一数据结构中的原始帧进行编码，编码后输出第二数据结构，在第一数据结构为AVFrame结构体的基础上，第二数据结构为AVpacket结构体，其中，第二数据结构包含若干路不同码率的直播流子单元，若干路不同码率的直播流子单元一般包括高码率直播流子单元和低码率直播流子单元，一般情况下，高码率直播流子单元是指视频流，而低码率直播流子单元是指音频流，可以理解的是，高码率直播流子单元中也可以包含音频流，同样的，低码率直播流子单元也可以包含视频流，在本实施例中，高码率直播流子单元一般是指码率大于256kbps的音频或视频，而低码率直播流子单元一般是指码率小于等于256kbps的音频和/或视频，第二数据结构除了包含不同码率的直播流子单元，还包括数据增强信息(sei)，因为数据增强信息是对应编码帧的，因此，数据增强信息一般还包括原始帧的字节数和存储位置等。

S4，在对第二数据结构中的帧数进行统计后，将映射表中的标记写入对应的编码帧的数据增强信息中。

因为对第一数据结构中的原始帧进行编码后得到第二数据结构中的编码帧，编码过程中有可能会出现帧数发生改变的状况，因此需要在将映射表中的标记写入对应的编码帧的数据增强信息中之前，对第二数据结构中的帧数进行统计；

在帧数发生改变的情况下，则将编码帧中不存在序列号的编码帧舍弃，将映射表中的标记写入到对应的含有序列号的编码帧中。

在帧数没有发生改变的情况下，则执行将映射表中的标记写入对应的编码帧的数据增强信息中的步骤。

S5，获取第二数据结构中的第二直播流，根据第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的直播流子单元中形成混合直播流子单元，混合直播流子单元保留写入标记的数据增强信息。

在实际应用中，编码获得的第二数据结构中的第二直播流传输到解说端3，解说端3对第二直播流进行转码后播放，根据播放的第二直播流中的内容，解说员进行解说，解说端3对解说的音频和/或视频进行录制，得到解说直播流，在本实施例中，解说直播流的数量为一个，因为解说端3的网速一般都不会太好，因此，一般是将解说直播流加入到低码率直播流子单元中形成混合直播流子单元，当然，若解说直播流的网速能够达到要求，也可以将解说直播流加入到高码率直播流子单元中，下面以加入到低码率直播流子单元中为例对加入方式进行具体介绍：

一般是将按时间顺序排列的解说直播流的第一帧加入到按时间顺序排列的低码率直播流子单元的第一帧中，解说直播流的第二帧加入到低码率直播流子单元中的第二帧中，以此类推得到若干混合帧，若干混合帧组成混合直播流子单元，在本实施例中，解说直播流的帧数是小于或者等于低码率直播流子单元中的帧数的，加入完成后，混合直播流子单元的每帧中依然保留写入标记的数据增强信息。

除了上述加入方式外，还有一些直播中，首先开场时，会有一些热场表演，热场表演无需解说，因此其加入方式还可以是：

按时间顺序排列的解说直播流的最后一帧加入到按时间顺序排列的低码率直播流子单元的最后一帧中，解说直播流的倒数第二帧加入到低码率直播流子单元中的倒数第二帧中，以此类推得到若干混合帧，若干混合帧组成混合直播流子单元，同样的，该加入方式中，解说直播流的帧数是小于或者等于低码率直播流子单元中的帧数的。

S6，将混合直播流子单元和其余直播流子单元传输到云端4并在云端4进行解析，获取混合直播流子单元中的编码帧对应的标记和其余直播流子单元的编码帧对应的标记，将标记相同的编码帧进行混流得到第三直播流。

在实际应用中，在直播流子单元一般包括高码率直播流子单元和低码率直播流子单元，且解说直播流加入到低码率直播流子单元的基础上，即上述提到的其余直播流子单元即为高码率直播流子单元，将标记相同的编码帧进行混流，其中标记相同也就是所谓的世界标准时间相同，因此能够实现音频流和视频流的对齐，混流得到第三直播流发送到用户端用，用户端对第三直播流进行转码后进行播放。

实施例2

本实施例和实施例1的区别在于本申请中是加入若干个解说直播流，其中，若干个解说直播流的数量不少于两个，若干个解说直播流加入到到低码率直播流子单元中形成若干个混合直播流子单元的方法为：

将若干个解说直播流分别加入到低码率直播流子单元中形成若干个混合直播流子单元，每个混合直播流子单元均保留写入标记的数据增强信息，其中，每个解说直播流加入到低码率直播流子单元方式同上，获取混合直播流子单元中的编码帧对应的标记和其余直播流子单元的编码帧对应的标记，将标记相同的编码帧进行混流得到第三直播流，其具体包括：

其中，每个混合直播流子单元中的编码帧为一组，对每组中的编码帧分别进行解析；

解析完成后，会获得每组中的编码帧对应的标记，分别将每组中的编码帧和高码率直播流子单元中标记相同的编码帧进行混流，从而得到若干个第三直播流，用户端可以根据需要选择不同的第三直播流。

实施例2和实施例1相比，增加了更多路解说流，从而进一步满足更多观众的不同喜好，避免了用户的流失。

实施例3

一种直播系统混流过程中音视频对齐的设备，包括：

存储器和至少一个处理器，存储器中存储有指令，存储器和至少一个处理器通过线路互连；

至少一个处理器调用存储器中的指令，以使得直播系统混流过程中音视频对齐的装置执行本发明实施例1或实施例2中的直播系统混流过程中音视频对齐的方法。

实施例4

一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现本发明实施例1或实施例2中的直播系统混流过程中音视频对齐的方法。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种直播系统混流过程中音视频对齐的方法，其特征在于，包括如下步骤：

拉取第一直播流进行解封装解码输出第一数据结构，所述第一数据结构中包含若干原始帧，对每一所述原始帧进行标记；

将每一所述原始帧和对应的所述标记进行映射生成映射表；

将第一数据结构作为输入进行编码，输出第二数据结构，所述第二数据结构包含第二直播流，所述第二直播流包括若干路不同码率的直播流子单元，若干不同码率的所述直播流子单元均包括若干编码帧和若干数据增强信息，每一所述数据增强信息对应一个所述编码帧；

将所述映射表中的标记写入对应的所述编码帧的所述数据增强信息中；

获取所述第二数据结构中的所述第二直播流，根据所述第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的所述直播流子单元中形成混合直播流子单元，所述混合直播流子单元保留写入所述标记的所述数据增强信息；

将所述混合直播流子单元和其余所述直播流子单元传输到云端并在所述云端进行解析，获取所述混合直播流子单元中的编码帧对应的标记和其余所述直播流子单元的编码帧对应的标记，将所述标记相同的编码帧进行混流得到第三直播流。

2.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述将每一所述原始帧和对应的所述标记进行映射生成映射表，进一步包括：

对所述第一数据结构中的原始帧进行帧数统计，并将所述原始帧按时间顺序标记上对应的序列号；

将每一原始帧对应的序列号和所述原始帧对应的标记进行映射得到映射表。

3.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述第二直播流包括高码率直播流子单元和低码率直播流子单元。

4.根据权利要求3所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述获取所述第二数据结构中的所述第二直播流，根据所述第二直播流录制解说内容以获得解说直播流，将解说直播流加入到码率相对应的所述直播流子单元中形成混合直播流子单元，所述混合直播流子单元保留写入所述标记的所述数据增强信息，进一步包括：

获取第二直播流，根据所述第二直播流录制解说内容以获得解说直播流，将解说直播流加入到低码率直播流子单元形成混合直播流子单元，所述混合直播流子单元保留写入所述标记的所述数据增强信息。

5.根据权利要求4所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述将所述混合直播流子单元和其余所述直播流子单元传输到云端并在所述云端进行解析，获取所述混合直播流子单元中的编码帧对应的标记和其余所述直播流子单元的编码帧对应的标记，将所述标记相同的编码帧进行混流得到第三直播流，进一步包括：

将所述混合直播流子单元和所述高码率直播流子单元传输到云端并在所述云端进行解析，获取所述混合直播流子单元中的编码帧对应的标记和所述高码率直播流子单元的编码帧对应的标记，将所述标记相同的编码帧进行混流得到第三直播流。

6.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，于将所述映射表中的标记写入对应的所述编码帧的所述数据增强信息中步骤之前，对所述第二数据结构中的帧数进行统计。

7.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述第一数据结构为AVFrame结构体，对应的所述第二数据结构为AVpacket结构体。

8.根据权利要求1所述的直播系统混流过程中音视频对齐的方法，其特征在于，所述解说音频流的数量为一个或者多个。

9.一种直播系统混流过程中音视频对齐的设备，其特征在于，包括：

存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述直播系统混流过程中音视频对齐的装置执行如权利要求1-8中任意一项所述的直播系统混流过程中音视频对齐的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-8中任意一项所述的直播系统混流过程中音视频对齐的方法。

Images