CN103686210A - 实时音视频转码方法和系统 - Google Patents

Abstract

一种实时音视频转码方法和系统，其中方法包括步骤：获取直播请求，其中，所述直播请求包括音视频数据包的名称及其格式信息；根据所述直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息；判断所述上传的音视频数据包的格式信息与直播请求中的格式信息是否完全匹配，若否，则将所述上传的音视频数据包进行解析，获得音视频源数据，对音视频源数据进行解码处理；根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。通过本发明方案灵活的降低了CPU及内存资源的消耗，大大提升了处理能力。

Description

实时音视频转码方法和系统

技术领域

本发明涉及转码技术领域，特别是涉及一种实时音视频转码方法和系统。

背景技术

传统技术中，每一直播视频服务器都有一个直播源，即直播视频内容的来源，也可称之为直播视频上传客户端，直播服务器需要完成的重要功能就是将直播源的内容发送到多个播放客户端。不同客户端往往支持不同编码类型的视频流，此时要实现同一直播服务器将直播源内容发送到各个播放客户端，则需要进行音视频转码。

上述技术，将上传的音视频数据包中音视频数据解码为视频解码数据和音频解码数据，将解码后的音频解码数据和视频解码数据根据直播请求进行相应编码。传统技术虽然解决了音视频转码问题，但是将所有音视频数据包经过解码、缓存、编码过程，大量消耗CPU以及内存资源。

发明内容

基于此，有必要针对耗费CPU以及内存资源大的问题，提供一种实时音视频转码方法和系统。

一种实时音视频转码方法，包括步骤：

获取直播请求，其中，所述直播请求包括音视频数据包的名称及其格式信息；

根据所述直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息；

判断所述上传的音视频数据包的格式信息与直播请求中的格式信息是否完全匹配，若否，则将所述上传的音视频数据包进行解析，获得音视频源数据，对音视频源数据进行解码处理；

根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。

一种实时音视频转码系统，其特征在于，包括：

直播请求获取模块，用于获取直播请求，其中，所述直播请求包括音视频数据包的名称及其格式信息；

数据获取模块，用于根据所述直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息；

第一判断模块，用于判断所述上传的音视频数据包的格式信息与直播请求中的格式信息是否完全匹配；

解析模块，用于当所述格式信息不完全匹配时，将所述上传的音视频数据包进行解析，获得音视频源数据；

解码模块，用于对音视频源数据进行解码处理；

编码合并模块，用于根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。

上述实时音视频转码方法和系统，通过对直播客户端请求的视频及音频格式信息与上传的音视频数据包的格式信息进行匹配，并根据匹配结果，当格式信息是否完全匹配时将上传的音视频数据包进行解析，获得音视频源数据，对音视频源数据进行解码处理。根据直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。当格式信息完全匹配时对音视频数据包不进行解码、编码处理。从而灵活的降低了CPU及内存资源的消耗，大大提升了处理能力。同样的硬件成本，本方案可以支持更多的客户端。

附图说明

图1为本发明实时音视频转码方法实施例的流程示意图；

图2为本发明实时音视频转码系统实施例的结构示意图；

图3为本发明实时音视频转码系统具体实例的结构示意图。

具体实施方式

以下针对本发明实时音视频转码方法和系统的各实施例进行详细的描述。

如图1所示，为本发明实时音视频转码方法实施例的流程示意图，包括步骤：

步骤S101：获取直播请求，其中，直播请求包括音视频数据包的名称及其格式信息；

直播客户端需要播放音视频内容时，需要发出直播请求。即本步骤可以是获取直播客户端发送的直播请求。

步骤S102：根据直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息；

本步骤目的是为了根据直播请求获取长传的音视频数据包以及该音视频数据包的格式信息。格式信息中记录着音视频数据包中音频数据的格式信息和视频数据的格式信息。

在其中一个实施例中，可以对音视频数据包的存在状态进行判断，即是否存在对应的音视频数据包进行判断。因此，步骤S102可以包括：

根据直播请求的音视频数据包的名称查询对应音视频数据包是否上传，若否，则提示错误信息，若是，则获取上传的音视频数据包及其格式信息。

其中，查询对应音视频数据包是否上传包括是否处于上传状态或者是否已经上传。本实施例先通过判断，可以将不存在音视频数据包的情况反馈，并避免了后续多余的处理。

步骤S103：判断上传的音视频数据包的格式信息与直播请求中的格式信息是否完全匹配，若否，进入步骤S104；

上传的音视频数据包的格式信息与直播请求中的格式信息完全匹配是指上传的音视频数据包中的音频数据的格式信息和视频数据的格式信息均匹配。当然，不完全匹配即包括三种情况：上传的音视频数据包中的音频数据的格式信息不匹配、视频数据的格式信息匹配；上传的音视频数据包中的音频数据的格式信息匹配、视频数据的格式信息不匹配；上传的音视频数据包中的音频数据的格式信息和视频数据的格式信息均不匹配。

另外，当该上传的音视频数据包的格式信息与直播请求中的格式信息完全匹配时，则无需进行后续的解码和重新编码，将该音视频数据包进行缓存，直接发送给直播客户端播放即可。因此，灵活的降低了CPU及内存资源的消耗，大大提升了处理能力。

步骤S104：将上传的音视频数据包进行解析，获得音视频源数据，对音视频源数据进行解码处理；

步骤S105：根据直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。

在其中一个实施例中，只要格式信息不完全匹配，则将上传的音视频数据包进行解析，获得音频源数据和视频源数据，对音频源数据和视频源数据均进行解码处理。然后根据直播请求中的格式信息对解码后的音频解码数据和视频解码数据进行编码，并对编码后的音频编码数据和视频编码数据进行合并，获得新的音视频数据包。

在另一个实施例中，对音视频数据包解析后，可以只对不匹配的音频/视频数据进行解码和重新编码，对匹配的音频/视频数据不进行解码和重新编码，这样可以进一步降低CPU及内存资源的消耗，提升处理能力。具体包括：

音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配；

对音视频源数据进行解码处理步骤，包括：对音频源数据进行解码，获得音频解码数据；

根据直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包步骤，包括：根据直播请求中的格式信息对音频解码数据进行编码，将编码后的音频数据和视频源数据进行合并获得新的音视频数据包，

或

音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配；

对音视频源数据进行解码处理步骤，包括：对视频源数据进行解码，获得视频解码数据；

根据直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包步骤，包括：根据直播请求中的格式信息对视频解码数据进行编码，将编码后的视频数据和音频源数据进行合并获得新的音视频数据包，

或

音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

对音视频源数据进行解码处理步骤，包括：对音频源数据和视频源数据进行解码，获得音频解码数据和视频解码数据；

根据直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包步骤，包括：根据直播请求中的格式信息对音频解码数据和视频解码数据进行编码，将编码后的音频数据和视频数据进行合并获得新的音视频数据包。

在其中一个实施例中，还可以将解码或者无需解码的数据进行缓存。即在步骤S104之后，步骤S105之前，还包括：

将视频源数据和解码处理的音频解码数据缓存，其中，音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配，

或

将音频源数据和解码处理的视频解码数据缓存，其中，音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配，

或

将解码处理后的音频解码数据和视频解码数据缓存，其中，音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

或

将音视频数据包缓存，其中，音视频源数据中的音频源数据和视频源数据的格式信息均匹配。

在其中一个实施例中，为了实现音频数据和视频数据的同步，将上传的音视频数据包进行解析，可以获得音视频源数据，还可以获得音视频同步信息，在步骤S105中，根据直播请求中的格式信息对解码后的音视频解码数据进行编码，根据该音视频同步信息进行同步并对应合并，生成新的音视频数据包。

上述各实施例可以自由组合，比如同步实施例与不同情况下如何实现解码实施例组合，不同情况下如何实现解码实施例与数据缓存实施例组合等，在此不再一一赘述。

本发明举其中一个运用实例进行详细说明。

首先接收音视频上传客户端上传的音视频网络包以及流格式信息，但并未对音视频进行解码。

当直播客户端发送直播请求时，接收直播请求，其中包括直播视频的名字、编码信息等。

接收到直播请求后，检查请求的直播视频是否正处于上传过程中，如果存在，则进入下一步，否则向直播客户端返回错误信息；

将直播请求中包含的请求音视频格式信息进行分析匹配处理；

根据匹配结果，开启2条不同的处理路径。路径A1是当音频不匹配、视频不匹配或音视频均不匹配；路径A2是音频与视频都匹配。

路径A1中，对音视频流进行拆包，获取视频源数据及音频源数据。并根据匹配结果开启3条不同的路径，并将音频源数据和视频源数据传入不同的路径。3条路径有:A1-1是仅视频格式不匹配；A1-2是仅音频格式不匹配；A1-3是音频视频格式都不匹配。

路径A1-1中，仅对视频流进行解码，输出YUV数据，音频源数据不变；路径A1-2中，仅对音频流进行解码，输出PCM数据，视频源数据不变；路径A1-3中，分别对音频流和视频流进行解码，分别输出YUV视频数据及PCM音频数据。所有输出的YUV数据，PCM数据以及未经解码的音视频源数据都进行缓存。

将解码后音视频数据分别根据直播请求中的格式信息进行编码；将未经解码的音视频源数据与后续编码后的音频或视频数据进行合并。

将合并后的音视频流数据分开2路，一路用于存储，供非实时点播用；另一路发送给直播客户端进行实时流播放。至此A1路径结束。

A2路径中，音视数据包分成2路，一路用于存储，供非实时点播用；另一路发送给直播客户端进行实时流播放。至此A2路径结束。

本发明对直播客户端请求的视频及音频格式与上传的音视频数据包的格式进行分析匹配，并根据分析匹配结果启动多条处理路径，仅仅当视频以及音频都与目标格式不匹配时所在的路径中才同时启用视频及音频的解码、缓存、编码。而其余的路径是部分启用音频或视频的解码及编码处理或者完全不经过解码、缓存及编码处理。从而灵活的降低了CPU及内存资源的消耗，大大提升了服务器的处理能力。比如，同样的配置，客户端多了，到了瓶颈的地方，传统方法到了10个客户端就又慢又卡了，采用本方案可以轻松支持10个，甚至几十个。同样的硬件成本，本方案可以支持更多的业务。

根据上述实时音视频转码方法，本发明还提供一种实时音视频转码系统，如图2所示，包括：

直播请求获取模块210，用于获取直播请求，其中，直播请求包括音视频数据包的名称及其格式信息；

数据获取模块220，用于根据直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息；

第一判断模块230，用于判断上传的音视频数据包的格式信息与直播请求中的格式信息是否完全匹配；

解析模块240，用于当格式信息不完全匹配时，将上传的音视频数据包进行解析，获得音视频源数据；

解码模块250，用于对音视频源数据进行解码处理；

编码合并模块260，用于根据直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。

其中，解析模块中不需要解码的音频源数据或视频源数据则直接发送给编码合并模块进行合并。比如，只有音频源数据格式不匹配时，则将解码模块将音频源数据进行解码，编码合并模块将解码后的音频解码数据进行编码。同时，解析模块将视频源数据发送至编码合并模块，编码合并模块将重新编码的音频数据和视频源数据进行同步合并。

在其中一个实施例中，音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配；

解码模块，用于对音频源数据进行解码，获得音频解码数据；

编码合并模块，用于根据直播请求中的格式信息对音频解码数据进行编码，将编码后的音频数据和视频源数据进行合并获得新的音视频数据包，

或

音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配；

解码模块，用于对视频源数据进行解码，获得视频解码数据；

编码合并模块，用于根据直播请求中的格式信息对视频解码数据进行编码，将编码后的视频数据和音频源数据进行合并获得新的音视频数据包，

或

音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

解码模块，用于对音频源数据和视频源数据进行解码，获得音频解码数据和视频解码数据；

编码合并模块，用于根据直播请求中的格式信息对音频解码数据和视频解码数据进行编码，将编码后的音频数据和视频数据进行合并获得新的音视频数据包。

在其中一个实施例中，编码合并模块之前，还包括缓存模块，用于：

将视频源数据和解码处理的音频解码数据缓存，其中，音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配，

或

将音频源数据和解码处理的视频解码数据缓存，其中，音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配，

或

将解码处理后的音频解码数据和视频解码数据缓存，其中，音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

或

将音视频数据包缓存，其中，音视频源数据中的音频源数据和视频源数据的格式信息均匹配。

在其中一个实施例中，数据获取模块，包括：

第二判断模块，用于根据直播请求的音视频数据包的名称查询对应音视频数据包是否上传；

处理模块，用于当音视频数据包不处于上传过程时，提示错误信息；当音视频数据包处于上传过程时，获取上传的音视频数据包及其格式信息。

举其中一个具体运用实例进行说明，如图3所示，包括：

直播请求获取模块301，用于获取直播请求，其中，直播请求包括音视频数据包的名称及其格式信息。

数据获取模块302，用于根据直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息。

音视频格式匹配单元303用于对收到的客户端信息进行分析及匹配，并根据不同的匹配结果选择不同的处理路径。

第一音视频处理路径选择单元304，用于根据匹配结果选择不同的音视频处理路径，处理路径有：A1)格式信息不完全匹配和A2)视频音频格式都匹配路径。

音视频流解析单元305，用于当音视频不完全匹配时，对音视频数据包进行拆包，用于后续的解码、缓存及编码处理流程。

第二音视频处理路径选择单元306，用于将根据匹配结果对A1)路径进行拆分选择，包括：A1-1)视频格式不匹配路径，A1-2)音频格式不匹配路金，A1-3)视频音频格式都不匹配路径。

视频解码单元307用于将上传的音视频数据包中的视频数据解码为视频YUV数据；

音频解码单元308用于将音视频数据包中的音频数据解码为音频PCM格式数据；

数据缓冲单元309用于将视频解码单元和音频解码单元解码后所得的音频PCM和视频YUV数据放入存储单元中的缓存区予以缓存以备待用。数据缓冲单元可以包括用于缓存解码后YUV视频数据的视频缓存子区、用于缓存解码后PCM音频数据的音频缓存子区、用于缓存拆包后无须解码并未经解码的源视频数据的视频缓存子区、用于缓存拆包后无须解码并未经解码的源音频数据的音频缓存子区。

音视频同步单元310用于将数据缓存区中的音视频数据按照其时间戳进行同步。根据直播请求获取模块301确定直播客户端所需要的音视频信息和其所采用的音视频编码格式。

视频编码单元311用于根据直播信令处理单元所确定的直播客户端所需要的音视频信息和音视频编码格式，将缓存的对应视频数据进行相应编码。

音频编码单元312用于根据直播信令处理单元所确定的直播客户端所需要的音视频信息和音视频编码格式，将缓存的对应音频PCM数据进行相应编码。

合并流单元313用于将视频编码单元和音频编码单元编码后的音视频数据或者从不同音视频流处理路径中输出的未经解码的源音频或视频数据发送到直播客户端。

本发明对直播客户端请求的视频及音频格式与上传的音视频数据包的格式进行分析匹配，并根据分析匹配结果启动多条处理路径，仅仅当视频以及音频都与目标格式不匹配时所在的路径中才同时启用视频及音频的解码、缓存、编码。而其余的路径是部分启用音频或视频的解码及编码处理或者完全不经过解码、缓存及编码处理。从而灵活的降低了CPU及内存资源的消耗，大大提升了服务器的处理能力。

本发明的实时音视频转码系统与本发明的实时音视频转码方法是一一对应的，上述实时音视频转码方法实施例中的相关技术特征及其技术效果均适用于实时音视频转码系统实施例中，在此不再赘述。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种实时音视频转码方法，其特征在于，包括步骤：

获取直播请求，其中，所述直播请求包括音视频数据包的名称及其格式信息；

根据所述直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息；

判断所述上传的音视频数据包的格式信息与直播请求中的格式信息是否完全匹配，若否，则将所述上传的音视频数据包进行解析，获得音视频源数据，对音视频源数据进行解码处理；

根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。

2.根据权利要求1所述的实时音视频转码方法，其特征在于，

所述音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配；

所述对音视频源数据进行解码处理步骤，包括：对所述音频源数据进行解码，获得音频解码数据；

所述根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包步骤，包括：根据所述直播请求中的格式信息对所述音频解码数据进行编码，将编码后的音频数据和所述视频源数据进行合并获得新的音视频数据包，

或

所述音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配；

所述对音视频源数据进行解码处理步骤，包括：对所述视频源数据进行解码，获得视频解码数据；

所述根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包步骤，包括：根据所述直播请求中的格式信息对所述视频解码数据进行编码，将编码后的视频数据和所述音频源数据进行合并获得新的音视频数据包，

或

所述音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

所述对音视频源数据进行解码处理步骤，包括：对所述音频源数据和视频源数据进行解码，获得音频解码数据和视频解码数据；

所述根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包步骤，包括：根据所述直播请求中的格式信息对所述音频解码数据和视频解码数据进行编码，将编码后的音频数据和视频数据进行合并获得新的音视频数据包。

3.根据权利要求2所述的实时音视频转码方法，其特征在于，合并生成新的音视频数据包步骤之前，还包括：

将所述视频源数据和解码处理的音频解码数据缓存，其中，所述音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配，

或

将所述音频源数据和解码处理的视频解码数据缓存，其中，所述音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配，

或

将解码处理后的音频解码数据和视频解码数据缓存，其中，所述音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

或

将所述音视频数据包缓存，其中，所述音视频源数据中的音频源数据和视频源数据的格式信息均匹配。

4.根据权利要求1至3任意一项所述的实时音视频转码方法，其特征在于，所述根据所述直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息步骤，包括：

根据所述直播请求的音视频数据包的名称查询对应音视频数据包是否上传，若否，则提示错误信息，若是，则获取上传的音视频数据包及其格式信息。

5.一种实时音视频转码系统，其特征在于，包括：

直播请求获取模块，用于获取直播请求，其中，所述直播请求包括音视频数据包的名称及其格式信息；

数据获取模块，用于根据所述直播请求的音视频数据包的名称获取上传的音视频数据包及其格式信息；

第一判断模块，用于判断所述上传的音视频数据包的格式信息与直播请求中的格式信息是否完全匹配；

解析模块，用于当所述格式信息不完全匹配时，将所述上传的音视频数据包进行解析，获得音视频源数据；

解码模块，用于对音视频源数据进行解码处理；

编码合并模块，用于根据所述直播请求中的格式信息对解码后的音视频解码数据进行编码，并对应合并生成新的音视频数据包。

6.根据权利要求5所述的实时音视频转码系统，其特征在于，

所述音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配；

所述解码模块，用于对所述音频源数据进行解码，获得音频解码数据；

所述编码合并模块，用于根据所述直播请求中的格式信息对所述音频解码数据进行编码，将编码后的音频数据和所述视频源数据进行合并获得新的音视频数据包，

或

所述音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配；

所述解码模块，用于对所述视频源数据进行解码，获得视频解码数据；

所述编码合并模块，用于根据所述直播请求中的格式信息对所述视频解码数据进行编码，将编码后的视频数据和所述音频源数据进行合并获得新的音视频数据包，

或

所述音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

所述解码模块，用于对所述音频源数据和视频源数据进行解码，获得音频解码数据和视频解码数据；

所述编码合并模块，用于根据所述直播请求中的格式信息对所述音频解码数据和视频解码数据进行编码，将编码后的音频数据和视频数据进行合并获得新的音视频数据包。

7.根据权利要求6所述的实时音视频转码系统，其特征在于，所述编码合并模块之前，还包括缓存模块，用于：

将所述视频源数据和解码处理的音频解码数据缓存，其中，所述音视频源数据中的音频源数据的格式信息不匹配、视频源数据的格式信息匹配，

或

将所述音频源数据和解码处理的视频解码数据缓存，其中，所述音视频源数据中的音频源数据的格式信息匹配、视频源数据的格式信息不匹配，

或

将解码处理后的音频解码数据和视频解码数据缓存，其中，所述音视频源数据中的音频源数据和视频源数据的格式信息均不匹配；

或

将所述音视频数据包缓存，其中，所述音视频源数据中的音频源数据和视频源数据的格式信息均匹配。

8.根据权利要求5至7任意一项所述的实时音视频转码系统，其特征在于，所述数据获取模块，包括：

第二判断模块，用于根据所述直播请求的音视频数据包的名称查询对应音视频数据包是否上传；

处理模块，用于当音视频数据包不处于上传过程时，提示错误信息；当音视频数据包处于上传过程时，获取上传的音视频数据包及其格式信息。

Images