CN103826084A - 一种音频编码方法 - Google Patents

Abstract

本发明公开了一种音频编码方法，属于视频通信技术领域，具体包括：步骤1，以预置的第一策略对客户端的发送端生成的视频数据和音频数据进行编码，并将经过编码的编码信号发送至服务器端；步骤2，服务器端将编码信号发送至对应的客户端；步骤3，客户端的接收端接收编码信号，并以预置的第二策略解码得到对应的视频数据和音频数据。上述技术方案的有益效果是：采用上述音频编码方法，使得使用者可以同时接收到视频数据和音频数据，以达到最大限度还原实时视频通信的效果，提升了使用者的体验感。

Description

一种音频编码方法

技术领域

本发明涉及视频通信技术领域，尤其涉及一种音频编码方法。

背景技术

现有的视频通信技术中，往往不仅仅存在视频数据流的流动，在不同的设备之间同样存在音频数据流。视频数据流和音频数据流由视频用户端的编码器编码压缩完成并进行发送，同样由目标视频用户端的解码器进行相应解码并还原成相应的视频数据和音频数据。但是在上述过程中，可能由于编码器编码或者解码器解码动作的延迟，或者由于网络传输等其他原因，可能会导致视频数据和音频数据不同时对使用者展现的情况，具体而言，为视频和音频不匹配，使用者往往会先看到画面，后听到声音，或者先听到声音，后看到画面。上述情况就被称为音视频不同步。

中国专利（CN101151660）公开了一种多通道音频编码器(10)，用于将多通道音频信号(101)编码成空间向下混音(102)和相关参数(104、105)，所述多通道音频信号(101)例如为5.1通道音频信号，空间向下混音(102)例如为立体声信号。编码器(10)包括第一和第二单元(110、120)。第一单元(110)将多通道音频信号(101)编码成空间向下混音(102)和参数(104)。这些参数(104)使多通道解码器(20)能够从空间向下混音(102)重建多通道音频信号(203)。第二单元(120)从空间向下混音(102)产生参数(105)，这些参数(105)使解码器能够从备选向下混音(103)重建空间向下混音(202)，所述备选向下混音(103)例如为录音棚中人工混合的所谓艺术向下混音。这样，解码器(20)能够有效处理这样的情况，这种情况下接收备选向下混音(103)取代规则的空间向下混音(102)。在解码器(20)中，首先从另一个向下混音(103)和参数(105)重建空间向下混音(202)。接下来，空间向下混音(202)被解码成多通道音频信号(203)。上述技术方案主要涉及到对多通道的混音音频进行编码，并不能解决现有技术中的上述问题。

中国专利（CN1669359）公开了一种对至少包括第一信号分量(LF)、第二信号分量(LR)和第三信号分量(RF)的多声道音频信号进行编码的方法。该方法包括步骤：由第一参数编码器(202)编码第一和第二信号分量产生第一编码信号(L)和第一组编码参数(P2)；由第二参数编码器(201)编码第一编码信号和另一信号(R)，产生第二编码信号(T)和第二组编码参数(P1)，其中该另一信号至少源自于第三信号分量；并且至少由至少源于第二编码信号产生的编码信号(T)，由第一组编码参数和由第二组编码参数表示该多声道音频信号。上述技术方案仍然是对多通道的音频进行编码，并不能解决现有技术中的上述问题。

发明内容

根据现有技术中存在的问题，现提供一种音频编码方法，具体包括：

一种音频编码方法，适用于视频通信系统中，其中，所述视频通信系统包括一服务器端和与所述服务器端连接的多个客户端；每个所述客户端内设置有用于生成并发送编码信号至所述服务器端的发送端，和用于从所述服务器端接收所述编码信号的接收端；所述编码信号中包括视频流信号和音频流信号；

所述音频编码方法具体包括：

步骤1，以预置的第一策略对所述客户端的所述发送端生成的视频数据和音频数据进行编码，并将经过编码的所述编码信号发送至所述服务器端；

步骤2，所述服务器端将所述编码信号发送至对应的所述客户端；

步骤3，所述客户端的所述接收端接收所述编码信号，并以预置的第二策略解码得到对应的所述视频数据和所述音频数据。

优选的，该音频编码方法，其中，在所述客户端的所述发送端内设置：

一视频采集模块；

一音频采集模块；

一编码模块；

所述预置的第一策略包括：

步骤11，通过所述视频采集模块采集所述视频数据；通过所述音频采集模块采集所述音频数据；

步骤12，所述编码模块按照预置的编码方法对所述视频数据和所述音频数据进行编码压缩，以形成所述编码信号；

步骤13，所述编码模块将所述编码信号发送至所述服务器端。

优选的，该音频编码方法，其中，在所述编码模块内设置：

一第一转换单元；

一编码单元；

一时钟信息生成单元；

所述预置的编码方法包括：

步骤121，所述第一转换单元将所述视频数据转换成相应的视频信号；所述第一转换单元将所述音频数据转换成相应的音频信号；

步骤122，所述编码单元将所述视频信号编码压缩成相应的视频流；所述编码单元将所述音频信号编码压缩成相应的音频流；

步骤123，所述时钟信息生成单元根据所述视频流的产生时间，在所述视频流上附加相应的视频时钟信息；所述时钟信息生成单元根据所述音频流的产生时间，在所述音频流上附加相应的音频时钟信息；

步骤124，所述编码模块将所述视频流和所述音频流整合成所述编码信号并发送至所述服务器端。

优选的，该音频编码方法，其中，在所述客户端的所述接收端设置有：

一解码模块；

一缓存模块，所述缓存模块中包括第一缓存空间和第二缓存空间；

所述预置的第二策略包括：

步骤31，所述客户端的所述接收端接收自所述服务器端发送的所述编码信号；

步骤32，所述解码模块对所述视频流和所述音频流进行解码，并得到相应的所述视频信号和所述音频信号；

步骤33，所述解码模块将所述视频信号存入所述第一缓存空间中，将所述音频信号存入所述第二缓存空间中；

步骤34，所述解码模块以预置的调取方法从所述缓存空间中调取对应的所述视频信号和所述音频信号。

优选的，该音频编码方法，其中，所述解码模块内设置有：

一解码单元；

一第二转换单元；

一系统时钟单元；所述系统时钟单元用于产生参考时钟信息；

所述预置的调取方法包括：

步骤341，所述解码单元根据所述视频信号对应的所述视频时钟信息，获取一个相应的视频解码时间信息；所述解码单元根据所述音频信号对应的所述音频时钟信息，获取一个相应的音频解码时间信息；

步骤342a，所述解码单元将所述视频解码时间信息与所述参考时钟信息进行匹配；若匹配成功，则所述解码单元从所述缓存模块中调取相应的所述视频信号并送入所述第二转换单元中；

步骤342b，所述解码单元将所述音频解码时间信息与所述参考时钟信息进行匹配；若匹配成功，则所述解码单元从所述缓存模块中调取相应的所述音频信号并送入所述第二转换单元中；

步骤343，所述第二转换单元将所述视频信号转换成相应的所述视频数据并显示在所述客户端的显示屏上；所述第二转换单元将所述音频信号转换成相应的所述音频数据并通过所述客户端的扩音器播放。

优选的，该音频编码方法，其中，所述步骤342a和所述步骤342b同时进行。

上述技术方案的有益效果是：采用上述音频编码方法，使得使用者可以同时接收到视频数据和音频数据，以达到最大限度还原实时视频通信的效果，提升了使用者的体验感。

附图说明

图1是本发明的实施例中，一种音频编码方法的基础结构示意图；

图2-6是本发明的实施例中，一种音频编码方法的流程图；

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

本发明的较佳的实施例中，如图1所示，采用多个客户端（图1中仅示出一个）与一个服务器端连接；客户端与服务器端之间的数据传输是双向的。

在每个客户端中设置有发送端和接收端。发送端用于生成并发送经过编码的编码信号至服务器端，接收端用于接收自服务器端发送的编码信号。上述编码信号中包括了表示视频数据的视频流和表示音频数据的音频流。

本发明的较佳的实施例中，上述编码信号可以由三部分组成：表示视频数据的视频流，表示音频数据的音频流，以及其中包含有关键字信息和文件信息的脚本流。

本发明的较佳的实施例中，每个客户端的发送端内设置有一用于采集视频数据的视频采集模块，以及一用于采集音频数据的音频采集模块。在本发明的较佳的实施例中，上述视频采集模块可以是移动终端上或者计算机上的摄像头，也可以是专门的照相机或者摄像机，甚至可以是安装有独立操作系统的网络摄像头例如监控摄像头等。

本发明的较佳的实施例中，每个客户端的发送端内还设置有一用于进行编码压缩的编码模块，该编码模块分别连接上述视频采集模块和音频采集模块。在编码模块内包括一用于对视频数据和音频数据进行转换的第一转换单元。本发明的较佳的实施例中，该第一转换单元为A/D转换器，用于将视频数据和音频数据转换成相应的视频信号和音频信号。

本发明的较佳的实施例中，该编码模块内还设置有一编码单元，以及一时钟信息生成单元。该编码单元分别连接第一转换单元和时钟信息生成单元；由第一转换单元转换得到的视频信号和音频信号，分别被送入编码单元中。编码单元将视频信号编码压缩成视频流，将音频信号编码压缩成音频流。

当编码单元对视频信号和音频信号进行编码压缩时，时钟信息生成单元在形成的视频流上附加一个视频时钟信息，在形成的音频流上附加一个音频时钟信息。上述视频时钟信息为编码单元对视频信号进行编码的时钟信息，上述音频时钟信息相应的为编码单元对音频信号进行编码的时钟信息。编码单元将经过附加信息的视频流和音频流整合成一个编码信号，该编码信号的数据结构即如上所述，包括了视频流，音频流和脚本流，其中视频时钟信息和音频时钟信息均保存在脚本流中。编码单元将经过编码压缩的编码信号发送至服务器端。

本发明的较佳的实施例中，每个客户端的接收端内设置有一解码模块和一缓存模块。解码模块接收自服务器端发送的编码信号，并对该编码信号进行相应解码，以根据编码信号中的视频流解出对应的视频信号，根据编码信号中的音频流解出对应的音频信号，根据编码信号中的脚本流解出对应的关键字或者其他文件信息（其中包括上述时钟信息）。

解码模块连接至缓存模块，并将上述解出的信号发送至缓存模块中。缓存模块中包括用于保存视频信号的第一缓存空间和用于保存音频信号的第二缓存空间。本发明的较佳的实施例中，上述缓存空间即为视频信号队列或者音频信号队列，用于暂时保存视频信号或者音频信号，以供客户端进行调用。

解码模块中包括有解码单元、第二转换单元以及系统时钟单元；解码单元分别连接第二转换单元和系统时钟单元。系统时钟单元用于产生参考时钟信息。本发明的较佳的实施例中，所谓参考时钟信息，即是指客户端的系统时钟信息，也就是系统在播放视频时的时间信息。解码单元将视频信号和音频信号解码，并在解码时按照上述视频信号和音频信号的相应视频时钟信息和音频时钟信息，给视频信号和音频信号分别加上视频解码时间信息和音频解码时间信息。上述视频解码时间信息和音频解码时间信息为解码单元根据编码信号中的时钟信息以及解码时的系统时钟，所给出的一个时间信息。

随后，解码单元根据系统时钟信息，与每个视频信号对应的视频解码时间信息和音频解码时间信息进行匹配。若某个视频信号的视频解码时间信息与系统时钟信息匹配，则解码单元将该视频信号从缓存模块中调出并送至第二转换单元以转换成相应的视频数据，以显示在客户端的显示屏上。

同样的，若某个音频信号的音频解码时间信息与系统时钟信息匹配，则解码单元将该音频信号从缓存模块中调出并送至第二转换单元以转换成相应的音频数据，以通过客户端的扩音设备进行播放。

上述对视频信号和音频信号的匹配、调取并转换的操作均同时进行。

本发明的较佳的实施例中，上述第二转换单元为D/A转换器。

于上述技术方案的基础上，上述基础结构的各组成部分之间的连接关系以及连接形式均只包括在本发明的一个较佳的实施例中，并非以此限制本发明的保护范围。本领域技术人员在本发明所公开内容的基础上对上述连接关系以及连接形式所做的任何修改，均包括在本发明的保护范围之内。

如图2所示，本发明的一个较佳的实施例中，采用上述基础结构进行的音频编码方法，总体包括：

步骤1，以预置的第一策略对客户端的发送端生成的视频数据和音频数据进行编码，并将经过编码的编码信号发送至服务器端；

步骤2，服务器端将编码信号发送至对应的客户端；

步骤3，客户端的接收端接收编码信号，并以预置的第二策略解码得到对应的视频数据和音频数据。

如图3所示，上述预置的第一策略具体包括：

步骤11，通过视频采集模块采集视频数据；通过音频采集模块采集音频数据；

步骤12，编码模块按照预置的编码方法对视频数据和音频数据进行编码压缩，以形成编码信号；

步骤13，编码模块将编码信号发送至服务器端。

如图4所示，上述预置的编码方法具体包括：

步骤121，第一转换单元将视频数据转换成相应的视频信号；第一转换单元将音频数据转换成相应的音频信号；

步骤122，编码单元将视频信号编码压缩成相应的视频流；编码单元将音频信号编码压缩成相应的音频流；

步骤123，时钟信息生成单元根据视频流的产生时间，在视频流上附加相应的视频时钟信息；时钟信息生成单元根据音频流的产生时间，在音频流上附加相应的音频时钟信息；

步骤124，编码模块将视频流和音频流整合成编码信号并发送至服务器端。

如图5所示，上述预置的第二策略具体包括：

步骤31，客户端的接收端接收自服务器端发送的编码信号；

步骤32，解码模块对视频流和音频流进行解码，并得到相应的视频信号和音频信号；

步骤33，解码模块将视频信号存入第一缓存空间中，将音频信号存入第二缓存空间中；

步骤34，解码模块以预置的调取方法从缓存空间中调取对应的视频信号和音频信号。

如图6所示，上述预置的调取方法具体包括：

步骤341，解码单元根据视频信号对应的视频时钟信息，获取一个相应的视频解码时间信息；解码单元根据音频信号对应的音频时钟信息，获取一个相应的音频解码时间信息；

步骤342a，解码单元将视频解码时间信息与参考时钟信息进行匹配；若匹配成功，则解码单元从缓存模块中调取相应的视频信号并送入第二转换单元中；

步骤342b，解码单元将音频解码时间信息与参考时钟信息进行匹配；若匹配成功，则解码单元从缓存模块中调取相应的音频信号并送入第二转换单元中；

步骤343，第二转换单元将视频信号转换成相应的视频数据并显示在客户端的显示屏上；第二转换单元将音频信号转换成相应的音频数据并通过客户端的扩音器播放。

其中，上述步骤342a和步骤342b同时进行。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (6)

1.一种音频编码方法，适用于视频通信系统中，其特征在于，所述视频通信系统包括一服务器端和与所述服务器端连接的多个客户端；每个所述客户端内设置有用于生成并发送编码信号至所述服务器端的发送端，和用于从所述服务器端接收所述编码信号的接收端；所述编码信号中包括视频流信号和音频流信号；

所述音频编码方法具体包括：

步骤1，以预置的第一策略对所述客户端的所述发送端生成的视频数据和音频数据进行编码，并将经过编码的所述编码信号发送至所述服务器端；

步骤2，所述服务器端将所述编码信号发送至对应的所述客户端；

步骤3，所述客户端的所述接收端接收所述编码信号，并以预置的第二策略解码得到对应的所述视频数据和所述音频数据。

2.如权利要求1所述的音频编码方法，其特征在于，在所述客户端的所述发送端内设置：

一视频采集模块；

一音频采集模块；

一编码模块；

所述预置的第一策略包括：

步骤11，通过所述视频采集模块采集所述视频数据；通过所述音频采集模块采集所述音频数据；

步骤12，所述编码模块按照预置的编码方法对所述视频数据和所述音频数据进行编码压缩，以形成所述编码信号；

步骤13，所述编码模块将所述编码信号发送至所述服务器端。

3.如权利要求2所述的音频编码方法，其特征在于，在所述编码模块内设置：

一第一转换单元；

一编码单元；

一时钟信息生成单元；

所述预置的编码方法包括：

步骤121，所述第一转换单元将所述视频数据转换成相应的视频信号；所述第一转换单元将所述音频数据转换成相应的音频信号；

步骤122，所述编码单元将所述视频信号编码压缩成相应的视频流；所述编码单元将所述音频信号编码压缩成相应的音频流；

步骤123，所述时钟信息生成单元根据所述视频流的产生时间，在所述视频流上附加相应的视频时钟信息；所述时钟信息生成单元根据所述音频流的产生时间，在所述音频流上附加相应的音频时钟信息；

步骤124，所述编码模块将所述视频流和所述音频流整合成所述编码信号并发送至所述服务器端。

4.如权利要求3所述的音频编码方法，其特征在于，在所述客户端的所述接收端设置有：

一解码模块；

一缓存模块，所述缓存模块中包括第一缓存空间和第二缓存空间；

所述预置的第二策略包括：

步骤31，所述客户端的所述接收端接收自所述服务器端发送的所述编码信号；

步骤32，所述解码模块对所述视频流和所述音频流进行解码，并得到相应的所述视频信号和所述音频信号；

步骤33，所述解码模块将所述视频信号存入所述第一缓存空间中，将所述音频信号存入所述第二缓存空间中；

步骤34，所述解码模块以预置的调取方法从所述缓存空间中调取对应的所述视频信号和所述音频信号。

5.如权利要求4所述的音频编码方法，其特征在于，所述解码模块内设置有：

一解码单元；

一第二转换单元；

一系统时钟单元；所述系统时钟单元用于产生参考时钟信息；

所述预置的调取方法包括：

步骤341，所述解码单元根据所述视频信号对应的所述视频时钟信息，获取一个相应的视频解码时间信息；所述解码单元根据所述音频信号对应的所述音频时钟信息，获取一个相应的音频解码时间信息；

步骤342a，所述解码单元将所述视频解码时间信息与所述参考时钟信息进行匹配；若匹配成功，则所述解码单元从所述缓存模块中调取相应的所述视频信号并送入所述第二转换单元中；

步骤342b，所述解码单元将所述音频解码时间信息与所述参考时钟信息进行匹配；若匹配成功，则所述解码单元从所述缓存模块中调取相应的所述音频信号并送入所述第二转换单元中；

步骤343，所述第二转换单元将所述视频信号转换成相应的所述视频数据并显示在所述客户端的显示屏上；所述第二转换单元将所述音频信号转换成相应的所述音频数据并通过所述客户端的扩音器播放。

6.如权利要求5所述的音频编码方法，其特征在于，所述步骤342a和所述步骤342b同时进行。

Images