CN103268763B - 一种基于同步音频提取和实时传输的无线影音系统 - Google Patents

Abstract

本发明公开了一种基于同步音频提取和实时传输的无线影音系统，具体来说，无线影音系统包括客户端和服务端，两者通过Wi-Fi无线网络实现互连，客户端在播放视频画面时同步提取视频音轨解码后的音频PCM数据并将其转换成服务端支持的格式，通过Wi-Fi无线网络实时地将音频PCM数据发送到服务端；服务端对接收到的音频PCM数据进行实时的音效处理和播放，并同步地通过麦克风来录制用户演唱的音频数据，经过音效处理的播放音频和同步录制的音频经过DSP混音后，由服务端进行读取并通过Wi-Fi网络实时地回传给客户端，并由客户端来进行后续的音频编码和音视频文件合并处理。

Description

一种基于同步音频提取和实时传输的无线影音系统

技术领域

本发明涉及一种无线影音系统，更具体地，涉及一种基于同步音频提取和实时传输的无线影音系统。

背景技术

随着计算机技术、嵌入式技术以及网络通信等关键技术的飞速发展，移动终端已经成为人们生活中的必需品，各行各路应用软件开发者纷纷地打造出了自己的移动应用客户端，在多媒体影音娱乐方面也不例外。多媒体影音娱乐是人们在紧张的学习和工作之余放松心情、娱乐身心的主要方式之一，在移动互联网时代，人们对于移动智能终端的多媒体影音娱乐功能也有了更多的期待和更高的要求。

在中国多媒体影音娱乐市场，“卡拉OK”是最受大众欢迎的娱乐休闲方式之一。参与者事先将由歌曲原唱音轨、伴唱音轨、歌词以及伴奏视频画面等信息组成的音视频媒质（例如MKV格式的视频文件）保存到某种存储介质上，然后通过相应的播放设备将该媒质播放到显示设备上，然后参与者就可以一边看着歌词和伴奏视频画面，一边拿着麦克风在音乐的伴奏下演唱自己的歌曲。这种独特的影音娱乐方式在生活节奏越来越快的现代人群中非常的受欢迎。虽然“卡拉OK”如此的流行，但是传统的“卡拉OK”娱乐方式却有着诸多的弊端：设备昂贵；设备体积过大，不方便移动；演唱距离受到显示设备的限制。如何实现一种相对廉价、便利、高音质而且又有个性化功能的无线影音系统成为许多歌唱爱好者迫切的需求。

发明内容

本发明为克服上述现有技术所述的多媒体影音娱乐的不足，提出一种基于同步音频提取和实时传输的无线影音系统。该无线影音系统可摆脱传统“卡拉OK”的有线连接的不便、演唱距离的束缚、音质和个性化体验不足的局限。

为解决上述技术问题，本发明的技术方案如下：

一种基于同步音频提取和实时传输的无线影音系统，无线影音系统包括客户端和服务端，所述客户端和服务端通过Wi-Fi无线网络连接，

所述客户端在播放视频画面时同步提取视频音轨解码后的音频PCM数据并将其转换成服务端支持的格式，通过Wi-Fi无线网络实时地将音频PCM数据发送到服务端；

服务端对接收到的音频PCM数据进行实时的音效处理和播放，并同步地通过麦克风来录制用户演唱的音频数据，经过音效处理的播放音频和同步录制的音频经过DSP混音后，由服务端进行读取并通过Wi-Fi网络实时地回传给客户端，并由客户端来进行后续的音频编码和音视频文件合并处理。

客户端对媒体文件中的音视频轨进行解码以及后处理，并将同步提取到的PCM音频数据通过Wi-Fi网络实时地发送到服务端；服务端通过Wi-Fi网络实时地接收客户端传送过来的音频数据，并对其进行音效的处理和播放；而且在音频处理和播放的同时，服务端可以通过演唱输入设备进行用户演唱声音的同步录制，录制到的音频数据和正在播放的音频数据由DSP音频处理模块进行混音，混音后的数据由服务程序读取并通过Wi-Fi网络实时地回传到客户端；客户端接收到服务端回传来的音频数据后，将此音频数据进行编码，然后和用户指定的视频文件进行合并，从而生成一个由用户主唱的MV视频文件。

更进一步的，所述客户端包括解复用模块、音频解码模块、视频解码模块、音频滤波模块、视频滤波模块、同步信号提取模块和音频信号发送模块；

所述解复用模块用于对媒体文件中的媒体源进行音视频轨分离；

所述音频解码模块用于对音频进行解码；

所述视频解码模块用于对视频进行解码；

所述音频滤波模块用于将解码后的音频格式转换为服务端支持的格式；

所述视频滤波模块用于将解码后的视频格式转换为服务端支持的格式；

所述同步信号提取模块用于提取同步音频信号；

所述音频信号发送模块用于将同步音频信号发送；

所述服务端包括音频接收模块、音频处理模块、同步录音模块和混音模块；

所述音频接收模块用于接收客户端发送过来的音频数据；

所述音频处理模块用于对所接收的音频数据进行音效处理和播放；

所述同步录音模块用于同步录制用户演唱的音频数据；

所述混音模块用于将播放的音频数据和同步录制的音频数据进行音效混合。

更进一步的，所述客户端为运行在移动终端上的影音播放器，所述移动终端为智能手机或者平板电脑。

服务端包括：由ARM+DSP组成的双核多媒体处理器平台、Wi-Fi模块、硬件电路、以及音乐输入输出、调节旋钮等外围设备。音频处理、同步录音和混音由DSP实际负责处理，提供丰富的音效效果，并且能够进行高音质的音频播放、录制和混音处理。ARM模块通过对网络通信、数据管理以及外围控制设备的协调管理，最终实现对DSP音频处理模块的实时控制。

与现有技术相比，本发明技术方案的有益效果是：本发明开发了一套专业的家庭无线影音娱乐系统，通过配置可应用到家庭无线网络当中，摆脱了传统的“卡拉OK”的有线连接的不便、演唱距离的束缚、音质和个性化体验不足的局限，实现了高音质的无线音频播放，并可进行丰富的音效控制，同步地进行用户演唱声音的录制以及音频数据的实时传输，并具备音频编码和音视频文件合并等功能来实现自定义MV文件的制作，为用户提供了一种移动互联网时代的新颖影音播放体验。

附图说明

图1为本发明的影音系统整体框架示意图。

图2为本发明的影音系统输出音频格式转换和同步提取示意图。

图3为本发明的网络服务程序业务流程示意图。

图4为本发明客户端网络处理模块的业务流程示意图。

图5为本发明OMAP-L138服务端的整体架构示意图。

图6为本发明的结构示意图。

具体实施方式

下面结合附图和实施例对本发明的技术方案做进一步的说明。

本发明是一种基于同步音频提取和实时传输的无线影音系统，如图6所示，系统包括客户端和服务端，其中客户端即为移动终端，服务端为基于ARM+DSP双处理核心的OMAP-L138平台。移动终端对视频文件进行音视频解码并同步提取视频音轨解码后的PCM音频数据，转换成服务端支持的格式（48000Hz采样率、双通道立体声和有符号32位））后通过Wi-Fi网络传输至OMAP-L138平台，OMAP-L138平台接收到PCM音频数据进行音效的处理后传输到音箱同步播放，同时，音效处理后的音频数据和通过麦克风录入的人声数据混音后的PCM数据也同步通过Wi-Fi网络传回移动终端。

图1展示了本发明的影音系统的整体框架图。

整个系统采用C/S（客户端/服务端）的架构设计，客户端的播放器基于移动终端平台，服务端的后台服务程序基于ARM+DSP双核心的OMAP-L138平台。客户端的影音播放软件主要包括前台交互、网络交互、音视频处理以及音效控制等核心子系统。服务端则主要包括网络交互、音效处理、音频播放和录制等核心子系统。移动终端的客户端和OMAP-L138的服务端基于Wi-Fi无线网络和自定义的一套网络协议来通信，双方需要交互音频数据、控制命令和响应、网络监控包以及音效参数等数据。

影音播放软件是基于Android或IOS等操作系统平台来开发，具有MV（MusicVideo）视频分类和管理、视频解码播放、音频数据同步提取与转换、音频数据实时发送和接收、无线播放控制、音频数据编码、音视频文件合并以及音效控制等主要功能。

图2展示了本发明输出音频格式转换和同步提取的示意图。

整个系统中的影音播放客户端需要在视频画面播放的同时，将视频音轨解码后音频PCM数据转换成服务端支持的格式，同步地提取转换后的输出音频并实时地发送到服务端，由服务端来进行音效处理、音频播放、录音和混音等后续操作。客户端处理视频源的主要流程为：获取视频源-->识别、分离音视频轨-->分别用相应的解码器对音视频轨进行解码-->对解码后的数据进行处理-->同步显示解码后的音视频数据。本系统主要是在audiofilter环节进行PCM音频格式的转换，同步的提取和处理主要是由本系统实现的l138_play音频输出模块来进行，该模块将基于本系统自定义的网络通信协议与服务端进行数据的实时交互。

图3展示了本影音系统的客户端网络处理模块的业务流程示意图。

在客户端与服务端的命令传输连接建立并成功登录后，视频播放客户端便可以工作在“Wi-Fi播放”和“Wi-Fi播放/录音”两种网络工作模式下。后面一种工作模式是本系统典型的一种工作模式：客户端的网络模块在同步地提取到视频音轨解码并经过转换的音频数据后实时地通过Wi-Fi发送到服务端，服务端实时地接受音频数据、进行音效的处理和播放，同时又进行音频的录制、混音和回传。

在播放业务开始前要对底层网络模块和服务端进行初始化，主要的工作如下：设置网络播放的模式和音频输出的格式、音频PCM数据输出模块的初始化以及服务端“准备”命令的发送等，不同的网络播放模式下，客户端和服务端启动的模块、工作线程以及控制的方式都会有所不同。以“Wi-Fi播放/录音”这种典型的播放模式为例，客户端网络交互模块会启动一个音频数据的接收线程，该线程与音频发送线程是同步工作的，音频暂停发送的时候，该线程也会暂停音频数据的接收，并一直阻塞等待直到恢复或者退出信号的到来。用户在前台的控制操作除了需要客户端的网络模块进行响应和处理之外，也需要通过Send_cmd()方法将控制的请求和相关参数发送到服务端，使服务端也作出相应的响应和处理，如“暂停”、“恢复”和“退出”等操作请求。

图4展示了本发明的网络服务程序的业务流程示意图。

服务端程序主要是基于命令驱动的工作机制来实现，这些网络命令消息属于本系统自定义网络通信协议的一部分。在该机制下，服务程序所有后续需要开展的业务都是通过客户端发送来的命令消息进行驱动和控制，如登录验证、启动播放前的资源分配和初始化、播放启动和暂停等业务。其最先处理的命令是CMD_LOGIN，在客户端成功地通过验证并登录后，服务端将通过相应的状态变量标识“已登录”。客户端只有在成功登录的情况下，其后续发送的命令消息才能得到有效的响应和处理。CMD_PREPARE命令用于进行一些播放业务启动前的初始化工作，如初始化用于控制音频数据收发的一些信号量成员、根据播放模式启动相应的业务处理模块等，音频数据录制和回传等处理模块只有在“WIFI_PLAY_RECD”播放模式下才会启动。在音频数据接收和播放等业务模块进行作业处理时，客户端可以通过相应的控制命令对其工作流程进行控制，如用于暂停业务处理的CMD_PAUSE命令和用于退出业务处理的CMD_RELEASE命令等。

图5所示的为本无线影音系统的服务端整体框架示意图。

整个服务端系统是一个软硬件结合的平台，硬件平台以OMAP-L138（ARM+DSP）双核处理器作为核心，配以串口、Wi-Fi、以太网口、音频输入和输出接口、JTAG等外围设备；软件平台则主要由系统软件和上层的应用软件组成，其中系统软件层以linux2.6.37内核作为核心，采用uboot进行引导加载，上层的文件系统采用的是ubifs。除此之外，linux内核层还包括很多关键的用于驱动底层硬件工作的驱动模块，如Wi-Fi无线驱动、UART串口驱动、DSP音频处理的驱动等。上层的软件层主要由两个核心的应用组成：与影音播放客户端进行交互的服务程序和基于DSP实现的音效处理程序。其主要完成以下业务：从客户端接收命令请求、处理和响应；实时地接收从客户端发送来的音频PCM数据，并同步地移送到DSP进行音效的处理和播放；在音频处理、播放的同时，通过麦克风进行音频的同步录制，录制到的音频数据和正在播放的音频数据将由DSP进行实时的混音，混音后的音频数据由服务端回传给客户端以进行后续的进一步处理，如音频编码、音视频文件合并等操作。

本发明提出的基于同步音频提取和实时传输的无线影音系统，已在Android/IOS平台上获得了实现。本发明并不局限于上述的实施方式，在系统搭建、实施的过程中可能在结构上存在局部的微小的变动，如果对本发明的各种改动或变型不脱离本发明的精神和范围，且属于本发明的权利要求和等同技术范围之内，则本发明也意图包含这些改动和变型。

Claims (3)

1.一种基于同步音频提取和实时传输的无线影音系统，无线影音系统包括客户端和服务端，其特征在于，所述客户端和服务端通过Wi-Fi无线网络连接，

所述客户端在播放视频画面时同步提取视频音轨解码后的音频PCM数据并将其转换成服务端支持的格式，通过Wi-Fi无线网络实时地将音频PCM数据发送到服务端；

服务端对接收到的音频PCM数据进行实时的音效处理和播放，并同步地通过麦克风来录制用户演唱的音频数据，经过音效处理的播放音频和同步录制的音频经过DSP混音后，由服务端进行读取并通过Wi-Fi网络实时地回传给客户端，并由客户端来进行后续的音频编码和音视频文件合并处理；

客户端对媒体文件中的音视频轨进行解码以及后处理，并将同步提取到的PCM音频数据通过Wi-Fi网络实时地发送到服务端；服务端通过Wi-Fi网络实时地接收客户端传送过来的音频数据，并对其进行音效的处理和播放；而且在音频处理和播放的同时，服务端通过演唱输入设备进行用户演唱声音的同步录制，录制到的音频数据和正在播放的音频数据由DSP音频处理模块进行混音，混音后的数据由服务端读取并通过Wi-Fi网络实时地回传到客户端；客户端接收到服务端回传来的音频数据后，将此音频数据进行编码，然后和用户指定的视频文件进行合并，从而生成一个由用户主唱的MV视频文件。

2.根据权利要求1所述的基于同步音频提取和实时传输的无线影音系统，其特征在于，所述客户端包括解复用模块、音频解码模块、视频解码模块、音频滤波模块、视频滤波模块、同步信号提取模块和音频信号发送模块；

所述解复用模块用于对媒体文件中的媒体源进行音视频轨分离；

所述音频解码模块用于对音频进行解码；

所述视频解码模块用于对视频进行解码；

所述音频滤波模块用于将解码后的音频格式转换为服务端支持的格式；

所述视频滤波模块用于将解码后的视频格式转换为服务端支持的格式；

所述同步信号提取模块用于提取同步音频信号；

所述音频信号发送模块用于将同步音频信号发送；

所述服务端包括音频接收模块、音频处理模块、同步录音模块和混音模块；

所述音频接收模块用于接收客户端发送过来的音频数据；

所述音频处理模块用于对所接收的音频数据进行音效处理和播放；

所述同步录音模块用于同步录制用户演唱的音频数据；

所述混音模块用于将播放的音频数据和同步录制的音频数据进行音效混合。

3.根据权利要求2所述的基于同步音频提取和实时传输的无线影音系统，其特征在于，所述客户端为运行在移动终端上的影音播放器，所述移动终端为智能手机或者平板电脑。