CN101159864A - 一种基于Brew平台的音视频采集及无线传输系统 - Google Patents

Abstract

本发明涉及一种基于Brew平台的音视频采集及无线传输系统，其实现在BREW环境中实现采集并通过无线方式传输音频视频数据，并保证其流畅性和及时准确性，数据靠加密线路和协议传输，加强了组建系统的灵活性和扩充性，增加了系统的可靠性，具有较高的性价比。系统包括音视频采集模块，算法压缩模块和无线传输模块，将采集点由音视频采集模块采集的信息通过算法压缩模块编码成为可在Brew平台传输的无线信号，再通过无线传输模块发送到服务器端。

Description

一种基于Brew平台的音视频采集及无线传输系统

一、技术领域：

本发明涉及一种音视频采集及传输系统，尤其是涉及一种基于Brew平台的音视频采集及无线传输系统，其为一种使用Brew平台实现使用带有音视频采集功能的移动终端基于Brew平台的音视频采集及传输系统。

二、背景技术：

数字化音视频采集和传输已经成为我国乃至世界的重大发展趋势，现阶段的数字化音视频采集系统大部分还是依靠有线介质进行传播，由于有线介质的物理原因，使用范围被限制在一个特定的区域内，或者需要携带大量的辅助设备，是限制了社会数字化发展的重要因素。

现有的音视频采集无线传输系统是先将音视频采集编译成为音视频格式的文件，再通过移动终端的无线链路进行文件的上传，使得其音视频信息丧失了应有的即时性，并且由于为了便于传输文件往往采用的视频压缩格式比率比较大，影响了音视频信息的准确性。

Brew平台技术

BREW平台是一种为无线设备提供开放式标准平台的瘦应用程序执行环境，是无线应用程序开发、设备配置、应用程序发布以及计费和支付的完整端到端解决方案的一部分。完整的BREW解决方案包括面向开发者的BREW SDK(tm)(软件开发包)、面向设备制造商的BREW应用程序平台和移植工具以及由运营商控制和管理的BREW分发系统(BDS)。利用该系统，他们可以轻松地将开发者开发的应用程序投入市场并协调计费和支付过程。利用运营商基于BREW的服务，用户可以通过从运营商的应用程序下载服务器上无线下载应用程序来自定义手持设备。

BREW是一种独立于空中接口的技术，可以运行在诸多网络中。但目前来讲，由于CDMA2000 1X的技术在现有的技术标准中是在商业运行中最为稳定和成功，并经过多次验证。BREW在CDMA2000 1X网络中可以充分利用其高速的数据传输速率，为最终用户带来极具冲击力的用户体验。即：与芯片级电话功能的紧密集成，更高地展现声音和动画功能，用C/C++编写的应用程序，运行起来速度更快，BREW扩展技术支持用Java和Flash等制作的应用程序端对端的商业模式提供透明的计费和支付纪录，并可通达全球市场开发商，可以通过联通博路无线技术有限公司从高通和联通获得支持。

由于BREW平台是独立于空中接口的技术，所以BREW与任何网络的结合都非常平滑。同时，它又是一个端到端的解决方案，特别注重满足整个价值链的所有要求。BREW平台包括针对运营商的BREW分发系统，针对开发商的SDK(软件开发工具包)，针对终端厂商的移植工具包，和BREW计费系统。

三、发明内容：

本发明的目的在于提供一种基于Brew平台的音视频采集及传输系统，其实现在BREW环境中实现采集并通过无线方式传输音频视频数据，并保证其流畅性和及时准确性，数据靠加密线路和协议传输，加强了组建系统的灵活性和扩充性，增加了系统的可靠性，具有较高的性价比。

为实现上述目的，本发明采用的技术方案为：

一种基于Brew平台的音视频采集及无线传输系统，其特征在于：系统包括音视频采集模块，算法压缩模块和无线传输模块，算法压缩模块包括视频压缩算法、音频压缩算法和音视同步算法三部分，将采集点由音视频采集模块采集的信息通过算法压缩模块编码成为可在Brew平台传输的无线信号，再通过无线传输模块发送到服务器端，。

系统的工作流程为：

(1)初始化；

(2)音视频信息采集；

(3)使用音视频压缩编码算法进行编码；

(4)使用支持BREW的移动终端向服务器端请求发送数据；

(5)移动终端得到服务器许可并准备发送数据；

(6)使用支持BREW的移动终端向服务器传输数据；

(7)服务器端接收数据并进行服务器端重组建立媒体文件或转发。

采集点使用常规的监控视频头或者是带Brew编码芯片支持CDMA 1X的无线监控采集设备进行图像的采集和收取，对于常规的监控视频头所采集的图像，将传输至视频采集/编码服务器使用KMVC编码算法进行编码，并通过无线传输发送至服务器端。

KMVC编码器采用的是变换和预测的混合编码法，输入的帧或场Fⁿ以宏块为单位被编码器处理，首先，进入ICL进行已变化动态块的比较，然后按帧内或帧间预测编码的方法进行处理；如果采用帧内预测编码，其预测值PRED是由当前片中已编码的参考图像经运动补偿后得出的，其中参考图像用F′ⁿ-1表示；为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来已编码解码重建和滤波的帧中进行选择；预测值PRED和当前块相减后，产生一个残差块Dⁿ经VCL、重排序后产生一组量化后的变换系数X再经熵编码，与解码所需的一些边信息一起组成一个压缩后的码流，经网络自适应层供传输和存储用；为了提供进一步预测用的参考图像，编码器设计了重建图像的功能，因此使残差图像经反量化、反变换后得到的Dⁿ′与预测值P相加，得到未经滤波的帧；为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出F′ⁿ即为重建图像，可用作参考图像；

由编码器的NAL输出一个压缩后的压缩比特流，经熵解码得到量化后的一组变换系数X，再经区块整合、运动补偿、排序，得到残差Dn′；利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器包括ICL中的原始PRED是相同的，当该解码器产生的PRED与残差Dⁿ′相加后，就产生uF′，再经滤波后，最后就得到重建的F′，这个F′ⁿ就是最后的解码输出图像。

音视频同步的算法工作流程为：首先将音视频信息同步采集后，进行双线程的同步编码，在编码将要结束的最后阶段在音视频帧各打上相同的时间戳，在服务器端解码时按照该时间戳进行音视频帧的对应编码，并合成为一个媒体流或媒体文件。

音频压缩算法的流程是：在编码端，输入8KHz采样的16位线性PCM语音信号，以80个样值为单位进行编码，CS-ACELP编码器基于码激励线性预测模型参数，包括线性预测器滤波器参数、自适应码本和固定码本索引与增益，一帧信息的参数量为80bit，这些参数经编码后传输出去，解码端对接收到的编码参数进行解码，重新获得激励和合成滤波器参数并重建语音。

与现有技术相比，本发明具有的优点和效果如下：

1、本发明最大限度的了利用了现有的BREW移动终端的芯片功能，通过BREW芯片提供的开发接口(API)实现了随时、随地视频采集的目的；

2、通过在BREW平台上采用改进的KMVC帧内预测编码算法克服了在普通无线通信环境下的视频流畅传输的技术难题，实现了低码流下高品质的图像传输；

3、在BREW平台实时的数据传输，延时以毫秒为单位，大大提高了音视频信息的实时性。

四、附图说明：

图1为本发明KMVC编码器的流程图；

图2为本发明KMVC解码器的流程图；

图3为本发明音频编码原理图；

图4为本发明音视频同步原理图。

五、具体实施方式：

本发明将所有通过移动音视频采集设备采集的音视频信息编码成为可在Brew平台传输的无线信号，并可以在移动终端进行实时查看，系统包括支持音视频采集模块，算法压缩模块，无线传输模块。其工作流程为：

1、初始化；

2、音视频信息采集；

3、使用音视频压缩编码算法进行编码；

4、使用支持BREW的移动终端向服务器端请求发送数据；

5、移动终端得到服务器许可并准备发送数据；

6、使用支持BREW的移动终端向服务器传输数据；

7、服务器端接收数据并进行服务器端重组建立媒体文件或转发。

使用带Brew编码芯片支持CDMA 1X的无线移动采集设备或带有音视频采集功能的BREW手机和其他移动终端进行图像的采集和编码，并通过无线传输发送至服务器端。

模块说明：

1)音视频采集模块

音视频采集模块主要使用的是移动终端上所携带的麦克风、视频摄像头或配备的外置媒体采集功能模块。音频采集设备所收录的音频信息不能低于8bit/8000Hz，视频采集设备的分辨率不低于30万像素，以保证音视频信息采集后的质量。

2)算法压缩模块

算法压缩模块主要包括视频压缩算法、音频压缩算法和音视同步算法三部分：

1、视频压缩算法

在视频信号数字化过程中需要解决的一个问题是数据长度空间。由于未经压缩的视频信号占用的数据空间非常大，所以视频压缩是关键的一个环节。通过压缩减少图像所要求的数据量，节省数据空间，提高存取速度。视频压缩技术除了利用空间冗余、频谱冗余和心理视觉冗余对视频图像进行帧内压缩外，还利用相邻图像帧之间的相似性而产生的时间冗余对视频图像进行帧间压缩，进一步提高压缩效率。

现有的视频压缩算法主要包括：

Motion-JPEG压缩方式

Motion-JPEG通过帧内编码的过程单独地压缩每一帧，可使用户随机存取压缩视频的任意帧，也可以实现以很小的压缩比采集全尺寸的视频源。它的易编辑性及优于其他压缩方式的视频品质，使现在大多数视频非线性编辑产品均采用该压缩方式。

MPEG压缩方式

MPEG(运动图像专家组)压缩标准是专门用于处理运动视频的。除使用JPEG帧内编码外，还利用帧间编码消除各帧间冗余信息。MPEG的压缩包括三部分：MPEG视频压缩、MPEG音频压缩、MPEG系统压缩。

MPEG-1压缩算法以30帧/每秒、分辨率为350*240的标准图像格式(SIF)来处理NTSC视频信号；以25帧/秒、分辨率为352*288的SIF处理PAL制式视频信号。MPEG压缩算法的压缩比可达200∶1，其99％以上的数据要被丢掉。因此，MPEG压缩算法会导致图像细节的丢失而产生压缩失真，使压缩图像的质量有所下降。MPEG压缩图像的质量主要取决于视频输入图像的质量。因此要使MPEG图像的输出质量较好，应使用高质量的视频输入源。

综上所述，现有的压缩算法都是以牺牲画面质量为代价从而得到一个数据容量较小的一个流媒体文件。在本发明中这样的压缩算法画面质量是一个严重的问题，所以本发明将采用KMVC视频编码算法。

KMVC视频编码算法

KMVC视频编码算法(KingTone Mobile Video coder)是我公司参照国内AVS视频编码标准和MPEG-2视频编码标准的编码经验自主研发的在低传输速率下的视频低损压缩算法。其算法的特点为：

KMVC编码算法是采用DCT变换编码加DPCM的差分编码，即混合编码结构。同时，KMVC编码算法在混合编码的框架下引入了新的编码方式，提高了编码效率，更贴近实际应用。KMVC编码算法没有繁琐的选项，它具有比H.263++更好的压缩性能，又具有适应多种信道的能力。KMVC编码算法的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好的抗误码和抗丢包的处理能力。

具体流程：

KMVC编码器采用的是变换和预测的混合编码法。

在图1中，输入的帧或场Fⁿ以宏块为单位被编码器处理。首先，进入ICL进行已变化动态块的比较，然后按帧内或帧间预测编码的方法进行处理。

如果采用帧内预测编码，其预测值PRED(图中用P表示)是由当前片中已编码的参考图像经运动补偿(MC)后得出的，其中参考图像用F′ⁿ-1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来(指显示次序上)已编码解码重建和滤波的帧中进行选择。

预测值PRED和当前块相减后，产生一个残差块Dⁿ经VCL、重排序后产生一组量化后的变换系数X再经熵编码，与解码所需的一些边信息(如预测模式量化参数、运动矢量等)一起组成一个压缩后的码流，经NAL(网络自适应层)供传输和存储用。

为了提供进一步预测用的参考图像，编码器设计了重建图像的功能。因此使残差图像经反量化、反变换后得到的Dⁿ′与预测值P相加，得到uF′(未经滤波的帧)。为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出F′ⁿ即为重建图像，可用作参考图像。

由编码器的NAL输出一个压缩后的压缩比特流。在图2中，经熵解码得到量化后的一组变换系数X，再经区块整合、运动补偿、排序，得到残差Dn′。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器包括ICL中的原始PRED是相同的。当该解码器产生的PRED与残差Dⁿ′相加后，就产生uF′，再经滤波后，最后就得到重建的F′，这个F′ⁿ就是最后的解码输出图像。

2、音频压缩算法

语音信号的数字化传输，一直是通信的发展方向之一。采用低速率语音编码技术进行语音传输比语音信号模拟传输有诸多优点，现代通信的发展趋势决定了语首编码技术的两大突出优势：

·大大节省了带宽。从最初的PCM64k编码到现在标准语音压缩协议，如G.723编码速率为5.3K或6.3Kbps；G.729编码速率为8Kbps。还有未形成协议标准但更低的编码速率已有成熟的算法可以实现，如AMBE、CELP、RELP、VSELP、MELP、MP-MLQ、LPC-10等多种语音压缩算法，最低编码速率达到2.4kbps，有些算法已在包括第三代移动通信系统(3G)的多个领域得到应用。

·便于实现与IP融合。Internet的成功运用使得与IP的融合已成必然的发展趋势。分组语音即将分组交换的概念与语音传输相结合，使得语音信息更易于接入IP网。而分组语音的关键技术之一就是语音编码技术，低速率的语音编码技术对语音信息的实时性有更好的保证。采用分组语音传输的网络，其传输的语音信息本身就是分组数据包，这样的语音信息在接入Internet时将是非常的方便。

语音编码既可用软件也可用硬件的方法实现。软件实现就是将压缩算法用软件方法实现，这样做的好处是成本低、修改方便灵活，但处理速度较慢，不易保证处理的实时性。采用硬件实现就是将语音压缩算法固化到专用DSP芯片中，这样处理速度快，便于实时处理。

音频算法的流程是：

在编码端，输入8KHz采样的16位线性PCM语音信号，以80个样值为单位(10ms/帧)进行编码，CS-ACELP编码器基于码激励线性预测模型参数(包括线性预测器滤波器参数、自适应码本和固定码本索引与增益，一帧信息的参数量为80bit)，这些参数经编码后传输出去。解码端对接收到的编码参数进行解码，重新获得激励和合成滤波器参数并重建语音。如图3

3、音视同步算法

媒体内容在播放时，最令人头痛的就是音视频不同步。从技术上来说，解决音视频同步问题的最佳方案就是时间戳：首先选择一个参考时钟(要求参考时钟上的时间是线性递增的)；生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间)；在播放时，读取数据块上的时间戳，同时参考当前参考时钟上的时间来安排播放(如果数据块的开始时间大于当前参考时钟上的时间，则不急于播放该数据块，直到参考时钟达到数据块的开始时间；如果数据块的开始时间小于当前参考时钟上的时间，则“尽快”播放这块数据或者索性将这块数据“丢弃”，以使播放进度追上参考时钟)。

可见，避免音视频不同步现象有两个关键——一是在生成数据流时要打上正确的时间戳。如果数据块上打的时间戳本身就有问题，那么播放时再怎么调整也于事无补。视频流内容是从0s开始的，假设10s时有人开始说话，要求配上音频流，那么音频流的起始时间应该是10s，如果时间戳从0s或其它时间开始打，则这个混合的音视频流在时间同步上本身就出了问题。打时间戳时，视频流和音频流都是参考参考时钟的时间，而数据流之间不会发生参考关系；也就是说，视频流和音频流是通过一个中立的第三方(也就是参考时钟)来实现同步的。第二个关键的地方，就是在播放时基于时间戳对数据流的控制，也就是对数据块早到或晚到采取不同的处理方法。参考时钟时间在0-10s内播放视频流内容过程中，即使收到了音频流数据块也不能立即播放它，而必须等到参考时钟的时间达到10s之后才可以，否则就会引起音视频不同步问题。

所以本发明将采用音视频同步算法其关键就在于时间戳的应用。在本发明中可以发现音频编码和视频编码采用的是不同算法，甚至不为一个媒体压缩标准集。

本发明所要解决的音视频同步的算法工作流程为：

首先将音视频信息同步采集后，进行双线程的同步编码。在编码将要结束的最后阶段会在音视频帧各打上相同的时间戳，在服务器端解码时可以按照该时间戳进行音视频帧的对应编码，并合成为一个媒体流或媒体文件，如图4

3)无线传输模块

为了提高音视频采集系统的即时性和灵活性，本发明将采用公用无线通讯网络作为传输介质，可以使采集系统在有公用通讯网络信号覆盖的地区都可以使用，有传输速率快信号稳定的特点。

CDMA网络

CDMA是码分多址(Code-Division Multiple Access)技术的缩写，是近年来在数字移动通信进程中出现的一种先进的无线扩频通信技术，它能够满足市场对移动通信容量和品质的高要求，具有频谱利用率高、话音质量好、保密性强、掉话率低、电磁辐射小、容量大、覆覆盖广等特点，可以大量减少投资和降低运营成本。CDMA最早由美国高通公司推出，与GSM相同，CDMA也有2代、2.5代和3代技术。CDMA被认为是第3代移动通信技术的首选，目前的标准有WCDMA、CDMA2000、TD-SCDMA。

CDMA2000是TIA标准组织用于指代第三代CDMA的名称。适用于3G CDMA的TIA规范称为IS-2000，该技术本身被称为CDMA2000。

CDMA2000的第一阶段也称为1x，其使拥有现有IS-95系统的通信公司能将其整体系统容量增加一倍，并可将数据速率增加到高达614kbps。

比1x更高的CDMA2000技术进展包括1xEV(高速数据速率)。

即将开通的CDMA二期工程采用的就是这个版本，单载波最高上下行速率可以达到153.6kbit/s。Release A是Release 0的加强，单载波最高速率可以达到307.2kbit/s，并且支持话音业务和分组业务的并发。EV-DO采用单独的载波支持数据业务，可以在1.25MHz的标准载波中，同时提供话音和高速分组数据业务，最高速率可达3.1Mbit/s

综上所述，本发明中无线传输模块采用的是基于CDMA网络支持BREW平台的传输模式。有传输带宽高，兼容性强，误码率低，延时时间短等优点。提高了整个音视频采集系统的即时性和部署灵活性。

Claims (6)

1.一种基于Brew平台的音视频采集及无线传输系统，其特征在于：系统包括音视频采集模块，算法压缩模块和无线传输模块，算法压缩模块包括视频压缩算法、音频压缩算法和音视同步算法三部分，将采集点由音视频采集模块采集的信息通过算法压缩模块编码成为可在Brew平台传输的无线信号，再通过无线传输模块发送到服务器端，。

2.根据权利要求1所述的一种基于Brew平台的音视频采集及无线传输系统，其特征在于：采用包含Brew技术的终端实现如下的工作流程：

(1)初始化；

(2)音视频信息采集；

(3)使用音视频压缩编码算法进行编码；

(4)使用支持BREW的移动终端向服务器端请求发送数据；

(5)移动终端得到服务器许可并准备发送数据；

(6)使用支持BREW的移动终端向服务器传输数据；

(7)服务器端接收数据并进行服务器端重组建立媒体文件或转发。

3.根据权利要求1所述的一种基于Brew平台的音视频采集及无线传输系统，其特征在于：采集点使用常规的监控视频头或者是带Brew编码芯片支持CDMA1X的无线监控采集设备进行图像的采集和收取，对于常规的监控视频头所采集的图像，将传输至视频采集/编码服务器使用KMVC编码算法进行编码，并通过无线传输发送至服务器端。

4.根据权利要求1所述的一种基于Brew平台的音视频采集及无线传输系统，其特征在于：KMVC编码器采用的是变换和预测的混合编码法，输入的帧或场Fⁿ以宏块为单位被编码器处理，首先，进入ICL进行已变化动态块的比较，然后按帧内或帧间预测编码的方法进行处理；如果采用帧内预测编码，其预测值PRED是由当前片中已编码的参考图像经运动补偿后得出的，其中参考图像用F′ⁿ-1表示；为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来已编码解码重建和滤波的帧中进行选择；预测值PRED和当前块相减后，产生一个残差块Dⁿ经VCL、重排序后产生一组量化后的变换系数X再经熵编码，与解码所需的一些边信息一起组成一个压缩后的码流，经网络自适应层供传输和存储用；为了提供进一步预测用的参考图像，编码器设计了重建图像的功能，因此使残差图像经反量化、反变换后得到的Dⁿ′与预测值P相加，得到未经滤波的帧；为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出F′ⁿ即为重建图像，可用作参考图像；

由编码器的NAL输出一个压缩后的压缩比特流，经熵解码得到量化后的一组变换系数X，再经区块整合、运动补偿、排序，得到残差Dn′；利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器包括ICL中的原始PRED是相同的，当该解码器产生的PRED与残差Dⁿ′相加后，就产生uF′，再经滤波后，最后就得到重建的F′，这个F′ⁿ就是最后的解码输出图像。

5.根据权利要求1所述的一种基于Brew平台的音视频采集及无线传输系统，其特征在于：音视频同步的算法工作流程为：首先将音视频信息同步采集后，进行双线程的同步编码，在编码将要结束的最后阶段在音视频帧各打上相同的时间戳，在服务器端解码时按照该时间戳进行音视频帧的对应编码，并合成为一个媒体流或媒体文件。

6.根据权利要求1所述的一种基于Brew平台的音视频采集及无线传输系统，其特征在于：音频压缩算法的流程是：在编码端，输入8KHz采样的16位线性PCM语音信号，以80个样值为单位进行编码，CS-ACELP编码器基于码激励线性预测模型参数，包括线性预测器滤波器参数、自适应码本和固定码本索引与增益，一帧信息的参数量为80bit，这些参数经编码后传输出去，解码端对接收到的编码参数进行解码，重新获得激励和合成滤波器参数并重建语音。