CN101094410A - 一种基于Brew平台的无线视频传输系统 - Google Patents

Abstract

本发明涉及一种基于Brew平台的无线视频传输系统，其整个系统由若干个无线监控点通过移动通讯线路连接而成，监控部分模块化、移动化，数据靠加密线路和协议传输，系统加强了组建系统的灵活性和扩充性，增加了系统的可靠性，具有较高的性价比。本发明系统由若干个无线监控点通过移动通讯线路连接而成，将所有监控点由视频采集器采集的信息通过编码服务器编码成为可在Brew平台传输的无线信号，再通过监控信号转发服务器发送到移动终端。

Description

一种基于Brew平台的无线视频传输系统

一、技术领域：

本发明涉及一种视频传输系统，尤其是涉及一种能使用Brew平台实现监控点到移动终端的基于Brew平台的无线视频传输系统。

二、背景技术：

视频监控系统是无线网络技术应用最多的领域之一。监控系统主要用于对重要区域或远程地点的监视和控制，视频监控技术在电力系统、电信机房、工厂、城市交通、水利系统、小区治安等领域正得到越来越广泛的应用。视频监控系统将被监控点实时采集的视频文件及时地传输给监控中心，实时动态地报告被监测点的情况，及时发现问题并进行处理。

由于现有的无线视频监控系统只能实现监控点到监控中心(point toCenter)的集中式值守监控，该模式的监控系统监控点固定，监控中心庞大，对于事故(灾情)图像上报不及时等，缺点严重的影响了有关部门对灾害/事故的监控、处理、善后的一系列工作。

(一)Brew平台技术

BREW平台是一种为无线设备提供开放式标准平台的瘦应用程序执行环境，是无线应用程序开发、设备配置、应用程序发布以及计费和支付的完整端到端解决方案的一部分。完整的BREW解决方案包括面向开发者的BREW SDK(tm)(软件开发包)、面向设备制造商的BREW应用程序平台和移植工具以及由运营商控制和管理的BREW分发系统(BDS)。利用该系统，他们可以轻松地将开发者开发的应用程序投入市场并协调计费和支付过程。利用运营商基于BREW的服务，用户可以通过从运营商的应用程序下载服务器上无线下载应用程序来自定义手持设备。

BREW是一种独立于空中接口的技术，可以运行在诸多网络中。但目前来讲，由于CDMA2000 1X的技术在现有的技术标准中是在商业运行中最为稳定和成功，并经过多次验证。BREW在CDMA2000 1X网络中可以充分利用其高速的数据传输速率，为最终用户带来极具冲击力的用户体验。即：与芯片级电话功能的紧密集成，更高地展现声音和动画功能，用C/C++编写的应用程序，运行起来速度更快，BREW扩展技术支持用Java和Flash等制作的应用程序端对端的商业模式提供透明的计费和支付纪录，并可通达全球市场开发商，可以通过联通博路无线技术有限公司从高通和联通获得支持。

由于BREW平台是独立于空中接口的技术，所以BREW与任何网络的结合都非常平滑。同时，它又是一个端到端的解决方案，特别注重满足整个价值链的所有要求。BREW平台包括针对运营商的BREW分发系统，针对开发商的SDK(软件开发工具包)，针对终端厂商的移植工具包，和BREW计费系统。

(二)KMVC视频编码算法

KMVC视频编码算法(KingTone Mobile Video coder)是我公司参照国内AVS视频编码标准和MPEG-2视频编码标准的编码经验自主研发的在低传输速率下的视频低损压缩算法。

MPEG-2视频编码标准(又称为ITU-T H.262[2])已有10年的历史了，由MPEG-1扩充而来，支持隔行扫描。使用十分广泛，几乎用于所有的数字电视系统，适合标清和高清电视，适合各种媒体传输，包括卫星、有线、地面等，都能有效地传输。然而，类似xDSL、UMTS(通用移动系统)技术只能提供较小的传输速率，甚至DVB-T，也没有足够的频段可用，提供的节目很有限，随着高清电视的引入，迫切需要高压缩比技术的出现。

AVS视频标准(GB/T 20090.2)是基于我国自主创新技术和国际公开技术所构建的标准，主要面向高清晰度和高质量数字电视广播、网络电视、数字存储媒体和其他相关应用，具有以下特点：

(1)性能高，编码效率是MPEG-2的2倍以上，与H.264的编码效率处于同一水平；

(2)复杂度低，算法复杂度比H.264明显低，软硬件实现成本都低于H.264；

(3)我国掌握主要知识产权，专利授权模式简单，费用低。

KMVC编码算法的基本原理是：利用时间统计的相关性，开发帧间预测算法；利用画面局部与起始帧对比，压缩并减少传输帧的大小，采用局部变化生成方式，实现在恶劣的网络和终端环境中的应用。

KMVC编码算法由视频编码层(Video Coding Layer，VCL)、网络提取层(Network Abstraction Layer，NAL)、图像比较层(Image Comparison Layer，ICL)三部分组成。VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。ICL主要功能是将不同帧的图像进行比较，区分不同的帧区块传入VCL进行编码。包括图像分割、区块比较、区块选择等单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧。类型标志用于指示图像数据的类型。VCL可以传输按当前的网络情况调整的编码参数。

KMVC编码算法的特点

KMVC编码算法是采用DCT变换编码加DPCM的差分编码，即混合编码结构。同时，KMVC编码算法在混合编码的框架下引入了新的编码方式，提高了编码效率，更贴近实际应用。KMVC编码算法没有繁琐的选项，它具有比H.263++更好的压缩性能，又具有适应多种信道的能力。KMVC编码算法的应用目标广泛，可满足各种不同速率、不同场合的视频应用，具有较好的抗误码和抗丢包的处理能力。KMVC编码算法编码基本结构在很多环节做了改进，现列举如下：

1、先进的ICL

KMVC编码算法中率先采用了ICL单元，对于画面中长时间静止的区块实现一次传输多次使用。并且将每帧图像进行分割处理，对画面中改变的区块进行编码传输，降低了编码传输量，实现画面的低损耗压缩。

2、多种更好的运动估计：

一是高精度估计

在KMVC编码算法中则进一步采用1/4像素甚至1/8像素的运动估计。即真正的运动矢量的位移可能是以1/4甚至1/8像素为基本单位的。显然，运动矢量位移的精度越高，则帧间剩余误差越小，传输码率越低，即压缩比越高。在KMVC编码算法中采用了6阶FIR滤波器的内插获得1/2像素位置的值。当1/2像素值获得后，1/4像素值可通过线性内插获得，对于4:1:1的视频格式，亮度信号的1/4像素精度对应于色度部分的1/8像素的运动矢量，因此需要对色度信号进行1/8像素的内插运算。理论上，如果将运动补偿的精度增加一倍(例如从整像素精度提高到1/2像素精度)，可有0.3bit/Sample的编码增益，但实际验证发现在运动矢量精度超过1/8像素后，系统基本上就没有明显增益了，因此，在KMVC编码算法中，只采用了1/4像素精度的运动矢量模式，而不是采用1/8像素的精度。

二是多宏块划分模式估计

在KMVC编码算法的预测模式中，一个宏块(MB)可划分成7种不同模式的尺寸，这种多模式的灵活、细微的宏块划分，更切合图像中的实际运动物体的形状，于是，在每个宏块中可包含有1、2、4、8或16个运动矢量。

三是多参数帧估计

在KMVC编码算法中，可采用多个参数帧的运动估计，即在编码器的缓存中存有多个刚刚编码好的参数帧，编码器从其中选择一个给出更好的编码效果的作为参数帧，并指出是一帧被用于预测，这样就可获得比只用上一个刚编码好的帧作为预测帧的更好的编码效果。

3、更精确的帧内预测

在KMVC编码算法中，每个4×4块中的每个像素都可用17个最接近先前已编码的像素的不同加权和来进行帧内预测。

4、统一的VLC

KMVC编码算法中关于熵编码有两种方法。

统一的VLC(即UVLC：Universal VLC)。UVLC使用一个相同的码表进行编码，而解码器很容易识别码字的前缀，UVLC在发生比特错误时能快速获得重同步。

容自适应二进制算术编码：

(CABAC：Context Adaptive Binary Arithmetic Coding)

其编码性能比UVLC稍好，但复杂度较高。

三、发明内容：

本发明的目的在于提供一种基于Brew平台的无线视频传输系统，其整个系统由若干个无线监控点通过移动通讯线路连接而成，监控部分模块化、移动化，数据靠加密线路和协议传输，系统加强了组建系统的灵活性和扩充性，增加了系统的可靠性，具有较高的性价比。

为实现上述目的，本发明采用的技术方案为：

一种基于Brew平台的无线视频传输系统，其特征在于：系统由若干个无线监控点通过移动通讯线路连接而成，将所有监控点由视频采集器采集的信息通过编码服务器编码成为可在Brew平台传输的无线信号，再通过监控信号转发服务器发送到移动终端，系统的工作流程为：

(1)初始化；

(2)视频图像采集；

(3)使用KMVC编码算法进行编码；

(4)转发：通过无线方式传输；

(5)支持Brew的移动终端请求服务器数据；

(6)对数据进行缓冲处理；

(7)使用KMVC编码算法协议进行解码；

(8)YUV格式的图像输出播放；

(9)请求下一帧图像数据重复步骤(5)到(8)。

监控点使用常规的监控视频头或者是带Brew编码芯片支持CDMA 1X的无线监控采集设备进行图像的采集和收取，对于常规的监控视频头所采集的图像，将传输至视频采集/编码服务器使用KMVC编码算法协议进行编码。

使用KMVC编码算法协议进行编码的过程为：输入的帧或场Fⁿ以宏块为单位被编码器处理，首先，进入ICL进行已变化动态块的比较，然后按帧内或帧间预测编码的方法进行处理，如果采用帧内预测编码，其预测值PRED是由当前片中已编码的参考图像经运动补偿后得出的，其中参考图像用F′^n-1表示，为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来，已编码解码重建和滤波的帧中进行选择，预测值PRED和当前块相减后，产生一个残差块Dⁿ经VCL、重排序后产生一组量化后的变换系数X再经熵编码，与解码所需的一些边信息一起组成一个压缩后的码流，经网络自适应层供传输和存储用，为了提供进一步预测用的参考图像，编码器设置了重建图像的功能，使残差图像经反量化、反变换后得到的Dⁿ′与预测值P相加，得到未经滤波的帧uF′；设置了一个环路滤波器，滤波后的输出F′ⁿ即为重建图像，可用作参考图像。

使用KMVC编码算法协议进行解码的过程为：由编码器的NAL输出一个压缩后的压缩比特流，经熵解码得到量化后的一组变换系数X，再经区块整合、运动补偿、排序，得到残差Dn′，利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器包括ICL中的原始PRED是相同的，当该解码器产生的PRED与残差Dⁿ′相加后，就产生uF′，再经滤波后，最后就得到重建的F′，F′ⁿ为最后的解码输出图像。

与现有技术相比，本发明具有的优点和效果如下：

1)、本发明最大限度的了利用了现有的BREW手机终端的芯片功能，通过BREW芯片提供的开发接口(API)实现了随时、随地视频监控的目的；

2)、通过在BREW平台上采用改进的KMVC帧内预测编码算法克服了在普通无线通信环境下的视频流畅传输的技术难题，实现了低码流下高品质的图像传输；

3)、通过独特的帧间时间戳技术克服了无线网络不稳定易中断的缺点，加强对误码和丢包的处理，实现了自适应网络状况的视频流传输，解决了网络中断带来的图像传输中断问题；

4)、在BREW平台上采用1/4采样精度的运动补偿技术和帧间运动预测技术在较窄带宽下的实现了较高质量的图像压缩与传输。

四、附图说明：

图1为KMVC编码算法编码器的组成示意图；

图2为KMVC编码算法解码器的组成示意图；

五、具体实施方式：

本发明将所有监控点的信息编码成为可在Brew平台传输的无线信号，并可以在移动终端进行实时监控，系统包括支持视频采集/编码服务器，监控信号转发服务器，移动终端，其工作流程为：

(1)初始化；

(2)视频图像采集；

(3)使用KMVC编码算法协议进行编码；

(4)转发：通过无线方式(CDMA 1X)传输；

(5)支持Brew的移动终端请求服务器数据；

(6)对数据进行缓冲处理；

(7)使用KMVC编码算法协议进行解码；

(8)YUV格式的图像输出播放

(9)请求下一帧图像数据重复步骤5到8；

采集点可以使用常规的监控视频头或者是带Brew编码芯片支持CDMA 1X的无线监控采集设备进行图像的采集和收取，对于常规的监控视频头所采集的图像，将传输至视频采集/编码服务器使用KMVC编码算法协议进行编码.

KMVC编码算法编码器的组成如图1所示，KMVC编码算法解码器的组成如图2所示。KMVC编码器采用的是变换和预测的混合编码法。

在图1中，输入的帧或场Fⁿ以宏块为单位被编码器处理。首先，进入ICL进行已变化动态块的比较，然后按帧内或帧间预测编码的方法进行处理。

如果采用帧内预测编码，其预测值PRED(图中用P表示)是由当前片中已编码的参考图像经运动补偿(MC)后得出的，其中参考图像用F′ⁿ-1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来(指显示次序上)已编码解码重建和滤波的帧中进行选择。

预测值PRED和当前块相减后，产生一个残差块Dⁿ经VCL、重排序后产生一组量化后的变换系数X再经熵编码，与解码所需的一些边信息(如预测模式量化参数、运动矢量等)一起组成一个压缩后的码流，经NAL(网络自适应层)供传输和存储用。

为了提供进一步预测用的参考图像，编码器设计了重建图像的功能。因此使残差图像经反量化、反变换后得到的Dⁿ′与预测值P相加，得到uF′(未经滤波的帧)。为了去除编码解码环路中产生的噪声，提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出F′ⁿ即为重建图像，可用作参考图像。

在图2中，由编码器的NAL输出一个压缩后的压缩比特流。在图2中，经熵解码得到量化后的一组变换系数X，再经区块整合、运动补偿、排序，得到残差Dn′。利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器包括ICL中的原始PRED是相同的。当该解码器产生的PRED与残差Dⁿ′相加后，就产生uF′，再经滤波后，最后就得到重建的F′，这个F′ⁿ就是最后的解码输出图像。

一、KMVC编码算法主要特性

1.KMVC编码算法C相对以前的编码方法，以MPEG-2为例，在图像内容预测方面提高编码效率，改善图像质量的主要特点如下：

●动态与静态区块划分：KMVC编码算法将不同帧图像中的静态与动态图像进行自适应区块的划分，选择产生主要变化的区块，进行编码压缩，降低了压缩编码的工作量，提高编码效率。

●可变块大小运动补偿：选择运动补偿大小和形状比以前的标准更灵活，最小的亮度运动补偿块可以小到4×4。

●1/4采样精度运动补偿：以前的标准最多1/2精度运动补偿，首次1/4采样精度运动补偿出现在MPEG-4第二部分高级类部分，但KMVC编码算法大大减少了内插处理的复杂度。

●运动矢量可跨越图像边界：在以前的标准中，运动矢量限制在已编码参考图像的内部。

●多参考图像运动补偿：在MPEG-2及以前的标准中，P帧只使用一帧，B帧只使用两帧图像进行预测。KMVC编码算法使用高级图像选择技术，可以用以前已编码过且保留在缓冲区的大量的图像进行预测，大大提高了编码效率。

●加权预测：KMVC编码算法采用新技术，允许加权运动补偿预测和偏移一定量。在淡入淡出场景中该技术极大提高编码效率，该技术还可用于其他多种用途。

●改善“跳过”和“直接”运动推测：在以前的标准中，预测编码图像的“跳过”区不能有运动。当编码有全局运动的图像时，该限制非常有害。KMVC编码算法对“跳过”区的运动采用推测方法。对双预测的B帧图像，采用高级运动预测方法，称为“直接”运动补偿，进一步改善编码效率。

●帧内编码直接空间预测：将编码图像边沿进行外推应用到当前帧内编码图像的预测。

●循环去块效应滤波器：基于块的视频编码在图像中存在块效应，主要来源于预测和残余编码。自适应去块效应滤波技术是非常著名的技术，能有效消除块效应，改善视频的主观和客观质量。

2.除改善预测方法外，其他改善编码效率的特性如下：

●小块变换：以前的标准变换的块都是8×8，KMVC编码算法主要使用4×4块变换，使编码器表示信号局部适应性更好，更适合预测编码，减少“铃”效应。另外图像边界需要小块变换。

●分级块变换：KMVC编码算法通常使用小块变换，但有些信号包含足够的相关性，要求以大块表示，KMVC编码算法有两种方式实现。低频色度信号可用8×8，；对帧内编码，可使用特别的编码类型，低频亮度信号可用16×16块。

●短字长变换：所有以前标准使用的变换要求32位运算，KMVC编码算法只使用16位运算。

●完全匹配反变换：所有以前标准反变换和变换之间存在一定容限的误差，因此，每个解码器输出视频信号都不相同，产生小的漂移，最终影响图像的质量，KMVC编码算法实现了完全匹配。

●基于上下文的熵编码：KMVC编码算法使用两种熵编码方法，CAVLC(上下文自适应的可变长编码)和CABAC(上下文自适应二进制算术编码)，两种都是基于上下文的熵编码技术。

3.KMVC编码算法具有强大的纠错功能和各种网络环境操作灵活性，主要特性如下：

●参数集结构：KMVC编码算法参数集结构设计了强大、有效的传输头部信息。在以前的标准中，如果少数几位关键信息丢失，可能解码器产生严重解码错误。KMVC编码算法采用很灵活、特殊的方式，分开处理关键信息，能在各种环境下可靠传送。

●NAL单元语法结构：KMVC编码算法中的每一个语法结构放置在称为NAL的单元中，以前的标准采用强制性特定的位流接口。NAL单元语法结构允许很自由的客户化，几乎适合所有的网络接口。

●灵活的像条大小：在MPEG-2中，规定了严格的像条结构，头部数据量大，降低预测效率，编码效率低。在KMVC编码算法可采用非常灵活的像条大小。

●灵活宏块排序(FMO)：KMVC编码算法可以将图像划分为像条组，又称为图像区，每个像条可以独立解码。FMO通过管理图像区之间的关系，具有很强的抗数据丢失能力。

●任意像条排序：因为每个像条几乎可以独立解码，所以像条可以按任意顺序发送和接收，在实时应用中，可以改善端到端的延时特性，特别适合于接收顺序和发送顺序不能对应的网络中，如使用INTERNET网络协议的应用。

●冗余图像：为提高抗数据丢失的能力，KMVC编码算法设计中包含一种新的能力，允许编码器发送图像区的冗余表示，当图像区的主表示丢失时仍可以正确解码。

●数据划分：视频流中的编码信息的重要性不同，有些信息(如运动矢量、预测信息等)比其他信息更为重要。KMVC编码算法可以根据每个像条语法元素的范畴，将像条语法划分为3部分，分开传送。

二、网络层

NAL规范视频数据的格式，主要是提供头部信息，以适合各种媒体的传输和存储。NAL支持各种网络，包括：

●任何使用RTP/IP协议的实时有线和无线Internet服务。

●作为MP4文件存储和多媒体信息文件服务。

●MPEG-2系统。

●其他网。

1.NAL单元

编码的视频流组织成NAL单元，视频数据放置在网络单元中传输，个网络单元包含整数个字节，第一个字节是头部信息，指示NAL单元的数据类型，其余是净荷。

净荷数据与仿真预防字节做交织处理，仿真预防字节是特殊值字节，防止偶然在净荷中出现同步字节图样。

NAL规定一种通用的格式，既适合面向包传输，也适合流传送。实际上，包传输和流传输的方式是相同的，不同之处是流传输前面增加了一个起始码前缀。

2.NAL单元在字节流中的应用

传输NAL作为有序连续字节或比特流，同时要依靠数据本身识别NAL单元边界。在这样的应用系统中，KMVC编码算法规范定义了字节流格式，每个NAL单元前面增加3个字节的前缀，即同步字节。在比特流应用中，每个图像需要增加一个附加字节作为边界定位。还有一种可选特性，在字节流中增加附加数据，用做扩充发送数据量，能实现快速边界定位，恢复同步。

3.NAL单元在面向包传送中的应用

在类似Internet/RTP面向包传送协议系统中，包结构中包含包边界识别字节，在这种情况下，不需要同步字节。

4.VCL和非VCL的NAL单元

NAL单元分为VCL和非VCL两种，VCL NAL单元包含视频图像采样信息，非VCL包含各种有关的附加信息，例如参数集(头部信息，应用到大量的VCL NAL单元)、提高性能的附加信息、定时信息等。

5.参数集

参数集是很少变化的信息，用于大量VCL NAL单元的解码，分为两种类型：

●序列参数集，作用于一串连续的视频图像，即视频序列。

●图像参数集，作用于视频序列中的一个或多个个别的图像。

序列和图像参数集机制，减少了重复参数的传送，每个VCL NAL单元包含一个标识，指向有关的图像参数集，每个图像参数集包含一个标识，指向有关的序列参数集的内容，因此，只用少数的指针信息，引用大量的参数，大大减少每个VCL NAL单元重复传送的信息。

序列和图像参数集可以在发送VCL NAL单元以前发送，并且重复传送，大大提高纠错能力。序列和图像参数集可以在“带内”，也可以用更为可靠的其他“带外”通道传送。

6.存储单元

一组指定格式的NAL单元称为存储单元，每个存储单元对应一个图像。每个存储单元包含一组VCL NAL单元，组成一个主编码图像，VCL NAL单元由表示视频图像采样的像条所组成。存储单元前面可以加一个前缀，分界存储单元，附加增强信息(SEI)(如图像定时信息)也可以放在主编码图像的前面。

主编码图像后附加的VCL NAL单元，包含同一图像的冗余表示，称为冗余编码图像，当主编码图像数据丢失或损坏时，可用冗余编码图像解码。

7.编码视频序列

一个编码视频序列由一串连续的存储单元组成，使用同一序列参数集。每个视频序列可独立解码。编码序列的开始是即时刷新存储单元(IDR)。IDR是一个I帧图像，表示后面的图像不用参考以前的图像。一个NAL单元流可包含一个或更多的编码视频序列。

三、视频编码层

采用变换编码，使用空间和时间预测的混合编码。总之图像划分成块，一个序列的第一个图像，即随机存取点，典型是帧内编码，帧内每个采样的预测只利用帧内已编码的空间相邻的采样，选择哪些相邻采样进行预测，以及如何预测，这些附加信息必须同时被传送到解码器同步处理。随机存取点之间的图像使用帧间编码。

为了实现下一块或下一个图像的预测，编码器包含一个解码器，对量化变换系数进行与解码器解码相同的反量化和反变换过程，导出解码预测残余，解码残余与预测相加，结果送到去块效应滤波器，产生解码视频输出。

1.图像、帧和场

一个编码视频序列由连续的编码图像组成，编码图像可以是整个一帧图像，也可以是一场图像。KMVC编码算法编码是基于几何概念的表示方法，而不是基于定时的概念。

2.YcbCr色度空间和4:2:0采样

人的视觉特性按照亮度和色度信息分别感知世界。视频的传输可以利用该特性减少色度信息传送。KMVC编码算法目前采用的4:2:0采样结构、8比特精度，高精度颜色和高比特精度的建议正在讨论中。

3.宏块划分

每个视频图像帧或场都可以划分为固定大小的宏块，宏块是解码的基本模块单元，通常是一个16×16亮度像素和两个8×8彩色分量像素的长方型区域。所有宏块的亮度和色度采样在空间或时间上进行预测，对预测残余进行变换编码。

4.像条和像条组

像条由宏块组成，像条是图像的子集，包含图像参数集，语法元素可以被分析，图像可以被独立解码。按照宏块映射表规定的顺序，在位流中安排宏块的传输顺序，而不是按光栅扫描顺序。

利用像条组的概念，KMVC编码算法支持灵活宏块排序特性(FMO)。FMO改变了图像划分为像条和宏块的方式。每个像条组是多个宏块集合，通过宏块到像条组的影射表定义，该影射表在图像参数集中指定。每个宏块有一个像条组标识号，所有像条组标识号构成宏块到像条组影射表。每个像条组由一个或多个像条组成，因此像条是一个宏块序列，同一像条组中的宏块，按光栅顺序处理。

利用FMO，图像可以划分为许多宏块扫描图样，例如交织图样、点缀图样，一个或多个前景像条组、剩余像条组，或棋盘型图样影射等。每个像条组分别传送，后两种所示，左边宏块到像条组的影射证明在关注局部型的编码应用中非常有用。右边宏块到像条组的影射证明适合保密型会议系统等应用。

无论是否使用FMO，KMVC编码算法支持5种像条编码类型：

I像条：最简单的编码类型，所有的宏块不参考视频序列中其他的图像。

P像条：除了I像条编码类型外，P像条的部分宏块可以利用帧间预测，每个预测块至多可使用一个运动补偿预测信号。

B像条：除了P像条编码类型外，B像条的部分宏块可以利用帧间预测，每个预测块可使用两个运动补偿预测信号。

以上三种与以前的标准相似，主要是参考图像不同，其余两种像条类型是SP(切换P)SI(切换I)，是新的类型，用于在不同位率编码码流之间进行有效切换。

SP像条：称作切换P像条，能在不同编码图像之间有效地切换。

SI像条：称作切换I像条，允许SP像条的宏块完全匹配，达到随机读取数据进行解码和恢复错误的目的。

5.宏块的编解码过程

所有宏块的亮度和色度采样要进行空间或时间的预测，对预测的残余进行变换编码，为了实现变换编码，每个颜色分量的预测残余要再划分为更小的4×4块，每块利用整数变换，变换系数被量化，最后是熵编码。

6.自适应帧/场编码操作

在隔行扫描帧中，当有移动的对象或摄像机移动时，与逐行相比，两个相邻行倾向减少统计的相关性，这种情况应比每场分别压缩更为有效。为了达到高效率，KMVC编码算法在编码帧时，有以下可选方案：

●结合两场成一个完整帧，作为帧编码，称为帧模式。

●两场分别编码，称为场模式。

●结合两场成一个完整帧，作为帧压缩。在编码时，划分垂直相邻的两个宏块对成两个场宏块对或帧宏块，再进行编码。

每帧图像可自适应选择3种模式之一进行编码。在前两种之间进行选择称为图像自适应帧/场编码(PAFF)，当一帧作为两场编码时，每场划分为宏块，编码方式与帧编码方式很相似，主要有下面的例外：

●运动补偿用参考场，而不是参考帧。

●变换系数的“之字型”扫描方式不同。

●宏块水平边沿去块滤波器的强度不选用“强”，因为场行在空间上是两倍帧行的距离。

在研制KMVC编码算法标准时，据报道，采用ITU-601分辨率，PAFF编码技术与帧编码相比可减少码率16％到20％。

如果图像由运动区和非运动区混合组成，非运动区用帧模式、运动区用场模式是最有效的编码方法。因此每个垂直宏块对(16×32)可独立选择编码(帧/场)模式。这种编码选择称为宏块自适应帧/场编码(MBAFF)。对于帧模式宏块对，每个宏块包含帧行，对于场模式宏块对，顶部宏块包含顶场行，底部宏块包含底场行。

处理场宏块对的每个宏块与帧PAFF模式相似，然而，因为在MBAFF帧中发生场/帧宏块对混合，需要修改用作下列用途的方法：

●之字型扫描。

●运动矢量预测。

●帧内预测模式的预测。

●帧内预测帧采样精度。

●去块效应滤波器。

●上下文模型的熵编码。

主要思想是尽可能保留多的空间一致性，MBAFF帧的空间相邻的规范相当复杂，下面讲到的空间相邻都是指非MBAFF帧。

MBAFF和PAFF的另一个重要区别是：使用MBAFF方法，一个场不能使用同一帧的另一个场中的宏块作为运动补偿参考。这样，有时PAFF比MBAFF编码更有效，特别是在快速全局运动、变换场景、图像刷新等情况下。

采用ITU-601分辨率，MBAFF编码技术比PAFF相比可减少码率14％到16％。

7.帧内预测

根据像条编码类型，每个宏块可以选择几种编码类型之一。所有像条类型支持两级帧内编码，称为INTRA-4×4和INTRA-16×16。

INTRA-4×4模式基于分别预测每个4×4亮度块，适合表现图像细节部分。而INTRA-16×16模式将整个16×16亮度块进行预测，适合平滑图像区。此外对这两种亮度预测类型，色度单独进行预测。作为INTRA-4×4和INTRA-16×16的另一种选择，I_PCM编码类型允许编码器简单跳过预测和变换编码过程，直接发送采样值。I_PCM允许编码器精确地表示采样，通常表示一些反常图像，而没有明显增加数据量。

8.帧间预测

● p像条帧间预测

除了帧内宏块编码类型外，P像条宏块使用多种预测类型，即运动补偿编码类型。为了方便运动描述，每个P型宏块对应于指定的固定大小的宏块划分。亮度块的划分大小为：16×16、16×8、8×16、8×8。

语法允许运动矢量跨越图像边界，这种情况参考帧需用外插法推算出图像外的采样值。利用邻近块的平均或方向预测，用差分编码计算运动矢量。

语法支持多图像运动补偿预测，以前编码的多个图像都可用作运动补偿参考，每个运动补偿需要指示参考图像的索引。一个8×8块划分成的小于8×8块的运动补偿使用同一参考图像索引，该功能要求编码和解码器具有多帧图像缓冲器，解码器通过位流中的管理控制操作信息与编码器同步。

除了运动补偿宏块模式外，P宏块可使用P_Skip模式，这种模式没有量化预测误差、不用传送运动矢量和参考索引参数。信号重建与P_16×16宏块类型预测信号类似，采用多帧缓冲区索引0的图像作为参考图像。重建P_Skip宏块的运动矢量与16×16块运动矢量预测类似。P_Skip编码类型适合没有变化或固定运动的区域，如摇镜头等，有极高的压缩率。

●B像条的帧间预测

B像条相对P像条的概念与以前的标准类似，但有些不同，B像条可以作为运动补偿预测的参考图像，B像条可以对两个补偿预测值进行加权运算。

9.变换和量化

与以前的视频编码标准类似，KMVC编码算法利用预测残余变换编码。然而，KMVC编码算法变换施加4×4块上，不用离散余弦变换(DCT)，采用与离散余弦变换相似特性的整数变换。因为使用整数运算，所以反变换没有误差。

10.熵编码

KMVC编码算法支持两种熵编码方法，最简单的熵编码方法是：对所有的语法元素，除了量化系数外，使用单一无限可扩展的码字表。这样不必为每个语法元素设计一个专用的VLC表，只需要按照数据的统计特性，客户化影射到单一码字表。使用exp-Golomb码建立单一码表，具有很简单、有规则的解码特性。

为了有效传送量化的变换系数，CAVLC(上下文自适应的可变长编码)是很有效的方法。在该方案中，对于各种语法元素的VLC码表按照已传送的语法元素可以进行切换。因为VLC表设计匹配相应的条件统计，改善了熵编码的性能。

在KMVC编码算法中的算术编码引擎，与概率相关的估计等都不使用乘法操作，而是使用简单的移位和查找操作，与CAVLC操作相比，CABAC典型减少码率5％～15％。在隔行扫描视频，效果更明显。

11.去块循环滤波器

基于块编码的压缩算法的特点是偶尔产生可见的块结构，由于块边沿的精度比内部差，块效应是目前压缩算法的常见人工瑕疵。KMVC编码算法定义了一个自适应循环滤波器，滤波的强度通过几个语法元素控制。

滤波的基本思想是：如果块边沿的绝对差值相对比较大，出现块人工瑕疵的可能性就很大，因此需要进行相应处理。然而，如果差值幅度很大，编码量化过程的误差不能解释，边沿很可能反映了源图像的实际样值，不需处理。

经过滤波处理，减少了块效应，而图像的质量基本不受影响，因此主观质量大大改善。如果不滤波，同样的主观质量，需要多出5％~10％的码率。

12.假想参考解码器模型

标准的好处在于保证所有符合标准的解码器能够解码出一致的视频质量。要实现标准，仅仅提供编码算法的描述是不够的，在实时系统中，指定如何馈送码流比特给解码器，解码的图像如何移出解码器等都是很重要的。要实现该功能，必须指定输入/出缓冲器模型和开发与实现无关的接收机模型。这样的接收机模型称为假想参考模型(HRD)。编码器不允许产生假想参考模型不能解码的位流。因此如果所有接收机都模拟假想参考模型的行为，可以保证所有解码器解出的码流具有很好的一致性。

四、类和级及其应用

1.类和级

类和级指定符合点，这些符合点用于实现各种标准应用之间的互操作性。类定义一组编码工具和算法，用于产生一致性的比特流，级限定比特流的部分关键参数。

所有的解码器符合指定的类必须支持该类定义的所有特性，编码器不必要求使用该类支持的任何特定的特性集，但必须提供一致性的比特流，即使支持该类的解码器能实现解码。

KMVC编码算法定义了3类：基类、主类和扩展类。

基类支持除下面两组特性外的所有的KMVC编码算法特性：

(1)B像条、加权预测、CABAC、场编码、图像或宏块在帧场编码之间自适应切换。

(2)PI/SI像条和像条数据分割。

主类支持第一组特性，但主类不支持FMO、ASO和冗余图像特性，扩展类支持除CABAC外所有KMVC编码算法特性，序列参数中包含了一些标志指示解码该码流要求解码器支持的类。

在KMVC编码算法，所有类使用相同的级定义，但个别实现时，可能每个支持的类支持的级不完全相同。KMVC编码算法定义了15个级。

2.新标准类的使用领域

KMVC编码算法的高压缩效率，扩充了现有的应用领域，至少包含以下领域：

交互视频服务，通常速率1Mbps以下，低延迟。

主要应用如下：

(1)交互式视频服务，利用基于ISDN视频会议的电路交换；

(2)娱乐视频应用，50Kbps～80Kbps码率，0.5到2秒中等时延。

主要应用如下：

有线、卫星、地面、DSL等广播电视；

通过各种媒体的视频点播。

(3)流媒体服务，30kbps到1.5Mbps，2秒以上的时延，这些应用主要利用基类或扩展类。有线或无线使用情况有所不同，主要应用如下：

GPP流，利用IP/RTP传输，RTSP作会话设置，3GPP规范的扩充部分可能仅使用基类；

有线INTERNET流，利用IP/RTP传输，RTSP作会话设置。

(4)其他服务，主要是低码率，以文件传送方式，不考虑时延的应用。

Claims (4)

1、一种基于Brew平台的无线视频传输系统，其特征在于：系统由若干个无线监控点通过移动通讯线路连接而成，将所有监控点由视频采集器采集的信息通过编码服务器编码成为可在Brew平台传输的无线信号，再通过监控信号转发服务器发送到移动终端，系统的工作流程为：

1.初始化；

2.视频图像采集；

3.使用KMVC编码算法协议进行编码；

4.转发：通过无线方式传输；

5.支持Brew的移动终端请求服务器数据；

6.对数据进行缓冲处理；

7.使用KMVC编码算法协议进行解码；

8.YUV格式的图像输出播放；

9.请求下一帧图像数据重复步骤(5)到(8)。

2、根据权利要求1所述的一种基于Brew平台的无线视频传输系统，其特征在于：采集点使用常规的监控视频头或者是带Brew编码芯片支持CDMA 1X的无线监控采集设备进行图像的采集和收取，对于常规的监控视频头所采集的图像，将传输至视频采集/编码服务器使用KMVC编码算法进行编码。

3、根据权利要求1所述的一种基于Brew平台的无线视频传输系统，其特征在于：使用KMVC编码算法协议进行编码的过程为：输入的帧或场Fⁿ以宏块为单位被编码器处理，首先，进入ICL进行已变化动态块的比较，然后按帧内或帧间预测编码的方法进行处理，如果采用帧内预测编码，其预测值PRED是由当前片中已编码的参考图像经运动补偿后得出的，其中参考图像用F′ⁿ-1表示，为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来，已编码解码重建和滤波的帧中进行选择，预测值PRED和当前块相减后，产生一个残差块Dⁿ经VCL、重排序后产生一组量化后的变换系数X再经熵编码，与解码所需的一些边信息一起组成一个压缩后的码流，经网络自适应层供传输和存储用，为了提供进一步预测用的参考图像，编码器设置了重建图像的功能，使残差图像经反量化、反变换后得到的Dⁿ′与预测值P相加，得到未经滤波的帧uF′；设置了一个环路滤波器，滤波后的输出F′ⁿ即为重建图像，可用作参考图像。

4、根据权利要求1所述的一种基于Brew平台的无线视频传输系统，其特征在于：使用KMVC编码算法协议进行解码的过程为：由编码器的NAL输出一个压缩后的压缩比特流，经熵解码得到量化后的一组变换系数X，再经区块整合、运动补偿、排序，得到残差Dn′，利用从该比特流中解码出的头信息，解码器就产生一个预测块PRED，它和编码器包括ICL中的原始PRED是相同的，当该解码器产生的PRED与残差Dⁿ′相加后，就产生uF′，再经滤波后，最后就得到重建的F′，F′ⁿ为最后的解码输出图像。