CN1199460C

CN1199460C - 视讯系统中的图像分层编码和交换方法

Info

Publication number: CN1199460C
Application number: CN 02124640
Authority: CN
Inventors: 熊联欢
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2002-06-19
Filing date: 2002-06-19
Publication date: 2005-04-27
Anticipated expiration: 2022-06-19
Also published as: CN1466384A

Abstract

本发明是一种视讯系统中的图像分层编码和交换方法，分别在终端和MCU中采用H.263+中的分层编解码技术方案，在没有多画面的情形下，MCU只起交换、转接的作用；在有多画面的情形下，MCU进行解码、拼接后再采用分层编码技术。虽然本发明增加了编解码处理的复杂度，但所得到的好处是显然的，通过使用分层编解码技术和采用灵活的速率适配策略，既可以解决不同带宽终端共同开会时都可以得到与其带宽相应的图像质量，又可以提高抗误码能力，保证会议能正常进行，从而提高了系统整体性能。

Description

视讯系统中的图像分层编码和交换方法

技术领域

本发明属于视讯领域，具体来说是一种应用于视讯图像传输的图像分层编码和交换方法。

背景技术

在视讯领域，尤其是目前基于H.320和H.323标准的会议电视系统一般主要包括MCU(Multipoint Control Unit：多点控制单元)和终端两部分，通过传输网络，如ISDN(Integrated Services Digital Network：综合服务数字网)和LAN(Local Area Network：局域网)等，将MCU和各个终端连接起来。而会议电视系统中一般都允许多种类型的网络和终端参会，而各种网络的带宽不尽相同，为了能正常开会，一般都是采用参会者中最小的带宽进行编码传输，这样对拥有较高带宽的参会者来说有两个缺点：一是不能提供理想的图像质量，二是没有充分利用现有带宽资源。

针对上述缺点，现有技术中提出如下解决方案，即：

如果在没有多画面的情况下，一个终端图像在采用H.261/H.263标准经过编码压缩后，通过MCU将其传送给所有参会终端，如果不需要速率适配，则将其直接转发，如果需要进行速率适配处理，则需对图像码流进行解码，按所需带宽进行编码后再发送给各个终端。

如果在采用多画面的情况下，MCU将多个终端的图像解码后分别进行所需比例缩小变换处理，然后经过拼接，再进行编码压缩后发送给各个终端。

另外，专利号为US5838664、发明名称为“采用速率适配的会议电视系统”的美国专利也描述了一种采用速率适配(transcoding)、码率匹配和空间混合(transmission rate matching and spatial mixing)技术的会议电视系统，在该系统中，MCU有一个进行这方面的处理的VPU(Video Processing Unit：视频处理单元)，各终端都采用统一带宽的图像质量进行开会。

可是上述方案存在许多缺点，如在没有多画面的情形下MCU也进行图像解、编码的速率适配处理，增加了计算量和时延，降低了图像质量。

另一方面视频分层编码技术在H.263标准中也得到了广泛的应用，该技术是在同一个编码码流中，根据解码需要的不同，如不同的SNR(Signal Noise Ratio：信噪比)、不同的分辨率、不同的帧率，而得到不同质量的视频图像。视频编码分层技术分三种，即采用SNR分层编码技术、Temporal(时间)分层编解码技术、Spatial(空间)分层编码技术，图3、4、5所示为采用上述三种分层编码技术的示意图，这类分层编码技术将终端图像分层为：基本层和增强层。分层编码技术一方面可以根据传输网络现状来安排码流流量，另一方面在当增强层出现较严重的误码时，可以将增强层舍弃不要而只显示基本层，进而提高了系统的抗误码能力。

发明内容

针对上述情形，本发明提出了一种分别在终端和MCU中采用H.263+中的分层编码技术方案，使得在保证会议能正常进行的情况下，各终端能得到与相应传输网络带宽相匹配的图像质量。

为实现上述目的，本发明提供一种视讯系统中的图像分层编码和交换方法，该方法由下列步骤组成：

a、将终端图像编码码流进行分层编码，并通过传输网络传送至MCU；

b、对视讯系统是否为多画面的情形进行判断，然后MCU将分层编码流发送至终端；

c、各个终端将分层编码码流解码。

其中，步骤b更具体地讲是指，

如果是没有多画面的情形，MCU直接将和各终端所拥有的传输网络带宽数相匹配的分层编码码流通过传输网络发送至各个终端，

如果是多画面的情形，MCU将多个终端的分层编码码流解码后分别进行所需比例变换处理，经过拼接，将拼接后图像进行分层编码，再将和各终端所拥有的传输网络带宽数相匹配的分层编码码流分别发送给各个终端。

一般来说，上述将图像进行分层编码是指采用SNR分层编码技术、Spatial(空间)分层编码技术或Temporal(时间)分层编码技术中的一种，只是终端得到的将分别是：相同帧率不同SNR的图像、不同分辨率的图像或不同帧率的图像。

步骤a更具体地还包含以下步骤：

a1、根据传输网络的带宽种类数确定分层编码的层数；

a2、根据所述的层数进行基本层和增强层的分层处理；

a3、将终端图像码流进行分层编码，并通过传输网络将和终端所拥有的传输网络带宽数相匹配的分层编码码流传送至MCU。

步骤b中具体描述的分层编码还包含以下步骤：

b1、根据传输网络的带宽种类数确定分层编码的层数；

b2、根据所述的层数进行基本层和增强层的分层处理。

上述步骤a、b中，当所述的传输网络带宽数的种类繁多时，一般是有多少种带宽就进行相应层数的分层编码。可是由于增加编码层数将会增加编码计算量，对于带宽数较多的情形，可选取不多于3个增强层的方法。将分层编码码流发送至相应的终端或MCU，其中分层编码码流的带宽数不超过且最接近于终端所拥有的传输网络带宽数。

采用本发明所述的技术方案，虽然增加了编解码处理的复杂度，但可以通过使用分层编解码技术和采用灵活的速率适配策略，使得不同带宽终端共同开会时都可以得到与其带宽相应的图像质量，另外，还可以提高抗误码能力，保证会议能正常进行，从而提高了系统整体性能。

附图说明

图1是本发明的方法流程图。

图2是本发明实施例中拥有不同带宽的终端与MCU相连的示意图。

图3是本发明实施例1中采用SNR分层编码技术的方法示意图。

图4是本发明实施例2中采用Temporal分层编码技术的方法示意图。

图5是本发明实施例3中采用Spatial分层编码技术的方法示意图。

图号说明：

I、基本层的帧内帧； P、基本层的预测帧；

EI、增强层的帧内帧； EP、增强层的预测帧；

B、双向预测帧； CIF、通用中间格式；

QCIF、1/4通用中间格式。

具体实现方式

下面结合如图2、3、4、5所示的具体实施例情形来详细描述本发明。

如图2所示，其中终端1、终端2与带宽为768kbps的传输网络相连，终端3、终端4与带宽为384kbps的传输网络相连，多点控制单元MCU则分别与上述两种传输网络相连。

实施例1

图3为采用SNR分层编码方法的示意图，基本层图像编码与非分层情形一样，而将原图像与解码图像的差值图像在增强层中进行编码，传给解码端，从而得到比非分层情形具有更高SNR值的解码图像，例如，基本层图像SNR为40分贝，增强层图像SNR为45分贝，这样，通过分别在MCU和终端采用SNR分层编解码技术，可以满足不同终端获得相同的帧率、不同的SNR的图像质量的要求，如图1所示，具体步骤如下：

一、将终端1的图像编码码流进行分层编码，并通过传输网络传送至MCU。

具体来说，首先根据传输网络的2种带宽来确定分层编码的层数2层。

其次，根据所述的层数进行基本层和增强层的分层处理，如图3所示，确定终端1的基本层编码带宽为384kbps，I和P分别代表基本层的帧内帧和预测帧；增强层编码带宽也为384kbps，EI和EP分别代表增强层的帧内帧和预测帧。

最后，将终端图像码流进行分层编码，并通过传输网络，将“基本层+增强层”编码总带宽为768kbps的分层编码码流传送至MCU。

二、对视讯系统是否为多画面的情形进行判断，

对于没有多画面的情形，MCU将分层编码码流仅仅交换、转接，分别传送给各终端。在图2中，MCU要将终端1传来的带宽为768kbps的分层编码码流分别传送到终端2、终端3、终端4，则终端2可得到带宽为768kbps的“基本层+增强层”的图像质量，而终端3、终端4则得到其相应带宽为384kbps的基本层的图像质量。

对于有多画面的情形，MCU将多个终端的分层编码码流解码后分别进行所需比例缩小变换处理，然后经过拼接，再将拼接后的图像进行SNR分层编码压缩，最后分别将各终端所需的相应码流发送给各个终端。如图2所示，MCU将拼接后图像进行如图3所示的“384kbps基本层+384kbps增强层”的SNR分层编码，然后将“基本层码流+增强层码流”发送给终端1和终端2，而仅将“基本层码流”发送给终端3和终端4。

三、各个终端将分层编码码流解码。

实施例2

图4为采用Temporal(时间)分层编码方法的示意图，Temporal分层编码使用双向预测帧(B帧)图像，该图像在码流中是一个独立的实体，基本层可以选择帧率为15fps(Frames Per Second：每秒帧)的图像，而增强层则可以选择帧率为30fps的图像。通过分别在MCU和终端采用Temporal分层编解码技术，可以满足不同终端获得不同帧率的图像，其他具体步骤同实施例1，其不同之处仅在使用的分层编码方法不同。

实施例3

图5为采用Spatial(空间)分层编码方法的示意图，其编码方式与SNR分层编码方法基本相同，唯一不同的是其增强层和基本层的图像分辨率不一样，例如，基本层得到的是QCIF(Quarter Common IntermediateFormat：1/4通用中间格式)图像，而增强层得到的是CIF(CommonIntermediate Format：通用中间格式)图像。通过分别在MCU和终端采用Spatial分层编解码技术，可以满足不同终端获得不同分辨率的图像，其他具体步骤同实施例1，其不同之处仅在使用的分层编码方法不同。

上述实施例只是针对两种带宽的情形进行了描述，对于其它情形，处理方法类似，一般是有多少种带宽就进行相应层数的分层编码。由于增加编码层数将会增加编码计算量，对于带宽数较多的情形，可选取不多于3个增强层的方法。

另外，为了提高计算效率，增强层可直接利用基本层中的运动估计结果而不用进行运动估计计算，甚至增强层只考虑整像教运动估计而不考虑半像素运动估计，但是这些措施对于图像质量的影响不会很大。

Claims

1、一种视讯系统中的图像分层编码和交换方法，其特征在于，该方法由下列步骤组成：

c、各个终端将分层编码码流解码；

所述的步骤b具体地包括：

如果是没有多画面的情形，MCU直接将和各终端所拥有的传输网络带宽数相匹配的分层编码码流通过传输网络发送至各个终端；

如果是有多画面的情形，MCU将多个终端的分层编码码流解码后分别进行所需比例变换处理，经过拼接，将拼接后图像进行分层编码，再将和各终端所拥有的传输网络带宽数相匹配的分层编码码流分别发送至各个终端。

2、如权利要求1所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的分层编码是指采用信噪比分层编码技术、空间分层编码技术或时间分层编码技术中的一种。

3、如权利要求1所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的步骤a具体包含以下步骤：

a1、根据传输网络的带宽种类数确定分层编码的层数；

a2、根据所述的层数进行基本层和增强层的分层处理；

4、如权利要求3所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的步骤a1中的带宽种类数等于分层编码的层数。

5、如权利要求3所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述步骤a1中增强层的层数不多于3层。

6、如权利要求3所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的步骤a3中所述的相匹配是指：分层编码码流的带宽数不超过且最接近于终端所拥有的传输网络带宽数。

7、如权利要求1所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的分层编码包含以下步骤：

b1、根据传输网络的带宽种类数确定分层编码的层数；

b2、根据所述的层数进行基本层和增强层的分层处理。

8、如权利要求7所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的步骤b1中的带宽种类数等于分层编码的层数。

9、如权利要求7所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的步骤b1中增强层的层数不多于3层。

10、如权利要求1所述的一种视讯系统中的图像分层编码和交换方法，其特征在于所述的相匹配是指：分层编码码流的带宽数不超过且最接近于终端所拥有的传输网络带宽数。