CN1135848C

CN1135848C - 图像传输中的方法与装置

Info

Publication number: CN1135848C
Application number: CNB998074810A
Authority: CN
Inventors: M・延德尔; M·延德尔; 锼雇衅章匏; M·拉松; C·克里斯托普罗斯
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 1998-06-18
Filing date: 1999-06-10
Publication date: 2004-01-21
Anticipated expiration: 2019-06-10
Also published as: AU753304B2; AU4812099A; KR20010052710A; SE521021C2; CA2335022A1; WO2000001153A1; SE9802193L; JP2002519953A; CN1305684A; EP1106014A1; SE9802193D0

Abstract

图像(3)将通过信道在发射机与接收机之间以数字化的形式传输。该信道具有受限带宽并且该图像具有不太重要的背景(R1)和特别重要的区域，即感兴趣区域(R2，Rn)。把图像变换成变换系数并进行压缩(21)，然后在变换域(22)中定义一个相应于区域(R1，R2，Rn)的遮罩(mask)。按照遮罩定义把变换系数进行分类(23)并将其分配到不同的段(SG1，SG2，SGn)。根据这些段在图像(3)中的相应区域(R1，R2，Rn)的重要性，把这些段(24)彼此无关地编码到不同的精度级。编码结果造成子比特流(25)，其与图像报头(271，272)链接在一起形成发送到接收机的比特流(27)。接收机对图像报头和段信息进行解码并在变换域中重建该遮罩，包括区域(R1，R2，Rn)的形状及位置。然后在遮罩的帮助下把图像在各个区域中重建到期望的精度级。定义具有不同级别的图像质量的多个区域是可能的，并且只需要对图像的感兴趣的那些部分进行解码。

Description

图像传输中的方法与装置

本发明涉及在静止图像与视频图像传输中用于对感兴趣区域(ROI)进行编码与析取的方法和设备。该方法与设备特别适合于基于变换的编码器，例如子波与DCT。

在从发射机到接收机的数字化静止图像的传输中，通常要对图像进行编码以便减小传输该图像所需要的比特数量。

因为使用的信道容量是有限的，所以通常要减少比特数量。可是，数字化图像却是由很大数量的比特组成的。当通过一个具有受限带宽的信道传输一个包括很大数量的比特的图像时，如果传输该图像的每个比特都是必要的话，则对于大多数的应用来说传输时间将是长不可耐的。

因此，近年来，已经研究了针对具有减少传输图像所必需的比特数的目的的用于数字化图像的编码方法与技术。

这些方法可分成两组：

无损耗的方法，即，利用图像中的冗余度的方法，以这样的方式使图像能够由接收机重建而没有信息损失。

有损耗的方法，即，利用对于接收机来说不是所有的比特都是同样重要的方法。因此，接收到的图像与原始图像不完全相同，但是对人眼来说其看上去与原始图像十分相像。

在某些应用中，被传输的图像的某些部分比该图像的其它部分更使人感兴趣，因此该图像的这些感兴趣部分的更好的视觉质量是我们所期望的。这样的部分通常称为感兴趣区域(ROI)。可使用此技术的应用包括，例如，医学数据库或者卫星图像的传输。在某些情况下，即使图像的其它部分的质量不太重要的时候，无损耗地传输感兴趣区域也是所期望或者说是所必需的。这里也存在需要从比特流中析取感兴趣区域并对感兴趣的这些区域进行解码而不必对该图像作为一个整体进行解码的这样情况。

瑞典专利申请SE 9703690-9与SE 9800088-8都描述了可以如何计算出用于限定这样的一个感兴趣区域(ROI)的遮罩。

本发明阐明了定义并传输在图像传输中质量互不相同的感兴趣区域与背景区域的上述问题。

本发明的解决该问题的基本概念是变换图像并在所述变换中定义一个对应于感兴趣区域与背景区域的遮罩。把区域定义与图像变换传输给接收机，该接收机能够在预确定区域中重建具有期望的质量的图像。

更特别是本解决方案包括把图像分成期望的区域。然后把图像变换为某一类型的变换系数。在变换域中定义相应于图像中的各个区域的一个遮罩并且根据遮罩定义对系数进行分类并将其分配到不同的段。因此段属于图像中的相应区域。把段与系数以一种被压缩的状态传输到接收机，该接收机一方面能够还原图像中的区域另一方面能够在各个区域中还原具有期望的图像质量的实际图像。

本发明提供的一个优点是可以定义多个不同的感兴趣区域。

另外一个优点是不同的区域可以具有多个不同级别的图像质量。

再一个优点是只需要把对用户来说是至关重要的那些图像部分进行解码，而避免了对整个图像进行解码。

还有一个优点是可以对段彼此无关地进行编码。

现在，参考本发明的优选实施例和附图将更详细地描述本发明。

附图1是阐明一种创造性设备的方框简图。

附图2是阐明一种创造性方法的部分流程图。

附图3是阐明一种创造性方法的另外一部分流程图。

附图4是阐明变换系数分类的图。

附图5是连结比特流中的图像段的图。

附图6是目标图像的视图。

附图7是图6中的拓扑结构的图形显示。

附图1是一种用于对图像进行编码和传输的设备的概述。目标图像3以数字形式储存在数字照相机11中并且该图像显示在屏幕4上。屏幕连接到计算机2，该计算机被编程以便把图像3分为目标或者区域，其中表示了背景区域R1与感兴趣区域R2和Rn。计算机2中的图像编码器5对该图像进行子波变换，同时压缩该图像，并产生压缩比特流PS1。在图像屏幕4上的一个算子定义感兴趣区域R2与Rn。图像编码器包括这样一个装置，该装置用于按照区域来创建一个遮罩并利用所述遮罩的帮助定义相对于相应的区域R1、R2与Rn的比特流的各个部分、段。该定义也使区域R1、R2、Rn能够以比特流PS1中的所述各个段的形式编码为不同的精度级。发射机6把包括区域R2与Rn的位置和形状的定义在内的比特流发送到接收机7，该接收机连接到包括图像译码器8的计算机上。译码器对比特流PS1进行解码并对遮罩定义PS2进行再生然后在图像显示屏幕9上显示图像。背景R1的精度级相对差一些，而区域R2与Rn的每一个各自具有一个更高的精确度。

为了帮助说明本发明的方法而给出下列定义：

-这里，段(segment)定义为变换域中的所有系数，其属于图像中的一个给定的目标或背景。然后段可以进一步分成子段。

-这里子段定义为变换域的一部分(例如在子波变换情况下的次能带)中的系数数目，它是进行重建所必需的并且属于数字化图像1中的一个段，参见图4。

如同前面提及的，将那些系数进行分类并且可以分配到各个段。当开始此分类时，则把那些段彼此无关地编码到不同级别的精度级，这样对于每个段产生一个比特流。然后把这些段结合在一起。

将参考附图2描述本发明的编码方法。被传输的数字化图像3给出背景R1和感兴趣区域R2与Rn。下列程序上的步骤被实现：

1.按照步骤21执行图像3的变换。在说明的情况中，利用子波变换或者离散余弦变换(DCT)执行此变换。

2.在关于应该如何把数字化图像3分成背景R1和目标R2与Rn的信息的帮助下按照步骤2产生遮罩。可以使用瑞典专利申请SE9703690-9与SE 9800088-8中描述的技术来达到此目的。在变换域中产生遮罩并且该遮罩描述了哪些系数是重建不同的目标或者背景所必需的。不同的段SG1，SG2和SGn对应于背景R1和目标R2与Rn。

3.按照步骤3使用遮罩把变换系数分类为属于不同的段SG1，SG2，SGn。

4.按照步骤24对段彼此无关地进行编码。这一点给出了对于每个子段所需要的比特数目。

5.按照步骤26，把子段流和必要的子流信息与标题信息连接。这需要在下面给出的比特流描述。

6.发送该连接的比特流27。这包括形状数据271，比特流信息272，参考的0次能带273以及参考的1次能带274。

该方法使接收机能够在所期望的时候对图像的任意部分进行快速访问，如图3所示。这样是可能的，因为关于在比特流中的什么地方发现不同部分的信息是已知的。

下面参考附图3描述一种译码器如何工作的方法。

1.按照步骤31，接收比特流27并对必需的报头信息进行解码。

2.找出该需要的段信息并对其进行解码，步骤32。

3.例如在所述专利申请SE 9703690-9与SE 9800088-8中所描述的技术的帮助下，在变换域中产生遮罩；步骤33。该遮罩描述了对于重建期望的目标或背景所必需的那些系数。

4.对来自比特流中的需要的分段数据进行解码；步骤34。

5.重建该需要的段；步骤35。

6.对该图像进行解码并显示该图像；步骤36。比特流说明

现在将给出当应用如上所述的技术时在比特流27中的那些所需要的成分的一个描述。数据结构与指针指针

指针是一组符号，其定义比特流或者文件中的比特或者字节。在计算机科学中已经定义了许多定义指针的方法。在这里可以使用这些方法中的任何一个。指针可以由一个特定的比特流合成规则暗中定义。可以相对于明确或者暗中确定的位置来定义一个指针。定义指针的一个简单的方法是确定被请求的位置与已知参考点之间的比特编号，诸如比特流1中的第一比特之类的。拓扑结构描述符

拓扑结构描述符，TOP，是定义已编号目标和形状之间的拓扑关系的一组符号。这在附图6中进行说明，其中表示了四个目标01、02、03、04以及四个形状S1、S2、S3和S4。例如图像的拓扑结构可以如图7所示一样表示为一幅树形图。利用熟知的方法可以在数据结构中把树形图的节点和边界进行编码。P_TOP是指向拓扑结构描述符的指针。形状描述符

形状描述符，S_i定义了目标的封闭边界线的外形。由拓扑结构描述符给出形状编号，i。许多不同的形状编码技术可以使用。此类方法的实例是MPEG-4中的电路编码和形状编码方法。一旦知道形状描述符各自在比特流中的位置的话，就可以彼此无关地对形状描述符进行解码。P_S_i是指向形状描述符的指针。段描述符

段描述符，T_i，是如上所述对段进行编码后的一组被压缩的符号。段包括一组有序的子段。目标编号，i，由拓扑结构描述符给出。p_T_i是指向段描述符的指针。子段描述符

子段描述符，B_ij，是段描述符T_i中的一种独立地可解码的子段j，其描述例如系数属于给定的次能带j，如上所述。P_B_ij是指向子段描述符的指针。复合段描述符

多个段描述符，{T_i，T_j，T_k...}，可以复合为公用数据结构MT(i，j，k)。通常为了同步传输一组目标的目的而执行这一过程。数据结构，MT，被称作复合段描述符。可以使用多个复合方法。p_MT是指向复合段描述符的指针。段复合方法

复合方法的实例表示在附图5中。一种简单的方法就是把属于分量段的子段52交错，因此：

MT(i，j，k)＝{B_i0，B_j0，B_k0，B_i1，B_j1，B_k1，B_i2，B_j2，B_k2...}

在这种情况下，符号的顺序对应在比特流51中的顺序，在左边的符号被首先发送。如果译码器已知了复合流中的子段，那么可以排除这些子段。比特流存储格式

为了获得对图像中的无论哪个任意目标的快速访问，则储存的比特流或者文件结构最好应该包括至少下列组件：

如果需要的话，在图像报头中：

拓扑结构描述符TOP

指向形状描述符{p_S₁ p_S₂ p_S_N}的指针

指向段描述符{p_T₀，p_T₁，...P_T_N}的指针

指向子段描述符的任选指针：_对于每一个k＝[O，N]，{p_B_k0，p_B_k1，...p_B_kN}

如果需要，在实际的储存比特流中：

形状描述符{S₁，S₂，...S_N}

段描述符{T₀，T₁，...T_N}

作为选择，可以把具有标引{k，l，m...}的一组段描述符替换为复合段描述符MT(k，l，m...)

N是储存的目标的编号。背景是具有标引0的目标。具有对任选目标的快速访问的进步传输

服务器接收向客户机发送图像数据的请求。利用服务器按照在前述的文章中描述的格式对图像进行储存。存储的数据结构部分(拓扑数据，形状，段和子段)可能已经被发送到接收终端。说明书的这一节描述了一种利用处理该请求的服务器构造比特流的程序。实例来自用户的请求

一个简单的请求包含下列信息：

发送具有编号k、l、m并具有各自的精度级nk、nl、nm的目标，在此，精度级是每个标引发送的最高子段的标引。

可以发送多个原始请求。对他们服务将按照接收它们的顺序或者按照别的指定顺序来进行。用于服务一个请求的程序(细节)

如果需要的话，就发送拓扑消息。响应于图像信息的第一个请求发送TOP。

发送描述被请求的目标的边界所必需的全部形状描述符。对于译码器已知的那些形状描述符没有必要发送。当使用附图7中的拓扑树形结构时，将发现不是在作为目标的相同分枝上或者在相同的或者低的分级水平上的全部形状描述符需要发送。服务器知道译码器的状态并且将只发送译码器未知的那些形状描述符。

发送(复合)子段描述符，其描述被请求到规定精度级的的目标。译码器已知的子段描述符不需要发送。例如，用户知道属于段k的子段{Bk0，Bk1，Bk2，Bk3}。当目标k被请求到精度级7时，则必须发送子段描述符{Bk5，Bk6，Bk7}。实例

在说明书的这一节中，给出了有关可以应用本建议方法的情形的实例。

根据附图5，假定在图像R51的中心有一环形区域R52，它的质量必须超过该圆形外部的区域R53的质量，在下文中后一区域被称为背景。可是，背景R53和区域R52必须同时传输。然后接着发生：

1.利用子波变换对原始图像进行变换。

2.然后在变换域中创建遮罩。此遮罩描述了为了重建区域R52与背景R53在变换域中所需要的系数。然后使用产生的遮罩把变换域中的系数分类为两个段，一个段用于区域一个段用于背景。这两个段由许多子段构成。在说明的这个情况下，子段编号与变换域中的次能带编号相同。因此即将发生的情形是：

2.1相对于属于区域R52的区域段：

{{r_0，1，r_0，2，...，r_0，1}，...{r_{no_subbands，1}，r_{no_subbands，2}，...r_{no_subbands，j}}}

在此，i，j是在不同子段中的系数的编号。

2.2相对于属于背景R53的背景段：

{{b_0，1，b_0，2，...b_0，p}，...，{b_{no_subbands，1}，b_{no_subbands，2}，...b_{no_subbands，q}}}

在此，p，q是在不同子段中的系数的编号。

3.然后对两个子段编码如下：

3.1相对于区域段：

形状描述符T_r＝{B_r，0，B_r，1，...，B_{r，no_subbands}}和一组子段指针{P_B_r，o，P_B_r，1，...，P_B_{r，no_subbands}}。

3.2相对于背景段：

段描述符Tb＝{B_b，0，B_b，1，...，B_{b，no_subbands}}和一组子段指针{p_B_b，o，p_B_b，1，..，p_B_{b，no_subbands}}。

4.然后按照下面的方式把两个段合并为单个比特流，比特流51；

<图像报头><TOP><S_r><{p_B_b，o，p_B_r，0，p_B_b，1，p_B_{b，no_subbands}p_B_{r，no_subbands}}><MT(b，r)＝{B_b，0，B_r，0，B_b，1，B_r，1，...，B_{b，no_subbands}，B_{r，no_subban ds}}>

在这种情况下，按照附图5上方所示的方式合并子段，利用背景的次比特流交替地产生区域的次比特流52。应当注意，当接收机知道设置图像的各个部分的顺序时就不需要TOP字段。换言之，数组的第一部分，从<图像报头>到P_B，是定义不同的图像区域位于压缩比特流<MT(b，r)＝{...B...}>的剩余部分中什么地方。

5.然后，合并了的比特流发送到接收机。

在译码器那边发生如下事件：

6.图像报头随同拓扑结构、波形信息和指针被读取。

7.译码器现在能够产生与上面描述的遮罩相同的遮罩。

8.译码器产生具有基础子段的段。

9.译码器开始对合并了的比特流进行解码并在相应的子段中填充传输变换系数。

10.一个相反的变换被使用。

11.对图像进行传输和重建。

上述是使用所建议的方法的一种方法。其他的方法可以以另外一种方法来合并(混合)比特流。例如，如图5的下方所示，可以首先传输区域R52，然后接着传输背景R53。另外一个例子是找到多个区域，如参考附图6描述的一样，藉其以许多不同的方法合并这些区域。

除了前面提及的优点，本建议的方法具有使波形信息能够仅仅在必要时才被发送的附加优点。

Claims

1.一种在发射机(2，5，6)和接收机(7，8)之间传输图像(3)的方法，包括步骤：

-把图像(3)分成至少两个图像区域(R1，R2，Rn)；

-把图像区域(R1，R2，Rn)编码为编码符号流(21)，所述编码利用符号表示并且在所述图像区域中具有预确定精度级；以及

-把编码符号流压缩为压缩比特流(PS1，27)，其特征在于：该方法包括进一步的步骤：

-产生(22)图像区域(R2，Rn)的至少一个的遮罩(PS2)的定义(PS2)，把两个不同的图像区域(R2，Rn)彼此无关地编码为具有所述预确定精度级；

-把所述定义(PS2)传输到接收机(7)；

-把压缩比特流(PS1，27)传输到接收机(7，8)；以及

-以及利用所述定义的帮助在接收机中进行解码(33，34)。

2.如权利要求1所述的方法，其特征在于，把两个不同的图像区域(R2，Rn)彼此无关地编码为具有所述预确定精度级。

3.如权利要求1或2所述的方法，其特征在于，仅仅对压缩比特流(PS1，27)的预定部分进行解码。

4.如权利要求1所述的方法，其特征在于，产生拓扑结构说明，在图像中定义目标(01，02，03，04)与形状(S1，S2，S3，S4)之间的拓扑关系。

5.如权利要求1所述的方法，其特征在于，产生形状说明，定义图像中的目标(01，02，03，04)的封闭的边界线(S_i)的外形。

6.如权利要求1所述的方法，其特征在于，产生段说明，定义属于各个段的变换系数。

7.如权利要求6所述的方法，其特征在于，产生子段说明，定义属于段的独立地可解码部分的变换系数。

8.如权利要求4-7中任意一个所述的方法，其特征在于，产生一个指针，定义上面提到的各个说明在比特流(27)中的位置。

9.一种用于传输图像(3)的设备，包括：

-发射机(2，5，6)和接收机(7，8)；

-用于把图像(3)分成至少两个图像区域(R1，R2，Rn)的装置(4，5)；

-用于把图像区域(R1，R2，Rn)编码为编码符号流的编码装置(5)，所述编码装置利用符号表示并且在所述图像区域中具有预定精度级；

-用于把编码符号流压缩为压缩比特流(PS1，27)的压缩装置；以及

-在发射机(2，5，6)中用于把所述压缩比特流(PS1，27)传输到接收机(7，8)的装置，其特征在于，该设备还包括：

-用于产生图像区域(R2，Rn)的至少一个的遮罩(PS2)的定义(PS2)的装置(5)，编码装置(5)被安排来把两个不同的图像区域(R2，Rn)彼此无关地编码(24)为具有所述预定精度级；

-在发射机(2，5，6)中用于把所述定义(PS2)传输到接收机(7，8)的装置；以及

-在接收机中用于在所述定义(PS2)的帮助下把压缩比特流(PS1，27)的预确定部分进行解码(34，35)的译码器(8)。

10.如权利要求9所述的设备，其特征在于，编码装置被安排来把两个不同的图像区域(R2，Rn)彼此无关地编码为具有所述预确定精度级。

11.如权利要求9或10所述的设备，其特征在于，译码器(8)被安排来仅仅对压缩比特流(PS1，27)的预确定部分进行解码。

12.如权利要求9所述的设备，其特征在于，发射机(2，5，6)具有用于产生拓扑结构说明的装置，定义在图像中的目标(01，02，03，04)与形状(S1，S2，S3，S4)之间的拓扑关系。

13.如权利要求9所述的设备，其特征在于，发射机(2，5，6)具有用于产生形状说明的装置，定义在图像中的目标(01，02，03，04)与形状(S1，S2，S3，S4)之间的封闭的边界线(S_i)的外形。

14.如权利要求9所述的设备，其特征在于，发射机(2，5，6)具有用于产生段说明的装置，定义属于各个段的变换系数。

15.如权利要求14所述的设备，其特征在于，发射机(2，5，6)具有用于产生子段说明的装置，定义属于段的独立地可解码部分的变换系数。

16.如权利要求12、13、14或15所述的设备，其特征在于，发射机(2，5，6)具有用于产生指针的装置，定义上面提到的各个说明在比特流(27)中的位置。