CN101102495B - 一种基于区域的视频图像编解码方法和装置 - Google Patents

Abstract

本发明公开了基于区域的视频图像编解码方法和装置。所述方法是：编码步骤为提供数字图像数据、选择输入数字图像的区域、对输入数字图像数据进行优先级划分、对变换后的图像数据进行量化操作和记录优先级数据；解码步骤包括对不同区域的位置信息和优先级信息解码、计算各个区域的量化值、使用量化值对各个区域内的数据进行逆量化操作。所述装置的结构是：编码装置设有区域选择、优先级划分和量化单元；解码装置包括区域信息解码和逆量化单元。本发明没有增加任何高复杂度的编码模块，在传输带宽和存储空间有限的情况下优先保证感兴趣区域的图像质量，同时可以提高图像的主观质量，比较精细地控制比特率，以及改善感兴趣区域的失真率曲线的性能。

Description

一种基于区域的视频图像编解码方法和装置

技术领域

本发明涉及视频编解码领域，特别是涉及基于当前区域编码方法之上的视频编码方法和装置。

背景技术

网络视频流业务的迅速发展无可避免的受到有限带宽资源的制约，而在用甚低比特率进行视频压缩时，往往会丢失一些细节信息，甚至其中部分信息是人们特别感兴趣的，比如视频会议中的人物头肩区域，航空图像中携带重要信息的小目标区域，干涉多光谱图像中的干涉条纹区域，以及医学图像中病灶区域等等，这些可以统称为感兴趣区域。从主观视觉角度来说，这些区域的恢复质量直接影响到重建图像的整体主观感受质量。感兴趣区域编码将有限的码率优先分配给视频序列中人们感兴趣的区域，可以明显提高恢复图像质量，同时便于对码流实现分层不等重保护功能，提高视频网络通信系统的鲁棒性，因此在网络视频流业务的不断发展中起着至关重要的作用。许多文献在感兴趣区域视频编码方法上做了有益的研究[1-6]。文献[3]将感兴趣区域分割为子图像进行独立编码，并且提出了一种渐变的码率分配方案；文献[4]在MPEG4-FGS(Fine Granular Scalable)的基础上，通过位平面提升的方法提高感兴趣区域图像增强层的压缩质量。这些方法取得了一定的效果，但都不能从压缩的角度对感兴趣区域的视频质量加以改善，也不能基于实际的图像内容更有效的利用码率资源。

因此，在视频应用中，特定区域的图像细节对于用户体验质量更加重要。在传输带宽和存储空间有限的情况下，优先保证特定区域的质量，这是对传统视频编码技术提出的新要求。

发明内容

本发明所要解决的技术问题是：在传输带宽或者存储容量一定的情况下，优先保证感兴趣区域的编码质量，同等码率下，感兴趣区域的主客观质量都得到大幅提升，并且通过过渡带和感兴趣区域内部的优先级设定，使得感兴趣区域和背景区域之间的质量控制更加精细。

本发明按下述技术方案解决其技术问题：

本发明提供的一种基于区域的视频图像编解码方法如下：

(1)基于区域的视频图像编码方法：

包含以下的用于压缩数字视频或数字图像的编码步骤：

1)以计算机可读格式提供数字图像数据，其包括关于像素的数值和坐标的数据，

2)选择输入数字图像的感兴趣区域、背景区域和过渡带区域，

3)根据至少三个优先级对输入数字图像数据进行优先级划分，

4)按照优先级的设定，分别对各个区域的预测变换后的数据进行分级量化，不同区域的量化系数的选择依照优先级进行，并对变换后的图像数据进行量化操作，

5)在输出码流中记录感兴趣区域的位置信息、过渡带宽度信息以及各个区域的优先级数据；

(2)基于区域的视频图像解码方法：

包含以下的用于解压缩数字视频或图像的解码步骤：

使用输入比特流，解码不同区域的位置信息和优先级信息，

根据不同区域的优先级信息，计算各个区域的量化值，

使用量化值对各个区域内的数据进行逆量化操作。

本发明提供的用于上述的基于区域的视频图像编解码方法的装置，其结构是：

(1)基于区域的视频图像编码的装置，其设有：用于对输入图像分割成感兴趣区域、过渡带区域和背景区域的三种区域选择单元；用于对各个区域划分不同的优先级的优先级划分单元；用于根据不同优先级映射不同的量化值，并使用量化值对图像数据进行量化操作的量化单元。

(2)基于区域的视频图像解码的装置，其包括区域信息解码单元和逆量化单元，其中：区域信息解码单元，包括使用输入比特流，解码不同区域的位置信息和优先级信息的解码单元；逆量化单元，包括根据不同区域的优先级信息计算各个区域的量化值，并使用量化值对各个区域内的数据进行逆量化操作的单元。

本发明提供的方法与现有技术相比具有以下的主要优点：

首先，在传输带宽和存储空间有限的情况下，本方法优先保证感兴趣区域的图像质量。通过对本编码方法进行仿真实验可以看出，本方法与传统编码方法相比，当感兴趣区域占原图像1/3时，在同等码率的情况下，感兴趣区域的客观编码质量可提高1.5dB以上，并且主观质量不会下降。

其次，复杂度不大。本发明没有增加任何高复杂度的编码模块，不会带来复杂度上的提高，复杂度传统编码方式相当。

附图说明

图1为本发明的区域划分示意图。

图2为使用本发明方法，对foreman序列编解码后感兴趣区域客观质量测试结果。

图3为使用传统方法，在128Kbits/s码率下，foreman序列第2帧的编码效果图。

图4为使用本发明方法，在128Kbits/s码率下，foreman序列第2帧的编码效果图。

具体实施方式

本发明公开了基于区域的视频图像编解码方法和装置。所述方法是：编码步骤为提供数字图像数据、选择输入数字图像的区域、对输入数字图像数据进行优先级划分、对变换后的图像数据进行量化操作和记录优先级数据；解码步骤包括对不同区域的位置信息和优先级信息解码、计算各个区域的量化值、使用量化值对各个区域内的数据进行逆量化操作。所述装置的结构是：编码装置设有区域选择、优先级划分和量化单元；解码装置包括区域信息解码和逆量化单元。

下面结合实施例及附图对本发明作进一步说明，但不限定本发明。

本发明提供了一种基于区域的视频图像编解码方法，如下：

(1)基于区域的视频图像编码方法：

包括以下的用于压缩数字视频或数字图像的编码步骤：

1)以计算机可读格式提供数字图像数据，其包括大批关于像素的数值和坐标的数据；

2)选择输入数字图像的感兴趣区域、背景区域和过渡带区域，该输入数字图像是从输入视频中去除了时域冗余而得到的帧图像。三区域的划分见图1。

3)根据至少三个优先级对输入数字图像数据进行优先级划分，其具体方法为：

对输入的视频或图像数据根据用户信息或者其它区域分割算法，确定感兴趣区域、过渡带区域和背景区域的坐标范围。如图1所示：一般说来，三个部分中，最外的是背景区域，最内的是感兴趣区域，居中的是过渡带区域，其连接背景区域和感兴趣区域。

对应于感兴趣区域的数字图像数据与对应于感兴趣区域以外区域的数字图像数据相比，具有更高的优先级或者和过渡带区域的数字图像数据具备相同的优先级；对应于过渡带区域的数字图像数据与背景区域的数字图像数据相比，具有更高的优先级；感兴趣区域内部的数字图像数据以宏块为单位，优先级高低相间。所述感兴趣区域内部的优先级高低相间指的是包括但不限于采用小块相间的方法，即使区域中每个小块的优先级与相邻的纵向和横向的小块的不同，但与斜向上的小块相同。

设背景区域的优先级参数为IMP1，设过渡带区域的优先级参数为IMP2，感兴趣区域的优先级参数为IMP3和IMP4，其中：

IMP 1＝1；    (1)

IMP1≤IMP2    (2)

IMP2≤IMP3    (3)

IMP3≤IMP4；    (4)

当公式(2)取小于符号时，过渡带质量优于背景质量；取等于符号时，过渡带质量等于背景质量。

当公式(3)取小于符号时，ROI质量优于过渡带质量；取等于符号时，ROI质量等于过渡带质量。

当公式(4)取小于符号时，ROI区域内部存在两种不同的优先级；取等于符号时，ROI区域内部优先级一致。

4)按照优先级的设定，分别对各个区域的预测变换后的数据进行分级量化，不同区域的量化系数的选择依照优先级进行，并对变换后的图像数据进行量化操作。变换方法包括离散余弦变换和小波变换。

对于不同区域的量化系数的选择依照优先级进行的方法为：量化系数的等级总数和优先级的等级总数相等。量化系数的顺序从高到低排列，优先级的顺序从低到高排列，并且两个集合一一对应；或者，量化系数的顺序从低到高排列，优先级的顺序从高到低排列，并且两个集合一一对应。

如图1所示，其中由于在接口输入中每帧初始量化值在编码器中已经确定，所以背景区域的量化值QP1为已知；过渡带的量化值QP2，感兴趣区域中深色宏块的量化值QP3和白色宏块的量化值QP4通过下述方法计算得到：

QP3定义为：QP3＝QP1/IMP3，其中IMP3为已知的量，因此QP3也间接的为已知量。

QP4定义为：QP4＝QP1/IMP4，其中IMP4为已知的量，因此QP4也间接的为已知量。

QP2定义为：QP2＝(QP1-QP3)*dis/(width+1)+QP3，其中，dis为过渡带区域宏块到感兴趣区域边界的距离，width为过渡带区域的宽度。

然后可按照一般的视频/图像编码系统对数字信号进行编码，包含运动估计单元、预测单元、变换单元、量化单元、熵编码单元等等。其中在量化单元需根据步骤3产生的量化值对各个区域的数据进行分级量化。

5)在输出码流中记录感兴趣区域的位置信息、过渡带宽度信息以及各个区域的优先级数据；

本发明中的区域位置信息和优先级信息需编码到输出码流中。编码方法可以采用差分预测法、哥伦布码、变长编码等。

(2)基于区域的视频图像解码方法：

包括以下的用于解压缩数字视频或图像的解码步骤：

使用输入比特流，解码不同区域的位置信息和优先级信息，即解析输入码流中的区域信息，获取当前图像的各个区域位置和优先级数据。

采用上述的对于不同区域的量化系数的选择依照优先级进行的方法，根据不同区域的优先级信息，计算各个区域的量化值；

按照一般解码器流程对输入码流进行解码重构，包括逆量化、逆变换、运动补偿等单元，直至重构出解码图像。其中逆量化单元需采用上一步骤计算所得的量化值。

本发明中，上述的视频或图像可以是静止画面，或者是运动画面。

采用本发明提供的上述方法，对标准测试序列foreman(352×288)进行测试，该序列经编解码后的PSNR(一般用于评价图像的质量，称为峰值信噪比，一般其值越大表示图像质量越好)值，与不用本发明方法进行测试的原始值(ORG)进行比较，并且绘成曲线放于同一个坐标图中(见图2)。显而易见，采用本发明所述的区域编码方法的图像(见图4)，其峰值信噪比大于一般图像(ORG)的峰值信噪比，即其图像质量优于不采用本发明编码方法的图像(见图3)质量。

本发明还提供了能够实现上述的任一种方法的基于区域的视频图像编解码装置。

(1)基于区域的视频图像编码的装置：

其设有：区域选择单元，用于对输入图像分割成感兴趣区域、过渡带区域和背景区域；优先级划分单元，用于对各个区域划分不同的优先级；量化单元，用于根据不同优先级映射不同的量化值，并使用量化值对图像数据进行量化操作。

所述区域选择单元根据用户提供或图像分割方法提供的各个区域的坐标位置信息进行图像分割。

所述量化单元，用于根据不同优先级映射不同的量化值，并使用量化值对图像数据进行量化操作。其中操作特征为：用户端设定初始量化值，作为最大量化值；按比例设定各级量化系数的值，并且量化系数的等级总数和优先级的等级总数相等。量化系数的大小从高到低排列，优先级的大小从低到高排列，并且两个集合一一对应；或者，量化系数的大小从低到高排列，优先级的大小从高到低排列，并且两个集合一一对应。

(2)基于区域的视频图像解码的装置：

包括区域信息解码单元和逆量化单元。其中：区域信息解码单元，包括使用输入比特流，解码不同区域的位置信息和优先级信息的解码单元；逆量化单元，包括采用上述的对于不同区域的量化系数的选择依照优先级进行的方法，根据不同区域的优先级信息计算各个区域的量化值，并使用量化值对各个区域内的数据进行逆量化操作的单元。

还包括使用重构图像和运动矢量执行运动补偿操作而生成输出图像的执行单元。

本发明实施的系统可以是电视机、机顶盒、桌上电脑、膝上电脑或掌上电脑、个人数字助理(PDA)、或视频或图像存储装置(例如，录像机(VCR)或数字视频录像机(DVR))。另外，该系统可以是上述装置的组合或上述装置之一(其中该装置包括其中的另一装置的一部分)。该系统包括至少一个视频源、至少一个输入/输出单元、处理器和存储器。

参考文献

[1]Supavadee Aramvith，Hatairat Kortrakulkij，DatchakornTancharoen and SomchaiJitapankul.Joint source-channel coding using simplified block-based segmentation andcontent-based rate-control for wireless video transport[A].

Proceedings of Internation Conference on Information Technology：

Coding and Computing(ITCC)2002[C].Las Vegas，Nevada，April 08-10，2002.71-76.

[2]C WLin，Y C Chen，MT Sun.Dynamic region of interest transcoding formultipoint video conferencing[A].Proceedings of Int.Computer Symp.Workshop on Computer Networks，Internet，and Multimedia[C].Chiayi，Taiwan，2000.114-121.

[3]Miska M.Hannuksela，Ye-Kui Wang，Moncef Gabbouj.Sub-picture：OI coding and unequal error protection[A].IEEE 2002 International Conferenceon Image Processing(ICIP’2002)[C].Rochester，New York，USA：Sept.2002.537-540.

[4]Changho Shin，Kwang-deok Seo，Jae-kyoon，Kim.Rectangular region-basedselective enhancement forMPEG-4 fine granular scalability[A].Int.Packet Video Workshop[C].Pittsburgh USA：April，2002.101-107.

[5]Nikolaos Doulamis，Anastasios Doulamis，Dimitrios Kalogeras，StefanosKollias.Lowbit-rate codingof image sequencesusing adaptive regionsof interest[J].IEEETransactions on CSV T，8(8)：928-934.

[6]D Chai，K N Ngan，A Bouzerdoum.Foreground/background bit allocationfor region of interest coding[A].IEEE 2000 International Conference on ImageProcessing(ICIP’2000)[C].Vancouver，BC，Canada，Sept.2000，2：923-926.

Claims (8)

1.一种基于区域的视频图像编解码方法，其特征是：

(1)基于区域的视频图像编码方法：

包含以下的用于压缩数字视频或数字图像的编码步骤：

1)以计算机可读格式提供数字图像数据，其包括关于像素的数值和坐标的数据，

2)选择输入数字图像的感兴趣区域、背景区域和过渡带区域，

3)根据至少三个优先级对输入数字图像数据进行优先级划分，感兴趣区域内部的数字图像数据以宏块为单位，优先级高低相间，

所述优先级高低相间指的是包括但不限于采用小块相间的方法，即使区域中每个小块的优先级与相邻的纵向和横向的小块的不同，但与斜向上的小块相同，

4)按照优先级的设定，分别对各个区域的预测变换后的数据进行分级量化，不同区域的量化系数的选择依照优先级进行，并对变换后的图像数据进行量化操作，

5)在输出码流中记录感兴趣区域的位置信息、过渡带宽度信息以及各个区域的优先级数据；

(2)基于区域的视频图像解码方法：

包含以下的用于解压缩数字视频或图像的解码步骤：

使用输入比特流，解码不同区域的位置信息和优先级信息，

根据不同区域的优先级信息，计算各个区域的量化值，

使用量化值对各个区域内的数据进行逆量化操作。

2.如权利要求1所述的基于区域的视频图像编解码方法，其特征是所述视频或图像是静止画面，或者是运动画面。

3.如权利要求1所述的基于区域的视频图像编解码方法，其特征是所述输入数字图像是从输入视频中去除了时域冗余而得到的帧图像。

4.如权利要求1所述的基于区域的视频图像编解码方法，其特征是进行优先级划分的具体方法为：对应于感兴趣区域的数字图像数据与对应于感兴趣区域以外区域的数字图像数据相比，具有更高的优先级或者和过渡带区域的数字图像数据具备相同的优先级；对应于过渡带区域的数字图像数据与背景区域的数字图像数据相比，具有更高的优先级。

5.如权利要求1所述的基于区域的视频图像编解码方法，其特征是不同区域的量化系数的选择依照优先级进行的方法为：

量化系数的等级总数和优先级的等级总数相等；

量化系数的顺序从高到低排列，优先级的顺序从低到高排列，并且两个集合一一对应；

或者，量化系数的顺序从低到高排列，优先级的顺序从高到低排列，并且两个集合一一对应。

6.如权利要求1所述的基于区域的视频图像编解码方法，其特征是基于区域的视频图像解码步骤还包括：通过使用重构图像和运动矢量执行运动补偿操作而生成输出图像。

7.一种用于权利要求1至6中任一权利要求所述的基于区域的视频图像编解码方法的装置，其特征是：

(1)基于区域的视频图像编码的装置，其设有：用于对输入图像分割成感兴趣区域、过渡带区域和背景区域的三种区域选择单元；用于对各个区域划分不同的优先级的优先级划分单元；用于根据不同优先级映射不同的量化值，并使用量化值对图像数据进行量化操作的量化单元；

(2)基于区域的视频图像解码的装置，其包括区域信息解码单元和逆量化单元，其中：区域信息解码单元，包括使用输入比特流，解码不同区域的位置信息和优先级信息的解码单元；逆量化单元，包括根据不同区域的优先级信息计算各个区域的量化值，并使用量化值对各个区域内的数据进行逆量化操作的单元。

8.如权利要求7所述的装置，其特征是所述的基于区域的视频图像解码的装置，还包括使用重构图像和运动矢量执行运动补偿操作而生成输出图像的执行单元。

Images