CN1545333A - 立体视频图像信号压缩的方法 - Google Patents

Abstract

本发明公开了一种立体视频图像信号压缩的方法，该方法是采用将来自左右视点的图像，其中一个视点1数据作为独立图像，另一个视点2数据作为参考图像进行编码，独立视频图像数据与立体图像冗余数据合并，构成以帧数据形式存在的完整数据，供混合编码；经过混合编码的图像数据，被立体图像解码程序解压缩，再现立体视频图像。图像解压缩之后，可以根据用户的选择，以不同的方式显示图像。用普通的平面显示器或者不同类型的立体显示器都可以获得平面视频图像或者立体视频图像。

Description

立体视频图像信号压缩的方法

技术领域

本发明涉及一种视频图像信号压缩的方法，特别是涉及一种立体视频图像信号压缩的方法，属于图像压缩技术领域。

背景技术

立体图象将场景的三维信息完全地再现出来，显示的是具有纵深感的图像，犹如观看立体电影那样，观看者可以直接看出图像中景物的远近、纵深，犹如身临其境，获得强烈的视觉冲击。

将自然的三维空间景象立体地再现出来，一直是人类在图像技术方面的追求。自上个世纪(20世纪)初开始，科技界就开始了对立体图片技术的研究，并取得一定的进展。

由于历史的原因，现在通行的大众化的图像技术体系是以平面图像为主体的。例如电视图像信号的记录、传播与显示，网络媒体图像节目的制作、播放等，无论是软件还是硬件，都广泛使用平面图像工具。在目前的现实情况下，如果通过对平面图像体系进行改造的办法，实现立体视频图像的传播、接收与显示，无论在技术、成本上还是社会接受能力等方面都具有很大的难度。

随着多媒体技术的迅速发展，例如MPEG视频图像压缩标准的建立、宽带网络的快速建设，图像媒体的纪录、通信、播放得以高速发展，平面视频图像AV节目的实时点播(VOD)技术已经成熟并在世界范围内得到迅速普及。

另一方面，有关立体视频图像的播放、显示技术的研究也方兴未艾，成为目前国际研究热点，形成了立体图像的多种显示方式并存的局面。见表1。这些立体图像显示方式各有优缺点，在不同的场合有不同的应用。

         表1  常见的立体图像显示方式

类      别	方    法	原    理
			辅助立体显示	立体头盔	微型LCD显示器
视网膜扫描显示
	立体眼镜	偏振法
时分法
		自由立体显示		柱面光栅	平板透射
反射式投影
	透射式投影
狭缝光栅			前置式
	后置式
			投影式

平面视频图像技术的迅速发展以及立体图像显示技术的发展为立体视频图像技术的发展奠定了软件和硬件的基础，但是，由于立体视频图像具有与平面图像完全不同的信息量，一般来说，需要有别于平面视频图像媒介的软硬件平台。在以平面视频图像为主体的今天，要想重新构造全新的软件和硬件平台专门服务于立体视频图像是不现实的。

相对于平面视频图像而言，立体视频图像的信息量要大，因此，有效压缩视频立体图像是立体视频图像记录、传输、播放(显示)的关键技术之一。国外在立体视频图像压缩技术方面的研究如图1所示，具有以下特点：

①建立有别于平面视频图像压缩标准的独立的图像压缩标准，由于采用双画面并行压缩，其数据量大，能够适应不同类型的立体显示器；

②对图像的视差信息的确认以像素为最小图像单元；

③图像的解压缩与合成阶段由客户端完成；

④需要专门的立体显示器。

发明内容

本发明的目的在于着眼于现有的平面视频图像软件和硬件平台，提出全新的立体视频图像帧内压缩方式，减少图像的空间冗余。将图像的最终压缩格式采用通用的图像压缩标准，从而做到与平面视频图像兼容。若使用普通的平面视频图像解压缩软件(或解码器)可以直接打开这个立体图像数据，观看平面视频图像；若采用立体图像解压缩软件(或解码器)可以对本发明压缩的数据进行解压缩，观看立体视频图像。

本发明采用以下的技术方案来实现：

立体视频图像数据压缩的方法，来自左右视点的图像，将其中一个视点(例如图中的视点1)数据作为独立图像，另一个视点(例如图中的视点2)数据作为参考图像。数据压缩过程如下：

(1)按照特定的计算方法，求解两个视点数据的差值，获得立体图像冗余数据；

(2)根据立体图像冗余数据的空间频率分布特性，采用相应的离散变换算法对立体图像冗余数据进行压缩编码；

(3)独立视频图像数据与立体图像冗余数据合并，构成以帧数据形式存在的完整数据，供混合编码；

(4)经过前述提出的冗余数据合并方法获得的图像数据，经压缩后得到高度兼容的立体视频图像信号，该压缩信号可以被通用解码程序解压缩，再现独立视点1的平面视频图像；图像中包含局部的噪声，但仍然具有良好的视觉效果；

(5)经过前述提出的信号压缩方法获得的图像压缩数据，被立体图像解码程序解压缩，可再现立体视频图像。

本发明还可以通过以下的技术方案来进一步实现：

前述的立体视图像信号压缩的方法，其特征在于压缩编码步骤(1)所述的求解方法是采用基于最小冗余度的视点匹配算法。

前述的立体视频图像信号压缩的方法，其特征在于它兼容平面视频图像的软件平台和硬件平台和具备立体显示能力的接收端显示出立体视频图像。

前述的立体视频图像信号压缩的方法，其特征在于所述的软件平台包括图像压缩软件、AV节目制作软件、解压缩软件、数据传输软件等，这些软件可以由个人、商业、工业计算机执行，也可以由单片微型计算机或者数字信号处理芯片完成。此外，还可以单纯地使用电子线路，通过硬件的组构实现同样的目的。

前述的立体视频图像信号压缩的方法，其特征在于所述的硬件平台包括图像记录设备(例如光盘刻录设备、磁带录制设备等)、图像传输设备(如电视转播设备)、图像接收设备(例如电视信号接收机)和图像再现设备(例如显示器)。

前述的立体视频图像信号压缩的方法，其特征在于所述的图像信号压缩与解压缩的实现途径包括计算机程序、单纯的硬件电路或集成化芯片。

前述的立体图像信号压缩的方法，其特征在于该方法对静态立体图像的编码应用。

前述的立体图像信号压缩的方法，其特征在于该方法对动态立体图像的编码应用。

本发明立体图像信号压缩的方法具有以下优点：

①压缩的视频图像信息容量与同等尺寸的平面视频图像相近，携带立体信息，并可以被通用的图像解压缩工具解压缩。

②图像解压缩之后，可以根据用户的选择，以不同的方式显示图像。例如平面视频图像、辅助立体显示方式的立体图像、自由立体显示方式的立体图像等，利用普通的平面显示器或者不同类型的立体显示器都可以获得平面视频图像或者立体视频图像。

③与AV视频图像标准兼容，所压缩的图像可以直接采用通行的AV节目编辑软件进行立体视频图像的编辑和播放。这样，既使得立体视频节目的制作成本降低，也便于终端用户接收和播放立体视频节目。

图2所示信号压缩思想依托于适当的变换或编码手段，而基于这样的帧内编码方案，可以建立与平面图像兼容的视频立体图像编码，其具体步骤如下：

冗余图像数据的获得：

为了在空间域尽可能地减少数据容量，对于求解两个视点数据的差值，可以采用视点匹配算法。以下为视点匹配算法的一个具体关系式：

设视点1、视点2的图像像素尺寸为n×m，图像函数分别为f₁(x，y)、f₂(x，y)，两个图像按像素逐次相减所得到的偏差值为：

        Δ_i＝f₁(x_i，y_i)-f₂(x_i-k，y_i-l)

               (1)

        i＝0、1、2、......n×m，k、l＝0、1、2、3、......，一般k，l＜10

则满足下列条件之一者，可作为进一步计算图像冗余数据，并记录下满足条件的偏移量k、l。

1、存在着两个大小相等、互为相反数的偏差值Δ_i的极值Δ_A。

2、偏差值之和Δ_B小于阈值Δ_th。

${\mathrm{\Δ}}_B=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\Δ}}_i\≤{\mathrm{\Δ}}_{\mathrm{th}}---\left(2\right)$

3、偏差值之算术平方和Δ_C最小。

${\mathrm{\Δ}}_C=\sqrt{\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\Δ}}_i^2}---\left(3\right)$

冗余编码：

采用高压缩比的图像变换算法，例如小波变换(Wavelet)对冗余图像数据进行编码。得到的图像滤除高频分量，然后独立编码，获得立体图像的冗余数据。

图像混合：

视点1的独立图像数据与立体冗余数据向混合的目的是得到一个连续的数据，该数据供后续混合编码使用。混合的方式有多种，一般分为两大类：

1、拼接：将经过编码后的立体冗余数据直接接入视点1的独立图像数据的尾部，形成如图3(a)所示的数据流。

2、随机：将经过编码后的立体冗余数据以像素为单位，随机地插入视点1的独立图像数据，视点1的插入点立体数据所取代，如图3(b)。其中□为视点1的独立图像数据段，◆为立体冗余数据段。

帧内混合编码：

将图3所示的混合数据视为完整的图像数据，进行帧内编码。

视频图像序列编码：

根据不同的平面视频图像编码标准，有不同的处理步骤。以MPEG标准为例，其内容包括：离散余弦变换、Zigzag编码、Huffman编码、运动补偿、量化、熵编码等等。

其中，立体视频图像码流语法的独特定义包括：

1、图像尺寸的定义：在常规的平面图像序列头文件中，标注两个独立视点图像(例如视点1)的水平与垂直尺寸。

2、立体视频图像标志：利用标准的平面视频图像保留位，作为立体视频图像的标示位。

3、立体冗余图像数据段的处理：对于拼接方式独立视点(例如视点1)图像的图像码流结束处标注结束标志，随后是立体冗余图像数据段，该段结束之后标注视点1的独立图像码流开始标志。

附图说明：

图1是传统的立体图像压缩方案  其中1是视点1、2是视点2；

图2是本发明立体图像压缩方案  其中1是视点1、2是视点2；

图3是图像数据混合方式举例  其中1是拼接方式、2是随机方式；

具体实施方式

实施例1  静态立体图像的压缩

本发明适合于静态立体图像的压缩编码，适合所有的静态图像压缩标准，例如JPEG、PCX、GIF、TIFF等格式的静态图像，压缩后的图像可以有通用的平面图像解压缩方法解压缩，得到平面的图像。经压缩的图像，可由本发明相对应的解压缩编码过程解压缩，获得立体图像。

以800×600像素的JPEG格式的静态立体图像拼接压缩过程为例。

采用图2所示的编码方案，得到混合编码值，然后，按照8×8分块进行基于离散余弦变换(DCT)、量化、熵编码。为了满足无失真操作方式，可以用DPCM的预测编码方法代替DCT编码。

文件头定义，图像尺寸800×600，立体图像数据空间大小定义于JPEG文件头的保留字节，一般控制在800×800以下。文件的图像数据前段保存独立视点1(例如右图像)的压缩数据，后段保存立体冗余数据。

兼容JPEG标准的立体图像压缩文件格式定义如下：

1)图像开始标志(SOI)

2)APP0标志(Marker)

APP0长度(length)

标识符(identifier)

版本号(version)

密度单位(density unit)*

X方向密度(X density)*

Y方向密度(Y density)*

缩略图水平像素数目(thumbnail horizontal pixels)*

缩略图垂直像素数(thumbnail vertical pixels)*

缩略图RGB位图(thumbnail RGB bitmap)*

3)APPn标志(Marker)

APPn长度(length)

详细信息(application specific information)

4)量化表(DQT)

量化表长度(quantization table length)

量化表数目(quantization table number)

量化表(quantization table)

5)帧图像开始(SOF0)

帧开始长度(start of frame length)

精度(precision)

图像高度(image height)*

图像宽度(image width)*

颜色分量数(number of color components)

分量ID表(for each component)

         —垂直方向的样本因子(vertical sample factor)

         —水平方向的样本因子(horizontal sample factor)

         —量化表号(quantization table)

6)哈夫曼表(DHT)

哈夫曼表长度(Huffman table length)

类型、AC或者DC(type，AC or DC)

索引(index)

位表(bits table)

值表(value table)

7)扫描开始(SOS)

扫描开始长度(start of scan length)*

颜色分量数(number of color components)

颜色分量ID表(for each component)

          —交流系数表号(AC table #)

          —直流系数表号(DC table #)

压缩图像数据(compressed image data)**

8)(EOI)

*按照单视点平面图像数据定义

**压缩数据尾部包含立体图像压缩数据

未标注项目包含立体图像数据

实施例2  动态立体图像的压缩

本发明适合于动态立体图像的压缩编码，适合所有的动态图像压缩标准，例如MPEG、H.261、H.263等格式的视频图像，压缩后的图像可以有通用的平面视频图像解压缩方法解压缩，得到平面的视频图像。经压缩的图像，可由本发明相对应的解压缩编码过程解压缩，获得立体视频图像。

以352×244像素的MPEG-4格式的视频立体图像随机压缩过程为例。

采用图2所示的编码方案，得到混合编码值，然后，按照8×8分块进行基于离散余弦变换(DCT)、量化、熵编码。为了满足无失真操作方式，可以用DPCM的预测编码方法代替DCT编码。

随后，按照MPEG-4的标准进行去空域冗余、去时域冗余获得基本码流。

序列头定义，序列尺寸352×244，文件的视频码流保存独立视点1图像数据(例如右图像)的压缩数据，其中混合保存立体冗余数据。

除实施例外，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围之内。

Claims (7)

1、立体视频图像信号压缩的方法，将来自左右视点的图像，其中一个视点I数据作为独立图像，另一个视点II数据作为参考图像，然后按下列步骤进行：

(1)求解两个视点数据的差值，获得立体图像冗余数据；

(2)根据立体图像冗余数据的空间频率分布特性，采用相应的离散变换算法对立体图像冗余数据进行压缩；

(3)独立视频图像数据与立体图像冗余数据合并，构成以帧数据形式存在的完整数据，供后续的数据混合；

(4)经过前述提出的冗余数据合并方法获得的图像数据，经压缩后得到高度兼容的立体视频图像信号，该压缩信号可以被通用解码程序解压缩，再现独立视点I的平面视频图像；

(5)经过前述提出的信号压缩方法获得的图像压缩数据，被立体图像解码程序解压缩，可再现立体视频图像。

2、根据权利要求1所述的立体视图像信号压缩的方法，其特征在于编码步骤(1)所述的求解方法是采用基于最小冗余度的视点匹配算法。

3、根据权利要求1所述的立体视频图像信号压缩的方法，其特征在于它兼容平面视频图像的软件平台和硬件平台和具备立体显示能力的接收端显示出立体视频图像。

4、根据权利要求3所述的立体视频图像信号压缩的方法，其特征在于所述的硬件平台包括图像记录设备、图像传输设备、图像接收设备和图像再现设备。

5、根据权利要求3所述的立体视频图像信号压缩的方法，其特征在于所述的图像信号压缩与解压缩的实现途径包括计算机程序、单纯的硬件电路和集成化芯片。

6、根据权利要求1所述的立体视频图像信号压缩的方法，其特征在于该方法对静态立体图像的编码应用。

7、根据权利要求1所述的立体视频图像信号压缩的方法，其特征在于该方法对动态立体图像的编码应用。