CN102006468B - 立体元图像多等级混合预测编码结构 - Google Patents

立体元图像多等级混合预测编码结构 Download PDF

Info

Publication number
CN102006468B
CN102006468B CN 201010266938 CN201010266938A CN102006468B CN 102006468 B CN102006468 B CN 102006468B CN 201010266938 CN201010266938 CN 201010266938 CN 201010266938 A CN201010266938 A CN 201010266938A CN 102006468 B CN102006468 B CN 102006468B
Authority
CN
China
Prior art keywords
image
row
key
key images
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010266938
Other languages
English (en)
Other versions
CN102006468A (zh
Inventor
王世刚
韦健
金福寿
陈贺新
赵岩
王学军
吕源治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN 201010266938 priority Critical patent/CN102006468B/zh
Publication of CN102006468A publication Critical patent/CN102006468A/zh
Application granted granted Critical
Publication of CN102006468B publication Critical patent/CN102006468B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

立体元图像多等级混合预测编码结构属立体视频编码技术领域，本发明将立体元图像分为两种，包括关键图像和非关键图像；以关键图像为基准将立体元图像阵列分为二维的图像组阵列；关键图像采用图像内预测进行编码，非关键图像根据其在相应图像组内的位置选择不同的预测模式进行编码。与现有的单视点视频预测编码结构相比，本发明能在不改变每个立体元图像的空间位置的同时，使大多数的立体元图像拥有更多的参考图像用于预测编码，从而提高编码效率。

Description

立体元图像多等级混合预测编码结构
技术领域
本发明属于立体视频编码技术领域。
背景技术
目前主流的显示技术大都局限于二维平面的显示，图像缺乏立体感、深度感和真实感。与二维显示相比，立体显示恢复了投影时失去的深度信息，在屏幕上能呈现三维的立体影像，其信息量更大，感染力更强。立体显示技术主要有两类：利用两眼视差的立体显示方法、真实立体显示方法。第一类方法容易实现而且成本较低，但一般需要佩戴特殊的光学眼镜才能观看立体影像而且容易引起视觉疲劳。第二类方法主要有三种：全息术、体显示技术、组合真实立体显示技术。相对于时空分辨率受限的全息术与体显示技术，组合真实立体显示技术利用昆虫的复眼结构的成像原理，不仅可以提供在一定视角范围内的连续视点，而且显示的三维影像立体感突出，透视关系明确，显示画面的大小仅取决于所采用的平板显示器的尺寸。
组合真实立体显示技术主要由立体影像的采集子系统和立体影像的显示子系统组成。通过采集(编码)镜头矩阵，把三维物体的空间信息记录在记录媒体上，每一个子镜头单元在记录媒体上记录的图像单元称之为立体元图像。将记录有三维物体空间信息的立体元图像经过一定的转换，在高清晰度的平板显示器上进行显示，再通过一组与采集镜头矩阵有一定比例关系的显示(解码)镜头矩阵进行光学解码，就可以在空间上形成与被采集的三维物体具有相同表面特征的立体影像。
表现出一定分辨率下的三维场景需要采集大量的不同深度视角的立体元图像，因此为了实现在多媒体设备中的存储和在网络中的实时传输，需要对立体元图像进行压缩编码。最直接的编码方法是采用传统的静止图像压缩方法如JPEG与JPEG2000。对于立体元图像，除了其内部像素点之间存在相关性，相邻的立体元图像之间也存在很强的相关性，这种相关性的分布正是立体元图像与一般二维图像的主要区别。静止图像压缩方法没有利用立体元图像之间的相关性，所以其在立体效果传输方面还不成熟。如何利用立体元图像之间的相关性，将大量的数据进行高效地压缩编码成为了未来组合立体视频系统走向实用化的关键。
目前，国内对立体元图像编码的研究还没有报道，国外在这方面的研究也处于刚刚起步阶段。现有的立体元图像编码方法主要分为两种，一种是基于三维离散余弦变换或二维小波变换的编码方法，另一种是将所有的立体元图像重新排列成单视点视频序列，然后采用单视点视频的预测编码结构，通过MPEG或H.264进行编码。比较而言，第二种方法可以获得更高的编码效率。然而，这种方法在重新排列立体元图像的过程中改变了每个图像的空间位置，这在一定程度上降低了图像之间的相关性；另外，在单视点视频预测编码结构中，预测编码的方向是一维的，参考图像数量最多时只能达到两个，所以，编码效率受到了预测编码结构的限制。
发明内容
本发明的目的是提供一种用于立体元图像编码的多等级混合预测编码结构，在不改变每个立体元图像的空间位置的同时，使大多数的立体元图像可以拥有更多的参考图像用于预测编码，从而提高编码效率。
本发明的具体结构如下：
1.将立体元图像分为两种，包括关键图像和非关键图像；以关键图像为基准将立体元图像阵列分为二维的图像组阵列；关键图像采用图像内预测进行编码，非关键图像根据其在相应图像组内的位置选择不同的预测模式进行编码。
2.关键图像和非关键图像，是将立体元图像阵列中在行和列方向上相隔一定距离的部分立体元图像选为关键图像，余下的立体元图像作为非关键图像。
3.以关键图像为基准将立体元图像阵列分为二维的图像组阵列由下列具体步骤实现：一个关键图像、所有处于此关键图像与行和列方向上的前一个关键图像之间的非关键图像，以及所有处于由上述非关键图像包围的区域中的非关键图像，组成一个图像组；在图像组阵列中，第一列图像组的大小为P×1，其余列的图像组的大小为P×Q；
其中：P为每个图像组的行数，Q为每个图像组的列数。
4.非关键图像根据其在相应图像组内的位置选择不同的预测模式进行编码由下列具体步骤实现：在每个图像组中，对于包含关键图像的行，所有的非关键图像采用列间预测进行多等级编码；对于包含关键图像的列，所有的非关键图像采用行间预测进行多等级编码；余下的非关键图像采用行间与列间联合预测进行多等级编码。
多等级编码的含义为：引入两个概念“行间预测等级”与“列间预测等级”来分别表示立体元图像在行和列方向上的预测依赖关系，并分别用RLN与CLN标记，此结构必须保证处于行间预测等级为RLN的立体元图像使用处于行间预测等级低于RLN的立体元图像作为参考图像用于预测编码，处于列间预测等级为CLN的立体元图像使用处于列间预测等级低于CLN的立体元图像作为参考图像用于预测编码；
其中：RLN为行间预测等级，CLN为列间预测等级。
本发明的积极效果在于：针对单视点视频预测编码结构存在的主要问题，包括在重新排列立体元图像的过程中改变了每个图像的空间位置，从而降低了图像之间的相关性，以及一维的预测编码方向使参考图像数量最多时只能达到两个，本发明没有改变每个立体元图像的空间位置，保护了立体元图像之间的相关性，而且大多数的非关键图像采用行间与列间联合预测的预测模式，使预测编码的方向增加到二维，参考图像的数量最多时达到四个，与现有的单视点视频预测编码结构相比，显著提高了编码效率。
附图说明
图1为立体元图像多等级混合预测编码结构的示意图
具体实施方式
本发明是一种立体元图像多等级混合预测编码结构，如图1所示。图1中，将立体元图像阵列的每行、每列分别标记为Rn、Cn。
将立体元图像分为两种，包括关键图像(图1中标记为粗线条块)和非关键图像(图1中标记为细线条块)。其是将立体元图像阵列中在行和列方向上相隔一定距离的部分立体元图像选为关键图像，余下的立体元图像作为非关键图像；
以关键图像为基准将立体元图像阵列分为二维的图像组阵列，由下列具体步骤实现：一个关键图像、所有处于此关键图像与行和列方向上的前一个关键图像之间的非关键图像，以及所有处于由上述非关键图像包围的区域中的非关键图像，组成一个图像组(图1中标记为虚线包围的区域)；在图像组阵列中，第一列图像组的大小为P×1，其余列的图像组的大小为P×Q，其中，P为每个图像组的行数，Q为每个图像组的列数；
关键图像采用图像内预测进行编码，非关键图像根据其在相应图像组内的位置选择不同的预测模式进行编码，由下列具体步骤实现：在每个图像组中，对于包含关键图像的行，所有的非关键图像采用列间预测进行多等级编码；对于包含关键图像的列，所有的非关键图像采用行间预测进行多等级编码；余下的非关键图像采用行间与列间联合预测进行多等级编码。图1中，不同的标记表示不同的预测模式，其中，I表示采用图像内预测，B表示采用立体元图像间双向预测且作为参考图像用于其它立体元图像的预测编码，b表示采用SI间双向预测但不作为其它立体元图像预测编码时的参考图像，I、B或b后面的数字表示累计的预测编码等级。
本发明中所述的多等级编码的含义为：引入两个概念“行间预测等级”与“列间预测等级”来分别表示立体元图像在行和列方向上的预测依赖关系，并分别用RLN与CLN标记，RLN与CLN的最大值分别由log2P与log2Q计算得到。此结构必须保证处于行间预测等级为RLN的立体元图像使用处于行间预测等级低于RLN的立体元图像作为参考图像用于预测编码，同理，处于列间预测等级为CLN的立体元图像使用处于列间预测等级低于CLN的立体元图像作为参考图像用于预测编码；其中：RLN为行间预测等级，CLN为列间预测等级。
实现此结构的串行方法是根据行间预测时的依赖关系，按R0，R4，R2，R1，R3，R8，...的顺序，每行逐一进行编码。

Claims (1)

1.一种立体元图像多等级混合预测编码方法，其特征在于，将立体元图像分为两种，包括关键图像和非关键图像；以关键图像为基准将立体元图像阵列分为二维的图像组阵列，由下列具体步骤实现：一个关键图像、所有处于此关键图像与行和列方向上的前一个关键图像之间的非关键图像，以及所有处于由上述非关键图像包围的区域中的非关键图像，组成一个图像组；在图像组阵列中，第一列图像组的大小为P×1，其余列的图像组的大小为P×Q；其中：P为每个图像组的行数，Q为每个图像组的列数；关键图像采用图像内预测进行编码，非关键图像根据其在相应图像组内的位置选择不同的预测模式进行编码，由下列具体步骤实现：在每个图像组中，对于包含关键图像的行，所有的非关键图像采用列间预测进行多等级编码；对于包含关键图像的列，所有的非关键图像采用行间预测进行多等级编码；余下的非关键图像采用行间与列间联合预测进行多等级编码；多等级编码的含义为：引入两个概念“行间预测等级”与“列间预测等级”来分别表示立体元图像在行和列方向上的预测依赖关系，并分别用RLN与CLN标记，此结构必须保证处于行间预测等级为RLN的立体元图像使用处于行间预测等级低于RLN的立体元图像作为参考图像用于预测编码，处于列间预测等级为CLN的立体元图像使用处于列间预测等级低于CLN的立体元图像作为参考图像用于预测编码，其中：RLN为行间预测等级，CLN为列间预测等级。
CN 201010266938 2010-08-24 2010-08-24 立体元图像多等级混合预测编码结构 Expired - Fee Related CN102006468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010266938 CN102006468B (zh) 2010-08-24 2010-08-24 立体元图像多等级混合预测编码结构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010266938 CN102006468B (zh) 2010-08-24 2010-08-24 立体元图像多等级混合预测编码结构

Publications (2)

Publication Number Publication Date
CN102006468A CN102006468A (zh) 2011-04-06
CN102006468B true CN102006468B (zh) 2012-11-14

Family

ID=43813487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010266938 Expired - Fee Related CN102006468B (zh) 2010-08-24 2010-08-24 立体元图像多等级混合预测编码结构

Country Status (1)

Country Link
CN (1) CN102006468B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108495111B (zh) * 2018-04-11 2019-12-13 吉林大学 一种基于成像几何特征的立体元图像阵列编码方法
CN116052848B (zh) * 2023-04-03 2023-06-09 吉林大学 一种医学成像质控的数据编码方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198061A (zh) * 2008-01-08 2008-06-11 吉林大学 基于视点图像映射的立体视频流编码方法
CN101355698A (zh) * 2008-06-10 2009-01-28 西南交通大学 一种立体视频分层编码框架
CN101355707A (zh) * 2008-06-10 2009-01-28 西南交通大学 一种立体视频分层编码差错控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026896A1 (en) * 2006-08-31 2008-03-06 Samsung Electronics Co., Ltd. Video encoding apparatus and method and video decoding apparatus and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198061A (zh) * 2008-01-08 2008-06-11 吉林大学 基于视点图像映射的立体视频流编码方法
CN101355698A (zh) * 2008-06-10 2009-01-28 西南交通大学 一种立体视频分层编码框架
CN101355707A (zh) * 2008-06-10 2009-01-28 西南交通大学 一种立体视频分层编码差错控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马行等.立体视频的4维矩阵DCT编码算.《第二届立体图象技术及其应用（国际）研讨会论文集》.2007,第122-127页. *

Also Published As

Publication number Publication date
CN102006468A (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
CN104365104B (zh) 用于多视点视频编码和解码的方法和设备
US8471893B2 (en) Method and apparatus for generating stereoscopic image bitstream using block interleaved method
CN101888566B (zh) 立体视频编码率失真性能估计方法
US20080303893A1 (en) Method and apparatus for generating header information of stereoscopic image data
CN101166282B (zh) 摄像机参数编码传输的方法
KR20120080122A (ko) 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법
CN118042156A (zh) 图像编码和解码的方法和装置以及存储比特流的记录介质
CN106375766B (zh) 一种光场图像压缩方法
CN104243966A (zh) 用于生成、存储、传送、接收和再现深度图的方法和设备
KR20050076441A (ko) 영상의 3차원 부호화 방법
CN101990103B (zh) 用于多视点视频编码的方法和装置
CN103636222A (zh) 用于对多视点视频进行统一可分级视频编码的方法和设备以及对多视点视频进行统一可分级视频解码的方法和设备
KR20110058844A (ko) ３ｄ 비디오 신호를 인코딩하기 위한 방법 및 시스템, ３―ｄ 비디오 신호, 인코딩된 ３ｄ 비디오 신호를 인코딩하기 위한 인코더, ３ｄ 비디오 신호를 디코딩하기 위한 방법 및 시스템, ３ｄ 비디오 신호를 디코딩하기 위한 디코더
WO2009155827A1 (zh) 立体视频编解码方法、装置及系统
CN102685532A (zh) 自由视点四维空间视频编码系统的编码方法
CN101309411A (zh) 一种利用深度信息的多通道视频流编码方法
CN101632313A (zh) 产生立体图像的头部信息的方法和装置
CN105556972A (zh) 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
JP2008193693A (ja) 画像データ作成装置及び画像データ再生装置
CN101494778B (zh) 一种多视点可伸缩编码框架
CN103370934A (zh) 多视点视频编码/解码装置和方法
CN100596210C (zh) 一种基于亚像素的立体图像的视差提取方法
CN103561255B (zh) 一种裸眼立体显示方法
Dick et al. 3D holoscopic video coding using MVC
CN106576175A (zh) 多视点图像编码/解码方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20110406

Assignee: Changchun Duowei Information Technology Co., Ltd.

Assignor: Jilin University

Contract record no.: 2014220000003

Denomination of invention: Three-dimensional element image based multi-level mixed predictive coding structure parallel implementation method

Granted publication date: 20121114

License type: Exclusive License

Record date: 20140113

LICC Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121114

Termination date: 20150824

EXPY Termination of patent right or utility model