CN101203881A - 图像和相关数据的组合交换 - Google Patents

Abstract

本发明公开了一种图像数据和与该图像数据相关的其它数据的组合交换方法，该图像数据由图像数据元素的第一二维矩阵表示，并且该其它数据由其它数据元素的第二二维矩阵表示。该方法包括将第一二维矩阵与第二二维矩阵组合成为数据元素的组合二维矩阵。

Description

图像和相关数据的组合交换

本发明涉及图像数据和与该图像数据相关的其它数据的组合交换的方法，该图像数据由图像数据元素的第一二维矩阵来表示，并且该其它数据由其它数据元素的第二二维矩阵来表示。

本发明进一步涉及一种用于图像数据和与该图像数据相关的其它数据的组合交换的发射单元。

本发明进一步涉及一种包括这种发射单元的图像处理设备。

本发明进一步涉及一种用于图像数据和与该图像数据相关的其它数据的组合交换的接收单元。

本发明进一步涉及一种包括这种接收单元的多视图显示设备。

自从引入了显示设备，逼真的3-9显示设备已经成为很多人的梦想。将会带来这种显示设备的很多原理已经得到研究。某些原理尝试在一定体积内创建逼真的3-9物体。例如，A.Sullivan在proceedings of SID’03，1531-1533，2003中的文章“Solid-stateMulti-planar Volumetric Display”所揭示的显示设备中，借助快速投影仪，视觉数据在平面阵列上被取代。每个平面是可切换的漫射体(diffuser)。如果平面数目足够多，则人脑将图片结合并观察到逼真的3-D物体。该原理使得观看者能够在一定范围内环顾该物体。在这种显示设备中，所有的物体都是(半)透明的。

很多其他人尝试制造仅仅基于双目视差的3-9显示设备。在这些系统中，观看者的左右眼感知另一个图像，从而观看者感知到3-9图像。这些概念的综述可以如下书籍中找到：“Stereo Computer Graphicand Other True 3-D Technologies”D.F.McAllister(Ed.)，Princeton University Press，1993。第一种原理利用与例如CRT相结合的快门眼镜(shutter glasses)。如果显示奇数帧，则对左眼挡住光，而如果显示偶数帧，则对右眼挡住光。

不需要附加工具的显示3-D的显示设备被称作自动立体(auto-stereoscopic)显示设备。

第一种不需要眼镜的显示设备包括屏障，以便创建对准观看者左右眼的光锥。该锥体例如对应于奇数和偶数的子像素列。如果观看者定位在正确的点上的话，通过用适当的信息对这些列进行寻址，观看者在他的左眼和右眼中获得不同的图像，并且能够感知3-D图片。

第二种不需要眼镜的显示设备包括透镜阵列，以便将奇数和偶数子像素列的光成像到观看者的左右眼上。

上述不需要眼镜的显示设备的缺点在于，观看者必须保持在固定位置上。为了引导观看者，已经提出了用于向观看者显示他正处于正确位置的指示器。例如参见美国专利US5986804，其中屏障板与红色和绿色的发光二极管相结合。在观看者处于正确位置的情况下，他看到绿色光，否则他看到红色光。

为了使观看者不必坐在固定的位置，已经提出了多视图自动立体显示设备。例如参见美国专利US60064424和US20000912。在US60064424和US20000912所揭示的显示设备中使用了倾斜式双凸透镜(lenticular)，由此该双凸透镜的宽度大于两个子像素。以这种方式存在几个彼此相邻的图像，并且观看者具有移动到左边和右边的一些自由。

为了在多视图显示设备上产生3-D印象，必须呈现来自不同虚拟视点的图像。这就需要将多个输入视图(views)或一些3-D或深度信息表现出来。该深度信息可以是已记录的，从多视图照相机系统产生的，或从常规的2-D视频材料产生的。为了从2-D视频产生深度信息，可以应用几种类型的深度提示(cue)：诸如从运动、聚焦信息、几何形状和动态封闭所得到的结构。目标是产生浓密的深度地图，即每个像素一个深度值。该深度地图随后用于呈现多视图图像，以便为观看者提供深度印象。在P.A.Redert、E.A.Hendriks和J.Biemond在Proceedings of International Conferernce on Acoustics，Speech，and Signal Processing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEE Computer Society，Los Alamitos，California，1997中的文章“Synthesis of multi viewpoint images at non-intermediate positions”中，揭示了一种提取深度信息并基于输入图像和深度地图来呈现多视图图像的方法。该多视图图像是要由多视图显示设备显示以便创建3-D印象的一组图像。通常，该组图像是基于输入图像创建。通过将输入图像的像素平移(shift)各自的平移量来创建这些图像的其中之一。这些平移量被称作视差。因此，对于每个像素，通常具有相应的视差值，一起形成视差地图。视差值和深度值通常是反相关的，即：

$S=\frac{\mathrm{\α}}{D}---\left(1\right)$

其中S是视差，α是常量值，且D是深度。创建深度地图被认为是与创建视差地图等效。在本说明书中，视差值和深度值都被术语深度相关数据元素所覆盖。

视频数据，即图像信号和相应的深度数据必须在各种图像处理单元之间进行交换，并最终到达显示设备，特别是多视图显示设备。

现有的视频连接被设计为交换图像序列。通常由在连接两端(即发射机和接收机)的二维像素值矩阵来表示图像。像素值对应于亮度和/或色彩值。发射机和接收机都具有关于数据语义学的知识，即它们共享同样的信息模型。通常，发射机和接收机之间的连接适用于该信息模型。这种数据交换的一个例子是RGB链接。在发射机和接收机环境下的图像数据以一种包括值的三元组的数据格式而被存储和处理：R(红)、G(绿)和B(蓝)一起形成不同的像素值。图像数据的交换是借助这三个相关但分离的数据流来执行的。这些数据流借助三个通道来传输。第一通道交换红值，即表示红值的比特序列，第二通道交换蓝值，而第三通道交换绿值。虽然值的三元组通常是串联地交换，但是，该信息模型是预先确定数目的三元组一起构成图像，意味着该三元组具有各自的空间坐标。这些空间坐标对应于三元组在表示图像的二维矩阵中的位置。

基于这种RGB链接的标准的例子为DVI(数字视觉接口)、HDMI(高清晰度多媒体接口)和LVDS(低电压差动信令)。然而在3-D的情况下，该深度相关数据也必须与视频数据一起交换。

本发明的一个目的是提供在开始段落中所描述的一种方法，其适用于现有的视频接口。

本发明的该目的这样实现，即该方法包括将第一二维矩阵与第二二维矩阵组合为数据元素的组合二维矩阵。本发明基于在连接的发射机和接收端共享信息模型的假设。为了在被安排为交换具有空间互相关的数据元素的连接上交换组合二维矩阵，第一二维矩阵的图像数据元素与其它数据元素组合为数据元素的更大的组合二维矩阵。对于该连接即传输通道来说，各种数据元素的语义学是不相关的。

将多个二维矩阵的数据元素组合为一个更大的组合二维矩阵的另一个优点是，很多类型的已知的图像处理操作可以由标准的处理组件，例如压缩单元和/或解压缩单元来执行。

其它数据可以是以下数据的其中一种：

深度相关数据，意指深度值或视差值，如上所述；

其它图像数据，意指包括多个图像的像素值的组合二维矩阵；和

解封闭(De-occlusion)数据，为了解释此类数据，参见下列文章：R.P.Berretty和F.Ernst，“High-Quality Images from 2.5DVideo”，Proceedings of EUROGRAPHICS’03，2003年9月，以及C.Lawrence Zitnick，Sing Bing Kang，Matthew Uyttendaele，Simon Winder，Richard Szeliski“High-quality video viewinterpolation using a layered representation”，Proceedingsof Siggraph 2004。

组合二维矩阵可以仅仅基于第一和第二二维矩阵。但是优选地，该二维矩阵还包括对应于多于两个的二维矩阵的数据。

根据本发明的方法实施例进一步包括将由第三二维矩阵表示的第二图像数据组合到组合二维矩阵中。

根据本发明的另一个方法实施例进一步包括将由第四二维矩阵表示的第二其它数据组合到组合二维矩阵中。

基本地，组合二维矩阵包括表示图像、深度、视差或解封闭信息的数据元素。输入数据元素，即该第一、第二、可选的第三和可选的第四二维矩阵的元素被复制到输出数据元素，以便放置在组合二维矩阵中。在组合二维矩阵中的位置可以任意选择，只要其与共享的信息模型匹配即可。然而优选将输出数据元素放置在组合二维矩阵中，使得对应于各自输入数据元素的输出数据元素一起形成该组二维矩阵其中一个矩阵中的逻辑实体，其中该组二维矩阵包括具有相似配置的第一、第二、第三和第四二维矩阵。例如：

将一块输入数据元素进行复制，从而在组合二维矩阵中形成一块输出数据元素；

将一行输入数据元素进行复制，从而在组合二维矩阵中形成一行输出数据元素；

将一列输入数据元素进行复制，从而在组合二维矩阵中形成一列输出数据元素；

应用“棋盘图案”。这意味着来自四个输入二维矩阵的四个输入数据元素被组合为块。

在根据本发明的方法实施例中，通过将该组二维矩阵中的两个矩阵放置为在水平方向彼此相邻，并将该组二维矩阵中的两个矩阵放置为在垂直方向彼此相邻来创建组合二维矩阵，其中该组二维矩阵包括第一、第二、第三和第四二维矩阵。

在根据本发明的另一个方法实施例中，通过将包括第一、第二、第三和第四二维矩阵的该组二维矩阵的矩阵行进行交织，来填充该组合二维矩阵的行。优选地，该组合二维矩阵的第一行包括第一二维矩阵第一行的图像数据元素和第二二维矩阵第一行的其它数据元素。这种配置的优点是容易进行数据访问。例如一种需要图像数据和深度相关数据的呈现过程，可以在只要有组合二维矩阵的一部分交换就开始。这样意味着不需要直到所有数据元素都被接收之后才开始进行呈现。

根据本发明的方法实施例进一步包括将元数据(meta-data)写入组合二维矩阵。也叫作头部的元数据意指组合二维矩阵的描述性数据。例如，组合二维矩阵的名称、创建日期、水平尺寸、垂直尺寸和每个输出数据元素的比特数都可由元数据来表示。

信息交换包括发送和接收。上面描述和讨论的方法与数据交换的发送部分有关。本发明的另一个目标是提供一种相对应的方法，该方法与数据交换的接收部分有关，并且也适用于现有的视频接口。

本发明的该目标这样达到，即该相对应方法包括从数据元素的组合二维矩阵中提取第一二维矩阵和第二二维矩阵。

本发明的进一步目标是提供一种在开头段落中所描述的发射单元，其适用于现有的视频接口。

本发明的该目标这样达到，即该发射单元包括用于将第一二维矩阵和第二二维矩阵组合为数据元素的组合二维矩阵的组合装置。

本发明的进一步目标是提供一种在开头段落中所描述的接收单元，其适用于现有的视频接口。

本发明的该目标这样达到，即该接收单元包括用于从数据元素的组合二维矩阵中提取第一二维矩阵和第二二维矩阵的提取装置。

本发明的进一步目标是提供一种在开头段落中所描述的图像处理设备，其适用于现有的视频接口。

本发明的该目标这样达到，即该图像处理设备包括如上所述的发射单元。

本发明的进一步目标是提供一种在开头段落中所描述的多视图显示设备，其适用于现有的视频接口。

本发明的该目标这样达到，即该多视图显示设备包括如上所述的接收单元。

发射单元、接收单元的修改及其变形可以对应于所述图像处理设备、多视图显示设备和方法的修改和变形。

参照附图，结合后面所述的实施方式和实施例，根据本发明的发射单元、接收单元、图像处理设备、多视图显示设备和方法的这些及其它方面将变得显而易见并得到阐释，其中：

图1示意性地示出了连接到第二处理设备上的第一处理设备；

图2A示意性地示出了基于4个输入矩阵的组合矩阵，其中所述4个输入矩阵被安排为彼此相邻；

图2B示意性地示出了图2A的组合矩阵，其中所述组合矩阵包括头部；

图3A示意性地示出了基于四个输入矩阵的组合矩阵，由此这些输入矩阵的行交织起来形成组合矩阵；

图3B示意性地示出了图3A的组合矩阵，其中所述组合矩阵包括头部；和

图4示意性地示出了包括多视图显示设备的图像处理设备，两者均根据本发明。

在整个附图中，同一个附图标记用于表示相似的部分。

图1示意性地示出了连接到第二处理设备102的第一处理设备100。该第一处理设备100和该第二处理设备可以分别是比如图像处理器和显示驱动器的集成电路(IC)。可替换地，该第一处理设备100是一种更复杂的设备，比如PC，而该第二处理设备102是多视图显示设备，例如监视器。该第一100和第二处理设备102借助物理连接116而被连接。该物理连接可以是例如基于用于数据串行传输的双绞线或双绞线加地(twisted-pair plus ground)。

在该物理连接的顶部实现逻辑连接。每个逻辑连接对应于用于在第一处理设备100和第二处理设备102之间传送数据的通道。例如，有三个用于传送数据的逻辑连接，例如DVI。没有考虑用于交换定时信息即时钟信号的第四逻辑连接。

应用在第二处理设备102环境中的数据格式与应用在第一处理设备100环境中的数据格式相同。

为了结合相应的深度数据来交换图像数据，第一处理设备100包括根据本发明的发射单元104，且第二处理设备102包括根据本发明的接收单元106。发射单元104、第一100和第二102处理设备之间的连接以及接收单元106的组合使得第一100与第二102处理设备之间的数据交换成为可能。

发射单元104包括多个输入接口108-114，其中一些是可选的。第一输入接口108用于提供第一二维矩阵。第二输入接口110用于提供第二二维矩阵。第三输入接口112用于提供第三二维矩阵。第四输入接口114用于提供第四二维矩阵。发射单元104包括处理器，用于将包括第一、第二、第三和第四二维矩阵的该组二维矩阵中至少两个矩阵的输入数据元素组合成为组合二维矩阵。

该组合二维矩阵可以暂时存储在发射单元104或第一处理设备100中。还可以是，一起构成组合二维矩阵的数据元素与输入数据元素的组合同步地流传送到接收单元106。

优选地，该发射单元104包括串化器(serializer)。通常，数据元素用多个比特表示，其数目从8到12。该物理连接上的数据优选借助串行传输来交换。为此，将表示连续数据元素的比特放在时间序列串中。

结合图2A、2B、3A和3B揭示了组合二维矩阵数据格式的例子，其中根据本发明的发射单元104被安排用来提供它。

可以利用一个处理器来实现用于组合的处理器和串化器。通常，这些功能是在软件程序产品的控制下实施。在执行过程中，通常将软件程序产品载入存储器，比如RAM，并且从那儿执行。程序可以从背景存储器加载，比如ROM、硬盘或磁和/或光存储器，或者可以通过比如因特网的网络加载。可选地，专用集成电路提供所揭示的功能。

接收单元106包括多个输出接口116-122，其中一些是可选的。第一输出接口116用于提供第一二维矩阵。第二输出接口118用于提供第二二维矩阵。第三输出接口120用于提供第三二维矩阵。第四输出接口122用于提供第四二维矩阵。

接收单元106包括处理器，用于将对应于一组二维矩阵中至少两个矩阵的输入数据元素从输出数据元素的组合二维矩阵中提取出来，其中所述一组二维矩阵包括第一、第二、第三和第四二维矩阵。结合图2A、2B、3A和3B揭示了组合二维矩阵数据格式的例子，其中根据本发明的接收单元106被安排为接收并提取它。

通常，这些功能是在软件程序产品的控制下实施。在执行过程中，通常将软件程序产品载入存储器，比如RAM，并且从那儿执行。程序可以从背景存储器载入，比如ROM、硬盘或磁和/或光存储器，或者可以通过比如因特网的网络载入。可选地，专用集成电路提供所揭示的功能。

图2A示意性地示出了基于该组二维矩阵中多个矩阵的组合二维矩阵200，其中该组二维矩阵包括第一、第二、第三和第四二维矩阵。基于第一二维矩阵的输入数据元素的输出数据元素用字符A来指示。基于第二二维矩阵的输入数据元素的输出数据元素用字符A来表示。基于第三二维矩阵的输入数据元素的输出数据元素用字符C来表示。基于第四二维矩阵的输入数据元素的输出数据元素用字符D来表示。

该组合二维矩阵的水平尺寸等于H，意味着在水平方向上相邻的输出数据元素数目等于H。该组合二维矩阵的垂直尺寸等于V，意味着在垂直方向上相邻的输出数据元素数目等于V。包括第一、第二、第三和第四二维矩阵的该组二维矩阵中的每一个矩阵的水平尺寸等于H/2，且垂直尺寸等于V/2。

图2A中指示，第一二维矩阵的所有输入数据元素被映射到组合二维矩阵200的子矩阵202。换言之，基于第一二维矩阵输入数据元素的输出数据元素逻辑地构成输出数据元素中的一块。

图2A中指示，第二二维矩阵的所有输入数据元素被映射到组合二维矩阵200的子矩阵204。换言之，基于第二二维矩阵输入数据元素的输出数据元素逻辑地构成输出数据元素中的一块。

图2A中指示，第三二维矩阵的所有输入数据元素被映射到组合二维矩阵200的子矩阵206。换言之，基于第三二维矩阵输入数据元素的输出数据元素逻辑地构成输出数据元素中的一块。

图2A中指示，第四二维矩阵的所有输入数据元素被映射到组合二维矩阵200的子矩阵208。换言之，基于第四二维矩阵输入数据元素的输出数据元素逻辑地构成输出数据元素中的一块。

下列表1的不同行是用于二维矩阵输出数据元素的可能来源的例子。换言之，行指示了位于该组二维矩阵的不同二维矩阵中的数据的不同类型。例如，表1的第二行详细说明了，第一二维矩阵包括图像数据，第二二维矩阵包括深度数据，第三二维矩阵包括封闭(occlusion)矩阵，而第四二维矩阵是空。

表1：组合二维矩阵可能内容的例子

A	B	C	D
				图像	深度	封闭	空
图像	深度	图像	深度
				图像	图像	图像	图像
深度	图像	深度	图像
				图像	深度	封闭	深度
图像	深度	封闭	图像

图2B示意性地示出了包括头部210的图2A中的组合二维矩阵200。优选地，表示头部的数据元素包括在组合二维矩阵200中。这可以导致覆盖(overwriting)其它数据元素，例如表示与图像或深度相关的数据的数据元素。然而，优选地，该头部存储在组合二维矩阵中，而不覆盖其它数据元素。可替换地，头部信息存储在大量的最低有效位上，而相应的最高有效位用于存储其它数据元素，例如表示与图像或深度相关的数据的数据元素。下列表2详细说明了头部中优选地包括的大量属性。

表2：组合二维矩阵头部的数据属性

属性	描述	表示
			名称	名称	字符串
日期	创建日期	字符串
			水平尺寸	水平方向上相邻数据元素的数目	整数

水平尺寸	垂直方向上相邻数据元素的数目	整数
			字尺寸	每个数据元素的位数	整数
第一二维矩阵的类型指示器	第一二维矩阵的数据的类型	枚举型，例如[图像，深度，视差，封闭，空]
			第二二维矩阵的类型指示器	第二二维矩阵的数据的类型	枚举型，例如[图像，深度，视差，封闭，空]
第三二维矩阵的类型指示器	第三二维矩阵的数据的类型	枚举型，例如[图像，深度，视差，封闭，空]
			第四二维矩阵的类型指示器	第四二维矩阵的数据的类型	枚举型，例如[图像，深度，视差，封闭，空]
水平尺寸输入	原始二维矩阵水平方向上相邻数据元素的数目	整数数组，例如[500，700，400，600]
			垂直尺寸输入	原始二维矩阵垂直方向上相邻数据元素的数目	整数数组，例如[500，700，400，600]
混合模式	数据元素的配置	枚举类型，例如[块，用行交织，用列交织，用两行交织，用两列交织，用行和列交织]
			内容类型	图像数据类型的分类	枚举类型，例如[电影，卡通，广告，游戏，医学，视频会议，自然，内部场景，室外场景，CAD设计，具有快速移动目标的场景，具有慢速运动目标的场景]

可选地，该类型的图像具有一些子类型，例如，左图像和右图像。可选地，呈现深度的参数包括在头部中，例如：

对应于总的深度范围的范围参数，从屏幕后面的最大深度到屏幕前面的最大深度计算；

对应于深度范围到显示设备的偏移的偏移参数；

对应于屏幕前面最大深度的屏幕前参数；

对应于屏幕后面最大深度的屏幕后参数；

观察者相对于屏幕的位置。

图3A示意性地示出了基于四个输入矩阵的组合二维矩阵，由此这些输入矩阵的行交织起来，形成组合二维矩阵300。

基于第一二维矩阵输入数据元素的输出数据元素用字符A来指示。基于第二二维矩阵输入数据元素的输出数据元素用字符B来指示。基于第三二维矩阵输入数据元素的输出数据元素用字符C来指示。基于第四二维矩阵输入数据元素的输出数据元素用字符D来指示。

该组合二维矩阵的水平尺寸等于H，意味着在水平方向上相邻的输出数据元素数目等于H。该组合二维矩阵的垂直尺寸等于V，意味着在垂直方向上相邻的输出数据元素数目等于V。包括第一、第二、第三和第四二维矩阵的该组二维矩阵中的每一个矩阵的水平尺寸等于H/2，且垂直尺寸等于V/2。

组合二维矩阵300的行0-6通过将包括第一、第二、第三和第四二维矩阵的该组二维矩阵的矩阵行进行交织来填充。可以看出，组合二维矩阵300的第一行0包括基于第一二维矩阵和第二二维矩阵输入数据元素的输出数据元素。参见指示A和B。第一行0的前半部分包括对应于第一二维矩阵的输出数据元素，第一行0的后半部分包括对应于第二二维矩阵的输出数据元素。

可以看出，组合二维矩阵300的第二行1包括基于第三二维矩阵和第四二维矩阵输入数据元素的输出数据元素。参见指示C和D。第二行1的前半部分包括对应于第三二维矩阵的输出数据元素，而第二行1的后半部分包括对应于第四二维矩阵的输出数据元素。

表1还适用于如图3A所示的组合二维矩阵。

图3B示意性地示出了包括头部的图3A中的组合二维矩阵300。表2还适用于如图3B所示的组合二维矩阵。

应当注意到，交织数据元素的可替换方式也是可以的。例如，来自各个输入二维矩阵的大量数据元素可以组合为组。下面提供了大量可替换方式，其中字符A、B、C、B具有如上所述的含义。

第一可替换方式：

ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD

ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD

ABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCDABCD

第二可替换方式：

ABABABABABABABABABABABABABABABABABABABABABABABAB

CDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCD

ABABABABABABABABABABABABABABABABABABABABABABABAB

CDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCDCD

图4示意性地示出了包括多视图显示设备406的图像处理设备400，两者均根据本发明。该图像处理设备400包括：

用于接收表示输入图像的视频信号的接收机402；

用于从输入图像中提取深度相关数据的图像分析单元404；

用于显示多视图图像的多视图显示设备406，其中所述多视图图像由多视图显示设备基于所提供的图像数据和相关的深度数据来呈现；

借助表示结合图2A、2B、3A和3B描述的组合二维矩阵的组合信号，图像数据与相关的深度数据在图像分析单元404和多视图显示设备406之间交换。图像分析单元404包括结合图1所描述的发射单元104。多视图显示设备406包括结合图1所描述的接收单元106。

视频信号可以是经由天线或电缆接收的广播信号，还可以是来自如VCR(录像机)或数字通用磁盘(DVD)的存储设备的信号。该信号在输入连接器410上提供。图像处理设备400可以例如是TV。可替换地，图像处理设备400不包括可选的显示设备，但是向确实包括显示设备406的设备提供输出图像。然后，该图像处理设备400可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选地，图像处理设备400包括存储装置，比如硬盘或用于在例如光盘的可移除媒体上存储的装置。图像处理设备500还可以是电影制片厂或广播公司所应用的系统。

多视图显示设备406包括呈现单元408，其被安排为基于接收的组合信号生成多视图图像序列。呈现单元408被安排为向多视图显示设备提供(至少)两个相关的视频图像流，其中所述多视图显示设备被安排为基于第一个相关视频图像流可视化第一系列的视图，并基于第二个相关视频图像流可视化第二系列的视图。如果用户即观看者用他的左眼观察第一系列的视图，而用右眼观察第二系列的视图，则他会注意到3-D印象。可以是第一相关视频图像流对应于借助组合信号接收的视频图像序列，而第二相关视频图像流通过基于所提供的深度数据进行适当平移来呈现。优选地，这两个视频图像流都基于所接收的视频图像序列来呈现。

在P.A.Redert、E.A.Hendriks和J.Biemond在Processing ofInternational Conference on Acoustics，Speech，and SignalProcessing，Vol.IV，ISBN 0-8186-7919-0，第2749-2752页，IEEEComputer Society，Los Alamitos，California，1997中发表的文章“Synthesis of multi viewpoint images at non-intermediatepositions”中，公开了一种基于输入图像和深度地图提取深度信息并呈现多视图图像的方法。图像分析单元404是用于所公开的提取深度信息的方法的一种实现。呈现单元408是该文章中所公开的呈现方法的一种实现。

应当注意到，上述实施例是解释而不是限制本发明，本领域技术人员将能够设计可替换的实施例而不脱离所附权利要求的范围。在权利要求中，括号中的任意附图标记不应解释为限制权利要求。词语“包括”不排除存在没有在权利要求中所列举的元件或步骤。元件前面的词语“一”或“一个”不排除存在多个这样的元件。本发明可以借助包括一些有区别的元件的硬件或者借助适当的编程计算机来实施。在枚举了几个装置的单元权利要求中，这些装置中的一些可以通过同一项硬件或软件来体现。词语第一、第二、第三等的使用并不表明任意的顺序。这些词语应解释为名称。

Claims (15)

1.一种图像数据和与该图像数据相关的其它数据的组合交换方法，该图像数据由图像数据元素的第一二维矩阵表示，并且该其它数据由其它数据元素的第二二维矩阵表示，该方法包括将第一二维矩阵与第二二维矩阵组合成为数据元素的组合二维矩阵。

2.根据权利要求1所述的方法，其中所述其它数据为深度相关数据。

3.根据权利要求1或2所述的方法，其中所述其它数据为其它的图像数据。

4.根据上述任一权利要求所述的方法，进一步包括将由第三二维矩阵表示的第二图像数据组合到所述组合二维矩阵中。

5.根据上述任一权利要求所述的方法，进一步包括将由第四二维矩阵表示的第二其它数据组合到所述组合二维矩阵中。

6.根据权利要求5所述的方法，其中通过将该组二维矩阵中的两个矩阵放置为在水平方向彼此相邻，并将该组二维矩阵中的两个矩阵放置为在垂直方向彼此相邻来创建所述组合二维矩阵，其中该组二维矩阵包括第一、第二、第三和第四二维矩阵。

7.根据权利要求1-5中任意一项所述的方法，其中通过将该组二维矩阵的矩阵行进行交织来填充所述组合二维矩阵的行，其中所述该组二维矩阵包括第一、第二、第三和第四二维矩阵。

8.根据权利要求7所述的方法，其中所述组合二维矩阵的第一行包括第一二维矩阵第一行的图像数据元素和第二二维矩阵第一行的其它数据元素。

9.根据上述任一权利要求所述的方法，包括将元数据写入所述组合二维矩阵。

10.一种图像数据和与该图像数据相关的其它数据的组合交换方法，该图像数据由图像数据元素的第一二维矩阵表示，并且该其它数据由其它数据元素的第二二维矩阵表示，该方法包括从数据元素的组合二维矩阵中提取第一二维矩阵和第二二维矩阵。

11.一种发射单元，用于图像数据和与该图像数据相关的其它数据的组合交换，该图像数据由图像数据元素的第一二维矩阵表示，并且该其它数据由其它数据元素的第二二维矩阵表示，该发射单元包括用于将第一二维矩阵和第二二维矩阵组合成为数据元素的组合二维矩阵的组合装置。

12.一种接收单元，用于图像数据和与该图像数据相关的其它数据的组合交换，该图像数据由图像数据元素的第一二维矩阵表示，并且该其它数据由其它数据元素的第二二维矩阵表示，该接收单元包括用于从数据元素的组合二维矩阵中提取第一二维矩阵和第二二维矩阵的提取装置。

13.一种图像处理设备，包括如权利要求11所述的发射单元。

14.一种图像处理设备，包括如权利要求12所述的接收单元。

15.根据权利要求14所述的图像处理设备，包括显示设备，其中所述显示设备用于显示基于所述组合二维矩阵呈现的图像。

Images