CN103262547B

CN103262547B - 3d图像数据的转移

Info

Publication number: CN103262547B
Application number: CN201180058195.XA
Authority: CN
Inventors: W.德哈安
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2010-12-03
Filing date: 2011-12-02
Publication date: 2016-01-20
Anticipated expiration: 2031-12-02
Also published as: BR112013013486A2; BR112013013486B1; JP2014507078A; RU2589870C2; EP2647209B1; RU2013129984A; US20130250058A1; TW201242336A; KR20130135278A; EP2647209A1; JP5955851B2; CN103262547A; KR101834934B1; TWI538475B; US10057559B2; WO2012073221A1

Abstract

一种用于输出三维图像信号的3D源设备，所述三维图像信号包括多视图图像数据，所述3D源设备包括：用于接收图像数据的输入端；生成器，其被布置成基于所述图像数据来生成所述三维图像信号，所述三维图像信号包括：第一分量，其包括用于在立体观看中使用的多个2D图像；第二分量，其包括覆盖数据；以及第三分量，其定义用于在所述多个2D图像的相应2D图像上覆盖图像数据中使用的视差信令信息。另外的第三分量中的新的视差信令信息否决所述第三分量中的所述视差信令信息。

Description

3D图像数据的转移

技术领域

本发明涉及一种转移三维(3D)图像数据的方法，所述方法包括：在3D源设备处，对源图像数据进行处理以生成3D显示信号并输出所述3D显示信号，所述3D显示信号包括图像帧；以及，在3D目标设备处，提取所述3D图像数据并且基于所述3D显示信号来提供输出。

本发明进一步涉及上述的3D源设备、3D显示信号以及3D目标设备。

本发明涉及以压缩形式（诸如例如针对面向3D的DVB的扩展）或者经由高速数字接口（例如HDMI）以未压缩的形式转移三维(3D)图像数据的领域。

背景技术

用于显示三维图像(静止或运动图像)的各种方案是已知的。一个众所周知的方案借助于不同的光偏振或色彩(例如红和绿)同时地显示针对左眼和右眼编码的两个图像。观看者佩戴一副特殊眼镜，其在左和右眼前面具有透镜。所述透镜被布置成仅传递为该眼准备的图像，即左眼仅看见为该眼准备的图像。另一立体显示技术顺序地呈现为左眼准备的图像和为右眼准备的图像。用户佩戴与所显示的图像同步关闭的一副特殊的眼镜，使得左眼快门在当左眼图像被显示时的期间是打开的，以及右眼快门在当右眼图像被显示时的期间是打开的。

自动立体显示技术去除了对于观看者佩戴特殊眼镜的需要。一个已知方案使用带有安装在显示元件前面的多边倾斜双凸透镜（multisidedslantedlenticularlenses）的平板显示器。这种显示器的例子在WO07/069195A2中被描述。

用于获得2D视频数据的设备是已知的，例如如DVD播放器这样的视频播放器或提供数字视频信号的机顶盒。源设备将被耦合到如电视机或监视器这样的显示设备。图像数据经由适当的接口从源设备转移，所述接口优选地是如HDMI这样的高速数字接口。目前，诸如3D蓝光播放器这样的3D增强型设备正进入市场。为了将3D视频信号从源设备转移到显示设备，新的高数据率数字接口标准正被开发，其例如基于现有HDMI标准并且可与现有HDMI标准兼容。将2D数字图像信号转移到显示设备通常牵涉到逐帧发送视频像素数据，所述帧将被顺序地显示。这样的帧可以表示逐行视频信号的视频帧(全帧)或者可以表示交错视频信号的视频帧(基于众所周知的隔行扫描，一个帧提供奇数行而下一个帧提供要被顺序地显示的偶数行)。

同样地，2D内容到终端用户的分配从DVB中是可知的。随着3D蓝光设备的市场引进，立体内容已经变得可用并且已经存在呼声来同样使通过其它方式（诸如，通过电缆或卫星）能分配该内容。为了适应，业界正在扩展DVB框架以便使能3D内容在DVB上的分配。

WO2008/115222描述了一种用于将文本与3D视频内容组合的系统。对于文本的在线插入，字幕的位置提前是不知道的。实际的深度图被处理以确定最大深度值，其被用于将文本放置在视频前面。所述过程可以被重复，以便当足够的处理能力可获得时新的最大深度值被确定。

发明内容

本发明试图提供以未被现有技术解决的方式来递送三维图像数据(3D)的替换方式。

权利要求限定本发明的实施例。根据本发明，3D源设备被提供用于输出三维图像信号，所述三维图像信号包括多视图图像数据，所述3D源设备包括：

-用于接收图像数据的输入端；

-生成器，其被布置成基于所述图像数据来生成所述三维图像信号，所述三维图像信号包括：

第一分量，其包括用于在立体观看中使用的多个2D图像；

包括覆盖数据的第二分量；

第三分量，其定义用于在所述多个2D图像的相应2D图像上覆盖图像数据中使用的视差(disparity)信令信息，所述第三分量包括参数，所述参数定义具有时变视差简档（profile）的视差信息以用于提供用于指示覆盖图的视差被期望如何随着时间的推移而改变的预测器；以及

另外的第三分量，其在所述三维图像信号中比所述第三分量处于更晚的时间，其定义用于在多个2D图像的相应2D图像上覆盖图像数据中使用的新的视差信令信息，所述另外的第三分量包括另外的参数，所述另外的参数定义具有新的时变视差简档的新的视差信息以用于提供用于指示覆盖图的视差被期望如何随着时间的推移而改变的另外的预测器，

所述另外的第三分量中的所述新的视差信令信息否决所述第三分量中的所述视差信令信息。

同样根据本发明，3D目标设备被提供用于接收三维图像信号，所述三维图像信号包括多视图图像数据，所述3D目标设备包括：

-接收机，用于接收所述三维图像信号；

-解复用器，用于在至少以下各项中解复用所述三维图像信号：

第一分量，其包括用于在立体观看中使用的多个2D图像；

包括覆盖数据的第二分量；

第三分量，其定义用于在所述多个2D图像的相应2D图像上覆盖图像数据中使用的视差信令信息，所述第三分量包括参数，所述参数定义具有时变视差简档的视差信息以用于提供用于指示覆盖图的视差被期望如何随着时间的推移而改变的预测器；以及

另外的第三分量，其在三维图像信号中比所述第三分量处于更晚的时间，其定义用于在所述多个2D图像的相应2D图像上覆盖图像数据中使用的新的视差信令信息，所述另外的第三分量包括另外的参数，所述另外的参数定义具有新的时变视差简档的新的视差信息以用于提供用于指示覆盖图的视差被期望如何随着时间的推移而改变的另外的预测器，

所述另外的第三分量中的所述新的视差信令信息否决所述第三分量中的所述视差信令信息；以及

-生成器，用于生成用于在立体观看中使用的相应2D图像，其中所述覆盖数据如在所述视差信令信息内所定义的那样被覆盖。

应当指出，所述第一分量可以包括立体像对。

本发明人了解到，在诸如针对3D蓝光盘预先创作的内容与典型地在DVB上广播的内容之间存在实质差异；在DVB上广播的内容经常包括实况内容；诸如新闻、体育比赛或对于其证明广泛创作的成本相对于3D蓝光盘上的内容在经济上没有吸引力的内容。

对于2D实况内容是不困难的某些创作任务对于3D实况内容来说是更难实施的。这样的创作任务的例子是针对实时镜头(footage)的字幕的生成。而在2D中可能通过人工或计算机辅助字幕生成来动态插入字幕，存在复杂化的因素，在于给3D内容加字幕的任务提供了附加的挑战。在所述第三分量中，视差信令信息提供预测器（predictor）以用于指示覆盖图的视差被期望如何随着时间的推移而改变。在另外的第三分量中，用于指示覆盖图的视差被期望如何随着时间的推移而改变的另外的预测器否决较早的预测器。

为了减少对观看者的烦扰，字幕需要以不至于危害由三维(3D)图像数据所提供的深度印象的方式被放置。另外的复杂化的因素是如下事实：一旦3D目标设备接收到三维(3D)图像数据并且生成用于向终端用户显示的输出数据，所述设备继而还可能需要以针对它的用户接口的屏幕上显示(OSD)的形式覆盖附加的图形。

为了解决这些问题，本发明提出一种生成三维图像信号的方法，所述三维图像信号包括：形式为多视图图像数据的第一分量；第二分量，其表示用于覆盖多视图图像数据的数据；以及形式为元数据信令视差信息的第三分量，所述视差信令信息提供针对图像的(子)区的预测器，其指示该区中的视差被期望如何随着时间的推移而改变。

优选地，预测器是单个预测器。使用该预测器，对于3D目标设备来说通过相应地恰当移位字幕和/或图形信息来恰当地覆盖相应的字幕和/或图形信息是可能的。对于本领域的技术人员而言将清楚的是，图形在这样的(子)区中的移位优选地遍布相邻视图；例如在立体像对的情况下，图形的移位优选地均等分配在左图像与右图像之间。

使用预测器可能提供视差在用时间表示的不同的时刻之间的更加平缓的变化。此外当预测证明是不精确的时（在对实况镜头进行编码时这可能发生），在不引入大量开销的情况下用信号发送更正值是可能的。

优选地，视差信令信息还提供针对图像区的视差的当前值的指示以便改进在随机时间点上访问流的方便性。

在一个实施例中，视差信令信息定义了针对第一呈现时间戳的第一视差值，并且定义了指示视差值随着时间推移的变化的系数。这个系数可以以每帧的像素或像素分数的变化来规定，或者替换地基于在3D源设备和3D目标设备两者处可得到的系统时钟来规定。

可选地，定义时变视差简档的参数是时间。

可选地，所述第三分量包括定义至少两个视差值的信息。同样，所述第三分量可以定义针对从所述至少两个视差值中的第一个到所述至少两个视差值中的第二个的过渡的时间间隔。

在另一实施例中，视差信令信息定义了针对第一呈现时间戳的第一视差值和针对第二呈现时间戳的第二视差值。该信息还向3D目标设备提供了确定用于显示字幕/图形信息的的视差值的可能性。两个完全定义的点的使用提供了安全特性，在于：如果信令单元在传输中或者以其它方式丢失了，则视差中的过度变化可以被避免。

在进一步细化中，视差信令信息预测器可以进一步包括选自预定义的简档组中的视差简档，从而使能视差信令的微调。后者使能更加平缓的变化，其可以当内容在被加字幕之前通过时延传递时被实施。可选地，所述第三分量包括选择预定义的视差过渡简档中的一个的参数。可选地，所选的预定义视差过渡简档通过至少一个参数被参数化，并且所述第二分量进一步包括用于在定义时变视差简档中使用的参数。

如对于本领域的技术人员而言将清楚的那样，生成三维信号的方法包括具有形式为接收三维信号的方法的副本，所述三维信号包括元数据信令视差信息。

接收三维图像信号的方法包括步骤：在所指定的区中使用三维图像信号中的第三分量的用途以用于在来自第一分量的所述三维图像信号上覆盖被包括在第二分量中的覆盖数据，其中视差值与视差信令分量一致。

本发明进一步涉及3D源设备，其包括：接收机，用于接收多视图图像数据；生成器，用于生成三维图像信号，所述三维图像信号包括：形式为多视图图像数据的第一分量、表示用于覆盖多视图图像数据的数据的第二分量以及形式为元数据信令视差信息的第三分量，所述视差信令信息提供了针对图像的(子)区的单个预测器，其指示该区中的视差被期望如何随着时间的推移而改变。

本发明进一步涉及用于接收根据本发明的三维信号的3D目标设备，所述3D目标设备包括：接收机，用于接收根据本发明的三维信号的；以及覆盖生成器，被布置成如在视差信令信息中所规定的那样在指定区中将在第二分量中包括的覆盖数据覆盖在第一分量中包括的相应图像上，其中视差值与视差信令分量一致。

本发明进一步涉及根据本发明的三维图像信号。

本发明进一步涉及用于实施用于生成或者接收根据本发明的三维信号的方法的软件。

本发明进一步涉及一种包括指令的计算机程序产品，当所述指令在计算机上被执行时实施用于生成或者接收根据本发明的三维信号的方法。

尽管已经参考3D视频信号在DVB(数字视频广播)上的传输对上文进行了描述，但应当理解，本发明还可以被应用在诸如ATSC(先进电视系统委员会)这样的其它广播方案的上下文中。同样地，尽管所提到的例子涉及包括压缩视频数据的DVB，但应当指出，本发明在诸如HDMI(高清晰度多媒体接口)或显示端口这样的物理设备接口的上下文内是同样适用的。

鉴于上文，本发明首先被用在来自3D-DVB的接口上因此是可能的，其中形式为播送设备(broadcaster)的3D源设备将根据本发明的第一三维图像信号发送到形式为机顶盒(STB)的3D目标设备。STB然后可以例如在进来的信号上覆盖OSD，并且可以基于其生成依照本发明的第二三维图像信号，以及在HDMI接口上将所述第二三维图像信号发送到3D电视机，因此STB现在充当3D源设备。

附图说明

将参考附图仅通过例子对本发明的实施例进行描述，在附图中：

图1A图示了当提及覆盖图形时贯穿本申请使用的概念中的一些，所述图形包括区、子区以及对象，

图1B图示了针对区的视差设置能够如何用于分别生成立体像对的左图像和右图像，

图2示出了用于定义针对覆盖图的视差的现有技术机制，

图3A示出了在根据发明的实施例中针对覆盖图的视差值可以如何被定义，

图3B示出了在根据发明的替换实施例中针对覆盖图的视差值可以如何被定义，

图3C图示了本发明优于现有技术的优点，

图4示出了根据本发明的3D源设备的框图，

图5示出了根据本发明的3D目标设备的框图，

图6示出了采用根据本发明的3D源设备和3D终端设备的系统。

具体实施方式

本发明提供了以未被现有技术解决的方式递送三维图像数据(3D)的替换方式。本发明旨在解决三维图像信号的分配并且可以用于实况的内容以及同样地用于记录的内容。

和现有技术相比，本发明解决了与实时字幕相关的问题。本发明人了解到，在诸如针对3D蓝光盘预先创作的内容与典型地在DVB上广播的内容之间存在实质差异；在DVB上广播的内容常常包括实况的内容；诸如新闻、体育比赛或没有时间针对其执行广泛创作的内容。

参见图1A，图1A图示了当提及覆盖图形时贯穿本申请提及的概念中的一些。在本发明的上下文内，当提及为多视图图像创建覆盖图所需要的信息时，该信息将被指示为页面定义。在这里页面定义将使用与显示设备的显示区域相对应的图像参考400来描述，例如，对于时序立体显示器来说，该区域反映了显示设备的像素阵列。

页面定义包括例如区定义，这些区定义定义了图像参考400内的区405，在这里为其中图形可以被覆盖的矩形区域。此外，这个示例性的页面定义还包括定义对象410的对象定义，对象410可以在区410内被覆盖。

尽管示例性对象410示出了词“Text”，但应当指出，这样的对象定义可以是许多对象中的一个。例如，对象能够被定义为以下列举的那些的任一组合：

●文本串

●文本串和字型选择，可选地具有定义例如字体样式、大小、斜体、黑体的附加属性，它们从常规2D字体中是已知的。向文本串提供诸如例如字型深度值这样的深度属性的附加特征可以被提供，和/或通过浮雕字形样式的选择被提供

●位映像图形，可选地也具有一定深度，以及

●动画位映像图形，又可选地也具有一定深度。

所述例子进一步示出了位于单个区405内并且由虚线划分界限的两个所谓的子区415的定义。

为了恰当地覆盖区405中的对象410，需要另外的定义：视差信令定义，视差信令定义可以在形式为视差信令段的流中来提供。

在它最简单的形式中，由本发明所规定的视差信令段定义了页面级上的视差值。因此例如在立体显示器的情况下，在覆盖区中提供的所有信息在生成左和右图像时将被移位相同的程度。

使用页面级方案的优点是具有覆盖功能性的设备能够保持相对简单。

在更先进的方案中，视差信令定义提供针对区和/或子区的视差值。以这种方式，更先进的覆盖图能够被实现。考虑例如其中需要为对话提供字幕的情况，其中进行该对话的两个人位于不同的位置处，在左边的人靠近摄像机，在右边的人远离摄像机。所述更先进的视差信令方案还可以使能这个更复杂的字幕方案。

当覆盖具有一定深度的图形时，图形的相应部分的移位将必须基于它的深度被调整，然而这对于本领域的技术人员而言将是清楚的。

图1B示出了3D图像信号内的视差信令能够如何被用来在这种情况下生成左图像(450)和右图像(460)。左图像450和右图像460是基于如图1A中所图示的页面定义的。在这个例子中，仅包括对象410的区405被给出非零视差值。因此在这个例子中，当生成左图像450时，对象410按视差值除以2向左移位，而在生成右图像450时对象410按视差值除以2向右移位。

对于技术人员而言将清楚的是，将视差值编码成针对左图像和针对右图像的移位的总和的选择是任意的并且能够轻易被另一编码所取代。

尽管为覆盖图形提供页面定义可能好像是简单的，但生成页面定义的实际过程由例如字幕或覆盖图不一定与在被覆盖的底层镜头中提供的信息同步的事实而变得复杂化。

例如考虑如下情况，其中特定的人在实况现场被采访。在一定时刻，采访者结束采访并且说出他的对话的最后一句。在那时，导演切换到另一摄像机。然而为了让观众读取字幕，字幕将被覆盖在新切换的场景上。

为了解决这个问题，现有技术方案提出具有对覆盖图的时变定位。图2图示了现有技术过程。考虑例如其中视差信令在页面级上发生的情况。页面定义定义了：在时间t0处，所使用的视差值应该为d0，在时间t1处所使用的视差值应该为d1，在时间t2处，所使用的视差值是d2等。为了使得3D目标设备能够恰当地使用所述视差信息，所述信息将在它需要被使用之前的某个时间在三维图像数据中被发送，使得在它将被使用的时刻，即在与t1相对应的呈现时间戳之前，对(t0,d0)将必须被3D目标设备所接收。换句话说，针对该呈现时间戳的整个页面定义必须在呈现时间戳之前被完成。

本发明的发明人了解到，尽管这个特定方法的确允许例如字幕视差对场景改变的适应，但视差值的改变将是相当粗糙的，如像视差的改变的步骤所证明的。

为了解决这个问题，本发明人已设计替换方法，其中视差信令信息包括针对图像的(子)区的预测器，所述预测器指示这个区中的视差被期望如何随着时间的推移而改变。

这个方案的例子在图3A中被提供。再次考虑其中视差控制在页面级上发生的情况。在用时间表示的一定时刻TA处，第一个时间指示t0以及关联的视差值d0被提供。第一个时间指示与在时间上接近于当前时刻的不久的将来内的时间相关。此外，第二个时间指示t1及关联的第二视差值d1被提供。

在后面的时间TB处，信息(t1,d1)和(t2,d2)被接收。此外，在再后面的时间TC处信息(t3,d3)和(t4,d4)被接收。通过在这个更新信息中提供当前视差值和下一个视差值，接收三维图像信号的3D目标设备能够在这两个用时间表示的时刻之间进行插值，从而使能如图3A中所指示的线性插值。

替换方案在图3B中被提供，如参考图3B所做的那样，在这里有效地提供了相同的信息，但视差信令信息的格式是不同的。在这里在时间TA处，三个值被提供；如在上文中所描述的(t0,d0)和c0，c0定义视差随着时间推移的变化。

应该指出，参考图3A和3B在上文描述的两个例子都包括冗余数据，因为解析进来的三维图像信号的3D目标设备接收了冗余信息；原则上除第一对数据(t0,d0)之外全部都被用信号发送两次。严格来说这是不必要的，因为3D目标设备能够基于所接收到的数据来追踪这些值。

然而为了创建更健壮的系统并且为了缩短恰当地访问内容所需要的时间，有时重复数据可能是有益的。

本发明的另外的优点在图3C中被图示。再次考虑其中视差信令在页面级上的情况。考虑例如其中针对实况事件生成三维图像信号的情况。在第一个时间指示t0之前的用时间表示的一定时刻TA处，页面级视差被设置在d0(t0,d))处。鉴于场景中适度的改变率存在的事实，期望在用时间表示的另外时刻第二个时间指示t1处，页面级视差应该为d1(t1,d1)。这两对在视差信令段中被提供。

然而，在t0与t1之间的时刻t0’处，作为场景中改变的结果，视差级(t1,d1)的先前的预测器好像是错误的。因此，本发明提出“否决”先前的预测并且提出发送新的视差信令信息，所述新的视差信令信息否决先前发送的信息。

以上述方式，本发明允许先前发送的预测被新的预测否决。还应当指出，尽管在上面场景中(t0’,d0’)是在(t0,d0)与(t1,d1)之间的线上。然而这是不必要的。实际上，如果情况需要还可能插入视差跳跃，但是这应该被适度地完成，因为这将是可见的。还应当指出，新的预测(t1,d1’)在这个例子中与第二个时间实例d1相对应，然而这不需要总是如此。

关于时间实例的定义应当指出，可能能够基于例如在3D目标设备处可获得的时钟来规定用时间表示的时刻，诸如按照90KHz增量，然而代替地它还可能是基于帧数的。由帧数所提供的解析度足以提供恰当的视差信令。

如在本文中所描述的那样，视差信令信息一旦被确定就可能需要被包装成数据段以用于包括在三维图像信号中。表1提供了视差信令段的示范性描述。表1清楚地示出页面级视差更新和/或(子)区视差更新的使用。如在上文中所描述的那样，对于不支持(子)区视差更新的设备来说，忽略这些字段并且仅支持页面级视差是可能的。页面级视差在这里在字段page_default_disparity中被提供。

应当指出，视差信令段不定义区或对象，而是主要地专注于视差信令。然而子区可以在这个段中被定义，以便允许与DVB的后向兼容性。

表1示出了在每个区内可以存在多个分离子区。如果情况是这样的，则subregion_id的值不同于零。

如果subregion_id=0，则subregion_disparity(具有整数和分数部分)适用于整个区。否则，存在多个子区(具有不同的id，其大于零)并且对于每个子区视差被给出。

区循环包含每个区和子区(如果适用)的所有视差信息，其不同于页面缺省视差。

视差信息在由呈现时间戳(PTS)所确定的时刻处变得可适用，所述呈现时间戳是与包含视差信令段的PES分组一起提供的。

在这里提出向视差信令段中的每个视差值添加第二个(不同的)值和指示第二个值什么时候(例如在多少个帧之后)应该“达到”的时期值。计算适当的中间值是由3D目标设备的实施方案负责的。实施方案甚至可以选择为此使用或不使用子像素精度。视差信令段的新版本能够与PTS一起发送到解码器（所述PTS指示其什么时候变得有效），以便可能地否决视差值的当前(中间)状态。如果提前知道视差，则更新能够被同步到先前的更新已达到其最终值的时刻。对于实况传输，更新能够每隔一定间隔(例如每秒一次)被发送，或者它们能够在间隔的结束之前被发送以便更正当前的方向。

表2和3分别示出了针对page_disparity_updates和subregion_disparity更新的可能语法。

表1，视差信令段语法

语法	大小	类型
			disparity_signalling_segment(){
sync_byte	8	bslbf
			segment_type	8	bslbf
page_id	16	bslbf
			segment_length	16	uimsbf
dss_version_number	4	uimsbf
			reserved	3	uimsbf
page_disparity_update_included	1	bslbf
			page_default_disparity	8	tcimsbf
if (page_disparity_update_included = = 1){
			page_disparity_update()	8	bslbf
}
			while (processed_length < segment_length){
region_id	8	bslbf
			subregion_id	8	bslbf
if (subregion_id != 0){
			subregion_horizontal_position	16	uimsbf
subregion_width	16	uimsbf
			}
subregion_disparity_integer_part	8	tcimsbf
			subregion_disparity_fractional_part	4	uimsbf
reserved	3	uimsbf
			subregion_disparity_update_included	1	bslbf
if (subregion_disparity_update_included = = 1){
			subregion_disparity_update()
}
			}
}

表2，page_disparity_update语法

语法	大小	类型
			page_disparity_update(){
Interval	8	uimsbf
			end_page_default_disparity	8	tcimsbf
}

在表2中，间隔（interval）可以例如以帧的数目来规定直到达到了end-page_default_disparit为止，并且end_page_default_disparity与在间隔的结束时的视差值相对应。

表3，subregion_disparity_update语法

语法	大小	类型
			subregion_disparity_update(){
Interval	8	uimsbf
			end_subregion_disparity_integer_part	8	tcimsbf
end_subregion_disparity_fractional_part	4	uimsbf
			Reserved	4	uimsbf
}

在表3中，间隔对应于帧的数目直到end_page_default_disparity为止。并且值end_subregion_disparity_integer_part和end_subregion_disparity_fractional_part以子像素精度表示在间隔结束时的视差。

尽管三维图像信号中数据的格式化是重要的，但是可以设想变化。如在本文下面分别由表4、5以及6所图示的那样。

表4，替换的视差信令段语法

语法	大小	类型
			disparity_signalling_segment(){
sync_byte	8	bslbf
			segment_type	8	bslbf
page_id	16	bslbf
			segment_length	16	uimsbf
dss_version_number	4	uimsbf
			reserved	2	uimsbf
page_disparity_update_included	1	bslbf
			page_default_disparity	8	tcimsbf
if (page_disparity_update_included = = 1){
			page_disparity_update()	8	bslbf
}
			while (processed_length < segment_length){
region_id	8	bslbf
			nr_of_subregions	8	uimsbf
if (nr_of_subregions = = 1){
			subregion_disparity_integer_part	8	tcimsbf
subregion_disparity_fractional_part	4	uimsbf
			reserved	3	uimsbf
subregion_disparity_update_included	1	bslbf
			if (subregion_disparity_update_included = = 1){
subregion_disparity_update()
			}
}
			if (nr_of_subregions > 1){
for (i== 1, i <= nr_of_subregions, i++){
			subregion_horizontal_position	16	uimsbf
subregion_width	16	uimsbf
			subregion_disparity_integer_part	8	tcimsbf
subregion_disparity_fractional_part	4	uimsbf
			reserved	3	uimsbf
subregion_disparity_update_included	1	bslbf
			if (subregion_disparity_update_included = = 1){
subregion_disparity_update()
			}
}
			}
}

表5，替换的page_disparity_update语法

表6，替换的page_disparity_update语法

现参见图4，图4示出了根据本发明的3D源设备50的框图。3D源设备包括三个功能单元：布置成接收多视图图像数据51的接收机RCV、用来建立深度信息的检查单元INSP以及用于生成三维图像信号的生成单元GEN。多视图图像数据51的源可以是但未必为实况摄像机馈源。本发明还可以与源自用于实况馈源的视频延迟线的内容或源自用于该事件的常规存储设备的内容一起被使用。尽管本发明特别适用于实况内容，但它还可以用于预先记录的内容。

多视图图像数据51例如可以以压缩或未压缩立体像对之一的形式来表示立体视频。替换地，多视图包括两个以上的视图。在所描绘的例子中，多视图图像数据51是包括立体像对的未压缩视频流。接收机块在这个特定的情况下还压缩进来的多视图图像数据51，从而形成包括多视图图像数据的第一分量52。

未压缩的图像数据51被发送到检查单元，检查单元在这里被布置成动态建立深度图（depthmap）。替换地，输入流可以被提供有例如使用测距仪(rangefinder)或深度摄像机建立的深度图。检查单元还接收覆盖数据53以用于覆盖多视图图像数据51。在示范性实施方案中，覆盖数据53是字幕信息，其例如可以被手动输入或者基于语音识别生成并且将与多视图图像数据组合。

检查单元输出形式为视差信令信息的第三分量56以用于包括在所生成的三维信号56中。因为检查单元能够访问存在于多视图信息中的深度信息并且具有关于字幕的位置的信息(如在这个例子中那样)，所以将字幕放置在多视图图像数据中的对象前面是可能的。如果没有足够的深度范围可用来容纳字幕，则检查单元可以进一步将裁切信息59提供给压缩块来例如裁切左和右图像以便采用整个深度范围。在这之后检查单元再次迭代并且能够准备用于包括在输出信号中的视差信令信息。

随后，生成单元被布置成基于形式为多视图图像数据的第一分量52、覆盖数据53以及视差信令段来生成作为通过3D源设备的输出的三维图像信号56。

对于本领域的技术人员而言将清楚的是，如参考图4在本文上面所描述的压缩和裁切控制添加到这个特定实施例的优点，但对于本发明不是必要的。

现参见图5，图5示出了根据本发明的3D目标设备60的框图。3D目标设备包括用于接收根据本发明的三维图像信号56的接收机RCV。所述接收机例如可以是DVB接收机或HDMI显示接口单元。进来的信号56随后通过解复用器DMX来传递，所述解复用器DMX从三维图像信号中提取相应的分量并且准备针对进一步的处理下游的分量。在这个示范性实施例中为所接收到的第一分量61、所接收到的第二分量62以及所接收到的第三分量63。

所接收到的第一分量61包括多视图图像数据，第二分量包括覆盖数据以及第三分量包括视差信令信息。这三个分量随后被生成器GEN使用以便生成与相应立体像对的左和右图像相对应的两个输出图像68和69。左和右图像可以通过依照如参考图1A和1B所描述的视差信令信息来恰当地移位位于区中的对象来被生成。

如在上文中所描述的那样，依照本发明的三维图像信号提供了有关覆盖图在多视图镜头上的放置的信息。在一个实施例中，这样的三维图像信号通过播送设备进行广播、单播或者组播。所述信号例如可以使用包括根据本发明的视差信令信息的3D兼容DVB-T版本来进行广播。当这样的三维图像信号被STB接收，并且STB使用视差信令信息来恰当地覆盖字幕时，STB还可以将视差信令信息转发到诸如显示设备这样的另外的下游设备。

在上述情况下，显示设备能够例如在生成其OSD时使用视差信令信息，使得显示设备OSD不会与由电视(其包括覆盖字幕)所接收到的立体图像冲突。

本发明还可以在STB选择此外将它的OSD覆盖到立体图像时被使用，在这种情况下STB应该相应地调整视差信令信息，使得显示设备还能够容纳。

尽管主要参考诸如使用DVB或ATSC广播的内容对本发明进行了解释，但当在因特网上分配内容时使用本发明也是可能的。

现在参见图7，图7示出了采用根据本发明的3D源设备BCST以及两个目标设备STB和TV2的系统。根据本发明的三维图像信号由3D源设备通过诸如空中电波、互联网或电缆连接这样的介质71被传送到两个目标设备STV和TV2。在这种情况下，3D目标设备STB借助于具有3D能力的HDMI接口被连接到显示设备TV1。

应当指出，本申请描述了被优选地组合的两个发明概念。第一概念涉及单个视差预测器在视差信令中的使用，所述视差信令用于在三维图像信号中进行覆盖时使用。单个预测器的使用作为关键优点具有如下事实：当在实况内容上覆盖信息时，平滑的视差过渡可以以不需要大的开销的方式来实现。第二概念涉及如下事实：本发明提出使用一个或多个预测器来使用视差信令，其中这些一个或多个预测器能够被新的预测器否决。以这种方式。它依然可能使用预测器以用于实现平滑视差简档，同时仍然为容纳实况镜头提供灵活性。此外，当仅单个预测器被使用时，平滑视差简档能够被实现并且效率惩罚在预测器被否决时依然低。

尽管贯穿本申请文本对视差信息进行参考，但对于本领域的技术人员而言是众所周知的是深度和视差是相关的。事实上，当有关深度到视差的映射的信息是可用的时，或许可以使用深度信令代替视差信令。

鉴于上文，应当理解，贯穿本申请的视差信令还被理解为包括深度信令，只要信息被提供来将深度值映射到视差值。

然而，鉴于使用视差信令的明显优点（因为不需要映射功能），本申请和权利要求仅提及视差信令进行了起草。

应当指出，本发明可以使用可编程构件以硬件和/或软件来实施，同样地实施方案可以完全地或者部分地基于专用HW、ASIC、FPGA和/或PC被设想。

所公开的实施例的其它变例能够被本领域的技术人员在实践所要求保护的发明中从对图、公开内容以及所附权利要求的研究来理解和实现。在权利要求中，词“包括”不排除其它元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其它单元可以实现在权利要求中记载的若干项的功能。某些手段被记载在相互不同的从属权利要求中的仅有事实不指示这些手段的组合不能够被用来获利。权利要求中的任何附图标记不应该被解释为限制范围。

Claims

1.一种用于输出三维图像信号的3D源设备，所述三维图像信号包括多视图图像数据，所述3D源设备包括：

-用于接收图像数据的输入端；

第一分量，其包括用于在立体图观看中使用的多个2D图像；

第二分量，其包括覆盖数据；

第三分量，其定义用于在所述多个2D图像的相应2D图像上覆盖图像数据中使用的视差信令信息，其特征在于所述第三分量包括参数，所述参数定义具有时变视差简档的视差信息以用于提供用于指示覆盖图的视差被期望如何随着时间的推移而改变的预测器；以及

在于所述三维图像信号包括

另外的第三分量，其在所述三维图像信号中比所述第三分量处于更晚的时间，其定义用于在所述多个2D图像的相应2D图像上覆盖图像数据中使用的新的视差信令信息，所述另外的第三分量包括另外的参数，所述另外的参数定义具有新的时变视差简档的新的视差信息以用于提供用于指示覆盖图的视差被期望如何随着时间的推移而改变的另外的预测器，

2.根据权利要求1所述的设备，其中，所述第三分量包括用于在区中将覆盖数据覆盖在所述多个2D图像的相应2D图像上时使用的视差信令信息。

3.根据权利要求1或2所述的设备，其中，所述第三分量允许对多个分离区和/或子区进行信号发送。

4.根据权利要求1所述的设备，其中，针对所述时变视差简档的所述视差信令信息在视差信令段中来提供，并且其中段包括单个预测器。

5.一种用于接收三维图像信号的3D目标设备，所述三维图像信号包括多视图图像数据，所述3D目标设备包括：

-接收机，用于接收所述三维图像信号；

第一分量，其包括用于在立体观看中使用的多个2D图像；

第二分量，其包括覆盖数据；

在于所述三维图像信号包括

在于所述3D目标设备包括

6.根据权利要求5所述的设备，其中，所述第三分量包括用于在区中将覆盖数据覆盖在所述多个2D图像的相应2D图像上时使用的视差信令信息。

7.根据权利要求5-6中任何一项所述的设备，其中，所述第三分量允许对多个分离区和/或子区进行信号发送。

8.根据权利要求5所述的设备，其中，针对所述时变视差简档的所述视差信令信息在视差信令段中来提供，并且其中段包括单个预测器。

9.根据权利要求5或6所述的设备，其中，所述接收机是以下各项中的一个：

-3DIPTV接收机，

-3DATSC接收机，

-3D-DVB接收机，

-3DHDMI接收机接口。

10.一种产生三维图像信号的方法，所述方法包括：

-接收图像数据；

-基于所述图像数据生成三维图像信号，所述三维图像信号包括：

第一分量，其包括用于在立体观看中使用的多个2D图像；

第二分量，其包括覆盖数据；

在于所述三维图像信号包括

另外的第三分量，其在所述三维图像信号中比所述第三分量处于更晚的时间，其定义用于在所述多个2D图像的相应2D图像上覆盖图像数据中使用的新的视差信令信息，所述另外的第三分量包括另外的参数，其定义具有新的时变视差简档的新的视差信息以用于提供用于指示覆盖图的视差被期望如何随着时间的推移而改变的另外的预测器，

11.一种消费三维图像信号的方法，所述方法包括：

-接收所述三维图像信号；

-在至少以下各项中解复用所述三维图像信号：

第一分量，其包括用于在立体观看中使用的多个2D图像；

第二分量，其包括覆盖数据；

在于所述三维图像信号包括

所述另外的第三分量中的所述新的视差信令信息否决所述第三分量中的所述视差信令信息，以及

在于所述方法包括

-生成用于在立体观看中使用的相应2D图像，其中所述覆盖数据如在所述视差信令信息内所定义的那样被覆盖。

12.一种产生三维图像信号的设备，所述设备包括：

-用于接收图像数据的装置；

-用于基于所述图像数据生成三维图像信号的装置，所述三维图像信号包括：

第一分量，其包括用于在立体观看中使用的多个2D图像；

第二分量，其包括覆盖数据；

在于所述三维图像信号包括

13.一种消费三维图像信号的设备，所述设备包括：

-用于接收所述三维图像信号的装置；

-用于在至少以下各项中解复用所述三维图像信号的装置：

第一分量，其包括用于在立体观看中使用的多个2D图像；

第二分量，其包括覆盖数据；

在于所述三维图像信号包括

在于所述设备包括

-用于生成用于在立体观看中使用的相应2D图像的装置，其中所述覆盖数据如在所述视差信令信息内所定义的那样被覆盖。