CN102457750A - 用于将对象数据插入立体图像中的方法和设备 - Google Patents

Abstract

本发明公开了用于将对象数据插入立体图像中的方法和设备。用于将对象数据插入立体图像以用于在屏幕上显示的方法包括如下步骤：提供具有前景分量的第一图像和具有前景分量的第二图像，第二图像的前景分量是第一图像的前景分量的被水平移位的版本；将第一不透明部分插入第一图像中，并且将第二不透明部分插入第二图像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一图像的分量与第二图像的分量之间的位移小于第一不透明部分与第二不透明部分之间的位移；以及将对象数据插入到第一不透明部分上以用于在屏幕上显示。

Description

用于将对象数据插入立体图像中的方法和设备

技术领域

本发明涉及一种用于将对象(object)数据插入到立体图像中的方法和设备。

背景技术

为了提高视频内容(诸如实况广播或故事片)对于听力受损的那些人的可访问性，提供了隐藏字幕。这使得与内容片段中的声音有关的信息或对白被写到屏幕上。存在当内容的语言与观看者所讲的语言不同时提供小标题的类似系统。

目前，正在努力使得用户可以在家里观看以3D捕获的视频素材。然而，将隐藏字幕合并到3D素材中是不容易的。这是因为字幕的3D位置难以被用户感知到。具体地，如果字幕被置于图像之上，则对字幕的位置的感知必然在图像的前方。然而，如果3D图像占据了3D空间中字幕前方的位置，使得用户的眼睛集中于字幕的“前方”，则用户会接收到相矛盾的提示。这会使得用户感到不舒服。

可以依赖于主体(subject)在3D空间中的位置来调节隐藏字幕的位置。换而言之，可以确保隐藏字幕的位置在3D空间中在主体的前方。然而，该方案具有两个显然的缺点。首先，该方案不是特别适合实况动作，其中主体可能突然向前移动，从而“突破”隐藏字幕。第二，为了确保隐藏字幕被置于正确的地方，需要场景的深度图。深度图为场景中的每个像素确定场景中的该像素距离相机的正确距离。深度图的生成在计算上是精深的。

期望在3D图像中包括既适合于实况镜头又可以以不那么计算密集的方式生成的隐藏字幕。本发明的目的就是辅助提供这样的方案。

发明内容

根据本发明的一个方面，提供一种用于将对象数据插入立体图像以用于在屏幕上显示的方法，该方法包括如下步骤：提供具有前景分量的第一图像和具有前景分量的第二图像，第二图像的前景分量是第一图像的前景分量的被水平移位的版本；将第一不透明部分插入第一图像中，并且将第二不透明部分插入第二图像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一图像的分量与第二图像的分量之间的位移小于第一不透明部分与第二不透明部分之间的位移；以及将对象数据插入到第一不透明部分上以用于在屏幕上显示。

该方法可以包括将对象数据插入到第二不透明部分上，其中对象数据被插入到第二图像中的像素位置与对象数据被插入到第一图像中的像素位置类似，以使得对象数据可被观看为实质上位于屏幕平面上。

该方法可以包括将第一不透明部分插入第一图像中的一定位置，该位置依赖于图像部分中的连续图像之间的运动量和/或对象数目来确定。

第一不透明部分的位置可以根据第一图像中的运动和/或阈值对象数目来确定。

该方法可以包括从输入数据流提取指示第一不透明部分的位置的位置信息。

该方法可以包括分析第一图像并根据该分析来确定第一不透明部分的位置。

不透明部分的尺寸可以根据第一图像中的对象数目和/或对象数据的大小和/或运动量来确定。

对象数据可以是增补视觉内容。

第一不透明部分与第二不透明部分之间的位移可以被固定为预定距离。

第一不透明部分与第二不透明部分之间的位移可以是屏幕宽度的比例。

屏幕宽度的比例可以是1％。

另外，可以提供一种包括计算机可读指令的计算机程序产品，计算机可读指令当被加载到计算机上时使得该计算机被配置为执行如前述实施例中的任何一个实施例所述的方法。

另外，提供一种存储介质，被配置为在其中或其上存储所述计算机程序。

根据另一个方面，提供一种用于将对象数据插入到立体图像中以用于在屏幕上显示的设备，包括：显示控制器，所述显示控制器可操作来提供具有前景分量的第一图像和具有前景分量的第二图像，第二图像的前景分量是第一图像的前景分量的被水平移位的版本；所述显示控制器还可操作来将第一不透明部分插入第一图像中，并且将第二不透明部分插入第二图像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一图像的分量与第二图像的分量之间的位移小于第一不透明部分与第二不透明部分之间的位移；以及所述显示控制器还可操作来将对象数据插入到第一不透明部分上以用于在屏幕上显示。

所述显示控制器还可操作来将对象数据插入到第二不透明部分上，其中对象数据被插入到第二图像中的像素位置与对象数据被插入到第一图像中的像素位置类似，以使得对象数据可被观看为实质上位于屏幕平面上。

所述显示控制器还可操作来将第一不透明部分插入第一图像中的一定位置，该位置依赖于图像部分中的连续图像之间的运动量和/或对象数目来确定。

第一不透明部分的位置可以根据第一图像中的运动和/或阈值对象数目来确定。

所述显示控制器还可操作来从输入数据流提取指示第一不透明部分的位置的位置信息。

所述显示控制器还可操作来分析第一图像并根据该分析来确定第一不透明部分的位置。

不透明部分的尺寸可以根据第一图像中的对象数目和/或对象数据的大小和/或运动量来确定。

对象数据可以是增补视觉内容。

第一不透明部分与第二不透明部分之间的位移可以被固定为预定距离。

第一不透明部分与第二不透明部分之间的位移可以是屏幕宽度的比例。

屏幕宽度的比例可以是1％。

附图说明

本发明的以上目标、特征和优点将从以下对说明性实施例的详细描述中变得明了，该描述应当结合附图来阅读，在附图中：

图1描述本发明的实施例的总体系统；

图2描述图1中示出的接收装置的更为详细的示图；

图3是示出隐藏字幕和其中包含的文本在3D空间中的定位的示意图；以及

图4是说明3D场景中的每个对象需要的位移的示图。

具体实施方式

参考图1，示出根据本发明的实施例的系统。该系统100包括显示器120。显示器120是3D使能的。换而言之，显示器120被配置为显示立体图像，立体图像允许用户在观看内容时体验3D效果。该显示器120可以与用户所配戴的快门眼镜交互或者可以要求用户使用偏光眼镜来显示立体图像，以使得3D效果被实现。在图1中，用户130被示出配戴着快门眼镜140。然而，可以构想到诸如偏光眼镜之类的任意其它类型的眼镜。此外，3D技术中的进步可能意味着用户可以在完全不使用任何眼镜的情况下观看具有3D效果的图像。例如，显示器120可以利用诸如垂直透镜片(perpendicular lenticular sheet)之类的技术来使得用户130能够在没有眼镜的情况下实现3D效果。

连接至显示器120的是控制盒200。控制盒200使用电线连接至显示器，但是本发明不限于此。连接可以是无线的，或者可以通过有线的或无线的网络来实现，或者可以被集成到显示器中。

内容的输入流被馈送到控制盒200中。该内容可以包括3D镜头或者可以被控制盒200转换成3D内容的2D镜头。在实施例中，输入流还可以包括其它数据。其它数据可以由元数据组成，元数据是与内容有关的数据并且通常比其所描述的内容的大小更小。其它数据可以包括深度信息。深度信息描述场景内的每个像素的深度。从该信息，控制盒200可以计算形成显示器120上的立体图像的两个图像之间的所需差异。另外地或替代地，深度信息可以是减少控制盒200所需的计算量的差异信息。

输入流还包含对象数据。对象数据是描述将要插入到所显示的图像中的对象的数据。对象数据的一个示例是隐藏字幕信息。隐藏字幕信息是音频数据的视觉表示。例如，隐藏字幕信息可以是描述屏幕上的两个角色的对白的小标题。此外，隐藏字幕信息可以描述内容内的背景声音，例如表明门正被砰地关上。隐藏字幕信息主要针对听力受损的用户。

对象数据还可以包括增补视觉内容。增补视觉内容是对将要显示的图像内容进行增补的视觉内容。这可以包括足球比赛中的比分或当前新闻头条的滚动更新。增补视觉内容的其它示例包括广告、与当前在屏幕上的角色或运动员有关的信息、对显示器上的事件的解说或可以增补当前显示的图像中所提供的信息的任意其它类型的视觉数据。

对象数据还可以包括电子节目指南信息，或由电视显示器或机顶盒生成的任意类型的数据，诸如电视菜单或任意类型的屏幕上的图形。

参考图2，控制盒200被更详细地示出。输入流被馈送到对象数据提取器210中。对象数据提取器210通常是解复用器，在实施例中，所述解复用器从输入流中移除接收的对象数据。在包括隐藏字幕信息的对象数据的示例中，对象数据提取器210通过分析分组基本流(Packet ElementaryStream，PES)来获知隐藏字幕信息是存在的。具体而言，当输入流中包括隐藏字幕信息时，PES_packet_data_byte(PES_分组_数据_字节)被编码为欧洲电信标准协会(ETSI)定义的PES_data_field(PES_数据_字段)。当对象数据提取器210识别出输入流中包括隐藏字幕信息时，从分组中提取对象数据。技术人员将明白，虽然已经参考ETSI标准说明了以上内容，但是输入流实际上可以是任何的广播标准，或从任何存储的或记录的内容(例如，诸如在蓝光光盘上提供的内容)播放而来。

另外，对象数据提取器210向显示装置230输出左眼图像和相应的右眼图像(相应的右眼图像是左眼图像的被水平移位的版本)。左眼图像和右眼图像一起形成立体图像。左眼图像和右眼图像中的对象之间的位移量决定对象在3D空间中的位置。换而言之，如技术人员理解的，左眼图像和右眼图像之间的水平位移决定了用户感知到的对象的深度。

所提取的对象数据被馈送给对象数据处理装置220。对象数据处理装置220使用通过输入流接收到的PES分组中所包括的任何字体、颜色或大小信息来对对象数据进行格式化。换而言之，对象数据处理装置220对对象数据施加格式化处理以使得其可以被正确地显示。对象数据处理装置220还生成当被显示在屏幕上时将被插入到内容中的不透明部分。不透明部分将被以一特定深度放置在3D空间内并且将把图像阻挡在后面。这确保了与不透明部分叠加的任何东西都将容易被读到。不透明部分被放置的深度可以是在场景中的重要对象(以下，称为前景分量)的前方的任何深度。左眼图像和右眼图像中的不透明部分的像素位置之间的位移将限定不透明部分的深度。稍后将参考图3来描述不透明部分。

已格式化的对象数据和不透明部分的左眼版本和右眼版本被馈送给显示装置230。显示装置230还被馈送来自对象数据提取器210的左眼图像和右眼图像。显示装置230生成图像的左眼版本和右眼版本以用于立体显示。特别地，显示装置230通过将不透明部分的左眼版本叠加到图像的左眼版本上来生成用于显示的图像的左眼版本。类似地，显示装置230通过将不透明部分的右眼版本叠加到图像的右眼版本上来生成用于显示的图像的右眼版本。对象数据还被插入到左眼图像和右眼图像二者中。在这里应当注意，在实施例中，对象数据可以以在左眼版本和右眼版本之间几乎没有或没有水平位移的方式被插入。这将使得对象数据能够在立体图像中被感知为是位于屏幕平面上的。换而言之，对象数据被用户感知到是位于与屏幕相同或相似的深度。这是有用的，因为用户在观看时关注屏幕并且因此将对象数据放置在屏幕平面上或其周围使得对象数据能够更容易被用户观看。

参考图3和图4，不透明部分在3D空间中的定位被示出。如在图3中所示，用户130被定位于显示器120的前方。为了体验在显示器120前方出现的角色310，在实施例中，用户配戴快门眼镜140。角色310仅仅是作为在3D空间中被定位得与观看者最接近的任意对象的前景分量的一个示例。

另外，由对象数据处理装置220生成的不透明部分330被显示。如图3中所示，不透明部分330被定位在角色310的前方。此外，不透明部分330在3D空间中被定位为是最前方的对象。换而言之，不透明部分330看起来被定位在前景分量的前方。因此，不透明部分330在Z方向上具有的正值比角色310在Z方向上的值更大。

如图3中所示，对象数据是陈述单词“你好”340B的隐藏字幕数据。对象数据340B被叠加在不透明部分330上并且被设置成不同于不透明部分的颜色，以使得其是可见的。然而，虽然不透明部分330显得非常接近用户130(即，位于在Z方向上具有比人物310更大的正值的平面上)，但是，在实施例中，对象数据被放置在与屏幕相同的平面上。通过将对象数据放置在与屏幕相同的平面上(在下文中或者称为放置在屏幕平面中)，与Z方向上的任何其他位置相比，用户将能够更容易地集中于对象数据。

图3中示出了如下图示：对象数据“你好”340B在不透明部分330上对于用户130可见。然而，在实施例中，对象数据“你好”340A实际被放置在屏幕平面上。因为不透明部分330看起来象是图像中最前的对象，所以用户似乎要看穿不透明部分330来观看位于屏幕平面上的对象数据。参考图4，将描述创建图3中的呈现的方法。为了生成立体图像，图像的左眼版本和图像的右眼版本被显示在屏幕上。眼镜使得合适的眼睛能够观看正确图像被原样显示的样子。

左眼图像120L被生成。这包括左眼角色310L和左眼不透明部分330L。相应的右眼图像120R被生成。这包括右眼角色310R和右眼不透明部分330R。为了产生角色310看起来接近用户的效果，左眼角色310L和右眼角色310R被水平移位距离d。该值可以是长度或者可以是某一像素数目。然而，因为不透明部分330看起来比角色310更接近用户130时，所以左眼不透明部分330L和右眼不透明部分330R被分隔距离e，距离e比d大。对象数据(在此情况下是单词“你好”)被叠加在左眼不透明部分330L和右眼不透明部分330R二者上。然而，因为在该实施例中对象数据将位于屏幕平面上，所以在显示器上左眼图对象数据和右眼对象数据之间没有水平位移。换而言之，左眼版本的对象数据与对象数据的右眼版本处于相同的像素位置。

左眼不透明部分和右眼不透明部分的位移的值e可以由广播商提供并被包括在输入流中。可替换地，值e可以是从左眼角色310L和右眼角色310R之间的位移d中导出的。因为在3D空间中不透明部分330需要位于角色310的前方，所以e的值必须比d的值更大。换而言之，e＞d。e超过d的量可以是恒定的或者可以是变化的。然而，为了不对用户造成不适，e的值可以服从于阈值。当不透明部分出现在屏幕的前方时，该阈值可以为屏幕宽度的1％，如果不透明部分出现在屏幕后方时，该阈值可以为屏幕宽度的2％。然而，这些仅仅是示例并且该阈值可以是相同的而不论不透明部分是出现在屏幕的前方还是后方。虽然上述阈值是屏幕宽度的百分比，但是该阈值可以简单地是预定数目的像素，例如当不透明部分出现在典型高清晰(HD)显示器上的屏幕的前方时，该阈值为20像素。

另外，可以选择e的值并且在节目的持续期间维持该值。这是有利的，因为d的值将不需要知道。e的值可以由广播商提供，或者，当其不是由广播商提供时，将需要在控制盒200中计算e的值。然而，在计算方面花费很贵。因此，在没有差异元数据被提供时，可以将e的值设置为阈值距离。例如，如以上所述，当不透明部分将位于显示器的前方时，e的值例如可以是屏幕的1％。这将通常等于20像素。这是因为，对于家庭观看，3D节目(即d的值)一般不会超过该值，因此在正常情况下，不透明部分将总是处于角色310的前方。

可替代地，可以从节目的深度预算计算出e的值。深度预算是由制作者设置的并且定义角色310可以具有的z方向的最正和最负的位置。通过获知该深度预算，可以将e的值设置得比该值大，从而确保不透明部分330将总是前景对象。

不透明部分在屏幕上的宽度、高度和位置也可以改变。例如，不透明部分的宽度和高度可以依赖于将被置于屏幕上的对象数据的数量而被调节。因此，在仅单词“你好”被显示的本示例的情况中，使不透明部分具有较小的宽度(或填充屏幕上的较少的水平空间)或较小的高度(或填充屏幕上的较少的垂直空间)是适当的。这确保较少的图像被不透明部分遮住。

还可以调节不透明部分在屏幕上的位置。在实施例中，不透明部分被朝着图像的底部放置。然而，如果在屏幕的该区域中存在大量对象或者运动，则将不透明部分放置在那儿可能是不适当的。在此情况下，不透明部分被放置在屏幕上的其他地方(例如在屏幕的顶部附近(此处具有较少的运动或对象))可能更好。用于不透明部分的定位信息可以由广播商在输入流中提供，或者可以由控制盒200“即时”计算出来。可以针对输入图像中的其他对象的数目和/或连续帧之间的运动量来分析输入图像并且可以基于此信息来选择不透明部分的定位。换而言之，可以基于图像中的最少量的运动或最少数目的对象来选择不透明部分的定位。

在实施例中，不透明部分可以仅被移动到屏幕上的特定区域。这改善了用户的观看体验。尽管可以将不透明部分移动到屏幕的任何部分，但是确保不透明部分不会太经常地移动是有用的。如果不透明部分要定期移动，则用户会被不透明部分转移注意力。类似地，如果不透明部分要移动到屏幕的许多不同部分，则用户还是会因不透明部分的移动而从实际图像内容转移注意力。为了解决该问题。在实施例中，不透明部分仅可以移动到所分配的屏幕位置。这可以是仅在图像的顶部或底部。此外，不透明部分可以仅在当屏幕的特定区域中的对象数目和/或运动的量超过阈值时才移动屏幕位置。

虽然已经在对象数据被放置在左眼图像和右眼图像二者中的情况说明了前述内容，但是本发明不限于此。对象数据可以是仅被放置在左眼图像中或右眼图像中。在此情况下，另一眼睛将会使不透明部分插入到图像中，而没有对象数据被叠加。

虽然已经参考对象数据被放置在屏幕平面上的情况说明了前述内容，但是本发明不限于此。具体而言，对象数据可以被放置在沿z方向具有比不透明部分更小的z值的任意位置。这便于用户将注意力集中到对象数据上。

虽然已经参考硬件说明了前述内容，但是本发明不限于此。在实施例中，由所述硬件执行的处理可以由包含计算机可读指令的计算机软件来执行。这些计算机可读指令形成可以被微处理器等读取的计算机程序。计算机程序可被存储在存储介质上，存储介质诸如光学可读介质、固态存储装置、硬盘等。计算机程序可以作为信号通过诸如因特网之类的网络被传送。

虽然在此已经参考附图详细描述了本发明的说明性实施例，但是应当理解，本发明不限于这些精确实施例，并且在不偏离所附权利要求书所限定的本发明的范围和精神的情况下，本领域技术人员可实行各种更改和修改。

Claims (22)

1.一种用于将对象数据插入立体图像以用于在屏幕上显示的方法，该方法包括如下步骤：

提供具有前景分量的第一图像和具有前景分量的第二图像，第二图像的前景分量是第一图像的前景分量的被水平移位的版本；

将第一不透明部分插入第一图像中，并且将第二不透明部分插入第二图像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一图像的分量与第二图像的分量之间的位移小于第一不透明部分与第二不透明部分之间的位移；

将对象数据插入到第一不透明部分上以用于在屏幕上显示；以及

将对象数据插入到第二不透明部分上，其中对象数据被插入到第二图像中的像素位置与对象数据被插入到第一图像中的像素位置类似，以使得对象数据可被观看为实质上位于屏幕平面上。

2.如权利要求1所述的方法，包括将第一不透明部分插入第一图像中的一定位置，此位置依赖于图像部分中的连续图像之间的运动量和/或对象数目来确定。

3.如权利要求2所述的方法，其中，第一不透明部分的位置根据第一图像中的运动和/或阈值对象数目来确定。

4.如权利要求1所述的方法，包括从输入数据流提取指示第一不透明部分的位置的位置信息。

5.如权利要求1所述的方法，包括分析第一图像并根据该分析来确定第一不透明部分的位置。

6.如权利要求1所述的方法，其中，所述不透明部分的尺寸根据第一图像中的对象数目和/或对象数据的大小和/或运动量来确定。

7.如权利要求1所述的方法，其中，所述对象数据是增补视觉内容。

8.如权利要求1所述的方法，其中，第一不透明部分与第二不透明部分之间的位移被固定为预定距离。

9.如权利要求8所述的方法，其中，第一不透明部分与第二不透明部分之间的位移是屏幕宽度的比例。

10.如权利要求9所述的方法，其中，所述屏幕宽度的比例是1％。

11.一种计算机程序产品，包括计算机可读指令，所述计算机可读指令当被加载到计算机上时使得该计算机被配置为执行如权利要求1所述的方法。

12.一种存储介质，被配置为在其中或其上存储如权利要求11所述的计算机程序。

13.一种用于将对象数据插入到立体图像中以用于在屏幕上显示的设备，包括：

显示控制器，所述显示控制器可操作来提供具有前景分量的第一图像和具有前景分量的第二图像，第二图像的前景分量是第一图像的前景分量的被水平移位的版本；

所述显示控制器还可操作来将第一不透明部分插入第一图像中，并且将第二不透明部分插入第二图像中，第二不透明部分是第一不透明部分的被水平移位的版本，其中，第一图像的分量与第二图像的分量之间的位移小于第一不透明部分与第二不透明部分之间的位移；以及将对象数据插入到第一不透明部分上以用于在屏幕上显示；其中所述显示控制器还可操作来将对象数据插入到第二不透明部分上，其中对象数据被插入到第二图像中的像素位置与对象数据被插入到第一图像中的像素位置类似，以使得对象数据可被观看为实质上位于屏幕平面上。

14.如权利要求13所述的设备，其中，所述显示控制器还可操作来将第一不透明部分插入第一图像中的一定位置，此位置依赖于图像部分中的连续图像之间的运动量和/或对象数目来确定。

15.如权利要求14所述的设备，其中，第一不透明部分的位置根据第一图像中的运动和/或阈值对象数目来确定。

16.如权利要求13所述的设备，其中，所述显示控制器还可操作来从输入数据流提取指示第一不透明部分的位置的位置信息。

17.如权利要求13所述的设备，其中，所述显示控制器还可操作来分析第一图像并根据该分析来确定第一不透明部分的位置。

18.如权利要求13所述的设备，其中，所述不透明部分的尺寸根据第一图像中的对象数目和/或对象数据的大小和/或运动量来确定。

19.如权利要求13所述的设备，其中，所述对象数据是增补视觉内容。

20.如权利要求13所述的设备，其中，第一不透明部分与第二不透明部分之间的位移被固定为预定距离。

21.如权利要求13所述的设备，其中，第一不透明部分与第二不透明部分之间的位移是屏幕宽度的比例。

22.如权利要求21所述的设备，其中，所述屏幕宽度的比例是1％。

Images