CN103039080A - 定制立体内容的3维效果的方法和装置 - Google Patents

Abstract

描述了一种用于可调整的3维内容的方法和系统，其中观看者可以根据观看者自身的视觉舒适等级和/或观看偏好调整深度范围。深度改变通过对立体内容图像对的左右图像进行移位来实现，使得立体对的移位后的左右图像中的对应像素展现足以实现期望的深度改变的新的水平视差。通过移位图像对中的左右图像，场景中的内容对象可以显得比未被移位的图像对中的那些相同的对象离观看者更近或更远。这个技术实现了观看者对立体3维内容中深度感的定制控制。

Description

定制立体内容的3维效果的方法和装置

相关申请的交叉引用

本专利申请要求提交于2010年6月28日的标题为“定制立体内容的3维效果的方法和装置”的美国临时专利申请序列号No.61/359,342的优先权益。上述的临时专利申请的教导通过引用明确地并入于此。

技术领域

本发明涉及一种三维（3D）图像展现系统，并且更具体地涉及为观看偏好定制3D场景中的感知深度。

背景技术

三维（3D）电影一直以来增加的数量在发行。随着3D内容的普及度在影院中扩展，存在日益增加的努力，具体地通过3D电视的出现而试图向家庭环境扩展类似的3D体验。

近来，3D的电视节目变得更广泛地可用。已经广播体育赛事和音乐会用于家庭消费。3D组件的销售是进一步增加针对家庭影院环境的3D展现的关键。随着3D组件销售的增加以及对于3D需求的增长，期望在不久的今后在大多数普及的电视频道和记录介质中更加广泛地提供3D节目。

但是在正在增长的3D电视市场中存在一些挑战。与在电影院中发现的屏幕大小和观看距离相比，家庭影院环境中的3D电视提供小得多的屏幕大小和小得多的观看距离。这转换成对被递送给3D电视的3D内容的更大的限制。例如，与大多电影院中所允许的深度范围相比，家庭影院中的3D电视将深度范围限制地更小。

在电影院中，可以大比例地产生3D效果，使得场景中的某些元素表现出从屏幕中突出到每个观众的座位，而同时同一场景中的其它元素表现出远在屏幕后面的距离处。多数人可能喜欢观看在屏幕后面出现的3D场景以得到放松的观看体验。对于一些观众，这些逼真的并胜于逼真的效果可能非常令人享受；对于其它观众，这些相同的效果可能至多是不舒服的。换言之，不同的人在观看3D内容时具有不同的深度舒适范围。

当前，还没有已知的用于为用户偏好，尤其是深度，适配或优化3D展现的技术。因此，可以预期一种为了观看偏好来调整并定制3D内容的深度的自动化方法来改善3D内容的观看体验。

发明内容

根据本发明的原理，通过响应于观看者控制信号，将接收的立体图像对中的第一和第二视图的水平视差从第一值调整到与观看者控制信号中包括的参数或信息有关的第二值，来将图像内容的立体3D表示适配于观看者偏好。以这样的方式，观看者能够根据观看者其自身的视觉舒适度和/或观看偏好来调整深度范围。这个技术使得可定制立体3D内容中的深度感。

通过水平地移位立体内容的左右图像来达到深度感知的改变。通过移位立体图像对的左右图像，可以改变与场景相关联的视差，致使场景的内容被感知为显示得离观看者更近或更远。为了保持场景中元素或对象的比例（scale）的适当关系，还基于深度改变方向进行每个图像对内容的放大或缩小，即，对象的大小调整。

因此，本发明的一个方面提供了一种呈现具有多个立体图像对的立体内容的方法。该方法包括：接收具有第一视图和第二视图的至少一个第一立体图像对，第一和第二视图包括由第一水平视差分开的至少一对对应像素，以及响应于控制信号，通过缩放因数来调整第一和第二视图的大小以及将第一水平视差调整到第二水平视差以产生调整后的第一和第二视图。

本发明的另一方面提供了一种用于呈现立体内容的系统，并且包括至少一个被配置用于接收具有第一视图和第二视图的至少一个第一立体图像对的处理器，第一和第二视图包括由第一水平视差分开的至少一对对应像素。所述至少一个处理器被进一步配置用于响应于控制信号，利用缩放因数来调整第一和第二视图的大小以及将第一水平视差调整到第二水平视差以产生调整后的第一和第二视图。

在以下附图和说明书中提出了一个或更多实现方式的细节。即便以一个特定方式描述，也应该明白的是实现方式可以以各种方式被配置或体现。例如，实现方式可以被执行为一种方法，或被体现为被配置用于执行一组操作的装置，或被体现为一种存储用于执行一组操作的指令的装置。从连同附图和权利要求书一起考虑的以下具体描述中其它方面和特征将变得明显。

附图说明

通过连同附图参照本发明的实施例的以下描述，本发明的上述和其它特征和优点，以及获得它们的方式将变得更明显并且将更好地了解本发明，附图中：

图1是根据本发明的原理实现的调整用户3D观看体验的系统的简化框图；

图2是根据本发明的原理实现的图1中的3D效果调谐器的更具体的框图；

图3A-3C以更具体的方式描绘了根据本发明的原理实现的图2中所示的每个视图调谐器的框图；

图4A-4F示出了对于每个3D视图不同条件下输入视频帧和输出视频窗口的比较；

图5描绘了以3D观看的对象的深度相对视差的改变；

图6示出了根据本发明的原理实现的调整用户3D观看体验的图1的系统的替代实施例；

图7描绘了根据本发明的原理实现的图6中的3D效果推荐元件的更具体的框图；

图8A和8B示出了对于用户的舒适和不舒适等级相对视差的图形；以及

图9示出了从3D内容图像中提取的视差的示例性直方图。

在此陈述的示例性实施例应被理解为说明本发明优选实施例，并且这样的示例性实施例不应该被解释为以任何方式限制本发明的范围。

具体实施方式

本发明的实施例提供了一种用于可调整3D内容的方法和系统，其中观看者可以根据观看者其自身的视觉舒适等级和/或观看偏好来调整深度范围。深度改变通过将立体内容图像对的左右图像进行移位而实现以使得移位后的图像对表现足以实现期望的深度感的新的水平视差。通过将图像对的左右图像进行移位，场景中的内容对象可以表现得比在未移位的图像对中的那些相同的对象离观看者更近或更远。这种技术使得可以定制立体3D内容中的深度感。

对深度的感觉或感知与两个图像视图（即，左右图像视图）之间的水平视差直接相关，这是因为观看过程的双目性质。双目（binocular）在此意图广泛地涵盖从两个不同位置的观看，而与观看由眼睛还是相机进行无关。3D视频中对象的水平视差或简单的视差指代立体图像对的左右眼图像之间的通常以像素数量测量的水平间隔。当右图像视图与左图像视图重合时出现零视差。这些图像视图中的对象则将出现在显示屏幕上。正视差指示对应图像的右眼像素出现在左眼像素的右边。表现正视差的对象一般出现在观看屏幕后面。负视差指示对应图像的右眼像素出现在左眼像素的左边。表现负视差的对象一般出现在观看屏幕前面。

这个概念在图5中至少部分地被图示。在该图中，视差与对象O相关联。参照左右视图为图像中的每个像素定义视差。不同的像素，即使对于图像中同一对象，可能具有不同的视差值。如图中d所示，将视差测量为在对象O的图像中的左眼像素和右眼像素之间的距离。视差通常表示为像素数量。由于右眼图像中的像素在左眼图像中对应像素的右边，图示的视差是正数。当通过将左眼图像从P点向左移位到P’点并且将右图像从Q点向右移位到Q’点增加视差时，对于O的新视差被测量为P’点和Q’点之间的像素数量。由于右眼图像中的像素仍然在左眼图像中的像素的右边，新图示的视差还是正数。在本示例中，对象O被推向远离观看者，如其新位置O’所示。

在本申请时，有时可以参照左右图像相对于彼此或相对于参照点的位移来描述视差。本领域技术人员应该了解这些描述用作移位过程的准确的简化描述，这是因为图像包括视差测量所基于的左右图像像素。因此，图像的移位旨在与图像像素的移位是同义的并且在意思上是同延的（coextensive）。

在本文中，视差量（parallax）和视差（disparity）经常交替使用。在本发明的上下文中，3D视频中的对象的视差指代左右眼图像之间以像素数量的形式的水平间隔，而视差量指代当显示时左右眼图像之间的实际距离。因此，对象的视差量值取决于对象的视差和显示大小二者。对于固定的显示大小，视差量等效于视差，并且彼此通过恒定因数相联系。

图1是根据本发明的原理实现的调整用户3D观看体验的系统的简化框图。图1中的系统包括3D效果调谐器10、用户设备20、和显示器30。3D效果调谐器10响应于来自用户设备20的观看者控制信号或指令来处理输入的立体视频帧。3D效果调谐器10根据控制信号的指令调整立体视频帧的观看体验。3D效果调谐器10然后将调整后的立体视频帧提供给显示器以便展现给观看者。

在观看显示的内容时，观看者可以发送一个或更多控制或调整信号（或指令）到3D效果调谐器以便基于他/她的观看偏好进一步调整内容。具体地，可以基于控制信号调整3D内容，以便通过水平移位显示的立体图像的至少一个（即，左和/或右图像或视图）来符合观看者的深度感知偏好。此外，可以进行深度调整的图像的缩放以便调整场景中对象的大小以便解决深度改变调整。

如以上简单提及的，输入的立体视频包括左视图视频和右视图视频。在左视图视频中的每个帧都具有右视图视频中的一个对应帧，因此形成一对帧。在此处描述的系统的过程期间，将每对帧输入到3D效果调谐器10以便调整。

图2是根据本发明的原理实现的图1中的3D效果调谐器10的更具体框图。3D效果调谐器10包括左视图调谐器11、右视图调谐器12、移位计算器13、以及格式转换器14。调谐器11和12每个都与移位计算器13耦接以便接收移位参数。每个调谐器的输出都与格式转换器14耦接。

3D效果调谐器10接收的每个立体3D图像对都被分成两个分量，左视图图像和右视图图像。在从用户设备20接收到控制信号时，移位计算器13计算至少一个移位参数α_v，其中脚标v是L或R，即，移位参数包括左视图的移位参数α_L，以及右视图的移位参数α_R。移位计算器13至少部分地基于从用户设备接收的控制信号，计算移位参数α_v。可以生成用于指示观看者请求深度改变的来自用户设备20的控制信号。在一个实施例中（连同图6以下更具体地讨论），控制信号包括与观看者所期望的深度改变有关的控制参数。

控制信号可以还包括识别观看者或用户设备的辅助信息。在其它情况下，控制信号可以识别其它单独观看者或观看者的组。在其它实施例中这个辅助识别信息然后可以被3D效果调谐器用来为信号中识别的个体或个体的组取得存储的简档或观看偏好信息。设想这样的观看偏好和用户简档信息将包括与观看者希望观看立体3D图像的优选深度范围有关的信息。

设想观看者可能已经与系统的一部分互动以便产生至少部分地反映诸如与深度范围有关的信息的观看信息的简档或观看偏好列表。在这种情况下，特定观看者的控制信号可以简单地识别观看者或观看组，其转而将使得系统从存储器（未示出）取得指示优选深度范围的一项或多项观看者信息。该深度范围然后将被提供给移位计算器以便生成左右视图的移位参数α_v来实施所需的对应深度改变。

取代响应于观看者控制信号来计算移位参数α_v，移位参数α_v还可以从定义的查找表列表中选择以便生成左右视图的每个对应的移位参数（α_L）和（α_R），然后将其发送到对应的左视图调谐器或右视图调谐器。生成移位参数的定义的列表以便覆盖被认为对于大多数观看者和大多数观看环境合理或适合的特定深度改变或图像移位范围。

每个移位参数α_L或α_R是正或负数。α_v的大小表示图像移位的量，而α_v的符号表示有关视频图像的移位的方向。可以提供在被认为对于大多数观看者合理或适合的范围内的移位参数的预定义列表。

移位参数范围，无论是计算的还是预定列表中的，都取决于至少若干不同因素。这些因素包括显示屏幕的大小、观看者和屏幕之间的观看距离、以及观看者的偏好或其它这样的特征。在一个根据实验实践的示例中，范围从-300到+300个像素的图像移位被视为一般足以满足在典型观看条件下的大多观看者的观看偏好。随着观看者和他们的观看环境改变，其它范围可能更加适合。

左视图调谐器11和右视图调谐器12基于由移位计算器13提供的各自移位参数α_v，来处理对应的左右视图视频图像。每个调谐器然后提供调整后的左右视图到格式转换器14，以便生成以适合的立体视频格式的用于显示器30的可显示视频输入。

在本发明的技术领域和有关技术标准组织中立体3D内容显示的视频帧格式的示例是熟知的。这些格式包括，但不限于全帧格式、棋盘格式、交织格式、并排格式、以及上下格式。在全帧格式中，在分开的帧中以全分辨率交替对左右眼图像格式化。在棋盘格式中，一个帧中的每个2乘2像素窗口包含来自一只眼视图的形成窗口对角线的2个像素以及来自另一只眼视图的形成相同窗口非对角线的2个像素。交织格式是基于行的格式，其中左右眼图像同时显示，但是在不同的交替的像素行中显示。在并排格式中，左右眼图像并排布置，而对于上下显示，左右眼图像一个在另一个之上布置。除了全帧格式以外，所有的帧格式以上述的配置将两个图像视图压缩到单个帧。

显示器30将这些格式转换成本来（native）显示格式以便在显示屏幕上展现给观看者。应该了解的是格式可能还包括嵌入信息、元数据、以及甚至传递其它信息（诸如，显示分辨率、宽高比等）的辅助文件。

图3A、3B和3C更具体地描绘了图2中所示的每个视图调谐器11和12的框图表示。如图3A所描绘的，左右视图调谐器包括移位模块110、缩放模块112、缩放参数计算器111、以及视频输出元件113。

移位模块110包括用于对输入的左或右视频帧（图像）进行移位的处理器。在水平方向进行图像移位量α_v，其中脚标v可以表示移位参数的左视图/图像（L）或右视图/图像（R）。移位参数一般以像素的数量指示移位量，而α_v中的移位符号指示图像的移位方向。在一个实施例中，左右视图在相反的方向上移位了相等的量，即，α_R=-α_L，以便达到作为结果的3D图像的期望感知深度。还有可能左右视图移位不同的量，或仅移位一个视图（即，移位参数中的一个是零）。

缩放模块112还包括用于缩放移位的视频以产生立体内容的更自然外表（例如，已经被移位得更远的内容可以被缩放到更小的大小）的处理器。在该缩放操作中使用的缩放参数γ是通过缩放参数计算器111响应于移位参数α_v而生成的。因此，缩放参数在一定程度上最终是基于来自用户设备的控制信号。

虽然图3A中所示的示例性实施例描绘了缩放在图像移位之后进行，然而从这些变换操作的线性性质应该了解的是，还可以在图像移位之前进行图像缩放。这个可替换示例性实施例在图3B中图示。由于缩放参数至少部分地取决于移位参数，因此应该了解图3B中的实施例示出缩放参数计算器111在缩放模块112之前。此外，将左右视图视频图像提供到缩放模块112而不是移位模块110。

应该了解在这些附图中所描绘的3D效果调谐器和各个模块和处理单元包括诸如一个或更多处理器和存储设备之类的组件，其被配置为当根据本发明的原理实现时，进行与3D效果调谐器相关联的任何或所有功能。

图3C还描绘了3D效果调谐器的另一示例性实施例。在这个实施例中，预处理单元114在图3A的元件的布置之前。应该了解预处理单元114可以被添加到图3B所示的布置中。预处理单元114接收左右视图视频（图2所示）并且将各自视频缩放足够增加像素数或图像分辨率的量。换言之，预处理单元产生更大的左或右视图视频帧以便容纳在该特定视图视频上进行的移位操作。

这个缩放操作与缩放模块112进行的缩放不同。如以下进一步讨论的，缩放模块112调整左右视图的大小（增大或减小）以便提供与任何给定场景的深度改变一致的更加自然的外表。预处理器114增加左右视图的大小或分辨率，以便避免或最小化输出视频中的零填补（zero padding）的需要（例如，在左或右视图移位之后变得缺少内容的输出帧的区域中可能需要零填补）。在通过缩放模块112对已经调整了深度或者视差的任何（一个或更多）场景进行缩放并且缩放因数与视差或深度调整有关的同时，通过处理单元114优选地仅执行一次尺寸增加（例如，在诸如移位内容的第一场景的左右视图之类的其它处理之前），与视差或深度调整无关。但是，如果需要的话，预处理单元还可以进行后续场景的其它尺寸增加。为了避免可能的混淆，由预处理单元114进行的缩放也被称为“视图缩放”，并且将参照图4更加具体地描述。

移位模块110水平地移位输入的左/右视图视频α_v个像素。取决于输入视频，在通过移位模块处理输入视频期间存在至少3种情况。在图4A-4F中更具体地示出了这些情况，这示出了对于每个3D视图在不同的条件下输入视频帧和输出视频窗口的比较。

图4A示出了第一种情况，其中输入视频帧ABCD（帧40）具有比输出窗口41描绘的显示器所支持的大小或分辨率更大的大小或分辨率。在图4A中，输入视频帧ABCD（帧40）具有表示为M乘N的分辨率或大小，其表示水平方向上M个像素的宽度和垂直方向上N个像素的高度。左右视图的显示器的视图输出窗口41被示为具有表示为m乘n的分辨率或大小的输出窗口EFGH，其表示水平方向上m个像素的宽度和垂直方向上n个像素的高度。在这个图4A的场景中，帧和窗口尺寸有以下关系，M>m，并且N>n。

在图4A的描述中，应该了解输出视频窗口41建立从输入视频帧40可看到的信息的范围。当讨论移位操作时，还应该了解可以实际上将像素移位想象成将输出视频窗口在输入视频帧上移位到例如被描绘成图4B和图4C中的移位输出视频窗口41’的新位置。这个操作在此还可以被描述为视频图像的移位。当然，可以理解的是可以将移位操作理解为在图像上移位窗口或在窗口下移位图像。这些是仍然得到相同结果的可互换概念，即，移位的左或右视图视频图像。在此可互换地描述两个概念，而在发明原理上没有冲突或任何预期的限制。

由于深度感知仅受两个视图（左和右）的水平视差影响，所以移位模块110仅进行水平移位。因此，此处的本发明的描述关注于输入视频和显示的视频的水平分辨率和尺寸。在这个示例中，输入视频帧的水平尺寸大于输出窗口EFGH（即，显示视频帧）的水平尺寸，如M>m所示。如果将显示视频移位α_v个像素，使得移位后的视频帧E’F’G’H’仍然处于输入视频帧ABCD内，如图4B所示，则显示的视频将对应于被标记为输出窗口41’的部分（即，E’F’G’H’）。

如果移位参数过大，使得在移位操作后，输出窗口E’F’G’H’超出输入视频帧40的限制，则使用零填补来填充图4C中阴影区域所示的间隙。其它适合的填充技术可以替代零填补。在此情况下使用零填补，这是因为移位输出串口41’的间隙部分不覆盖任何输入视频内容。当将这个间隙区域中的像素设置成零时，它们将呈现黑色。提供给显示器的输出视频视图则对应于E’F’G’H’，包括零填补的像素的深色阴影部分。

由于左右视图可以在相反的方向上移位，有可能移位的左右视图中的内容变得彼此相当不同，使得需要剪切左右视图（除了零填补以外）以确保两个视图具有基本上相同的内容。

图4D示出了第二种情况，其中输入视频帧ABCD（帧40）的至少水平尺寸或分辨率等于输出窗口EFGH（窗口41）的水平尺寸或分辨率，使得M=m。而对于这个示例，帧40还具有等于输出窗口41的垂直分辨率的垂直分辨率使得n=N，这是方便的但不是必须的。在这个示例中，在左或右视图中的非零移位值α_v，总是引起移位后的输出窗口41’（被示为视频输出窗口帧E’F’G’H’）落在输入视频帧40的边界以外。使用零填补或任何其它适合填充技术来填充间隙部分，如图4D的阴影部分中所示。

图4E图示了另一示例，其中原始输入视频帧ABCD（帧40）的尺寸与输出窗口EFGH（窗口41）的尺寸匹配，使得M=m,并且N=n。取代如关于图4D所描述的将这个原始输入视频帧ABCD直接提供给左右视图调谐器以便处理，输入视频帧ABCD首先经历预处理器114的视图缩放操作，使得每个图像视图（即，左和右）的尺寸从它们的原始尺寸MxN放大视图缩放因数到更大的尺寸M’xN’，其中M’>M并且N’>N。再次，应该注意到这个视图缩放与图3A、B和C中所示的通过缩放模块112进行的缩放操作不同。视图缩放可以被应用于输入的视频图像，而与输入视频帧大小或分辨率M和输出窗口大小m之间的关系无关。应该认识到关于输出窗口大小的更大的输入视频帧大小减少了图像移位之后的间隙的潜力，其继而减少了在间隙中零填补的可能需要。

在这个示例中，输入的视频帧ABCD被增大使得其尺寸大于输出窗口EFGH的尺寸，如图4F所示。后续移位操作遵循关于图4B和4C的第一种情况描述的步骤。视图缩放因数M’/M可以与视图缩放因数N’/N相同或不同。如果视图缩放因数M’/M和N’/N相同，那么保留输入视频帧的宽高比。

在根据试验实践的例子中，发现移位模块可以包括用于进行输入视频帧的该缩放的处理器。可替换地，这个视图缩放可以由预处理单元进行，如图3C所示。

在图3C中，在移位和缩放模块的上游提供预处理单元114。在这个配置中，预处理单元包括用于进行输入视频帧的尺寸缩放的处理器。来自预处理单元114的缩放后的左右视图视频帧然后作为输入被提供到移位模块用于进一步处理。

引入缩放模块112来改善已经被图像移位调整了深度感知的视频的外观。已经观察到简单的图像移位可以导致“缩小”或“放大”效果。这样的缩放效果的出现导致某些对象显得比它们实际的要小，这是因为移位使这些对象与观看者更近，而当其他对象被移位远离观看者时它们显得比它们实际的要大。为了减轻这个效果，与移位处理一起使用缩放模块112以便产生深度调整后的视频的更加自然的外观。换言之，模块112中的缩放或大小调整操作在其图像已经被移位的场景（或帧中的所有像素）上进行，使得调整场景中的所有对象的大小以便抵消观察到的缩小和放大效果。这个缩放操作可以在通过如图3A、3B和3C所示的移位模块已经移位的左和/或右图像之前或之后进行。此外，这个缩放不必在左或右图像中的整个原始内容上进行。例如，如果输入视频帧大于显示屏幕大小，则仅对将在屏幕上可见的内容的部分进行缩放。

为了确定用于缩放模块110的缩放因数γ，可以使用以下公式表示的相机模型：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}{\mathrm{\α}}_x& s& x_0\\ 0& {\mathrm{\α}}_y& y_0\\ 0& 0& 1\end{array}\right]R\left[I\right|-C]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

其中，X,Y，Z是实际场景的坐标，并且(x,y)是拍摄的图像的坐标。变量α_x,α_y,s,x₀,和y₀是相机参数。相机模型的额外具体内容可以在例如Hartley和Zisserman的“Multiple View Geometry in Computer Vision”的第6章中找到，剑桥大学出版社2004年第二版，其整体通过引用并入于此。相机参数α_x和α_y与之前讨论的移位参数α_V不同，其中脚标v表示左（L）或右（R）视图。在以上公式中，R是3x3旋转矩阵，I是3x3单位矩阵，C是3x1转译矩阵，并且[I|-C]表示矩阵的级联以形成3x4矩阵。当这些参数已知时，可以容易地导出由于深度Z的改变造成的x和y的改变。为了简便，可以假设R是单位矩阵，其中C=0，并且s=0。对于这些假设，发现

这暗示图像缩放应该使用原理点（principle point）的中心作为原点。因此根据移位参数α_v确定Z的改变。

图5描绘了以3D观看的对象的深度相对于视差的改变。已知图像移位可以改变感知的深度Z_p。对于如图5所示的特定显示，存在图像移位参数α和感知深度Z_p之间的几何关系。在该图中，左视图向左移位α_L个像素，并且右视图向右移位α_R个像素。作为这个移位的结果，对象O的感知深度从Z_p改变到Z_p’。重要的是注意到所感知的深度Z_p与真实场景的深度不同在于感知深度是由于相机和显示器的不同设置引起的Z的失真版本。Z是在相机拍摄之前的真实场景中的深度。因此，当确定缩放因数γ时，最好还考虑Z_p到Z的变换。作为结果，在缩放模块112中确定缩放因数γ的示例性过程如下：计算基于移位参数α_V的Z_p的改变；根据拍摄和显示参数的关系将Z_p映射到Z；当通过这些计算获得Z时，则计算x和y的改变。

在可替换并且可能的更简单途径中，还可以通过从预定范围中选择值来确定缩放因数γ，而无需大范围的或精确计算。作为示例，移位参数α_V（α_R或α_L）可以在从0到+60的范围中提供以避免对作为结果的立体内容的不适感，并且缩放参数γ还可以在相对较小的范围内提供，诸如从0.8到1.2。当移位操作将场景向后推到屏幕时，可以选择缩放因数小于1。应该了解场景离观看者越远，缩放因数越小。当场景离观看者更近时，选择缩放因数大于1。应该认识到场景越靠近前景，缩放因数越大。

如先前连同图3所提及的，场景的缩放还可以在图像移位前进行。在一个示例中，例如，可以基于根据已知的观看者简档和偏好，基于可应用于大多观看者的移位参数的典型范围来进行缩放。在另一示例中，可以在从观看者接收到控制信号之后、但是在图像移位操作之前进行缩放。在这个情况中，可以基于至少根据控制信号中观看者的输入所计算的移位参数来确定缩放因数。

图6示出了用于根据本发明的原理所实现的调整用户3D观看体验的图1的系统的可替代实施例。在这个配置中，包括3D效果推荐器（3DER）模块60和图1的系统所示的元件。

除了观看者基于他们的经验选择深度调整参数以外，本发明的另一示例性实施例设想使用3D效果推荐器模块60。3DER 60分析所提供的输入3D视频的内容。然后，基于可以事先获得并存储在系统中的用户的视差舒适度简档，3DER 60将该简档与从所提供的3D视频内容中分析的视差特征相比较，以确定这个特定用户的最佳或优化移位调整参数。所推荐的移位调整参数或控制参数然后被提供给观看者用户设备20。这个推荐的移位调整参数可以是α_L和α_R的合成，例如，表示从左和右视图的移位中产生的总视差改变。观看者可以基于他们当时的偏好进一步调整推荐的移位调整参数，并且调整后的输入（例如，调整后的控制参数）经由控制信号被发送到3D效果调谐器10。如图6所示，来自用户设备20的控制信号可以被反馈到3DER 60用于更新3DER 60中的用户视差舒适度简档。

3DER 60使用用户视差舒适度简档来预测观看某个视频的某个用户的舒适/不舒适等级，使得可以选择控制移位参数来最小化对于该用户的视觉不舒适度。这个技术辅助观看者进行观看的深度移位选择。虽然未在图中示出，但还可以从3DER 60将预测的移位参数直接提供给3D效果调谐器10，即，将选择或调整从3DER预测的（多个）移位控制参数的任何观看者介入（经由用户设备20）旁路。

图7描绘了根据本发明的原理实现的图6中的3D效果推荐器元件的更加细节的框图。如图7所示，3DER包括视差直方图估计器61、用户简档模块62、和不舒适度预测模块63。估计器61接收立体视频图像并且与不舒适度预测模块63耦接。用户简档模块62从用户设备20接收观看者控制信号。来自用户简档模块62的输出与不舒适度预测模块63耦接。不舒适度预测模块63生成指示为观看者推荐的移位或深度改变量的推荐控制参数。参照如下描述的其余附图，3DER的操作将变得更加清楚。

图8a和8b示出了用户的舒适和不舒适等级相对于视差的图形。用户视差舒适度简档可以通过对每个观看者进行图像移位主观测试来构建。还可以使用默认或基线简档来取代观看者测试以建立对于3D观看通常可接受的观看舒适和不舒适等级。

在示例性观看者舒适/不舒适测试中，选择的3D内容被移位一预定移位量并且逐一地显示给观看者。然后在观看移位的3D内容的同时给观看者根据观看者自身的舒适等级对这些内容评估的机会。对于每个测试的移位参数记录观看者关于舒适等级的响应。一般期望观看者的舒适评估在非常不舒适的评估到非常舒适的评估的范围内。

图8A是对于以10个像素为步长的从-300到200的视差值，用户评估的示例性分数或舒适等级的示例。由于舒适等级从150到-300保持为零，从图中将它们省略。在这个示例中，分数零意味着用户不能融合（fuse）左视图和右视图；分数1意味着用户感觉图像非常不舒适；分数5意味着用户感觉图像非常舒适；分数2-4表示不舒适和舒适的更小程度。根据该图，可以看出当作为2D图像的视差为0时这个特定观看者感觉非常舒适。随着视差变负，这指示突出效果增加的程度，观看者开始感觉不舒适直至视差到达-80（舒适等级0），此时观看者不能融合视图。

与视差d对应的每个舒适分数还可以通过从最高舒适分数中减去舒适分数而被转换成不舒适分数，如下：

不舒适分数_d=最高舒适分数_d-舒适分数_d

图8B示出了图8A中所示的舒适分数图形的对应的不舒适分数。图8A-B被称作观看者视差舒适和不舒适度简档。由于一个图形可由另一个导出，设想只存储一个图形的数据，尤其在系统的存储器有限的情况下。

可以简单地将以上描述的观看者视差舒适度简档的收集过程建立在TV或机顶盒（STB）或其它适合的显示设备（诸如，便携设备）中。这将使得可以使用校准过程通过观看者家中的TV或STB来收集观看者视差舒适度简档。这个过程与TV的内置颜色或对比度调整过程类似。一些预定义的3D测试内容可以存储在TV或STB中。用于测试的图像移位值可以由用户预定义或修改。观看者观看移位后的3D内容并且然后向收集过程给出他们的舒适/不舒适响应。该响应存储在系统内的特定观看者的视差舒适度简档中。

一开始，可以使用粗略的用户简档，诸如具有更大视差步长大小（例如，与图8A中所示的相比较）的预定义的视差舒适度简档。由于3DER接收最终从观看者控制设备发送的控制信号，所以随着观看者调整或修改由3DER提供的推荐深度（移位）控制参数，更精细的简档可以随时间而产生。

不同的用户可以具有不同的简档。当若干个人一起观看立体视频图像时，可以将他们的简档组合在一起为组简档，其可以与他们自身个体简档一起被存储和修改。

为了预测不舒适分数，首先在视差直方图估计器61中分析输入的立体视频的视差分布。3D内容的视差值可以通过内容提供者预先计算并且作为元数据或辅助信息连同3D视频内容一起传递到视差直方图估计器61。视差直方图分析器61还可以在传递时计算视频内容的视差值。通常密集的视差值优于稀疏值。在考虑估计器61的高处理速度时稀疏视差值可能是有用的。

图9示出了与3D视频内容有关的视差的示例性直方图（归一化的）。来自这样的直方图的数据属于估计器61生成的类型。通过检查直方图，看出内容像素的非琐碎（non-trivial）部分是否具有大的视差d。在观看者具有小于d的视差舒适度简档限制时，这种情况变得重要，这是因为当观看相关的视频内容时这些观看者将感觉到不舒适。

例如，根据图8的数据，观看者观看具有超过-40视差的区域时感觉不到舒适。作为结果，图9中其视差值大约在-40的视频内容的15%将对这些特定观看者产生问题。另一方面，具有视差靠近-10的37%的视频内容对于这个观看者不会预期产生太大眼睛疲劳或不舒适感。在这个分析之后，3DER 60使用其不舒适度预测模块63可以预测内容视差是否分布在[-20,100]内，其与等级1或低于等级1的不舒适等级（或等级4或高于等级4的舒适等级）对应，这个观看者在观看该3D视频内容的同时应该感到非常舒适。由于图9中分析的内容不符合这个准则，3DER 60将生成深度移位的推荐控制参数以提供在屏幕内的大约20到100个像素的视频图像的移位。

在3DER 60的不舒适度预测模块63中使用的视觉不舒适度预测技术，例如将个体观看者的视差舒适度简档和向观看者呈现的内容的视差分布合并。在场景j对用户i的不舒适度预测分数S_ij是场景j的归一化的视差分布D_j的加权和。这个权重是通过每个观看者的视差不舒适度简档F_Di,i=1，...,N确定的。即，

其中d_min和d_max分别与d的下限和上限对应。在一个实施例中，|d_min|=|d_max|。但是，一般地，两个界限无须在量值上相等。注意到，此处F_Di是在0视差上具有不舒适度分数值0的简档（见图8B）。

对于大多数场景，呈现小视差的区域占大部分的内容。这些区域一般包括例如背景区。这些区通常不产生视觉不舒适感并且因此可以通过赋予接近0的权重而最小化或降低其的影响。另一方面，由于具有高得多的视差值的场景或图像的其它区域将产生显著的并且甚至严重的视觉不舒适感，虽然其只占图像内容的很小部分，但这些其它区域将被给予更高的权重来突出它们的影响。

在一个实施例中，3DER的输出可以是被提供给用户设备20或3D效果调谐器的移位调整参数s_ij ^*，其最小化观看者的不舒适度分数S_ij其中s_ij ^*定义如下：

${s_{\mathrm{ij}}}^{*}=\arg {\min }_s{S}_{\mathrm{ij}}\left(s\right)=\arg {\min }_s{\mathrm{\Σ}}_{d\min }^{d\max }{F}_{\mathrm{Di}}\×D_j(d+s).$

换言之，s_ij ^*表示对于在场景j的观看者i产生最小不舒适度分数S_ij(s)的移位调整参数“s”的值。这个参数s_ij ^*是左和右视图的移位参数（α_R和α_L）的合成，并且要理解，s_ij ^*可以被表示为α_R和α_L的和或差，取决于对应于不同的移位方向的用于参数α_R和α_L的符号转换。在一个实施例中，α_R和α_L在量值上相等，但是表示相反方向的移位。

在由估计器61进行的分析中，对于3DER分析视频流的每个场景而不是单个场景或整个视频序列的一部分是可能的。此外，估计器61的分析可以被应用于或限制于场景中感兴趣的一个或更多特定区域，这是因为感兴趣的区域被理解为观看者将关注的场景的那些区域。

在试验实践中，对一组观看者进行了主观测试。测试为应用到3D内容的不同视差值获得了每个观看者的舒适等级。使用Maya软件产生测试序列并且内容仅由一个对象组成，在黑色背景前从左向右飞行的子弹。深度保持恒定。视差值的范围从-300到200像素步长大小为20。对于每个视差值，让观看者提供从0到5的舒适度分数，其中分数0指示不能融合，分数1指示非常不舒适，并且分数5指示非常舒适。这个范围包括观看者不能将左右图像融合为单一图像时的状况。这个主观测试的结果使得构建每个观看者的简档。这个简档被叫做视差不舒适度简档（DDP），F_Di。

利用为每个观看者获得的DDP，在向给定观看者呈现一些内容时，使用为该观看者预测视觉不舒适等级的方法。首先，分析内容以输出内容中的每个场景的视差直方图。这通过使用本领域中已知的视差估计方法来完成。该视觉不舒适度预测技术将为观看者获得的DDP和视差分布合并到内容的场景中。将场景j的用户或观看者i的不舒适度预测分数S_ij计算为场景j的归一化视差分布Dj的加权和。通过每个用户的DDP（F_Di）确定权重。

还在来自标题为“Beowulf”的示例3D电影的HD立体内容的一个场景上对同一组用户进行主观测试。让观看者提供从0到5的不舒适度分数，0表示最不舒适。结果显示经由不舒适度预测模块63，在3DER中采用的技术进行的预测，与为许多被测试的观看者的主观测试非常匹配。

在此陈述的所有示例和条件语言旨在教导目的来帮助读者理解发明人贡献的本原理和构思以便促进本领域技术，并且将被解读为不限制于这样的具体陈述的示例和条件。

此外，在此的所叙述陈述的本发明的原理、方面、和实施例，以及其特定示例，旨在包括其结构和功能等效物。此外，这些等效物旨在包括当今已知等效物以及未来将开发的等效物二者，包括任何开发的进行相同功能的任何元件，而无论其结构。

在此已经描述了许多实现方式。但是，应该明白可以进行各种修改。例如，不同实现方式的元件可以组合、补充、修改或移除以产生其他实现方式。此外，本领域技术人员将明白其他结构和过程可以替换所公开的那些并且得到的实现方式将与所公开的实现方式至少以实质上相同的方式，至少执行实质上相同的功能，以达到至少实质上相同的结果。特别地，虽然参照附图在此描述了例示性实施例，应该了解的是本原理不限于那些准确的实施例，并且在不背离本原理的范围和精神的情况下相关领域技术人员可以进行各种改变和修改。相应地，本申请设想到这些和其它实现方式，并且其在以下权利要求的范围内。

Claims (26)

1.一种用于呈现具有多个立体图像对的立体内容的方法，所述方法包括：

接收具有第一视图和第二视图的至少第一立体图像对，所述第一视图和第二视图包括由第一水平视差分开的至少一对对应的像素；

响应于控制信号利用缩放因数调整第一和第二视图的大小，并且将第一水平视差调整到第二水平视差，以产生调整后的第一和第二视图。

2.如权利要求1所述的方法，其中调整第一水平视差包括：

至少部分地基于控制信号确定移位参数，所述移位参数包括第一视图移位参数和第二视图移位参数；

水平地将第一和第二视图移位与第一和第二视图移位参数有关的相应量，其中，在移位后的第一和第二视图中的对应像素对展现第二水平视差。

3.如权利要求2所述的方法，其中调整第一和第二视图的大小还包括：

至少部分地基于移位参数确定缩放因数；以及

将第一和第二视图的每个的立体内容的至少一部分的大小改变一依赖于缩放因数的量。

4.如权利要求1所述的方法，其中所述调整包括：

至少部分地基于控制信号确定移位参数；

至少部分地基于移位参数确定缩放因数；以及

将至少第一立体图像对的第一和第二视图的每个的立体内容的至少一部分的大小改变一依赖于缩放因数的量。

5.如权利要求4所述的方法，其中所述移位参数包括第一视图移位参数和第二视图移位参数，并且其中调整第一水平视差还包括：

水平地将第一和第二视图移位与第一和第二视图移位参数有关的相应量，其中移位后的第一和第二视图中的对应像素对展现第二水平视差。

6.如权利要求3或4所述的方法，还包括：

在确定移位参数之前，将第一和第二视图的每个的分辨率改变一依赖于于视图缩放因数的量。

7.如权利要求2或4所述的方法，还包括：

显示调整后的第一和第二视图的图像对。

8.如权利要求1所述的方法，还包括：

分析一个或更多立体图像对以确定立体图像对中的每个图像的至少一部分上的视差分布；

计算表示推荐的深度改变的控制参数，所述控制参数至少部分地基于所述视差分布和至少一个观看者不舒适度简档，每个观看者不舒适度简档表示在水平视差的范围上的不舒适等级并且与特定观看者或特定观看者的组中的至少一个相关联。

9.如权利要求4所述的方法，还包括：

分析一个或更多立体图像对以确定立体图像对中的每个图像的至少一部分上的视差分布；

计算表示推荐的深度改变的控制参数，所述控制参数至少部分地基于视差分布和至少一个观看者不舒适度简档，每个观看者不舒适度简档表示在水平视差的范围上的不舒适等级并且与特定观看者或特定观看者的组中的至少一个相关联。

10.如权利要求8或9所述的方法，其中，在所述控制信号中包括所述控制参数。

11.如权利要求8或9所述的方法，还包括：

发送所述控制参数给与观看者不舒适度简档相关联的观看者设备，所述控制参数用于生成观看者调整的控制参数以便被包括在观看者设备的控制信号中。

12.如权利要求8或9所述的方法，还包括：

至少部分地基于所述控制信号更新该至少一个观看者不舒适度简档。

13.如权利要求10所述的方法，还包括：

至少部分地基于所述控制信号更新该至少一个观看者不舒适度简档。

14.如权利要求11所述的方法，还包括：

至少部分地基于所述控制信号更新该至少一个观看者不舒适度简档。

15.如权利要求2或5所述的方法，其中控制信号包括指示应用于立体内容的深度改变量的信息。

16.如权利要求15所述的方法，其中控制信号包括表明特定观看者或特定观看者的组的至少一个的标识。

17.一种用于向观看者呈现具有多个立体图像对的立体内容的系统，包括：

至少一个处理器，用于接收具有第一视图和第二视图的至少第一立体图像对，所述第一视图和第二视图包括由第一水平视差分开的至少一对对应的像素；所述至少一个处理器还用于响应于控制信号利用缩放因数来调整第一和第二视图的大小，并且将第一水平视差调整到第二水平视差，以产生调整后的第一和第二视图。

18.如权利要求17所述的系统，其中至少一个处理器还被配置用于：

至少部分地基于控制信号确定移位参数，所述移位参数包括第一视图移位参数和第二视图移位参数；以及

水平地将第一和第二视图移位与第一和第二视图移位参数有关的相应量，使得在图像对中的对应像素对展现第二水平视差。

19.如权利要求18所述的系统，其中所述至少一个处理器还被配置用于：

至少部分地基于移位参数确定缩放因数；以及

将第一和第二视图的每个的立体内容的至少一部分的大小改变一依赖于缩放因数的量。

20.如权利要求19所述的系统，其中所述至少一个处理器还被配置用于：

在确定移位参数之前，将第一和第二视图的每个的分辨率改变一依赖于视图缩放因数的量。

21.如权利要求17所述的系统，其中所述至少一个处理器还被配置用于：

至少部分地基于控制信号确定移位参数；

至少部分地基于移位参数确定缩放因数；以及

将第一和第二视图的每个的立体内容的至少一部分的大小改变一依赖于缩放因数的量。

22.如权利要求21所述的系统，其中所述移位参数包括第一视图移位参数和第二视图移位参数，并且其中所述至少一个处理器还被配置用于：

水平地将第一和第二视图移位与第一和第二视图移位参数有关的相应量，其中移位后的第一和第二视图中的对应像素对展现第二水平视差。

23.如权利要求21所述的系统，其中所述至少一个处理器还被配置用于：

在确定所述移位参数之前，将第一和第二视图的每个的分辨率改变一依赖于视图缩放因数的量。

24.如权利要求17所述的系统，其中所述控制信号包括指示应用于立体内容的深度改变量的信息。

25.如权利要求24所述的系统，其中所述控制信号包括表明特定观看者或特定观看者的组中的至少一个的标识。

26.如权利要求17所述的系统，还包括：

显示器，用于显示来自所述处理器的具有调整后的第一和第二视图的至少一个立体图像对。

Images