CN111684517B - 观看者调节的立体图像显示 - Google Patents

Abstract

提供了一种立体视频再现设备，该设备处理使用平行轴摄像机拍摄的原始立体图像对，并在原始观看条件下通过缩放和裁切来提供在单个屏幕上新的观看条件下的立体视频显示。

Description

观看者调节的立体图像显示

本申请要求2017年8月30日提交的美国临时专利申请62/551,942和2018年2月8日提交的美国临时专利申请62/627,825的优先权，其内容通过引用合并于此。

技术领域

本申请涉及立体图像显示。

背景技术

立体视频或电影摄影是一门艺术。为获得具有最佳3D效果的再现的左视频流和右视频流的摄像机的布置并不是一件容易的事。摄像机的布置需要了解影院和收视观众的安排，以及了解大多数人在这种观看条件下如何感知3D的知识。在立体摄影技术中，通常公认两个摄像机的光轴会聚在一起，因为这将产生最佳的3D效果。摄像机的分离和会聚角是根据以下知识选择的，即观看者到显示屏幕的平均距离、平均眼睛分离距离以及相对于屏幕中心的平均观看位置。如果不遵守这些观看条件，则会损害3D体验的质量。

当观看条件要从立体电影摄影师最初计划的观看条件改变时，在本领域中已知的是要将立体视频重新格式化为新的观看条件。重新格式化通常涉及分析立体图像对以确定各个像素的深度信息，然后使用原始图像和深度信息生成立体图像对，以便能够为新的观看条件重建合适的立体图像流。这种重新格式化计算量巨大，并且针对新的观看条件执行。当观看条件改变时，重复巨大的计算过程。

发明内容

申请人已经发现，当在单个屏幕上为观看者的观看条件重新格式化这种立体视频时，可以通过提高3D体验质量来克服因使用并行非会聚摄像机而导致的3D体验质量的任何潜在损失。

因此，提供了一种再现设备，该再现设备通过缩放和裁切来处理提供用于在原始观看条件下观看的原始立体图像对，以在单个屏幕上提供新的观看条件下的立体视频。

为了避免如上所述的立体图像的重新格式化，可以将原来预期以第一视场进行显示的立体图像在具有第二视场的新的单个显示器上显示。

申请人进一步发现，使用具有较宽且通常期望用于观看的视场的平行轴摄像机来获取和存储3D图像，其优势在于能够处理在观看设备(或在观看系统内)记录的3D图像，以便在更大范围的观看条件下进行观看。

广义地讲，涉及一种处理立体图像以在单个屏幕上显示给观看者的方法，使用平行轴摄像机拍摄的立体图像具有第一视场。该方法包括使用单个屏幕提供的第二视场的定义，观看者的眼间距离Io以及观看者和单个屏幕之间的距离，来定位和缩放立体图像，以便立体图像在距观看者的一定距离处的单个屏幕上的显示符合第一视场，且当针对屏幕缩放的立体图像大于屏幕时，为屏幕裁切图像，以及当针对屏幕缩放的立体图像小于屏幕时，为立体图像提供边界以适应屏幕。

在一些实施例中，该方法可以包括在立体图像内选择缩放窗口，从而改变第一视场，其中，相对于改变了的第一视场对立体图像进行缩放。

在一些实施例中，缩放窗口可能会偏离立体图像的中心，以允许查看立体图像内的关注区域。

在一些实施例中，观看者输入可以用于在观看立体图像时移动偏移。

在一些实施例中，立体图像可以是静止图像。

在一些实施例中，立体图像可以是视频图像。

在一些实施例中，立体图像可以被转换为组合的色差式图像。

在一些实施例中，立体图像可以被转换成列交错格式的图像以在自动立体显示器上显示。

在一些实施例中，立体图像可以被转换成一系列翻页图像以用于使用快门眼镜进行查看。

在一些实施例中，立体图像可以被转换为用于偏振显示的行交错序列。

在一些实施例中，该方法可以包括获取用户输入以获得由单个屏幕提供的第二视场的定义。

在一些实施例中，该方法可以包括获取传感器数据以获得由单个屏幕提供的第二视场的定义。

在一些实施例中，立体图像可以定位于单个屏幕上，以对应于远处对象在右眼图像和左眼图像之间的距离为Io的对象分离。

在一些实施例中，观看者可以包括多个观看者，并且眼间距离Io可以被选择为在多个观看者中最小的眼间距离。

在一些实施例中，可以使用相对基本偏移进一步缩放和/或定位立体图像，以使最远的对象看起来更靠近屏幕和/或使最近的对象看起来更靠近屏幕。目的是减少由于聚焦在单个屏幕上的眼调节和聚焦在近和/或远对象上的眼调节不同而引起的可能的眼睛疲劳。在相对基准偏移的这种进一步缩放和定位中，可以使出现在单个屏幕深度处的对象保持呈现在相同深度处。

本申请的另一个广义的方面，提供了一种用于处理立体图像以在单个屏幕上显示给观看者的设备，该设备包括处理器和处理器可读的存储器，该存储器存储用于执行本申请所定义的方法的指令。

本申请的另一个广义的方面，提供了一种计算机程序产品，包括非暂时性存储器，存储用于执行本申请所定义的方法的处理器或可重配置硬件的指令。

附图的简要说明

通过以下参考附图对本发明的实施例的详细描述，将更好地理解本发明，其中：

图1A是平行摄像机系统的示例图；

图1B是左摄像机图像在右摄像机图像之上的图示；

图1C示出了如何定性地将每张图像放置在单个屏幕的框架中，并具有适当的侧向偏移量，以对应于观看者的眼距，其中放大倍率为1，显示视场大于捕捉视场；

图1D示意性地示出了视场与屏幕观看距离之间的变化；

图1E示意性地示出了随着屏幕大小，对于固定观看距离的视场变化；

图1F示出了如何定性地将每张图像放置在单个屏幕的框架中，并具有适当的侧向偏移量，以对应于观看者的眼距，其中放大倍率为1，显示视场小于捕捉视场；

图1G示出了如何定性地将每张图像放置在单个屏幕的框架中，并具有适当的侧向偏移量，以对应于观看者的眼距，其中放大倍率为1.5，显示视场与捕捉视场大致相同；

图1H示出了如何定性地将每张图像放置在单个屏幕的框架内，并具有适当的侧向偏移量，以对应于观看者的眼间距离，其中放大倍率为0.5，显示视场与捕捉视场大致相同；

图2是与示例性平行摄像机系统的视差计算有关的比例图示；

图3A是放置在用户面前的双平行屏幕S1和S2的示意图；

图3B是示出用于计算放置在用户面前的双平行屏幕Sl和S2的对象Op的感知距离的比例示图；

图4A是对应于现实世界中的宽度感知的示意图；

图4B是对应于现实世界和被感知世界中具有单眼视觉的宽度感知的示意图；

图5是作为立体系统的双屏幕之一的左眼屏幕的示意图，其中，一条线正好占据了屏幕上显示的图像的右半部分；

图6A是示出在现实世界中，在距离Drn处的感知对象的比例示图；

图6B是示出在感知世界中，如何在双屏系统的左屏幕上感知对象的示意图；

图7是示例性立体系统的双屏幕S1和S2的示意图，其中S1和S2垂直于左眼和右眼之间的假想线Io，S1和S2分别以左眼和右眼的瞳孔为中心；

图8A是放置在用户面前的双平行屏幕S1和S2的示意图；

图8B是与当用户面对距观看者的眼睛的距离为Ds的双屏系统时在何处对象Op被感知有关的不同比例的示意图；

图9A是两个理论上重叠的屏幕S1'和S2'的示意图，它们比双平行屏幕S1和S2距用户更远。

图9B是示出与在双屏S1'和S2'的至少一部分上右眼将如何感知对象Op有关的比例示图；

图9C是来自左眼摄像机的示意图，其包括在光轴附近的远处的太阳和沿光轴的中场树；

图9D是来自右眼摄像机的示意图，该图像具有与左眼摄像机的光轴平行的轴，因此示出了与光轴垂直对齐的远处太阳和中场树向左偏移；

图10A是具有两个重叠部分S1'和S2'的单个屏幕的示意图，该重叠部分S1'和S2'比双屏幕S1和S2距用户更远；

图10B是示出与用户在具有两个重叠部分S1'和S2'的单个屏幕上如何感知对象Op有关的不同测量方式的示意图；

图10C是用于在公共屏幕上显示的示意性左眼图像，对应于图9C的摄像机图像，其中显示图像包含向左的眼间偏移量为Io/2，该图像示出了与光轴垂直对齐的远处太阳和与左眼光轴垂直对齐的中场树。

图10D是用于在公共屏幕上显示的示意性右眼图像，对应于图9D的摄像机图像，其中显示图像包含向右的眼间偏移为Io/2，该图示出了远处的太阳与光轴垂直对齐，并且中场树向右眼的光轴的左侧偏移，在图10C和10D的图像中，眼间距离Io表示为远处太阳对象之间差异；

图11A是简单的屏幕系统的示意图，其中屏幕S1'和S2'的一部分由两只眼睛共享；

图11B是与两只眼睛共享的屏幕S1'和S2'的部分相对应的简单屏幕系统的测量示意图；

图12A是通过使用具有与双屏系统相同的比率Ds/Ls1'的简单屏幕用于左眼的图像的部分图像的示意图；

图12B是通过使用具有与双屏系统相同的比率Ds/Ls1'的简单屏幕用于右眼的图像的部分图像的示意图；

图13是将被视为左眼最终图像和右眼最终图像的原始图像的截面示意图；

图14A是示例性单屏幕系统的图，其中将屏幕S1'的宽度与图像的有效宽度相比较，其中由于Lse＝Ls1'，左眼感知的图像不需要进行调整；

图14B是示例性单屏幕系统的图，其中将屏幕S1'的宽度与图像的有效宽度进行比较，因为Lse<Ls1’，左眼感知的图像需要在两侧都添加黑条；

图14C是示例性单屏幕系统的图，其中所述屏幕S1'的宽度与图像的有效宽度进行比较，因为Lse>Ls1’，左眼感知到的图像需要被裁切；

图15A是在Lse＝Ls1'的情况下由用户感知的示例性单屏幕系统的图；

图15B是在Lse<Ls1'的情况下由用户感知的示例性单屏幕系统的图；

图15C是在Lse>Ls1'的情况下由用户感知的示例性单屏幕系统的图；

图16A和16B是用于裁切和缩放以在显示器上观看的图像的示例性立体系统的框图；

图17A是在示例性体积读取方法中使用虚拟摄像机的图像获取或渲染的示意图；

图17B是示例性体积读取方法中的单屏幕格式化的示意图；

图18A是当标度深度为1时的对象深度示意图，即感知到的对象与现实中具有相同的距离；

图18B是当标度深度小于1时的对象深度示意图，即感知到的对象比现实中更近；

图18C是当标度深度大于1时的对象深度示意图，即感知到的对象比现实中更远；

图19A示出了在屏幕上显示的图像的Io和Bo的几何形状；

图19B示出了由于修改Bo而导致的对象宽度的变化；

图20A示出了当Bo等于Io时，远处对象的几何形状；图20B示出了当使用比Io低的光学基准Bo时，对远处对象的显现的影响；

图21A是示出感知空间不是线性的示意图；

图21B是示出了现实世界中的距离与感知世界的距离之比的示意图；

图22是示出了部分超出视场范围的近距离对象，由于与相应的屏幕边缘或边界发生冲突，从而导致难以感知近距离对象的深度；

图23A示意性地示出了与现实世界观看具有相同的聚散距离和焦距，且图23B示意性地示出了立体3D观看中的屏幕的聚散距离和更近的焦距；

图24A是在屏幕后面会聚的情况下的观看几何形状的示意图；

图24B是屏幕会聚角和对象会聚角的几何形状的图；

图25A示出了在屏幕前方会聚的情况下的观看几何形状；和

图25B示出了屏幕会聚角和对象会聚角的几何形状。

详细说明

在描述实施例中涉及的图像处理技术背后的几何形状之前，在此给出了图像处理的定性概述。

在图1A中，示意性示出了如何布置平行摄像机，即左摄像机和右摄像机，以捕捉相同场景。这两个摄像机可以具有相同的分辨率、焦点、视场等属性，并且它们具有平行的光轴。两个摄像机之间的距离可以对应于观看者眼睛之间的距离。无穷远的对象出现在每个摄像机图像中的相同位置。根据摄像机之间的距离及该对象在视场内的位置包括对象与摄像机之间的距离，较近的对象将具有不同的视差。

在图1B中，示出了右眼图像及在其上方的左眼图像，在每个图像中，太阳出现在相同位置。由于视差，出现在中场的树在两个图像中的位置将有所不同。

如图1C所示，需要修改图1B的摄像机图像才能在单个屏幕上显示。可以通过已知技术在单个屏幕上观看。例如，观看者可以戴上补色的彩色滤光眼镜，然后，屏幕图像由颜色编码的左右图像数据组成。在翻页操作中，观看者可以戴上快门眼镜，当屏幕图像在左右图像之间交替显示时，允许左右眼在交替的时隙中观看。在自动立体显示器中，观看者不需要任何眼镜，但是屏幕包括允许右眼看到右眼像素而左眼看到左眼像素的透镜或屏幕遮罩。

图1C中的显示屏的视场(FOV)大于摄像机图像的原始视场FOV。如图1C所示，定性地，每个图像都以适当的横向偏移量放置在单个屏幕的窗口或框架内，以对应于观看者的眼间距离。这个距离可能因人而异。如下所述，当要两个观看者观看屏幕时，最好使用观看者的最小眼间距离以避免该观看者的不适。通过这样获得的图像根据立体显示技术显示在单个屏幕上。

应当理解，随着观看者改变他或她与屏幕的距离，显示器或屏幕的FOV如图1D所示改变。当观看者靠近屏幕时，FOV会更大。同样，当观看者与屏幕的距离固定时，较大屏幕的FOV大于较小屏幕的FOV。图1D和1E对于定性地理解FOV、观看距离和屏幕尺寸之间的依赖性很重要。

在图1C的实施例中，显示屏提供的FOV大于原始FOV，因此可以对边界部分进行一些填充或涂黑。在图1F的实施例中，显示的FOV小于捕捉的FOV。这意味着显示屏实质上对于观看距离太小。如图1F中的定性地示出，对原始捕捉图像进行了裁切，以便可以将这两个图像组合在一起并适合显示屏幕。当原始捕捉图像的某些边缘部分丢失时，这些图像在立体上忠于原始捕捉。

在图1G的实施例中，立体输出将被放大1.5倍。定性地，人们可以看到首先放大了图1B的图像(为便于理解在图纸上重复)，然后从放大的图像中提取出适合显示屏的部分，并放置了合适的眼间偏移(Io)并根据立体显示技术在单个显示屏中显示。尽管显示屏FOV可以与捕捉FOV相同，但是由于放大的原因，捕捉图像的重要边界部分丢失了。但是，放大图像的立体效果令人愉悦。

当以图1G所示的方式缩放图像时，放大倍率会影响对象的大小和感知的视差，从而使对象看起来更近，并给人以这样的印象，即所涉及的缩放越来越接近图像中的对象。尽管场景中对象之间的深度变化的感知减少或变平，但是由于图像保持与两只眼睛对齐，因此尽管放大了，3D效果也很好。

来自平行轴摄像机的原始拍摄图像促进了根据可变观看条件下，为了立体效果，承受对原始拍摄图像调整的能力。将理解的是，具有接近平行的轴的摄像机也可提供合适的图像。

将理解的是，图1G所示的捕捉图像的放大倍率不需要围绕捕捉图像的中心进行，并且在执行这种放大倍率时，一个感兴趣的窗口被有效地选定。可进一步理解的是，该特征允许观看者以模拟原始捕捉场景的平移的方式来移动感兴趣的窗口。

在图1H的实施例中，立体输出将被放大0.5倍(即缩小)。定性地，人们可以看到图1B的图像(为便于理解在图纸上重复出现)首先按比例缩小，然后缩小的图像伴随着适当的眼间偏移(Io)并根据立体显示技术在单个显示屏中显示。尽管显示屏幕的FOV可以与捕捉的FOV相同，但是由于缩小的原因，捕捉的图像没有丢失任何部分。可以选择放大倍率，以使图像恰好适合单个显示屏的可用的FOV。如前所述，虽然在图1H的实施例中增加了场景中对象之间的深度变化的感知，但是由于图像保持与两只眼睛对准，所以尽管放大了，但是3D效果仍然很好。

已经定性地描述了某些实施例，下面将使用精确的几何计算来描述其他实施例。

用平行摄像机捕捉

由两个相同的摄像机组成的立体捕捉系统以平行方式布置。如图1A所示，用这种立体系统捕捉的对象的视差是该对象在左摄像机拍摄的图像上的位置以及同一对象在右摄像机拍摄的图像上的位置的差异。

如图2所示，定义这两个摄像机具有宽度Lc和焦距F的传感器。它们各自镜头的中心间的距离B。此距离称为基准。当一个对象恰好位于左摄像机的中心轴上时，该对象将恰好位于左摄像机传感器的中心。该对象的视差将等于该对象在右摄像机传感器上形成的点与右摄像机的中心轴间的距离，即如图中所示的线段Pc。位于距离Dn处的对象的视差可以通过比较Pc和B相对应的相似直角三角形，以及边Drn和F之间的关系Pc＝B*F/Drn来获得。

深度缩放-平行屏幕

为了观看立体图像，可以使用平行屏幕系统，其中两只眼睛在其各自的屏幕上显示单独的图像(左和右图像)。这两个大小相同的屏幕(分别称为S1和S2)直接与每只眼睛的瞳孔中心对齐(请参见图3A)。

对象在左屏幕上的表示将位于Og，直接在垂直于屏幕的轴上并经过其中心，则右屏幕上的表示将位于Od或离开屏幕的中心的距离Ps(屏幕视差)处。因此，由视差信息给出的对象Op的感知距离将是Dp。由两个相似的直角三角形，通过匹配边，可获得以下比率：

可以进行以下简化：

Dp(lo-Ps)＝lo(Dp-Ds)

Dp.lo-Dp.Ps＝Dp.lo-Ds.lo

Dp.Ps＝Ds.lo

可以通过将传感器的视差(Pc)乘以屏幕上的放大倍率来计算屏幕上的视差(Ps)。放大系数(M)对应于屏幕上显示的图像的有效宽度(Lse)与捕捉图像的宽度之比，出于所有实际目的，该捕捉图像的宽度等于传感器的宽度(Lc)。在当前情况下，让我们设定屏幕上显示的图像是最初完整捕捉的图像。获得以下内容：

Ps＝Pc＊M

Ps＝Pc＊(Lse/Lc)

Ps＝(B＊F/Drn)＊(Lse/Lc)

通过结合前面的两个方程获得以下结果：

Dp＝Ds＊lo/Ps

Dp＝Ds＊lo/(B＊F＊Lse)＊(Drn＊Lc)

对于坐在距给定的立体屏幕固定距离处并且看着以固定的基准拍摄的内容的给定的观众，可以说Io、B、Ds、Lse、Lc和F是恒定的。该方程式可归结为：

Dp＝C＊Drn

或

和

换而言之，由立体系统表示的深度感知与现实世界的感知成线性比例，并且其深度缩放等于C。对于现实世界(捕捉)中距离的任何单位变化，将存在观察者(可视化)感知距离的C的变化。如果：

·

那么深度感知将与现实世界相同；

·

那么观察者将感知到一个比现实还浅的世界。

·

那么观察者将感知到比现实更深的世界。

空间缩放-平行屏幕

为了建立在现实世界中观察到的对象的真实宽度，必须知道相对距离。实际上，在单眼视觉中，放置在不同距离处的不同大小的对象可能会给人以相同大小的印象。这在图4A和4B中进行了说明，其中线Lr1，Lr2和Lr3是三个不同的长度，但对于不知道相对距离的观察者来说，它们的长度是相同的，因此在单视场中，Lp1＝Lp2＝Lp3。

因此，相对于该对象的观察者，对象的感知宽度与距离信息直接相关。

如图5所示，拍摄的立体图像显示的一条线正好占据了具有平行屏幕的立体系统的左眼屏幕上显示的图像的右半部分。屏幕上此线的宽度因此等于Lse/2。

在立体视觉中，该线可能在某一距离处，该距离明显不同于观察者与屏幕间的距离。如图6A和6B所示，可以假设在与观察者的距离Dp处感知到该线。在此感知距离处，线的感知宽度为Lp。换句话说，可以感觉到这条线更宽，因为它位于更远的地方。

由于存在两个相似的直角三角形，因此可以建立：

或

这是上面所示如何在这样的立体系统中计算对象的感知深度(Dp)，并且通过将该计算代入上式中的项Dp，获得以下内容：

现在，可以确定现实世界中的线的宽度(Lrn)，该线的宽度形成在感知宽度为Lp的左眼图像上。由于这条线完全占据了左眼图像的右侧，因此可以确定它占据了捕捉了该图像的摄像机传感器的一半，如上一页中的图表所示。通过应用泰勒斯定理(Thales'theorem)，可以确定：

或

可以确定在这条线与任何对象在感知世界中的感知宽度(Lp)和其在现实世界中的等效宽度(Ln)之间的比例如下：

换而言之，由立体系统表示的宽度感知与现实世界的感知线性相关，并且其空间缩放等于Io/B。对于现实世界(捕捉)中每个宽度的变化，观察者(可视化)感知到的宽度的Io/B都会变化。如果：

·Esp＝1，那么宽度的感知将与现实世界中的相同；

·Esp<1，那么观察者将感知到一个比现实狭窄的世界(如，被挤压)；

·Esp>1，那么观察者将感知到比现实更广阔的世界(扩展)。

立体表示的比例

通过了解立体表示的深度缩放和空间缩放，可以建立该表示的比例缩放。这种比例缩放旨在来确认是否被展平、延长或成比例于实际对象。比例比率确定如下：

如果：

·Z＝1，那么观察者将感知到一个成比例的世界(期望的)；

·Z<1，则观察者将感知到一个扁平的世界(更舒适，效果更差)；

·Z>1，则观察者将感知到一个拉伸的世界(更广阔，更壮观)

对于Z等于1，

因此：

因此

并且全局缩放＝Io/B

换而言之，由焦点和传感器对给出的捕捉视场等于由图像宽度(屏幕)和图像距离对给出的立体系统的视场。任何具有平行屏幕且成Ds/Lse比例的系统，无论其大小如何，都将提供同等的体验，其比例将由Io/B(从蚂蚁到巨人)给出。例如，对于一个10m宽的屏幕，将观察者放置在距屏幕30m的位置(Ds/Lse＝3)，捕捉的立体图像将与在距离屏幕30cm的10cm屏幕上提供的立体感(Ds/Lse＝3)相同。

然而，存在以下问题：超过一定尺寸(比Io宽)，平行屏幕将彼此接触。除非使用放大镜，诸如立体镜或虚拟现实头戴设备，否则使用平行显示器是不切实际的，这极大地限制了其应用。下一节将说明如何绕过此限制，并使用平行摄像机方法在更大的单个屏幕(例如3DTV或电影屏幕)上进行显示。

单屏转换

以上开发的方程式仅适用于平行屏幕，也就是说，垂直于将两只眼睛分开的假想线且其中心恰好位于每只眼睛的瞳孔中心的屏幕。

上面已经证明，具有相同Ds/Lse比(到屏幕的距离与屏幕上显示的图像的宽度之比)的系统的立体表示将在所有方面提供相同的体验，也就是说，对象的感知大小和距离将完全相同。

如图8A和8B所示，对象Op具有感知距离为Dp。该点在左眼(S1)的屏幕上表示为点Og，而在右眼(S2)的屏幕上表示为点Od。点Og恰好位于屏幕S1的中心轴上，而点Od位于距屏幕S2中心的距离Ps处。两只眼睛会聚在点Op处，这将是观察者将感知到该点被定位的位置，如图8B所示。

如图9A和9B所示，两个理论屏幕S1'和S2'，它们具有与屏幕S1和S2相同的比率Ds/Lse，并且距离屏幕更远。这些屏幕是理论上的，因为它们重叠，这在现实世界中是不可能的。因此，已知Ls1/Ds1等于Ls2/D2，也等于Ls1'/Ds1'和Ls2'/Ds2'。由于屏幕S1和S1'以左眼的瞳孔为中心，因此可以推定点Og和Og'都将位于它们各自的屏幕S1和S1'的中心轴上。如图9A和9B所示，点Od和Od'将分别位于距屏幕S2和S2'的中心的距离Ps和Ps'处。

为了在两个表示中在相同位置感知点Op，点Od和Od'形成相同的角度，或者比率Ps/Ds2等于Ps'/Ds2'。已知由于S2'是S2的线性放大倍率，因此Ps'与Ps相比将经历相同的放大倍率。换句话说，Ls2′/Ls2＝Ps′/Ps。还已知Ls2'/Ds2'＝Ls2/Ds2，因为系统是基于此限制而设计的。因此可以推断出：

Ls2’/Ds2’＝Ls2/Ds2

从而

Ls2’/Ls2＝Ds2’/Ds2

所以

Ls2'/Ls2＝Ps'/Ps

和

Ps2'/Ds2'＝Ps2/Ds2

因此，当使用这两个系统中的任何一个时，对象Op将被感知在同一个位置。因此，已经证明，这两个系统在所有方面都将提供相同且等效的立体体验。

如图9C和9D所示，使用平行轴摄像机捕捉的图像,远处的对象如太阳，处在同一位置，而较近的对象处在不同的位置。此类的图像可以通过使用头戴式显示器来查看。

从图9B可以理解的是，从每只眼睛看到的图像可以调整大小或缩放以适合放置在对应于对象Od和Og的第一深度的屏幕，或适合放置在对应于对象Od'和Og'的第二深度的屏幕。因此，在第一深度处使用的小屏幕可以由在第二深度处提供相同视场的较大屏幕代替。较大屏幕的图像缩放可能会导致Od变为Od'，但是对象Op的立体位置不会改变。

从下面参考图10至13及其描述中可以理解的是，如上所述，图9C和9D的图像可以根据屏幕位置进行缩放，但是，图10C和10D的图像缩放会对眼间距离产生不利影响，因此任何缩放也需要一个位置偏移(或在缩放过程中保持左眼轴和右眼轴的位置)以保持眼间距离。

如果期望在两个深度中的任一深度上具有不同的屏幕尺寸，则图像的缩放会改变视场。对于单眼观看，当提供正常视场且分辨率质量较高时，通常可以更好地观看。尽管如此，观看者可以坐在距屏幕更近或更远处，或者在相同的观看距离下将30”的屏幕更改为50”的屏幕，并且更改原始图像的视场不会对观看单眼图像的能力产生不利的影响。对于立体观看，改变视场将降低对象的立体深度的感知。

例如，参考图9B，如果呈现给右眼的图像以第二深度显示在更大的屏幕上，由于缩放以适应在相同的第二深度处较大的屏幕，Od’会呈现得更往左。由于对象Og'将保持在左眼图像内的相同中心位置，因此对象Op的深度将显得更近。这将导致立体观看的失真。

如果确实要在第二深度处使用更大的屏幕，则可以使用更大的屏幕来显示相同的视场图像而不会损害影响立体感。这可涉及到在屏幕上的图像周围提供边界。有效视场不变。

如果要在第二深度处使用较小的屏幕，则可以使用较小的屏幕来显示图像的一部分。这就像从较小的窗口看世界一样，在较小的屏幕上看到的对象与在较大的屏幕上看到的对象具有相同的大小，而在较小的屏幕上只能看到一部分原始视场。当较小的屏幕具有与较大的屏幕相同的分辨率时，图像将被放大并裁切，以保持相同的对象大小并显示图像的一部分。原始图像的边缘将丢失，但是，由于在第二深度使用了较小的屏幕，因此立体效果不会失真。

现在等价关系已经确立，可以将其转换为基于单个屏幕的立体系统，如图11A和11B所示。为此，例如图11A和11B所示的两个单独的屏幕的两个局部区域并以各自对应的瞳孔为中心的单个屏幕被予以考虑。实际上，屏幕S的中心位于垂直于观察者的两只眼睛的轴上并且在它们的中心处。可以说，该屏幕呈现的是屏幕S1'(右侧)和屏幕S2'(左侧)的一部分，并且每只眼睛的视场是不对称的(从每只眼睛的中心到一侧比到另一侧更宽)。

如图10C和10D所示，当要在同一个显示器上双视观看图像时，例如使用色差式立体眼镜观看色差式立体图像(例如，右眼为青色，左眼为红色)，LC快门眼镜以交替显示左眼和右眼图像，或自动立体显示，图像包含视差为Io的远距离对象。一旦考虑到偏移量Io，使用平行轴摄像机捕捉的图像，远距离对象如太阳，显示在同一位置，而较近的对象相对于远距离对象则分别显示在不同的位置。

将理解的是，立体图像的缩放不限于显示整个立体图像，其中用摄像机拍摄的第一视场立体图像，在具有第二视场的屏幕上显示给观看者。如图9C，9D，10C和10D所示，可以在立体源图像内选择感兴趣区域缩放窗口。该窗口提供的第一视场比整个立体源图像小，但是，该窗口随后可以用作源图像并按照此处的说明进行显示。选择窗口的结果可能是减少了图像的裁切以适合新屏幕。

该窗口选择不必在图像的中心，并且在图中被示出为稍微在图像的左侧。可以通过用户输入来控制此窗口选择，以允许导航查看立体源图像内窗口的方向。

因此，立体源图像可以是广角或全景场景，且窗口选择可以允许观看者通过更改场景内的观看方向来探索场景。

如图所示在图12A和12B，为获得等同的体验，通过使用具有相同比率Ds/Ls1'的单个屏幕的并行屏幕系统，呈现了相应于左眼图像的部分图像(右侧部分)和相应于右眼图像的部分图像(左侧部分)，其中局部图像按以下方式进行计算。

对于左眼，屏幕的宽度S1'的右半部分等于屏幕的宽度除以2(Ls/2)，再加上眼间距离除以2(Io/2)，如图所示。图12A和12B。因此，整个屏幕宽度S1'等于Ls/2+Io/2乘以2，得出Ls1'＝Ls+Io。由于仅左眼图像的右侧部分可以显示在屏幕上(Ls1'-Io)，因此，与Io等效的左侧部分被裁切了。图像是根据比例Io/Ls1'或Io/(Ls+Io)进行裁切的。

例如，考虑应在140厘米宽的屏幕上呈现1920×1080分辨率的图像，并且观察者的眼间距离为6.5厘米。图像的左侧部分应减少85像素：

Io/(Ls+Io)*Rimg_h

6.5cm/(140cm+6.5cm)*1920pixels＝85.1877pixels

为了保持原始图像的宽高比，在垂直轴上以相同比例裁切图像，或者：

Io/(Ls+Io)*Rimg_v

6.5cm/(140cm+6.5cm)*1080pixels＝47.9181pixels

如图13所示，左眼的最终图像将是原始1835×1032图像的一部分。应当注意的是，图像的垂直部分可以是图像的任何部分(顶部、底部、中心等)，只要符合像素数并对两只眼睛进行相同的选择(立体对准)即可。要获取右眼的图像，只需将右眼原始图像的等效左部分作为1835×1032的一部分，并与左眼的一部分进行垂直对齐即可。

然后，可以将这些图像恢复到将在其上显示它们的屏幕的分辨率，而对最终的立体效果没有任何影响。因此，获得图像进行最终水平和垂直分辨率的公式为：

Rimg_h’＝Rimg_h*(1–Io/(Io+Ls))

Rimg_v’＝Rimg_v*(1–Io/(Io+Ls))

因此，该方法使得可以使用具有平行摄像机的捕捉系统，以与简单的屏幕(例如3D电视或3D电影院屏幕)一起显示，并且在各个方面都具有同等的用户体验。

对不相同的Ds/L和F/Lc比率的适应

上面已经确定，当比率Ds/Lse与比率F/Lc相同时，可以获得与现实成比例的立体体验(Z＝1)。然而，在立体显示系统中可能存在限制，使得无法满足该比率。然而，可以修改图像以恢复该比率和期望的立体比例。为了简化的目的，一个并行屏系统被应用。借助放大镜、虚拟现实头戴式设备可为用户提供非常广阔的视场。最终的屏幕宽度由公式Ls1'＝Ls1*G给出，其中G表示所用透镜提供的放大倍率。

步骤1：确定有效宽度

通过考虑从观察者到屏幕的距离来确定立体图像的有效宽度。为此，使用以下公式：

F/Lc＝Ds/Lse

所以

Lse＝Ds*Lc/F

步骤2：比较：

然后将屏幕S1'的宽度与图像的有效宽度进行比较。如图14A，14B和14C所示，如果：

·Lse＝Ls1'，则可以在屏幕上原样显示图像；

·Lse<Ls1'，则缩小图像尺寸(黑条，居中窗口)；

·Lse>Ls1'，则必须裁切图像以符合屏幕的实际尺寸。

步骤3(A)：当Lse<Ls1’时调整图像

方法1：

在这种情况下，可以在整个图像周围添加黑带，以保持图像居中于眼睛并保持图像的原始宽高比。为此，使用以下公式：

Rimg_h’＝Ls1’/Lse*Rimg_h

Rimg_h’–Rimg_h＝Rimg_h*(Ls1’/Lse–1)

(Rimg_h’–Rimg_h)/2＝Rimg_h/2*(Ls1’/Lse-1):水平黑带

和

Rimg_v’＝Ls1’/Lse*Rimg_v

(Rimg_v’–Rimg_v)/2＝Rimg_v/2*(Ls1’/Lse-1):垂直黑带

然后将得到的图像重设为要以全屏模式显示的屏幕分辨率。例如，对于分辨率为1920×1080的图像，有效宽度(Lse)应为45cm，并显示在最终宽度(Ls1')为60cm的屏幕上。图像可能如下所示：

Rimg_h’＝60cm/45cm*1920pixels＝2560pixels

(Rimg_h’-Rimg_h)/2＝320像素添加到每个边

Rimg_v’＝60cm/45cm*1080pixels＝1440pixels

(Rimg_v’–Rimg_v)/2＝180像素可垂直添加到图像的顶部和底部

因此，最终图像的分辨率为2560×1440像素，保留的宽高比为1.78：1。然后可以将此新图像重置为屏幕分辨率，以全屏模式显示。例如，如果屏幕的分辨率为800像素，则有效部分(显示图像数据)将为1920/2560*800＝600像素。

方法2：

替代地，可以创建图像，该图像将被呈现在屏幕中水平居中的窗口中，优选地也垂直居中。图像具有以下分辨率：

Rimg_h’＝Lse/Ls1’*Rs_h

Rimg_v’＝Rimg_v*Rimg_h’/Rimg_h

以与之前相同的示例为例，它具有45cm的Lse，60cm的Ls1、1920像素的水平图像分辨率和800像素宽的屏幕。因此：

Rimg_h’＝45cm/60cm*800pixels＝600pixels

图像(缩小比例)从1920像素减少到600像素，并将其在屏幕中居中，其结果与上面完全相同(图像的有效部分)。

步骤3(B)：当Lse>Ls1’时的图像调整

当图像的有效宽度大于屏幕的有效宽度时，通过也在图像的每一侧上裁切以保持水平居中来缩小图像。可以使用以下方法：

Rimg_h’＝Rimg_h/Lse*Ls1’

Rimg_h-Rimg_h’＝Rimg_h*(1-Ls1’/Lse)

(Rimg_h–Rimg_h’)/2＝Rimg_h/2*(1-Ls1’/Lse):每边要裁切的像素数

及

Rimg_v’＝Rimg_v/Lse*Ls1’

(Rimg_v–Rimg_v’)/2＝Rimg_v/2*(1-Ls1’/Lse):每边要裁切的像素数

例如，具有1920像素水平分辨率的图像在距屏幕一定距离的情况下应具有50cm(Lse)的有效宽度，但其实际屏幕宽度仅为30cm。图像可以按以下方式裁切：

Rimg_h’＝1920pixels/50cm*30cm＝1152pixels

每边要裁切的像素数＝1920pixels/2*(1–30cm/50cm)＝384pixels

Rimg_v’＝1080pixels/50cm*30cm＝648pixels

每边要裁切的像素数＝1080pixels/2*(1-30cm/50cm)＝216pixels

因此，最终图像的分辨率为1152×648像素，宽高比为1.78：1。剩下的就是将由此获得的图像分辨率调整为屏幕分辨率，以全屏模式显示它。

并行屏幕的方法的适应

现在研究单屏系统。

如图15A，15B和15C所示，用户正在观看电视上的图像，该电视提供的视场更受限于用户坐着观看屏幕的距离。如前所述，最终屏幕宽度由公式Ls1'＝Ls+Io给出。

要调整屏幕上的图像，可执行以下两个步骤：

步骤1：调整两个图像(左眼和右眼)的图像分辨率(Rimg_h和Rimg_v)，以使图像符合初始比率Ds/Lse。

步骤2：裁切由第5节的技术获得的新的左眼和右眼图像的右侧部分。

让我们以眼距为6.5cm的观察者为例，并观看140cm宽度(Ls)的电视机，即1920X1080像素分辨率的图像，其宽度应为200cm(Lse)。首先将执行步骤1。

步骤1：

首先确定Ls1'，其等于Ls+Io，即146.5cm。由于Lse大于Ls1'，因此按以下方法缩小左眼和右眼的图像：

Rimg_h’＝Rimg_h/Lse*Ls1’＝1920pixels/200cm*146,5cm＝1406pixels

(Rimg_h’–Rimg_h)/2＝Rimg_h/2*(1-Ls1’/Lse):每侧要裁切的像素数

＝1920pixels/2*(1–146,5cm/200cm)＝257pixels

和

Rimg_v’＝Rimg_v/Lse*Ls1’＝1080pixels/200cm*146,5cm＝791pixels

(Rimg_v’–Rimg_v)/2＝Rimg_v/2*(1-Ls1’/Lse):每侧要裁切的像素数

＝1080pixels/2*(1–146,5cm/200cm)＝144.5pixels

因此，中间图像的分辨率为1406×791像素，保留了相同的初始宽高比1.78：1。现在执行步骤2。

步骤2：

使用中间图像作为如下计算的基础来裁切左眼的右侧部分和右眼的左侧部分：

Io/(Ls+Io)*Rimg_h’

6.5cm/(140cm+6.5cm)*1406pixels＝62.3823pixels

为了保持原始图像的宽高比，沿垂直轴以相同比例裁切图像：

Io/(Ls+Io)*Rimg_v’

6.5cm/(140cm+6.5cm)*791pixels＝35,0956pixels

因此，左眼的最终图像将是原始图像的一部分(右侧的一部分)，分辨率为1344×756像素，宽高比为1.78：1。右眼的图像将由右眼原始图像的等效左侧部分组成，即1344×756的部分，其垂直对齐方式与左眼的部分相同。剩下的就是将左眼和右眼图像的分辨率调整到屏幕的分辨率，以获取要在全屏模式下显示的最终图像。

立体变焦：改变图像尺寸(Lse')

在单视镜中，变焦对应于图像在x和y轴上的放大倍率。如果变焦为2，则图像将显示为原始图像的两倍。另一方面，如前所述，这种立体放大倍率不仅会影响屏幕上图像的尺寸，还会影响对象的感知深度。

以针对给定屏幕(Z＝1，Io/B＝1)缩放显示的立体图像的示例为例，一对立体图像(左和右图像)被相同地修改为X倍，因此Lse'/Lse＝X。观察到了此变化对与屏幕保持相同距离的给定用户的影响。

对感知距离的影响

根据上述建立的方程，可以确定：

因此，当图像放大系数为X，对象的感知距离将成比例地减少为1/X。

对感知宽度的影响

根据上面建立的方程，还可以确定：

因此，当图像放大系数为X，对象的感知宽度将保持不变。

对比例的影响

最后，根据上述建立的方程，可以确定：

因此，当图像放大系数为X，比例系数将以1/X的反比例系数进行变化。

总结(参见图18A，18B和18C的曲线)：

为了保持立体表示的比例，图像感知距离的变化伴随着图像感知大小的相等且成比例的变化。换言之，空间缩放的变化(Esp＝Io/B)等于深度缩放的变化(Epr)，因此比例系数保持等于1。

但是，空间缩放的分量(Io和B)无法修改，因为立体摄像机系统的基准已经固定好了，并且用户的两只眼睛之间的距离显然无法修改。换言之，一旦改变屏幕上图像的比例或放大倍率，就无法保持体验的比例性。

因此，对于使用图像放大方法的变焦：

放大将允许“进入”3D世界。视场将变小，且3D世界将变平。

缩小将允许用户退出3D世界。视场将变宽，且3D世界将伸展。

立体变焦：更换光学基准(Bo)

提供以下示例性图示。进行缩放时，缩放比例(x，y，z)总体上会发生系数X的变化，从而：

如果确实不能改变用户的眼间距离(Io)，则可以改变图像相对于两只眼睛的光轴中心的位置。光学基准(Bo)定义为屏幕上两个图像的中心之间的距离。可以显示出基本的光学变化如何影响对象的感知宽度和感知深度。

对感知宽度的影响

图19A示出了屏幕上显示的图像的Io和Bo的几何形状，图19B示出了由于修改Bo而导致的对象宽度的变化。

光学基准被定位，使其中间完全位于观察者的两只眼睛之间。

可以确定：

通过用第二个结果替换第一方程中的[La]，可以确定：

Lp’和Lp间的比例可以确定为：

因此，对于给定的图像宽度，对象宽度的感知变化将等于该对象距离的感知变化。光学基准的更换可以允许比例条件得以满足。现在将描述光学基准的变化如何影响立体表示中的对象的感知距离。

对感知距离的影响

选定的对象分别位于左眼图像和右眼图像中的点Ag和Ad。图20A和20B示出了当使用的光学基准Bo低于Io时的影响。

基于矩形三角形的属性，可以确定：

Dp’/Dp的比例可以确定为：

该关系表明，当使用不同的光学基准时，立体镜作用丧失。确实，尽管Dp的变化是线性的，但是Dp’/Dp之比的变化却不是线性的，因为它们根据Ps进行变化，即，它们随在现实世界中捕捉的对象的距离而变化。对于Drn的变化，Dp’的变化将根据Drn的值而变化。这可以看作是多个区域，其中大约存在线性比例变化。通过这种关系，现在可以计算出X值(3D放大倍率)：

该结果证明放大倍率X仅对特定的实际距离Drn有效。例如，如果获得了等于原始表示的三分之一的3D放大倍率，则可以指定为了实现该关系的原始距离(Drn)。任意选择距离Drn作为真实的参考距离，在立体镜模式下，将其显示在零平面上，即在距屏幕的距离处(Dp＝Ds)。结果是：

相反，当要确定Bo时，给出所需的3D放大倍率，可以按以下方式得出Bo：

图21A和21B的曲线图说明了光学基准的修改对现实世界和感知世界的距离之间的比率的影响。

如上图所示，除了不是立体镜外，感知空间不是线性的(比率Dp'/Drn不恒定)。当通过改变光学基准来缩放图像时，在感知的距离内会迅速达到平稳状态。感知到的最大距离(当Drn＝无穷大时)计算如下：

方法局限性

首先，因为从在Drn处到无穷远的对象会发散，所以不可能缩小。当Bo＝Io时，无穷远的对象通常会表示在每只眼睛的中心。如果Bo大于Io，则分别在左眼的左侧和右眼的右侧找到这些点。由于眼睛不能发散，这种方法将使融合变得不可能并给用户带来痛苦。

而且，该方法不会显着增加感知图像的部分。由于图像仅移动了几厘米，因此无法通过缩放来实现预期效果(即显着改变视场)。

最后，光学基准的改变会导致明显的空间畸变，并导致空间线性度和立体图像效果的损失。基于这些原因，对于立体图像的3D缩放，不建议更改光学基准。

基于对聚散和适应性考量的舒适的立体表示

为了建立对象的深度，大脑使用了许多视觉线索，将它们结合在一起以获得更高的确定性。例如，可以使用插入、运动视差、模糊、透视线，当然也可以使用立体视差(视差)。在常规/单视场视频游戏和电影院中，许多此类技术用于使内容具有更大的深度感，有时会给观众/选手带来深刻的深度印象。

在立体内容的情况下，通过使用视差来给出深度印象。但是，视差信息通常会与其他视觉提示冲突。例如，一种情况是对象应位于屏幕前面，但其图像在屏幕边缘被“切除”，如图22所示。

在图22的图像中，棒球应该根据立体信息从屏幕出来，但是，棒球“触摸”框架，也就是说屏幕的边界似乎阻碍了球的图像。但是在日常生活中，大脑已经认知到一个对象在视觉上阻挡另一个对象，则这个对象就在另一个对象的前面(插入现象)。因此，视觉提示之间存在冲突，并且由于视觉皮层通常使用插入方式，因此大脑决定拒绝立体信息并将球定位在屏幕上(例如将拒绝在屏幕前感知球)。立体摄影师熟悉此现象，并小心地准确构图要呈现在屏幕前面的对象。

另一个主要问题来自于聚散信息(眼睛会聚处)和适应性信息(眼睛聚焦的距离)之间的差异。大脑定期同时管理这两个信息，以提供清晰的视力。这两方面信息理应相互协调一致，并且大脑会同时使用这两方面信息来做出更好的决策(调整)。在立体视觉中，这两个信息并不总是一致的，因为尽管可以在给定距离(Dp)上实现会聚，但是眼睛会聚焦在屏幕的距离(Ds)上。图23A示意性地示出了在现实世界中观看时的聚散距离和焦距，图23B示意性地示出了在立体3D观看中的聚散距离和更近的屏幕焦距。

在文献中已经表明，当立体视的聚散和适应性之间存在太多冲突时，可能发生许多不利影响，例如不适、疼痛(有时持续)和复视(双视，无融合)。聚散和适应性之间的这种冲突不仅影响舒适度，而且影响立体表示中对象深度的感知。

已经对平行摄像机以及放置在不同距离的计算机生成的对象进行了实验。在观察时，已经注意到，尽管视差存在重要差异(在屏幕上进行了测量和验证)，但对于距离屏幕非常远的对象，对象距离的感知仅适度改变。当聚散信息和适应性信息之间存在冲突时，人脑可能会优先考虑适应性信息，并且对象的感知距离将与距屏幕的距离相关。如果屏幕附近的视场中有很多对象证实了适应性信息，则可能会加剧这种影响。

为了解决该问题，确定了与角度约束相关的最大或最远距离(被感知在屏幕“内部”)和最小距离(屏幕“外部”)。

最大距离(Df)

Marc Lambooij等人在论文(“Visual Discomfort and Visual Fatigue ofStereoscopic Displays:A Review”by Marc Lambooij et al.,published in theJournal of Imaging Science and Technology,dated May-June 2009,53(3):030201–030201-14,2009)中建议，眼睛在屏幕上会聚时所形成的角度(“适应性”角度)与最大或最小会聚角度之间的差限制在1°内，以保持舒适的体验。该原则用作确定立体感知的最大和最小距离的基础。需要特别注意的是，在无穷远处进行调节的具有透镜的可视化(如立体镜，虚拟现实头戴式设备)与在屏幕处进行调节的常规屏幕之间存在重要差别。首先描述常规屏幕的情况。

图24A示出了在屏幕内部会聚的情况。根据此图，找到对象距离(Do)的值的方法如下：

关于图24B，当眼睛在屏幕上会聚时，左眼的会聚角等于θ。当眼睛会聚在屏幕“内部”时，每只眼睛形成的角度减小为θ’。现在确定在保持立体感和观看舒适性的同时遵守聚散角度约束(V，以弧度表示，是角度乘以π再除以180°)的P值：

现在，获得了满足聚散条件的P值，P可以结合到前面的方程中，进而得到最大距离如下：

从距屏幕一定距离开始，无限远的所有对象都可以舒适地合并，因为它们全部都在聚散约束内。为了确定该距离，当Df趋于无穷大时，将确定Ds的值，如下所示：

以人眼距为6.5cm且以弧度为2°或2°π/180°的聚散限制为例，那么可以舒适地融合到无限远的到屏幕的距离是：

这证明了对于在距普通用户相对近的距离的屏幕上的立体表示，其立体效果可以具有自然且非常重要的深度(直至无限远)。这很好地对应于房间中的投影以及在电视3D上的观看。另一方面，为了在更靠近用户的立体屏幕(例如，移动电话、计算机屏幕、平板电脑等)上观看，存在严重的深度限制。例如，对于与上一个示例相同的用户，将屏幕放置在距离用户60cm处(例如笔记本电脑)，则在2°聚散限制下的最大可接受深度为88.6cm或屏幕内部只有28.6cm，是非常有限的。

最小距离(Dn)

参照图25A和25B，现在计算对象从屏幕上出来的可被用户感知的最小距离，也就是说位于用户和屏幕之间。

图25A表示在屏幕前面会聚的情况。根据该图，可以确定找出对象的距离(Do)的值如下：

参考图25B，当眼睛在屏幕上会聚时，左眼的会聚角等于θ。当眼睛会聚在屏幕前方时，每只眼睛形成的角度增加到θ'。然后确定将在保持立体感和观看舒适性的同时遵守聚散角度约束(V，以弧度表示，是角度乘以π再除以180°)的P值：

现在确定与聚散约束相对应的P的值，P值可以结合到前面的方程中，且获得最小距离(Dn)如下：

参数化以符合聚散-适应性冲突

已经确定了关于聚散-适应性冲突的立体表示的最大和最小距离为：

已经表明，视场(Lse’)的改变无法减少立体表示中感知世界的总深度。的确，不管立体视场如何变化(始终以每只眼睛为中心)，用平行摄像机捕捉的无限远点在立体表示中将被感知为无限远。另一方面，已经证明，可以通过改变系统的光学基准来减小表示中的感知世界的深度。

为了符合Df约束，现在确定光学基准。平行摄像机系统所捕捉的最远点(Drn＝无限远)以最大距离的立体表示来感知，从而提供舒适的体验(Dp’＝Df)：

注意，该调整是针对距屏幕的任何小于最小距离的距离进行的，允许在无穷远处融合，从而Ds<Io/V(V以弧度表示)。对于大于Io/V的任何屏幕距离，可以将光学基准设置为Io。

当光学基准的值小于Io时，空间的线性也会改变。这种空间变化的一个结果是，通常会在屏幕的距离处终止的对象在立体成像中延申至屏幕之外。因此，现在应该在屏幕内部的图像部分从屏幕出来，这会引起不适并造成取景问题。

为了解决这个问题，可以使用图像大小(Lse)的修改，因而在零平面(离开屏幕的距离)中显示的对象的实际距离等效于比例立体表示。例如，在以1(与自然世界成比例)的比例拍摄的图像的情况下，其立体表示将位于距离用户60cm的屏幕上，当捕捉带有对象的图像时，优选的是，在距屏幕60cm处感知到的对象位于距摄像机60cm处。

为此，在用Bo＝Io的正视镜表示的情况下，在屏幕上呈现的对象的真实距离可以确立。该距离的计算公式如下：Drn＝Ds*B/Io。使感知的距离(Dp’)等于到屏幕距离(Ds)和Drn的图像宽度Lse’可以确立如下：

注意，当Bo等于Io时(当用户离屏幕足够大的距离时)，Lse'等于Lse，结果变成了立体模式。

图16A和16B是用于处理平行摄像机立体视频以适应不同观看条件的设备的示意性框图。捕捉参数以确定原始视场。这些参数可以编码在图像或视频流中，由用户设置或通过视频分析检测。因此，区块12表示捕获视场参数的存储器存储，且可选地包括从图像数据存储器或视频流22a和22b接收视场参数的接口。

显示/屏幕参数可以是观看者的屏幕距离、屏幕分辨率、屏幕尺寸和观看者眼间距离。这些参数可以存储在存储器14中。尽管眼间距离可以是在存储器14中设置的变量，但是也可以将其设定为在计算器20内的额定值以确定如上面详细描述的剪裁和缩放参数。当多个观看者共同观看屏幕时，可以将眼间距离选择为具有最小眼间距离的人的眼间距离，以避免该人的发散问题。

计算器20还可以考虑以上参考图17至25所述的聚散约束，以确定裁切和缩放参数，进而修改基准偏移以使远处的对象更靠近屏幕；以及缩放图像以减小屏幕和所看到对象之间的会聚角差。

观看者和屏幕之间的距离可以使用用户界面或其他合适的方式输入。

在眼间距离发生变化的情况下，即使其它观看条件对应原始记录，比例参数包括图像移位参数。但是，如果在比原始视场小/大的显示屏上观看3D场景，比例参数包括图像偏移，以保持在不同尺寸的显示屏上每个图像中心之间的基本距离。

3D图像，即存储在存储器中的右眼图像和左眼图像22a和22b，相应地在图像处理器25中根据需要进行移位、缩放和裁切/边界填充，例如如图16B所示。图像处理器可以是GPU，CPU，FPGA或任何其他合适的处理设备。图像源22a和22b可以是本领域已知的立体图像流。

如上所述，可以使用已知技术来完成立体观看。在图16B的框图中，在区块28中完成立体格式化。这样的图像处理可以在CPU中完成，但是也可以例如使用GPU或FPGA来执行。在色差式演示中，观看者佩戴滤色镜，并且屏幕图像由颜色编码的左右图像数据组成。在翻页操作中，观看者可以戴上快门眼镜，当屏幕图像在左右图像之间交替显示时，允许左右眼在交替的时隙中观看。在自动立体显示中，观看者不需要任何眼镜，但是屏幕包括允许右眼看到右眼像素而左眼看到左眼像素的透镜或屏幕遮罩。在偏振行交错显示中，奇数行和偶数行具有不同的光偏振(每个偏振的像素模式不必限于交替的水平行)，并且佩戴偏振眼镜使得一只眼睛看到奇数行而另一只眼睛看到看到偶数行。如图16B所示，在将显示信号传输到显示设备之前，格式化器模块28完成了所需显示技术的立体格式化。如果需要，可以在图像处理器内完成立体格式化的操作或功能。然后使用相应的显示设备30显示一个或多个格式化的图像。

在图16C的实施例中，图像源是较大的视场源，例如广角(例如180至360度的全景源)，鱼眼镜头或计算机生成的图像源，其能够通过裁切或变形和裁切为给定的观看方向提供所需的图像。观看方向模块18可以是用户界面的一部分，以允许用户选择观看方向。裁切或变形和裁切过程是本领域已知的，并且在模块19中完成。如图所示，鱼眼摄像机图像源在变形前无法呈现为2D图像。变形模块19可以替代地集成到图像处理器25中，使得所需的裁切和缩放包含选定图像源的部分区域来进行变形。

可以理解的是，可以使用体积读取器来执行图像处理，即裁切和缩放。体积读取器是指将原始图像放置在3D空间中，以便遵循原始捕捉参数，并以正确的视点或摄像机位置捕捉原始图像的虚拟“摄像机”视图。例如，这可以在大多数常规GPU中完成。

细节如下。

命名

D＝距离

L＝宽度

H＝高度

F＝焦距

RES＝分辨率

1)将图像放置在空间中(见图17A)

·以任意宽度Lo放置左侧图像

·以相同的宽度Lo放置右侧图像

2)放置摄像机

·将摄像机居中放置在图像上，其中x，y，z坐标设置为0.0.0(在原点上)

·与图像保持一定距离，以确保比率：

Do/Lo＝Di/Li＝Fc/Lccd＝Dc/Lchamps

或

Do＝(Di*Lo)/Li＝(Fc*Lo)/Lccd＝(Dc*Lo)/Lchamps

3)渲染图像

·使用以下方法创建左眼和右眼的图像：

i)比率Lv/Hv＝(Ls+Io)/Hs

ii)比率Fcv/Lccdv＝Ds/(Ls+Io)

iii)分辨率＝RESs*(Ls+Io)/Ls

4)单屏格式(请参见图17B)

·覆盖两个图像

·将左图像向左移动(Io/2)/(Ls+Io)*Lv的距离

·将右图像向右移动相同的距离

·保留两个图像的共同部分

·立体格式化

可选地，在步骤4中，左眼的图像(从左侧)可以切去等于RESs–分辨率的像素数，且右眼的图像从右侧切去相同数量的像素。

在步骤2中，可以通过将摄像机移近或移远来实现放大和缩小。

在流媒体或在线服务的情况下，图像可以在服务器上处理，然后传输到远程客户端显示。在这种情况下，显示器或显示设备上的用户可以将显示/屏幕参数中继到服务器，在服务器上对图像进行处理，然后对其进行编码以传输到客户端显示器。当在传输之前进行裁切和缩放时，可以减少要传输的数据。

Claims (24)

1.一种处理立体图像以在单个屏幕上显示给观看者的方法，使用平行轴摄像机拍摄的所述立体图像具有第一视场，该方法包括使用由所述单个屏幕的宽度Ls，所述观看者的眼间距离Io以及所述观看者和所述单个屏幕之间的距离Ds提供的第二视场的定义，来缩放立体图像，以便所述立体图像在距所述观看者的所述距离处的所述单个屏幕上的显示符合第一视场，且当针对所述屏幕缩放的所述立体图像大于所述屏幕时，为所述屏幕裁切所述立体图像，及当针对所述屏幕缩放的所述立体图像小于所述屏幕时，为所述立体图像提供边界以适应所述屏幕，

其中，

左眼图像的左侧部分根据比例Io/(Ls+Io)进行裁切，右眼图像的右侧部分根据比例Io/(Ls+Io)进行裁切；且

图像可以恢复到显示它们的屏幕分辨率，而不会影响最终的立体效果。

2.根据权利要求1所述的方法，还包括：在所述立体图像内选择缩放窗口，从而改变所述第一视场，其中，相对于改变的第一视场对所述立体图像进行缩放。

3.根据权利要求2所述的方法，其中，所述缩放窗口从所述立体图像的中心偏移，以允许查看所述立体图像内的关注区域。

4.根据权利要求3所述的方法，其中，在观看所述立体图像的同时，使用观看者输入来移动所述偏移。

5.根据权利要求1至4中任一项所述的方法，其中，所述立体图像是静止图像。

6.根据权利要求1至4中任一项所述的方法，其中，所述立体图像是视频图像。

7.根据权利要求1至6中任一项所述的方法，其中，所述立体图像被转换为合成的色差式图像。

8.根据权利要求1至6中任一项所述的方法，其中，所述立体图像被转换为列交错格式图像，以显示在自动立体显示器上。

9.根据权利要求1至6中的任一项所述的方法，其中，所述立体图像被转换为一系列翻页图像，以使用快门眼镜进行查看。

10.根据权利要求1至6中的任一项所述的方法，其中，所述立体图像被转换为用于偏振显示的行交错序列。

11.根据权利要求1至10中的任一项所述的方法，还包括：获取用户输入以获得由所述单个屏幕提供的所述第二视场的定义。

12.根据权利要求1至11中的任一项所述的方法，还包括：获取传感器数据以获得由所述单个屏幕提供的所述第二视场的定义。

13.如权利要求1至12中任一项所述的方法，其中，所述立体图像位于所述单个屏幕上，以对应于远处对象的右眼图像和左眼图像之间距离为Io的对象间隔。

14.根据权利要求13所述的方法，其中，所述观看者包括多个观看者，并且所述眼间距离Io为在所述多个观看者中最小的眼间距离。

15.根据权利要求1至14中的任一项所述的方法，其中，使用相对的基准偏移进一步缩放和定位所述立体图像，以使出现在最大深度处的对象看起来更近，并且使出现在所述单个屏幕前面的对象看起来更靠近所述单个屏幕的位置，以限制以下至少一项：

在聚焦于所述单个屏幕深度与聚焦于在修改的最大深度处出现的对象之间的眼间角；和

在聚焦于所述单个屏幕深度处与聚焦于在所述单个屏幕的最前面出现的对象之间的眼间角；

以减轻眼睛疲劳。

16.根据权利要求15所述的方法，其特征在于，进一步缩放和定位所述立体图像，以限制两项眼间角，即在聚焦于所述单个屏幕深度与聚焦于在修改的最大深度处出现的对象之间的眼间角，和在聚焦于所述单个屏幕深度处与聚焦于在所述单个屏幕的最前面出现的对象之间的眼间角。

17.根据权利要求16所述的方法，其中，所述立体图像被进一步缩放以保持在所述单个屏幕的深度处出现的对象在相同深度处出现。

18.根据权利要求15，16或17中的任一项所述的方法，其中，观看在所述单个屏幕上深度出现的对象与在所述单个屏幕后面和/或前面出现的对象之间的眼间角小于约1度。

19.根据权利要求1至18中任一项所述的方法，其中，所述立体图像包括全景图像，所述方法还包括在所述全景图像内定义观看方向，并使用所述观看方向提取所述全景图像的一部分。

20.根据权利要求19所述的方法，其中，所述全景图像是广角摄像机镜头图像，所述方法还包括使所述全景图像的至少一部分变形。

21.根据权利要求20所述的方法，其中，所述全景图像是鱼眼镜头图像。

22.一种用于处理立体图像以在单个屏幕上显示给观看者的设备，该设备包括处理器和可由所述处理器读取的存储器，所述存储器存储用于执行根据权利要求1至21中任一项所述的方法的指令。

23.一种计算机程序产品，包含非暂时性存储器，存储用于执行如权利要求1至21中任一项所述的方法的处理器或可重配置硬件的指令。

24.一种用于流传输立体图像的系统，该系统包括：

服务器，该服务器包括处理器和存储指令的非暂时性存储器，其中，当所述指令由所述处理器执行时，所述指令执行根据权利要求1至21中任一项所述的方法，其中，为提供所述单个屏幕的远程客户端显示接收所述第二视场的定义，还包括对处理后的立体图像进行编码，以流传输至远程客户端显示器。

Images