CN102835116A - 用于选择立体成像视点对的方法、装置和计算机程序 - Google Patents

Abstract

一种方法（100），装置（200）和计算机程序（204），用于从两个或更多立体成像视点对（SIVP₁，SIVP₂）中的每一对接收对象场景的视差范围（SIVP₁D，SIVP₂D）的提示；接收立体显示器（903）的视差约束（SDD）的提示；并选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

Description

用于选择立体成像视点对的方法、装置和计算机程序

技术领域

本发明的实施例涉及方法、装置、计算机程序和计算机可读存储介质。特别地，实施例涉及立体成像领域中的方法、装置、计算机程序和计算机可读存储介质。

背景技术

当前的立体系统使用具有固定分离距离的一对摄像机，典型设计用于由每个摄像机获取图像。由两个图像生成立体图像用于在特定立体显示器上进行显示。这种系统仅限于获取预定场景环境的立体图像用于在预定显示器上进行显示。因而当利用不同于预定显示器的显示器查看立体图像时存在兼容性问题。

发明内容

根据本发明的多种但未必全部实施例，提供一种方法，用于从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示；接收立体显示器的视差约束的提示；和选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

本发明的一些实施例从两个或更多立体成像视点对提供一个立体成像视点对的自动选择，其具有最大但也匹配立体显示器的视差性能的用于场景环境的视差范围。实际上，输入视差范围的大小可以进行调整以通过选择其视差范围在所述立体成像视点对中最大但其视差范围满足显示器的视差约束从而适应输出显示器的视差性能。这使得视差范围通过具有尽可能大且依然满足可查看立体内容的显示器的视差标准的视差针对对象场景进行最优化。这增强了3D效果并扩展了使用所选立体成像视点对而创建的立体内容的视深。因此，这些实施例可以实现由显示器的可用视差范围构成的有效利用。因为输入视差范围的调整被立体成像视点对的选择影响，所以免除了重计算处理需求。立体显示器的视差约束可以取决于诸如显示器的物理/硬件限制等因素以及诸如用于显示器的兼容用户查看极限等人体工程学因素。因而，利用所选立体成像视点对创建的、具有超出显示器性能的视差的立体内容显示得以免除，这减少了不合需要的立体查看图像假象，眼疲劳和查看者疲劳。

对象场景例如可以涉及待立体成像的场景，就是说，场景可以包括位于与立体成像视点对的距离范围内的一个或更多对象。

对象场景与立体成像视点对的之间的视差范围例如可以是最大和最小视差值，已越过和未越过的视差极限或涉及由立体成像视点对感知的场景中最近和最远对象的视差之间的差分度量。可选的是，对象场景的视差范围可以是由立体成像视点对感知的视深的量数，或者由立体成像视点对的每个视点感知的场景的角度的差分度量或者其可以是由视点对的一个视点获取的图像与由视点对的另一视点获取的图像之间的差分度量。对象场景与立体成像视点对之间的视差范围可以是上述值的定标值。

对象场景与立体成像视点对之间的视差范围例如可以取决于诸如立体成像视点分离距离，成像视点的视野和场景的深度范围等参数，即场景中最远对象和最近对象之间的距离。

立体成像视点对例如可以是一对成像视点，即场景由其查看或成像的一对位置或视角，该对相隔一段距离。这种距离可以定义立体成像视点对分离距离。可选的是，立体成像视点对例如可以是一对成像设备。

立体显示器例如可以是可以显示3D图像的显示器，自动立体显示器，可以将一个图像指向查看者的一只眼睛并将另一图像指向查看者的另一只眼睛的视觉输出装置。

立体显示器的视差约束例如可以是设计感知的最大和最小图像深度的值，例如最大和最小感知图像深度之间的差分度量，该显示器可以进行显示。立体显示器的视差约束例如可以是涉及最大和最小视差极限的值，例如最大和最小视差极限的之间的差分度量，该显示器可以进行显示。立体显示器的视差约束例如可以是涉及已越过和未越过的视差极限之间差异的值，该显示器可以进行显示。视差约束可以是上述视差极限的定标值。约束可以起因于显示器的物理和硬件限制，即涉及显示器屏幕的有限维度和分辨率，以及涉及用于显示器的舒适查看参数的人体工程学查看因素。

该方法还可以包括：从两个或更多立体成像视点对中的每一对接收已改变的对象场景的视差范围的提示；选择其视差范围最大并且其视差范围满足立体显示器的视差约束的立体成像视点对。这使得视差范围可以得到调整以适应可变场景同时仍然满足显示器的视差标准。

该方法还可以包括：由所选立体成像视点对的至少一个成像视点捕获图像。这提供了一种优点，即这样捕获的图像具有适应于所述场景的视差范围，该视差范围也满足所述立体显示器的视差约束。

该方法还可以包括：存储由至少一个成像视点捕获的图像。优选的是，存储由所选立体成像视点对的至少所述两个成像视点捕获的图像。可选的是，可以从每个立体成像视点对的每个成像视点存储一张图像。这提供了一种优点，即对应于所选立体成像视点对的图像可以随后被选择，处理和使用。

该方法还可以包括：存储由至少一个成像视点捕获的图像，视频或音频可视化输出。优选的是，存储的所述图像，视频或音频可视化输出是由所选立体成像视点对的至少所述两个成像视点捕获的。可选的是，所述图像，视频或音频可视化输出可以从每个立体成像视点对的每个成像视点存储。这提供了一种优点，即对应于所选立体成像视点对的图像和视频可以随后被选择，处理和使用。

该方法还可以包括：接收由所选立体成像视点对的每个成像视点捕获的图像。这提供了一种优点，即这样接收的图像具有适应于所述场景的视差范围，该视差范围也满足所述立体显示器的视差约束。

该方法还可以包括：生成从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。这提供了一种优点，即这样生成的立体内容具有适应于所述场景的视差范围，该视差范围也满足所述立体显示器的视差约束。

该方法还可以包括：发送从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。这提供了一种优点，即这样发送的立体内容具有适应于所述场景的视差范围，该视差范围也满足所述立体显示器的视差约束。

该方法还可以包括：接收从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。这提供了一种优点，即这样接收的立体内容具有适应于所述场景的视差范围，该视差范围也满足所述立体显示器的视差约束。

该方法还可以包括：在立体显示器上显示从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。这提供了一种优点，即这样显示的立体内容具有适应于所述场景的视差范围，该视差范围也满足所述立体显示器的视差约束。

立体显示器的视差约束的提示可以包括所述立体显示器的最大视差范围的提示。其视差范围满足立体显示器的视差约束的立体成像视点对的选择包括选择其视差范围小于立体显示器的最大视差范围的立体成像视点对。这提供了一种优点，即该最佳选择的立体成像视点对匹配所述立体显示器的视差范围。

根据本发明的多种但未必全部实施例，提供一种装置，包括：至少一个存储器，用于存储计算机程序指令；至少一个处理器，配置用于执行所述计算机程序指令以引起所述装置至少实施：从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示；接收立体显示器的视差约束的提示；和选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

所述装置可用于立体成像。所述装置可实现于便携式手持设备、用户装备或服务器上。

根据本发明的多种但未必全部实施例，提供一种在计算机上运行的计算机程序，其实施：从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示；接收立体显示器的视差约束的提示；和选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

根据本发明的多种但未必全部实施例，提供一种用指令编码的计算机可读存储介质，当被处理器执行时，其实施：从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示；接收立体显示器的视差约束的提示；和选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

根据本发明的多种但未必全部实施例，提供一种装置，包括：用于从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示的部件；用于接收立体显示器的视差约束的提示的部件；和用于选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对的部件。

一些实施例提供了一种优点，即视差范围可以得到调整以适应对象场景同时仍然满足显示器的视差标准而无需计算密集的图像处理。提供显示器的可用视差范围的有效使用。减少了超出立体显示器性能的视差的显示，这减少了不合需要的成像假象，眼疲劳和查看者疲劳。

附图说明

为了更好地理解本发明实施例的多种实例，现在通过实例仅参考各附图，其中：

图1示出根据本发明多种实施例的方法的流程图；

图2示出根据本发明多种实施例的装置的示意图；

图3示出根据本发明多种实施例的两个立体成像视点对的示意图；

图4示出根据本发明多种实施例的立体成像视点对的可选设置的示意图；

图5A示出根据本发明多种实施例的立体成像视点对的示意图的平面图；

图5B和5C示出由图5A的立体成像视点对的每一对捕获的图像的示意图；

图6示出根据本发明多种实施例的另一方法的流程图；

图7示出根据本发明多种实施例的可选装置的示意图；

图8示出根据本发明多种实施例的方法的示意图；

图8示出根据本发明多种实施例的方法的流程图；

图9A、9B、9C和9D示出根据本发明多种实施例的可选装置实施和配置的示意图。

具体实施方式

附图示出一种方法，包括：从两个或更多立体成像视点对中的每一对接收（101）对象场景的视差范围的提示；接收（102）立体显示器的视差约束的提示；并选择（103）其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

说明

图1示出根据本发明多种实施例的方法的流程图。在框图101中，执行从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示的过程。在框图102中，执行接收立体显示器的视差约束的提示的过程。最后，在框图103中，执行选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对的过程。

这些过程可以由控制器实施。控制器的实施可以单独在硬件（电路，处理器……）中进行，具有单独包括固件的软件中的特定方面或者可以是硬件和软件（包括固件）的组合。该控制器可以利用使能硬件功能的指令，例如通过在可以存储在计算机可读存储介质（磁盘，存储器等）上的多用途或特定用途处理器中使用由这样一个处理器执行的可执行计算机程序指令得以实施。

图2示出用于影响图1的方法的装置200的实例的示意图。该装置，即控制器200，包括至少一个存储器201，用于存储计算机程序指令202的和至少一个控制器203，配置用于执行所述计算机程序指令以引起所述装置至少实施：从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示；接收立体显示器的视差约束的提示；和选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

处理器203配置用于读取并写入存储器201。处理器203也包括输出界面205和输入界面206，通过该输出界面由处理器203输出数据和/或指令，例如所选立体成像视点对的提示，通过该输入界面数据和/或指令被输入处理器203，例如来自每个立体成像视点对的对象场景的视差范围的提示以及立体显示器的视差约束的提示。

存储器201存储包括计算机程序指令202的计算机程序204，该计算机程序指令当载入到控制器203中时控制装置200的运行。计算机程序指令202提供使能该装置以实施图1所示方法的逻辑和例程。处理器203通过读取存储器201可以装载和执行计算机程序204。

计算机程序204可以通过任意合适的传送机制到达装置200。该传送机制例如可以是计算机可读存储介质，计算机程序产品，存储器设备，记录介质，例如光盘只读存储器或数字化通用磁盘，一款切实将所述计算机程序进行实体化的产品。该传送机制可以是配置用于可靠传输计算机程序的信号。该装置200可以传播或发送计算机程序204例如计算机数据信号。

尽管存储器201被图示为一个单个部件，其可以实施为一个或更多分离的部件，部分或全部所述部件可以被集成/可移除和/或可以提供永久/半永久/动态/高速缓存存储。

图3示出根据本发明多种实施例的两个立体成像视点对301和302的示意图。第一立体成像视点对，SIVP₁，301，包括两个成像视点IV₁303和IV₂304，这两个成像视点由定义立体成像视点对分离距离，SIVP₁SD，306的距离而分离。类似地，第二立体成像视点对，SIVP₂，也包括两个成像视点IV₂304和IV₂305，这两个成像视点由立体成像视点对分离距离，SIVP₂SD 307而分离。每个成像视点可以对应于能捕获图像的成像设备，例如电荷耦合的设备，或者可以显示这种成像设备所处的位置。每个成像视点固定在其位置上并且沿着相同的轴线308进行设置。其优点在于，通过具有固定的成像视点，其相对位置和对准可以被精确预定义。

在这个实施例中，成像视点304是第一和第二立体成像视点对的成员。这种配置的优点在于可以通过最大化使用最少成像视点的可能立体成像视点对的数量有效利用空间和部件。但是，一个立体成像视点对的视点不需要与另一立体成像视点对的视点相一致则更佳。

图4示出根据本发明多种实施例的立体成像视点对的可选设置的示意图。设置400类似于图3中的设置，但是具有额外的立体成像视点对，SIVP₃401，其包括由立体成像视点对分离距离，SIVP₃SD 402分离的视点IV₁303和IV₃305。

根据一个实施例，立体成像视点对分离距离分别是：

SIVP₁SD=2cm到3cm，或者在2.5cm的区域内

SIVP₂SD=3cm到5cm，或者在4m的区域内

SIVP₃SD=5cm到8cm，或者在6.5cm的区域内

大约2.5cm的立体成像视点对分离距离适于使能成像视点的缩放功能，因为更高的缩放水平减少了成像视点的视野同时放大了视差范围。这样放大的视差范围可以通过减少立体成像视点对分离距离而得到调节。此外，这样的立体成像视点对分离距离对使用手持便携设备的3D视频会议也是有用的。

大约4cm的立体成像视点对分离距离适用于对象范围为1.5米到无穷大的通用场景的便携手持显示器上的立体查看。

大约6.5cm的立体成像视点对分离距离适用于在显示器上进行正立体查看，其中查看距离大于2米，例如在电影院内。而且，这样的立体成像视点对分离距离适于查看对象距离为3米到无穷大的查看场景。

因而对另一个实施例而言，立体成像视点对分离距离被以因数1.6和1.62间隔开。当然，一直可以选择其它数量。

根据另一个实施例，立体成像视点对分离距离对应于瞳孔间分离距离，即查看者双眼之间的距离，典型地在6-7厘米范围内。

对象场景的视差范围由立体成像视点对的视点的角度确定。现在描述如何由图3或图4的立体成像视点对SIVP₁SD 301确定对象场景的视差范围的实例。图5A示出所述立体成像视点对SIVP₁SD 301的平面图，其包括被以立体成像视点对分离距离SIVP₁SD分离并沿基轴线308定位的成像视点对IV₁303和IV₂304。能捕获场景图像的成像设备506，507，例如摄影机，位于立体成像视点对SIVP₁的每个成像视点IV₁和IV₂上。第一成像设备506和成像视点IV₁各自具有平行于其它成像设备507和成像设备IV₂的光轴504的光轴503。光轴503和504也垂直于基轴线308。有可能存在其光轴不平行的成像视点和成像设备的配置，从而二者在相同的点交错。这种不平行配置被称为“内倾”配置。正方形501和圆502表示分别在待立体成像的场景中的最远和最近对象。为了方便阐述，这些对象被图示为沿着平行于光轴503，504的中轴线505和视点之间的中路而定位。当然，显示世界场景可能不会存在其最远和最近对象中心对准的情况。

图5B和图5C示出由位于图5A的立体成像视点对的每个成像视点上的成像设备捕获的图像的示意图。图5B示出由第一成像设备506从第一视点IV₁303捕获的图像。穿过图像的中心线508对应于成像设备的光轴503。在该图像中，最远的对象正方形501被定位于中心线508右侧的特定距离509处。最近的对象圆502被定位于中心线508右侧的更大距离510处。

图5C示出由第二成像设备507由第二视点IV₂304捕获的图像。最远的对象正方形501被定位于涉及成像设备507和第二视点的光轴504的图像的中心线511左侧的特定距离512处。最近的对象圆502被定位于中心线511左侧的更大距离512处。

所述场景与立体成像视点对301之间的涉及最远对象的视深的最小视差值SIVP₁D_min是距离509和512之间的差分度量。

所述场景与立体成像视点对301之间的涉及最近对象的视深的最大视差值SIVP₁D_max是距离510和513之间的差分度量。

对象场景与立体成像视点对301之间的最大视差范围SIVP₁D可以通过计算最大视差SIVP₁D_max和最小视差SIVP₁D_min之间的差异得以确定，即：

SIVP₁D=|SIVP₁D_max|-|SIVP₁D_min|

按照在图5A中给出的实例中的最远和最近对象的中心对称位置，距离504涉及最小视差的一半，即SIVP₁D_min/2，并且距离505涉及最大视差的一半，即SIVP₁D_max/2。类似地，距离510涉及最小视差的一半，即SIVP₁D_min/2，并且距离511涉及最大视差的一半，即SIVP₁D_max/2。

对象场景与两个或更多立体成像视点对中的每一对之间的视差范围的确定可以通过任意适当方法确定，例如通过从立体成像视点对中的每个成像视点捕获的图像的框形匹配和图像分割进行确定。可选的是，该视差可以针对每个立体成像视点对基于下列参数知识进行计算，例如：

立体成像视点对分离距离

成像视点的视野

捕获图像的成像设备的镜头的焦距

最近和最远对象的实际世界距离（其可以通过适当的范围寻找方法确定，这些方法涉及声波电磁辐射）和

摄像机的电荷耦合设备阵列的分辨率。

因为对象场景的视差范围由立体成像视点对的成像视点而确定，在一些实施例中，视差范围自然包括诸如视野和缩放水平等的成像视点的方面。其优点在于，所选立体成像视点对已经考虑了成像视点的视野和缩放水平。因此，本系统的多种实施例能够进行调整以改变成像视点的视野和不同缩放水平。

根据另一个实施例，图像处理算法，例如用于通过定标因数改变图像的定标，在计算视差范围之前被施加到来自立体成像视点对的图像5B和5C。通过减小图像的尺寸，同样也减少了图像的视差。其优点在于，发现用于立体成像视点对的对象场景的视差范围的区域仅略大于立体显示器的视差范围，该立体成像视点对的视差范围可以通过减小来自立体成像视点对图像的图像尺寸减小到小于立体显示器的视差范围。例如，在用于立体成像视点对的对象场景的视差范围比立体显示器的视差范围的视差范围大5%，10%，20%，25%或30%以内的区域，该视差范围可以减少相应的规定量从而通过减少来自成像视点的图像的定标使其置于可接受的水平内。其优点在于，这使得可以以不是这种情况时以来自立体成像视点对的更小图像为代价的更大的成像视点分离距离和立体内容的更小非全屏显示选择立体视点对。

但是根据另一个实施例，在计算视差范围之前改变来自立体成像视点对的图像5B和5C的视差。通过放大成像视点的视野，减少该图像的视差。其优点在于，发现用于立体成像视点对的对象场景的视差范围的区域仅略大于立体显示器的视差范围，该立体成像视点对的视差范围可以通过放大来自立体成像视点对图像的视野减小到小于立体显示器的视差范围。例如，在用于立体成像视点对的对象场景的视差范围比立体显示器的视差范围的视差范围大5%，10%，20%，25%或30%以内的区域，该视差范围可以减少相应的规定量从而通过放大成像视点的视野使其置于可接受的水平内。其优点在于，这使得可以以不是这种情况时更大的成像视点分离距离选择立体视点对。

根据一种实施例，在场景中的多个点上检测该场景的视差范围。这种检测可以实时发生，使得立体图像视点的再选择可以实时进行调整以改变场景，例如变为对象向视点移动靠近。

立体显示器的视差约束包括基于涉及查看者的到显示器的查看距离的人体工程学因素的可实现显示视差范围的极限。

根据一种实施例，立体显示器的视差范围SDD通过计算最大显示视差和最小显示视差之间的差异得以确定，其中：

最大显示视差为V_object=V^Max的P_display的值

最小显示视差为V_object=V^Min的P_display的值

即SDD=|P_display(V^Max)|-|P_display(V^Min)|

$P_{\mathrm{display}}=\frac{\mathrm{IPD}}{2}-\frac{\mathrm{IPD}\·V_{\mathrm{display}}}{2\·V_{\mathrm{object}}}$

$V^{\mathrm{Max}}=\frac{V_{\mathrm{Display}}}{1-V_{\mathrm{Display}}\·F}$

$V^{\mathrm{Min}}=\frac{V_{\mathrm{Display}}}{1-V_{\mathrm{Display}}\·F}$

V_display=查看者的瞳孔到显示器的距离

V_object=被查看对象的感知距离，即虚拟对象距离

V^Max=被查看对象的感知最大距离，即最大虚拟对象距离

V^Min=被查看对象的感知最小距离，即最小虚拟对象距离

IPD=瞳孔间距离，即查看者双眼之间的距离

F=涉及人类舒适查看参数的眼睛灵活性（屈光度），典型地被发

现位于±0.5±0.75范围内

眼睛灵活性因数涉及“调节集合错配”，其中查看者的双眼适应显示器的距离但是收敛于涉及虚拟对象的视深的不同距离。这种情况引起可以导致眼疲劳的差异。如上所述，已经发现眼睛灵活性在屈光度为±0.5±0.75范围内可以实现舒适查看。

不同的立体显示器具有不同的可用视差最大值和最小值以及用于舒适查看的不同视差范围。合适调配的电影院屏幕上的显示立体内容，其中显示距离远远大于2米，使得可以感知无限大的虚拟对象距离。然而，对在更近距离上查看的显示器而言，例如针对手持设备的情况，由于上述影响而不可能具有无限距离上的虚拟对象的舒适查看。还有诸如通过限制最大未越过的视差（涉及最大虚拟深度）和最大已越过的视差（涉及最小虚拟深度）影响显示器的视差范围的显示器尺寸等其它因素。

下面提供立体视点对选择中涉及的过程的可行实例。

在这个实例中，有3个立体成像视点对，每一对都分别具有2.5cm，4cm和6cm的成像视点分离距离。在视点对上的每个成像视点上具有一个1百60万像素的摄影机。待成像的对象场景包括距离立体成像视点对有限范围，即2米至5米之间的对象。

上述视差值具有负号是表示已越过视差的惯例（正视差用于表示未越过视差）。

这个实例中使用的立体显示器分辨率为480×800，就是说，其像素为384，000。该显示器可以处理上至-10像素（按照惯例已越过视差具有负号）的已越过视差，即针对在显示器前方感知的前景对象。该显示器可以处理13像素（按照惯例已越过视差具有正号）的未越过视差，即针对在显示器后方感知的背景对象。因此，显示器的视差范围，即未越过和已越过视差极限之间的差分度量在显示器空间中是23像素。

但是，来自每个摄像机的1百60万像素的图像需要被定标从而适应显示器。在这种情况下，图像减小定标因数4。这相应使摄像机空间的视差范围减少了因数4。

选择立体成像视点对，这提供了一个视差范围，即最大并小于显示器的视差约束，即显示器的视差范围的定标最大视差范围。在这个实例中，选择其成像视点分离距离为6.5cm的立体成像视点对，因为其给出了21.125像素的最大视差范围，但是其仍然小于23像素的视差约束。

所选择最佳立体成像视点对的、在其各自视点上捕获的图像，即由所选视点对的成像视点的每个摄像机获取的原始图像，然后可以被精确补偿。这些图像得到补偿，从而最近的对象成像视差和最远的对象成像视差映射到显示器的已越过视差极限和未越过视差极限各自的值上。

该补偿可以通过施加欧几里德转移图像处理算法受到影响。在这种情况下，施加+32像素（即将右侧图像向右移动16像素并将左侧图像向左移动16像素）的转移从而立体成像场景的视差由-41像素和-20像素（注意：-40.625像素和-19.5像素已经转变为整数像素）转移到显示器视差约束之内并适于查看的-9像素到+12像素。

可选的是，可以通过放大显示器的视差的参数，即在这种情况下放大因数4实现相关视差范围的确定，从而最大已越过视差为-40像素并且最大未越过视差为52像素。因此，显示器的视差约束对应于显示器的定标视差范围以适应摄像机的分辨率，在这种情况下为显示器空间中的92像素。而且，选择相同的立体成像视点对，即其成像视点分离距离为6.5cm的立体成像视点对，因为其提供了视差范围，即最大视差范围（在这种情况下为84.5像素），该最大视差范围也小于显示器的视差约束（在这种情况下为92像素）。

所选择最佳立体成像视点对的、由所选视点对的成像视点的每个摄像机获取的原始图像然后可以被精确补偿，从而其视差极限各自映射到显示器的已越过视差极限和未越过视差极限的值上。在这种情况下，施加+126像素（即将右侧图像向右移动63像素并将左侧图像向左移动63像素）的转移从而立体成像场景的视差由-163像素和-78像素（注意：-162.5像素已经转变为整数像素）转移到显示器的放大视差约束之内的-36像素和+48像素，当为查看而再定标时-40像素到52像素变为-9像素到+12像素。

现在让我们考虑场景何时发生变化，从而对象场景不再仅包含最大5米有限范围内的对象，就是说，现在存在无限距离上的对象。

如上所示，施加适当的定标因数4之后，我们得到显示设备的视差范围中的92像素容差。在这种情况下，所选的立体成像视点对现在具有2.5cm的成像视点分离距离，因为其提供了最大视差范围（在这种情况下为62.5像素）并小于显示器的定标视差范围（在这种情况下为92像素）。

可选的是，因为其成像视点分离距离为4cm的立体成像视点对具有仅略微超过显示器定标视差范围的视差范围（在这种情况下为92像素）的最大视差范围（100像素），通过施加可选的定标因数，例如4.35而非4，显示器的视差约束，即显示器的定标视差范围，现在为100.05并且因此具有4cm成像视点分离距离的立体成像视点对可以被选择。但是，生成的立体图像并非显示器上的全屏图像而是仅占图像的92%。具有优点的是，这更加有效地利用了显示器的视差性能并且使得可以感知增强的3D效果，尽管立体图像不能在全屏上显示。

图6示出根据本发明多种实施例的另一方法的流程图。框图601，602和603对应于图1的关于从第一，第二……第N立体成像视点对（分别为SIVP₁D，SIVP₂D，……SIVP_nD）中的每一对接收对象场景的视差范围的提示的框图101。框图102实施接收立体显示器SDD的视差约束的提示的过程。框图103实施选择其视差范围SIVP_xD为SIVP₁D，SIVP₂D，……SIVP_nD中最大的一个并且其视差范围也满足视差约束的立体成像视点对的过程，例如SIVP_xD＜SDD。

选择满足选择标准的立体成像视点对SIVP_x之后，框图604实施由所选立体成像视点对的每个成像视点捕获图像的过程，例如通过位于每个成像视点上的成像设备，以创建图像对。同样捕获图像序列或视频流则更佳。

可选择的是，图像处理算法可以施加到框图605所示的捕获图像上。这种图像处理算法包括但不限于实施：欧几里德转移，梯形失真校正和图像的裁切以及图像匹配算法以匹配诸如缩放水平，图像维度尺寸，和色域，亮度和对比度等的图像对图像属性。欧几里德转移图像转变补偿立体内容的总视差但不影响视差的实际范围。

框图606实施生成从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容的过程。立体内容可以是：由成像视点捕获的活动或预录制图像或视频流，从由立体成像视点对捕获的图像中导出的立体图像，多个从由立体成像视点对捕获的图像或视频中导出的立体图像或立体视频。而且，立体内容可以包括关于来自立体成像视点对的对象场景的视差范围的提示。该立体内容可以被适当格式化以适应用于特定类型立体显示技术所需的格式。

最后，框图607实施在涉及立体显示约束的立体显示器上显示从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容的过程。

图7示出用于影响图6方法的根据本发明多种实施例的装置的示意图。

装置700包括用于存储包括计算机程序指令202的计算机程序204的存储器201。该装置包括处理器203，该处理器包括输出界面205和输入界面206，数据和/或指令通过该输出界面由处理器203输出，数据和/或指令通过该输入界面被输入到处理器203。正如图2的装置200，装置700的处理器203被配置用于执行计算机程序指令202以引起装置700实施图1的方法。

该装置还包括成像器701，702和703，例如可以捕获对象场景的图像的成像设备。成像器701，702和703被设置位于对应于成像视点IV₁，IV₂和IV₃的位置上。因而，立体成像视点对SIVP₁，SIVP₂和SIVP₃分别对应于下列成像器对：成像器701和成像器702，成像器702和成像器703，成像器701和成像器703。

每个成像器捕获由其各自视点感知的对象场景的图像。这些图像被处理器203处理以确定由每个立体成像视点对，即每个成像对感知的对象场景的视差范围。这些图像与立体显示器704的视差约束的提示一起被输入到处理器中，该提示可以预存在存储器201中。

处理器203实施框图103的方法以选择满足选择标准的立体成像对之一。

计算机程序指令202也提供使装置700能够如下实施图6所示方法的逻辑和例程。

一旦选择了立体成像视点对，控制器203即控制所选立体成像视点对以由存储在存储器部件201中的每个确切的各自成像器捕获图像，由此影响框图604的过程。可选择的是，处理器203可以施加图像处理算法到捕获的图像上，由此影响框图605的过程。处理器203基于为在显示器704上进行显示而适当格式化的捕获图像生成立体内容，由此影响框图607。

在一个实施例中，装置700被实体化为一个便携手持电子设备，例如手机或个人数字助手，该便携手持电子设备额外提供一种或多种音频/文本/视频通信功能（例如电信，视频通信，和/或文本传输（短信息服务（SMS）/多媒体信息服务（MMS）电邮）功能），互动/非互动查看功能（例如网页浏览，导航，电视/程序查看功能），音乐录制/播放功能（例如活动图像专家组1音频层3（MP3）或其它格式和/或（频率调制/振幅调制）无线广播录制/播放），下载/发送数据功能，图像捕获功能（例如使用（例如内置的）数字摄像机），和游戏功能。

图8示出根据本发明多种实施例的方法的示意图。关于图1描述的框图101和102之后在框图103中导致选择所选立体成像视点对的过程之后，图8示出了然后可以利用框图103中选择的立体成像视点对影响的多个过程。

框图604涉及由关于图6讨论的所选立体成像视点对的每个成像视点捕获图像。同样捕获图像序列或视频流则更佳。

框图801实施存储由从两个或更多成像视点中的每一个捕获的图像的过程。再次地，同样捕获图像序列或视频流则更佳。优选至少两个视点对应于所选立体成像视点对的视点。如果由两个或更多，或者优选全部成像视点捕获的图像被存储在存储器中，选择满足显示器的视差标准的立体成像视点对之后，来自对应于所选立体成像视点对的适当成像视点的图像可以从用于显示器的存储器中导出。其优点在于，如果希望在具有不同视差约束的另一显示器上显示立体内容，则选择过程可以重复并且来自对应于新选立体成像视点对的适当成像视点的图像可以从用于显示器的存储器中导出。其优点在于，这样一种设置有效使能可以随后被选择的数组图像的备案从而满足一个或多个显示器的视差约束标准。这允许了可以在诸如便携手持显示器，家用电视液晶显示器和等离子显示器和基于投影的显示器等设备的范围内可以查看的立体内容的显示。

框图802实施接收捕获的图像或视频流的过程，或者同时实时或者非同时，即之前由所选立体成像视点对的每个成像视点捕获的图像和视频流。

框图606涉及关于图6讨论的立体内容的生成。

框图803实施发送从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容的过程。

框图804实施接收从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容的过程。

框图607涉及关于图6讨论的立体内容的显示。

图8中示出的多种方法过程800可以在多种软件和硬件平台上实施则更佳，所述平台尤其包括图2和图7的装置200和700。

图9A示出关于图7描述的装置700的示意图，该装置包括：立体成像视点对，控制器和完全封装在一个单元700中的显示器。这样的装置可以被认为是包括3个可选耦合模块：成像器模块901，控制器模块902和显示器模块903的“多合一”装置。

控制器模块902选择成像器模块901的哪个立体成像视点对对待成像的对象场景和显示器模块的显示器的待满足视差约束而言是最佳的。此外，这些模块得到不同设置，以至少实施图8所示框图的过程，例如：

成像器模块901被控制器模块控制以由所选立体成像视点对捕获图像。

控制器模块902由成像器模块901接收图像。

控制器模块902存储来自成像器模块901的图像。

控制器模块902传送图像到显示器模块903。

控制器模块902或显示器模块903由所述图像生成立体内容。

控制器模块发送立体内容到显示器模块。

显示器模块903显示所述立体内容。

关于来自立体成像视点对的视差范围的提示和立体显示器的视差约束的提示以及立体内容的数据可以从一个模块发送到另一个。但是，这些模块不需要全部被封装在作为单个物理实体的一个单元中但可以相互分开并远离则更佳。

图9B示出一种系统，其中包括显示器模块的显示器904与包括成像器模块901和控制器模块902的装置905分开并远离。在这种设置中，显示器904的视差约束通过通信网络与控制器模块通信，或者可选的是，这种约束被预存储在控制器模块的存储器中并且显示器的标记与控制器进行通信从而获悉哪个显示器视差约束将施加在立体成像视点对过程选择中。已经选择了由立体视点对给出视差范围的适当成像视点对和显示器904的视差约束的装置905然后可以发送由所选成像视点对导出的立体内容到显示器904。根据由成像视点感知的对象场景，这种系统可以选择立体视点对和由其导出的立体内容。因而，当感知的对象场景发生变化时，即通过成像视点放大/缩小由此改变其各自视野，或对象在场景中移动由此改变对象范围的最小值和最大值时，该系统可以进行调整。最佳立体视点对和由其导出的立体内容可以被选择，其考虑了这种变化。

图9C示出了一种系统，其中控制器模块902和显示器模块903都被封装在分开并远离包括成像器模块的装置907的装置906中。在这种设置中，来自装置907的两个或更多立体成像视点对中的每一对的对象场景的视差范围的提示可以通过通信网络与装置906进行通信。其接收之后，装置905可以选择满足显示器模块903的视差约束的适当成像视点对。然后，控制器模块可以要求导出自所选成像视点对的立体内容。

可选的是，在选择哪个视点对最佳匹配显示器模块903的视差性能之前，控制器模块902可以接收导出自至少两个立体成像视点对的立体内容以及由其导出每个立体内容的立体成像对的视差范围的提示。因此，控制器模块903可以选择最佳立体成像视点对，并且然后选择对应于导出自所选立体成像视点对的立体内容的已接收立体内容。其优点在于，在这种情境下，在捕获，生成和接收所述立体内容之前不需要提前获悉显示器设备的视差性能。

图9D示出了一种系统，其中每个成像器模块，控制器模块和显示器模块都相互分开并远离。在这种设置中，诸如关于视差和立体内容的数据可以通过通信网络由一个模块被发送到另一模块。

正如图9C的系统，包括控制器模块902的装置200可以接收导出自至少两个立体成像视点对的立体内容以及由其导出每个立体内容的立体成像视点对的视差范围的提示。再次地，其优点在于，在这种情境下，在捕获，生成和接收所述立体内容之前不需要提前获悉显示器设备的视差性能。根据使用的显示器设备904，这种系统可以选择立体视点对和由其导出的立体内容。因而，该系统可以调整以适应诸如例如手持便携电子设备上的显示器，传统平板显示器或基于投影的显示器，等不同显示器设备，并且选择的立体内容可以最佳适用于使用的显示器。

在上述实例中，立体内容的发送不需要由实际成像模块901本身出发，而是可以例如由立体内容服务器（未示出）出发则更佳。该服务器可以包括具有导出自立体视点对的预存储立体内容以及来自由其导出立体内容的立体成像视点对的视差范围的提示的数据库。

数据，例如立体内容的视差范围的提示的发送可以经由任意合适的传送机制完成。该传送机制例如可以是内部数据总线，计算机可读存储介质，计算机程序产品，存储器设备，记录介质，例如光盘只读存储器或数字化通用磁盘，一款切实将数据实体化的产品。该传送机制可以是配置用于可靠传输所述数据的信号。这种信号可以经由诸如局域网，广域网，互联网或诸如无线局部网或电信网络的无线网络等通信网络而发送。

关于“计算机可读存储介质”，“计算机程序产品”，“切实实体化的计算机程序”等的引用或“控制器”，“计算机”，“处理器”等可以理解为不仅包括具有诸如单个/多处理器构造的不同构造和序列（冯·诺依曼）/平行构造的计算机，还包括诸如现场可编程门阵列（FPGA），应用特定电路（ASIC），信号处理设备或其它设备的特制电路。关于计算机程序，指令，编码等的引用应该理解为包括用于可编程处理器的软件或诸如例如硬件设备的可编程内容，用于处理器的指令，或用于固定功能设备的配置设置，门阵列或可编程逻辑设备等固件。

图1，6和8中示出的框图可以表示一种方法中的步骤和/或在计算机程序204中的编码的选择。各框图的特别顺序的图示并非暗示所述框图具有必需或优选的顺序并且框图的顺序和设置可以改变。此外，可能省略一些步骤。

尽管本发明的多种实施例已经参考多种实施例在前述段落中得到了描述，可以在不偏离要求保护的本发明范围的情况下变化所列实例则更佳。

前述说明中描述的特征可以以不同于详细所述的组合而组合使用。

尽管参考特定的特征描述了功能，这些功能也可以通过描述或未描述的其它特征实施。

尽管参考特定的实施例描述了特征，这些功能也可以在描述或未描述的其它实施例中呈现。

在前述介绍中尽量吸引注意力到本发明被认为特别重要的那些特征上的同时，应该理解的是本申请人要求保护上述涉及的和/或在附图中示出的任何可授予专利的特征或特征组合，无论是否对其进行了特殊强调。

Claims (21)

1.一种方法，包括：

从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示；

接收立体显示器的视差约束的提示；和

选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

2.权利要求1所述的方法，其中每个立体成像视点对包括两个成像视点。

3.前述权利要求2所述的方法，还包括：

从所述两个或更多立体成像视点对中的每一对接收已改变的对象场景的视差范围的提示；

选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

4.前述权利要求2至3中任一项所述的方法，还包括：由至少一个所述成像视点捕获图像。

5.前述权利要求2至4中任一项所述的方法，还包括：存储由至少一个所述成像视点捕获的图像。

6.前述权利要求2至5中任一项所述的方法，还包括：存储由至少一个所述成像视点输出的图像或视频。

7.前述权利要求2至6中任一项所述的方法，还包括：接收由所选立体成像视点对的每个成像视点捕获的图像。

8.前述权利要求2至7中任一项所述的方法，还包括：生成从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。

9.前述权利要求2至8所述的方法，还包括：发送从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。

10.前述权利要求2至9中任一项所述的方法，还包括：接收从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。

11.前述权利要求2至10所述的方法，还包括：在所述立体显示器上显示从由所选立体成像视点对的每个成像视点捕获的图像中导出的立体内容。

12.前述权利要求中任一项所述的方法，其中来自所述两个或更多立体成像视点对中的每一对的对象场景的视差范围的所述提示包括来自所述两个或更多立体成像视点对中的每一对的对象场景的最大视差范围的提示。

13.前述权利要求12所述的方法，其中来自两个或更多立体成像视点对中的每一对的对象场景的最大视差范围的所述提示包括来自两个或更多立体成像视点对中的每一对的对象场景的最大成像视差值和最小成像视差值之间的差分度量的提示，其中：

所述最大成像视差值是：

代表所述对象场景中的最近对象的、由位于所述立体成像视点对的至少一个成像视点上的成像设备捕获的图像中的位置和

代表所述对象场景中的最近对象的、由位于所述立体成像视点对的另一成像视点上的成像设备捕获的图像中的位置之间的差分度量；

所述最小成像视差值是：

代表所述对象场景中的最远对象的、由位于所述立体成像视点对的至少一个成像视点上的成像设备捕获的图像中的位置和

代表所述对象场景中的最远对象的、由位于所述立体成像视点对的另一成像视点上的成像设备捕获的图像中的位置之间的差分度量。

14.前述权利要求中任一项所述的方法，其中所述立体显示器的视差约束的提示包括由定标因数定标的立体显示器的最大视差范围的提示，并且其中选择其视差范围满足所述立体显示器的视差约束的立体成像视点对包括选择其视差范围小于所述立体显示器的定标最大视差范围的立体成像视点对。

15.前述权利要求中任一项所述的方法，其中所述立体显示器的视差约束的提示包括所述立体显示器的最大视差范围的提示，并且其中选择其视差范围满足所述立体显示器的视差约束的立体成像视点对包括选择其视差范围小于所述立体显示器的最大视差范围的立体成像视点对。

16.一种装置，包括：

至少一个存储器，用于存储计算机程序指令；

至少一个处理器，配置用于执行所述计算机程序指令以引起所述装置至少实施：

从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示；

接收立体显示器的视差约束的提示；和

选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对。

17.一种装置，包括：

至少一个存储器，用于存储计算机程序指令；

至少一个处理器，配置用于执行所述计算机程序指令以引起所述装置至少实施权利要求2至15中任一项的方法。

18.一种便携手持设备，用户装备设备或服务器，包括前述权利要求16或17中任一项的装置。

19.一种计算机程序，当在计算机上运行时，其实施权利要求1至15中任一项的方法。

20.一种用指令编码的计算机可读存储介质，当被处理器执行时，其实施权利要求1至15中任一项的方法。

21.一种装置，包括：

用于从两个或更多立体成像视点对中的每一对接收对象场景的视差范围的提示的部件；

用于接收立体显示器的视差约束的提示的部件；和

用于选择其视差范围最大并且其视差范围满足所述立体显示器的视差约束的立体成像视点对的部件。

Images