CN108476313B - 用于创建立体图像序列的方法 - Google Patents

Abstract

提供了一种用于创建立体图像序列的方法。该方法可以包括捕获静态图像序列并形成多个图像对。每个图像对可以包括从静态图像序列中选择的第一图像和第二图像。对第一图像的选择可以以使得图像对以空间一致方式被形成的方式来完成。可以基于图像对来创建立体图像序列。创建立体图像序列可以例如涉及产生立体视频。

Description

用于创建立体图像序列的方法

技术领域

本公开总体上涉及用于创建立体图像序列的方法。

背景技术

通常可以通过使用以下各项来捕获立体图像或视频：

1)立体相机

2)两个独立但同步的相机

3)单个相机

立体相机具有用于捕获立体图像所需的左侧图像和右侧图像的固定透镜(例如，左透镜和右透镜)。鉴于透镜是固定的(每个透镜的位置和透镜之间的距离是不可调整的)，使用立体相机来捕获立体图像/视频在用户友好方面是有利的，因为用户不需要同步左侧图像和右侧图像(即，借助于固定透镜)。也就是说，用户不需出于同步左侧图像和右侧图像的目的而(例如，对透镜)做出调整。然而，值得注意的是，立体相机是高度专业化的设备，其对许多人而言可能是无法获取的(例如，考虑到设备成本或可用性)。

使用两个独立但同步的相机可能是立体相机的可行替代方案。但是，这是相当麻烦的，因为需要两个相机。而且，可能需要一定程度的用户干预来同步两个相机。

单个相机的使用可能是另一种替代方案，因为可以分别获得左侧图像和右侧图像(即，针对左侧图像的一个镜头和针对右侧图像的另一个镜头)。但是，这种使用的成功高度依赖于用户的技能。例如，用户需要以适当的方式移动相机以在拍摄完第一个镜头(例如，用于捕获左侧图像)之后拍摄第二个镜头(例如，用于捕获右侧图像)。在用户移动相机期间，由于不完美的移动，可能会发生垂直位移和/或旋转变化，从而导致同步问题。

因此希望提供解决上述问题的解决方案。

发明内容

根据本公开的一个方面，提供了一种用于创建立体图像序列的方法，该方法可以包括捕获静态图像序列并形成多个图像对。每个图像对可以包括从静态图像序列中选择的第一图像和第二图像。对第一图像的选择可以以使得图像对以空间一致方式被形成的方式来完成。可以基于图像对来创建立体图像序列。创建立体图像序列可以例如涉及产生立体视频。

每个图像对可以与立体基线相关联，该立体基线基于第一图像和第二图像之间的间隔。另外，立体基线是基于对图像对的第一图像和第二图像的选择可变的。

对图像对的第一图像和第二图像的选择基于以下各项中的至少一个：基于手动的选择和基于自动的选择。

基于手动的选择是通过在显示屏上呈现静态图像序列以供用户选择图像对的第一图像和第二图像的方式来进行的。基于自动的选择基于以下各项中的至少一项：与至少一个静态图像相关联的焦距变化、显著对象检测、以及与静态图像相关联的特性、或它们的任意组合。

在一个实施例中，立体图像序列可以以如下方式是交互式的：使得在立体图像序列正在被观看时，对图像对的第一图像的选择是基于用户交互可变的。

在另一实施例中，立体图像序列包括多个立体图像，该多个立体图像中的每一个基于图像对来形成，其中，在用户正在观看立体图像序列时，用户所观看的立体图像是基于用户运动可变的。

附图说明

在下文中参考以下附图来描述本公开的实施例，其中：

图1示出了根据本公开的实施例的使用静态图像序列来创建/生成立体图像序列的方法100；

图2示出了根据本公开的实施例的与图1的方法有关的静态图像序列，该静态图像序列通过在示例性方向上移动图像捕获设备来捕获；

图3示出了根据本公开的实施例的包括多个立体图像的立体图像序列，其中每个立体图像可以基于来自图2的静态图像序列的图像对来形成/生成；

图4示出了根据本公开实施例的通过用户在图2的示例性方向上扫描图像捕获设备而拍摄的场景的第一快照和第二快照；

图5示出了根据本公开实施例的可以使图2的静态图像序列的一部分不可用/不适于创建图像对的垂直移位问题；以及

图6示出了根据本公开的实施例的其中图像捕获设备可被配置为与观看设备通信的示例性应用。

具体实施方式

本公开涉及通过使用静态图像序列来创建/生成立体图像序列的方法100(如将参考图1进一步详细示出的)。例如，静态图像可以是以被规律隔开的时间间隔拍摄的场景的快照。快照可以使用诸如相机之类的图像捕获设备来拍摄。在这方面，通过使用图像捕获设备来拍摄的场景的快照可以类似于拍摄的场景的照片。

参考图1，方法100可以包括开始步骤102、捕获步骤104、停止步骤106、和处理步骤108。

方法100从开始步骤102开始，其中，用户将图像捕获设备放置在场景的一个点处。这被认为是用户开始拍摄场景的快照的起始点。作为一种选择，在起始点处，图像捕获设备可以被配置为按照用户的偏好而聚焦于感兴趣对象。

方法100继续到捕获步骤104，其中，用户可以将图像捕获设备从起始点移动到场景的另一点，以捕获场景的静态图像序列。图像捕获设备的移动可以是扫描型(sweepingtype)移动。

捕获静态图像序列可以在停止步骤106处结束，其中，用户已将图像捕获设备从起始点移动到上述另一点处。具体地，上述另一点可以被认为是用户停止移动图像捕获设备的停止点。

实际上，关于从开始步骤102到停止步骤106的方法100，用户可以握住相机，将相机从起始点扫描到停止点，以便捕获场景的静态图像序列。这可以被认为是类似于沿着扫描路径拍摄的照片序列。例如，用户可以将相机从场景的左侧开始扫描到场景的右侧。在这方面，场景的左侧(即，扫描的开始)可以被认为是场景的起始点并且右侧(即，扫描的结束)可以被认为是结束点。

可以在处理步骤108处处理捕获的静态图像序列以生成立体图像序列。立体图像序列可以包括多个立体图像，并且立体图像可以通过从捕获的静态图像序列中选择一对静态图像来生成。因此，立体图像可以通过图像对(即，一对静态图像)来生成，并且立体图像序列可以通过选择多个图像对(即，不止一对静态图像)来生成。稍后将参考图2进一步详细讨论对(一个或多个)图像对的选择。可以看出的是，处理可以发生在捕获静态图像序列期间和/或捕获到完整的静态图像序列之后。

作为一种选择，可以存储静态图像序列和/或立体图像序列。例如，可以用各种视频压缩工具(例如，h.264)、JPEG列表、和/或图像金字塔(即，用于存储多个分辨率)来将图像存储为视频。

图2示出了按照先前参考图1的方法100的讨论而捕获的静态图像序列200。箭头200a指示扫描的示例性方向(例如，从场景的左侧到右侧)。

静态图像序列200可以包括多个静态图像。具体地，多个静态图像可以包括起始图像、多个中间图像、和结束图像。例如，多个静态图像可以包括第一静态图像202、第二静态图像204、第三静态图像206、第四静态图像208、第五静态图像210、第六静态图像212、和第七静态图像214。

第一静态图像202可以对应于在起始点处拍摄的起始图像，中间图像可以包括在第一点和结束点之间的扫描期间拍摄的第二至第六静态图像204/206/208/210/212，并且第七静态图像214可以对应于在结束点处拍摄的结束图像。

先前提到，可以通过从捕获的静态图像序列中选择一对静态图像(即，图像对)来生成立体图像。因此，可以通过例如将来自前述第一至第七静态图像202/204/206/208/210/212/214的一个静态图像与来自前述第一至第七静态图像202/204/206/208/210/212/214的另一静态图像配对来形成图像对。

基于扫描的示例性方向(例如，从场景的左侧到右侧)，第一静态图像202可以被认为是左侧图像，并且第七静态图像214可以被认为是右侧图像。

此外，在图像对中，第二至第六静态图像204/206/208/210/212中的每一个可以被认为是左侧图像或右侧图像，这取决于每个与哪个静态图像配对。通常，对于中间图像(例如，第二至第六静态图像204/206/208/210/212)，更接近起始图像(即，第一静态图像202)的静态图像可以被认为是相对于更接近结束图像(即，第七静态图像214)的另一静态图像的左侧图像。相反，更接近结束图像的静态图像可以被认为是相对于更接近起始图像的另一静态图像的右侧图像。

例如，如果第二静态图像204与第三静态图像206配对，则第二静态图像204可以被认为是左侧图像，并且第三静态图像206可以被认为是右侧图像。然而，如果第三静态图像206与第四至第六静态图像208/210/212中的任何一个配对，则第三静态图像206可被认为是左侧图像，并且与第三静态图像206配对的第四至第六静态图像208/210/212可以被认为是右侧图像。另外，如果第六静态图像212与第七静态图像214配对，则第六静态图像212可以被认为是相对于第七静态图像214的左侧图像。

通常，生成/形成立体图像的图像对包括左侧图像和右侧图像。图像对可以与基于左侧图像和右侧图像的立体基线(stereo-base)相关联。左侧图像和右侧图像也可分别被称为“左眼图像”和“右眼图像”。与图像对相关联的立体基线将在稍后参考图4进一步详细讨论。

先前进一步提及，立体图像序列可以包括多个立体图像。优选地，生成/形成立体图像序列的图像对是空间一致(coherent spatially)的。具体来说，优选地，立体图像序列被形成为使得(用户所看到的)视觉流不会被不适当地破坏。更具体地，从图像对到下一图像对的视觉转变应该是平滑的，并且用户在观看立体图像序列时不应在图像对之间的转换期间在视觉上感觉到“震颤(jerking)”。在这方面，观看立体图像序列的用户可以例如类似于观看立体视频的用户，并且用户在观看立体视频时不应该在视觉上感觉到“震颤”。这将参考图3关于图2进一步详细讨论。

图3示出了包括多个立体图像的立体图像序列300，其中每个立体图像可以基于来自图2的静态图像序列200的图像对来形成/生成。

例如，立体图像序列300可以包括第一立体图像302、第二立体图像304、第三立体图像306、和第四立体图像308。第一至第四立体图像302至308可以分别被认为是立体图像序列300的第一至第四元素。因此，立体图像序列300可以具有以第一元素开始并以第四元素结束的序列。具体地，第一元素之后是第二元素，第二元素之后是第三元素，第三元素之后是第四元素(即，顺序地，第一立体图像302之后是第二立体图像304，之后是第三立体图像306，之后是第四立体图像308)。

第一立体图像302可以例如基于第一和第二静态图像202/204的图像对来形成。第二立体图像304可以例如基于第二和第三静态图像204/206的图像对来形成。第三立体图像306可以例如基于第四和第五静态图像208/210的图像对来形成。第四立体图像可以例如基于第六和第七静态图像212/214的图像对来形成。

因此，可以看出的是，每个图像对可以包括第一图像和第二图像。按照关于扫描的示例性方向(例如，如箭头200a所指示的从场景的左侧到右侧)的先前讨论，第一图像可以例如对应于左侧图像，并且第二图像可以例如对应于右侧图像。可以看出的是，如果扫描的方向改变(即，从场景的右侧到左侧而非从场景的左侧到右侧)，则与静态图像相关联的先前讨论的序列/方向可以相应地改变。例如，如果图像捕获设备被从场景的右侧扫描到左侧，则第一图像可以例如对应于右侧图像，并且第二图像可以例如对应于左侧图片。其他示例可以包括以对角方式扫描图像捕获设备。

先前提到，优选的是，生成/形成立体图像序列的图像对是空间一致的。

静态图像序列200中的每个静态图像(例如，第一至第七静态图像202/204/206/208/210/2/2/214)可以被认为是静态图像序列200中的一帧。此外，类似于关于与立体图像序列300的第一至第四元素有关的序列的先前讨论，静态图像序列200可以具有这样的序列：以第一静态图像202开始并且以第七静态图像214结束，第一静态图像202之后是第二静态图像204，之后是第三静态图像206，再之后是第四静态图像208，依此类推。

为了使图像对被认为是空间一致的，一般来说，元素的第一图像不应与后续元素的第一图像在顺序上相距太远。因此，将考虑与静态图像序列200有关的序列和与立体图像序列300有关的序列。

例如，在立体图像序列300中，第一元素之后是第二元素。因此，对于空间一致性，与第一元素相关联的第一图像和与第二元素相关联的第一图像应当是顺序的。

更具体地，在先前的示例中，其中第一立体图像302(即，第一元素)是基于第一和第二静态图像202/204的图像对来形成的，并且第二立体图像304(即，第二元素)是基于第二和第三静态图像204/206的图像对来形成的，但可以看出的是，关于静态图像序列200，与第一元素相关联的第一图像按顺序之后就是与第二个元素相关联的第一图像。

也就是说，考虑到静态图像序列200，与第一元素(即，第一立体图像302)相关联的第一图像(即，第一静态图像202)按顺序之后是与第二元素(即，第二立体图像304)相关联的第一图像(即，第二静态图像204)。这样，立体图像序列300的第一元素和第二元素可以被认为是空间一致的。显然，对每个图像对的第一图像的选择是以这样的方式来完成的，即，使得图像对可以以空间一致的方式来形成。

关于空间一致性，本公开考虑了可以允许某种程度的容忍。也就是说，为了使得两个元素被认为是空间一致的，一个元素的第一图像不需要紧接着(即，在静态图像序列200的情境中)后续(即，在立体图像序列300的情境中)元素的第一图像。例如，在元素和后续元素的第一图像之间可以存在一个或多个帧的容差。这可以由立体图像序列300的第一和第二元素以及第三和第四元素来例示。

具体地，关于其中第一立体图像302是基于第一和第二静态图像202/204的图像对来形成的，第二立体图像304是基于第二和第三静态图像204/206的图像对来形成的，第三立体图像306是基于第四和第五静态图像208/210的图像对来形成的，以及第四立体图像308是基于第六和第七静态图像212/214的图像对来形成的的先前示例，可以看出的是，考虑到静态图像序列200，第二立体图像304的第一图像紧接在第一立体图像302的第一图像之后(即，仅存在单帧间隙-即，第二静态图像204)。这与第三立体图像306的第一图像和第四立体图像308的第一图像之间的两帧间隙形成对比。更具体地，第三立体图像306的第一图像是第四静态图像208，第四立体图像308的第一图像是第六静态图像212，并且在两个第一图像之间存在两帧间隙(即，包括第六静态图像212、第五静态图像210)。即使具有两帧间隙，立体图像序列300的第三元素(即，第三立体图像306)和第四元素(即，第四立体图像308)仍然可以被认为是空间一致的。

总之，考虑立体图像序列300，第一元素(即，第一立体图像302)与第二元素(即，第二立体图像304)是空间一致的，第二元素又与第三元素(即，第三立体图像306)是空间一致的，并且第三元素又与第四元素(即，第四立体图像308)是空间一致的。

先前提到，图像对可以与立体基线相关联。现在将参考图4关于图2和图3进一步详细地讨论立体基线。

图4示出了如在图2中所提及的，用户通过以箭头200a指示的示例性方向扫描图像捕获设备而拍摄到的场景的第一快照、第二快照、第三快照和第四快照。第一和第二快照可以在扫描的一部分400a期间拍摄。第三和第四快照可以在扫描的另一部分400b期间拍摄。如所示，第一和第二快照可以配对以形成第一立体图像，而第三和第四快照可以配对以形成第二立体图像。

例如，所形成的第一立体图像可以例如对应于图3中所提及的第一立体图像302。因此，第一和第二快照可以例如分别对应于第一和第二静态图像202/204。

为了确定立体基线，需要考虑两个图像之间的(一个或多个)投影变换。在一个示例中，光流(optical flow)可以作为这种考虑的基础。其他示例可以包括使用陀螺仪/加速度计/指南针来确定这种(一个或多个)投影变换。现在将关于光流更详细地讨论立体基线的确定。

通常可以将光流定义为例如由图像捕获设备(即，如用户所移动的)和场景之间的相对运动引起的对象(例如，场景中的对象)的视运动(apparent motion)的模式。这样，假设图像捕获设备被用户从场景的一个点(即，起始点)扫描到场景的另一点(即，停止点)，则需要考虑图像捕获设备的运动方向和水平位移。

具体地，运动方向基于扫描的方向(例如，如箭头200a所示)。在场景中的对象的情境中，水平位移可以与由图像捕获设备和场景之间的相对运动引起的对象的视运动相关。例如，场景中的对象可以是图4所示的感兴趣对象402/403。

基于所考虑的光流，可以选择图像对的第一图像。例如，静态图像序列200可以显示在显示屏上以供用户观看，并且用户可以从静态图像序列200中选择静态图像作为图像对的第一图像。图像对的第一图像例如可以是左侧图像。在选择完图像对的第一图像之后，可以基于立体基线来识别第二图像以得到图像对。

立体基线通常可以基于对象距离。对象距离例如可以对应于图像捕获设备与场景中的对象之间的距离。一个典型的经验法则是1:30的比率。例如，如果场景中感兴趣对象与图像捕获设备相距大约90米，则与由第一和第二快照形成的图像对相关联的立体基线可以是3米(即，90除以30，这是基于1:30的比率)。在这方面，立体基线通常与对象距离成正比。

本公开考虑到，根据本公开的实施例，替代立体基线基于对象距离，立体基线可以基于水平位移。水平位移可以根据例如感兴趣对象402/403已经“移动”/“移位”(即，由于由图像捕获设备与场景之间的相对运动引起的对象的视运动)的像素数目来量化。具体地，将图4的第一快照和第二快照进行比较，可以看出的是，感兴趣对象402已经水平移位(即，沿着虚线404)，并且该水平移位可以根据像素数目来量化(例如，5个像素)。因此，将图4的第一快照和第二快照进行比较，可以看出的是，感兴趣对象402已经水平移位了例如5个像素，并且在这种情况下水平位移可以被认为是5个像素。

在这方面，本公开考虑了基于水平位移而非对象距离的立体基线。因此，对于本公开而言，可以看出的是，这是关于静态图像(例如，第一静态图像202)的哪个感兴趣的部分/区域(例如，感兴趣对象402)正在被选作/被用作上述水平位移的参考的问题。因此，可以看出的是，立体基线可以根据所选择/使用的静态图像的感兴趣的部分/区域而变化。

显然，可以基于期望的水平移位(其可以例如是用户定义的或者是默认设置)来识别第二图像，以得到图像对。

在这方面，可以看出的是，与图像对相关联的立体基线可以被认为是量化图像对的第一和第二图像之间的间隔的参数。具体地，出于说明/讨论的原因，可以设想的是，在图像捕获设备以基本上恒定的速度移动的情况下，可以根据隔开静态图像序列200中的第一图像和第二图像的帧的数目来量化立体基线。应该注意的是，在量化间隔时，隔开第一和第二图像的帧的数目也应考虑第二图像本身。

在一个示例中，基于关于感兴趣对象(例如，感兴趣对象402/403)的5个像素的期望水平位移并且其中第一图像对应于第二静态图像204，符合5个像素的期望水平位移的标准的第二图像可以对应于第五静态图像210。在这方面，立体基线可以对应于三帧间隔(即，包括第五静态图像210、在第二和第五静态图像204/210之间的第三和第四静态图像206/208)。

在另一示例中，基于关于感兴趣对象(例如，感兴趣对象402/403)的5个像素的期望水平位移并且其中第一图像对应于第二静态图像204，符合5个像素的期望水平位移的标准的第二图像可以对应于第四静态图像208。在这方面，立体基线可以对应于两帧间隔(即，包括第四静态图像208、在第二和第四静态图像204/208之间的第三静态图像206)。

可以设想，当图像捕获设备跨场景进行扫描时，感兴趣对象可以改变。

例如，参考图4，在扫描的一部分400a期间，可以识别感兴趣对象。具体地，可以关于第一静态图像202(即，第一立体图像302的第一图像)来识别一个感兴趣对象402，并且可以基于关于感兴趣对象402的5个像素的期望水平位移来识别第二静态图像204以得到图像对(即，第一立体图像302的第二图像)。然而，可以在扫描的另一部分400b期间识别另一感兴趣对象403。具体地，可以关于第三静态图像206来识别另一感兴趣对象403。当第三静态图像206被选择作为第一图像时，给定关于感兴趣对象403(在第三静态图像206中)的相同的5个像素的期望水平位移，满足5个像素的期望水平位移的标准的第二图像可以对应于第五静态图像210(例如，与第一静态图像202中的感兴趣对象402相比，这考虑到了第三静态图像206中的感兴趣对象403的大小)。在这方面，立体图像可以基于第三和第五静态图像206/210的图像对来形成。因此，可以看出的是，不同的部分400a/400b可以与不同的立体基线相关联。具体地，与一个部分400a相关联的立体基线可以由1帧(即，第二静态图像204)来量化，而与另一部分400b相关联的立体基线可以由2帧(即，第四和第五静态图像208/210)来量化。

还设想到，当图像捕获设备跨场景进行扫描时，给定相同的感兴趣对象(例如，关于第三静态图像206识别的感兴趣对象403)，满足上述期望水平位移的标准的第二图像可以改变。

例如，先前提到，根据感兴趣对象403的5个像素的期望水平位移，立体图像可以基于第三和第五静态图像206/210的图像对。然而，在稍后的扫描部分(例如，从第四至第七静态图像208/210/212/214)中，第五和第七静态图像210/214的图像对可以满足同一感兴趣对象403的相同的5个像素的水平位移的标准。这种现象可能是由于朝向扫描终点的扫描运动中的弯曲(这取决于用户如何移动他/她握住图像捕获设备的手)。

因此，可以看出的是，随着图像捕获设备跨场景中进行扫描，立体基线可以变化。可以进一步理解的是，基于对图像对的第一和第二图像的选择，立体基线是可变的。

基于上述讨论，可以进一步理解的是，立体基线可以基于(一个或多个)感兴趣对象(以及(一个或多个)感兴趣对象周围的区域)。感兴趣对象可以基于以下各项中的一个或多个来识别：

1)自动检测到的显著(salient)对象

2)图像捕获设备聚焦区域

3)用户定义区域(即，由操作图像捕获设备的用户手动定义/选择的区域)

4)视觉方法，该视觉方法对整个静态图像(或用户定义的子区域)进行操作以选择要跟踪的(一个或多个)优质特征。

除了基于(一个或多个)感兴趣对象的水平位移来确定立体基线，其他确定立体基线的方式也是可能的。例如：

1)可以基于焦距来确定立体基线

2)可以基于快照的特性来确定立体基线

关于焦距，本公开设想图像捕获设备可以将快照聚焦在场景的感兴趣对象上。因此，在扫描期间，可以看出的是，焦距可以变化(例如，由于图像捕获设备和感兴趣对象之间的相对运动)。在这方面，立体基线可以相应地变化。具体地，立体基线可以基于焦距的变化而变化。在这方面，立体基线可以被认为取决于与图像捕获设备的透镜(例如，相机透镜)相关联的焦距。更具体地，立体基线可以被认为是焦距的函数。

关于快照的特性，考虑到了与最大化观看舒适度相关的图像对质量。具体地，当以下条件中的一个或两个被满足时，图像对被认为是高质量的：

1)可忽略的或无垂直移位(如虚线404a所示，应注意的是，感兴趣对象402(在图像对的第一和第二图像之间)仅进行水平移位，并且只存在可忽略的垂直移位或不存在垂直移位)。

2)第一和第二图像之间的场景的可忽略变化–在理想情况下，快照中捕获的(一个或多个)对象不应移动(快照中对象的移动应该与前述视运动相区别，因为“(一个或多个)对象的移动”是指(一个或多个)对象实际上改变了在场景中的位置，而视运动如前所述是由图像捕获设备和场景之间的相对运动引起的，而(一个或多个)对象实际上并没有改变在场景中的位置)并且照明条件不变。

在图像对的第一图像被选择作为左侧图像的情况下，用户可以选择满足上述条件的右侧图像。例如，在立体基线被预定为例如5帧(基于前述的期望水平位移)的情况下，如果基于5帧的立体基线的第二图像不满足上述高质量图像对的条件，用户可以从静态图像序列200中选择另一静态图像。在更具体的示例中，如果基于5帧的立体基线的第二图像被(例如，用户)认为与第一图像相比具有太多的垂直移位，则立体基线可以减少到2帧(如果基于2帧的立体基线的第二图像被认为相对于第一图像具有可忽略的垂直移位)。对右侧图像的选择可以通过用户从显示屏幕上显示的静态图像序列200进行选择的方式来进行。可替代地，可以看出的是，代替用户选择满足上述条件的右侧图像，可以自动选择右侧图像(即，在图像对的第一图像被选择作为左侧图像的情况下)，这通过使用能够进行图像处理/比较的处理器(例如，对处理器的自动选择可以基于从投影变换/显著对象跟踪获得的信息)识别满足上述条件的右侧图像来实现。而且，垂直移位的问题将在后面参考图5进一步详细讨论。

基于快照的特性来确定立体基线允许用户控制和灵活性，因为如果将静态图像序列200的一部分被视为不可用/不适合于创建图像对(例如，由于实质上的垂直移位)，则该部分的立体基线可以被减少到零。

例如，在静态图像序列200中，第一和第二静态图像202/204被认为是适合用于生成图像对的(即，第一适合部分)，第二至第四静态图像204/206/208被认为是上述的不可用/不适合的部分，并且第五至第七静态图像210/212/214被认为是适合用于生成图像对的(即，第二适合部分)。图像对可以基于第一适合部分来形成，并且立体基线可以最初例如根据像素的数目来量化。在第一适合部分之后的部分(例如，第二至第四静态图像204/206/208)不适合用于创建图像对，用户可以通过选择两个相同的图像创建图像对(例如，用户可以选择第二静态图像204作为图像对的第一和第二图像两者)来将立体基线(从最初的与第一适合部分相关联的立体基线)降低至零。在不可用/不适合部分之后，可以基于第二适合部分来形成另一图像对，并且可以(从与不可用/不适合部分相关联的降低至零的立体基线)增加/扩大立体基线。在这方面，可以看出的是，可以根据静态图像序列200中的快照的特性来调整/改变立体基线。

因此，可以看出的是，一个或多个图像对的立体基线可以自动地(例如，自动显著对象检测和/或快照的特性)和/或手动地(例如，用户定义和/或快照的特性)变化。

此外，可以看出的是，在形成立体图像序列300的立体图像(例如，第一至第四立体图像302/304/306/308)时，可以动态地修改/改变立体基线。更具体地，可以看出的是，可以辅助对立体基线的实时动态修改(例如，通过自动显著对象检测、快照的特性、快照的焦距、和/或用户定义的方式)。

现在将在下文在先前示例的情境中参考图5讨论垂直移位的问题，其中不能用于/不适合用于创建图像对的部分包括第二至第四静态图像204/206/208。

如图5所示，在静态图像序列200中，当第二静态图像204与第四静态图像208进行比较时(如虚线502和504所指示的)，感兴趣对象402在位置上可能存在显著的垂直移位。当第二静态图像204与第四静态图像208进行比较时，感兴趣对象402可以被认为是被垂直移位的(即，如图5所示的Δy)。这样的垂直位移可以使第二和第四静态图像204/208不适合/不可用于创建图像对。

本公开设想这可能由于例如在执行扫描时用户对图像捕获设备的不良控制而发生。例如，用户可能一直以不稳定的方式握住图像捕获设备，从而在执行扫描时引起震颤。理想地，静态图像序列200应该以这样的方式被捕获：使得静态图像之间的垂直移位可忽略不计(即，理想地，扫描应仅引起由对象的视运动导致的水平位移，该视运动是由图像捕获设备和场景之间的相对运动导致的)。

现在参考示例性应用将前述内容放入情境中，并且下文参考图6来讨论前述内容。

图6示出了可以被配置为与观看设备604通信的图像捕获设备602。图像捕获设备602可以例如是具有相机的智能电话，该相机可由用户(未示出)用来执行对场景(未示出)的扫描(例如，如由箭头200a指示的前述示例性方向)，从而捕获场景的上述静态图像序列200。观看设备604例如可以是用户穿戴的头戴式显示器，用于观看基于静态图像序列200创建的前述立体图像序列300。

图像捕获设备602可以包括处理器(未示出)、感测设备(未示出)、显示模块602a、和用户输入模块602b。具体地，图像捕获设备602可以具有被成形和被制成可承载处理器、感测设备、显示模块602a、和用户输入模块602b的大小的外壳。处理器和感测设备可以例如被承载在外壳内。此外，外壳可以承载显示模块602a和用户输入模块602b，使得两者都暴露在视野中并且可以触及。

显示模块602a可以例如是基于触摸屏的显示器。静态图像序列200可以被显示在显示模块602a上以供用户观看，并且用户可以通过与显示模块602a显示期望的静态图像(例如，第一静态图像202)的那部分接触来选择静态图像中的一个(例如，第一静态图像202)作为图像对的第一图像。在这方面，可以从显示模块602a传送指示所选择的(图像对的)第一图像的图像选择数据。

用户输入模块602b可以是基于硬件的部分，例如，允许用户定义上述期望水平位移的滑块。相应地，用户也可以使用用户输入模块602b来(例如通过滑动滑块)随时改变水平位移。在这方面，可以从用户输入模块602b传送指示期望水平位移的水平位移数据。

感测设备可以被配置为感测/检测扫描方向。例如，感测设备可以是陀螺仪-加速度计-指南针，并且可以基于由感测设备感测到的扫描方向来确定光流。在这方面，可以从传感设备传送指示光流的传感数据。

处理器例如可以是被配置为以以下方式接收和处理图像选择数据和/或立体基线数据、和感测数据的微处理器：使得将静态图像序列200中的静态图像适当地配对以创建立体图像序列300。由处理器进行的处理可以包括视频稳定。由处理器进行的处理还可以包括通过执行图像变形减少垂直移位来在几何上将一个或多个图像对的第一和第二图像对齐。由处理器进行的处理还可以包括平滑图像变形的量以防止在图像对之间的转换期间发生(一个或多个)突变(即，视觉上可感知的“震颤”)。通过在处理器中实现低通滤波器和/或卡尔曼滤波器(例如，数字信号处理)，可以平滑图像变形的量。由处理器进行的处理还可以包括将图像对格式化为适合的几何图形以供显示(即，由观看设备604显示)。

关于视频稳定性，本公开在执行旋转和垂直平移校正两者的情境下更多地考虑视频稳定性，并且在执行水平平移校正的情境下更少地考虑视频稳定性。

图像捕获设备还可以被配置为将立体图像序列300传送给观看设备604，观看设备604可以例如由用户穿戴以用于观看立体图像序列300。

优选地，立体图像序列300在以下意义上可以是交互式的：

1)在观看立体图像序列300时，可以基于用户交互来选择(即，图像对的)第一图像；和/或

2)用户所观看的立体图像(例如，第一至第四立体图像302/304/306/308中的任何一个)根据用户运动而改变。

在一个示例中，关于基于用户交互来选择第一图像，当穿戴观看设备604的用户转动他/她的头部时，所选择的第一图像可以基于用户头部的转动运动。具体地，在图像对的第一图像最初是第三静态图像206的情况下，如果用户向左转动他/她的头部，则图像对的第一图像可以被改变为例如第二静态图像204。因此，当用户向左转动他/她的头部时，基于第二静态图像204的图像对可以被创建。相反，如果用户向右转动他/她的头部，则图像对的第一图像可以被改变为例如第五静态图像210，并且相应地，基于作为第一图像的第五静态图像210的图像对可以被创建。可以看出的是，观看设备604可以可选地包括用于感测用户运动的感测设备(类似于图像捕获设备602的感测设备)。此外，指示用户运动的反馈信号可以从观看设备604传送到图像捕获设备602，以改变对图像对的第一图像的选择。在这方面，可以看出的是，可以通过检测用户运动(即，非接触的用户交互)来以非接触方式(即，与用户与显示模块602a进行接触来做出选择相反)创建图像对，从而创建立体图像序列300。

在另一示例中，关于根据用户运动来改变用户所观看的立体图像，穿戴着观看设备604的用户可能最初正在观看第二立体图像304。当用户向左转动他/她的头部时，用户可以观看第一立体图像302而非最初的第二立体图像304。相反，当用户向右转动他/她的头部时，用户可以观看第四立体图像308而非最初的第二立体图像304。

以上所讨论的示例性应用可用于：

1)对象视图式扫描，其中用户围绕感兴趣对象扫描图像捕获设备(即，仅捕获对象本身的静态图像序列200)。

2)自拍式扫描，其中用户可以持有图像捕获设备以手臂长度指向用户自己并且以弧形扫描图像捕获设备(即仅捕获用户他/她本身的静态图像序列200)。

3)全景式扫描。

以前述方式，描述了用于解决上述缺点中的至少一个的本公开的各种实施例。这样的实施例旨在被以下权利要求涵盖，并且不限于所描述的部分的具体形式或布置，并且鉴于本公开，对于本领域技术人员显而易见的是，可以进行许多改变和/或修改，这也旨在被以下权利要求涵盖。

例如，前述示例性应用设想了承载处理器的图像捕获设备602。可以看出的是，这样的处理器可以由观看设备承载(例如，图像捕获设备602可以将静态图像序列200传送到观看设备604以供观看设备604所承载的处理器进行处理)。同样可以看出的是，图像捕获设备602和观看设备604可以各自承载处理器(即，一部分处理可以由图像捕获设备所承载的处理器来处理，并且另一部分处理可以由观看设备604所承载的处理器来处理)。

在另一示例中，在扫描期间，还可以在观看立体图像序列300期间捕获和回放音频(即，来自场景的可听声音)以增强观看体验。

在又一示例中，可以显示用户界面(UI)(例如，经由图像捕获设备602的显示模块602a)以向用户指示扫描或扫描的一部分是否可以用于创建图像对。例如，UI可以指示在扫描期间用户握住图像捕获设备的手是否不稳定。

在又一示例中，尽管提到了关于停止步骤106，停止点被认为是用户已停止移动图像捕获设备的地方，但可以看出的是，停止点可以以自动的方式发生在用户已停止移动图像捕获设备之前的任意时间点(例如，通过在图像捕获设备中设置定时器以停止捕获，而不管用户是否已停止移动图像捕获设备)。

Claims (15)

1.一种用于创建立体图像序列的方法，所述方法包括：

利用图像捕获设备捕获场景的静态图像序列，其中所述图像捕获设备以扫描运动方式在所述场景中移动，以使得每个捕获的静态图像对应于所述场景的不同部分；以及

形成多个图像对，每个图像对包括从所述静态图像序列中选择的第一图像和第二图像，对所述第一图像的选择以如下方式来完成：使得所述图像对以空间一致的方式被形成，

其中，每个图像对与立体基线相关联，该立体基线基于所述第一图像和所述第二图像之间的帧间隔，所述立体基线是动态可变的，并且

其中，所述立体图像序列是基于所述图像对来创建的。

2.根据权利要求1所述的方法，其中，基于对每个图像对的所述第一图像和所述第二图像的选择，所述立体基线是可变的。

3.根据权利要求2所述的方法，其中，对每个图像对的所述第一图像和所述第二图像的选择基于以下各项中的至少一项：基于手动的选择和基于自动的选择。

4.根据权利要求3所述的方法，其中，所述基于手动的选择是通过在显示屏上呈现所述静态图像序列以供用户选择图像对的所述第一图像和所述第二图像的方式来进行的。

5.根据权利要求3所述的方法，其中，所述基于自动的选择基于以下各项中的至少一项：显著对象检测、以及与静态图像相关联的特性，其中所述与静态图像相关联的特性包括与至少一个静态图像相关联的焦距变化。

6.根据权利要求1所述的方法，其中，所述立体图像序列以如下方式交互：使得在所述立体图像序列正在被观看时，对所述图像对的所述第一图像的选择是基于用户交互可变的。

7.根据权利要求1所述的方法，

其中，所述立体图像序列包括多个立体图像，所述多个立体图像中的每一个是基于图像对形成的，并且

其中，在用户正在观看所述立体图像序列时，用户所观看的所述立体图像是基于用户运动可变的。

8.根据权利要求1所述的方法，其中，创建所述立体图像序列涉及产生立体视频。

9.根据权利要求1所述的方法，其中，立体基线在创建所述立体图像序列时是实时可变的。

10.根据权利要求1的方法，

其中，感兴趣对象对于所述第一图像和所述第二图像是共同的，

其中，立体基线基于所述感兴趣对象在所述第一图像和所述第二图像之间的水平位移确定 。

11.根据权利要求10所述的方法，其中，所述水平位移是以像素测量的。

12.根据权利要求10所述的方法，其中，所述感兴趣对象在所述立体图像序列中的图像对之间是变化的。

13.根据权利要求1所述的方法，其中，所述立体基线是按照隔开所述静态图像序列中的所述第一图像和所述第二图像的帧被设置的。

14.根据权利要求1所述的方法，其中，所述立体基线在图像对之间不同。

15.根据权利要求1所述的方法，其中，对所述第二图像的选择基于改变所述立体基线。

Images