CN110663245A - 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法 - Google Patents

Abstract

本发明涉及用于拼接图像或重新拼接先前拼接图像的设备及方法。具体来说，在一个实施方案中，所揭示系统在原始拼接过程期间保存拼接信息及/或原始重叠源数据。在拼接图像的后续检索、渲染及/或显示期间，可灵活地增强及/或重新拼接原始拼接图像以改进原始拼接质量。此外，所揭示解决方案的实际应用使得用户能够在具有有限处理能力的装置(例如移动电话或其它捕获装置)上从多个源图像创建及拼接宽视场FOV全景图。此外，后处理拼接允许所述用户从一个图像投射转换到另一个图像投射而没有保真度损失(或具有可接受损失水平)。

Description

用于存储成像数据的重叠区以产生优化拼接图像的设备及 方法

优先权

本申请主张2017年1月13日申请的具有相同标题的序列号为15/406,175的美国专利申请案的权益或优先权，所述申请案的全部内容以引用的方式并入本文中。

相关申请案

此申请案涉及2016年10月10日申请的标题为“用于球形图像的所产生投射的最优拼接区计算的设备及方法(Apparatus and Methods for the Optimal Stitch ZoneCalculation of a Generated Projection of a Spherical Image)”的序列号为15/289,851的美国专利申请案，所述申请案的全部内容以引用的方式并入本文中。此申请案还涉及2016年8月11日申请的标题为“球形图像捕获系统中的半球形图像的赤道拼接(EquatorialStitching of Hemispherical Images in a Spherical Image Capture System)”的序列号为15/234,869的美国专利申请案，其主张2015年8月12日申请的序列号为62/204,290的美国临时专利申请案的优先权的权益，前述文献中的每一者的全部内容以引用的方式并入本文中。

版权

此专利文献的揭示内容的一部分含有受版权保护的材料。版权所有者不反对任何人对专利文献或专利揭示内容进行传真复制，因为其出现在专利及商标局专利文件或记录中，但以其它方式保留所有版权。

技术领域

本发明大体上涉及视频图像处理，并且在一个示范性方面，涉及用于存储及/或随后提供成像数据的重叠区以产生优化拼接图像的方法及设备。

背景技术

通常通过从不同相机捕获具有重叠视场的多个图像并将这些图像组合(“拼接”)在一起以便提供二维投射来获得球形图像。由于拼接过程中的缺陷，常规拼接算法可能会产生不希望的伪像，包含在拼接线周围。

不同电子装置可具有不同移动性、计算能力、显示能力、功率限制及/或其它操作考虑因素。举例来说，例如移动电话或多相机捕获装置的消费型装置可便于在户外活动期间捕获源照片，及/或快速查看粗略拼接的图像，但是它可能缺乏执行高质量拼接的计算能力。类似地，虽然膝上型计算机或塔式计算机可能具有足够的计算能力来执行高质量拼接，但它们不适合户外活动。

不幸的是，现有图像捕获技术及渲染格式将拼接图像“固定”到特定质量。举例来说，当移动装置快速地从多个源图像拼接图像时，所得拼接图像不能在更有能力的机器上重新拼接；它被锁定为移动装置的质量(其可能相对较差)。

另外，由于(例如)考虑到存储，存储具有原始源图像的后拼接数据可能并不总是可行的。

此外，可观察到的质量是高度主观的，并且用户可能愿意接受具有有限增强的快速拼接版本以得到较高拼接质量。在一些情况下，这甚至可能限于同一图像的空间区或同一视频流的时间区。

此外，现有技术假设用于拼接图像(例如，用于所谓的虚拟现实(VR)内容)的特定投射(例如，等距矩形(圆柱形)、立方体、八面体及/或球形投射)。一旦已根据第一投射拼接图像，则图像不能改变为不同的投射。相反，如果需要不同的投射，那么必须根据新投射从头开始重新拼接源图像。

为此目的，需要技术来改进这些常规拼接算法。此外，需要进行改进以改进与拼接图像的传输及存储相关联的压缩效率，以便尤其更有效地利用渲染平台及/或查看应用程序的能力，不管原始源图像如何。

发明内容

本发明尤其通过提供用于拼接及/或重新拼接图像(包含以不同质量)的方法及设备来满足前述需求。

在一个方面，揭示一种经配置以根据第一拼接质量拼接源图像的设备。在一个实施例中，所述设备包含：两个或更多个相机，其特征在于两个或更多个对应视场(FOV)，其中所述两个或更多个对应FOV特征在于至少一个重叠区；处理器；及非暂时性计算机可读媒体。在一个示范性实施方案中，所述非暂时性计算机可读媒体包含一或多个指令，所述一或多个指令在由所述处理器执行时使所述设备：从所述两个或更多个相机获得两个或更多个图像；识别所获得两个或更多个图像的至少一个重叠区；对所述所获得两个或更多个图像进行后处理以创建经后处理图像；及存储所述经后处理图像及与所识别至少一个重叠区相关联的一或多个信息。

在一个变体中，基于所述两个或更多个相机及所述两个或更多个FOV的物理定向来识别所述所获得两个或更多个图像的所述所识别至少一个重叠区。

在另一变体中，基于在所述所获得两个或更多个图像内检测到的一或多个共享特征来识别所述所获得两个或更多个图像的所述所识别至少一个重叠区。

在第三变体中，所述后处理包含所述所获得两个或更多个图像的切割及羽化拼接。

在第四变体中，所述后处理包含所述所获得两个或更多个图像的基于深度的拼接。

在第五变体中，所存储一或多个信息包含拼接置信度度量。

在第六变体中，所述所存储一或多个信息包含与所述至少一个重叠区相关联的原始像素信息。

在第七变体中，所述两个或更多个图像捕获组件包含面向前方的第一相机及面向后方的第二相机。在一个示范性变体中，所述第一及第二相机的特征在于对应第一及第二超半球形FOV。

还揭示一种用于根据第一拼接质量拼接源图像的方法。在一个实施例中，所述方法包含：从两个或更多个相机获得两个或更多个源图像；识别所获得两个或更多个源图像的至少一个重叠区；对所述所获得两个或更多个源图像进行后处理以创建经后处理图像；以及存储所述经后处理图像及与所识别至少一个重叠区相关联的一或多个信息。

在一个变体中，所述方法包含显示所述经后处理图像的至少一部分。在一个示范性变体中，所述后处理进一步包含确定用于所述显示的投射。在一些此类情况下，所述方法可进一步包含基于所确定投射来拼接所述经后处理图像的至少一部分。

在另一变体中，所述后处理进一步包含确定要显示的视口。在一个示范性变体中，所述方法进一步包含基于所确定视口拼接所述经后处理图像的至少一部分。

在第三变体中，所述后处理进一步包含确定一或多个装置资源限制。在一个此类变体中，所述方法进一步包含基于所确定一或多个装置资源限制来将所述后处理图像的至少一部分拼接到减小的度或程度。

进一步揭示一种经配置以将特征在于第一拼接质量的图像重新拼接到第二拼接质量的设备。在一个示范性实施例中，所述设备包含：网络接口；处理器；包含一或多个指令的非暂时性计算机可读媒体，所述一或多个指令在由所述处理器执行时使所述设备：获得特征在于所述第一拼接质量的所述图像的至少一部分；确定要重新拼接到第二拼接质量的所述图像的所述至少所述部分的区；获得与所确定区相关联的一或多个信息；及以所述第二拼接质量重新拼接所述区。

在一个变体中，所述所确定区对应于两个或更多个源图像的至少一个重叠区。在一个此类示范性变体中，与所述所确定区相关联的所述所获得一或多个信息包含以下中的至少一者：(i)拼接置信度度量，及(ii)来自所述两个或更多个源图像的原始捕获信息。

在另一方面，揭示一种计算机可读存储设备。在一个实施例中，所述设备包含具有多个指令的存储媒体，所述多个指令经配置以当在处理设备上执行时：从两个或更多个相机获得两个或更多个源图像；识别所获得两个或更多个源图像的至少一个重叠区；对所述所获得两个或更多个源图像进行后处理以创建经后处理图像；以及存储所述经后处理图像及与所识别至少一个重叠区相关联的一或多个信息。

在另一方面，揭示一种集成电路设备。在一个实施例中，所述集成电路设备包含一或多个专用集成电路(ASIC)，其包含经配置以进行图像数据后处理的电路，例如根据上文参考的方法。

参考附图及下文给出的示范性实施方案的详细描述，所属领域的一般技术人员将立即认识到本发明的其它特征及优点。

附图说明

图1是根据本发明的原理的一个示范性球形相机系统的框图。

图2是根据本发明的原理的用于根据第一拼接质量拼接源图像的方法的逻辑流程图。

图3是说明本发明的原理的与图1的示范性相机系统一起使用的一个示范性文件格式的逻辑表示。

图4是说明本发明的原理的表示图3的示范性文件格式的拼接的一个示范性文件格式的逻辑表示。

图5是根据本发明的原理的用于根据第二拼接质量重新拼接先前拼接图像的方法的逻辑流程图。

图6是说明本发明的原理的可重新拼接到两个圆柱形投射的球形投射的示范性初始拼接的逻辑表示。

图7是根据本发明的原理的用于将已经在极性视图中拼接的图像转换为用于观看的更期望的投射的方法的逻辑表示。

图8是可用于执行本文描述的方法的计算装置的示范性实施方案的框图。

本文揭示的所有图式均为

版权2017GoPro公司所有。保留所有权利。

具体实施方式

现在将参考图式详细描述本技术的实施方案，图式被提供作为更广泛属的说明性实例及种类，以便于使得所属领域的技术人员能够实践所述技术。值得注意的是，下面的图式及实例并不意味着将本发明的范围限于任何单个实施方案或实施方案，而是通过与所描述或说明元素的一些或全部的交换、替换或组合来可能进行的其它实施。在任何方便的地方，贯穿图式将使用相同参考数字来指代相同或相似部分。

此外，虽然本文描述的实施方案主要在使用具有两(2)个相机(例如，前向相机及后向相机)的球形相机系统捕获的球形图像的上下文中进行论述，但很容易了解，本文描述的原理可同样应用于其它相机配置。举例来说，当获得全景(例如，360°)内容时，可组合(拼接)来自三个或更多个相机的三个或更多个图像。

另外，虽然主要在相机配置的上下文中论述，其中针对相应相机的视图的中心中的每一者驻留在给定二维平面上，但容易了解，这些相机中的一或多者可驻留成使得其视图中心相对于针对相机中的其它者的给定二维平面以一方位角(例如，在45°)聚焦。

相关领域的一般技术人员还将容易了解，对称及非对称相机配置用功能等效设备取代。举例来说，对称双相机系统(杰那斯(Janus)配置)可具有鱼眼透镜，其提供大于180°的视场(FOV)。在非对称实施方案中，相机可具有不同FOV角度；例如，较高分辨率的195°前向相机及较低分辨率的245°后向相机。此类实施方案可用于根据共同格式大小存储前图像及后图像，同时仍然为所关注的场内的对象提供较高分辨率(例如，前向相机的透视图)。

虽然本发明是在静态摄影的背景内容下呈现的，但相关领域的一般技术人员将容易了解，本文描述的各种原理可应用于广泛范围的成像应用，包含例如视频捕获、视频渲染、虚拟现实、增强现实(AR)。举例来说，可在旋转相机的同时从视频捕获产生全景图像(例如，将个别帧在时间上拼接在一起作为不同视场(FOV))。类似地，源图像可在视频回放期间动态地拼接在一起(例如，用于虚拟现实(VR)、增强现实(AR)应用、混合现实、增强虚拟及/或其它混合现实)。

鉴于本发明的内容，这些及其它变化对于一般技术人员将是显而易见的。

综述-

本发明的各种方面涉及用于拼接以及重新拼接先前拼接图像的经改进解决方案。具体来说，在原始拼接过程期间，除存储所得拼接图像之外，所揭示系统还保存拼接信息及/或原始重叠源数据。在拼接图像的后续检索、渲染及/或显示期间，可灵活地增强及/或重新拼接原始拼接图像以改进原始拼接质量。

所揭示解决方案的实际应用尤其使得用户能够在具有有限处理能力的装置(例如移动电话或其它捕获装置)上从多个源图像创建及拼接宽视场(FOV)全景。能够立即观看全景(在捕获时)的便利性可能比初始拼接的较低质量更重要。随后，一旦用户访问更有能力的渲染(例如，在家中或经由数据网络访问)，可以较高质量重新拼接快速拼接图像。

在某些情况下，重新拼接可能是有选择性的；举例来说，图像的各种部分可以较高质量重新拼接，而图像的其它部分可保持较低质量拼接。此类技术在不能立即渲染整个拼接图像的应用中特别有用；举例来说，虚拟现实(VR)及增强现实(AR)仅渲染观看者正在“看”的图像部分(即，视口)。这在资源受限装置中尤其有用，例如智能手机，其不需要在整个图像上执行重新拼接。更直接地，可基于装置限制(例如，处理或存储器资源)来限制拼接的度及/或程度。在相关实施例中，视频的各种帧可以较高质量重新拼接，而视频的其它部分可保留在原始较低质量拼接中。选择性可基于原始拼接的质量；换句话说，在原始拼接充足的情况下，重新拼接的改进可能不值得额外处理努力。

选择性也可基于应用；举例来说，在快速移动的视频序列中，用户不太可能察觉到图像质量的任何差异，然而在慢速移动的视频中，拼接伪像可能更加明显。选择性也可基于对象距相机系统的距离。由于较大的平行效应，更近的对象可能需要高质量的基于深度的拼接，但较远对象可能不需要高级拼接。

另外，鉴于本发明，相关领域的一般技术人员将容易了解，将拼接及重叠区保存在通用数据格式内使得多个设备能够智能地请求、提供及/或检索构造或重新构造针对适当应用的拼接图像所需的尽可能多的信息。为构造或重建适当应用的拼接图像所必需的。因此，第一装置可检索原始图像并根据第一投射(例如，等距矩形投射)重新拼接图像，而第二装置可检索原始图像并根据不同第二投射(立方体或球形投射)重新拼接图像。此外，如下文更详细论述，从一个投射到另一投射的转换可能并不总是需要重新拼接；可能足以翘曲或拉伸现有投射的部分，并且仅在两个投射不同的地方选择性地重新拼接。举例来说，通过拉伸/翘曲大部分图像，可将等距矩形投射转换为球形投射，而且工作量小得多；只需要重新拼接图像的极。

实例图像捕获系统-

图1说明实例球形相机系统100的实施例，其可包含捕获第一视场112的第一相机110及捕获第二视场122的第二相机120。在一或多个实施方案中，相机110、120可集成在背对背配置中，其中相机110、120面向相反方向。举例来说，在操作中，第一相机110可为“前向”相机110，使得用户可将第一相机指向所关注的对象或场景，并且第二相机120可为面向前向相机110的相反方向的“后向”相机。虽然前向及后向的指定在描述本文描述的实例过程中是有用的，但这些指定是任意的并且相机系统100可以任何定向操作。

视场112、122可各自包含超半球形视场，其在至少一个方向上捕获略大于180°范围。因为相应视场112、122是超半球形的(例如，大于180°)，所以它们在相应边界附近在重叠区132、134中重叠。举例来说，视场112、122可重叠n度(例如，其中n等于1°、5°、10°或在例如前向相机与后向相机之间重叠的视场的其它各种度)。这些重叠区132、134可用于拼接由相应相机110、120获得的单独捕获的图像，如下面将进一步详细描述。在针对第一相机110及第二相机120中的每一者的相应视场范围相等的实施方案中，这些配置在下文中将被称为对称透镜配置。

在一些实施方案中，第一相机110可经配置以在至少一个方向(例如，195°)上捕获一个范围，而第二相机120可经配置以在至少一个方向上捕获不同范围(例如，225°)。换句话说，第一及第二相机110、120可捕获其相应视场112、122中的不同范围，只要它们的视场在至少一个重叠区132、134中重叠即可。在第一相机110及第二相机120中的每一者的相应视场范围不同的实施方案中，这些配置在下文中将被称为非对称透镜配置。

应了解，某些相机配置含有三个(或更多)相机；针对这些相机的对应视场不一定必须是超半球形(即，大于180°)。举例来说，在利用三个相机的实施方案中，这些相机中的每一者可捕获具有在至少一个方向上大于120°范围的视场的图像，使得所得图像可被拼接在一起成为一个全360°视场。利用三个(或更多个)相机的实施方案可共同含有对称透镜配置，或者替代地可共同含有非对称透镜配置。类似地，在不需要完整全景图(例如，小于完整360°视场)的情况下，可使用具有减小视角的更少的相机并取得等效成功。

相机传感器中的像素数目及视场(FOV)通常在相机系统中“固定”并且在使用期间不会改变。一般来说，制造商将设计相机以适合预期应用。例如，移动且坚固的活动相机将具有与设计用于例如起重机安装架或其它庞大的稳定平台的电影质量相机不同的捕获参数。相关领域的一般技术人员将容易了解，可使用相同数目的像素来以较低分辨率捕获较大视场(FOV)，或以较高分辨率捕获较小FOV。例如，耦合到195°FOV透镜的十(10)百万像素(MP)相机传感器提供比用于245°FOV透镜的相同10MP相机传感器更高的分辨率。

如图1的配置中所展示，重叠区132、134是固定的并且在使用期间不会改变。相机制造商可设计具有较大或较小重叠区的相机机身；较大重叠区可用于更好质量的图像拼接，但由于每度FOV的像素量较低(即，每度FOV的像素数目较少)，可能会导致图像分辨率整体下降。相反，较小重叠区可用于较低质量的图像拼接，但是可能会导致捕获图像的图像分辨率的整体增加。

在其它设计中，由于相机机身及/或透镜的改变，重叠区可为可配置的。视频变体甚至能够在正在进行的捕获期间动态地改变重叠区。举例来说，视频相机可具有光学透镜元件，其可物理地改变(甚至在正在进行的捕捉期间)例如允许相机改变焦距的变焦体。类似地，静态相机通常设计有可更换的模块化组件；举例来说，不同的透镜附件可赋予不同的视角及/或焦距。甚至可构造一些相机以允许不同传感器或者可选择性地使用具有不同捕获特性的不同传感器(例如，在光学及IR传感器之间切换，或者在较高及较低捕获质量传感器之间切换)。

作为简要说明，相关领域的一般技术人员将容易了解，在给定本发明的情况下，可在一或两个FOV中冗余地捕获重叠区内的对象。再次参考图1，展示数个实例对象(142、144、146、148、150、152、154、156)以说明示范性相机系统的潜在限制及盲点。如所展示，对象142仅在第一视场112中显示，并且对象144仅在第二视场122中显示。对象146在第一视场112及第二视场122两者中都显示；而对象148在两个视场(通常在相机的几英寸内)的可忽略的“盲点”中。对象150部分位于重叠区132中；因此，对象132对于第一视场112是完全可见的，但在第二视场122中仅部分可见。另外，对象150创建临时盲点：对象152完全隐藏在两个视场中，对象154从第一视场112隐藏，并且对象156对于两个视场都是可见的。

当将来自两(2)个视场的源图像拼接在一起时，拼接算法应理想地协调两个(2)源图像之间的至少任何显著差异。举例来说，由于视差效应，图1的对象146及156将在两个(2)源图像之间出现略微不同。类似地，对象150将在第一源图像中完全可见，并且在第二源图像中仅部分可见。对象154仅在第二源图像中可见。对象152存在于两个源图像中，直到被对象150遮挡；因此，取决于特定成像应用，可选择性地呈现对象152(或其一部分)。举例来说，在对象150后面经过的对象152的视频可选择性地从第一视场渲染到第二视场，以更接近地模拟预期物理(例如，恒定的移动速度)。

如本文所使用，术语“视差”是指但不限于沿不同视线观看的对象的表观位置的位移或差异。可用视线之间的角度或半角度倾斜来数学地表达或描述视差。如本文所使用，术语“视角”是指沿视线观看的对象的表观尺寸的翘曲或差异。

如本文所使用，源图像的上下文内的术语“冗余”是指(但不限于)在多个源图像中找到的像素信息。冗余信息可通过视差效应引入，并且可协调在一起以产生拼接输出信息。相反，如本文所使用，源图像的上下文内的术语“奇异”是指(但不限于)仅在单个源图像中找到的像素信息。奇异信息可能由盲点或其它遮挡引起，并且不能在图像之间协调而不引入不期望的伪像(例如，半透明、翘曲或其它不期望的视觉效果)。

可在拼接过程中使用冗余捕获信息来改进拼接。举例来说，复杂的拼接技术可尝试使用视差信息来辨别距离及/或评估视场的深度。其它技术可智能地加权或选择(以排除其它)来自每一视场的奇异像素信息。然而，简单拼接技术可能无法区分冗余及奇异信息；例如，简单拼接可使用相对简单的切割及羽化方案，平均方案或其它单侧应用的过滤技术。

现有的现有技术拼接技术从多个源图像产生拼接图像；然而，重叠区内的信息也不被存储(并且丢失)。换句话说，对文件的后续修改不具有原始源信息的益处。举例来说，后处理视频编辑器不能从像素信息中辨认其是从冗余像素信息产生还是从奇异像素信息选择。本发明的揭示实施例保留重叠区内的像素的此信息，且因此能够灵活地对拼接图像进行后处理。

示范性捕获、拼接及重新拼接方法-

本文描述的过程可由视频处理系统执行，所述视频处理系统包含至少一个处理器及具有存储媒体的非暂时性计算机可读存储设备。存储媒体在其上存储数个计算机可执行指令，当由至少一个处理器执行时使至少一个处理器执行本文描述的过程。在实施例中，视频处理系统可部分或全部地在相机100中实施，或者可部分地或全部地在外部装置中实施(例如，在与获得结果图像的相机系统100分离的计算装置中)。本文描述的各种投射方法可用于例如此捕获视频数据的压缩、存储及/或传输。

另外，本文描述的过程及方法(或其部分)可由专用计算机化系统逻辑执行，包含(但不限于)专用集成电路(ASIC)、现场可编程门阵列(FPGA)及/或除上述计算机可读存储设备之外或作为其替代可利用的其它类型的集成电路或专用计算机化逻辑。

图2说明用于根据第一拼接质量拼接源图像的通用方法。

在方法200的步骤202，获得一或多个源图像。在一个实施例中，源图像是从多个相机获得，所述多个相机以彼此固定或其它已知关系定向。固定或已知关系的常见实例是例如杰那斯型相机机身、多透镜机身(例如，三(3)、四(4)、五(5)、六(6)或更多相机机身)。某些车辆、起重机或拍摄设备可能在相对于彼此的固定位置处具有多个相机或传感器安装架，某些军用飞机也是如此。虽然此类配置可能在一次拍摄与另一次拍摄之间变化很大，但在使用期间，相机不会相对于彼此改变。

在另一实施例中，源图像是从多个相机获得，所述相机根据基于例如相机或相机固定装置内的传感器识别的动态关系来定向。举例来说，相机可具有加速计、运动检测及/或位置确定系统(例如，全球定位系统(GPS))，其允许相机推断每一源图像的FOV的相对定位。举例来说，某些复杂的相机装备可具有稳定机构，使得相机能够移动到有限程度以便捕获更稳定图像。此稳定信息可直接捕获(经由加速计或其它运动传感器数据)，或者可从捕获图像推断(如下文更详细描述)。基于相机关于彼此的相对移动，重叠区的尺寸将改变(例如，FOV可一起漂移或相对于彼此分开)。

在其它实施例中，在没有任何位置信息的情况下获得源图像，并且从图像数据推断源图像的相对位置。举例来说，用户或后处理引擎可能能够识别在源图像之间共享的参考点及/或边缘。可为参考点提供照射圆点(例如经由激光指示器或其它指示装置)、反射带或其它可见标记。在一些实施例中，标记可为不可见的(例如，红外、声波或其它不可察觉的信令)。此类标记可在所关注受限的外围区中提供(并且可在不影响主体的情况下被编辑掉)。类似地，在给出本发明的内容的情况下，相关领域的一般技术人员可使用参考边缘、线及/或平面并取得等效成功。

在方法200的步骤204，识别一或多个源图像的重叠部分及非重叠部分。在一个示范性实施例中，源图像的重叠及非重叠部分是根据相机系统的固定物理参数确定的，例如基于透镜的已知视角及透镜之间的间隔，重叠区可被描述为每一图像的区，其对应于无限远距离处的另一图像的区(其中视差实际上为零(0))。举例来说，在图1的示范性杰那斯相机系统100中，重叠区对应于大于180°的视角；即，在无限远距离处，前向及后向相机将等同地分辨180°子午线上的对象。相关领域的一般技术人员将容易了解，此技术可外推用于几乎任何相机系统；举例来说，对称三(3)相机系统将具有120°扇区的重叠区，类似地，对称四(4)相机系统将具有90°象限的重叠区。

在一个示范性实施例中，相机系统可将源图像的某些部分标记为重叠或非重叠区；举例来说，图3说明与图1的示范性相机系统100一起使用的一个(1)示范性文件格式300。如所展示，示范性文件格式300包含后向源图像的两(2)个半部，其与前向源图像相邻。前向源图像是超半球形鱼眼透镜照片；图像具有对应于165°视场(FOV)的非重叠部分302，以及对应于165°到195°以上的视角的重叠部分304。后向源图像半部(右侧及左侧)具有对应非重叠180°FOV 312及对应于195°FOV的重叠部分314。所说明格式提供中央前向图像；其它文件格式可使用并排格式、上下格式或其它格式。

前向及后向图像是圆形的，因为其代表由相应相机110、120看到的整个视场(与由传统相机捕获的裁剪矩形视场相反)。在实施例中，可通过仅使用相应正方形或矩形图像传感器的圆形区来捕获圆形图像。替代地，可使用相应圆形图像传感器捕获圆形图像。圆形图像可各自表示超半球形视场(例如，在至少一个方向上比半球大n度(参见上文))。因此，在相应图像的边缘附近的相应视场中可能存在重叠。如下文更详细论述，重叠可用于对准两个图像内存在的特征以拼接这些图像。

在一些实施例中，相机系统可改变重叠区(可能在正在进行的视频捕获期间动态地)。举例来说，相机机身自身可用例如模块化透镜组件及/或物理可调整透镜距离来修改。在此类实施方案中，物理捕获信息可用一或多个源图像数据标记为例如元数据。此类元数据可包含捕获特性，包含(但不限于)视场、透镜位置、焦距、光学中心、相机歪斜、径向失真、切向失真以及可辅助确定重叠区的任何其它参数。

在其它实施例中，可用捕获后处理来识别图像的重叠及非重叠部分。重叠区出现在源图像没有明显的视差效应的地方。实际实施方案将存在不能归因于视差的捕获条件(例如，白平衡、照明、制造容差、透镜畸变效应)的差异；然而，可检测重叠区，其中可识别及去除/忽略基于非视差的差异。举例来说，可将正向及背向鱼眼源图像映射到直线图像，进行颜色平衡及比较。不超过阈值容差的区域对应于重叠区。此外，通过此比较，可容易地识别在重叠区内并且经历视差的对象；在随后的拼接工作期间，可标记经历视差的像素区域以进行额外处理。

在一些实施例中，可相对于图像尺寸识别源图像的重叠或非重叠区的识别。举例来说，可利用距离源图像的中心的第一径向距离来识别非重叠区，并且可将重叠区识别为第一径向距离与第二径向距离之间的区域。在其它实施例中，可识别非重叠区，并且重叠区涵盖其它所有内容(反之亦然)。其它变体可使用除中心点之外的点(例如，隅角、偏移中心或一些其它参考点)，或除径向之外的尺寸或坐标系(例如，笛卡尔坐标、极坐标)。

在一些实施方案中，可基于几何形状来界定源图像的重叠或非重叠区的识别。举例来说，可用圆圈识别非重叠区，并且可将重叠区识别为环。其它实施方案可使用矩形、正方形、椭圆形、蛋形或实际上任何其它多边形或基于圆形多边形的定义。

在更复杂实施例中，源图像可具有热编码位映射以识别重叠或非重叠区(例如，其中映射的每一位指示对应像素信息是在重叠区中还是在非重叠区中)；此类实施方案对于复杂定义(例如，具有不同视角及/或相对定位的多个相机，移动/平移视频或其它不规则定义区)可能特别有用。在一些情况下，可进一步压缩热编码位映射以减小大小。虽然描述上述热编码位映射，但相关领域的一般技术人员将认识到，实际上可使用任何数据结构并取得等效成功；常见实例包含(但不限于)散列表、阵列、多维阵列及字符串。

一旦已将源图像划分为重叠及非重叠部分，源图像就可用在许多后续拼接、渲染，显示、编辑或其它图像处理任务中。举例来说，重叠信息可用于辅助前图像与后图像之间的颜色平衡。更一般来说，在给定本发明的内容的情况下，相关领域的一般技术人员将容易了解，重叠区可用于辅助重新编码，重新投射图像显影及/或图像后处理。在一个示范性实施例中，在方法200的步骤206，基于重叠区信息，根据第一拼接质量将一或多个源图像拼接在一起。

拼接技术试图使源图像之间的视差、透镜失真、场景运动及曝光差异最小化。考虑在自然光照条件下进行全景捕获：相机与太阳之间的全景的部分将被阳光从后面照射，而太阳到相机背面的全景的部分将被从前面照射。大多数相机传感器无法捕捉全部曝光范围，并且会将自身限制在提供最优保真度的曝光范围内。因此，图像的后面照射部分将通常具有与前面照射部分不同的曝光。如果两个图像在没有混合的情况下拼接在一起，那么由于源图像的不同曝光，将存在可见接缝。鉴于本发明，一般技术人员将容易了解，可通过不同焦距、不同颜色平衡、不同捕获时间(尤其是存在运动的情况下)及/或在源图像之间的捕获参数中的任何其它差异来引入类似的“接缝”效果。

如本文所使用的，术语“拼接”是指将多个摄影图像与重叠视场组合以产生具有明显较大视场、较高质量及/或改进分辨率的拼接图像的过程。存在许多图像拼接技术，并且当源图像之间的重叠区具有类似捕获条件(例如，照明、视角、颜色平衡、焦点)时，大多数方法提供更无缝的结果。然而，一些拼接技术可能能够利用重叠区的先进图像处理技术，以补偿或甚至从此类差异中受益；举例来说，在低曝光下捕获的图像信息可与较高曝光下的图像信息组合，以模拟比相机传感器情况下可能存在的更大的动态曝光范围(通常也称为高动态范围(HDR)摄影)。通常，可使用总视场(FOV)的15％到30％的重叠区来协调及混合源图像之间的差异以创建美学上“无缝”图像。

用于将源图像快速拼接在一起的一种技术是所谓的“切割及羽化”拼接。切割及羽化拼接的第一步骤是剪切(裁剪掉)源图像的超出拼接的部分。举例来说，使用图1的杰那斯配置，拼接位于180°子午线处。在一些变体中，可裁剪图像以支持源图像中的一者。举例来说，第一个源图像可通过190°视图获得更好的图像质量，因此对应物第二个源图像会以对应170°进行裁剪。此外，由于质量可在图像上变化，因此进一步了解，可优先对源图像的不同部分进行加权。举例来说，第一源图像可在重叠的某个子集中具有较好或较差图像质量(并且用较大或较小裁剪区域处理)，而图像的剩余部分在默认情况下被裁剪(例如，180°)。

所得裁剪图像被接合并“羽化”。此处，羽化通常是指(但不限于)：混合滤波、模糊、锐化、燃烧及/或任何数目的其它图像处理技术。更一般来说，羽化通过平均化跨越接缝的像素值的差异来减少或模糊接缝。羽化在效果上受到限制，因为其仅考虑源图像的像素信息，并且可能在所得图像中引入一些不期望的伪像(例如，重影、半透明等)。然而，羽化在计算上是简单的并且可用非常少的处理工作量来执行(且可不同程度地执行)。羽化适合在大多数移动平台上使用，及/或必须快速完成拼接的地方(例如，流视频)。

一般技术人员很好地理解切割操作及羽化操作；举例来说，在2004年9月27日公布的理查德·塞利斯基(Richard Szeliski)的“图像对准及拼接：教导(Image Alignmentand Stitching：A Tutorial)”初步草案中描述切割及羽化类型操作的额外细节，其全部内容通过引用的方式并入本文中。相关领域的一般技术人员可做出其它技术及/或变化，前述内容纯粹是说明性的。

在一些实施方案中，切割及羽化拼接还可提供关于拼接的置信度的一些信息。简单度量可包含(但不限于)：羽化之前的接缝处的像素信息的差异(例如，差异的总和，或差异的平方和或其它度量)、羽化的量(例如，像素值变化的总和)及/或平滑的其它定量测量。更复杂的度量可包含例如用户识别伪像、图像的整体测量(包含拼接外部的部分)及/或其它。

可使用与本发明一致的用于拼接图像的各种其它技术，前述内容纯粹是说明性的。此类技术的常见实例包含(但不限于)：切割及羽化拼接、基于深度的拼接及多频带拼接。

在一些实施例中，重叠区包含来自多个源图像的冗余信息。举例来说，在六(6)面立方系统相机中，立方体的隅角将捕获三(3)个不同的有利位置(例如，左、右及顶部视角)。其它相机系统可结合立体视觉(例如，提供立体视图的两个或更多个透镜)以用于例如3D视频及摄影。在另一实例中，可将平移视频捕获划分为个别帧，然后将其拼接在一起。视频捕获实施例可使用许多帧(在许多不同的视角)来执行拼接。另外，虽然在可见光的背景内容下呈现以下描述，但可使用其它形式的图像捕获并取得等效成功。常见实例包含(但不限于)红外线、声波、雷达、激光雷达及/或任何其它形式的捕获。在某些情况下，不同捕获技术可比视觉图像更容易地提供多种信息。举例来说，声纳/可见光混合系统可提供深度信息及可见光信息。

可收集各种不同拼接质量度量。拼接度量可基于源图像的原始质量，例如，模糊或曝光不足的图像在拼接期间提供相当少的信息。拼接度量还可量化拼接处的原始源图像之间的差异(例如，拼接处的视差量、较大视差导致较差结果)。在此类测量下，可在对像素值的调整量中量化拼接的差异；例如，颜色值的较大偏移可能指示较差拼接。在其它措施中，拼接的差异可通过改变的像素的绝对数目(而不是像素信息的测量)来量化。另外，对源图像的改变可不同地加权。举例来说，具有可疑图像质量(例如，由于曝光不足)的源图像可能对所得拼接具有欠重影响。

其它拼接度量可量化后拼接图像与其原始源图像之间的整体差异。似乎是多模式的具有翘曲或歪斜的拼接(具有多个最大值/最小值)不太可能归因于仅仅视角的差异，更可能是由于无意识“折叠”拼接(其中将源图像的错误匹配相异特征折叠在一起成为一个特征)。类似地，过度翘曲或歪斜也是不期望的，并且可能指示最初捕获的源图像的问题。一些拼接度量可尝试量化不期望伪像(例如，模糊、清晰度、异常着色)。更一般来说，相关领域的一般技术人员将容易了解，实际上可使用任何“置信度”度量来传达拼接结果的质量。

另外，应认识到某些度量是特定于特定应用的。举例来说，当对象行进穿过接缝时，由拼接图像构造的视频可能经历异常效果。个别拼接图像可逐帧良好地拼接；然而，当一起观察时，具有恒定速度的对象可能看起来“碰撞”通过接缝。在一些情况下，此运动可反映在所得视频的后续编码中(例如，在例如MPEG编码期间产生的运动向量)。类似地，在一些情况下，如果允许保持运动模糊而不是不自然地“锐化”，那么快速移动对象的视频可能在美学上更令人愉悦。此外，3D应用可能需要保持视差效果及/或焦距模糊，以便于允许“自然”深度感知。鉴于本发明的内容，对于相关领域的一般技术人员来说，其它应用特定的考虑将是显而易见的。

拼接质量可经局部化到拼接图像内的空间位置。举例来说，考虑从一个源图像遮挡但在另一源图像中出现的对象。拼接图像的剩余部分可很好地拼接；然而，对象自身将难以协调成最终的拼接图像(例如，对象是否存在)。因此，所得拼接图像可识别特定于对象位置的低置信度度量。以此方式，在后处理期间，用户可选择性地选择渲染模糊对象或编辑掉对象。在相关实例中，拼接质量可经局部化到图像的视频帧内的时间位置。举例来说，考虑以不同速度移动或频繁改变方向的对象。拼接帧可各自拼接良好；然而，当编码成视频格式时，运动可能是不规则的及/或跳跃的。导致异常运动编码的拼接可能意味着较低质量拼接。

另外，拼接技术经局部化到拼接图像内的空间位置。举例来说，移动装置可能能够在图像内的某些所关注部分上执行更复杂拼接技术(例如，基于深度的拼接)，但在不太重要的区域使用更简单的拼接技术(例如，切割及羽化拼接)。选择性拼接可用于在移动平台的约束内在合理处理时间内提供更好结果。举例来说，用户可能能够选择快速拼接图像的部分以“现场”检查；所得局部化高质量拼接将让用户知道其是否“得到镜头”。

在方法200的步骤208，保存所得拼接图像及源图像的至少重叠部分。在一些实施例中，保留所得拼接图像及整个原始源图像。在其它实施例中，仅保留原始源图像中的每一者的对应重叠区。在其它实施例中，仅保持重叠区的低置信度部分。

在一个此类变体中，还保留拼接元数据。元数据可包含信息，例如(但不限于)：相机系统及/或捕获参数(例如，曝光、透镜类型、相机定向，视场及/或其它此类信息)的信息，对拼接的像素的参考(例如，位映射，指针或其它数据结构)、拼接技术的标记、投射信息、有用拼接度量(例如，差异度量、置信度量、翘曲度量、歪斜度量)、用户标记的信息及/或任何其它后处理信息。

图4说明表示图3的示范性文件格式300的拼接的一(1)个示范性文件格式400。如所展示，示范性文件格式400包含后向非重叠区312的两(2)个半部，其与前向非重叠区302相邻。所得拼接区域402处于第一拼接质量。另外，所说明数据结构提供原始前向及后向重叠区数据(304、314)以及拼接元数据404。相关领域的一般技术人员将容易了解，图4中所展示的数据结构纯粹是说明性的，并不代表数据结构的实际比例；例如，用于切割及羽化操作的拼接数据相对于非重叠图像数据将是小的。

图4的数据结构由多个取代数据结构组成。各种取代数据结构可被压缩及/或格式化到不同程度。举例来说，相关领域的一般技术人员将了解，在相关领域中的图像压缩得到很好理解。因此，可根据任何数目的现有全景图像格式压缩后向非重叠区312，前向非重叠区302及所得拼接区域402。后向重叠区314及前向重叠区304也可被压缩；然而，不规则形状的重叠区可能不适合传统图像压缩(并且可根据更通用的数据压缩格式进行压缩)。

另外，在后向重叠区314及前向重叠区304的大部分之间可能存在高度相似性，其可用于极大地促进压缩。更直接地，具有大焦距的重叠区将不会经历视差。因此，数据结构的这些部分将非常相似(在考虑到曝光或其它温和差异的变化之后)并且可被大量压缩。拼接元数据可为压缩的或未压缩的，这取决于其内容(例如，可忽略不计压缩少量数据的益处)。

图5说明根据第二拼接质量用于重新拼接先前拼接图像的通用方法。

在步骤502，图像处理系统以第一拼接质量获得先前拼接图像的至少一部分。在一些实施例中，取得包含整个拼接图像的数据结构。举例来说，图像处理系统可接收存储在数据结构内的先前拼接图像(例如，如上描述的图4中描述的示范性数据结构)。在其它实施例中，仅接收拼接图像的一部分。例如，可仅渲染到拼接全景的视口(源数据结构可保持在例如服务器、其它基于云的存储装置中)；基于视口的渲染对于经由流视频馈送(例如，用于虚拟现实(VR)耳机)的有限带宽应用特别有用。

在一些变体中，图像处理系统确定是否应重新拼接先前拼接的图像。如先前所述，可能存在原始拼接图像可接受的情况；例如，在原始拼接具有高置信度度量的情况下，或者对于观看者来说拼接伪像可能不明显的情况(例如，快速移动的视频应用，不良的照明条件)。因此，图像处理系统可首先确定是否需要额外拼接。在一些情况下，图像处理系统接收关于是否应重新拼接图像的用户指令(例如，经由图形用户界面(GUI))。

在一些情况下，人类用户可识别必须重新拼接的图像区域。举例来说，用户可能能够识别要合并的特征及其重影(或虚假重影)；此信息可用于重新拼接过程以确定深度及/或视角。在其它情况下，人类用户可识别应被平滑、模糊、锐化或以其它方式后处理的视频的时间部分。在混合编辑系统中，图像处理系统可(基于拼接元数据)识别第一拼接过程具有特定困难或可能不正确的区域(例如，具有低置信度度量的区域或原始源捕获具有较差质量的区域)。然后，用户可提供额外信息。例如，初始拼接可能无法协调对象是否应已包含在图像中(例如，可能发生在例如图像处于一个相机的盲点而不是另一个的情况下)。图像处理软件可识别所得区域，并允许用户选择是否应包含所述对象。

在一些实施例中，图像处理系统可依赖于原始投射及/或仅仅重新拼接相同拼接线。在更复杂实施例中，图像处理系统可选择新的期望投射(步骤504)及/或新的重新拼接线(步骤506)。简单的说，上面描述的源图像的初始拼接是根据由相机系统的物理参数定义的特定投射来执行的；例如，图1的杰那斯相机配置使用创建球形投射的鱼眼透镜。从先前拼接图像的重新拼接的一个显著益处是相机系统的物理属性不再是限制。投射及重新拼接线确定以最高保真度及最一致视角再现的图像的区域，以及图像的哪些区域可被接受地失真。因此，可使用改变投射及/或调整拼接线的放置的能力来显著改进初始第一拼接的质量(在下文中更详细地描述一个此实例，参见例如示范性后处理投射及拼接)。

在一个示范性实施例中，可进行重新拼接以将第一投射翘曲成第二投射。通常使用的投射包含(但不限于)例如球形、等距矩形、直线形及/或立体投射；在给出本发明的内容的情况下，技术人员将容易了解，实际上图像的任何投射都可用等效成功代替。不同的投射可与各种不同的应用一起使用或者用于实现某些艺术或其它美学效果。更直接地，已经用例如动作相机捕获的连续镜头不必在类似动作相机的应用中使用。举例来说，球形图像可重新映射到2D海报爆炸及/或任何数目的其它潜在用途。

在一个示范性实施例中，可重新定义拼接线。举例来说，可从源图像中的每一者使用更多或更少的重叠区。在一些变体中，用户或拼接算法可在后处理期间偏移拼接线以使源图像中的一者优于另一者。这可允许锯齿状或不规则定义的拼接线；例如可对包含(或排除)隐藏在相机中的一者的盲点中的对象可能是有用的。类似地，先前拼接图像可能错误地匹配源图像的相异特征，并且通过将两个特征“折叠”在一起成为一个特征来模糊介入图像数据。通过显示原始重叠区并校正拼接线，可从“折入”区恢复介入数据。在此类情况下，可从源图像恢复环绕特定拼接线(或其部分)的重叠数据，并且用户或算法可通过重叠区重新绘制拼接线。

相关领域的一般技术人员可额外地认识到，步骤504及506可仅影响原始拼接图像的一部分；因此，一些实施方案可使拼接图像的剩余区域不受干扰。替代地，可重新拼接整个图像，以便例如与传统拼接加速器或算法一起操作。

在方法500的步骤508，后处理器检索对应于至少重新拼接区域的图像的重叠部分。在一些实施例中，后处理器可检索整个重叠区域，并且仅选择正被重新拼接的那些部分。在其它实施例中，后处理器可识别正被重新拼接的部分并且仅检索对应重叠区域。

在一些情况下，后处理器可能无法针对任何数目的其它考虑因素执行重新拼接，例如，现有处理器负担、功耗限制、流时间间隔限制，其它网络拥塞。举例来说，流VR头戴式耳机可允许在流应用中即时重新拼接数据；可在用户以悠闲的速率观看风景的地方重新拼接原始拼接图像；然而，当用户快速移动时，在流刷新速率内可能无法重新拼接(并且可能无论如何都不会被用户察觉)。因此，一些实施例可仅仅“传递”先前拼接图像，其中后处理器不能在其它考虑因素内完成重新拼接。

在方法500的步骤510，后处理器重新拼接图像，其中图像的重叠部分对应于至少重新拼接区域。在一个示范性实施例中，重新拼接基于比初始拼接较高质量的拼接技术。更复杂拼接技术分析源图像以智能地确定如何最好地将其组合。此类技术可包含例如用于辅助对准的特征检测，用于校正视角偏移的深度感知，用于减少重影伪像及模糊的运动预测，用于解决焦点差异的边缘检测，用于校正曝光及照明中的差异的颜色匹配，及/或任何数目个其它图像辨识技术。这些拼接技术可能在计算上复杂，并且通常更难以在移动平台上执行(可能不切实际)。

复杂拼接技术的一个此实例是所谓的基于深度的拼接，其使用对象/特征检测及/或立体视觉，以识别来自相机系统的变化距离或“深度”的对象。基于源图像的推断深度以及对应相机系统的相对距离及视场，可完全减少或去除视差的影响。通过相关文献可广泛地找到用于去除视差的现有解决方案；举例来说，由向量空间的同构(例如，两个等效视线)引起的投射空间(例如，两个等效对象)内的同构的研究被广泛地描述为“单应性”。

复杂拼接技术通常包含以下步骤中的一或多者：(i)确定第一源图像的哪些像素坐标对应于另一图像的像素坐标(对准)，(ii)协调两个源图像之间的冗余像素值的差异，(iii)应用混合滤波器，以及(iv)将所得拼接图像翘曲为投射。可使用各种其它技术，以下描述纯粹是说明性的。

基于特征的检测可基于边缘检测、表面检测、对象辨识、形状辨识及/或任何数目个其它视觉辨识技术。另外，相关领域的一般技术人员将容易了解，两个不同图像之间的任何特征匹配，无论多么类似，都将具有模糊特征或不能匹配的特征；因此，大多数特征检测算法只能基于例如差的和、平方和或其它此类度量来实现最优拟合。此类度量也可报告为置信度度量。

此外，如将进一步认识到的，存在许多方式来调整图像以校正例如视差及/或盲点。调整可包含(但不限于)：来自源图像的翘曲、模糊或锐化、选择及/或平均像素信息。举例来说，可通过翘曲或歪斜对应视场来执行改变视场的视角。此外，不同距离处的识别对象可歪斜到对应于其距离的不同程度。可使用模糊及/或锐化，以便一致地在特定焦距处渲染对象。举例来说，在一个源图像中模糊但在另一源图像中清晰的对象(由于不同焦距)可在聚合中模糊或锐化，以给出一致的焦距。类似地，如果直接组合冗余像素，那么在一个源图像中但不在另一源图像中的对象(例如，例如在仅相机中的一者具有盲点的情况下)将创建“重影”或半透明版本。在此类情况下，可通过从一个源图像或另一源图像选择像素来执行更准确渲染。在其它情况下，重影或半透明可能是期望伪像。举例来说，相比于用清晰的线(清晰的边缘创建停止动作效果)，运动中的对象在用轻微重影渲染时看起来更自然。

基于特征辨识的图像拼接操作是所属领域的一般技术人员很好理解的；举例来说，在2004年9月27日公布的理查德·塞利斯基的“图像对准及拼接：教导”初步草案中描述基于特征的拼接操作的额外细节，其全部内容先前通过引用的方式并入本文中。相关领域的一般技术人员可做出其它技术及/或变化，前述内容纯粹是说明性的。

可使用与本发明一致的用于重新拼接图像的各种其它技术，前述内容纯粹是说明性的。

示范性后处理投射及拼接

如先前所提及，后处理重新拼接允许后续图像处理系统改变投射及/或调整拼接线的放置以显著改进初始第一拼接的质量。图6说明具有子午线612的球形投射602的示范性初始拼接，子午线612可被重新拼接到具有赤道614或子午线612的圆柱形投射604A、604B。初始地，第一圆形半球及第二圆形半球分别被拉伸(单应性投射)到对应等距矩形半部及第二等距矩形半部。具体来说，圆形图像可各自被水平拉伸以填充正方形。作为此投射的结果，随着接近顶部及底部边缘，等距矩形图像可能变得越来越失真。举例来说，在等距矩形投射处理期间，像素的中心行可不经历任何拉伸，而原始圆形图像中的顶部及底部行(其可各自由相应单个像素表示)可被拉伸以填充分别为等距矩形投射的顶部及底部行。

现在参考圆柱形投射604A，每一等距矩形图像包含表示沿垂直轴的180°视场及沿半球形投射的水平轴的180°视场的图像。在一些实施例中，还可检索原始重叠信息(其不是拼接图像的部分)以辅助拉伸；例如，拉伸图像表示180°+2n，其中n表示原始图像的相应视场之间的重叠程度。举例来说，第一个等距矩形图像可包含0°-n到180°+n范围内的视场，且第二个等距矩形图像可包含沿每一半球形投射的水平轴180°-n到360°+n范围内的视场。简单的说，由于从球形图像到等角矩形图像的投射，主要引入在相应图像的顶部及底部引入的失真。尽管超广角透镜(例如，所谓的鱼眼透镜)在捕获图像中引入特性失真，但随后可从所产生的球形图像去除此特性失真，因为在使用质量可观的超广角透镜时，此特性失真通常是已知的(即，固定在合理的准确度内)。

在第一变体中，拉伸半部可在拉伸子午线612处重新拼接；例如，通过沿子午线612对准出现在n个重叠区中的一或多个特征，将左图像拼接到右图像。所得图像604(本文称为球形图像的“赤道面观(equatorial view)”)提供球形视场的等距矩形投射。球形图像的此定向可能是有用的，这是因为球形图像的许多现有观察及编辑应用假设在此定向中接收图像。在此步骤期间，所揭示实施例可额外地从源图像中检索原始重叠区；这使后处理器能够改进或去除原始拼接中存在的伪像。换句话说，后处理器不限于先前拼接的图像数据。

子午线拼接的一个优点是可使用针对矩形图像设计的常规拼接算法，而不需要专门拼接算法来直接在球形域中操作。更直接地，现有拼接算法经设计用于将多个直线图像拼接在一起，因此当图像是直线时提供最好结果。然而，上文描述的过程的潜在问题在于，拼接图像中的拼接线的顶部及底部对应于从球形到等距矩形转换过程经受最大失真的等距矩形图像的部分。这可能导致拼接算法中的各种误差，其可能导致拼接线的顶部及底部边缘附近的不期望伪像。更直接地，子午线拼接的上限及下限经历最坏情况的投射失真并且可能引入不期望的拼接伪像。

在第二变体中，球形半部可作为赤道拼接拉伸成等角矩形投射。更直接地，不是拉伸鱼眼捕获的外围(其中失真是最差的)，而是可拉伸鱼眼捕获的中心，借此尽可能地维持边缘(拼接发生的地方)处的保真度。换句话说，第一圆形图像及第二圆形图像可投射到第一矩形图像及第二矩形图像，其中圆形图像的外边缘映射到最终等距矩形投射的赤道且圆形图像的中心点已被拉伸。此投射还可被理解为从圆形图像中获取增加的同心环像素并将其布置成行(例如，形成三角形，其中中心点表示三角形的顶点，且最外面的环表示三角形的底边)；然后可拉伸此三角形以创建矩形。在此投射中，由于像素的拉伸导致的矩形图像中的失真在第一矩形图像的顶部边缘(对应于鱼眼图像的中心)附近增加。特定来说，沿顶部边缘，单个像素(表示中心点)可跨越整个顶部边缘拉伸，而底部边缘不经历拉伸。像素值的拉伸可以任何数目个方式处置，包含填充(重复相同像素值)，平均化(内插像素值作为源像素值的加权平均)或多项式拟合(用多项式拟合内插像素值)。所得矩形图像表示沿垂直轴从0°-n到90°的视场(对应于从原始半球形投射的外边缘到中心点的角度)，及沿水平轴从0°到360°(对应于围绕原始半球形投射周长的角度)。

然后可将第一矩形图像及第二矩形图像拼接在一起(例如，通过在赤道614处对准n个度数)。所得图像可称为球形图像的“极面观(polar view)”。拼接线在本文中称为“赤道拼接”，因为拼接边缘对应于由相机110、120捕获的两个半球之间的赤道614。如可看出，与上文描述的子午线拼接相比，仅使用单个拼接线(与两个拼接线相比)并且沿在矩形投射过程期间最小程度失真的图像边缘执行拼接。此外，后处理器还可从源图像检索原始重叠区，以进一步改进拼接质量。因此，极大地减少或消除由投射失真引起的拼接伪像。

不幸的是，即使极面观可极大地减少拼接误差，也不希望观看极性视图。因此，一旦已在极面观中拼接图像，那么将所得拼接图像转换回更期望的投射以供观看。举例来说，图7说明一个此类过程。如所展示，拼接图像702被分成左右同等大小的子图像704。左子图像706可顺时针旋转90°，右子图像708可逆时针旋转90°。旋转左子图像706及旋转右子图像708可被重新组合(例如，通过将旋转左子图像706的右边缘与旋转右子图像708的左边缘对准)来产生重新定向图像710。最后，可通过任何数目个众所周知的线性变换及/或图像翘曲技术将重新定向图像710变换为任何数目个其它投射(例如，等距矩形(圆柱形)、立方体、八面体及/或球形投射)视图。

虽然前述实例是在图1内描述的杰那斯二(2)相机配置的上下文内呈现的，但相关领域的一般技术人员将容易了解，其中描述的技术可广泛地应用于各种其它相机系统(例如，具有三(3)个或更多相机的相机系统)。在2016年10月10日申请的标题为“用于球形图像的所产生投射的最优拼接区计算的设备及方法(Apparatus and Methods for theOptimal Stitch Zone Calculation of a Generated Projection of a SphericalImage)”共同拥有及共同待决的第15/289,851号美国专利申请案内描述用于调整拼接线的放置以显著改进拼接质量的其它优化及技术，前述申请案的全部内容以引用的方式并入本文中。

示范性设备-

图8是说明能够从计算机可读媒体读取指令并在一或多个处理器(或控制器)中对所述指令进行执行的实例计算系统的组件的框图。图8中的计算系统可表示例如用于执行本文描述的拼接及/或重新拼接过程的视频处理装置的实施方案。

计算系统800可用于执行指令824(例如，程序代码或软件)，用于使计算系统800执行本文描述的方法(或过程)中的任何一或多者。在替代实施例中，计算系统800作为独立装置或连接到其它计算机系统的连接(例如，联网)装置操作。计算系统800可包含例如个人计算机(PC)、平板PC、笔记本计算机或能够执行指定要采取的动作的指令824(循序或其它)的其它装置。在另一实施例中，计算系统800可包含服务器。在联网部署中，计算系统800可在服务器-客户端网络环境中以服务器或客户端的资格操作，或者作为对等(或分布式)网络环境中的对等装置操作。此外，虽然仅说明单个计算机系统800，但多个计算系统800可用于联合执行指令824以执行本文论述的方法中的任何一或多者。

实例计算系统800包含一或多个处理单元(通常是处理器设备802)。处理器设备802可包含例如中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、控制器、状态机、一或多个专用集成电路(ASIC)、一或多个射频集成电路(RFIC)或前述的任何组合。计算系统800还包含主存储器804。计算系统800可包含存储单元816。处理器802、存储器804及存储单元816可经由总线808通信。

另外，计算系统800可包含静态存储器806、显示驱动器810(例如，用以驱动等离子体显示面板(PDP)、液晶显示器(LCD)或投影仪)。计算系统800还可包含输入/输出装置，例如，字母数字输入装置812(例如，基于触摸屏的键盘或例如键盘的外部输入装置)、维度(例如，2-D或3-D)控制装置814(例如，触摸屏或外部输入装置，例如鼠标、跟踪球、操纵杆、运动传感器或其它指示仪器)、信号捕获/产生装置818(例如，扬声器、相机及/或麦克风)及网络接口设备820，其也经配置以经由总线808通信。

对应于客户端装置的计算系统800的实施例可包含与对应于服务器的计算系统800的实施例不同的配置。举例来说，对应于服务器的实施例可包含较大存储单元816、较多存储器804及较快处理器802，但可缺少显示驱动器810、输入设备812及维度控制设备814。对应于动作相机的实施例可包含较小存储单元816、较少存储器804及功率有效(及较慢)处理器802，并且可包含多个相机捕获装置818。

存储单元816包含计算机可读媒体811，其上存储有体现本文描述的方法或功能中的任何一或多者的指令824(例如，计算机程序及/或软件)。指令824还可在由计算系统800、主存储器804及处理器802(也构成计算机可读媒体)执行期间完全或至少部分地驻留在主存储器804内或处理器802内(例如，在处理器的高速缓存存储器内)。可经由网络接口装置820通过网络传输或接收指令824。

虽然在实例实施例中将计算机可读媒体822展示为单个媒体，但术语“计算机可读媒体”应被视为包含能够存储指令824的单个媒体或多个媒体(例如，集中式或分布式数据库，或者相关联高速缓存及服务器)。术语“计算机可读媒体”还应被视为包含能够存储指令824以供计算系统800执行并且使计算系统800执行例如本文揭示的方法中的一或多者的任何媒体。

在可使用已知组件部分或完全实施这些实施方案的某些元件的情况下，仅描述对于理解本发明所必需的此类已知组件的那些部分，并且省略对此类已知组件的其它部分的详细描述以免模糊本发明。

在本说明书中，展示单个组件的实施方案不应被视为限制；而是，除非本文另有明确说明，否则本发明希望涵盖包含多个相同组件的其它实施方案，反之亦然。

此外，本发明涵盖本文中通过说明的方式提及的组件的当前及未来已知等效物。

如本文所使用，术语“计算装置”包含(但不限于)个人计算机(PC)及小型计算机，无论是桌上型计算机、膝上型计算机还是其它，大型计算机、工作站、服务器、个人数字助理(PDA)、手持式计算机、嵌入式计算机、可编程逻辑装置、个人通信器、平板计算机、便携式导航设备、配备J2ME的装置、蜂窝电话、智能电话、个人集成通信或娱乐装置，或者能够执行一组指令的字面上任何其它装置。

如本文使用，术语“计算机程序”或“软件”意味着包含执行功能的任何序列或人类或机器可认知步骤。此程序可以几乎任何编程语言或环境呈现，包含例如C/C++、C#、Fortran、COBOL、MATLAB^TM、PASCAL、Python、汇编语言、标记语言(例如，HTML、SGML、XML、VoXML)及类似者，以及例如公共对象请求代理体系结构(CORBA)、Java^TM(包含J2ME、JavaBeans)、二进制运行时环境(例如，BREW)及类似者的面向对象的环境。

如本文使用，术语“集成电路”意指通过将迹线元素图案化扩散到半导体材料的薄衬底的表面中而制造的电子电路。通过非限制性实例的方式，集成电路可包含现场可编程门阵列(例如，FPGA)、可编程逻辑装置(PLD)、可重新配置计算机织物(RCF)、片上系统(SoC)、专用集成电路(ASIC)及/或其它类型的集成电路。

如本文所使用的，术语“存储器”包含适于存储数字数据的任何类型的集成电路或其它存储设备，其包含但不限于ROM、PROM、EEPROM、DRAM、移动DRAM、SDRAM、DDR/2SDRAM、EDO/FPMS、RLDRAM、SRAM、“快闪”存储器(例如，NAND/NOR)、忆阻器存储器及PSRAM。

如本文所使用，术语“处理单元”通常意味着包含数字处理装置。通过非限制性实例的方式，数字处理装置可包含数字信号处理器(DSP)、精简指令集计算机(RISC)、通用(CISC)处理器、微处理器、门阵列(例如，现场可编程门阵列(FPGA))、PLD、可重新配置计算机织物(RCF)、阵列处理器、安全微处理器、专用集成电路(ASIC)及/或其它数字处理装置。此类数字处理器可包含在单个单一IC裸片上，或者跨越多个组件分布。

如本文所使用的，术语“相机”可用于指代(但不限于)经配置以捕获、记录及/或传送静止及/或视频图像的任何成像装置或传感器，其可能对电磁频谱的可见部分及/或电磁频谱的不可见部分(例如，红外线、紫外线)及/其它能量(例如，压力波)敏感。

将认识到，虽然根据方法的特定步骤序列描述技术的某些方面，但这些描述仅是本发明的更广泛方法的说明，并且可根据特定应用要求进行修改。在某些情况下，某些步骤可能变得不必要或任选。另外，可将某些步骤或功能性添加到所揭示实施方案，或者改变两个或更多个步骤的执行顺序。所有此类变化都被认为涵盖在本文揭示及主张的揭示内容中。

虽然以上详细描述已经展示、描述并指出应用于各种实施方案的本发明的新颖特征，但应理解，在不脱离本发明的情况下，可由所属领域的技术人员对所说明的装置或过程的形式及细节做出各种省略、替换及变化。先前描述是目前设想的实行本发明的原理的最好模式。此描述绝不意味着限制，而是应被视为技术的一般原理的说明。应参考权利要求书确定本发明的范围。

Claims (20)

1.一种用于根据第一拼接质量拼接源图像的方法，所述方法包括：

从两个或更多个相机获得两个或更多个源图像；

识别所述所获得两个或更多个源图像的至少一个重叠区；

对所述所获得两个或更多个源图像进行后处理以创建经后处理图像；以及

存储所述经后处理图像及与所述所识别至少一个重叠区相关联的信息。

2.根据权利要求1所述的方法，其进一步包括显示所述经后处理图像的至少一部分。

3.根据权利要求2所述的方法，其中所述后处理进一步包括确定要在所述显示中使用的投射。

4.根据权利要求3所述的方法，其进一步包括基于所述所确定投射来拼接所述经后处理图像的至少一部分。

5.根据权利要求2所述的方法，其中所述后处理进一步包括确定要显示的视口。

6.根据权利要求5所述的方法，其进一步包括基于所确定视口拼接所述经后处理图像的至少一部分。

7.根据权利要求2所述的方法，其中所述后处理进一步包括：(i)确定一或多个装置资源限制，以及(ii)至少部分地基于所述所确定一或多个限制来配置所述后处理的一或多个算法运算。

8.根据权利要求5所述的方法，其进一步包括至少部分地基于所述所确定一或多个装置资源限制来仅执行所述经后处理图像的至少一部分的部分拼接。

9.一种设备，其经配置以根据第一拼接质量拼接源图像，所述设备包括：

两个或更多个相机，其特征在于两个或更多个对应视场FOV，所述两个或更多个对应FOV特征在于至少一个重叠区；

处理器设备；及

非暂时性计算机可读媒体，其与所述处理器设备进行数据通信，并且包括一或多个指令，所述一或多个指令在由所述处理器设备执行时使经配置以拼接源图像的所述设备：

从所述两个或更多个相机获得两个或更多个图像；

识别所述所获得两个或更多个图像的至少一个重叠区；

对所述所获得两个或更多个图像进行后处理以创建经后处理图像；及

存储所述经后处理图像及与所述所识别至少一个重叠区相关联的一或多个信息。

10.根据权利要求9所述的设备，其中基于以下中的至少一者的物理定向来识别所述所获得两个或更多个图像的所述所识别至少一个重叠区：(i)所述两个或更多个相机，及/或(ii)所述两个或更多个FOV。

11.根据权利要求9所述的设备，其中基于在所述所获得两个或更多个图像内检测到的一或多个共享特征来识别所述所获得两个或更多个图像的所述所识别至少一个重叠区。

12.根据权利要求9所述的设备，其中所述后处理包括所述所获得两个或更多个图像的切割及羽化拼接。

13.根据权利要求9所述的设备，其中所述后处理包括所述所获得两个或更多个图像的基于深度的拼接。

14.根据权利要求9所述的设备，其中所述所存储一或多个信息包括表示拼接置信度度量的数据。

15.根据权利要求9所述的设备，其中所述所存储一或多个信息包括与所述至少一个重叠区相关联的原始像素信息。

16.根据权利要求9所述的设备，其中所述两个或更多个图像捕获组件包括面向前方的第一相机及面向后方的第二相机。

17.根据权利要求9所述的设备，其中所述两个或更多个相机的特征在于对应两个或更多个超半球形FOV。

18.一种经配置以将特征在于第一拼接质量的图像重新拼接到第二拼接质量的设备，所述设备包括：

网络接口；

处理器设备，其与所述网络接口进行数据通信；及

存储设备，其与所述处理器设备进行数据通信，并且包括具有一或多个指令的非暂时性计算机可读媒体，所述一或多个指令经配置以在由所述处理器设备执行时使经配置以重新拼接的所述设备：

获得特征在于所述第一拼接质量的所述图像的至少一部分；

确定要重新拼接到第二拼接质量的所述图像的所述至少所述部分的区；

获得与所确定区相关联的信息；及

至少部分地基于所获得信息来以所述第二拼接质量重新拼接所述区。

19.根据权利要求18所述的设备，其中所述所确定区对应于两个或更多个源图像的至少一个重叠区。

20.根据权利要求19所述的设备，其中与所述所确定区相关联的所述所获得一或多个信息包括以下中的至少一者：(i)拼接置信度度量数据，及(ii)来自所述两个或更多个源图像的原始捕获信息数据。

Images