CN103718540B - 用于生成全景图像的方法、用户终端和计算机可读记录介质 - Google Patents

Abstract

根据本发明的一个方面，一种用于生成全景图像的方法包括：（a）通过调整第一和第二输入图像的分辨率而生成第一和第二调整图像；（b）通过参考与表示相对于第一和第二调整图像的每者的强度或颜色变化的梯度向量垂直的切向量而生成表示边缘信息的第一和第二预处理图像；以及（c）通过参考第一和第二预处理图像之间的匹配结果而确定结合所述第一和第二输入图像的位置。

Description

用于生成全景图像的方法、用户终端和计算机可读记录介质

技术领域

本发明涉及用于生成全景图像的方法、终端和计算机可读记录介质。更具体而言，本发明涉及用于执行分辨率调整过程以及预处理过程的方法、用户终端和计算机可读记录介质，在分辨率调整过程中，采用金字塔结构逐步降低作为图像匹配的对象的图像的分辨率，在预处理过程中，采用垂直于表示强度或颜色的变化的梯度向量的切向量对图像中的边缘进行可视化表达，由此提高生成全景图像的准确度和操作速度。

背景技术

近来，随着数字照相机的普及和数字处理技术的发展，采用包括从随机点看到的完整视图的图像，即所谓的全景图像的各种服务也应运而生。

作为采用全景图像的服务的例子，曾经也推出过这样的服务，即，支持用户通过自动合成在包括具有相对较窄的视角的摄影设备的便携式终端的使用当中连续拍摄的多幅图像而获取全景图像。

一般而言，在通过将多幅连续图像的边界放到一起并对其合成而创建全景图像时，全景图像的质量可能取决于将相邻图像的边界放到一起的准确程度。根据生成全景图像的常规技术，通过照原样合成所拍摄的图像的初始版本或者通过合成仅去除了噪声的所拍摄的图像的初始版本而创建全景图像。

然而，根据常规技术，初始图像中包含的诸如建筑物的重要对象的轮廓以及诸如污垢的无意义对象的轮廓可能没有得到清晰地划分，这可能引起图像合成的准确度降低的问题。此外，由于初始图像包含很多要在匹配相邻图像的边界时考虑的特征，因而其可能会导致需要大量的操作才能生成全景图像。在采用运算能力相对较差的便携式用户终端的移动环境中，这些问题可能会变得更加严重。

因此，本发明的发明人想到了发明一种甚至能够在移动环境中有效地生成全景图像的技术，其方式是应用一种逐步调整图像分辨率的方法和一种对图像进行特征刻画从而通过仅强调图像的重要部分而简化图像的方法。

发明内容

技术任务

本发明的目的在于解决上文提及的所有问题。

本发明的另一目的在于降低作为图像匹配的对象的图像的分辨率，并采用图像金字塔技术减少图像匹配所需的操作，由此生成全景图像。

此外，本发明的再一目的在于通过执行预处理过程而强调图像的重要部分并简化图像，由此生成全景图像，在所述预处理过程中，采用与表示强度或颜色变化的梯度向量垂直的切向量可视化表达图像中的边缘。

任务解决方案的措施

下文将描述实现上述目的的本发明的代表性配置：

根据本发明的一个方面，提供了一种用于生成全景图像的方法，其包括，(a)分别对第一和第二输入图像的分辨率进行调整以由此生成第一和第二经调整图像的步骤，其中，通过参考关于输入图像与经调整图像的分辨率的预置关系数据来确定所述第一和第二经调整图像的分辨率；(b)通过分别参考与显示第一和第二经调整图像中强度或颜色的变化的梯度向量垂直的切向量，分别生成表示关于所述第一和第二经调整图像的边缘的信息的第一和第二经预处理图像的步骤，以及(c)执行第一和第二经预处理图像之间的图像匹配操作，之后通过参考图像匹配操作的结果而确定对第一和第二输入图像进行合成的位置的步骤。

根据本发明的另一方面，提供了一种用于生成全景图像的用户终端，其包括：分辨率调整部，其分别对第一和第二输入图像的分辨率进行调整，由此生成第一和第二经调整图像，其中，通过参考关于输入图像与经调整图像的分辨率的预置关系数据来确定所述第一和第二经调整图像的分辨率；预处理部，其通过分别参考与显示第一和第二经调整图像中强度或颜色的变化的梯度向量垂直的切向量，生成表示关于所述第一和第二经调整图像的边缘的信息的第一和第二预处理图像；以及匹配部，其执行第一和第二经预处理图像之间的图像匹配操作，之后通过参考图像匹配操作的结果而确定应当对第一和第二输入图像进行合成的位置。

此外，还提供了其他旨在实施本发明的方法、系统以及用于记录执行所述方法的计算机程序的计算机可读记录介质。

本发明的效果

根据本发明，由于可以降低图像的分辨率而减少图像匹配所需的操作，因而能够减少生成全景图像所需的时间。

此外，根据本发明，由于可以通过采用借助与表示强度或颜色变化的梯度向量垂直的切向量表现作为图像匹配的对象的图像中的边缘的图像表征和简化图像，因而效果在于保证了合成全景图像的准确性并提高了其操作速度。

附图说明

图1是示意性地示出了根据本发明的一个示范性实施例的用户终端100的内部构造的图示。

图2是可视化地示出了根据本发明的一个示范性实施例计算图像中的梯度向量的结果的图示。

图3是可视化地示出了根据本发明的一个示范性实施例计算图像中的切向量的结果的图示。

图4和图5分别是示意性地示出了根据本发明的一个示范性实施例的初始图像及其经预处理图像的图示。

图6是示意性地示出了根据本发明的一个示范性实施例通过合成两幅相邻输入图像而生成相应的全景图像的结果的图示。

<附图标记说明>

100:用户终端

110:分辨率调整部

120:预处理部

130:匹配部

140:合成及混合部

150:通信部

160:控制部

具体实施方式

附图是有助于详细解释本发明的例子。将以足够的细节描述这些例子，从而使本领域技术人员能够实践本发明。应当理解，尽管本发明的各个例子是不同的，但是未必是相互排斥的。

例如，在不背离本发明的精神和范围的情况下，可以在其他例子中实施在文中结合某一例子描述的特定特征、结构或特性。此外，应当理解，在不背离本发明的精神和范围的情况下，可以对所公开的每一例子中的各个元件的位置和布置做出修改。因此，不应从限定的意义上考虑下述详细说明，并且本发明的范围仅由所附权利要求限定，其中，要连同赋予所附权利要求权利的等价物的全部范围对权利要求加以适当的解释。在附图中，几幅图中的类似附图标记表示相同或类似的功能。

在下文中参考本发明的优选例子详细描述了本发明，从而使具有本发明所属技术领域的公知常识的技术人员可以容易地实践本发明。

[本发明的优选实施例]

在本说明书中，全景图像是指作为拍摄从某一点观看的完整视图的结果而获取到的图像，更具体而言，全景图像是一种能够提供实际上在拍摄点逼真地三维示出的各个方向的可视信息的图像，其示出方式是将构成所述图像的像素表示到虚拟天球内，根据球面坐标该天球的中心即为所述拍摄点。此外，尽管在本说明书中没有直接示出，但是所述全景图像可以是根据柱面坐标表现构成所述图像的像素的图像。

用户终端的构造

图1是示意性地示出了根据本发明的一个示范性实施例的用户终端100的内部构造的图示。

参考图1，根据本发明的一个示范性实施例的用户终端100可以包括分辨率调整部110、预处理部120、匹配部130、合成及混合部140、通信部150和控制部160。根据本发明的一个示范性实施例，所述辨率调整部110、预处理部120、匹配部130、合成及混合部140、通信部150和控制部160中的至少一些可以是与用户终端100通信的程序模块。可以将这样的程序模块按照操作系统、应用程序模块和其他程序模块的形式包含到用户终端100内，并且可以将其物理地存储到本领域技术人员公知的各种存储装置当中。或者，可以将这样的程序模块存储到能够与用户终端100通信的远程存储装置内。另一方面，这样的程序模块包括但不限于：例程、子例程、程序、对象、部件和数据结构，其用于执行将根据本发明描述的具体操作或某种类型的特定抽象数据。

首先，根据本发明的一个示范性实施例，分辨率调整部110可以通过调整作为生成全景图像的合成对象的输入图像的分辨率而执行生成具有经调整的分辨率的图像（下文称为“经调整图像”）的功能。这里，也可以通过参考有关经调整图像与输入图像的分辨率的预置关系数据来确定经调整图像的分辨率。

更具体而言，根据本发明解决方案的一个示范性实施例的调整部110可以通过采用金字塔结构逐步缩减图像的分辨率而确定经调整图像的分辨率，由此在相邻的经调整图像重叠的预置重叠区域内使相邻的经调整图像之间的匹配率满足预置水平。这里，所述预置重叠区域是指：在执行图像匹配从而将多幅图像放到一起以生成全景图像之前，在将相邻图像放置得足够接近从而使其按照统计学的或者经验上的预期发生重叠时，相邻图像重叠的区域。例如，所述重叠区域作为对应于包括图像的顶部、底部、左侧和右侧的边界的区域，可以被设置为占据图像的全部面积的10%的区域。在下文中将更加具体地研究根据本发明的一个示范性实施例的决定经调整图像的分辨率的过程。

例如，假定相邻输入图像A和B为1920×1080像素，预置匹配率为80%，通过采用金字塔结构使输入图像A和B的分辨率逐步降低1/4。在这样的实例中，根据本发明的一个示范性实施例，假定第一经调整图像A和B（由于降低1/4，因而其分辨率分别变为960×540像素）在预置重叠区域内的匹配率达到了84%，因为第一经调整图像A和B的匹配率满足预置匹配率（80%），所以有可能暂时将第一经调整图像A和B的分辨率分别确定为960×540像素，之后在下一步骤中使其分辨率再次分别降低1/4。在第二降低步骤中，如果由于再次以1/4降低而具有480×270像素的分辨率的第二经调整图像A和B在预置重叠区域内的匹配率为65%，那么其将不能满足预置的匹配率（80%）。因此，中止降低分辨率的过程，之后可以将经调整图像A和B的分辨率最终确定为960×540像素，该分辨率是第一经调整图像的分辨率。但是，本发明中获取关系数据的过程不只局限于上文提及的方法，其显然可以在实现本发明的目的的范围内发生变化。

接下来，根据本发明的一个示范性实施例，预处理部120可以执行生成已经执行了预处理的图像（下文称为“经预处理图像”）的功能，其表达通过所述分辨率调整部110调整了分辨率的输入图像的边缘（即轮廓）的信息，其中，所述边缘是通过参考垂直于梯度向量的切向量获取的，所述梯度向量表示经调整图像中的强度或颜色的变化。在下文中将更加详细地说明根据本发明的一个示范性实施例的预处理过程。

首先，根据本发明的一个示范性实施例的预处理部120可以计算表示强度或颜色变化的梯度向量，所述强度或颜色是相对于二维经调整图像中的相应像素的标量值。这里，可以按照具有最大的强度或颜色变化的方向确定所述梯度向量的方向，而所述梯度向量的幅度则可以被决定为沿具有最大的强度或颜色变化的方向的变化率。一般而言，由于在强度或颜色变化大的一些部分当中（例如在对象的轮廓当中）梯度向量的幅度大，且另一方面在强度或颜色变化小的其他部分当中梯度向量的幅度小，因而可以通过参考所述梯度向量而检测在经调整图像中包含的边缘。根据本发明的一个示范性实施例，可以采用苏贝尔算子（Sobel operator）计算在经调整图像中的梯度向量。但其不仅限于此，也可以应用用于计算梯度向量以检测在经调整图像中的边缘的其他算子。

图2是可视化地示出了根据本发明的一个示范性实施例计算图像中的梯度向量分量的结果的图示。

参考图2，通过蓝色线表示梯度向量的方向和幅度。可以发现，在强度或颜色变化大的部分当中，蓝色线的长度较长；而在强度或颜色变化小的部分当中，蓝色线的长度较短或者根本就没有出现。

这里，根据本发明的一个示范性实施例的预处理部120可以通过使针对二维经调整图像的相应像素计算出的梯度向量旋转（例如，逆时针旋转90度）而执行计算切向量的功能。由于计算出的切向量平行于基于强度或颜色的标量值绘制的虚拟轮廓线，因而可视化表达的切向量所表示的形状可以与沿经调整图像中包含的对象的轮廓等的边缘的形状相同。因此，可视化地示出了在经调整图像中的切向量的经预处理图像可以通过强调并仅呈现在经调整图像中包含的边缘而使其自身起到边缘图像的作用。

图3是可视化地示出了根据本发明的一个示范性实施例计算图像中的切向量的结果的图示。

参考图3，可以发现，通过蓝色线表示方向和幅度的切向量沿图像中强度或颜色变化大的部分（即，边缘）平行。

另一方面，作为可用来计算图像中的切向量的技术的例子，可以参考一篇由H.KANG和另外其他两人作为共同作者于2007年发表在“ACM Symposium on Non-Photorealistic Animation and Rendering”中的题为“Coherent Line Drawing”的文章（必须认为将该文章的全部内容并入到了本说明书内）。该文章描述了一种用于计算图像中的边缘切线流（edge tangent flow，ETF）的方法，其将作为自动示出对应于图像中包含的轮廓的线的方法的步骤。理所当然，适用于本发明的用于计算切向量的技术不只局限于上述文章中描述的方法，可以应用各种经修改的例子来实施本发明。

在图2和图3中，尽管对于强度或颜色变化大的部分所述线长，对于强度或颜色变化小的部分所述线短，但并不局限于此。如图4和图5所示，可以引入这样的经修改的例子，其中，随着切向量的幅度变大将像素表现得更亮，随着切向量的幅度变小将像素表现得更暗。

图4和图5分别是示意性地示出了根据本发明的一个示范性实施例的初始图像及其经预处理图像的图示。作为参考，图4(b)和图5(b)中的经预处理图像是在切向量的幅度大的情况下将像素表现得亮的图像。

参考图4和图5，与初始输入图像（图4(a)和5(a)）进行比较，可以确认经预处理图像（图4(b)和5(b)）通过强调包括对象的轮廓的重要部分并且用黑体省略不重要的部分而特征化且简化了初始输入图像。

如上文研究的，作为执行使初始输入图像的分辨率降低至合理水平的过程，继而执行预处理过程从而采用切向量可视化地表现经调整图像的边缘的结果而获取的经预处理图像用作下文将予以说明的用于匹配过程的图像，其能够提高图像匹配的准确度，同时提高图像匹配的操作速度。

接下来，根据本发明的一个示范性实施例，匹配部130可以通过采用预处理部120生成的经预处理图像执行图像匹配操作，并执行通过参考匹配的结果而确定对应于经预处理图像的初始输入图像之间的最佳重叠位置的功能。例如，根据本发明的一个示范性实施例的匹配部130可以首先在上述预置重叠区域处执行经预处理图像之间的图像匹配操作。

接下来，根据本发明的一个示范性实施例，合成及混合部140可以额外地通过参考匹配部130确定的合成位置而对相邻输入图像进行合成，并执行混合过程以使合成的输入图像中的连接部分看起来自然。

另一方面，作为可用于图像的匹配、合成和混合的技术的例子，可以参考由KarlPulli和其他四人作为共同作者于2010年在“International Conference on ConsumerElectronics”上发表的题为“Panoramic Imaging System for Camera Phones”的文章（可以认为已经将其全部内容并入了本说明书当中）。该文章描述了一种通过采用与RANSAC（随机样本一致性）结合的基于特征的匹配技术执行相邻图像之间的图像匹配的方法，和一种通过采用α混合技术柔和地处理相邻图像的连接部分的方法。当然，适用于本发明的合成和混合技术不只局限于上述文章中描述的方法，可以应用各种经修改的例子来实施本发明。

图6是示意性地示出了根据本发明的一个示范性实施例的通过合成两幅相邻输入图像而生成相应的全景图像的结果的图示。作为参考，图6所示的全景图像是作为所拍摄到的两幅输入图像的合成结果获取的，所述输入图像是从不同的角度来看的传统风格的建筑物的图像。图6(a)是表示不经过分辨率调整过程和之后的预处理过程而生成全景图像的结果的图示，图6(b)是示出了根据本发明的一个示范性实施例的经过分辨率调整过程和之后的预处理过程而生成全景图像的结果的图示。

参考图6，可以确认根据本发明的图6(b)中的全景图像的生成比图6(a)中的现有全景图像的生成更加准确、自然，尤其是可以确认在台阶部分和处于招牌右侧的柱子部分之间存在很大的差异。

根据本发明的一个示范性实施例的通信部150执行允许用户终端100与外部装置（未示出）通信的功能。

根据本发明的一个示范性实施例的控制部160执行控制在分辨率调整部110、预处理部120、匹配部130、合成及混合部140以及通信部150之间的数据流的功能。换言之，控制部160控制来自外部的或者用户终端100的部件之间的数据流动，由此迫使分辨率调整部110、预处理部120、匹配部130、合成及混合部140和通信部150执行其特有的功能。

可以按照可以通过各种计算机部件执行的并且记录在计算机可读记录介质上的程序命令的形式来实现根据本发明的上述例子。所述计算机可读介质可以单独包括或者以组合的形式包括程序命令、数据文件和数据结构。记录在计算机可读记录介质上的程序命令可以是针对本发明专门设计和配置的，也可以是可以由计算机软件领域的技术人员已知且使用的。

计算机可读记录介质的例子包括诸如硬盘、软盘和磁带的磁介质；诸如CD-ROM和DVD的光学介质；诸如软式光盘的磁光介质；以及被专门配置为存储并执行程序命令的诸如ROM、RAM和闪速存储器的硬件装置。程序命令不仅包括编译器生成的机器语言代码，还包括由解释器等能够采用的通过计算机执行的高级代码。可以将硬件装置配置为充当一个或多个软件模块，以执行根据本发明的操作，反之亦然。

尽管到目前为止已经参考某些细节，例如具体的部件以及有限的例子和附图描述了本发明，但是提供它们的目的只是为了促进对本发明的全面理解，本发明不受上述例子的限制。具有本发明所属领域的公知常识的人员可以在这样的描述的基础上尝试各种修改和变化。

因此，绝不应当将本发明的构思局限于所解释的例子，下文将要描述的权利要求以及包括与权利要求等同或等价的变型的一切都将属于本发明的构思的范畴之内。

Claims (12)

1.一种用于生成全景图像的方法，其包括步骤：

(a)对第一和第二相邻的输入图像的分辨率进行调整以生成第一和第二经调整图像，其中，通过根据金字塔结构重复地降低分辨率来进行调整，直到在预置重叠区域中在所述第一和第二相邻的输入图像之间的匹配率满足预置水平；

(b)生成第一和第二经预处理图像，所述第一和第二经预处理图像包括分别关于显示所述第一和第二经调整图像的强度或颜色中的变化的梯度向量分量旋转90度的的切向量分量；以及

(c)执行所述第一和第二经预处理图像之间的图像匹配操作，之后基于所述图像匹配操作的结果来确定对所述第一和第二相邻的输入图像进行合成的最佳重叠位置。

2.根据权利要求1所述的方法，还包括(d)通过在所述最佳重叠位置对所述第一和第二相邻的输入图像进行合成和混合，从而生成全景图像的步骤。

3.根据权利要求1所述的方法，其中，通过苏贝尔算子计算所述梯度向量分量。

4.根据权利要求1所述的方法，其中，通过采用与RANSAC(随机样本一致性)结合的基于特征的匹配技术执行在所述第一和第二经预处理图像之间的图像匹配操作。

5.根据权利要求2所述的方法，其中，通过采用α混合技术执行所述混合。

6.一种用于生成全景图像的用户设备，其包括：

分辨率调整部，其对第一和第二相邻的输入图像的分辨率进行调整以生成第一和第二经调整图像，其中，通过根据金字塔结构重复地降低分辨率来进行调整，直到在预置重叠区域中在所述第一和第二相邻的输入图像之间的匹配率满足预置水平；

预处理部，其生成第一和第二经预处理图像，所述第一和第二经预处理图像包括分别关于显示所述第一和第二经调整图像的强度或颜色中的变化的梯度向量分量旋转90度的切向量分量；以及

匹配部，其执行所述第一和第二经预处理图像之间的图像匹配操作，之后基于所述图像匹配操作的结果来确定对所述第一和第二相邻的输入图像进行合成的最佳重叠位置。

7.根据权利要求6所述的用户设备，其中，其还包括合成及混合部，所述合成及混合部通过在所述最佳重叠位置对所述第一和第二相邻的输入图像进行合成和混合，从而生成全景图像。

8.根据权利要求6所述的用户设备，其中，通过苏贝尔算子计算所述梯度向量分量。

9.根据权利要求6所述的用户设备，其中，所述匹配部通过采用与RANSAC(随机样本一致性)结合的基于特征的匹配技术来执行在所述第一和第二经预处理图像之间的图像匹配操作。

10.根据权利要求7所述的用户设备，其中，所述合成及混合部通过采用α混合技术执行所述混合过程。

11.一种用于生成全景图像的装置，其包括：

(a)用于对第一和第二相邻的输入图像的分辨率进行调整以生成第一和第二经调整图像的单元，其中，通过根据金字塔结构重复地降低分辨率来进行调整，直到在预置重叠区域中在所述第一和第二相邻的输入图像之间的匹配率满足预置水平；

(b)用于生成第一和第二经预处理图像的单元，所述第一和第二经预处理图像包括分别关于显示所述第一和第二经调整图像的强度或颜色中的变化的梯度向量分量旋转90度的切向量分量；以及

(c)用于执行所述第一和第二经预处理图像之间的图像匹配操作，之后基于所述图像匹配操作的结果来确定对所述第一和第二相邻的输入图像进行合成的最佳重叠位置的单元。

12.一种其上存储有计算机程序的一个或多个非瞬态计算机可读记录介质，当由一个或多个处理器执行时，所述计算机程序使得所述一个或多个处理器执行如权利要求1-5中的任意一项所述的方法。