CN111131689A - 全景图像修复方法和系统 - Google Patents

Abstract

本公开提供了一种全景图像修复方法和系统。所述方法包括响应于图像采集设备处于待修复区域内，采集素材图像并根据素材图像生成全景图像；待修复区域是由围绕所述图像采集设备的多个标志限定的，每一标志具有唯一的标识符；将全景图像转换为包括底面图像的立面体图像；响应于图像采集设备处于待修复区域外，图像采集设备拍摄包括多个标志和待修复区域的第一图像，并拍摄仅包括待修复区域的第二图像；基于标志确定从底面图像到第一图像的变换矩阵；用变换矩阵对第二图像进行投影变换；用经投影变换的第二图像修复底面图像。

Description

全景图像修复方法和系统

技术领域

本公开涉及图像处理领域，尤其涉及一种全景图像修复方法和系统。

背景技术

全景技术被广泛地应用于例如教育、媒体、游戏等各种领域。然而，由于现有全景拍摄设备和拍摄方式的限制和视场问题，往往导致拍摄图像存在诸多问题。例如，拍摄图像缺少部分地面场景，从而进一步导致生成的全景图像底部不完整；或者，拍摄图像中存在拍摄设备，从而导致生成的全景图像底部出现拍摄设备。

尤其对于诸如水平方向视角为360度且垂直方向视角为180度的球形全景图像而言，由于其宽视场角的独特几何特性，现有的图像修复方法不能进行很好的修复。

因此，需要提供一种全景图像修复方法和系统来克服或缓解上述技术问题。

发明内容

根据本发明实施例的一个方面，提供了一种用于修复全景图像的方法，可以包括：

响应于图像采集设备处于待修复区域内，由图像采集设备采集素材图像并根据所述素材图像生成全景图像；其中所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符；

将所述全景图像转换为立面体图像，所述立面体图像包括底面图像；

响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像；

分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵；

用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分；

用所述图像部分修复所述底面图像，以形成经修复的立面体图像；以及

将所述经修复的立面体图像转换为经修复的全景图像。

在一个示例中，所述确定从所述第一图像到所述第二图像的变换矩阵可以包括：

识别所述底面图像所包括的多个标志中的至少一个第一标志，并从所述第一图像中识别与所述至少一个第一标志相对应的第二标志；以及

通过基于所述至少一个第一标志及所述第二标志的坐标计算从所述第一图像到所述第二图像的单应性矩阵，获得所述变换矩阵。

在另一示例中，所述方法还可以包括：响应于所述第一图像和所述第二图像是鱼眼图像，用生成全景图像时使用的图像采集设备的参数将所述第一图像和所述第二图像展开成平面图像。

在另一示例中，所述从经过投影变换的第二图像中提取所述待修复区域的图像部分可以包括：

基于所述多个标志，确定所述待修复区域在所述底面图像中的位置坐标；以及

从经过投影变换的第二图像中提取与所述位置坐标相对应的图像部分。

在另一示例中，所述用所述图像部分修复所述底面图像可以包括：通过使用拼接和镶嵌中的至少一个，来用所述图像部分修复所述底面图像。

根据本发明的另一方面，提供了一种全景图像修复系统，可以包括：

图像采集设备，配置为采集图像；

控制器，与所述图像采集设备相连并被配置为控制执行以下操作：

响应于图像采集设备处于待修复区域内，由图像采集设备采集素材图像并根据所述素材图像生成全景图像；其中所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符；

将所述全景图像转换为立面体图像，所述立面体图像包括底面图像；

响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像；

分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵；

用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分；

用所述图像部分修复所述底面图像，以形成经修复的立面体图像；以及

将所述经修复的立面体图像转换为经修复的全景图像。

在一个示例中，所述控制器还可以被配置为通过以下操作来确定从所述第一图像到所述第二图像的变换矩阵：

识别所述底面图像所包括的多个标志中的至少一个第一标志，并从所述第一图像中识别与所述至少一个第一标志相对应的第二标志；以及

通过基于所述至少一个第一标志及所述第二标志的坐标计算从所述第一图像到所述第二图像的单应性矩阵，获得所述变换矩阵。

在另一示例中，所述控制器还可以被配置为：响应于所述第一图像和所述第二图像是鱼眼图像，用生成全景图像时使用的图像采集设备的参数将所述第一图像和所述第二图像展开成平面图像。

在另一示例中，所述控制器还可以被配置为通过以下操作来从经过投影变换的第二图像中提取所述待修复区域的图像部分：

基于所述多个标志确定所述待修复区域在所述底面图像中的位置坐标；以及

从经过投影变换的第二图像中提取与所述位置坐标相对应的图像部分。

根据本发明的再一方面，还提供了一种存储有指令的非暂时性计算机可读介质，所述指令在被至少一个处理器执行时，使得：

响应于图像采集设备处于待修复区域内，由图像采集设备采集素材图像并根据所述素材图像生成全景图像；其中所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符；

将所述全景图像转换为立面体图像，所述立面体图像包括底面图像；

响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像；

分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵；

用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分；

用所述图像部分修复所述底面图像，以形成经修复的立面体图像；以及

将所述经修复的立面体图像转换为经修复的全景图像。

根据本发明实施例，能够缓解由于全景图像拍摄方式的限制和视场问题而造成的例如地面图像缺失或者地面图像部分中含有拍摄设备的问题，提高了修复全景图像的准确性。

附图说明

为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：

图1A示出了根据本公开示例实施例的全景图像修复系统的示意图；

图1B示出了在根据本公开示例实施例的全景图像修复系统中使用的标志的一个示例；

图2示出了根据本公开示例实施例的全景图像修复方法的流程图；以及

图3至图8示例性地示出了通过使用根据本公开示例实施例的全景图像修复方法来修复全景图像的示例流程。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

本领域技术人员可以理解，术语“第一”和“第二”等的序数词可以修饰多种要素。然而，这种要素不受限于上述词句。例如，上述术语不限制要素的顺序和/或重要性。上述术语仅用于区分一个要素与另一要素。例如，可以将第一要素称为第二要素，类似地，也可以将第二要素称为第一要素，而不脱离本公开的范围。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

全景技术也称为全景摄影或虚拟实景，是基于静态图像的虚拟现实技术。通过将相机环360°拍摄的一组照片拼接成一个全景图像，并使用专用的全景绘制引擎在互联网上显示，能够让用户能够通过PC或移动终端的屏幕来控制环视的方向，从而可左可右、可近可远地观看物体或场景。

球形全景图像包括将图像或真实场景投影到一个以视点为中心的球面上的图像。其中，球面经度映射到图像水平坐标、纬度映射到垂直坐标，而且每个像素点到视点的深度相同。对于球形全景图像而言，由于全景拍摄设备和拍摄方式的限制和视场问题，往往导致拍摄图像存在诸多问题。例如，可能导致拍摄图像缺少部分地面场景，从而进一步导致生成的全景图像底部不完整；或导致拍摄图像中存在拍摄设备，导致生成的全景图像底部出现拍摄设备。

Zhe Zhu等人在“Panorama completion for street views，ComputationalVisual Meadia，Vol.1，NO.1，2015年3月，49-57”中公开了一种修复全景图像底部的方法。该方法将球形全景图像转换成保留直线特征和局部形状特征的平面图像。然后采用基于图像结构特征的图像修复方法，对图像缺失部分进行修复。由于该方法是基于图像结构特征进行修复的，因此该方法仅适用于场景中有明显的线性结构的全景图，导致该方法无法被广泛应用。

另外，全景图像领域中还存在另一方法来修复全景图像底部。该方法是通过在全景图像拼接过程中进行手动修复来实现的。具体地，该方法是在获得全景素材图像之后对地面进行补拍，将全景素材图像和补拍图像一同添加到例如Ptgui等的全景图软件，然后通过手动地添加补拍图像与全景图像的控制点并对待修复区域手动添加模板来拼接全景图像同时修复全景图像。这种方法需要手工添加控制点，难以保证添加的控制点精度和准确度，可能会引入新的错误。

本公开实施例提供一种全景图像修复方法和系统，其能够至少缓解由于全景图像拍摄方式的限制和视场问题而造成的例如地面图像缺失或者地面图像部分中含有拍摄设备的问题，而无需考虑全景图像中是否存在明显的线性结构，且不需要手工添加控制点，确保了修复全景图像的准确性。

应注意，本文中所提及的“全景图像”是指通过诸如球面投影(sphericalprojection)获得的球形全景图像，而“立面体图像”是指立面体全景图像(CubicProjection)。立面体图像是指通过将球形全景图像投影到使该球面内切的立面体上而获得的图像。转换后的立面体图像包括前、右、后、左、上和下表面上的图像，且每个表面上的图像都没有畸变，与真实场景的几何关系一致，能够便于进行修复工作。应注意，尽管本文以球形全景图像为例描述了全景图像修复的方法和系统，但是本公开不限于此，根据本公开示例实施例的全景图像修复方法和系统可以应用于通过现在已知或未知的各种投影方式得到的全景图像。

图1A示出了根据本公开示例实施例的全景图像修复系统100的示意图。如图1A所示，所述全景图像修复系统100可以包括图像采集设备110以及与所述图像采集设备110相连的控制器120。本领域技术人员可以理解，尽管图1A中将图像采集设备110示出为与控制器120直接相连，然而这二者之间当然可以包括其他组件。图像采集设备110与控制器120可以通过任意有线或无线的方式相连。

图像采集设备110可以例如实现为能够拍摄全景图像素材的全景相机。此外，控制器120例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，或包括上述具有处理和控制能力的器件的设备，例如，电脑、手机、云平台等。本文中，控制器120可以表示能够执行控制功能、数据处理功能、运算功能等的各种功能的器件。控制器120还可以备选地包括存储有指令的存储器。

根据本公开实施例，当由控制器120执行所述指令时，执行以下操作：响应于图像采集设备处于待修复区域内，由图像采集设备采集素材图像并根据所述素材图像生成全景图像；其中所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符；将所述全景图像转换为立面体图像，所述立面体图像包括底面图像；响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像；分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵；用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分；用所述图像部分修复所述底面图像，以形成经修复的立面体图像；以及将所述经修复的立面体图像转换为经修复的全景图像。

图1B示出了在根据本公开示例实施例的全景图像修复系统中使用的标志的一个示例。如图1B所示，标志可以包括外框和内部标志。例如，外框可以是便于识别的黑色边界，内部标志可以是编码矩阵。黑色边界有利于快速检测到图像，且编码矩阵的大小决定了内部标志的尺寸，编码矩阵可以表示相应标志的唯一标识符ID。每个标志提供有四个角点，以便获取从补拍的第一图像到底面图像的单应性矩阵(homography matrix)。

单应性矩阵是指用来表示将图像从一种视图(即，第一图像的视图)变换到另一种视图(即，底面图像的视图)的变换过程的矩阵。例如，在齐次坐标下，假设第一图像中标志的角点p的坐标为(x_i，y_i，1)，且角点p经过单应性矩阵H的变换之后成为底面图像中对应标志的角点p′，其坐标为(x_i′，y_i′，1)，即，p′＝H*p。也就是说，上述变换可以用下式1来表示：

那么可以得到：

从而可构造齐次线性方程组：

由于角点p在经过单应性矩阵H或单应性矩阵a*H变换后的对应点p′或a*p′在齐次坐标下表示同一点，因此等式4可以表示为等式5：

对于等式5，可以看出，仅需要四对不共线的匹配点(即，四对角点)即可求解唯一的单应性矩阵。如果存在多于四对的配对角点，则可以使用例如最小二乘法来确定单应性矩阵，从而得到从第一图像到底面图像的变换矩阵。

应注意，本公开中不限制使用的标志的数量。出于冗余和精确度方面的考虑，可以尽可能地使用较多的标志，这是因为角点越多则所求得的变换矩阵越精确，并且使用较多的角点能够避免由于拍摄原因等引起的一张或者两张标志无法识别而导致全景图像修复失败。在本公开的示例中，出于对处理能力和精确度的折中考虑，示例性地使用4-12个标志。在一个示例中，可以使用6个标志来标识待修复区域。可以通过围绕所述图像采集设备布置多个标志来限定待修复区域，该操作可以是人工地或自动地，例如，由控制器120控制机械手来自动完成的。

应注意，可以根据场景确定，来确定内部标志的尺寸(即，编码矩阵的大小)，以保证标志能被准确识别。此外，本领域技术人员应该认识到以上仅示出了能够应用于全景图像修复系统的标志的一个示例，本公开还可以使用其他形式的标志(例如，二维码)，只要所述标志具有唯一的标识符并且能够用于计算单应性矩阵和标识待修复区域。

图2示出了根据本公开示例实施例的用于修复全景图像的方法200的流程图。图3至图8示例性地示出了通过使用图2所示的方法200来修复全景图像的过程。下面结合图3至图8的示例来具体阐述图2所示的用于修复全景图像的方法200。本领域技术人员应该能够认识到，可以通过图1A所示的全景图像修复系统100来执行如下所述的用于修复全景图像的方法200。可以通过控制器120执行以下方法200中的各步骤，从而对图像采集设备110进行控制并对图像进行处理，最终实现全景图像修复的目的。

例如，所述方法200可以包括：在步骤S205，响应于图像采集设备处于待修复区域内，由图像采集设备采集用于生成所述全景图像的素材图像并根据所述素材图像生成全景图像。所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符。由于以上已参考图1B描述了标志，因此将不再进行赘述。本文中，待修复区域是指被所述标志围绕的底面区域，是包含标志在内的最小区域。也就是说，在步骤S205，当在图像采集设备周围布置用于限定待修复区域的多个标志使得图像采集设备处于待修复区域时，图像采集设备采集用于生成所述全景图像的素材图像并根据所述素材图像生成全景图像。图3示出了所述全景图像的底部。从图3中可以看出，由于全景拍摄设备和拍摄方式的限制和视场问题，导致生成的全景图像底部出现拍摄设备。本公开需要解决或缓解这种现象。

在步骤S210，将所述全景图像转换为立面体图像，其中所述立面体图像包括底面图像。底面图像是指立面体图像中的下表面上的图像。也就是说，可以通过步骤S210提取与所获得的全景图像相对应的立面体图像的底面图像。图4示出了立面体图像中的与图3所示的全景图像的素材图像相对应的底面图像。此外，应注意，如果根据图像采集设备采集的素材图像而生成的全景图像本身为立面体全景图像，则步骤S210可以直接简化为提取立面体图像的底面图像，而无需所述转换。

在步骤S215，响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像(如图5A所示)；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像(如图5B所示)。也就是说，上述步骤用于对待修复区域进行补拍，且图5A示出了当进行补拍时包括所述多个标志和所述待修复区域二者的第一图像，图5B示出了当进行补拍时相对于第一图像仅包括所述待修复区域的第二图像。应注意，补拍时的拍摄位置没有严格要求。然而，优选的是选择补拍时的拍摄位置，使得能够避免在修复后的全景图像中出现原始场景外的物体，并且能够确保拍摄的标志足够清晰且畸变较小，以保证标志能够被有效识别。

应注意，本文中示例性地将所获取的第一图像和第二图像示出为具有鱼眼效应的图像，然而本发明不限于此，第一图像和第二图像可以是具有其他畸变或其组合的图像，也可以是没有任何图像畸变的平面图像。

此外，由于本文中示例性地将所获取的第一图像和第二图像示出为具有鱼眼效应的图像，所以全景图像修复方法200还可以附加地包括对所述第一图像和第二图像进行做投影变换，使得将作为鱼眼图像的第一图像和第二图像展开成平面图像。

根据本公开实施例，响应于所述第一图像和所述第二图像是鱼眼图像，用生成全景图像时使用的图像采集设备的参数将所述第一图像和所述第二图像展开成平面图像。图6A和图6B分别示出了在对图5A和图5B所示的第一图像和第二图像进行鱼眼图像展开之后得到的平面图像。例如，可以使用本领域技术人员熟知的各种技术来执行鱼眼图像展开。

在一个示例中，可以通过在全景拼接过程中获取图像采集设备的参数并使用这些相机参数来去除鱼眼镜头产生的畸变。所述相机的参数可以包括相机内参和相机外参。相机内参可以包括焦距、畸变系数、光心偏移等；且相机外参可以包括俯仰角信息、横滚角信息、偏航角信息和偏移矩阵等。

然而本领域技术人员应认识到，上述鱼眼图像展开操作是可选性的。如果所获取的第一图像和第二图像是无需进行变换的平面图像，则无需执行鱼眼图像展开操作。另外，如果所获取的第一图像和第二图像是具有其他畸变的图像，则可以相应地对所述第一图像和第二图像进行处理以消除所述畸变。

在步骤S220，分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵。例如，确定从所述第一图像到所述第二图像的变换矩阵可以包括：识别所述底面图像所包括的多个标志中的至少一个第一标志，并从所述第一图像中识别与所述至少一个第一标志相对应的第二标志；以及通过基于所述至少一个第一标志及所述第二标志的坐标计算从所述第一图像到所述第二图像的单应性矩阵，获得所述变换矩阵。由于每个标志都有唯一的ID，因此可以做错误检测，从而保证识别的准确性。可以通过使用识别到的标志求取变换矩阵。

在步骤S225，用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分。参见图7，图7示出了经投影变换的第二图像。在一个示例中，从经过投影变换的第二图像中提取所述待修复区域的图像部分包括：基于所述多个标志，确定所述待修复区域在所述底面图像中的位置坐标；以及从经过投影变换的第二图像中提取与所述位置坐标相对应的图像部分。

在步骤S230，用所述图像部分修复所述底面图像，以形成经修复的立面体图像。图8示出了修复后的底面图像。例如，用所述图像部分修复所述底面图像可以包括：将所述图像部分拼接和/或镶嵌在所述底面图像中。也就是说，通过基于底面图像中的标志确定修复区域，用透视变换后的第二图像对待修复区域进行替换和图像融合，得到最终修复后的底面图像。

在步骤S235，将所述经修复的立面体图像转换为经修复的全景图像。也就是说，将所述经修复的立面体图像做投影变换，使其转换成新的球形全景图像，从而完成对全景图像的修复。

本公开的实施例提供了一种全景图像修复方法和系统。所述方法和系统用标志限定待修复区域并针对待修复区域拍摄含有标志的第一图像和不含标志的第二图像，通过计算从第一图像到底面图像的变换矩阵并用所述变换矩阵对第二图像进行透视变换，来修复全景图像。因此，能够缓解由于全景图像拍摄方式的限制和视场问题而造成的例如地面图像缺失或者地面图像部分中含有拍摄设备的问题。

此外，由于根据本公开实施例的全景图像修复方法和系统使用经过透视变换的补拍图像(即，第二图像)来对全景图像进行修复，而并非基于图像结构特征进行修复，因此不必考虑全景图像中是否存在明显的线性结构。因此，根据本公开实施例的全景图像修复方法和系统可同时适用于具备明显线性结构的全景图像和不具备明显线性结构的全景图像。

另一方面，由于使用具有唯一ID的标志限定待修复区域并且通过识别底面图像和第一图像中的标志来计算透视矩阵，根据本公开实施例的全景图像修复方法和系统不需要添加控制点，从而确保了修复全景图像的准确性。

本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于修复全景图像的方法，包括：

响应于图像采集设备处于待修复区域内，由图像采集设备采集素材图像并根据所述素材图像生成全景图像；其中所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符；

将所述全景图像转换为立面体图像，所述立面体图像包括底面图像；

响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像；

分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵；

用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分；

用所述图像部分修复所述底面图像，以形成经修复的立面体图像；以及

将所述经修复的立面体图像转换为经修复的全景图像。

2.根据权利要求1所述的方法，其中确定从所述第一图像到所述第二图像的变换矩阵包括：

识别所述底面图像所包括的多个标志中的至少一个第一标志，并从所述第一图像中识别与所述至少一个第一标志相对应的第二标志；以及

通过基于所述至少一个第一标志及所述第二标志的坐标计算从所述第一图像到所述第二图像的单应性矩阵，获得所述变换矩阵。

3.根据权利要求1所述的方法，还包括：响应于所述第一图像和所述第二图像是鱼眼图像，用生成全景图像时使用的图像采集设备的参数将所述第一图像和所述第二图像展开成平面图像。

4.根据权利要求1所述的方法，其中从经过投影变换的第二图像中提取所述待修复区域的图像部分包括：

基于所述多个标志，确定所述待修复区域在所述底面图像中的位置坐标；以及

从经过投影变换的第二图像中提取与所述位置坐标相对应的图像部分。

5.根据权利要求1所述的方法，其中用所述图像部分修复所述底面图像包括：通过使用拼接和镶嵌中的至少一个，来用所述图像部分修复所述底面图像。

6.一种全景图像修复系统，包括：

图像采集设备，配置为采集图像；

控制器，与所述图像采集设备相连并被配置为控制执行以下操作：

响应于图像采集设备处于待修复区域内，由图像采集设备采集素材图像并根据所述素材图像生成全景图像；其中所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符；

将所述全景图像转换为立面体图像，所述立面体图像包括底面图像；

响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像；

分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵；

用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分；

用所述图像部分修复所述底面图像，以形成经修复的立面体图像；以及

将所述经修复的立面体图像转换为经修复的全景图像。

7.根据权利要求6所述的全景图像修复系统，其中所述控制器还被配置为通过以下操作来确定从所述第一图像到所述第二图像的变换矩阵：

识别所述底面图像所包括的多个标志中的至少一个第一标志，并从所述第一图像中识别与所述至少一个第一标志相对应的第二标志；以及

通过基于所述至少一个第一标志及所述第二标志的坐标计算从所述第一图像到所述第二图像的单应性矩阵，获得所述变换矩阵。

8.根据权利要求6所述的全景图像修复系统，其中所述控制器还被配置为：响应于所述第一图像和所述第二图像是鱼眼图像，用生成全景图像时使用的图像采集设备的参数将所述第一图像和所述第二图像展开成平面图像。

9.根据权利要求6所述的全景图像修复系统，其中所述控制器还被配置为通过以下操作来从经过投影变换的第二图像中提取所述待修复区域的图像部分：

基于所述多个标志确定所述待修复区域在所述底面图像中的位置坐标；以及

从经过投影变换的第二图像中提取与所述位置坐标相对应的图像部分。

10.一种存储有指令的非暂时性计算机可读介质，所述指令在被至少一个处理器执行时，使得：

响应于图像采集设备处于待修复区域内，由图像采集设备采集素材图像并根据所述素材图像生成全景图像；其中所述待修复区域是由围绕所述图像采集设备的多个标志限定的，其中所述多个标志中的每一个具有唯一的标识符；

将所述全景图像转换为立面体图像，所述立面体图像包括底面图像；

响应于所述图像采集设备处于所述待修复区域外，所述图像采集设备拍摄包括所述多个标志和所述待修复区域二者的第一图像；以及在保持所述图像采集设备的参数不变的情况下，拍摄仅包括所述待修复区域的第二图像；

分别从所述底面图像和所述第一图像中识别所述多个标志中的至少一个，以确定从所述第一图像到所述第二图像的变换矩阵；

用所述变换矩阵对所述第二图像进行投影变换，并从经投影变换的第二图像中提取所述待修复区域的图像部分；

用所述图像部分修复所述底面图像，以形成经修复的立面体图像；以及

将所述经修复的立面体图像转换为经修复的全景图像。

Images