CN113554686A - 图像处理方法、装置和计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供图像处理方法、图像处理装置和计算机可读存储介质。根据本发明实施例的图像处理方法包括：获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

Description

图像处理方法、装置和计算机可读存储介质

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置和计算机可读存储介质。

背景技术

在利用图像增强技术来提高全景相机拍摄的全景图像的图像质量时，可以将以透视映射方式拍摄同一场景而获得的无失真且具有较高质量的平面图像与全景图像进行特征匹配，从而确定出平面图像与全景图像中的对应区域，并在其中裁剪出匹配的图像块对，以作为训练集数据用于训练全景图像的图像增强模型。然而，由于全景图像整体存在着一定的扭曲变形，尤其是在其两极区域中存在着大量的插值以及严重的失真，因此可能难以在全景图像的特定区域中准确地提取出特征点并与平面图像进行匹配。

此外，通常仅能够将无失真的平面图像作为训练全景图像增强模型的标注数据(Ground truth)，因此在训练阶段，为了减小全景图像的畸变程度以便与平面图像一同进行训练，可以将全景图像的映射方式(例如，等距柱状映射方式)变换为与平面图像一致的透视映射方式，以获得全景图像的透视图作为全景图像增强模型的输入。然而，在模型的测试和实际应用阶段中，并不存在上述对全景图像的映射方式进行变换(即，将全景图像转换为采用透视映射方式的透视图)的过程，并且模型的输入直接为全景图像，从而导致了在模型测试和实际应用阶段中的模型输入的映射方式与训练阶段的映射方式不一致的问题。

因此，需要一种能够在全景图像畸变严重的区域中准确地提取出特征点以便于与平面图像进行匹配，同时能够解决全景图像增强模型在训练阶段与测试和实际应用阶段的输入映射方式不一致的图像处理方法和装置。

发明内容

为解决上述技术问题，根据本发明的一个方面，提供了一种图像处理方法，包括：获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

根据本发明的另一个方面，提供了一种图像处理装置，包括：获取单元，配置为获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；映射变换单元，配置为对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；旋转单元，配置为旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，所述映射变换单元对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及匹配单元，配置为利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

根据本发明的另一个方面，提供了一种图像处理装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

根据本发明的上述图像处理方法、装置和计算机可读存储介质，能够将全景图像中畸变严重的区域旋转为畸变程度较小的区域，并利用旋转后的全景图像与平面图像进行特征匹配。这种图像处理方法、装置和计算机可读存储介质能够减小在全景图像中畸变严重的区域提取特征点难度，提高特征匹配的准确性。

此外，根据本发明实施例的图像处理方法、装置和计算机可读存储介质，能够在原始的全景图像和利用平面图像替换了局部区域的全景图像中裁剪出匹配的图像块对作为训练全景图像增强模型的训练集，从而避免了全景图像增强模型在训练阶段与测试和实际应用阶段的输入映射方式不一致的问题。

附图说明

通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。

图1示出了根据本发明一个实施例的图像处理方法的流程图；

图2示出了根据本发明一个实施例的对第一全景图像中的第一区域进行旋转以将其变换到畸变程度较小的第二区域的示例；

图3示出了根据本发明一个实施例的第二全景图像与第一平面图像进行特征匹配的示例；

图4示出了根据本发明一个实施例的第一透视图像和对应的第一坐标网格表的示例；

图5示出了根据本发明一个实施例的对第一透视图像和第一平面图像进行匹配和校准的具体过程的示例；

图6示出了根据本发明一个实施例的旋转全景图像以及确定出其中用以裁剪出训练用图像块对的对应区域的过程的示例；

图7示出了根据本发明一个实施例的在第一全景图像和第四全景图像中的至少一部分对应区域上裁剪出匹配的多个图像块对，以作为用于训练全景图像增强模型的训练集的过程的示例；

图8示出了根据本发明实施例的图像处理装置800的框图；以及

图9示出了根据本发明实施例的图像处理装置900的框图。

具体实施方式

下面将参照附图来描述根据本发明实施例的图像处理方法、装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。

下面将参照图1描述根据本发明实施例的图像处理方法。图1示出了该图像处理方法100的流程图。

如图1所示，在步骤S101中，获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联。

在此步骤中，可以采用全景相机和透视相机(以透视映射方式进行拍摄的相机，诸如单反相机、微单相机等)来拍摄同一场景，以分别获取该第一全景图像以及第一平面图像。由于可以任意地调整透视相机的姿态以改变其拍摄获得的平面图像所覆盖的场景区域，因此当确定了第一全景图像中的至少一部分区域(在此将其称为“第一区域”)时，即可通过使透视相机朝向场景中对应区域的方向进行拍摄，从而获得与该第一区域相关联的平面图像。优选地，所述第一区域可以是第一全景图像中畸变最为严重的区域(例如，全景图像中的两级区域，如天花板或地板附近)，以便利用本发明所述的实施例将其旋转成畸变程度较弱的区域(例如，全景图像中的赤道附近的区域)，从而便于在其中准确地提取出特征点并与第一平面图像进行匹配。因此，为了更为清晰地展示本发明的原理和益处，在下文的描述中，将以畸变程度最为严重的天花板区域作为第一区域为例来具体阐述本发明的实施例，并且相应地，第一平面图像可以是采用透视相机针对天花板区域的方向进行拍摄而获得的相关联的平面图像，但本发明并不限于此。在其他实施方式中，也可以在第一全景图像中选取任何用户感兴趣或希望在其中裁剪出训练用图像块的其他区域(例如，在全景图像的两级和赤道之间的任意区域)作为第一区域，并拍摄相关联的平面图像来进行处理，在此不进行限制。优选地，第一全景图像可以是采用等距柱状映射方式而投影在二维矩形平面上的等距柱状投影图，并且在下文中将以作为等距柱状投影图的第一全景图像为例来进行详细说明，但本发明并不限于此。在另一个示例中，第一全景图像还可以是其他投影在二维平面上并在不同区域处具有不同畸变程度的全景图像，诸如投影在圆形平面上的鱼眼图像等。

在步骤S102中，对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像。

在此步骤中，通过三维表面映射变换，可以将全景图像映射到一个三维立体形状的表面上，以将其转换为一个三维表面图像，以便在后续处理过程中对该三维表面图像进行旋转，并相应地实现全景图像中特定区域的旋转。所述三维立体形状可以是一个在三维空间中进行描述的球体、立方体或任何其他立体形状。相应地，所述三维表面映射变换可以包括球面映射变换、立方体映射变换，或用以将二维全景图像映射到一个三维立体形状表面上的任何其他映射变换等。在此需要说明的是，当所述第一全景图像为鱼眼图像时，所获得的三维表面图像可能并非是一个完整的图像，而是部分区域的像素值为0的三维表面图像，然而本领域技术人员依然可以对其进行下述的旋转、逆变换等后续操作，在此不再进行赘述。

在步骤S103中，旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度。

在下文中将以具有较低变换难度和计算量的球面映射变换为例来进行说明。在此示例中，当所述三维表面映射变换为球面映射变换时，所述三维表面映射逆变换可以是球面映射逆变换，并且所述第一三维表面图像和所述第二三维表面图像可以是球面图像。此外，在另一个示例中，还可以进行立方体映射变换，当所述三维表面映射变换为立方体映射变换的情况下，所述三维表面映射逆变换可以是立方体映射逆变换，并且所述第一三维表面图像和所述第二三维表面图像可以是立方体图像。此外，还可以进行其他类型的映射变换，以获得被映射到其他三维立体形状表面上的第一三维表面图像和第二三维表面图像，在此不进行限制。

图2示出了根据本发明一个实施例的对第一全景图像中的第一区域进行旋转以将其变换到畸变程度较小的第二区域的示例。具体地，在图2的(a)中示出了原始的第一全景图像，并且如图所示，可以在该第一全景图像中选取畸变程度最为严重的天花板区域作为进行旋转处理的第一区域201。通过对所述第一全景图像进行三维表面映射变换(在此以球面映射变换为例进行示出)，可以获得如图2的(b)中所示的第一三维表面图像，其中该第一全景图像中的第一区域201在经过三维表面映射变换后对应于该第一三维表面图像中的区域202。继续参照图2，在图2的(c)中示出了对图2的(b)中所示的第一三维表面图像进行旋转而获得的旋转后的第二三维表面图像，其中所述第二三维表面图像中的区域203对应于旋转前的第一三维表面图像中的区域202。在此示例中，可以通过90度左右的旋转角度将第一三维表面图像旋转为第二三维表面图像，以便将天花板附近的区域旋转到赤道附近，但本发明并不仅限于此。在其他示例中，可以根据全景图像中待旋转的区域以及目标区域的位置，来确定第一三维表面图像需要旋转的角度。经过此旋转操作后，可以随即对旋转后的第二三维表面图像进行三维表面映射逆变换，从而获得如图2的(d)中所示的第二全景图像，其中所述第二全景图像中的区域204(在此将其称为“第二区域”)对应于原始的第一全景图像中的第一区域201。在此需要说明的是，在图2中示出的各个区域的形状、尺寸和位置等仅仅是出于示意性说明的目的，而并非用以对其进行精确的定义。从图2的示例中可以看出，经由上述步骤的处理，可以将原先处于天花板附近的畸变程度严重的第一区域201旋转成畸变程度较小的赤道附近的第二区域204，以便后续在第二区域中或其附近准确地提取出特征点。

在一个示例中，所述旋转所述第一三维表面图像以获得旋转后的第二三维表面图像可以包括：根据所述第一全景图像中的所述第一区域确定所述第一三维表面图像上的关注点，并基于所述第一三维表面图像上的关注点来旋转所述第一三维表面图像以获得旋转后的所述第二三维表面图像，以使得经由所述三维表面映射逆变换而获得的所述第二全景图像的所述第二区域中与所述关注点对应的点位于目标点处。

在此示例中，为了确定出第一三维表面图像上的关注点并基于该关注点来进行旋转，可以首先基于第一全景图像中的第一区域确定出第一三维表面图像中的对应区域，并根据该对应区域的几何中心来确定出关注点，但本发明并不限于此。可选地，也可以在基于第一全景图像中的第一区域的方向，经由透视相机拍摄出相关联的第一平面图像后，进一步根据透视相机的姿态或拍摄方向等来选取第一三维表面图像上的关注点，从而使得基于该关注点旋转并获得的全景图像能够更好地与第一平面图像进行特征匹配。所述目标点可以被定义为全景图像中畸变程度最小的点，以使得旋转后的第二区域整体的畸变程度相对于第一区域大大减小。在确定了所述关注点和目标点后，可以基于它们的坐标位置来更加精确地获得第一三维表面图像需要旋转的角度。继续参照图2进行说明，在图2的(b)中示出了根据第一全景图像中的第一区域而确定出的第一三维表面图像上的关注点205，在经过旋转后，该关注点205对应于第二三维表面图像上的点206，并且在经过三维表面映射逆变换后，该关注点205所对应的点最终位于第二全景图像中的目标点207处。在作为等距柱状投影图的第一全景图像的示例中，可以将目标点207设置成横坐标为全景图像长度的1/4或3/4，纵坐标为全景图像宽度的1/2处的点，从而使该目标点207处的畸变程度最小，进而使整个第二区域相对于原始的第一区域的畸变程度大大减小。类似地，当第一全景图像为鱼眼图像时，可以选取其畸变程度最小的中心点作为目标点，在此不进行限制。

在步骤S104中，利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

由于在之前的步骤中，已经将第一全景图像中与第一平面图像相关联的第一区域旋转成了第二全景图像中畸变程度较小的第二区域，因此可以较为准确地实现第二全景图像和第一平面图像之间的特征匹配。在此示例中，可以使用本领域技术人员所熟知的诸如Oriented FAST and Rotated BRIEF(ORB)、Speeded Up Robust Features(SURF)、ScaleInvariant Feature Transform(SIFT)等之类的特征匹配方法来实现上述的特征点提取及匹配过程，在此不再进行赘述。在此示例中，可选地，可以先对直接拍摄获得的第一平面图像进行下采样处理，以使得该第一平面图像中的特征的尺寸能够大致相当于第二全景图像中的对应特征的尺寸，再利用经过下采样处理后的第一平面图像与第二全景图像进行特征匹配，以避免尺寸差异过大对特征匹配所造成的影响。

在利用第二全景图像与第一平面图像进行特征匹配从而获得特征匹配的结果之后，可以根据该特征匹配的结果确定第二全景图像上的视点，并基于该视点对第二全景图像的一部分进行透视映射变换以获得第一透视图像。图3示出了根据本发明一个实施例的第二全景图像与第一平面图像进行特征匹配的示例，其中示意性地示出了通过在第二全景图像上匹配到的多个特征点所计算出的视点301以及将被转换成第一透视图像的区域302。在此示例中，可以基于在第二全景图像上匹配到的多个特征点时，经由K-means等之类的聚类方法，确定出第二全景图像上特征点分布最为密集的区域中的中心点，以作为第二全景图像上的视点。在基于该视点进行透视映射变换而获得了第一透视图像之后，该视点即对应于所获得的第一透视图像上的中心点，因此能够使所获得的第一透视图像和第一平面图像具有较多的重合区域。在确定了第二全景图像上的视点之后，可以根据所确定的视点、拍摄第一平面图像的透视相机的视野(FOV)范围以及设置的第一透视图像的尺寸对第二全景图像进行透视映射变换，以将第二全景图像上的一部分变换为第一透视图像。优选地，可以将第一透视图像的尺寸设置为大致相当于第一平面图像的尺寸，以便进行后续的第一透视图像和第一平面图像之间的匹配和校准过程。

以上所述的将第二全景图像上特征点分布最为密集的区域中的中心点作为视点以进行透视映射变换的方式仅为示例，在实际应用中，可以选取特征点分布最为密集的区域中的任一特征点作为视点，也可以直接计算出与所有特征点的距离最小的一个点作为视点，在此不进行限制。

在此步骤中，可以基于上述透视映射变换确定一个透视映射坐标对应关系，其中所述透视映射坐标对应关系表示所述第一透视图像上的各个点的坐标与所述第二全景图像上的相应点的坐标之间的对应关系。在一个示例中，上述透视映射坐标对应关系可以用一个与第一透视图像对应的第一坐标网格表来表示，其中，可以在该第一坐标网格表中与该第一透视图像上的各个点对应的位置处存储第二全景图像上的相应点的坐标，从而利用该第一坐标网格表方便地进行后续的坐标查询和像素值替换过程。图4示出了根据本发明一个实施例的第一透视图像和对应的第一坐标网格表的示例。具体地，在图4的左图中示出了对图3所示的第二全景图像中的区域302进行透视映射变换所获得的第一透视图像，在图4的右图中示出了基于上述透视映射变换确定的第一坐标网格表。如图4所示，在该第一坐标网格表中与该第一透视图像上的各个点对应的坐标(i，j)处存储有第二全景图像上的相应点的坐标(i_pano，j_pano)，因此可以通过查询该第一坐标网格表来获取第二全景图像上的点的坐标，以便后续利用该坐标来替换第二全景图像上的对应点的像素值。

以下参照图5详细描述对第一透视图像与第一平面图像进行匹配和校准的具体过程。图5示出了根据本发明一个实施例的对第一透视图像和第一平面图像进行匹配和校准的具体过程的示例。在此示例中，可以对所获得的第一透视图像和第一平面图像进行特征匹配以获得单应矩阵，并根据所述单应矩阵校准所述第一透视图像和所述第一平面图像，以确定所述第一平面图像上的可用区域。具体而言，如图5的(a)中所示，可以通过上述的诸如ORB等之类的特征匹配方法，对左侧的第一透视图像和右侧的第一平面图像进行特征匹配，并基于提取到的特征点计算出表示两个图像上的相应点的坐标变换关系的单应矩阵。然后，可以基于计算出的单应矩阵使第一平面图像变形，从而使变形后的第一平面图像上的特征点与第一透视图像上的相应特征点对齐，以校准第一透视图像和第一平面图像，然而本发明并不仅限于此。在另一个示例中，也可以基于该单应矩阵使第一透视图像变形，从而使变形后的第一透视图像上的特征点与第一平面图像上的相应特征点对齐，以达到相同的校准目的。如图5的(b)中所示，在使右侧的第一平面图像变形并与左侧的第一透视图像对齐之后，可以进一步在该第一平面图像中提取出一个内切矩形区域501以作为第一平面图像上的可用区域，并且相应地在第一透视图像上确定出一个尺寸和位置与该内切矩形区域501一致的区域502以作为第一透视图像上的对应区域，从而提取出如图5的(c)中所示的经过初步校准后的第一平面图像上的可用区域和第一透视图像上的对应区域。

为了进一步提高匹配和校准的精确度，优选地，还可以在该经过初步校准后的第一平面图像上的可用区域或第一透视图像上的对应区域中，进一步提取一个畸变程度更小或特征点分布更为密集的局部区域，并基于该局部区域直接在另一个图像中提取出位置和尺寸相同的区域，或者利用该局部区域与另一个图像再次进行匹配和校准处理，以提取出另一个图像上的相应区域。具体地，在图5的(c)中还进一步示出了在经过初步校准后的第一平面图像上的可用区域中提取出了一个畸变程度更小的中心区域503，以作为更新后的第一平面图像上的可用区域。随后，可以基于该中心区域503在第一透视图像中直接提取出一个位置和尺寸相同的区域，以作为更新后的第一透视图像上的对应区域。或者，如图5的(d)中所示，可以利用该中心区域503与该第一透视图像再次进行特征匹配并计算出单应矩阵，从而基于该单应矩阵再次校准第一透视图像和第一平面图像，以获得如图5的(e)中所示的更新后的第一透视图像上的对应区域504。在其他示例中，还可以多次地在第一平面图像和第一透视图像中的任一图像上提取出一个局部区域并与另一个图像进行匹配和校准处理，从而多次更新第一平面图像上的可用区域和第一透视图像上的对应区域，以进一步提高匹配和校准的精确度，在此不进行限制。

通过上述的匹配和校准过程，可以对齐第一平面图像上的可用区域和第一透视图像上的对应区域的各个点的坐标位置。因此，可以根据第一透视图像和第二全景图像之间的上述透视映射坐标对应关系，直接确定出第一平面图像上的可用区域与第二全景图像之间的坐标对应关系。相应地，可以基于上述透视映射坐标对应关系，利用第一平面图像上的可用区域中的至少一部分的像素值替换第二全景图像中对应的第三区域的像素值，从而获得替换后的第三全景图像。在一个示例中，可以通过图4所示的第一坐标网格表来查询第二全景图像上的对应点的坐标，以实现上述像素值的替换。为此，可选地，可以将该第一坐标网格表设置为具有与第一透视图像相同的尺寸，并且如图5中进一步示出的，可以在上述的匹配和校准过程中不断地提取出第一坐标网格表中的对应区域，以便于上述的坐标查询和像素值替换过程。

以下将详细说明在获取了经由第一平面图像替换第三区域后的第三全景图像之后，将其旋转为与第一全景图像的坐标位置对应的第四全景图像，并确定出第一全景图像和第四全景图像中可以用于裁剪出训练用图像块对的对应区域的具体过程。

图6示出了根据本发明一个实施例的旋转全景图像以及确定出其中用以裁剪出训练用图像块对的对应区域的过程的示例。如图6所示，可以将经由第一平面图像替换后的第三全景图像601中的第三区域的像素值设置为0，以获得第一遮盖全景图像602。随后，可以通过如图2中所示的步骤的逆过程，将第三全景图像601和第一遮盖全景图像602分别转换为与第一全景图像的坐标位置对应的第四全景图像603和第二遮盖全景图像604。具体地，可以对该第三全景图像601和第一遮盖全景图像602进行三维表面映射变换以获得相应的三维表面图像，随后将获得的三维表面图像分别旋转回与第一三维表面图像的坐标位置对应的三维表面图像，并对旋转后的三维表面图像进行三维表面映射逆变换以获得第四全景图像603和第二遮盖全景图像604。在此可以将所获得的第二遮盖全景图像604中像素值为0的区域称为第二遮盖全景图像604的遮盖区域(如天花板附近的黑色区域所示)。然后，可以以类似于将第二遮盖全景图像604覆盖在原始的第一全景图像605和第四全景图像603上的方式，确定出第一全景图像605和第四全景图像603上与该遮盖区域重合的区域，从而对应地裁剪出第一全景图像605和第四全景图像603中的至少一部分对应区域。如图6所示，优选地，可以先确定该遮盖区域中的内切矩形区域，再基于该矩形区域在第一全景图像605和第四全景图像603中对应裁剪出形状规则的矩形区域606和607以作为至少一部分对应区域，以便于后续在其中可以随机地裁剪出匹配的图像块对。

图7示出了根据本发明一个实施例的在第一全景图像和第四全景图像中的至少一部分对应区域上裁剪出匹配的多个图像块对，以作为用于训练全景图像增强模型的训练集的过程的示例。在一个示例中，可以在第一全景图像和第四全景图像中的至少一部分对应区域上随机裁剪出具有相同中心位置和尺寸的图像块对，以作为用于训练全景图像增强模型的训练集。在另一个示例中，为了进一步提高图像块对提取的准确度，可以在第一全景图像上随机裁剪出多个图像块，并且在第四全景图像上对应裁剪出具有相同中心位置但尺寸略大的图像块。随后，可以利用基于滑动窗口原理的匹配方法(诸如模板匹配方法)，通过在第一全景图像上裁剪出的多个图像块，在第四全景图像上的尺寸略大的图像块中匹配出对应的区域，以作为匹配后的图像块。具体地，如图7所示，可以将在图6中示出的第一全景图像605中的区域606和第四全景图像603中的区域607作为用于提取图像块对的至少一部分对应区域，并分别裁剪出多个图像块701以及与图像块701具有相同中心位置但尺寸略大的多个图像块702，从而基于上述匹配方法，利用图像块701在尺寸略大的图像块702中匹配出对应区域(如图像块702中的黑色方框内部的区域)，从而获得匹配后的图像块703，以将图像块701和图像块703作为最终提取的用于训练全景图像增强模型的训练集。所提取的图像块的尺寸可以设置为32*32(单位为像素)，然而本发明并不限于此，可以根据具体情况选择合适的图像块大小，例如8*8或16*16等。

根据本发明的上述图像处理方法，能够将全景图像中畸变严重的区域旋转为畸变程度较小的区域，并利用旋转后的全景图像与平面图像进行特征匹配，从而减小在全景图像中畸变严重的区域提取特征点难度，提高特征匹配的准确性。

此外，根据本发明实施例的上述图像处理方法，能够在原始的全景图像和利用平面图像替换了局部区域的全景图像中裁剪出匹配的图像块对作为训练全景图像增强模型的训练集，从而避免了全景图像增强模型在训练阶段与测试和实际应用阶段的输入映射方式不一致的问题。

下面，参照图8来描述根据本发明实施例的图像处理装置。图8示出了根据本发明实施例的图像处理装置800的框图。如图8所示，图像处理装置800包括获取单元810、映射变换单元820、旋转单元830、匹配单元840、替换单元850和裁剪单元860。除了这些单元以外，图像处理装置800还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。

图8中的获取单元810获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联。

获取单元810所获取的图像可以是采用全景相机和透视相机(以透视映射方式进行拍摄的相机，诸如单反相机、微单相机等)来拍摄同一场景，从而分别获取的该第一全景图像以及第一平面图像。由于可以任意地调整透视相机的姿态以改变其拍摄获得的平面图像所覆盖的场景区域，因此当确定了第一全景图像中的至少一部分区域(在此将其称为“第一区域”)时，即可通过使透视相机朝向场景中对应区域的方向进行拍摄，从而获得与该第一区域相关联的平面图像。优选地，所述第一区域可以是第一全景图像中畸变最为严重的区域(例如，全景图像中的两级区域，如天花板或地板附近)，以便利用本发明所述的实施例将其旋转成畸变程度较弱的区域(例如，全景图像中的赤道附近的区域)，从而便于在其中准确地提取出特征点并与第一平面图像进行匹配。因此，为了更为清晰地展示本发明的原理和益处，在下文的描述中，将以畸变程度最为严重的天花板区域作为第一区域为例来具体阐述本发明的实施例，并且相应地，第一平面图像可以是采用透视相机针对天花板区域的方向进行拍摄而获得的相关联的平面图像，但本发明并不限于此。在其他实施方式中，也可以在第一全景图像中选取任何用户感兴趣或希望在其中裁剪出训练用图像块的其他区域(例如，在全景图像的两级和赤道之间的任意区域)作为第一区域，并拍摄相关联的平面图像来进行处理，在此不进行限制。优选地，第一全景图像可以是采用等距柱状映射方式而投影在二维矩形平面上的等距柱状投影图，并且在下文中将以作为等距柱状投影图的第一全景图像为例来进行详细说明，但本发明并不限于此。在另一个示例中，第一全景图像还可以是其他投影在二维平面上并在不同区域处具有不同畸变程度的全景图像，诸如投影在圆形平面上的鱼眼图像等。

映射变换单元820对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像。

映射变换单元820可以通过三维表面映射变换，将全景图像映射到一个三维立体形状的表面上，以将其转换为一个三维表面图像，以便在后续处理过程中对该三维表面图像进行旋转，并相应地实现全景图像中特定区域的旋转。所述三维立体形状可以是一个在三维空间中进行描述的球体、立方体或任何其他立体形状。相应地，所述三维表面映射变换可以包括球面映射变换、立方体映射变换，或用以将二维全景图像映射到一个三维立体形状表面上的任何其他映射变换等。在此需要说明的是，当所述第一全景图像为鱼眼图像时，所获得的三维表面图像可能并非是一个完整的图像，而是部分区域的像素值为0的三维表面图像，然而本领域技术人员依然可以对其进行下述的旋转、逆变换等后续操作，在此不再进行赘述。

旋转单元830旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，映射变换单元820对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度。

在下文中将以具有较低变换难度和计算量的球面映射变换为例来进行说明。在此示例中，当所述三维表面映射变换为球面映射变换时，所述三维表面映射逆变换可以是球面映射逆变换，并且所述第一三维表面图像和所述第二三维表面图像可以是球面图像。此外，在另一个示例中，还可以进行立方体映射变换，当所述三维表面映射变换为立方体映射变换的情况下，所述三维表面映射逆变换可以是立方体映射逆变换，并且所述第一三维表面图像和所述第二三维表面图像可以是立方体图像。此外，还可以进行其他类型的映射变换，以获得被映射到其他三维立体形状表面上的第一三维表面图像和第二三维表面图像，在此不进行限制。

图2示出了根据本发明一个实施例的对第一全景图像中的第一区域进行旋转以将其变换到畸变程度较小的第二区域的示例。具体地，在图2的(a)中示出了原始的第一全景图像，并且如图所示，可以在该第一全景图像中选取畸变程度最为严重的天花板区域作为进行旋转处理的第一区域201。通过映射变换单元820对所述第一全景图像进行三维表面映射变换(在此以球面映射变换为例进行示出)，可以获得如图2的(b)中所示的第一三维表面图像，其中该第一全景图像中的第一区域201在经过三维表面映射变换后对应于该第一三维表面图像中的区域202。继续参照图2，在图2的(c)中示出了旋转单元830对图2的(b)中所示的第一三维表面图像进行旋转而获得的旋转后的第二三维表面图像，其中所述第二三维表面图像中的区域203对应于旋转前的第一三维表面图像中的区域202。在此示例中，旋转单元830可以通过大致90度左右的旋转角度将第一三维表面图像旋转为第二三维表面图像，以便将天花板附近的区域旋转到赤道附近，但本发明并不仅限于此。在其他示例中，旋转单元830可以根据全景图像中待旋转的区域以及目标区域的位置，来确定第一三维表面图像需要旋转的角度。经过此旋转操作后，映射变换单元820可以随即对旋转后的第二三维表面图像进行三维表面映射逆变换，从而获得如图2的(d)中所示的第二全景图像，其中所述第二全景图像中的区域204(在此将其称为“第二区域”)对应于原始的第一全景图像中的第一区域201。从图2的示例中可以看出，经由上述映射变换单元820和旋转单元830进行的处理，可以将原先处于天花板附近的畸变程度严重的第一区域201旋转成畸变程度较小的赤道附近的第二区域204，从而便于后续在第二区域中或其附近准确地提取出特征点。

在一个示例中，所述旋转单元830旋转所述第一三维表面图像以获得旋转后的第二三维表面图像可以包括：根据所述第一全景图像中的所述第一区域确定所述第一三维表面图像上的关注点，并基于所述第一三维表面图像上的关注点来旋转所述第一三维表面图像以获得旋转后的所述第二三维表面图像，以使得经由所述三维表面映射逆变换而获得的所述第二全景图像的所述第二区域中与所述关注点对应的点位于目标点处。

在此示例中，为了确定出第一三维表面图像上的关注点，旋转单元830可以首先基于第一全景图像中的第一区域确定出第一三维表面图像中的对应区域，并根据该对应区域的几何中心来确定出关注点，但本发明并不限于此。可选地，旋转单元830也可以在基于第一全景图像中的第一区域的方向，经由透视相机拍摄出相关联的第一平面图像后，进一步根据透视相机的姿态或拍摄方向等来选取第一三维表面图像上的关注点，从而使得基于该关注点旋转并获得的全景图像能够更好地与第一平面图像进行特征匹配。所述目标点可以被定义为全景图像中畸变程度最小的点，以使得旋转后的第二区域整体的畸变程度相对于第一区域大大减小。在确定了所述关注点和目标点后，旋转单元830可以基于它们的坐标位置来更加精确地获得第一三维表面图像需要旋转的角度。继续参照图2进行说明，在图2的(b)中示出了根据第一全景图像中的第一区域而确定出的第一三维表面图像上的关注点205，在经过旋转单元830进行旋转后，该关注点205对应于第二三维表面图像上的点206，并且在经过映射变换单元820进行的三维表面映射逆变换后，该关注点205所对应的点最终位于第二全景图像中的目标点207处。在作为等距柱状投影图的第一全景图像的示例中，可以将目标点207设置成横坐标为全景图像长度的1/4或3/4，纵坐标为全景图像宽度的1/2处的点，从而使该目标点207处的畸变程度最小，进而使整个第二区域相对于原始的第一区域的畸变程度大大减小。类似地，当第一全景图像为鱼眼图像时，可以选取其畸变程度最小的中心点作为目标点，在此不进行限制。

匹配单元840利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

由于经过映射变换单元820和旋转单元830进行的处理，已经将第一全景图像中与第一平面图像相关联的第一区域旋转成了第二全景图像中畸变程度较小的第二区域，因此匹配单元840可以较为准确地实现第二全景图像和第一平面图像之间的特征匹配。在此示例中，可选地，匹配单元840可以先对直接拍摄获得的第一平面图像进行下采样处理，以使得该第一平面图像中的特征的尺寸能够大致相当于第二全景图像中的对应特征的尺寸，再利用经过下采样处理后的第一平面图像与第二全景图像进行特征匹配，以避免尺寸差异过大对特征匹配所造成的影响。

在匹配单元840利用第二全景图像与第一平面图像进行特征匹配从而获得特征匹配的结果之后，映射变换单元820可以根据该特征匹配的结果确定第二全景图像上的视点，并基于该视点对第二全景图像的一部分进行透视映射变换以获得第一透视图像。图3示出了根据本发明一个实施例的第二全景图像与第一平面图像进行特征匹配的示例，其中示意性地示出了通过在第二全景图像上匹配到的多个特征点所计算出的视点301以及将被转换成第一透视图像的区域302。在此示例中，映射变换单元820可以基于在第二全景图像上匹配到的多个特征点时，经由K-means等之类的聚类方法，确定出第二全景图像上特征点分布最为密集的区域中的中心点，以作为第二全景图像上的视点。在基于该视点进行透视映射变换而获得了第一透视图像之后，该视点即对应于所获得的第一透视图像上的中心点，因此能够使所获得的第一透视图像和第一平面图像具有较多的重合区域。在确定了第二全景图像上的视点之后，映射变换单元820可以根据所确定的视点、拍摄第一平面图像的透视相机的视野(FOV)范围以及设置的第一透视图像的尺寸对第二全景图像进行透视映射变换，以将第二全景图像上的一部分变换为第一透视图像。优选地，映射变换单元820可以将第一透视图像的尺寸设置为大致相当于第一平面图像的尺寸，以便进行后续的第一透视图像和第一平面图像之间的匹配和校准过程。

以上所述的映射变换单元820将第二全景图像上特征点分布最为密集的区域中的中心点作为视点以进行透视映射变换的方式仅为示例，在实际应用中，映射变换单元820可以选取特征点分布最为密集的区域中的任一特征点作为视点，也可以直接计算出与所有特征点的距离最小的一个点作为视点，在此不进行限制。

映射变换单元820可以基于上述透视映射变换确定一个透视映射坐标对应关系，其中所述透视映射坐标对应关系表示所述第一透视图像上的各个点的坐标与所述第二全景图像上的相应点的坐标之间的对应关系。在一个示例中，上述透视映射坐标对应关系可以用一个与第一透视图像对应的第一坐标网格表来表示，其中，可以在该第一坐标网格表中与该第一透视图像上的各个点对应的位置处存储第二全景图像上的相应点的坐标，从而利用该第一坐标网格表方便地进行后续的坐标查询和像素值替换过程。图4示出了根据本发明一个实施例的第一透视图像和对应的第一坐标网格表的示例。具体地，在图4的左图中示出了映射变换单元820对图3所示的第二全景图像中的区域302进行透视映射变换所获得的第一透视图像，在图4的右图中示出了基于上述透视映射变换确定的第一坐标网格表。如图4所示，在该第一坐标网格表中与该第一透视图像上的各个点对应的坐标(i，j)处存储有第二全景图像上的相应点的坐标(i_pano，j_pano)，因此可以通过查询该第一坐标网格表来获取第二全景图像上的点的坐标，以便后续利用该坐标来替换第二全景图像上的对应点的像素值。

以下参照图5详细描述对第一透视图像与第一平面图像进行匹配和校准的具体过程。图5示出了根据本发明一个实施例的对第一透视图像和第一平面图像进行匹配和校准的具体过程的示例。在此示例中，匹配单元840可以对所获得的第一透视图像和第一平面图像进行特征匹配以获得单应矩阵，并根据所述单应矩阵校准所述第一透视图像和所述第一平面图像，以确定所述第一平面图像上的可用区域。具体而言，如图5的(a)中所示，匹配单元840可以通过上述的诸如ORB等之类的特征匹配方法，对左侧的第一透视图像和右侧的第一平面图像进行特征匹配，并基于提取到的特征点计算出表示两个图像上的相应点的坐标变换关系的单应矩阵。然后，匹配单元840可以基于计算出的单应矩阵使第一平面图像变形，从而使变形后的第一平面图像上的特征点与第一透视图像上的相应特征点对齐，以校准第一透视图像和第一平面图像，然而本发明并不仅限于此。在另一个示例中，匹配单元840也可以基于该单应矩阵使第一透视图像变形，从而使变形后的第一透视图像上的特征点与第一平面图像上的相应特征点对齐，以达到相同的校准目的。如图5的(b)中所示，在使右侧的第一平面图像变形并与左侧的第一透视图像对齐之后，匹配单元840可以进一步在该第一平面图像中提取出一个内切矩形区域501以作为第一平面图像上的可用区域，并且相应地在第一透视图像上确定出一个尺寸和位置与该内切矩形区域501一致的区域502以作为第一透视图像上的对应区域，从而提取出如图5的(c)中所示的经过初步校准后的第一平面图像上的可用区域和第一透视图像上的对应区域。

为了进一步提高匹配和校准的精确度，优选地，匹配单元840还可以在该经过初步校准后的第一平面图像上的可用区域或第一透视图像上的对应区域中，进一步提取一个畸变程度更小或特征点分布更为密集的局部区域，并基于该局部区域直接在另一个图像中提取出位置和尺寸相同的区域，或者利用该局部区域与另一个图像再次进行匹配和校准处理，以提取出另一个图像上的相应区域。具体地，在图5的(c)中还进一步示出了匹配单元840在经过初步校准后的第一平面图像上的可用区域中提取出了一个畸变程度更小的中心区域503，以作为更新后的第一平面图像上的可用区域。随后，匹配单元840可以基于该中心区域503在第一透视图像中直接提取出一个位置和尺寸相同的区域，以作为更新后的第一透视图像上的对应区域。或者，如图5的(d)中所示，匹配单元840可以利用该中心区域503与该第一透视图像再次进行特征匹配并计算出单应矩阵，从而基于该单应矩阵再次校准第一透视图像和第一平面图像，以获得如图5的(e)中所示的更新后的第一透视图像上的对应区域504。在另一个示例中，匹配单元840还可以多次地在第一平面图像和第一透视图像中的任一图像上提取出一个局部区域并与另一个图像进行匹配和校准处理，从而多次更新第一平面图像上的可用区域和第一透视图像上的对应区域，以进一步提高匹配和校准的精确度，在此不进行限制。

通过上述匹配单元840进行的匹配和校准过程，可以对齐第一平面图像上的可用区域和第一透视图像上的对应区域的各个点的坐标位置。因此，可以根据第一透视图像和第二全景图像之间的上述透视映射坐标对应关系，直接确定出第一平面图像上的可用区域与第二全景图像之间的坐标对应关系。相应地，替换单元850可以基于上述透视映射坐标对应关系，利用第一平面图像上的可用区域中的至少一部分的像素值替换第二全景图像中对应的第三区域的像素值，从而获得替换后的第三全景图像。在一个示例中，替换单元850可以通过图4所示的第一坐标网格表来查询第二全景图像上的对应点的坐标，以实现上述像素值的替换。为此，可选地，可以将该第一坐标网格表设置为具有与第一透视图像相同的尺寸，并且如图5中进一步示出的，可以在上述的匹配和校准过程中不断地提取出第一坐标网格表中的对应区域，以便于上述的坐标查询和像素值替换过程。

以下将详细说明在获取了经由第一平面图像替换第三区域后的第三全景图像之后，利用映射变换单元820和旋转单元830将其旋转为与第一全景图像的坐标位置对应的第四全景图像，并确定出第一全景图像和第四全景图像中可以用于裁剪出训练用图像块对的对应区域的具体过程。

图6示出了根据本发明一个实施例的旋转全景图像以及确定出其中用以裁剪出训练用图像块对的对应区域的过程的示例。如图6所示，裁剪单元860可以将经由第一平面图像替换后的第三全景图像601中的第三区域的像素值设置为0，以获得第一遮盖全景图像602。随后，映射变换单元820和旋转单元830可以通过如图2中所示的步骤的逆过程，将第三全景图像601和第一遮盖全景图像602分别转换为与第一全景图像的坐标位置对应的第四全景图像603和第二遮盖全景图像604。具体地，映射变换单元820可以对该第三全景图像601和第一遮盖全景图像602进行三维表面映射变换以获得相应的三维表面图像，随后旋转单元830可以将获得的三维表面图像分别旋转回与第一三维表面图像的坐标位置对应的三维表面图像，并且映射变换单元820对旋转后的三维表面图像进行三维表面映射逆变换以获得第四全景图像603和第二遮盖全景图像604。在此可以将所获得的第二遮盖全景图像604中像素值为0的区域称为第二遮盖全景图像604的遮盖区域(如天花板附近的黑色区域所示)。然后，裁剪单元860可以以类似于将第二遮盖全景图像604覆盖在原始的第一全景图像605和第四全景图像603上的方式，确定出第一全景图像605和第四全景图像603上与该遮盖区域重合的区域，从而对应地裁剪出第一全景图像605和第四全景图像603中的至少一部分对应区域。如图6所示，优选地，裁剪单元860可以先确定该遮盖区域中的内切矩形区域，再基于该矩形区域在第一全景图像605和第四全景图像603中对应裁剪出形状规则的矩形区域606和607以作为至少一部分对应区域，以便于后续在其中可以随机地裁剪出匹配的图像块对。

图7示出了根据本发明一个实施例的在第一全景图像和第四全景图像中的至少一部分对应区域上裁剪出匹配的多个图像块对，以作为用于训练全景图像增强模型的训练集的过程的示例。在一个示例中，裁剪单元860可以在第一全景图像和第四全景图像中的至少一部分对应区域上随机裁剪出具有相同中心位置和尺寸的图像块对，以作为用于训练全景图像增强模型的训练集。在另一个示例中，为了进一步提高图像块对提取的准确度，裁剪单元860可以在第一全景图像上随机裁剪出多个图像块，并且在第四全景图像上对应裁剪出具有相同中心位置但尺寸略大的图像块。随后，裁剪单元860可以利用基于滑动窗口原理的匹配方法(诸如模板匹配方法)，通过在第一全景图像上裁剪出的多个图像块，在第四全景图像上的尺寸略大的图像块中匹配出对应的区域，以作为匹配后的图像块。具体地，如图7所示，裁剪单元860可以将在图6中示出的第一全景图像605中的区域606和第四全景图像603中的区域607作为用于提取图像块对的至少一部分对应区域，并分别裁剪出多个图像块701以及与图像块701具有相同中心位置但尺寸略大的多个图像块702，从而基于上述匹配方法，利用图像块701在尺寸略大的图像块702中匹配出对应区域(如图像块702中的黑色方框内部的区域)，从而获得匹配后的图像块703，以将图像块701和图像块703作为最终提取的用于训练全景图像增强模型的训练集。所提取的图像块的尺寸可以设置为32*32(单位为像素)，然而本发明并不限于此，可以根据具体情况选择合适的图像块大小，例如8*8或16*16等。

根据本发明的上述图像处理装置，能够将全景图像中畸变严重的区域旋转为畸变程度较小的区域，并利用旋转后的全景图像与平面图像进行特征匹配，从而减小在全景图像中畸变严重的区域提取特征点难度，提高特征匹配的准确性。

此外，根据本发明实施例的上述图像处理装置，能够在原始的全景图像和利用平面图像替换了局部区域的全景图像中裁剪出匹配的图像块对作为训练全景图像增强模型的训练集，从而避免了全景图像增强模型在训练阶段与测试和实际应用阶段的输入映射方式不一致的问题。

下面，参照图9来描述根据本发明实施例的图像处理装置。图9示出了根据本发明实施例的图像处理装置900的框图。如图9所示，该图像处理装置900可以是计算机或服务器。

如图9所示，图像处理装置900包括一个或多个处理器910以及存储器920，当然，除此之外，图像处理装置900还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图9所示的图像处理装置900的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置900也可以具有其他组件和结构。

处理器910可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器920中所存储的计算机程序指令以执行期望的功能，可以包括：获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

存储器920可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器910可以运行所述程序指令，以实现上文所述的本发明的实施例的显示装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的显示方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。

下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

当然，上述的具体实施例仅是例子而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。

注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。

本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(DSP)、ASIC、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(RAM)、只读存储器(ROM)、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，盘(disc)包括紧凑盘(CD)、激光盘、光盘、数字通用盘(DVD)、软盘和蓝光盘。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(DSL)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如RAM、ROM、诸如CD或软盘等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC(即A和B和C)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不希望被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不希望将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (11)

1.一种图像处理方法，包括：

获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；

对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；

旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及

利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

2.如权利要求1所述的方法，其中，所述旋转所述第一三维表面图像以获得旋转后的第二三维表面图像包括：

根据所述第一全景图像中的所述第一区域确定所述第一三维表面图像上的关注点，并基于所述第一三维表面图像上的关注点来旋转所述第一三维表面图像以获得旋转后的所述第二三维表面图像，以使得经由所述三维表面映射逆变换而获得的所述第二全景图像的所述第二区域中与所述关注点对应的点位于目标点处。

3.如权利要求1或2所述的方法，其中，所述三维表面映射变换包括球面映射变换或立方体映射变换，

在所述三维表面映射变换为球面映射变换的情况下，所述三维表面映射逆变换为球面映射逆变换，并且所述第一三维表面图像和所述第二三维表面图像为球面图像；

在所述三维表面映射变换为立方体映射变换的情况下，所述三维表面映射逆变换为立方体映射逆变换，并且所述第一三维表面图像和所述第二三维表面图像为立方体图像。

4.如权利要求3所述的方法，其中，所述方法还包括：

在所述利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果之后，根据所述特征匹配的结果确定所述第二全景图像上的视点，并基于所述视点对所述第二全景图像的一部分进行透视映射变换以获得第一透视图像；

基于所述透视映射变换确定透视映射坐标对应关系，其中所述透视映射坐标对应关系表示所述第一透视图像上的各个点的坐标与所述第二全景图像上的相应点的坐标之间的对应关系。

5.如权利要求4所述的方法，其中，所述方法还包括：

对所获得的第一透视图像和所述第一平面图像进行特征匹配以获得单应矩阵，并根据所述单应矩阵校准所述第一透视图像和所述第一平面图像，以确定所述第一平面图像上的可用区域。

6.如权利要求5所述的方法，其中，所述方法还包括：

基于所述透视映射坐标对应关系，利用所述第一平面图像上的所述可用区域中的至少一部分的像素值替换所述第二全景图像中对应的第三区域的像素值，以获得替换后的第三全景图像。

7.如权利要求6所述的方法，其中，所述方法还包括：

将替换后的所述第三全景图像中的所述第三区域的像素值设置为0，以获得第一遮盖全景图像；

将所述第三全景图像和所述第一遮盖全景图像分别转换为与所述第一全景图像的坐标位置对应的第四全景图像和第二遮盖全景图像，并基于所获得的第二遮盖全景图像中的遮盖区域裁剪出所述第一全景图像和所述第四全景图像中的至少一部分对应区域。

8.如权利要求7所述的方法，其中，所述方法还包括：

在所述第一全景图像和所述第四全景图像中的所述至少一部分对应区域上裁剪出匹配的多个图像块对，以作为用于训练全景图像增强模型的训练集。

9.一种图像处理装置，包括：

获取单元，配置为获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；

映射变换单元，配置为对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；

旋转单元，配置为旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，所述映射变换单元对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及

匹配单元，配置为利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

10.一种图像处理装置，包括：

处理器；

和存储器，在所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；

对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；

旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及

利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

11.一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：

获取第一全景图像以及第一平面图像，其中所述第一全景图像中的第一区域与所述第一平面图像相关联；

对所述第一全景图像进行三维表面映射变换以获得第一三维表面图像；

旋转所述第一三维表面图像以获得旋转后的第二三维表面图像，对旋转后的所述第二三维表面图像进行三维表面映射逆变换以获得第二全景图像，所述第二全景图像中的第二区域对应于所述第一全景图像中的所述第一区域，所述第二区域的畸变程度小于所述第一区域的畸变程度，以及

利用所获得的第二全景图像与所述第一平面图像进行特征匹配以获得所述特征匹配的结果。

Images