CN104835138B - 使地基图像和航拍图像对准 - Google Patents

Abstract

本发明涉及使地基图像和航拍图像对准。提供了用于使从位于或接近地面水平的透视角获取的地理区域的地基图像与从例如倾斜透视角获取的一组航拍图像对准的系统和方法。更具体地，可以识别候选航拍图像，以与地基图像对准。与地基图像相关联的几何数据可被获得并用于将所述地基图像弯曲为与候选航拍图像相关联的透视角。弯曲图像和候选航拍图像之间的一个或多个特征匹配然后可使用特征匹配技术进行识别。匹配的特征可用于使所述地基图像与所述候选航拍图像对准。

Description

使地基图像和航拍图像对准

技术领域

本公开一般地涉及图像处理，并且更具体地涉及使地基图像(ground based images)和航拍图像(aerial imagery)对准。

背景技术

地理区域的用户产生的图像通常从位于或接近地面水平的透视角(perspective)捕获。这些地基图像对于精化例如由地理信息系统提供的地理区域的表示可能是有价值的。例如，用户产生的图像可用于在地理信息系统中精化或产生各种地标、建筑物、对象、地形等的高分辨率三维模型。为了用户产生的图像是有用的，需要确定准确的相机参数，诸如图像的姿势和/或在图像中描绘的对象的地理位置。如本文所使用的，图像的姿势是指捕获图像的像机相对于基准的位置与方向。

地理信息系统可以包括地理区域的航拍图像的数据库。航拍图像可以从飞机捕获并可以从各种规范视点(诸如，北、南、东和西规范视点)中的一个提供地理区域的斜视透视角。航拍图像的数据库可关联于准确的姿势信息。与航拍图像相关联的已知姿势信息对于确定与基于地面的用户产生的图像相关联的相机参数可以是有价值的参考。

用于确定关联于图像的相机参数的各种技术是已知的，诸如束调整技术。为了这些技术提供良好精度，特征需要在图像集之间可靠地匹配。由于与地基图像和航拍图像相关联的相机视点和成像条件的较大差异，难以可靠地识别地基图像和航拍图像之间的匹配特征。

发明内容

本公开的实施例的方面和优点将部分在以下描述中阐述，或可从描述中了解，或者可通过实践实施例而了解。

本公开的一个示例方面涉及一种使地基图像与航拍图像对准的计算机实现的方法。该方法包括：由一个或多个计算设备获取从位于或接近地面水平的透视角捕获的地理区域的地基图像。该方法进一步包括：由一个或多个计算设备识别该地理区域的候选航拍图像；以及由一个或多个计算设备至少部分基于与该地基图像相关联的几何数据将该地基图像转换成弯曲图像，该弯曲图像具有与该候选航拍图像相关联的投影。该方法进一步包括：由一个或多个计算设备识别在该弯曲图像和该候选航拍图像之间的一个或多个特征匹配；以及由一个或多个计算设备至少部分地基于所述一个或多个特征匹配使该地基图像和该候选航拍图像对准。

本公开的其它方面涉及用于使地基图像和航拍图像对准的系统、装置、有形的非瞬时计算机可读介质、用户接口和设备。

各种实施例的这些和其他特征、方面以及优点参照以下描述和所附的权利要求将变得更好理解。附图(其被并入并构成本说明书的一部分)示出本公开的实施例，以及和描述一起用于解释相关原理。

附图说明

针对本领域普通技术人员的实施例的详细讨论在本说明书中阐述，其参考所附附图，其中：

图1描绘地理区域的示例地基图像；

图2描绘与地基图像相关联的示例点云；

图3描绘用于描述地理区域的示例航拍图像；

图4描绘与航拍图像相关联的示例几何数据；

图5描绘根据本公开的示例实施例的用于使地基图像和航拍图像对准的示例方法的流程图；

图6描绘根据本公开的示例实施例的用于识别候选航拍图像的示例方法的流程图；

图7描绘根据本公开的示例实施例识别的示例候选航拍图像；

图8描述根据本公开的示例实施例的用于归一化(normalize)候选航拍图像的示例方法的流程图；

图9描绘根据本公开的示例实施例的地基图像到具有与航拍视图相关联的透视角的弯曲图像的示例转换；

图10描绘根据本公开的示例实施例的在弯曲图像和候选航拍图像之间的示例特征匹配；

图11描绘根据本公开的示例实施例的至少部分基于一个或多个匹配特征来使地基图像和候选航拍图像对准的示例方法的流程图；

图12描绘根据本公开的示例实施例的用于使候选航拍图像和地基图像对准的示例方法的流程图；以及

图13描绘根据本公开的示例实施例的示例计算系统。

具体实施方式

现在将详细参考实施例，一个或多个其示例示于附图中。每个实施例是通过解释实施例的方式来提供，而非限制本发明。事实上，对本领域技术人员显而易见的是：可对所述实施例进行各种修改和变化，而不脱离本公开的范围或精神。例如，示出为或描述为一个实施例的一部分的特征可以与另一个实施例一起使用，以产生又一个实施例。因此，可以预期本发明的各方面覆盖这样的修改和变化。

概述

一般而言，本公开的示例方面涉及使从位于或接近地面水平的透视角获取的地理区域的地基图像和从例如倾斜透视角获取的航拍图像集合对准。更具体地，可能希望使用与航拍图像相关联的已知相机参数信息来确定用于地基图像的相机参数信息，诸如相机姿势。特征需要在地基图像和航拍图像之间可靠地匹配，以基于和航拍图像相关联的相机参数来准确识别用于地基图像的相机参数。给定与地基图像和航拍图像相关联的相机透视角和成像条件的较大差异，地基图像和航拍图像之间的匹配特征可以是困难的。

根据本公开的示例方面，与第一透视角相关联的图像以及与第二透视角相关联的图像被对准，使得可以识别和图像相关联的一个或多个相机参数和/或其他特性。例如，可使地理区域的地基图像和航拍图像对准。本公开的示例方面参照使地基图像和航拍图像对准进行讨论。从其他透视角捕获的图像也可以被对准，而不偏离本公开的范围。

在一个具体示例中，可识别候选航拍图像以用于与地基图像对准。候选航拍图像可以例如使用自动裁剪过程进行识别，所述自动裁剪过程至少部分地基于与地基图像相关联的地理位置来裁剪航拍图像。

一旦候选航拍图像已被识别，与地基图像相关联的几何数据可以被获取，并用来将地基图像弯曲到与候选航拍图像相关联的透视角。例如，从用户生成的图像和其他地基图像生成的点云可用于构造用户产生的图像的深度图。深度图可用来将地基图像重新投影到与航拍视图相关联的投影。

弯曲图像和候选航拍图像之间的一个或多个特征匹配然后可以使用特征匹配技术进行识别。在一个实施例中，候选航拍图像可以被归一化，以促进弯曲图像和候选航拍图像之间的特征匹配。该归一化可以解决航拍图像的视觉属性，诸如阴影朝北的面。

匹配特征可用于使地基图像和候选航拍图像对准。例如，在一个实施例中，所述匹配特征可用于估计地基图像的相似性转换。该相似性转换可转换与地基图像相关联的几何数据(例如，至少部分地基于地基图像确定的点云)，以与和候选航拍图像相关联的几何数据(例如，从航拍图像生成的多边形网格)对准。在其他实施例中，一个或多个相机参数(例如，姿势)可使用匹配特征进行确定和/或精化。例如，束调整算法可用于使用和候选航拍图像的特征匹配来精化地基图像的姿态并地理参考在地基图像中描绘的特征。

作为一个示例，用户可以从位于或接近地面水平的透视角捕获地标的图像。具有已知姿势信息并描绘地标的候选航拍图像可以被识别。与用户生成的图像相关联的几何数据可被获取，并用于将用户生成的图像弯曲到与地标的候选航拍图像相关联的投影。与地标相关联的特征可在弯曲图像和候选航拍图像之间匹配。可以从与用户生成的图像相关联的几何数据和从与候选航拍图像相关联的几何数据确定在匹配特征之间的三维点至点对应关系。可以通过定位、缩放和旋转与用户生成的图像相关联的几何数据来转换与用户生成的图像相关联的几何数据，以与和候选航拍图像相关联的几何数据更对准。用户生成的图像的精化相机姿势/或地理位置信息也可以基于匹配特征进行确定。相机姿势和/或地理位置信息可用于例如至少部分地基于用户生成的图像来产生或增强地标的三维模型。

将参考使地基图像和候选航拍图像对准来讨论本公开的示例方面，用于说明和讨论。使用本文提供的公开，本领域普通技术人员将明白候选航拍图像可以类似地与地基图像对准，而不脱离本公开的范围。

示例地基图像和航拍图像

图1描绘示例地基图像100。地基图像100描绘从位于或接近地面水平的透视角捕获的地标102。地基图像100可以是由用户利用数码相机或其他设备捕获的用户产生的图像。地基图像100可以具有相关联的几何数据。例如，地基图像100可以由立体相机或被配置为捕获具有相关联的深度数据的图像(例如，RGBZ图像)的其它相机捕获。

与地基图像100相关联的深度数据可以包括图像的深度图。在其他实施例中，与地基图像相关联的几何数据可以包括至少部分地基于几何数据产生的点云。点云提供与在图像中描绘的选择点相关联的深度/位置和色彩。

图2描绘和地基图像100相关联的示例点云110。点云110可以例如至少部分地基于地标102捕获的多个地基图像120产生(图1)。多个地基图像120可以是由捕获地基图像100的相同用户捕获的图像。替选地，多个图像120可以是地标102的先前捕获并存储在存储器中的图像，诸如在地理信息系统的数据库中。

来自运动的结构(structure-from-motion)技术可用于从多个图像120产生点云110。来自运动的结构技术通常涉及检测多个图像中的特征。所检测的特征的运动然后可以通过多个图像进行跟踪。图像上的特征轨迹然后可用于确定特征在三维空间中的位置。来自运动的结构技术也可用于确定多个图像中的图像相对于基准的姿势，所述基准诸如另一地基图像的相机位置。

在某些实施例中，点云110可用于使用例如立体匹配技术来产生地基图像100的深度图。例如，平面扫描算法可用于使用点云110来产生地基图像的深度图。其它技术可用于生成图像100的深度图，而不脱离本公开的范围。

图3描述示例航拍图像130，其描绘了从相对于地理区域的倾斜透视角捕获的地标102。当飞机飞行在该地理区域上时，航拍图像130可以从安装在飞机上的相机捕获的多个图像产生。航拍图像130可以是存储在例如地理信息系统中的精确地理参考的图像。

更具体地，地理信息系统可以包括沿着地理区域的各个规范视点捕获的地理区域的航拍图像130，诸如沿着北、南、东、西方向。该航拍图像130可以根据地理坐标进行存储和索引。航拍图像130可用于向地理信息系统的用户提供从倾斜透视角的地理区域的交互表示。

航拍图像130也可以具有相关联的几何数据，诸如和航拍图像130相关联的点云或深度图。在一个实施例中，几何数据可以包括至少部分地基于航拍图像130产生的多边形网格。图4描绘至少部分地基于航拍图像130产生的示例多边形网格140。多边形网格140可提供在航拍图像130中描绘的地理区域的三维模型，包括地标102的模型。多边形网格140可以是从航拍图像130产生的立体重构。更具体地说，特征可以被检测并在用于构建航拍图像130的多种图像中彼此关联。点可用于从航拍图像130确定多边形网格。

可以期望使图1的地基图像100和图3的航拍图像130对准。更具体地，可以期望确定：相对于和航拍图像130相关联的基准，地基图像100的姿势和/或在地基图像100中描绘的对象的地理位置(与和其它地基图像相关联的基准相对)。在其它方面，可以期望使与地基图像100相关联的几何数据和与航拍图像130相关联的几何数据对准，例如，以便和地基图像100相关联的几何数据可以被合并或以其它方式用于修改或精化与航拍图像130相关联的几何数据。

用于使地基图像和航拍图像对准的示例方法

图5示出根据本公开的示例方面的用于使地基图像和航拍图像对准的示例方法(200)的流程图。该方法(200)可以由一个或多个计算设备实现，诸如图13所示的一个或多个计算设备。此外，图5描绘以特定顺序执行的步骤用于示例和讨论的目的。本领域的普通技术人员使用本文提供的公开将理解：本文所公开的任何方法的各种步骤可以省略、改编、修改、重新排列、或以各种方式扩展，而不偏离本公开的范围。

在(202)，方法(200)可包括：获取地理区域的地基图像。例如，可以获取从位于或接近地面水平的透视角捕获的图1的地基图像100。如本文所用，获取地基图像可以是例如使用图像捕获设备(例如，数字相机)捕获地基图像或访问存储在例如存储器中的地基图像。

在图5的(204)，方法(200)可以包括：识别候选航拍图像以与地基图像对准。在例如地理信息系统中可访问的航拍图像可以包括用于许多不同地理区域的图像。此外，航拍图像对于多个视点可以是可获得的，诸如北视点、南视点、东视点和西视点。为了便于与航拍图像对准，可以识别描绘在地基图像中所示的地理区域的候选航拍图像。

根据本公开的特定方面，可以使用自动裁剪过程识别用于与地基图像对准的候选航拍图像，该自动裁剪过程基于和地基图像相关联的地理位置数据选择并裁剪航拍图像。图6描绘根据本公开的示例实施例的用于识别候选航拍图像的示例方法(300)的流程图。图6的方法(300)可以由一个或多个计算设备来实现，诸如图13描述的一个或多个计算设备。

在图6的(302)，方法(300)包括：选择一组航拍图像。例如，可以选择与特定视图方向(例如，北视图方向)相关联的航拍图像用于分析。这组航拍图像可以例如至少部分地基于与地基图像相关联的视图方向进行选择。更具体地，地基图像的姿势可以例如从来自运动的结构技术是已知的，该技术至少部分地基于所述地基图像执行。地基图像的姿势可用于选择和与地基图像的视图方向更紧密对准的视图方向相关联的一组航拍图像。替选地，反复试验法可以用来选择一组航拍图像。

在(304)，可以获取与地基图像相关联的地理位置数据。例如，地基图像可具有相关联的元数据，该元数据指示图像被捕获的地理位置。该元数据可以例如从定位系统(例如，GPS系统或其它定位系统)生成，该定位系统和用于捕获地基图像的图像捕获设备相关联。可以使用用于获得指示与地基图像相关联的地理位置的数据的其它技术，而不脱离本公开的范围。

地理位置数据可以包括二维坐标(纬度和经度)或三维坐标(纬度、经度和高度)。在仅纬度和经度坐标可用的情况下，可使用与地基图像相关联的几何数据来估计高度坐标。例如，该高度可以被计算为在和地基图像相关联的几何数据中的相邻区域中的点的平均高度。

在(306)，方法(300)包括：至少部分地基于和地基图像相关联的地理位置数据，识别用于裁剪该组航拍图像的中心像素。更具体地，具有和地基图像的地理位置相关联的地理坐标的航拍图像的像素可被选择被中心像素。如果航拍图像还没有地理参考，诸如随机抽样一致(RANSAC)过程的过程可用于例如基于用于捕获航拍图像的航拍相机的已知地理位置而向航拍图像中的每个像素分配地理坐标。一旦用于每个像素的地理坐标已经确定，中心象素可以被选择为具有和地基图像的地理位置相称的地理坐标的像素。

在(308)，识别用于裁剪航拍图像的裁剪尺寸。在一个示例实现方式中，裁剪尺寸可以是预定义的裁剪尺寸。例如，裁剪尺寸可以预定义为1001像素×1001像素。替选地，裁剪尺寸可基于所述地基图像进行确定。例如，和地基图像相关联的点云可以被投影到和航拍图像相关联的透视角。在航拍图像空间中的点云的边界框可用于确定裁剪航拍图像的裁剪尺寸。

在(310)，方法(300)包括：基于中心像素和裁剪尺寸来裁剪该组航拍图像。作为一个示例，对于识别的中心像素(cx，cy)和1001像素×1001像素的裁剪尺寸，航拍图像可以被裁剪为(cx-500，cy-500)-＞(cx+500，cy+500)。裁剪的航拍图像可以被识别为用于与地基图像对准的候选航拍图像。

图7描绘了示例候选航拍图像150，其描绘了根据本公开的示例方面识别的地标102。该候选航拍图像150可以通过至少部分地基于和图1的地基图像100相关联的地理位置数据来裁剪图3的航拍图像130进行识别。

返回参照图5，在(206)，方法(200)可以包括：归一化候选航拍图像，以便利特征匹配。由于空气的混浊效果，航拍图像趋于平滑。此外，航拍图像通常在明媚的日子和建筑物的向北面捕获，以及在航拍图像中描绘的地标可以在阴影中。为了解决这些问题，候选航拍图像可以被归一化，以提高特征匹配的成功。

图8示出根据本公开的示例方面的用于归一化航拍图像的一个示例方法(320)。该方法(320)可以由一个或多个计算设备实施，诸如图13描绘的一个或多个计算设备。在图8的(322)，方法(320)包括访问候选航拍图像。例如，候选航拍图像可以从存储器进行访问。候选航拍图像可以具有在红绿蓝(RGB)空间中定义的像素值。在(324)，候选航拍图像从RGB空间转换为色调饱和度值(HSV)空间。航拍图像的值通道中的噪音然后可以被过滤(326)。例如，航拍图像的V通道可以使用降噪和非锐化屏蔽进行增强。其它合适的技术可用于归一化候选航拍图像，而不脱离本公开的范围。例如，双向滤波可用于归一化候选航拍图像。作为另一示例，基于小波的操作可用于归一化候选航拍图像。

返回参照图5，在(208)，方法(200)可以包括：将地基图像转换为具有和候选航拍图像相关联的投影的弯曲图像。更具体地，地基图像可以被弯曲为和与候选航拍图像对准的视图透视角相关联的图像面。图9描绘根据本公开的示例方面的地基图像到弯曲图像的示例转换。如图所示，描绘地标102的地基图像100已被转换为弯曲图像160。弯曲图像160具有和用于与地基图像对准所识别的候选航拍图像相关联的投影，诸如图7的候选航拍图像150。

在一个示例实施方式中，地基图像可以至少部分地基于和地基图像相关联的几何数据而转换为具有和候选航拍图像相关联的投影的弯曲图像。例如，可以访问至少部分地基于所述地基图像导出的点云。地基图像的深度图可从点云计算。例如，深度图可以例如使用平面拟合技术产生，诸如例如平面扫描算法或其他技术。

在一个具体实施方式中，深度平滑过程可用于降低噪声。RANSAC过程可被执行，以将平面拟合到点。对于每次试验，平面可以拟合到所选数量的点(例如，3点)。然后可确定在到平面的阈值距离内的点的数量。如果多于阈值数量的点在到平面的阈值距离内，该平面可以被确定为存在。然后可以对点建议深度。每个点的最终深度值可以是点的所有深度建议和其原始深度的平均。

一旦深度图已经产生，该深度值可用来将地基图像投影到和候选航拍图像相关联的图像平面。例如，该深度值可用于将地基图像投影到与候选航拍图像相关联的新的投影。该新的投影可以将深度值映射到与候选航拍图像相关联的图像平面。

可以使用类似于画家算法的迭代过程将孔填充在弯曲图像中。在第一次迭代中，地基图像中的每个像素可在与候选航拍图像相关联的投影中具有n的支撑尺寸。n×n的矩形可以弯曲到与候选空间图像相关联的投影。深度缓冲(z缓冲)可以维持，以将最近点绘制到弯曲图像。对于每个连续迭代，支撑大小可以减少1，以及可以执行绘制。一旦绘制完成，可从弯曲图像计算二进制掩模。1的二进制掩码值可以被分配给任何绘制像素。否则，二进制掩码值是0。掩模可扩张以识别小孔。内插(诸如，双线性内插)可用于填充弯曲图像中的通孔。

返回参照图5，在(210)，方法(200)包括：识别弯曲图像和候选航拍图像之间的一个或多个匹配特征。更具体地，特征匹配技术可用于识别在弯曲图像和候选航拍图像中的匹配特征。特征匹配技术比较图像中的所检测的特征，以确定对应于由捕获图像描绘的场景中的某个固定点的特征组。特征可以例如基于外观或基于特征相似性进行匹配。任何合适的特征匹配技术可用于识别匹配的特征，诸如尺度不变特征变换(SIFT)技术或其他合适的特征匹配技术。

将地基图像转换为具有和候选航拍图像相关联的投影的弯曲图像便于识别在地基图像和候选航拍图像之间的匹配特征。例如，图10描绘在归一化的候选航拍图像170和弯曲图像160之间的匹配特征的示例识别。在候选航拍图像170和弯曲图像160之间的多个行指示所识别的匹配特征。

返回参照图5，在(212)，方法(200)可以包括：至少部分地基于一个或多个匹配的特征，使地基图像与候选航拍图像对准。使地基图像与候选航拍图像对准可以包括例如：确定地基图像相对于候选航拍图像的姿势，至少部分地基于候选航拍图像来地理参考地基图像，和/或使与地基图像相关联的几何数据和与候选航拍图像相关联的几何数据对准。

在一个实施例中，至少部分地基于一个或多个匹配特征使地基图像与候选航拍图像对准可包括：使用一个或多个匹配特征来调整与地基图像相关联的姿势。例如，束调整算法可用于至少部分地基于在弯曲图像和候选航拍图像之间的匹配特征来调整地基图像的姿势，并地理参考在地基图像中描绘的对象。

在另一个实施例中，使地基图像对准可以包括：使与地基图像相关联的几何数据和与候选航拍图像相关联的几何数据对准。更具体地，可对于地基图像估计相似性转换。相似性转换可以转换与地基图像相关联的几何数据，以更与和候选航拍图像相关联的几何数据对准。

图11描绘根据本公开的示例实施例的用于使与地基图像相关联的几何数据和与候选航拍图像相关联的几何数据对准的示例方法(400)。该方法(400)可以由一个或多个计算设备来实现，诸如图13所述的一个或多个计算设备。

在(402)，方法(400)包括：获取与地基图像相关联的第一几何数据。例如，可以获取对于地基图像生成的深度图。深度图可以例如至少部分地基于和地基图像相关联的点云产生。

在(404)，方法(400)包括：获取与候选航拍图像相关联的第二几何数据。第二几何数据可以是与候选航拍图像相关联的深度图。在一个实施方式中，深度图可以与至少部分地基于候选航拍图像产生的多边形网格相关联。

在(406)，方法(400)使用第一几何数据和第二几何数据为每个匹配特征确定三维点至点对应关系。例如，可在和地基图像相关联的第一几何数据中为匹配特征确定第一三维点。可在和候选航拍图像相关联的第二几何数据中为匹配特征确定第二三维点。第一三维点可映射到第二三维点，作为匹配特征的三维点对点对应关系。

在(408)，至少部分地基于每个匹配特征的三维点对点对应关系为地基图像计算相似性转换。在特定实施方式中，相似性转换可使用RANSAC过程并通过实施点图案算法之间的转换参数的最小二乘估计计算。该转换参数可以包括旋转参数、平移参数和缩放参数，用于旋转、平移和缩放与地基图像相关联的几何数据，以与候选航拍图像更对准。根据本公开的具体方面，旋转参数、平移参数和缩放参数可被估计以提供从与匹配特征相关联的三维点对点对应关系确定的点图案之间的最小平方误差。

在(410)，使用相似性转换，可以将与地基图像相关联的几何数据转换为对准几何数据，该对准几何数据与和候选航拍图像相关联的几何数据更紧密地对准。对准的几何数据可以用于例如以更新或精化与候选航拍图像相关联的几何数据，诸如从候选航拍图像生成的多边形网格。

使航拍图像和地基图像对准的示例方法

参考使地基图像和候选航拍图像对准讨论了本公开的示例方面，用于示例和讨论。使用本文提供的公开的那些本领域普通技术人员将理解候选航拍图像可以被与地基图像对准，而不脱离本公开的范围。

例如，图12描绘根据本公开的示例实施例的用于使候选航拍图像和地基图像对准的示例性方法(500)。该方法(500)可以通过一个或多个计算设备实施，诸如在图13中描述的一个或多个计算设备。类似于图5所示的方法(200)，图12的方法(500)可包括：获取地理区域的地基图像(502)；识别地理区域的候选航拍图像(504)；和归一化候选航拍图像(506)。

在(508)，方法(500)可包括：将候选航拍图像转换为具有和地基图像相关联的投影的弯曲图像。更具体地，候选航拍图像可以弯曲为和与地基图像对准的视图透视角相关联的图像平面。在一个示例性实现中，可以至少部分地基于与候选航拍图像相关联的几何数据，将候选航拍图像转换为具有和地基图像相关联的投影的弯曲图像。例如，可以访问至少部分地从候选航拍图像导出的多边形网格。可以从多边形网格来确定候选航拍图像的深度图。例如，可以例如从多边形网格确定在候选航拍图像中像素的深度值。一旦深度图已经产生，深度值可用于将候选航拍图像投影到与地基图像相关联的图像平面。例如，该深度值可用于将候选航拍图像投影到与地基图像相关联的新的投影。

在(510)，方法(500)可以包括：识别弯曲图像和地基图像之间的一个或多个匹配特征。更具体地，特征匹配技术可用于识别弯曲图像和地基图像中的匹配特征。在(512)，方法(500)可包括：使候选航拍图像和地基图像对准。使地基图像和候选航拍图像对准可包括例如：确定地基图像相对于候选航拍图像的姿势，将地基图像地理参考到候选航拍图像，和/或使和地基图像以及候选航拍图像相关联的几何数据对准。

例如，在一个实施例中，相似性转换可被确定以提供转换参数(例如，旋转参数、平移参数、缩放参数)，以转换与候选航拍图像相关联的几何数据，用于与和地基图像相关联的几何数据更加对准。替选地，相似性转换可以被确定以提供转换参数，以转换与地基图像相关联的几何数据，用于与和候选航拍图像相关联的几何数据更对准。

用于使地基图像和航拍图像对准的示例系统

图13描绘根据本公开的示例方面的用于实施方法和系统的计算系统600。系统600可以使用客户端-服务器体系结构实施，其包括经过网络640与一个或多个客户端设备630进行通信的服务器610。系统600可以使用其它合适的结构实施，诸如单个计算设备。

系统600包括服务器610，诸如web服务器。该服务器610可以托管地理信息系统。服务器610可以使用任何合适的计算设备来实现。服务器610可具有一个或多个处理器612和存储器614。服务器610也可包括网络接口，用于经过网络640与一个或多个客户端设备630进行通信。网络接口可包括用于与一个或多个网络接口的任何合适组件，包括例如发射机、接收机、端口、控制器、天线或其他合适的组件。

一个或多个处理器612可包括任何合适的处理设备，诸如微处理器、微控制器、集成电路、逻辑设备或其它合适的处理设备。存储器614可包括任何一个或多个计算机可读介质，包括但不限于非瞬时计算机可读介质、RAM、ROM、硬盘驱动器、闪存驱动器或其他存储器设备。存储器614可存储由一个或多个处理器612访问的信息，包括可以由一个或多个处理器612执行的计算机可读指令616。指令316可以是任何指令集，当由一个或多个处理器612执行时，使得所述一个或多个处理器612执行操作。例如，指令616可由一个或多个处理器612执行以实施一个或多个模块，所述模块被配置为实施对准模块620和/或本文公开的任何方法的各方面。

根据本公开的示例方面，对准模块620可被配置为使地基图像和航拍图像对准。该对准模块620可以包括一个或多个模块，诸如裁剪模块、归一化模块、弯曲模块和特征匹配模块。裁剪模块可被配置为识别候选航拍图像，用于使用自动剪裁过程来与地基图像对准，所述过程诸如图6的方法(300)。归一化模块可被配置为处理或归一化候选航拍图像，以便利特征匹配，例如根据图8的方法(320)。弯曲模块可被配置为将地基图像转换为具有与候选航拍图像相关联的投影的弯曲图像(或反之亦然)。该特征匹配模块可被配置为识别弯曲图像和候选航拍图像之间的一个或多个匹配特征。对准模块620可被配置为至少部分地基于匹配特征使地基图像和候选航拍图像对准。

可以理解，术语“模块”指用于提供所需功能的计算机逻辑。因此，模块可以硬件、专用电路、固件和/或控制通用处理器的软件实施。在一个实施例中，模块是存储在存储设备上、加载到存储器、并由处理器执行或可以从计算机程序产品提供的程序代码文件，例如计算机可执行指令，该计算机程序产品存储在有形的计算机可读存储介质中，诸如RAM，硬盘或光或磁介质。当软件被使用时，任何合适的编程语言或平台可用于实现该模块。

存储器614还可以包括可以由一个或多个处理器612检索、操纵、创建或存储的数据618。数据618可以包括例如地基图像(例如，用户生成的图像)、航拍图像、相机参数、与地基图像和候选航拍图像相关联的几何数据、以及其他信息。数据618可以存储在一个或多个数据库中。一个或多个数据库可以通过高带宽LAN或WAN连接到服务器610，或者也可以通过网络640连接到服务器610。一个或多个数据库可以被分裂，使它们位于多个位置。

服务器610可通过网络640与一个或多个客户端设备630交换数据。虽然两个客户设备630示于图13，但是任何数量的客户端设备630可以经过网络640连接到服务器610。每个客户端设备630可以是任何合适类型的计算设备，诸如通用计算机、专用计算机、膝上型计算机、台式计算机、移动设备，智能电话、平板电脑、可穿戴计算设备、具有一个或多个处理器的显示器、或其它合适的计算设备。

类似于服务器610，客户端设备630可以包括一个或多个处理器632以及存储器634。一个或多个处理器632可以包括一个或多个中央处理单元(CPU)、专用于有效地渲染图像的图形处理单元(GPU)和/或其他处理设备。存储器634可以包括一个或多个计算机可读介质，并且可以存储可由一个或多个处理器632访问的信息，包括可以由一个或多个处理器632执行的指令636和数据638。例如，存储器634可以存储指令636，用于实现用户接口模块和渲染模块，用于向用户呈现地理区域的交互式图像。交互式图像可以至少部分地基于与候选航拍图像对准的地基图像产生。

图13的客户端设备630可包括各种输入/输出设备，用于提供和从用户接收信息，诸如触摸屏、触摸垫、数据输入键、扬声器和/或适合于语音识别的麦克风。例如，客户端设备630可以具有显示器635，用于向用户呈现地理区域的地理图像。

客户端设备630还可以包括网络接口，用于经过网络640与一个或多个远程计算设备(例如，服务器610)通信。网络接口可包括任何合适的组件，用于与一个多个网络接口，包括例如发射机、接收机、端口、控制器、天线或其他合适的组件。

网络640可以是任何类型的通信网络，诸如局域网(例如，内联网)、广域网(例如，因特网)、蜂窝网络或它们的某个组合。网络640还可以包括客户端设备630和服务器610之间的直接连接。在一般情况下，服务器610和客户机设备630之间的通信可以通过使用任何类型的有线和/或无线连接的网络接口执行，使用各种通信协议(例如，TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如，HTML、XML)和/或保护方案(例如，VPN、安全HTTP、SSL)。

本文中所讨论的技术参考服务器、数据库、软件应用和其他基于计算机的系统、以及采取的动态和发送往来于这些系统的信息。本领域的普通技术人员将认识到：基于计算机的系统的固有灵活性允许多种可能的配置、组合、以及组件之间任务和功能的划分。例如，这里讨论的服务器进程可以使用单个服务器或结合工作的多个服务器来实现。数据库和应用可以在单一系统实施或分布在多个系统中。分布式组件可以顺序地或并行地运行。

虽然关于以具体示例实施例对本主题进行了详细的描述，但应该理解本领域技术人员一旦获得前述的理解，可容易地产生这些实施例的变更、变化和等效。因此，该公开的范围是通过举例的方式而不是通过限制的方式，并且对本领域的普通技术人员显而易见的是，本主题公开不排除包括对本主题的修改、变型和/或添加。

Claims (20)

1.一种使地基图像与航拍图像对准的计算机实现的方法，所述方法包括：

由一个或多个计算设备获取从位于或接近地面水平的透视角捕获的地理区域的地基图像；

由所述一个或多个计算设备识别所述地理区域的候选航拍图像；

由所述一个或多个计算设备至少部分地基于与所述地基图像相关联的几何数据，通过将所述地基图像的图像平面投影到与所述候选航拍图像相关联的图像平面来将所述地基图像转换成弯曲图像；

由所述一个或多个计算设备识别在所述弯曲图像和所述候选航拍图像之间的一个或多个特征匹配；和

由所述一个或多个计算设备至少部分基于与所述一个或多个特征匹配相关联的几何数据使所述地基图像和所述候选航拍图像对准。

2.如权利要求1所述的方法，进一步包括：在识别所述弯曲图像和所述候选航拍图像之间的所述一个或多个特征匹配之前，由所述一个或多个计算设备归一化所述候选航拍图像。

3.如权利要求2所述的方法，其中，由一个或多个计算设备归一化所述候选航拍图像包括：

由所述一个或多个计算设备将所述候选航拍图像从红、绿、蓝(RGB)空间转换到色相、饱和度、值(HSV)空间；以及

由所述一个或多个计算设备减少所述色相、饱和度、值空间中的所述航拍图像的值通道中的噪声。

4.如权利要求1所述的方法，其中，由一个或多个计算设备识别所述地理区域的候选航拍图像包括：

由所述一个或多个计算设备获取与所述地基图像相关联的地理位置数据；以及

由所述一个或多个计算设备至少部分地基于所述地理位置数据来裁剪所述地理区域的航拍图像以识别所述候选航拍图像。

5.如权利要求4所述的方法，其中，由所述一个或多个计算设备至少部分地基于所述地理位置数据来裁减航拍图像以识别所述候选航拍图像包括：

由所述一个或多个计算设备确定中心像素；

由所述一个或多个计算设备至少部分地基于与所述地基图像相关联的所述几何数据来确定裁减尺寸；以及

由所述一个或多个计算设备至少部分地基于所述裁减尺寸和所述中心像素来裁剪所述航拍图像。

6.如权利要求1所述的方法，其中，至少部分地基于为所述地基图像产生的深度图，将所述地基图像转换为弯曲图像。

7.如权利要求1所述的方法，其中，由所述一个或多个计算设备至少部分地基于与所述一个或多个特征匹配相关联的几何数据来使所述地基图像与所述候选航拍图像对准包括：由所述一个或多个计算设备确定用于所述地基图像的相似性转换，所述相似性转换被配置为转换与所述地基图像相关联的几何数据，以与和所述候选航拍图像相关联的几何数据更对准。

8.如权利要求7所述的方法，其中，由所述一个或多个计算设备确定用于所述地基图像的相似性转换包括：

由所述一个或多个计算设备获取与所述地基图像相关联的第一几何数据；

由所述一个或多个计算设备获取与所述候选航拍图像相关联的第二几何数据；

由所述一个或多个计算设备至少部分地基于所述第一几何数据和所述第二几何数据来确定用于所述一个或多个特征匹配中的每一个的三维点至点对应关系；

由所述一个或多个计算设备至少部分地基于所述三维点对点对应关系来确定所述相似性转换；以及

使用相似性转换将所述第一几何数据转换为对准的几何数据。

9.如权利要求1所述的方法，其中，由所述一个或多个计算设备至少部分地基于与所述一个或多个特征匹配相关联的几何数据来使所述地基图像与所述候选航拍图像对准包括：由所述一个或多个计算设备至少部分地基于所述一个或多个特征匹配来调整与所述地基图像相关联的姿势。

10.如权利要求9所述的方法，其中，与所述地基图像相关联的姿势是使用束调整算法来调整的。

11.如权利要求9所述的方法，其中，所述方法进一步包括：至少部分地基于与所述地基图像相关联的姿势来产生三维模型。

12.如权利要求1所述的方法，其中，所述地基图像是用户生成的图像。

13.如权利要求1所述的方法，其中，所述候选航拍图像提供对所述地理区域的斜视透视角。

14.一种计算系统，包括：

一个或多个处理器；和

存储计算机可读指令的一个或多个计算机可读介质，所述计算机可读指令在由所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括：

获取从位于或接近地面水平的透视角捕获的地理区域的地基图像；

识别所述地理区域的候选航拍图像；

至少部分地基于与所述候选航拍图像相关联的几何数据，通过将与所述候选航拍图像相关联的图像平面投影到与所述地基图像相关联的图像平面来将所述候选航拍图像转换成弯曲图像；

识别所述弯曲图像和所述地基图像之间的一个或多个特征匹配；以及

至少部分地基于与所述一个或多个特征匹配相关联的几何数据使所述候选航拍图像与所述地基图像对准。

15.如权利要求14所述的计算系统，其中，识别所述地理区域的候选航拍图像的操作包括：

获取与所述地基图像相关联的地理位置数据；以及

至少部分地基于所述地理位置数据来裁剪所述地理区域的航拍图像以识别所述候选航拍图像。

16.如权利要求14所述的计算系统，其中，至少部分地基于与所述一个或多个特征匹配相关联的几何数据来使所述地基图像与所述候选航拍图像对准的操作包括：确定用于所述候选航拍图像的相似性转换，所述相似性转换被配置为转换与所述候选航拍图像相关联的几何数据，以与和所述地基图像相关联的几何数据更对准。

17.如权利要求14所述的计算系统，其中，至少部分地基于所述一个或多个特征匹配来使所述地基图像与所述候选航拍图像对准的操作包括：确定用于所述地基图像的相似性转换，所述相似性转换被配置为转换与所述地基图像相关联的几何数据，以与和所述候选航拍图像相关联的几何数据更对准。

18.一种使地基图像与航拍图像对准的系统，所述系统包括：

用于获取从位于或接近地面水平的透视角捕获的地理区域的地基图像的装置，所述地基图像与第一几何数据相关联；

用于识别所述地理区域的候选航拍图像的装置，所述候选航拍图像与第二几何数据相关联；

用于至少部分地基于所述第一几何数据，通过将所述地基图像的图像平面投影到与所述候选航拍图像相关联的图像平面来将所述地基图像转换成弯曲图像的装置；

用于识别所述弯曲图像和所述候选航拍图像之间的一个或多个特征匹配的装置；以及

用于至少部分地基于与所述一个或多个特征匹配相关联的几何数据，使所述地基图像与所述候选航拍图像对准的装置。

19.如权利要求18所述的系统，其中，用于至少部分地基于与所述一个或多个特征匹配相关联的几何数据来使所述地基图像与所述候选航拍图像对准的所述装置包括：用于确定用于所述地基图像的相似性转换的装置，所述相似性转换被配置为转换与所述地基图像相关联的所述第一几何数据，以与和所述候选航拍图像相关联的所述第二几何数据更对准。

20.如权利要求18所述的系统，其中，用于至少部分地基于与所述一个或多个特征匹配相关联的几何数据来使所述地基图像与所述候选航拍图像对准的所述装置包括：用于至少部分地基于所述一个或多个特征匹配，调整与所述地基图像相关联的姿势的装置。