CN108447042B - 城市景观影像数据的融合方法及系统 - Google Patents

Abstract

本发明公开了一种城市景观影像数据的融合方法及系统，涉及地理信息技术领域，能够有效展示更全面的城市景观影像数据，提高城市景观影像数据展示的完整性。所述方法包括：获取通过地面采集设备采集到的第一城市景观影像数据；获取通过空中采集设备采集到的第二城市景观影像数据；按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，所述预设映射关系为所述第一城市景观影像数据、所述第二城市景观影像数据与地理坐标系之间的映射关系。本发明主要用于城市景观影像数据的融合。

Description

城市景观影像数据的融合方法及系统

技术领域

本发明涉及地理信息技术领域，特别是涉及一种城市景观影像数据的融合方法及系统。

背景技术

近年来，随着地理信息产业的高速发展，城市基础设施日新月异，人们对城市景观影像数据的真实、完整可视化表达的需求也越来越高。通过采集到的城市景观影像数据可以形成街景影像，街景影像是基于移动平台采集的城市景观全要素映射，在测绘、园林、城市市政、交通、公安等行业发挥了巨大作用。街景影像一般按固定距离间隔方式获得城市全要素影像，具有信息量丰富、可视可挖掘等特点，使得用户可以身临其境的感受到虚拟场景的效果。

然而，现有的街景影像仅仅显示有街道两旁的景观，不支持空中查看模式，导致城市街景影像信息无法完全覆盖包含建筑物顶部及城市道路等全部信息，使得用户无法观察到完整的街景影像。

发明内容

有鉴于此，本发明实施例提供一种城市景观影像数据的融合方法及系统，能够有效采集到更全面的城市景观影像数据，提高城市景观影像数据展示的完整性。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明实施例提供了一种城市景观影像数据的融合方法，该方法包括：

获取通过地面采集设备采集到的第一城市景观影像数据；

获取通过空中采集设备采集到的第二城市景观影像数据；

按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，所述预设映射关系为所述第一城市景观影像数据、所述第二城市景观影像数据与地理坐标系之间的映射关系。

进一步地，所述获取通过地面采集设备采集到的第一城市景观影像数据包括：

按照预设距离间隔设置采集视点；

控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据。

进一步地，所述控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据包括：

分别控制不同地面采集设备按照所述预设距离间隔获取正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据；

将所述正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据进行缝合，得到第一城市景观影像数据。

进一步地，所述按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据包括：

对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像；

对所述第二城市景观影像数据进行数据处理，构建俯视地面影像；

按照预设映射关系将所述地面街景影像与所述俯视地面影像进行对齐与拼接，得到融合后的城市景观影像数据。

进一步地，所述对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像包括：

利用图像尺寸空间构建第一城市景观影像数据中不同影像数据的金字塔模型，所述金字塔模型由所述影像数据中不同尺度空间的图像构建而成；

根据所述金字塔模型从所述不同影像数据中查找最佳匹配尺度空间的图像，建立不同影像数据之间的关联矩阵；

根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像。

进一步地，所述根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像包括：

获取具有关联关系的原始图像与匹配图像；

根据所述不同影像数据之间的关联矩阵，生成所述原始图像对应的映射图像；

扩展所述匹配图像，将所述映射图像拼接到扩展后的匹配图像中，构建地面街景影像。

另一方面，本发明实施例还提供了一种城市景观影像数据的融合系统，该系统包括：

第一获取单元，用于获取通过地面采集设备采集到的第一城市景观影像数据；

第二获取单元，用于获取通过空中采集设备采集到的第二城市景观影像数据；

拼接单元，用于按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，所述预设映射关系为所述第一城市景观影像数据、所述第二城市景观影像数据与地理坐标系之间的映射关系。

进一步地，所述第一获取单元包括：

设置模块，用于按照预设距离间隔设置采集视点；

获取模块，用于控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据。

进一步地，所述获取模块，具体用于分别控制不同地面采集设备按照所述预设距离间隔获取正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据；

所述获取模块，具体还用于将所述正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据进行缝合，得到第一城市景观影像数据。

进一步地，所述拼接单元包括：

第一构建模块，用于对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像；

第二构建模块，用于对所述第二城市景观影像数据进行数据处理，构建俯视地面影像；

拼接模块，用于按照预设映射关系将所述地面街景影像与所述俯视地面影像进行对齐与拼接，得到融合后的城市景观影像数据。

进一步地，所述第一构建模块包括：

构建子模块，用于利用图像尺寸空间构建第一城市景观影像数据中不同影像数据的金字塔模型，所述金字塔模型由所述影像数据中不同尺度空间的图像构建而成；

查找子模块，用于根据所述金字塔模型从所述不同影像数据中查找最佳匹配尺度空间的图像，建立不同影像数据之间的关联矩阵；

拼接子模块，用于根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像。

进一步地，所述拼接子模块，具体用于获取具有关联关系的原始图像与匹配图像；

所述拼接子模块，具体还用于根据所述不同影像数据之间的关联矩阵，生成所述原始图像对应的映射图像；

所述拼接子模块，具体还用于扩展所述匹配图像，将所述映射图像拼接到扩展后的匹配图像中，构建地面街景影像。

本发明实施例提供的一种城市景观影像数据的融合方法及系统，按照预设映射关系将通过地面采集设备采集到的第一城市景观影像数据与通过空中采集设备采集到的第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，将空中对地观测拍摄的城市影像与城市街景影像信息互补，构成了城市景观影像的全覆盖，从而提高城市景观影像数据展示的完整性。与现有技术的城市景观影像数据的融合方法相比，本发明实施例利用了空中采集方式具有俯视地面的优势，通过将空中采集设备采集到的第二城市景观影像数据拼接到地面采集设备采集到的第一城市景观影像数据中，能够有效采集到更全面的城市景观影像数据，支持从空中到地面的可视化浏览。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种城市景观影像数据的融合方法的流程示意图；

图2示出了本发明实施例提供的另一种城市景观影像数据的融合方法的流程示意图；

图3示出了本发明实施例提供的多角度影像数据的采集示意图；

图4示出了本发明实施例提供的图像的尺度空间金字塔模型示意图；

图5示出了本发明实施例提供的拼接后形成的城市景观影像的立体包模型示意图；

图6示出了本发明实施例提供的一种城市景观影像数据的融合系统的结构示意图；

图7示出了本发明实施例提供的另一种城市景观影像数据的融合系统的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种城市景观影像数据的融合方法，如图1所示，所述方法包括：

101、获取通过地面采集设备采集到的第一城市景观影像数据。

其中，地面采集设备可以为车载移动测量系统，也可以为其他能够采集地面数据的移动采集设备，本发明实施例不进行限定，第一城市景观影像数据为在地面采集设备所采集到的地面数据，例如，地面上建筑物的数据、地面上道路的数据。

对于本发明实施，地面采集设备采集第一城市景观影像数据的具体过程可以为：通过照相机记录道路中和道路两旁的物体，利用GPS/DR的集成数据，能够提供物体的绝对坐标和物体的尺寸，运用3D图像测量软件，可以将需要的信息从保存的图像中提取出来，从而获得采集到的第一城市景观影像数据。

示例性的，可以在车载移动设备上设置多台相机，分别布置在移动车载设备的前端、左侧和右侧，前端的相机主要用来获取前进方向的正前向影像，左侧的相机主要用来获取前进方向左侧面影像，右侧的相机主要用来获取前进方向右侧面影像，进而采集到不同角度的地面数据。

本发明实施例，获取通过地面采集设备采集到的第一城市景观影像数据，能够快速采集到空间信息和实景影像，实现了任意影像上的按需采集获取通过空中采集设备采集到的第二城市景观影像数据。

102、获取通过空中采集设备采集到的第二城市景观影像数据。

其中，空中采集设备可以为无人机设备，也可以为其他能够在空中采集地面数据的移动采集设备，本发明实施例不进行限定，第二城市景观影像数据为在空中采集设备的采集高度范围内所采集到的地面数据，由于地面采集设备在进行第一城市景观影像数据采集的过程中，无法采集到建筑物顶部、高层建筑侧面的城市景观影像数据，使得采集到的城市景观影像数据不够全面，因此，这里的第二城市景观影像数据通常为俯视地面所采集的地面数据，使得采集到的城市景观影像数据可以全覆盖城市景观。

本发明实施例，获取通过空中采集设备采集到的第二城市景观影像数据，能够快速采集到地面采集设备无法采集到的空间信息和实景影像，利用了空中采集设备在高度上灵活可变的优势，对地面采集设备无法采集到的空间数据进行补充以及优化，提高了地理信息数据采集的完备性。

103、按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据。

其中，预设映射关系为第一城市景观影像数据、第二城市景观影像数据与地理坐标系之间的映射关系，这里的地理坐标系可以为世界地理坐标系，由于第一城市景观影像数据与第二城市景观影像数据两种影像在拍摄过程中会出现尺寸大小不同、形成色彩不一致等现象，使得城市景观影像数据在融合过程中可能会出现两种影像的接缝处尺寸不一致以及色彩不均匀的情况，因此，需要按照预设映射关系将两种影像进行对齐与拼接。

对于本发明实施例，通过数学中坐标系变换可以建立第一城市景观影像数据对应图像坐标与地理坐标系对应的转换参数，进一步通过转换参数转换后可以得到地面影像在地理坐标系下对应的坐标，同理，通过地理坐标系变换可以建立第二城市景观影像数据对应图像坐标与地理坐标系对应的转换参数，进一步通过转换参数转换后可以得到空中俯视地面影像在地理坐标系下对应的坐标，进一步将空中俯视地面影像在地理坐标系下对应的坐标定位到地面影像中，得到融合后的城市景观影像数据。

本发明实施例提供的一种城市景观影像数据的融合方法，按照预设映射关系将通过地面采集设备采集到的第一城市景观影像数据与通过空中采集设备采集到的第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，将空中对地观测拍摄的城市影像与城市街景影像信息互补，构成了城市景观影像的全覆盖，从而提高城市景观影像数据展示的完整性。与现有技术的城市景观影像数据的融合方法相比，本发明实施例利用了空中采集方式具有俯视地面的优势，通过将空中采集设备采集到的第二城市景观影像数据拼接到地面采集设备采集到的第一城市景观影像数据中，能够有效采集到更全面的城市景观影像数据，支持从空中到地面的可视化浏览。

进一步地，本发明实施例提供另一种城市景观影像数据的融合方法，如图2所示，所述方法包括：

201、按照预设距离间隔设置采集视点。

对于本发明实施例，如果使用全景相机作为第一城市景观影像数据的采集设备，为了保证采集到更高覆盖率的城市景观影像，可以设置多个采集视点，并将各个采集视点之间设有预设距离间隔，可以沿着街景在地图上界址线的走向每隔20m设置一台全景相机，当然这里的预设距离间隔距离可以为30m、40m等，这里对预设距离间隔不进行限定，当然也可以设置更远或者更近，具体根据实际需求调整间隔距离；如果使用普通相机作为采集设备，可以沿着街景在地图上界址线的走向每隔20m设置在各个面分别架设普通相机，或者环绕采集点拍摄一圈影像，通过拼接成还物全景，同理，这里的间隔距离不进行限定。

需要说明的是，本发明实施例按照预设距离间隔设置采集视角，这里的预设距离间隔可以根据需求进行调整，进一步保证了街景中任意区域内可以完整并准确采集到全景影像数据。

202、控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据。

其中，地面采集设备用于采集指定范围内的街景图像数据，可以为全景相机，或者具有全景图像数据采集功能的普通相机等设备，本发明实施例不进行限定。考虑到获取采集视点不同角度的街景影像数据，可以设置多台地面采集设备，通过控制不同角度的地面采集设备获取采集视点对应街景的多角度影像数据，如在当前采集视点的不同方向上分别设置地面采集设备。

需要说明的是，当然为了保证各个采集视角采集街景影像数据的一致性，可以将每个采集视角的地面采集设备设置相同的时间间隔进行数据采集，也可以将每个采集视角的地面采集设备设置相同距离间隔进行数据采集，本发明实施例不进行限定。

对于本发明实施例，在控制地面采集设备按照预设距离间隔获取采集视点对应街景的多角度影像数据的过程中，具体可以分别控制不同地面采集设备按照预设距离间隔获取正前向影像数据、前进方向左侧面影像数据、迁就方向右侧面影像数据，进一步将正前向影像数据、前进方向左侧面影像数据、前进方向右侧方向影像数据进行缝合，得到第一城市景观影像数据。

示例性的，图3示出了多角度影像数据的采集示意图，如图3所示，图3中箭头为沿着街景的前进方向，这里可以静止设置6台普通相机，当然为了节约成本也可以在车载移动设备上设置6台普通相机，相机1和相机2用于采集正前向影像数据，相机3和相机4用于采集左侧面影像数据，相机5和相机6用于采集右侧面影像数据

203、获取通过空中采集设备采集到的第二城市景观影像数据。

由于第二城市景观影像数据为空中采集设备从空中俯视地面采集到的全景影像数据，空中采集设备的高度决定了采集的全景影像数据的范围，仅一个方向或者一个高度来扫描全景图像信息无法诠释出采集视点周围整体的图像信息，为了更全面的展示出采集视点的图像信息，需要通过从不同角度扫描采集视点区域范围内的全景影像数据，进一步获取更全面的俯视地面影像数据。

需要说明的是，为了保证地面采集设备采集到的地面街景影像数据与空中采集设备采集到的俯视地面影像数据保持同步，可以在地面采集设备上设置标靶，使得在各个采集视点所采集到的影像数据满足一致性。

204、对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像。

考虑到数据采集过程中车辆转向导致的相机焦距不同、拍摄方向不同带来的形变问题，本发明实施例对采集到的第一城市景观影像数据进行多尺度融合，构建采集视点位置的地面街景影像。

对于本发明实施例，在构建地面街景影像的具体步骤可以包括但不局限于下述实现方式，首先利用图像尺寸空间构建第一城市景观影像数据中不同影像数据的金字塔模型，这里的金字塔模型由影像数据中不同尺度空间的图像构建而成，进一步根据金字塔模型从不同影像数据中查找最佳匹配尺度空间的图像，建立不同影像数据之间的关联矩阵，再根据不同影像数据之间的关联矩阵将不同影像数据进行拼接缝合，构建地面街景影像。

具体可以将原始图像逐渐降阶采样得到一系列大小不一的图片，按照降阶采样顺序构建金字塔模型，原始图像是金字塔底层，每进行一次采样构建一层金字塔，当顶层像素达到一定数量停止降阶采样，图4为图像的尺度空间金字塔模型示意图，如图4所示，图4中共有8层图像，每层图像具有不同的尺度空间，由上至下图像的尺度空间递增。为了查找最小形变对应的金字塔层，一般是将金字塔模型的顶层图像大小设置为2×2或者4×4，形成全尺度空间的采样。

需要说明的是，上述金字塔的层数n可以根据图像的原始大小和顶层图像大小决定，具体可以由如下公式计算得到,

n＝log₂{min(w，h)}-t

其中，w，h是原始图像的宽度和高度，t是金字塔顶层图像宽度和高度最小值的对数，t的取值范围为[0，log₂{min(w，h)}]。例如原始图像大小为512×512，当金字塔顶层图像大小为4×4时，t＝2，n＝7。

具体顶层图像大小与的对应关系如下表1所示，本发明实施例对金字塔层数n不进行限定，实际应用中可以根据上述公式进行计算。

表1顶层图像大小与金字塔层数n的对照关系

对于本发明实施例，由于地面采集设备的焦距不同或拍摄视角不同使得不同视角采集到的影像数据之间存在不一致的情况，需要根据金字塔模型从不同影像数据中查找最佳匹配尺度空间的图像，建立两幅图像之间的关联性，具体过程可以包括但不局限于下述实现方式，为了加速配准效率，首先对采集到的影像数据进行灰度化，然后对灰度化后的影像数据进行特征点提取和描述，从建立的图像特征点对应关系，找到两幅图像中最佳匹配的坐标点，通过最佳匹配的坐标点，生成变换矩阵，建立两幅图像的最佳配准，从而建立两幅图像的关联矩阵。

对于本发明实施例，再根据不同影像数据之间的关联矩阵将不同影像数据进行拼接缝合的过程中，不同影像数据之间的关联情况有所不同，因此需要获取具有关联关系的原始图像和匹配图像，再根据不同影像数据之间的关联矩阵，生成原始图像对应的映射图像，为了将不同影响数据拼接到一起，进一步扩展匹配图像至映射图像的尺寸大小，将映射图像拼接到扩展后的匹配图像中，完成地面街景影像的构建。

示例性的，原始图像为图像1，匹配图像为图像2，对图像1应用关联矩阵，生成图像1的映射图像1a，由于映射图像1a是通过图像1和关联矩阵变换生成的，因此映射图像1a与原始图像2具有较高的匹配性，是原始图像2的待拼接图像，进一步扩展匹配图像2，将映射图像1a拼接到匹配图像2中。

需要说明的是，针对两幅影像的重叠区域，为了避免色彩差异等造成的斑点现象，对重叠区图像像素加权平均，保证两幅图像色彩在重叠区域的平滑过渡。加权平均的思想是采用距离加权计算其像素值，具体公式如下所示，

其中，d₁和d₂分别表示重叠区当前像素到图像1和图像2边界的距离，pvImg1和pvImg2表示当前像素在图像1和图像2上的像素值。

205、对所述第二城市景观影像数据进行数据处理，构建俯视地面影像。

对于本发明实施例，对第二城市景观影像数据的处理可以借助于现有空天数据处理技术和工艺流程，生成采集视点位置对应的空中俯视拍摄影像，进而构建俯视地面影像。

206、按照预设映射关系将所述地面街景影像与所述俯视地面影像进行对齐与拼接，得到融合后的城市景观影像数据。

经过上述对第一城市景观影像数据以及第二城市景观影像数据的处理，构建了地面街景影像与俯视地面影像，与此同时，侧面影像与俯视影像都已建立了与世界坐标系的映射关系。依据此映射关系，通过数学坐标系变换原理可以建立图像坐标(u，v)与地理坐标(x，y)的对应转换参数，进一步按照转换参数将地面街景影像与俯视地面影像进行对齐与拼接，完成城市景观影像数据的融合，具体如图5所示，图5为按照预设映射关系拼接后形成的城市景观影像的立体包模型示意图，通过该立体包模型将融合后的城市景观影像数据展示给用户。

由于地面采集设备与空中采集设备拍摄光照条件、拍摄日期不同，在不同影像中会形成色彩不一致现象，尤其是两种影像接缝处，本发明实施例针对两种影像接缝处的色彩不均，建立两种影像在边缘处的颜色处理，保证拼接得到的影像更加自然，提高融合后城市景观影像数据的的展示效果。

本发明实施例的另一种城市景观影像数据的融合方法，按照预设映射关系将通过地面采集设备采集到的第一城市景观影像数据与通过空中采集设备采集到的第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，将空中对地观测拍摄的城市影像与城市街景影像信息互补，构成了城市景观影像的全覆盖，从而提高城市景观影像数据展示的完整性。与现有技术的城市景观影像数据的融合方法相比，本发明实施例利用了空中采集方式具有俯视地面的优势，通过将空中采集设备采集到的第二城市景观影像数据拼接到地面采集设备采集到的第一城市景观影像数据中，能够有效采集到更全面的城市景观影像数据，支持从空中到地面的可视化浏览。

为了实现上述方法实施例，本实施例提供一种与上述方法实施例对应的系统实施例，如图6所示，其示出了一种城市景观影像数据的融合系统，该系统可以包括：

第一获取单元31，可以用于获取通过地面采集设备采集到的第一城市景观影像数据；

第二获取单元32，可以用于获取通过空中采集设备采集到的第二城市景观影像数据；

拼接单元33，可以用于按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，所述预设映射关系为所述第一城市景观影像数据、所述第二城市景观影像数据与地理坐标系之间的映射关系。

本发明实施例提供的一种城市景观影像数据的融合系统，按照预设映射关系将通过地面采集设备采集到的第一城市景观影像数据与通过空中采集设备采集到的第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，将空中对地观测拍摄的城市影像与城市街景影像信息互补，构成了城市景观影像的全覆盖，从而提高城市景观影像数据展示的完整性。与现有技术的城市景观影像数据的融合方法相比，本发明实施例利用了空中采集方式具有俯视地面的优势，通过将空中采集设备采集到的第二城市景观影像数据拼接到地面采集设备采集到的第一城市景观影像数据中，能够有效采集到更全面的城市景观影像数据，支持从空中到地面的可视化浏览。

进一步地，如图7所示，本发明实施例提供了另一种城市景观影像数据的融合系统，所述第一获取单元31包括：

设置模块311，可以用于按照预设距离间隔设置采集视点；

获取模块312，可以用于控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据。

进一步地，所述获取模块312，具体可以用于分别控制不同地面采集设备按照所述预设距离间隔获取正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据；

所述获取模块312，具体还可以用于将所述正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据进行缝合，得到第一城市景观影像数据。

进一步地，所述拼接单元33包括：

第一构建模块331，可以用于对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像；

第二构建模块332，可以用于对所述第二城市景观影像数据进行数据处理，构建俯视地面影像；

拼接模块333，可以用于按照预设映射关系将所述地面街景影像与所述俯视地面影像进行对齐与拼接，得到融合后的城市景观影像数据。

进一步地，所述第一构建模块331包括：

构建子模块3311，可以用于利用图像尺寸空间构建第一城市景观影像数据中不同影像数据的金字塔模型，所述金字塔模型由所述影像数据中不同尺度空间的图像构建而成；

查找子模块3312，可以用于根据所述金字塔模型从所述不同影像数据中查找最佳匹配尺度空间的图像，建立不同影像数据之间的关联矩阵；

拼接子模块3313，可以用于根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像。

进一步地，所述拼接子模块3313，具体可以用于获取具有关联关系的原始图像与匹配图像；

所述拼接子模块3313，具体还可以用于根据所述不同影像数据之间的关联矩阵，生成所述原始图像对应的映射图像；

所述拼接子模块3313，具体还可以用于扩展所述匹配图像，将所述映射图像拼接到扩展后的匹配图像中，构建地面街景影像。

本发明实施例的另一种城市景观影像数据的融合系统，按照预设映射关系将通过地面采集设备采集到的第一城市景观影像数据与通过空中采集设备采集到的第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，将空中对地观测拍摄的城市影像与城市街景影像信息互补，构成了城市景观影像的全覆盖，从而提高城市景观影像数据展示的完整性。与现有技术的城市景观影像数据的融合方法相比，本发明实施例利用了空中采集方式具有俯视地面的优势，通过将空中采集设备采集到的第二城市景观影像数据拼接到地面采集设备采集到的第一城市景观影像数据中，能够有效采集到更全面的城市景观影像数据，支持从空中到地面的可视化浏览。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及系统中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种数据存储的方法及系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (6)

1.一种城市景观影像数据的融合方法，其特征在于，包括：

获取通过地面采集设备采集到的第一城市景观影像数据；

获取通过空中采集设备采集到的第二城市景观影像数据；

按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，所述预设映射关系为所述第一城市景观影像数据、所述第二城市景观影像数据与地理坐标系之间的映射关系，所述融合后的城市景观影像数据为立体包模型；

所述按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据包括：

对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像；

对所述第二城市景观影像数据进行数据处理，构建俯视地面影像；

按照预设映射关系将所述地面街景影像与所述俯视地面影像进行对齐与拼接，得到融合后的城市景观影像数据；

所述对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像包括：

利用图像尺寸空间构建第一城市景观影像数据中不同影像数据的金字塔模型，所述金字塔模型由所述影像数据中不同尺度空间的图像构建而成；

根据所述金字塔模型从所述不同影像数据中查找最佳匹配尺度空间的图像，建立不同影像数据之间的关联矩阵；

根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像；

所述建立不同影像数据之间的关联矩阵具体包括：对采集到的影像数据进行灰度化，对灰度化后的影像数据进行特征点提取和描述，从建立的图像特征点对应关系，找到不同图像中最佳匹配的坐标点，通过最佳匹配坐标点，生成变换矩阵，建立不同影像数据之间的关联矩阵；

所述根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像包括：

获取具有关联关系的原始图像与匹配图像；

根据所述不同影像数据之间的关联矩阵，生成所述原始图像对应的映射图像；

扩展所述匹配图像，将所述映射图像拼接到扩展后的匹配图像中，构建地面街景影像。

2.根据权利要求1所述的方法，其特征在于，所述获取通过地面采集设备采集到的第一城市景观影像数据包括：

按照预设距离间隔设置采集视点；

控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据。

3.根据权利要求2所述的方法，其特征在于，所述控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据包括：

分别控制不同地面采集设备按照所述预设距离间隔获取正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据；

将所述正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据进行缝合，得到第一城市景观影像数据。

4.一种城市景观影像数据的融合系统，其特征在于：包括：

第一获取单元，用于获取通过地面采集设备采集到的第一城市景观影像数据；

第二获取单元，用于获取通过空中采集设备采集到的第二城市景观影像数据；

拼接单元，用于按照预设映射关系将所述第一城市景观影像数据与所述第二城市景观影像数据进行对齐与拼接，得到融合后的城市景观影像数据，所述预设映射关系为所述第一城市景观影像数据、所述第二城市景观影像数据与地理坐标系之间的映射关系，所述融合后的城市景观影像数据为立体包模型；

所述拼接单元包括：

第一构建模块，用于对所述第一城市景观影像数据进行多尺度信息融合，构建地面街景影像；

第二构建模块，用于对所述第二城市景观影像数据进行数据处理，构建俯视地面影像；

拼接模块，用于按照预设映射关系将所述地面街景影像与所述俯视地面影像进行对齐与拼接，得到融合后的城市景观影像数据；

所述第一构建模块包括：

构建子模块，用于利用图像尺寸空间构建第一城市景观影像数据中不同影像数据的金字塔模型，所述金字塔模型由所述影像数据中不同尺度空间的图像构建而成；

查找子模块，用于根据所述金字塔模型从所述不同影像数据中查找最佳匹配尺度空间的图像，建立不同影像数据之间的关联矩阵；

拼接子模块，用于根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像；

所述查找子模块，具体用于对采集到的影像数据进行灰度化，对灰度化后的影像数据进行特征点提取和描述，从建立的图像特征点对应关系，找到不同图像中最佳匹配的坐标点，通过最佳匹配坐标点，生成变换矩阵，建立不同影像数据之间的关联矩阵；

所述根据所述不同影像数据之间的关联矩阵将所述不同影像数据进行拼接缝合，构建地面街景影像包括：

获取具有关联关系的原始图像与匹配图像；

根据所述不同影像数据之间的关联矩阵，生成所述原始图像对应的映射图像；

扩展所述匹配图像，将所述映射图像拼接到扩展后的匹配图像中，构建地面街景影像。

5.根据权利要求4所述的系统，其特征在于，所述第一获取单元包括：

设置模块，用于按照预设距离间隔设置采集视点；

获取模块，用于控制所述地面采集设备按照所述预设距离间隔获取所述采集视点对应街景的多角度影像数据，得到第一城市景观影像数据。

6.根据权利要求5所述的系统，其特征在于，

所述获取模块，具体用于分别控制不同地面采集设备按照所述预设距离间隔获取正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据；

所述获取模块，具体还用于将所述正前向影像数据、前进方向左侧面影像数据、前进方向右侧面影像数据进行缝合，得到第一城市景观影像数据。

Images