CN117392317B - 实景三维建模方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种实景三维建模方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到目标对象的图像数据分类结果；采用空中三角测量算法，对第一类图像数据进行解算处理，得到第一类图像数据的空三结果；将一类图像数据加入到该类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果；将最后一类图像数据的空三结果，作为目标对象的三维数据；基于目标对象的三维数据进行三维建模，得到目标对象的实景三维建模结果。采用本方法能够提高实景三维建模的准确性。

Description

实景三维建模方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种实景三维建模方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

实景三维是客观真实反映现实世界的三维模型，具有单体化、实体化、结构化、语义化的特点，通过融合模型三维、倾斜三维、全景三维，形成可空间量算和综合分析的模型，是一种泛三维，集多种模型优点于一体的三维数据成果。

相关的实景三维建模方法为空基地基影像数据融合匹配建模，将采集到空基数据和地基数据分别进行空中三角测量（简称空三）处理，再将得到的空基数据的空三结果和地基数据的空三结果合并。其中，空基数据是利用无人机等设备通过标准的航飞路线在空中对地面进行摄影拍照获取的地面物体表面的影像数据。地基数据是针对无人机的摄影盲区（如建筑物底商、屋檐下等空中拍摄不到的区域），利用手持的数码相机对目标进行地面拍摄获取的影像数据。由于空基数据和地基数据的分辨率、色彩和影像局部畸变均差异较大，相关的实景三维建模方法往往通过人工添加连接点的方式，将得到的空基数据的空三结果和地基数据的空三结果合并。

然而，人工连接点的精度通常不高。即使为了避免累计误差过大导致整体数据空三失败的问题，将一个大区域分割成若干小区域进行分段或分块处理，合并时仍需要解决段与段或块与块之间的接边问题，也需要引入人工连接点。因此，相关的实景三维建模方法的准确性差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高准确性的实景三维建模方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种实景三维建模方法，包括：

基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到所述目标对象的图像数据分类结果；所述图像数据分类结果包括图像数据序列；所述图像数据序列中各类图像数据的分辨率递增；

针对所述图像数据序列中的第一类图像数据，采用空中三角测量算法，对所述第一类图像数据进行解算处理，得到所述第一类图像数据的空三结果；

针对所述图像数据序列中除第一类图像数据以外的其他类图像数据，将所述类图像数据加入到所述类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果；

将最后一类图像数据的空三结果，作为所述目标对象的三维数据；

基于所述目标对象的三维数据进行三维建模，得到所述目标对象的实景三维建模结果。

在其中一个实施例中，所述采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：

将所述类图像数据的前一类图像数据的空三结果的连接点，作为公共连接点；

基于所述公共连接点，采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果。

在其中一个实施例中，所述基于所述公共连接点，采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：

对所述公共连接点、以及所述类图像数据的特征点进行匹配，确定特征点匹配信息；

基于所述特征点匹配信息和所述第一类图像数据，调整相机参数，直至所述类图像数据的空三结果的平差满足预设条件，得到所述类图像数据的空三结果。

在其中一个实施例中，所述采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：

基于所述类图像数据的分辨率和所述类图像数据的前一类图像数据的分辨率，确定所述类图像数据与所述类图像数据的前一类图像数据间的分辨率比例信息；

基于所述分辨率比例信息和所述类图像数据，生成所述类图像数据的金字塔信息；

采用空中三角测量算法，对所述类图像数据的金字塔信息和所述类图像数据的前一类图像数据进行解算处理，得到所述类图像数据的空三结果。

在其中一个实施例中，所述采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：

对所述类图像数据和所述类图像数据的前一类图像数据，进行多视角的仿射变换，得到所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果；

采用空中三角测量算法，对所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果进行解算处理，得到所述类图像数据的空三结果。

在其中一个实施例中，所述图像数据包括空基数据和地基数据，所述方法还包括：

通过空基数据采集设备，在空中对地面的目标对象进行拍摄，采集所述目标对象的空基数据；

通过地基数据采集设备，针对所述空基数据采集设备的摄影盲区，对所述目标对象进行地面拍摄，采集所述目标对象的地基数据。

第二方面，本申请还提供了一种实景三维建模装置，包括：

分类模块，用于基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到所述目标对象的图像数据分类结果；所述图像数据分类结果包括图像数据序列；所述图像数据序列中各类图像数据的分辨率递增；

第一处理模块，用于针对所述图像数据序列中的第一类图像数据，采用空中三角测量算法，对所述第一类图像数据进行解算处理，得到所述第一类图像数据的空三结果；

第二处理模块，用于针对所述图像数据序列中除第一类图像数据以外的其他类图像数据，将所述类图像数据加入到所述类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果；

确定模块，用于将最后一类图像数据的空三结果，作为所述目标对象的三维数据；

建模模块，用于基于所述目标对象的三维数据进行三维建模，得到所述目标对象的实景三维建模结果。

在其中一个实施例中，所述第二处理模块，具体用于：

将所述类图像数据的前一类图像数据的空三结果的连接点，作为公共连接点；

基于所述公共连接点，采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果。

在其中一个实施例中，所述第二处理模块，具体用于：

对所述公共连接点、以及所述类图像数据的特征点进行匹配，确定特征点匹配信息；

基于所述特征点匹配信息和所述第一类图像数据，调整相机参数，直至所述类图像数据的空三结果的平差满足预设条件，得到所述类图像数据的空三结果。

在其中一个实施例中，所述第二处理模块，具体用于：

基于所述类图像数据的分辨率和所述类图像数据的前一类图像数据的分辨率，确定所述类图像数据与所述类图像数据的前一类图像数据间的分辨率比例信息；

基于所述分辨率比例信息和所述类图像数据，生成所述类图像数据的金字塔信息；

采用空中三角测量算法，对所述类图像数据的金字塔信息和所述类图像数据的前一类图像数据进行解算处理，得到所述类图像数据的空三结果。

在其中一个实施例中，所述第二处理模块，具体用于：

对所述类图像数据和所述类图像数据的前一类图像数据，进行多视角的仿射变换，得到所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果；

采用空中三角测量算法，对所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果进行解算处理，得到所述类图像数据的空三结果。

在其中一个实施例中，所述图像数据包括空基数据和地基数据，所述装置还包括：

第一采集模块，用于通过空基数据采集设备，在空中对地面的目标对象进行拍摄，采集所述目标对象的空基数据；

第二采集模块，用于通过地基数据采集设备，针对所述空基数据采集设备的摄影盲区，对所述目标对象进行地面拍摄，采集所述目标对象的地基数据。

第三方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的步骤。

第四方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的步骤。

第五方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面所述的步骤。

上述实景三维建模方法、装置、计算机设备、存储介质和计算机程序产品，基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到所述目标对象的图像数据分类结果；所述图像数据分类结果包括图像数据序列；所述图像数据序列中各类图像数据的分辨率递增；针对所述图像数据序列中的第一类图像数据，采用空中三角测量算法，对所述第一类图像数据进行解算处理，得到所述第一类图像数据的空三结果；针对所述图像数据序列中除第一类图像数据以外的其他类图像数据，将所述类图像数据加入到所述类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果；将最后一类图像数据的空三结果，作为所述目标对象的三维数据；基于所述目标对象的三维数据进行三维建模，得到所述目标对象的实景三维建模结果。这样，针对不同分辨率的图像数据，将其按照分辨率分成不同的数据类型，提出改进的增量式空中三角测量算法，以分辨率最低的图像数据为空间参考数据，按照分辨率从小到大的顺序，逐步加入分辨率高的图像数据进行解算处理，能够自动识别连接点实现数据融合，无需人工连接点，能够提高实景三维建模的准确性。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中实景三维建模方法的流程示意图；

图2为一个实施例中采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果步骤的流程示意图；

图3为一个实施例中基于公共连接点，采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果步骤的流程示意图；

图4为另一个实施例中采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果步骤的流程示意图；

图5为另一个实施例中采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果步骤的流程示意图；

图6为另一个实施例中实景三维建模方法的流程示意图；

图7为一个实施例中实景三维建模装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种实景三维建模方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。本实施例中，该方法包括以下步骤：

步骤101，基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到目标对象的图像数据分类结果。

其中，图像数据分类结果包括图像数据序列。图像数据序列中各类图像数据的分辨率递增。

在本申请实施例中，目标对象为待进行实景三维建模的对象。例如，目标对象可以为地面建筑和地面雕塑。图像数据可以包括空基数据和地基数据。空基数据是利用无人机等设备通过标准的航飞路线在空中对地面进行摄影拍照获取的地面物体表面的影像数据。地基数据是针对无人机的摄影盲区（如建筑物底商、屋檐下等空中拍摄不到的区域），利用手持的数码相机对目标进行地面拍摄获取的影像数据。空基数据和地基数据的分辨率差异大，由于拍摄距离和拍摄设备的不同，地基数据的分辨率通常是空基数据的3倍以上，导致同一地物分别在空基图像和地基图像上呈现的图像特征分布情况差异较大，描述信息近似度较低，容易造成匹配误差过大导致失败，或者错误匹配。空基数据和地基数据的色彩差异大，由于拍摄设备和拍摄时间的不同，地基数据和空基数据的颜色RGB（red、green、blue，红、绿、蓝）信息和明亮度情况存在较大差异。空基数据和地基数据的影像局部畸变差异过大。由于空基数据是在空中拍摄，地基数据是在地面正面对同一目标的同一局部区域拍摄，拍摄角度差异过大，相对地基数据，空基数据的局部区域畸变过大。可以理解的是，图像数据也可以为其他分辨率差异大、色彩差异大、或者影像局部畸变差异大的图像数据。图像数据分类结果的数据类型可以为两种以上。图像数据可以为照片，每个数据类型可以包含多个照片组。图像数据分类结果可以包括空中基准数据、空中精补数据和地面精补数据，空中基准数据、空中精补数据和地面精补数据的分辨率递增。可以理解的是，图像数据分类结果的数据类型可以不止三种，其类别名也会相应变化。

终端通过图像采集设备，采集目标对象的图像数据。然后，终端将分辨率满足预设的归类条件的图像数据作为一类图像数据。然后，终端按照图像数据的分辨率从小到大的顺序，对各类图像数据进行排序，得到图像数据序列，即图像分类结果。其中，归类条件用于将分辨率近似的图像数据归为一类图像数据。归类条件可以为图像数据的分辨率的差值小于预设的归类阈值。这样，尽量确保每个分类内的图像分辨率一致，隐性地为空三处理提供关于分辨率差异情况的指导信息；通过数据的分类整理，也能够减少数据量的计算，提高数据处理的精度和效率。

步骤102，针对图像数据序列中的第一类图像数据，采用空中三角测量算法，对第一类图像数据进行解算处理，得到第一类图像数据的空三结果。

在本申请实施例中，当图像数据分类结果包括空中基准数据、空中精补数据和地面精补数据时，第一类图像数据为空中基准数据。空中三角测量算法是立体摄影测量中，根据少量的野外控制点，在室内进行控制点加密，求得加密点的高程和平面位置的测量算法。空中三角测量算法（简称空三）能够处理相同或者近似分辨率的数据，对于分辨率差异过大（远近问题）的数据，例如，空基数据和地基数据，解算的成功率不高，容易解算失败。空三结果为空中三角测量结果。

针对图像数据序列中的第一类图像数据，终端采用空中三角测量算法，对第一类图像数据进行解算处理，得到第一类图像数据的空三结果。其中，终端采用空中三角测量算法进行解算处理的对象仅为一种数据类型的图像数据，即第一类图像数据，终端对其直接进行解算处理。

步骤103，针对图像数据序列中除第一类图像数据以外的其他类图像数据，将该类图像数据加入到该类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果。

在本申请实施例中，图像数据序列中除第一类图像数据以外的其他类图像数据为第i类图像数据，2≤i≤N，i和N均为正整数，N为目标对象的图像数据的数据类型总数。一类图像数据的分辨率大于该类图像数据的前一类图像数据的分辨率，小于该类图像数据的后一类图像数据的分辨率，即图像数据序列中各类图像数据的分辨率递增。一类图像数据的空三结果为基于该类图像数据和该类图像数据之前的所有类图像数据（即分辨率小于该类图像数据的所有类图像数据），采用空中三角测量算法得到的空三结果，即一类图像数据的空三结果不仅只基于该类图像数据得到。

终端采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果的具体过程为：终端采用空中三角测量算法，将该类图像数据与该类图像数据的前一类图像数据的空三结果进行匹配，得到匹配信息。然后，终端基于匹配信息，进行解算处理，得到该类图像数据的空三结果。

在一个实施例中，终端还可以检查该类图像数据的前一类图像数据的空三结果的空三质量，得到前一类图像数据的空三质量检测结果。在前一类图像数据的空三质量检测结果满足预设的质量检测条件的情况下，终端将该类图像数据加入到该类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果。

步骤104，将最后一类图像数据的空三结果，作为目标对象的三维数据。

在本申请实施例中，目标对象的三维数据用于表示目标对象的三维分布情况，可以为三维点云数据。

步骤105，基于目标对象的三维数据进行三维建模，得到目标对象的实景三维建模结果。

在本申请实施例中，可以理解的是，基于摄影测量获取的三维数据进行三维实景建模的任意算法均可以用于实现本步骤，本申请不作限定。

上述实景三维建模方法中，基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到目标对象的图像数据分类结果；图像数据分类结果包括图像数据序列；图像数据序列中各类图像数据的分辨率递增；针对图像数据序列中的第一类图像数据，采用空中三角测量算法，对第一类图像数据进行解算处理，得到第一类图像数据的空三结果；针对图像数据序列中除第一类图像数据以外的其他类图像数据，将该类图像数据加入到该类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果；将最后一类图像数据的空三结果，作为目标对象的三维数据；基于目标对象的三维数据进行三维建模，得到目标对象的实景三维建模结果。这样，针对不同分辨率的图像数据，将其按照分辨率分成不同的数据类型，提出改进的增量式空中三角测量算法，以分辨率最低的图像数据为空间参考数据，按照分辨率从小到大的顺序，逐步加入分辨率高的图像数据进行解算处理，能够自动识别连接点实现数据融合，无需人工连接点，能够提高实景三维建模的准确性和精度，也无需严重耗时的人工干预，能够提高实景三维建模的效率，即有效的解决由于影像分辨率差异过大、色彩差异过大和影像畸变过大等问题导致的空基数据和地基数据融合匹配精度高和效率不高的问题。

在一个实施例中，如图2所示，采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果的具体过程包括以下步骤：

步骤201，将该类图像数据的前一类图像数据的空三结果的连接点，作为公共连接点。

在本申请实施例中，连接点用于将各图像数据融合匹配到一起以获取该各图像数据的空三结果。连接点为匹配成功的图像数据的特征点，其数量小于图像数据的特征点。特征点一般为像片中颜色或纹理变化剧烈的点。一般用像素值本身及其周围像素关系来描述特征点。连接点为不同图像数据的特征信息一致的特征点。

步骤202，基于公共连接点，采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果。

在本申请实施例中，公共连接点用于将不同类的图像数据或一类图像数据的空三结果和另一类图像数据的空三结果融合匹配到一起以获取新的空三结果。

终端采用空中三角测量算法，将该类图像数据的特征点与公共连接点进行匹配，得到匹配信息。然后，终端基于匹配信息，对目标解算数据进行解算处理，得到该类图像数据的空三结果。

上述实景三维建模方法中，将该类图像数据的前一类图像数据的空三结果的连接点，作为公共连接点；基于公共连接点，采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果。这样，针对图像数据序列中除第一类图像数据以外的其他类图像数据，将其前一类图像数据的连接点作为公共连接点，将该将该类图像数据的特征点与公共连接点进行匹配，无需人工连接点，就能够实现基于分辨率差异过大的图像数据的实景三维建模，能够提高实景三维建模的准确性、精度和效率。并且，本方法通过在前一类图像数据的空三结果中加入新的一类图像数据的增量式空中三角测量算法实现影像数据融合，相较于相关的实景三维建模方法通过对空基数据和地基数据分别进行空三处理后再合并的方式，本方法每次处理的数据量小，进一步提高了实景三维建模的准确性和精度，也保证了有效内存下的数据处理效率，适合大面积工程化处理。

在一个实施例中，如图3所示，基于公共连接点，采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果的具体过程包括以下步骤：

步骤301，对公共连接点、以及该类图像数据的特征点进行匹配，确定特征点匹配信息。

在本申请实施例中，终端将该类图像数据的特征点与公共连接点进行匹配，确定特征点匹配信息。其中，特征点匹配信息用于表示各图像数据的特征点匹配情况。

步骤302，基于特征点匹配信息和第一类图像数据，调整相机参数，直至该类图像数据的空三结果的平差满足预设条件，得到该类图像数据的空三结果。

在本申请实施例中，平差就是通过调整相机内参、成像时位置和姿态，以使特征点在三维空间中相交的误差最小。特征点被越多的照片观测到，参考信息越多，平差可靠性就会越强。相机参数包括相机内参，相机内参是描述相机成像内部的参数，一般有9个参数：（1）焦距（2个）：fx,fy（以像素为单位，一般fx≈fy）；（2）像主点偏移量（2个）：cx、cy（以像素为单位）；（3）畸变参数（一般为5个）：k1、k2、p1、p2、k3。

上述实景三维建模方法中，对公共连接点、以及该类图像数据的特征点进行匹配，确定特征点匹配信息；基于特征点匹配信息和第一类图像数据，调整相机参数，直至该类图像数据的空三结果的平差满足预设条件，得到该类图像数据的空三结果。这样，将该将该类图像数据的特征点与公共连接点进行匹配，并在融合不同分类数据时，在保持基准数据空三不变性的前提下，结合匹配信息分布情况，选用部分基准数据参与融合数据的控制平差过程（非刚性），从而确保两类数据间的精准融合，能够进一步提高实景三维建模的准确性和精度。

在一个实施例中，如图4所示，采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果的具体过程包括以下步骤：

步骤401，基于该类图像数据的分辨率和该类图像数据的前一类图像数据的分辨率，确定该类图像数据与该类图像数据的前一类图像数据间的分辨率比例信息。

在本申请实施例中，分辨率比例信息用于表示该类图像数据的分辨率与该类图像数据的前一类图像数据的分辨率的比值。

步骤402，基于分辨率比例信息和该类图像数据，生成该类图像数据的金字塔信息。

在本申请实施例中，金字塔信息为图像金字塔，即同一张图像不同分辨率的子图的合集。该类图像数据的金字塔信息可以包含与该类图像数据的前一类图像数据的分辨率相同或相近的子图。

步骤403，采用空中三角测量算法，对该类图像数据的金字塔信息和该类图像数据的前一类图像数据进行解算处理，得到该类图像数据的空三结果。

在本申请实施例中，可以理解的是，步骤403的具体过程与步骤103、步骤201-202、以及步骤301-302的具体过程类似。

上述实景三维建模方法中，基于该类图像数据的分辨率和该类图像数据的前一类图像数据的分辨率，确定该类图像数据与该类图像数据的前一类图像数据间的分辨率比例信息；基于分辨率比例信息和该类图像数据，生成该类图像数据的金字塔信息；采用空中三角测量算法，对该类图像数据的金字塔信息和该类图像数据的前一类图像数据进行解算处理，得到该类图像数据的空三结果。这样，通过两类图像数据间的分辨率比例信息，生成高分辨率图像数据的金字塔信息，对高分辨率图像数据的金字塔信息和低分辨率图像数据进行解算处理，确保两类数据间采样分辨率的整体一致，实现分辨率差异大的图像数据的分辨率自适应融合匹配，进而实现分辨率差异大的图像数据的实景三维建模，显著地提升分辨率差异大的两类数据间的匹配数量和匹配成功率，进一步提高实景三维建模的准确性和精度。

在一个实施例中，如图5所示，采用空中三角测量算法，对目标解算数据进行解算处理，得到该类图像数据的空三结果的具体过程包括以下步骤：

步骤501，对该类图像数据和该类图像数据的前一类图像数据，进行多视角的仿射变换，得到该类图像数据的仿射变换结果和该类图像数据的前一类图像数据的仿射变换结果。

步骤502，采用空中三角测量算法，对该类图像数据的仿射变换结果和该类图像数据的前一类图像数据的仿射变换结果进行解算处理，得到该类图像数据的空三结果。

在本申请实施例中，当该类图像数据的仿射变换结果和该类图像数据的前一类图像数据的仿射变换结果满足预设的调整条件时，终端采用空中三角测量算法，对该类图像数据的仿射变换结果和该类图像数据的前一类图像数据的仿射变换结果进行解算处理，得到该类图像数据的空三结果。其中，调整条件用于衡量该类图像数据的仿射变换结果和该类图像数据的前一类图像数据的仿射变换结果的几何结构是否一致或相似，即二者的几何结构的相似度是否达到预设的相似度阈值。可以理解的是，步骤502的具体过程与步骤103、步骤201-202、以及步骤301-302的具体过程类似。

上述实景三维建模方法中，对该类图像数据和该类图像数据的前一类图像数据，进行多视角的仿射变换，得到该类图像数据的仿射变换结果和该类图像数据的前一类图像数据的仿射变换结果；采用空中三角测量算法，对该类图像数据的仿射变换结果和该类图像数据的前一类图像数据的仿射变换结果进行解算处理，得到该类图像数据的空三结果。这样，通过对拍摄角度差异大的图像数据进行多视角的仿射变换，解决因拍摄角度差异导致同一地物在两类数据上呈现不同几何结构特性的问题，显著地提升拍摄角度差异大的两类数据（例如，空中基准数据、空中精补数据和地面精补数据中的任意两种数据）间的匹配数量和匹配成功率，进一步提高实景三维建模的准确性和精度。

在一个实施例中，如图6所示，图像数据包括空基数据和地基数据，该方法还包括以下步骤：

步骤601，通过空基数据采集设备，在空中对地面的目标对象进行拍摄，采集目标对象的空基数据。

在本申请实施例中，空基数据采集设备为通过标准的航飞路线在空中对地面进行摄影拍照获取的地面物体表面的影像数据的设备，包括无人机。空基数据可以为含有地理位置信息的照片组。

步骤602，通过地基数据采集设备，针对空基数据采集设备的摄影盲区，对目标对象进行地面拍摄，采集目标对象的地基数据。

在本申请实施例中，地基数据采集设备为对目标进行地面拍摄获取影像数据的设备，可以为相机，例如，手持的数码相机。地基数据可以为含有地理位置信息的照片组。地基数据可以为近地补拍的图像数据。

上述实景三维建模方法中，通过空基数据采集设备，在空中对地面的目标对象进行拍摄，采集目标对象的空基数据；通过地基数据采集设备，针对空基数据采集设备的摄影盲区，对目标对象进行地面拍摄，采集目标对象的地基数据。这样，不仅通过空基数据采集设备采集目标对象的空基数据，还通过地基数据采集设备针对空基数据采集设备的摄影盲区，补充采集目标对象的地基数据，保证目标对象的图像数据的全面性，避免遗漏，进而提高实景三维建模的准确性和精度。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的实景三维建模方法的实景三维建模装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个实景三维建模装置实施例中的具体限定可以参见上文中对于实景三维建模方法的限定，在此不再赘述。

在一个示例性的实施例中，如图7所示，提供了一种实景三维建模装置700，包括：分类模块710、第一处理模块720、第二处理模块730、确定模块740和建模模块750，其中：

分类模块710，用于基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到所述目标对象的图像数据分类结果；所述图像数据分类结果包括图像数据序列；所述图像数据序列中各类图像数据的分辨率递增；

第一处理模块720，用于针对所述图像数据序列中的第一类图像数据，采用空中三角测量算法，对所述第一类图像数据进行解算处理，得到所述第一类图像数据的空三结果；

第二处理模块730，用于针对所述图像数据序列中除第一类图像数据以外的其他类图像数据，将所述类图像数据加入到所述类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果；

确定模块740，用于将最后一类图像数据的空三结果，作为所述目标对象的三维数据；

建模模块750，用于基于所述目标对象的三维数据进行三维建模，得到所述目标对象的实景三维建模结果。

可选的，所述第二处理模块730，具体用于：

将所述类图像数据的前一类图像数据的空三结果的连接点，作为公共连接点；

基于所述公共连接点，采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果。

可选的，所述第二处理模块730，具体用于：

对所述公共连接点、以及所述类图像数据的特征点进行匹配，确定特征点匹配信息；

基于所述特征点匹配信息和所述第一类图像数据，调整相机参数，直至所述类图像数据的空三结果的平差满足预设条件，得到所述类图像数据的空三结果。

可选的，所述第二处理模块730，具体用于：

基于所述类图像数据的分辨率和所述类图像数据的前一类图像数据的分辨率，确定所述类图像数据与所述类图像数据的前一类图像数据间的分辨率比例信息；

基于所述分辨率比例信息和所述类图像数据，生成所述类图像数据的金字塔信息；

采用空中三角测量算法，对所述类图像数据的金字塔信息和所述类图像数据的前一类图像数据进行解算处理，得到所述类图像数据的空三结果。

可选的，所述第二处理模块730，具体用于：

对所述类图像数据和所述类图像数据的前一类图像数据，进行多视角的仿射变换，得到所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果；

采用空中三角测量算法，对所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果进行解算处理，得到所述类图像数据的空三结果。

可选的，所述图像数据包括空基数据和地基数据，所述装置700还包括：

第一采集模块，用于通过空基数据采集设备，在空中对地面的目标对象进行拍摄，采集所述目标对象的空基数据；

第二采集模块，用于通过地基数据采集设备，针对所述空基数据采集设备的摄影盲区，对所述目标对象进行地面拍摄，采集所述目标对象的地基数据。

上述实景三维建模装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种实景三维建模方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个示例性的实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种实景三维建模方法，其特征在于，所述方法包括：

基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到所述目标对象的图像数据分类结果；所述图像数据分类结果包括图像数据序列；所述图像数据序列中各类图像数据的分辨率递增；

针对所述图像数据序列中的第一类图像数据，采用空中三角测量算法，对所述第一类图像数据进行解算处理，得到所述第一类图像数据的空三结果；

针对所述图像数据序列中除第一类图像数据以外的其他类图像数据，将所述类图像数据加入到所述类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果；所述类图像数据的分辨率大于所述类图像数据的前一类图像数据的分辨率，小于所述类图像数据的后一类图像数据的分辨率；

将最后一类图像数据的空三结果，作为所述目标对象的三维数据；

基于所述目标对象的三维数据进行三维建模，得到所述目标对象的实景三维建模结果；

其中，所述采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：将所述类图像数据的前一类图像数据的空三结果的连接点，作为公共连接点；基于所述公共连接点，采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述公共连接点，采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：

对所述公共连接点、以及所述类图像数据的特征点进行匹配，确定特征点匹配信息；

基于所述特征点匹配信息和所述第一类图像数据，调整相机参数，直至所述类图像数据的空三结果的平差满足预设条件，得到所述类图像数据的空三结果。

3.根据权利要求1所述的方法，其特征在于，所述采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：

基于所述类图像数据的分辨率和所述类图像数据的前一类图像数据的分辨率，确定所述类图像数据与所述类图像数据的前一类图像数据间的分辨率比例信息；

基于所述分辨率比例信息和所述类图像数据，生成所述类图像数据的金字塔信息；

采用空中三角测量算法，对所述类图像数据的金字塔信息和所述类图像数据的前一类图像数据进行解算处理，得到所述类图像数据的空三结果。

4.根据权利要求1所述的方法，其特征在于，所述采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果，包括：

对所述类图像数据和所述类图像数据的前一类图像数据，进行多视角的仿射变换，得到所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果；

采用空中三角测量算法，对所述类图像数据的仿射变换结果和所述类图像数据的前一类图像数据的仿射变换结果进行解算处理，得到所述类图像数据的空三结果。

5.根据权利要求1所述的方法，其特征在于，所述图像数据包括空基数据和地基数据，所述方法还包括：

通过空基数据采集设备，在空中对地面的目标对象进行拍摄，采集所述目标对象的空基数据；

通过地基数据采集设备，针对所述空基数据采集设备的摄影盲区，对所述目标对象进行地面拍摄，采集所述目标对象的地基数据。

6.一种实景三维建模装置，其特征在于，所述装置包括：

分类模块，用于基于图像数据的分辨率，对采集到的目标对象的图像数据进行分类，得到所述目标对象的图像数据分类结果；所述图像数据分类结果包括图像数据序列；所述图像数据序列中各类图像数据的分辨率递增；

第一处理模块，用于针对所述图像数据序列中的第一类图像数据，采用空中三角测量算法，对所述第一类图像数据进行解算处理，得到所述第一类图像数据的空三结果；

第二处理模块，用于针对所述图像数据序列中除第一类图像数据以外的其他类图像数据，将所述类图像数据加入到所述类图像数据的前一类图像数据的空三结果中，得到目标解算数据，并采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果；所述类图像数据的分辨率大于所述类图像数据的前一类图像数据的分辨率，小于所述类图像数据的后一类图像数据的分辨率；

确定模块，用于将最后一类图像数据的空三结果，作为所述目标对象的三维数据；

建模模块，用于基于所述目标对象的三维数据进行三维建模，得到所述目标对象的实景三维建模结果；

其中，所述第二处理模块，具体用于：将所述类图像数据的前一类图像数据的空三结果的连接点，作为公共连接点；基于所述公共连接点，采用空中三角测量算法，对所述目标解算数据进行解算处理，得到所述类图像数据的空三结果。

7.根据权利要求6所述的装置，其特征在于，所述第二处理模块，具体用于：

对所述公共连接点、以及所述类图像数据的特征点进行匹配，确定特征点匹配信息；

基于所述特征点匹配信息和所述第一类图像数据，调整相机参数，直至所述类图像数据的空三结果的平差满足预设条件，得到所述类图像数据的空三结果。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。