CN116051723A - 集束调整方法及电子设备 - Google Patents

Abstract

本申请实施例提供了一种集束调整方法及电子设备。在该方法中，首先，电子设备在待优化的所有三维点中按照预设策略选定一些目标三维点，并对这些目标三维点以及待优化的相机位姿、相机内参进行集束调整优化，得到优化后的相机位姿、相机内参；然后，电子设备将优化后得到的相机位姿、相机内参作为定值，对待优化的所有三维点进行集束调整优化，得到优化后的所有三维点。这样，将集束调整优化分为先优化相机位姿、部分三维点、相机内参，后优化所有地图点位置的两步，极大地减少了集束调整优化的耗时。

Description

集束调整方法及电子设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种集束调整方法及电子设备。

背景技术

随着终端技术的发展和人们处理信息能力的提高，二维图像已经不能满足工作和生 活的需要。相较于二维图像，三维模型对于人类来说是最为直观的结构，并且基于三维角度观察物体和环境可以使得人们高效率地处理信息。因此，三维重建成了图像处理技 术领域的热点之一，其为三维物体建立了适合计算机表示和处理的数学模型，使得电子 设备可以在计算机环境下对物体进行处理、操作和分析。

目前，基于运动结构恢复(structurefrom motion，SFM)算法重建物体的三维模型是 一种常用的方式。该方式可以通过搜集一系列无序的图片并从其中提取充足的特征点进 行分析来重建物体的三维模型。其中，集束调整是三维重建中一个重要的环节，用于消除相机位姿和地图点位置的累积误差。然而，当图片数量以及特征点数量增加时，集束 调整的求解时间会呈指数级增加，耗时非常大。

发明内容

为了解决上述技术问题，本申请实施例提供一种集束调整方法及电子设备。在本方 法中，将集束调整优化分为先优化相机位姿、部分三维点、相机内参，后优化所有地图点位置的两步，极大地减少了集束调整优化的耗时。

第一方面，本申请实施例提供一种集束调整方法。该方法包括：电子设备获取待优化的相机位姿、相机内参和所有三维点；电子设备根据预设策略在所有三维点中确定目 标三维点；电子设备对待优化的相机位姿、相机内参，以及目标三维点进行集束调整优 化，得到优化后的相机位姿和相机内参；电子设备将优化后的相机位姿和相机内参作为 定值，对所有三维点进行集束调整优化，得到优化后的所有三维点。

这样，电子设备将集束调整优化分为先优化相机位姿、部分三维点、相机内参，后只优化所有地图点位置的两步，极大地减少了集束调整优化的耗时。

根据第一方面，目标三维点的数据质量优于所有三维点的数据质量；其中，数据质量用于表征三维点用于三维重建时的精准程度。

其中，数据质量可以通过相关指标来标识，例如三维点对应的图像特征点的特征提 取响应值等。

这样，在第一步集束调整优化时，电子设备选取一些数据质量较优的三维点，也即选取一些比较重要的三维点，与相机位姿和相机内参一同被集束调整优化，以得到优化 后的相机位姿和相机内参，进而在第二步集束调整优化时将优化后的相机位姿和相机内 参作为定值，只对所有的三维点进行集束调整优化。由此，不仅能够保证优化精度不下 降，而且还极大降低了优化求解的时间。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备根据预设策略在 所有三维点中确定目标三维点，包括：电子设备遍历待优化的相机位置对应的图像；在与每张图像对应的三维点中，电子设备选取目标三维点；其中，目标三维点对应的图像 特征点的特征提取响应值大于第一阈值。

需要指出的是，任意三维点对应的图像特征点是图像中的二维点。

这样，电子设备根据三维点对应的图像特征点的特征提取响应值大小，来选取在第 一步集束调整优化时的部分三维点，有效保证了两步优化集束调整方法的优化精度。

根据第一方面，或者以上第一方面的任意一种实现方式，该方法还包括：电子设备将每张图像等分为多个图像网格；其中，每个图像网格中包括的目标特征点的数量不大 于第二阈值；目标特征点为与目标三维点对应的图像特征点。

这样，电子设备在选取在第一步集束调整优化时的部分三维点，能够确保这些三维 点分布的均衡性，进而提高两步优化集束调整方法的优化精度。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备在与每张图像对 应的三维点中，选取目标三维点，可以包括：电子设备将与每张图像对应的三维点按照特征提取响应值降序(即按照三维点对应的二维图像特征点的特征提取响应值的降序) 进行排列；电子设备按照特征提取响应值降序依次获取一个三维点作为当前三维点；如 果当前三维点对应的图像特征点的特征提取响应值大于第一阈值，且当前图像网格包括 的目标特征点总数量不大于第二阈值，则电子设备将当前三维点作为目标三维点，并更 新当前图像网格包括的目标特征点总数量；其中，当前图像网格为与当前三维点对应的 图像特征点所在的图像网格；电子设备继续按照特征提取响应值降序依次获取一个三维 点作为当前三维点，直至遍历完与每张图像对应的各个三维点，或者直至遍历到当前三 维点对应的图像特征点的特征提取响应值不大于第一阈值。

这样，电子设备根据三维点对应的图像特征点的特征提取响应值大小，来选取在第 一步集束调整优化时的部分三维点，并能确保这些三维点分布的均衡性，提高了两步优化集束调整方法的优化精度。而且，针对每张图像，在遍历到当前三维点对应的图像特 征点的特征提取响应值不大于第一阈值时，结束对该张图像对应的三维点的遍历，能够 有效提高在与每张图像对应的三维点中选取目标三维点的效率。

根据第一方面，或者以上第一方面的任意一种实现方式，所有三维点的数量与相机 位姿数量的差值大于第一预设数量阈值。

根据第一方面，或者以上第一方面的任意一种实现方式，待优化的相机位姿数量大 于第二预设数量阈值。

当三维点的数量远大于相机位姿数量时，或者，当用于构建三维模型的图像数量增 大时，相比于已有方法，采用本实施例提供的两步优化集束调整方法，集束调整优化耗时减少得更加明显。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备获取待优化的相 机位姿、相机内参和所有三维点，可以包括：电子设备获取局部集束调整时待优化的相机位姿、相机内参和所有三维点。

根据第一方面，或者以上第一方面的任意一种实现方式，电子设备获取待优化的相 机位姿、相机内参和所有三维点，可以包括：电子设备获取全局集束调整时待优化的相机位姿、相机内参和所有三维点。

这样，本实施例提供的两步优化集束调整方法适用于局部集束调整优化阶段，也适 用于全局集束调整优化阶段。

第二方面，本申请实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器 上，当计算机程序被一个或多个处理器执行时，使得电子设备执行如第一方面以及第一 方面中任意一项的集束调整方法。

第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第三方面，本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包 括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第一方面以及第一方面中任意一项的集束调整方法。

第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面中任意一项的集束调整方法。

第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第五方面，本申请提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚和该处理电路通过内部连接通路互相通信，该处理电路执行如第一方面或第一方面中任意一项的集束调整方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一 种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参 见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

附图说明

图1a为示例性示出的三维重建流程示意图；

图1b为示例性示出的稀疏点云重建示意图；

图2a为示例性示出的特征点匹配示意图；

图2b-图2f为示例性示出的稀疏点云重建示意图；

图3为示例性示出的Hessian矩阵示意图；

图4a为示例性示出的电子设备的硬件结构示意图；

图4b为示例性示出的电子设备的软件结构示意图；

图5为本申请实施例提供的集束调整方法流程示意图；

图6a为本申请实施例中第一步集束调整优化时涉及的Hessian矩阵示意图；

图6b为本申请实施例中第二步集束调整优化时涉及的Hessian矩阵示意图；

图7为示例性示出的集束调整优化耗时的对比结果示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整 地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系， 例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的 对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于 区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词 旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。

目前，三维重建成了图像处理技术领域的热点之一，其为三维物体建立了适合计算 机表示和处理的数学模型，使得电子设备可以在计算机环境下对物体进行处理、操作和分析。

如图1a所示，将大量的航拍图像、地面图像等以及GPS(Global PositioningSystem， 全球定位系统)信息输入到三维重建系统中，通过三维重建系统的处理即可得到稀疏点 云、稠密点云、几何模型和纹理模型等。其中，三维重建系统大致可以划分为稀疏点云 重建模块、稠密点云重建模块以及纹理模型重建模块。

继续参照图1a，稀疏点云重建模块涉及的处理流程大致包括：图像特征提取、图像特征匹配、匹配点序列生成、增量式重建和全局非线性优化；稠密点云重建模块涉及的 处理流程大致包括：图像畸变校正、邻域图像选择、深度图计算、深度图过滤和深度图 融合；纹理模型重建模块涉及的处理流程大致包括点云分块、点云网格化、网格融合、 网格简约和纹理映射。

如图1b所示，将多视角图像输入至稀疏点云重建模块之后，经过稀疏点云重建模块 的处理可以得到相机位姿和场景结构。下述结合图2a-图2f对稀疏点云重建模块涉及的处理流程进行详细解说明。关于稠密点云重建模块以及纹理模型重建模块的处理流程可以参照已有技术，在此不再赘述。

参照图1a，在稀疏点云重建阶段，电子设备的处理流程具体可以如下步骤：

1、电子设备获取包括目标物体的图像集。

具体的，电子设备可以通过配置在本设备上的摄像头拍摄并获取到包括有目标物的 多张图像，该多张图像可以被称为包括有目标物体的图像集。电子设备也可以获取到其他设备拍摄的包括有目标物体的图像集。也即是说，本申请对包括有目标物体的图像集 的来源不作限制。在该图像集中，各图像可以显示出不同状态(例如，角度、方位、时 间、光照等)下的目标物体。

在一种可能的实现方式中，电子设备可以获取到包括有目标物体的视频序列。该视 频序列可以是由电子设备通过配置在本设备上的摄像头拍摄获取到的，也可以是由其他 设备拍摄获取到的。在该视频序列中，各视频帧图像可以显示出不同状态(例如，角度、方位、时间、光照等)下的目标物体。

2、电子设备提取图像集中各图像的特征点。

具体的，电子设备可以基于第一算法提取出各图像中的特征点。其中，特征点用于描述图像中具有某种特征信息的点。也就是说，相机在移动过程中，拍摄同一个物体或 场景获得多张图像，如果该物体或场景中实际相同的地方能够从图像中被识别出来，则 这些相同的地方在图像中对应的像素点可以称为特征点。

特征点提取是指从目标或场景所在图像中提取合适的描绘性特征。这些特征不仅可 以明确的区分目标和背景，而且在应对目标尺度伸缩、目标形状变化、目标遮挡等情况具有鲁棒性。上述用于提取特征点的第一算法可以是尺度不变特征变换(scale invariantfeature transform，SIFT)算法、加速稳健特征算法(speeded uprobust features，SURF)算法、基于自监督的特征点提取算法(也可以被称为superpoint算法)等。

3、电子设备匹配图像集中两两图像间提取出的特征点，并剔除外点。

具体的，电子设备可以基于第二算法进行两两图像间特征点的匹配。其中，两两图像间特征点的匹配指的是将特征信息相同的、分属于不同图像中的两特征点进行匹配。 已建立匹配关系的具有相同特征信息的特征点可以对应一个特征点集合。上述的第二算 法可以是暴力匹配算法(也可以被称为Brute Froce Matcher)、K dtree算法等。示例 性的，图2a示出了两幅图像，分别为图像101和图像102。图像101和图像102包括有 同一个物体1011。在图像101显示出的物体1011包括有一个特征点a。在图像102显示 出的物体1011包括有一个特征点b。特征点a包括的特征信息和特征点b包括的特征信 息相同，因此，特征点a和特征点b可以进行匹配。

当特征点间出现误匹配的情况时，可以通过随机抽样一致性(random sampleconsensus，RANSAC)算法去除误匹配的特征点(即外点)。需要说明的是，本申请对 于剔除误匹配的特征点的方法不作限制。

当特征点间的匹配关系建立后，可以生成特征点集合。示例性的，电子设备可以基于特征点间的匹配关系生成特征点轨迹(track)列表。例如，第一幅图的特征点1、第二 幅图的特征点2和第三幅图的特征点3所包含的特征信息相同，则上述特征点可以建立 匹配关系。假设，第一幅图的特征点1由(1,1)表示，第二幅图的特征点2由(2,2)表 示，第三幅图中的特征点3可以由(3,3)表示，则(1,1)、(2,2)和(3,3)属于一个 track(也可以被称为具有相同特征信息的一个特征点集合)。电子设备100可以根据上 述的示例生成track集合，该track集合包括一个或多个track，不同的track对应不同的特 征信息。示例性的，若同一个track多次包含同一幅图，说明同一幅图中的多个特征点都 匹配了同一个特征点，出现了错误匹配，则应该剔除该track。若同一个track中包含的元 素太少，例如只包含两个元素，表征只有两幅图像包括同一个目标点，则应该剔除该track。

4、电子设备基于特征点匹配的图像对进行三维重建初始化。

其中，特征点匹配的图像对，可以指的是已建立匹配关系的特征点数大于数量阈值 (例如100、200等)的图像对。

电子设备可以基于特征点匹配的图像对(如图像1和图像2)进行三维重建的初始化。 具体的，在一种可能的实现方式中，以图像1为标准建立三维坐标系，图像1上的特征点可以映射到该三维坐标系下，获取到对应的三维点信息。电子设备可以基于图像1与 图像2中特征点的匹配关系，通过PnP(perspective-n-point)方法计算获取到图像2的相 机位姿，包括旋转矩阵(也可以被称为R矩阵)和平移向量(也可以被称为t向量)。 然后，电子设备可以通过直接线性变换(direct linear transformation，DLT)算法基于相 机内参K，上述的R矩阵、t向量以及图像2上的特征点进行计算，获取到对应的三维点 信息。电子设备可以基于上述所得的三维点信息构建出初步的三维模型。

其中，相机位姿可以用于将图像上的二维点映射为三维坐标系中的三维点。例如，图像2对应的相机位姿，可以用于将图像2上的特征点映射为三维坐标系下的三维点， 或将三维坐标系下的三维点映射为图像2上对应的特征点。

需要说明的是，本申请对于基于图像1和图像2进行三维重建的初始化的方法不作限制。

接下来，电子设备可以注册图像3，并计算图像3中特征点对应的三维点信息。其中， 电子设备注册图像3指的是电子设备结合前述已生成的三维模型，基于图像3更新目标物体的三维模型(也即前述提及的增量式重建)。其中，已被利用进行三维模型构建的 图像可以被称为已注册图像，未被利用进行三维模型构建的图像可以被称为待注册图像。 示例性的，基于上述说明，图像3可以被称为待注册图像，图像1和图像2可以被称为 已注册图像。

电子设备可以通过图像3与已注册图像间特征点的匹配关系(例如，前述示例中的track列表)，获取到图像3中特征点(即与已注册图像中特征点匹配的特征点)与对应 的三维点的映射关系，基于上述映射关系计算出图像3对应的相机位姿。然后，电子设 备将图像3中没有映射到三维坐标系下的特征点，基于上述估算得到的图像3对应的相 机位姿，计算出对应的三维点信息(例如特征点中的特征信息、三维坐标等)，进而可 以基于计算得出的三维点信息重新构建目标物体的三维模型。

示例性的，如图2b所示，在三维坐标系中，已基于图像103(可以被视为上述提及的图像1)和图像104(可以被视为上述提及的图像2)生成有A区域的三维点。A区域 的三维点映射在图像103上，为A1区域的特征点；A区域的三维点映射在图像104上， 为A2区域的特征点。图像103上A1区域的特征点、图像104上A2区域的特征点，与 图像105(也可以被视为上述提及的图像3)上A3区域的特征点已建立匹配关系。也即 是说，A1、A2和A3区域映射在三维坐标系下是同一区域的三维点。因此，A3区域的 特征点映射在三维坐标系下，也为A区域的三维点。基于A3区域的特征点和A区域的 三维点，电子设备100可以计算出图像105对应的相机位姿。

如图2c所示，电子设备100已计算出图像105对应的相机位姿。图像105中包括有A4区域的特征点，该A4区域的特征点没有被映射到三维坐标系下。电子设备可以基于 图像105对应的相机位姿，将A4区域的特征点映射到三维坐标系下，得到B区域的三 维点。

类似的，电子设备还可以将图像3中其他没有映射到三维坐标系下的特征点，映射到三维坐标系下，完成对图像3的注册。同理，电子设备还可以对其他图像(如图像4、 5、6…)完成注册，实现对三维模型的增量式重建。

然而，在上述增量式重建的过程中，基于特征点以及估计的相机位姿生成的三维点， 是存在重投影误差的。因此，需要对相机位姿([R,t])、相机内参(K)以及三维点坐标(P)进行优化，以使重投影误差最小化。

其中，针对于特征点所生成的三维点，其重投影误差可以指的是将该三维点重投影 为对应图像上的二维坐标点，并将该二维坐标点与该三维点在该图像上对应特征点的二 维坐标进行对比，所产生的距离误差。

示例性的，如图2d所示，三维坐标系下有三维点P，该三维点P在图像106上对应 有特征点P1，该三维点P重投影在图像106上的二维坐标点为P2，P2与P1有重投影误 差e。

在本实施例中，电子设备可以基于光束法平差(bundle adjustment，BA)算法进行多 特征集束调整，以消除相机位姿和地图点位置的累积误差。其中，集束调整方法，是根据待优化相机位姿、相机内参以及地图点构造一个求解重投影误差最小化的非线性优化问题。具体的，电子设备可以基于BA算法进行局部集束调整，也可以进行全局集束调 整。

例如，电子设备可以通过BA算法，基于指定方向(例如各三维点对应的梯度方向)调整图像3在注册时生成的三维点的坐标，使得调整后的基于图像3生成的三维点对应 的重投影误差之和小于误差阈值(例如0.3、0.5等)。其中，重投影误差的计算，可以 基于图像3生成的各三维点和对应特征点的映射关系。

示例性的，如图2e所示，以前述图2c的实施例为例，B区域的三维点基于图像105中A4区域的特征点生成。该B区域中有三维点B1、B2、B3、B4。B区域中的三维点在 图像103和图像104中没有映射相应的特征点。因此，只需要计算在图像105上的重投 影误差。假设，三维点B1、B2、B3、B4映射到图像105上的重投影误差分别为e1、e2、 e3、e4，则电子设备可以基于BA算法调整三维点B1、B2、B3、B4的三维坐标，使得 重投影误差e1、e2、e3和e4的和小于误差阈值。

再例如，电子设备可以通过BA算法，基于指定方向(例如各三维点的对应梯度方向)调整基于已注册图像生成的三维点的坐标，使得调整后的基于已注册图像生成的三 维点的重投影误差之和小于误差阈值(例如0.3、0.5等)。其中，重投影误差的计算， 可以基于已注册图像生成的各三维点和对应特征点的映射关系。示例性的，电子设备可 以在每当注册指定数量(例如100张等)的图像时，进行全局的多特征集束调整。

示例性的，如图2f所示，目前已注册图像包括图像106、图像107和图像108，基 于上述图像生成有三维点B5、B6、B7、B8。其中，三维点B5在图像106、图像107和 图像108上分别对应有特征点；三维点B6在图像106、图像107和图像108上分别对应 有特征点；三维点B7在图像107和图像108上分别对应有特征点；三维点B8在图像106 和图像107上分别对应有特征点。

假设，三维点B5在图像106、图像107和图像108上的重投影误差分别为e5、e6 和e7；三维点B6在图像106、图像107和图像108上的重投影误差分别为e8、e9和e10； 三维点B7在图像107和图像108上的重投影误差分别为e11和e12；三维点B8在图像 106和图像1078上的重投影误差分别e13和e14。电子设备可以基于BA算法调整三维 点B5、B6、B7、B8的三维坐标，使得重投影误差e5、e6、e7、e8、e9、e10、e11、e12、 e13、e14的和小于误差阈值。

类似的，电子设备可以在图像集中的所有图像均注册完成时，通过BA算法，基于指定方向(例如各三维点对应的梯度方向)调整基于所有图像生成的三维点的坐标和所 有图像对应的相机位姿(或相机坐标)，使得调整后的基于所有图像生成的三维点对应 的重投影误差之和小于误差阈值。其中，电子设备的处理流程可以参考前文，在此不再 赘述。此时，重投影误差的计算，基于所有图像生成的各三维点和对应特征点的映射关 系。

当完成全局的多特征集束调整后，电子设备可以输出目标物体的三维模型。该三维 模型中可以包括稀疏三维点云以及各相机位姿。

其中，集束调整方法，就是根据待优化相机位姿和地图点构造一个求解重投影误差 最小化的非线性优化问题。三维点对应的重投影误差之和可以表示为：

其中，C＝{C₁,C₂,…,C_N}，P＝{P₁,P₂,…,P_D}，N为图像数量，D为是特征点数量，P_j为第j个特征点对应的三维点坐标，p_ji为第j个特征点在第i张图像中的二维坐标。

其中，C_i＝K_i[R_i,t_i]，K为相机内参，[R,t]为相机位姿，R为旋转矩阵，t为平移向量。K_i[R_i,t_i]P_j＝K_i*(R_i*P_j+t_i)，用于标识将3D点重投影到图像中得到相应的二维坐 标。进而，

可以表示第j个三维点在第i张图像中的重投影误差。

进而，集束调整方法涉及的非线性优化问题可以表示为：

在此非线性优化问题中，待优化量为相机参数C以及三维点P，其中，相机参数C 包括相机内参(K)和相机位姿([R,t])。

求解非线性问题，通常采用高斯牛顿法或LM(Levenberg-Marquardt)法，并基于Hessian矩阵计算每一次迭代中的状态增量，以使多次迭代后得到的相机参数C以及三维点P使重投影误差之和小于误差阈值。

其中，基于Hessian矩阵的增量线性方程的一般形式为HΔx＝b。

将该增量线性方程写成相机参数及三维点(或称地图点)的形式为：

其中，Δx_C为相机参数C的增量，Δx_P为三维点P坐 标的增量。

在

中，H_CC为对角阵，只在H_i,i处有非0块，H_CC的维度为相机参数 C的数量；H_PP为对角阵，只在H_j,j处有非0块，H_PP的维度为三维点(即地图点)P 的数量；H_CP是H_PC的转置矩阵，可能是稀疏矩阵，也可能是稠密矩阵，与具体的观测 数据有关。

通常三维点数量远多于相机参数数量，则在实际中H矩阵会如图3所示，左上角部分(即H_CC)显得非常小，右下角部分(即H_PP)占据了很大的空间，右上角部分和左 下角部分分布着散乱的观测数据。此时，H矩阵可以称为箭头型矩阵或者镐型矩阵。

为了加速增量线性方程的求解速度，通常采用舒尔补消元法。其中，增量线性方程经舒尔补消元法后的形式为：

进而，可以得到如下的增量求解公式：

Δx_C＝(H_CC-H_CPH_PP ^-1H_PC)^-1(b_C-H_CPH_PP ^-1b_P)；

Δx_P＝H_PP-¹(b_P-H_PCΔx_C)。

然而，随着图像数量和特征点数量的增加，集束调整求解时间呈指数级增加。当相机位姿、相机内参和三维点数量非常大时，即使基于舒尔补消元法进行集束调整求解加速，集束调整求解的耗时相比于三维重建中其它模块的耗时也是非常大的。

为了解决上述问题，本申请实施例提供了一种集束调整方法，以减少集束调整的求 解耗时，提高集束调整的效率。该方法中，首先，电子设备在待优化的所有三维点(或 称地图点)中按照预设策略选定一些比较重要或者称数据质量较优的三维点，并通过BA 算法对这些比较重要的三维点以及待优化的相机位姿、相机内参进行集束调整优化，得 到优化后的相机位姿、相机内参；然后，电子设备将优化后得到的相机位姿、相机内参 作为定值，通过BA算法对待优化的所有三维点进行集束调整优化，得到优化后的所有 三维点。

这样，本申请实施例提供的集束调整方法，通过两步优化的方式来实现，不仅能够保证优化精度，还能极大地降低优化求解的时间，提升了集束调整的效率。

如图4a所示为电子设备100的硬件结构示意图。

电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra mobile personal computer，UMPC)、上网本、 以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmentedrealty， AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificialintelligence，AI) 设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该 电子设备的具体类型不作特殊限制。

电子设备100可以包括处理器110、存储器120、无线通信模块130和显示屏140。 上述各个模块可以通过总线或者其他方式连接，本申请实施例以通过总线连接为例。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100还可以包括比图示更多或更少的部件，或者组合 某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或 软件和硬件的组合来实现。

处理器110可以包括一个或多个处理器单元，例如处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit， GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字 信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。控制器可以根据指令操作码和时序信号，产生操作 控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可以从所述存储器中直接调用。 避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter integrated circuit，I2C)接口，集成电路内置音频(inter integrated circuitsound， I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器 (universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general purposeinput/output，GPIO) 接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

存储器120与处理器110耦合，用于存储各种软件程序和/或多组指令。具体实现中， 存储器120可以包括易失性存储器(volatile memory)，例如随机存取存储器(randomaccess memory，RAM)；也可以包括非易失性存储器(non vlatile memory)，例如ROM、快 闪存储器(flash memory)、硬盘驱动器(Hard Disk Drive，HDD)或固态硬盘(Solid StateDrives，SSD)；存储器120还可以包括上述种类的存储器的组合。存储器120可以存储 一些程序代码(例如，SFM算法程序代码等等)，以便于处理器110调用存储器120中 存储的程序代码，以实现本申请实施例在电子设备100中的实现方法。存储器120可以 存储操作系统，例如uCOS、VxWorks、RTLinux等嵌入式操作系统。

无线通信模块130可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi Fi)网络)，蓝牙(bluetooth， BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术 (infrared，IR)等无线通信的解决方案。无线通信模块130可以是集成至少一个通信处 理模块的一个或多个器件。无线通信模块130经由天线接收电磁波，将电磁波信号调频 以及滤波处理，将处理后的信号发送到处理器110。无线通信模块130还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。在一些实施 例中，电子设备100可以通过无线通信模块130中的蓝牙模块(图4a中未示出)、WLAN 模块(图4a中未示出)发射信号来探测或扫描在电子设备100附近的设备，并与附近的 设备建立无线通信连接并传输数据。其中，蓝牙模块可以提供包括经典蓝牙(basic rate/enhanceddatarate，BR/EDR)或蓝牙低功耗(bluetooth low energy，BLE)中一项或多 项蓝牙通信的解决方案。WLAN模块可以提供包括Wi Fi direct、Wi Fi LAN或Wi Fi softAP中一项或多项WLAN通信的解决方案。

显示屏140可以用于显示图像、视频等。显示屏140可以包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organiclightemitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(activematrix organic light emitting diode，AMOLED)，柔性发光二极管(flexlightemitting diode，FLED)， Miniled，MicroLed，Micro oLed，量子点发光二极管(quantum dot light emitting diodes， QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏140，N为大于 1的正整数。

可选的，电子设备100还可以包括摄像头(图4a未示出)。该摄像头可以用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦 合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementarymetaloxide semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之 后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。 DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中， 电子设备100可以包括1个或N个摄像头，N为大于1的正整数。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的操作系统为例，示例性说明电子设备100的 软件结构。

图4b是本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分 别为应用程序层，应用程序框架层，硬件抽象层(hardware abstraction layer，HAL)和内 核层。

应用程序层可以包括一系列应用程序包。

如图4b所示，应用程序包可以包括相机、AR应用、3D应用等应用程序。应用程序 包还可以包括日历，天气，备忘录，游戏，视频和音乐等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface，API)和编程框架，包括各种组件和服务来支持开发者的安卓开发。应用程序框架层包括一些预先定义的函数。

如图4b所示，应用程序框架层可包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器，摄像头服务等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态 栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可 以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的 显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消 息，可以短暂停留后自动消失，无需用户交互。比如通知信息被用于告知下载完成，消息提醒等。通知信息还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如 在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

摄像头服务用于响应于应用的请求，调用摄像头(包括前置摄像头和后置摄像头)。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核 心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框 架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG 等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动， 传感器驱动。其中，该硬件可以包括摄像头，显示屏，处理器，以及存储器等器件。

可以理解的是，图4b示出的软件结构中的层以及各层中包含的部件，并不构成对电 子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

可以理解的是，电子设备为了实现本申请实施例中的集束调整方法，其包含了执行 各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步 骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本 领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能， 但是这种实现不应认为超出本申请的范围。

图5示出了本申请实施例提供的集束调整方法的流程图。如图5所示，本申请实施例提供的集束调整方法的流程，具体包括：

S201，电子设备获取相机位姿、三维点(或称地图点)、相机内参。

在本步骤中，电子设备获取的相机位姿、地图点和相机内参为待优化的相机位姿、地图点和相机内参。其中，待优化的相机位姿、地图点和相机内参，可以是在全局集束 调整时待优化的相机位姿、地图点和相机内参，也可以局部集束调整时待优化的相机位 姿、地图点和相机内参，本实施例对此不做限定。

一般，待优化的相机位姿的数量远小于三维点的数量。示例性的，三维点的数量级大于相机位姿的数量级，例如，三维点的数量约为相机位姿数量的千倍甚至万倍。

S202，电子设备在与相机位姿对应的多张图像中依次获取一张图像作为当前图像。

其中，当待优化的相机位姿为多个时，相应的三维建模对应的图像就有多张。

电子遍历这多张图像中的每张图像，在与每张图像对应的三维点中选定一些比较重 要的三维点，作为第一步集束调整时待优化的三维点，可以将这些三维点称之为目标三维点。

S203，电子设备将当前图像等分为多个网络。

针对每张图像，电子设备首先将其划分为多个相等的网格，例如可以是M*N像素的网格。

S204，电子设备按照特征提取响应值降序，在与当前图像对应的多个三维点中依次 获取一个三维点作为当前三维点。

特征提取响应值，指的是在图像特征提取阶段，在图像中提取到的特征点的响应值。 特征点的响应值，用于表征特征点的强壮大小，更确切的说，用于表征该点角点的程度。

针对每张图像，对与该图像对应的所有三维点进行遍历以选定目标三维点。其中，遍历顺序可以为特征提取响应值降序。特征提取响应值降序，指的是与三维点对应的图 像特征点的特征提取响应值由大到小的顺序。需要指出的是，与三维点对应的图像特征 点，可以理解为用于生成该三维点的图像特征点。

S205，电子设备判断当前三维点对应的特征点的特征提取响应值是否大于第一阈值， 若是，执行S206，若否，则执行S208。

在本实施例中，目标三维点对应的图像特征点的特征提取响应值需要大于第一阈值。 也即，第一步集束调整时待优化的三维点，需要是基于特征提取响应值较大的二维图像 特征点生成的。

S206，电子设备判断当前三维点对应的特征点所在网格对应的三维点选定数量是否 大于第二阈值，若否，则执行S207，若是，则执行S208。

在本实施例中，为了确保第一步集束调整时待优化的三维点的分布均衡性，电子设 备对目标三维点对应的二维图像特征点的分布进行了限定。其中，在每张图像中，同一个网格对应的三维点选定数量的上限为第二阈值。需要指出的是，与一个网格对应的三 维点选定数量，可以理解为目标三维点对应的图像特征点落入该网络内的数量。也就是 说，每个图像网格中包括的目标特征点的数量不大于第二阈值，目标特征点为与目标三 维点对应的图像特征点。

在本实施例中，电子设备按照特征提取响应值降序遍历三维点以确定目标三维点时， 如果某个三维点对应的二维图像特征点的特征提取响应值大于第一阈值，但该二维图像 特征点所在图像网格当前对应的三维点选定数量已大于第二阈值，或者说，该图像特征点所在图像网格包括的图像特征点的总数量已大于第二阈值，则该三维点也无法再被选定为目标三维点。

S207，电子设备将所述当前三维点作为目标三维点，并更新与当前图像各网格对应 的三维点选定数量。

在本实施例中，电子设备按照特征提取响应值降序遍历三维点以确定目标三维点时， 如果某个三维点对应的图像特征点的特征提取响应值大于第一阈值，且该图像特征点所 在图像网格当前对应的三维点选定数量不大于第二阈值，或者说且该图像特征点所在图 像网格包括的图像特征点的总数量不大于第二阈值，则该三维点可以被选定为目标三维 点。

电子设备将某个三维点选定为目标三维点之后，则可以将该三维点对应的图像特征 点所在图像网格对应的三维点选定数量进行更新，即三维点选定数量的值累加1。其中，在每张图像中，每个图像网络对应的三维点选定数量的初始值为0，或者说，每个图像网 格中包括的目标特征点的总数量的初始值为0。

S208，电子设备判断是否遍历完与当前图像对应的所有三维点，若是，则执行S209， 若否，则执行S204。

参照S204-S207，电子设备对当前图像对应的每个三维点进行遍历，直至遍历完成与 当前图像对应的所有三维点，确定与当前图像对应的所有目标三维点。

在一种可选的实施方式中，参照S204-S207，电子设备对当前图像对应的每个三维点 进行遍历，直至遍历到当前三维点对应的图像特征点的特征提取响应值不大于第一阈值。 这样，电子设备无需对排序靠后的其他三维点(其对应的图像特征点的特征提取响应值 必然不大于第一阈值)进行处理，提高目标三维点的选定效率。

S209，电子设备判断是否遍历完与相机位姿对应的所有图像，若否，则执行S202，若是，则执行S210。

参照S202-S208，电子设备对与待优化的每个相机位姿分别对应的每个图像进行遍 历，直至遍历完成与待优化相机位姿对应的所有图像，确定所有目标三维点，也即确定第一步集束调整时待优化的三维点。

S210，电子设备对目标三维点、相机位姿和相机内参进行集束调整，得到优化后的相机位姿和相机内参。

电子设备在所有三维点中挑选出一些比较重要的三维点(即目标三维点)之后，即可对目标三维点、待优化的相机位姿和相机内参进行集束调整，得到优化后的相机位姿 和相机内参。

在第一步集束调整优化中，待求解的状态增量为相机参数(包括相机位姿和相机内 参)的增量以及部分三维点坐标的增量。

在第一步集束调整优化中，增量线性方程写成：

其中，Δx_C为相机参数C的增量，Δx_P′为目标三维点P坐标的增量。

在

中，H_CC为对角阵，只在H_i,i处有非0块，H_CC的维度为相机参 数C的数量；H_P′P′为对角阵，只在H_j,j处有非0块，H_P′P′的维度为目标三维点(即选 定的地图点)P′的数量；H_CP′是H_P′C的转置矩阵，可能是稀疏矩阵，也可能是稠密矩 阵，与具体的观测数据有关。

在本实施例中，由于本步集束调整优化的是部分三维点(即目标三维点)，以及相机参数(包括相机位姿和相机内参)，则

矩阵(H矩阵)可以如图6a所 示。本步集束调整优化的是部分三维点(即目标三维点)，目标三维点的数量相对减少。 例如，所有三维点的数量约是相机位姿数量的千倍甚至万倍，目标三维点的数量约是相 机位姿数量的百倍甚至十倍。这样，H矩阵左下角部分(即H_P′C)和右上角部分(即H_CP′) 的维度大幅减小，也即H矩阵右上角部分和左下角部分分布的观测数据大幅减少。进而， 第一步集束调整优化所需的求解耗时也会减少。

S211，电子设备将优化后相机位姿和相机内参作为定值，对所有三维点进行集束调 整，得到优化后的所有三维点。

在完成第一步优化得到优化后的相机位姿和相机内参之后，在第二步优化中只对所 有三维点进行集束调整，得到优化后的所有三维点。

在第二步集束调整优化中，待求解的状态增量为所有三维点坐标的增量。

在第二步集束调整优化中，增量线性方程写成：

H_PPΔx_P＝b_P；其中，

H_PP为对角阵，只在H_j,j处有非0块，H_PP的维度为所有三维点P的数量。

在本实施例中，由于本步集束调整优化的只是所有三维点，H_PP矩阵可以如图6b 所示。此时，增量线性方程H_PPΔx_P＝b_P可以直接求解，不需要做舒尔消元处理，第二 步集束调整优化所需的求解耗时会更少。

此时，电子设备可以得到优化后的相机位姿、相机内参和所有三维点，可以对S201中获取到的相机位姿、三维点(或称地图点)和相机内参进行更新。

至此，电子设备分别两步优化完成了对S201中电子设备获取的相机位姿、三维点(或 称地图点)、相机内参的集束调整。进而，电子设备可以根据优化后的数据重构三维模型，该三维模型中可以包括稀疏三维点云以及各相机位姿。

这样，在本实施例提供方法中，将集束调整优化分为先优化相机位姿、部分地图点位置、相机内参，后优化所有地图点位置的两步。其中，第一步优化的部分地图点依据 一定的策略进行选择，两步优化的方法在保证优化精度不下降的情况下，极大降低了优 化求解的时间。

图7示出了基于一般方法和本方案方法进行集束调整的耗时对比结果图。如图7所示，在三维建模图像张数相同时，采用本方案方法的集束调整耗时显示少于采用一般方 法的集束调整耗时。而且，随着三维建模图像张数的增加，采用本方案方法的集束调整 耗时的减少得就越明显。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当 该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施 例中的集束调整方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时， 使得计算机执行上述相关步骤，以实现上述实施例中的集束调整方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置 运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例 中的集束调整方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应 的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁， 仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分 配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的 划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或 组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点， 所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单 元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对 前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而 这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种集束调整方法，其特征在于，包括：

获取待优化的相机位姿、相机内参和所有三维点；

根据预设策略在所述所有三维点中确定目标三维点；

对所述待优化的相机位姿、相机内参，以及所述目标三维点进行集束调整优化，得到优化后的相机位姿和相机内参；

将优化后的相机位姿和相机内参作为定值，对所述所有三维点进行集束调整优化，得到优化后的所有三维点。

2.根据权利要求1所述的方法，其特征在于，所述目标三维点的数据质量优于所述所有三维点的数据质量；其中，所述数据质量用于表征三维点用于三维重建时的精准程度。

3.根据权利要求1或2所述的方法，其特征在于，根据预设策略在所述所有三维点中确定目标三维点，包括：

遍历所述待优化的相机位置对应的图像；

在与每张图像对应的三维点中，选取所述目标三维点；其中，所述目标三维点对应的图像特征点的特征提取响应值大于第一阈值。

4.根据权利要求3所述的方法，其特征在于，还包括：

将每张图像等分为多个图像网格；

其中，每个图像网格中包括的目标特征点的数量不大于第二阈值；所述目标特征点为与所述目标三维点对应的图像特征点。

5.根据权利要求4所述的方法，其特征在于，在与每张图像对应的三维点中，选取所述目标三维点，包括：

将与每张图像对应的三维点按照特征提取响应值降序进行排列；

按照所述特征提取响应值降序依次获取一个三维点作为当前三维点；

如果所述当前三维点对应的图像特征点的特征提取响应值大于第一阈值，且当前图像网格包括的目标特征点总数量不大于所述第二阈值，则将所述当前三维点作为所述目标三维点，并更新所述当前图像网格包括的目标特征点总数量；其中，所述当前图像网格为与所述当前三维点对应的图像特征点所在的图像网格；

继续按照所述特征提取响应值降序依次获取一个三维点作为当前三维点，直至遍历完与每张图像对应的各个三维点，或者直至遍历到所述当前三维点对应的图像特征点的特征提取响应值不大于所述第一阈值。

6.根据权利要求1或2所述的方法，其特征在于，所述所有三维点的数量与所述相机位姿数量的差值大于预设数量阈值。

7.根据权利要求1或2所述的方法，其特征在于，获取待优化的相机位姿、相机内参和所有三维点，包括：

获取局部集束调整时待优化的相机位姿、相机内参和所有三维点。

8.根据权利要求1或2所述的方法，其特征在于，获取待优化的相机位姿、相机内参和所有三维点，包括：

获取全局集束调整时待优化的相机位姿、相机内参和所有三维点。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

以及一个或多个计算机程序，其中所述一个或多个计算机程序存储在所述存储器上，当所述计算机程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至8中任一项所述的集束调整方法。

10.一种计算机可读存储介质，包括计算机程序，其特征在于，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任意一项所述的集束调整方法。

Images