CN116310227B - 三维稠密重建方法、装置、电子设备及介质 - Google Patents

Abstract

本申请提供一种三维稠密重建方法、装置、电子设备及介质，该方法包括：计算第一图像块中像素值为1的区域总面积，得到第一值；根据第一值，确定将第一图像块作为第二图像块存入第二图像块集合中，或将第一图像块存入待合并图像块集合中，或将第一图像块丢弃；遍历待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将合并图像块作为第二图像块存入第二图像块集合中，并将两个第一图像块从待合并图像块集合中剔除；根据第二图像块集合，确定网格块数，结合网格块数和显存资源，并行地对第二图像块集合中每个图像块进行稠密重建。本申请的方法，有效减少了碎片化分块的数量。

Description

三维稠密重建方法、装置、电子设备及介质

技术领域

本申请涉及三维重建技术，尤其涉及一种三维稠密重建方法、装置、电子设备及介质。

背景技术

在城市级的三维建模任务中，通常会拍摄大量的照片（几千甚至上万张），在稠密重建阶段需要耗费大量的算力和时间去估算每张图片的深度图。为了提高计算效率，需要对这一步骤进行并行化处理，将原始图像进行分组，分别计算每组原始图像的深度图和稠密点云，最后再通过点云模型化技术，形成城市级的三维模型。

已知技术中，常采用基于视图数量等间隔分块、空间距离等间隔分块和基于航线分块等常用方法进行分组，然而，视图数量等间隔分块会受视图重叠度的影响而难以综合考虑到视图数量与点云之间的关系。空间距离等间隔分块在处理诸如航线变化复杂的场景时，会产生更多的碎片数据并造成更大的合并误差。基于航线的分块方法能够避免前两种方法产生的问题，但该方法仅适用于单目正射航拍的方式，不适用拍摄时会出现视野交叉的多目摄像头拍摄场景。

因此，提供一种可以对稀疏点云进行快速、均匀、规则地分块，减少在航拍区域的边缘或者不规则区域出现的碎片化分块，并能适用于单目、多目和复杂航线的各种拍摄场景的网格分块方法，是十分必要的。

发明内容

本申请提供一种三维稠密重建方法、装置、电子设备及介质，用以提供一种可以减少碎片化分块的分块方式。

第一方面，本申请提供一种三维稠密重建方法，该方法包括：

遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；

根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；

遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；

根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建。

在另一种可能实现的方式中，若所述第一值不小于第二预设阈值，则将所述第一图像块作为所述第二图像块存入所述第二图像块集合中；若所述第一值小于所述第二预设阈值且大于0，则将所述第一图像块存入所述待合并图像块集合中；否则，将所述第一图像块丢弃。

在另一种可能实现的方式中，所述遍历所述待合并图像块集合中的第一图像块，对满足预设条件的两个第一图像块进行合并处理，得到合并图像块，包括：

对于所述待合并图像块集合中的每一个第一图像块，查找所述待合并图像块集合中是否存在与所述第一图像块上下、左右相邻的图像块，若存在，则将所述图像块与所述第一图像块合并，得到备选合并图像块；

计算所述备选合并图像块中像素值为1的区域与所述区域外接矩的面积比，确定面积比最大的备选合并图像块；

若所述面积比最大的备选合并图像块的面积比不小于所述第一预设阈值，则将所述面积比最大的备选合并图像块作为所述合并图像块。

在另一种可能实现的方式中，所述遍历第一图像块集合中的第一图像块之前，所述方法还包括：

获取原始图像的稀疏重建信息，将所述稀疏点云转换到预设坐标系中，并投影到水平面，得到正射稀疏点集；所述稀疏重建信息包括所述稀疏点云，所述稀疏点云是反映三维场景信息的特征点数据集合；

根据所述正射稀疏点集构造备选图像，所述备选图像的尺寸由所述正射稀疏点集在x轴和y轴的最大值、最小值确定；所述备选图像中属于所述正射稀疏点集的像素点像素大小为1，否则，像素大小为0；

根据所述备选图像，确定所述第一图像，并根据预设网格大小，将所述第一图像划分为n块，得到包括n个第一图像块的第一图像块集合。

在另一种可能实现的方式中，所述根据所述备选图像，确定所述第一图像，包括：

对所述备选图像进行闭运算，得到过程图像，所述过程图像是对所述备选图像填充孔隙后得到的；

通过预设方式检索所述过程图像中的最长轮廓，并根据所述最长轮廓绘制所述第一图像，使得所述最长轮廓内的像素值为1，所述最长轮廓外的像素值为0。

在另一种可能实现的方式中，所述根据所述第二图像块集合，确定网格块数之前，所述方法还包括：

确定所述第二图像块集合与所述待合并图像块集合中的图像块数量是否满足第二预设条件，所述第二预设条件为所述第二图像块的数量为所述第一图像块的数量的两倍以上；

若满足，则遍历所述待合并图像块集合中的第一图像块，并确定与所述第一图像块的中心距离最短的第二图像块；

将所述第一图像块合并至所述第二图像块中，并生成合并后图像块的像素值为1的区域外接矩，将所述区域外接矩作为更新第二图像块存入所述第二图像块集合中。

在另一种可能实现的方式中，若所述第二图像块集合与所述待合并图像块集合中的图像块数量不满足第二预设条件，则所述方法还包括：

更新所述预设网格大小，得到更新网格大小，根据所述更新网格大小将所述第一图像划分为m块，得到包括m个第一图像块的第一图像块集合，所述m小于所述n。

在另一种可能实现的方式中，所述结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建，包括：

根据所述显存资源和所述原始图像的分辨率，计算最大并行数量；

根据所述最大并行数量，并行地对所述第二图像块集合中的第二图像块进行所述稠密重建。

第二方面，本申请提供一种三维稠密重建装置，该装置包括：

计算模块，用于遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；

确定模块，用于根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；

合并模块，用于遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；

重建模块，用于根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建。

第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面中任一项所述的方法。

第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面中任一项所述的方法。

本申请提供一种三维稠密重建方法、装置、电子设备及介质，在本申请的方法中，电子设备遍历第一图像块集合中的第一图像块，并计算各第一图像块的第一值。电子设备通过各第一图像块的第一值确定是否将第一图像块存入第二图像块集合中，对于未存入第二图像块集合中、且未被丢弃的第一图像块，电子设备将其存入待合并图像块集合中。电子设备遍历待合并图像块中是否存在满足预设条件的两个第一图像块，并在存在时，将该两个第一图像块合并后存入第二图像块集合中。最后，电子设备对第二图像块集合中的每个图像块，并行地进行稠密重建。

本申请的方法中，电子设备将位于图像边缘或不规则区域的碎片化分块，与满足第一预设条件的图像块合并后，存入第二图像块集合中，有效减少了无用碎片化分块的数量，有利于减轻后续计算深度图时的负担。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的一种三维重建的场景示意图；

图2为本申请实施例提供的一种三维稠密重建方法的流程示意图一；

图3为本申请实施例提供的一种三维稠密重建方法的流程示意图二；

图4为本申请实施例提供的一种三维稠密重建方法的流程框图一；

图5为本申请实施例提供的一种三维稠密重建方法的流程框图二；

图6为本申请实施例提供的一种三维稠密重建方法的流程框图三；

图7为本申请实施例提供的一种三维稠密重建装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1为本申请实施例提供的一种三维重建的场景示意图，如图1所示，本申请提出一种三维稠密重建方法，可以应用于基于城市场景航拍图像的三维重建场景。在如图1所示的场景中，通过航拍设备采集城市场景图像，对于采集到的图像依次进行稀疏重建、稠密重建、点云模型化处理，最终可以得到城市场景的三维模型。

在上述场景中，航拍设备一般包括飞行平台和搭载在飞行平台上的五个相机，用于在不同位置采集不同角度的城市图像。稀疏重建用于求解相机在拍摄每张城市图像时的相机位姿，即从运动恢复结构（Structure From Motion，SFM）。稠密重建过程用于计算每张城市图像的深度图，再结合相机位姿，利用重投影技术，恢复出三维世界的稠密点云信息。点云模型化处理过程用于在得到稠密点云信息后，结合表面重建、纹理贴图和细节层次（Levels of Detail，LOD）模型化技术，重建出可以应用于三维引擎展示的三维模型。

对于上述的城市级的三维建模场景，通常会拍摄大量的照片（几千甚至上万张），导致稠密重建过程中，需要耗费大量的算力和时间去估算每张图片的深度图。为了提高计算效率，需要对这一步骤进行并行化处理，将航拍设备采集的城市图像进行分组，分别计算每组城市图像的深度图和稠密点云，最后通过点云模型化技术，形成城市级的三维模型。

已知技术中，常用的分组方法有基于视图数量等间隔分块、空间距离等间隔分块和基于航线分块等。但是，视图数量等间隔分块会受视图重叠度的影响而难以综合考虑到视图数量与点云之间的关系。空间距离等间隔分块在处理诸如航线变化复杂的场景时，会产生更多的碎片数据并造成更大的合并误差。基于航线的分块方法能够避免前两种方法产生的问题，但该方法仅适用于单目正射航拍的方式，不适用拍摄时会出现视野交叉的多目摄像头拍摄场景，例如如图1所示的场景。

因此，本申请提供一种三维稠密重建方法、装置、电子设备及介质，用于避免以上三种方式的缺陷。具体地，本申请的方案构思为：根据预设网格大小对图像进行分块后，确定出位于边缘区域或不规则区域的图像块，将这些图像块中相邻的、且像素值为1的区域面积大于预设阈值的两个图像块合并，以减少碎片化分块的数量，从而一方面降低后续深度图计算的负担，另一方面降低合并误差。

下面结合附图，对本申请的实施例进行详细说明，在各实施例不冲突的情况下，下述的实施例及实施例中的特征可以相互结合。

图2为本申请实施例提供的一种三维稠密重建方法的流程示意图一，下面结合图2，对本申请的一些实施方式作详细说明。

如图2所示，本实施例提供的方法包括：

S201，遍历第一图像块集合中的第一图像块，计算第一图像块中像素值为1的区域总面积，得到第一值。

其中，第一图像块是对第一图像均匀划分后得到的，第一图像是根据稀疏点云投影后得到的，稀疏点云经过投影后位于第一图像块中像素值为1的区域。

在本实施例中，电子设备预先将第一图像中稀疏点云投影后的对应区域的像素值设置为1，其余区域设置为0，以区分第一图像中需要进行三维重建的区域和不需要进行三维重建的区域。

基于此，电子设备遍历第一图像块集合中的第一图像块，并计算各第一图像块的第一值。具体的，电子设备通过opencv开源图像算法库的cvFindContours检索出第一图像块中像素值为1的区域，进而得到该区域的面积，即第一值。

在实际应用中，电子设备还可以通过其它方式确定第一图像块中像素值为1的区域总面积，本实施例中不对此进行限定。

S202，根据第一值，确定将第一图像块作为第二图像块存入第二图像块集合中，或者，将第一图像块存入待合并图像块集合中，或者，将第一图像丢弃。

具体地，电子设备内设置有第二预设阈值，对于第一值不小于第二预设阈值的第一图像块，将其存入第二图像块集合中，对于第一值小于第二预设阈值且大于0的第一图像块，将其存入待合并图像块集合中，将第一值小于或等于0的第一图像块丢弃。

在本实施例中，根据经验设定第二预设阈值为第一图像块总面积的0.5倍，可以理解的是，对于像素值为1的区域面积小于第一图像块总面积0.5倍的第一图像块，有理由认为其是位于原始图像的边缘区域或不规则区域的碎片化分块。

在实际应用中，还可以将第二预设阈值设置为第一图像块总面积的0.8倍，本实施例不对其进行限定。

可选的，第二预设阈值是用户提前输入电子设备中的。

S203，遍历待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将合并图像块作为第二图像块存入第二图像块集合中，并将两个第一图像块从待合并图像块集合中剔除。

其中，第一预设条件包括：两个第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值。

在本实施例中，两个第一图像块相邻包括，两个第一图像块上下相邻和两个第一图像块左右相邻两种情况，因此，对于每个第一图像块，需要确定待合并图像块集合中是否存在与其上、下、左、右相邻的第一图像块。若存在，则对该第一图像块和每个与该第一图像块相邻的第一图像块进行合并处理，可以理解的是，已经经过合并处理的第一图像块将从待合并图像块集合中剔除，因此，不会存在第一图像块被重复合并的情况。

由上述过程可知，对于每个第一图像块，在待合并图像块集合中存在与该第一图像块相邻的第一图像块时，则会至少存在一个与其相邻的第一图像块。若只存在一个与其相邻的第一图像块，则将该第一图像块和与其相邻的第一图像块合并，得到待合并图像块，判断待合并图像块中像素值为1的区域与该区域外接矩的面积比，是否不小于第一预设阈值，若是，则将该待合并图像块确定为合并图像块，并将合并图像块作为第二图像块存入第二图像块集合中。否则，将待合并图像块还原为两个第一图像块，继续存在待合并图像块集合中。

若存在多个与其相邻的第一图像块，则分别将该第一图像块与多个与其相邻的第一图像块合并，得到多个待合并图像块。计算每个待合并图像块中像素值为1的区域与该区域外接矩的面积比，选择其中面积比最大的待合并图像块与第一预设阈值比较，若该待合并图像块的面积比不小于第一预设阈值，则将该待合并图像块确定为合并图像块，并将合并图像块作为第二图像块存入第二图像块集合中。

在实际应用中，当存在多个与第一图像块对应的待合并图像块时，电子设备可以首先计算各待合并图像块中像素值为1的区域与该区域外接矩的面积比，然后筛选面积比不小于第一预设阈值的待合并图像块，最后在面积比不小于第一预设阈值的待合并图像块中，将面积比最大的待合并图像块确定为合并图像块，并将合并图像块作为第二图像块存入第二图像块集合中，本实施例中，不对电子设备得到合并图像块的方式进行限定。

S204，根据第二图像块集合，确定网格块数，结合网格块数和显存资源，并行地对第二图像块集合中每个图像块进行稠密重建。

可以理解的是，网格块数即为第二图像块集合中第二图像块的个数，显存资源用于指示电子设备的显存大小。

在本实施例中，电子设备根据网格块数和显存资源，确定电子设备每批次可以并行处理的最大网格块数，根据每批次可以并行处理的最大网格块数，并行地对同批次下的图像块进行稠密重建，直至完成所有图像块的稠密重建。

可选地，在本实施例中，电子设备根据显存资源和原始图像的分辨率计算最大并行数量。根据最大并行数量，并行地对第二图像块集合中的第二图像块进行稠密重建。

本实施例的方法中，对于均匀分割第一图像后得到的第一图像块，电子设备会计算该第一图像块对应的第一值，然后通过第一值确定第一图像块是否为位于第一图像边缘区域或不规则区域处的图像块。将位于第一图像边缘区域或不规则区域处的第一图像块存入待合并图像块集合中，电子设备对于待合并图像块集合中的任意两个第一图像块，通过判断该两个第一图像块是否满足预设条件，来确定是否对该两个第一图像块进行合并处理。对于满足预设条件的两个第一图像进行合并处理，得到合并图像块，并将合并图像块作为第二图像块存入第二图像块集合中。最后，电子设备并行地对第二图像块集合中的图像块，进行稠密重建。

本实施例提供的方法，尽可能地将位于第一图像边缘区域或不规则区域的图像块与其相邻的图像块合并，从而减少了碎片化分块的数量，进而一方面有利于降低后续深度图计算的负担，另一方面有利于降低合并误差。

图3为本申请实施例提供的一种三维稠密重建方法的流程示意图二，下面结合图3对本申请中方法进行详细说明。具体的，本实施例在上述实施例的基础上，着重对得到第一图像的方式进行限定。

如图3所示，本实施例提供的方法包括：

S301，获取原始图像的稀疏重建信息，将稀疏点云转换到预设坐标系中，并投影到水平面，得到正射稀疏点集。

其中，稀疏重建信息包括稀疏点云，稀疏点云是反映三维场景信息的特征点数据集合。

具体的，本实施例中，电子设备先将稀疏点云转换到预设坐标系中，得到稀疏点集，再将稀疏点集投影到水平面上，得到正射稀疏点集。可选地，在将稀疏点集投影到水平面后，可以对每个点进行取整，并去掉重复点后得到正射稀疏点集。

在本实施例中，不对稀疏重建的方式进行限定，只要可以得到稀疏重建信息即可。本实施例中，预设坐标系为世界大地坐标系。

S302，根据正射稀疏点集构造备选图像，备选图像的尺寸由正射稀疏点集在x轴和y轴的最大值、最小值确定；备选图像中属于正射稀疏点集的像素点像素大小为1，否则，像素大小为0。

具体的，假设在以（0，0）为原点的直角坐标系下，正射稀疏点集在x轴和y轴的最大值和最小值分别为：，则备选图像的尺寸为w×h，其中，，/>。

进一步的，电子设备根据以下规则设置备选图像的像素值，以实现使备选图像中属于正射稀疏点集的像素点像素大小为1，其余像素点的像素大小设置为0。

上式中， 用于表示备选图像中，以 /> 作为原点时，横坐标为X、纵坐标为Y的点，/> 用于表示该点的像素大小，/>用于表示正射稀疏点集，用于表示备选图像中除正射稀疏点集外的区域。

S303，对备选图像进行闭运算，得到过程图像。

其中，过程图像是对备选图像填充孔隙后得到的。

在本实施例中，闭运算的核大小设置为5。可以理解的是，对备选图像进行闭运算，用于对备选图像填充空隙。

S304，通过预设方式检索过程图像中的最长轮廓，并根据最长轮廓绘制第一图像，使得最长轮廓内的像素值为1，最长轮廓外的像素值为0。

在本实施例中，电子设备使用Opencv开源图像算法库的cvFindContours检索出过程图像中的最长轮廓，并使用cvDrawContours函数根据最长轮廓绘制一张图像，使得该图像中最长轮廓内的像素值为1，最长轮廓外的像素值为0，该图像即为第一图像，第一图像中像素值为1的部分是需要进行三维重建的区域。

可以理解的是，最长轮廓为过程图像中的所有轮廓。S303、S304中均是对图像中的像素值进行调整，而未对图像的尺寸进行调整。因此，第一图像的尺寸与备选图像尺寸一致。

本实施例提供的方法，由电子设备执行，用于首先根据稀疏点云得到世界大地坐标系下的稀疏点集，通过将稀疏点集投影到水平面，得到正射稀疏点集。其次，电子设备根据正射稀疏点集，首先构造一张备选图像，备选图像的尺寸和像素值由正射稀疏点集确定。电子设备对备选图像进行闭运算，以填充备选图像的孔隙，得到过程图像。最后，电子设备检索过程图像中的所有轮廓，并根据最长轮廓绘制第一图像。

在本实施例的方法中，电子设备会将稀疏点云首先转换至预设坐标系中，并将其投影至水平面，得到正射稀疏点集，根据正射稀疏点集来构造第一图像，从而使得网格化分块只与原始图像中的特征点相关，不依赖于拍摄点位和角度，进而使得本方案不限于单目摄像头拍摄的场景。此外，电子设备对备选图像进行闭运算得到过程图像后，再根据过程图像绘制第一图像，有利于减少最终得到的第一图像中的小裂缝、间断和小孔。

图4为本申请实施例提供的一种三维稠密重建方法的流程框图一，图5为本申请实施例提供的一种三维稠密重建方法的流程框图二，图6为本申请实施例提供的一种三维稠密重建方法的流程框图三，下面结合图4、图5和图6，对本申请的一些实施方式作详细说明。具体地，本实施例在前述实施例的基础上，进一步对确定第二图像块集合的方式进行了详细说明。

如图4所示，本实施例提供的方法包括：

S401，根据预设网格大小，将第一图像划分为n块，得到包括n个第一图像块的第一图像块集合。

电子设备中设置有预设网格大小，其可以是用户设置的，也可以是电子设备根据第一图像块的尺寸自动生成的。

在本实施例中，用户提前向电子设备输入预设网格大小s×s，s可以为任意整数，例如s可以为15。对于前述S302中列举的示例，在确定第一图像尺寸后，可以根据第一图像的尺寸和预设网格大小，得到第一图像的网格块数。具体地，若第一图像的网格块数为n，则，其中，/>为取整符号。

S402，遍历第一图像块集合中的第一图像块，计算第一图像块中像素值为1的区域总面积，得到第一值。

具体的，在本实施例中，对于每个第一图像块，电子设备通过检索第一图像块中像素值为1的区域，得到该区域总面积，即第一值。

S403，判断第一值是否不小于第二预设阈值，若是，则执行S404，否则，执行S405。

具体的，电子设备中设置有第二预设阈值，第二预设阈值由用户提前输入，用户可以根据经验或需求设置第二预设阈值。示例性的，本实施例中，用户根据经验设定第二预设阈值为0.5×s×s。可以理解的是，s×s为第一图像块的面积。

在本实施例中，电子设备获取到第一图像块的第一值后，将第一值与第二预设阈值作比较，以判断第一值是否不小于第二预设阈值。可以理解的是，对于不小于第二预设阈值的第一图像块，有理由认为其不是碎片化分块，可以直接使用。

S404，将第一图像块作为第二图像块存入第二图像块集合中。

具体的，对于第一值不小于第二预设阈值的第一图像块，电子设备将其存入第二图像块集合中，等待使用。

S405，判断第一值是否大于0，若是，则执行S406，否则，执行S408。

具体的，第一值小于第二预设阈值，且大于0的，有理由认为相应的第一图像块为碎片化分块，对于该类第一图像块，电子设备将其存入待合并图像块集合中。对于第一值小于或等于0的第一图像块，电子设备将其丢弃。可选地，对于该类图像块，电子设备可以重新执行S402-S405，若其第一值仍旧小于或等于0，则将其丢弃。

S406，将第一图像块存入待合并图像块集合中。

S407，根据第二图像块集合确定网格块数，结合网格块数和显存资源，并行地对第二图像块集合中每个图像块进行稠密重建。

在本实施例中，电子设备通过自身的显存资源和原始图像的分辨率，计算电子设备处理器允许的最大并行数量。电子设备根据最大并行数量和第二图像块集合中的网格块数，并行地对第二图像块集合中的第二图像块进行稠密重建。

示例性的，若已知第二图像块集合中网格块数为n，原始图像的分辨率为K，显存资源大小为S，且每处理100万像素的图像时，需要占用的显存为300M，则最大并行量为。

进一步的，电子设备在得到最大并行量后，遍历第二图像块集合中的第二图像块，根据最大并行量分批次对第二图像块集合中的第二图像块进行稠密重建。

S408，将第一图像块舍弃。

进一步的，电子设备在执行S407之前，首先执行如图5所示的S501-S507，以确定最终的第二图像块集合。具体的，如图5所示，本实施的方法具体为：

S501，遍历待合并图像块集合中的每一个第一图像块。

S502，查找待合并图像块集合中是否存在与第一图像块上下、左右相邻的图像块，若存在则执行S503。

具体的，电子设备首先确定第一图像块的端点坐标，其次，在待合并图像块中查找是否存在另一个图像块的两个相邻的端点坐标与该第一图像块相邻的端点坐标重合，若存在，则确定该图像块为第一图像块的相邻图像块。可以理解的是，该图像块也是待合并图像块集合中的第一图像块。

可以理解的是，若待合并图像块集合中不存在与第一图像块上下、左右相邻的图像块，则使第二图像块集合和待合并图像块集合保持不变。

S503，将图像块与第一图像块合并，得到备选合并图像块。

具体地，电子设备在确定出待合并图像块集合中的与第一图像块相邻的图像块后，将该图像块与该第一图像块合并，得到备选合并图像块。

可以理解的是，相邻包括上、下、左、右四种情况，因此，待合并图像块集合中最多会存在四个与第一图像块相邻的图像块，对于每个图像块，电子设备分别将其与第一图像块合并，得到各自对应的备选合并图像块。

S504，计算备选合并图像块中像素值为1的区域与区域外接矩的面积比，确定面积比最大的备选合并图像块。

可以理解的是，若待合并图像块集合中只存在一个与第一图像块相邻的图像块，则该图像块与第一图像块合并后的备选合并图像块即为面积比最大的备选合并图像块。

若待合并图像块集合中存在不止一个与第一图像块相邻的图像块，则电子设备首先计算各个备选合并图像块的面积比，再对各个备选合并图像块的面积比进行比较，最终得到面积比最大的备选合并图像块。

在本实施例中，电子设备通过检索备选合并图像块中像素值为1的区域，以确定备选合并图像块中像素值为1的区域面积，最后再来确定备选合并图像块中像素值为1的区域与区域外接矩的面积比。

S505，判断面积比最大的备选合并图像块的面积比是否不小于第一预设阈值，若是，则执行S505，否则执行S506。

具体的，电子设备执行S504时，在备选合并图像块中筛选面积比最大的备选合并图像块，电子设备对该备选合并图像块的面积比与第一预设阈值进行比较。

其中，在本实施例中，第一预设阈值是用户根据经验设置的，其可以为0.5。电子设备对于外接矩面积与外接矩内像素值为1的区域面积之比和第一预设阈值进行比较，以判断面积比最大的备选合并图像块的面积比是否小于第一预设阈值。

S506，将面积比最大的备选合并图像块作为合并图像块，将合并图像块作为第二图像块存入第二图像块集合中，并在待合并图像块集合中剔除合并图像块对应的两个第一图像块。

在本实施例中，若电子设备确定面积比最大的备选合并图像块的面积比不小于第一预设阈值，则将面积比最大的备选合并图像块作为第二图像块存入第二图像块集合中。

可以理解的是，对于存入第二图像块集合中的备选合并图像块，需要在待合并图像块集合中将用于合并的第一图像块及其相邻的图像块剔除。

S507，将合并图像块还原为两个第一图像块，并返回待合并图像块集合中。

在本实施例中，若面积比最大的备选合并图像块的面积比小于第一预设阈值，则将所有的备选合并图像块还原为两个第一图像块，并返回待合并图像块集合中。

可选的，电子设备在执行完S506或S507后，继续执行图6所示的S601、S602，根据S602的执行结果，确定执行S603-S604，或者S605，在执行完S604后，继续执行S407，在执行完S605后，继续执行S402。具体地，如图6所示，本实施例的具体方法为：

S601，获取第二图像块集合和待合并图像块集合。

S602，判断第二图像块集合与待合并图像块集合中的图像块数量是否满足第二预设条件。若是，则执行S603，否则，执行S605。

其中，第二预设条件为第二图像块的数量为第一图像块的数量的两倍以上。

具体的，电子设备通过比较第二图像块集合中的图像块数量与待合并图像块集合中的图像块数量，确定是否满足第二预设条件，第二预设条件是用户根据经验提前设置的。

S603，遍历待合并图像块集合中的第一图像块，并确定与第一图像块的中心距离最短的第二图像块。

可以理解的是，中心距离用于指示第一图像块的中心坐标与第二图像块的中心坐标间的距离。

具体的，对于待合并图像块集合中的每一个第一图像块，电子设备首先确定其中心坐标，其次，确定每个第二图像块的中心坐标。最后在第二图像块集合中查找与该第一图像块中心坐标最近的第二图像块的中心坐标，根据第二图像块的中心坐标确定目标第二图像块，即与第一图像块的中心距离最短的第二图像块。

S604，将第一图像块合并至第二图像块中，并生成合并后的图像块的像素值为1的区域外接矩，将区域外接矩作为更新第二图像块存入第二图像块集合中。

在本实施例中，电子设备将当前第一图像块合并至第二图像块中，得到合并后图像块。电子设备生成合并后图像块中像素值为1的外接矩，将该外接矩作为更新第二图像块存入第二图像块集合中。

可以理解的是，电子设备将该第一图像块由待合并图像块集合中剔除，将原第二图像块由第二图像块集合中剔除。

S605，更新预设网格大小，得到更新网格大小，根据更新网格大小将第一图像划分为m块，得到包括m个第一图像块的第一图像块集合，m小于n。

在本实施例中，电子设备若需要执行S605，则可以理解的是，在执行完S605对第一图像重新分块后，继续执行S402及其后续相应的步骤。

本实施例提供的方法中，电子设备在得到第一图像后，首先根据预设网格大小，将第一图像划分为n个第一图像块，得到第一图像块集合。对于每个第一图像块，电子设备通过判断该第一图像块中像素值为1的区域面积是否满足第二预设阈值，来确定第一图像块是否明显不位于图像边缘区域或不规则区域的图像块。对于满足第二预设阈值的第一图像块，电子设备将其作为第二图像块存入第二图像块集合中。对于不满足第二预设阈值的第一图像块，若其不应被丢弃，则存入待合并图像块集合中。

进一步的，电子设备遍历待合并图像块集合中的每个第一图像块，查找待合并图像块中是否存在两个满足第一预设条件的第一图像块，若存在，则将该两个第一图像块进行合并，得到备选合并图像块，将备选合并图像块中满足要求的确定为合并图像块，并将该合并图像块作为第二图像块，存入待合并图像块集合中。此时，电子设备将该两个第一图像块从待合并图像块集合中剔除。

进一步的，电子设备判断此时第二图像块集合与待合并图像块集合中的图像块数量是否满足第二预设条件，若是，则电子设备通过计算第一图像块与第二图像块中心距离的方式，判断第一图像块是否可以合并至相应的第二图像块中，若是，则相应更新第二图像块集合和待合并图像块集合。电子设备根据此时的第二图像块集合，并行地进行稠密重建。

若第二图像块集合与待合并图像块集合中的图像块数量不满足第二预设条件，则说明无效分块数量过多，当前的图像块尺寸过大。因此，需要更新预设网格大小，以更新第一图像块集合、第二图像块集合及待合并图像块集合。

通过本实施例的方法，在均匀分块的前提下，尽可能将碎片化分块合并到第二图像块中，从而减少了碎片数据量。在本实施例中，若第二图像块集合与待合并图像块集合中的图像块数量不满足第二预设条件，电子设备还会自动更新预设网格大小，直至满足第二预设条件，一方面有利于降低后续计算过程的误差，另一方面，有效节省了人力。

通过上述实施例从方法流程的角度介绍一种三维稠密重建方法，下述实施例从虚拟模块或虚拟单元的角度介绍一种三维稠密重建装置，具体详见下述实施例。

本申请实施例提供一种三维稠密重建装置，如图7所示，该装置包括计算模块71、确定模块72、合并模块73和重建模块74，其中，

计算模块71，用于遍历第一图像块集合中的第一图像块，计算第一图像块中像素值为1的区域总面积，得到第一值；第一图像块是对第一图像均匀划分后得到的，第一图像是根据稀疏点云投影后得到的，稀疏点云经过投影后位于第一图像中像素值为1的区域；

确定模块72，用于根据第一值，确定将第一图像块作为第二图像块存入第二图像块集合中，或者，将第一图像块存入待合并图像块集合中，或者将第一图像块丢弃；

合并模块73，用于遍历待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将合并图像块作为第二图像块存入第二图像块集合中，并将两个第一图像块从待合并图像块集合中剔除；第一预设条件包括：两个第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；

重建模块74，用于根据第二图像块集合，确定网格块数，结合网格块数和显存资源，并行地对第二图像块集合中每个图像块进行稠密重建。

本申请实施例的另一种可能的实现方式，若第一值不小于第二预设阈值，则将第一图像块作为第二图像块存入第二图像块集合中；若第一值小于第二预设阈值且大于0，则将第一图像块存入待合并图像块集合中；否则，将第一图像块丢弃。

本申请实施例的另一种可能的实现方式，合并模块73具体用于：

对于待合并图像块集合中的每一个第一图像块，查找待合并图像块集合中是否存在与第一图像块上下、左右相邻的图像块，若存在，则将图像块与第一图像块合并，得到备选合并图像块；

计算备选合并图像块中像素值为1的区域与区域外接矩的面积比，确定面积比最大的备选合并图像块；

若面积比最大的备选合并图像块的面积比不小于第一预设阈值，则将面积比最大的备选合并图像块作为合并图像块。

本申请实施例的另一种可能的实现方式，计算模块71还用于：

获取原始图像的稀疏重建信息，将稀疏点云转换到预设坐标系中，并投影到水平面，得到正射稀疏点集；稀疏重建信息包括稀疏点云，稀疏点云是反映三维场景信息的特征点数据集合；

根据正射稀疏点集构造备选图像，备选图像的尺寸由正射稀疏点集在x轴和y轴的最大值、最小值确定；备选图像中属于正射稀疏点集的像素点像素大小为1，否则，像素大小为0；

根据备选图像，确定第一图像，并根据预设网格大小，将第一图像划分为n块，得到包括n个第一图像块的第一图像块集合。

本申请实施例的另一种可能的实现方式，计算模块71具体用于：

对备选图像进行闭运算，得到过程图像，过程图像是对备选图像填充孔隙后得到的；

通过预设方式检索过程图像中的最长轮廓，并根据最长轮廓绘制第一图像，使得最长轮廓内的像素值为1，最长轮廓外的像素值为0。

本申请实施例的另一种可能的实现方式，重建模块74还用于：

确定第二图像块集合与待合并图像块集合中的图像块数量是否满足第二预设条件，第二预设条件为第二图像块的数量为第一图像块的数量的两倍以上；

若满足，则遍历待合并图像块集合中的第一图像块，并确定与第一图像块的中心距离最短的第二图像块；

将第一图像块合并至第二图像块中，并生成合并后的图像块的像素值为1的区域外接矩，将区域外接矩作为更新第二图像块存入第二图像块集合中。

本申请实施例的另一种可能的实现方式，重建模块74还用于：

若第二图像块集合与待合并图像块集合中的图像块数量不满足第二预设条件，则更新预设网格大小，得到更新网格大小，根据更新网格大小将第一图像划分为m块，得到包括m个第一图像块的第一图像块集合，m小于n。

本申请实施例的另一种可能的实现方式，重建模块74具体用于：

根据显存资源和原始图像的分辨率，计算最大并行数量；

根据最大并行数量，并行地对第二图像块集合中的第二图像块进行稠密重建。

本申请实施例提供的一种三维稠密重建装置，适用于上述方法实施例，在此不再赘述。

本申请实施例中提供了一种电子设备，如图8所示，图8所示的电子设备包括：处理器81和存储器82。其中，处理器81和存储器82相连，如通过总线83相连。可选地，电子设备还可以包括收发器84。需要说明的是，实际应用中收发器84不限于一个，该电子设备的结构并不构成对本申请实施例的限定。

处理器81可以是中央处理器（Central Processing Unit，CPU），通用处理器，数据信号处理器（Digital Signal Processor，DSP），专用集成电路（Application SpecificIntegrated Circuit，ASIC），现场可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器81也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线83可包括一通路，在上述组件之间传送信息。总线83可以是外设部件互连标准（Peripheral Component Interconnect，PCI）总线或扩展工业标准结构（ExtendedIndustry Standard Architecture，EISA）总线等。总线83可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线83或一种类型的总线83。

存储器82可以是只读存储器（Read Only Memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（Random Access Memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（ElectricallyErasable Programmable Read Only Memory，EEPROM）、只读光盘（Compact Disc ReadOnly Memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器82用于存储执行本申请方案的应用程序代码，并由处理器81来控制执行。处理器81用于执行存储器82中存储的应用程序代码，以实现前述方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、个人数字助理（PDA）、平板电脑（PAD）、便携式多媒体播放器（PMP）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求书指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。

Claims (10)

1.一种三维稠密重建方法，其特征在于，所述方法包括：

遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；

根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；

遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；

根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建；

若所述第一值不小于第二预设阈值，则将所述第一图像块作为所述第二图像块存入所述第二图像块集合中；若所述第一值小于所述第二预设阈值且大于0，则将所述第一图像块存入所述待合并图像块集合中；否则，将所述第一图像块丢弃。

2.根据权利要求1所述的方法，其特征在于，所述遍历所述待合并图像块集合中的第一图像块，对满足预设条件的两个第一图像块进行合并处理，得到合并图像块，包括：

对于所述待合并图像块集合中的每一个第一图像块，查找所述待合并图像块集合中是否存在与所述第一图像块上下、左右相邻的图像块，若存在，则将所述图像块与所述第一图像块合并，得到备选合并图像块；

计算所述备选合并图像块中像素值为1的区域与所述区域外接矩的面积比，确定面积比最大的备选合并图像块；

若所述面积比最大的备选合并图像块的面积比不小于所述第一预设阈值，则将所述面积比最大的备选合并图像块作为所述合并图像块。

3.根据权利要求1所述的方法，其特征在于，所述遍历第一图像块集合中的第一图像块之前，所述方法还包括：

获取原始图像的稀疏重建信息，将所述稀疏点云转换到预设坐标系中，并投影到水平面，得到正射稀疏点集；所述稀疏重建信息包括所述稀疏点云，所述稀疏点云是反映三维场景信息的特征点数据集合；

根据所述正射稀疏点集构造备选图像，所述备选图像的尺寸由所述正射稀疏点集在x轴和y轴的最大值、最小值确定；所述备选图像中属于所述正射稀疏点集的位置像素设置为1，否则，像素设置为0；

根据所述备选图像，确定所述第一图像，并根据预设网格大小，将所述第一图像划分为n块，得到包括n个第一图像块的第一图像块集合。

4.根据权利要求3所述的方法，其特征在于，所述根据所述备选图像，确定所述第一图像，包括：

对所述备选图像进行闭运算，得到过程图像，所述过程图像是对所述备选图像填充孔隙后得到的；

通过预设方式检索所述过程图像中的最长轮廓，并根据所述最长轮廓绘制所述第一图像，使得所述最长轮廓内的像素值为1，所述最长轮廓外的像素值为0。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第二图像块集合，确定网格块数之前，所述方法还包括：

确定所述第二图像块集合与所述待合并图像块集合中的图像块数量是否满足第二预设条件，所述第二预设条件为所述第二图像块的数量为所述第一图像块的数量的两倍以上；

若满足，则遍历所述待合并图像块集合中的第一图像块，并确定与所述第一图像块的中心距离最短的第二图像块；

将所述第一图像块合并至所述第二图像块中，并生成合并后图像块的像素值为1的区域外接矩，将所述区域外接矩作为更新第二图像块存入所述第二图像块集合中。

6.根据权利要求5所述的方法，其特征在于，若所述第二图像块集合与所述待合并图像块集合中的图像块数量不满足第二预设条件，则所述方法还包括：

更新所述预设网格大小，得到更新网格大小，根据所述更新网格大小将所述第一图像划分为m块，得到包括m个第一图像块的第一图像块集合，所述m小于所述n。

7.根据权利要求1所述的方法，其特征在于，所述结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建，包括：

根据所述显存资源和原始图像的分辨率，计算最大并行数量；

根据所述最大并行数量，并行地对所述第二图像块集合中的第二图像块进行所述稠密重建。

8.一种三维稠密重建装置，其特征在于，包括：

计算模块，用于遍历第一图像块集合中的第一图像块，计算所述第一图像块中像素值为1的区域总面积，得到第一值；所述第一图像块是对所述第一图像均匀划分后得到的，所述第一图像是根据稀疏点云投影后得到的，所述稀疏点云经过投影后位于所述第一图像块中像素值为1的区域；

确定模块，用于根据所述第一值，确定将所述第一图像块作为第二图像块存入第二图像块集合中，或者，将所述第一图像块存入待合并图像块集合中，或者将所述第一图像块丢弃；

合并模块，用于遍历所述待合并图像块集合中的第一图像块，对满足第一预设条件的两个第一图像块进行合并处理，得到合并图像块，将所述合并图像块作为所述第二图像块存入所述第二图像块集合中，并将两个所述第一图像块从所述待合并图像块集合中剔除；所述第一预设条件包括：两个所述第一图像块相邻，且合并图像块中像素值为1的区域与区域外接矩的面积比不小于第一预设阈值；

重建模块，用于根据所述第二图像块集合，确定网格块数，结合所述网格块数和显存资源，并行地对所述第二图像块集合中每个图像块进行稠密重建；

所述确定模块，具体用于若所述第一值不小于第二预设阈值，则将所述第一图像块作为所述第二图像块存入所述第二图像块集合中；若所述第一值小于所述第二预设阈值且大于0，则将所述第一图像块存入所述待合并图像块集合中；否则，将所述第一图像块丢弃。

9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的方法。