CN110070608B - 一种自动删除基于图像的三维重建冗余点的方法 - Google Patents

Abstract

自动删除基于图像的三维重建冗余点方法，能够在全自动删除点云中存在的冗余点的同时保留待重建物体的主体点云，包括以下步骤：首先，利用三维重投影方法计算出三维点在图像集中的平均可见概率，然后将可见概率较低的误差点去除；接着，提出一种基于空间剖分的扩散聚类方法获取主体三维点云，去除与主体不连通的背景冗余点，最终得到去除大量冗余点的点云数据，方便用于后续的重建工作。本发明的优点是能够在全自动的删除点云中大量冗余点的同时保留待重建物体的主体点云数据，速度快，且不需要任何预处理和人工交互，弥补了市场上对于文物三维重建工具的不足。

Description

一种自动删除基于图像的三维重建冗余点的方法

技术领域

本发明涉及一种利用计算机技术自动删除基于图像的三维重建冗余点的方法。

背景技术

诸如古建筑、雕塑等文物是人类在社会活动中遗留下来的具有历史、艺术、科学价值的遗物和遗迹，它是人类宝贵的历史文化遗产。然而，对于如何快速、精确的修复受损文物；如何避免对珍稀文物造成二次损伤的情况下，研究珍稀文物的历史、文化价值仍是文物保护领域的难题。

高精度的文物三维模型可以长久的、无损伤地保留文物外观信息。在文物修复方面，可以参照文物模型进行精确修复；对于珍稀文物，可以基于文物三维模型或者三维打印模型进行研究，避免对珍稀文物造成二次损伤。因此，文物的三维模型对于文物的保护与研究都具有重要意义。

现有的基于图像的商业性三维重建工具虽然能够重建出精确度很高的三维模型，但由于采集到的图片中存在大量的背景元素或者光照等干扰信息，所以重建出的模型存在大量的冗余物体面片。由于这些冗余面片对应的图像数量及光照条件都不足，使得重建出来的冗余面片并不准确，会给文物修复及研究带来误导。并且这些冗余面片的对应物体并不是文物保护和研究的重点，因此需要删除重建出的模型中存在的大量的冗余误差面片。

现有的基于图像的开源三维重建方法主要是通过手动交互或参数调节来实现最终物体的三维重建。该方法生成的稠密点云中存在大量冗余点，需要手工交互加以删除后才能够重建出物体的三维网格。此外，重建网格仍然会包含大量冗余面片，需要继续通过手工交互加以删除后才能进行纹理参数化及映射。这些用户交互操作依赖于一定的经验，且需要等待交互完成后才能进行下一步操作，增加了文物三维重建的时间和经济成本，阻碍了基于图像的三维重建技术在文物保护领域的广泛应用。

现有的删除点云中冗余点的方法主要有基于八叉树的聚类算法和基于统计分析滤波的算法：基于八叉树的聚类算法不适用于文物重建中大量点云离散分布的情况，且时间复杂度和空间复杂度都较高；基于统计分析滤波的方法则需要对点云进行预处理。因此，亟需一种基于图像的全自动冗余点删除方法，使之能够自动删除重建过程中的冗余点并保留重建物体的主体点云，从而实现全自动的三维重建以便于更好地保护文物。

发明内容

为解决用于三维重建工具缺乏的问题，本发明提供了一种自动删除基于图像的三维重建冗余点的方法，针对三维重建过程中存在的大量冗余点，能够全自动删除大量冗余信息，同时又能保留点云的主体部分，从而解决文物全自动三维重建中遇到的冗余点问题。

本发明的自动删除基于图像的三维重建冗余点的方法，步骤如下：

步骤1、将通过图像重建出的稠密点云相对于每一幅图像I进行重投影，统计点云中每一三维点P_i在图像范围内出现的次数，最后计算每一三维点P_i出现的概率，删除所有出现概率低于给定阈值的三维点P_i。具体包括：在重建点云过程中，能够恢复出相机的外部参数：相机朝向及相机位置，从而可以构建出相机在每一幅图片下的外参矩阵[R|t]，其中R为相机的旋转矩阵，t为相机的位移向量。所以，对于每一个三维点P_i，通过以下公式：

m_i＝K[R|t]P_i

可以将世界坐标中的三维点P_i投影到第i张图像I_i平面上的二维点m_i，其中K是相机的内参矩阵，f_x、f_y是相机焦距，u₀、v₀是主点偏移：

如果投影点m_i在图像I_i的成像范围内，表明该相机对三维点P_i可见，记为δ(P_i)＝1；如果投影点m_i不在图像I_i的成像范围内，则记δ(P_i)＝0。由于拍摄的绝大部分照片都是对着目标文物的，目标文物上的所有三维点在大部分图像上都是可见的。相反，背景物体往往在部分视角下的图像上没有被拍到，因此不是都可见的。为此，本方法统计出三维点P_i在所有相机中的可见性，然后计算其平均可见概率ρ：

其中，N为采集图像的数量。设置一个给定的阈值，比较阈值与计算得到的每一个三维点P_i的可见概率ρ的大小，删除每一可见概率小于给定阈值的三维点P_i，从而初步删除大量冗余点。

步骤2、对经过重投影的点云进行空间剖分，将点云划分到与其坐标相关的正方体空间之中。具体包括：首先对每个三维点P_i对应的点坐标(x，y，z)分别除以一个有理数d并取整，d视情况手动调整，这时将得到一个新的以整数表示的坐标信息N_i(x，y，z)。不难发现，与此三维点N_i坐标差在d以内的三维点P_k，其对应点坐标分别除以d得到的以整数表示的坐标信息为N_k，且N_i＝＝N_k。此时，以N_i为中心，边长为2d构成了一个正方体。也就是说，对于任意一个三维点P_i，若P_i与N_i坐标差在d范围内，则P_i一定位于以N_i为中心，边长为2d的正方体内，所以可以根据N_i，将在正方体内的所有三维点归为一类。按照此方法，遍历所有三维点，可以将所有点划分到以边长为2d的各个正方体空间之中。

步骤3、将所有相邻的正方体空间根据连通性进行聚类，所有相邻的正方体空间聚成一大类Clus_i，每一大类之间互不连通。比较每一大类Clus_i中的三维点数量，点数量最多的一类就是待重建物体主体的点云所在的类，删除其他不连通的类，从而达到自动删除冗余点的目的。具体包括：随机选择一个正方体空间，根据正方体空间中心坐标N寻找直接相邻的正方体空间，将所有相邻的正方体空间再次聚为一大类，直到空间聚类完成。此时三维点数量最大的类就是待重建物体所在的点云，删除其他不连通的类中的所有三维点，最终达到自动删除冗余点的目的。

本发明的技术构思是：利用三维空间的重投影技术，将三维点投影到二维平面上后可以计算三维点的可见概率；利用空间划分的方法，将三维点划分在不同的空间之内，然后可以根据空间之间的连续性进行聚类，找出主体点云所在的类后，从而可以全自动的删除冗余点。

本发明的优点在于：利用基于概率的重投影技术，根据点云中的三维点在二维图像上出现的概率进行初步筛选，删除部分冗余点；利用基于空间剖分的方法，对筛选后的点云进行空间划分并聚类，保留三维点最多的一大类，从而能够全自动的删除冗余点。

附图说明

图1是本发明的总的流程图。

图2a～2b是点云的可见概率示意图，其中图2a是输入点云，图2b是点云可见概率。

图3a～3b是经过重投影剔除后的点云示意图，其中图3a是输入点云，图3b是重投影删除部分冗余点。

图4a～4b是点云空间剖分示意图，其中图4a是输入点云，图4b是空间剖分示意图。

具体实施方式

参照附图，进一步说明本发明：

利用计算机技术自动删除基于图像的三维重建冗余点方法，包括以下步骤：

步骤1、将通过图像重建出的稠密点云相对于每一幅图像I进行重投影，统计点云中每一三维点P_i在图像范围内出现的次数，最后计算每一三维点P_i出现的概率，删除所有出现概率低于给定阈值的三维点P_i。

步骤2、对经过重投影的点云进行空间剖分，将点云划分到与其坐标相关的正方体空间之中。

步骤3、将所有相邻的正方体空间根据连通性进行聚类，所有相邻的正方体空间聚成一大类Clus_i，每一大类之间互不连通。比较每一大类引us_i中的三维点数量，点数量最多的一类就是待重建物体主体的点云所在的类，删除其他不连通的类，从而达到自动删除冗余点的目的。

步骤1中，在重建点云过程中，能够恢复出相机的外部参数：相机朝向及相机位置，从而可以构建出相机在每一幅图片下的外参矩阵[R|t]，其中R为相机的旋转矩阵，t为相机的位移向量。所以，对于每一个三维点P_i，通过以下公式：

m_i＝K[R|t]P_i

可以将世界坐标中的三维点P_i投影到第i张图像I_i平面上的二维点m_i，其中K是相机的内参矩阵，f_x、f_y是相机焦距，u₀、v₀是主点偏移：

如果投影点m_i在图像I_i的成像范围内，表明该相机对三维点P_i可见，记为δ(P_i)＝1；如果投影点m_i不在图像I_i的成像范围内，则记δ(P_i)＝0。由于拍摄的绝大部分照片都是对着目标文物的，目标文物上的所有三维点在大部分图像上都是可见的。相反，背景物体往往在部分视角下的图像上没有被拍到，因此不是都可见的。为此，本方法统计出三维点P_i在所有相机中的可见性，然后计算其平均可见概率ρ：

其中，N为采集图像的数量。设置一个给定的阈值，比较阈值与计算得到的每一个三维点P_i的可见概率ρ的大小，删除每一可见概率小于给定阈值的三维点P_i，从而初步删除大量冗余点。

步骤2中，首先对每个三维点P_i对应的点坐标(x，y，z)分别除以一个有理数d并取整，d视情况手动调整，这时将得到一个新的以整数表示的坐标信息N_i(x，y，z)。不难发现，与此三维点N_i坐标差在d以内的三维点P_k，其对应点坐标分别除以d得到的以整数表示的坐标信息为N_k，且N_i＝＝N_k。此时，以N_i为中心，边长为2d构成了一个正方体。也就是说，对于任意一个三维点P_i，若P_i与N_i坐标差在d范围内，则P_i一定位于以N_i为中心，边长为2d的正方体内，所以可以根据N_i，将在正方体内的所有三维点归为一类。按照此方法，遍历所有三维点，可以将所有点划分到以边长为2d的各个正方体空间之中。

步骤3中，随机选择一个正方体空间，根据正方体空间中心坐标N寻找直接相邻的正方体空间，将所有相邻的正方体空间再次聚为一大类，直到空间聚类完成。此时三维点数量最大的类就是待重建物体所在的点云，删除其他不连通的类中的所有三维点，最终达到自动删除冗余点的目的。

目前，通过点云进行三维重建的工具有很多，但没有特定的用于文物重建的工具。商业软件虽能够全自动重建文物模型，但是会保留大量的冗余点、冗余面片；开源软件则需要进行复杂的手工交互删除重建过程中生成的冗余点云和面片。也就是，并没有现有的工具能够用于文物的三维重建。所以本发明提出了基于概率的重投影剔除方法和基于空间剖分的聚类方法删除点云中存在的大量的冗余点，使得重建过程能够在全自动进行的同时，又能在删除大量冗余点时保留重建物体的主体部分，结合现有的其他开源工具，实现全自动的文物重建，为文物重建提供了技术支持。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种自动删除基于图像的三维重建冗余点的方法，包括以下步骤：

步骤1、将通过图像重建出的稠密点云相对于每一幅图像I进行重投影，统计点云中每一三维点P_i在图像范围内出现的次数，最后计算每一三维点P_i出现的概率，删除所有出现概率低于给定阈值的三维点P_i；具体包括：

在重建点云过程中，能够恢复出相机的外部参数：相机朝向及相机位置，从而可以构建出相机在每一幅图片下的外参矩阵[R|t]，其中R为相机的旋转矩阵，t为相机的位移向量；所以，对于每一个三维点P_i，通过以下公式：

m_i＝K[R|t]P_i

可以将世界坐标中的三维点P_i投影到第i张图像I_i平面上的二维点m_i，其中K是相机的内参矩阵，f_x、f_y是相机焦距，u₀、v₀是主点偏移：

如果投影点m_i在图像I_i的成像范围内，表明该相机对三维点P_i可见，记为δ(P_i)＝1；如果投影点m_i不在图像I_i的成像范围内，则记δ(P_i)＝0；由于拍摄的绝大部分照片都是对着目标文物的，目标文物上的所有三维点在大部分图像上都是可见的；相反，背景物体往往在部分视角下的图像上没有被拍到，因此不是都可见的；为此，本方法统计出三维点P_i在所有相机中的可见性，然后计算其平均可见概率ρ：

其中，N为采集图像的数量；设置一个给定的阈值，比较阈值与计算得到的每一个三维点P_i的可见概率ρ的大小，删除每一可见概率小于给定阈值的三维点P_i，从而初步删除大量冗余点；

步骤2、对经过重投影的点云进行空间剖分，将点云划分到与其坐标相关的正方体空间之中；具体包括：

首先对每个三维点P_i对应的点坐标(x，y，z)分别除以一个有理数d并取整，d视情况手动调整，这时将得到一个新的以整数表示的坐标信息N_i(x，y，z)；不难发现，与此三维点N_i坐标差在d以内的三维点P_k，其对应点坐标分别除以d得到的以整数表示的坐标信息为N_k，且N_i＝＝N_k；此时，以N_i为中心，边长为2d构成了一个正方体；也就是说，对于任意一个三维点P_i，若P_i与N_i坐标差在d范围内，则P_i一定位于以N_i为中心，边长为2d的正方体内，所以可以根据N_i，将在正方体内的所有三维点归为一类；按照此方法，遍历所有三维点，可以将所有点划分到以边长为2d的各个正方体空间之中；

步骤3、将所有相邻的正方体空间根据连通性进行聚类，所有相邻的正方体空间聚成一大类Clus_i，每一大类之间互不连通；比较每一大类Clus_i中的三维点数量，点数量最多的一类就是待重建物体主体的点云所在的类，删除其他不连通的类，从而达到自动删除冗余点的目的；具体包括：

随机选择一个正方体空间，根据正方体空间中心坐标N寻找直接相邻的正方体空间，将所有相邻的正方体空间再次聚为一大类，直到空间聚类完成；此时三维点数量最大的类就是待重建物体所在的点云，删除其他不连通的类中的所有三维点，最终达到自动删除冗余点的目的。

Images