CN109859314A - 三维重建方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种三维重建方法、装置、电子设备和存储介质。该方法包括：依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵；依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集；针对各匹配点集中的任一匹配点集，依据匹配点集中每个像点对应的投影矩阵和像点的图像坐标，确定匹配点集对应的三维坐标；依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息。通过上述技术方案，实现了更加快速地获得精确的特征点匹配信息和三维坐标，提高了三维重建的速度与精度。

Description

三维重建方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及计算机视觉技术，尤其涉及一种三维重建方法、装置、电子设备和存储介质。

背景技术

三维模型重建是计算机视觉中一个非常重要的研究领域，已经开始被广泛应用于工业、医疗和娱乐等诸多领域。

目前三维模型重建多是基于多幅图像进行三维重建，其基本过程包括：图像采集、特征提取与特征点匹配，以及利用匹配特征点进行三维坐标计算。其中特征点匹配的速度与精度是影响三维重建的重要因素。

发明内容

本发明实施例提供一种三维重建方法、装置、电子设备和存储介质，以实现更加快速地获得精确的特征点匹配信息，进而获得更为准确的三维坐标，提高了三维重建的速度与精度。

第一方面，本发明实施例提供了一种三维重建方法，包括：

依据待重建区域对应的至少两个目标图像点集和每两个所述目标图像点集对应的极线矩阵，生成目标极线距离矩阵；

依据所述目标极线距离矩阵和极线距离阈值，采用最大团算法，确定所述待重建区域对应的各匹配点集；

针对各匹配点集中的任一匹配点集，依据所述匹配点集中每个像点对应的投影矩阵和所述像点的图像坐标，确定所述匹配点集对应的三维坐标；

依据三维重建控制条件，对各所述匹配点集以及与所述匹配点集对应的三维坐标进行筛选，确定所述待重建区域包含的各特征点的三维坐标信息。

第二方面，本发明实施例还提供了一种三维重建装置，该装置包括：

目标极线距离矩阵生成模块，用于依据待重建区域对应的至少两个目标图像点集和每两个所述目标图像点集对应的极线矩阵，生成目标极线距离矩阵；

匹配点集确定模块，用于依据所述目标极线距离矩阵和极线距离阈值，采用最大团算法，确定所述待重建区域对应的各匹配点集；

三维坐标确定模块，用于针对各匹配点集中的任一匹配点集，依据所述匹配点集中每个像点对应的投影矩阵和所述像点的图像坐标，确定所述匹配点集对应的三维坐标；

三维坐标筛选模块，用于依据三维重建控制条件，对各所述匹配点集以及与所述匹配点集对应的三维坐标进行筛选，确定所述待重建区域包含的各特征点的三维坐标信息。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的三维重建方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的三维重建方法。

本发明实施例通过依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵；依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集。实现了待重建区域中特征点对的快速匹配，提高了特征点的匹配速度。通过依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息。实现了所有匹配点集中错误匹配点集的滤除，提高了特征点对应的各个像点的匹配精度，进而获得更为准确的三维坐标，提高了三维重建的速度与精度。

附图说明

图1是本发明实施例一中的一种三维重建方法的流程图；

图2是本发明实施例二中的一种三维重建方法的流程图；

图3是本发明实施例三中的一种三维重建装置的结构示意图；

图4是本发明实施例四中的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

本实施例提供的三维重建方法可适用于基于双目视觉的空间三维重建。该方法可以由三维重建装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有一定数据运算功能的电子设备中，例如笔记本电脑、台式电脑和服务器等。参见图1，本实施例的方法具体包括如下步骤：

S110、依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵。

其中，目标图像点集是用于进行待重建区域三维重建的二维图像(简称图像)中像点的集合，其可以通过对待重建区域进行图像采集及图像预处理来获得，也可以从电子设备内部或外部的存储介质中读取而获得。需要注意的是各个目标图像点集对应的原始二维图像须是同时采集的。极线矩阵也称基础矩阵，其表示同一三维场景在两个不同视点处得到的两幅二维图像之间的几何关系，这两幅图像是由两个图像采集设备(如手机、相机或摄像机等)在不同位置同时采集的。极线距离矩阵是矩阵元素为极线距离的矩阵。极线距离是指一个三维物点在左视图图像中的像点投影至右视图图像中所得的极线，与该物点在右视图图像中的像点的距离。基于极线约束条件，上述像点应该在上述极线上，或者像点与极线之间间隔一较短距离，即如果两个视图中的两个像点为匹配的特征点对，那么基于该两个像点所得的极线距离应当为0或者一个很小的数值。目标极线距离矩阵是由每个目标图像点集中的每个像点对应的极线距离构成的矩阵。

具体地，获取包含待重建区域的至少两个目标图像点集，各个目标图像点集均是待重建区域在不同视点处得到的，如此，各个目标图像点集中的每两个目标图像点集之间均对应有一个极线矩阵。无论目标图像点集通过何种方式获取，其对应的原始二维图像都是由图像采集设备对待重建区域进行图像采集而来，故在标定各个图像采集设备过程中，可以获得两两图像采集设备之间的极线矩阵，例如可以利用八点法求解获得极线矩阵。获得各个目标图像点集和各个极线矩阵之后，便可利用每两个目标图像点集之间的极线矩阵，计算每个目标图像点集中的各个像点与其他各个目标图像点集中的各个像点之间的极线距离，获得目标极线距离矩阵。

示例性地，S110包括：A、从各目标图像点集中任选两个目标图像点集，分别作为第一点集和第二点集；B、依据第一点集和第二点集对应的极线矩阵、第一点集中的各像点的图像坐标以及第二点集中的各像点的图像坐标，确定第一点集和第二点集之间的初始极线距离矩阵；C、利用各目标图像点集中未作为第一点集处理的目标图像点集更新第一点集，且利用各目标图像点集中未作为第二点集处理的目标图像点集更新第二点集，并返回执行步骤B，直至确定各目标图像点集中每两个目标图像点集对应的初始极线距离矩阵；D、依据各初始极线距离矩阵，以及每个目标图像点集对应的设定极线距离矩阵，构建目标极线距离矩阵。

其中，初始极线距离矩阵与目标极线距离矩阵对应，其矩阵大小要小于目标极线距离矩阵的大小。设定极线距离矩阵是指矩阵元素值预先确定的极线距离矩阵。根据极线矩阵的定义和极线距离的计算方式可知，一个目标图像点集与自身之间不存在极线矩阵，也就无法计算极线距离，故将每个目标图像点集自身对应的极线距离矩阵设置为设定极线距离矩阵。又由于匹配点对之间的极线距离较小，故为了排除这些不可能构成匹配点对的极线距离的干扰，可以将设定极线距离矩阵的各个元素值均设置为一个较大的数值，例如9999.0。

具体地，为了后续更加全面地搜索匹配点对，需要对所有目标图像点集中的每一个目标图像点集，计算其与其他各个剩余目标图像点集之间的极线距离矩阵，所以可以任选两个目标图像点集，分别作为第一点集和第二点集。在生成该次第一点集和第二点集之间的初始极线距离矩阵后，更新第一点集和第二点集时，可以将所有目标图像点集中未作为第一点集(或第二点集)处理过的各个目标图像点集中的任一目标图像点集更新为第一点集(或第二点集)，循环进行初始极线距离矩阵的生成。

每对第一点集和第二点集生成初始极线距离矩阵的过程为：选定第一点集中的一个像点作为当前像点；计算当前像点的图像坐标与第一点集和第二点集之间的极线矩阵的乘积，获得当前像点在第二点集中的极线；计算第二点集中每个像点与该极线之间的距离，获得当前像点与第二点集中各个像点之间的极线距离；将第一点集中的一个未处理像点更新为当前像点，并返回执行计算当前像点的图像坐标与第一点集和第二点集之间的极线矩阵的乘积，获得当前像点在第二点集中的极线的步骤，直至确定出第一点集中每个像点和第二点集中每个像点之间的极线距离，构成第一点集和第二点集对应的初始极线距离矩阵。

按照上述过程获得每个目标图像点集与其他各目标图像点集之间的各个初始极线距离矩阵之后，结合每个目标图像点集本身对应的设定极线距离矩阵，构建完整的目标极线距离矩阵。

S120、依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集。

其中，极线距离阈值是指预先设定的极线距离值，其可以根据多对匹配特征点对在两个视图图像中的位置关系经验设定。极线距离阈值的单位与极线距离的单位一致，例如可以将其设置为1.8mm。最大团算法是一种快速搜索算法，其用于从多个点构成的无向图中，寻找定点数量最多的极大团。匹配点集也称为最大团点集，其是指对于每一个三维物点，从各个目标图像点集中寻找其可能对应的像点构成的集合。一个匹配点集中包含的像点数量便是包含该匹配点集对应的三维物点的目标图像点集的数量。根据计算机视觉三维重建原理，一个匹配点集中至少包含2个像点。

具体地，本发明实施例中并未采用先从目标图像点集中提取特征点，而后基于特征点进行像点匹配的匹配点集获取策略，而是直接采用最大团算法，基于所有的目标图像点集进行搜索，进而获得匹配点集。具体实施时，用极线距离阈值进行极线距离的限定，以排除掉目标极线距离矩阵中的异常矩阵元素，而后利用最大团算法搜索去噪后的目标极线距离矩阵，获得待重建区域对应的各个匹配点集。

需要说明的是，理论上一个三维物点(对应为图像中的一个特征点)只能有一个匹配点集，但是由于噪声的存在，使用最大团算法所构建的该三维物点的匹配点集的数量通常会大于或等于1，那么一个待重建区域对应的匹配点集的数量就大于或等于该待重建区域中包含的特征点的数量。

示例性地，S120包括：将目标极线距离矩阵中矩阵元素值小于极线距离阈值的各极线距离，确定为各目标极线距离；依据各目标极线距离，采用最大团算法，确定待重建区域对应的各匹配点集，匹配点集包含至少两个像点。

具体地，采用最大团算法进行匹配点集搜索，可以是搜索过程中逐个极线距离与极线距离阈值进行比较，搜索的同时进行过大极线距离的滤除；也可以是先进行过大极线距离的滤除，而后进行最大团搜索。为了进一步提高匹配点集的获取速度及进一步简化处理逻辑，本实施例中采用后者进行最大团点集的搜索。具体实施时，采用最大团算法进行匹配点集搜索之前，先对目标极线距离矩阵进行筛选，将目标极线距离矩阵中矩阵元素值(即极线距离)小于极线距离阈值的各个极线距离筛选出来，作为用于匹配点集搜索的各个目标极线距离。将各个目标极线距离作为最大团算法的输入数据，基于最大团原理进行搜索，获得各个匹配点集。在最大团搜索过程中，可以逐个像点处理，例如可以依据目标极线距离矩阵的元素排列规则，如一个像点对应的所有极线距离按行排列，按列排列或按子矩阵块排列等，在每个像点对应的各个目标极线距离构成的无向图中进行匹配点集搜索。

S130、针对各匹配点集中的任一匹配点集，依据匹配点集中每个像点对应的投影矩阵和像点的图像坐标，确定匹配点集对应的三维坐标。

具体地，每个匹配点集中均包含多个像点，那么利用三维重建原理，便可以利用匹配点集中的各个像点及每个像点对应的投影矩阵，计算出该匹配点集对应的三维坐标。对于每个匹配点集均可以计算出一个三维坐标。这里的投影矩阵也可以在标定图像采集设备时获得。

示例性地，S130包括：E、将各匹配点集中的一个匹配点集作为当前匹配点集；F、分别依据当前匹配点集中的各像点的图像坐标，确定每个图像坐标对应的图像齐次坐标，并利用每个像点对应的图像齐次坐标及投影矩阵，确定当前匹配点集对应的三维坐标；G、利用各匹配点集中未处理的匹配点集更新当前匹配点集，并返回执行步骤F，直至确定每个匹配点集对应的三维坐标。

具体地，计算各个三维坐标的过程可以设置并行运行，也可以设置为串行运行，具体运行方式可以根据电子设备的硬件情况确定。当电子设备的硬件资源有限时，可以选择串行运行方式，以便快速计算各三维坐标。具体实施时，首先，需要从各个匹配点集中任意选择一个匹配点集作为当前匹配点集。

接着，利用当前匹配点集中像点1的图像坐标[u₁,v₁]对应的图像齐次坐标m₁＝[u₁,v₁,1]^T和像点1所在的相机1对应的投影矩阵P1[P11，P12，P13]_3×4(P11，P12，P13为P1的行向量)，像点2的图像坐标[u₂,v₂]对应的图像齐次坐标m₂＝[u₂,v₂,1]^T和像点2所在的相机2对应的投影矩阵P2[P21，P22，P23]_3×4(P21，P22，P23为P2的行向量)……像点n的图像坐标[u_n,v_n]对应的图像齐次坐标m_n＝[u_n,v_n,1]^T和像点n所在的相机n对应的投影矩阵Pn[Pn1，Pn2，Pn3]_3×4(Pn1，Pn2，Pn3为Pn的行向量，n为当前匹配点集包含的像点的个数)，以及当前匹配点集对应的三维坐标X_4×1，构建三维坐标求解方程：

记矩阵则上述三位坐标求解方程变形为：AX＝0，其中系数矩阵A由投影矩阵和图像坐标构建，故A为已知量，三维坐标向量X为未知量。

利用奇异值分解来求解方程，则对系数矩阵A进行奇异值分解，即A＝USV^T，其中，U是2n×2n阶酉矩阵；S是半正定2n×4阶对角矩阵，对角线上的元素为A的奇异值；V^T是4×4阶酉矩阵。A的奇异值分解中的右奇异矩阵V的最后一列便为三维坐标求解方程的解，即X＝[V0,V1,V2,V3]^T，其中V0、V1、V2和V3分别是矩阵V的最后一列中的各元素值。由于上述方程解X为齐次坐标形式，故对其进行坐标归一化，即X＝[V0/V3,V1/V3,V2/V3,1]^T，便可获得当前匹配点集对应的三维坐标(V0/V3,V1/V3,V2/V3)。

最后，将所有匹配点集中未计算三维坐标的剩余匹配点集中的某一个匹配点集更新为当前匹配点集，并重复上述计算三维坐标的操作，直至确定出每一个匹配点集对应的三维坐标。

S140、依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息。

其中，三维重建控制条件是指预先设置的三维坐标求解过程中的精度控制条件，其可以是三维坐标的计算精度控制、匹配点集中像点数量控制及三维坐标的数量控制中的至少一个。

具体地，根据上述说明，所有匹配点集中可能存在多余的匹配点集，那么计算出来的三维坐标也就会有多余，说明所有的三维坐标中存在精度较差的三维坐标，则需要利用三维重建控制条件对上述计算出的所有三维坐标进行筛选，确定出精度满足实际需求的各个三维坐标，作为待重建区域包含的各特征点的三维坐标信息。三维坐标信息可以包括三维坐标、用于计算该三维坐标的各个像点及每个像点对应的图像采集设备信息等。

本实施例的技术方案，通过依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵；依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集。实现了待重建区域中特征点对的快速匹配，提高了特征点的匹配速度。通过依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息。实现了所有匹配点集中错误匹配点集的滤除，提高了特征点对应的各个像点的匹配精度，进而获得更为准确的三维坐标，提高了三维重建的速度与精度。

实施例二

本实施例在上述实施例的基础上，增加了“获得各目标图像点集”的步骤。在此基础上，对“依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息”进行了进一步优化。在上述基础上，还增加了“获得排序匹配点集”的步骤。其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本实施例提供的三维重建方法包括：

S201、利用至少两个图像采集设备对待重建区域进行图像采集，获取各采集图像。

具体地，利用多个图像采集设备(如手机、相机或摄像机等)同时对待三维重建的区域进行拍摄，获得各个采集图像。采集图像的数量和图像采集设备的数量一致。

S202、基于像点检测算法，分别对各采集图像进行像点提取，获得每个采集图像对应的初始图像点集。

具体地，S201获取的各个采集图像中包含较多的像点，过多的像点中不仅包含噪声点，也会因为数据量较大而降低后续匹配点集搜索速度，故本实施例中需要从每个采集图像中抽取适当数量的像点。具体实施时，采用诸如圆心检测算法等像点检测算法，对每个采集图像进行像点抽样，抽取的各个像点便构成每个采集图像对应的像点点集，称为初始图像点集。

S203、分别利用各图像采集设备的镜头畸变参数，对各初始图像点集进行畸变校准，获得各目标图像点集。

具体地，由于S202中的初始图像点集是基于原始采集图像而来，故其中存在由于图像采集设备的系统误差而导致的畸变。故为了提高后续匹配点集搜索和三维坐标的精度，本实施例中利用图像采集设备的镜头畸变参数，对该图像采集设备对应的初始图像点集进行处理，获得畸变校准之后的初始图像点集，作为该初始图像点集对应的目标图像点集。按照该处理操作，便可获得每个初始图像点集对应的目标图像点集。这里的镜头畸变参数也是在对图像采集设备进行标定的过程中确定的参数，其可以包含径向畸变参数和切向畸变参数。

S204、依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵。

S205、依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集。

S206、针对各匹配点集中的任一匹配点集，依据匹配点集中每个像点对应的投影矩阵和像点的图像坐标，确定匹配点集对应的三维坐标。

S207、依据各三维坐标以及与每个三维坐标对应的各像点的图像坐标，确定每个匹配点集对应的反投影误差。

具体地，计算出每个匹配点集对应的三维坐标之后，需要对三维坐标的计算精度进行控制。对于任一个三维坐标，首先，将该三维坐标再次投影至计算该三维坐标时所用的各个像点对应的二维图像上，获得各个反投影点。之后，利用每个反投影点的图像坐标以及与该反投影点同在一个二维图像的像点的图像坐标，计算该三维坐标的各个单点反投影误差。最后，按照均值、中值或最值等计算方式，利用各个单点反投影误差计算该三维坐标的反投影误差，作为该三维坐标对应的匹配点集的反投影误差。按照上述过程，便可获得每个匹配点集对应的反投影误差。反投影误差的单位可以是距离单位，也可以是像素个数。

S208、依据各反投影误差，对各匹配点集进行排序，获得排序匹配点集。

具体地，将各个匹配点集按照其对应的反投影误差，由小到大进行排序，便可获得排序后的各个匹配点集，称为排序匹配点集。需要理解的是，三维坐标与匹配点集之间存在一一对应关系，故三维坐标也按照反投影误差的大小进行了相应排序。

应当说明的是，本实施例的匹配点集排序操作是为了提高匹配点集的筛选速度而设置，如果对三维重建速度不作要求，则可以不执行该排序操作，即S208是否执行，与用户需求的三维重建速度相关。

S209、将排序匹配点集中的第一个匹配点集确定为当前匹配点集。

具体地，三维坐标精度控制过程是对匹配点集进行逐个筛选的过程，故其也是一个循环遍历过程，本实施例中将排序匹配点集中的第一个匹配点集作为当前匹配点集，开始三维重建控制。需要说明的是，如果S208不执行，则本操作便是从所有匹配点集中任选一个匹配点集作为当前匹配点集。

S210、若当前匹配点集对应的反投影误差小于误差阈值，则确定当前匹配点集所包含的未使用像点的数量。

其中，误差阈值是预先设置的投影误差值，其根据三维重建精度需求进行经验设置，例如可以将误差阈值设置为2个像素。未使用像点是指未记录在三维点信息列表中的像点。三维点信息列表是指记录三维坐标信息的列表，未使用像点则是指未用于已记录的三维坐标计算的像点。

具体地，将当前匹配点集对应的反投影误差和误差阈值进行比较。如果反投影误差大于误差阈值，说明当前匹配点集计算的三维坐标与三维物点的实际坐标相差较远，当前匹配点集为错误的像点匹配，可以直接从所有匹配点集中删除当前匹配点集，并执行S213。

如果反投影误差小于误差阈值，说明当前匹配点集计算所得的三维坐标与三维物点的实际三维坐标较为接近，满足基本的精度需求。此时，需要进行第二条控制条件的判断，具体则是将当前匹配点集中的各个像点信息与三维点信息列表中已记录的各个像点信息进行比较，将当前匹配点集中未记录在三维点信息列表中的各个像点作为当前匹配点集所包含的未使用像点，并确定未使用像点的数量。

S211、若数量大于或等于数量阈值，则确定当前匹配点集对应的当前三维坐标与三维点信息列表中其他三维坐标之间的距离。

其中，数量阈值是指预先设定的一个匹配点集中包含的未使用像点的数量，其根据三维重建中特征点对应的匹配点集中的像点数量进行经验设定，例如可以设置为2。

具体地，将当前匹配点集中未使用像点的数量与数量阈值进行比较。如果未使用像点的数量小于数量阈值，说明当前匹配点集中所有像点中的大部分像点已经用于推算三维物点的三维坐标，当前匹配点集与三维点信息列表中的其他匹配点集极有可能对应于同一个三维物点，故可将当前匹配点集从所有匹配点集中删除，并执行S213。

如果未使用像点的数量大于或等于数量阈值，说明当前匹配点集中的各个像点足以构成一个新的三维物点，满足匹配点集的像点数量控制条件。此时，需要进行第三条控制条件的判断，具体则是分别计算当前匹配点集对应的三维坐标(即当前三维坐标)与三维点信息列表中记录的各个三维坐标之间的距离，获得各个三维距离。

S212、若距离大于距离阈值，则将当前三维坐标、当前匹配点集中的各个像点以及每个像点对应的图像采集设备信息记录至三维点信息列表。

其中，距离阈值是预先设置的三维距离值，其可以根据三维重建的分辨率进行经验设定，如三维重建的分辨率高，则距离阈值取值较小，如三维重建的分辨率低，则距离阈值取值较大，例如可以将距离阈值设置为20mm。

具体地，分别将S211获得的各个三维距离与距离阈值进行比较，如果有任何一个三维距离小于或等于距离阈值，说明当前匹配点集对应的三维物点与已记录的匹配点集对应的三维物点重复，将当前匹配点集从所有匹配点集中删除，并执行S213。

如果每一个三维距离均大于距离阈值，说明当前匹配点集中的各个像点足以构成一个新的三维物点，满足三维重建分辨率需求。此时，将当前三维坐标、当前匹配点集中的各个像点以及每个像点对应的图像采集设备信息全部记录至三维点信息列表中，并执行S213。

S213、按照排序匹配点集中各个匹配点集的排序，将当前匹配点集的下一个匹配点集更新为当前匹配点集，并返回执行S210，直至处理完各个匹配点集。

具体地，处理完当前匹配点集之后，需要进行下一个匹配点集的筛选，则将排序匹配点集中当前匹配点集的下一个匹配点集更新为新的当前匹配点集。如果S208未执行，则将所有匹配点集中未经过上述筛选处理的任一个匹配点集更新为新的当前匹配点集。之后返回执行S210，以此循环进行各个匹配点集的筛选，直至处理完所有的匹配点集。经过上述过程，保留下来的各个匹配点集便是待重建区域对应的匹配点集，三维点信息列表中记录的全部信息便是该待重建区域中各特征点的三维坐标和匹配像点信息。

本实施例的技术方案，通过对各个原始的采集图像进行像点提取，并对提取的像点进行畸变校准，能够进一步提高匹配点集的搜索速度和精度。通过依据各反投影误差对各匹配点集进行排序，能够使得排序靠后的各个匹配点集在三维重建控制条件的筛选中快速淘汰，进一步提高错误匹配点集的排除速度，进而进一步提高三维重建速度。通过将三维重建控制条件设置为匹配点集的反投影误差小于误差阈值、匹配点集中的未使用像点数量大于或等于数量阈值和匹配点集对应的当前三维坐标与三维点信息列表中其他三维坐标之间的距离大于距离阈值，能够从不同角度对匹配点集进行筛选，从而获得待重建区域中精度更高的各个三维坐标，进一步提高了三维重建精度。

以下是本发明实施例提供的三维重建装置的实施例，该装置与上述各实施例的三维重建方法属于同一个发明构思，在三维重建装置的实施例中未详尽描述的细节内容，可以参考上述三维重建方法的实施例。

实施例三

本实施例提供一种三维重建装置，参见图3，该装置具体包括：

目标极线距离矩阵生成模块310，用于依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵；

匹配点集确定模块320，用于依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集；

三维坐标确定模块330，用于针对各匹配点集中的任一匹配点集，依据匹配点集中每个像点对应的投影矩阵和像点的图像坐标，确定匹配点集对应的三维坐标；

三维坐标筛选模块340，用于依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息。

可选地，在上述装置的基础上，该装置还包括畸变校准模块，用于：

在依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵之前，利用至少两个图像采集设备对待重建区域进行图像采集，获取各采集图像；

基于像点检测算法，分别对各采集图像进行像点提取，获得每个采集图像对应的初始图像点集；

分别利用各图像采集设备的镜头畸变参数，对各初始图像点集进行畸变校准，获得各目标图像点集。

可选地，目标极线距离矩阵生成模块310具体用于：

从各目标图像点集中任选两个目标图像点集，分别作为第一点集和第二点集；

依据第一点集和第二点集对应的极线矩阵、第一点集中的各像点的图像坐标以及第二点集中的各像点的图像坐标，确定第一点集和第二点集之间的初始极线距离矩阵；

利用各目标图像点集中未作为第一点集处理的目标图像点集更新第一点集，且利用各目标图像点集中未作为第二点集处理的目标图像点集更新第二点集，并返回执行依据第一点集和第二点集对应的极线矩阵、第一点集中的各像点的图像坐标以及第二点集中的各像点的图像坐标，确定第一点集和第二点集之间的初始极线距离矩阵的步骤，直至确定各目标图像点集中每两个目标图像点集对应的初始极线距离矩阵；

依据各初始极线距离矩阵，以及每个目标图像点集对应的设定极线距离矩阵，构建目标极线距离矩阵。

可选地，匹配点集确定模块320具体用于：

将目标极线距离矩阵中矩阵元素值小于极线距离阈值的各极线距离，确定为各目标极线距离；

依据各目标极线距离，采用最大团算法，确定待重建区域对应的各匹配点集，匹配点集包含至少两个像点。

可选地，三维坐标确定模块330具体用于：

将各匹配点集中的一个匹配点集作为当前匹配点集；

分别依据当前匹配点集中的各像点的图像坐标，确定每个图像坐标对应的图像齐次坐标，并利用每个像点对应的图像齐次坐标及投影矩阵，确定当前匹配点集对应的三维坐标；

利用各匹配点集中未处理的匹配点集更新当前匹配点集，并返回执行分别依据当前匹配点集中的各像点的图像坐标，确定每个图像坐标对应的图像齐次坐标，并利用每个像点对应的图像齐次坐标及投影矩阵，确定当前匹配点集对应的三维坐标的步骤，直至确定每个匹配点集对应的三维坐标。

可选地，三维坐标筛选模块340包括：

反投影误差确定子模块，用于依据各三维坐标以及与每个三维坐标对应的各像点的图像坐标，确定每个匹配点集对应的反投影误差；

当前匹配点集确定子模块，用于将各匹配点集中的任一匹配点集确定为当前匹配点集；

第一筛选子模块，用于若当前匹配点集对应的反投影误差小于误差阈值，则确定当前匹配点集所包含的未使用像点的数量，未使用像点是指未记录在三维点信息列表中的像点；

第二筛选子模块，用于若数量大于或等于数量阈值，则确定当前匹配点集对应的当前三维坐标与三维点信息列表中其他三维坐标之间的距离；

第三筛选子模块，用于若距离大于距离阈值，则将当前三维坐标、当前匹配点集中的各个像点以及每个像点对应的图像采集设备信息记录至三维点信息列表；

当前匹配点集更新子模块，用于利用各匹配点集中未处理的匹配点集更新当前匹配点集，并返回执行若当前匹配点集对应的反投影误差小于误差阈值，则确定当前匹配点集所包含的未使用像点的数量的步骤，直至处理完各匹配点集。

进一步地，在上述装置的基础上，该装置还包括排序模块，用于：

在确定每个匹配点集对应的反投影误差之后，依据各反投影误差，对各匹配点集进行排序，获得排序匹配点集；

相应地，当前匹配点集确定子模块具体用于：

将排序匹配点集中的第一个匹配点集确定为当前匹配点集；

相应地，当前匹配点集更新子模块具体用于：

按照排序匹配点集中各匹配点集的排序，将当前匹配点集的下一个匹配点集更新为当前匹配点集。

通过本发明实施例三的一种三维重建装置，实现了更加快速地获得精确的特征点匹配信息，进而获得更为准确的三维坐标，提高了三维重建的速度与精度。

本发明实施例所提供的三维重建装置可执行本发明任意实施例所提供的三维重建方法，具备执行方法相应的功能模块和有益效果。

值得注意的是，上述三维重建装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

实施例四

参见图4，本实施例提供了一种电子设备400，其包括：一个或多个处理器420；存储装置410，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器420执行，使得一个或多个处理器420实现本发明实施例所提供的三维重建方法，包括：

依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵；

依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集；

针对各匹配点集中的任一匹配点集，依据匹配点集中每个像点对应的投影矩阵和像点的图像坐标，确定匹配点集对应的三维坐标；

依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息。

当然，本领域技术人员可以理解，处理器420还可以实现本发明任意实施例所提供的三维重建方法的技术方案。

图4显示的电子设备400仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，该电子设备400包括处理器420、存储装置410、输入装置430和输出装置440；电子设备中处理器420的数量可以是一个或多个，图4中以一个处理器420为例；电子设备中的处理器420、存储装置410、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线450连接为例。

存储装置410作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的三维重建方法对应的程序指令/模块(例如，三维重建装置中的目标极线距离矩阵生成模块、匹配点集确定模块、三维坐标确定模块和三维坐标筛选模块)。

存储装置410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置410可进一步包括相对于处理器420远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

实施例五

本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种三维重建方法，该方法包括：

依据待重建区域对应的至少两个目标图像点集和每两个目标图像点集对应的极线矩阵，生成目标极线距离矩阵；

依据目标极线距离矩阵和极线距离阈值，采用最大团算法，确定待重建区域对应的各匹配点集；

针对各匹配点集中的任一匹配点集，依据匹配点集中每个像点对应的投影矩阵和像点的图像坐标，确定匹配点集对应的三维坐标；

依据三维重建控制条件，对各匹配点集以及与匹配点集对应的三维坐标进行筛选，确定待重建区域包含的各特征点的三维坐标信息。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上的方法操作,还可以执行本发明任意实施例所提供的三维重建方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所提供的三维重建方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种三维重建方法，其特征在于，包括：

依据待重建区域对应的至少两个目标图像点集和每两个所述目标图像点集对应的极线矩阵，生成目标极线距离矩阵；

依据所述目标极线距离矩阵和极线距离阈值，采用最大团算法，确定所述待重建区域对应的各匹配点集；

针对各匹配点集中的任一匹配点集，依据所述匹配点集中每个像点对应的投影矩阵和所述像点的图像坐标，确定所述匹配点集对应的三维坐标；

依据三维重建控制条件，对各所述匹配点集以及与所述匹配点集对应的三维坐标进行筛选，确定所述待重建区域包含的各特征点的三维坐标信息。

2.根据权利要求1所述的方法，其特征在于，在依据待重建区域对应的至少两个目标图像点集和每两个所述目标图像点集对应的极线矩阵，生成目标极线距离矩阵之前，还包括：

利用至少两个图像采集设备对所述待重建区域进行图像采集，获取各采集图像；

基于像点检测算法，分别对各所述采集图像进行像点提取，获得每个所述采集图像对应的初始图像点集；

分别利用各所述图像采集设备的镜头畸变参数，对各所述初始图像点集进行畸变校准，获得各所述目标图像点集。

3.根据权利要求1所述的方法，其特征在于，依据待重建区域对应的至少两个目标图像点集和每两个所述目标图像点集对应的极线矩阵，生成目标极线距离矩阵包括：

从各所述目标图像点集中任选两个所述目标图像点集，分别作为第一点集和第二点集；

依据第一点集和第二点集对应的极线矩阵、第一点集中的各像点的图像坐标以及第二点集中的各像点的图像坐标，确定第一点集和第二点集之间的初始极线距离矩阵；

利用各所述目标图像点集中未作为第一点集处理的所述目标图像点集更新第一点集，且利用各所述目标图像点集中未作为第二点集处理的所述目标图像点集更新第二点集，并返回执行依据第一点集和第二点集对应的极线矩阵、第一点集中的各像点的图像坐标以及第二点集中的各像点的图像坐标，确定第一点集和第二点集之间的初始极线距离矩阵的步骤，直至确定各所述目标图像点集中每两个所述目标图像点集对应的所述初始极线距离矩阵；

依据各所述初始极线距离矩阵，以及每个所述目标图像点集对应的设定极线距离矩阵，构建所述目标极线距离矩阵。

4.根据权利要求1所述的方法，其特征在于，依据所述目标极线距离矩阵和极线距离阈值，采用最大团算法，确定所述待重建区域对应的各匹配点集包括：

将所述目标极线距离矩阵中矩阵元素值小于所述极线距离阈值的各极线距离，确定为各目标极线距离；

依据各所述目标极线距离，采用最大团算法，确定所述待重建区域对应的各匹配点集，所述匹配点集包含至少两个像点。

5.根据权利要求1所述的方法，其特征在于，针对各匹配点集中的任一匹配点集，依据所述匹配点集中每个像点对应的投影矩阵和所述像点的图像坐标，确定所述匹配点集对应的三维坐标包括：

将各匹配点集中的一个匹配点集作为当前匹配点集；

分别依据当前匹配点集中的各像点的图像坐标，确定每个所述图像坐标对应的图像齐次坐标，并利用每个像点对应的所述图像齐次坐标及投影矩阵，确定当前匹配点集对应的三维坐标；

利用各匹配点集中未处理的匹配点集更新当前匹配点集，并返回执行分别依据当前匹配点集中的各像点的图像坐标，确定每个所述图像坐标对应的图像齐次坐标，并利用每个像点对应的所述图像齐次坐标及投影矩阵，确定当前匹配点集对应的三维坐标的步骤，直至确定每个匹配点集对应的三维坐标。

6.根据权利要求1所述的方法，其特征在于，依据三维重建控制条件，对各所述匹配点集以及与所述匹配点集对应的三维坐标进行筛选，确定所述待重建区域包含的各特征点的三维坐标信息包括：

依据各三维坐标以及与每个所述三维坐标对应的各像点的图像坐标，确定每个匹配点集对应的反投影误差；

将各所述匹配点集中的任一匹配点集确定为当前匹配点集；

若当前匹配点集对应的反投影误差小于误差阈值，则确定当前匹配点集所包含的未使用像点的数量，所述未使用像点是指未记录在三维点信息列表中的像点；

若所述数量大于或等于数量阈值，则确定当前匹配点集对应的当前三维坐标与所述三维点信息列表中其他三维坐标之间的距离；

若所述距离大于距离阈值，则将当前三维坐标、当前匹配点集中的各个像点以及每个像点对应的图像采集设备信息记录至所述三维点信息列表；

利用各所述匹配点集中未处理的所述匹配点集更新当前匹配点集，并返回执行若当前匹配点集对应的反投影误差小于误差阈值，则确定当前匹配点集所包含的未使用像点的数量的步骤，直至处理完各所述匹配点集。

7.根据权利要求6所述的方法，其特征在于，在确定每个匹配点集对应的反投影误差之后，还包括：

依据各所述反投影误差，对各所述匹配点集进行排序，获得排序匹配点集；

相应地，将各所述匹配点集中的任一匹配点集确定为当前匹配点集包括：

将所述排序匹配点集中的第一个匹配点集确定为当前匹配点集；

相应地，利用各所述匹配点集中未处理的所述匹配点集更新当前匹配点集包括：

按照所述排序匹配点集中各所述匹配点集的排序，将当前匹配点集的下一个所述匹配点集更新为当前匹配点集。

8.一种三维重建装置，其特征在于，包括：

目标极线距离矩阵生成模块，用于依据待重建区域对应的至少两个目标图像点集和每两个所述目标图像点集对应的极线矩阵，生成目标极线距离矩阵；

匹配点集确定模块，用于依据所述目标极线距离矩阵和极线距离阈值，采用最大团算法，确定所述待重建区域对应的各匹配点集；

三维坐标确定模块，用于针对各匹配点集中的任一匹配点集，依据所述匹配点集中每个像点对应的投影矩阵和所述像点的图像坐标，确定所述匹配点集对应的三维坐标；

三维坐标筛选模块，用于依据三维重建控制条件，对各所述匹配点集以及与所述匹配点集对应的三维坐标进行筛选，确定所述待重建区域包含的各特征点的三维坐标信息。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的三维重建方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的三维重建方法。