CN116912427A - 基于标记点三角特征聚类的三维扫描重建方法及系统 - Google Patents

Abstract

本发明公开了一种基于标记点三角特征聚类配准的三维扫描重建方法,主要包括在双目相机获取扫描物体图片上提取标记点并匹配，对匹配得到的标记点做三角测量，得到点的局部空间坐标信息，根据点空间结构关系的不变性，将多种不变性特征再进行匹配得所有标记点作为全局控制点，结合结构扫描仪的扫描数据进行物体的三维重建。本发明提供了一种稳定、高效、准确、自动化的实时的三维扫描重建的方法，适用于市面上大多相机采集速度，在虚拟现实购物、商品智能识别结帐和路面缺陷检测等三维重建领域有着广泛的应用前景。

Description

基于标记点三角特征聚类的三维扫描重建方法及系统

技术领域

本发明属于计算机视觉的三维重建领域，尤其涉及一种基于标记点三角特征聚类的三维扫描重建方法及系统。

背景技术

传统的三维重建方法通常需要依靠稳定全局点或者是稠密点云表面信息通过同名点或者同名区域配准的方法实现三维重建，然而这些方法并不能达到三维重建的实时性，稳定性，精确性，并且传统方法需要高性能计算机和工业相机加持，导致开发和使用成本很高，为此，标记点三角特征聚类的三维重建方法应运而生。该技术可在任何物体表面通过贴置非编码标志点，双目相机在扫描时并可以实时重建。

随着计算机视觉、智能驾驶和虚拟现实技术的不断发展，实时准确的三维重建技术已成为计算机视觉和虚拟现实等领域的关键性能指标，是大幅提高人工智能的必由之路。目前，市场上已有一些实时三维扫描重建的技术方案，但这些方案还不够完善，其低成本，重建实时性，重建精度能仍有待进一步提高。

发明内容

本发明主要目的在于提供一种高效实时准确的基于标记点三角特征聚类的三维扫描重建方法及系统。

本发明所采用的技术方案是：

提供一种基于标记点三角特征聚类的三维扫描重建方法，包括以下步骤：

S1、输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

S2、通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

S3、通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

S4、将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

S5、将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到步骤S4将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

S6、将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

S7、根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

S8、根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

接上述技术方案，步骤S1具体为：输入左右双目相机针对目标物体采集的图像，用canny算子计算并获取图像中的标记点的边缘信息，将图像二值化，并计算边缘信息连通域，把连通域像素符合阈值范围的保存并将坐标置1，不符合区块连通域的坐标置0，得到标记点的圆边缘，根据每个圆的边缘像素坐标信息计算得到圆心。

接上述技术方案，步骤S2具体为：在获取左右标记点后，左相机图像上的标记点根据点间极线约束并限制x和y轴的距离信息，将右相机中符合距离限制要求的标记点与左标记点匹配，将所有左相机坐标转到右相机坐标系上；

匹配完成后，计算匹配点间在水平方向上的像素坐标差，作为视差值，然后根据三角形相似性原则，得到视差与深度之间的关系，通过该关系计算深度，进而得到每个匹配点对应实际单标记点在世界空间坐标系的信息。

接上述技术方案，步骤S3中，各点法向信息的计算方法为，通过最近邻搜索并根据最近的五点计算各点的法向信息。

接上述技术方案，步骤S4具体为：

将投影得到的各点通过空间区域增长法进行平面三角化，将每个三角形的三点信息进行聚类并保存，对于每个三角形，其外接圆的圆心和半径通过三角形的顶点坐标计算得出；

当存在第四个点处在某三角形的外接圆半径范围以内，则该第四点位不符合三角聚类边缘条件，重新聚类计算，直至任意三点连接的三角形的外接圆内不存在第四点；

记录符合结构特性的三角聚类的拓扑结构关系，并将该拓扑结构关系用于下一步的阈值判断。

接上述技术方案，步骤S5中，如果新添加的点与初始三角形的边界相交，则进行边界检查，删除初始三角形的其中一部分，并连接新点到初始三角形的边界点，以确保新三角形在边界内，并从剩余的目标标记点集中选择一个点，找到其所在的三角形，将该点插入到该三角形中，形成新的三角形。

接上述技术方案，步骤S6具体为：

计算每帧中各个三角形的边长和角度，将前后两帧中三角形的边长和角度进行匹配，匹配成功的三角形的点作为同名点保存。

本发明还提供一种基于标记点三角特征聚类的三维扫描重建系统，包括：

标记点提取模块，用于输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

目标标记点集构建模块，用于通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

投影模块，用于通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

拓扑结构构建模块，用于将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

标记点剔除模块，用于将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到标记点剔除模块将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

标记点匹配模块，用于将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

邻帧位姿关系获取模块，用于根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

三维重建模块，用于根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

本发明还提供一种计算机存储介质，其内存储有可被处理器执行的计算机程序，该计算机程序执行上述技术方案所述的基于标记点三角特征聚类的三维扫描重建方法。

本发明产生的有益效果是：本发明提供了根据标记点的三角聚类原则配准的方法，实现双目相机结合结构扫描仪（如：激光，雷达结构扫描仪）在不同视角下目标物体上标记点的配准，从而达到目标结构的三维重建。因为该方法配准点通常只需要几十个甚至几个标记点用于配准，这使得后续算法的时空复杂度非常低，能够很好地实现双目扫描重建的实时性，且三角聚类的方法完全满足标记点的空间不变原则，使得获取的最终同名点相当精准，不仅解决了传统算法的错误配准，也很好地降低了在后续基于标记点的拼接算法中存在的误差，因此该方法在实时性、稳定性及高精准上都有很好表现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例基于标记点三角特征聚类的三维扫描重建方法的流程图；

图2a是本发明实施例双目相机的左相机拍摄图；

图2b是本发明实施例双目相机的右相机拍摄图；

图3是本发明实施例目标物体标记点提取结果示意图；

图4是本发明实施例前后两帧目标物体标记点提取后构成三角聚类拓扑图的示意图；

图5a是本发明实施例标记点前后两帧之间实际同名点的匹配示意图；

图5b是与图5a的匹配结果图，图中显示的是匹配后的结果同名点；

图6是本发明实施例标记点匹配后的配准结果以及误差示意图；

图7a是本发明实施例目标物体实物图；

图7b是图7a中的扫描重建结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明实施例基于标记点三角特征聚类的三维扫描重建方法，包括以下步骤：

S1、输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

S2、通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

S3、通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

S4、将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

S5、将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到步骤S4将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

S6、将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

S7、根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

S8、根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

进一步地，步骤S1中，输入左右双目相机针对目标物体采集的图像，用canny算子计算并获取图像中的标记点的边缘信息，将图像二值化，计算边缘信息连通域，当连通域像素符合阈值范围时将其保存且坐标置1，不符合该区块连通域则坐标置0：

此时得到标记点的圆边缘，根据每个圆的边缘像素坐标信息计算得到圆心，其中origin和end分别表示圆连通域的起点数和终点数。

具体地，步骤S2中，针对左相机图像中的标记点，在右相机图像上找到其对应点，这两个对应的标记点必须符合极限约束，将符合该极限约束的点对匹配后进行三角测量，得到该物体上标志点的实际世界空间坐标信息，其中极线约束方程如下：

其中是左右相机的内参矩阵，左相机坐标系到右相机坐标系的外参为R（旋转矩阵）和t（平移矩阵）,/>为左相机图像中标记点的像素坐标，/>为右相机图像中标记点的像素坐标。通过极线约束方程将所有左相机图像中的标记点坐标转到右相机坐标系上。其中，/>是本征矩阵，/>是基础矩阵。在完成上述极线约束方程的计算后，再进行误差计算，如果误差满足要求则完成左右相机同名点匹配。

匹配完成后，计算匹配点在水平方向上的像素坐标差，作为视差值，然后根据三角形相似性原则，可知视差与深度之间的关系，通过该关系计算深度信息公式如下：

其中，表示视差，/>表示对应标记点的水平方向坐标，即横坐标，/>是左相机图像中的标记点，/>是右相机图像中的标记点。将视差信息带入以下公式：

其中是相机平移矩阵，/>是相机对应型号调制提供的焦距信息，z即是真实标记点对应的深度信息，由于三维点云坐标通常用/>表示，z信息已经获取，x，y只需对左右像素坐标取平均值得到，至此根据上述过程，可以得到每个匹配点对应实际标记点集合P在世界空间坐标系的信息。

进一步地，步骤S3中，在上步得到标记点空间坐标信息后，计算各点的法向信息，法向信息的计算方法为，通过最近邻搜索并根据最近的五点计算各点的法向信息，法向计算公式为：

其中，为平面目标点/>（/>）的法向量，/>为/>到坐标原点的距离。可以由K个最近点拟合出的平面的法向量即当前扫描点的法向量,这里K设置为5。由运算知/>经过其K邻域点的质心/>,且法向量满足/>。先对下式中的协方差矩阵M进行特征值分解，求得M的各特征值，M的最小特征值所对应的特征向量即/>的法向量/>。

进一步地，步骤S4中，提供每个点的空间法向投影坐标后计算所有点的三角信息，将每个三角点信息进行聚类并保存，由于不允许任何一个点在其它三角形的外接圆内部，因此任意两个点共享一个边的三角形的外接圆不包含点集P中的任何其他点。这些性质可以通过计算三角形的外接圆来验证。对于每个三角形，其外接圆的圆心和半径可以通过三角形的顶点坐标计算得出，公式如下：

其中，

是每个聚类后的三角形其对应外接圆的圆心坐标，代表每个聚类三角形三个顶点的坐标。

计算一个三角形的外接圆的半径为：

在计算得到一个三角形的外接圆后，其半径为，当存在第四个点处在该外接圆半径范围以内，该点不计入后续三角聚类计算。

其中该步骤中表示每个点，/>分别表示向量投影后每个点的x轴和y轴的平面坐标信息，在计算得到所有符合条件点聚类后，便可以记录下符合该结构特性的三角聚类的拓扑结构关系，该关系用于下一步的阈值判断。

进一步地，步骤S5中，在点集可能形成的三角聚类集合中，对该聚类集合所形成的三角形的最小角最大角进行限制，以避免步骤S3存在的异常点对后续拼接步骤的影响，同时也防止了三点出现近似在一条线上的无效三角聚类，公式如下：

其中表示S4步骤中聚类好的三角顶点信息，/>表示聚类后的三角形的每个角点的对应角度信息，/>用于存放三角化聚类的点云组合结果，将/>中的结果循环重复上一步骤，直到去除所有不符合条件的三角化杂点，并将符合条件的点集送S5步骤中继续操作,直到/>中点云组合满足三角形阈值判断，进行下一步骤S6的操作。

进一步地，步骤S6中，设上一步中构成的有效三角聚类集合为A,其中是点云根据x轴向大小排序的三个角点，/>表示点/>对应的三维坐标，表示点/>对应的三维坐标，/>表示点/>对应的三维坐标。计算角点间的向量夹角，计算公式为：

其中，表示点/>到/>的向量，/>表示角点/>到/>的向量，/>、/>为/>、/>对应的模，而/>表示一角点两个向量之间的夹角，以此类推计算三角聚类三点的角，以上得到每个聚类三角的边角关系，作为下一步匹配限制信息，表示当前帧中的三角聚类信息（主要包括各个三角形的角度和边长信息）,/>表示下一帧中的三角聚类信息,当前后两帧双目相机聚类信息差满足下式角度误差/>和边长误差/>的范围时（如），返回true并将/>和/>中的相应三角聚类点簇分别保存到/>和/>中，否则返回false，不保存结果：

由上，和/>保存了匹配成功的前后帧的三角聚类匹配点或称之为同名点。

进一步地，步骤S7中，在上一步公式中已经得到的点云集，/>表示步骤S7获得的匹配同名点的每个三维坐标点，其表示形式如下：

点云配准的过程即为寻找一个空间的最优转换矩阵（由旋转矩阵R 和平移矩阵t组成），不断迭代将两点带入下式计算使得点集和/>之间的距离最小。可通过最小化下式来求旋转平移矩阵T 也就是/>：

如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的继续迭代，直到达到目标函数的要求，由此计算得到每一帧的点云间旋转平移矩阵T。

进一步地，步骤S8中，上步计算完所有时刻帧间点云的旋转平移矩阵T后,并保存到集合，将每一帧点云即步骤S2得到的/>叠乘旋转平移集,其中/>表示不同时刻点云帧间的旋转平移矩阵,n的数量由实际点云帧数决定，在此以第一帧点云作为起始点，从第一帧点云往后的每一帧点云依次叠乘前/>个时刻的旋转平移矩阵，将叠乘计算结果保存至/>,其计算公式如下：

至此每一帧计算得到的已经完全统一到一个坐标轴上，该步骤完成后，可以供结构扫描设备根据该上一步骤提供的T信息和所有/>实现对扫描目标三维重建。

实施例2

该实施例基于实施例1，区别在于将实施例1的方法应用到具体实例中，具体包括以下步骤：

S1、输入左右双目图像针对目标物体采集的图像，双目相机左相机图如图2a所示，双目相机有相机图如图2b所示,用canny算子计算并获取图像中的标记点的边缘信息，将图像二值化，计算边缘信息连通域，当连通域像素符合阈值范围时将其保存且坐标置1，不符合该区块连通域则坐标置0。

此时得到标记点的圆边缘，根据每个圆的边缘像素坐标信息计算得到圆心，其中origin和end分别表示圆连通域的起点数和终点数,该数由获取圆形连通域决定

S2、计算在获取左右相机的各个标记点后，左相机图片上的标记点根据点间极线约束并限制x和y轴的距离信息，将右相机中符合该距离限制要求的标记点与左标记点匹配，其中极线约束方程如下：

其中是左右相机的内参矩阵，左相机坐标系到右相机坐标系的外参为旋转矩阵R和平移矩阵t,/>为左相机标记点的像素坐标，/>为右相机标记点的像素坐标。本专利使用的相机内外参矩阵为：

左相机矩阵为：

右相机矩阵为

本专利双目相机间旋转矩阵R为：

本专利双目相机间平移矩阵t为：

是点/>的齐次化坐标，其目的在于将所有左相机坐标转到右相机坐标系上，即有以下式子推出极限方程：

这个式子就是极线约束的直线方程。其中，是本征矩阵，/>是基础矩阵。在完成上述极线约束方程的计算后，并进行误差计算，如果误差满足则完成左右相机同名点匹配。

将匹配完成后计算匹配点间在水平方向上的像素坐标差，作为视差值，然后根据三角形相似性原则，可知视差与深度之间的关系，通过该关系计算深度信息公式如下：

其中，表示视差，/>表示对应标记点的水平方向坐标，即横坐标，将视差信息带入以下公式：

其中是相机平移矩阵:

是相机对应型号调制提供的焦距8mm，z即是真实标记点对应的深度信息，由于三维点云坐标通常是用/>表示，z信息已经获取，x，y只需对左右像素坐标取平均值得到，至此根据上述过程，可以得到每个匹配点对应实际标记点集合P在世界空间坐标系的信息，如图3显示的是匹配计算得到的目标物体上标记点的提取结果。

S3、在上步得到标记点空间坐标信息后，计算各点的法向信息，法向信息的计算方法为，通过最近邻搜索并根据最近的五点计算该点的法向信息，法向计算公式为：

其中，为平面目标点/>（/>）的法向量，/>为/>到坐标原点的距离。可以由K个最近点拟合出的平面的法向量即当前扫描点的法向量,这里K设置为5。由运算知/>经过其K邻域点的质心/>,且法向量满足/>,先对式中的协方差矩阵M进行特征值分解，求得M的各特征值，M的最小特征值所对应的特征向量即/>的法向量/>。

法向计算公式为：

其中是协方差矩阵由每个点和其周围点信息决定，/>是最小特征值对应的特征向量，/>是单位矩阵，/>是M的最小特征值所对应的特征向量即P 的法向量。

S4、提供每个点的空间法向投影坐标后计算所有点的三角信息，将每个三角点信息进行聚类并保存在容器中，由于不允许一个点在其它三角形的外接圆内部。任意两个点共享一个边的三角形的外接圆不包含点集P中的任何其他点。这些性质可以通过计算三角形的外接圆来验证。对于每个三角形，其外接圆的圆心和半径可以通过三角形的顶点坐标计算得出，公式如下：

其中，

是每个聚类后的三角形其对应外接圆的圆心坐标，代表每个聚类三角形三个顶点的坐标。

计算一个三角形的外接圆的半径为：

在计算得到一个三角形的外接圆后，其半径为，当存在第四个点处在该外接圆半径范围以内，该点不计入后续三角聚类计算。

其中，该步骤中表示每个点，/>分别表示向量投影后每个点的平面坐标x轴和y轴的信息，在计算得到所有符合条件点聚类后，便可以记录下符合该结构特性的三角聚类的拓扑结构关系，该拓扑关系呈现效果如图4，该关系用于下一步的阈值判断。

S5、在点集可能形成的三角聚类集合中，对该聚类集合所形成的三角形的最小角最大角进行限制，以避免步骤S3存在的异常点对后序拼接步骤的影响，同时也防止了三点出现近似在一条线上的无效三角聚类，公式如下：

其中表示S4步骤中聚类好的三角顶点坐标，/>表示聚类后的三角形的每个角点的对应角度信息，/>用于存放三角化聚类的点云组合结果，将/>中的结果循环重复上一步骤，直到去除所有不符合条件的三角化杂点，并将符合条件的点集送S5步骤中继续操作,直到/>中点云组合满足三角形阈值判断，进行下一步骤S6的操作。

S6、该步骤期望的是在不同帧间找到如图5a箭头示意的具有高鲁棒性的同名点，因此在这一步中先设上一步中构成的有效三角聚类集合为A,其中是点云根据的x轴向大小排序的三个角点，/>表示点/>对应的三维坐标，/>表示点/>对应的三维坐标，/>表示点/>对应的三维坐标，接下来计算角点间的向量夹角，计算公式为：

/>

其中,表示点/>到/>的向量，/>表示点/>到/>的向量，/>、/>则为/>、/>对应的模，而/>表示该点/>两个向量之间的夹角，以此类推计算三角聚类三点的角，以上得到每个聚类三角的边角关系，作为下一步匹配限制信息，为当前帧中的三角聚类信息,/>为下一帧中的三角聚类信息,前后两帧双目相机聚类信息差满足下式角度误差/>和边长误差/>的范围时（如/>），返回true并将/>和/>中的/>分别保存到/>和/>中，否则返回false，不保存结果：

和/>保存了匹配成功的前后帧的三角聚类匹配点或称之为同名点，提取到的同名点如图5b所示。

S7、在上一步公式中已经得到的点云集，/>表示步骤S7获得的匹配同名点的每个三维坐标点，其表示形式如下：

点云配准的过程即为寻找一个空间的最优转换矩阵 （由旋转R 和平移t组成），不断迭代将两点带入下式计算使得点集和/>之间的距离最小。可通过最小化下式来求旋转平移矩阵T 也就是/>：

如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的继续迭代，直到达到目标函数的要求，由此计算得到每一帧的点云间旋转平移矩阵T，矩阵展现的形式和同名点获取如图6所示。

S8、上步计算完所有时刻帧间点云的旋转平移矩阵T后,并保存到集合，将每一帧点云即步骤S2得到的/>叠乘旋转平移集,其中/>表示不同时刻点云帧间的旋转平移矩阵,n的数量由实际点云帧数决定，在此以第一帧点云作为起始点，从第一帧点云往后的每一帧点云依次叠乘前/>个时刻的旋转平移矩阵，将叠乘计算结果保存至/>,其计算公式如下：/>

至此每一帧计算得到的已经完全统一到一个坐标轴上，该步骤完成后，可以供结构扫描设备根据该上一步骤提供的T信息，和所有/>实现对扫描目标物体，实验所用物体如图7a所示，扫描后实现物体结构的三维重建，重建结果如图7b所示。

实施例3

该实施例为用于实现上述方法实施例的基于标记点三角特征聚类的三维扫描重建系统，包括：

标记点提取模块，用于输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

目标标记点集构建模块，用于通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

投影模块，用于通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

拓扑结构构建模块，用于将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

标记点剔除模块，用于将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到标记点剔除模块将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

标记点匹配模块，用于将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

邻帧位姿关系获取模块，用于根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

三维重建模块，用于根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

各个模块主要用于实现方法实施例的各个步骤，在此不赘述。

实施例4

本申请还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（RAM）、静态随机访问存储器（SRAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、可编程只读存储器（PROM）、磁性存储器、磁盘、光盘、服务器、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质被处理器执行时实现方法实施例的基于标记点三角特征聚类配准的三维扫描重建方法。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种基于标记点三角特征聚类的三维扫描重建方法，其特征在于，包括以下步骤：

S1、输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

S2、通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

S3、通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

S4、将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

S5、将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到步骤S4将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

S6、将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

S7、根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

S8、根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

2.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤S1具体为：输入左右双目相机针对目标物体采集的图像，用canny算子计算并获取图像中的标记点的边缘信息，将图像二值化，并计算边缘信息连通域，把连通域像素符合阈值范围的保存并将坐标置1，不符合区块连通域的坐标置0，得到标记点的圆边缘，根据每个圆的边缘像素坐标信息计算得到圆心。

3.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤S2具体为：在获取左右标记点后，左相机图像上的标记点根据点间极线约束并限制x和y轴的距离信息，将右相机中符合距离限制要求的标记点与左标记点匹配，将所有左相机坐标转到右相机坐标系上；

匹配完成后，计算匹配点在水平方向上的像素坐标差，作为视差值，然后根据三角形相似性原则，得到视差与深度之间的关系，通过该关系计算深度，进而得到每个匹配点对应实际单标记点在世界空间坐标系的信息。

4.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤S3中，各点法向信息的计算方法为，通过最近邻搜索并根据最近的五点计算各点的法向信息。

5.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤S4具体为：

将投影得到的各点通过空间区域增长法进行平面三角化，将每个三角形的三点信息进行聚类并保存，对于每个三角形，其外接圆的圆心和半径通过三角形的顶点坐标计算得出；

当存在第四个点处在某三角形的外接圆半径范围以内，则该第四点位不符合三角聚类边缘条件，重新聚类计算，直至任意三点连接的三角形的外接圆内不存在第四点；

记录符合结构特性的三角聚类的拓扑结构关系，并将该拓扑结构关系用于下一步的阈值判断。

6.根据权利要求5所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤S5中，如果新添加的点与初始三角形的边界相交，则进行边界检查，删除初始三角形的其中一部分，并连接新点到初始三角形的边界点，以确保新三角形在边界内，并从剩余的目标标记点集中选择一个点，找到其所在的三角形，将该点插入到该三角形中，形成新的三角形。

7.根据权利要求1所述的基于标记点三角特征聚类的三维扫描重建方法，其特征在于，步骤S6具体为：

计算每帧中各个三角形的边长和角度，将前后两帧中三角形的边长和角度进行匹配，匹配成功的三角形的点作为同名点保存。

8.一种基于标记点三角特征聚类的三维扫描重建系统，其特征在于，包括：

标记点提取模块，用于输入每一帧双目相机扫描目标物体的图像，提取左右图像中预先贴在目标物体上的标记点圆心，并计算标记点像素坐标；

目标标记点集构建模块，用于通过极线约束方法将左右标记点予以匹配，之后进行三角测量，计算出匹配点在空间上的三维坐标，获得每帧的目标标记点集；

投影模块，用于通过最近邻法计算每一帧目标标记点集中各点的法向信息，并将各点通过法线投影到二维坐标平面内；

拓扑结构构建模块，用于将投影得到的各点进行平面三角化，得到各点之间的拓扑结构关系，并进行连接；

标记点剔除模块，用于将拓扑结构中夹角不满足预设阈值范围的点剔除，返回到标记点剔除模块将剩余点重新计算，直到满足预设阈值条件，得到每帧标记点的拓扑结构中的三角形；

标记点匹配模块，用于将每一帧中每个三角形进行边角计算并与其上一帧中的三角形进行匹配，保留匹配后的对应点，作为目标物体的全局控制点；

邻帧位姿关系获取模块，用于根据对应点计算两帧之间的位姿关系，形成旋转平移矩阵；

三维重建模块，用于根据全局控制点、旋转平移矩阵以及通过结构扫描仪扫描的数据进行目标物体的三维重建。

9.一种计算机存储介质，其特征在于，其内存储有可被处理器执行的计算机程序，该计算机程序执行权利要求1-7中任一项所述的基于标记点三角特征聚类的三维扫描重建方法。