CN113902847B - 基于三维特征约束的单目深度图像位姿优化方法 - Google Patents

Abstract

本发明涉及三维稠密重建技术领域，具体涉及一种基于三维特征约束的单目深度图像位姿优化方法，包括：S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化；S300、根据所述第一欧式距离、所述第二欧式距离和所述帧f_i的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿。

Description

基于三维特征约束的单目深度图像位姿优化方法

技术领域

本发明涉及三维稠密重建技术领域，具体涉及一种基于三维特征约束的单目深度图像位姿优化方法。

背景技术

在三维稠密重建领域，常用的输入设备为单目深度相机，使用单目深度相机进行三维建模时，一般首先对重建过程分段，然后配准固定数量的连续帧，组成一段，再扩展段的首尾，以段为整体进行段与段之间的匹配、验证和优化。采用基于彩色点云配准的方法，该方法使用稠密的光度误差作为优化项，这就导致帧间位姿估计趋向于得到每对内点颜色误差平均的结果，而不关注两帧图像间稀疏特征点的匹配，使得配准后的点云出现细节模糊的情况。

此外，传统方法大多只考虑局部特征匹配，当同一特征点在不同的时间段被多次观察，将作为不同的独立特征，产生多个优化变量，而事实上他们都对应同一个特征点。在优化时，这些优化变量基于局部的观测值被分别优化，变量之间没有建立联系，无法分享信息，只能得到局部最优解。当进行全局重建，被反复观测的特征时常出现错位重影。

最后，单纯基于视觉特征点的全局集束调整算法在面对白墙、天花板等场景时难以提取有效特征，对应的位姿在优化过程中被丢弃，导致重建结果的缺失。

因此，有必要提供一种优化方法，消除建模结果细节上的错位、重影，实现鲁棒的、完整的全局三维建模。

发明内容

解决的技术问题

针对现有技术所存在的上述缺点，本发明提供了一种基于三维特征约束的单目深度图像位姿优化方法，消除建模结果细节上的错位、重影，实现鲁棒的、完整的全局三维建模。

技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供了一种基于三维特征约束的单目深度图像位姿优化方法，用于对多帧单目深度图像进行优化，并且所述多帧单目深度图像通过单目深度相机采集，并基于三维点云配准生成，其特征在于，包括：

S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；

S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化，具体为：

S201、选取被所述单目深度相机观测次数大于等于两次的特征点，最小化其世界坐标到所有观测值之间的欧式距离，得到第一欧式距离；

S202、对所述特征点地图中的每一个特征点，最小化其世界坐标到所述三维点云的欧氏距离，得到第二欧式距离；

S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q，选取q＜15的帧f_i，通过约束所述帧f_i与其前后相邻的两帧的相对位姿，使得所述帧f_i的位姿接近所述单目深度相机的初始位姿，得到所述帧f_i的新位姿；

S300、根据所述第一欧式距离、所述第二欧式距离和所述帧f_i的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿。

进一步地，步骤S100具体为：

S101、对所述多帧单目深度图像中的每一帧提取1000个ORB特征，根据每一个二维特征点对应单目深度图像中的深度值，通过所述单目深度相机的内参得到三维特征点；

S102、若存在非零深度值，将对应的三维特征点标记为有效特征点，否则标记为失效特征点；

S103、根据时间顺序，利用ORB特征匹配算法将第i帧数据中的有效特征点与第1，2，…，i-1帧中的有效特征点进行匹配；

S104、所述单目深度相机对所有有效特征点进行观测，并建立所述特征点地图，当一个有效特征点被首次观测，则将其加入所述特征点地图，当一个有效特征点被多次观察，则仅修改所述特征点地图中对应的该有效特征点的被观测次数属性。

进一步地，步骤S201采用的最小化公式为：

其中，表示当特征点P_k在第i帧被观测到时，其在第i帧相机系下的三维坐标，表示特征点P_k在世界系下的三维坐标，T_i(·)表示从第i帧相机系到世界系的变换，ρ(·)表示胡伯损失，T_i表示第i帧单目深度图像的相机位姿。

进一步地，步骤S202采用的最小化公式为：

其中，为第i帧单目深度图像的相机位姿初值，cloud(p)表示返回所述三维点云中离p最近的点。

进一步地，通过位姿图优化误差项计算所述帧f_i与其前后相邻的两帧之间的误差，所述位姿图优化误差项表示为：

其中，e^6×1是一个六维误差向量，前三维表示平移误差，后三维表示旋转误差，与/>分别表示第i帧与第j帧在世界系的坐标，/>表示世界系到第i帧相机系的旋转矩阵，表示第j帧在第i帧相机系的坐标，/>表示第j帧到第i帧的旋转四元数，/>表示第j帧相机系到世界系的旋转四元数，[·]_xyz表示取四元数的虚数部分，第i帧表示所述帧f_i，第j帧表示所述帧f_i前后相邻的两帧。

基于同一发明构想，本发明还提供了一种室内三维建模方法，使用上述任一项所述的基于三维特征约束的单目深度图像位姿优化方法得到优化后的相机位姿，并通过所述优化后的相机位姿进行室内三维建模。

进一步地，所述通过所述优化后的相机位姿进行室内三维建模，具体为：

基于所述优化后的相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：

将空间划分为等大的三维网格，根据所述优化后的相机位姿和内参，将任意体素x投影到所述优化后的相机位姿中，获取其在所述优化后的相机位姿中的测量距离D_depth(x)，并计算任意体素x到单目深度相机的真实距离D_real(x)；定义tsdf_i(x)为对体素x的第i次的观测值，有：

其中，t为截断距离，根据TSDF定义，当D_depth(x)与D_real(x)的距离差小于t，tsdf_i(x)返回(-1,1)之间的值，否则返回±1；

根据下式：

其中，W_i(x)＝W_i-1(x)+w_i(x)，w_i(x)为对体素x的第i次的观测权重；

在每个所述优化后的相机位姿处对体素x的TSDF值进行更新；当所有所述优化后的相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。

有益效果

本发明提供的技术方案，与已知的公有技术相比，具有如下有益效果：首先，本发明针对三维建模提出了优化细节和保持结构性的算法，避免了特征优化对模型结构的影响。其次，本发明通过对特征的全局追踪，消除了建模结果细节上的错位、重影，同时对特征追踪失效的帧保持其原有位姿，实现精细、鲁棒、完整的全局三维建模。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的基于三维特征约束的单目深度图像位姿优化方法步骤示意图；

图2为本发明一实施例提供的基于三维特征约束的单目深度图像位姿优化方法另一步骤示意图；

图3为本发明一实施例提供的基于三维特征约束的单目深度图像位姿优化方法又一步骤示意图；

图4为本发明一实施例提供的室内三维建模方法流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参阅图1和图3，本发明一实施例提供了一种基于三维特征约束的单目深度图像位姿优化方法，包括如下步骤：

S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；

S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化，具体为：

S201、选取被所述单目深度相机观测次数大于等于两次的特征点，最小化其世界坐标到所有观测值之间的欧式距离，得到第一欧式距离；

S202、对所述特征点地图中的每一个特征点，最小化其世界坐标到所述三维点云的欧氏距离，得到第二欧式距离；

S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q，选取q＜15的帧f_i，通过约束所述帧f_i与其前后相邻的两帧的相对位姿，使得所述帧f_i的位姿接近所述单目深度相机的初始位姿，得到所述帧f_i的新位姿；

S300、根据所述第一欧式距离、所述第二欧式距离和所述帧f_i的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿。

在本实施例中，如图2所示，对于步骤S100，具体为：

S101、对所述多帧单目深度图像中的每一帧提取1000个ORB特征，根据每一个二维特征点对应单目深度图像中的深度值，通过所述单目深度相机的内参得到三维特征点；

S102、若存在非零深度值，将对应的三维特征点标记为有效特征点，否则标记为失效特征点；

S103、根据时间顺序，利用ORB特征匹配算法将第i帧数据中的有效特征点与第1，2，…，i-1帧中的有效特征点进行匹配；

S104、所述单目深度相机对所有效特征点进行观测，并建立所述特征点地图，当一个有效特征点被首次观测，则将其加入所述特征点地图，当一个有效特征点被多次观察，则仅修改所述特征点地图中对应的该有效特征点的被观测次数属性。

对于上述步骤的解释如下：对于第1帧，将所有的有效特征点加入特征点地图，对于第i帧(i>1)，我们根据匹配结果，如果在第j帧(j<i)中有匹配的特征，说明该特征已经存在于特征点地图中，只需在对应的特征点上记录该次观测，对于无法找到匹配的特征点，则作为新的特征点加入特征点地图。

在本实施例中，不同于传统方法仅优化重投影误差，本发明引入了三个误差项，下面将分别进行详细说明。假设单目深度图像有n帧，特征点地图中共有m个特征点，待优化变量为每个特征点的世界坐标和每帧的相机位姿T_i。

首先，步骤S201表示三维特征点约束，其采用的最小化公式一般为：

其中，表示当特征点P_k在第i帧被观测到时，其在第i帧相机系下的三维坐标，表示特征点P_k在世界系下的三维坐标，T_i(·)表示从第i帧相机系到世界系的变换，ρ(·)表示胡伯损失，可以降低误差较大的点对优化的干扰，T_i表示第i帧单目深度图像的相机位姿。

其次，步骤S202表示三维结构约束，其采用的最小化公式为：

其中，为第i帧单目深度图像的相机位姿初值，cloud(p)表示返回所述三维点云中离p最近的点。我们期望特征点在不同观测中离得近的同时不偏离三维结构，实现优化细节同时保持建模结果的结构性。

最后，对于步骤S203，统计每一帧能够观测到的特征点地图中观测次数大于等于2的特征点的数量q。对q<15的帧f_i，认为f_i是缺乏特征的，因此移除所有关于f_i的误差项，根据相机位姿初值约束帧f_i与f_i-1，f_i+1的相对位姿。即当某一帧追踪的特征过少，我们约束其位姿使其与前后两帧的相对位姿使其接近于初始值，确保优化结果不会变差，通过位姿图优化误差项计算所述帧f_i与其前后相邻的两帧之间的误差，所述位姿图优化误差项表示为，具体的误差项如下：

其中e^6×1是一个六维误差向量，前三维表示平移误差，后三维表示旋转误差。与分别表示第i帧与第j帧在世界系的坐标，/>表示世界系到第i帧相机系的旋转矩阵，/>表示第j帧在第i帧相机系的坐标，/>表示第j帧到第i帧的旋转四元数，/>表示第j帧相机系到世界系的旋转四元数，[·]_xyz表示取四元数的虚数部分，第i帧表示所述帧f_i，第j帧表示所述帧f_i前后相邻的两帧。

以f_i到f_i-1的误差为例，因为有这两帧的相对位置初值，还设这两帧的世界位姿(包括平移量和旋转量)为未知数。因此希望在优化过程中，根据这两帧的世界位姿计算出的相对位姿和已知的相对位姿初值之间的误差要尽量小。

基于同一发明构想，本发明还提供了一种室内三维建模方法，使用上述任一项所述的基于三维特征约束的单目深度图像位姿优化方法得到优化后的相机位姿，并通过所述优化后的相机位姿进行室内三维建模。

在本实施例中，参阅图4，所述通过所述优化后的相机位姿进行室内三维建模，具体为：

基于所述优化后的相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：

将空间划分为等大的三维网格，根据所述优化后的相机位姿和内参，将任意体素x投影到所述优化后的相机位姿中，获取其在所述优化后的相机位姿中的测量距离D_depth(x)，并计算任意体素x到单目深度相机的真实距离D_real(x)；定义tsdf_i(x)为对体素x的第i次的观测值，有：

其中，t为截断距离，根据TSDF定义，当D_depth(x)与D_real(x)的距离差小于t，tsdf_i(x)返回(-1,1)之间的值，否则返回±1；

根据下式：

其中，W_i(x)＝W_i-1(x)+w_i(x)，w_i(x)为对体素x的第i次的观测权重；

在每个所述优化后的相机位姿处对体素x的TSDF值进行更新；当所有所述优化后的相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。

本发明的优点在于：首先，本发明针对三维建模提出了优化细节和保持结构性的算法，避免了特征优化对模型结构的影响。其次，本发明通过对特征的全局追踪，消除了建模结果细节上的错位、重影，同时对特征追踪失效的帧保持其原有位姿，实现精细、鲁棒、完整的全局三维建模。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (3)

1.一种基于三维特征约束的单目深度图像位姿优化方法，用于对多帧单目深度图像进行优化，并且所述多帧单目深度图像通过单目深度相机采集，并基于三维点云配准生成，其特征在于，包括：

S100、提取所述多帧单目深度图像的特征点，生成特征点地图，所有特征点均不相同，且每一特征点被所述单目深度相机至少观测到一次；

S200、对每一特征点在所述特征点地图中的世界坐标，以及所述多帧单目深度图像中的每一帧的相机位姿进行优化，具体为：

S201、选取被所述单目深度相机观测次数大于等于两次的特征点，最小化其世界坐标到所有观测值之间的欧式距离，得到第一欧式距离；

S202、对所述特征点地图中的每一个特征点，最小化其世界坐标到所述三维点云的欧氏距离，得到第二欧式距离；

S203、统计所述多帧单目深度图像中的每一帧中包含的被所述单目深度相机观测次数大于等于两次的特征点的数量q，选取q＜15的帧f_i，通过约束所述帧f_i与其前后相邻的两帧的相对位姿，使得所述帧f_i的位姿接近所述单目深度相机的初始位姿，得到所述帧f_i的新位姿；

S300、根据所述第一欧式距离、所述第二欧式距离和所述帧f_i的新位姿生成误差函数，并求解非线性最小二乘问题，得到优化后的相机位姿；

步骤S201采用的最小化公式为：

其中，表示当特征点P_k在第i帧被观测到时，其在第i帧相机系下的三维坐标，/>表示特征点P_k在世界系下的三维坐标，T_i(·)表示从第i帧相机系到世界系的变换，ρ(·)表示胡伯损失，T_i表示第i帧单目深度图像的相机位姿；

步骤S202采用的最小化公式为：

其中，为第i帧单目深度图像的相机位姿初值，cloud(p)表示返回所述三维点云中离p最近的点；

通过位姿图优化误差项计算所述帧f_i与其前后相邻的两帧之间的误差，所述位姿图优化误差项表示为：

其中，e^6×1是一个六维误差向量，前三维表示平移误差，后三维表示旋转误差，与/>分别表示第i帧与第j帧在世界系的坐标，/>表示世界系到第i帧相机系的旋转矩阵，/>表示第j帧在第i帧相机系的坐标，/>表示第j帧到第i帧的旋转四元数，/>表示第j帧相机系到世界系的旋转四元数，[·]_xyz表示取四元数的虚数部分，第i帧表示所述帧f_i，第j帧表示所述帧f_i前后相邻的两帧。

2.根据权利要求1所述的基于三维特征约束的单目深度图像位姿优化方法，其特征在于，步骤S100具体为：

S101、对所述多帧单目深度图像中的每一帧提取1000个ORB特征，根据每一个二维特征点对应单目深度图像中的深度值，通过所述单目深度相机的内参得到三维特征点；

S102、若存在非零深度值，将对应的三维特征点标记为有效特征点，否则标记为失效特征点；

S103、根据时间顺序，利用ORB特征匹配算法将第i帧数据中的有效特征点与第1，2，…，i-1帧中的有效特征点进行匹配；

S104、所述单目深度相机对所有有效特征点进行观测，并建立所述特征点地图，当一个有效特征点被首次观测，则将其加入所述特征点地图，当一个有效特征点被多次观察，则仅修改所述特征点地图中对应的该有效特征点的被观测次数属性。

3.一种室内三维建模方法，其特征在于，使用如权利要求1-2中任一项所述的基于三维特征约束的单目深度图像位姿优化方法得到优化后的相机位姿，并通过所述优化后的相机位姿进行室内三维建模；所述通过所述优化后的相机位姿进行室内三维建模，具体为：

基于所述优化后的相机位姿，利用TSDF算法得到三维建模结果，所述TSDF算法包括：

将空间划分为等大的三维网格，根据所述优化后的相机位姿和内参，将任意体素x投影到所述优化后的相机位姿中，获取其在所述优化后的相机位姿中的测量距离D_depth(x)，并计算任意体素x到单目深度相机的真实距离D_real(x)；定义tsdf_i(x)为对体素x的第i次的观测值，有：

其中，t为截断距离，根据TSDF定义，当D_depth(x)与D_real(x)的距离差小于t，tsdf_i(x)返回(-1,1)之间的值，否则返回±1；

根据下式：

其中，W_i(x)＝W_i-1(x)+w_i(x)，w_i(x)为对体素x的第i次的观测权重；

在每个所述优化后的相机位姿处对体素x的TSDF值进行更新；当所有所述优化后的相机位姿更新结束，得到一个全局数据立方体，每一个体素x中的值代表该体素x到重建表面的距离，其中正负交界的位置就是全局数据立方体表面的位置，提取所有的表面得到三维建模结果。