CN112184906B - 一种三维模型的构建方法及装置 - Google Patents
一种三维模型的构建方法及装置 Download PDFInfo
- Publication number
- CN112184906B CN112184906B CN202011138246.7A CN202011138246A CN112184906B CN 112184906 B CN112184906 B CN 112184906B CN 202011138246 A CN202011138246 A CN 202011138246A CN 112184906 B CN112184906 B CN 112184906B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- preset period
- point
- sampling point
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
Abstract
本发明提供了一种三维模型的构建方法及装置，利用每个采样点的角速度和线速度，对相应采样点的点云数据进行运动补偿，降低运动畸变导致的误差，得到每个采样点的准确预测位姿。然后通过对运动补偿后的预测位姿形成的点云地图与历史点云地图进行点云匹配，剔除表示运动物体的点云数据，得到更新后的历史点云地图，在轮式机器人运行过程中即使遇到行人等运动物体也能准确建模。最后利用回环检测进行全局一致优化，将轮式机器人在运行过程中得到的各个预设周期内的更新后的历史点云地图进行拼接得到三维模型，进一步提高建模精度。本发明轮式机器人在需要建模的环境中运行一周就能完成建模，在提高了建模精度的同时，也提高了建模效率。
Description
技术领域
本发明涉及定位技术领域，更具体的，涉及一种三维模型的构建方法及装置。
背景技术
构建大型商场、停车场等室内大场景的三维模型是线下场景数字化中的一个重要环节。室内大场景的三维模型构建完成后，可以将店铺、车位等信息同步到三维模型坐标系中，在线上渲染线下的场景；还可以用于获取场景中部署的摄像头的位姿，进而利用摄像头的位姿辅助基于摄像头的行人或车辆的导航。
为了更好的发挥室内大场景的三维模型的作用，需要预先构建高精度的三维模型。但是，目前已有的很多建图的方法在大型室内场景下都有各自的问题，无法实现室内大场景下高精度的三维模型建模。
发明内容
有鉴于此，本发明提供了一种三维模型的构建方法及装置，提高了三维模型的建模精度。
为了实现上述发明目的，本发明提供的具体技术方案如下：
一种三维模型的构建方法，包括：
获取轮式机器人在运行过程中预设周期内每个采样点的角速度和线速度，所述采样点为所述轮式机器人中的激光雷达发送点云数据的时刻；
利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿；
将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图；
在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型。
可选的，所述利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿，包括：
以预设周期的起始采样点为起始点，对所述预设周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用所述预设周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述预设周期内每个所述采样点的相对旋转和位移，确定所述预设周期内每个所述采样点的相对位姿；
依据所述预设周期内每个所述采样点的点云数据和相对位姿，将所述预设周期内每个采样点的点云数据变换到起始点坐标系下，确定所述预设周期内每个所述采样点的预测位姿。
可选的，所述利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿，包括：
以上个预设周期的终止时刻为开始时刻，以当前预设周期起始时刻为终止时刻，对该周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用该周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述时间段内每个所述采样点所述轮式机器人的加速度，确定所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角；
分别依据所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角，对相应的所述采样点的位移进行修正，最终得到每个所述采样点对应的从开始时刻到终止时刻的相对位姿；
利用开始时刻的绝对位姿和每个所述采样点对应的从开始时刻到终止时刻的相对位姿，计算得到当前点云起始时刻绝对重力坐标系下的预测位姿。
可选的，所述将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图，包括：
基于相关性匹配的方法，找到一个旋转和平移，使所述预设周期内的点云地图与历史点云地图的匹配度最高；
将上个所述预设周期的点云地图中存在但在所述预设周期的点云地图中不存在的点云数据，确定为表示运动物体的点云数据；
剔除表示运动物体的点云数据，并对所述预设周期的点云地图与历史点云地图进行合并，得到所述更新后的历史点云地图。
可选的，所述在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型，包括：
在检测到所述轮式机器人运行到历史位置的情况下，对所述当前所述预设周期的原始点云地图与所述历史位置对应的点云地图进行无预测位姿的暴力点云匹配，生成相对位置约束；
将帧间相对旋转和位移作为帧间约束，并根据所述相对位置约束和所述帧间约束构建残差项；
以所述残差项最小为优化目标，计算每个所述采样点的优化位姿；
将每个所述预设周期的更新后的历史点云地图，按照其优化位姿进行拼接，得到三维点云模型。
可选的，所述检测到所述轮式机器人运行到历史位置，包括：
利用所述轮式机器人设置的图像采集设备，获取实时图像；
将所述实时图像转换为一个长向量；
在由历史图像长向量组成的向量库中进行最近邻搜索，在搜索到与所述实时图像的长向量的相似度大于阈值的历史图像长向量的情况下，确定所述轮式机器人运行到历史位置。
一种三维模型的构建装置，包括：
数据获取单元，用于获取轮式机器人在运行过程中预设周期内每个采样点的角速度和线速度，所述采样点为所述轮式机器人中的激光雷达发送点云数据的时刻；
运动补偿单元，用于利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿；
点云匹配单元，用于将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图；
地图拼接单元，用于在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型。
可选的，所述运动补偿单元，具体用于：
以预设周期的起始采样点为起始点，对所述预设周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用所述预设周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述预设周期内每个所述采样点的相对旋转和位移，确定所述预设周期内每个所述采样点的相对位姿；
依据所述预设周期内每个所述采样点的点云数据和相对位姿，将所述预设周期内每个采样点的点云数据变换到起始点坐标系下，确定所述预设周期内每个所述采样点的预测位姿。
可选的，所述运动补偿单元，具体用于：
以上个预设周期的终止时刻为开始时刻，以当前预设周期起始时刻为终止时刻，对该周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用该周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述时间段内每个所述采样点所述轮式机器人的加速度，确定所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角；
分别依据所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角，对相应的所述采样点的位移进行修正，最终得到每个所述采样点对应的从开始时刻到终止时刻的相对位姿；
利用开始时刻的绝对位姿和每个所述采样点对应的从开始时刻到终止时刻的相对位姿，计算得到当前点云起始时刻绝对重力坐标系下的预测位姿。
可选的，所述点云匹配单元，具体用于：
基于相关性匹配的方法，找到一个旋转和平移，使所述预设周期内的点云地图与历史点云地图的匹配度最高；
将上个所述预设周期的点云地图中存在但在所述预设周期的点云地图中不存在的点云数据，确定为表示运动物体的点云数据；
剔除表示运动物体的点云数据，并对所述预设周期的点云地图与历史点云地图进行合并，得到所述更新后的历史点云地图。
可选的，所述地图拼接单元，具体用于：
在检测到所述轮式机器人运行到历史位置的情况下，对所述当前所述预设周期的原始点云地图与所述历史位置对应的点云地图进行无预测位姿的暴力点云匹配，生成相对位置约束；
将帧间相对旋转和位移作为帧间约束，并根据所述相对位置约束和所述帧间约束构建残差项；
以所述残差项最小为优化目标，计算每个所述采样点的优化位姿；
将每个所述预设周期的更新后的历史点云地图，按照其优化位姿进行拼接，得到三维点云模型。
可选的，所述地图拼接单元包括回环检测子单元，用于：
利用所述轮式机器人设置的图像采集设备，获取实时图像；
将所述实时图像转换为一个长向量；
在由历史图像长向量组成的向量库中进行最近邻搜索，在搜索到与所述实时图像的长向量的相似度大于阈值的历史图像长向量的情况下，确定所述轮式机器人运行到历史位置。
一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例公开的三维模型的构建方法。
相对于现有技术，本发明的有益效果如下：
本发明公开的一种三维模型的构建方法，利用预设周期内每个采样点的角速度和线速度，对相应采样点的点云数据进行运动补偿，降低运动畸变导致的误差，得到预设周期内每个采样点的准确预测位姿。然后通过对预设周期内由每个采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，剔除表示运动物体的点云数据，得到更新后的历史点云地图，在轮式机器人运行过程中即使遇到行人等运动物体也能准确建模。最后通过在检测到轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将轮式机器人在运行过程中得到的各个预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接即可得到三维模型，进一步提高了建模精度。本发明轮式机器人在需要建模的环境中运行一周就能完成建模，不需要分块多次静置扫描，在提高了建模精度的同时，也提高了建模效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种三维模型的构建方法的流程示意图；
图2为本发明实施例公开的一种对点云数据进行运动补偿的方法的流程示意图；
图3为本发明实施例公开的运动补偿示意图；
图4为本发明实施例公开的另一种对点云数据进行运动补偿的方法的流程示意图；
图5为本发明实施例公开的点云匹配示意图；
图6为本发明实施例公开的一种点云地图拼接方法的流程示意图；
图7为本发明实施例公开的一种三维模型的构建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种三维模型的构建方法，应用于轮式机器人中的处理器，该轮式机器人载有激光雷达、惯性测量单元IMU、轮速计和图像采集设备，使用多传感器融合的方法，使其在低纹理、长走廊、存在行人、存在斜坡等困难场景下运动时，仍然能够准确定位和三维建模。
具体的，请参阅图1，本发明实施例公开的一种三维模型的构建方法，具体包括以下步骤：
S101：获取轮式机器人在运行过程中预设周期内每个采样点的角速度和线速度，采样点为轮式机器人中的激光雷达发送点云数据的时刻。
激光雷达发送的点云数据包含每个采样点在激光雷达局部坐标系下的(x，y，z)坐标，以及该采样点的时间戳t，IMU提供每个采样点t对应的角速度w，轮速计提供对应的线速度v。
S102：利用预设周期内每个采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿；
请参阅图2，对点云数据进行运动补偿的方法包括以下步骤：
S201：以预设周期的起始采样点为起始点，对预设周期内的角速度进行一阶积分，得到每个采样点的激光雷达相对于起始点的激光雷达的相对旋转；
对预设周期内的角速度进行一阶积分，即图3中的局部积分，得到每个采样点的激光雷达相对于起始点的激光雷达的相对旋转Rt。
S202：利用预设周期内每个采样点的相对旋转，将预设周期内每个采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到预设周期内每个采样点的位移；
这里的一阶积分，即为图3中的局部积分，得到预设周期内每个采样点的位移tt。
S203：根据预设周期内每个采样点的相对旋转和位移，确定预设周期内每个采样点的相对位姿；
每个采样点的旋转和位移统一记为Ttt0，如图3所示，得到局部位姿，即每个采样点的相对位姿。
S204：依据所述预设周期内每个所述采样点的点云数据和相对位姿，将所述预设周期内每个采样点的点云数据变换到起始点坐标系下，确定所述预设周期内每个所述采样点的预测位姿。
如图3所示，将每个采样点的点云数据乘以对应的相对位姿，将预设周期内每个采样点的点云数据变换到起始点坐标系下，完成对预设周期内的点云数据的运动补偿。
进一步，为了避免由于快速运动、场内地面不平、存在斜坡等因素对预设周期内的位移的影响，本实施例优选的还提供了另一种对点云数据进行运动补偿的方法，请参阅图4，该方法包括以下步骤：
S401：以上个预设周期的终止时刻为开始时刻，以当前预设周期起始时刻为终止时刻，对该周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
S402：利用该周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
S403：根据所述时间段内每个所述采样点所述轮式机器人的加速度，确定所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角；
S404：分别依据所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角，对相应的所述采样点的位移进行修正，最终得到每个所述采样点对应的从开始时刻到终止时刻的相对位姿；
S405：利用开始时刻的绝对位姿和每个所述采样点对应的从开始时刻到终止时刻的相对位姿，计算得到当前点云起始时刻绝对重力坐标系下的预测位姿。
S103：将运动补偿后的预设周期的内每个采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图；
相邻两个预设周期内扫描范围存在重叠，因此，相邻两个预设周期内得到的点云地图中存在重叠，具体的，请参阅图5，基于相关性匹配的方法，找到一个旋转和平移，使预设周期内的点云地图与历史点云地图的匹配度最高；
将上个预设周期的点云地图中存在但在预设周期的点云地图中不存在的点云数据，确定为表示运动物体的点云数据；
剔除表示运动物体的点云数据，并对预设周期的点云地图与历史点云地图进行合并，得到更新后的历史点云地图。
S104：在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型。
请参阅图6，上述拼接方法包括以下步骤：
S601：在检测到轮式机器人运行到历史位置的情况下，对当前所述预设周期的原始点云地图与历史位置对应的点云地图进行无预测位姿的暴力点云匹配，生成相对位置约束；
具体的，轮式机器人设置有图像采集设备，如相机，可以获取实时图像，通过将实时图像转换为一个长向量，在由历史图像长向量组成的向量库中进行最近邻搜索，在搜索到与该实时图像的长向量的相似度大于阈值的历史图像长向量的情况下，确定轮式机器人运行到历史位置。
进一步，若搜索不到与该实时图像的长向量的相似度大于阈值的历史图像长向量，则将该实时图像的长向量添加到向量库中。
S602：将帧间相对旋转和位移作为帧间约束，并根据相对位置约束和帧间约束构建残差项；
是IMU和轮速计分积分结果，/>是回环约束的集合，/>是j时刻与k时刻之间通过回环得到的相对位姿。
S603：以所述残差项最小为优化目标，计算每个所述采样点的优化位姿；
S604：将每个所述预设周期的更新后的历史点云地图，按照其优化位姿进行拼接，得到三维点云模型。
可见，本实施例公开的一种三维模型的构建方法，利用预设周期内每个采样点的角速度和线速度，对相应采样点的点云数据进行运动补偿，降低运动畸变导致的误差，得到预设周期内每个采样点的准确预测位姿。然后通过对预设周期内由每个采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，剔除表示运动物体的点云数据，得到更新后的历史点云地图，在轮式机器人运行过程中即使遇到行人等运动物体也能准确建模。最后通过在检测到轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将轮式机器人在运行过程中得到的各个预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接即可得到三维模型，进一步提高了建模精度。本发明轮式机器人在需要建模的环境中运行一周就能完成建模，不需要分块多次静置扫描，在提高了建模精度的同时，也提高了建模效率。
基于上述实施例公开的一种三维模型的构建方法，本实施例对应公开了一种三维模型的构建装置，请参阅图7，该装置包括：
数据获取单元100，用于获取轮式机器人在运行过程中预设周期内每个采样点的角速度和线速度，所述采样点为所述轮式机器人中的激光雷达发送点云数据的时刻；
运动补偿单元200，用于利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿；
点云匹配单元300，用于将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图；
地图拼接单元400，用于在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型。
可选的，所述运动补偿单元，具体用于：
以预设周期的起始采样点为起始点，对所述预设周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用所述预设周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述预设周期内每个所述采样点的相对旋转和位移，确定所述预设周期内每个所述采样点的相对位姿；
依据所述预设周期内每个所述采样点的点云数据和相对位姿，将所述预设周期内每个采样点的点云数据变换到起始点坐标系下，确定所述预设周期内每个所述采样点的预测位姿。
可选的，所述运动补偿单元，具体用于：
以上个预设周期的终止时刻为开始时刻，以当前预设周期起始时刻为终止时刻，对该周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用该周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述时间段内每个所述采样点所述轮式机器人的加速度，确定所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角；
分别依据所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角，对相应的所述采样点的位移进行修正，最终得到每个所述采样点对应的从开始时刻到终止时刻的相对位姿；
利用开始时刻的绝对位姿和每个所述采样点对应的从开始时刻到终止时刻的相对位姿，计算得到当前点云起始时刻绝对重力坐标系下的预测位姿。
可选的，所述点云匹配单元，具体用于：
基于相关性匹配的方法，找到一个旋转和平移，使所述预设周期内的点云地图与历史点云地图的匹配度最高；
将上个所述预设周期的点云地图中存在但在所述预设周期的点云地图中不存在的点云数据，确定为表示运动物体的点云数据；
剔除表示运动物体的点云数据，并对所述预设周期的点云地图与历史点云地图进行合并，得到所述更新后的历史点云地图。
可选的，所述地图拼接单元，具体用于：
在检测到所述轮式机器人运行到历史位置的情况下，对所述当前所述预设周期的原始点云地图与所述历史位置对应的点云地图进行无预测位姿的暴力点云匹配，生成相对位置约束；
将帧间相对旋转和位移作为帧间约束，并根据所述相对位置约束和所述帧间约束构建残差项；
以所述残差项最小为优化目标，计算每个所述采样点的优化位姿；
将每个所述预设周期的更新后的历史点云地图，按照其优化位姿进行拼接，得到三维点云模型。
可选的，所述地图拼接单元包括回环检测子单元，用于：
利用所述轮式机器人设置的图像采集设备，获取实时图像；
将所述实时图像转换为一个长向量；
在由历史图像长向量组成的向量库中进行最近邻搜索，在搜索到与所述实时图像的长向量的相似度大于阈值的历史图像长向量的情况下，确定所述轮式机器人运行到历史位置。
本实施例公开的一种三维模型的构建装置，利用预设周期内每个采样点的角速度和线速度，对相应采样点的点云数据进行运动补偿，降低运动畸变导致的误差，得到预设周期内每个采样点的准确预测位姿。然后通过对预设周期内由每个采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，剔除表示运动物体的点云数据，得到更新后的历史点云地图，在轮式机器人运行过程中即使遇到行人等运动物体也能准确建模。最后通过在检测到轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将轮式机器人在运行过程中得到的各个预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接即可得到三维模型，进一步提高了建模精度。本发明轮式机器人在需要建模的环境中运行一周就能完成建模，不需要分块多次静置扫描，在提高了建模精度的同时，也提高了建模效率。
本实施例还公开了一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如下三维模型的构建方法：
获取轮式机器人在运行过程中预设周期内每个采样点的角速度和线速度，所述采样点为所述轮式机器人中的激光雷达发送点云数据的时刻；
利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿；
将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图；
在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型。
进一步，所述利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿，包括：
以预设周期的起始采样点为起始点，对所述预设周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用所述预设周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述预设周期内每个所述采样点的相对旋转和位移，确定所述预设周期内每个所述采样点的相对位姿；
依据所述预设周期内每个所述采样点的点云数据和相对位姿，将所述预设周期内每个采样点的点云数据变换到起始点坐标系下，确定所述预设周期内每个所述采样点的预测位姿。
进一步，所述利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿，包括：
以上个预设周期的终止时刻为开始时刻，以当前预设周期起始时刻为终止时刻，对该周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用该周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述时间段内每个所述采样点所述轮式机器人的加速度，确定所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角；
分别依据所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角，对相应的所述采样点的位移进行修正，最终得到每个所述采样点对应的从开始时刻到终止时刻的相对位姿；
利用开始时刻的绝对位姿和每个所述采样点对应的从开始时刻到终止时刻的相对位姿，计算得到当前点云起始时刻绝对重力坐标系下的预测位姿。
进一步，所述将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图，包括：
基于相关性匹配的方法，找到一个旋转和平移，使所述预设周期内的点云地图与历史点云地图的匹配度最高；
将上个所述预设周期的点云地图中存在但在所述预设周期的点云地图中不存在的点云数据，确定为表示运动物体的点云数据；
剔除表示运动物体的点云数据，并对所述预设周期的点云地图与历史点云地图进行合并，得到所述更新后的历史点云地图。
进一步，所述在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型，包括：
在检测到所述轮式机器人运行到历史位置的情况下，对所述当前所述预设周期的原始点云地图与所述历史位置对应的点云地图进行无预测位姿的暴力点云匹配，生成相对位置约束；
将帧间相对旋转和位移作为帧间约束，并根据所述相对位置约束和所述帧间约束构建残差项；
以所述残差项最小为优化目标，计算每个所述采样点的优化位姿；
将每个所述预设周期的更新后的历史点云地图，按照其优化位姿进行拼接，得到三维点云模型。
进一步，所述检测到所述轮式机器人运行到历史位置，包括：
利用所述轮式机器人设置的图像采集设备，获取实时图像；
将所述实时图像转换为一个长向量；
在由历史图像长向量组成的向量库中进行最近邻搜索，在搜索到与所述实时图像的长向量的相似度大于阈值的历史图像长向量的情况下，确定所述轮式机器人运行到历史位置。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
上述各个实施例之间可任意组合，对所公开的实施例的上述说明，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种三维模型的构建方法，其特征在于，包括：
获取轮式机器人在运行过程中预设周期内每个采样点的角速度和线速度，所述采样点为所述轮式机器人中的激光雷达发送点云数据的时刻；
利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿；
将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图；
在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型。
2.根据权利要求1所述的方法，其特征在于，所述利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿，包括：
以预设周期的起始采样点为起始点，对所述预设周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用所述预设周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述预设周期内每个所述采样点的相对旋转和位移，确定所述预设周期内每个所述采样点的相对位姿；
依据所述预设周期内每个所述采样点的点云数据和相对位姿，将所述预设周期内每个采样点的点云数据变换到起始点坐标系下，确定所述预设周期内每个所述采样点的预测位姿。
3.根据权利要求1所述的方法，其特征在于，所述利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿，包括：
以上个预设周期的终止时刻为开始时刻，以当前预设周期起始时刻为终止时刻，对该周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用该周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据时间段内每个所述采样点所述轮式机器人的加速度，确定所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角；
分别依据所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角，对相应的所述采样点的位移进行修正，最终得到每个所述采样点对应的从开始时刻到终止时刻的相对位姿；
利用开始时刻的绝对位姿和每个所述采样点对应的从开始时刻到终止时刻的相对位姿，计算得到当前点云起始时刻绝对重力坐标系下的预测位姿。
4.根据权利要求1所述的方法，其特征在于，所述将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图，包括：
基于相关性匹配的方法，找到一个旋转和平移，使所述预设周期内的点云地图与历史点云地图的匹配度最高；
将上个所述预设周期的点云地图中存在但在所述预设周期的点云地图中不存在的点云数据，确定为表示运动物体的点云数据；
剔除表示运动物体的点云数据，并对所述预设周期的点云地图与历史点云地图进行合并，得到所述更新后的历史点云地图。
5.根据权利要求1所述的方法，其特征在于，所述在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型，包括：
在检测到所述轮式机器人运行到历史位置的情况下，对所述当前所述预设周期的原始点云地图与所述历史位置对应的点云地图进行无预测位姿的暴力点云匹配，生成相对位置约束；
将帧间相对旋转和位移作为帧间约束，并根据所述相对位置约束和所述帧间约束构建残差项；
以所述残差项最小为优化目标，计算每个所述采样点的优化位姿；
将每个所述预设周期的更新后的历史点云地图，按照其优化位姿进行拼接，得到三维点云模型。
6.根据权利要求5所述的方法，其特征在于，所述检测到所述轮式机器人运行到历史位置，包括：
利用所述轮式机器人设置的图像采集设备，获取实时图像；
将所述实时图像转换为一个长向量；
在由历史图像长向量组成的向量库中进行最近邻搜索，在搜索到与所述实时图像的长向量的相似度大于阈值的历史图像长向量的情况下，确定所述轮式机器人运行到历史位置。
7.一种三维模型的构建装置，其特征在于，包括：
数据获取单元，用于获取轮式机器人在运行过程中预设周期内每个采样点的角速度和线速度，所述采样点为所述轮式机器人中的激光雷达发送点云数据的时刻；
运动补偿单元，用于利用所述预设周期内每个所述采样点的角速度和线速度，对相应所述采样点的点云数据进行运动补偿，得到运动补偿后的所述预设周期内每个所述采样点的预测位姿；
点云匹配单元，用于将运动补偿后的所述预设周期的内每个所述采样点的预测位姿形成的点云地图与历史点云地图进行点云匹配，根据点云匹配结果剔除表示运动物体的点云数据，并将当前点云添加到历史点云地图中，得到更新后的历史点云地图；
地图拼接单元，用于在检测到所述轮式机器人运行到历史位置的情况下，根据相对位置约束和帧间约束进行全局一致优化，将所述轮式机器人在运行过程中得到的各个所述预设周期内的更新后的历史点云地图，根据全局一致的优化后位姿进行拼接，得到三维点云模型。
8.根据权利要求7所述的装置，其特征在于，所述运动补偿单元，具体用于：
以预设周期的起始采样点为起始点，对所述预设周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用所述预设周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据所述预设周期内每个所述采样点的相对旋转和位移，确定所述预设周期内每个所述采样点的相对位姿；
依据所述预设周期内每个所述采样点的点云数据和相对位姿，将所述预设周期内每个采样点的点云数据变换到起始点坐标系下，确定所述预设周期内每个所述采样点的预测位姿；
或
所述运动补偿单元，具体用于：
以上个预设周期的终止时刻为开始时刻，以当前预设周期起始时刻为终止时刻，对该周期内的角速度进行一阶积分，得到每个所述采样点的激光雷达相对于起始点的激光雷达的相对旋转；
利用该周期内每个所述采样点的相对旋转，将所述预设周期内每个所述采样点激光雷达坐标系下的线速度转化为起始点坐标系下的线速度，并对其进行一阶积分，得到所述预设周期内每个所述采样点的位移；
根据时间段内每个所述采样点所述轮式机器人的加速度，确定所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角；
分别依据所述预设周期内每个所述采样点所述轮式机器人在重力坐标系下的俯仰角和翻滚角，对相应的所述采样点的位移进行修正，最终得到每个所述采样点对应的从开始时刻到终止时刻的相对位姿；
利用开始时刻的绝对位姿和每个所述采样点对应的从开始时刻到终止时刻的相对位姿，计算得到当前点云起始时刻绝对重力坐标系下的预测位姿。
9.根据权利要求7所述的装置，其特征在于，所述地图拼接单元，具体用于：
在检测到所述轮式机器人运行到历史位置的情况下，对所述当前所述预设周期的原始点云地图与所述历史位置对应的点云地图进行无预测位姿的暴力点云匹配，生成相对位置约束；
将帧间相对旋转和位移作为帧间约束，并根据所述相对位置约束和所述帧间约束构建残差项；
以所述残差项最小为优化目标，计算每个所述采样点的优化位姿；
将每个所述预设周期的更新后的历史点云地图，按照其优化位姿进行拼接，得到三维点云模型。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1～6中任一所述的三维模型的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011138246.7A CN112184906B (zh) | 2020-10-22 | 2020-10-22 | 一种三维模型的构建方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011138246.7A CN112184906B (zh) | 2020-10-22 | 2020-10-22 | 一种三维模型的构建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184906A CN112184906A (zh) | 2021-01-05 |
| CN112184906B true CN112184906B (zh) | 2023-10-03 |
Family
ID=73922604
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011138246.7A Active CN112184906B (zh) | 2020-10-22 | 2020-10-22 | 一种三维模型的构建方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184906B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108732584A (zh) * | 2017-04-17 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 用于更新地图的方法和装置 |
| WO2019099802A1 (en) * | 2017-11-17 | 2019-05-23 | DeepMap Inc. | Iterative closest point process based on lidar with integrated motion estimation for high definitions maps |
| CN110689622A (zh) * | 2019-07-05 | 2020-01-14 | 电子科技大学 | 一种基于点云分割匹配闭环校正的同步定位与构图算法 |
| CN110766716A (zh) * | 2019-09-10 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种空间未知运动目标的信息获取方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4839827B2 (ja) * | 2005-12-26 | 2011-12-21 | コニカミノルタセンシング株式会社 | ３次元測定装置 |
-
2020
- 2020-10-22 CN CN202011138246.7A patent/CN112184906B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108732584A (zh) * | 2017-04-17 | 2018-11-02 | 百度在线网络技术（北京）有限公司 | 用于更新地图的方法和装置 |
| WO2019099802A1 (en) * | 2017-11-17 | 2019-05-23 | DeepMap Inc. | Iterative closest point process based on lidar with integrated motion estimation for high definitions maps |
| CN110689622A (zh) * | 2019-07-05 | 2020-01-14 | 电子科技大学 | 一种基于点云分割匹配闭环校正的同步定位与构图算法 |
| CN110766716A (zh) * | 2019-09-10 | 2020-02-07 | 中国科学院深圳先进技术研究院 | 一种空间未知运动目标的信息获取方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 熊安 ; 卞春江 ; 周海 ; 刘成 ; .基于ROS的机器人定位与导航系统的仿真设计.电子设计工程.2018,(24),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184906A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108717710B (zh) | 室内环境下的定位方法、装置及系统 | |
| US20240094398A1 (en) | Ground intensity lidar localizer | |
| CN110033489B (zh) | 一种车辆定位准确性的评估方法、装置及设备 | |
| CN110617821B (zh) | 定位方法、装置及存储介质 | |
| CN109029444B (zh) | 一种基于图像匹配和空间定位的室内导航系统及导航方法 | |
| CN110009718B (zh) | 一种三维高精度地图生成方法及装置 | |
| KR20200121274A (ko) | 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체 | |
| JP5589900B2 (ja) | 局所地図生成装置、グローバル地図生成装置、及びプログラム | |
| CN110361027A (zh) | 基于单线激光雷达与双目相机数据融合的机器人路径规划方法 | |
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
| CN109443348B (zh) | 一种基于环视视觉和惯导融合的地下车库库位跟踪方法 | |
| CN109596121B (zh) | 一种机动站自动目标检测与空间定位方法 | |
| JP6975513B2 (ja) | カメラベースの自動化された高精度道路地図の生成システム及び方法 | |
| CN111830953A (zh) | 车辆自定位方法、装置及系统 | |
| JP2016157197A (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
| JP2017090239A (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
| Dawood et al. | Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera | |
| CN113447949B (zh) | 一种基于激光雷达和先验地图的实时定位系统及方法 | |
| CN115690338A (zh) | 地图构建方法、装置、设备及存储介质 | |
| CN110827403A (zh) | 一种矿山三维点云地图的构建方法及装置 | |
| CN114526745A (zh) | 一种紧耦合激光雷达和惯性里程计的建图方法及系统 | |
| CN114111775A (zh) | 一种多传感器融合定位方法、装置、存储介质及电子设备 | |
| CN112965076A (zh) | 一种用于机器人的多雷达定位系统及方法 | |
| CN112184906B (zh) | 一种三维模型的构建方法及装置 | |
| KR102506411B1 (ko) | 차량의 위치 및 자세 추정 방법, 장치 및 이를 위한 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |