CN113778096A - 室内机器人的定位与模型构建方法及系统 - Google Patents
室内机器人的定位与模型构建方法及系统 Download PDFInfo
- Publication number
- CN113778096A CN113778096A CN202111080548.8A CN202111080548A CN113778096A CN 113778096 A CN113778096 A CN 113778096A CN 202111080548 A CN202111080548 A CN 202111080548A CN 113778096 A CN113778096 A CN 113778096A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- centroid
- points
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种室内机器人的定位与模型构建方法及系统，包括：步骤S1：建立二维栅格地图，设置机器人起始位置，在二维栅格地图边缘设置目标点；步骤S2：调整机器人机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新二维栅格地图；步骤S3：检测目标点点云是否有待建模对象；步骤S4：控制机器人行进至待建模对象前，更新机械臂姿态，对待建模对象建模；重复触发步骤S2‑步骤S4直至遍历整个二维栅格地图。本发明在二维栅格地图的基础上，可以对空间中的物体位置提前知晓，进行避障；从多角度细致地对目标对象进行建模，可以支持后续对目标对象的复杂精细操作。
Description
技术领域
本发明涉及导航与定位领域，具体地，涉及一种室内机器人的定位与模型构建方法及系统。
背景技术
随着机器人技术的发展，人们对于机器人功能的多样性复杂性需求与日俱增。如重复性高、工作量大的工作或者在恶劣艰巨环境下的作业都可以用机器人来代替。为了满足以上需求，人们通常在可自主移动的机器人身体上安装如操作杆或者机械臂等可以与环境交互的装备或系统。
室内环境通常比较固定，对于室内作业机器人来说，如何充分理解场景中物体、对象的空间位置，结构对于和它们的交互来说尤为重要。因此，对室内场景的三维建模以及地图的建立可以帮助机器人更好的完成任务。传统的同步地图构建与定位系统，相机或激光雷达和机器人的空间相对位置通常是固定的。由于空间中物体间通常会互相遮蔽，机器人虽然能自我定位以及移动，但对三维环境的细节可能理解不充分。同时，用二维栅格地图导航对于三维空间物体避障问题上也有局限性。针对现有技术中的缺陷，本发明要解决的技术问题体现在以下几点：机器人建图时缺乏引导，盲目性较大，对空间信息理解不充分；二维栅格地图导航时不能对空间中物体避障；对于空间中场景或目标进行交互时对模型精度要求很高，普通建模方式很难达到要求。
专利文献CN105354875A(申请号：CN201510622546.5)公开了一种室内环境二维与三维联合模型的构建方法和系统，包括：获得所述水平方向设置的二维激光扫描仪输出的二维激光扫描数据，构建二维栅格地图；采用扩展卡尔曼滤波方法，根据惯性传感单元输出的数据与二维栅格地图实现平台六自由度姿态估计；获得两个其底部沿竖直方向安装的二维激光扫描仪输出的二维激光扫描数据，构建室内环境的三维点云数据；将平台六自由度位姿估计的结果作为初始旋转平移矩阵，将所述三维点云数据配准为三维地图；采用二维栅格地图构建中的闭合环路检测原理，进行二维栅格地图的闭环检测，并通过平台位姿调整，获得全局优化的二维栅格地图和三维地图。该发明虽然能对场景中的三维信息有一个整体的描述，但对于细节的构建受限于建图机器人的结构以及建图方式。对于场景中需要细致交互的目标理解有局限性。
专利文献CN106970395A(申请号：CN201710317929.0)公开了一种确定障碍物位置的方法和装置，属于计算机技术领域。所述方法包括：根据每束第二雷达激光确定每束第二雷达激光对应反射点的三维坐标信息；根据每个反射点的横坐标信息和纵坐标信息，分别确定每个反射点在二维栅格地图中对应的栅格，二维栅格地图包括多个分区，每个分区包括多个栅格；根据第一栅格对应的最大高度信息和最小高度信息以及第二栅格对应的最小高度信息确定第一栅格是否包括障碍物，第一栅格为二维栅格地图中任一个栅格，第二栅格与第一栅格在同一分区内；如果包括障碍物，则根据第一栅格的位置和车辆的位置确定该障碍物相对于车辆的位置。该发明用两层激光确定障碍物，虽然能得到障碍物在底层栅格地图的位置，但依旧缺乏对之的细节描述。
专利文献CN110842926A(申请号：CN201911192862.8)公开了一种机器人精准定位系统，包括：建筑物设计图纸录入模块，用于录入对应的建筑物设计图纸；建筑物三维模型构建模块，用于根据录入的建筑物设计图纸实现建筑物三维模型的构建；坐标系生成模块，用于在构建的建筑物三维模型中标定机器人当前所在位置，以该位置为圆心构建三维坐标系；机器人运动轨迹采集模块，用于采集机器人的运动轨迹；坐标计算模块，用于根据采集到的机器人运动轨迹计算当前机器人所在坐标；定位信息输出模块，用于根据所得的坐标输出建筑物三维模型中对应的位置信息，通过三维坐标系的构建，基于起点坐标以及运动轨迹进行机器人当前位置定位。但该发明对于空间中场景或目标进行交互时对模型精度不高，达不到需要的要求。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种室内机器人的定位与模型构建方法及系统。
根据本发明提供的一种室内机器人的定位与模型构建方法，包括：
步骤S1：建立二维栅格地图，设置机器人起始位置，在二维栅格地图边缘设置目标点；
步骤S2：调整机器人机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新二维栅格地图；
步骤S3：检测目标点点云是否有待建模对象；
步骤S4：控制机器人行进至待建模对象前，更新机械臂姿态，对待建模对象建模；
重复触发步骤S2-步骤S4直至遍历整个二维栅格地图。
优选地，在所述步骤S1中：
将二维栅格地图外围看作一个点阵形成的封闭图形：
封闭图形是凸形，则以封闭图形质心为原点，等距离间隔在图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点；以凸形图形的质心为起始点；从起始点开始，机器人向每个目标点逐个前进，遍历目标点集合，重复直至所有起始点、目标点遍历完成；
封闭图形为凹形，则把图形分为多个凸形组成的凹形，对每个分割后的凸型以分割后的凸型图形质心为原点，等距离间隔在分割后的凸型图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点，则得到多个起始点和目标点集合的组合；以最靠近门的质心为起始点，遍历质心点，每个质心点对应每个凸型的目标点的集合，每到一个质心，则遍历质心对应的目标点，对应目标点遍历完成后，到下一个质心，遍历下一个质心的对应目标点，重复直至所有起始点、目标点遍历完成；
遍历过程加入遍历最短路径计算。
优选地，在所述步骤S2中：
点云坐标从相机坐标系转换到机械臂末端坐标系，然后从机械臂末端坐标系转换到机器人基座坐标系；
点云坐标投影在二维栅格地图平面；投影边缘在二维栅格地图内测，则更新二维栅格地图以及目标点。
优选地，在所述步骤S3中：
步骤S3.1：以预设速度向目标点行进，采集彩色、深度图像以及对应的点云；利用深度学习对基于深度信息的彩色图像检测是否存在待建模对象；检测特征点，对相邻两帧特征点进行icp匹配，得到旋转平移变换矩阵；对点云进行矩阵变换并融合，并重复触发步骤S2，直至朝目标点前进至机器人地盘坐标原点距离目标点固定距离处；
步骤S3.2：检测到待建模对象，则对该对象进行点云分割，计算点云质心，以点云中距离质心最远点到质心的距离为半径做一个球面，重复触发步骤S3.1，对分割的点云进行坐标变换以及融合，以新的点云更新球面球心以及半径，直至达到目标点。
优选地，在所述步骤S3中，还包括：
如未检测到待建模对象，则重复步骤S3.1直至达到目标点。
优选地，在所述步骤S4中：
步骤S4.1：对球面上的点以预设值体素距离进行降取样，降取样点A指向质心O的向量为OA，使得OA和机械臂末端z轴共轴作为机械臂姿态PoseA；机械臂通过夹爪夹取工具与场景交互，A点朝AO方向偏移预设值距离，该距离大于深度信息采集的最小距离，偏移后得到点A’，机械臂以PoseA走到A'拍照，得到点云PCA。
步骤S4.2：对球面上的点重复触发步骤S4.1，对得到的点云重复触发步骤S3.1；进行点云融合，直至遍历完所有点，然后对点云分割，得到目标模型。
根据本发明提供的一种室内机器人的定位与模型构建系统，包括：
模块M1：建立二维栅格地图，设置机器人起始位置，在二维栅格地图边缘设置目标点；
模块M2：调整机器人机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新二维栅格地图；
模块M3：检测目标点点云是否有待建模对象；
模块M4：控制机器人行进至待建模对象前，更新机械臂姿态，对待建模对象建模；
重复触发步骤S2-步骤S4直至遍历整个二维栅格地图。
优选地，在所述模块M1中：
将二维栅格地图外围看作一个点阵形成的封闭图形：
封闭图形是凸形，则以封闭图形质心为原点，等距离间隔在图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点；以凸形图形的质心为起始点；从起始点开始，机器人向每个目标点逐个前进，遍历目标点集合，重复直至所有起始点、目标点遍历完成；
封闭图形为凹形，则把图形分为多个凸形组成的凹形，对每个分割后的凸型以分割后的凸型图形质心为原点，等距离间隔在分割后的凸型图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点，则得到多个起始点和目标点集合的组合；以最靠近门的质心为起始点，遍历质心点，每个质心点对应每个凸型的目标点的集合，每到一个质心，则遍历质心对应的目标点，对应目标点遍历完成后，到下一个质心，遍历下一个质心的对应目标点，重复直至所有起始点、目标点遍历完成；
优选地，在所述模块M2中：
点云坐标从相机坐标系转换到机械臂末端坐标系，然后从机械臂末端坐标系转换到机器人基座坐标系；
点云坐标投影在二维栅格地图平面；投影边缘在栅格地图内测，则更新栅格地图以及目标点。
优选地，在所述模块M3中：
模块M3.1：以预设速度向目标点行进，采集彩色、深度图像以及对应的点云；利用深度学习对基于深度信息的彩色图像检测是否存在待建模对象；检测特征点，对相邻两帧特征点进行icp匹配，得到旋转平移变换矩阵；对点云进行矩阵变换并融合，并重复触发模块M2，直至朝目标点前进至机器人地盘坐标原点距离目标点固定距离处；
模块M3.2：检测到待建模对象，则对该对象进行点云分割，计算点云质心，以点云中距离质心最远点到质心的距离为半径做一个球面，重复触发模块M3.1，对分割的点云进行坐标变换以及融合，以新的点云更新球面球心以及半径，直至达到目标点；
优选地，在所述模块M3中，还包括：
如未检测到待建模对象，则重复模块M3.1直至达到目标点。
优选地，在所述模块M4中：
模块M4.1：对球面上的点以预设值体素距离进行降取样，降取样点A指向质心O的向量为OA，使得OA和机械臂末端z轴共轴作为机械臂姿态PoseA；机械臂通过夹爪夹取工具与场景交互，A点朝AO方向偏移预设值距离，该距离大于深度信息采集的最小距离，偏移后得到点A’，机械臂以PoseA走到A'拍照，得到点云PCA。
模块M4.2：对球面上的点重复触发模块M4.1，对得到的点云重复触发模块M3.1；进行点云融合，直至遍历完所有点，然后对点云分割，得到目标模型。
与现有技术相比，本发明具有如下的有益效果：
1、机器人可以自主行进，建立三维空间模型以及目标物体模型；
2、在二维栅格地图的基础上，可以对空间中的物体位置提前知晓，进行避障；
3、从多角度细致地对目标对象进行建模，可以支持后续对目标对象的复杂精细操作；
4、建立场景地图以及对场景内内目标对象细致建模，以便于对它们执行重复性交互操作。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为机器人侧面图；
图2为原始凹形状二维栅格地图；
图3为二维栅格地图通过距离变换获得的图像；
图4为依据灰度划分的分割后的栅格地图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例1：
根据本发明提供的一种室内机器人的定位与模型构建方法，如图1-图4，包括：
步骤S1：建立二维栅格地图，设置机器人起始位置，在二维栅格地图边缘设置目标点；
步骤S2：调整机器人机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新二维栅格地图；
步骤S3：检测目标点点云是否有待建模对象；
步骤S4：控制机器人行进至待建模对象前，更新机械臂姿态，对待建模对象建模；
重复触发步骤S2-步骤S4直至遍历整个二维栅格地图。
具体地，在所述步骤S1中：
将二维栅格地图外围看作一个点阵形成的封闭图形：
封闭图形是凸形，则以封闭图形质心为原点，等距离间隔在图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点；以凸形图形的质心为起始点；从起始点开始，机器人向每个目标点逐个前进，遍历目标点集合，重复直至所有起始点、目标点遍历完成；
封闭图形为凹形，则把图形分为多个凸形组成的凹形，对每个分割后的凸型以分割后的凸型图形质心为原点，等距离间隔在分割后的凸型图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点，则得到多个起始点和目标点集合的组合；以最靠近门的质心为起始点，遍历质心点，每个质心点对应每个凸型的目标点的集合，每到一个质心，则遍历质心对应的目标点，对应目标点遍历完成后，到下一个质心，遍历下一个质心的对应目标点，重复直至所有起始点、目标点遍历完成；
遍历过程加入遍历最短路径计算。
具体地，在所述步骤S2中：
点云坐标从相机坐标系转换到机械臂末端坐标系，然后从机械臂末端坐标系转换到机器人基座坐标系；
点云坐标投影在二维栅格地图平面；投影边缘在二维栅格地图内测，则更新二维栅格地图以及目标点。
具体地，在所述步骤S3中：
步骤S3.1：以预设速度向目标点行进，采集彩色、深度图像以及对应的点云；利用深度学习对基于深度信息的彩色图像检测是否存在待建模对象；检测特征点，对相邻两帧特征点进行icp匹配，得到旋转平移变换矩阵；对点云进行矩阵变换并融合，并重复触发步骤S2，直至朝目标点前进至机器人地盘坐标原点距离目标点固定距离处；
步骤S3.2：检测到待建模对象，则对该对象进行点云分割，计算点云质心，以点云中距离质心最远点到质心的距离为半径做一个球面，重复触发步骤S3.1，对分割的点云进行坐标变换以及融合，以新的点云更新球面球心以及半径，直至达到目标点。
具体地，在所述步骤S3中，还包括：
如未检测到待建模对象，则重复步骤S3.1直至达到目标点。
具体地，在所述步骤S4中：
步骤S4.1：对球面上的点以预设值体素距离进行降取样，降取样点A指向质心O的向量为OA，使得OA和机械臂末端z轴共轴作为机械臂姿态PoseA；机械臂通过夹爪夹取工具与场景交互，A点朝AO方向偏移预设值距离，该距离大于深度信息采集的最小距离，偏移后得到点A’，机械臂以PoseA走到A'拍照，得到点云PCA。
步骤S4.2：对球面上的点重复触发步骤S4.1，对得到的点云重复触发步骤S3.1；进行点云融合，直至遍历完所有点，然后对点云分割，得到目标模型。
实施例2：
实施例2为实施例1的优选例，以更为具体地对本发明进行说明。
本领域技术人员可以将本发明提供的一种室内机器人的定位与模型构建方法，理解为室内机器人的定位与模型构建系统的具体实施方式，即所述室内机器人的定位与模型构建系统可以通过执行所述室内机器人的定位与模型构建方法的步骤流程予以实现。
根据本发明提供的一种室内机器人的定位与模型构建系统，包括：
模块M1：建立二维栅格地图，设置机器人起始位置，在二维栅格地图边缘设置目标点；
模块M2：调整机器人机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新二维栅格地图；
模块M3：检测目标点点云是否有待建模对象；
模块M4：控制机器人行进至待建模对象前，更新机械臂姿态，对待建模对象建模；
重复触发步骤S2-步骤S4直至遍历整个二维栅格地图。
具体地，在所述模块M1中：
将二维栅格地图外围看作一个点阵形成的封闭图形：
封闭图形是凸形，则以封闭图形质心为原点，等距离间隔在图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点；以凸形图形的质心为起始点；从起始点开始，机器人向每个目标点逐个前进，遍历目标点集合，重复直至所有起始点、目标点遍历完成；
封闭图形为凹形，则把图形分为多个凸形组成的凹形，对每个分割后的凸型以分割后的凸型图形质心为原点，等距离间隔在分割后的凸型图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点，则得到多个起始点和目标点集合的组合；以最靠近门的质心为起始点，遍历质心点，每个质心点对应每个凸型的目标点的集合，每到一个质心，则遍历质心对应的目标点，对应目标点遍历完成后，到下一个质心，遍历下一个质心的对应目标点，重复直至所有起始点、目标点遍历完成；
具体地，在所述模块M2中：
点云坐标从相机坐标系转换到机械臂末端坐标系，然后从机械臂末端坐标系转换到机器人基座坐标系；
点云坐标投影在二维栅格地图平面；投影边缘在栅格地图内测，则更新栅格地图以及目标点。
具体地，在所述模块M3中：
模块M3.1：以预设速度向目标点行进，采集彩色、深度图像以及对应的点云；利用深度学习对基于深度信息的彩色图像检测是否存在待建模对象；检测特征点，对相邻两帧特征点进行icp匹配，得到旋转平移变换矩阵；对点云进行矩阵变换并融合，并重复触发模块M2，直至朝目标点前进至机器人地盘坐标原点距离目标点固定距离处；
模块M3.2：检测到待建模对象，则对该对象进行点云分割，计算点云质心，以点云中距离质心最远点到质心的距离为半径做一个球面，重复触发模块M3.1，对分割的点云进行坐标变换以及融合，以新的点云更新球面球心以及半径，直至达到目标点；
具体地，在所述模块M3中，还包括：
如未检测到待建模对象，则重复模块M3.1直至达到目标点。
具体地，在所述模块M4中：
模块M4.1：对球面上的点以预设值体素距离进行降取样，降取样点A指向质心O的向量为OA，使得OA和机械臂末端z轴共轴作为机械臂姿态PoseA；机械臂通过夹爪夹取工具与场景交互，A点朝AO方向偏移预设值距离，该距离大于深度信息采集的最小距离，偏移后得到点A’，机械臂以PoseA走到A'拍照，得到点云PCA。
模块M4.2：对球面上的点重复触发模块M4.1，对得到的点云重复触发模块M3.1；进行点云融合，直至遍历完所有点，然后对点云分割，得到目标模型。
实施例3：
实施例3为实施例1的优选例，以更为具体地对本发明进行说明。
机器人装配可活动机械臂，机械臂末端装配三维彩色深度相机。本发明基于此系统，属于一种对室内固定场景的三维建模，地图部署方法。目的在于建立场景地图以及对场景内内目标对象细致建模，以便于对它们执行重复性交互操作。本方法包括如下步骤：
步骤1：建立室内二维栅格地图，设置机器人起始位置，在栅格地图边缘设置目标点；
步骤2：调整机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新栅格地图，检测目标点点云是否有待建模对象，有则进入下一步骤，没有则对下一个目标点重复步骤2；
步骤3：检测到目标对象，机器人行进至目标对象前，更新机械臂姿态，对目标对象建模；
步骤4：重复步骤2，3直至遍历整个地图。
其中，步骤1包括如下步骤：
1)室内二维栅格地图外围可看作一个点阵形成的封闭图形，如果此图形是凸形，则以其质心为原点。等距离间隔在图形上取点，并使得这些点朝质心方向偏移50厘米得到目标点。同时，以此质心为机器人运动起始点。
2)如果封闭图形为凹形，则用距离变换和分水岭算法可把图形分为几个凸形组成的凹形。对每个分割后的凸型重复步骤1)，则可得到多个起始点和目标点集合的组合。
3)从第一个起始点开始，机器人向每个目标点逐个前进，遍历目标点集合。重复以上步骤直至所有起始点，目标点遍历完成。可以计算最短路径遍历剩下的点，如二维路径规划算法dijkstra。
如封闭图形是凹形，以最靠近门的质心为第一个点，遍历质心点，每个质心点对应一个凸型的目标点的集合，每到一个质心，就遍历这个质心对应的目标点。对应目标点遍历完成后，到下一个质心，遍历下一个质心的对应目标，然后遍历剩下的点。
步骤2包括如下步骤：
1)点云坐标从相机坐标系转换到机械臂末端坐标系，然后从机械臂末端坐标系转换到机器人基座坐标系。
2)点云坐标投影在二维栅格地图平面，如投影边缘在栅格地图内测，则更新栅格地图以及目标点。
3)以20厘米每秒速度向目标点行进，每秒5帧采集彩色，深度图像以及对应的点云。利用深度学习对基于深度信息的彩色图像检测是否存在待建模对象。利用ORB算法检测特征点，对相邻两帧特征点进行icp匹配，得到旋转平移变换矩阵。对点云进行矩阵变换并融合，并重复步骤“1)”和步骤“2)”。朝目标点前进至机器人地盘坐标原点距离目标点50厘米处。
4)如检测到待建模对象，则对该对象进行点云分割。计算点云质心，以点云中距离质心最远点到质心的距离为半径做一个球面。重复步骤“3)”，对分割的点云进行坐标变换以及融合。以新的点云更新球面球心以及半径，直至达到目标点。
5)如未检测到待建模对象，则重复步骤3)直至达到目标点。
步骤3包括如下步骤：
1)对球面上的点以5厘米体素距离进行降取样。假设降取样点A指向质心O的向量为OA，使得OA和机械臂末端z轴共轴作为机械臂姿态PoseA。
如图一中所示，机械臂通过夹爪夹取工具与场景交互。设A点朝AO方向偏移一段略大于深度信息采集的最小距离。此处取20厘米，可得到最好的深度信息效果。假设偏移后得到点A’。则使得机械臂以PoseA走到A'拍照，得到点云PCA。
2)对球面上的点重复步骤1)，对得到的点云重复“步骤2-3)”。进行点云融合。直至遍历完所有点，然后对点云分割，得到目标模型。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种室内机器人的定位与模型构建方法，其特征在于，包括：
步骤S1：建立二维栅格地图，设置机器人起始位置，在二维栅格地图边缘设置目标点；
步骤S2：调整机器人机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新二维栅格地图；
步骤S3：检测目标点点云是否有待建模对象；
步骤S4：控制机器人行进至待建模对象前，更新机械臂姿态，对待建模对象建模；
重复触发步骤S2-步骤S4直至遍历整个二维栅格地图。
2.根据权利要求1所述的室内机器人的定位与模型构建方法，其特征在于，在所述步骤S1中：
将二维栅格地图外围看作一个点阵形成的封闭图形：
封闭图形是凸形，则以封闭图形质心为原点，等距离间隔在图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点；以凸形图形的质心为起始点；从起始点开始，机器人向每个目标点逐个前进，遍历目标点集合，重复直至所有起始点、目标点遍历完成；
封闭图形为凹形，则把图形分为多个凸形组成的凹形，对每个分割后的凸型以分割后的凸型图形质心为原点，等距离间隔在分割后的凸型图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点，则得到多个起始点和目标点集合的组合；以最靠近门的质心为起始点，遍历质心点，每个质心点对应每个凸型的目标点的集合，每到一个质心，则遍历质心对应的目标点，对应目标点遍历完成后，到下一个质心，遍历下一个质心的对应目标点，重复直至所有起始点、目标点遍历完成；
遍历过程加入遍历最短路径计算。
3.根据权利要求1所述的室内机器人的定位与模型构建方法，其特征在于，在所述步骤S2中：
点云坐标从相机坐标系转换到机械臂末端坐标系，然后从机械臂末端坐标系转换到机器人基座坐标系；
点云坐标投影在二维栅格地图平面；投影边缘在二维栅格地图内测，则更新二维栅格地图以及目标点。
4.根据权利要求1或3所述的室内机器人的定位与模型构建方法，其特征在于，在所述步骤S3中：
步骤S3.1：以预设速度向目标点行进，采集彩色、深度图像以及对应的点云；利用深度学习对基于深度信息的彩色图像检测是否存在待建模对象；检测特征点，对相邻两帧特征点进行icp匹配，得到旋转平移变换矩阵；对点云进行矩阵变换并融合，并重复触发步骤S2，直至朝目标点前进至机器人地盘坐标原点距离目标点固定距离处；
步骤S3.2：检测到待建模对象，则对该对象进行点云分割，计算点云质心，以点云中距离质心最远点到质心的距离为半径做一个球面，重复触发步骤S3.1，对分割的点云进行坐标变换以及融合，以新的点云更新球面球心以及半径，直至达到目标点。
5.根据权利要求4所述的室内机器人的定位与模型构建方法，其特征在于，在所述步骤S3中，还包括：
如未检测到待建模对象，则重复步骤S3.1直至达到目标点。
6.根据权利要求4所述的室内机器人的定位与模型构建方法，其特征在于，在所述步骤S4中：
步骤S4.1：对球面上的点以预设值体素距离进行降取样，降取样点A指向质心O的向量为OA，使得OA和机械臂末端z轴共轴作为机械臂姿态PoseA；机械臂通过夹爪夹取工具与场景交互，A点朝AO方向偏移预设值距离，该距离大于深度信息采集的最小距离，偏移后得到点A’，机械臂以PoseA走到A'拍照，得到点云PCA。
步骤S4.2：对球面上的点重复触发步骤S4.1，对得到的点云重复触发步骤S3.1；进行点云融合，直至遍历完所有点，然后对点云分割，得到目标模型。
7.一种室内机器人的定位与模型构建系统，其特征在于，包括：
模块M1：建立二维栅格地图，设置机器人起始位置，在二维栅格地图边缘设置目标点；
模块M2：调整机器人机械臂姿态，对目标点采集三维点云数据，投影到二维栅格地图平面，更新二维栅格地图；
模块M3：检测目标点点云是否有待建模对象；
模块M4：控制机器人行进至待建模对象前，更新机械臂姿态，对待建模对象建模；
重复触发步骤S2-步骤S4直至遍历整个二维栅格地图。
8.根据权利要求7所述的室内机器人的定位与模型构建系统，其特征在于：
在所述模块M1中：
将二维栅格地图外围看作一个点阵形成的封闭图形：
封闭图形是凸形，则以封闭图形质心为原点，等距离间隔在图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点；以凸形图形的质心为起始点；从起始点开始，机器人向每个目标点逐个前进，遍历目标点集合，重复直至所有起始点、目标点遍历完成；
封闭图形为凹形，则把图形分为多个凸形组成的凹形，对每个分割后的凸型以分割后的凸型图形质心为原点，等距离间隔在分割后的凸型图形上取点，并使得取得的点朝质心方向偏移预设值距离得到目标点，则得到多个起始点和目标点集合的组合；以最靠近门的质心为起始点，遍历质心点，每个质心点对应每个凸型的目标点的集合，每到一个质心，则遍历质心对应的目标点，对应目标点遍历完成后，到下一个质心，遍历下一个质心的对应目标点，重复直至所有起始点、目标点遍历完成；
在所述模块M2中：
点云坐标从相机坐标系转换到机械臂末端坐标系，然后从机械臂末端坐标系转换到机器人基座坐标系；
点云坐标投影在二维栅格地图平面；投影边缘在栅格地图内测，则更新栅格地图以及目标点。
9.根据权利要求7或8所述的室内机器人的定位与模型构建系统，其特征在于：
在所述模块M3中：
模块M3.1：以预设速度向目标点行进，采集彩色、深度图像以及对应的点云；利用深度学习对基于深度信息的彩色图像检测是否存在待建模对象；检测特征点，对相邻两帧特征点进行icp匹配，得到旋转平移变换矩阵；对点云进行矩阵变换并融合，并重复触发模块M2，直至朝目标点前进至机器人地盘坐标原点距离目标点固定距离处；
模块M3.2：检测到待建模对象，则对该对象进行点云分割，计算点云质心，以点云中距离质心最远点到质心的距离为半径做一个球面，重复触发模块M3.1，对分割的点云进行坐标变换以及融合，以新的点云更新球面球心以及半径，直至达到目标点；
在所述模块M3中，还包括：
如未检测到待建模对象，则重复模块M3.1直至达到目标点。
10.根据权利要求9所述的室内机器人的定位与模型构建系统，其特征在于，在所述模块M4中：
模块M4.1：对球面上的点以预设值体素距离进行降取样，降取样点A指向质心O的向量为OA，使得OA和机械臂末端z轴共轴作为机械臂姿态PoseA；机械臂通过夹爪夹取工具与场景交互，A点朝AO方向偏移预设值距离，该距离大于深度信息采集的最小距离，偏移后得到点A’，机械臂以PoseA走到A'拍照，得到点云PCA。
模块M4.2：对球面上的点重复触发模块M4.1，对得到的点云重复触发模块M3.1；进行点云融合，直至遍历完所有点，然后对点云分割，得到目标模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080548.8A CN113778096B (zh) | 2021-09-15 | 2021-09-15 | 室内机器人的定位与模型构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111080548.8A CN113778096B (zh) | 2021-09-15 | 2021-09-15 | 室内机器人的定位与模型构建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113778096A true CN113778096A (zh) | 2021-12-10 |
| CN113778096B CN113778096B (zh) | 2022-11-08 |
Family
ID=78844027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111080548.8A Active CN113778096B (zh) | 2021-09-15 | 2021-09-15 | 室内机器人的定位与模型构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113778096B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114097452A (zh) * | 2021-12-14 | 2022-03-01 | 亿嘉和科技股份有限公司 | 一种树枝修剪工具及其控制方法 |
| CN115512065A (zh) * | 2022-11-17 | 2022-12-23 | 之江实验室 | 一种基于分块化的大规模场景下实时地图构建方法和装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104714555A (zh) * | 2015-03-23 | 2015-06-17 | 深圳北航新兴产业技术研究院 | 一种基于边缘的三维自主探索方法 |
| CN105354875A (zh) * | 2015-09-25 | 2016-02-24 | 厦门大学 | 一种室内环境二维与三维联合模型的构建方法和系统 |
| CN109059924A (zh) * | 2018-07-25 | 2018-12-21 | 齐鲁工业大学 | 基于a*算法的伴随机器人增量路径规划方法及系统 |
| US20190143523A1 (en) * | 2017-11-16 | 2019-05-16 | General Electric Company | Robotic system architecture and control processes |
| CN109857123A (zh) * | 2019-03-21 | 2019-06-07 | 郑州大学 | 一种基于视觉感知和激光探测的室内slam地图的融合方法 |
| CN110021072A (zh) * | 2019-04-03 | 2019-07-16 | 武汉大学 | 面向全息测绘的多平台点云智能处理方法 |
| CN111486855A (zh) * | 2020-04-28 | 2020-08-04 | 武汉科技大学 | 一种具有物体导航点的室内二维语义栅格地图构建方法 |
| CN112014857A (zh) * | 2020-08-31 | 2020-12-01 | 上海宇航系统工程研究所 | 用于智能巡检的三维激光雷达定位导航方法及巡检机器人 |
| CN112258618A (zh) * | 2020-11-04 | 2021-01-22 | 中国科学院空天信息创新研究院 | 基于先验激光点云与深度图融合的语义建图与定位方法 |
| CN112419496A (zh) * | 2020-10-27 | 2021-02-26 | 西安工程大学 | 一种基于深度学习的语义地图构建方法 |
| CN112802204A (zh) * | 2021-01-26 | 2021-05-14 | 山东大学 | 未知环境下三维空间场景先验的目标语义导航方法及系统 |
| CN112966542A (zh) * | 2020-12-10 | 2021-06-15 | 武汉工程大学 | 一种基于激光雷达的slam系统和方法 |
| CN112987763A (zh) * | 2021-05-11 | 2021-06-18 | 南京理工大学紫金学院 | 一种基于ros的自主导航机器人控制系统的智能小车 |
| CN112985416A (zh) * | 2021-04-19 | 2021-06-18 | 湖南大学 | 激光与视觉信息融合的鲁棒定位和建图方法及系统 |
-
2021
- 2021-09-15 CN CN202111080548.8A patent/CN113778096B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104714555A (zh) * | 2015-03-23 | 2015-06-17 | 深圳北航新兴产业技术研究院 | 一种基于边缘的三维自主探索方法 |
| CN105354875A (zh) * | 2015-09-25 | 2016-02-24 | 厦门大学 | 一种室内环境二维与三维联合模型的构建方法和系统 |
| US20190143523A1 (en) * | 2017-11-16 | 2019-05-16 | General Electric Company | Robotic system architecture and control processes |
| CN109059924A (zh) * | 2018-07-25 | 2018-12-21 | 齐鲁工业大学 | 基于a*算法的伴随机器人增量路径规划方法及系统 |
| CN109857123A (zh) * | 2019-03-21 | 2019-06-07 | 郑州大学 | 一种基于视觉感知和激光探测的室内slam地图的融合方法 |
| CN110021072A (zh) * | 2019-04-03 | 2019-07-16 | 武汉大学 | 面向全息测绘的多平台点云智能处理方法 |
| CN111486855A (zh) * | 2020-04-28 | 2020-08-04 | 武汉科技大学 | 一种具有物体导航点的室内二维语义栅格地图构建方法 |
| CN112014857A (zh) * | 2020-08-31 | 2020-12-01 | 上海宇航系统工程研究所 | 用于智能巡检的三维激光雷达定位导航方法及巡检机器人 |
| CN112419496A (zh) * | 2020-10-27 | 2021-02-26 | 西安工程大学 | 一种基于深度学习的语义地图构建方法 |
| CN112258618A (zh) * | 2020-11-04 | 2021-01-22 | 中国科学院空天信息创新研究院 | 基于先验激光点云与深度图融合的语义建图与定位方法 |
| CN112966542A (zh) * | 2020-12-10 | 2021-06-15 | 武汉工程大学 | 一种基于激光雷达的slam系统和方法 |
| CN112802204A (zh) * | 2021-01-26 | 2021-05-14 | 山东大学 | 未知环境下三维空间场景先验的目标语义导航方法及系统 |
| CN112985416A (zh) * | 2021-04-19 | 2021-06-18 | 湖南大学 | 激光与视觉信息融合的鲁棒定位和建图方法及系统 |
| CN112987763A (zh) * | 2021-05-11 | 2021-06-18 | 南京理工大学紫金学院 | 一种基于ros的自主导航机器人控制系统的智能小车 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114097452A (zh) * | 2021-12-14 | 2022-03-01 | 亿嘉和科技股份有限公司 | 一种树枝修剪工具及其控制方法 |
| CN115512065A (zh) * | 2022-11-17 | 2022-12-23 | 之江实验室 | 一种基于分块化的大规模场景下实时地图构建方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113778096B (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109186606B (zh) | 一种基于slam和图像信息的机器人构图及导航方法 | |
| JP5018458B2 (ja) | 座標補正方法、座標補正プログラム、及び自律移動ロボット | |
| CN113778096B (zh) | 室内机器人的定位与模型构建方法及系统 | |
| Otsu et al. | Where to look? Predictive perception with applications to planetary exploration | |
| US20220390954A1 (en) | Topology Processing for Waypoint-based Navigation Maps | |
| Kim et al. | UAV-UGV cooperative 3D environmental mapping | |
| US20220390950A1 (en) | Directed exploration for navigation in dynamic environments | |
| Caballero et al. | DLL: Direct LIDAR Localization. A map-based localization approach for aerial robots | |
| CN114004869A (zh) | 一种基于3d点云配准的定位方法 | |
| Kohlhepp et al. | Sequential 3D-SLAM for mobile action planning | |
| Wang et al. | Three-dimensional underwater environment reconstruction with graph optimization using acoustic camera | |
| Contreras et al. | Efficient decentralized collaborative mapping for outdoor environments | |
| Marlow et al. | Local terrain mapping for obstacle avoidance using monocular vision | |
| Konoplin et al. | System for identifying target objects to perform manipulative operations by unmanned underwater vehicles | |
| Bajracharya et al. | Target tracking, approach, and camera handoff for automated instrument placement | |
| Liu et al. | Processed RGB-D slam using open-source software | |
| US20240192695A1 (en) | Anchoring based transformation for aligning sensor data of a robot with a site model | |
| Zhang et al. | A visual slam system with laser assisted optimization | |
| Lieret et al. | Automated exploration, capture and photogrammetric reconstruction of interiors using an autonomous unmanned aircraft | |
| Popp et al. | A reduced camera SLAM approach for indoor and outdoor navigation using laser information for landmark initialization and relative motion information | |
| Bhujbal et al. | Probabilistic Method for Mapping & 3D SLAM of an off-road Terrain with Four Wheeled Robot | |
| CN118003340B (zh) | 基于深度学习的视觉机械臂物料抓取控制方法及系统 | |
| Hernández-Murillo et al. | Multi-camera architecture for perception strategies | |
| US20220388174A1 (en) | Autonomous and teleoperated sensor pointing on a mobile robot | |
| Ai et al. | Research on mapping method based on data fusion of lidar and depth camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 311231 building 3, No. 477, Hongxing Road, Qiaonan block, economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Jingwu Intelligent Technology Co.,Ltd. Address before: Room 12, 3rd floor, No.2 Lane 1446, Yunguan Road, Lingang New District, Pudong New Area pilot Free Trade Zone, Shanghai, 201306 Applicant before: Shanghai Jingwu Intelligent Technology Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |