CN114839981A - 基于室内三维场景的机器人运动轨迹生成方法及存储介质 - Google Patents
基于室内三维场景的机器人运动轨迹生成方法及存储介质 Download PDFInfo
- Publication number
- CN114839981A CN114839981A CN202210431158.9A CN202210431158A CN114839981A CN 114839981 A CN114839981 A CN 114839981A CN 202210431158 A CN202210431158 A CN 202210431158A CN 114839981 A CN114839981 A CN 114839981A
- Authority
- CN
- China
- Prior art keywords
- map
- pixel
- obstacle
- indoor
- precision grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 239000011159 matrix material Substances 0.000 description 7
- 238000004088 simulation Methods 0.000 description 7
- 238000010408 sweeping Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000283690 Bos taurus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
Abstract
本发明公开了基于室内三维场景的机器人运动轨迹生成方法及存储介质，方法包括：获取室内三维场景中预设高度的深度图；基于深度图生成障碍物信息图，障碍物信息图中的像素被划分为障碍像素或非障碍像素；对障碍物信息图进行区域分割，得到对应每个房间的障碍物信息图，将每个房间的障碍物信息图作为子区域图；根据每个子区域图生成对应的高精度网格图和低精度网格图；基于每个子区域图对应的高精度网格图和低精度网格图生成各个子区域图对应的子区域全覆盖路径。本发明能够生成符合各类机器人所需的运动轨迹，以便于快速制作海量机器人训练数据集。
Description
技术领域
本发明属于机器人仿真领域，具体涉及一种基于室内三维场景的机器人运动轨迹生成方法。
背景技术
近年来，随着科学技术水平的发展以及人们生活水平的日益提升，人们对于室内服务机器人的需求也越来越迫切，基于这种需求，室内服务机器人尤其是扫地机器人有了飞速发展。而影响这种室内服务机器人性能的一大要素就是其自动规划轨迹以及识别、规避障碍物的能力，SLAM(Simultaneous localization and mapping)算法赋予了机器人这项能力，而一个优秀的SLAM算法从设计到验证需要有海量的数据集进行测试，例如Kitti数据集、EuRoC数据集等，但这些数据集都依赖于人工从真实场景中采集，不仅耗时耗力，而且很难保证数据集的覆盖面足够广。对于室内服务机器人来说更是如此，家居户型繁杂，家具摆放更是千差万别，几乎不可能依靠人力从真实场景中获取足够丰富的数据集，而数据集覆盖面不够广会导致设计的算法在实际使用时遇到很多corner case而影响用户体验。
现有技术如专利公开号为CN113067986A的中国专利文献，提出了一种可编辑的自动化相机轨迹生成方案，主要功能是可以根据自定义的轨迹参数和相机参数计算相机位姿，从而行成相机运动轨迹。但该方法并不能很好地适配室内机器人的需求。不同类型的机器人对于同一场景有着不同的可行驶区域，使用相同的场景图生成的轨迹，并不能适配所有类型的机器人，因此仍然无法解决现有技术中室内机器人的训练受限于数据集的问题。
发明内容
本发明的目的之一在于提供一种基于室内三维场景的机器人运动轨迹生成方法，生成符合各类机器人所需的运动轨迹，以便于快速制作海量机器人训练数据集。
为实现上述目的，本发明所采取的技术方案为：
一种基于室内三维场景的机器人运动轨迹生成方法，所述基于室内三维场景的机器人运动轨迹生成方法，包括：
S1、获取室内三维场景中预设高度的深度图；
S2、基于所述深度图生成障碍物信息图，所述障碍物信息图中的像素被划分为障碍像素或非障碍像素；
S3、对所述障碍物信息图进行区域分割，得到对应每个房间的障碍物信息图，将每个房间的障碍物信息图作为子区域图；
S4、根据每个子区域图生成对应的高精度网格图和低精度网格图，包括：
S41、判断子区域图中以每个像素为中心、以机器人直径为边长的正方形区域内是否含障碍像素，将含障碍像素的各像素值设为第一单值，否则设为第二单值，遍历每个像素后得到的二值图像作为高精度网格图；
S42、将高精度网格图中的像素按照以机器人直径为边长的正方形区域进行依次划分，将中心像素为非障碍像素的正方形区域内的像素值设为第二单值，否则设为第一单值，遍历每个正方形区域后得到的二值图像作为低精度网格图；
S5、基于每个子区域图对应的高精度网格图和低精度网格图生成各个子区域图对应的子区域全覆盖路径，包括：
S51、以低精度网格图为主、高精度网格图为辅采用全覆盖路径规划算法生成每个房间的全覆盖路径；
S52、基于低精度网格图计算各个房间内的全覆盖路径之间的连通性，以每个房间为单位通过A*算法将房间内具有连通性的全覆盖路径首尾相连得到每个房间对应的子区域全覆盖路径。
以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
作为优选，所述获取室内三维场景中预设高度的深度图，包括：
取室内三维场景数据，在预设高度布置正交相机，得到正交投影的深度图。
作为优选，所述基于所述深度图生成障碍物信息图，包括：
获取用户输入的所需障碍物信息的高度区间[A,B]；
设定最低深度阈值为B-A；
对高度为B的深度图进行二值化处理，若像素点的深度值小于阈值B-A，则该像素点的像素值置为第一单值，否则该像素点的像素值置为第二单值，遍历高度为B的深度图中的每个像素点得到障碍物信息图，障碍物信息图中像素值为第一单值的像素点表示障碍像素，障碍物信息图中像素值为第二单值的像素点表示非障碍像素。
作为优选，所述对所述障碍物信息图进行区域分割，包括：
将世界坐标系下的房间轮廓信息转换为图像像素坐标系下的房间轮廓信息；
根据图像像素坐标系下的每个房间轮廓信息将障碍物信息图划分为多个初步子区域图；
每个初步子区域图中将房间轮廓按照轮廓像素的最大值和最小值重新取为长方形区域；
将初步子区域图中长方形区域之外的部分设为障碍得到子区域图。
作为优选，所述步骤S4还包括：
在高精度网格图和低精度网格图的图像边界分别添加一层障碍边界，障碍边界的宽度为机器人的直径；
将高精度网格图和低精度网格图由原始像素坐标以高精度网格图和低精度网格图的长边作为x轴正方向，长边的一个顶点作为原点进行坐标转换。
作为优选，所述以低精度网格图为主、高精度网格图为辅采用全覆盖路径规划算法生成每个房间的全覆盖路径，包括：
以低精度网格作为输入网格由全覆盖路径规划算法计算全覆盖路径；
在计算全覆盖路径过程中，若在非障碍像素对应的网格处遍历时遇到障碍像素对应的网格，则先按照原遍历方向查找下一个非障碍像素对应的网格直至超过预设长度，超过预设长度后以两个非障碍像素对应的网格为两端在高精度网格图中通过A*算法计算最短可达路径；
若存在最短可达路径则将该路径加入全覆盖路径中，并从下一个非障碍像素对应的网格开始继续在低精度网格图中遍历；若不存在最短可达路径则按照原先的全覆盖路径规划算法正常执行。
作为优选，将每个房间对应的子区域全覆盖路径由图像像素坐标系转换至世界坐标系，得到机器人在世界坐标系下的运动轨迹，并基于该运动轨迹生成室内场景训练数据集。
本发明提供的基于室内三维场景的机器人运动轨迹生成方法，从高度逼真的仿真环境中获取场景数据用于制作数据集，是一个高效且便捷的方式。本发明可以根据户型设计、家具布局自动生成遍历每个房间，且规避家具的机器人运动轨迹。此外，考虑到不同类型的机器人有不同的避障需求，例如扫地机器人根据自身高度不同，可以进入对应高度的沙发底或者桌子底，又如翻越障碍物的能力不同，可以进入对应高度的地毯上，无人机在指定高度区间内巡航，需要知道这个高度区间内的障碍物分布，这些需求本发明设计的自动化轨迹生成方案均可满足。
因此，本发明可以典型应用于机器人室内场景数据集的制作，利用逼真的室内家居场景数据集，在仿真环境中自动生成各类机器人所需的运动轨迹，在运动轨迹上布置相机、雷达等传感器，获取机器人视角的仿真运动数据集，从而可以快速制作海量机器人训练数据集。
本发明的目的之二在于提供一种计算机可读存储介质，其上的计算机程序被处理后生成符合各类机器人所需的运动轨迹，以便于快速制作海量机器人训练数据集。
为实现上述目的，本发明所采取的技术方案为：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于室内三维场景的机器人运动轨迹生成方法。
附图说明
图1为本发明的基于室内三维场景的机器人运动轨迹生成方法的流程图；
图2为本发明相机高度为960mm时的深度图；
图3为本发明与图2同一室内三维场景且相机高度为1960mm时的深度图；
图4为本发明在图2室内三维场景中高度区间为100mm-1960mm的障碍物信息图；
图5为本发明在图2室内三维场景中高度区间为1000mm-1960mm的障碍物信息图；
图6为基于图4的障碍物信息图生成的子区域全覆盖路径示意图；
图7为基于图5的障碍物信息图生成的子区域全覆盖路径示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。
为解决现有技术中机器人仿真训练数据集采集方式耗时耗力的问题，本实施例提供一种基于室内三维场景的机器人运动轨迹生成方法，该方法基于室内三维数据集在仿真环境中快速生成大量符合室内移动机器人特定需求的运动轨迹，辅助生成机器人仿真训练数据集，供使用人员验证相关的算法。
为了便于描述，本实施例以扫地机器人为例进行说明，本实施例中选择符合扫地机器人需求的牛耕法全覆盖路径算法作为全覆盖路径规划算法，实际使用中可根据需求替换为符合自身机器人运动需求的轨迹生成算法。本发明共需要三个输入：室内三维场景数据、场景中房间边界点坐标信息，机器人直径。
具体的，如图1所示，本实施例的基于室内三维场景的机器人运动轨迹生成方法，包括以下步骤：
S1、获取室内三维场景中预设高度的深度图。
立足于室内三维场景数据集，获取不同室内场景数据。容易理解的是，室内三维场景数据作为输入信息，可以从指定家具设计软件中拉取，也可以通过其他指定方式获取，本实施例中不做限定。
在三维场景的指定高度布置正交相机，俯视全景，得到正交投影的深度图。本实施例选择正交相机是因为正交投影不会因为距离改变物体的大小和位置，从而确保不同高度下的深度图中，房间轮廓与布局不会发生改变，图2、图3分别展示了同一室内三维场景中，相机高度分别为960mm和1960mm时的深度图，两张图中相同物体的大小和像素坐标均相同，区别只是深度值不同。当然这两个数值只是示例，高度值可以在0到房间高度之间任意设定。
S2、基于深度图生成障碍物信息图，障碍物信息图中的每一像素被划分为障碍像素或非障碍像素。
为了直观体现是否存在障碍物，本实施例采用二值图作为障碍物信息图。首先根据用户输入的所需障碍物信息的高度区间[A,B]设定最低深度阈值为B-A。对高度为B的深度图进行二值化处理，若像素点的深度值小于阈值B-A，则该像素点的像素值置为第一单值，否则该像素点的像素值置为第二单值，遍历高度为B的深度图中的每个像素点得到障碍物信息图，障碍物信息图中像素值为第一单值的像素点表示障碍像素，障碍物信息图中像素值为第二单值的像素点表示非障碍像素。
例如需要高度区间为300mm(A＝300mm)到1000mm(B＝1000mm)之间的障碍物信息，则设定最低深度阈值为(1000-300)mm，对相机高度为1000mm的深度图进行二值化处理，像素点的深度值小于该深度阈值时，则将该像素点的像素值置为第一单值，否则置为第二单值，如此就可将深度图转为反映像素点是否为障碍物的二值图。其中像素值为第一单值则代表该高度区间有障碍物，为第二单值则代表该高度区间没有障碍物。如图4和图5所示分别展示了图2场景中高度区间为100mm-1960mm，1000mm-1960mm的障碍物信息图，其中黑色区域则代表有障碍物。
S3、对障碍物信息图进行区域分割，得到对应每个房间的障碍物信息图，将每个房间的障碍物信息图作为子区域图。
三维场景数据提供了每个三维家居场景的房间边界点的坐标信息(即房间轮廓信息)，根据房间轮廓信息可以对得到的障碍物信息图进行分割，得到每个房间的二值图作为子区域图。
由于数据库中的房间轮廓信息是真实场景世界坐标系下的，因此需要计算转换矩阵将其转换到图像的像素坐标系中。计算转换矩阵主要分为两步，先将世界坐标系下的房间轮廓信息转到相机坐标系，再由相机坐标系转到图像像素坐标系，具体过程如下：
1)世界坐标系转相机坐标系：
公式(1)中(x,y,z)为相机坐标，xw,yw,zw表示世界坐标，R表示相机的旋转矩阵，t表示相机的平移向量，R,t可根据相机位置参数获得。
2)相机坐标系转图像像素坐标系：
因为正交投影没有缩放，故根据正交投影视野范围和图片尺寸的比例关系直接计算即可，假设图像尺寸为u,v，正交投影视野范围尺寸为U,V，可求得转换矩阵为公式(2)中的transform。
至此，获得了将房间轮廓信息的空间点转换为图像空间的像素点的transform矩阵。
获得图像像素坐标系下的房间轮廓信息后，采用图像处理算法将S2中的二值图分割为多个初步子区域图，每个初步子区域图中将房间轮廓按各子区域轮廓像素的最大值和最小值划分为长方形区域，并将初步子区域图中轮廓区域之外的部分设为障碍以防止多余的计算，得到子区域图。
刻画房间的轮廓有若干个点，找到这些点中的x,y坐标的最大最小值，以这个值来画一个长方形，长方形轮廓区域之外是指除了这个房间的其他所有空间，因为一个场景中有若干个房间，因此例如处理房间A时，把其他房间包括轮廓全部设为障碍，避免重复计算，设为障碍在本实施例中的操作即为将对应像素的像素值置为第一单值。
S4、根据每个子区域图生成对应的高精度网格图和低精度网格图。
对步骤S3中得到的各个待处理子区域图进行处理，将代表像素是否含有障碍的二值图像转为代表在机器人与该像素中心重合时是否会与障碍碰撞的二值图像，即能否在该像素处放置机器人。具体步骤如下：
S41、本实施例采用图像处理算法的腐蚀操作，计算二值图像中每个像素为中心机器人直径正方形区域内是否含障碍像素。即判断子区域图中以每个像素为中心、以机器人直径为边长的正方形区域内是否含障碍像素，将含障碍像素的各位于中心的像素点的像素值设为第一单值，否则设为第二单值，遍历每个像素后得到的二值图像作为高精度网格图。
S42、为加速路径计算，本实施例将高精度网格图按机器人的直径进一步粗化，将高精度网格图中的像素按照以机器人直径为边长的正方形区域进行依次划分，将中心像素为非障碍像素的正方形区域内的像素值设为第二单值，否则设为第一单值，遍历每个正方形区域后得到的二值图像作为低精度网格图。
本实施例获取的高精度和低精度网格中，第二单值的像素点都代表可在该处放置机器人。此外，为保证算法在图像边缘处的鲁棒性，本实施例围绕高精度网格图和低精度网格图的图像边界添加了一层障碍边界(即像素值为第一单值的像素点)，障碍边界的宽度为机器人的直径。最后，以这两个网格图像的长边作为x轴正方向，长边的一个顶点作为原点进行坐标转换，保证在全覆盖路径规划时以边长为遍历方向。
通常图像的原始像素坐标是左上角为原点，往右为x正方向，往下为y正方向，因此前述坐标转换是指将原始图像进行旋转，使得其最长边和x轴正方向重合，长边顶点为原点。高精度网格图和低精度网格图转换的坐标都是像素坐标。
S5、基于每个子区域图对应的高精度网格图和低精度网格图生成各个子区域图对应的子区域全覆盖路径。
对步骤S4中计算出的每一对高精度网格图和低精度网格图，采用改良的全覆盖路径规划算法计算子区域图中的全覆盖路径包括：
S51、以低精度网格图为主、高精度网格图为辅采用全覆盖路径规划算法生成每个房间的全覆盖路径。
首先以低精度网格作为输入网格由全覆盖路径规划算法计算全覆盖路径，得到子区域中每一条覆盖路径直到网格的所有像素都被覆盖到。
在计算全覆盖路径过程中，为了保证路径的连贯性，本发明以步骤S4中的高精度网格图作为辅助，使算法能够在遇到一些细小障碍的时候可以进行避障。若在非障碍像素对应的网格处遍历时遇到障碍像素对应的网格，则先按照原遍历方向查找下一个非障碍像素对应的网格直至超过预设长度，以两个非障碍像素对应的网格为两端形成的N×1(N为两个非障碍像素对应的网格之间距离)低精度网格对应的在高精度网格图中通过A*算法计算最短可达路径。
若存在最短可达路径则将该路径加入子区域全覆盖路径中，并从下一个非障碍像素对应的网格开始继续在低精度网格图中遍历；若不存在最短可达路径则按照原先的全覆盖路径规划算法正常执行。最后，对子区域中的所有覆盖路径进行后处理，可按需删除长度小于一定阈值的覆盖路径。
S52、基于低精度网格图计算各个房间内的全覆盖路径之间的连通性，以每个房间为单位通过A*算法将房间内具有连通性的全覆盖路径首尾相连得到每个房间对应的子区域全覆盖路径。如图6，图7所示分别展示了图4，图5对应高度区间下的子区域全覆盖路径效果图。本实施例中同一房间中若干段轨迹会相连，但不同房间之间的轨迹是断开的。
基于此，本实施例可以通过更换不同的室内三维场景数据以及设定不同的高度区域获取符合各类机器人所需的运动轨迹，并基于运动轨迹得到训练数据集。具体的将S5中得到各个子区域全覆盖路径坐标根据transform矩阵的逆矩阵转换回原世界坐标系坐标，从而得到机器人在仿真室内环境中的运动轨迹，用于辅助生成室内场景数据集。
本实施例提供的轨迹生成方法基于海量室内家居场景数据，可以快速大量生成室内机器人运动轨迹，制作大批量场景数据集。并且实施例具有高度泛化能力，可以根据使用者需求，获取任意高度区间内的障碍物信息，进而根据相应的轨迹生成算法，生成对应高度区间的轨迹图，符合各种室内机器人的运动需求。
需要说明的是，图2～7分别主要为展示深度图、二值图、路径规划图的效果图，为图像处理后的一种示意，不涉及本申请改进的重点，且示意界面的清晰度与像素和缩放比例有关，故呈现效果较为有限。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于室内三维场景的机器人运动轨迹生成方法，其特征在于，所述基于室内三维场景的机器人运动轨迹生成方法，包括：
S1、获取室内三维场景中预设高度的深度图；
S2、基于所述深度图生成障碍物信息图，所述障碍物信息图中的像素被划分为障碍像素或非障碍像素；
S3、对所述障碍物信息图进行区域分割，得到对应每个房间的障碍物信息图，将每个房间的障碍物信息图作为子区域图；
S4、根据每个子区域图生成对应的高精度网格图和低精度网格图，包括：
S41、判断子区域图中以每个像素为中心、以机器人直径为边长的正方形区域内是否含障碍像素，将含障碍像素的各像素值设为第一单值，否则设为第二单值，遍历每个像素后得到的二值图像作为高精度网格图；
S42、将高精度网格图中的像素按照以机器人直径为边长的正方形区域进行依次划分，将中心像素为非障碍像素的正方形区域内的像素值设为第二单值，否则设为第一单值，遍历每个正方形区域后得到的二值图像作为低精度网格图；
S5、基于每个子区域图对应的高精度网格图和低精度网格图生成各个子区域图对应的子区域全覆盖路径，包括：
S51、以低精度网格图为主、高精度网格图为辅采用全覆盖路径规划算法生成每个房间的全覆盖路径；
S52、基于低精度网格图计算各个房间内的全覆盖路径之间的连通性，以每个房间为单位通过A*算法将房间内具有连通性的全覆盖路径首尾相连得到每个房间对应的子区域全覆盖路径。
2.如权利要求1所述的基于室内三维场景的机器人运动轨迹生成方法，其特征在于，所述获取室内三维场景中预设高度的深度图，包括：
取室内三维场景数据，在预设高度布置正交相机，得到正交投影的深度图。
3.如权利要求2所述的基于室内三维场景的机器人运动轨迹生成方法，其特征在于，所述基于所述深度图生成障碍物信息图，包括：
获取用户输入的所需障碍物信息的高度区间[A,B]；
设定最低深度阈值为B-A；
对高度为B的深度图进行二值化处理，若像素点的深度值小于阈值B-A，则该像素点的像素值置为第一单值，否则该像素点的像素值置为第二单值，遍历高度为B的深度图中的每个像素点得到障碍物信息图，障碍物信息图中像素值为第一单值的像素点表示障碍像素，障碍物信息图中像素值为第二单值的像素点表示非障碍像素。
4.如权利要求1所述的基于室内三维场景的机器人运动轨迹生成方法，其特征在于，所述对所述障碍物信息图进行区域分割，包括：
将世界坐标系下的房间轮廓信息转换为图像像素坐标系下的房间轮廓信息；
根据图像像素坐标系下的每个房间轮廓信息将障碍物信息图划分为多个初步子区域图；
每个初步子区域图中将房间轮廓按照轮廓像素的最大值和最小值重新取为长方形区域；
将初步子区域图中长方形区域之外的部分设为障碍得到子区域图。
5.如权利要求1所述的基于室内三维场景的机器人运动轨迹生成方法，其特征在于，所述S4还包括：
在高精度网格图和低精度网格图的图像边界分别添加一层障碍边界，障碍边界的宽度为机器人的直径；
将高精度网格图和低精度网格图由原始像素坐标以高精度网格图和低精度网格图的长边作为x轴正方向，长边的一个顶点作为原点进行坐标转换。
6.如权利要求1所述的基于室内三维场景的机器人运动轨迹生成方法，其特征在于，所述以低精度网格图为主、高精度网格图为辅采用全覆盖路径规划算法生成每个房间的全覆盖路径，包括：
以低精度网格作为输入网格由全覆盖路径规划算法计算全覆盖路径；
在计算全覆盖路径过程中，若在非障碍像素对应的网格处遍历时遇到障碍像素对应的网格，则先按照原遍历方向查找下一个非障碍像素对应的网格直至超过预设长度，超过预设长度后以两个非障碍像素对应的网格为两端在高精度网格图中通过A*算法计算最短可达路径；
若存在最短可达路径则将该路径加入全覆盖路径中，并从下一个非障碍像素对应的网格开始继续在低精度网格图中遍历；若不存在最短可达路径则按照原先的全覆盖路径规划算法正常执行。
7.如权利要求1所述的基于室内三维场景的机器人运动轨迹生成方法，其特征在于，将每个房间对应的子区域全覆盖路径由图像像素坐标系转换至世界坐标系，得到机器人在世界坐标系下的运动轨迹，并基于该运动轨迹生成室内场景训练数据集。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210431158.9A CN114839981A (zh) | 2022-04-22 | 2022-04-22 | 基于室内三维场景的机器人运动轨迹生成方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210431158.9A CN114839981A (zh) | 2022-04-22 | 2022-04-22 | 基于室内三维场景的机器人运动轨迹生成方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114839981A true CN114839981A (zh) | 2022-08-02 |
Family
ID=82565756
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210431158.9A Pending CN114839981A (zh) | 2022-04-22 | 2022-04-22 | 基于室内三维场景的机器人运动轨迹生成方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114839981A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777947A (zh) * | 2023-06-21 | 2023-09-19 | 上海汉朔信息科技有限公司 | 一种用户轨迹识别预测方法、装置及电子设备 |
-
2022
- 2022-04-22 CN CN202210431158.9A patent/CN114839981A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777947A (zh) * | 2023-06-21 | 2023-09-19 | 上海汉朔信息科技有限公司 | 一种用户轨迹识别预测方法、装置及电子设备 |
| CN116777947B (zh) * | 2023-06-21 | 2024-02-13 | 上海汉朔信息科技有限公司 | 一种用户轨迹识别预测方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11282270B2 (en) | Multi-story indoor structured three-dimensional modeling method and system | |
| WO2020134082A1 (zh) | 一种路径规划方法、装置和移动设备 | |
| CN110531760B (zh) | 基于曲线拟合和目标点邻域规划的边界探索自主建图方法 | |
| CN107831765B (zh) | 定位方法、装置、设备及存储介质 | |
| CN109163722B (zh) | 一种仿人机器人路径规划方法及装置 | |
| CN111595356B (zh) | 一种激光导航机器人的工作区域构建方法 | |
| CN115423972A (zh) | 一种基于车载多激光雷达融合的封闭场景三维重建方法 | |
| CN111399507A (zh) | 确定栅格地图中边界线的方法、划分栅格地图的方法 | |
| CN113064407B (zh) | 全区域覆盖的清扫方法、装置、清扫机器人及存储装置 | |
| CN111679661A (zh) | 基于深度相机的语义地图构建方法及扫地机器人 | |
| CN114839981A (zh) | 基于室内三维场景的机器人运动轨迹生成方法及存储介质 | |
| CN114431771B (zh) | 一种扫地机器人清扫方法及相关装置 | |
| CN109064482B (zh) | 一种三维倾斜摄影场景中自动获取房屋轮廓的方法及装置 | |
| CN108564604B (zh) | 基于平面约束和三角剖分的双目视觉立体匹配方法及装置 | |
| CN112002007B (zh) | 基于空地影像的模型获取方法及装置、设备、存储介质 | |
| Li et al. | Building variable resolution occupancy grid map from stereoscopic system—A quadtree based approach | |
| Micusik et al. | Towards detection of orthogonal planes in monocular images of indoor environments | |
| CN116300876A (zh) | 一种多智能体未知环境自主协同探索方法、系统、装置及存储介质 | |
| CN115880421A (zh) | 一种基于工业ct序列图像直接生成六面体网格方法 | |
| CN115855086A (zh) | 基于自旋转的室内场景自主重建方法、系统及介质 | |
| CN114677388A (zh) | 基于单元分解与空间分割的房间布局划分方法 | |
| Nakagawa et al. | Topological 3D modeling using indoor mobile LiDAR data | |
| CN114066910A (zh) | 一种无人机摄影测量的模型有效区域自动提取方法和系统 | |
| Xiong et al. | Knowledge-driven inference for automatic reconstruction of indoor detailed as-built BIMs from laser scanning data | |
| Nakagawa et al. | Panoramic rendering-based polygon extraction from indoor mobile LiDAR data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |