CN113985897A - 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法 - Google Patents

一种基于行人轨迹预测与社交约束的移动机器人路径规划方法 Download PDF

Info

Publication number
CN113985897A
CN113985897A CN202111536731.4A CN202111536731A CN113985897A CN 113985897 A CN113985897 A CN 113985897A CN 202111536731 A CN202111536731 A CN 202111536731A CN 113985897 A CN113985897 A CN 113985897A
Authority
CN
China
Prior art keywords
pedestrian
robot
pedestrians
social
path planning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111536731.4A
Other languages
English (en)
Inventor
李秀智
王虞鑫
张祥银
张磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202111536731.4A priority Critical patent/CN113985897A/zh
Publication of CN113985897A publication Critical patent/CN113985897A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

本发明涉及一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，属于机器人路径规划领域。该方法采用深度相机采集场景中的数据送入YOLOv5_DeepSort网络进行行人的实时检测与跟踪，获取每个行人的编号和检测框，并对行人的检测框进行实时跟踪和位置更新。然后提取行人的像素坐标转换为世界坐标，用于输入到Social GAN网络进行行人轨迹实时预测，从而得到行人未来时刻的轨迹。根据得到的行人预轨迹和行人之间的距离在行人周围形成机器人不可通行的安全空间或交互空间，使机器人在路径规划时能够及时避让行人的安全空间和交互空间，从而增加了机器人的预判性和社交约束属性。

Description

一种基于行人轨迹预测与社交约束的移动机器人路径规划 方法
技术领域
本发明属于机器人路径规划领域，是一种基于行人轨迹预测与社交约束的移动机器人路径规划方法。
背景技术
随着人工智能与机器人技术的不断发展与进步，移动机器人在工业、服务业、农业、医疗等领域得到了快速发展和广泛应用，人们对机器人性能的要求也逐步提升。机器人在复杂的多人动态环境中能充分考虑行人运动与社交规律等因素，实现智能行走成为机器人的一项重要功能。
传统的路径规划往往只是让机器人在行走过程中实时躲避环境中的障碍物，从而规划出一条从起点到目标点的无障碍路径。但对于有意识的行人不能进行简单的避障，机器人需要在路径规划的过程中对行人的运动行为、多个行人之间的交互进行提前预判并避让，避免机器人行走过程中影响行人的正常活动与交流。比如：当两个行人正在以为1米以内的间距同向行走时，机器人不能从他们中间穿过，这不符合人类的社交规律，故应该让机器人绕行。因此，在机器人路径规划时提前感知行人的运动意图，增加机器人的社交约束属性，能够降低机器人行走过程中对行人活动的影响，实现机器人与行人安全交互、和谐共处的目标。
发明内容
鉴于上述传统技术中的不足之处，本发明提供了一种基于行人轨迹预测与社交约束的移动机器人路径规划方法。该方法所采用的技术方案是通过实时预测行人的未来轨迹，并根据行人的未来轨迹和行人之间的距离，在行人周围生成机器人不可通行的空间，使机器人路径规划时能及时避让行人空间，达到增加机器人的预判性和社交约束属性的目的。
本发明具体方案如下所述：
所述的基于行人轨迹预测与社交约束的移动机器人路径规划方法包括两个模块，构建行人实时检测跟踪并预测模块和构建具有社交约束的机器人路径规划模块，其中：
所述的行人实时检测跟踪并预测模块具体方案如下：
S1.搭建YOLOv5_DeepSort网络，使用公开数据集对YOLOv5_DeepSort进行预训练，保存训练好的权重文件用于行人的实时检测与跟踪；
S2.采用RealSense D435深度相机向YOLOv5_DeepSort网络实时输入数据，加载S1步骤中保存的权重文件，然后通过YOLOv5_DeepSort的YOLOv5网络部分对场景中的行人目标进行实时检测，得到行人目标的检测框，DeepSort部分以YOLOv5输出的行人检测结果为输入，对行人在每一时刻的位置进行跟踪并更新位置信息；
S3.以S2步骤中跟踪到的每一时刻的检测框中心点像素坐标代替行人检测框，得到每个行人在时间上的像素坐标序列，记录每个行人的编号和像素坐标序列，将每一帧的像素坐标与行人的深度信息进行帧间匹配，用于将行人像素坐标转换为世界坐标；
S4.将相机位置设为世界坐标系的原点，此时相机坐标等于世界坐标。通过相机的内参将像素坐标转换为图像坐标再转换到相机坐标，即可实时获取行人的相机坐标，即世界坐标；
S5.使用Pytorch深度学习框架搭建Social GAN网络，使用公开数据集中对SocialGAN网络进行预训练，Social GAN网络包括生成器和判别器，其中生成器的输入是观测到的行人最近时刻的轨迹序列，通过对输入的轨迹进行非线性运算，提取行人的位移状态向量，经过预测时段序列的传递，获得行人未来时刻的轨迹序列；
S6.Social GAN判别器的输入是S5步骤中生成的预测轨迹序列与真实轨迹序列，判别器判断输入序列是否为真实轨迹。通过计算网络的损失函数，优化生成器和判别器的各层网络，生成器和判别器交替训练，直至生成器输出的预测轨迹可以模拟真实轨迹。
S7.保存网络训练后的权重，在实时检测跟踪与预测时加载该网络权重，将实时检测跟踪得到的最近4秒的轨迹送入Social GAN网络的生成器部分，用来获取预测的未来6秒的行人轨迹。
所述的具有社交约束的机器人路径规划模块具体方案如下：
S1.当场景中的行人之间的距离大于一定阈值时，说明行人之间无交互的可能性。此时，根据权利要求2得到的每个行人的预测轨迹的长度，在行人周围建立机器人不可通行的安全空间，如图2所示，以此增加机器人路径规划时的预判性；
S2.当场景中的行人之间的距离小于一定阈值时，说明行人之间有交互的可能性。此时，将S1步骤中的每个行人的安全空间合并为行人交互空间，如图3所示，在多个行人之间建立机器人不可通行的交互空间，以此增加机器人路径规划时的社交约束属性；
S3.将S1步骤中的行人安全空间和S2步骤中的行人交互空间融入路径规划的代价地图，使其作为障碍物出现在机器人路径规划的栅格地图中；
S4.采用A*算法进行全局路径规划，规划出一条从起点到目标点的最短路径；采用动态窗口法进行局部路径规划，使机器人在运动过程中对行人的安全空间和交互空间合理避让，从而保证了行人运动的安全性和舒适性。
进一步地，所述S1步骤中的行人安全空间映射在栅格地图上近似一个动态组合椭圆，如图2所示。该动态组合椭圆包括行人行走的前方是一个根据二维高斯分布
Figure BDA0003412822490000031
确定的一个动态椭圆区域，行人行走的后方是一个半圆区域。其中，行人前方的动态椭圆的长轴取决于
Figure BDA0003412822490000032
即预测的行人轨迹长度，当行人速度越快，预测的轨迹长度越长，行人前方的椭圆越扁，
Figure BDA0003412822490000033
决定行人左右两侧的安全距离。f(x，y)表示不同速度下的行人空间大小，x0，y0分别表示行人当前的位置；
进一步地，所述S1步骤中的行人安全空间和S2步骤中的行人交互空间是根据人与人在社交时对不同的社交距离感到安全度和舒适度进行划分的，一般行人感到安全的距离在0.45-1.2m，行人之间交互距离在1.2-3.6m。
有益效果
本发明所述的基于行人轨迹预测与社交约束的移动机器人路径规划方法，通过对实时检测跟踪到的行人进行轨迹预测，并建立基于预测轨迹的行人空间和行人交互空间，使机器人在行驶过程中能提前感知行人的运动轨迹，对行人的交互空间合理避让，保障了行人运动的安全性和舒适性。
附图说明
图1是本发明的整体流程图。
图2是行人的二维高斯空间模型图。
图3是行人交互空间模型图。
图4是行实时跟踪预测前视图。
图5是机器人路径规划仿真环境图。
图6是保障行人空间的机器人路径规划仿真图。
图7是保障行人交互的机器人路径规划仿真图。
具体实施方式
参照图1，一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，包括两个模块，行人实时检测跟踪并预测模块和具有社交约束的机器人路径规划模块，其中：
行人实时检测跟踪并预测模块包括以下行人的实时检测与跟踪、将实时跟踪到的行人的像素坐标转换为世界坐标以及对跟踪的轨迹进行实时预测三个步骤，具体步骤如下：
1.行人实时检测与跟踪包括如下步骤：
1.1)采用VOC，COCO，ImageNet等经典目标检测数据集对YOLOv5_DeepSort目标检测与跟踪模型进行预训练；
1.2)将RealSense D435深度相机固定在室内大厅的天花板，用于采集实时检测跟踪的数据，将相机的位置设为世界坐标系的原点，此时相机坐标等于世界坐标；
1.3)加载已训练的权重数据，通过外接RealSense D435深度相机向网络模型实时发送视频流，通过YOLOv5_DeepSort的YOLOv5网络部分对场景中的行人目标进行实时检测，得到行人目标的检测框，DeepSort部分以YOLOv5输出的行人检测结果为输入，对行人在每一时刻的位置进行跟踪并更新位置信息，最后实时渲染到图像；
1.4)将跟踪到的每一时刻的检测框中心点像素坐标代替行人检测框，得到每个行人在时间上的像素坐标序列，记录每个行人的编号和像素坐标序列。然后获取深度传感器的深度值，创建对齐对象，将深度图与RGB图像的每一帧对齐并获取，用于将行人像素坐标转换为世界坐标；
2.将跟踪的行人像素坐标转换为世界坐标包括如下步骤：
2.1)像素坐标系与世界坐标系之间的转换公式如下：
Figure BDA0003412822490000051
式中，zC是通过深度相机获得行人的深度信息，u0和v0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数；f表示焦距，dx和dy表示一个像素在横向和纵向所占长度；[xE，yE，zE，1]T表示物体所在的世界坐标，R和T分别是旋转矩阵和平移矩阵，两者组成3*4矩阵即为相机的外参矩阵；
2.2)通过在S3中的公式的左右两边同时左乘
Figure BDA0003412822490000052
的逆矩阵得到行人的相机坐标，由于已将相机坐标设为世界坐标系的原点，得到的相机坐标即世界坐标；
3.对跟踪的轨迹进行实时预测的过程包括如下步骤；
3.1)使用Pytorch深度学习框架搭建Social GAN网络，设置学习率α＝0.001，学习衰减率y＝0.6，优化器使用Adam算法，使用公开数据集中对Social GAN网络进行预训练，Social GAN网络包括生成器和判别器，其中生成器的输入是观测到的行人最近时刻的轨迹序列，通过对输入的轨迹进行非线性运算，提取行人的位移状态向量，经过预测时段序列的传递，获得行人未来时刻的轨迹序列；
3.2)Social GAN判别器的输入是3.1步骤中生成的预测轨迹序列与真实轨迹序列，判别器判断输入序列是否为真实轨迹。通过计算网络的损失函数，优化生成器和判别器的各层网络，生成器和判别器交替训练，直至生成器输出的预测轨迹可以模拟真实轨迹；
3.3)加载已训练的权重数据，以每秒2帧的速率采集行人世界坐标，输入前8帧作为真实轨迹用来预测未来12帧的坐标轨迹，即每一时刻实时获取行人最近4秒的坐标轨迹用于预测，得到未来6秒的预测轨迹；
3.4)通过一个数组存放实时检测跟踪得到的行人轨迹序列，如果数组不为空，则根据行人编号对行人的轨迹进行过滤，去除不连续的坐标轨迹，保留每个时刻连续的最后4秒的坐标轨迹记为行人历史轨迹；对于每一个行人，用后一帧的坐标减去前一帧的坐标，计算每个行人两帧之间的位移变化；
3.5)将3.4步骤中的行人历史轨迹、行人两帧之间的相对位移以及轨迹序列的始末位置三个参数转换为pytorch的数据格式，最后将数据送入Social GAN网络进行预测；
3.6)将3.5步骤中的三个参数输入到Social GAN生成器中，经过计算各行人的位移隐藏状态向量，经过预测时段序列的传递得到预测轨迹序列，将历史轨迹与预测轨迹连接为生成轨迹输出，实时预测的轨迹如图4所示；
具有社交约束的机器人路径规划模块根据行人的预测轨迹和个人空间模型在行人周围建立机器人不可通行区域，从而达到增加机器人预判性和社交约束属性的目的。个人空间模型是根据人与人在社交时对不同的社交距离感到的安全度和舒适度，将人的空间划分为四个区域，分别是私密空间，个人空间，社交空间和公共空间。一般行人感到安全的个人空间距离在0.45-1.2m，行人之间交互空间的距离在1.2-3.6m。具有社交约束的机器人路径规划模块包括以下步骤：
1.当行人之间距离大于一定阈值时，该阈值一般设为3.6m，即当行人之间距离大于3.6米时，判定当前行人之间无交互。此时，根据行人预测轨迹建立行人的个人安全空间包括如下步骤：
1.1)首先，在gazebo中搭建如图5所示的机器人工作的室内大厅仿真环境，通过栅格法建立仿真环境的栅格地图；设定机器人在环境中的起始点，添加两个以上的行人模型，并对行人模型进行实时检测跟踪并预测，得到行人模型未来时刻的坐标轨迹；
1.2)在已知行人下一时刻可能的运动轨迹后，需要通过预测轨迹建立行人安全空间。首先，行人安全空间映射在栅格地图上近似一个动态组合椭圆，如图2所示。该动态组合椭圆包括行人行走的前方是一个根据二维高斯分布
Figure BDA0003412822490000061
确定的一个动态椭圆区域，行人行走的后方是一个半圆区域。
1.3)其中，行人前方的动态椭圆的长轴取决于
Figure BDA0003412822490000071
即预测的行人轨迹长度，当行人速度越快，预测的轨迹长度越长，行人前方的椭圆越扁，
Figure BDA0003412822490000072
决定行人左右两侧的安全距离，一般取0.45m。f(x，y)表示不同速度下的行人空间大小，xo，yo分别表示行人当前的位置；
2.当行人之间距离小于3.6m时，判定当前行人之间可能交互。此时，将行人的安全空间合并为行人交互空间，在行人周围建立机器人不可通行的交互空间；
3.将步骤1，步骤2得到的行人安全空间和行人交互空间融入路径规划的代价地图，使其作为障碍物出现在机器人路径规划的栅格地图中；采用A*算法进行全局路径规划，规划出一条从起点到目标点的最短路径；采用动态窗口法进行局部路径规划，使机器人在运动过程中对行人的安全空间和交互空间合理避让，从而保证了行人运动的安全性和舒适性。运行gazebo中创建的如图5所示的室内大厅仿真环境，启动rviz，显示该仿真环境的轮廓。使用rviz的2D nav goal工具标定完目标点之后，会在地图中生成规划好的路径，如图6所示。该路径能够及时规避环境中的障碍物与行人，规划出一条安全无碰撞的路径。当环境中有两人以上并行或交互时，机器人能够对行人簇绕行，而不是从中间穿过，如图7所示。

Claims (5)

1.一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，其特征在于，本发明所述的方法是由两个模块实现的，具体包括行人实时检测跟踪并预测模块，以及具有社交约束的机器人路径规划模块，其中：
所述的行人实时检测跟踪并预测模块，通过深度相机实时检测跟踪场景中每个行人的位置信息，实时预测每个人在下一时刻可能的运动轨迹；
所述的具有社交约束的机器人路径规划模块，接收行人实时检测跟踪并预测模块的结果，即预测的行人未来轨迹，根据预测的轨迹在行人周围建立机器人不可通行的安全空间；根据不同行人之间的距离及其预测轨迹，在距离相近的行人周围建立机器人不可通行的社交空间，以增加机器人运动的预判性和社交约束属性。
2.根据权利要求1所述的一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，其特征在于，所述的行人实时检测跟踪并预测模块具体工作过程如下：
S1.搭建YOLOv5_DeepSort网络，YOLOv5_DeepSort网络由YOLOv5网络和DeepSort网络构成；使用公开数据集对YOLOv5_DeepSort进行预训练，保存训练好的权重文件用于行人的实时检测与跟踪；采用RealSense D435深度相机向YOLOv5_DeepSort网络实时输入数据，加载已保存的权重文件，然后通过YOLOv5_DeepSort的YOLOv5网络部分对场景中的行人目标进行实时检测，得到行人目标的检测框，DeepSort部分以YOLOv5输出的行人检测结果为输入，对行人在每一时刻的位置进行跟踪并更新位置信息；
S2.将DeepSort得到的行人在每一时刻的位置由像素坐标转换为世界坐标，得到行人的轨迹序列；
S3.预训练Social GAN网络，Social GAN网络包括生成器和判别器，然后将S2中观测到的行人最近t个时刻的轨迹序列输入训练完成的Social GAN网络中的生成器，通过对输入的轨迹进行非线性运算，提取行人的位移状态向量，预测未来T个时刻行人的轨迹序列；所述的判别器用于在预训练过程中，对输入的真实轨迹与预测轨迹进行真假判别，通过计算网络的损失函数，优化生成器和判别器的各层网络，生成器和判别器交替训练，直至生成器输出的预测轨迹可以模拟真实轨迹。
3.根据权利要求2所述的一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，其特征在于，进一步的S2具体包括，以S1步骤中跟踪到的每一时刻的检测框中心点像素坐标代替行人检测框，得到每个行人在时间上的像素坐标序列，记录每个行人的编号和像素坐标序列，将每一帧的像素坐标与行人的深度信息进行帧间匹配，用于将行人像素坐标转换为世界坐标；将相机位置设为世界坐标系的原点，此时，相机坐标等于世界坐标。通过相机的内参将像素坐标转换为图像坐标再转换到相机坐标，即可实时获取行人的相机坐标，即世界坐标。
4.根据权利要求1所述的一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，其特征在于，所述的具有社交约束的机器人路径规划模块具体工作过程如下：
S4.当场景中的行人之间的距离大于一定阈值时，说明行人之间无交互的可能性，此时，根据预测的每个行人未来T个时刻的轨迹长度，在每个行人周围建立机器人不可通行的安全空间，以此增加机器人路径规划时的预判性；
S5.当场景中的行人之间的距离小于一定阈值时，说明行人之间有交互的可能性，此时，将S4步骤中的每个行人的安全空间合并为行人交互空间，在多个行人之间建立机器人不可通行的交互空间，以此增加机器人路径规划时的社交约束属性；
S6.将S4步骤中的行人安全空间和S5步骤中的行人交互空间融入路径规划的代价地图，使其作为障碍物出现在机器人路径规划的栅格地图中；采用A*算法进行全局路径规划，规划出一条从起点到目标点的最短路径；采用动态窗口法进行局部路径规划，使机器人在运动过程中对行人的安全空间和交互空间合理避让，从而保证了行人运动的安全性和舒适性。
5.根据权利要求4所述的一种基于行人轨迹预测与社交约束的移动机器人路径规划方法，其特征在于：进一步的，S4中不可通行的安全空间指动态组合椭圆，包括前向的半个动态椭圆和后面的半个圆，其中，前向的半个动态椭圆位于行人行走的前方，是一个根据二维高斯分布确定的一个动态椭圆区域，后面的半个圆位于行人行走的后方，是一个半圆区域。前向的动态椭圆区域表示如下，
Figure FDA0003412822480000021
其中，行人前方的动态椭圆的长轴取决于
Figure FDA0003412822480000022
即预测的行人轨迹长度，
Figure FDA0003412822480000023
决定行人左右两侧的安全距离，为设定值，f(x，y)表示不同速度下的行人空间大小，x0，y0分别表示行人当前的位置。
CN202111536731.4A 2021-12-15 2021-12-15 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法 Pending CN113985897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111536731.4A CN113985897A (zh) 2021-12-15 2021-12-15 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111536731.4A CN113985897A (zh) 2021-12-15 2021-12-15 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法

Publications (1)

Publication Number Publication Date
CN113985897A true CN113985897A (zh) 2022-01-28

Family

ID=79733885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111536731.4A Pending CN113985897A (zh) 2021-12-15 2021-12-15 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法

Country Status (1)

Country Link
CN (1) CN113985897A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612933A (zh) * 2022-03-11 2022-06-10 电子科技大学 单目社交距离检测追踪方法
CN115129049A (zh) * 2022-06-17 2022-09-30 广东工业大学 一种具有社交意识的移动式服务机器人路径规划系统和方法
CN115164931A (zh) * 2022-09-08 2022-10-11 南开大学 一种盲人出行辅助系统、方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110285813A (zh) * 2019-07-01 2019-09-27 东南大学 一种室内移动机器人人机共融导航装置及方法
CN110488811A (zh) * 2019-07-22 2019-11-22 上海有个机器人有限公司 一种基于社交网络模型的机器人对行人轨迹预测的方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN111339867A (zh) * 2020-02-18 2020-06-26 广东工业大学 一种基于生成对抗网络的行人轨迹预测方法
CN112766561A (zh) * 2021-01-15 2021-05-07 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN113538506A (zh) * 2021-07-23 2021-10-22 陕西师范大学 基于全局动态场景信息深度建模的行人轨迹预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110285813A (zh) * 2019-07-01 2019-09-27 东南大学 一种室内移动机器人人机共融导航装置及方法
CN110488811A (zh) * 2019-07-22 2019-11-22 上海有个机器人有限公司 一种基于社交网络模型的机器人对行人轨迹预测的方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN111339867A (zh) * 2020-02-18 2020-06-26 广东工业大学 一种基于生成对抗网络的行人轨迹预测方法
CN112766561A (zh) * 2021-01-15 2021-05-07 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN113538506A (zh) * 2021-07-23 2021-10-22 陕西师范大学 基于全局动态场景信息深度建模的行人轨迹预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612933A (zh) * 2022-03-11 2022-06-10 电子科技大学 单目社交距离检测追踪方法
CN115129049A (zh) * 2022-06-17 2022-09-30 广东工业大学 一种具有社交意识的移动式服务机器人路径规划系统和方法
CN115164931A (zh) * 2022-09-08 2022-10-11 南开大学 一种盲人出行辅助系统、方法及设备

Similar Documents

Publication Publication Date Title
CN113985897A (zh) 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法
Li et al. Building and optimization of 3D semantic map based on Lidar and camera fusion
US11900536B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
Krantz et al. Waypoint models for instruction-guided navigation in continuous environments
CN110737968B (zh) 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
Lu et al. SUPER: A novel lane detection system
CN104374395A (zh) 基于图的视觉slam方法
Saroya et al. Online exploration of tunnel networks leveraging topological CNN-based world predictions
CN102663775A (zh) 面向低帧率视频的目标跟踪方法
CN112097769A (zh) 仿信鸽脑-海马的无人机同时定位与建图导航系统及方法
Kanezaki et al. Goselo: Goal-directed obstacle and self-location map for robot navigation using reactive neural networks
CN112541449A (zh) 一种基于无人机航拍视角的行人轨迹预测方法
Bera et al. The emotionally intelligent robot: Improving social navigation in crowded environments
CN115861383A (zh) 一种拥挤空间下多信息融合的行人轨迹预测装置及方法
Hoffmann et al. Autonomous indoor exploration with an event-based visual SLAM system
Zeng et al. Deep reinforcement learning for next-best-view planning in agricultural applications
CN115272712A (zh) 一种融合运动目标分析的行人轨迹预测方法
Liu et al. An efficient spatial–temporal model based on gated linear units for trajectory prediction
CN113433937B (zh) 基于启发式探索的分层导航避障系统、分层导航避障方法
Ginerica et al. Observenet control: A vision-dynamics learning approach to predictive control in autonomous vehicles
Katuwandeniya et al. Multi-modal scene-compliant user intention estimation in navigation
CN111975775B (zh) 基于多角度视觉感知的自主机器人导航方法及系统
Narayanan et al. Ewarenet: Emotion-aware pedestrian intent prediction and adaptive spatial profile fusion for social robot navigation
CN115457081A (zh) 一种基于图神经网络的分层融合式预测方法
CN114898275A (zh) 一种学生活动轨迹分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination