CN115797397B - 一种机器人全天候自主跟随目标人员的方法及系统 - Google Patents
一种机器人全天候自主跟随目标人员的方法及系统 Download PDFInfo
- Publication number
- CN115797397B CN115797397B CN202211102168.4A CN202211102168A CN115797397B CN 115797397 B CN115797397 B CN 115797397B CN 202211102168 A CN202211102168 A CN 202211102168A CN 115797397 B CN115797397 B CN 115797397B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- personnel
- target
- following
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 10
- 238000013145 classification model Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Manipulator (AREA)
Abstract
本发明公开了一种机器人全天候自主跟随目标人员的方法及系统，该方法包括：获取机器人视野的图像和激光点云数据，日间跟随模式中，基于获取的图像，确定目标人员，获取包围目标人员的感兴趣区域；通过坐标系变换，获取感兴趣区域对应的点云区域，进而获得目标人员点云，确定目标人员初始位置，基于卡尔曼滤波算法预测目标人员下一时刻的目标位置，控制机器人移动，实现自主跟随；夜间跟随模式中，基于日间跟随模式所确定的目标人员点云，进行持续跟随。本发明通过融合图像数据和激光雷达点云数据，根据日间跟随模式中确定的目标人员点云数据，实现夜间基于点云数据的目标人员精准跟随，进而实现机器人全天候目标人员自主稳定跟随。
Description
技术领域
本发明涉及机器人控制技术领域，尤其涉及一种机器人全天候自主跟随目标人员的方法及系统。
背景技术
随着科技的进步和发展，服务机器人逐渐成为机器人技术应用最具发展前景的领域，人们对具备跟随功能的服务机器人的需求也越来越大。通过运用人员检测与跟随技术，可以定位人员不同位置和匹配不同时间的运动轨迹，提取丰富的时空信息，使得机器人可以在多种应用场景中提供帮助，比如战场救援、医疗看护、居家陪护和跟随人员运输物品等。
全天候自主跟随机器人作为一门涉及机器人运动控制、计算机视觉、传感器数据融合和机器学习等众多科研领域的系统性学科技术，是当前机器人研究领域的热门研究方向之一。人员跟随任务是指给定初始目标人员及其位置，通过前一帧图像中目标人员的位置及其运动的方向、速度等信息预测下一帧图像中目标人员的位置、速度和方向，从而实现对目标人员的准确定位与持续跟踪。在目标人员跟随过程中，常常会由于目标人员被遮挡或离开了机器人视野而导致机器人跟随目标丢失，跟随任务失败；而人员重识别的任务就是在目标丢失后对视野中所有人员进行检测并重新识别出丢失的目标人员，从而实现机器人继续跟随。
现有的机器人通常使用单目相机、双目相机或激光雷达等传感器以图像或三维点云的形式获取外部数据，并采用多种算法对数据进行处理和计算，以实现特定场景任务。
中国专利(申请号为202110881571.0)公开了一种移动机器人的目标人员跟随控制方法及系统，该系统采用单目相机获取目标人员的图像，通过检测目标的关节关键点进行跟随，并使用深度学习进行人员重识别。由于该系统仅依赖单目相机对目标人员进行检测与识别，无法在夜间工作，因此，该系统无法实现目标人员的夜间跟随，且该系统对于目标人员的位置估计准确度较低；中国专利(申请号为202010005542.3)公开了一种目标跟随机器人及跟随方法，该系统采用单目相机与激光雷达进行数据融合，通过训练神经网络模型对图像特征进行识别，根据识别结果赋予三维点云的特征信息，根据三维点云的特征进行目标识别与跟随。然而，在该方法中三维点云的特征高度依赖图像识别的结果，在夜间若由于光照条件导致相机失效，则目标跟随机器人系统将无法正常工作。
也就是说，现有的机器人在自主跟随目标人员的过程中，均需要依赖相机获取图像，虽然相机能够提供稠密的纹理与色彩信息，便于目标人员的识别，但是相机容易受环境光照变化的影响且无法在夜间工作，进而导致无法基于图像识别目标人员，因此，现有机器人难以实现目标人员的夜间跟随。
发明内容
为解决上述现有技术的不足，本发明提供了一种机器人全天候自主跟随目标人员的方法及系统，通过融合图像数据和激光雷达点云数据，弥补各自的感知缺陷，稳定且鲁棒的获取目标人员的位置信息，根据日间跟随模式中确定的目标人员点云数据，实现夜间基于点云数据的目标人员精准跟随，在夜间跟随的过程中仅依赖点云数据而并不依赖图像识别，进而实现机器人的全天候目标人员自主稳定、精准跟随。
第一方面，本发明提供了一种机器人全天候自主跟随目标人员的方法，包括以下步骤：
获取机器人视野的图像和激光点云数据，根据图像自动切换日间或夜间跟随模式；
日间跟随模式中，基于获取的图像识别图像中所有人员的关节位置，确定目标人员，获取包围目标人员的感兴趣区域；对图像中的感兴趣区域进行坐标系变换，获取感兴趣区域对应的点云区域；对点云区域进行预处理，获得目标人员点云，进而确定目标人员初始位置，基于卡尔曼滤波算法预测目标人员下一时刻的目标位置，基于该目标位置控制机器人移动，实现自主跟随；
夜间跟随模式中，基于日间跟随模式所确定的目标人员点云，进行持续跟随。
进一步的技术方案，所述根据图像自动切换日间或夜间跟随模式，具体为：计算获取的图像中灰度值小于80的像素占比，当该占比小于等于设定阈值时，自动进入日间跟随模式，否则自动切换进入夜间跟随模式。
进一步的技术方案，所述基于获取的图像识别图像中所有人员的关节位置，确定目标人员，获取包围目标人员的感兴趣区域，具体为：
识别获取的图像中所有人员的关节位置，通过关节位置检测机器人视野中所有人员的动作，以特定动作来识别并确定目标人员；
识别目标人员关节位置，计算出包围该目标人员的矩形边界框，并以此矩形边界框内的区域作为感兴趣区域。
进一步的技术方案，所述对点云区域进行预处理，获得目标人员点云，具体为：
将点云区域中超出相机探测距离的点视为无效点进行分割，去除背景点；
通过将沿着机器人运动方向的点云均匀划分为若干分段，并在每个分段上分别应用地平面拟合算法，以此分割存在坡度变化的地面，去除地面点云；
通过欧式聚类算法进行点云聚类，获得目标人员点云，其中，欧式聚类算法的搜索半径随垂直扫描角度的增大而增大。
进一步的技术方案，还包括：
日间跟随模式中，当跟随目标人员丢失时，基于获取的图像，识别图像中所有人员的关节位置，获取所有包围识别人员的感兴趣区域，提取各感兴趣区域中的人员特征，基于该人员特征，识别图像中的目标人员和其他人员，进而确定目标人员。
进一步的技术方案，还包括：
夜间跟随模式中，当跟随目标人员丢失时，基于获取的激光点云数据，提取出每个人员的点云及点云特征，基于该点云特征，识别点云数据中目标人员和其他人员的点云数据，进而确定目标人员。
第二方面，本发明提供了一种机器人全天候自主跟随目标人员的系统，包括：
数据获取模块，用于获取机器人视野的图像和激光点云数据；
人员识别模块，用于基于获取的图像识别图像中所有人员的关节位置，确定目标人员，获取包围目标人员的感兴趣区域；
图像-点云转换模块，用于对图像中的感兴趣区域进行坐标系变换，获取感兴趣区域对应的点云区域；
点云预处理模块，用于基于点云区域，计算获得目标人员点云；
人员跟踪模块，用于根据目标人员点云确定目标人员初始位置，基于卡尔曼滤波算法预测目标人员下一时刻的目标位置；
人员跟随模块，用于根据目标人员下一时刻的目标位置控制机器人移动，实现自主跟随。
进一步的技术方案，还包括图像人员重识别模块和点云人员重识别模块；
所述图像人员重识别模块包括图像特征提取器和图像目标人员分类器，所述图像人员重识别模块，用于基于人员识别模块获取的图像中所有包围识别人员的感兴趣区域，通过图像特征提取器提取各感兴趣区域中的人员特征，基于该人员特征，通过在线训练的图像目标人员分类器识别图像中的目标人员和其他人员，进而确定目标人员；
所述点云人员重识别模块包括人员检测模型和人员分类模型，所述人员分类模型包括点云特征提取器和点云目标人员分类器，所述点云人员重识别模块，用于基于获取的激光点云数据，通过人员检测模型提取出每个人员的点云，通过点云特征提取器提取每个人员的点云特征，通过在线训练的点云目标人员分类器识别点云数据中目标人员和其他人员的点云数据，进而确定目标人员。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种机器人全天候自主跟随目标人员的方法及系统，通过融合图像数据和激光雷达点云数据，弥补各自的感知缺陷，稳定且鲁棒的获取目标人员的位置信息，根据日间跟随模式中确定的目标人员点云数据，实现夜间基于点云数据的目标人员精准跟随，在夜间跟随的过程中仅依赖点云数据而并不依赖图像识别，进而实现机器人的全天候目标人员自主稳定、精准跟随。
2、本发明所提供的机器人全天候自主跟随目标人员的方法，在日间跟随模式中，通过图像识别目标人员进行自主跟随，与此同时构建图像与点云之间的关系，以此获取目标人员的点云数据，为后续夜间跟随模式中仅依据激光点云数据即可实现精准跟随奠定基础，实现目标人员的夜间跟随。
3、本发明所提供的机器人全天候自主跟随目标人员的方法，在日间跟随的过程中，不断训练图像人员重识别模块和点云人员重识别模块中的目标人员分类器，避免日间或夜间跟随模式中，当跟随目标人员丢失而导致跟随任务失败的问题。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一所述机器人全天候自主跟随目标人员的方法的流程图；
图2为本发明实施例一中基于图像提取目标人员点云的流程图；
图3为本发明实施例一中相机与激光雷达坐标系变换关系示意图；
图4为本发明实施例一中激光雷达在不同距离上探测到同一人员获取的三维点云示意图；
图5为本发明实施例一中点云人员重识别模块中人员分类网络的结构示意图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种机器人全天候自主跟随目标人员的方法，如图1所示，包括以下步骤：
获取机器人视野的图像和激光点云数据，根据图像自动切换日间或夜间跟随模式；
日间跟随模式中，基于获取的图像识别图像中所有人员的关节位置，确定目标人员，获取包围目标人员的感兴趣区域；对图像中的感兴趣区域进行坐标系变换，获取感兴趣区域对应的点云区域；对点云区域进行预处理，获得目标人员点云，进而确定目标人员初始位置，基于卡尔曼滤波算法预测目标人员下一时刻的目标位置，基于该目标位置控制机器人移动，实现自主跟随；
夜间跟随模式中，基于日间跟随模式下的目标人员点云，进行持续跟随。
本实施例所述方法能够实现全天候的目标人员跟随，具体包括日间跟随和夜间跟随两种自主跟随实现方式，在日间跟随中，基于图像实现精准跟随，并通过在日间跟随过程中，构建图像与点云之间的关系，基于图像的识别结果训练基于点云的人员识别，以此提高后续夜间跟随的准确性。
首先，通过数据获取模块获取机器人视野的图像和激光点云数据，该数据获取模块包括单目相机、激光雷达等，通过单目相机获取机器人视野的图像，通过激光雷达获取图像相对应的激光点云数据。相机能够提供稠密的纹理与色彩信息，但是容易受环境光照变化的影响且无法在夜间工作，而激光雷达不受季节、光照条件的影响，能够提供准确的三维位置信息，但其点云数据相对稀疏，难以获取细节丰富的场景信息。因此，仅依赖单一传感器通常无法满足目标人员跟随需求，通过融合相机与激光雷达数据可以弥补各自的感知缺陷，从而实现在全天候条件下对特定人员自主跟随。
通过下式可以计算图像RGB像素的灰度值：
Gray＝R*0.299+G*0.587+B*0.114
当相机获取的图像中灰度值小于80的像素比例小于等于85％时，自动进入日间跟随模式；当相机获取的图像中灰度值小于80的像素比例大于85％时，进入夜晚或光线不足的环境，此时会自动切换到夜间跟随模式。
在日间跟随模式中，基于获取的图像，通过人员识别模块进行目标人员的识别与确定。具体的，该人员识别模块包括一个预先训练完成的基于深度卷积神经网络的人体探测器，通过该人体探测器识别图像中所有人员的关节位置，通过关节位置检测机器人视野中所有人员的动作，以特定动作来识别并确定目标人员，如：以举起右手超过三秒的特定动作来识别目标人员，此外，在机器人自主跟随的过程中，其他非目标人员也可以通过该特定动作使机器人变更跟随目标。在确定自主跟随的目标人员后，根据人员识别模块识别的目标人员关节位置，包括脚踝、手肘、颈部等部位的关节位置信息，计算出包围该目标人员的矩形边界框，并以此矩形边界框内的区域作为感兴趣区域(ROI)。
之后，如图2所示，将确定的图像中的感兴趣区域输入到图像-点云转换模块中，对图像中的感兴趣区域进行坐标系变换。图像-点云转换模块将该处于图像坐标系下的感兴趣区域转换到雷达坐标系下，获得感兴趣区域对应的锥形点云区域。
实际上，上述图像-点云转换就是图像坐标系和雷达坐标系的坐标转换，而该坐标转换需要对激光雷达坐标与图像坐标进行准确地联合标定，以此实现图像和激光雷达点云数据的融合。如图3所示，激光雷达采集的点云数据通常为雷达坐标系下的一组坐标(x,y,z)，相机采集的图像数据通常为图像坐标系下的一组像素点(u,v)坐标，这两种数据之间的转换关系为：
上式中，R为激光雷达坐标系与相机坐标系之间的旋转变换矩阵，T表示两个坐标系之间的平移转换关系，K为相机的内参矩阵，具体为：
上式中，dx和dy分别表示每个像素在图像平面上的物理尺寸，(u0,v0)表示图像坐标系下的原点坐标，f为相机焦距。
也就是说，激光雷达坐标系下的任一探测点坐标(x,y,z)首先通过R和T矩阵变换到相机坐标系，之后，通过K矩阵变换到图像坐标系，从而得到对应的坐标(u,v)。同样，图像坐标系下的任一像素点坐标(u,v)首先通过相机内参矩阵K变换到相机坐标系，然后通过外参矩阵R和T变换到激光雷达坐标系，从而得到对应的坐标(x,y,z)。通过相机和激光雷达的联合标定以及相机标定，获得准确的外参R和T矩阵与相机内参矩阵K，为图像-点云转换模块中感兴趣区域在图像坐标系和激光雷达坐标系下的坐标变换奠定基础。
通过图像-点云转换模块获取感兴趣区域对应的锥形点云区域后，将该获取的锥形点云区域输入到点云预处理模块中，对锥形点云区域进行预处理，获得目标人员点云。
上述获取的锥形点云区域中包含目标人员、地面点云以及大量的背景点，由于相机的探测距离有限，因此，可以将锥形区域中超出相机探测距离的点(如背景点)视为无效点进行分割，从而减少后续计算。
剩余点云中大部分为地面点云，去除这些点云可以大大减少后续计算中涉及的点数。一般来说，单一的平面模型不足以表示真实的地面，因为地面点并不能形成一个完美的平面，在大多数情况下，地面呈现出需要检测的坡度变化。通过将沿着机器人运动方向(x轴)的点云均匀划分为若干分段，并在每个分段上分别应用地平面拟合算法，以此分割存在坡度变化的地面，去除地面点云。
最后，通过点云聚类获得目标人员点云。点云聚类是指把除地面外的不同物体的点云分别组合聚集起来，形成多个点集，那么，每一个点集就可以代表一个物体对象以及它的大小范围。本实施例采用欧式聚类算法对去除地面点云后的剩余点云进行聚类。欧式聚类是指基于点之间的欧式距离对点云进行聚类，三维空间中两点之间的欧式距离表示如下：
上述欧式聚类的过程如下：
(1)首先选取种子点，对种子点进行搜索半径r的邻域搜索，若邻域内存在点，则与种子点归为同一聚类簇Q；
(2)在聚类簇Q中选取新的种子点，继续执行步骤(1)，若Q中点数不再增加，则Q聚类结束；
(3)设置聚类点数阈值区间，若聚类簇Q中点数在阈值区间内，则保存聚类结果；
(4)在剩余点云中选取新的种子点，继续执行以上步骤，直到遍历完成点云中所有点。
考虑到基于欧式距离的聚类在具体实施过程中难以实现精确提取，如果搜索半径r太小，则会将单个对象分割为多个类；如果过高，多个对象可能合并到一个类中，而且特别是由于激光雷达存在垂直角分辨率，如图4所示，数据点之间的垂直距离会随着激光雷达扫描范围的变化而产生很大的改变，距离激光雷达中心越远的位置点云越稀疏，因此，为了在不同范围内获得相同的聚类效果，搜索半径r需要随着垂直扫描角度的增大而增大。本实施例给出了一种确定搜索半径的自适应方法，即根据不同的扫描角度，确定搜索半径r：
上式中，d为激光雷达点云的探测距离，θ为激光雷达的垂直角分辨率。
实际上，根据上式可知，r可看作是激光雷达的两个相邻扫描激光点之间的垂直距离，以此作为欧式聚类的搜索半径可以有效改善点之间的垂直距离随着雷达的扫描范围而变化的问题，达到很好的聚类效果。
此外，对欧式聚类得到的所有点集进行尺寸限制与距离限制，可以得到干净且不含背景点的目标人员点云。
在确定目标人员点云后，通过人员跟踪模块根据目标人员点云确定目标人员初始位置，具体的，通过下述公式计算目标人员点云的质心Pc：
上式中，n为目标人员点云中数据点的个数，(xi,yi,zi)为目标人员点云中数据点的三维坐标，(xc,yc,zc)为质心的三维坐标，其中，(xc,yc)也就是目标人员在现实世界中的位置。
在本实施例中，以坐标(xc,yc)作为人员跟踪模块的目标人员初始位置，并在跟随过程中使用卡尔曼滤波算法预测目标人员在下一时刻(即下一帧图像)中可能出现的位置，即目标位置，以提高跟踪过程的鲁棒性，通过上述方法不断更新获得目标位置信息，并将目标位置输入人员跟随模块中，人员跟随模块根据目标人员下一时刻的目标位置控制机器人移动，从而实现机器人对目标人员的稳定自主跟随。
在上述日间跟随模式中，还包括：当跟随目标人员丢失时，基于获取的图像，识别图像中所有人员的关节位置，获取所有包围识别人员的感兴趣区域，提取各感兴趣区域中的人员特征，基于该人员特征，识别图像中的目标人员和其他人员，进而确定目标人员。
具体的，上述图像人员重识别的过程基于图像人员重识别模块实现，该图像人员重识别模块包括基于深度卷积神经网络的图像特征提取器(即图像特征提取网络)和图像目标人员分类器。其中，该图像特征提取网络采用卷积通道特征，它由若干预先训练好的深层卷积神经网络的卷积层组成，即该图像特征提取网络为预先离线训练好的，其能够提取输入图像中人员的特征并生成特征图。
上述基于深层卷积神经网络的特征提取网络预先训练完成，能够基于输入的图像中包围识别人员的感兴趣区域，提取感兴趣区域中各人员的外观特征，用于在线训练图像目标人员分类器；该图像目标人员分类器采用online boosting算法，具有很强的适应能力，能够根据深层卷积神经网络提取的特征将图像中的人员准确分类为目标人员和其他人员。在跟随目标丢失时，该分类器可以对目标人员进行及时的重识别，以便机器人对其继续跟随，且该分类器通过在线训练得到，能够适应不同的跟随目标。
也就是说，在日间跟随模式中，通过人员识别模块进行目标人员识别与确定，在此过程中，该人员识别模块识别图像中所有人员的关节位置，针对每个识别人员，以每个包围识别人员的区域为感兴趣区域，并标注每个感兴趣区域为目标人员或其他人员，输入到图像人员重识别模块中，通过特征提取网络提取每个感兴趣区域的人员特征，以提取的目标人员的特征为正样本，以提取的其他人员的特征为负样本，在线训练图像目标人员分类器。
当跟随目标人员丢失时，基于获取的图像，识别图像中所有人员的关节位置，获取所有包围识别人员的感兴趣区域，通过训练完成的图像特征提取器提取各感兴趣区域中的人员特征，基于该人员特征，通过在线训练的图像目标人员分类器识别图像中的目标人员和其他人员，实现图像中人员的分类识别，实现目标人员的识别。
在机器人全天候自主跟随目标人员的过程中，随着采集图像灰度值的变化，由日间跟随模式进入夜间跟随模式，在夜间跟随模式中，基于日间跟随模式下的目标人员点云，进行持续跟随。即，在目标人员丢失前，继续根据日间跟随时跟随的点云簇计算的目标人员位置，进行持续跟随。
在上述夜间跟随模式中，还包括：当跟随目标人员丢失时，基于获取的激光点云数据，提取出每个人员的点云及点云特征，基于该点云特征，识别点云数据中目标人员和其他人员的点云数据，进而确定目标人员。
具体的，点云预处理模块将视野中的所有点云进行预处理(距离裁剪、地面分割与聚类)后，将聚类后的点云输入到点云人员重识别模块中，点云人员重识别模块包括人员检测模型和人员分类模型，通过人员检测模型提取出每个人员的点云数据，并将其输入到人员分类模块中，人员分类模块提取每个人员的点云特征，并以此判断出其中的目标人员，实现目标人员的重识别，从而保证了机器人在夜间对目标的稳定跟随。
上述人员检测模型基于支持向量机实现，采用预先离线训练完成的支持向量机模型，即该人员检测模型为预先离线训练好的，能够快速并准确的检测出输入点云中的所有人员并提取出每个人员的点云。上述人员分类模型包括离线训练好的点云特征提取器(即点云特征提取网络)和点云目标人员分类器。如图5所示，点云特征提取网络基于预先离线训练完成的暹罗网络实现，该网络采用多个多层感知机与最大池化层进行点云特征提取，能够根据提取的点云特征判断输入的两个人员点云是否属于同一人；点云特征提取器提取所有人员的点云特征并将该点云特征输入点云目标人员分类器中，基于日间跟随模式中点云预处理模块标注的目标人员点云，以提取的目标人员的点云特征为正样本，以提取的其他人员的点云特征为负样本，在线训练点云目标人员分类器，以此实现基于点云的人员分类识别，实现目标人员的识别。同样，该在线点云目标人员分类器同样采用onlineboosting算法，能够根据点云特征提取器提取的特征判断输入的点云是否属于目标人员。
也就是说，在日间跟随的过程中，人员识别模块将目标人员区域作为感兴趣区域ROI输入到图像-点云转换模块，图像-点云转换模块将该目标人员区域的图像转换为相应的包含目标人员的点云，将该点云输入到点云预处理模块，获取目标人员的点云；点云人员重识别模块通过人员检测模型提取所有点云中的人员点云，基于上述识别的目标人员点云，标注所有人员点云的类型，即标注目标人员点云和其他人员点云；通过人员分类模型中的点云特征提取器提取每个人员点云的特征，以提取的目标人员的点云特征为正样本，以提取的其他人员的点云特征为负样本，训练点云目标人员分类器，提高分类准确率。
当跟随目标人员丢失时，基于获取的激光点云数据，通过人员检测模型提取出每个人员的点云，通过点云特征提取器提取每个人员的点云特征，通过在线训练的点云目标人员分类器识别点云数据中目标人员和其他人员的点云数据，进而确定目标人员，实现基于点云的目标人员的分类识别，提高分类的准确性。
通过本实施例所述方案，不管是在白天还是夜间，利用图像数据和/或激光雷达数据均可以实现稳定且鲁棒地输出目标人员在机器人坐标系中的位置，之后机器人以该目标人员位置信息作为跟随目标点，利用成熟的导航方法实现对该目标点的跟随运动，如采用A*算法生成一条无碰撞的跟随路径，而利用动态窗口法计算跟随这条路径的期望控制量，从而保证机器人一直在跟随目标人员运动。
实施例二
本实施例提供了一种机器人全天候自主跟随目标人员的系统，包括：
数据获取模块，用于获取机器人视野的图像和激光点云数据；
人员识别模块，用于基于获取的图像识别图像中所有人员的关节位置，确定目标人员，获取包围目标人员的感兴趣区域；
图像-点云转换模块，用于对图像中的感兴趣区域进行坐标系变换，获取感兴趣区域对应的点云区域；
点云预处理模块，用于基于点云区域，计算获得目标人员点云；
人员跟踪模块，用于根据目标人员点云确定目标人员初始位置，基于卡尔曼滤波算法预测目标人员下一时刻的目标位置；
人员跟随模块，用于根据目标人员下一时刻的目标位置控制机器人移动，实现自主跟随。
进一步的，上述系统还包括图像人员重识别模块，所述图像人员重识别模块包括图像特征提取器和图像目标人员分类器，所述图像人员重识别模块，用于基于人员识别模块获取的图像中所有包围识别人员的感兴趣区域，通过图像特征提取器提取各感兴趣区域中的人员特征，基于该人员特征，通过在线训练的图像目标人员分类器识别图像中的目标人员和其他人员，进而确定目标人员；
进一步的，上述系统还包括点云人员重识别模块，所述点云人员重识别模块包括人员检测模型和人员分类模型，所述人员分类模型包括点云特征提取器和点云目标人员分类器，所述点云人员重识别模块，用于基于获取的激光点云数据，通过人员检测模型提取出每个人员的点云，通过点云特征提取器提取每个人员的点云特征，通过在线训练的点云目标人员分类器识别点云数据中目标人员和其他人员的点云数据，进而确定目标人员。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的机器人全天候自主跟随目标人员的方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的机器人全天候自主跟随目标人员的方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (8)
1.一种机器人全天候自主跟随目标人员的方法，其特征是，包括以下步骤：
获取机器人视野的图像和激光点云数据，根据图像自动切换日间或夜间跟随模式；
日间跟随模式中，基于获取的图像识别图像中所有人员的关节位置，确定目标人员，获取包围目标人员的感兴趣区域，具体为：
识别获取的图像中所有人员的关节位置，通过关节位置检测机器人视野中所有人员的动作，以特定动作来识别并确定目标人员；
识别目标人员关节位置，计算出包围该目标人员的矩形边界框，并以此矩形边界框内的区域作为感兴趣区域；
对图像中的感兴趣区域进行坐标系变换，获取感兴趣区域对应的点云区域；对点云区域进行预处理，获得目标人员点云，进而确定目标人员初始位置，具体为：将点云区域中超出相机探测距离的点视为无效点进行分割，去除背景点；
通过将沿着机器人运动方向的点云均匀划分为若干分段，并在每个分段上分别应用地平面拟合算法，以此分割存在坡度变化的地面，去除地面点云；
通过欧式聚类算法进行点云聚类，获得目标人员点云，其中，欧式聚类算法的搜索半径随垂直扫描角度的增大而增大；
基于卡尔曼滤波算法预测目标人员下一时刻的目标位置，基于该目标位置控制机器人移动，实现自主跟随；
日间跟随模式中，当跟随目标人员丢失时，基于获取的图像，识别图像中所有人员的关节位置，获取所有包围识别人员的感兴趣区域，提取各感兴趣区域中的人员特征，基于该人员特征，识别图像中的目标人员和其他人员，进而确定目标人员；
夜间跟随模式中，基于日间跟随模式所确定的目标人员点云，进行持续跟随。
2.如权利要求1所述的机器人全天候自主跟随目标人员的方法，其特征是，所述根据图像自动切换日间或夜间跟随模式，具体为：计算获取的图像中灰度值小于80的像素占比，当该占比小于等于设定阈值时，自动进入日间跟随模式，否则自动切换进入夜间跟随模式。
3.如权利要求1所述的机器人全天候自主跟随目标人员的方法，其特征是，所述对点云区域进行预处理，获得目标人员点云，具体为：
将点云区域中超出相机探测距离的点视为无效点进行分割，去除背景点；
通过将沿着机器人运动方向的点云均匀划分为若干分段，并在每个分段上分别应用地平面拟合算法，以此分割存在坡度变化的地面，去除地面点云；
通过欧式聚类算法进行点云聚类，获得目标人员点云，其中，欧式聚类算法的搜索半径随垂直扫描角度的增大而增大。
4.如权利要求1所述的机器人全天候自主跟随目标人员的方法，其特征是，还包括：
夜间跟随模式中，当跟随目标人员丢失时，基于获取的激光点云数据，提取出每个人员的点云及点云特征，基于该点云特征，识别点云数据中目标人员和其他人员的点云数据，进而确定目标人员。
5.一种机器人全天候自主跟随目标人员的系统，其特征是，包括：
数据获取模块，用于获取机器人视野的图像和激光点云数据，根据图像自动切换日间或夜间跟随模式；
人员识别模块，用于在日间跟随模式中基于获取的图像识别图像中所有人员的关节位置，确定目标人员，获取包围目标人员的感兴趣区域，具体为：
识别获取的图像中所有人员的关节位置，通过关节位置检测机器人视野中所有人员的动作，以特定动作来识别并确定目标人员；
识别目标人员关节位置，计算出包围该目标人员的矩形边界框，并以此矩形边界框内的区域作为感兴趣区域；
图像-点云转换模块，用于对图像中的感兴趣区域进行坐标系变换，获取感兴趣区域对应的点云区域；
点云预处理模块，用于基于点云区域，计算获得目标人员点云，具体为：将点云区域中超出相机探测距离的点视为无效点进行分割，去除背景点；
通过将沿着机器人运动方向的点云均匀划分为若干分段，并在每个分段上分别应用地平面拟合算法，以此分割存在坡度变化的地面，去除地面点云；
通过欧式聚类算法进行点云聚类，获得目标人员点云，其中，欧式聚类算法的搜索半径随垂直扫描角度的增大而增大；
人员跟踪模块，用于根据目标人员点云确定目标人员初始位置，基于卡尔曼滤波算法预测目标人员下一时刻的目标位置；
人员跟随模块，用于根据目标人员下一时刻的目标位置控制机器人移动，实现自主跟随；
日间跟随模式中，当跟随目标人员丢失时，基于获取的图像，识别图像中所有人员的关节位置，获取所有包围识别人员的感兴趣区域，提取各感兴趣区域中的人员特征，基于该人员特征，识别图像中的目标人员和其他人员，进而确定目标人员；
夜间跟随模式中，基于日间跟随模式所确定的目标人员点云，进行持续跟随。
6.如权利要求5所述的机器人全天候自主跟随目标人员的系统，其特征是，还包括图像人员重识别模块和点云人员重识别模块；
所述图像人员重识别模块包括图像特征提取器和图像目标人员分类器，所述图像人员重识别模块，用于基于人员识别模块获取的图像中所有包围识别人员的感兴趣区域，通过图像特征提取器提取各感兴趣区域中的人员特征，基于该人员特征，通过在线训练的图像目标人员分类器识别图像中的目标人员和其他人员，进而确定目标人员；
所述点云人员重识别模块包括人员检测模型和人员分类模型，所述人员分类模型包括点云特征提取器和点云目标人员分类器，所述点云人员重识别模块，用于基于获取的激光点云数据，通过人员检测模型提取出每个人员的点云，通过点云特征提取器提取每个人员的点云特征，通过在线训练的点云目标人员分类器识别点云数据中目标人员和其他人员的点云数据，进而确定目标人员。
7.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-4中任一项所述的一种机器人全天候自主跟随目标人员的方法的步骤。
8.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-4中任一项所述的一种机器人全天候自主跟随目标人员的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211102168.4A CN115797397B (zh) | 2022-09-09 | 2022-09-09 | 一种机器人全天候自主跟随目标人员的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211102168.4A CN115797397B (zh) | 2022-09-09 | 2022-09-09 | 一种机器人全天候自主跟随目标人员的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797397A CN115797397A (zh) | 2023-03-14 |
| CN115797397B true CN115797397B (zh) | 2024-04-05 |
Family
ID=85431877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211102168.4A Active CN115797397B (zh) | 2022-09-09 | 2022-09-09 | 一种机器人全天候自主跟随目标人员的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797397B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690079A (zh) * | 2023-12-05 | 2024-03-12 | 合肥雷芯智能科技有限公司 | 一种基于图像融合的安防警戒系统及目标检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949375A (zh) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 |
| CN111461023A (zh) * | 2020-04-02 | 2020-07-28 | 山东大学 | 基于三维激光雷达的四足机器人自主跟随领航员的方法 |
| CN112379673A (zh) * | 2020-11-26 | 2021-02-19 | 广东盈峰智能环卫科技有限公司 | 基于单线激光雷达的机器人自跟随方法、装置、机器人 |
| CN113935428A (zh) * | 2021-10-25 | 2022-01-14 | 山东大学 | 基于图像识别的三维点云聚类识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111352112B (zh) * | 2020-05-08 | 2022-11-29 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
-
2022
- 2022-09-09 CN CN202211102168.4A patent/CN115797397B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949375A (zh) * | 2019-02-02 | 2019-06-28 | 浙江工业大学 | 一种基于深度图感兴趣区域的移动机器人目标跟踪方法 |
| CN111461023A (zh) * | 2020-04-02 | 2020-07-28 | 山东大学 | 基于三维激光雷达的四足机器人自主跟随领航员的方法 |
| CN112379673A (zh) * | 2020-11-26 | 2021-02-19 | 广东盈峰智能环卫科技有限公司 | 基于单线激光雷达的机器人自跟随方法、装置、机器人 |
| CN113935428A (zh) * | 2021-10-25 | 2022-01-14 | 山东大学 | 基于图像识别的三维点云聚类识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797397A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112258618B (zh) | 基于先验激光点云与深度图融合的语义建图与定位方法 | |
| CN112734765B (zh) | 基于实例分割与多传感器融合的移动机器人定位方法、系统及介质 | |
| CN111862201A (zh) | 一种基于深度学习的空间非合作目标相对位姿估计方法 | |
| WO2020103108A1 (zh) | 一种语义生成方法、设备、飞行器及存储介质 | |
| WO2020103109A1 (zh) | 一种地图生成方法、设备、飞行器及存储介质 | |
| CN113223045B (zh) | 基于动态物体语义分割的视觉与imu传感器融合定位系统 | |
| CN106780560B (zh) | 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| Wang et al. | An overview of 3d object detection | |
| Momeni-k et al. | Height estimation from a single camera view | |
| CN113158833A (zh) | 一种基于人体姿态的无人车控制指挥方法 | |
| CN115797397B (zh) | 一种机器人全天候自主跟随目标人员的方法及系统 | |
| CN116486287A (zh) | 基于环境自适应机器人视觉系统的目标检测方法及系统 | |
| CN113591722B (zh) | 一种移动机器人的目标人员跟随控制方法及系统 | |
| CN114549549A (zh) | 一种动态环境下基于实例分割的动态目标建模跟踪方法 | |
| CN113971801A (zh) | 一种基于四类多模态数据融合的目标多维度检测方法 | |
| Sun et al. | Real-time and fast RGB-D based people detection and tracking for service robots | |
| CN113255779A (zh) | 多源感知数据融合识别方法、系统及计算机可读存储介质 | |
| CN117496401A (zh) | 一种用于视频测量影像序列椭圆形目标点全自动识别与跟踪方法 | |
| CN111160231A (zh) | 一种基于Mask R-CNN的自动驾驶环境道路提取方法 | |
| CN116912763A (zh) | 一种融合步态人脸模态的多行人重识别方法 | |
| CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| CN116299525A (zh) | 一种基于点云区域相关性的动态环境rgb-d视觉slam方法 | |
| CN114495109A (zh) | 基于目标与场景文字匹配的抓取机器人及抓取方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |