CN113591722B - 一种移动机器人的目标人员跟随控制方法及系统 - Google Patents

一种移动机器人的目标人员跟随控制方法及系统 Download PDF

Info

Publication number
CN113591722B
CN113591722B CN202110881571.0A CN202110881571A CN113591722B CN 113591722 B CN113591722 B CN 113591722B CN 202110881571 A CN202110881571 A CN 202110881571A CN 113591722 B CN113591722 B CN 113591722B
Authority
CN
China
Prior art keywords
followed
target person
target
middle point
ankle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110881571.0A
Other languages
English (en)
Other versions
CN113591722A (zh
Inventor
宋锐
刘锦浩
陈翔宇
王超群
李贻斌
柴汇
马昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110881571.0A priority Critical patent/CN113591722B/zh
Publication of CN113591722A publication Critical patent/CN113591722A/zh
Application granted granted Critical
Publication of CN113591722B publication Critical patent/CN113591722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明公开了一种移动机器人的目标人员跟随控制方法及系统，获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并根据判断结果对待跟随目标人员进行跟随，或者对待跟随目标人员进行重识别；基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。可以较好地实现移动机器人对目标人员的跟随。

Description

一种移动机器人的目标人员跟随控制方法及系统
技术领域
本发明涉及移动机器人目标跟随技术领域，特别是涉及一种移动机器人的目标人员跟随控制方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
近年来，随着自动控制、传感器技术、人工智能等学科的发展，机器人技术也得到极大地提高。尤其是具有自主跟随能力的移动机器人需求越来越大。移动机器人凭借其运动灵活、结构简单等优势，广泛应用于引导、护理、巡逻等领域。具有人员跟随能力的移动机器人，利用人员识别技术，对指定目标人员进行识别和跟随，省去了用户的操控环节，解放了双手，可以有效提高工作效率。
现有技术方案中，主要采用激光和视觉传感器两种方式来实现机器人的人员跟随，主要存在以下问题：
(1)环境因素。基于结构光的一类视觉传感器，受光照影响较大，在室外环境下，无法使用。
(2)价格限制。激光传感器和双目相机价格往往偏高，且体积、重量偏大，应用于移动机器人会导致成本过高。而单目相机价格低廉，体积小，应用简单。
(3)识别精度。激光传感器虽然能够提供较为精确的距离信息，但只依靠点云数据很难明确区分不同人员。单目相机信息内容丰富，易于识别。
发明内容
为了解决现有技术的不足，本发明提供了一种移动机器人的目标人员跟随控制方法及系统；
第一方面，本发明提供了一种移动机器人的目标人员跟随控制方法；
一种移动机器人的目标人员跟随控制方法，包括：
初始化过程：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
跟随过程：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，就对待跟随目标人员进行跟随；
重识别过程：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回跟随过程；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。
第二方面，本发明提供了一种移动机器人的目标人员跟随控制系统；
一种移动机器人的目标人员跟随控制系统，包括：
初始化模块，其被配置为：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
跟随模块，其被配置为：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，就对待跟随目标人员进行跟随；
重识别模块，其被配置为：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回跟随模块；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。
第三方面，本发明还提供了一种电子设备，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
与现有技术相比，本发明的有益效果是：
本发明提出使用深度学习的方法对目标人员进行检测、识别；基于无迹卡尔曼滤波(UKF)对目标人员进行跟随；提出一种递归神经网络(RNN)对目标人员的ID切换进行控制，保证目标因遮挡重识别后ID不改变。
对单目相机采集的图像进行检测，采用OpenPose算法得到图像中人体的骨骼位置信息，随后基于人体踝关节和颈部关节的位置，利用UKF算法进行跟踪。
当目标人员由于超出视野、遮挡等原因丢失再出现时，进入重识别模块，首先根据CNN算法提取特征，其次通过Online Boosting算法进行在线分类，识别目标；最后，利用GNN算法保证目标ID不变。
本发明基于单目相机，既可以应用于室外环境，也可应用于室内环境，可以较好地实现移动机器人对目标人员的跟随。
本发明附加方面的优点将在下面的描述中部分给出，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为第一个实施例的方法流程图；
图2为第一个实施例的OpenPose检测骨骼关节图；
图3为第一个实施例的针孔相机投影模型；
图4为第一个实施例的CNN算法流程图；
图5为第一个实施例的Online Boosting算法流程；
图6为第一个实施例的RNN算法过程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了一种移动机器人的目标人员跟随控制方法；
如图1所示，一种移动机器人的目标人员跟随控制方法，包括：
S101：初始化过程：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
S102：跟随过程：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，移动机器人持续跟踪待跟随目标人员；
S103：重识别过程：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回S102；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。
进一步地，所述S101：获取待跟随目标人员的图像；具体是采用机器人自带的单目相机进行图像采集。
示例性的，所述获取待跟随目标人员的图像，获取目标人员的正面图像或者背面图像。
示例性的，所述获取待跟随目标人员的外观特征，包括：衣服颜色特征和纹理特征。
示例性的，设置待跟随目标人员编号ID，具体包括：待跟随目标人员的ID号为0号，其他人员为非0号。
示例性的，所述获取待跟随目标人员的骨骼关节信息，包括：左脚踝关节点位置、右脚踝关节点位置和颈部关节点位置。
进一步地，所述S101：获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；具体包括：
S1011：基于OpenPose算法，获取待跟随目标人员的骨骼关节信息；
S1012：将左脚踝关节点与右脚踝关节点之间的中间点位置，和颈部关节点位置作为待跟随的目标位置。
在进行人员跟随过程前，本发明首先采用OpenPose算法检测人员，该算法是一种基于深度神经网络的骨骼检测器，可以提供图像中人体18个关节的像素位置，如图2所示。选取关节1、关节10和关节13，作为跟踪的目标位置。
进一步地，所述S102中，如果检测到待跟随目标人员，就对待跟随目标人员进行跟随；具体包括：
S1021：如果检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；
S1022：如果仅检测到待跟随目标人员的颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；
S1023：如果仅检测到待跟随目标人员的左右脚踝中间点位置，则移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别；
S1024：如果左右脚踝中间点位置和颈部关节点位置均检测不到，说明目标超出视野范围，移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别。
进一步地，所述移动机器人持续跟踪待跟随目标人员；具体包括：
S10211：根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波(Unscented Kalman Filter,UKF)算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；根据下一帧图像中颈部关节位置、和左右脚踝中间点位置得到一个对应的检测框；
S10212：如果当前图像中仅存在一人，则直接将检测框与已有跟踪轨迹相关联；
如果当前图像中存在多人，得到每一个检测框与已有跟踪轨迹的相匹配程度，并将匹配程度最大的检测框与相应跟踪轨迹进行关联。
进一步地，所述S10211：根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波(Unscented Kalman Filter,UKF)算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；具体包括：
S102111：根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波(Unscented Kalman Filter,UKF)算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置，计算预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度；
S102112：基于预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度，通过针孔相机投影模型得到移动机器人与待跟随目标人员之间的距离；
S102113：当移动机器人与待跟随目标人员之间的距离大于设定阈值时，移动机器人的加大跟随速度；以使机器人与待跟随目标人员之间的距离处于设定范围内；
当移动机器人与待跟随目标人员之间的距离不大于设定阈值时，移动机器人的减小跟随速度，以使机器人与待跟随目标人员之间的距离处于设定范围内。
机器人与待跟随目标人员之间的距离处于设定范围，为2米～20米。
该步骤是为了判断待跟随目标人员是否出现由于超出机器人单目相机视野和行人与行人遮挡等原因导致的待跟随目标人员从图像中消失的情形。
跟随过程中，当脚踝位置(关节10、关节13)丢失时，为了不影响整体跟随效果，只选择颈部关节位置(关节1)进行跟随。基于检测到的关节位置，考虑到在真实空间下对目标进行跟随比在图像空间下鲁棒性更好，因此采用在机器人空间下跟随目标的策略，效果会更好。
传统的检测跟踪方法，往往通过将人体脚踝投影到地平面，从而在机器人空间下估计人的位置。然而，当人行走时，脚踝的位置变化较大，非线性较强，且会出现遮挡问题；因此，本发明结合脚踝和颈部位置，基于预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度，进而通过针孔投影模型，如图3，得到机器人与目标之间的距离。当成功估计目标高度后，即使相机无法观测到脚踝的位置，也可以根据颈部位置持续更新UKF，预测目标位置。
示例性的，S10211：根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波(Unscented Kalman Filter,UKF)算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；详细过程为：
定义预测的状态空间为：
xt＝[pt，vt，ht]T；
其中，pt代表待跟随目标人员的位置、vt代表待跟随目标人员的速度和ht代表待跟随目标人员的高度。
在无迹卡尔曼滤波(Unscented Kalman Filter，UKF)算法中，假设目标人员匀速运动，则系统状态更新函数为：
f(xt)＝xt+1＝[pt+Δt*vt，vt，ht]T
其中，Δt为t+1时刻与t时刻的时间差。
观测方程h(xt)为：
h(xt)＝zt＝[Proj(pt+[0，0，ht]T)，Proj(pt)]T
其中，Proj代表针孔相机投影函数，Proj(pt+[0，0，ht]T)表示颈部投影位置，Proj(pt)表示脚踝投影位置。
利用针孔投影函数，将像素坐标系和世界坐标系进行转换：
其中，K为相机内参数；R、t为相机外参数；为像素坐标系坐标；/>为世界坐标系坐标；Zc为摄像机坐标系的Z轴坐标。
相机内外参数已知，像素坐标和相机坐标均可测得，通过计算世界坐标系坐标，可测出距离ZW。
当只能观测到颈部时，观测方程为：
h′(xt)＝z′t＝[Proj(pt+[0，0，ht]T)]T
得到观测方程后，进行数据关联，即将跟踪的目标和检测到的关节信息进行关联。
首先，通过无迹变换计算颈部和脚踝的期望位置分布：
其中，分别表示期望的颈部、脚踝位置分布；/>表示状态xt的分布；h表示观测方程；方程UT表示无迹变换方程。
随后，定义跟踪和观测之间的距离函数Dist为：
其中，DM表示马氏距离函数；thgate表示设置的门限；表示高斯分布。
进一步地，所述S10212：如果当前图像中存在多人，得到每一个检测框与已有跟踪轨迹的相匹配程度，并将匹配程度最大的检测框与相应跟踪轨迹进行关联；具体包括：
根据预测出下一帧图像左右脚踝中间点位置、和中颈部关节位置，基于全局最近邻算法(global nearest neighbor，GNN)，得到每一个检测框与已有跟踪轨迹的相匹配程度，并将匹配程度最大的检测框与相应跟踪轨迹进行关联。
基于所述距离，采用全局最近邻算法(GNN-global nearest neighbor)，实时更新UKF，预测目标位置，将预测目标位置与自身轨迹进行匹配，如果存在多个目标位置，得到每一个检测框与已有跟踪轨迹的相匹配程度，并将匹配程度最大的检测框与相应跟踪轨迹进行关联。
进一步地，所述S 103：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；具体包括：
S1031：移动机器人对实时获取的每一帧图像提取出感兴趣区域；
S1032：对每一帧图像的感兴趣区域，采用卷积神经网络CNN算法进行颜色特征提取；
S1033：将提取出来的颜色特征，输入到Online Boosting在线分类器中进行分类；
S1034：如果分类结果为提取出来的颜色特征是待跟随目标人员的外观特征，则表示当前帧图像中存在待跟随目标人员；
如果分类结果为提取出来的颜色特征不是待跟随目标人员的外观特征，则表示当前帧图像中不存在待跟随目标人员。
本发明中输出目标人员颈部和脚踝位置信息，首先利用位置信息计算图像的ROIs(感兴趣区域)，随后提取外观特征用于识别。传统的外观特征，如颜色直方图、边缘特征等，容易受到光照强度、运动变化的影响；本发明充分考虑深度神经网络的优势，利用CNN算法提取特征图，如图4。
CNN算法会根据输入图像，产生一系列响应图(也被称为特征图)，每一层滤波器输出的特征图都对不同颜色特征敏感。随后利用Online Boosting算法对每一层特征图分类，识别出初始化时确定的目标人员。Online Boosting会将分类精度最好、具有辨识区域的一系列弱分类器集合成一个强分类器，增强分类效果，具体计算流程如图5。
进一步地，所述确保待跟随目标人员ID不变；具体包括：
采用递归神经网络RNN，来保持待跟随目标人员ID不变。
进一步地，所述确保待跟随目标人员ID不变；具体包括：
当待跟随目标人员从采集的图像中丢失，重新找到待跟随目标人员后，待跟随目标人员的轨迹变成两部分：待跟随目标人员消失前的轨迹和重识别后的轨迹；
将当前t时刻之前单目相机采集的若干幅图像输入到递归神经网络RNN中，利用递归神经网络RNN预测t+1时刻图像中目标人员检测框的位置和检测框大小(位置是指边界框的中点，大小是指边界框宽、高)；
当重识别到的目标人员检测框与递归神经网络RNN预测的检测框重叠率超过设定阈值，就认为待跟随目标人员消失前的轨迹和重识别后的轨迹属于同一条轨迹，ID号选取待跟随目标人员消失前的轨迹对应的ID号，从而保证ID不变。
进一步地，所述递归神经网络RNN，包括：依次连接的第一个RNN单元、第二个RNN单元、第三个RNN单元、......、第t-1个RNN单元、第t个RNN单元；
其中，第一个RNN单元的输入端，用于输入当前时刻图像目标人员边界框的位置和大小；第一个RNN单元的输出端，通过隐藏层与第二个RNN单元的输入端连接；
第二个RNN单元的输入端，用于输入第一个RNN单元输出预测的目标人员边界框位置、大小，以及第一个RNN隐藏层的内部信息；第二个RNN单元的输出端，通过隐藏层与第三个RNN单元的输入端连接；
第三个RNN单元的输入端，用于输入第二个RNN单元输出预测的目标人员边界框位置、大小，以及第二个RNN隐藏层的内部信息；第三个RNN单元的输出端，通过隐藏层与第四个RNN单元的输入端连接；
以此类推，第t-1个RNN单元的输入端，用于输入第t-2个RNN单元输出预测的目标人员边界框位置、大小，以及第t-2个RNN隐藏层内部信息；第t-1个RNN单元的输出端，通过隐藏层与第t个RNN单元的输入端连接；
第t个RNN单元的输入端，用于输入第t-1个RNN单元输出预测的目标人员边界框位置、大小，以及第t-1个RNN隐藏层内部信息；第t个RNN单元的输出端用于输出目标人员的最终预测边界框。
递归神经网络RNN的输出不仅与当前时刻输入有关，还与之前时刻的内部隐藏状态有关，即递归神经网络RNN具有记忆的特性。基于递归神经网络RNN这一特性，当目标人员因为遮挡等原因丢失后，重新识别时，提出递归神经网络RNN预测目标人员的边界框位置，用RNN预测的边界框融合检测丢失的那部分，对丢失的部分轨迹进行弥补，保证跟踪目标的ID不变。RNN算法过程，如图6所示。
实施例二
本实施例提供了一种移动机器人的目标人员跟随控制系统；
一种移动机器人的目标人员跟随控制系统，包括：
初始化模块，其被配置为：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
跟随模块，其被配置为：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，就对待跟随目标人员进行跟随；
重识别模块，其被配置为：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回跟随模块；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别。
此处需要说明的是，上述初始化模块、跟随模块和重识别模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种移动机器人的目标人员跟随控制方法，其特征是，包括：
初始化过程：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
跟随过程：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并如果检测到待跟随目标人员，移动机器人持续跟踪待跟随目标人员；
重识别过程：如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回跟随过程：如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别；
所述如果检测到待跟随目标人员，移动机器人持续跟踪待跟随目标人员；具体包括：
如果检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；
如果仅检测到待跟随目标人员的颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；
如果仅检测到待跟随目标人员的左右脚踝中间点位置，则移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别；
如果左右脚踝中间点位置和颈部关节点位置均检测不到，说明目标超出视野范围，移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别；
所述移动机器人持续跟踪待跟随目标人员；具体包括：
根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；根据下一帧图像中颈部关节位置、和左右脚踝中间点位置得到一个对应的检测框；
如果当前图像中仅存在一人，则直接将检测框与已有跟踪轨迹相关联；
如果当前图像中存在多人，得到每一个检测框与已有跟踪轨迹的相匹配程度，并将匹配程度最大的检测框与相应跟踪轨迹进行关联；
所述根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；具体包括：
根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置，计算预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度；
基于预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度，通过针孔相机投影模型得到移动机器人与待跟随目标人员之间的距离；
当移动机器人与待跟随目标人员之间的距离大于设定阈值时，移动机器人加大跟随速度；以使机器人与待跟随目标人员之间的距离处于设定范围内；
当移动机器人与待跟随目标人员之间的距离不大于设定阈值时，移动机器人减小跟随速度，以使机器人与待跟随目标人员之间的距离处于设定范围内。
2.如权利要求1所述的一种移动机器人的目标人员跟随控制方法，其特征是，获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；具体包括：
基于OpenPose算法，获取待跟随目标人员的骨骼关节信息；
将左脚踝关节点与右脚踝关节点之间的中间点位置，和颈部关节点位置作为待跟随的目标位置。
3.如权利要求1所述的一种移动机器人的目标人员跟随控制方法，其特征是，如果待跟随目标人员从图像中丢失，则基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；具体包括：
移动机器人对实时获取的每一帧图像提取出感兴趣区域；
对每一帧图像的感兴趣区域，采用卷积神经网络CNN算法进行颜色特征提取；
将提取出来的颜色特征，输入到Online Boosting在线分类器中进行分类；
如果分类结果为提取出来的颜色特征是待跟随目标人员的外观特征，则表示当前帧图像中存在待跟随目标人员；
如果分类结果为提取出来的颜色特征不是待跟随目标人员的外观特征，则表示当前帧图像中不存在待跟随目标人员。
4.如权利要求1所述的一种移动机器人的目标人员跟随控制方法，其特征是，所述确保待跟随目标人员ID不变；具体包括：
当待跟随目标人员从采集的图像中丢失，重新找到待跟随目标人员后，待跟随目标人员的轨迹变成两部分：待跟随目标人员消失前的轨迹和重识别后的轨迹；
将当前t时刻之前单目相机采集的若干幅图像输入到递归神经网络RNN中，利用递归神经网络RNN预测t+1时刻图像中目标人员检测框的位置和检测框大小；
当重识别到的目标人员检测框与递归神经网络RNN预测的检测框重叠率超过设定阈值，就认为待跟随目标人员消失前的轨迹和重识别后的轨迹属于同一条轨迹，ID号选取待跟随目标人员消失前的轨迹对应的ID号，从而保证ID不变；所述递归神经网络RNN，包括：依次连接的第一个RNN单元、第二个RNN单元、第三个RNN单元、……、第t-1个RNN单元、第t个RNN单元；
其中，第一个RNN单元的输入端，用于输入当前时刻图像目标人员边界框的位置和大小；第一个RNN单元的输出端，通过隐藏层与第二个RNN单元的输入端连接；
第二个RNN单元的输入端，用于输入第一个RNN单元输出预测的目标人员边界框位置、大小，以及第一个RNN隐藏层的内部信息；第二个RNN单元的输出端，通过隐藏层与第三个RNN单元的输入端连接；
第三个RNN单元的输入端，用于输入第二个RNN单元输出预测的目标人员边界框位置、大小，以及第二个RNN隐藏层的内部信息；第三个RNN单元的输出端，通过隐藏层与第四个RNN单元的输入端连接；
以此类推，第t-1个RNN单元的输入端，用于输入第t-2个RNN单元输出预测的目标人员边界框位置、大小，以及第t-2个RNN隐藏层内部信息；第t-1个RNN单元的输出端，通过隐藏层与第t个RNN单元的输入端连接；
第t个RNN单元的输入端，用于输入第t-1个RNN单元输出预测的目标人员边界框位置、大小，以及第t-1个RNN隐藏层内部信息；第t个RNN单元的输出端用于输出目标人员的最终预测边界框。
5.一种移动机器人的目标人员跟随控制系统，其特征是，包括：
获取模块，其被配置为：获取待跟随目标人员的图像；获取待跟随目标人员的外观特征，设置待跟随目标人员编号ID；获取待跟随目标人员的骨骼关节信息，将左右脚踝中间点位置和颈部关节点位置作为待跟随的目标位置；
判断模块，其被配置为：判断是否检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置；并根据判断结果对待跟随目标人员进行跟随，或者对待跟随目标人员进行重识别；
重识别模块，其被配置为：基于待跟随目标人员的外观特征，机器人对实时获取的每一帧图像进行待跟随目标人员的重识别；若重识别成功，则确保待跟随目标人员ID不变，并返回判断模块；如果重识别失败，则对下一帧图像进行待跟随目标人员的重识别；
如果检测到待跟随目标人员，移动机器人持续跟踪待跟随目标人员；具体包括：
如果检测到待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；
如果仅检测到待跟随目标人员的颈部关节点位置，则移动机器人持续跟踪待跟随目标人员，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测；
如果仅检测到待跟随目标人员的左右脚踝中间点位置，则移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别；
如果左右脚踝中间点位置和颈部关节点位置均检测不到，说明目标超出视野范围，移动机器人停在原地，继续对待跟随目标人员的左右脚踝中间点位置和颈部关节点位置进行检测，直至检测出来待跟随目标人员的左右脚踝中间点位置和颈部关节点位置，对待跟随目标人员进行重识别；
所述移动机器人持续跟踪待跟随目标人员；具体包括：
根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；根据下一帧图像中颈部关节位置、和左右脚踝中间点位置得到一个对应的检测框；
如果当前图像中仅存在一人，则直接将检测框与已有跟踪轨迹相关联；
如果当前图像中存在多人，得到每一个检测框与已有跟踪轨迹的相匹配程度，并将匹配程度最大的检测框与相应跟踪轨迹进行关联；
所述根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置；具体包括：
根据当前图像中颈部关节位置、和左右脚踝中间点位置，基于无迹卡尔曼滤波算法，预测出下一帧图像中颈部关节位置、和左右脚踝中间点位置，计算预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度；
基于预测出的颈部关节点位置到预测出的左右脚踝中间点位置的高度，通过针孔相机投影模型得到移动机器人与待跟随目标人员之间的距离；
当移动机器人与待跟随目标人员之间的距离大于设定阈值时，移动机器人加大跟随速度；以使机器人与待跟随目标人员之间的距离处于设定范围内；
当移动机器人与待跟随目标人员之间的距离不大于设定阈值时，移动机器人减小跟随速度，以使机器人与待跟随目标人员之间的距离处于设定范围内。
6.一种电子设备，其特征是，包括：
存储器，用于非暂时性存储计算机可读指令；以及
处理器，用于运行所述计算机可读指令，
其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-4任一项所述的方法。
7.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行权利要求1-4任一项所述方法的指令。
CN202110881571.0A 2021-08-02 2021-08-02 一种移动机器人的目标人员跟随控制方法及系统 Active CN113591722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881571.0A CN113591722B (zh) 2021-08-02 2021-08-02 一种移动机器人的目标人员跟随控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881571.0A CN113591722B (zh) 2021-08-02 2021-08-02 一种移动机器人的目标人员跟随控制方法及系统

Publications (2)

Publication Number Publication Date
CN113591722A CN113591722A (zh) 2021-11-02
CN113591722B true CN113591722B (zh) 2023-09-12

Family

ID=78253847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881571.0A Active CN113591722B (zh) 2021-08-02 2021-08-02 一种移动机器人的目标人员跟随控制方法及系统

Country Status (1)

Country Link
CN (1) CN113591722B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187341B (zh) * 2021-11-16 2022-09-06 泰瑞数创科技(北京)股份有限公司 基于移动跟随识别的人工神经网络道路纹理贴图方法及其系统
CN117315725A (zh) * 2023-11-29 2023-12-29 北京科技大学 一种基于单目视觉的行人跟随方法、系统及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511916B1 (ko) * 2014-09-29 2015-04-13 이호석 다중 인식이 가능한 생체 인식 장치 및 방법
CN108304834A (zh) * 2018-02-27 2018-07-20 弗徕威智能机器人科技（上海）有限公司 一种物体跟随方法
CN109784130A (zh) * 2017-11-15 2019-05-21 株式会社日立制作所 行人重识别方法及其装置和设备
CN110706255A (zh) * 2019-09-25 2020-01-17 马可 一种基于自适应跟随的跌倒检测方法
CN111665490A (zh) * 2020-06-02 2020-09-15 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN112989983A (zh) * 2021-03-05 2021-06-18 上海有个机器人有限公司 基于行人重识别的机器人跟随方法、装置和移动机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101511916B1 (ko) * 2014-09-29 2015-04-13 이호석 다중 인식이 가능한 생체 인식 장치 및 방법
CN109784130A (zh) * 2017-11-15 2019-05-21 株式会社日立制作所 行人重识别方法及其装置和设备
CN108304834A (zh) * 2018-02-27 2018-07-20 弗徕威智能机器人科技（上海）有限公司 一种物体跟随方法
CN110706255A (zh) * 2019-09-25 2020-01-17 马可 一种基于自适应跟随的跌倒检测方法
CN111665490A (zh) * 2020-06-02 2020-09-15 浙江大华技术股份有限公司 目标跟踪方法和装置、存储介质及电子装置
CN112989983A (zh) * 2021-03-05 2021-06-18 上海有个机器人有限公司 基于行人重识别的机器人跟随方法、装置和移动机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
并行分布式增强现实场景仿真系统的构建;张金玲 等;《辽宁工程技术大学学报（自然科学版）》;第28卷(第1期);第70-73页 *

Also Published As

Publication number Publication date
CN113591722A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7147420B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
Fernández-Caballero et al. Optical flow or image subtraction in human detection from infrared camera on mobile robot
Akolkar et al. Real-time high speed motion prediction using fast aperture-robust event-driven visual flow
US20090296989A1 (en) Method for Automatic Detection and Tracking of Multiple Objects
JP7078021B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
Moghadam et al. Road direction detection based on vanishing-point tracking
CN113591722B (zh) 一种移动机器人的目标人员跟随控制方法及系统
CN112036210B (zh) 一种检测障碍物的方法、装置、存储介质和移动机器人
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
Perdoch et al. Leader tracking for a walking logistics robot
Benli et al. Human behavior-based target tracking with an omni-directional thermal camera
Gite et al. Early anticipation of driver’s maneuver in semiautonomous vehicles using deep learning
Pais et al. Omnidrl: Robust pedestrian detection using deep reinforcement learning on omnidirectional cameras
Shi et al. Fuzzy dynamic obstacle avoidance algorithm for basketball robot based on multi-sensor data fusion technology
JP2014062415A (ja) 軌道検出装置及び軌道監視装置
Bardas et al. 3D tracking and classification system using a monocular camera
Tamas et al. Lidar and vision based people detection and tracking
Batista et al. A probabilistic approach for fusing people detectors
Bonin-Font et al. A monocular mobile robot reactive navigation approach based on the inverse perspective transformation
Sabeti et al. Visual Tracking Using Color Cameras and Time-of-Flight Range Imaging Sensors.
Scales et al. Visual-based global localization from ceiling images using convolutional neural networks
Gemerek Active vision and perception
Sineglazov et al. Intelligent visual navigation system of high accuracy
Engedy et al. Global, camera-based localization and prediction of future positions in mobile robot navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant