CN116385489B - 基于rgbd相机的目标跟随方法及系统 - Google Patents

基于rgbd相机的目标跟随方法及系统 Download PDF

Info

Publication number
CN116385489B
CN116385489B CN202310354980.4A CN202310354980A CN116385489B CN 116385489 B CN116385489 B CN 116385489B CN 202310354980 A CN202310354980 A CN 202310354980A CN 116385489 B CN116385489 B CN 116385489B
Authority
CN
China
Prior art keywords
target
image
depth
camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310354980.4A
Other languages
English (en)
Other versions
CN116385489A (zh
Inventor
曲元震
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senlikang Technology Beijing Co ltd
Original Assignee
Senlikang Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senlikang Technology Beijing Co ltd filed Critical Senlikang Technology Beijing Co ltd
Priority to CN202310354980.4A priority Critical patent/CN116385489B/zh
Publication of CN116385489A publication Critical patent/CN116385489A/zh
Application granted granted Critical
Publication of CN116385489B publication Critical patent/CN116385489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

一种RGBD相机的目标跟随方法及系统，包括：配置校准：对RGBD相机进行配置与校准；获取图像位置：获取目标在图像中的位置；获取深度值：获取目标的深度值；获取空间位置：得到目标在地图坐标下的位置；跟踪：路径跟随进行跟踪；重新检测：若检测到目标丢失，则进行目标的预测与重新检测；上述RGBD相机的目标跟随方法及系统使用了成本较低的RGBD相机，有利于降低机器人的成本，实现跟随与避障功能不需要额外增加其他的传感器，降低使用难度。增加目标丢失后的处理逻辑，有助于保持机器跟踪的流畅性，而且能够快速重新识别物体进行跟踪。

Description

基于RGBD相机的目标跟随方法及系统
技术领域
本发明涉及机器人导航与控制的技术领域，特别涉及一种基于RGBD相机的目标跟随方法及系统。
背景技术
在现代社会，机器人技术得到了越来越广泛的应用，其中一个重要应用领域是自主移动机器人，它们可以在不需要人类干预的情况下自主执行任务。家庭陪护机器人是一种智能化的机器人，可以帮助人们在家中提供日常生活的支持和陪伴。例如监测老人的生理指标，如体温、心率、血压等，以及给老年人播放音乐以及讲故事等打发时间。未来一个合格的家庭陪护机器人，必然具有实时跟随的功能。例如老人在客厅时让机器人播放音乐，后面需要到厨房做菜，那么机器人就会从客厅跟随老人到厨房，继续播放音乐也一边监测着老人的状态，如遇到摔倒的情况能立即通知家人。
家庭环境复杂，除了家具之外，还有很多的杂物，如果机器人在跟随的时候碰撞到其他东西，必然会降低用户的满意度。因此机器人在跟随的时候也需要避障。传统的跟随算法通常只能跟随前方的目标物体，而无法避开障碍物，容易发生碰撞。而传统的避障算法通常只能避开障碍物，而无法跟随前方的目标物体，容易失去目标。如何跟随同时避障是目前的一个大难题。
目前同时跟随与避障算法发展还处于基础阶段，能满足需求的方案并不多。根据传感器的使用进行分类，有些是使用雷达加相机进行跟随同时避障，通过相机进行目标识别，再通过雷达进行避障，但这种方法需要2个传感器，增加了成本跟复杂度，并且没办法提供三维的障碍物信息，对于悬空等障碍物还需要额外的传感器。有的使用UWB等传感器用于目标的检测，但是需要用户身上也带有相应的传感器，增加用户的使用难度。如果传感器丢失了，也跟随也没办法继续进行。
发明内容
基于此，有必要提供一种降低成本的基于RGBD相机的目标跟随方法。
同时，提供一种降低成本的基于RGBD相机的目标跟随系统。
一种基于RGBD相机的目标跟随方法，包括：
配置校准：对RGBD相机进行配置与校准；
获取图像位置：获取目标在图像中的位置；
获取深度值：获取目标的深度值；
获取空间位置：得到目标在地图坐标下的位置；
跟踪：路径跟随进行跟踪；
重新检测：若检测到目标丢失，则进行目标的预测与重新检测。
在优选实施例中，所述配置校准还包括：
配准：将RGBD相机进行配准，将RGB图与深度图对应，通过线性变换，获得RGB图像中每个像素的深度值，使用RGB图与深度图相同的分辨率，将配准后RGB图像内部的任意像素(ui,vj)，从深度图(ui,vj)的位置获得对应坐标的深度值为di,j；
校准：对RGBD相机外参进行校准，获取镜头坐标系到机器人base坐标系的变换关系bTi，bTi＝ToffsetTorigin，其中Toffset为外参校准的结果，用于校正相机的安装偏移，Torigin为结构设计的相机坐标系到机器人base坐标系的变换。
在优选实施例中，所述校准步骤还包括：
获取偏移高度：测量带有直角特征的物体，该物体包括3个平面，一个水平面、与地面面垂直的两个竖直平面，两个竖直平面相互垂直，测量物体的水平面距离地面的高度htable作为参考，相机测量3个平面，相机测量出来的点云，先通过Torigin转换到机器人base坐标系下，进行3次检测，每次检测完毕之后，将已经检测的平面去掉，分别得到3个平面的平面方程，设定分别为：
a1·x+b1·y+c1·z+d1＝0
a2·x+b2·y+c2·z+d2＝0
a3·x+b3·y+c3·z+d3＝0
通过判断c1、c2、c3的绝对值是否大于设置的阈值，获得物体的水平面所在的平面，若c3的绝对值大于阈值，那么获得相机的偏移高度Δh＝htable+d3；
转换配准：将测量出来的数据转换到机器人base坐标系下，形成2个竖直面的点云Pscan，相机测量出来的点云，先转换到机器人base坐标系下，剔除转换后，z的值大于设置阈值的点，剔除上部的水平面，得到2个竖直面的点云Pdepth，
将Pscan与Pdepth进行配准，配准得到T'offset；
获取校准结果：设定获得的T'offset为
使用Δh代替T'offset中的元素，那么Toffset为
将校准结果Toffset保存到文件，再从文件中读取校准结果。
在优选实施例中，所述获取图像位置步骤包括：接收指令给定跟随目标的框，提取人体的上躯干部分作为目标进行跟踪，提取人体的左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到人体上半身的4个角点之后，初始化的追踪区域，获得当前时刻目标在图像中的位置，设定当前时刻目标框在图像中的4个角点位置为(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)；
取图像中心点作为目标的深度，定义目标的位置(ut,vt)，获得：
ut＝(u1+u2+u3+u4)/4
vt＝(v1+v2+v3+v4)/4。
在优先实施例中，所述获取深度值步骤包括：将深度图像的大小与RGB图像的大小设置一致，目标在RGB图像的位置与目标在深度图像上的位置是一样的，目标的深度信息在深度图像的位置也是(ut,vt)，设定得到的深度值定义为dt，若相机的测量噪声的影响，导致dt数值为0或者无效，采用目标框内的其他坐标的深度数值代替，获取深度，获取(ut,vt)周围8个坐标((ut,vt-1)、(ut,vt+1)、(ut-1,vt)、(ut+1,vt)、(ut-1,vt-1)、(ut+1,vt+1)、(ut-1,vt+1)、(ut+1,vt-1))的深度值，若检测到其中一个有效则使用其代替dt，否则返回无法获取深度值。
在优选实施例中，所述获取地图坐标位置包括：根据相机针孔模型将目标区域的深度值转换到镜头坐标系下的坐标，即获得目标在镜头坐标系下的三维坐标pi＝[xi yi zi1]T，设定相机内参(cx,cy,fx,fy)，转换如下：
其中s为转换系数，
得到相机镜头坐标系到机器人base坐标系的转换关系bTi，将目标转换到base坐标系下，
pb＝bTi·pi
再经过转换，将目标转换到地图map坐标系下，
pm＝mTb·pb
机器人base坐标到地图map坐标系的变换mTb。
在优选实施例中，所述跟踪还包括：
寻找附近的可行目标点：得到了目标在地图坐标系下的坐标pm，在目标点附近搜索可行的目标点，在当前位置与目标位置之间的连线上，获得离目标点最近的可行点作为新的目标点，设定当前机器人的位置为pc，给定搜索的步长与代价地图的分辨率r一致，定义每次搜索的位置pi：
pi＝pm-i·r·(pm-pc)/||pm-pc||
其中i＝1,2,...,n，n·r＜||pm-pc||；
将i＝1开始判断代价地图上的pi位置的值是否小于设定阈值cmax，如果pi小于阈值cmax，则将pi作为目标点下发给movebase，否则继续寻找pi，直到i＝n；
规划路径：将新的目标点下发给movebase后，movebase会在代价地图上规划出一条可行的路径，路径无碰撞；
路径跟随：机器人跟随路径走。
在优选实施例中，所述根据c1、c2、c3设置的阈值为0.7；根据z设置的阈值为0.5m；r＝0.05；cmax＝100。
在优选实施例中，重新检测包括：
目标跟随；
判断目标是否丢失；
若判断目标没有丢失则继续目标跟随；
若判断目标丢失则并判断丢失是否超过设定时间；
若丢失没有超过设置时间则启动目标预测；机器人根据之前目标的运行状态包括位置与速度，预测接下来目标的位置；
若丢失超过设定时间，则停止运动，并启动目标重新检测；
判断是否能重新检测目标，若能则进行目标跟随；
若不能则继续停止运动，并启动目标重新检测；
所述目标预测包括：设定上上时刻跟上一时刻检测出目标，目标的位置分别为pm,t-2和pm,t-1，现在这个时刻由于目标脱离了视野，导致目标无法得到，使用上两个时刻的位置预测当前时刻目标的位置pm,t：
pm,t＝2pm,t-1-pm,t-2
使用人体姿态检测算法进行或者人脸识别方法进行，若能检测出人体，以当前的检测结果继续进行跟随；若无法检测出人体，则继续检测，直到能重新检测新的对象；
所述目标重新检测包括：识别人体，识别出人体后，提取人体的上躯干部分作为目标进行跟踪，识别左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到的人体上半身的4个角点之后，初始化追踪区域。
一种基于RGBD相机的目标跟随系统，包括：
配置校准模块：对RGBD相机进行配置与校准；、
获取图像位置模块：获取目标在图像中的位置；
获取深度值模块：获取目标的深度值；
获取空间模块：得到目标在地图坐标下的位置；
跟踪模块：路径跟随进行跟踪；
重新检测模块：若检测到目标丢失，则进行目标的预测与重新检测
上述基于RGBD相机的目标跟随方法及系统，使用了成本较低的RGBD相机，有利于降低机器人的成本。本发明的RGBD相机的目标跟随方法及系统可用于跟随与避障，实现跟随与避障功能不需要额外增加其他的传感器。可以使用在低算力的平台。由于整体的运算量在图像处理算法，相比于深度学习的图像处理方法来说，运算量非常低，在低算力的平台也能跑出实时的效果。导航框架可以继续使用开源框架。机器人的导航框架可以使用ROS下的导航框架，如果使用本发明的方法实现同时避障与跟随功能，不需要对原来的导航框架进行修改。可以直接将目标的位置作为导航的目标点输入到导航，机器人继续是沿着规划的路径行走，整体框架并不需要更改。增加目标丢失的处理逻辑。对于机器人在跟随过程中，可能会出现目标丢失的情况。一般丢失可能是由于目标被障碍物遮挡或者机器人绕障拐弯过大造成，增加目标丢失后的处理逻辑，有助于保持机器跟踪的流畅性，而且能够快速重新识别物体进行跟踪。从产品成本以及功耗的角度考虑，一般服务机器人上的处理器算力不会太高，使用运算量过大的算法明显无法符合实时跟踪的要求，并且为了跟踪使用运算量过大的算法也会影响其他部分的功能。由于RGB与深度是从不同的镜头中得到，考虑两者之间的同步与配准问题，进行配准，以得到目标精确的位置，提高跟踪的精度。为了解决目标丢失后的跟踪问题，提出目标预测与重新检测方法。使用一种简便的外参校准方式用于校准相机。只需要找到一个底下封闭的书桌即可进行校准，并不需要额外制作的校准工具，即使在家庭环境也可以进行校准。RGBD相机近距离精度足够(1m内能达到厘米级)，提供三维的障碍物信息，而且价格便宜。本发明不需要用户附加额外的传感器，能降低使用难度。
附图说明
图1为本发明的基于RGBD相机的目标跟随方法的流程图；
图2为本发明的配置校准的流程图；
图3为本发明的跟踪的流程图；
图4为本发明的重新检测的流程图。
具体实施方式
以下的实施例便于更好地理解本发明，但并不限定本发明。
如图1所示，本发明的一种基于RGBD相机的目标跟随方法，包括：
步骤S101，配置校准：对RGBD相机进行配置与校准；
步骤S103，获取图像位置：获取目标在图像中的位置；
步骤S105，获取深度值：获取目标的深度值；
步骤S107，获取空间位置：得到目标在地图坐标下的位置；
步骤S109，跟踪：路径跟随进行跟踪；
步骤S111，重新检测：若检测到目标丢失，则进行目标的预测与重新检测。
RGBD相机就是特指通过物理方式测距的，得到的是RGB图+D-深度图。
如图2所示，进一步，本实施例的配置校准还包括：
配准：对RGBD相机进行配准，将RGB图与深度图对应，通过线性变换，获得RGB图像中每个像素的深度值，使用RGB图与深度图相同的分辨率，将配准后RGB图像内部的任意像素(ui,vj)，从深度图(ui,vj)的位置获得对应坐标的深度值为di,j；
校准：对RGBD相机外参进行校准，获取镜头坐标系到机器人base坐标系的变换关系bTi，bTi＝ToffsetTorigin，其中Toffset为外参校准的结果，用于校正相机的安装偏移，Torigin为结构设计的相机坐标系到机器人base坐标系的变换。
进一步，本实施例的校准步骤还包括：
获取偏移高度：测量带有直角特征的物体，该物体包括3个平面，一个水平面、与地面面垂直的两个竖直平面，两个竖直平面相互垂直，测量物体的水平面距离地面的高度htable作为参考，相机测量3个平面，相机测量出来的点云，先通过Torigin转换到机器人base坐标系下，进行3次检测，每次检测完毕之后，将已经检测的平面去掉，分别得到3个平面的平面方程，设定分别为：
a1·x+b1·y+c1·z+d1＝0
a2·x+b2·y+c2·z+d2＝0
a3·x+b3·y+c3·z+d3＝0
通过判断c1、c2、c3的绝对值是否大于设置的阈值，获得物体的水平面所在的平面，若c3的绝对值大于阈值，那么获得相机的偏移高度Δh＝htable+d3；
转换配准：将测量出来的数据转换到机器人base坐标系下，形成2个竖直面的点云Pscan，相机测量出来的点云，先转换到机器人base坐标系下，剔除转换后，z的值大于设置阈值的点，剔除上部的水平面，得到2个竖直面的点云Pdepth，将Pscan与Pdepth进行配准，配准得到T'offset；
获取校准结果：设定获得的T'offset为
使用Δh代替T'offset中的元素，那么Toffset为
将校准结果Toffset保存到文件，再从文件中读取校准结果。
进一步，本实施例根据c1、c2、c3设置的阈值为0.7；根据z设置的阈值为0.5m。
本实施例的外参校准可以使用雷达进行。具体的校准场景可以使用桌子进行，如办公桌等，会议桌等。通过桌面底下的直角进行校准。3个平面包括桌面，与地面垂直的2个竖直平面。
进一步，本实施例的获取图像位置步骤包括：接收指令给定跟随目标的框，提取人体的上躯干部分作为目标进行跟踪，提取人体的左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到人体上半身的4个角点之后，初始化的追踪区域，获得当前时刻目标在图像中的位置，设定当前时刻目标框在图像中的4个角点位置为(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)；
取图像中心点作为目标的深度，定义目标的位置(ut,vt)，获得：
ut＝(u1+u2+u3+u4)/4
vt＝(v1+v2+v3+v4)/4。
本实施例的获取位置步骤中，为获取目标位置也可以采用KCF算法进行获取。可以使用一些图像识别的方法(Yolo、mediapipe等)识别需要跟随的人。也可使用mediapipe作为人体识别方法。
进一步，本实施例的获取深度值步骤包括：将深度图像的大小与RGB图像的大小设置一致，目标在RGB图像的位置与目标在深度图像上的位置是一样的，目标的深度信息在深度图像的位置也是(ut,vt)，设定得到的深度值定义为dt，若相机的测量噪声的影响，导致dt数值为0或者无效，采用目标框内的其他坐标的深度数值代替，获取深度，获取(ut,vt)周围8个坐标((ut,vt-1)、(ut,vt+1)、(ut-1,vt)、(ut+1,vt)、(ut-1,vt-1)、(ut+1,vt+1)、(ut-1,vt+1)、(ut+1,vt-1))的深度值，若检测到其中一个有效则使用其代替dt，否则返回无法获取深度值。
进一步，本实施例的获取地图坐标位置包括：根据相机针孔模型将目标区域的深度值转换到镜头坐标系下的坐标，即获得目标在镜头坐标系下的三维坐标pi＝[xi yi zi1]T，设定相机内参(cx,cy,fx,fy)，转换如下：
其中s为转换系数，得到相机镜头坐标系到机器人base坐标系的转换关系bTi，将目标转换到base坐标系下，
pb＝bTi·pi
再经过转换，将目标转换到地图map坐标系下，
pm＝mTb·pb
机器人base坐标到地图map坐标系的变换mTb。
本发明也可以使用cartographer算法作为SLAM算法，提供base到map的变换mTb。
如图3所示，进一步，本实施例的跟踪还包括：
寻找附近的可行目标点：得到了目标在地图坐标系下的坐标pm，在目标点附近搜索可行的目标点，在当前位置与目标位置之间的连线上，获得离目标点最近的可行点作为新的目标点，设定当前机器人的位置为pc，给定搜索的步长与代价地图的分辨率r一致，定义每次搜索的位置pi：
pi＝pm-i·r·(pm-pc)/||pm-pc||
其中i＝1,2,...,n，n·r＜||pm-pc||；
将i＝1开始判断代价地图上的pi位置的值是否小于设定阈值cmax，如果pi小于阈值cmax，则将pi作为目标点下发给movebase，否则继续寻找pi，直到i＝n；
规划路径：将新的目标点下发给movebase后，movebase会在代价地图上规划出一条可行的路径，路径无碰撞；
路径跟随：机器人跟随路径走。
r＝0.05；cmax＝100。
本实施例的movebase是机器人导航的框架。
如图4所示，进一步，本实施例的重新检测包括：目标跟随；判断目标是否丢失；若判断目标没有丢失则继续目标跟随；
若判断目标丢失则并判断丢失是否超过设定时间；
若丢失没有超过设置时间则启动目标预测；机器人根据之前目标的运行状态包括位置与速度，预测接下来目标的位置；
若丢失超过设定时间，则停止运动，并启动目标重新检测；
判断是否能重新检测目标，若能则进行目标跟随；
若不能则继续停止运动，并启动目标重新检测。
进一步，本实施例的目标预测包括：设定上上时刻跟上一时刻检测出目标，目标的位置分别为pm,t-2和pm,t-1，现在这个时刻由于目标脱离了视野，导致目标无法得到，使用上两个时刻的位置预测当前时刻目标的位置pm,t：
pm,t＝2pm,t-1-pm,t-2；
使用人体姿态检测算法进行或者人脸识别方法进行，若能检测出人体，以当前的检测结果继续进行跟随；若无法检测出人体，则继续检测，直到能重新检测新的对象。
本实施例的目标重新检测包括：识别人体，识别出人体后，提取人体的上躯干部分作为目标进行跟踪，识别左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到的人体上半身的4个角点之后，初始化追踪区域。
本发明一实施例的基于RGBD相机的目标跟随系统，包括：
配置校准模块：对RGBD相机进行配置与校准；
获取图像位置模块：获取目标在图像中的位置；
获取深度值模块：获取目标的深度值；
获取空间位置模块：得到目标在地图坐标下的位置；
跟踪模块：路径跟随进行跟踪；
重新检测模块：若检测到目标丢失，则进行目标的预测与重新检测。
进一步，本实施例的配置校准模块还包括：
配准单元：将RGBD相机进行配准，将RGB图与深度图对应，通过线性变换，获得RGB图像中每个像素的深度值，使用RGB图与深度图相同的分辨率，将配准后RGB图像内部的任意像素(ui,vj)，从深度图(ui,vj)的位置获得对应坐标的深度值为di,j；
校准单元：对RGBD相机外参进行校准，获取镜头坐标系到机器人base坐标系的变换关系bTi，bTi＝ToffsetTorigin，其中Toffset为外参校准的结果，用于校正相机的安装偏移，Torigin为结构设计的相机坐标系到机器人base坐标系的变换。
进一步，本实施例的校准单元还包括：
获取偏移高度单元：测量带有直角特征的物体，该物体包括3个平面，一个水平面、与地面面垂直的两个竖直平面，两个竖直平面相互垂直，测量物体的水平面距离地面的高度htable作为参考，相机测量3个平面，相机测量出来的点云，先通过Torigin转换到机器人base坐标系下，进行3次检测，每次检测完毕之后，将已经检测的平面去掉，分别得到3个平面的平面方程，设定分别为：
a1·x+b1·y+c1·z+d1＝0
a2·x+b2·y+c2·z+d2＝0
a3·x+b3·y+c3·z+d3＝0
通过判断c1、c2、c3的绝对值是否大于设置的阈值，获得物体的水平面所在的平面，若c3的绝对值大于阈值，那么获得相机的偏移高度Δh＝htable+d3；
转换配准单元：将测量出来的数据转换到机器人base坐标系下，形成2个竖直面的点云Pscan，相机测量出来的点云，先转换到机器人base坐标系下，剔除转换后，z的值大于设置阈值的点，剔除上部的水平面，得到2个竖直面的点云Pdepth，将Pscan与Pdepth进行配准，配准得到T'offset；
获取校准结果单元：设定获得的T'offset为
使用Δh代替T'offset中的元素，那么Toffset为
将校准结果Toffset保存到文件，再从文件中读取校准结果。
进一步，本实施例根据c1、c2、c3设置的阈值为0.7；根据z设置的阈值为0.5m。
本实施例的外参校准可以使用雷达进行。具体的校准场景可以使用桌子进行，如办公桌等，会议桌等。通过桌面底下的直角进行校准。3个平面包括桌面，与地面垂直的2个竖直平面。
进一步，本实施例的获取图像位置模块包括：接收指令给定跟随目标的框，提取人体的上躯干部分作为目标进行跟踪，提取人体的左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到人体上半身的4个角点之后，初始化的追踪区域，获得当前时刻目标在图像中的位置，设定当前时刻目标框在图像中的4个角点位置为(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)；
取图像中心点作为目标的深度，定义目标的位置(ut,vt)，获得：
ut＝(u1+u2+u3+u4)/4
vt＝(v1+v2+v3+v4)/4。
本实施例的获取位置模块中，为获取目标位置也可以采用KCF算法进行获取。可以使用一些图像识别的方法(Yolo、mediapipe等)识别需要跟随的人。也可使用mediapipe作为人体识别方法。
进一步，本实施例的获取深度值模块包括：将深度图像的大小与RGB图像的大小设置一致，目标在RGB图像的位置与目标在深度图像上的位置是一样的，目标的深度信息在深度图像的位置也是(ut,vt)，设定得到的深度值定义为dt，若相机的测量噪声的影响，导致dt数值为0或者无效，采用目标框内的其他坐标的深度数值代替，获取深度，获取(ut,vt)周围8个坐标((ut,vt-1)、(ut,vt+1)、(ut-1,vt)、(ut+1,vt)、(ut-1,vt-1)、(ut+1,vt+1)、(ut-1,vt+1)、(ut+1,vt-1))的深度值，若检测到其中一个有效则使用其代替dt，否则返回无法获取深度值。
进一步，本实施例的获取地图坐标位置模块包括：根据相机针孔模型将目标区域的深度值转换到镜头坐标系下的坐标，即获得目标在镜头坐标系下的三维坐标pi＝[xi yizi 1]T，设定相机内参(cx,cy,fx,fy)，转换如下：
其中s为转换系数，
得到相机镜头坐标系到机器人base坐标系的转换关系bTi，将目标转换到base坐标系下，
pb＝bTi·pi
再经过转换，将目标转换到地图map坐标系下，
pm＝mTb·pb
机器人base坐标到地图map坐标系的变换mTb。
本发明也可以使用cartographer算法作为SLAM算法，提供机器人base到地图map的变换mTb。
进一步，本实施例的跟踪模块还包括：
寻找附近的可行目标点单元：得到了目标在地图坐标系下的坐标pm，在目标点附近搜索可行的目标点，在当前位置与目标位置之间的连线上，获得离目标点最近的可行点作为新的目标点，设定当前机器人的位置为pc，给定搜索的步长与代价地图的分辨率r一致，定义每次搜索的位置pi：
pi＝pm-i·r·(pm-pc)/||pm-pc||
其中i＝1,2,...,n，n·r＜||pm-pc||；
将i＝1开始判断代价地图上的pi位置的值是否小于设定阈值cmax，如果pi小于阈值cmax，则将pi作为目标点下发给movebase，否则继续寻找pi，直到i＝n；
规划路径单元：将新的目标点下发给movebase后，movebase会在代价地图上规划出一条可行的路径，路径无碰撞；
路径跟随单元：机器人跟随路径走。
r＝0.05；cmax＝100。
本实施例的寻找附近的可行目标点的寻找范围优选的为0.2+r+0.2，r为机器人的半径。
movebase是机器人导航的框架。
进一步，本实施例的重新检测模块包括：目标跟随；判断目标是否丢失；若判断目标没有丢失则继续目标跟随；
若判断目标丢失则并判断丢失是否超过设定时间；
若丢失没有超过设置时间则启动目标预测；机器人根据之前目标的运行状态包括位置与速度，预测接下来目标的位置；
若丢失超过设定时间，则停止运动，并启动目标重新检测；
判断是否能重新检测目标，若能则进行目标跟随；
若不能则继续停止运动，并启动目标重新检测。
进一步，本实施例的目标预测包括：设定上上时刻跟上一时刻检测出目标，目标的位置分别为pm,t-2和pm,t-1，现在这个时刻由于目标脱离了视野，导致目标无法得到，使用上两个时刻的位置预测当前时刻目标的位置pm,t：
pm,t＝2pm,t-1-pm,t-2；
使用人体姿态检测算法进行或者人脸识别方法进行，若能检测出人体，以当前的检测结果继续进行跟随；若无法检测出人体，则继续检测，直到能重新检测新的对象。
本实施例的目标重新检测包括：识别人体，识别出人体后，提取人体的上躯干部分作为目标进行跟踪，识别左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到的人体上半身的4个角点之后，初始化追踪区域。
本发明基于RGBD相机的目标跟随方法及系统，使用了成本较低的RGBD相机，有利于降低机器人的成本。RGBD相机能够提供三维的信息，本发明适用RGBD相机用于跟随与避障。已经配备RGBD相机，实现跟随与避障功能不需要额外增加其他的传感器。可以使用在低算力的平台。由于整体的运算量在图像处理算法，可以使用KCF(Kernelized CorrelationFilters)算法，KCF是一种简单有效的跟踪算法，相比于深度学习的图像处理方法来说，KCF算法运算量非常低，在低算力的平台(如3399等)也能跑出实时的效果。导航框架可以继续使用开源框架。机器人的导航框架可以使用ROS(机器人操作系统)下的导航框架，如果使用本发明的方法实现同时避障与跟随功能，不需要对原来的导航框架进行修改。直接将目标的位置作为导航的目标点输入到导航，机器人继续是沿着规划的路径进行行走，整体框架并不需要更改。增加目标丢失的处理逻辑。对于机器人在跟随过程中，可能会出现目标丢失的情况。一般丢失可能是由于目标被障碍物遮挡或者机器人绕障拐弯过大造成，增加目标丢失后的处理逻辑，有助于保持机器跟踪的流畅性，而且能够快速重新识别物体进行跟踪。
本发明基于RGBD相机的目标跟随方法及系统降低跟随同时避障的运算量。从产品成本以及功耗的角度考虑，一般服务机器人上的处理器算力不会太高，使用运算量过大的算法明显无法符合实时跟踪的要求，并且为了跟踪使用运算量过大的算法也会影响其他部分的功能。由于RGB与深度是从不同的镜头中得到，考虑两者之间的同步与配准问题，进行配准，以得到目标精确的位置，提高跟踪的精度。为了解决目标丢失后的跟踪问题，提出目标预测与重新检测方法。使用一种简便的外参校准方式用于校准相机。只需要找到一个底下封闭的书桌即可进行校准，并不需要额外制作的校准工具，即使在家庭环境也可以进行校准。RGBD相机近距离精度足够(1m内能达到厘米级)，提供三维的障碍物信息，而且价格便宜。本发明不需要用户附加额外的传感器，能降低使用难度。
以上述依据本申请的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项申请技术思想的范围内，进行多样的变更以及修改。本项申请的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (6)

1.一种基于RGBD相机的目标跟随方法，其特征在于，包括：
配置校准：对RGBD相机进行配置与校准；
获取图像位置：获取目标在图像中的位置；
获取深度值：获取目标的深度值；
获取空间位置：得到目标在地图坐标下的位置；
跟踪：路径跟随进行跟踪；
重新检测：若检测到目标丢失，则进行目标的预测与重新检测；
所述配置校准还包括：
配准：将RGBD相机进行配准，将RGB图与深度图对应，通过线性变换，获得RGB图像中每个像素的深度值，使用RGB图与深度图相同的分辨率，将配准后RGB图像内部的任意像素(ui,vj)，从深度图(ui,vj)的位置获得对应坐标的深度值为di,j；
校准：对RGBD相机外参进行校准，获取镜头坐标系到机器人base坐标系的变换关系bTi，bTi＝ToffsetTorigin，其中Toffset为外参校准的结果，用于校正相机的安装偏移，Torigin为结构设计的相机坐标系到机器人base坐标系的变换；
所述校准步骤还包括：
获取偏移高度：测量带有直角特征的物体，该物体包括3个平面，一个水平面、与地面面垂直的两个竖直平面，两个竖直平面相互垂直，测量物体的水平面距离地面的高度htable作为参考，相机测量3个平面，相机测量出来的点云，先通过Torigin转换到机器人base坐标系下，进行3次检测，每次检测完毕之后，将已经检测的平面去掉，分别得到3个平面的平面方程，设定分别为：
a1·x+b1·y+c1·z+d1＝0
a2·x+b2·y+c2·z+d2＝0
a3·x+b3·y+c3·z+d3＝0
通过判断c1、c2、c3的绝对值是否大于设置的阈值，获得物体的水平面所在的平面，若c3的绝对值大于阈值，那么获得相机的偏移高度Δh＝htable+d3；
转换配准：将测量出来的数据转换到机器人base坐标系下，形成2个竖直面的点云Pscan，相机测量出来的点云，先转换到机器人base坐标系下，剔除转换后，z的值大于设置阈值的点，剔除上部的水平面，得到2个竖直面的点云Pdepth，将Pscan与Pdepth进行配准，配准得到T′offset；
获取校准结果：设定获得的T′offset为
使用Δh代替T′offset中的元素，那么Toffset为
将校准结果Toffset保存到文件，再从文件中读取校准结果；
所述跟踪还包括：
寻找附近的可行目标点：得到了目标在地图坐标系下的坐标pm，在目标点附近搜索可行的目标点，在当前位置与目标位置之间的连线上，获得离目标点最近的可行点作为新的目标点，设定当前机器人的位置为pc，给定搜索的步长与代价地图的分辨率r一致，定义每次搜索的位置pi：
pi＝pm-i·r·(pm-pc)/||pm-pc||
其中i＝1,2,...,n，n·r＜||pm-pc||；
将i＝1开始判断代价地图上的pi位置的值是否小于设定阈值cmax，如果pi小于阈值cmax，则将pi作为目标点下发给movebase，否则继续寻找pi，直到i＝n；
规划路径：将新的目标点下发给movebase后，movebase会在代价地图上规划出一条可行的路径，路径无碰撞；
路径跟随：机器人跟随路径走。
2.根据权利要求1所述的基于RGBD相机的目标跟随方法，其特征在于，所述获取图像位置步骤包括：接收指令给定跟随目标的框，提取人体的上躯干部分作为目标进行跟踪，提取人体的左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到人体上半身的4个角点之后，初始化的追踪区域，获得当前时刻目标在图像中的位置，设定当前时刻目标框在图像中的4个角点位置为(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)；
取图像中心点作为目标的深度，定义目标的位置(ut,vt)，获得：
ut＝(u1+u2+u3+u4)/4
vt＝(v1+v2+v3+v4)/4。
3.根据权利要求1所述的基于RGBD相机的目标跟随方法，其特征在于，所述获取深度值步骤包括：将深度图像的大小与RGB图像的大小设置一致，目标在RGB图像的位置与目标在深度图像上的位置是一样的，目标的深度信息在深度图像的位置也是(ut,vt)，设定得到的深度值定义为dt，若相机的测量噪声的影响，导致dt数值为0或者无效，采用目标框内的其他坐标的深度数值代替，获取深度，获取(ut,vt)周围8个坐标((ut,vt-1)、(ut,vt+1)、(ut-1,vt)、(ut+1,vt)、(ut-1,vt-1)、(ut+1,vt+1)、(ut-1,vt+1)、(ut+1,vt-1))的深度值，若检测到其中一个有效则使用其代替dt，否则返回无法获取深度值。
4.根据权利要求1所述的基于RGBD相机的目标跟随方法，其特征在于，所述获取地图坐标位置包括：根据相机针孔模型将目标区域的深度值转换到镜头坐标系下的坐标，即获得目标在镜头坐标系下的三维坐标pi＝[xi yi zi 1]T，设定相机内参(cx,cy,fx,fy)，转换如下：
其中s为转换系数，
得到相机镜头坐标系到机器人base坐标系的转换关系bTi，将目标转换到base坐标系下，
pb＝bTi·pi
再经过转换，将目标转换到地图map坐标系下，
pm＝mTb·pb
机器人base坐标到地图map坐标系的变换mTb。
5.根据权利要求4所述的基于RGBD相机的目标跟随方法，其特征在于，所述根据c1、c2、c3设置的阈值为0.7；根据z设置的阈值为0.5m；r＝0.05；cmax＝100。
6.根据权利要求1至5任意一项所述的基于RGBD相机的目标跟随方法，其特征在于，重新检测包括：
目标跟随；
判断目标是否丢失；
若判断目标没有丢失则继续目标跟随；
若判断目标丢失则并判断丢失是否超过设定时间；
若丢失没有超过设置时间则启动目标预测；机器人根据之前目标的运行状态包括位置与速度，预测接下来目标的位置；
若丢失超过设定时间，则停止运动，并启动目标重新检测；
判断是否能重新检测目标，若能则进行目标跟随；
若不能则继续停止运动，并启动目标重新检测；
所述目标预测包括：设定上上时刻跟上一时刻检测出目标，目标的位置分别为pm,t-2和pm,t-1，现在这个时刻由于目标脱离了视野，导致目标无法得到，使用上两个时刻的位置预测当前时刻目标的位置pm,t：
pm,t＝2pm,t-1-pm,t-2
使用人体姿态检测算法进行或者人脸识别方法进行，若能检测出人体，以当前的检测结果继续进行跟随；若无法检测出人体，则继续检测，直到能重新检测新的对象；
所述目标重新检测包括：识别人体，识别出人体后，提取人体的上躯干部分作为目标进行跟踪，识别左肩膀、右肩膀、左髋部、右髋部4个部位在RGB图像的位置，假设4个部位在图像中的坐标分别为(uls,vls)、(urs,vrs)、(ulh,vlh)、(urh,vrh)，初始目标框的角点分别为(ult,vlt)、(urt,vrt)、(ulb,vlb)、(urb,vrb)，以图像左上角为第一个点，顺时针依次获取，
ult＝min(uls,urs,ulh,urh)
vlt＝min(vls,vrs,vlh,vrh)
urb＝max(uls,urs,ulh,urh)
vrb＝max(vls,vrs,vlh,vrh)
ulb＝ult
vlb＝vrb
urt＝urb
vrt＝vlt
得到的人体上半身的4个角点之后，初始化追踪区域。
CN202310354980.4A 2023-04-04 2023-04-04 基于rgbd相机的目标跟随方法及系统 Active CN116385489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310354980.4A CN116385489B (zh) 2023-04-04 2023-04-04 基于rgbd相机的目标跟随方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310354980.4A CN116385489B (zh) 2023-04-04 2023-04-04 基于rgbd相机的目标跟随方法及系统

Publications (2)

Publication Number Publication Date
CN116385489A CN116385489A (zh) 2023-07-04
CN116385489B true CN116385489B (zh) 2023-10-03

Family

ID=86974637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310354980.4A Active CN116385489B (zh) 2023-04-04 2023-04-04 基于rgbd相机的目标跟随方法及系统

Country Status (1)

Country Link
CN (1) CN116385489B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087530A (zh) * 2010-12-07 2011-06-08 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
CN108705532A (zh) * 2018-04-25 2018-10-26 中国地质大学（武汉） 一种机械臂避障路径规划方法、设备及存储设备
CN109946382A (zh) * 2019-01-31 2019-06-28 中国兵器科学研究院宁波分院 一种基于工业机器人的超声波c扫描自动检测方法
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110807361A (zh) * 2019-09-19 2020-02-18 腾讯科技（深圳）有限公司 人体识别方法、装置、计算机设备及存储介质
CN113110451A (zh) * 2021-04-14 2021-07-13 浙江工业大学 一种深度相机与单线激光雷达融合的移动机器人避障方法
CN115143964A (zh) * 2022-07-05 2022-10-04 中国科学技术大学 一种基于2.5d代价地图的四足机器人自主导航方法
CN115542896A (zh) * 2022-09-19 2022-12-30 广州市智能软件产业研究院 一种机器人路径生成方法、系统及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102087530A (zh) * 2010-12-07 2011-06-08 东南大学 基于手绘地图和路径的移动机器人视觉导航方法
CN108705532A (zh) * 2018-04-25 2018-10-26 中国地质大学（武汉） 一种机械臂避障路径规划方法、设备及存储设备
CN109946382A (zh) * 2019-01-31 2019-06-28 中国兵器科学研究院宁波分院 一种基于工业机器人的超声波c扫描自动检测方法
CN109949375A (zh) * 2019-02-02 2019-06-28 浙江工业大学 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN110807361A (zh) * 2019-09-19 2020-02-18 腾讯科技（深圳）有限公司 人体识别方法、装置、计算机设备及存储介质
CN113110451A (zh) * 2021-04-14 2021-07-13 浙江工业大学 一种深度相机与单线激光雷达融合的移动机器人避障方法
CN115143964A (zh) * 2022-07-05 2022-10-04 中国科学技术大学 一种基于2.5d代价地图的四足机器人自主导航方法
CN115542896A (zh) * 2022-09-19 2022-12-30 广州市智能软件产业研究院 一种机器人路径生成方法、系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hybrid Path Planning Based on Safe A* Algorithm and Adaptive Window Approach for Mobile Robot in Large-Scale Dynamic Environment;Magda Skoczeń等;《Sensors》;第21卷(第16期);1-17 *
基于安全A*与自适应窗口法的机器人路径规划与跟踪方法研究;王祥;《中国优秀硕士学位论文全文数据库信息科技辑》(第07期);I140-293 *

Also Published As

Publication number Publication date
CN116385489A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Droeschel et al. Learning to interpret pointing gestures with a time-of-flight camera
CN108885459B (zh) 导航方法、导航系统、移动控制系统及移动机器人
CN110097024B (zh) 一种移乘搬运护理机器人的人体姿态视觉识别方法
JP4422792B1 (ja) 物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラム
Droeschel et al. Towards joint attention for a domestic service robot-person awareness and gesture recognition using time-of-flight cameras
RU2662913C2 (ru) Способ локализации робота в плоскости локализации
WO2021143543A1 (zh) 机器人及其控制方法
Droeschel et al. 3D body pose estimation using an adaptive person model for articulated ICP
WO2019232804A1 (zh) 软件更新方法、系统、移动机器人及服务器
Kim et al. Motion segmentation and control design for UCF-MANUS—An intelligent assistive robotic manipulator
Wang et al. Real-time 3D human tracking for mobile robots with multisensors
JP2018173707A (ja) 人推定システムおよび推定プログラム
Volkhardt et al. Finding people in home environments with a mobile robot
US11055341B2 (en) Controlling method for artificial intelligence moving robot
CN115552348A (zh) 移动目标跟随方法、机器人和计算机可读存储介质
Yuan et al. Development of a human-friendly robot for socially aware human-robot interaction
Li et al. Visual interpretation of natural pointing gestures in 3D space for human-robot interaction
Hu et al. Multi-user identification and efficient user approaching by fusing robot and ambient sensors
CN116385489B (zh) 基于rgbd相机的目标跟随方法及系统
Volkhardt et al. Finding people in apartments with a mobile robot
WO2023273389A1 (zh) 人体躺姿检测方法及使用该方法的移动机器
WO2023273492A1 (zh) 人体姿态判断方法及使用该方法的移动机器
Luo et al. Mobile robot based human detection and tracking using range and intensity data fusion
Liu et al. Building semantic maps for blind people to navigate at home
Wang et al. Real-time human body motion estimation based on multi-layer laser scans

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant