CN108527366B - 基于景深距离的机器人跟随方法及装置 - Google Patents

Abstract

本申请公开了一种基于景深距离的机器人跟随方法及装置，用于根据对景深距离的判断结果控制机器人的移动。该方法包括：获取跟踪目标的第一景深距离；判断所述第一景深距离是否满足预设跟随条件；如果判断所述第一景深距离满足预设跟随条件，则执行确定机器人的跟随方向，并据其控制机器人移动的操作。本申请解决了由于景深距离的处理能力弱造成的跟随效果差的技术问题。

Description

基于景深距离的机器人跟随方法及装置

技术领域

本申请涉及机器人领域，具体而言，涉及一种基于景深距离的机器人跟随方法及装置。

背景技术

随着机器人领域的快速深入发展，人机交互技术也越来越成为研究的热点之一。其中智能人体跟随是移动机器人领域中主要的研究部分，该技术可以更好的服务用户，提高并完善人机交互的智能性，对用户发出的指令做出有效的应答。

目前应用于机器人的跟随方法有多种，例如基于超声波处理、基于红外处理、基于视觉图像处理等。倘若采用超声波处理方法很难确定跟随特定目标，而采用红外处理方法又有很多局限性，如探测距离短、特定目标难确定等问题，使得人体跟踪易受到干扰而跟踪失败。若基于视觉图像处理可以在一定程度上解决上述问题，但是若采用kinect的人体骨骼识别跟随，又会出现骨骼识别慢，中途目标丢失很难重新捕获等问题，而使得跟随效果差。

因此，机器人在跟随过程中不能跟随特定目标以及目标获取慢，在一定程度上影响机器人跟随的连续性与平滑性。

针对相关技术中景深距离的处理能力弱造成的跟随效果差的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种基于景深距离的机器人跟随方法及装置，以解决景深距离的处理能力弱造成的跟随效果差的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种基于景深距离的机器人跟随方法，用于根据对景深距离的判断结果控制机器人的移动。

根据本申请的基于景深距离的机器人跟随方法包括：获取跟踪目标的第一景深距离；判断所述第一景深距离是否满足预设跟随条件；如果判断所述第一景深距离满足预设跟随条件，则执行确定机器人的跟随方向，并据其控制机器人移动的操作。

进一步的，获取跟踪目标的第一景深距离包括：获取第一视频图像数据；确定所述第一视频图像数据的跟踪目标，其中，所述跟踪目标用于作为机器人的跟随对象；根据所述第一视频图像数据得到所述跟踪目标的第一景深距离，其中，所述第一景深距离用于作为控制机器人的参数。

进一步的，确定所述第一视频图像数据的跟踪目标包括：通过kinect追踪所述第一视频图像数据的第一人体图像；对所述第一人体图像按照时间节点排序；选择排序后预设时间节点处的第一人体图像作为所述跟踪目标。

进一步的，所述kinect为所述机器人的视觉系统，包括：彩色摄像装置、左摄像装置和右摄像装置。

进一步的，根据所述第一视频图像数据得到所述跟踪目标的第一景深距离包括：获取所述第一视频图像数据的第一图像深度信息；根据所述第一图像深度信息提取所述跟踪目标的第一人体深度信息p_i(x,y)；根据所述第一人体深度信息p_i(x,y)计算所述第一景深距离，

其中，n表示目标人体的像素点的个数，d为景深距离。

进一步的，还包括：对kinect中的左、右摄像装置执行标定操作；得到左摄像装置中左相机的内参矩阵为：

得到右摄像装置中右相机的内参矩阵为：

为了实现上述目的，根据本申请的另一方面，提供了一种基于景深距离的机器人跟随装置，用于根据对景深距离的判断结果控制机器人的移动。

根据本申请的基于景深距离的机器人跟随装置包括：获取单元，用于获取跟踪目标的第一景深距离；判断单元，用于判断所述第一景深距离是否满足预设跟随条件；执行单元，用于如果判断所述第一景深距离满足预设跟随条件，则执行确定机器人的跟随方向，并据其控制机器人移动的操作。

进一步的，所述获取单元，包括：图像模块，用于获取第一视频图像数据；确定模块，用于确定所述第一视频图像数据的跟踪目标，其中，所述跟踪目标用于作为机器人的跟随对象；处理模块，用于根据所述第一视频图像数据得到所述跟踪目标的第一景深距离，其中，所述第一景深距离用于作为控制机器人的参数。

进一步的，所述确定单元包括：追踪模块，用于通过kinect追踪所述第一视频图像数据的第一人体图像；排序模块，用于对所述第一人体图像按照时间节点排序；选择模块，用于选择排序后预设时间节点处的第一人体图像作为所述跟踪目标。

进一步的，所述处理单元包括：深度获取模块，用于获取所述第一视频图像数据的第一图像深度信息；提取模块，用于根据所述第一图像深度信息提取所述跟踪目标的第一人体深度信息p_i(x,y)；计算模块，用于根据所述第一人体深度信息p_i(x,y)计算所述第一景深距离，

其中，n表示目标人体的像素点的个数，d为景深距离。

在本申请实施例中，采用判断跟随的方式，通过对景深距离是否满足预设跟随条件的判断，达到了机器人可跟随跟踪目标移动以及自动控制移动方向的目的，从而实现了提升景深距离的处理能力的技术效果，进而解决了由于景深距离的处理能力弱造成的跟随效果差的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例的图像处理方法流程示意图；

图2是根据本申请第二实施例的图像处理方法流程示意图；

图3是根据本申请第三实施例的图像处理方法流程示意图；

图4是根据本申请第四实施例的图像处理方法流程示意图；

图5是根据本申请第五实施例的图像处理方法流程示意图；

图6是根据本申请第一实施例的图像处理装置结构示意图；

图7是根据本申请第二实施例的图像处理装置结构示意图；

图8是根据本申请第三实施例的图像处理装置结构示意图；

图9是根据本申请第四实施例的图像处理装置结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本实用新型及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本发明实施例，提供了一种基于景深距离的机器人跟随方法，用于根据对景深距离的判断结果控制机器人的移动。

如图1所示，该方法包括如下的步骤S102至步骤S106：

步骤S102、获取跟踪目标的第一景深距离；

步骤S104、判断所述第一景深距离是否满足预设跟随条件；

步骤S106、如果判断所述第一景深距离满足预设跟随条件，则执行确定机器人的跟随方向，并据其控制机器人移动的操作。

具体的，景深距离是指拍摄总时间内的人体和机器人间的距离，景深距离可以通过对采集的视频图像数据的处理而获得；第一景深距离为该段拍摄时间内的与采集周期相等的时间段内的景深距离；预设跟随条件可以是预先设定的与景深距离相关的数值范围，超出该数值范围则移动；从而通过预设跟随条件可以实现根据第一景深距离来判断机器人的移动方向，由机器人与跟踪目标之间的距离来判断机器人是否进行跟随移动，若上位机判定机器人进行跟随移动，则将信息反馈到下位机的控制系统，控制机器人进行相应的跟随移动，前进、后退、左转或右转。优选的，当d>1.2m时，机器人前进，当d<1.2m时，机器人后退，直到机器人与目标人体的距离等于1.2m时为止，此时机器人停止不动；能够精确控制机器人的移动方向，从而避免了撞到人体、误跟随或不跟随等情况。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用判断跟随的方式，通过对景深距离是否满足预设跟随条件的判断，达到了机器人可跟随跟踪目标移动以及自动控制移动方向的目的，从而实现了提升景深距离的处理能力的技术效果，进而解决了由于景深距离的处理能力弱造成的跟随效果差的技术问题。

根据本发明实施例，优选的，如图2所示，获取跟踪目标的第一景深距离包括：

步骤S202、获取第一视频图像数据；

视频图像数据是指通过机器人的视觉系统采集得到的动态或静态图像；第一视频图像数据为视频图像数据中的某一段图像；达到该段图像的采集周期时 (仍然继续采集动态或静态图像)，则进入步骤S204判断并确定跟踪目标，如果未达到该采集周期，则继续采集视觉范围内的动态或静态图像，直至达到该采集周期。达到周期性确定视频中的跟踪目标的目的，能够保证跟随的实时性，避免跟踪目标由于时间过长，而超出视觉系统的范围，导致跟踪目标丢失很难再重新捕获的问题。优选的，获取第一视频图像数据包括：通过kinect采集获取所述第一视频图像数据。kinect为所述机器人的视觉系统，所述kinect包括：彩色摄像装置、左摄像装置和右摄像装置。通过上述的摄像装置中的摄像头采集第一视频图像数据，左摄像装置模拟左眼，右摄像装置模拟右眼，彩色摄像装置模拟人眼识别颜色，彩色摄像装置设置于中间；优选的，左、右摄像装置为3D深度感应器，包括：红外线发射器和红外线CMOS摄像机，通过红外线发射器和红外线CMOS摄像机的配合，为达到人体检测、跟踪的目的提供保障。

步骤S204、确定所述第一视频图像数据的跟踪目标，其中，所述跟踪目标用于作为机器人的跟随对象；

第一视频图像数据包括：人体影像或环境影像，至少包括环境影像；当第一视频图像数据被采集获得后，判断其中是否包含人体影像，如果包含则选择并确定其中的跟随目标，如果判断其中不包含人体影像，则认为采集得到的第一视频图像数据为无效数据，再进行另一段第一视频图像数据的采集，再进行相同的判断、确定，直至确定跟随目标后，执行步骤S206。能够有效确定机器人需要跟随的对象，为机器人的准确跟随提供保障。

根据本发明实施例，优选的，如图3所示，确定所述第一视频图像数据的跟踪目标包括：

步骤S302、通过kinect追踪所述第一视频图像数据的第一人体图像；

步骤S304、对所述第一人体图像按照时间节点排序；

步骤S306、选择排序后预设时间节点处的第一人体图像作为所述跟踪目标。

第一视频图像数据中可以包含多个人体影像和环境影像；Kinect通过发射近红外线光源来获取深度图，只要有大字形的第一人体图像，kinect都会去追踪，即便在黑暗的条件下，也同样会追踪该第一人体图像；第一人体图像包含多个人体影像，按照时间顺序将其排列，并预设一个时间节点，选择该时间节点处的人体影像作为跟踪目标。通过预设时间节点的方式，确定机器人需要跟随的对象(跟踪目标)，保证该跟踪目标的唯一性，避免其他人体图像对机器人的跟随产生干扰。优选的，时间节点为第一检测到人体图像时，程序自动自行将该人体图像作为跟踪目标的操作，算法简单，容易辨识，响应速度快，错误跟踪的概率低。可选的，也可以通过在该第一视频图像数据中随机选择一人体影像作为跟踪目标。

步骤S206、根据所述第一视频图像数据得到所述跟踪目标的第一景深距离，其中，所述第一景深距离用于作为控制机器人的参数。

确定跟踪目标后，需要确定机器人的跟随时机；可以是通过检测人体是否为动态，如果检测到人体为动态(在向前、向后行走)，则机器人也做相应的前、后移动的动作，也可以是通过人体和机器人的距离确定机器人是否要移动，即达到设定距离阈值则移动，未到达则待机；优选为通过第一景深距离确定是否要移动。为机器人在跟随中不会发生撞到人体、误跟随或不跟随等提供了保障，从而加强了跟随效果。

根据本发明实施例，优选的，如图4所示，根据所述第一视频图像数据得到所述跟踪目标的第一景深距离包括：

步骤S402、获取所述第一视频图像数据的第一图像深度信息；

步骤S404、根据所述第一图像深度信息提取所述跟踪目标的第一人体深度信息p_i(x,y)；

步骤S406、根据所述第一人体深度信息p_i(x,y)计算所述第一景深距离，

其中，n表示目标人体的像素点的个数，d为景深距离。

通过人体和机器人的距离确定机器人是否要移动。可以提取步骤S302至步骤S306的处理后得到的第一人体图像中的第一图像深度信息，再从中提取第一人体深度信息，通过第一人体深度信息结合上述的公式能够计算得到第一景深距离，从而能够通过第一景深距离来判断机器人的移动方向；优选的，当d>1.2m时，机器人前进，当d<1.2m时，机器人后退，直到机器人与目标人体的距离等于1.2m时为止，此时机器人停止不动；能够精确控制机器人的移动方向，从而避免了撞到人体、误跟随或不跟随等情况。根据本发明实施例，优选的，如图5所示，还包括：

步骤S502、对kinect中的左、右摄像装置执行标定操作；

步骤S504、得到左摄像装置中左相机的内参矩阵为：

步骤S506、得到右摄像装置中右相机的内参矩阵为：

采用张正友标定法进行上述的左、右摄像机的内参矩阵的标定。达到既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、机器人、家庭使用的桌面视觉系统(DVS)的标定要求。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本发明实施例，还提供了一种基于景深距离的机器人跟随装置，用于根据对景深距离的判断结果控制机器人的移动。

根据本申请的基于景深距离的机器人跟随装置包括：获取单元，用于获取跟踪目标的第一景深距离；判断单元，用于判断所述第一景深距离是否满足预设跟随条件；执行单元，用于如果判断所述第一景深距离满足预设跟随条件，则执行确定机器人的跟随方向，并据其控制机器人移动的操作。

具体的，景深距离是指拍摄总时间内的人体和机器人间的距离，景深距离可以通过对采集的视频图像数据的处理而获得；第一景深距离为该段拍摄时间内的与采集周期相等的时间段内的景深距离；预设跟随条件可以是预先设定的与景深距离相关的数值范围，超出该数值范围则移动；从而通过预设跟随条件可以实现根据第一景深距离来判断机器人的移动方向，由机器人与跟踪目标之间的距离来判断机器人是否进行跟随移动，若上位机判定机器人进行跟随移动，则将信息反馈到下位机的控制系统，控制机器人进行相应的跟随移动，前进、后退、左转或右转。优选的，当d>1.2m时，机器人前进，当d<1.2m时，机器人后退，直到机器人与目标人体的距离等于1.2m时为止，此时机器人停止不动；能够精确控制机器人的移动方向，从而避免了撞到人体、误跟随或不跟随等情况。

从以上的描述中，可以看出，本发明实现了如下技术效果：

在本申请实施例中，采用判断跟随的方式，通过对景深距离是否满足预设跟随条件的判断，达到了机器人可跟随跟踪目标移动以及自动控制移动方向的目的，从而实现了提升景深距离的处理能力的技术效果，进而解决了由于景深距离的处理能力弱造成的跟随效果差的技术问题。

根据本发明实施例，优选的，如图7所示，所述获取单元包括：图像模块，用于获取第一视频图像数据；确定模块，用于确定所述第一视频图像数据的跟踪目标，其中，所述跟踪目标用于作为机器人的跟随对象；处理模块，用于根据所述第一视频图像数据得到所述跟踪目标的第一景深距离，其中，所述第一景深距离用于作为控制机器人的参数。

具体的，视频图像数据是指通过机器人的视觉系统采集得到的动态或静态图像；第一视频图像数据为视频图像数据中的某一段图像；达到该段图像的采集周期时(仍然继续采集动态或静态图像)，则判断并确定跟踪目标，如果未达到该采集周期，则继续采集视觉范围内的动态或静态图像，直至达到该采集周期。达到周期性确定视频中的跟踪目标的目的，能够保证跟随的实时性，避免跟踪目标由于时间过长，而超出视觉系统的范围，导致跟踪目标丢失很难再重新捕获的问题。第一视频图像数据包括：人体影像或环境影像，至少包括环境影像；当第一视频图像数据被采集获得后，判断其中是否包含人体影像，如果包含则选择并确定其中的跟随目标，如果判断其中不包含人体影像，则认为采集得到的第一视频图像数据为无效数据，再进行另一段第一视频图像数据的采集，再进行相同的判断、确定，直至确定跟随目标后，进入处理模块处理。能够有效确定机器人需要跟随的对象，为机器人的准确跟随提供保障。确定跟踪目标后，需要确定机器人的跟随时机；可以是通过检测人体是否为动态，如果检测到人体为动态(在向前、向后行走)，则机器人也做相应的前、后移动的动作，也可以是通过人体和机器人的距离确定机器人是否要移动，即达到设定距离阈值则移动，未到达则待机。为机器人在跟随中不会发生撞到人体、误跟随或不跟随等提供了保障，从而加强了跟随效果。

根据本发明实施例，优选的，如图8所示，所述确定单元包括：追踪模块，用于通过kinect追踪所述第一视频图像数据的第一人体图像；排序模块，用于对所述第一人体图像按照时间节点排序；选择模块，用于选择排序后预设时间节点处的第一人体图像作为所述跟踪目标。第一视频图像数据中可以包含多个人体影像和环境影像；Kinect通过发射近红外线光源来获取深度图，只要有大字形的第一人体图像，kinect都会去追踪，即便在黑暗的条件下，也同样会追踪该第一人体图像；第一人体图像包含多个人体影像，按照时间顺序将其排列，并预设一个时间节点，选择该时间节点处的人体影像作为跟踪目标。通过预设时间节点的方式，确定机器人需要跟随的对象(跟踪目标)，保证该跟踪目标的唯一性，避免其他人体图像对机器人的跟随产生干扰。优选的，时间节点为第一检测到人体图像时，程序自动自行将该人体图像作为跟踪目标的操作，算法简单，容易辨识，响应速度快，错误跟踪的概率低。可选的，也可以通过在该第一视频图像数据中随机选择一人体影像作为跟踪目标。

根据本发明实施例，优选的，如图9所示，所述处理单元包括：深度获取模块，用于获取所述第一视频图像数据的第一图像深度信息；提取模块，用于根据所述第一图像深度信息提取所述跟踪目标的第一人体深度信息p_i(x,y)；计算模块，用于根据所述第一人体深度信息p_i(x,y)计算所述第一景深距离，

其中，n表示目标人体的像素点的个数，d为景深距离。通过人体和机器人的距离确定机器人是否要移动。可以提取步骤S302至步骤S306 的处理后得到的第一人体图像中的第一图像深度信息，再从中提取第一人体深度信息，通过第一人体深度信息结合上述的公式能够计算得到第一景深距离，从而能够通过第一景深距离来判断机器人的移动方向，当d>1.2m时，机器人前进，当d<1.2m时，机器人后退，直到机器人与目标人体的距离等于1.2m时为止，此时机器人停止不动；能够精确控制机器人的移动方向，从而避免了撞到人体、误跟随或不跟随等情况。

根据本发明实施例，优选的，还包括：标定单元，所述标定单元用于，对 kinect中的左、右摄像装置执行标定操作；得到左摄像装置中左相机的内参矩阵为：

得到右摄像装置中右相机的内参矩阵为：

采用张正友标定法进行上述的左、右摄像机的内参矩阵的标定。达到既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、机器人、家庭使用的桌面视觉系统(DVS) 的标定要求。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (4)

1.一种基于景深距离的机器人跟随方法，其特征在于，用于根据对景深距离的判断结果控制机器人的移动，该方法包括：

获取第一视频图像数据；

通过kinect追踪所述第一视频图像数据的第一人体图像；

对所述第一人体图像按照时间节点排序；

选择排序后预设时间节点处的第一人体图像作为跟踪目标；

获取所述第一视频图像数据的第一图像深度信息；

根据所述第一图像深度信息提取所述跟踪目标的第一人体深度信息p_i(x，y)；

根据所述第一人体深度信息p_i(x，y)计算第一景深距离，

其中，n表示目标人体的像素点的个数，d为景深距离；

判断所述第一景深距离是否满足预设跟随条件；

如果判断所述第一景深距离满足预设跟随条件，则执行确定机器人的跟随方向，并据其控制机器人移动的操作。

2.根据权利要求1所述的机器人跟随方法，其特征在于，所述kinect为所述机器人的视觉系统，包括：彩色摄像装置、左摄像装置和右摄像装置。

3.根据权利要求1至2中任一项所述的机器人跟随方法，其特征在于，还包括：

对kinect中的左、右摄像装置执行标定操作；

得到左摄像装置中左相机的内参矩阵为：

得到右摄像装置中右相机的内参矩阵为：

4.一种基于景深距离的机器人跟随装置，其特征在于，用于根据对景深距离的判断结果控制机器人的移动，该装置包括：

获取单元，用于获取第一视频图像数据；

通过kinect追踪所述第一视频图像数据的第一人体图像；

对所述第一人体图像按照时间节点排序；

选择排序后预设时间节点处的第一人体图像作为跟踪目标；

获取所述第一视频图像数据的第一图像深度信息；

根据所述第一图像深度信息提取所述跟踪目标的第一人体深度信息p_i(x，y)；

根据所述第一人体深度信息p_i(x，y)计算第一景深距离，

其中，n表示目标人体的像素点的个数，d为景深距离；

判断单元，用于判断所述第一景深距离是否满足预设跟随条件；

执行单元，用于如果判断所述第一景深距离满足预设跟随条件，则执行确定机器人的跟随方向，并据其控制机器人移动的操作。

Images