CN105425795A - 规划最优跟随路径的方法及装置 - Google Patents

规划最优跟随路径的方法及装置 Download PDF

Info

Publication number
CN105425795A
CN105425795A CN201510846422.5A CN201510846422A CN105425795A CN 105425795 A CN105425795 A CN 105425795A CN 201510846422 A CN201510846422 A CN 201510846422A CN 105425795 A CN105425795 A CN 105425795A
Authority
CN
China
Prior art keywords
follow
following
output valve
followed
main body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510846422.5A
Other languages
English (en)
Other versions
CN105425795B (zh
Inventor
安宁
廖方波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201510846422.5A priority Critical patent/CN105425795B/zh
Publication of CN105425795A publication Critical patent/CN105425795A/zh
Priority to PCT/CN2016/106689 priority patent/WO2017088720A1/zh
Application granted granted Critical
Publication of CN105425795B publication Critical patent/CN105425795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations

Abstract

本发明实施例提供了一种规划最优跟随路径的方法及装置。在跟随主体跟随位置动态变化的跟随客体时,规划最优跟随路径的方法包括:根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的跟随输出值,并从中确定出最优跟随输出值;根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。本发明实现了有效地跟随指定目标,比如躲避障碍物或者重新跟踪到跟随主体视野范围外的目标。

Description

规划最优跟随路径的方法及装置
技术领域
本发明实施例涉及人机交互技术领域,尤其涉及一种规划最优跟随路径的方法及装置。
背景技术
随着科学技术日新月异的发展、人民生活水平的不断提高、生命得到更多尊重、老龄化社会问题同趋严峻、新军事变革不断深入,机器人走向工业、社会、家庭和战场为人类服务已成为必然趋势。
机器人从工厂的结构化环境逐步进入人类日常生活的环境-----医院、办公室、家庭和其它杂乱及不可控环境。人们期望未来机器人不仅能自主完成工作,而且能与人共同协作完成任务或在人指导下完成任务,这类机器人被统称为服务机器人。服务机器人按照应用环境又可分为在特殊环境下作业的机器人(如反恐防暴、抢救灾、勘探勘测等)和服务于人的机器人(如医疗康复、家政服务、教育娱乐等)。
与传统工业机器人相比,服务机器人应用领域更为广泛,但所面向的环境更为复杂,具有极大的不确定性,对机器人的智能性、适应性和灵活性提出了很高的挑战。
服务机器人人机交互性涉及多个技术领域。目标跟随是入机交互研究中的一个热点问题,不仅在服务机器人领域具有广泛的应用需求,例如协助残疾人和病人移动的机器人轮椅、跟在主人身后搬运行李和重物的机器人等,而且对于侦察型军用机器人也具有应用价值。机器人在跟随目标的过程中,可能会遇到障碍物,或者目标脱离跟踪的视野,导致无法有效地跟随指定目标。
发明内容
本发明实施例的目的在于提供一种规划最优跟随路径的方法及装置,用以解决/缓解现有技术中上述问题之一或者所有。
本发明实施例采用的技术方案如下:
本发明实施例提供了一种规划最优跟随路径的方法,其包括:
根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值,并从中确定出最优跟随输出值;
根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。
优选地,在一本发明实施例规划最优跟随路径的方法中,所述根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值包括:
根据跟随主体所在的环境限制和跟随主体的运动模型作为跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据跟随限制条件,确定跟随主体能实现跟随到被跟随客体的不同跟随输出值包括:
根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据跟随主体所在的环境限制和跟随主体的运动模型作为跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值包括:根据在所述被跟随客体所在局部地图中的环境限制,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径包括:根据所述最优跟随输出值生成对应的运动控制序列,以规划出至少可避免与环境障碍物干涉的跟随路径。
优选地,在一本发明实施例规划最优跟随路径的方法,规划最优跟随路径的方法还包括:预先设定期望的跟随主体到被跟随客体的相对姿态。
优选地,在一本发明实施例规划最优跟随路径的方法,所述确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值:根据跟随限制条件、实时检测的跟随主体的姿态与期望的跟随主体到被跟随客体的相对姿态差值,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
优选地,在一本发明实施例规划最优跟随路径的方法,当被跟随客体超出跟随主体的视野范围时,还包括:确定丢失前最后一次被跟随客体的位置,并将丢失前最后一次被跟随客体的位置作为导航目标点;
所述根据跟随限制条件,确定跟随主体能实现跟随到被跟随客体的不同跟随输出值,并从中确定出最优跟随输出值包括:根据建立的全局地图及在所述全局地图的限制条件下,确定跟随主体能实现跟随到所述导航目标点的不同跟随输出值,并从中确定出最优跟随输出值。
优选地,在一本发明实施例规划最优跟随路径的方法还包括:
根据被跟随客体特征的描述实时确定被跟随客体在图像上所在的图像区域;
根据所述图像区域内被跟随客体的特征点跟踪被跟随客体的物理位置。
优选地,在一本发明实施例规划最优跟随路径的方法中,所述根据被跟随客体特征的描述实时确定被跟随客体在图像上所在的图像区域包括:
通过深度摄像头采集跟随目标形成的深度图像;
根据被跟随客体特征的描述实时确定被跟随客体在所述深度图像上所在的图像区域。
优选地,在一本发明实施例规划最优跟随路径的方法中,根据所述图像区域内被跟随客体的特征点跟踪被跟随客体的物理位置包括:根据所述图像区域内被跟随客体的特征点以及所述深度图像的深度信息跟踪被跟随客体的物理位置。
优选地,在一本发明实施例规划最优跟随路径的方法中,还包括:获取跟随客体在不同的姿态下对被跟随客体跟随的不同特征点,并据此建立被跟随客体的特征点集,以保持对被跟随客体的高识别度。
本发明实施例又提供了一种跟随装置,其包括:
图像采集单元,用于采集在跟随被跟随客体时的图像;
处理器,用于根据被跟随客体特征的描述实时确定被跟随客体在图像上所在的图像区域,并根据所述图像区域内被跟随客体的特征点跟踪被跟随客体的物理位置;根据跟随限制条件确定跟随主体到被跟随客体的物理位置的不同跟随输出值并从中确定出最优跟随输出值;根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径;
控制器,控制所述跟随装置根据规划出的最优跟随路径跟随被跟随客体。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于根据跟随主体所在的环境限制和跟随主体的运动模型作为跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于根据在所述跟随主体所在局部地图中的环境限制,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于根据所述最优跟随输出值对应的运动控制指令生成运动控制序列。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于预先设定期望的跟随主体到被跟随客体的相对姿态。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于根据跟随限制条件、实时检测的跟随主体的姿态与期望的跟随主体到被跟随客体的相对姿态差值,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于当被跟随客体超出跟随主体的视野范围时,确定丢失前最后一次被跟随客体的位置,并将丢失前最后一次被跟随客体的位置作为导航目标点;以及用于根据建立的全局地图及在所述全局地图的限制条件下,确定跟随主体能实现跟随到所述导航目标点的不同跟随输出值,并从中确定出最优跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于通过深度摄像头采集跟随目标形成的深度图像;以及根据被跟随客体特征的描述实时确定被跟随客体在所述深度图像上所在的图像区域。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于根据所述图像区域内被跟随客体的特征点以及所述深度图像的深度信息跟踪被跟随客体的物理位置。
优选地,在一本发明实施例目标的跟随装置中,所述处理器进一步用于获取跟随客体在不同的姿态下对被跟随客体跟随的不同特征点,并据此建立被跟随客体的特征点集,以保持对被跟随客体的高识别度。
本发明实施例的技术方案具有以下优点:由于根据跟随限制条件可以确定出跟随主体能跟随到被跟随客体物理位置的跟随输出值,并从中确定并根据最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径,从而实现了有效地跟随指定目标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一规划最优跟随路径的方法流程示意图;
图2为本发明实施例二规划最优跟随路径的方法流程示意图;
图3为本发明实施例三规划最优跟随路径的方法流程示意图;
图4为本发明实施例四规划最优跟随路径的方法流程示意图;
图5为本发明实施例五规划最优跟随路径的方法流程示意图;
图6为本发明实施例六跟随装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下述本发明实施例中,以机器人跟随人为例,对本发明进行示意性说明,机器人做为跟随主体,人作为被跟随客体即跟随目标。但是,需要说明的是,本发明不局限于应用于机器人跟随人,也可以应用于机器人对其他非人体目标的跟随,对于本领域普通技术人员来说,在发明实施例的启发下,无须创造性劳动即可实现,下述本发明实施例将不再赘述。
本发明实施例中,由于根据跟随限制条件可以确定出跟随主体能跟随到被跟随客体物理位置的不同跟随输出值,并从中确定并根据最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径,从而实现了有效地跟随指定目标。
图1为本发明实施例一规划最优跟随路径的方法流程示意图;如图1所示,在本实施例至少可以包括:
S101、根据跟随限制条件,确定机器人能跟随到目标人物理位置的不同跟随输出值,并从中确定出最优跟随输出值;
优选地,在本实施例中,步骤S101中在所述根据跟随限制条件,确定机器人能跟随到目标人物理位置的跟随输出值时可以具体包括:根据机器人所在的环境限制和跟随主体的运动模型作为跟随限制条件,确定机器人能跟随到目标人物理位置的跟随输出值。不同跟随输出值可以用来表示机器人从不同路径跟随到目标人物理位置的代价。
本实施例中,机器人所在的环境限制包括被跟随客体所在全局地图和局部地图的环境限制,比如在家庭环境中;而对于室外环境来说,全局地图构建的难度较大,因此,被跟随客体所在的环境为局部地图的环境限制。
本实施例中,跟随主体的运动模型可以包括非全向运动模型以及全向运动模型。对于非全向运动模型如差分轮系来说,在确定跟随输出值时,可以基于垂直于轮轴方向上跟随主体的路径。而对于全向运动模型如麦克纳姆轮来说,其实质上是全向运动,可以考虑任意方向上跟随主体的路径。
本实施例中,机器人所在的环境限制也还可以包括加厚的地图如加厚的局部地图或者全局地图,所谓加厚比如可以是对物体轮廓加厚,在跟踪过程中,把加厚的物体轮廓作为安全距离的参考。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据目标人所在的环境限制和机器人的运动模型作为跟随限制条件,确定机器人能跟随到目标人物理位置的不同跟随输出值包括:根据在所述机器人所在局部地图中的环境限制和机器人的运动模型,确定机器人能跟随到目标人物理位置的不同跟随输出值。
以室内环境为例,差分机器人模型和麦克纳姆运动模型为例,由于前者不能全向动作,而后者可以全向动作,因此,在确定跟随输出值时,对应的跟随速度和跟随角度可能完全不同,比如平滑度上,前者的平滑度可能较小,后者的平滑度较大。
本实施例中,跟随输出值可以包括但不限于跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。跟随距离代价用来判断跟随到目标的距离远近,跟随时间代价用来判断跟随到目标的时间长短。
因此,具体地,步骤S101中根据跟随限制条件,确定机器人能实现跟随到目标人的跟随输出值时,可以具体包括:根据跟随限制条件,确定机器人能跟随到目标人物理位置的跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。此时,可以给每种代价赋予不同的权值,综合权值与对应的代价计算的到最终的跟随输出值。
本实施例中,在具体确定最优跟随输出值时,可以定义一代价函数costfunction,该代价函数的输出可以是跟随到目标的距离、跟随到目标的时间、跟随到目标的能量消耗,而其输入可以是机器人所在的环境限制和机器人的运动模型之一或者两者均有。
S102、根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。
最优跟随输出值意味着以最小的代价使得机器人实现跟随到目标人,该最优跟随输出值对应生成一运动控制序列。具体地,由于最优跟随输出值对应运动控制指令,该运动控制指令对应在时间上的线速度和角速度控制,根据这一系列的运动控制指令从而生成对应的运动控制序列。
图2为本发明实施例二规划最优跟随路径的方法流程示意图;如图2所示,本实施例至少可以包括:
S201、预先设定期望的机器人到目标人的相对姿态。
本实施例中,期望的机器人到目标人的相对姿态包括当机器人移动到目标人跟前时,其相对目标人的姿态,比如是在目标人身后、正面或者侧面,以及与目标人的距离和角度。
S202、根据跟随限制条件、实时检测的机器人的姿态与期望的机器人到目标人的相对姿态差值,确定机器人能跟随到目标人物理位置的跟随输出值。
本实施例中,如前所述,对于差分运动模型来说,其并不是全向的;而对于麦克纳姆运动模型来,其全向的,因此,在姿态控制上采用麦克纳姆运动模型的机器人比采用差分运动模型的机器人更为丰富。
优选地,在一本发明实施例规划最优跟随路径的方法中,所述根据跟随限制条件,确定机器人能跟随到目标人物理位置的跟随输出值包括:
根据机器人所在的环境限制和机器人的运动模型作为跟随限制条件,确定机器人能跟随到目标人物理位置的跟随输出值。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据跟随限制条件,确定机器人能实现跟随到目标人的跟随输出值包括:
根据跟随限制条件,确定机器人能跟随到目标人物理位置的跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据机器人所在的环境限制和机器人的运动模型作为跟随限制条件,确定机器人能跟随到目标人物理位置的不同跟随输出值包括:根据在所述机器人所在局部地图中的环境限制,确定机器人能跟随到目标人物理位置的不同跟随输出值。
本实施例中,局部地图的构建之前把目标人已经剔除,即不把目标人作为局部地图中的一元素,在局部地图构建时,可以基于摄像头采集到的图像,对图像进行轮廓分析、颜色特征分析、像素分析等,从而确定环境的特征点。
S203、根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径包括:根据所述最优跟随输出值生成对应的运动控制序列,以规划出至少可避免与环境障碍物干涉的跟随路径。
本实施例中,可以结合概率图算法、A*算法等来确定避免与环境障碍干涉。
图3为本发明实施例三规划最优跟随路径的方法流程示意图;如图3所示,本实施例至少可以包括:
S301、当被跟随的目标人超出机器人的视野范围时,确定丢失前最后一次目标人的位置,并将丢失前最后一次目标人的位置作为导航目标点;
本实施例中,机器人在跟随目标的过程中,每一次机器人的位置点都被记载,因此,当目标人超出机器人视野范围内时,把最后一次目标人的位置可以作为导航目标点,可以执行类似静态目标的跟踪。
S302、根据建立的全局地图及在所述全局地图的限制条件下,确定机器人能实现跟随到所述导航目标点的跟随输出值,并从中确定出最优跟随输出值。
本实施例中,全局地图的构建比如在室内环境中的全局地图构建构建,主要可通过机器人随机在室内运动或者人为控制机器人在室内运动,采集室内所有环境的特征点,从而构建的地图。
在跟踪导航目标点过程中,由于在全局和局部条件下,对环境的识别可能存在差异,比如局部地图中环境发生了相对于之前构建全局地图时的变化,因此可以基于实时局部地图对全局地图进行更新。可以把更新后的全局地图作为限制条件,确定机器人能实现跟随到所述导航目标点的跟随输出值,并从中确定出最优跟随输出值。
优选地,在一本发明实施例规划最优跟随路径的方法中,所述根据跟随限制条件,确定机器人能跟随到目标人物理位置的跟随输出值包括:
根据机器人所在的环境限制和机器人的运动模型作为跟随限制条件,确定机器人能跟随到目标人物理位置的跟随输出值。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据跟随限制条件,确定机器人能实现跟随到目标人的跟随输出值包括:
根据跟随限制条件,确定机器人能跟随到目标人物理位置的跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据机器人所在的环境限制和机器人的运动模型作为跟随限制条件,确定机器人能跟随到目标人物理位置的不同跟随输出值包括:根据在所述机器人所在局部地图中的环境限制,确定机器人能跟随到目标人物理位置的不同跟随输出值。
S303、根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。
优选地,在一本发明实施例规划最优跟随路径的方法,所述根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径包括:根据所述最优跟随输出值生成对应的运动控制序列,以规划出可避免与环境障碍物干涉的跟随路径。
图4为本发明实施例四规划最优跟随路径的方法流程示意图;如图4所示,本实施例至少可以包括:
S401、根据目标人特征的描述实时确定目标人在图像上所在的图像区域;
本实施例中,目标人特征的描述包括但不限于人脸、人体的轮廓、头部人体骨骼等身体上的显著特点。
本实施例中,当确定出确定处目标人在图像上所在的图像区域时,可以用一个明显的标示比如矩形框进行定位。这个矩形框可以框住目标人的全部体型或者部分体型,比如人脸、头部等。
优选地,在一本发明实施例规划最优跟随路径的方法中,步骤S401中根据目标人特征的描述实时确定目标人在图像上所在的图像区域至少可以包括:
通过深度摄像头采集跟随目标形成的深度图像;
根据目标人特征的描述实时确定目标人在所述深度图像上所在的图像区域。
由于后续要实现对目标人的跟踪,即要确定出机器人与目标人之间的距离,而深度图像信息中的深度数据即可实现距离的确定,而深度图像中包括了可确定出目标人的图像区域的RGB信息。因此,在确定目标人的图像区域时,可直接基于深度图像,无须单独采用普通的二维图像。
S402、根据所述图像区域内目标人的特征点跟踪目标人的物理位置;
优选地,在一本发明实施例规划最优跟随路径的方法中,根据所述图像区域内目标人的特征点跟踪目标人的物理位置包括:根据所述图像区域内目标人的特征点以及所述深度图像的深度信息跟踪目标人的物理位置。
本实施例中,目标人的特征点可以但不限于人脸特征、人体骨骼特征等。目标人的这些特征点实际上作为目标人的辨识ID,以人脸特征为例,由于本实施例中是基于深度图像,因此人脸特征同时包括了二维人脸数据,同时还包括了深度信息,所以比传统单纯的二维人脸数据更为丰富,在目标人的物理位置定位上更为准确。而且,在跟踪的过程中,目标人的特征点一直会保持,从而确保跟踪的有效性。
具体的,可以对目标区域的点云密度即特征点的密度做一些统计上的处理,得到其平均深度,这个深度就是当前时刻机器人到目标人的物理距离,换言之也就确定了目标人的物理位置。在确定平均深度时,可以基于目标区域的所有特征点进行,也可以选择部分具有较高密集度的特征点进行。
S403、根据跟随限制条件,确定机器人到目标人的物理位置的跟随输出值,并从中确定出最优跟随输出值;
S404、根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。
本实施例中的步骤S403、S404在此不再赘述,详细请参见上述图1、图2、图3所示的实施例。
图5为本发明实施例五规划最优跟随路径的方法流程示意图;如图5所示,本实施例至少可以包括:
S501、根据目标人特征的描述实时确定目标人在图像上所在的图像区域;
优选地,在一本发明实施例规划最优跟随路径的方法中,所述根据目标人特征的描述实时确定目标人在图像上所在的图像区域包括:
通过深度摄像头采集跟随目标形成的深度图像;
根据目标人特征的描述实时确定目标人在所述深度图像上所在的图像区域。
S502、获取跟随客体在不同的姿态下对目标人跟随的不同特征点,并据此建立目标人的特征点集,以保持对目标人的高识别度;
本实施例中,在建立特征点集时可以设定一定的准则,防止加入到特征点集中避免数据集过度膨胀,比如但是也要考虑到如果这个特征点加入特征集后,仅仅提供了很少的改善,在考虑到特征集不过过大,可以放弃这次更新。
S503、根据所述图像区域内目标人的特征点跟踪目标人的物理位置;
优选地,在一本发明实施例规划最优跟随路径的方法中,根据所述图像区域内目标人的特征点跟踪目标人的物理位置包括:根据所述图像区域内目标人的特征点以及所述深度图像的深度信息跟踪目标人的物理位置。
S504、根据跟随限制条件,确定机器人到目标人的物理位置的跟随输出值,并从中确定出最优跟随输出值;
S505、根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。
本实施例中的步骤S504、S505在此不再赘述,详细请参见上述图1、图2、图3所示的实施例。
图6为本发明实施例六跟随装置的结构示意图;如图6所示,其至少可以包括:图像采集单元601、处理器602以及控制器603,图像采集单元601与处理器602可通讯连接,控制器603与处理器602可通讯连接;其中:
图像采集单元601用于采集在跟随目标人时的图像;
本实施例中,图像采集单元601可以但不局限于为深度摄像头,只要可以获得深度图像信息即可。
处理器602用于根据目标人特征的描述实时确定目标人在图像上所在的图像区域,并根据所述图像区域内目标人的特征点跟踪目标人的物理位置;处理器602还用于根据跟随限制条件确定机器人到目标人的物理位置的跟随输出值并从中确定出最优跟随输出值;处理器602还用于根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径;
控制器603用于控制所述跟随装置根据规划出的最优跟随路径跟随目标人。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据跟随限制条件确定机器人到目标人的物理位置的跟随输出值并从中确定出最优跟随输出值时,可以进一步用于根据机器人所在的环境限制和机器人的运动模型作为跟随限制条件,确定机器人能跟随到目标人物理位置的跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据跟随限制条件确定机器人到目标人的物理位置的跟随输出值并从中确定出最优跟随输出值时,可以进一步用于根据跟随限制条件,确定机器人能跟随到目标人物理位置的跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据跟随限制条件确定机器人到目标人的物理位置的跟随输出值并从中确定出最优跟随输出值时,可以进一步用于根据在所述机器人所在局部地图中的环境限制,确定机器人能跟随到目标人物理位置的不同跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径时,可以进一步用于根据所述最优跟随输出值生成对应的运动控制序列,以规划出至少可避免与环境障碍物干涉的跟随路径。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602进一步用于预先设定期望的机器人到目标人的相对姿态。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据跟随限制条件确定机器人到目标人的物理位置的跟随输出值并从中确定出最优跟随输出值时,可以进一步用于根据跟随限制条件、实时检测的机器人的姿态与期望的机器人到目标人的相对姿态差值,确定机器人能跟随到目标人物理位置的跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602进一步用于当被跟随的目标人超出机器人的视野范围时,确定丢失前最后一次目标人的位置,并将丢失前最后一次目标人的位置作为导航目标点;在根据跟随限制条件确定机器人到目标人的物理位置的跟随输出值并从中确定出最优跟随输出值时,可以进一步用于根据建立的全局地图及在所述全局地图的限制条件下,确定机器人能实现跟随到所述导航目标点的跟随输出值,并从中确定出最优跟随输出值。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据目标人特征的描述实时确定目标人在图像上所在的图像区域时,可以进一步用于通过深度摄像头采集跟随目标形成的深度图像;以及根据目标人特征的描述实时确定目标人在所述深度图像上所在的图像区域。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据所述图像区域内目标人的特征点跟踪目标人的物理位置时,可以进一步用于根据所述图像区域内目标人的特征点以及所述深度图像的深度信息跟踪目标人的物理位置。
优选地,在一本发明实施例目标的跟随装置中,所述处理器602在根据所述图像区域内目标人的特征点跟踪目标人的物理位置时,可以进一步用于获取跟随客体在不同的姿态下对目标人跟随的不同特征点,并据此建立目标人的特征点集,以保持对目标人的高识别度。
需要说明的是,本发明上述实施例的技术方案可以应用于足球机器人、家用机器人以及服务类机器人上。具体的机器人形态并不做特殊限定,比如目前市场上出现的类似segway的自平衡两轮车也可以。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

1.一种规划最优跟随路径的方法,其特征在于,在跟随主体跟随位置动态变化的跟随客体时,包括:
根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值,并从中确定出最优跟随输出值;
根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径。
2.根据权利要求1或13所述的方法,其特征在于,所述根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值包括:
根据跟随主体所在的环境限制和跟随主体的运动模型作为跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
3.根据权利要求1或13所述的方法,其特征在于,所述根据跟随限制条件,确定跟随主体能实现跟随到被跟随客体的不同跟随输出值包括:
根据跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的跟随距离代价、跟随时间代价、跟随中姿态变化代价中之一或者任意组合。
4.根据权利要求2或13所述的方法,其特征在于,所述根据跟随主体所在的环境限制和跟随主体的运动模型作为跟随限制条件,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值包括:根据在所述被跟随客体所在局部地图中的环境限制,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
5.根据权利要求1或13所述的方法,其特征在于,所述根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径包括:根据所述最优跟随输出值对应的运动控制指令生成对应的运动控制序列。
6.根据权利要求1或13所述的方法,其特征在于,还包括:预先设定期望的跟随主体到被跟随客体的相对姿态。
7.根据权利要求6所述的方法,其特征在于,所述确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值:根据跟随限制条件、实时检测的跟随主体的姿态与期望的跟随主体到被跟随客体的相对姿态差值,确定跟随主体能跟随到被跟随客体物理位置的不同跟随输出值。
8.根据权利要求1或13所述的方法,其特征在于,当被跟随客体超出跟随主体的视野范围时,还包括:确定丢失前最后一次被跟随客体的位置,并将丢失前最后一次被跟随客体的位置作为导航目标点;
所述根据跟随限制条件,确定跟随主体能实现跟随到被跟随客体的跟随输出值,并从中确定出最优跟随输出值包括:根据建立的全局地图及在所述全局地图的限制条件下,确定跟随主体能实现跟随到所述导航目标点的不同跟随输出值,并从中确定出最优跟随输出值。
9.根据权利要求1所述的方法,其特征在于,还包括:
根据被跟随客体特征的描述实时确定被跟随客体在图像上所在的图像区域;
根据所述图像区域内被跟随客体的特征点跟踪被跟随客体的物理位置
跟随输出值跟随输出值跟随输出值。
10.根据权利要求9或13所述的方法,其特征在于,所述根据被跟随客体特征的描述实时确定被跟随客体在图像上所在的图像区域包括:
通过深度摄像头采集跟随目标形成的深度图像;
根据被跟随客体特征的描述实时确定被跟随客体在所述深度图像上所在的图像区域。
11.根据权利要求10所述的方法,其特征在于,根据所述图像区域内被跟随客体的特征点跟踪被跟随客体的物理位置包括:根据所述图像区域内被跟随客体的特征点以及所述深度图像的深度信息跟踪被跟随客体的物理位置。
12.根据权利要求9或13所述的方法,其特征在于,还包括:获取跟随客体在不同的姿态下对被跟随客体跟随的不同特征点,并据此建立被跟随客体的特征点集,以保持对被跟随客体的高识别度。
13.一种跟随装置,其特征在于,包括:
图像采集单元,用于采集在跟随被跟随客体时的图像;
处理器,用于根据被跟随客体特征的描述实时确定被跟随客体在图像上所在的图像区域,并根据所述图像区域内被跟随客体的特征点跟踪被跟随客体的物理位置;根据跟随限制条件确定跟随主体到被跟随客体的物理位置的不同跟随输出值并从中确定出最优跟随输出值;根据所述最优跟随输出值生成对应的运动控制序列,以规划最优的跟随路径;
控制器,控制所述跟随装置根据规划出的最优跟随路径跟随被跟随客体。
CN201510846422.5A 2015-11-26 2015-11-26 规划最优跟随路径的方法及装置 Active CN105425795B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510846422.5A CN105425795B (zh) 2015-11-26 2015-11-26 规划最优跟随路径的方法及装置
PCT/CN2016/106689 WO2017088720A1 (zh) 2015-11-26 2016-11-21 规划最优跟随路径的方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510846422.5A CN105425795B (zh) 2015-11-26 2015-11-26 规划最优跟随路径的方法及装置

Publications (2)

Publication Number Publication Date
CN105425795A true CN105425795A (zh) 2016-03-23
CN105425795B CN105425795B (zh) 2020-04-14

Family

ID=55504064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510846422.5A Active CN105425795B (zh) 2015-11-26 2015-11-26 规划最优跟随路径的方法及装置

Country Status (2)

Country Link
CN (1) CN105425795B (zh)
WO (1) WO2017088720A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843225A (zh) * 2016-03-31 2016-08-10 纳恩博(北京)科技有限公司 一种数据处理方法及设备
CN106096573A (zh) * 2016-06-23 2016-11-09 乐视控股(北京)有限公司 目标跟踪方法、装置、系统及远程监控系统
CN106094875A (zh) * 2016-06-27 2016-11-09 南京邮电大学 一种移动机器人的目标跟随控制方法
CN106774301A (zh) * 2016-10-25 2017-05-31 纳恩博(北京)科技有限公司 一种避障跟随方法和电子设备
WO2017088720A1 (zh) * 2015-11-26 2017-06-01 纳恩博(北京)科技有限公司 规划最优跟随路径的方法、装置及计算机存储介质
CN107097256A (zh) * 2017-04-21 2017-08-29 河海大学常州校区 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
CN107807652A (zh) * 2017-12-08 2018-03-16 灵动科技(北京)有限公司 物流机器人、用于其的方法和控制器及计算机可读介质
CN107943072A (zh) * 2017-11-13 2018-04-20 深圳大学 无人机飞行路径生成方法、装置、存储介质及设备
CN108107913A (zh) * 2017-10-31 2018-06-01 深圳市博鑫创科科技有限公司 一种平衡车前置跟踪方法和系统
CN108107884A (zh) * 2017-11-20 2018-06-01 北京理工华汇智能科技有限公司 机器人跟随导航的数据处理方法及其智能装置
CN108170166A (zh) * 2017-11-20 2018-06-15 北京理工华汇智能科技有限公司 机器人的跟随控制方法及其智能装置
CN109447337A (zh) * 2018-10-23 2019-03-08 重庆扬升信息技术有限公司 一种智慧云会议数据共享交换平台路径优化方法
CN110488874A (zh) * 2019-08-29 2019-11-22 五邑大学 一种教育辅助机器人及其控制方法
CN111290406A (zh) * 2020-03-30 2020-06-16 深圳前海达闼云端智能科技有限公司 一种路径规划的方法、机器人及存储介质
CN112788238A (zh) * 2021-01-05 2021-05-11 中国工商银行股份有限公司 用于机器人跟随的控制方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111982134B (zh) * 2020-08-10 2022-08-05 北京轩宇空间科技有限公司 适应未知动态空间的路径跟随控制方法、装置及存储介质
CN115565057A (zh) * 2021-07-02 2023-01-03 北京小米移动软件有限公司 地图生成方法、装置、足式机器人及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207736A (zh) * 2010-03-31 2011-10-05 中国科学院自动化研究所 基于贝塞尔曲线的机器人路径规划方法及装置
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随系统和方法
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102895093A (zh) * 2011-12-13 2013-01-30 冷春涛 一种基于rgb-d传感器的助行机器人跟踪系统及方法
CN102895092A (zh) * 2011-12-13 2013-01-30 冷春涛 一种基于多传感器融合的助行机器人三维环境识别系统
CN103268616A (zh) * 2013-04-18 2013-08-28 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法
CN103471592A (zh) * 2013-06-08 2013-12-25 哈尔滨工程大学 一种基于蜂群协同觅食算法的多无人机航迹规划方法
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
CN104950887A (zh) * 2015-06-19 2015-09-30 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置
CN104960522A (zh) * 2015-06-18 2015-10-07 奇瑞汽车股份有限公司 自动跟车系统及其控制方法
CN105043376A (zh) * 2015-06-04 2015-11-11 上海物景智能科技有限公司 一种适用于非全向移动车辆的智能导航方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5160322B2 (ja) * 2008-06-30 2013-03-13 株式会社Ihi 自律移動ロボット装置及び自律移動ロボット装置の制御方法
CN104637198A (zh) * 2013-11-14 2015-05-20 复旦大学 一种具有自主跟踪功能的智能结算购物车系统
CN103558856A (zh) * 2013-11-21 2014-02-05 东南大学 动态环境下服务动机器人导航方法
CN103901895B (zh) * 2014-04-18 2014-10-29 江苏久祥汽车电器集团有限公司 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人
CN104732222B (zh) * 2015-04-07 2018-03-06 中国科学技术大学 一种基于深度摄像头的多特征人体识别方法
CN104834309B (zh) * 2015-04-10 2018-08-21 浙江工业大学 基于目标跟踪控制策略的单移动机器人最优巡回控制方法
CN105425795B (zh) * 2015-11-26 2020-04-14 纳恩博(北京)科技有限公司 规划最优跟随路径的方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102207736A (zh) * 2010-03-31 2011-10-05 中国科学院自动化研究所 基于贝塞尔曲线的机器人路径规划方法及装置
CN102411368A (zh) * 2011-07-22 2012-04-11 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随系统和方法
CN102895093A (zh) * 2011-12-13 2013-01-30 冷春涛 一种基于rgb-d传感器的助行机器人跟踪系统及方法
CN102895092A (zh) * 2011-12-13 2013-01-30 冷春涛 一种基于多传感器融合的助行机器人三维环境识别系统
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
CN103268616A (zh) * 2013-04-18 2013-08-28 北京工业大学 多特征多传感器的移动机器人运动人体跟踪方法
CN103471592A (zh) * 2013-06-08 2013-12-25 哈尔滨工程大学 一种基于蜂群协同觅食算法的多无人机航迹规划方法
CN105043376A (zh) * 2015-06-04 2015-11-11 上海物景智能科技有限公司 一种适用于非全向移动车辆的智能导航方法及系统
CN104960522A (zh) * 2015-06-18 2015-10-07 奇瑞汽车股份有限公司 自动跟车系统及其控制方法
CN104950887A (zh) * 2015-06-19 2015-09-30 重庆大学 基于机器人视觉系统和自主跟踪系统的运输装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李飞龙等: "一种基于Kinect的自动跟随机器人设计", 《电脑知识与技术》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017088720A1 (zh) * 2015-11-26 2017-06-01 纳恩博(北京)科技有限公司 规划最优跟随路径的方法、装置及计算机存储介质
CN105843225A (zh) * 2016-03-31 2016-08-10 纳恩博(北京)科技有限公司 一种数据处理方法及设备
CN106096573A (zh) * 2016-06-23 2016-11-09 乐视控股(北京)有限公司 目标跟踪方法、装置、系统及远程监控系统
CN106094875A (zh) * 2016-06-27 2016-11-09 南京邮电大学 一种移动机器人的目标跟随控制方法
CN106094875B (zh) * 2016-06-27 2019-01-22 南京邮电大学 一种移动机器人的目标跟随控制方法
CN106774301A (zh) * 2016-10-25 2017-05-31 纳恩博(北京)科技有限公司 一种避障跟随方法和电子设备
CN106774301B (zh) * 2016-10-25 2020-04-24 纳恩博(北京)科技有限公司 一种避障跟随方法和电子设备
CN107097256A (zh) * 2017-04-21 2017-08-29 河海大学常州校区 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
CN108107913A (zh) * 2017-10-31 2018-06-01 深圳市博鑫创科科技有限公司 一种平衡车前置跟踪方法和系统
CN107943072A (zh) * 2017-11-13 2018-04-20 深圳大学 无人机飞行路径生成方法、装置、存储介质及设备
CN108107884A (zh) * 2017-11-20 2018-06-01 北京理工华汇智能科技有限公司 机器人跟随导航的数据处理方法及其智能装置
CN108170166A (zh) * 2017-11-20 2018-06-15 北京理工华汇智能科技有限公司 机器人的跟随控制方法及其智能装置
CN107807652A (zh) * 2017-12-08 2018-03-16 灵动科技(北京)有限公司 物流机器人、用于其的方法和控制器及计算机可读介质
CN109447337A (zh) * 2018-10-23 2019-03-08 重庆扬升信息技术有限公司 一种智慧云会议数据共享交换平台路径优化方法
CN109447337B (zh) * 2018-10-23 2022-04-15 重庆扬升信息技术有限公司 一种智慧云会议数据共享交换平台路径优化方法
CN110488874A (zh) * 2019-08-29 2019-11-22 五邑大学 一种教育辅助机器人及其控制方法
CN111290406A (zh) * 2020-03-30 2020-06-16 深圳前海达闼云端智能科技有限公司 一种路径规划的方法、机器人及存储介质
CN112788238A (zh) * 2021-01-05 2021-05-11 中国工商银行股份有限公司 用于机器人跟随的控制方法和装置

Also Published As

Publication number Publication date
WO2017088720A1 (zh) 2017-06-01
CN105425795B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN105425795A (zh) 规划最优跟随路径的方法及装置
CN102915465B (zh) 一种基于移动生物刺激神经网络的多机器人联合编队方法
Matthies et al. Stereo vision-based obstacle avoidance for micro air vehicles using disparity space
CN103869820B (zh) 一种巡视器地面导航规划控制方法
CN102129249B (zh) 一种危险源环境下的机器人全局路径规划方法
CN104390645B (zh) 一种基于视觉信息的智能轮椅室内导航方法
CN109508007A (zh) 一种基于多源信息融合的农机轨迹跟踪、避障系统及方法
CN112684807A (zh) 无人机集群三维编队方法
CN106826833A (zh) 基于3d立体感知技术的自主导航机器人系统
CN105865449A (zh) 基于激光和视觉的移动机器人的混合定位方法
CN109238298A (zh) 一种无人驾驶带避障的路径规划方法
CN104501816A (zh) 一种多无人飞行器协调避碰导引规划方法
CN107067038A (zh) 一种基于pdr轨迹绘制的室内楼宇轮廓修整方法
CN103743394A (zh) 一种基于光流的移动机器人避障方法
CN106352870A (zh) 一种目标的定位方法及装置
Dimble et al. Electrolocation-based underwater obstacle avoidance using wide-field integration methods
Liau et al. Non-metric navigation for mobile robot using optical flow
CN105204511B (zh) 一种物体自主移动的决策方法
Goldhoorn et al. Searching and tracking people in urban environments with static and dynamic obstacles
CN113359744B (zh) 一种基于安全强化学习及视觉传感器的机器人避障系统
Mishra et al. Perception engine using a multi-sensor head to enable high-level humanoid robot behaviors
Klaser et al. Simulation of an autonomous vehicle with a vision-based navigation system in unstructured terrains using OctoMap
Liu et al. Binocular vision-based autonomous path planning for UAVs in unknown outdoor scenes
Garg et al. Monocular and stereo cues for landing zone evaluation for micro UAVs
Kundur et al. Active vision-based control schemes for autonomous navigation tasks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant