CN107390721B - 机器人随行控制方法、装置及机器人 - Google Patents

机器人随行控制方法、装置及机器人 Download PDF

Info

Publication number
CN107390721B
CN107390721B CN201710618318.XA CN201710618318A CN107390721B CN 107390721 B CN107390721 B CN 107390721B CN 201710618318 A CN201710618318 A CN 201710618318A CN 107390721 B CN107390721 B CN 107390721B
Authority
CN
China
Prior art keywords
robot
target user
target
position point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710618318.XA
Other languages
English (en)
Other versions
CN107390721A (zh
Inventor
高进宝
丁超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Techology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Techology Co Ltd filed Critical Goertek Techology Co Ltd
Priority to CN201710618318.XA priority Critical patent/CN107390721B/zh
Publication of CN107390721A publication Critical patent/CN107390721A/zh
Application granted granted Critical
Publication of CN107390721B publication Critical patent/CN107390721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/12Target-seeking control

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

本发明提供一种机器人随行控制方法、装置及机器人。其中机器人随行控制方法包括:基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;结合机器人周围的实时图像,确定机器人和目标用户之间的位置关系;根据机器人和目标用户之间的位置关系,规划导航路径;沿着导航路径,将机器人导航至目标用户周围指定范围内。本发明可以控制机器人跟随用户行走,可以更加灵活地为用户提供更为丰富的服务,例如为用户保驾护航。

Description

机器人随行控制方法、装置及机器人
技术领域
本发明涉及移动机器人技术领域,尤其涉及一种机器人随行控制方法、装置及机器人。
背景技术
近年来,机器人技术的发展和人工智能研究不断深入,智能机器人在人类生活中扮演越来越重要的角色。随着人们的需求不断增多,更加人性化的机器人将逐渐会成为机器人界的宠儿。
如今机器人不断走进人类的生活,但大部分是在室内为人类服务,例如扫地机器人等。现有机器人的使用方式并未完全发挥机器人的功能,有待于进一步挖掘新的用途,以便让机器人发挥更大的作用。
发明内容
本发明的多个方面提供一种机器人随行控制方法、装置及机器人,用以控制机器人跟随用户行走,以便更加灵活地为用户提供更为丰富的服务,例如为用户保驾护航。
本发明提供一种机器人随行控制方法,包括:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述机器人和所述目标用户之间的位置关系,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内。
在一可选实施方式中,所述机器人周围的实时图像为全景图像;
在基于所述人脸识别技术,从机器人周围的实时画面中识别需要跟随的目标用户之前,所述方法还包括:
利用所述机器人上的非全景摄像头对所述机器人周围的场景进行旋转拍摄,对旋转拍摄到的多张非全景图像进行拼接,以获得所述全景图像;或者
利用所述机器人上的全景摄像头对所述机器人周围的场景进行拍摄,以获得所述全景图像。
在一可选实施方式中,所述结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系,包括:
以所述机器人当前位置为坐标原点,创建世界坐标系;
基于所述世界坐标系,确定所述机器人周围的实时图像中各点的坐标值;
根据所述目标用户在所述机器人周围的实时图像中的位置,获得所述目标用户在所述世界坐标系中的坐标值。
在一可选实施方式中,所述根据所述机器人和所述目标用户之间的位置关系,规划导航路径,包括:
根据所述机器人与所述目标用户之间的位置关系,计算所述机器人与所述目标用户之间的实际距离;
当所述实际距离大于预先设定的所述机器人到所述目标用户的最短距离时,以所述最短距离为半径,创建以所述目标用户为球心的球面;
基于位置点的可达性,从所述球面上选定一位置点作为目标位置点;
规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径。
在一可选实施方式中,所述基于位置点的可达性,从所述球面上选定一位置点作为目标位置点,包括:
从所述机器人周围的实时图像中,识别出所述机器人周围空间中的可行走区域;
根据所述球面上各点的坐标值和所述可行走区域内各点的坐标值,计算所述球面与所述可行走区域之间的交切点;
从所述交切点中,选择一点作为所述目标位置点。
在一可选实施方式中,所述从所述交切点中,选择一点作为所述目标位置点,包括:
从所述交切点中,选择一尚未处理的位置点作为候选位置点;
基于所述机器人周围的实时图像,判断所述候选位置点是否被占用;
若判断结果为否,确定所述候选位置点为所述目标位置点;
若判断结果为是,将当前被选择作为所述候选位置点的位置点标记为已处理,并重新执行从所述交切点中,选择一尚未处理的位置点作为候选位置点以及后续操作,直到确定出所述目标位置点为止。
在一可选实施方式中,所述规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径,包括:
探测所述机器人当前位置与所述目标位置点之间是否存在障碍物;
若探测结果为存在,根据所述机器人当前位置与所述目标位置点之间障碍物所在的位置点,确定中间位置点;
连接所述机器人当前位置、所述中间位置点以及所述目标位置点,以获得所述导航路径。
在一可选实施方式中,所述根据所述机器人当前位置与所述目标位置点之间障碍物所在的位置点,确定中间位置点,包括:
以预先设定的防撞距离为半径,创建以所述障碍物所在位置点为圆心的圆环;
针对所述圆环绘制经过所述机器人当前位置或上一中间位置点的两条切线;
从所述两条切线对应的切点中选择一点,作为所述中间位置点。
在一可选实施方式中,所述方法还包括:
在所述机器人跟随所述目标用户行走的过程中,根据所述机器人周围的实时图像,监测是否发生危险行为;
当监测到所述危险行为发生时,触发所述机器人发出与所述危险行为对应的保护动作,以保护所述目标用户。
本发明还提供一种机器人随行控制装置,包括:
识别模块,用于基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
确定模块,用于结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
规划模块,用于根据所述位置关系以及所述机器人与所述目标用户之间的实时图像,规划导航路径;
导航模块,用于沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内。
本发明还提供一种机器人,包括:存储器以及处理器;所述存储器,用于存储一条或多条计算机指令;所述处理器用于执行所述一条或多条计算机指令,以用于:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述位置关系以及所述机器人周围的实时图像,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内。
在一可选实施方式中,所述处理器在规划所述导航路径时,具体用于:
根据所述机器人与所述目标用户之间的位置关系,计算所述机器人与所述目标用户之间的实际距离;
当所述实际距离大于预先设定的所述机器人到所述目标用户的最短距离时,以所述最短距离为半径,创建以所述目标用户为球心的球面;
基于位置点的可达性,从所述球面上选定一位置点作为目标位置点;
规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径。
在一可选实施方式中,所述处理器在选择所述目标位置点时,具体用于:
从所述机器人周围的实时图像中,识别出所述机器人周围空间中的可行走区域;
根据所述球面上各点的坐标值和所述可行走区域内各点的坐标值,计算所述球面与所述可行走区域之间的交切点;
从所述交切点中,选择一点作为所述目标位置点。
本发明还提供一种计算机存储介质,所述计算机存储介质存储有一条或多条计算机指令,所述一条或多条计算机指令适于由处理器加载并执行,以实现:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述机器人和所述目标用户之间的位置关系,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内。
在本发明中,基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;结合机器人周围的实时图像,确定机器人与目标用户之间的位置关系;进而可基于机器人与目标用户之间的位置关系,规划导航路径;之后,沿着导航路径,可将机器人导航至目标用户附近。由此可见,本发明可以控制机器人跟随用户行走,有利于更加灵活地为用户提供更为丰富的服务,例如为用户保驾护航。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明一实施例提供的一种机器人随行控制方法的流程示意图;
图2为本发明另一实施例提供的规划导航路径的可选实施方式的流程示意图;
图3为本发明又一实施例提供的机器人为用户保驾护航的方法流程示意图;
图4为本发明又一实施例提供的一种机器人随行控制装置的结构示意图;
图5为本发明又一实施例提供的另一种机器人随行控制装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明一实施例提供的一种机器人随行控制方法的流程示意图。如图1所示,所述方法包括:
101、基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户。
102、结合机器人周围的实时图像,确定机器人和目标用户之间的位置关系。
103、根据机器人和目标用户之间的位置关系,规划导航路径。
104、沿着导航路径,将机器人导航至目标用户周围指定范围内。
在步骤101中,基于人脸识别技术,从机器人周围的实时图像中识别需要机器人跟随的用户,即目标用户。这解决了跟随对象的识别问题,为实现机器人随时随地跟随用户的目的提供了条件。
可选地,可以预先确定机器人需要跟随的目标用户,并预置目标用户的人脸图像或脸部特征。当需要机器人跟随目标用户行走时,可基于人脸识别技术,从机器人周围的实时图像中识别出人脸图像;接着,将识别出的人脸图像与预置的目标用户的人脸图像或脸部特征进行匹配,并确定匹配度大于设定匹配度阈值或者匹配度最大的人脸图像;将所确定的匹配度大于设定匹配度阈值或匹配度最大的人脸图像所对应的用户作为机器人需要跟随的目标用户。
继续参见步骤102,在确定机器人需要跟随的目标用户之后,结合机器人周围的实时图像,确定机器人和目标用户之间的位置关系。其中,机器人和目标用户之间的位置关系可以包括两者之间的距离和/或相对方向等信息,以便于为后续规划导航路径提供条件。
可选地,可以创建一坐标系,根据所创建的坐标系,确定机器人在该坐标系中的坐标值以及目标用户在该坐标系中的坐标值。在该可选实施方式中,可通过机器人和目标用户在相同坐标系中的坐标值来体现机器人和目标用户之间的位置关系。
进一步,可以以机器人当前位置为坐标原点,创建世界坐标系;基于世界坐标系,确定机器人周围的实时图像中各点的坐标值;进而可根据目标用户在机器人周围的实时图像中的位置,获得目标用户在世界坐标系中的坐标值。其中,机器人在世界坐标系中的坐标值为(0,0,0,),所以当知道目标用户在世界坐标系中的坐标值之后,就可以确定机器人和目标用户之间的位置关系。例如,假设目标用户在世界坐标系中的坐标值为(5,0,0),这意味着目标用户在x轴方向上距离机器人5米远处。
继续参见步骤103,基于机器人和目标用户之间的位置关系,规划导航路径。所述导航路径主要用于将机器人从其当前位置导航至目标用户周围指定范围内。所述导航路径可以是任何能够将机器人从当前位置导航至目标用户周围指定范围内的路径。例如,所述导航路径可以是从机器人当前位置到达目标用户周围指定范围内的最短路径;或者,所述导航路径也可以是从机器人当前位置到达目标用户周围指定范围内的最平坦的路径;或者,所述导航路径也可以是从机器人当前位置到达目标用户周围指定范围内障碍物最少的路径,等等。另外,所述导航路径可以由一个路段或多个路段构成。
继续参见步骤104,基于步骤103中规划出的导航路径,将机器人导航至目标用户周围指定范围内。例如,可以根据导航路径,向机器人发出行走控制指令,以控制机器人沿着导航路径,行走至目标用户周围指定范围内。所述目标用户周围指定范围内是指目标用户周围与目标用户之间的距离为指定距离或者在指定距离范围内的位置。例如,所述目标用户周围指定范围内可以是与目标用户相距1米的一些位置,或者也可以是与目标用户相距1米到3米之间的一些位置。
在本实施例中,以机器人周围的实时图像为基础,结合人脸识别、路径规划和路径导航,可以将机器人导航至目标用户周围指定范围内,达到控制机器人跟随用户行走的目的,有利于扩展机器人的用途,便于机器人更加灵活地为用户提供更为丰富的服务。例如,在机器人可以跟随用户行走的基础上,机器人可以为用户保驾护航。又例如,在机器人可以跟随用户行走的基础上,机器人可以充当用户的劳力,为用户拎重物。
在上述实施例或下述实施例中,在控制机器人跟随用户行走的过程中,依赖于机器人周围的实时图像。例如,可以通过机器人上的摄像头对机器人周围的场景进行实时拍摄,从而获得机器人周围的实时图像。本发明不限定实时图像的类型,例如可以是全景图像,也可以是非全景图像,凡是能够包含机器人需要跟随的目标用户在内的实时图像均适用于本发明实施例。优选地,机器人周围的图像为全景图像,使用全景图像有利于提高成功识别到目标用户的概率。
在机器人周围的实时图像为全景图像的情况下,可以采用但不限于以下方式获得全景图像:
在一种获得全景图像的方式中,机器人上安装有非全景摄像头,例如可以是30度视角的普通摄像头。基于此,可以利用机器人上的非全景摄像头对机器人周围的场景进行旋转拍摄,以获得多张非全景图像;进而,对旋转拍摄得到的多张非全景图像进行拼接,以获得机器人周围的全景图像。其中,在旋转拼接得到全景图像的过程中,要求旋转拍摄到的相邻非全景图像的边界重合或相交;然后,根据相邻非全景图像重合或相交区域中的特征点,确定相邻非全景图像之间的相对位置,进而基于相邻非全景图像之间的相对配置,将多张非全景图像拼接成全景图像。
在另一种获得全景图像的方式中,机器人上安装有全景摄像头,例如鱼眼式全景摄像头或反射-折射式全景摄像头。基于此,可以利用机器人上的全景摄像头对机器人周围的场景进行拍摄,直接获得机器人周围的全景图像。其中,鱼眼式全景摄像头主要采用非线性的相似成像原理,利用大曲率负透镜人为引入大量的桶形畸变实现广角范围内的成像。反射-折射式全景摄像头主要利用非球面反射镜(组)实现大范围视场角收集,后经过匹配的中继常规镜头入射到电荷耦合元件(Charge-coupled Device,CCD)或互补金属氧化物(Complementary Metal Oxide Semiconductor,CMOS)传感器成像。
在上述实施例或下述实施例中,在控制机器人跟随用户行走的过程中,需要根据机器人与目标用户之间的位置关系,规划导航路径。如图2所示,一种规划导航路径的可选实施方式包括以下步骤:
1031、根据机器人与目标用户之间的位置关系,计算机器人与目标用户之间的实际距离。
1032、当所述实际距离大于预先设定的机器人到目标用户的最短距离时,以所述最短距离为半径,创建以目标用户为球心的球面。
1033、基于位置点的可达性,从所述球面上选定一位置点作为目标位置点。
1034、规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径。
在本可选实施方式中,预先设定机器人到目标用户之间的最短距离,该最短距离是机器人跟随用户行走过程中理论上应该与用户保持的距离。在本可选实施方式中并不限定该最短距离的取值,允许用户根据应用需求适应性设置。例如,该最短距离可以是1米、1.5米或0.5米等。
另外,上述最短距离也是用于判断是否控制机器人向目标用户行走的依据。当需要控制机器人向目标用户行走时就需要为机器人规划导航路径,因此,该最短距离实际上也是用于判断是否需要为机器人规划导航路径的依据。基于此,可根据机器人与目标用户之间的位置关系,计算机器人与目标用户之间的实际距离;判断机器人与目标用户之间的实际距离是否大于机器人到目标用户的最短距离。若判断结果为否,说明机器人与目标用户之间的距离满足最短距离要求,机器人可暂且保持当前位置不动,故无需为其规划导航路径。若判断结果为是,则意味着需要为机器人规划导航路径,于是开始执行为机器人规划路径的操作。
在本可选实施方式中,为机器人规划路径的操作包括:以机器人到目标用户的最短距离为半径,创建以目标用户为球心的球面;基于位置点的可达性,从该球面上选定一位置点,作为目标位置点;规划从机器人当前位置到达目标位置点的路径,作为导航路径。本可选实施方式中的导航路径可以将机器人从其当前位置导航至目标位置点处,从而使机器人始终与目标用户之间保持最短距离,实现机器人始终以最短距离为间隔跟随目标用户行走的目的。
其中,上述位置点的可达性是位置点的一种属性。对任一位置点来说,其可达性是指在理想情况下机器人可以行走到该位置点并可在该位置点保持站立。例如,对于半空中的位置点或者某个墙面上的位置点,机器人无法行走至这些位置点,因此属于不可达的位置点。又例如,对于地面上的位置点或者对于楼梯上的位置点,理想情况下机器人可以行走至所述位置点并可以在所述位置点保持站立,因此属于可达的位置点。基于位置点的可达性,可以从球面上选择可达的位置点作为目标位置点。
在一可选实施方式中,步骤1033的一种实施过程包括:从机器人周围的实时图像中,识别出机器人周围空间中的可行走区域,所述可行走区域是指机器人可以行走的区域,例如可以是地面、楼梯、地下通道等区域,可行走区域内的位置点属于可达的位置点;然后,根据球面上各点的坐标值和可行走区域内各点的坐标值,计算球面与可行走区域之间的交切点;从这些交切点中,选择一点作为目标位置点。
值得说明的是,球面上各点的坐标值和可行走区域内各点的坐标值都是在世界坐标系下的坐标值。例如,球面上可以包括坐标值为(4,0,0),(6,0,0),(5,1,0)以及(5,-1,0)等的位置点。相应的,可行走区域内可以包括坐标值为(4,0,0),(5,0,0),(6,0,0),(5,1,0),(5,2,0)以及(6,2,0)等位置点。其中,(4,0,0),(6,0,0),(5,1,0)属于球面与可行走区域之间的交切点。交切点属于可行走区域内的位置点,因此属于可达的位置点,进而从交切点中选择的目标位置点也属于可达的位置点。在本可选实施方式中,通过确定可行走区域,可以将不可达的位置点排除,有利于提高选择目标位置点的效率。
进一步,考虑到与用户相距最短距离的可达的位置点(即球面上可达的位置点)有可能被占用,例如可能被车辆、其它用户或其它公共设施所占用。因此,在选择目标位置点的过程中,除了要确保位置点的可达性之外,还应当考虑位置点是否被占用。基于此,在从交切点中选择目标位置点时,可以从交切点中,选择一尚未处理的位置点作为候选位置点;基于机器人周围的实时图像,判断候选位置点是否被占用;若判断出候选位置点未被占用,确定候选位置点为目标位置点;若判断出候选位置点被占用,将当前被选择作为候选位置点的位置点标记为已处理,并重新执行从交切点中,选择一尚未处理的位置点作为候选位置点以及后续操作,直到确定出目标位置点为止。
在图2所示可选实施方式中,当确定出目标位置点之后,可以规划从机器人当前位置到目标位置点的路径,作为导航路径,参见步骤1034。可选地,步骤1034的一种实施过程包括:首先,探测机器人当前位置与目标位置点之间是否存在障碍物。若探测结果为存在,则可以根据机器人当前位置与目标位置点之间障碍物所在的位置点,确定中间位置点;进而连接机器人当前位置、中间位置点以及目标位置点,以获得从机器人当前位置到目标位置点的导航路径。
可选地,可以采用超声波探测机制,探测机器人当前位置与目标位置点之间是否存在障碍物。例如,机器人上安装有超声波传感器,控制机器人上的超声波传感器向目标位置点发送超声波信号并接收从目标位置点反射回来的超声波信号,统计从发出超声波信号到接收到反射回来的超声波信号之间的时间间隔,基于该时间间隔来判断机器人当前位置与目标位置点之间是否存在障碍物。理想情况下,D0=C*T/2,该公式中,C表示超声波信号的速度,T表示自发出超声波信号到接收到反射回来的超声波信号之间的时间间隔,D0表示自发出超声波信号的位置点(即机器人当前位置)到反射回超声波信号的反射点之间的距离。根据机器人当前位置的坐标值和目标位置点的坐标值,计算出机器人当前位置与目标位置点之间的距离D1,将D1与D0进行比较;如果两者相等或两者之差在设定的误差范围内,则确定机器人当前位置与目标位置点之间不存在障碍物;若两者不相等或两者之差超出设定的误差范围,则确定机器人与目标位置点之间存在障碍物,且可以根据距离D0计算出障碍物所在位置点在世界坐标系中的坐标值。
其中,障碍物所在的位置点会被障碍物所占用,因此需要在障碍物附近选择一位置点代替被障碍物占用的位置点,以便于机器人能够顺利到达目标位置点。
可选地,为了避免机器人碰撞障碍物,可以结合机器人的外形参数,预先设定一防撞距离。该防撞距离主要是指机器人靠近障碍物时应该与障碍物保持的最佳距离。举例说明,该防撞距离可以是0.2米、0.3米或0.5米等,但不限于这些数值。基于此,可以以该防撞距离为半径,创建以障碍物所在位置点为圆心的圆环;针对所述圆环,绘制经过机器人当前位置或上一中间位置点的两条切线;从所述两条切线对应的切点中选择一点,作为中间位置点,该中间位置点用于代替被障碍物占用的位置点。
值得说明的是,对于距离机器人当前位置最近的障碍物来说,机器人需要从其当前位置出发经过该障碍物,因此需要针对该障碍物对应的圆环绘制经过机器人当前位置的两条切线,以便选择最佳中间位置点;对于距离机器人当前位置越来越远的第二个或第三个等其它障碍物来说,机器人需要先行行走至其它障碍物的上一障碍物附近,再从上一障碍物附近(即针对上一障碍物选出的中间位置点)出发经过所述其它障碍物,因此需要针对所述其它障碍物对应的圆环绘制经过上一中间位置点的两条切线,以便选择最佳中间位置点。
在上述可选实施方式中,基于机器人当前位置与目标位置点之间的障碍物,确定多个中间位置点,基于此,可以规划出从机器人当前位置到距离机器人当前位置最近的中间位置点的路径,若存在两个或两个以上的中间位置点,则继续规划相邻中间位置点之间的路径,进而规划最后一个中间位置点到目标位置点之间的路径,将这几段子路径连接起来,从而得到能够真正将机器人从其当前位置导航至目标位置点的导航路径。进而,基于导航路径,将机器人从当前位置导航至目标位置点处,从而使得机器人可以在与目标用户保持一定距离的情况下跟随目标用户行走。
在机器人可以跟随用户行走的基础上,可以扩展机器人的用途。例如,在机器人可以跟随用户行走的基础上,机器人可以为用户保驾护航。又例如,在机器人可以跟随用户行走的基础上,机器人可以充当用户的劳力,为用户拎重物。以机器人为用户保驾护航为例,如图3所示,一种机器人为用户保驾护航的方法流程包括以下步骤:
301、基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户。
302、结合机器人周围的实时图像,确定机器人和目标用户之间的位置关系。
303、根据机器人和目标用户之间的位置关系,规划导航路径。
304、沿着导航路径,将机器人导航至目标用户周围指定范围内。
305、在机器人跟随目标用户行走的过程中,根据机器人周围的实时图像,监测是否发生危险行为。
306、当监测到危险行为发生时,触发机器人发出与危险行为对应的保护动作,以保护目标用户。
在本实施例中,在机器人运行期间会实时关注目标用户周围的环境动态,并监测是否有危险行为发生,当监测到有危险行为发生时,触发机器人发出相应的保护动作,以保护目标用户,达到保驾护航的目的。这里的触发主要是指向机器人的相关驱动装置发出动作驱动指令,以通过驱动装置驱动相应执行机构发出相应的保护动作,例如抬手臂等。
其中,根据危险行为的不同,机器人发出的保护动作也会有所不同。下面举例说明:
1)当有物体向目标用户方向飞过来时,机器人可解除位于目标用户周围指定范围内(例如1米)的限制,行走至目标用户前方,去阻挡飞过来的物体,避免飞过来的物体与目标用户冲撞。
2)当有其它用户举起手并且伸向目标用户时,机器人可解除位于目标用户周围指定范围内的限制,行走至目标用户附近,去阻拦其它用户的手或胳膊,从而避免其它用户对目标用户造成伤害或者偷窃。
3)当有人用照相机或者手枪对准目标用户时,机器人可解除位于目标用户周围指定范围内的限制,行走至目标用户前方,并且发出语音提示,例如:“您的9点钟方向有人正朝你瞄准!”
上面危险行为以及保护动作只是简单举例,并不限于这些。其中,用户可以根据自身的应用环境,灵活地在机器人上配置危险行为以及对应的保护动作,从而在机器人可以跟随用户行走的基础上,充分发挥机器人的保护功能,保护自身安全。
需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤101至步骤104的执行主体可以为设备A;又比如,步骤101和102的执行主体可以为设备A,步骤103和104的执行主体可以为设备B;等等。
图4为本发明又一实施例提供的机器人随行控制装置的结构示意图。如图4所示,装置包括:识别模块41、确定模块42、规划模块43以及导航模块44。
识别模块41,用于基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户。
确定模块42,用于结合机器人周围的实时图像,确定机器人和目标用户之间的位置关系。
规划模块43,用于根据确定模块42所确定的机器人和目标用户之间的位置关系,规划导航路径。
导航模块44,用于沿着规划模块43规划出的导航路径,将机器人导航至目标用户周围指定范围内。
在一可选实施方式中,机器人周围的实时图像为全景图像。可选地,如图5所示,机器人随行控制装置还可以包括:获取模块40。
获取模块40,用于利用机器人上的非全景摄像头对机器人周围的场景进行旋转拍摄,对旋转拍摄到的多张非全景图像进行拼接,以获得全景图像;或者,用于利用机器人上的全景摄像头对机器人周围的场景进行拍摄,以获得全景图像。全景摄像头可以鱼眼式全景摄像头或反射-折射式全景摄像头。
在一可选实施方式中,确定模块42具体用于:以机器人当前位置为坐标原点,创建世界坐标系;基于世界坐标系,确定机器人周围的实时图像中各点的坐标值;根据目标用户在机器人周围的实时图像中的位置,获得目标用户在世界坐标系中的坐标值。
在一可选实施方式中,规划模块43具体用于:根据机器人与目标用户之间的位置关系,计算机器人与目标用户之间的实际距离;当实际距离大于预先设定的机器人到目标用户的最短距离时,以最短距离为半径,创建以目标用户为球心的球面;基于位置点的可达性,从球面上选定一位置点作为目标位置点;规划从机器人当前位置到达目标位置点的路径,作为导航路径。
进一步,规划模块43在基于位置点的可达性,从球面上选定一位置点作为目标位置点时,具体用于:从机器人周围的实时图像中,识别出机器人周围空间中的可行走区域;根据球面上各点的坐标值和可行走区域内各点的坐标值,计算球面与可行走区域之间的交切点;从交切点中,选择一点作为目标位置点。
进一步,规划模块43在从交切点中,选择一点作为目标位置点时,具体用于:从交切点中,选择一尚未处理的位置点作为候选位置点;基于机器人周围的实时图像,判断候选位置点是否被占用;若判断结果为否,确定候选位置点为目标位置点;若判断结果为是,将当前被选择作为候选位置点的位置点标记为已处理,并重新执行从交切点中,选择一尚未处理的位置点作为候选位置点以及后续操作,直到确定出目标位置点为止。
进一步,规划模块43在规划从机器人当前位置到达目标位置点的路径,作为导航路径时,具体用于:探测机器人当前位置与目标位置点之间是否存在障碍物;若探测结果为存在,根据机器人当前位置与目标位置点之间障碍物所在的位置点,确定中间位置点;连接机器人当前位置、中间位置点以及目标位置点,以获得导航路径。
进一步,规划模块43在根据机器人当前位置与目标位置点之间障碍物所在的位置点,确定中间位置点时,具体用于:以预先设定的防撞距离为半径,创建以障碍物所在位置点为圆心的圆环;针对圆环绘制经过机器人当前位置或上一中间位置点的两条切线;从两条切线对应的切点中选择一点,作为中间位置点。
在一可选实施方式中,如图5所示,机器人随行控制装置还可以包括:监测模块45和触发模块46。
监测模块45,用于在机器人跟随目标用户行走的过程中,根据机器人周围的实时图像,监测是否发生危险行为。
触发模块46,用于在监测模块45监测到危险行为发生时,触发机器人发出与危险行为对应的保护动作,以保护目标用户。
本实施例提供的机器人随行控制装置,可用于执行上述方法实施例提供的机器人随行控制方法的流程,其具体工作原理不再赘述,详见方法实施例的描述。
本实施例提供的机器人随行控制装置,以机器人周围的实时图像为基础,结合人脸识别、路径规划和路径导航,可以将机器人导航至目标用户周围指定范围内,达到控制机器人跟随用户行走的目的,有利于扩展机器人的用途,便于机器人更加灵活地为用户提供更为丰富的服务。例如,在机器人可以跟随用户行走的基础上,机器人可以为用户保驾护航。又例如,在机器人可以跟随用户行走的基础上,机器人可以充当用户的劳力,为用户拎重物。
本发明实施例还提供一种机器人,该机器人包括存储器以及处理器;所述存储器用于存储一条或多条计算机指令,其中,所述处理器用于执行所述一条或多条计算机指令以用于:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述机器人和所述目标用户之间的位置关系,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内。
在一可选实施方式中,机器人周围的实时图像为全景图像。可选地,处理器还用于:利用机器人上的非全景摄像头对机器人周围的场景进行旋转拍摄,对旋转拍摄到的多张非全景图像进行拼接,以获得全景图像;或者,用于利用机器人上的全景摄像头对机器人周围的场景进行拍摄,以获得全景图像。全景摄像头可以鱼眼式全景摄像头或反射-折射式全景摄像头。
在一可选实施方式中,处理器在确定所述机器人和所述目标用户之间的位置关系时,具体用于:以机器人当前位置为坐标原点,创建世界坐标系;基于世界坐标系,确定机器人周围的实时图像中各点的坐标值;根据目标用户在机器人周围的实时图像中的位置,获得目标用户在世界坐标系中的坐标值。
在一可选实施方式中,处理器在规划所述导航路径时,具体用于:根据机器人与目标用户之间的位置关系,计算机器人与目标用户之间的实际距离;当实际距离大于预先设定的机器人到目标用户的最短距离时,以最短距离为半径,创建以目标用户为球心的球面;基于位置点的可达性,从球面上选定一位置点作为目标位置点;规划从机器人当前位置到达目标位置点的路径,作为导航路径。
进一步,处理器在选择所述目标位置点时,具体用于:从机器人周围的实时图像中,识别出机器人周围空间中的可行走区域;根据球面上各点的坐标值和可行走区域内各点的坐标值,计算球面与可行走区域之间的交切点;从交切点中,选择一点作为目标位置点。
进一步,处理器在从交切点中,选择一点作为目标位置点时,具体用于:从交切点中,选择一尚未处理的位置点作为候选位置点;基于机器人周围的实时图像,判断候选位置点是否被占用;若判断结果为否,确定候选位置点为目标位置点;若判断结果为是,将当前被选择作为候选位置点的位置点标记为已处理,并重新执行从交切点中,选择一尚未处理的位置点作为候选位置点以及后续操作,直到确定出目标位置点为止。
进一步,处理器在规划从机器人当前位置到达目标位置点的路径,作为导航路径时,具体用于:探测机器人当前位置与目标位置点之间是否存在障碍物;若探测结果为存在,根据机器人当前位置与目标位置点之间障碍物所在的位置点,确定中间位置点;连接机器人当前位置、中间位置点以及目标位置点,以获得导航路径。
进一步,处理器在根据机器人当前位置与目标位置点之间障碍物所在的位置点,确定中间位置点时,具体用于:以预先设定的防撞距离为半径,创建以障碍物所在位置点为圆心的圆环;针对圆环绘制经过机器人当前位置或上一中间位置点的两条切线;从两条切线对应的切点中选择一点,作为中间位置点。
在一可选实施方式中,处理器还用于:在机器人跟随目标用户行走的过程中,根据机器人周围的实时图像,监测是否发生危险行为,并在监测到危险行为发生时,触发机器人发出与危险行为对应的保护动作,以保护目标用户。
进一步,上述机器人还包括摄像头,用于对机器人周围的场景进行实时拍摄。另外,机器人还包括执行机构、驱动装置、检测装置等常规部件,在此不做赘述。
本实施例提供的机器人,可用于执行上述方法实施例提供的机器人随行控制方法的流程,其具体工作原理不再赘述,详见方法实施例的描述。
本实施例提供的机器人,以自身周围的实时图像为基础,结合人脸识别、路径规划和路径导航,可自动导航至目标用户周围指定范围内,实现跟随用户行走的目的,便于更加灵活地为用户提供更为丰富的服务。例如,机器人跟随用户行走时,可随时为用户保驾护航。又例如,机器人在跟随用户行走时,可充当用户的劳力,为用户拎重物。
另外,本发明实施例还提供一种计算机存储介质,所述计算机存储介质存储有一条或多条计算机指令,所述计算机指令适于由处理器加载并执行,以实现:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述机器人和所述目标用户之间的位置关系,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内。
在一可选实施方式中,机器人周围的实时图像为全景图像。可选地,所述计算机存储介质还包括适于由处理器加载并执行以实现下述操作的计算机指令:
利用机器人上的非全景摄像头对机器人周围的场景进行旋转拍摄,对旋转拍摄到的多张非全景图像进行拼接,以获得全景图像;或者,用于利用机器人上的全景摄像头对机器人周围的场景进行拍摄,以获得全景图像。全景摄像头可以鱼眼式全景摄像头或反射-折射式全景摄像头。
在一可选实施方式中,由处理器加载并执行的可确定所述机器人和所述目标用户之间的位置关系的计算机指令,包括:以机器人当前位置为坐标原点,创建世界坐标系;基于世界坐标系,确定机器人周围的实时图像中各点的坐标值;根据目标用户在机器人周围的实时图像中的位置,获得目标用户在世界坐标系中的坐标值。
在一可选实施方式中,由处理器加载并执行的可规划所述导航路径的计算机指令,包括:根据机器人与目标用户之间的位置关系,计算机器人与目标用户之间的实际距离;当实际距离大于预先设定的机器人到目标用户的最短距离时,以最短距离为半径,创建以目标用户为球心的球面;基于位置点的可达性,从球面上选定一位置点作为目标位置点;规划从机器人当前位置到达目标位置点的路径,作为导航路径。
进一步,由处理器加载并执行的可选择所述目标位置点的计算机指令,包括:从机器人周围的实时图像中,识别出机器人周围空间中的可行走区域;根据球面上各点的坐标值和可行走区域内各点的坐标值,计算球面与可行走区域之间的交切点;从交切点中,选择一点作为目标位置点。
进一步,由处理器加载并执行的可从交切点中,选择一点作为目标位置点的计算机指令,包括:从交切点中,选择一尚未处理的位置点作为候选位置点;基于机器人周围的实时图像,判断候选位置点是否被占用;若判断结果为否,确定候选位置点为目标位置点;若判断结果为是,将当前被选择作为候选位置点的位置点标记为已处理,并重新执行从交切点中,选择一尚未处理的位置点作为候选位置点以及后续操作,直到确定出目标位置点为止。
进一步,由处理器加载并执行的可规划从机器人当前位置到达目标位置点的路径,作为导航路径的计算机指令,包括:探测机器人当前位置与目标位置点之间是否存在障碍物;若探测结果为存在,根据机器人当前位置与目标位置点之间障碍物所在的位置点,确定中间位置点;连接机器人当前位置、中间位置点以及目标位置点,以获得导航路径。
进一步,由处理器加载并执行的可根据机器人当前位置与目标位置点之间障碍物所在的位置点,确定中间位置点的计算机指令,包括:以预先设定的防撞距离为半径,创建以障碍物所在位置点为圆心的圆环;针对圆环绘制经过机器人当前位置或上一中间位置点的两条切线;从两条切线对应的切点中选择一点,作为中间位置点。
在一可选实施方式中,所述计算机存储介质还包括:适于由处理器加载并执行实现下述操作的其它计算机指令:在机器人跟随目标用户行走的过程中,根据机器人周围的实时图像,监测是否发生危险行为,并在监测到危险行为发生时,触发机器人发出与危险行为对应的保护动作,以保护目标用户。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本发明的实施例可提供为方法、系统或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

Claims (11)

1.一种机器人随行控制方法,其特征在于,包括:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述机器人和所述目标用户之间的位置关系,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内;
其中,所述根据所述机器人和所述目标用户之间的位置关系,规划导航路径,包括:
根据所述机器人与所述目标用户之间的位置关系,计算所述机器人与所述目标用户之间的实际距离;
当所述实际距离大于预先设定的所述机器人到所述目标用户的最短距离时,以所述最短距离为半径,创建以所述目标用户为球心的球面;
基于位置点的可达性,从所述球面上选定一位置点作为目标位置点;包括:从所述机器人周围的实时图像中,识别出所述机器人周围空间中的可行走区域;根据所述球面上各点的坐标值和所述可行走区域内各点的坐标值,计算所述球面与所述可行走区域之间的交切点;从所述交切点中,选择一点作为所述目标位置点;其中,可达性是指所述机器人行走到所述目标位置点并可在所述目标位置点保持站立;
规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径。
2.根据权利要求1所述的方法,其特征在于,所述机器人周围的实时图像为全景图像;
在基于所述人脸识别技术,从机器人周围的实时画面中识别需要跟随的目标用户之前,所述方法还包括:
利用所述机器人上的非全景摄像头对所述机器人周围的场景进行旋转拍摄,对旋转拍摄到的多张非全景图像进行拼接,以获得所述全景图像;或者
利用所述机器人上的全景摄像头对所述机器人周围的场景进行拍摄,以获得所述全景图像。
3.根据权利要求1所述的方法,其特征在于,所述结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系,包括:
以所述机器人当前位置为坐标原点,创建世界坐标系;
基于所述世界坐标系,确定所述机器人周围的实时图像中各点的坐标值;
根据所述目标用户在所述机器人周围的实时图像中的位置,获得所述目标用户在所述世界坐标系中的坐标值。
4.根据权利要求1所述的方法,其特征在于,所述从所述交切点中,选择一点作为所述目标位置点,包括:
从所述交切点中,选择一尚未处理的位置点作为候选位置点;
基于所述机器人周围的实时图像,判断所述候选位置点是否被占用;
若判断结果为否,确定所述候选位置点为所述目标位置点;
若判断结果为是,将当前被选择作为所述候选位置点的位置点标记为已处理,并重新执行从所述交切点中,选择一尚未处理的位置点作为候选位置点以及后续操作,直到确定出所述目标位置点为止。
5.根据权利要求1所述的方法,其特征在于,所述规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径,包括:
探测所述机器人当前位置与所述目标位置点之间是否存在障碍物;
若探测结果为存在,根据所述机器人当前位置与所述目标位置点之间障碍物所在的位置点,确定中间位置点;
连接所述机器人当前位置、所述中间位置点以及所述目标位置点,以获得所述导航路径。
6.根据权利要求5所述的方法,其特征在于,所述根据所述机器人当前位置与所述目标位置点之间障碍物所在的位置点,确定中间位置点,包括:
以预先设定的防撞距离为半径,创建以所述障碍物所在位置点为圆心的圆环;
针对所述圆环绘制经过所述机器人当前位置或上一中间位置点的两条切线;
从所述两条切线对应的切点中选择一点,作为所述中间位置点。
7.根据权利要求1-6任一项所述的方法,其特征在于,还包括:
在所述机器人跟随所述目标用户行走的过程中,根据所述机器人周围的实时图像,监测是否发生危险行为;
当监测到所述危险行为发生时,触发所述机器人发出与所述危险行为对应的保护动作,以保护所述目标用户。
8.一种机器人随行控制装置,其特征在于,包括:
识别模块,用于基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
确定模块,用于结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
规划模块,用于根据所述位置关系以及所述机器人与所述目标用户之间的实时图像,规划导航路径;
导航模块,用于沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内;
所述规划模块用于:根据机器人与目标用户之间的位置关系,计算机器人与目标用户之间的实际距离;当实际距离大于预先设定的机器人到目标用户的最短距离时,以最短距离为半径,创建以目标用户为球心的球面;基于位置点的可达性,从球面上选定一位置点作为目标位置点;包括:从所述机器人周围的实时图像中,识别出所述机器人周围空间中的可行走区域;根据所述球面上各点的坐标值和所述可行走区域内各点的坐标值,计算所述球面与所述可行走区域之间的交切点;从所述交切点中,选择一点作为所述目标位置点;规划从机器人当前位置到达目标位置点的路径,作为导航路径;其中,可达性是指所述机器人行走到所述目标位置点并可在所述目标位置点保持站立。
9.一种机器人,其特征在于,包括:存储器以及处理器;
所述存储器,用于存储一条或多条计算机指令;
所述处理器,用于执行所述一条或多条计算机指令,以用于:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述机器人和所述目标用户之间的位置关系,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内;
所述处理器在规划所述导航路径时,具体用于:
根据所述机器人与所述目标用户之间的位置关系,计算所述机器人与所述目标用户之间的实际距离;
当所述实际距离大于预先设定的所述机器人到所述目标用户的最短距离时,以所述最短距离为半径,创建以所述目标用户为球心的球面;
基于位置点的可达性,从所述球面上选定一位置点作为目标位置点;包括:从所述机器人周围的实时图像中,识别出所述机器人周围空间中的可行走区域;根据所述球面上各点的坐标值和所述可行走区域内各点的坐标值,计算所述球面与所述可行走区域之间的交切点;从所述交切点中,选择一点作为所述目标位置点;其中,可达性是指所述机器人行走到所述目标位置点并可在所述目标位置点保持站立;
规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径。
10.根据权利要求9所述的机器人,其特征在于,所述处理器在选择所述目标位置点时,具体用于:
从所述机器人周围的实时图像中,识别出所述机器人周围空间中的可行走区域;
根据所述球面上各点的坐标值和所述可行走区域内各点的坐标值,计算所述球面与所述可行走区域之间的交切点;
从所述交切点中,选择一点作为所述目标位置点。
11.一种计算机存储介质,其特征在于,所述计算机存储介质存储有一条或多条计算机指令,所述计算机指令适于由处理器加载并执行,以实现:
基于人脸识别技术,从机器人周围的实时图像中识别需要跟随的目标用户;
结合所述机器人周围的实时图像,确定所述机器人和所述目标用户之间的位置关系;
根据所述机器人和所述目标用户之间的位置关系,规划导航路径;
沿着所述导航路径,将所述机器人导航至所述目标用户周围指定范围内;
其中,所述根据所述机器人和所述目标用户之间的位置关系,规划导航路径,包括:
根据所述机器人与所述目标用户之间的位置关系,计算所述机器人与所述目标用户之间的实际距离;
当所述实际距离大于预先设定的所述机器人到所述目标用户的最短距离时,以所述最短距离为半径,创建以所述目标用户为球心的球面;
基于位置点的可达性,从所述球面上选定一位置点作为目标位置点;从所述机器人周围的实时图像中,识别出所述机器人周围空间中的可行走区域;根据所述球面上各点的坐标值和所述可行走区域内各点的坐标值,计算所述球面与所述可行走区域之间的交切点;从所述交切点中,选择一点作为所述目标位置点;其中,可达性是指所述机器人行走到所述目标位置点并可在所述目标位置点保持站立;
规划从所述机器人当前位置到达所述目标位置点的路径,作为所述导航路径。
CN201710618318.XA 2017-07-26 2017-07-26 机器人随行控制方法、装置及机器人 Active CN107390721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710618318.XA CN107390721B (zh) 2017-07-26 2017-07-26 机器人随行控制方法、装置及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710618318.XA CN107390721B (zh) 2017-07-26 2017-07-26 机器人随行控制方法、装置及机器人

Publications (2)

Publication Number Publication Date
CN107390721A CN107390721A (zh) 2017-11-24
CN107390721B true CN107390721B (zh) 2021-05-18

Family

ID=60342615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710618318.XA Active CN107390721B (zh) 2017-07-26 2017-07-26 机器人随行控制方法、装置及机器人

Country Status (1)

Country Link
CN (1) CN107390721B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062359B (zh) * 2017-11-28 2021-03-16 歌尔科技有限公司 一种机器人采访与撰稿的方法和采访与撰稿的机器人
CN108734082A (zh) * 2018-03-21 2018-11-02 北京猎户星空科技有限公司 对应关系的建立方法、装置、设备和存储介质
CN114153200A (zh) * 2018-10-26 2022-03-08 科沃斯机器人股份有限公司 轨迹预测、自移动设备控制方法
JP7379814B2 (ja) 2018-11-21 2023-11-15 富士フイルムビジネスイノベーション株式会社 自律移動装置およびプログラム
CN109753074A (zh) * 2019-01-28 2019-05-14 北京猎户星空科技有限公司 一种机器人巡航控制方法、装置、控制设备和存储介质
JP7460328B2 (ja) 2019-03-20 2024-04-02 Thk株式会社 移動ロボット、移動ロボットの制御システム、移動ロボットの制御方法
CN110531769A (zh) * 2019-08-28 2019-12-03 深圳勇艺达机器人有限公司 用于机器人移动路径确定方法及装置
CN112890680B (zh) * 2019-11-19 2023-12-12 科沃斯机器人股份有限公司 跟随清洁作业方法、控制方法、装置、机器人及存储介质
CN112050810B (zh) * 2019-12-23 2022-09-27 华北电力大学(保定) 一种基于计算机视觉的室内定位导航方法及系统
CN111324129B (zh) * 2020-03-19 2023-07-18 建信金融科技有限责任公司 基于人脸识别的导航方法及装置
CN113496447A (zh) * 2020-04-03 2021-10-12 奥迪股份公司 物品归还方法、装置、计算机设备和存储介质
CN114442674A (zh) * 2020-11-04 2022-05-06 北京猎户星空科技有限公司 目标跟踪方法、装置、电子设备和计算机可读存储介质
CN112987752B (zh) * 2021-03-25 2022-09-06 苏州工艺美术职业技术学院 一种伴随行走规划控制方法
CN113180894B (zh) * 2021-04-27 2022-02-11 浙江大学 基于视觉智能的多重障碍者的手眼协同方法及装置
CN113696908B (zh) * 2021-08-26 2023-07-21 合众新能源汽车股份有限公司 车辆自动跟随系统、方法、装置和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随系统和方法
JP2014119828A (ja) * 2012-12-13 2014-06-30 Secom Co Ltd 自律飛行ロボット
CN105955251A (zh) * 2016-03-11 2016-09-21 北京克路德人工智能科技有限公司 一种机器人的视觉跟随控制方法及机器人
CN106054882A (zh) * 2016-06-15 2016-10-26 深圳市金佰科创发展有限公司 一种机器人避障方法
CN106094875A (zh) * 2016-06-27 2016-11-09 南京邮电大学 一种移动机器人的目标跟随控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411368B (zh) * 2011-07-22 2013-10-09 北京大学 机器人的主动视觉人脸跟踪方法和跟踪系统
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
CN106774315B (zh) * 2016-12-12 2020-12-01 深圳市智美达科技股份有限公司 机器人自主导航方法和装置
CN107168379A (zh) * 2017-06-07 2017-09-15 深圳市鑫益嘉科技股份有限公司 一种动态追踪装置及追踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411371A (zh) * 2011-11-18 2012-04-11 浙江大学 一种基于多传感器服务机器人跟随系统和方法
JP2014119828A (ja) * 2012-12-13 2014-06-30 Secom Co Ltd 自律飛行ロボット
CN105955251A (zh) * 2016-03-11 2016-09-21 北京克路德人工智能科技有限公司 一种机器人的视觉跟随控制方法及机器人
CN106054882A (zh) * 2016-06-15 2016-10-26 深圳市金佰科创发展有限公司 一种机器人避障方法
CN106094875A (zh) * 2016-06-27 2016-11-09 南京邮电大学 一种移动机器人的目标跟随控制方法

Also Published As

Publication number Publication date
CN107390721A (zh) 2017-11-24

Similar Documents

Publication Publication Date Title
CN107390721B (zh) 机器人随行控制方法、装置及机器人
US10750920B2 (en) Control method of robot system including plurality of moving robots
US10948907B2 (en) Self-driving mobile robots using human-robot interactions
Cherubini et al. Autonomous visual navigation and laser-based moving obstacle avoidance
Fernández-Caballero et al. Optical flow or image subtraction in human detection from infrared camera on mobile robot
US8787614B2 (en) System and method building a map
AU2011352997B2 (en) Mobile human interface robot
CN109686031B (zh) 基于安防的识别跟随方法
JP2019528535A (ja) 移動ロボット及びその制御方法
WO2020107372A1 (zh) 拍摄设备的控制方法、装置、设备及存储介质
JP2024053085A (ja) 飛行体制御装置、飛行体制御方法、及びプログラム
CN106740841A (zh) 基于动态控制的车道线检测方法、装置及车载设备
JP6699897B2 (ja) 撮像装置、自動制御システム及びシステム
CN109740461B (zh) 目标跟随后的处理方法
JP2020126612A (ja) スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置
CN109683617B (zh) 一种自动驾驶方法、装置及电子设备
CN110838144B (zh) 一种充电设备识别方法、移动机器人和充电设备识别系统
CN113064408B (zh) 自主机器人及其控制方法、计算机存储介质
CN111103875B (zh) 避让的方法、设备及存储介质
El-Gaaly et al. Visual obstacle avoidance for autonomous watercraft using smartphones
CN109062215A (zh) 机器人及基于其的目标跟随避障方法、系统、设备和介质
WO2022228019A1 (zh) 移动目标跟随方法、机器人和计算机可读存储介质
Mosberger et al. An inexpensive monocular vision system for tracking humans in industrial environments
US11303799B2 (en) Control device and control method
CN110989623A (zh) 地面无人作业设备及控制其移动的方法和装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant