CN110858098A - 使用人-机器人交互的自驱动移动机器人 - Google Patents

使用人-机器人交互的自驱动移动机器人 Download PDF

Info

Publication number
CN110858098A
CN110858098A CN201910783589.XA CN201910783589A CN110858098A CN 110858098 A CN110858098 A CN 110858098A CN 201910783589 A CN201910783589 A CN 201910783589A CN 110858098 A CN110858098 A CN 110858098A
Authority
CN
China
Prior art keywords
gesture
determining
person
image
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910783589.XA
Other languages
English (en)
Inventor
贾斯汀·米勒
洪相贤
卢建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110858098A publication Critical patent/CN110858098A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了“使用人‑机器人交互的自驱动移动机器人”。公开了用于增强的人‑机器人交互的系统、方法和计算机可读介质。诸如机器人的装置可以发送一个或多个脉冲。所述装置可以识别与所述一个或多个脉冲相关联的一个或多个反射。所述装置可以至少部分地基于所述一个或多个反射来确定集群。所述装置可以将所述集群与图像中识别的对象相关联。所述装置可以至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势。所述装置可以至少部分地基于所述手势确定与动作相关联的命令。所述装置可以执行所述动作。

Description

使用人-机器人交互的自驱动移动机器人
技术领域
本公开总体涉及用于移动机器人的装置、系统和方法，并且更具体地，涉及使用人-机器人交互的自驱动移动机器人。
背景技术
自驱动机器人用于各种功能。随着自驱动机器人的能力提高，自驱动机器人的使用应用可能增加。
发明内容
本发明涉及用于涉及移动机器人的自主系统的人-机器人交互。人类操作员可以向机器人提供指令，并且机器人的虚拟驾驶员可以识别并执行人类操作员的命令。机器人平台可以利用基于视觉的人体姿势检测来识别与人类命令相对应的手势。例如，机器人可以执行跟随用户或自动地停放车辆的命令。使用图像像素估计的基于姿势的手势方法(pose-based gesture approach)可以允许发布机器人命令。跟随我方法(follow-meapproach)可以基于激光雷达集群跟踪(Lidar cluster tracking)向机器人提供路径规划命令。车辆的自动化停放可以与机器人的决策框架相关联。
附图说明
图1是根据本公开的一个或多个实施例的具有自驱动移动机器人和人类用户的示例性环境的图示。
图2A描绘了根据本公开的一个或多个实施例的用于自驱动移动机器人的示意性手势检测系统。
图2B描绘了根据本公开的一个或多个实施例的用于自驱动移动机器人的示意性手势检测系统。
图2C描绘了根据本公开的一个或多个实施例的用于自驱动移动机器人的示意性手势检测系统。
图3描绘了根据本公开的一个或多个实施例的示意性自驱动移动机器人系统。
图4示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程的流程图。
图5示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程的流程图。
图6示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程的流程图。
图7示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程的流程图。
图8A示出了根据本公开的一个或多个示例性实施例的机器人跟随我命令的图形结果。
图8B示出了根据本公开的一个或多个示例性实施例的机器人停放命令的结果。
具体实施方式
以下描述和附图充分地说明了具体实施例以便使本领域技术人员能够实践它们。其他实施例可以引入结构变化、逻辑变化、电性变化、过程变化以及其他变化。一些实施例的部分和特征可以包括于其他实施例或替代其他实施例的部分和特征。权利要求中阐述的实施例包括那些权利要求的所有可用等同物。
自主系统(诸如自驱动汽车和自递送机器人平台)的成功操作可能会越来越依赖于它们与人交互的能力，尤其是在与人混杂的环境中，诸如人口稠密的城市中心或制造装配厂。例如，机器人可以包括一个或多个计算装置，其可以检测附近区域中的人和对象，并且可以响应由附近用户提供并由机器人识别的命令。然而，当附近区域具有多个人和/或对象时，机器人可能难以区分不同的人和对象，以及识别哪些用户可能正在向机器人做手势，目的是致使机器人执行与所述手势相关联的命令。同样，嘈杂的环境可能导致机器人难以检测语音手势。
一些人-机器人交互解决了人与自主车辆(诸如机器人和自驱动汽车)的交互。在一些车辆和计算机基础设施中，可以在驾驶员和道路用户之间使用人与人交互来完成有效驾驶，这对于使自驱动汽车有效可以是有用的。除了自驱动汽车，人-机器人交互(HRI)在从制造机器人到服务机器人的各种自主系统中也可以很有价值。此类系统可以协作地、协调地并且以社会可接受的方式与人交互以实现期望的有效性、效率和自动化性能。
本公开的示例性实施例涉及用于使机器人识别附近对象和人、识别由人提供的一个或多个手势以及响应该人的命令的方式。
本公开的示例性实施例涉及使用HRI的用于自驱动移动机器人的增强的装置、系统和方法。
在一个或多个实施例中，用于增强的HRI的一种方法可以包括其中人可以在位于自主的自驱动机器人附近时向机器人提供指令的实现方式。机器人的虚拟驾驶员系统可以观察位于机器人附近的人，识别来自人类操作员的跟随的命令，并允许人类操作员与另一个人、机器、装置等共享对机器人的控制。
在一个或多个实施例中，用于机器人的自主解决方案可以以社会可接受且安全的方式实现自驾驶操作。机器人平台可以利用基于视觉的人体姿势检测来提取与人类操作员希望机器人执行的各种命令相对应的一个或多个手势。例如，使用为计算机设计以识别数字图像中的对象和人的基于计算机的图像分析技术，机器人可以识别附近的对象和人。通过分析如本文进一步解释的所识别的人的身体位置，机器人可以检测到人正在以命令机器人为目的做手势。例如，抬起右手位置可以对应于诸如跟随我命令(例如，用于使机器人跟随被识别为提供命令的人的命令)的命令。在跟随我命令的情况下，可以使用基于集群的激光雷达跟踪来允许机器人将命令与类似对象的集群相关联以跟随在集群后面，所述类似对象的集群可以对应于提供手势的人。在停放命令的情况下，可以使用自动化决策来考虑可能占用的停放地点并且在机器人路径中的对象周围进行导航。
虽然基于计算机的图像分析可以用于识别对象和到已识别对象的角度，但激光雷达可以用于测量机器人与对象之间的距离，并使用具有某种类似性的数据点集群来确定对象位置。激光雷达可以指激光脉冲的定向发送，以及来自对象的反射的检测。反射信号可以用于测量到引起反射的对象的距离。反射信号可以用于识别对象集群。集群可以表示彼此具有某种类似性的一组数据点(例如，具有类似能量或接收定时的反射脉冲的集群)。激光雷达和聚类的用户可以允许机器人识别与激光脉冲的反射相关联的数据点，并且在一个集群中将相关数据点彼此关联，所述集群可以对应于离机器人给定距离处的对象或人。然而，识别集群可能并不意味着检测集群是什么，或者集群是否代表提供手势的人，因此可以将集群与图像中识别的对象进行比较以将手势与集群(例如，位置)相关联。
在一个或多个实施例中，增强的HRI可以提供超过其他HRI系统和方法的以下进步。增强的HRI可以实现用于使人类用户向机器人发出命令的基于姿势的手势方法。增强的HRI可以实现用于基于激光雷达集群跟踪向机器人提供路径规划命令的跟随我方法。增强的HRI可以实现用于命令机器人来停放的自动化决策框架。
在一个或多个实施例中，可以使用基于相机的姿势估计来确定静态人手势。例如，给定人的图像，可以使用开源库(例如，OpenPose或另一种姿势估计算法)来估计在图像内识别的人体的关节/身体部位的像素坐标。
在一个或多个实施例中，手势可以被定义为布尔值gi∈{0，1}，其中如果正在执行手势，则第i个手势取值1，否则取值0。可以将手臂手势视为从几何形状确定手势的示例。除了其他手势之外，可以在机器人上实现以下手势：“抬起手”、“抬起手臂”和“伸出手臂”，其中可以单独地针对右人体关节或左人体关节对每个手势进行评估。例如，为了确定手是否抬起，机器人可以基于图像分析确定手是否位于颈部上方。为了执行这类分析，机器人可以使用基于计算机的图像分析技术(例如，分析压缩的数字数据以基于像素数据检测图案，否则人眼可能检测不到所述图案)，其被设计为允许计算机处理器识别图像中的对象及其位置(例如，在X-Y坐标平面上)。如果手的垂直坐标大于颈部的垂直坐标，则机器人可以确定手位于颈部上方，并且在图像中示出抬起手的手势。一旦在图像中识别出手势，机器人就可以将所述手势与命令相关联。例如，存储的命令可以被映射到识别的手势，并且这些命令可以与可以致使机器人执行动作的多个功能相关联。
在一个或多个实施例中，一旦由机器人接收并识别手势命令，机器人就可以发起各种任务/动作。例如，初始抬起左臂的手势可以命令机器人开始停放，而另一个抬起左臂的手势可以命令机器人中止停放操纵并且停下来。类似地，抬起右臂的手势可以命令机器人开始跟随做出所述手势的人，并且重复抬起右臂的手势可以命令机器人停止跟随。与其他命令不同，跟随我任务可能需要哪个人发了命令的上下文，使得机器人知道要跟随谁。所述过程在下面进一步描述。
在一个或多个实施例中，机器人可以识别初始手势的方向，然后可以将该手势与被跟踪的对象相关联，并且可以自主地规划用于跟随对象的路径。例如，当跟踪对象时，机器人可以保持与对象相距特定距离。为了保持与对象的距离，机器人可以继续发送脉冲并通过已与机器人要跟随的对象相关联的集群接收脉冲反射。反射脉冲可以用于计算机器人与对象之间的距离。因为其他集群可以被识别并且与其他对象相关联，所以机器人可能需要在所述其他识别的集群/对象周围进行操纵以保持在跟随对象的路径上。所识别的跟随我任务可以使用关于人在图像中的位置的信息。像素坐标(u颈部，v颈部)可以用于表示人的位置。通过机器人相机的内在和外在校准，可以将像素信息投射到机器人的坐标系中。然而，从二维相机坐标系到三维机器人坐标系的完全转变是不可能的，因为缺少信息度：深度。因此，2D点可以转变为3D空间中的2D单位矢量。
在一个或多个实施例中，机器人可以使用动态聚类来识别对象和人。动态聚类可以用于跟踪机器人周围的对象作为激光雷达集群。在被跟踪的集群之中可以是发起手势的任何人。单位矢量形式的手势方向可以用于识别人的集群。给定一组各自具有3D坐标(xc，yc，zc)的Nc个集群，所分配的集群c*是在偏航角方面与手势最佳对准的那个。
在一个或多个实施例中，已经被识别为生成了手势的被跟踪集群可以自动地被设置为人跟随目标。为了跟随人，可以为机器人定期分配作为人后面的固定偏移的导航目标。给定被跟踪集群的2D坐标(xc，yc)和机器人的当前坐标(xr，yr)，可以设置机器人的目标坐标(xg，yg)。
在一个或多个实施例中，在人向机器人提供命令之后，机器人可能经历阻止其执行该命令的外部环境。例如，当告知机器人停放在特定位置时，如果位置已被对象占用，则机器人可能无法停放在所述位置处。在这类情况下，机器人可以向人询问附加输入，或者机器人可以自动地确定用于完成任务的应急计划。
以上描述是出于说明的目的，而不是意图进行限制。可以存在许多其他示例、配置、过程等，其中一些在下面更详细地描述。现在将参考附图描述示例性实施例。
图1是根据本公开的一个或多个实施例的具有自驱动移动机器人102和人类用户104A的示例性环境100的图示。
参见图1，自驱动移动机器人102可以在不同方向上发送和接收一个或多个激光雷达激光脉冲(例如，脉冲105A、脉冲105B、脉冲105C)。激光雷达脉冲可以从一个或多个人反射回自驱动移动机器人102。例如，脉冲105A可以从人104A反射回自驱动移动机器人102，脉冲105B可以从人106A反射回自驱动移动机器人102，并且脉冲105C可以从人108A反射回自驱动移动机器人102。基于反射，自驱动移动机器人102可以识别与反射相关联的数据点的集群110。例如，集群110可以包括集群104B、集群106B和集群108B。自驱动移动机器人102可以捕获附近环境的一个或多个图像。例如，自驱动移动机器人102可以捕获图像106，所述图像可以示出人104A、人106A和人108A。使用图像分析技术，自驱动移动机器人102可以识别图像106中的人。基于图像106中所识别的人和激光雷达集群110，自驱动移动机器人102可以将图像106中的人与集群110相关联。这样，自驱动移动机器人102可以识别图像106中的人的位置。
仍然参见图1，人104A可以向自驱动移动机器人102做手势。例如，人104A可以使用手势来向自驱动移动机器人102传送命令。使用图像分析技术，自驱动移动机器人102可以分析图像106以确定人104A处于图像106中的姿势(例如，伸出手臂)，并且所述姿势表示自驱动移动机器人102可以执行的一个或多个命令。基于图像106与集群110的关联，自驱动移动机器人102可以确定手势命令与集群104B相关联。这样，例如，如果手势表示跟随人104A的命令，则自驱动移动机器人102可以集中于集群104B以用于进一步的命令并用于确定如何跟随人104A。例如，自驱动移动机器人104可以将对所识别的手势的响应限制为与集群104B相关联的那些，直到得到另外指示。
图2A描绘了根据本公开的一个或多个实施例的用于自驱动移动机器人的示意性手势检测系统200。
参见图2A，图1的自驱动移动机器人102可以使用手势检测系统200来执行图像分析以识别可对应于命令的手势。例如，图像201可以示出图1的人104A。人104A的部位可以由坐标(例如，X-Y平面坐标)表示。以下部位可由不同坐标表示：鼻子202、颈部204、右肩206、右肘208、右手/腕210、左肩212、左肘214、左手/腕216、右臀218、右膝220、右踝/脚222、左臀224、左膝226、左踝/脚228、左耳230和右耳232。
在一个或多个实施例中，使用面部识别和其他对象检测，自驱动移动机器人102可以识别图像201中的人104A的身体部位。知道了身体部位，自驱动移动机器人102就可以基于其相应坐标来识别图像中的身体部位的位置。
可以使用图像201的基于相机的姿势估计来确定静态手势。每个关节标签可以具有估计的像素坐标u和v，其中坐标的原点(例如，0，0)可以被选择为图像201的左下像素。可以从特定身体关节之间的几何关系估计手势。
手势可以被定义为布尔值gi∈{0，1}，其中如果正在执行手势，则第i个手势取值1，否则取值0。可以将手臂手势视为从几何形状确定手势的示例。可以在自驱动移动机器人102上实现以下手势：“抬起手”ghu、“抬起手臂”gau以及“伸出手臂”gao，其中可以单独地针对右关节或左关节对每个手势进行评估。
如果腕/手(例如，腕/手210)离开肩部(例如，肩部206)足够远，则可以确定“伸出手臂”手势。为了考虑缩放，可以根据肩宽来指定距离。可以通过gao＝(|u腕-u肩部|＞αw)来确定伸出手臂的手势，其中w＝|u左肩-u右肩|并且α是缩放因子，根据经验将其选择为1.25或某个其他值。如果腕/手与肩部之间的长度大于通过缩放因子调整的肩宽，则可以识别伸出手臂手势。
一旦自驱动移动机器人102接收到手势命令，自驱动移动机器人102就可以发起各种任务。例如，初始抬起左臂的手势可以命令自驱动移动机器人102开始停放，而另一个抬起左臂的手势可以命令中止停放操纵并且停下来。类似地，抬起右臂的手势可以命令自驱动移动机器人102开始跟随做出手势的人(例如，人104A，其可以与图1的集群104B相关联)，并且重复所述手势可以命令自驱动移动机器人102停止跟随。与一些其他命令不同，跟随我任务可能需要哪个人发了命令的上下文，使得机器人知道要跟随谁。
对于跟随我任务，自驱动移动机器人102可以识别初始手势的方向，然后将该手势与被跟踪对象(例如，图1的集群104B)相关联，并且可以自主地确定用于跟随对象的路径。
一个步骤是确定相对于自驱动移动机器人102的基坐标系做出手势的方向。除了手势的二元度量之外，跟随我任务可以使用关于图像201中的人104A的位置的信息。例如，U-V像素坐标(u颈部，v颈部)可以用于表示人的位置(例如，图像201中的颈部204的水平和垂直像素坐标)。通过相机的内在和外在校准(例如，如图3中所提到的)，可以将像素信息投射到自驱动移动机器人102的坐标系中。然而，由于深度未知，可能无法进行从2D相机坐标系到3D机器人坐标系的完全转变。因此，可以使用以下等式将2D点转变为3D空间中的2D单位矢量：其中
Figure BDA0002177311930000092
其中3D坐标在机器人基座的方向上使得x是向前，y是向左，并且z是向上。
自驱动移动机器人102可以使用动态聚类来跟踪自驱动移动机器人102周围的对象作为激光雷达集群(例如，图1的集群104B、106B、108B)。在被跟踪集群之中将是发起手势的任何人(例如，人104A)。单位矢量形式的手势方向可以用于识别人的集群(例如，人104A可以对应于集群104B)。给定一组各自具有3D坐标(xc，yc，zc)的Nc个集群，所分配的集群c*可以是在如下计算的偏航角方面与手势最佳对准的那个：
Figure BDA0002177311930000101
其中
Figure BDA0002177311930000102
已经被识别为生成了手势的被跟踪集群(例如，图1的集群104B)可以自动地被设置为人跟随目标。为了跟随对应于集群104B的人104A，可以为自驱动移动机器人102分配导航目标，诸如人104A后面的固定偏移距离。给定集群104B的被跟踪集群的2D坐标(xc，yc)和自驱动移动机器人102的当前坐标(xr，yr)，可以将自驱动移动机器人102的目标坐标(xg，yg)设置为xg＝xr+(d-o)cosθ，yg＝yr+(d-o)sinθ，其中o可以是跟随距离偏移，并且d和θ可以是由以下给出的集群104B与自驱动移动机器人102之间的距离和角度：
Figure BDA0002177311930000103
和
Figure BDA0002177311930000104
在人104A向自驱动移动机器人102提供命令之后，自驱动移动机器人102可能经历阻止自驱动移动机器人102执行该命令的外部环境。例如，当指示自驱动移动机器人102停放在特定位置时，如果位置已被障碍物占用，则自驱动移动机器人102可能无法停放在所述位置处。在此类情况下，自驱动移动机器人102可以向人104A询问附加输入(例如，呈现提示人104A进行附加用户输入的一个或多个指示)，或者自驱动移动机器人102可以自动地确定用于完成任务的应急计划。
在一个或多个实施例中，自驱动移动机器人102可以响应于自驱动移动机器人102可能要在存在被占用的停放位置的情况下进行停放的命令来执行自动化决策。自驱动移动机器人102可以基于预定义的手势(例如，抬起左手)识别从人104A接收的命令，所述预定义的手势指示用于使自驱动移动机器人102停放在停放地点中的命令。在自驱动移动机器人102接收到命令之后，人104A可以停止与机器人交互持续一段时间。例如，人104可以骑行并且可以离开自驱动移动机器人102(例如，自驱动移动机器人102可以用作自主车辆)，人104A可以经由手势命令自驱动移动机器人102停放，以及人104A可以走开，期望自驱动移动机器人102在没有进一步交互的情况下完成任务。
在接收到停放的命令后，自驱动移动机器人102可以确定一组符合条件的可用停放空间。可以通过搜索一组预定义的停放空间并且然后确定它们是否可接近来确定所述一组可用停放空间。可以通过检查障碍物的占用栅格代价地图来确定停放空间可接近性。如果对应于停放空间的坐标的代价地图的任何栅格单元示为被占用，则所述空间可以至少在一段时间内从符合条件的组中移除。
自驱动移动机器人102可以确定/被分配与最近的未占用停放地点相对应的导航目标。给定一组符合条件的Np个停放地点，各自具有坐标(xp，yp)，可以为自驱动移动机器人102分配停放地点p*，其由以下给出：
Figure BDA0002177311930000111
其中(xr，yr)是机器人的当前坐标。自驱动移动机器人102可以导航到分配的停放地点。
如果自驱动移动机器人102到达目标位置和定向(例如，在距离阈值内)，则可以完成停放操纵，并且自驱动移动机器人102可以等待来自另一个手势的新命令。然而，如果分配的停放地点变成被占用的，则可以至少暂时地将所述地点从符合条件的组中移除，并且可以再次执行停放分配分析。如果没有可用的地点，则自驱动移动机器人102可以巡逻并检查每个可能地点，直到一个地点变得可用并且自驱动移动机器人102成功停放。
如果先前被占用的空间变成未占用的，则可以立即将所述空间重新添加到符合条件的组中。这样做可能导致振荡行为，例如，当自驱动移动机器人102行驶远离空间时，由自驱动移动机器人102检测到的传感器噪声致使被占用的空间看起来是未占用的。因此，自驱动移动机器人102可以避免检查所有先前被占用的空间，直到符合条件的组变空。结果可能是自驱动移动机器人102将继续移动到下一个地点，直到自驱动移动机器人102开始巡逻。
图2B描绘了根据本公开的一个或多个实施例的用于自驱动移动机器人的示意性手势检测系统230。
参见图2B，与自驱动移动机器人102相关联的手势检测系统230可以分析图像201以确定图1的人104A是否正在向自驱动移动机器人102做手势发出命令。例如，自驱动移动机器人102可以确定人104A是否正在提供抬起手的手势。
如果手(例如，手/腕210)位于颈部(例如，颈部204)上方，由下式给出：ghu＝(v腕＞v颈部)∧(v肘＜v颈部)，则可以确定“抬起手”手势。抬起手的手势可以对应于任何命令。例如，自驱动移动机器人102可识别抬起手的手势并确定抬起手的手势是否对应于给定命令。所述命令可以指示自驱动移动机器人102要执行的一个或多个动作，诸如，在特定方向上移动，以特定速度移动，抬起或放下对象，检索对象，停放，跟随人104A，跟随另一个人(例如，图1的人106A)，向人104A提供指示(例如，警告、可能的任务、可能的安全问题、附近的对象或人等)。抬起手的手势可以指示自驱动移动机器人102应当停止执行动作。
参见图2C，与自驱动移动机器人102相关联的手势检测系统260可以分析图像201以确定图1的人104A是否正在向自驱动移动机器人102做手势发出命令。例如，自驱动移动机器人102可以确定人104A是否正在提供抬起手臂的手势。
如果手(例如，手/腕210)和肘(例如，肘208)都位于颈部(例如，颈部204)上方，由下式给出：gau＝(v腕＞v颈部)∧(v肘＞v颈部)，则可以确定“抬起手臂”手势。抬起手臂的手势可以对应于任何命令。例如，自驱动移动机器人102可识别抬起手臂的手势并确定抬起手臂的手势是否对应于给定命令。所述命令可以指示自驱动移动机器人102要执行的一个或多个动作，诸如，在特定方向上移动，以特定速度移动，抬起或放下对象，检索对象，停放，跟随人104A，跟随另一个人(例如，图1的人106A)，向人104A提供指示(例如，警告、可能的任务、可能的安全问题、附近的对象或人等)。抬起手臂的手势可以指示自驱动移动机器人102应当停止执行动作。
图3描绘了根据本公开的一个或多个实施例的示意性自驱动移动机器人系统30。
参见图3，图1的自驱动移动机器人102可以是图1的附近人104A、人106A和人108A并且可以能够识别这些人及其位置，以及确定是否任何人正在向自驱动移动机器人102做手势发出命令。
仍然参见图1，自驱动移动机器人102可以包括一个或多个部件，其可以允许自驱动移动机器人102执行对象/人检测、手势辨识以及执行与手势相关联的动作。自驱动移动机器人102可以包括计算机装置302，其可以包括处理电路304、存储装置306(例如，其可包括手势检测模块308、命令模块310、图像分析模块312和集群模块313)、一个或多个传感器314、一个或多个收发器315、电源316、输出装置318和图像捕获装置320。
处理电路304可以被配置为执行计算机可执行指令。例如，处理电路304可以被配置为执行各种程序模块、应用程序、引擎等的计算机可执行指令，以致使或有利于根据本公开的一个或多个实施例执行各种操作。处理电路304可以包括能够接受数据作为输入、根据存储的计算机可执行指令处理输入数据以及生成输出数据的任何合适的处理单元。处理电路304可以包括任何类型的合适处理单元，包括但不限于，中央处理器、微处理器、精简指令集计算机(RISC)微处理器、复杂指令集计算机(CISC)微处理器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、片上系统(SoC)、图像信号处理器(ISP)、数字信号处理器(DSP)等。此外，处理电路304可以具有任何合适的微架构设计，其包括任何数量的组成部件，诸如(例如)寄存器、多路复用器、算术逻辑单元、用于控制对高速缓冲存储器的读/写操作的高速缓存控制器、分支预测器等。处理电路304的微架构设计可以能够支持各种指令集中的任何一种。
存储装置306可以包括可移除存储装置和/或不可移除存储装置，包括但不限于磁存储装置、光盘存储装置和/或磁带存储装置。存储装置306可以提供计算机可执行指令和其他数据的非易失性存储。可移除和/或不可移除的存储装置306是如本文所用术语计算机可读存储介质(CRSM)的示例。
存储装置306可以存储计算机可执行代码、指令等，其可以能够由处理电路304执行以致使处理电路304执行或发起各种操作。存储装置306可以另外存储可以在执行计算机可执行指令期间被复制以供处理电路304使用的数据。此外，由于处理电路304执行计算机可执行指令而生成的输出数据可以被复制到存储装置306以用于非易失性存储。
更具体地，存储装置306可以存储一个或多个程序模块、应用程序、引擎、计算机可执行代码、脚本等。这些模块中的一些或全部可以是或包括子模块。被描绘为存储在存储装置306中的任何部件可以包括软件、固件和/或硬件的任何组合。软件和/或固件可以包括可以由处理电路304中的一个或多个执行的计算机可执行代码、指令等。被描绘为存储在存储装置306中的任何部件可以支持参考本公开中先前命名的对应部件所描述的功能。
例如，手势检测模块308可以包括可执行指令，其允许计算机装置302通过确定人体姿势对应于手势来从图像(例如，图2A的图像201)检测手势。命令模块310可以包括可执行指令，其允许计算机装置302将手势转换成可以包括供自驱动移动机器人102执行的动作的命令。图像分析模块312可以包括可执行指令，其允许计算机装置302从图像确定人(例如，图2A的人104A)是否在图像中，以及该人的身体部位可能在图像中处于何处。集群模块313可以包括可执行指令，其允许计算机装置302通过致使发送激光脉冲、检测脉冲的反射、识别脉冲被反射的位置以及将集群与图像中检测到的对象/人相关联来识别激光雷达集群。
脉冲发射装置310可以发送用于激光雷达检测和聚类的一个或多个激光脉冲。脉冲发射装置310可以发送光脉冲并等待脉冲的返回。脉冲发射装置310可以包括固态激光器、闪光激光雷达、相控阵等。
收发器315可以包括用于在对应于由计算机装置302用来与其他装置通信的通信协议的带宽和/或信道中发射或接收信号的任何合适的无线电部件。收发器315可以包括用于根据任何通信协议调制、发射或接收通信信号的硬件、软件和/或固件。收发器315可以包括适合于经由由计算机装置302利用的通信协议进行通信的任何已知接收器和基带。收发器315还可以包括低噪声放大器(LNA)、附加功率信号放大器(PA)、模数(A/D)转换器、一个或多个缓冲器、数字基带等。收发器315可以允许计算机装置302接收和识别无线传输，诸如与控制自驱动移动机器人102相关联的命令和信息。
电源316可以是电池，诸如锂离子电池。可以向电源316提供从诸如电池的充电装置接收的电力。电源316可以向计算机装置302提供电力。
传感器314可以包括自驱动移动机器人102内部或外部的传感器。例如，传感器314可以检测激光雷达脉冲的反射。传感器314可以检测和测量来自脉冲反射的反射能量，从而允许处理电路304确定与引起反射的对象的距离(例如，使用光速和脉冲发送与脉冲反射之间的时间)。
图像捕获装置320可以包括用于捕获图像(例如，图2A的图像201)的相机。图像捕获装置320可以响应由计算机装置302接收的指示拍摄照片或视频的请求的输入。由图像捕获装置320捕获的数据可以存储在存储装置306中并且由图像分析模块312使用以识别图像中的对象和人(例如，人104A、人106A、人108A)。
输出装置318可以是能够提供视频、音频、振动或任何其他类型的指示的显示器、麦克风等。例如，输出装置318可以允许显示信息、关于附近对象的声音警告、提醒等。
图4示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程400的流程图。
在框402处，装置(例如，图1的自驱动移动机器人102)的处理电路(例如，处理电路304)可以致使自驱动移动机器人102发送一个或多个脉冲。所述一个或多个脉冲可以是在不同方向上发送的激光雷达激光脉冲。
在框404处，装置的处理电路可以识别与框402中发射的脉冲相对应的一个或多个接收的反射。传感器可以检测来自与发射脉冲相关联的激光反射的能量，并且给定发射脉冲的时间、反射被识别的时间以及光速，可以识别与反射相关联的对象的距离。反射可能是由对象或人引起的。
在框406处，装置的处理电路可以基于反射确定一个或多个集群(例如，图1的集群104B、集群106B、集群108B)。与坐标系中的类似数据点相关联的反射可以聚类在一起以表示对象或人。
在框408处，装置的处理电路可以将集群与图像中的对象相关联。例如，给定来自捕获图像(例如，图1的图像106)的图像数据，装置可以识别图像中的对象或人(例如，人104A、人106A、人108A)。装置可以转变图像的二维点(例如，与人104A相关联的点)并且可以将其转变成三维空间中的矢量。给定一组集群，装置可以确定哪个集群与图像中的对象或用户的位置最佳对准。例如，给定一组各自具有3D坐标(xc，yc，zc)的Nc个集群，所分配的集群c*是在如下计算的偏航角方面与手势最佳对准的那个：
Figure BDA0002177311930000171
即：
Figure BDA0002177311930000172
在框410处，装置的处理电路可以确定与对象相关联的手势。例如，使用图像分析技术，装置可以确定图像中所识别的人处于姿势中。为了检测姿势，装置可以识别图像中的身体部位相对于彼此的位置，并识别姿势是否对应于任何手势(例如，抬起手、伸出手臂等)。
在框412处，装置的处理电路可以至少部分地基于手势来确定命令。例如，如果检测到诸如抬起手臂或伸出手臂的手势，则装置可以确定分配给手势的命令。所述命令可以是执行动作或移动。
在框414处，装置的处理电路可以致使装置执行与命令相关联的动作。例如，如果命令是接近人，则处理电路可以致使装置朝向该人移动。如果命令是以特定速度移动和/或保持装置与人之间的特定距离，则处理电路可以致使装置相应地移动。如果命令是停放装置，则装置可以搜索可用的停放空间并导航到开放的停放空间。如果命令是使装置向人提供信息或输入，则装置可以相应地用输出做出响应。
图5示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程500的流程图。
在框502处，装置(例如，图1的自驱动移动机器人102)的处理电路(例如，处理电路304)可以确定与对象(例如，图1中的人104A)相关联的图像数据。图像数据可以由相机(例如，图3的图像捕获装置320)捕获。
在框504处，装置的处理电路可以确定与对象相关联的相应像素坐标(例如，与图像中的坐标平面相关联的二维X-Y坐标)。例如，对象可以是人，并且像素坐标可以与所识别的该人的身体部位相关联。所述装置可以识别位于图像中的不同位置处的多个身体部位。可以使用坐标系来确定身体部位的位置，所述坐标系的0，0起点可以是图像的左下角。
在框506处，装置的处理电路可以基于像素坐标确定与对象相关联的手势。例如，如果相对于肩部或颈部的位置识别出手位置，则装置可以确定图像中的人可能尝试举起手的手势。如果手臂伸展，则装置可以确定伸出手臂的手势。可以通过分析图像中所识别的身体部位的像素位置来确定多个手势。
在框508处，装置的处理电路可以确定手势对应于跟随对象(例如，人)的命令。如果手势指示跟随我命令，则装置可以通过将对应于对象和手势的图像数据与激光雷达数据相关联以识别与手势相关联的集群来确定提供命令的对象的位置。如果集群移动，则装置可以识别集群的更新位置以允许装置跟随集群。
在框510处，装置的处理电路可以致使装置跟随对象。跟随对象可以包括保持装置与对象之间的距离。为了检测距离，装置可以参考与分配的集群相关联的发射脉冲的反射。当集群移动时，装置应当基于对象与装置之间所检测到的距离而移动。装置可以检测其他对象并在适当的情况下在那些对象周围导航以跟随所述对象。为了使装置移动，处理电路可以向装置发送一个或多个信号，例如发送到控制可以致使装置移动的可移动部件(诸如轮子、皮带、手臂、腿等)的马达或处理器。
在一个或多个实施例中，已经被识别为生成了手势的被跟踪集群可以被设置为人跟随目标。为了跟随人，可以为装置分配作为集群后面的固定偏移的导航目标。给定被跟踪集群的2D坐标(xc，yc)和装置的当前坐标(xr，yr)，可以将装置的目标坐标(xg，yg)设置为xg＝xr+(d-o)cosθ，yg＝yr+(d-o)sinθ，其中o是跟随偏移，并且d和θ是由以下给出的集群与装置之间的距离和角度：
Figure BDA0002177311930000191
图6示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程600的流程图。例如，自驱动移动机器人可以响应于跟随我命令而跟随人类操作员。
在框602处，装置(例如，图1的自驱动移动机器人102)的处理电路(例如，处理电路304)可以确定与对象相关联的图像数据。例如，给定图像(例如，图2A的图像201)，装置可以识别图像中的人(例如，图1的人104A)，并且可以识别图像中的该人的一个或多个身体部位。
在框604处，装置的处理电路可以确定与对象的部位相关联的相应组的像素坐标。如果对象是人，则可以识别人的身体部位和特征，并且可以在与图像相关联的坐标平面上确定那些身体部位的位置坐标。例如，可以识别相应身体部位的水平和垂直(例如，X-Y)坐标并将它们相互比较。
在框606处，装置的处理电路可以基于像素坐标确定与对象相关联的手势。例如，通过比较在图像中识别的不同身体部位的像素坐标，装置可以确定与手势相关联的姿势。例如，手在垂直方向上高于肩部或颈部可以对应于抬起手的手势。
在框608处，装置的处理电路可以确定手势对应于停止跟随对象的命令。例如，如果装置先前接收到了跟随我命令并且正在跟随对象，则装置可以继续从对象接收命令，直到装置识别出有另外指示的手势。这类手势可以指示跟随我命令已经结束。
在框610处，处理电路可以致使装置停止跟随对象。这可以包括如果对象移动，装置不再需要保持装置与对象之间的距离。装置可以继续识别手势并响应来自所述对象或来自其他附近对象的对应命令。
图7示出了根据本公开的一个或多个示例性实施例的操作自驱动移动机器人的过程700的流程图。例如，可以指示自驱动移动机器人停放在开放的停放空间中。
在框702处，装置(例如，图1的自驱动移动机器人102)的处理电路(例如，处理电路304)可以确定与对象相关联的图像数据。例如，给定图像(例如，图2A的图像201)，装置可以识别图像中的人(例如，图1的人104A)，并且可以识别图像中的该人的一个或多个身体部位。
在框704处，装置的处理电路可以确定与对象的部位相关联的相应组的像素坐标。如果对象是人，则可以识别人的身体部位和特征，并且可以在与图像相关联的坐标平面上确定那些身体部位的位置坐标。例如，可以识别相应身体部位的水平和垂直(例如，X-Y)坐标并将它们相互比较。
在框706处，装置的处理电路可以基于像素坐标确定与对象相关联的手势。例如，通过比较在图像中识别的不同身体部位的像素坐标，装置可以确定与手势相关联的姿势。例如，手在垂直方向上高于肩部或颈部可以对应于抬起手的手势。
在框708处，装置的处理电路可以确定手势对应于停止停放装置的命令。停放装置可以包括在装置的当前位置停止和/或至少部分地关闭装置，或者将装置导航到可用位置，诸如装置可以关闭或接收附加命令的停放空间。
在框710处，装置的处理电路可以确定停放位置。所述装置可以存储可用的停放位置，其可以由装置分析以确定可用的停放空间。可以通过搜索一组预定义的停放空间以确定它们是否可接近来确定一组可用停放空间。
在框712处，装置的处理电路可以确定对象位置。使用激光雷达雷达脉冲及其反射，装置可以识别可对应于对象的集群。确定对象离装置的距离及其离装置的相应方向，装置可以确定对象的相应位置以及那些位置是否对应于停放空间的位置(例如，使用坐标系)。
在框714处，装置的处理电路可以确定可用的停放位置。可以通过检查障碍物的占用栅格代价地图来确定停放空间可接近性。如果对应于停放空间的坐标的代价地图的任何栅格单元示为被占用(例如，对应于所识别的对象集群)，则可以至少暂时地将所述空间从符合条件的组中移除。
在框716处，装置的处理电路可以确定到可用停放位置的路线或路径。装置可以确定例如对应于最近的未占用停放地点或者对应于最接近与用户输入相关联的位置(例如，装置或人的目的地位置)的停放地点的导航目标。给定一组符合条件的Np个停放地点，各自具有坐标(xp，yp)，装置可以识别停放地点p*，其由以下给出：
Figure BDA0002177311930000211
其中(xr，yr)可以是装置的当前坐标。
在框718处，装置的处理电路可以致使装置导航到可用的停放位置。为了使装置移动，处理电路可以向装置发送一个或多个信号，例如发送到控制可以致使装置移动的可移动部件(诸如轮子、皮带、手臂、腿等)的马达或处理器。
在框720处，装置的处理电路可选地可以更新到可用停放地点的路线。例如，如果装置检测到阻碍到停放空间的路线的其他对象，则装置可以基于对象的位置确定在这些对象周围的替代路线。所述装置还可以基于所识别的或输入的条件例如对于装置的操作不安全的周围环境条件、与装置在某些位置或时间的操作相关联的限制或者指示装置改变路线的用户命令来调整路线。
图8A示出了根据本公开的一个或多个示例性实施例的机器人跟随我命令的图形结果800。
参见图8A，基于人(例如，图1的人104A)已经经由手势命令机器人(例如，图1的自驱动移动机器人102)示出了跟随我模式结果。人的路径由虚线802示出。导航目标由点(例如，点804)示出，从而表示在执行跟随我命令时由机器人确定的个别目标位置。实线806示出了机器人的实际路径。人的路径表示以约0.5米/秒行走“数字8”图案。
如图8A所示，人路径和机器人路径类似但不相同。每个目标位置都在机器人方向上放置在远离人路径1米的位置，并且当人移动时，机器人切断朝向人的下一个当前位置的内部路径。这种行为是所期望的，因为它允许机器人与人保持同步而不会不舒服地靠近他们(例如，保持距离)。因此，机器人能够在经由手势接收到跟随我命令之后跟随人。
图8B示出了根据本公开的一个或多个示例性实施例的机器人停放命令的结果850。
参见图8B，基于人(例如，图1的人104A)已经经由手势命令机器人(例如，图1的自驱动移动机器人102)示出了停放命令的结果。在接收停放命令后的机器人的初始位置显示在点852处。机器人可以采用朝向目标位置856的路径854，直到识别集群C1。由于集群C1成为装置的障碍物，装置可以确定到目标位置860的新路径858。沿着路径858，装置可以识别集群C2形式的另一个障碍物，并且可以确定到目标位置864的新路径862。如果沿路径862没有检测到更多障碍物，则装置可以继续到达目标位置864，其可以是预期的最终目的地。
在识别出目标位置860被占用之后，传感器噪声可能致使机器人重新评估所述一组符合条件的停放空间，并且机器人可以在识别目标位置856和目标位置860两者仍然被占用之前考虑移动到目标位置856。机器人可以识别并前进到被识别为未占用的停放地点(例如，目标位置864)。在到达目标位置864时，机器人成功停放并等待新命令。因此，所检测到的传感器噪声可以致使装置重新评估潜在位置以确定它们是否是可用的停放空间。
在人向机器人提供命令之后，机器人可能经历阻止其执行该命令的外部环境。例如，当告知机器人停放在特定位置时，如果位置已被障碍物占用，则机器人可能无法停放在所述位置处。在此类情况下，机器人可以提示用户(例如，人104A)进行附加输入，或者可以自动地确定应急计划(例如，备用路径)以完成停放任务。
机器人可以确定与最近的未占用停放地点相对应的导航目标(例如，目标位置)。给定一组符合条件的Np个停放地点，各自具有坐标(xp，yp)，机器人可以确定停放位置p*，其由以下给出：其中(xr，yr)是机器人的当前坐标。然后机器人可以导航到停放地点。
如果机器人到达目标位置(例如，目标位置864)和定向(例如，在阈值内)，则可以完成停放操纵并且机器人可以等待来自另一个手势的新命令。然而，如果分配的停放地点变成被占用的，则可以将所述地点从符合条件的组中移除，并且可以识别另一个可用的停放空间。如果没有可用的地点，机器人可以巡逻并监视每个地点，直到一个地点变得可用。如果先前被占用的空间变成未占用的，则可以立即将所述空间重新添加到符合条件的组中。
尽管已经描述了本公开的具体实施例，但是本领域普通技术人员将认识到，许多其他修改和替换实施例都在本公开的范围内。例如，相对于特定装置或部件描述的任何功能和/或处理能力都可以由任何其他装置或部件执行。此外，虽然已经根据本公开的实施例描述了各种示意性实现方式和架构，但是本领域普通技术人员将理解，对本文描述的示意性实现方式和架构的许多其他修改也在本公开的范围内。
框图和流程图的框支持用于执行指定功能的装置的组合、用于执行指定功能的要素或步骤的组合以及用于执行指定功能的程序指令装置。还应理解，框图和流程图中的每个框，以及框图和流程图中的框的组合可由执行指定功能、要素或步骤的基于专用硬件的计算机系统、或者专用硬件和计算机指令的组合来实现。
软件部件可以用各种编程语言中的任何一种编码。示意性编程语言可以是较低级编程语言，诸如与特定硬件架构和/或操作系统平台相关联的汇编语言。包括汇编语言指令的软件部件可能需要在由硬件架构和/或平台执行之前由汇编器转换成可执行机器代码。
软件部件可以存储为文件或其他数据存储构造。类似类型或功能相关的软件部件可以一起存储，诸如(例如)，存储在特定目录、文件夹或库中。软件部件可以是静态的(例如，预先建立的或固定的)或动态的(例如，在执行时创建或修改)。
软件部件可以通过各种机制中的任何一种来调用或由其他软件部件调用。被调用或进行调用的软件部件可以包括其他定制开发的应用软件，操作系统功能(例如，装置驱动程序、数据存储(例如，文件管理)例程、其他常见例程和服务等)或第三方软件部件(例如，中间件、加密、或其他安全软件、数据库管理软件、文件传输或其他网络通信软件、数学或统计软件、图像处理软件和格式转换软件)。
与特定解决方案或系统相关联的软件部件可以驻留在单个平台上并在其上执行，或者可以跨多个平台分布。多个平台可以与多于一个硬件供应商、底层芯片技术或操作系统相关联。此外，与特定解决方案或系统相关联的软件部件最初可以用一种或多种编程语言编写，但是可以调用用另一种编程语言编写的软件部件。
可以将计算机可执行程序指令加载到专用计算机或其他特定机器、处理器、或其他可编程数据处理设备上以产生特定机器，使得在计算机、处理器或其他可编程数据处理设备上执行指令致使执行流程图中指定的一个或多个功能或操作。这些计算机程序指令还可以存储在计算机可读存储介质(CRSM)中，所述计算机可读存储介质在执行时可以引导计算机或其他可编程数据处理设备以特定方式起作用，使得存储在计算机可读存储介质中的指令产生包括实现流程图中指定的一个或多个功能或操作的指令装置的制品。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，以致使在计算机或其他可编程设备上执行一系列操作要素或步骤以产生计算机实现的过程。
虽然已经用结构特征和/或方法动作专用的语言描述了多个实施例，但是应当理解，本公开不必限于所描述的具体特征或动作。而是，将具体特征和动作作为实现这些实施例的说明性形式来公开。除非另外明确说明，或者在所使用的上下文中以其他方式理解，否则诸如“能够”、“可以”、“可能”或者“可”等等的条件语言通常意图表达某些实施例可以包括，而其他实施例不包括某些特征、要素和/或步骤。因此，这类条件语言通常不意图暗示一个或多个实施例以任何方式要求特征、要素和/或步骤，或者一个或多个实施例一定包括用于在有或没有用户输入或提示的情况下决定这些特征、要素和/或步骤是否包括在任何特定实施例中或将要在任何特定实施例中执行的逻辑。
示例1可以是一种包括存储装置和处理电路的装置，所述处理电路被配置为：至少部分地基于与一个或多个脉冲相关联的一个或多个反射来确定集群；将所述集群与图像中识别的对象相关联；至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；至少部分地基于所述手势确定与动作相关联的命令；以及致使所述装置执行所述动作。
示例2可包括示例1的装置和/或本文的一些其他示例，其中所述对象与人相关联，其中确定所述手势包括所述处理电路进一步被配置为：确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
示例3可包括示例1或示例2的装置和/或本文的一些其他示例，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
示例4可包括示例2的装置和/或本文的一些其他示例，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
示例5可包括示例1的装置和/或本文的一些其他示例，其中所述命令与所述装置跟随所述对象的指示相关联，并且其中致使执行所述动作包括致使所述装置跟随所述对象。
示例6可包括示例5的装置和/或本文的一些其他示例，其中致使所述装置跟随所述对象包括所述处理电路进一步被配置为保持所述装置与所述对象之间的距离。
示例7可包括示例1的装置和/或本文的一些其他示例，其中所述处理电路进一步被配置为：致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；识别第二图像；至少部分地基于所述第二图像的一个或多个像素坐标确定第二手势；将所述第二手势与所述对象相关联；以及至少部分地基于所述第二手势确定指示所述装置停止跟随所述对象的第二命令。
示例8可包括示例1的装置和/或本文的一些其他示例，其中所述命令与所述装置导航到未占用位置的指示相关联，其中致使所述装置执行所述动作包括所述处理电路进一步被配置为：确定所述装置的第一位置；确定第二位置；致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；至少部分地基于所述一个或多个附加反射来确定第二对象的第三位置；至少部分地基于所述一个或多个附加反射确定所述第二对象的所述第三位置不是所述第二位置；至少部分地基于所述第二对象的所述第三位置确定从所述第一位置到所述第二位置的路线；以及致使所述装置至少部分地基于所述路线移动。
示例9可包括示例8的装置和/或本文的一些其他示例，其中所述路线是第一路线，并且其中所述处理电路进一步被配置为：至少部分地基于所述一个或多个附加反射来确定第三对象的第四位置；至少部分地基于所述第三对象的所述第四位置确定第二路线，其中所述第二路线不同于所述第一路线；以及致使所述装置至少部分地基于所述第二路线移动。
示例10可包括示例1的装置和/或本文的一些其他示例，其中将所述集群与所述对象相关联包括所述处理电路进一步被配置为：确定所述图像中的所述对象的位置；确定所述集群的位置；以及至少部分地基于所述对象的位置和所述集群的位置来确定偏航角。
示例11可包括一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由一个或多个处理器执行时导致执行包括以下的操作：由装置至少部分地基于与一个或多个脉冲相关联的一个或多个反射来确定集群；将所述集群与图像中识别的对象相关联；至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；至少部分地基于所述手势确定与动作相关联的命令；以及致使所述装置执行所述动作。
示例12可包括示例11的非暂时性计算机可读介质和/或本文的一些其他示例，其中所述对象与人相关联，其中确定所述手势包括：确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
示例13可包括示例12的非暂时性计算机可读介质和/或本文的一些其他示例，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
示例14可包括示例12的非暂时性计算机可读介质和/或本文的一些其他示例，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
示例15可包括示例11的非暂时性计算机可读介质和/或本文的一些其他示例，其中所述命令与所述装置跟随所述对象的指示相关联，并且其中致使执行所述动作包括致使所述装置跟随所述对象。
示例16可包括示例15的非暂时性计算机可读介质和/或本文的一些其他示例，其中致使所述装置跟随所述对象包括保持所述装置与所述对象之间的距离。
示例17可包括示例15的非暂时性计算机可读介质和/或本文的一些其他示例，所述操作还包括：致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；识别第二图像；至少部分地基于所述第二图像的一个或多个像素坐标确定第二手势；将所述第二手势与所述对象相关联；以及至少部分地基于所述第二手势确定指示所述装置停止跟随所述对象的第二命令。
示例18可包括示例11的非暂时性计算机可读介质和/或本文的一些其他示例，其中所述命令与所述装置导航到未占用位置的指示相关联，其中致使所述装置执行所述动作包括：确定所述装置的第一位置；确定第二位置；致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；至少部分地基于所述一个或多个附加反射来确定第二对象的第三位置；至少部分地基于所述一个或多个附加反射确定所述第二对象的所述第三位置不是所述第二位置；至少部分地基于所述第二对象的所述第三位置确定从所述第一位置到所述第二位置的路线；以及致使所述装置至少部分地基于所述路线移动。
示例19可包括示例18的非暂时性计算机可读介质和/或本文的一些其他示例，其中所述路线是第一路线，并且所述操作还包括：至少部分地基于所述一个或多个附加反射来确定第三对象的第四位置；至少部分地基于所述第三对象的所述第四位置确定第二路线，其中所述第二路线不同于所述第一路线；以及致使所述装置至少部分地基于所述第二路线移动。
示例20可包括示例11的非暂时性计算机可读介质和/或本文的一些其他示例，其中将所述集群与所述对象相关联包括：确定所述图像中的所述对象的位置；确定所述集群的位置；以及至少部分地基于所述对象的位置和所述集群的位置来确定偏航角。
示例21可包括一种方法，所述方法包括：由装置的处理电路至少部分地基于一个或多个反射来确定集群；由所述处理电路将所述集群与图像中识别的对象相关联；由所述处理电路至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；由所述处理电路至少部分地基于所述手势确定与动作相关联的命令；以及由所述处理电路致使所述装置执行所述动作。
示例22可包括示例21的方法和/或本文的一些其他示例，其中所述对象与人相关联，其中确定所述手势包括：确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
示例23可包括示例22的方法和/或本文的一些其他示例，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
示例24可包括示例22的方法和/或本文的一些其他示例，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
示例25可包括示例21的方法和/或本文的一些其他示例，其中所述命令与所述装置跟随所述对象的指示相关联，并且其中致使执行所述动作包括致使所述装置跟随所述对象。
示例26可包括一种设备，所述设备包括用于以下操作的装置：至少部分地基于一个或多个反射来确定集群；将所述集群与图像中识别的对象相关联；至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；至少部分地基于所述手势确定与动作相关联的命令；以及致使所述装置执行所述动作。
示例27可包括一个或多个非暂时性计算机可读介质，其包括指令，所述指令用于在由电子装置的一个或多个处理器执行所述指令时致使所述电子装置执行在示例1至26中任一者中描述或与其相关的方法或本文所述的任何其他方法或过程的一个或多个要素。
示例28可包括一种设备，所述设备包括逻辑、模块和/或电路以执行在示例1至26中任一者中描述或与其相关的方法或本文所述的任何其他方法或过程的一个或多个要素。
示例29可包括如示例1至26中任一者所述或与其相关的方法、技术或过程，或其部分。
示例30可包括一种设备，所述设备包括：一个或多个处理器和一个或多个计算机可读介质，所述计算机可读介质包括指令，所述指令当由所述一个或多个处理器执行时致使所述一个或多个处理器执行如示例1至26中任一者所述或与其相关的方法、技术或过程，或其部分。
根据本公开的实施例在所附权利要求中特别地公开，所述权利要求涉及方法、存储介质、装置和计算机程序产品，其中在一个权利要求类别中提及的任何特征(例如，方法)也可以在另一个权利要求类别(例如，系统)中要求保护。所附权利要求中的从属关系或引用仅出于正式原因而被选择。然而，也可以要求保护由于故意参考任何先前的权利要求(特别是多个从属关系)而产生的任何主题，使得权利要求及其特征的任何组合被公开并且可以被要求保护，而不管所附权利要求中选择的从属关系如何。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，还包括权利要求中的特征的任何其他组合，其中权利要求中提到的每个特征都可以与权利要求中的任何其他特征或其他特征的组合进行组合。此外，本文描述或描绘的实施例和特征中的任一者可以在单独的权利要求中和/或与本文描述或描绘的任何实施例或特征或与所附权利要求的任何特征的任何组合中要求保护。
一种或多种实现方式的以上描述提供了说明和描述，但并不旨在穷举或将实施例的范围限制于所公开的精确形式。根据上述教导内容，修改和变化是可能的，或者可以从各种实施例的实践中获得。
以上参考根据各种实现方式的系统、方法、设备和/或计算机程序产品的框图和流程图描述了本公开的某些方面。应当理解，框图和流程图的一个或多个框以及框图和流程图中的框的组合可以分别由计算机可执行程序指令实现。同样地，根据一些实现方式，框图和流程图的一些框可能不一定需要以所呈现的顺序执行，或者可能根本不一定需要执行。
可以将这些计算机可执行程序指令加载到专用计算机或其他特定机器、处理器、或其他可编程数据处理设备上以产生特定机器，使得在计算机、处理器或其他可编程数据处理设备上执行的指令创建用于实现一个或多个流程图框中指定的一个或多个功能的装置。这些计算机程序指令还可以存储在计算机可读存储介质或存储器中，所述计算机可读存储介质或存储器在执行时可以引导计算机或其他可编程数据处理设备以特定方式起作用，使得存储在计算机可读存储介质中的指令产生包括实现一个或多个流程图框中指定的一个或多个功能的指令装置的制品。作为示例，某些实现方式可以提供一种计算机程序产品，所述计算机程序产品包括计算机可读存储介质，其具有在其中实现的计算机可读程序代码或程序指令，所述计算机可读程序代码适于被执行以实现在一个或多个流程图框中指定的一个或多个功能。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，以致使在计算机或其他可编程设备上执行一系列操作要素或步骤以产生计算机实现的过程，使得在计算机或其他可编程设备上执行的指令提供用于实现一个或多个流程图框中指定的功能的要素或步骤。
因此，框图和流程图的框支持用于执行指定功能的装置的组合、用于执行指定功能的要素或步骤的组合以及用于执行指定功能的程序指令装置。还应理解，框图和流程图中的每个框，以及框图和流程图中的框的组合可由执行指定功能、要素或步骤的基于专用硬件的计算机系统、或者专用硬件和计算机指令的组合来实现。
除非另外明确说明，或者在所使用的上下文中以其他方式理解，否则诸如“能够”、“可以”、“可能”或者“可”等等的条件语言通常意图表达某些实现方式可以包括，而其他实现方式不包括某些特征、要素和/或操作。因此，这类条件语言通常不意图暗示一个或多个实现方式以任何方式要求特征、要素和/或操作，或者一个或多个实现方式一定包括用于在有或没有用户输入或提示的情况下决定这些特征、要素和/或操作是否包括在任何特定实现方式中或将要在任何特定实现方式中执行的逻辑。
借助于以上描述和相关附图中呈现的教导内容的益处，本文阐述的本公开的许多修改和其他实现方式将是显而易见的。因此，应当理解，本公开不限于所公开的具体实现方式，并且修改和其他实现方式旨在包括在所附权利要求的范围内。尽管本文采用特定术语，但是仅在一般意义和描述性意义上而不是出于限制的目的使用这些术语。
根据本发明，提供了一种具有存储装置和处理电路的装置，所述处理电路被配置为：至少部分地基于与一个或多个脉冲相关联的一个或多个反射来确定集群；将所述集群与图像中识别的对象相关联；至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；至少部分地基于所述手势确定与动作相关联的命令；以及致使所述装置执行所述动作。
根据一个实施例，所述对象与人相关联，其中确定所述手势包括所述处理电路进一步被配置为：确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
根据一个实施例，所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
根据一个实施例，所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
根据一个实施例，所述命令与所述装置跟随所述对象的指示相关联，并且其中致使执行所述动作包括致使所述装置跟随所述对象。
根据一个实施例，致使所述装置跟随所述对象包括所述处理电路进一步被配置为保持所述装置与所述对象之间的距离。
根据一个实施例，所述处理电路进一步被配置为：致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；识别第二图像；至少部分地基于所述第二图像的一个或多个像素坐标确定第二手势；将所述第二手势与所述对象相关联；以及至少部分地基于所述第二手势确定指示所述装置停止跟随所述对象的第二命令。
根据一个实施例，所述命令与所述装置导航到未占用位置的指示相关联，其中致使所述装置执行所述动作包括所述处理电路进一步被配置为：确定所述装置的第一位置；确定第二位置；致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；至少部分地基于所述一个或多个附加反射来确定第二对象的第三位置；至少部分地基于所述一个或多个附加反射确定所述第二对象的所述第三位置不是所述第二位置；至少部分地基于所述第二对象的所述第三位置确定从所述第一位置到所述第二位置的路线；以及致使所述装置至少部分地基于所述路线移动。
根据一个实施例，所述路线是第一路线，并且其中所述处理电路进一步被配置为：至少部分地基于所述一个或多个附加反射来确定第三对象的第四位置；至少部分地基于所述第三对象的所述第四位置确定第二路线，其中所述第二路线不同于所述第一路线；以及致使所述装置至少部分地基于所述第二路线移动。
根据一个实施例，将所述集群与所述对象相关联包括所述处理电路进一步被配置为：确定所述图像中的所述对象的位置；确定所述集群的位置；以及至少部分地基于所述对象的位置和所述集群的位置来确定偏航角。
根据本发明，一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由一个或多个处理器执行时导致执行包括以下的操作：由装置至少部分地基于与一个或多个脉冲相关联的一个或多个反射来确定集群；将所述集群与图像中识别的对象相关联；至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；至少部分地基于所述手势确定与动作相关联的命令；以及致使所述装置执行所述动作。
根据一个实施例，所述对象与人相关联，其中确定所述手势包括：确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
根据一个实施例，所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
根据一个实施例，所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
根据一个实施例，所述命令与所述装置跟随所述对象的指示相关联，并且其中致使执行所述动作包括致使所述装置跟随所述对象。
根据一个实施例，致使所述装置跟随所述对象包括保持所述装置与所述对象之间的距离。
根据一个实施例，上述发明的进一步特征在于：致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；识别第二图像；至少部分地基于所述第二图像的一个或多个像素坐标确定第二手势；将所述第二手势与所述对象相关联；以及至少部分地基于所述第二手势确定指示所述装置停止跟随所述对象的第二命令。
根据一个实施例，所述命令与所述装置导航到未占用位置的指示相关联，其中致使所述装置执行所述动作包括：确定所述装置的第一位置；确定第二位置；致使发送一个或多个附加脉冲；识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；至少部分地基于所述一个或多个附加反射来确定第二对象的第三位置；至少部分地基于所述一个或多个附加反射确定所述第二对象的所述第三位置不是所述第二位置；至少部分地基于所述第二对象的所述第三位置确定从所述第一位置到所述第二位置的路线；以及致使所述装置至少部分地基于所述路线移动。
根据一个实施例，所述路线是第一路线，并且所述操作还包括：至少部分地基于所述一个或多个附加反射来确定第三对象的第四位置；至少部分地基于所述第三对象的所述第四位置确定第二路线，其中所述第二路线不同于所述第一路线；以及致使所述装置至少部分地基于所述第二路线移动。
根据一个实施例，将所述集群与所述对象相关联包括：确定所述图像中的所述对象的位置；确定所述集群的位置；以及至少部分地基于所述对象的位置和所述集群的位置来确定偏航角。
根据本发明，提供了一种方法，所述方法包括：由装置的处理电路至少部分地基于一个或多个反射来确定集群；由所述处理电路将所述集群与图像中识别的对象相关联；由所述处理电路至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；由所述处理电路至少部分地基于所述手势确定与动作相关联的命令；以及由所述处理电路致使所述装置执行所述动作。
根据一个实施例，所述对象与人相关联，其中确定所述手势包括：确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
根据一个实施例，所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
根据一个实施例，所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
根据一个实施例，所述命令与所述装置跟随所述对象的指示相关联，并且其中致使执行所述动作包括致使所述装置跟随所述对象。

Claims (15)

1.一种包括存储装置和处理电路的装置，所述处理电路被配置为：
至少部分地基于与一个或多个脉冲相关联的一个或多个反射来确定集群；
将所述集群与图像中识别的对象相关联；
至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；
至少部分地基于所述手势确定与动作相关联的命令；以及
致使所述装置执行所述动作。
2.如权利要求1所述的装置，其中所述对象与人相关联，其中确定所述手势包括所述处理电路进一步被配置为：
确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；
确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；
至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
3.如权利要求2所述的装置，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
4.如权利要求2所述的装置，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
5.如权利要求1所述的装置，其中所述命令与所述装置跟随所述对象的指示相关联，并且其中致使执行所述动作包括致使所述装置跟随所述对象。
6.如权利要求5所述的装置，其中致使所述装置跟随所述对象包括所述处理电路进一步被配置为保持所述装置与所述对象之间的距离。
7.如权利要求5所述的装置，其中所述处理电路进一步被配置为：
致使发送一个或多个附加脉冲；
识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；
识别第二图像；
至少部分地基于所述第二图像的一个或多个像素坐标确定第二手势；
将所述第二手势与所述对象相关联；以及
至少部分地基于所述第二手势确定指示所述装置停止跟随所述对象的第二命令。
8.如权利要求1所述的装置，其中所述命令与所述装置导航到未占用位置的指示相关联，其中致使所述装置执行所述动作包括所述处理电路进一步被配置为：
确定所述装置的第一位置；
确定第二位置；
致使发送一个或多个附加脉冲；
识别与所述一个或多个附加脉冲相关联的一个或多个附加反射；
至少部分地基于所述一个或多个附加反射来确定第二对象的第三位置；
至少部分地基于所述一个或多个附加反射确定所述第二对象的所述第三位置不是所述第二位置；
至少部分地基于所述第二对象的所述第三位置确定从所述第一位置到所述第二位置的路线；以及
致使所述装置至少部分地基于所述路线移动。
9.如权利要求8所述的装置，其中所述路线是第一路线，并且其中所述处理电路进一步被配置为：
至少部分地基于所述一个或多个附加反射来确定第三对象的第四位置；
至少部分地基于所述第三对象的所述第四位置确定第二路线，其中所述第二路线不同于所述第一路线；以及
致使所述装置至少部分地基于所述第二路线移动。
10.如权利要求1所述的装置，其中将所述集群与所述对象相关联包括所述处理电路进一步被配置为：
确定所述图像中的所述对象的位置；
确定所述集群的位置；以及
至少部分地基于所述对象的位置和所述集群的位置来确定偏航角。
11.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由一个或多个处理器执行时导致执行包括以下的操作：
由装置至少部分地基于与一个或多个脉冲相关联的一个或多个反射来确定集群；
将所述集群与图像中识别的对象相关联；
至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；
至少部分地基于所述手势确定与动作相关联的命令；以及
致使所述装置执行所述动作。
12.如权利要求11所述的非暂时性计算机可读介质，其中所述对象与人相关联，其中确定所述手势包括：
确定所述对象的第一组像素坐标，其中所述第一组像素坐标与所述人的身体的第一部分相关联；
确定所述图像的第二组像素坐标，其中所述第二组像素坐标与所述人的身体的第二部分相关联；
至少部分地基于所述第一组像素坐标和所述第二组像素坐标确定所述人的身体处于与所述手势相关联的姿势。
13.如权利要求12所述的非暂时性计算机可读介质，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与颈部或肩部相关联，其中所述手或腕位于所述颈部或肩部上方，并且其中所述手势包括抬起手或抬起手臂的手势。
14.如权利要求12所述的非暂时性计算机可读介质，其中所述人的身体的所述第一部分与手或腕相关联，并且所述人的身体的所述第二部分与肩部相关联，其中所述手或腕与所述肩部之间的距离大于距离阈值，并且其中所述手势包括伸出手臂的手势。
15.一种方法，其包括：
由装置的处理电路至少部分地基于一个或多个反射来确定集群；
由所述处理电路将所述集群与图像中识别的对象相关联；
由所述处理电路至少部分地基于所述图像的图像分析来确定与所述对象相关联的手势；
由所述处理电路至少部分地基于所述手势确定与动作相关联的命令；以及
由所述处理电路致使所述装置执行所述动作。
CN201910783589.XA 2018-08-24 2019-08-23 使用人-机器人交互的自驱动移动机器人 Pending CN110858098A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/112,185 2018-08-24
US16/112,185 US10948907B2 (en) 2018-08-24 2018-08-24 Self-driving mobile robots using human-robot interactions

Publications (1)

Publication Number Publication Date
CN110858098A true CN110858098A (zh) 2020-03-03

Family

ID=69412259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910783589.XA Pending CN110858098A (zh) 2018-08-24 2019-08-23 使用人-机器人交互的自驱动移动机器人

Country Status (3)

Country Link
US (1) US10948907B2 (zh)
CN (1) CN110858098A (zh)
DE (1) DE102019122760A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112873202A (zh) * 2021-01-13 2021-06-01 中国计量大学 一种用于工业机器人的安全防护系统及方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3863463A4 (en) * 2018-10-10 2022-05-25 Lingdong Technology (Beijing) Co. Ltd AUTOMATIC GUIDED VEHICLE WITH HUMAN INTERACTION
WO2020077481A1 (en) * 2018-10-15 2020-04-23 Lingdong Technology (Beijing) Co. Ltd Self-driving vehicle system with steerable camera and indicator
US11899448B2 (en) * 2019-02-21 2024-02-13 GM Global Technology Operations LLC Autonomous vehicle that is configured to identify a travel characteristic based upon a gesture
US11295161B2 (en) * 2019-05-22 2022-04-05 Zoox, Inc. Localization using semantically segmented images
US11003945B2 (en) 2019-05-22 2021-05-11 Zoox, Inc. Localization using semantically segmented images
US11932306B2 (en) 2019-09-14 2024-03-19 Honda Motor Co., Ltd. Trajectory planner
US11927674B2 (en) * 2019-09-16 2024-03-12 Honda Motor Co., Ltd. System and method for providing a comprehensive trajectory planner for a person-following vehicle
CN110926476B (zh) * 2019-12-04 2023-09-01 三星电子（中国）研发中心 一种智能机器人的伴随服务方法及装置
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
US20210253135A1 (en) * 2020-02-18 2021-08-19 Toyota Motor North America, Inc. Determining transport operation level for gesture control
KR102218120B1 (ko) * 2020-09-21 2021-02-22 주식회사 폴라리스쓰리디 자율 주행 모듈, 이를 포함하는 이동 로봇 및 이의 위치 추정 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7539557B2 (en) 2005-12-30 2009-05-26 Irobot Corporation Autonomous mobile robot
US8718837B2 (en) * 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
US9292913B2 (en) * 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
JP2015176253A (ja) * 2014-03-13 2015-10-05 オムロン株式会社 ジェスチャ認識装置およびジェスチャ認識装置の制御方法
US9710709B1 (en) * 2014-03-07 2017-07-18 Trace Live Network Inc. Cascade recognition for personal tracking via unmanned aerial vehicle (UAV)
MX2017010388A (es) * 2015-02-12 2018-01-23 Wise Melonee Sistema y metodo para usar robots con el fin de ayudar a personas en el procesamiento de pedidos.
CN106881716A (zh) 2017-02-21 2017-06-23 深圳市锐曼智能装备有限公司 基于3d摄像头机器人的人体跟随方法及系统
US10576328B2 (en) * 2018-02-06 2020-03-03 Infineon Technologies Ag System and method for contactless sensing on a treadmill

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112873202A (zh) * 2021-01-13 2021-06-01 中国计量大学 一种用于工业机器人的安全防护系统及方法

Also Published As

Publication number Publication date
DE102019122760A1 (de) 2020-02-27
US20200064827A1 (en) 2020-02-27
US10948907B2 (en) 2021-03-16

Similar Documents

Publication Publication Date Title
CN110858098A (zh) 使用人-机器人交互的自驱动移动机器人
EP3525992B1 (en) Mobile robot and robotic system comprising a server and the robot
US7873448B2 (en) Robot navigation system avoiding obstacles and setting areas as movable according to circular distance from points on surface of obstacles
JP2019533810A (ja) 自律的車両制御のためのニューラルネットワークシステム
US11422566B2 (en) Artificial intelligence robot cleaner
EP2952993A1 (en) Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
US20210138654A1 (en) Robot and method for controlling the same
JP2019501072A5 (zh)
Sales et al. Adaptive finite state machine based visual autonomous navigation system
US20130218395A1 (en) Autonomous moving apparatus and method for controlling the same
KR20190105216A (ko) 인공지능 로봇 청소기
JP2020126634A (ja) 緊急車両をリアルタイムで検出し、緊急車両によって発生すると予想される状況に対処するための走行経路を計画する方法及び装置
US11814072B2 (en) Method and system for conditional operation of an autonomous agent
CN113116224A (zh) 机器人及其控制方法
KR20210026595A (ko) 로봇이 관리자 모드로 이동하는 방법 및 이를 구현하는 로봇
Lim et al. Evolution of a reliable and extensible high-level control system for an autonomous car
Miura et al. Adaptive robot speed control by considering map and motion uncertainty
Ochiai et al. Remote control system for multiple mobile robots using touch panel interface and autonomous mobility
Kumar et al. An intelligent computer vision integrated regression based navigation approach for humanoids in a cluttered environment
KR20210042537A (ko) 대면적의 공간에서 로컬 영역별로 위치를 추정하는 방법 및 이를 구현하는 로봇과 클라우드 서버
US20230161356A1 (en) Method of updating map in fusion slam and robot implementing same
Nasti et al. Obstacle avoidance during robot navigation in dynamic environment using fuzzy controller
KR101912797B1 (ko) 이동로봇의 경로계획 방법
JP2022132902A (ja) 移動体の制御システム、移動体、移動体の制御方法、およびプログラム
KR102009479B1 (ko) 이동 로봇 제어 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination