CN117769484A - 指向移动机器人的自主和远程操作传感器 - Google Patents

指向移动机器人的自主和远程操作传感器 Download PDF

Info

Publication number
CN117769484A
CN117769484A CN202280053873.1A CN202280053873A CN117769484A CN 117769484 A CN117769484 A CN 117769484A CN 202280053873 A CN202280053873 A CN 202280053873A CN 117769484 A CN117769484 A CN 117769484A
Authority
CN
China
Prior art keywords
sensor
robot
target
target direction
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280053873.1A
Other languages
English (en)
Inventor
C·斯塔西斯
D·戈纳诺
R·E·保利尼
A·科莫罗斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boston Dynamics Inc
Original Assignee
Boston Dynamics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boston Dynamics Inc filed Critical Boston Dynamics Inc
Publication of CN117769484A publication Critical patent/CN117769484A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40003—Move end effector so that image center is shifted to desired position
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40298—Manipulator on vehicle, wheels, mobile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40543—Identification and location, position of components, objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

由机器人的数据处理硬件执行的计算机实现的方法使数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于位置的取向来确定用于使传感器指向位置的方向以及机器人的对准姿势，以使传感器指向朝向位置的方向。操作包括命令机器人从当前姿势移动到对准姿势。在机器人移动到对准姿势并且传感器指向朝向该位置的方向之后，操作包括命令传感器捕获环境中的该位置的传感器数据。

Description

指向移动机器人的自主和远程操作传感器
技术领域
本公开涉及用于移动机器人的传感器指向。
背景技术
机器人设备用于自主地或半自主地执行任务，诸如导航到指定位置并利用一个或多个传感器捕获传感器数据。例如，机器人可以被分派任务以导航到兴趣点，并且使用相机捕获兴趣点的图像数据，而无需用户输入或监督。在这些场景中，用户期望传感器数据捕获是准确且可重复的。
发明内容
本公开的一个方面提供了一种计算机实现的方法，该方法在由机器人的数据处理硬件执行时使数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向，以及机器人的对准姿势，以使传感器指向目标方向朝向目标位置。操作还包括命令机器人从当前姿势移动到对准姿势。在机器人移动到对准姿势并且传感器指向朝向目标位置的目标方向之后，操作包括命令传感器捕获环境中的目标位置的传感器数据。
在一些实施方式中，操作还包括响应于接收到传感器指向命令，命令机器人导航到环境中的目标兴趣点。在那些实施方式中，确定目标方向和对准姿势包括在机器人导航到目标兴趣点之后确定目标方向和对准姿势。
在一些实施例中，传感器包括相机。
在一些示例中，传感器包括摇摄-倾斜-缩放(PTZ)传感器。在另外的示例中，在确定用于将PTZ传感器指向目标位置的目标方向之后，操作还包括确定PTZ传感器的感测场的中心不与目标方向对准。在那些另外的示例中，操作还进一步包括确定用于将PTZ传感器的感测场的中心与目标方向对准的PTZ对准参数。在那些另外的示例中，操作还进一步包括使用PTZ对准参数来命令PTZ传感器调整PTZ传感器的感测场的中心以与目标方向对准。在更进一步的示例中，在命令PTZ传感器调整PTZ传感器的感测场的中心之后，操作还包括从PTZ传感器接收对准反馈数据，该对准反馈数据指示经调整的PTZ传感器的感测场的中心与目标方向之间的误差。在那些更进一步的示例中，确定机器人的对准姿势还基于接收到的对准反馈数据。在另外的示例中，误差指示PTZ传感器的感测场的经调整的中心与目标方向之间的差大于阈值差。
在一些实施方式中，接收传感器指向命令包括接收指示相对于机器人的已知坐标系的光线或点的选择的用户输入指示。
在一些实施例中，传感器指向命令包括对象的模型，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些实施例中，操作还包括使用对象的模型确定对象是否存在于捕获的数据中，并且当对象存在于捕获的图像数据中时，确定目标方向以使对象在传感器的感测场内居中。
在一些示例中，传感器指向命令包括来自对象检测器的输出的对象的对象分类，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些示例中，操作还包括使用对象检测器的输出确定分类的对象是否存在于捕获的图像数据中，并且当分类的对象存在于捕获的图像数据中时，确定目标方向以使分类的对象在传感器的感测场内居中。
在一些实施方式中，传感器固定到机器人。在一些实施例中，确定使传感器指向目标方向的机器人的对准姿势包括确定机器人的逆运动学。在一些示例中，确定使传感器指向目标方向的机器人的对准姿势包括处理由与传感器不同的第二传感器捕获的图像数据。
本公开的另一方面提供了一种系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。所述存储器硬件存储指令，所述指令当在所述数据处理硬件上执行时使所述数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向，以及机器人的对准姿势，以使传感器指向目标方向朝向目标位置。操作还包括命令机器人从当前姿势移动到对准姿势，以及命令传感器捕获环境中的目标位置的传感器数据。
在一些实施方式中，操作还包括响应于接收到传感器指向命令，命令机器人导航到环境中的目标兴趣点。在那些实施方式中，确定目标方向和对准姿势包括在机器人导航到目标兴趣点之后确定目标方向和对准姿势。
在一些实施例中，传感器包括相机。
在一些示例中，传感器包括摇摄-倾斜-缩放(PTZ)传感器。在另外的示例中，在确定用于将传感器指向目标位置的目标方向之后，操作还包括确定PTZ传感器的感测场的中心不与目标方向对准。在那些另外的示例中，操作还进一步包括确定用于将PTZ传感器的感测场的中心与目标方向对准的PTZ对准参数。在那些另外的示例中，操作还进一步包括使用PTZ对准参数来命令PTZ传感器调整PTZ传感器的感测场的中心以与目标方向对准。在更进一步的示例中，在命令PTZ传感器调整PTZ传感器的感测场的中心之后，操作还包括从PTZ传感器接收对准反馈数据，该对准反馈数据指示经调整的PTZ传感器的感测场的中心与目标方向之间的误差。在那些更进一步的示例中，确定机器人的对准姿势还基于接收到的对准反馈数据。在另外的示例中，误差指示PTZ传感器的感测场的经调整的中心与目标方向之间的差大于阈值差。
在一些实施方式中，接收传感器指向命令包括接收指示相对于机器人的已知坐标系的光线或点的选择的用户输入指示。
在一些实施例中，传感器指向命令包括对象的模型，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些实施例中，操作还包括使用对象的模型确定对象是否存在于捕获的数据中，并且当对象存在于捕获的图像数据中时，确定目标方向以使对象在传感器的感测场内居中。
在一些示例中，传感器指向命令包括来自对象检测器的输出的对象的对象分类，并且在命令传感器捕获传感器数据之前，操作还包括使用相机在所请求的方向上捕获图像数据。在那些示例中，操作还包括使用对象检测器的输出确定分类的对象是否存在于捕获的图像数据中，并且当分类的对象存在于捕获的图像数据中时，确定目标方向以使分类的对象在传感器的感测场内居中。
在一些实施方式中，传感器固定到机器人。在一些实施例中，确定使传感器指向目标方向的机器人的对准姿势包括确定机器人的逆运动学。在一些示例中，确定使传感器指向目标方向的机器人的对准姿势包括处理由与传感器不同的第二传感器捕获的图像数据。
本公开的又一方面提供了一种计算机实现的方法，该方法在由机器人的数据处理硬件执行时使数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向。操作包括在传感器指向目标方向朝向目标位置的情况下，命令传感器捕获环境中的目标位置的传感器数据。
在一些实施方式中，操作还包括基于传感器相对于目标位置的取向来确定机器人的对准姿势，以使传感器指向朝向目标位置的目标方向，并命令机器人从当前姿势移动到对准姿势。在进一步的实施方式中，命令传感器捕获传感器数据发生在机器人移动到对准姿势并且传感器指向目标方向朝向目标位置之后。
本公开的另一方面提供了一种系统。该系统包括数据处理硬件和与数据处理硬件通信的存储器硬件。所述存储器硬件存储指令，所述指令当在所述数据处理硬件上执行时使所述数据处理硬件执行操作。操作包括接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获机器人的环境中的目标位置的传感器数据。传感器设置在机器人上。操作包括基于传感器相对于目标位置的取向来确定用于使传感器指向目标位置的目标方向。操作包括在传感器指向目标方向朝向目标位置的情况下，命令传感器捕获环境中的目标位置的传感器数据。
在一些实施方式中，操作还包括基于传感器相对于目标位置的取向来确定机器人的对准姿势，以使传感器指向朝向目标位置的目标方向，并命令机器人从当前姿势移动到对准姿势。在进一步的实施方式中，命令传感器捕获传感器数据发生在机器人移动到对准姿势并且传感器指向目标方向朝向目标位置之后。
在另一方面，提供了一种自主和远程操作的传感器指向的方法。该方法包括使用机器人的计算系统检测机器人的传感器相对于目标位置的取向，基于检测到的传感器的取向，使用计算系统确定用于指向传感器的目标方向和机器人的对准姿势，控制机器人的一个或多个关节以将机器人从当前姿势移动到对准姿势并将传感器指向目标方向，并且一旦机器人已经移动到对准姿势并且传感器指向目标方向，使用所述传感器捕获传感器数据。
在另一方面，提供了一种机器人。所述机器人包括传感器、计算系统、多个关节，所述计算系统被配置为检测所述传感器相对于目标位置的取向，并且基于检测到的取向确定用于指向所述传感器的目标方向和所述机器人的对准姿势，其中所述计算系统还被配置为控制所述多个关节中的一个或多个以将所述机器人从当前姿势移动到所述对准姿势并将所述传感器指向所述目标方向，其中，所述传感器被配置为在所述机器人被定位在所述对准姿势中并且所述传感器指向所述目标方向的情况下捕获传感器数据。
在附图和下面的描述中阐述了本公开的一个或多个实施方式的细节。其他方面、特征和优点将从说明书和附图以及权利要求书中显而易见。
附图说明
图1A是用于在环境中导航的示例机器人的示意图。
图1B是用于指向图1A的机器人的传感器的传感器指向系统的一个实施例的示意图。
图2是根据一个实施例的具有传感器指向系统的机器人的示意图。
图3是根据一个实施例的机器人导航到兴趣点以捕获传感器数据的示意图。
图4是根据一个实施例的传感器指向系统的示意图。
图5是根据一个实施例的在检测到的对象上执行传感器指向命令的机器人的示意图。
图6是用于使用传感器指向命令捕获传感器数据的流程图的一个实施例的示意图。
图7是用于自主和远程操作传感器指向移动机器人的方法的操作的示例布置的流程图。
图8是可以用于实现本文描述的系统和方法的示例计算设备的示意图。
图9是根据另一实施例的具有传感器指向系统的机器人的示意图。
各附图中相同的附图标记表示相同的元件。
具体实施方式
现代自主和半自主机器人配备有复杂的地图、定位和导航系统。另外，这些机器人通常配备有一个或多个传感器，用于捕获与机器人行进的环境相关的数据。自主和半自主机器人可以用于自主检查应用中，其中机器人被指示行进到兴趣点(POI)或由用户带到POI并且被指示以由提供给机器人的命令指定的方式使用其传感器中的一个或多个来捕获数据。
本文的实施例涉及用于实现捕获机器人的目标环境的传感器数据的命令的系统和方法，其具有相对于目标环境符合捕获技术的准确性和/或能力。机器人利用导航系统来确定到目标环境的行进路径，并使用传感器指向系统来确定机器人处的传感器相对于目标环境的取向。基于由机器人接收的指令，传感器指向系统命令机器人以使传感器以期望的方式相对于目标环境对准的方式移动。例如，移动可以包括从机器人的当前姿势改变为使传感器指向目标方向的对准姿势。
通过以这种方式实现传感器指向系统，从目标环境和/或从传感器相对于目标环境的目标取向中的目标对象准确地捕获传感器数据。此外，传感器数据可以由执行指令的机器人捕获，而无需用户的干预和/或监督。
参考图1A和图1B，在一些实施方式中，机器人100包括身体(body)110，身体110具有一个或多个基于运动的结构，例如腿120a-d，腿120a-d联接到身体110并且使得机器人100能够在环境30内移动。在一些示例中，每个腿120是可铰接结构，使得一个或多个关节J允许腿120的构件122移动。例如，每个腿120包括将腿120的上构件122、122U联接到身体110的髋关节JH(例如，图1A的JHb和JHd)和将腿120的上构件122U联接到腿120的下构件122L的膝关节JK(例如，图1A的JKa、JKb、JKc和JKd)。尽管图1A描绘了具有四个腿120a-d的四足机器人，但是机器人100可以包括任何数量的腿或基于机车的结构(例如，具有两个腿的双足或类人机器人，或一个或多个腿的其他布置)，其提供横穿环境30内的地形的手段。
为了横穿地形，每个腿120具有接触地形的表面(即，牵引表面)的远端124(例如，图1A的远端124a、124b、124c和124d)。换句话说，每个腿120的远端124是由机器人100用于在机器人100的移动期间枢转、站立(plant)或通常提供牵引力的腿120的端部。例如，腿120的远端124对应于机器人100的脚。在一些示例中，尽管未示出，腿部120的远端124包括踝关节，使得远端124可相对于腿部120的下部构件122L铰接。
在所示的示例中，机器人100包括用作机器人操纵器的臂126。臂126可以被配置为围绕多个自由度移动，以便接合环境30的元件(例如，环境30内的对象)。在一些示例中，臂126包括一个或多个构件128，其中构件128通过关节J联接，使得臂126可以围绕关节J枢转或旋转。例如，在具有多于一个构件128的情况下，臂126可以被配置成延伸或缩回。为了说明示例，图1A描绘了具有对应于下构件128L、上构件128U和手构件128H(例如，也称为末端执行器150)的三个构件128的臂126。这里，下部构件128L可以围绕位于身体110附近的第一臂关节JA1旋转或枢转(例如，臂126连接到机器人100的身体110的位置)。下部构件128L还在第二臂关节JA2处联接到上部构件128U，而上部构件128U在第三臂关节JA3处联接到手构件128H。
在一些示例中，诸如在图1A中，手构件128H或末端执行器150是机械夹持器(gripper)，其包括被配置为执行环境30内的元件的不同类型的抓取的可移动钳口(jaw)和固定钳口。在所示的示例中，末端执行器128H包括固定的第一钳口和可移动的第二钳口，其通过将对象夹持在钳口之间来抓握对象。可移动钳口被配置成相对于固定钳口移动，以在夹持器的打开位置和夹持器的闭合位置(例如，围绕对象闭合)之间移动。
在一些实施方式中，臂126另外包括第四关节JA4。第四关节JA4可以位于下部构件128L与上部构件128U的联接附近，并且用于允许上部构件128U相对于下部构件128L扭转或旋转。换句话说，第四关节JA4可以用作类似于第三关节JA3的扭转关节或邻近手构件128H的臂126的腕关节。例如，作为扭转关节，联接在关节J处的一个构件可以相对于联接在关节J处的另一构件移动或旋转(例如，联接在扭转关节处的第一构件是固定的，而联接在扭转关节处的第二构件旋转)。在一些实施方式中，臂126在机器人100的身体110上的插座处连接到机器人100。在一些配置中，插座被配置为连接器，使得臂126附接到机器人100或从机器人100拆卸，这取决于臂126是否需要用于操作。
机器人100具有沿着重力方向的垂直重力轴(例如，示出为Z方向轴AZ)和质心CM，质心CM是对应于机器人100的所有部件的平均位置的位置，其中部件根据它们的质量被加权(即，机器人100的分布质量的加权相对位置总和为零的点)。机器人100还具有基于CM的相对于垂直重力轴AZ(即，相对于重力的固定参考系)的姿势P，以定义机器人100采取的特定姿态(attitude)或态势(stance)。机器人100的姿态可以由机器人100在空间中的取向或角位置限定。腿120相对于身体110的移动改变了机器人100的姿势P(即，机器人的CM的位置和机器人100的姿态或取向的组合)。这里，高度通常是指沿z方向(例如，沿z方向轴线AZ)的距离。机器人100的矢状平面对应于在Y方向轴AY和Z方向轴AZ的方向上延伸的Y-Z平面。换句话说，矢状平面将机器人100平分成左侧和右侧。通常垂直于矢状平面，地平面(也称为横向平面)通过在x方向轴AX和y方向轴AY的方向上延伸而跨越X-Y平面。地平面是指地表面14，其中机器人100的腿120的远端124可以产生牵引力以帮助机器人100在环境30内移动。机器人100的另一解剖平面是横跨机器人100的身体110延伸的额状平面(例如，从具有第一腿120a的机器人100的左侧到具有第二腿120b的机器人100的右侧)。额状平面通过在x方向轴线AX和z方向轴线Az的方向上延伸而跨越X-Z平面。
为了在环境30周围操纵或使用臂126执行任务，机器人100包括具有一个或多个传感器132,132的传感器系统130。例如，图1A示出了安装在机器人100的前部(即，在邻近前腿120a-b的机器人100的前部附近)的第一传感器132,132a、安装在机器人100的第二腿120b的臀部附近的第二传感器132,132b、与安装在机器人100的身体110的一侧上的传感器132中的一个对应的第三传感器132,132c、安装在机器人100的第四腿120d的臀部附近的第四传感器132,132d以及安装在机器人100的臂126的末端执行器128H处或附近的第五传感器132、132e。传感器132可以包括视觉/图像传感器、惯性传感器(例如，惯性测量单元(IMU))、力传感器和/或运动传感器。传感器132的一些示例包括相机，诸如立体相机、视觉红绿蓝(RGB)相机或热相机、飞行时间(TOF)传感器、扫描光检测和测距(LIDAR)传感器或扫描激光检测和测距(LADAR)传感器。传感器132的其他示例包括麦克风、辐射传感器和化学或气体传感器。
在一些示例中，传感器132具有限定对应于传感器132的感测范围或区域的对应视场FV。例如，图1A描绘了机器人100的视场FV。每个传感器132可以是可枢转的和/或可旋转的，使得传感器132例如围绕一个或多个轴(例如，相对于地平面的x轴、y轴或z轴)改变视场FV。在一些示例中，多个传感器132可以聚集在一起(例如，类似于第一传感器132a)以拼接比任何单个传感器132更大的视场FV。在传感器132围绕机器人100放置的情况下，传感器系统130可以具有机器人100的周围环境的360度视图或接近360度视图(相对于X-Y或横向平面)。
当利用传感器132勘测视场FV时，传感器系统130生成对应于视场FV的传感器数据134(例如，图像数据)。传感器系统130可以利用安装在机器人100的身体110上或附近的传感器132(例如，传感器132a、132b)生成视场FV。传感器系统可以附加地和/或替代地利用安装在臂126的末端执行器150处或附近的传感器132(例如，(一个或多个)传感器132e)来生成视场FV。一个或多个传感器132捕获定义机器人100的环境30内的区域的三维点云的传感器数据134。在一些示例中，传感器数据134是对应于由三维体积图像传感器132生成的三维体积点云的图像数据。附加地或替代地，当机器人100在环境30内操纵时，传感器系统130收集机器人100的姿势数据，其包括惯性测量数据(例如，由IMU测量)。在一些示例中，姿势数据包括关于机器人100的运动学数据和/或取向数据，例如，关于机器人100的腿120或臂126的关节J或其他部分的运动学数据和/或取向数据。利用传感器数据134，机器人100的各种系统可以使用传感器数据134来定义机器人100的当前状态(例如，机器人100的运动学)和/或机器人100周围的环境30的当前状态。换句话说，传感器系统130可以将传感器数据134从一个或多个传感器132传送到机器人100的任何其他系统，以便辅助该系统的功能。
在一些实施方式中，传感器系统130包括联接到关节J的传感器132。此外，这些传感器132可以联接到操作机器人100的关节J的电机M(例如，传感器132,132B-D)。这里，这些传感器132以基于关节的传感器数据134的形式生成关节动力学。被收集为基于关节的传感器数据134的关节动力学可以包括关节角度(例如，上部构件122U相对于下部构件122L或手构件128H相对于臂126或机器人100的另一构件)、关节速度、关节角速度、关节角加速度和/或在关节J处经历的力(也称为关节力)。由一个或多个传感器132生成的基于关节的传感器数据可以是原始传感器数据、被进一步处理以形成不同类型的关节动力学的数据、或两者的一些组合。例如，传感器132测量关节位置(或在关节J处联接的构件122的位置)，并且机器人100的系统执行进一步处理以从位置数据导出速度和/或加速度。在其他示例中，传感器132被配置为直接测量速度和/或加速度。
当传感器系统130收集传感器数据134时，计算系统140存储、处理和/或将传感器数据134传送到机器人100的各种系统(例如，控制系统170、传感器指向系统200、导航系统300和/或遥控器10等)。为了执行与传感器数据134相关的计算任务，机器人100的计算系统140(其在图1A中示意性地描绘并且可以在任何合适的位置(包括机器人100的内部)中实现)包括数据处理硬件142和存储器硬件144。数据处理硬件142被配置为执行存储在存储器硬件144中的指令，以执行与机器人100的活动(例如，移动和/或基于移动的活动)相关的计算任务。一般而言，计算系统140是指数据处理硬件142和/或存储器硬件144的一个或多个位置。
在一些示例中，计算系统140是位于机器人100上的本地系统。当位于机器人100上时，计算系统140可以是集中式的(例如，在机器人100上的单个位置/区域中，例如，机器人100的身体110)、分散式的(例如，位于机器人100周围的各个位置处)或两者的混合组合(例如，包括大部分集中式硬件和少数分散式硬件)。为了说明一些差异，分散式计算系统140可以允许处理在活动位置处(例如，在移动腿部120的关节的电机处)发生，而集中式计算系统140可以允许中央处理中枢与位于机器人100上的各个位置处的系统通信(例如，与移动腿部120的关节的电机通信)。
附加地或替代地，计算系统140可以利用远离机器人100定位的计算资源。例如，计算系统140经由网络180与远程系统160(例如，远程服务器或基于云的环境)通信。非常类似于计算系统140，远程系统160包括远程计算资源，诸如远程数据处理硬件162和远程存储器硬件164。这里，传感器数据134或其他经处理的数据(例如，由计算系统140本地处理的数据)可以存储在远程系统160中，并且可以由计算系统140访问。在另外的示例中，计算系统140被配置为利用远程资源162、164作为计算资源142、144的扩展，使得计算系统140的资源驻留在远程系统160的资源上。
在一些实施方式中，如图1A和图1B所示，机器人100包括控制系统170。控制系统170可以被配置为与机器人100的系统通信，这些系统为诸如至少一个传感器系统130、导航系统300(例如，利用导航命令302)和/或传感器指向系统200(例如，利用身体姿势命令230)。控制系统170可以使用计算系统140执行操作和其他功能。控制系统170包括被配置为控制机器人100的至少一个控制器172。例如，控制器172基于来自机器人100的系统(例如，传感器系统130和/或控制系统170)的输入或反馈来控制机器人100在环境30中横穿。在另外的示例中，控制器172控制机器人100的姿势和/或行为之间的移动。至少一个控制器172可以负责控制机器人100的臂126的移动，以便臂126使用末端执行器150执行各种任务。例如，至少一个控制器172控制末端执行器150(例如，夹持器)以操纵环境30中的对象或元件。例如，控制器172在朝向固定钳口的方向上致动可动钳口以闭合夹持器。在其他示例中，控制器172在远离固定钳口的方向上致动可动钳口以闭合夹持器。
给定控制器172可以通过控制围绕机器人100的一个或多个关节J的移动来控制机器人100。在一些配置中，给定控制器172是具有编程逻辑的软件或固件，该编程逻辑控制至少一个关节J和/或操作或联接到关节J的电机M。软件应用(即，软件资源)可以指代使计算设备执行任务的计算机软件。在一些示例中，软件应用可以指“应用”、“app”或“程序”。例如，控制器172控制施加到关节J的力的量(例如，关节J处的扭矩)。作为可编程控制器172，控制器172控制的关节J的数量对于特定控制目的是可缩放的和/或可定制的。控制器172可以控制机器人100的单个关节J(例如，控制单个关节J处的扭矩)、多个关节J或一个或多个构件128的致动(例如，手构件128H的致动)。通过控制一个或多个关节J、致动器或电机M，控制器172可以协调机器人100的所有不同部分(例如，身体110、一个或多个腿120、臂126)的移动。例如，为了执行具有一些移动的行为，控制器172可以被配置为控制机器人100的多个部分的移动，例如两个腿120a-b、四个腿120a-d或与臂126组合的两个腿120a-b的移动。在一些示例中，控制器172被配置为基于对象的控制器，其被设置为执行用于与可交互对象交互的特定行为或行为集合。
继续参考图1B，操作者12(在本文中也称为用户或客户端)可以经由遥控器10与机器人100交互，遥控器10与机器人100通信以执行动作。例如，操作者12经由无线通信网络16向机器人100发送命令174(经由控制系统170执行)。另外，机器人100可以与遥控器10通信以在遥控器10的用户界面190(例如，UI 190)上显示图像。例如，UI 190被配置为显示对应于一个或多个传感器132的三维视场Fv的图像。在遥控器10的UI 190上显示的图像是与机器人100的环境30内的区域的传感器数据134的三维点云(例如，视场Fv)相对应的二维图像。也就是说，在UI 190上显示的图像可以是对应于一个或多个传感器132的三维视场Fv的二维图像表示。
在一些实施方式中，如图2所示，机器人100位于环境30中并且配备有传感器系统130，传感器系统130包括机器人100上的传感器132(在该示例中，设置在身体110上)并且具有包括机器人100周围的环境30的至少一部分的视场FV。机器人100的计算系统140配备有数据处理硬件和存储器硬件，其中存储器硬件包括要由数据处理硬件执行的指令。计算系统140被配置为操作导航系统300和传感器指向系统200(例如，在自主检查应用中)以将机器人100导航到POI，并使用传感器132以特定方式捕获POI处的传感器数据134，而无需用户输入或监督。
在所示实施例中，计算系统140包括导航系统300，导航系统300从由计算系统140获得的地图数据210生成或接收导航地图222。导航系统300生成路线路径212，路线路径212绘制从起始位置(例如，机器人100的当前位置)到目的地的围绕大的和/或静态障碍物的路径。导航系统300与传感器指向系统200通信。除了来自传感器系统130的传感器数据134之外，传感器指向系统200还可以从导航系统300接收路线路径212或其他数据。
传感器指向系统200接收传感器指向命令220(例如，来自用户12)，其引导机器人100捕获目标位置250(例如，特定区域或特定区域中的特定对象)和/或目标方向TD上的传感器数据134。传感器指向命令220可以包括目标位置250、目标方向TD、用于捕获传感器数据134的传感器132(或多个传感器)的标识等中的一个或多个。当机器人接近目标位置时，传感器指向系统200生成一个或多个身体姿势命令230(例如，到控制系统170)以定位传感器132，使得目标位置250和/或目标方向TD在传感器132的感测场内。例如，传感器指向系统200确定传感器132和/或机器人100的必要移动(即，调整机器人的位置或取向或姿势P)以将传感器132的感测场与目标位置250和/或目标方向TD对准。
在一些示例中，并且如下面更详细讨论的，传感器指向系统200引导机器人100的姿势P以补偿感测到的传感器132配置或取向的误差。例如，机器人100可以改变其当前姿势P以适应传感器的视场FV的有限运动范围，避免遮挡捕获的传感器数据，或者匹配目标位置250的期望视角。因此，在一些实施方式中，传感器指向系统200基于传感器132相对于目标位置250的取向来确定目标方向TD以将传感器132指向目标位置250。
可替代地或另外地，传感器指向系统确定机器人的对准姿势PA以使传感器132指向朝向目标位置250的目标方向TD。传感器指向系统200可以命令机器人100移动到对准姿势PA以使传感器132指向目标方向TD。在机器人100移动到对准姿势PA之后，并且在传感器132指向朝向目标位置250的目标方向TD的情况下，传感器指向系统200可以命令传感器132捕获环境30中的目标位置250的传感器数据134。
换句话说，计算系统140被配置为接收传感器指向命令220(例如，来自用户12)，该传感器指向命令220在被实现时命令机器人100使用设置在机器人100上的传感器132(或多个传感器)捕获传感器数据134。基于传感器132相对于目标位置250的取向，传感器指向系统200确定机器人100的目标方向TD和对准姿势P。所确定的目标方向TD将传感器132指向目标位置250，并且机器人100的所确定的对准姿势PA使传感器132沿目标方向TD指向目标位置250。传感器指向系统200可以命令机器人100从机器人100的当前姿势P移动到机器人的对准姿势PA。在机器人100移动到对准姿势PA并且传感器132沿目标方向TD指向目标位置250之后，传感器指向系统200命令传感器132捕获环境30中的目标位置250的传感器数据134。
如从本公开将变得显而易见的，传感器指向系统200以及本文公开的方法和系统的其他特征和元件使得环境30中的目标位置250的数据捕获可重复和准确，因为机器人100对机器人的位置、取向和传感器配置中的感测和未感测误差敏感。传感器指向系统200允许机器人100在捕获相对于目标位置250的传感器数据134时至少部分地通过基于传感器132相对于目标位置250的取向确定用于将传感器132指向目标位置250的目标方向TD和用于实现目标方向TD的对准姿势PA来克服里程和传感器误差。
在一些示例中，响应于接收到传感器指向命令220，传感器指向系统200命令机器人100导航到环境30内的目标兴趣点(POI)240。在这样的示例中，在机器人100导航到目标POI 240之后，传感器指向系统200确定机器人100的目标方向TD和对准姿势PA。
现在参考图3，在一些示例中，导航系统300(例如，基于地图数据210、传感器数据134等)在图形地图222上生成用于导航路线212的一系列路线航点310，其中导航路线212绘制从起始位置(例如，机器人100的当前位置)到目的地(例如，目标POI 240)的围绕大的和/或静态障碍物的路径。路线边312连接相应的相邻路线航点310的对。机器人100在导航环境30时通过沿着路线边缘312横穿而从路线航点310行进到路线航点310。在一些示例中，目标POI 240是导航地图222上的路线航点310。在所示的示例中，机器人100沿着导航路线212行进，直到到达目标POI 240(即，指定的路线航点310)。在一些示例中，目标POI 240是沿着导航路线212的最终路线航点310，而在其他示例中，导航路线212继续具有附加的路线航点310和路线边缘320，以供机器人100在目标POI 240处捕获传感器数据134之后继续，并且导航路线212可以包括用于在沿着导航路线212的各个位置处捕获传感器数据134的任何数量的目标POI 240。
因此，基于由导航系统300提供的引导，机器人100到达由目标POI 240定义的路线航点310。在到达航点之后，传感器指向系统200可以确定传感器132相对于目标位置250的取向。基于传感器132相对于目标位置250的取向，传感器指向系统200确定用于将传感器132指向目标位置250的目标方向TD。
尽管本文的示例(例如，图2)图示了传感器132在机器人100的前部处集成到机器人100的身体中，其中视场FV主要在机器人的前方，但是传感器132(或多个传感器)可以以任何合适的方式设置在机器人100上。传感器132可以包括任何数量的不同类型的传感器，诸如相机、LIDAR和/或麦克风。例如，传感器132可以构建到机器人100的身体110中或作为有效载荷附接。在一些示例中，传感器132设置在铰接臂126上。另外，传感器132可以永久地固定到机器人100作为其原始制造的一部分，或者可替代地设置或安装在机器人100处(例如，客户端硬件)并经由客户端软件连接到传感器指向系统200(图4)。传感器132可以具有任何固定的或可枢转的(例如，摇摄-倾斜-变焦(PTZ)传感器，诸如PTZ相机)视场/感测场。因为传感器132的取向至少部分地基于机器人100的姿势P，所以机器人100的移动(诸如对准姿势PA)改变传感器132的视场。
在一些示例中，目标方向TD由传感器指向命令220参数化。换句话说，传感器指向命令220可以包括关于应当如何捕获目标位置250的传感器数据134的指令，诸如从相对于目标位置250的某个方向、角度、缩放、聚焦和/或距离，或者目标位置250在传感器的视场FV中以某种方式成帧。因此，传感器指向命令220可以包括用于捕获目标位置250的传感器数据134的参数，诸如传感器相对于目标位置的角度、高度、接近度和方向，以及与捕获的传感器数据134内的目标位置250的放置相关的参数。参数还可以包括在捕获传感器数据134时用于传感器132的配置(例如，缩放、聚焦、曝光、照明源的控制等)。传感器指向系统200可以基于传感器指向命令220的参数来确定目标方向TD。可替代地，目标方向TD可以由传感器指向命令220提供。基于传感器指向命令220和/或目标方向TD的参数，传感器指向系统200命令机器人100(例如，对准姿势PA)和/或传感器移动以使传感器132朝向目标位置250取向。
现在参考图1B和图4，传感器指向系统200可以响应于接收到传感器指向命令220而确定目标方向TD和对准姿势PA。传感器指向命令220可以源自机载自主任务管理器402(即，从任务数据或参数、机器人配置等生成)和/或源自包括机器人命令软件412的客户端软件410。因此，用户12可以将传感器指向命令220传送到机器人(例如，经由控制器10无线地)，或者机器人100可以在自主任务的背景下生成传感器指向命令。这里，传感器指向系统200包括传感器指向服务200。传感器指向命令220被传送到传感器指向服务200(例如，由自主任务管理器402或机器人命令软件412)以确定用于捕获传感器数据134的目标方向TD和传感器配置。
在一些实施方式中，客户端软件410(与机器人100的计算系统140通信)包括对象检测器和场景对准处理器414，其处理由传感器132捕获的传感器数据134。举例来说，对象检测器检测所捕获的图像数据中存在的对象。在其它实施方式中，传感器指向系统200包含对象检测器和/或场景对准处理器且自动处理传感器数据134。客户端软件410可以在机器人100处本地执行，或者可以远离机器人100执行(例如，在控制器10、远程系统160处，或在机器人100外部并与机器人100的计算系统140通信的任何其他服务器处)。
传感器指向系统200还可以与机器人100的机械系统通信。例如，如图4所示，传感器指向系统200可以将身体姿势命令230传送到计算系统140的机器人命令服务404，以及设置在机器人100处或与机器人100通信的各种传感器132，诸如基础机器人传感器硬件406、高级插件传感器408和客户端硬件420。例如，客户端硬件420包括机器人100处的高级传感器硬件422、固定传感器硬件424和摇摄-倾斜-缩放(PTZ)传感器有效载荷426。在某些实施方式中，可以指示机器人100以多种命令方式(包括地图导航和机器人命令两者)移动。
在一些实施方式中，PTZ有效载荷硬件426(例如，传感器132)与机器人处的PTZ插件服务409通信，PTZ插件服务409可操作用于例如从PTZ有效载荷硬件426接收传感器数据134并将PTZ命令430传送到PTZ有效载荷硬件426。PTZ插件服务409可以是传感器特定的(即，硬件接口)，并且因此可能执行客户端侧(即，在机器人100外部)。在一些示例中，PTZ插件服务409在传感器132内执行。在一些实施方式中，PTZ有效载荷硬件426是临时安装到机器人100或与机器人100连接的传感器132(例如，PTZ相机)。传感器指向系统200可以将PTZ有效载荷硬件426的重新配置委托给PTZ插件409。
当机器人包括PTZ传感器132时，并且在系统获得或确定用于将PTZ传感器132指向目标位置250的目标方向TD之后，传感器指向系统200可以感测或检测并校正PTZ传感器132的当前方向(例如，沿着PTZ传感器132的感测场的中心的向量)与目标方向TD之间的任何现有误差(即，差距)。感测场的中心是指源自PTZ传感器132并远离PTZ传感器132延伸的向量，使得向量左侧和右侧的传感器的感测场具有相等的尺寸，并且向量上方和下方的传感器的感测场具有相等的尺寸。
在这样的实施方式中，传感器指向系统200确定PTZ传感器132(或其他传感器)的感测场的中心是否与目标方向TD对准，并且如果PTZ传感器132的感测场的中心(即，“目标”)未与目标方向TD对准，则传感器指向系统200确定用于将PTZ传感器132的感测场的中心与目标方向TD对准的PTZ对准参数。此外，传感器指向系统200可以例如使用PTZ对准参数来命令PTZ传感器132调整PTZ传感器132的感测场的中心(例如，命令PTZ传感器132平移、倾斜和/或缩放)以与目标方向TD对准。因此，目标方向TD可以至少部分地通过PTZ对准参数来参数化。
在一些实施方式中，在命令PTZ传感器132调整PTZ传感器的感测场的中心之后，传感器指向系统200从PTZ传感器132(例如，经由PTZ插件服务409)接收对准反馈数据440。对准反馈数据440指示PTZ传感器132的当前PTZ参数。也就是说，对准反馈数据440指示PTZ传感器132相对于机器人100的姿势P的当前取向。在一些示例中，传感器指向系统200基于对准反馈数据440确定PTZ传感器132的感测场的中心的当前对准510(图5)与目标方向TD之间的差异。当存在差异(例如，阈值差异以上)时，传感器指向系统200基于PTZ传感器132的感测场的中心的当前对准与目标方向TD之间的差异来确定将校正PTZ传感器132的指向方向与目标方向TD之间的差异的对准姿势PA。因此，在这些示例中，确定机器人100的对准姿势PA基于从PTZ传感器132接收的对准反馈数据440。在其他示例中，诸如当传感器132固定时，传感器132的对准完全依赖于机器人100的对准柱PA。
现在参考图5，示意图500包括机器人100的一部分和目标位置250的三维(3D)表示。这里，传感器指向系统200已经命令传感器132(例如，PTZ传感器132)与目标方向TD对准，然而，来自PTZ传感器132的对准反馈数据440指示传感器132的当前对准510(即，以及感测场的经调整的中心)与目标方向TD之间的差异或误差，其中目标方向TD和当前对准510由到目标位置250并源自传感器132的相应向量表示。例如，对准误差可以由各种来源引起，例如，PTZ传感器132遇到故障或者命令的取向将要求PTZ传感器132移动超出其能力(即，运动范围不足)或者感测场可能被传感器132本身的一部分或机器人100的一部分遮挡。基于PTZ传感器132的当前对准510与目标方向TD之间的误差或差异或差距，传感器指向系统200确定机器人100的对准姿势PA，该对准姿势PA将调整PTZ传感器132的取向，使得传感器将指向目标方向TD上的目标位置250。因此，在该示例中，PTZ传感器132的初始对准和来自PTZ传感器132的指示当前对准510和目标方向TD之间的误差的对准反馈数据440导致传感器指向系统200确定用于将PTZ传感器132指向目标方向TD上的目标位置250的对准姿势PA。传感器指向系统200可以命令机器人100在用传感器132捕获传感器数据134之前将当前姿势P移动到所确定的对准姿势PA。
传感器指向命令220可以以其他方式参数化目标方向TD，以捕获目标位置250的期望传感器数据134。例如，传感器指向命令220可以将目标方向TD参数化为选定方向、选定光线(ray)或向量(例如，源自机器人100或传感器132)，或者基于相对于机器人100的任何已知坐标系之一的点。在这样的实施方式中，传感器指向命令220可以包括指示相对于机器人100的已知坐标系的光线或点的选择的用户输入指示。用户输入指示可以构成目标位置250，并且传感器指向系统可以确定机器人100的目标方向TD和/或对准姿势PA以指向或瞄准传感器132，使得用户输入指示位于传感器132的视场的中心。
在一些实施方式中，传感器指向命令220基于机器人100的对象检测能力来参数化目标方向TD，诸如由机器人100的计算系统140的对象数据库或世界对象服务407(图4)启用。对象数据库407存储机器人100先前已经检测到的对象，或者可以从客户端软件410的对象检测器414接收检测信息。对象检测可以由机器人100远程或本地的任何系统执行。例如，计算系统140可以从客户端软件410接收对象检测指示，或者可以在计算系统140的世界对象服务部分407处接收对象检测或执行对象检测。另外，传感器指向系统200可以至少部分地基于检测到在目标位置250处、附近或限定目标位置250的对象，基于传感器132相对于目标位置250的取向来确定目标方向TD。在这些示例中，目标方向TD可以基于检测到的对象的方面或特征。
在一些示例中，传感器指向命令220可以经由机器人100(图4)的计算系统140的对象数据库或世界对象服务407中的对象的二维(2D)或3D模型来参数化目标方向TD。在这种情况下，对象的模型定义目标位置250或者在环境中的目标位置250处或附近。例如，传感器指向命令220包括待检测的对象的模型，并且目标方向TD旨在将传感器132指向检测到的对象的特定部分或者将传感器132指向相对于检测到的对象的特定取向。
在一些示例中，在将传感器132在目标方向TD上对准以捕获目标位置250的传感器数据134之前，传感器指向系统200使用相机132捕获环境30的图像数据134。使用所提供的对象的模型，传感器指向系统200确定对象是否存在于捕获的图像数据134中。当对象存在于捕获的图像数据134中时，传感器指向系统200可以确定相对于检测到的对象的目标方向TD。例如，所确定的目标方向TD可以使对象在传感器132的视场FV内居中。在一些示例中，传感器132是可控制的以相对于机器人的身体移动，使得传感器132调整以在改变机器人100的姿势的情况下或在不改变机器人100的姿势的情况下使传感器132在目标方向TD上对准。
在一些示例中，传感器指向命令220经由要检测的对象的对象分类来参数化目标方向TD。在这样的示例中，传感器指向命令220包括对象分类。对象分类是将检测到的对象与对应的分类匹配的对象检测器的输出。因此，传感器指向命令220可以包括要检测的对象的类别或分类，并且传感器指向命令220相对于所指示的分类被参数化。
在某些实施方式中，在将传感器132在目标方向TD上对准以捕获目标位置250的传感器数据134之前，传感器指向系统200使用相机132捕获环境30的图像数据134。传感器指向系统200处理捕获的图像数据134以检测对象并确定检测到的对象的分类。使用对象检测器的输出，传感器指向系统200确定分类的对象是否存在于捕获的图像数据134中。当分类的对象存在于捕获的图像数据134中时，传感器指向系统200确定传感器132相对于分类的对象的目标方向TD。例如，传感器指向系统200确定目标方向TD以使分类的对象在传感器132的视场FV内居中。
因此，当机器人100在环境30中时，传感器指向系统200可以执行对象检测以确定环境30中是否存在对象以及检测到的对象是否与提供给系统的对象的模型或对象的分类匹配。传感器指向系统200可以扫描环境的一部分(例如，基于传感器指向命令220中的参数，诸如所请求的方向)以试图获取对象的位置。当存在建模的对象或分类的对象时，传感器指向系统200确定相对于对象的目标方向TD和必要的PTZ命令430和/或对准姿势PA以将传感器132的感测场与目标方向TD对准。所确定的目标方向TD和对应的对准姿势P可以是相对于使用对象的模型检测到的或者满足所提供的对象分类的对象的特征或方面。
在一些实施方式中，传感器指向命令220基于场景对准来参数化目标方向TD，其中确定在目标方向TD上对准传感器132的机器人100的对准姿势PA涉及处理由与指向目标方向TD的主要传感器132不同的第二传感器132捕获的图像数据134并捕获目标位置250的传感器数据。例如，设置在机器人100处的相机132捕获环境30的图像数据134，并且传感器指向系统200使用所捕获的图像数据134来确认或校正主传感器132(例如，LIDAR传感器、定向麦克风等)与目标方向TD的对准。传感器指向系统200还可以使用目标位置250的参考图像，并将参考图像与捕获的图像数据134进行比较。然后，传感器指向系统200从比较中导出变换，并确定目标方向TD和对准姿势P，以实现从捕获的图像数据134到参考图像的变换。
返回参考图4，一旦基于例如传感器132相对于目标位置250的取向确定了目标方向TD，传感器指向系统200就可以确定机器人100的对准姿势PA以使传感器132沿目标方向TD指向目标位置250。传感器指向系统200产生身体姿势命令450，以命令机器人100从其当前姿势P到对准姿势PA。例如，传感器指向系统200从机器人100的逆运动学确定对准姿势PA和身体姿势命令450。身体姿势命令450可以被传送到机器人100的计算系统140的机器人命令服务404，机器人命令服务404响应于身体姿势命令450控制机器人100的机械系统以实现对准姿势P。
现在参考图6，流程图600公开了用于实现传感器指向命令220的过程的一个实施例。这里，经由对象检测和/或场景对准来参数化目标方向TD，其中处理捕获的图像数据134以至少引导传感器指向命令220对准传感器132和目标方向TD。过程600包括用于传感器132的迭代调整和身体调整的反馈回路607。首先，用户12可以指定机器人100的任务，并且在步骤602，命令命令机器人100导航到环境30中的目标POI 240(即，航点A)。该命令可以至少部分地响应于接收到传感器指向命令220或单独的导航命令302。导航命令302由机器人100的导航系统300传送和实施。在步骤604，传感器指向命令220被传送到传感器指向系统200，传感器指向系统200确定机器人100的目标方向TD和对准姿势PA。在捕获传感器数据134之前，在步骤606处触发适当的对象检测器或场景对准处理器414，并且将捕获和处理图像数据的命令C606传送到图像传感器132和集成图像处理器414。在步骤608处计算传感器和身体姿势调整，其中迭代反馈回路607根据需要基于捕获的图像数据提供重复的传感器和身体调整。换句话说，如果需要，可以在步骤608处基于迭代反馈回路607将命令C608传送到传感器指向系统200，以调整传感器132和/或身体姿势P。在步骤610处，在机器人100处于对准姿势PA并且传感器132指向朝向目标位置250的目标方向TD的情况下，传感器132捕获目标位置250的传感器数据。
图7是用于自主和远程操作传感器指向移动机器人的方法700的一个实施例的流程图。在步骤702处，方法700包括接收传感器指向命令220，该传感器指向命令220命令机器人100使用传感器132来捕获机器人的环境30中的目标位置250的传感器数据134。传感器132设置在机器人100上或机器人100处。在步骤704处，方法700包括基于传感器132相对于目标位置250的取向来确定用于使传感器132指向目标位置250的目标方向TD。在步骤706处，方法700包括基于传感器132相对于目标位置250的取向来确定机器人100的对准姿势PA，以使传感器132指向朝向目标位置250的目标方向TD。在步骤708，方法700包括命令机器人100从其当前姿势P移动到对准姿势PA。在步骤710处，方法700包括在机器人100移动到对准姿势PA之后并且在传感器132在目标方向TD上指向目标位置250的情况下，命令传感器132捕获环境30中的目标位置250的传感器数据134。
因此，本系统被配置为接收传感器指向命令，该传感器指向命令命令机器人使用传感器来捕获目标位置的传感器数据，并且基于传感器相对于目标位置的取向来确定用于将传感器指向目标位置的目标方向和/或用于实现目标方向的对准姿势。系统可以命令机器人移动到对准姿势和/或捕获目标位置的传感器数据，其中传感器指向目标方向。因此，本文描述的系统和方法允许基于传感器相对于目标位置的取向的准确且可重复的传感器数据捕获。此外，一些实施方式通过使用来自传感器本身的反馈、由机器人处的第二传感器捕获的图像数据和/或基于对象分类和/或基于所提供的对象模型的对象检测能力来进一步增强准确性和/或可重复性。
图8是可以用于实现本文档中描述的系统和方法的示例计算设备800的示意图。计算设备800旨在表示各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。这里示出的组件、它们的连接和关系以及它们的功能仅意在是示例性的，并不意在限制本文档中描述和/或要求保护的发明的实施方式。
计算设备800包括处理器810、存储器820、存储设备830、连接到存储器820和高速扩展端口850的高速接口/控制器840、以及连接到低速总线870和存储设备830的低速接口/控制器860。组件810、820、830、840、850和860中的每一个使用各种总线互连，并且可以适当地安装在公共主板上或以其他方式安装。处理器810可以处理用于在计算设备800内执行的指令，包括存储在存储器820中或存储设备830上的指令，以在外部输入/输出设备(诸如联接到高速接口840的显示器880)上显示图形用户界面(GUI)的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和多种类型的存储器。此外，可以连接多个计算设备800，其中每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器820将信息非暂时性地存储在计算设备800内。存储器820可以是计算机可读介质、易失性存储器单元或非易失性存储器单元。非暂时性存储器820可以是用于临时或永久地存储程序(例如，指令序列)或数据(例如，程序状态信息)以供计算设备800使用的物理设备。非易失性存储器的示例包括但不限于闪存和只读存储器(ROM)/可编程只读存储器(PROM)/可擦除可编程只读存储器(EPROM)/电可擦除可编程只读存储器(EEPROM)(例如，通常用于固件，诸如引导程序)。易失性存储器的示例包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、相变存储器(PCM)以及磁盘或磁带。
存储设备830能够为计算设备800提供大容量存储。在一些实施方式中，存储设备830是计算机可读介质。在各种不同的实施方式中，存储设备830可以是软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储器设备、或设备阵列，包括存储区域网络或其他配置中的设备。在另外的实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含指令，所述指令在被执行时执行一个或多个方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器820、存储设备830或处理器810上的存储器。
高速控制器840管理计算设备800的带宽密集型操作，而低速控制器860管理较低带宽密集型操作。这种职责分配仅是示例性的。在一些实施方式中，高速控制器840联接到存储器820、显示器880(例如，通过图形处理器或加速器)，并且联接到高速扩展端口850，高速扩展端口850可以接受各种扩展卡(未示出)。在一些实施方式中，低速控制器860联接到存储设备830和低速扩展端口890。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口890可以例如通过网络适配器联接到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪或诸如交换机或路由器的联网设备。
计算设备800可以以多种不同的形式实现，如图所示。例如，它可以被实现为标准服务器800a或在一组这样的服务器800a中多次实现，实现为膝上型计算机800b，或者实现为机架服务器系统800c的一部分。
图9是根据另一实施例的具有传感器指向系统130的机器人100的示意图。除了机器人100包括图9所示的PTZ传感器132的特定配置之外，图9的实施例类似于图2的实施例。
本文描述的系统和技术的各种实施方式可以在数字电子和/或光学电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，该可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，联接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、非暂时性计算机可读介质、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器(也称为数据处理硬件)执行，该一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行功能。过程和逻辑流程也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行。作为示例，适合于执行计算机程序的处理器包括通用和专用微处理器两者，以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于执行指令的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如磁盘、磁光盘或光盘)，或者可操作地联接以从其接收数据或向其传输数据或两者。然而，计算机不需要具有这样的设备。适用于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
为了提供与用户的交互，本公开的一个或多个方面可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)、LCD(液晶显示器)监视器或触摸屏)的计算机上实现。在某些实施方式中，通过键盘和指点设备(例如，鼠标或轨迹球)促进交互，用户可以通过键盘和指点设备向计算机提供输入。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求将网页发送到用户的客户端设备上的网络浏览器。
已经描述了许多实施方式。然而，应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种修改。例如，虽然以给定顺序呈现过程或框，但是替代实施例可以以不同顺序执行具有步骤的例程，或者采用具有框的系统，并且可以删除、移动、添加、细分、组合和/或修改一些过程或框。这些过程或块中的每一个可以以各种不同的方式实现。此外，虽然过程或框有时被示出为串行执行，但是这些过程或框可以替代地并行执行，或者可以在不同时间执行。此外，可以组合上述各种实施例的元件和动作以提供进一步的实施例。实际上，本文描述的方法和系统可以以各种其他形式体现；此外，在不脱离本公开的精神的情况下，可以对本文描述的方法和系统的形式进行各种省略、替换和改变。因此，其他实施方式在所附权利要求的范围内。

Claims (34)

1.一种计算机实现的方法，当由机器人的数据处理硬件执行时，使所述数据处理硬件执行操作，所述操作包括：
接收传感器指向命令，所述传感器指向命令命令所述机器人使用所述机器人的传感器来捕获所述机器人的环境中的目标位置的传感器数据；
基于所述传感器相对于所述目标位置的取向来确定：
用于将所述传感器指向所述目标位置的目标方向；以及
所述机器人的对准姿势，以使所述传感器指向朝向所述目标位置的目标方向；
命令所述机器人从当前姿势移动到所述对准姿势；以及
命令所述传感器捕获所述环境中的目标位置的传感器数据。
2.根据权利要求1所述的方法，其中，所述操作还包括基于所述传感器指向命令命令所述机器人导航到所述环境中的目标兴趣点，其中确定所述目标方向和所述对准姿势包括在所述机器人导航到所述目标兴趣点之后确定所述目标方向和所述对准姿势。
3.根据权利要求1所述的方法，其中，所述传感器包括相机。
4.根据权利要求1所述的方法，其中，所述传感器包括摇摄-倾斜-变焦PTZ传感器。
5.根据权利要求4所述的方法，其中，所述操作还包括，在确定用于使所述传感器指向所述目标位置的目标方向之后：
确定所述PTZ传感器的感测场未与所述目标方向对准；
确定用于将所述PTZ传感器的感测场与所述目标方向对准的PTZ对准参数；以及
使用所述PTZ对准参数来命令所述PTZ传感器调整所述PTZ传感器的感测场以与所述目标方向对准。
6.根据权利要求5所述的方法，其中，所述操作还包括，在命令所述PTZ传感器调整所述PTZ传感器的感测场之后：
从所述PTZ传感器接收对准反馈数据，所述对准反馈数据指示所述PTZ传感器的经调整的感测场与所述目标方向之间的误差，
其中，确定所述机器人的对准姿势还基于接收到的对准反馈数据。
7.根据权利要求6所述的方法，其中，所述误差指示所述PTZ传感器的经调整的感测场与所述目标方向之间的差异大于阈值差异。
8.根据权利要求1所述的方法，其中，接收所述传感器指向命令包括接收指示相对于所述机器人的坐标系的光线或点的选择的用户输入指示。
9.根据权利要求1所述的方法，其中，所述传感器指向命令包括对象的模型，并且其中，所述操作还包括在命令所述传感器捕获所述传感器数据之前：
使用相机在所请求的方向上捕获图像数据；
使用所述对象的模型确定所述对象是否存在于所捕获的图像数据中；以及
当所述对象存在于所捕获的图像数据中时，确定所述目标方向以使所述对象在所述传感器的感测场内居中。
10.根据权利要求1所述的方法，其中，所述传感器指向命令包括来自对象检测器的输出的对象的对象分类，并且其中，所述操作还包括在命令所述传感器捕获所述传感器数据之前：
使用相机在所请求的方向上捕获图像数据；
使用所述对象检测器的输出确定所分类的对象是否存在于所捕获的图像数据中；以及
当所分类的对象存在于所捕获的图像数据中时，确定所述目标方向以使所分类的对象在所述传感器的感测场内居中。
11.根据权利要求1所述的方法，其中，所述传感器固定到所述机器人。
12.根据权利要求1所述的方法，其中，确定使所述传感器指向所述目标方向的所述机器人的对准姿势包括确定所述机器人的逆运动学。
13.根据权利要求1所述的方法，其中，确定使所述传感器指向所述目标方向的所述机器人的对准姿势包括处理由与所述传感器不同的第二传感器捕获的图像数据。
14.一种系统，包括：
数据处理硬件；以及
存储器硬件，所述存储器硬件与所述数据处理硬件通信，所述存储器硬件存储指令，所述指令在由所述数据处理硬件执行时使所述数据处理硬件执行操作，所述操作包括：
接收传感器指向命令，所述传感器指向命令命令机器人使用传感器来捕获所述机器人的环境中的目标位置的传感器数据，所述传感器设置在所述机器人上；
基于所述传感器相对于所述目标位置的取向来确定：
用于将所述传感器指向所述目标位置的目标方向；以及
所述机器人的对准姿势，以使所述传感器指向朝向所述目标位置的目标方向；
命令所述机器人从当前姿势移动到所述对准姿势；以及
命令所述传感器捕获所述环境中的目标位置的传感器数据。
15.根据权利要求14所述的系统，其中，所述操作还包括，响应于接收到所述传感器指向命令：
命令所述机器人导航到所述环境中的目标兴趣点，
其中，确定所述目标方向和所述对准姿势包括在所述机器人导航到所述目标兴趣点之后确定所述目标方向和所述对准姿势。
16.根据权利要求14所述的系统，其中，所述传感器包括相机。
17.根据权利要求14所述的系统，其中，所述传感器包括摇摄-倾斜-变焦PTZ传感器。
18.根据权利要求17所述的系统，其中，所述操作还包括，在确定用于使所述传感器指向所述目标位置的目标方向之后包括：
确定所述PTZ传感器的感测场未与所述目标方向对准；
确定用于将所述PTZ传感器的感测场与所述目标方向对准的PTZ对准参数；以及
使用所述PTZ对准参数来命令所述PTZ传感器调整所述PTZ传感器的感测场以与所述目标方向对准。
19.根据权利要求18所述的系统，其中，所述操作还包括，在命令所述PTZ传感器调整所述PTZ传感器的感测场之后：
从所述PTZ传感器接收对准反馈数据，所述对准反馈数据指示所述PTZ传感器的经调整的感测场与所述目标方向之间的误差，
其中，确定所述机器人的对准姿势还基于接收到的对准反馈数据。
20.根据权利要求19所述的系统，其中，所述误差指示所述PTZ传感器的经调整的感测场与所述目标方向之间的差异大于阈值差异。
21.根据权利要求14所述的系统，其中，接收所述传感器指向命令包括接收指示相对于所述机器人的已知坐标系的光线或点的选择的用户输入指示。
22.根据权利要求14所述的系统，其中，所述传感器指向命令包括对象的模型，并且其中，所述操作还包括在命令所述传感器捕获所述传感器数据之前：
使用相机在所述目标方向上捕获图像数据；
使用所述对象的模型确定所述对象是否存在于所捕获的图像数据中；以及
当所述对象存在于所捕获的图像数据中时，使所述对象在所述传感器的感测场内居中。
23.根据权利要求14所述的系统，其中，所述传感器指向命令包括来自对象检测器的输出的对象的对象分类，并且其中，所述操作还包括在命令所述传感器捕获所述传感器数据之前：
使用相机在所述目标方向上捕获图像数据；
使用所述对象检测器的输出确定所分类的对象是否存在于所捕获的图像数据中；以及
当所分类的对象存在于所捕获的图像数据中时，使所分类的对象在所述传感器的感测场内居中。
24.根据权利要求14所述的系统，其中，所述传感器固定到所述机器人。
25.根据权利要求14所述的系统，其中，确定使所述传感器指向所述目标方向的所述机器人的对准姿势包括确定所述机器人的逆运动学。
26.根据权利要求14所述的系统，其中，确定使所述传感器指向所述目标方向的所述机器人的对准姿势包括处理由与所述传感器不同的第二传感器捕获的图像数据。
27.一种计算机实现的方法，当由机器人的数据处理硬件执行时，使所述数据处理硬件执行操作，所述操作包括：
接收传感器指向命令，所述传感器指向命令命令所述机器人使用传感器来捕获所述机器人的环境中的目标位置的传感器数据，所述传感器设置在所述机器人上；
基于所述传感器相对于所述目标位置的取向，确定用于使所述传感器指向所述目标位置的目标方向；以及
在所述传感器指向朝向所述目标位置的目标方向的情况下，命令所述传感器捕获所述环境中的目标位置的传感器数据。
28.根据权利要求27所述的方法，其中，所述操作还包括：
基于所述传感器相对于所述目标位置的取向，确定所述机器人的对准姿势，以使所述传感器指向朝向所述目标位置的目标方向；以及
命令所述机器人从当前姿势移动到所述对准姿势。
29.根据权利要求28所述的方法，其中，命令所述传感器捕获所述传感器数据发生在所述机器人移动到所述对准姿势并且所述传感器指向朝向所述目标位置的目标方向之后。
30.一种系统，包括：
数据处理硬件；以及
存储器硬件，所述存储器硬件与所述数据处理硬件通信，所述存储器硬件存储指令，所述指令当在所述数据处理硬件上执行时使所述数据处理硬件执行操作，所述操作包括：
接收传感器指向命令，所述传感器指向命令命令机器人使用传感器来捕获所述机器人的环境中的目标位置的传感器数据，所述传感器设置在所述机器人上；
基于所述传感器相对于所述目标位置的取向，确定用于使所述传感器指向所述目标位置的目标方向；以及
在所述传感器指向朝向所述目标位置的目标方向的情况下，命令所述传感器捕获所述环境中的目标位置的传感器数据。
31.根据权利要求30所述的系统，其中，所述操作还包括：
基于所述传感器相对于所述目标位置的取向，确定所述机器人的对准姿势，以使所述传感器指向朝向所述目标位置的目标方向；以及
命令所述机器人从当前姿势移动到所述对准姿势。
32.根据权利要求31所述的系统，其中，命令所述传感器捕获所述传感器数据发生在所述机器人移动到所述对准姿势并且所述传感器指向朝向所述目标位置的目标方向之后。
33.一种自主和远程操作的传感器指向的方法，所述方法包括：
使用机器人的计算系统检测所述机器人的传感器相对于目标位置的取向；
基于检测到的所述传感器的取向，使用所述计算系统确定用于指向所述传感器的目标方向和所述机器人的对准姿势；
控制所述机器人的一个或多个关节以将所述机器人从当前姿势移动到所述对准姿势并使所述传感器指向所述目标方向；以及
一旦机器人已经移动到所述对准姿势并且所述传感器指向所述目标方向，使用所述传感器捕获传感器数据。
34.一种机器人，包括：
传感器；
计算系统，所述计算系统被配置为检测所述传感器相对于目标位置的取向，并且基于检测到的取向来确定用于指向所述传感器的目标方向和所述机器人的对准姿势；以及
多个关节，其中所述计算系统还被配置为控制所述多个关节中的一个或多个以将所述机器人从当前姿势移动到所述对准姿势并将所述传感器指向所述目标方向，其中所述传感器被配置为在所述机器人以所述对准姿势定位并且所述传感器指向所述目标方向的情况下捕获传感器数据。
CN202280053873.1A 2021-06-04 2022-06-02 指向移动机器人的自主和远程操作传感器 Pending CN117769484A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163202291P 2021-06-04 2021-06-04
US63/202,291 2021-06-04
PCT/US2022/072714 WO2022256818A1 (en) 2021-06-04 2022-06-02 Autonomous and teleoperated sensor pointing on a mobile robot

Publications (1)

Publication Number Publication Date
CN117769484A true CN117769484A (zh) 2024-03-26

Family

ID=82483284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280053873.1A Pending CN117769484A (zh) 2021-06-04 2022-06-02 指向移动机器人的自主和远程操作传感器

Country Status (4)

Country Link
US (1) US20220388174A1 (zh)
EP (1) EP4347195A1 (zh)
CN (1) CN117769484A (zh)
WO (1) WO2022256818A1 (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220082805A (ko) * 2019-08-07 2022-06-17 보스턴 다이나믹스, 인크. 모바일 로봇의 항행

Also Published As

Publication number Publication date
US20220388174A1 (en) 2022-12-08
WO2022256818A1 (en) 2022-12-08
EP4347195A1 (en) 2024-04-10

Similar Documents

Publication Publication Date Title
Shen et al. Vision-based state estimation for autonomous rotorcraft MAVs in complex environments
US9563528B2 (en) Mobile apparatus and localization method thereof
US20220388170A1 (en) Alternate Route Finding for Waypoint-based Navigation Maps
EP2917693A1 (en) Method to determine a direction and amplitude of a current velocity estimate of a moving device
Paul et al. Landing of a multirotor aerial vehicle on an uneven surface using multiple on-board manipulators
Melchiorre et al. Collison avoidance using point cloud data fusion from multiple depth sensors: a practical approach
US20220390954A1 (en) Topology Processing for Waypoint-based Navigation Maps
US20220193894A1 (en) Supervised Autonomous Grasping
Zhao et al. Landing system for AR. Drone 2.0 using onboard camera and ROS
CN117795444A (zh) 动态环境中导航的定向探索
US20230278214A1 (en) Robot localization using variance sampling
CN116830061A (zh) 动态站点上的机器人自主的语义模型
Yang et al. Visual SLAM for autonomous MAVs with dual cameras
Hinzmann et al. Flexible stereo: constrained, non-rigid, wide-baseline stereo vision for fixed-wing aerial platforms
CN113778096B (zh) 室内机器人的定位与模型构建方法及系统
Marchand et al. Visual servoing through mirror reflection
Choi et al. Encoderless gimbal calibration of dynamic multi-camera clusters
Araar et al. A new hybrid approach for the visual servoing of VTOL UAVs from unknown geometries
US20220388174A1 (en) Autonomous and teleoperated sensor pointing on a mobile robot
Cabecinhas et al. Vision-based quadrotor stabilization using a pan and tilt camera
Wang et al. Vision based robotic grasping with a hybrid camera configuration
Barajas et al. Visual servoing of uav using cuboid model with simultaneous tracking of multiple planar faces
Zamudio et al. Stereo vision for the stabilization of a quadrotor
Li et al. A monocular odometer for a quadrotor using a homography model and inertial cues
Huang et al. An object following method based on computational geometry and ptam for uav in unknown environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination