CN114364497A - 将力向量分配给机器人任务的方法和系统 - Google Patents

将力向量分配给机器人任务的方法和系统 Download PDF

Info

Publication number
CN114364497A
CN114364497A CN202080063749.4A CN202080063749A CN114364497A CN 114364497 A CN114364497 A CN 114364497A CN 202080063749 A CN202080063749 A CN 202080063749A CN 114364497 A CN114364497 A CN 114364497A
Authority
CN
China
Prior art keywords
virtual reality
force
task
processors
menu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080063749.4A
Other languages
English (en)
Inventor
J·彼得森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Research Institute Inc
Original Assignee
Toyota Research Institute Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Research Institute Inc filed Critical Toyota Research Institute Inc
Publication of CN114364497A publication Critical patent/CN114364497A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39001—Robot, manipulator control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)
  • Numerical Control (AREA)

Abstract

公开了一种系统，该系统包括被配置为生成环境的虚拟现实表示的电子控制器。电子控制器被配置为在环境的虚拟现实表示内生成包括至少一个任务用户界面元素的菜单，并确定何时从菜单中的至少一个任务用户界面元素中选择用于配置力参数的选项。电子控制器被配置为提示用户为虚拟机器人操纵任务配置力参数，并响应于从提示接收到的用于配置力参数的输入，将力量值或力方向中的至少一个分配给虚拟机器人操纵任务。

Description

将力向量分配给机器人任务的方法和系统
相关申请的交叉引用
本申请要求于2019年11月22日提交的美国非临时申请No.16/692,272的权益或优先权，该申请要求于2019年9月13日提交的美国临时申请No.62/900,143的权益或优先权；其中每个申请的内容通过引用并入本文。
技术领域
本公开一般而言涉及用于将力向量分配给机器人任务的方法和系统，更特别地，涉及将力向量分配给虚拟现实环境内的机器人任务的方法和系统。
背景技术
机器人可以从用户接收指令并基于接收到的指令执行任务。作为示例，机器人可以响应于从用户接收到用于移动到目标位置的指令而移动到目标位置。作为另一个示例，机器人可以响应于从用户接收到用于移动物品的指令而将物品从第一位置运送到第二位置。此外，某些任务可能需要机器人在执行对应任务时对对象施加一定量值的力。作为示例，在将对象从第一位置移动到第二位置时，机器人的手可以在对象上施加夹持力，从而使机器人能够将对象从第一位置安全地移动到第二位置。
因而，需要一种向操纵器传授力以训练机器人执行任务的系统和方法。
发明内容
在一个方面，一种系统包括电子控制器，该电子控制器被配置为生成环境的虚拟现实表示。电子控制器被配置为在环境的虚拟现实表示内生成包括至少一个任务用户界面元素的菜单，并确定何时从菜单中的至少一个任务用户界面元素中选择用于配置力参数的选项。电子控制器被配置为提示用户配置虚拟机器人操纵任务的力参数，以及响应于从提示接收到的用于配置力参数的输入将力量值或力方向中的至少一个分配给虚拟机器人操纵任务。
在另一方面，一种系统包括电子控制器，该电子控制器被配置为显示环境的虚拟现实表示。电子控制器被配置为在虚拟现实表示中显示包括至少一个任务用户界面元素的菜单，并确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项。电子控制器被配置为显示指示用户配置虚拟机器人操纵任务的力参数的提示，以及响应于从提示接收到的用于配置力参数的输入，传输指示将力量值或力方向中的至少一个分配给虚拟机器人操纵任务的信号。
在又一方面，公开了一种方法，该方法包括由一个或多个处理器生成环境的虚拟现实表示。该方法包括由所述一个或多个处理器在环境的虚拟现实表示内生成包括至少一个任务用户界面元素的菜单。该方法包括由所述一个或多个处理器确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项。该方法包括由所述一个或多个处理器提示用户配置虚拟机器人操纵任务的力参数。该方法包括响应于从提示接收到的用于配置力参数的输入，由所述一个或多个处理器将力量值或力方向中的至少一个分配给虚拟机器人操纵任务。
根据以下详细描述并结合附图，将更充分地理解由本文描述的实施例提供的这些和附加特征。
附图说明
附图中阐述的实施例在本质上是说明性和示例性的，并且不旨在限制由权利要求限定的主题。当结合以下附图阅读时，可以理解说明性实施例的以下详细描述，附图中类似的结构用类似的附图标记表示并且其中：
图1A示意性地描绘了根据本文描述和图示的一个或多个实施例的示例机器人系统和环境；
图1B示意性地描绘了根据本文描述和图示的一个或多个实施例的示例机器人；
图2示意性地描绘了根据本文描述和图示的一个或多个实施例的示例机器人和虚拟现实系统的说明性系统图；
图3示意性地描绘了根据本文描述和图示的一个或多个实施例的将力向量分配给机器人的某些任务的方法的流程图；
图4A描绘了根据本文描述和图示的一个或多个实施例的由虚拟现实系统显示的环境的示例虚拟现实表示；
图4B描绘了根据本文描述和图示的一个或多个实施例的由虚拟现实系统显示的环境的示例虚拟现实表示；
图4C描绘了根据本文描述和图示的一个或多个实施例的由虚拟现实系统显示的环境的示例虚拟现实表示；
图4D描绘了根据本文描述和图示的一个或多个实施例的由虚拟现实系统显示的环境的示例虚拟现实表示；
图4E描绘了根据本文描述和图示的一个或多个实施例的由虚拟现实系统显示的环境的示例虚拟现实表示；以及
图4F描绘了根据本文描述和图示的一个或多个实施例的由虚拟现实系统显示的环境的示例虚拟现实表示。
具体实施方式
本文描述的实施例涉及将力向量分配给机器人的各种任务的机器人和虚拟现实系统。如下文进一步详细描述的，机器人包括一个或多个成像设备和一个或多个图像捕获设备。虚拟现实系统的控制器通信地耦合到机器人并且包括机器可读指令。当机器可读指令由控制器的一个或多个处理器执行时，虚拟现实系统被配置为基于由所述一个或多个成像设备和/或所述一个或多个图像捕获设备获得的数据显示环境的虚拟现实表示(例如，二维(2D)表示、三维(3D)表示等)。在一些实施例中，环境的虚拟现实表示可以由环境的计算机模型生成。
此外，当机器可读指令由控制器的一个或多个处理器执行时，虚拟现实系统被配置为生成包括一个或多个任务用户界面元素的菜单。任务用户界面元素可使用例如虚拟现实系统的输入设备来选择。如果所选择的任务与力向量相关联，那么虚拟现实系统可以显示力向量用户界面元素，这使得虚拟现实系统的用户能够将力向量分配给机器人的特定任务。在一些实施例中，机器人任务和对应的力向量可以分别由用户经由控制器选择和分配，并使用机器人系统存储。
将力向量分配给某些任务确保了机器人的期望操作。作为示例，将力向量分配给任务确保了提供用于执行特定任务(诸如夹持和拉动门的把手或旋钮以打开门)的最小力值。作为另一个示例，将力向量分配给任务确保了不超过用于执行特定任务的最大力值，从而防止机器人在例如夹持和拉动门的把手或旋钮以打开门时损坏对象。作为又一个示例，通过将具有量值和方向的力向量分配给擦拭任务(例如，使用海绵末端致动器擦拭桌子的表面，该海绵末端致动器使用例如平行爪夹持器抓握)，机器人操纵器的横向移动可以确保将恒定或可变的力施加到桌子的表面以实现表面的擦拭。因而，当力向量被分配给某些任务时，可以实现机器人的最佳操作。
如本文所述，术语“任务”是指被配置为组合执行以实现期望结果的一个或多个机器人部件的一个或多个移动。作为非限制性示例，擦拭任务可以包括将机器人操纵器定位在距桌子表面一定距离处并且在大致平行于桌子表面的方向上横向移动机器人操纵器。
如本文所述，术语“力向量”是指具有量值和方向的力(例如，运动的速度或部件的加速度)。量值可以由用于量化量值的任何合适的数值和度量(例如，牛顿)来表示。在一些实施例中，机器人系统可以被配置为使用力传感器测量施加的力的量值。在其它实施例中，机器人系统可以不被配置为直接测量施加的力量值。由此，机器人系统可以通过监测部件从第一位置到第二位置的速度和/或加速度来确定施加的力，并且随后使用电机控制系统或其它反馈系统来确定施加的力。方向可以指示力是共面的、非共面的、线性的、非线性的、旋转的，等等。
现在参考图1A，示意性地描绘了包括机器人100-1的示例机器人系统和环境10-1。如图1A中所示的实施例所示，机器人100-1可以是服务机器人，其被配置为在住宅设施、工作场所、学校、医疗保健设施、制造设施等中帮助人类完成各种任务。作为非限制性示例，机器人100-1可以帮助人类从桌子120上移走对象122。
在各种实施例中，机器人100-1包括图像捕获设备102a、102b(统称为图像捕获设备102)、行进(locomotion)设备104、臂106、夹持组件108、屏幕110、麦克风112、扬声器114和一个或多个成像设备116。应该理解的是，机器人100-1在其它实施例中可以包括其它部件。还应该理解的是，本文描述的实施例不限于任何特定类型的机器人，并且机器人100-1在其它实施例中可以具有任何尺寸、配置、自由度和/或其它特性。
在一些实施例中，图像捕获设备102可以是被配置为获得图像数据的任何设备。作为非限制性示例，图像捕获设备102可以是被配置为获得位于环境10-1内的对象(诸如桌子120和对象122)的静止图像和/或数字视频的数字相机。因而，控制器(如下图2中所示)可以接收图像数据并基于图像数据执行各种功能。示例功能包括但不限于使用图像处理算法(例如，机器学习算法或其它合适的算法)和用于在环境10-1内导航机器人100-1的导航算法的对象识别。
在一些实施例中，图像捕获设备102中的至少一个可以是标准清晰度(例如，640像素x 480像素)相机。在各种实施例中，图像捕获设备102中的至少一个可以是高清晰度相机(例如，1440像素x1024像素或1266像素x 1024像素)。在一些实施例中，图像捕获设备102中的至少一个可以具有不同于640像素x 480像素、1440像素x 1024像素或1266像素x 1024像素的分辨率。
在一些实施例中，机器人100-1可以利用行进设备104在环境10-1内进行机动(maneuver)。作为非限制性示例，行进设备104可以是被跟踪的行进设备。作为另一个非限制性示例并且如下面参考图1B进一步详细描述的，机器人100-1可以使用一个或多个轮子在操作空间内机动。在一些实施例中，机器人100-1可以是无人驾驶飞行器或无人驾驶潜水器。
在各种实施例中，臂106和夹持组件108可以使用各种机构(例如，伺服电机驱动器、气动驱动器、液压驱动器、电活性聚合物电机等)来致动，以操纵机器人100-1在环境10-1内遇到的物品。夹持组件108可以可旋转地耦合到臂106，并且臂106可以具有例如六个自由度。夹持组件108可以包括一个或多个成像设备116，并且一个或多个成像设备116的视图和/或朝向被配置为响应于夹持组件108的旋转而旋转。
虽然所示实施例图示了一个臂106和一个夹持组件108，但应该理解的是，机器人100-1在其它实施例中可以包括任意数量的臂和夹持组件。作为非限制性示例并且如下面参考图1B更详细描述的，机器人100-1可以包括两个臂。
在一些实施例中，屏幕110可以显示由图像捕获设备102获得的文本、图形、图像和/或由图像捕获设备102获得的视频。作为非限制性示例，屏幕110可以显示描述机器人100-1当前正在执行的任务(例如，拾取对象122)的文本。在一些实施例中，屏幕110可以是触摸屏显示器或其它合适的显示设备。
在各种实施例中，麦克风112可以记录在环境10-1中传播的音频信号(例如，用户的语音)。作为非限制性示例，麦克风112可以被配置为接收由用户生成的音频信号(例如，用户语音命令)并将与音频信号相关联的声学振动变换成提供给控制器(如图2所示)进行进一步处理的语音输入信号。在一些实施例中，扬声器114将数据信号变换成可听见的机械振动并输出可听见的声音，使得靠近机器人100-1的用户可以与机器人100-1交互。
机器人100-1可以包括一个或多个成像设备116，其被配置为获得环境10-1的深度信息。一个或多个成像设备116可以包括但不限于RGB-D传感器和/或被配置为获得环境10-1的深度信息的其它深度传感器。一个或多个成像设备116可以具有任何合适的分辨率并且可以被配置为检测任何期望波段，诸如紫外波段、近紫外波段、可见光波段、近红外波段、红外波段等中的辐射。
在一些实施例中，机器人100-1可以经由网络170和/或使用无线通信协议与计算设备140、移动设备150和/或虚拟现实系统160中的至少一个通信，如下面参考图2进一步详细描述的。作为非限制性示例，机器人100-1可以使用图像捕获设备102捕获图像并且使用一个或多个成像设备116获得深度信息。随后，机器人100-1可以使用无线通信协议将图像和深度信息传输到虚拟现实系统160。响应于接收到图像和深度信息，虚拟现实系统160可以显示环境10-1(本文也称为虚拟现实环境)的虚拟现实表示，如下文进一步详细描述的。作为非限制性示例，虚拟现实表示可以指示由图像捕获设备102获得的机器人100-1的视图、机器人100-1所在的房间或建筑物的地图、机器人100-1的路径、或机器人100-1可以与之交互的对象(例如，对象122)的突出显示。
作为另一个非限制性示例，计算设备140和/或移动设备150(例如，智能电话、膝上型电脑、PDA等)可以接收由图像捕获设备102捕获的图像并将图像显示在相应的显示器上。响应于接收到图像和深度信息，计算设备140和/或移动设备150还可以显示环境10-1的虚拟现实表示。
参考图1B，示意性地描绘了包括机器人100-2的另一个示例环境10-2。机器人100-2类似于上面参考图1A描述的机器人100-1，但是在这个实施例中，机器人100-2包括底盘部分124、躯干部分126、臂128a、128b(统称为臂128)和头部130。
在一些实施例中，底盘部分124包括行进设备104。作为非限制性示例，行进设备104包括四个动力轮，其为底盘部分124提供八个自由度，从而使机器人100-2能够在环境10-2内实现选择性机动性和定位。此外，安装到底盘部分124的躯干部分126可以包括一个或多个机器人连杆，其为躯干部分126提供例如五个自由度，从而使机器人100-2能够在各种高度和朝向上定位躯干部分126。
在一些实施例中，臂128可以各自具有例如七个自由度，从而使机器人100-2能够将臂128定位在各种高度和朝向上。此外，每个臂128可以包括相应的夹持组件108，并且臂128可以可旋转地安装到躯干部分126。在一些实施例中，机器人的头部130包括图像捕获设备102、屏幕110、一个或多个成像设备116、麦克风112和扬声器114。
现在参考图2，图示了机器人100(即，机器人100-1、100-2之一)的各种内部部件。机器人100包括控制器210，控制器210包括一个或多个处理器202和一个或多个存储器模块204、图像捕获设备102a、102b、卫星天线220、致动器驱动硬件230、网络接口硬件240、屏幕110、麦克风112、扬声器114和一个或多个成像设备116。在一些实施例中，一个或多个处理器202和一个或多个存储器模块204可以提供在单个集成电路(例如，片上系统)中。在一些实施例中，一个或多个处理器202和一个或多个存储器模块204可以作为单独的集成电路提供。
一个或多个处理器202中的每一个被配置为与电耦合部件通信，并且可以是适用于机器人100被设计为操作的特定应用的任何商用或定制处理器。此外，一个或多个处理器202中的每一个可以是能够执行机器可读指令的任何设备。因而，一个或多个处理器202中的每一个可以是控制器、集成电路、微芯片、计算机或任何其它计算设备。一个或多个处理器202耦合到提供机器人100的各个模块之间的信号互连的通信路径206。通信路径206可以将任意数量的处理器相互通信耦合，并允许耦合到通信路径206的模块在分布式计算环境中操作。具体而言，每个模块可以作为可以发送和/或接收数据的节点来操作。如本文所使用的，术语“通信地耦合”是指耦合的部件能够彼此交换数据信号，诸如，例如，经由导电介质的电信号、经由空气的电磁信号、经由光波导的光信号，等等。
因而，通信路径206可以由能够传输信号的任何介质形成，诸如，例如，导线、导电迹线、光波导等。此外，通信路径206可以由能够传输信号的介质的组合形成。在一个实施例中，通信路径206包括导电迹线、导线、连接器和总线的组合，它们协作以允许将电数据信号传输到诸如处理器、存储器、传感器、输入设备、输出设备和通信设备之类的部件。此外，应该注意的是，术语“信号”是指能够穿越介质的波形(例如，电的、光的、磁的、机械的或电磁的)，诸如DC、AC、正弦波、三角波、方波、振动等。
一个或多个存储器模块204可以耦合到通信路径206。一个或多个存储器模块204可以包括易失性和/或非易失性计算机可读存储介质，诸如RAM、ROM、闪存、硬盘驱动器，或能够存储机器可读指令使得机器可读指令可以由一个或多个处理器202访问的任何介质。机器可读指令可以包括以任何代(例如，1GL、2GL、3GL、4GL或5GL)的任何编程语言编写的逻辑或(一个或多个)算法，诸如例如可以由处理器直接执行的机器语言、或汇编语言、面向用户的编程(OOP)、脚本语言、微代码等，它们可以被编译或组装成机器可读指令并存储在一个或多个存储器模块204上。替代地，机器可读指令可以用硬件描述语言(HDL)编写，诸如经由现场可编程门阵列(FPGA)配置或专用集成电路(ASIC)或它们的等效形式实现的逻辑。因而，本文描述的方法可以以任何常规的计算机编程语言、作为预编程的硬件元件、或作为硬件部件和软件部件的组合来实现。
一个或多个存储器模块204可以被配置为存储一个或多个模块，每个模块包括指令集，该指令集在由一个或多个处理器202执行时，使机器人100执行本文描述的模块的功能。例如，一个或多个存储器模块204可以被配置为存储机器人操作模块，包括但不限于，在由一个或多个处理器202执行时使机器人100执行一般机器人操作的指令集。
此外，一个或多个存储器模块204可以存储虚拟现实表示生成模块、对象检测模块和菜单模块。在一些实施例中，虚拟现实表示生成模块被配置为基于由图像捕获设备102获得的图像数据和由一个或多个成像设备116获得的深度数据来生成环境10的虚拟现实表示。响应于生成虚拟现实表示，虚拟现实表示生成模块被配置为将虚拟现实表示传输到计算设备140、移动设备150和/或虚拟现实系统160中的至少一个，以供后续由相应的设备和/或系统显示。在一些实施例中，对象检测模块被配置为基于生成的虚拟现实表示来识别和辨别位于环境10中的对象。在各种实施例中，菜单模块被配置为生成在虚拟现实表示中显示的一个或多个任务用户界面元素。如下面参考图3和图4A-4F进一步详细描述的，菜单模块还被配置为响应于指示对应机器人任务将与负载力交互的任务用户界面元素的选择而生成力向量界面元素。力向量界面元素被配置为使用户能够指定与特定任务对应的力向量，如下面参考图3进一步详细描述的。
虚拟现实表示生成模块、菜单模块和对象检测模块可以是存储在一个或多个存储器模块中的操作系统、应用程序模块和其它程序模块形式的程序模块。菜单模块和对象检测模块可以包括但不限于用于执行特定任务或执行下面参考图3描述的特定数据类型的例程、子例程、程序、对象、部件、数据结构等。
图像捕获设备102可以耦合到通信路径206。图像捕获设备102可以接收来自一个或多个处理器202的控制信号以获取周围操作空间的图像数据，并将所获取的图像数据发送到一个或多个处理器202和/或一个或多个存储器模块204用于处理和/或存储。图像捕获设备102可以直接连接到一个或多个存储器模块204。在备选实施例中，图像捕获设备102包括一个或多个处理器202可访问以进行检索的专用存储器设备(例如，闪存)。
同样，屏幕110、麦克风112、扬声器114和一个或多个成像设备118可以耦合到通信路径206，使得通信路径206可通信地将屏幕110、麦克风112、扬声器114和一个或多个成像设备118耦合到机器人100的其它模块。屏幕110、麦克风112、扬声器114和一个或多个成像设备118可以直接连接到一个或多个存储器模块204。在替代实施例中，屏幕110、麦克风112、扬声器114和一个或多个成像设备118可以包括一个或多个处理器202可访问以进行检索的专用存储器设备。
机器人100包括耦合到通信路径206的卫星天线220，使得通信路径206将卫星天线220通信地耦合到机器人100的其它模块。卫星天线220被配置为接收来自全球定位系统卫星的信号。具体而言，在一个实施例中，卫星天线220包括与全球定位系统卫星发射的电磁信号交互的一个或多个导电元件。接收到的信号被一个或多个处理器202变换成指示卫星天线220或定位在卫星天线220附近的用户的位置(例如，纬度和经度)的数据信号。在一些实施例中，机器人100可以不包括卫星天线220。
致动器驱动硬件230可以包括致动器和相关联的驱动电子器件以控制行进设备104、臂106、夹持组件108以及可能存在于机器人100中的任何其它外部部件。致动器驱动硬件230可以被配置为从一个或多个处理器202接收控制信号并相应地操作机器人100。致动器驱动硬件230的操作参数和/或增益可以存储在一个或多个存储器模块204中。
机器人100包括用于将机器人100与计算设备140、移动设备150和/或虚拟现实系统160通信地耦合的网络接口硬件240。网络接口硬件240可以耦合到通信路径206并且可以被配置为无线通信电路，使得机器人100可以与外部系统和设备通信。网络接口硬件240可以包括用于根据任何无线通信标准发送和/或接收数据的通信收发器。例如，网络接口硬件240可以包括芯片组(例如，天线、处理器、机器可读指令等)以通过诸如例如无线保真(Wi-Fi)、WiMax、蓝牙、IrDA、无线USB、Z-Wave、ZigBee等无线计算机网络进行通信。在一些实施例中，网络接口硬件240包括使机器人100能够经由蓝牙通信与计算设备140、移动设备150和/或虚拟现实系统160交换信息的蓝牙收发器。在一些实施例中，计算设备140、移动设备150和/或虚拟现实系统160可以在通过网络接口硬件240发起与机器人100的通信之前被认证。在一些实施例中，机器人100可以不包括网络接口硬件240。
虚拟现实系统160包括控制器260(包括一个或多个处理器262和一个或多个存储器模块264)、输入设备266(例如，手持运动敏感控制器、姿势辨识设备、包括按钮、刻度盘、旋钮、操纵杆的设备等)、网络接口硬件268和显示设备270。一个或多个处理器262、一个或多个存储器模块264和网络接口硬件268可以是类似于一个或多个处理器202、一个或多个存储器模块204和网络接口硬件240的部件。虽然上述实施例描述了存储菜单模块和对象检测模块的一个或多个存储器模块204，但是应该理解的是，在其它实施例中，一个或多个存储器模块264可以包括虚拟现实表示模块、菜单模块和/或对象检测模块。还应该理解的是，在其它实施例中，计算设备140和移动设备150可以包括一个或多个处理器、一个或多个存储器模块、输入设备、网络接口硬件和显示器。
在各种实施例中，用户可以选择一个或多个任务用户界面元素之一并使用输入设备266定义力向量。可以被配置为由用户穿戴的显示设备270可以包括用于将显示设备270固定到用户身体(例如，用户的头部)的带子或其它类似元件。此外，显示设备270可以包括被配置为显示由机器人100生成的虚拟现实表示的显示器。
参考图3，示出了将力向量分配给机器人任务的方法300的流程图。在一些实施例中，方法300可以被实现为机器可读指令内的逻辑，该机器可读指令在由一个或多个处理器202执行时，执行本文描述的步骤。虽然方法300描绘了特定的步骤顺序，但是本公开的附加实施例不限于任何特定顺序并且可以包括附加的或更少的步骤。还应该理解的是，在其它实施例中，本文描述的步骤可以由计算设备140、移动设备150和虚拟现实系统160中的至少一个来执行。
在步骤305处，虚拟现实系统160显示环境10的表示。在一些实施例中，机器人100可以最初使用一个或多个图像捕获设备102获得环境10的图像数据，并使用一个或多个成像设备116获得环境10的深度信息。随后，机器人100的一个或多个处理器202可以被配置为基于获得的图像数据和深度信息生成环境10的虚拟现实表示。此外，对象检测模块可以识别和辨别位于环境10内的对象，并生成与识别和辨别出的对象对应的指示。此外，菜单模块可以生成一个或多个任务用户界面元素。
随后，一个或多个处理器202可以将环境10的虚拟现实表示、与识别和辨别出的对象对应的指示符以及一个或多个任务用户界面元素传输到虚拟现实系统160。因而，虚拟现实系统160的显示设备270然后可以显示虚拟现实表示、与识别和辨别出的对象对应的指示符以及一个或多个任务用户界面元素。作为非限制性示例并且如图4A中所示，虚拟现实表示400可以包括与识别和辨别出的对象(例如，橱柜门的旋钮/把手)相关联的多个区域405、包括一个或多个任务用户界面元素415的菜单410，以及描述机器人100的各种操作特征和/或特性的补充文本420。
一个或多个任务用户界面元素415中的每一个可以与机器人任务相关联，机器人任务可以与其它机器人任务一起排序。作为非限制性示例，一个或多个任务用户界面元素415可以与机器人任务相关联，包括但不限于抓握、提升、放置、拉动、缩回、擦拭、移动关节、驱动到某个位置、控制机器人100的速度、跟随、观察和停止等。此外，每个机器人任务可以具有与其相关联的一个或多个移动，诸如机器人100的一个或多个部分的关节移动或笛卡尔移动。一个或多个移动中的每一个可以实现不同的控制方法，诸如位置控制、速度控制、准入控制和/或运动控制。
在一些实施例中，每个机器人任务可以具有各种参数化动作。如本文所使用的，参数化动作可以指可以根据参数表示的动作。作为非限制性示例，抓握任务可以包括但不限于夹持组件108的夹持器角度参数、6D接近参数、抓握参数和提升姿势参数。在一些实施例中，定义参数化动作可以使机器人100能够执行与抓握任务相关联的步骤顺序。作为非限制性示例，该顺序可以包括将夹持组件108打开到期望的夹持器角度；为夹持组件108规划和执行到6D接近姿势的无碰撞路径；将夹持组件108移动到6D夹持姿势；停止接触；关闭夹持组件108；以及将夹持组件108移动到6D提升姿势。
在一些实施例中，每个机器人任务可以具有可以由用户定义的各种非参数化机器人操纵和/或动作。如本文所使用的，非参数化动作可以指未根据参数表示的动作。非参数化机器人操纵和/或动作的非限制性示例包括但不限于在定义的方向上移动机器人100。非参数化机器人操纵和/或动作可以由用户在虚拟现实环境中经由输入设备266(例如，手持运动控制器)来定义。
返回到图3，在步骤310处，虚拟现实系统160的用户操纵机器人100并选择任务。在一些实施例中，用户可以使用虚拟现实系统160的输入设备266来操纵机器人100和/或选择机器人100的任务。
作为非限制性示例并且如图4B中所示，当用户正在使用输入设备266时，虚拟现实表示400可以包括表示输入设备266的图形元素430。与输入设备266的移动和交互可以使图形元素430基于与输入设备266的移动和/或交互在虚拟现实表示400内移动和/或调整其朝向。
作为非限制性示例，将输入设备266朝地面倾斜可以使图形元素430朝虚拟现实表示400的地面倾斜。虽然图形元素430被描绘为输入设备，但是应该理解的是，在其它实施例中，图形元素430可以具有不同的尺寸和/或形状。
此外，图形元素430可以包括从其突出的指示符432，指示输入设备266当前与一个或多个任务用户界面元素415中的哪个任务用户界面元素对齐。作为非限制性示例并且如图4B中所示，用户当前正在定位输入设备266，使得对应的图形元素430与对应于拉动任务的任务用户界面元素对齐。
返回参考图3，在步骤315处，一个或多个处理器202确定所选择的任务是否与机器人100与负载力交互相关联。在一些实施例中，如果对应的参数化动作中的至少一个与和负载力交互相关联，那么任务可以与机器人100与负载力交互相关联。可能与和负载力交互相关联的任务的非限制性示例包括抓握、提升、放置、拉动、缩回、擦拭等。可能与和负载力交互无关联的任务的非限制性示例包括驾驶、主动避障跟随、观察和停止等。应该理解的是，各种任务中的任何一个都可以被指定为与负载力交互的任务，并且一个或多个处理器202可以参考一个或多个存储器模块204的查找表来确定任务是否被指定为与负载力交互。如果所选择的任务与机器人100与负载力交互相关联，那么方法300前进到步骤320；否则，方法300进行到步骤340。
作为步骤315的非限制性示例，一个或多个处理器202确定对应于拉动任务的所选择的任务用户界面元素与机器人100与负载力交互相关联。响应于(例如，使用输入设备266)选择，用户可以随后定义拉动任务的参数化动作，如下面进一步详细描述的。
在步骤320处，用户定义所选择的任务的一个或多个参数化动作，并且一个或多个处理器202生成力向量界面并将其传输到虚拟现实系统160。响应于接收到力向量界面，虚拟现实系统的显示设备270显示力向量界面。如上所述，任务的参数化动作中的至少一个可能不与和负载力的交互相关联。因而，如果由用户定义的特定参数化动作与和负载力的交互相关联，那么显示设备270可以显示力向量界面。作为步骤320的非限制性示例并且如图4C-4D中所示，虚拟现实表示400可以显示指示性文本440，指示用于定义拉动任务的参数化动作的指令，诸如使用第一点450-1和第二点450-2定义拉动任务的表示性位置(即，标注第一线点和第二线点)。此外，由于定义表示性位置可能不与和负载力的交互相关联，因此虚拟现实表示400可能不生成力向量界面。
作为另一个非限制性示例，将夹持组件108打开到拉动任务的期望角度的参数化动作可能不与和负载力的交互相关联，即使拉动任务作为整体可能与和负载力的交互相关联。作为又一个非限制性示例，将夹持组件108移动到6D提升姿势的参数化动作可以与和负载力的交互相关联(例如，夹持组件108需要产生100N的力以便将夹持组件108移动到6D提升姿势)。
在一些实施例中，虚拟现实系统160的显示设备270可以在定义参数化动作时显示附加的图形元素。作为非限制性示例并且如图4E中示意性描绘的，响应于定义拉动任务的表示性位置，显示设备270可以更新虚拟现实表示400以包括表示机器人100的夹持组件108的图形元素460和表示机器人100的臂106的图形元素465。使用虚拟现实系统160的输入设备266，用户可以操纵图形元素460和图形元素465之一的位置，使得它与位于第一点450-1和第二点450-2之间的线455对齐。
此外，如果用户定义的参数化动作与和负载力的交互相关联，那么显示设备270可以更新虚拟现实表示400以包括力向量界面。作为非限制性示例并且如图4F中所示，用户可以将拉动任务的下一个参数化动作定义为定义机器人臂106的旋转特性。因而，显示设备270可以更新虚拟现实表示400以包括力向量界面，其可以包括输入力量值的值470的提示和交互式定位力箭头480。力量值的值470可以指示与参数化动作相关联的力值(例如，11N)，并且力箭头480可以指示与参数化动作相关联的方向。
返回参考图3，当用户在步骤320处将力量值和力方向中的至少一个分配给参数化动作时，运动训练可以暂停(例如，使用输入设备266)以便分配力量值和/或力方向。一旦力量值和/或力方向被分配给参数化动作，就可以重新开始运动训练。由此，由一个或多个参数化运动定义的任务包括机器人100在自主操作预定义任务时可以利用的力参数。
在步骤325处，一个或多个处理器202接收用于对应参数化动作的力向量选择。作为步骤325的非限制性示例，用户可以使用虚拟现实系统160的输入设备266来定义力量值和力方向中的至少一个。在一些实施例中，参考图4F，力量值的值470和力箭头480可以被配置为响应于用户定义力量值和/或力方向而更新。作为非限制性示例，响应于增加参数化动作的力值，可以更新力量值的值470和/或可以增加力箭头480的长度以反映更新后的力值。作为另一个非限制性示例，响应于减小参数化动作的力值，可以更新力量值的值470和/或可以减小力箭头480的长度以反映更新后的力值。作为又一个非限制性示例，响应于调整力方向，力箭头480可以基于调整后的力方向调整其形状、尺寸和/或朝向。
返回到图3，在步骤330处，一个或多个处理器202将所选择的力向量分配给参数化动作，并且然后进行到步骤335。
在步骤335处，一个或多个处理器202确定任务是否包括附加的参数化动作。如果是，那么方法300进行到步骤320；否则，方法300进行到步骤340。在步骤340处，一个或多个处理器202确定是否需要定义机器人100的附加任务。作为步骤340的非限制性示例，用户可以使用虚拟现实系统160的输入设备266向机器人100发送指示是否需要定义机器人100的附加任务的信号。如果是，那么方法300进行到步骤345。在步骤345处，虚拟现实系统160的用户操纵机器人100并选择要定义的下一个任务，并且然后进行到步骤315。如果不需要定义机器人100的附加任务，那么方法300结束。
现在应该理解的是，本公开的实施例涉及被配置为将力向量分配给机器人的各种任务的机器人和虚拟现实系统。将力向量分配给某些任务确保了机器人执行各种任务时的最佳鲁棒性。此外，使用虚拟现实系统来分配机器人的一个或多个任务的力向量使用户能够定义一个或多个任务和任何相关联的力向量，而无需利用任务空间运动控制来定义机器人的一个或多个任务。
虽然本文已经图示和描述了特定实施例，但是应该理解的是，在不脱离所要求保护的主题的范围的情况下，可以进行各种其它改变和修改。此外，虽然本文已经描述了所要求保护的主题的各个方面，但是这些方面不需要组合使用。因此，所附权利要求旨在涵盖在所要求保护的主题范围内的所有此类变化和修改。

Claims (20)

1.一种系统，包括：
电子控制器，被配置为：
生成环境的虚拟现实表示；
在环境的虚拟现实表示中生成包括至少一个任务用户界面元素的菜单；
确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项；
提示用户配置虚拟机器人操纵任务的力参数；以及
响应于从提示接收到的用于配置力参数的输入，将力量值或力方向中的至少一个分配给虚拟机器人操纵任务。
2.如权利要求1所述的系统，其中所述电子控制器被配置为：
从图像捕获设备接收环境的图像数据；
从成像设备接收与环境对应的深度信息；以及
基于图像数据和深度信息生成虚拟现实表示。
3.如权利要求1所述的系统，其中确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项还使所述电子控制器确定所述至少一个任务用户界面元素与至少一个参数化动作相关联。
4.如权利要求1所述的系统，其中所述电子控制器被配置为将虚拟现实表示和菜单中的至少一个传输到显示设备。
5.如权利要求1所述的系统，其中所述电子控制器被配置为：
从输入设备接收对所述至少一个任务用户界面元素的选择；以及
从输入设备接收提示中用于配置力参数的输入。
6.一种系统，包括：
电子控制器，被配置为：
显示环境的虚拟现实表示；
在虚拟现实表示中显示包括至少一个任务用户界面元素的菜单；
确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项；
显示指示用户配置虚拟机器人操纵任务的力参数的提示；以及
响应于从提示接收到的用于配置力参数的输入，传输指示将力量值或力方向中的至少一个分配给虚拟机器人操纵任务的信号。
7.如权利要求6所述的系统，其中显示提示还包括显示：
被配置为指示力的量值的力量值元素；以及
被配置为指示力的方向的力方向元素。
8.如权利要求7所述的系统，其中从提示接收到的输入还包括：
使用输入设备与力量值元素的第一交互；以及
使用输入设备与力方向元素的第二交互。
9.如权利要求6所述的系统，其中确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项还包括使用输入设备接收对所述至少一个任务用户界面元素的选择。
10.如权利要求6所述的系统，其中所述电子控制器被配置为：
从图像捕获设备接收环境的图像数据；以及
基于图像数据显示虚拟现实表示。
11.如权利要求10所述的系统，其中所述电子控制器被配置为：
从成像设备接收环境的成像数据；以及
基于成像数据显示虚拟现实表示。
12.如权利要求6所述的系统，其中确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项还使所述电子控制器接收所述至少一个任务用户界面元素与至少一个参数化动作相关联的指示。
13.一种方法，包括：
由一个或多个处理器生成环境的虚拟现实表示；
由所述一个或多个处理器在环境的虚拟现实表示内生成包括至少一个任务用户界面元素的菜单；
由所述一个或多个处理器确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项；
由所述一个或多个处理器提示用户配置虚拟机器人操纵任务的力参数；以及
响应于从提示接收到的用于配置力参数的输入，由所述一个或多个处理器将力量值或力方向中的至少一个分配给虚拟机器人操纵任务。
14.如权利要求13所述的方法，还包括：
由所述一个或多个处理器从图像捕获设备接收环境的图像数据；
由所述一个或多个处理器从成像设备接收与环境对应的深度信息；以及
由所述一个或多个处理器基于图像数据和深度信息生成虚拟现实表示。
15.如权利要求13所述的方法，其中确定何时从菜单中的所述至少一个任务用户界面元素中选择用于配置力参数的选项还包括由所述一个或多个处理器确定所述至少一个任务用户界面元素与至少一个参数化动作相关联。
16.如权利要求13所述的方法，还包括由所述一个或多个处理器将虚拟现实表示和菜单中的至少一个传输到显示设备。
17.如权利要求13所述的方法，还包括：
由所述一个或多个处理器从输入设备接收对所述至少一个任务用户界面元素的选择；以及
由所述一个或多个处理器从输入设备接收提示中用于配置力参数的输入。
18.如权利要求13所述的方法，还包括：
由所述一个或多个处理器将虚拟现实表示传输到虚拟现实系统，其中虚拟现实表示被配置为使虚拟现实系统响应于接收到虚拟现实表示而使用虚拟现实系统的显示设备来显示虚拟现实表示。
19.如权利要求18所述的方法，还包括：
由所述一个或多个处理器将菜单传输到虚拟现实系统，其中传输菜单被配置为使虚拟现实系统响应于接收到菜单而使用显示设备显示菜单。
20.如权利要求18所述的方法，还包括：
由所述一个或多个处理器将提示传输到虚拟现实系统，其中传输提示被配置为使虚拟现实系统响应于接收到提示而显示提示。
CN202080063749.4A 2019-09-13 2020-08-20 将力向量分配给机器人任务的方法和系统 Pending CN114364497A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962900143P 2019-09-13 2019-09-13
US62/900,143 2019-09-13
US16/692,272 2019-11-22
US16/692,272 US11262887B2 (en) 2019-09-13 2019-11-22 Methods and systems for assigning force vectors to robotic tasks
PCT/US2020/047132 WO2021050232A1 (en) 2019-09-13 2020-08-20 Methods and systems for assigning force vectors to robotic tasks

Publications (1)

Publication Number Publication Date
CN114364497A true CN114364497A (zh) 2022-04-15

Family

ID=72422233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080063749.4A Pending CN114364497A (zh) 2019-09-13 2020-08-20 将力向量分配给机器人任务的方法和系统

Country Status (6)

Country Link
US (1) US11262887B2 (zh)
EP (1) EP4027930A1 (zh)
JP (1) JP7326595B2 (zh)
KR (1) KR102554815B1 (zh)
CN (1) CN114364497A (zh)
WO (1) WO2021050232A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7224559B2 (ja) * 2020-12-10 2023-02-17 三菱電機株式会社 遠隔制御マニピュレータシステムおよび遠隔制御支援システム
KR102639276B1 (ko) * 2021-12-09 2024-02-22 한국전자기술연구원 가상 공간의 다양한 작업 콘텐츠를 이용하여 원격에서 로봇을 제어하는 원격제어장치 및 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150190925A1 (en) * 2014-01-07 2015-07-09 Irobot Corporation Remotely Operating a Mobile Robot
US9582933B1 (en) * 2012-06-26 2017-02-28 The Mathworks, Inc. Interacting with a model via a three-dimensional (3D) spatial environment
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
US20170203438A1 (en) * 2015-03-04 2017-07-20 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US20180029232A1 (en) * 2016-07-29 2018-02-01 Seiko Epson Corporation Control apparatus and robot
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和系统
US10166674B1 (en) * 2015-05-27 2019-01-01 X Development Llc Adapting programming of a robot and/or control of the robot based on one or more parameters of an end effector of the robot
US20190202053A1 (en) * 2018-01-02 2019-07-04 General Electric Company Systems and method for robotic learning of industrial tasks based on human demonstration

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835693A (en) * 1994-07-22 1998-11-10 Lynch; James D. Interactive system for simulation and display of multi-body systems in three dimensions
WO2009044287A2 (en) * 2007-04-16 2009-04-09 The Governors Of The University Of Calgary Methods, devices, and systems for automated movements involving medical robots
US8253746B2 (en) * 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US9104202B2 (en) 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
US8718837B2 (en) 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
US9092698B2 (en) 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
WO2014110682A1 (en) 2013-01-18 2014-07-24 Robotiq Inc. Force/torque sensor, apparatus and method for robot teaching and operation
US9465384B1 (en) * 2013-06-24 2016-10-11 Redwood Robotics, Inc. Methods and systems for tiered programming of robotic device
EP3114677B1 (en) 2014-03-03 2020-08-05 University of Washington Haptic virtual fixture tools
US9579799B2 (en) 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
US20150328772A1 (en) * 2014-05-14 2015-11-19 Yaskawa America, Inc. Method, apparatus, and medium for programming industrial robot
US9880553B1 (en) * 2015-04-28 2018-01-30 Hrl Laboratories, Llc System and method for robot supervisory control with an augmented reality user interface
JP6676286B2 (ja) * 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
US10730180B2 (en) * 2015-05-29 2020-08-04 Abb Schweiz Ag User interface for a teleoperated robot
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
US9671777B1 (en) 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
US10242476B2 (en) * 2017-05-31 2019-03-26 Verizon Patent and Licensong Inc. Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user
US10610303B2 (en) * 2017-06-29 2020-04-07 Verb Surgical Inc. Virtual reality laparoscopic tools
US10562181B2 (en) * 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions
JP7187765B2 (ja) * 2017-07-24 2022-12-13 セイコーエプソン株式会社 ロボット制御装置
EP3566824B1 (en) * 2018-05-11 2023-06-28 Siemens Aktiengesellschaft Method, apparatus, computer-readable storage media and a computer program for robotic programming
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582933B1 (en) * 2012-06-26 2017-02-28 The Mathworks, Inc. Interacting with a model via a three-dimensional (3D) spatial environment
US20150190925A1 (en) * 2014-01-07 2015-07-09 Irobot Corporation Remotely Operating a Mobile Robot
CN106575153A (zh) * 2014-07-25 2017-04-19 微软技术许可有限责任公司 虚拟现实环境内基于注视的对象放置
CN107850936A (zh) * 2015-01-28 2018-03-27 Ccp公司 用于提供物理环境的虚拟显示的方法和系统
US20170203438A1 (en) * 2015-03-04 2017-07-20 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
US10166674B1 (en) * 2015-05-27 2019-01-01 X Development Llc Adapting programming of a robot and/or control of the robot based on one or more parameters of an end effector of the robot
US20180029232A1 (en) * 2016-07-29 2018-02-01 Seiko Epson Corporation Control apparatus and robot
US20190202053A1 (en) * 2018-01-02 2019-07-04 General Electric Company Systems and method for robotic learning of industrial tasks based on human demonstration

Also Published As

Publication number Publication date
JP2022538370A (ja) 2022-09-01
EP4027930A1 (en) 2022-07-20
KR102554815B1 (ko) 2023-07-14
WO2021050232A1 (en) 2021-03-18
US20210081081A1 (en) 2021-03-18
JP7326595B2 (ja) 2023-08-15
US11262887B2 (en) 2022-03-01
KR20220108761A (ko) 2022-08-03

Similar Documents

Publication Publication Date Title
US9002517B2 (en) Telematic interface with directional translation
US10759051B2 (en) Architecture and methods for robotic mobile manipulation system
US8306661B2 (en) Method and system for establishing no-entry zone for robot
US11279036B2 (en) Methods and systems for implementing customized motions based on individual profiles for identified users
CN113677486A (zh) 用于一个或多个机器人的约束管理的系统和方法
EP3585569B1 (en) Systems, apparatus, and methods for robotic learning and execution of skills
JP7326595B2 (ja) ロボットのタスクに力のベクトルを割り当てるための方法及びシステム
CN111319039B (zh) 机器人
JP6897396B2 (ja) 制御装置、ロボットシステムおよび制御方法
CN117103277A (zh) 一种基于多模态数据融合的机械手臂感知方法
Quesada et al. Holo-SpoK: Affordance-aware augmented reality control of legged manipulators
WO2020179416A1 (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
Donohoe et al. Mechatronic implementation of a force optimal underconstrained planar cable robot
JP7487118B2 (ja) １つ以上のロボット相互参照パラグラフの自然ロボットタスクのためのシステム及び方法
CN114845841A (zh) 控制方法、控制装置、机器人系统、程序及记录介质
KR20230138487A (ko) 객체 기반 로봇 제어
Graefe et al. The sensor-control Jacobian as a basis for controlling calibration-free robots
US11491658B2 (en) Methods and systems for automatically annotating items by robots
US20220301209A1 (en) Device and method for training a neural network for controlling a robot
US11731278B1 (en) Robot teleoperation using mobile device motion sensors and web standards
Jiménez et al. Autonomous object manipulation and transportation using a mobile service robot equipped with an RGB-D and LiDAR sensor
Raja et al. Real time navigation of a mobile robot
Yoon et al. Algorithm to Automatically Generate Non-Collision Trajectory to Perform Pick-and-Place Operation with a Mobile Manipulator
Nandikolla et al. Research Article Teleoperation Robot Control of a Hybrid EEG-Based BCI Arm Manipulator Using ROS
Portilla Design of a Robotic Arm Manipulator Using Hybrid BCI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination