CN104602868B - 用于机器人训练的用户接口 - Google Patents

用于机器人训练的用户接口 Download PDF

Info

Publication number
CN104602868B
CN104602868B CN201380043813.2A CN201380043813A CN104602868B CN 104602868 B CN104602868 B CN 104602868B CN 201380043813 A CN201380043813 A CN 201380043813A CN 104602868 B CN104602868 B CN 104602868B
Authority
CN
China
Prior art keywords
robot
user
adnexa
touch
sense
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380043813.2A
Other languages
English (en)
Other versions
CN104602868A (zh
Inventor
伊莱恩·Y·陈
罗德尼·布鲁克斯
布鲁斯·布鲁姆伯格
诺艾尔·戴
迈克尔·凯恩
迈克尔·萨斯曼
纳坦·林德
保拉·朗
克里斯多夫·J·比勒
马修·M·威廉姆森
约瑟夫·M·罗马诺
威廉·A·古德温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rethink Robotics Inc
Original Assignee
Rethink Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rethink Robotics Inc filed Critical Rethink Robotics Inc
Publication of CN104602868A publication Critical patent/CN104602868A/zh
Application granted granted Critical
Publication of CN104602868B publication Critical patent/CN104602868B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081Touching devices, e.g. pressure-sensitive
    • B25J13/084Tactile sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • B25J9/0087Dual arms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1682Dual arm manipulator; Coordination of several manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39451Augmented reality for robot programming
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39466Hand, gripper, end effector of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40116Learn by operator observation, symbiosis, show, watch
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80Management or planning
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/03Teaching system
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/09Closed loop, sensor feedback controls arm movement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/30End effector
    • Y10S901/31Gripping jaw
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)
  • Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据各个实施例,在机器人内嵌入的用户接口经由直接和直觉的物理交互促成了机器人训练。在一些实施例中,用户接口包括手腕套箍,当由用户抓住该手腕套箍时,将机器人转换到不受力重力补偿模式。

Description

用于机器人训练的用户接口
相关申请的交叉引用
本发明要求在2012年9月17日提交的申请号为13/621657、13/621706、13/621708、13/621658、13/621648、13/621687、13/621517、13/621519和13/621561的美国专利申请,还有在2012年6月12日提交的申请号为61/662646以及在2012年7月27日提交的申请号为61/676586的美国临时专利申请的优先权和权益,该美国专利申请和美国临时专利申请通过引用被全部包含与此。
技术领域
本发明总的涉及机器人用户交互和机器人训练。更具体地,各个实施例涉及促成直接物理交互的用户接口。
背景技术
工业机器人执行各种各样的任务,该任务涉及在不具有人类干预或仅具有最少人类干预的情况下对物理对象的精确和重复的移动与操纵。例如,机器人用于喷涂汽车零部件、将部件焊接到一起,以及组装电子装置。机器人还可以用于根据特定的坐标在特定位置处拿起对象、将它们传送到目的位置,并且将它们放下,例如,将它们堆叠或者放置到存在于目的位置处的纸板盒内。典型的工业机器人包括具有被设计来用于特定的任务的终端执行器的一个或多个手臂,以及相关联的基于计算机的控制器。
通常用语言来编程用于现有的工业机器人的控制器,该语言为机器人手臂指定精确的位置和轨迹。在编程的任务的执行期间,机器人手臂将与其最末端的链节(link)相关联的参考坐标按精确指定的轨迹移动到精确指定的新位置。现有工业机器人成功的原因在于它们在受限环境中的操作,其允许编程机器人的人(通常参与构造机器人的工作空间的过程)以高可信度预测哪些对象将一直存在于工作空间中以及它们将位于哪里。因此,将机器人手臂上的参考点经由特定的轨迹移动到特定的坐标,并且接着操作终端执行器(例如打开或关闭机器人的夹持器),导致现实世界中的动作,该动作完成期望的机器人的特定任务。
编程传统工业机器人通常需要高级的技术专长,并且要求用户从机器人可以理解的角度思考。例如,程序员可使用六维向量来指定沿着机器人手臂最末端的链节的方向的三维空间中的参考点。对于具有六或者更少的自由度的机器人手臂,该向量唯一确定机器人的所有关节的设置。如果机器人手臂具有多于六的自由度,则需要进一步指定手臂的期望姿势,以消除任何歧义。
用于工业机器人的当前编程系统具有用户输入层,该用户输入层允许程序员通过设置轨迹的端点来规避六维向量,其中,通过将手臂物理地移动到期望的姿势和位置并且接着使得机器人记录该位置来设置轨迹的端点。在一种方法中,这由远程、网络化计算机或者在示教阶段插入机器人控制器的外部示教附件(即手持式控制终端)来实现。示教附件通常包括LCD屏、操纵杆或类似的操纵装置、一个或多个按钮,且有时包括完整的键盘(其可以是在触摸屏上弹出的“软”键盘),它们一起允许用户来控制和移动机器人。另一种技术涉及将测力传感器(可选地具有把手)装配到机器人手臂的最末端的链节,并且使用户将该手臂转换到一种模式,其中在该模式下机器人对由测力传感器检测到的力作出响应,这允许用户用手将机器人手臂引导到期望的位置。通常,这首先需要远程地将机器人从执行模式转换到训练模式,其中,在执行模式下机器人根据之前编程的任务进行移动,在训练模式下用户接近机器人是安全的。其次,需要将机器人转换到可引导模式,其中用户可以例如通过按下示教附件上的按钮,来将机器人手臂向四周自由地移动并且记录位置。
在用这种方式对机器人教导位置或轨迹后,程序员接着向机器人提供明确的动作命令。例如,如果任务涉及拿起对象,则程序员可能需要指定机器人必须降低其夹持器的距离、对象的宽度或者在机器人手指之间用于拿起对象的必要的距离,和/或机器人需要施加于对象以便握住该对象的力。本步骤还需要程序员将甚至如拿起对象一样简单的任务分解为离散的步骤,并且为每个步骤提供精确的参数值。
一旦已为特定任务恰当地编程了机器人,该机器人可以重复和有效地执行该任务,而不是任何其他任务。将该机器人用于不同任务可能实质上需要重新编程它,这是耗时并且因此代价很高的过程。
类似地,对编程的任务的任何调整(例如拿起或目的位置的变化)是难以实现的,因为它们可能需要重写之前输入的参数和/或重复训练过程的步骤。因此,传统的工业机器人通常被设计和利用来在生产过程中执行高度专业化、价值增值的任务,其中由通过自动化的随后的成本节约来担保在机器人硬件和软件中的大量投资。尽管对人类来说经常是单调的,但具有一定程度的变化性(该变化性使得用传统机器人实现它们的自动化是成本低效的)的更通用任务通常留给了人类劳动者。
因此,需要可以针对新任务容易且快速地训练的通用的机器人,优选地,不需要训练员的专业技术能力。
发明内容
在各个实施例中,本发明提供能够经由不需要特殊技术专长的直觉的、与人类似的交互针对各种任务来训练的机器人。因此,可快速且经济实惠地将该机器人结合到生产过程中。在一些实施例中,在机器人中嵌入用户接口,并且该用户接口促成了机器人和用户之间的直接物理交互,这消除了对外部示教附件或者其他远程控制的需求。在其他交互中,机器人促成了机器人手臂或其他附件的用户引导(无需测力传感器),这允许用户直接抓住手臂,并且在一些实施例中,还在用户握着手臂的同时向她提供触觉反馈。
通常在力控制的模式下以及以对于用户接近机器人来说安全的方式(例如,甚至当机器人移动以执行任务时)操作机器人,以便将机器人转换到训练模式,其中力控制的模式允许机器人快速响应任何外部力。在一些实施例中,机器人包括在其每个手臂上的手腕套箍,当由用户操纵(例如抓住)该手腕套箍时,自动将机器人转换到训练模式以及不受力重力补偿模式,该不受力重力补偿模式允许用户手动地引导手臂。机器人保持在该可引导模式下除非用户放开套箍,并且不转换回执行模式,直到其接收到要这样做的明确命令。机器人可被编程和配置为使得一旦用户将手臂带入期望位置,她可以采用简单推动按钮来指导机器人执行特定的动作(例如,在对象周围关闭夹持器)。除了在训练期间充当输入装置,当由用户引导时,机器人手臂还可以向用户提供触觉反馈。例如,为避免自碰撞,当用户将手臂推向可能导致与另一个机器人部分的潜在有害接触的方向时,机器人可施加增加的阻力。当由用户握着时,手臂还可以响应于某些条件(例如,接近特定类型的对象)施加随时间变化的力模式(或“触觉签名”),从而向用户提供直觉的信息。
作为其用户接口的部分,机器人可包括位于其主体上各个地方的触摸板,其允许机器人基于触摸检测和推断用户的位置,并且作为响应转向用户。另外,机器人可具有数个位置方便的相同的机械控制件集合(称作“导航器”),其允许用户在与机器人交互的期间改变她的位置而不导致中断。机器人还可以模仿某些人类行为,以提供关于其内部状态或者其想要执行的下一个动作的直觉上可理解的线索。例如,机器人屏幕可显示眼睛,其通过它们的注视指示机器人要移动的方向,或者通过困惑的表情来通知用户机器人需要进一步输入。
由于它们易于使用,因此对于针对新任务训练和重新训练机器人,用户接口据此造成相当低的障碍,并且因此,可在许多情况(其中传统机器人可能成本昂贵)下经济地部署它们。使用根据各个实施例的机器人的好处包括:例如自动执行高重复性、单调且非人体工学(并且因此对于人类这样做通常不健康)的简单任务
在一个方面,本发明涉及一种机器人,包括具有在其末端(即远离机器人的自由终端)处设置的套箍的能够移动的机器人附件。所述套箍包括压力感应开关(例如,包括柔性电阻器或微按钮开关),以及围绕所述套箍在其上设置的压力传递层(例如,包括弹性橡胶或者由弹性橡胶组成),用于将外部施加的压力传递给所述开关。在一些实施例中,所述套箍还包括在该套箍的两个相对侧的每一侧上的多个能够按压的按钮。可通过触摸来区别所述按钮,例如,一个按钮可以是凸状的且其他是凹状的,和/或一个按钮可以是圆形的且其他按钮是细长形的。所述机器人还包括在所述套箍被抓住时响应于施加于所述开关的压力的电路,其使得所述机器人在不受力重力补偿模式下操作,其中所述附件响应于施加于所述套箍的力实质上没有阻力地移动。在一些实施例中,所述机器人交替地在训练模式或者执行模式下操作,其中所述机器人在训练模式下学习和存储与任务相关的参数,所述机器人在执行模式下根据之前存储的参数来执行任务;所述电路在这种情况可响应于施加于所述开关的压力,还使得所述机器人在训练模式下操作。
在另一个方面,本发明涉及一种能够与用户直接交互的机器人。所述机器人包括主体,其具有躯干和附接到该躯干的头部和至少一个附件。用户接口集成到所述机器人主体,其包括用于向用户传达信息的视觉显示器、用于捕获所述机器人的环境的图像的一个或多个摄像机;以及响应于触摸或者机械致动中的至少一个的一个或多个机械输入装置。所述机器人还具有处理器,用于处理由所述用户接口捕获的输入,并且基于该输入控制所述附件和/或视觉显示器。用户接口可被配置为促成编程和/或训练所述机器人(不需要所述机器人外部的额外输入装置)。所述机器人还可以包括具有部分的基座,该部分可翻转并且根据该部分的哪一侧向上以及哪一侧向下,向所述基座的高度提供不同的量。
在一些实施例中,所述视觉显示器被配置为在显示器的不同部分交替或同时显示由摄像机捕获的图像、图形用户接口和/或显示面部表情的计算机图形。经由面部表情,所述机器人可向用户提供直觉的信息,例如,机器人可以通过其眼睛注视的方向发出其要移动到哪的信号。在一些实施例中,机械输入装置包括例如在所述躯干的两侧上以及在每个附件上布置的多个相同的导航器(即机械致动的元件或者其他用户控制件的集合)。所述导航器可被共同配置为使得经由多个导航器提供的一系列用户输入与经由单独一个导航器提供的该一系列用户输入导致相同的响应。在一些实施例中,在所述机器人上的不同位置设置机械输入装置,并且所述处理器被配置为响应于用户对一个机械输入装置的操纵以及基于被操纵的输入装置的位置,使所述机器人转向用户的估计位置(例如,通过将视觉显示器转至面向用户和/或将一个附件向用户移动)。例如,机器人可包括在肩膀上设置的触摸板,和/或在所述附件的末端处附接到所述附件的手腕套箍。
在另一个方面,本发明提供一种被配置为与用户交互的机器人,其包括在所述机器人上的不同位置设置的多个用户输入装置;以及处理器,用于响应于经由任何用户输入装置提供的输入并且基于该用户输入装置的位置,使所述机器人转向用户的估计位置。
在又一个方面,本发明提供一种机器人(也被配置为与用户交互),包括机器人主体,其具有躯干和附接到该躯干的头部和一个或多个附件;用于接收来自用户的输入的多个相同的导航器;以及处理器,用于处理所述输入,并且基于所述输入控制所述附件的动作。在所述机器人上的不同位置设置导航器,且所述导航器和处理器被共同配置为使得经由多个导航器提供的一系列用户输入与经由单独一个导航器提供的该一系列用户输入导致相同的动作。
在进一步的方面提供一种机器人-用户交互方法。所述方法包括遵循在所述机器人上的不同位置设置的多个相同的导航器中的第一导航器的操纵,使得根据第一导航器的操纵执行动作的步骤;以及遵循相同的导航器中的第二导航器的随后的操纵,使得所述机器人根据第二导航器的操纵继续执行所述动作的步骤。
另一个方面涉及一种机器人,具有用于操纵对象的一个或多个用户可引导的机器人附件(每个附件包括一个或多个可移动的关节)以及用于生成在所述关节处的力的触觉模块。可用硬件(包括通常用于将力施加于关节的硬件)和/或软件实现的所述触觉模块被配置为在所述机器人的其他部分周围的指定空间区域内至少部分地抵抗所述至少一个附件的用户引导,以便预防在附件和所述机器人的其他部分之间的碰撞。由所述触觉模块生成的力可(线性或非线性)取决于在所述附件和所述机器人的其它部分之间的距离,和/或取决于所述附件的运动方向或者速度。在某些实施例中,所述力随所述附件向所述机器人的其他部分移近而增加。
在一个方面,本发明还提供一种用于向引导机器人附件的用户提供触觉反馈的机器人实现的方法。所述方法涉及:在附件进入所述机器人的其他部分周围的指定空间区域时,通过生成在所述附件处的阻力来至少部分地抵抗所述附件的用户引导,以便预防在所述附件和所述机器人的其它部分之间的碰撞。阻力的大小可取决于所述附件与所述机器人的其他部分的距离和/或所述附件的运动方向或速度。
在进一步的实施例中,本发明的各个实施例提供了一种机器人,具有包括用于操纵对象的终端执行器的用户可引导的机器人附件、用于生成在所述终端执行器处的力的触觉模块;以及用于监控实际或模拟环境中的一个或多个环境条件(例如,在指定位置出现所述机器人或者在机器人摄像机的视野中出现指定对象)的存在的控制系统,该环境条件具有与其相关联的相应触觉签名。响应于检测到一个环境条件,控制系统使得所述触觉模块根据与检测到的环境条件相关联的触觉签名来生成随时间变化的力。机器人还可以包括训练模块,该训练模块被配置为将所述触觉签名与相应的环境条件相关联。
在另一个方面,本发明涉及一种用于向引导机器人终端执行器的用户提供触觉反馈的机器人实现的方法,该方法涉及响应于检测到实际或模拟环境条件,根据与检测到的环境条件相关联的触觉签名生成在终端执行器处的随时间变化的力。
附图说明
根据本发明下面的具体实施方式,尤其在结合附图领会该具体实施方式时,前述内容将更容易理解,其中:
图1是描述根据各个实施例的系统的框图;
图2A和2B是根据各个实施例的机器人的透视图;
图3A-3D是根据各个实施例的机器人夹持器的透视图;
图4A是根据各个实施例的机器人基座的分解图;
图4B和4C是根据各个实施例的在两种配置下的图4A的机器人基座的透视图;
图4D和4E是根据各个实施例的在两种配置下的图4A的机器人基座的可翻转部分的透明侧视图;
图5是根据各个实施例的导航器的透视图;
图6是根据各个实施例的手腕套箍(wrist cuff)的透视图;以及
图7是描述根据各个实施例的机器人计算和控制功能的实现的框图。
具体实施方式
根据本发明的机器人可通常在两种模式下操作:训练模式和任务执行模式,其中在训练模式下机器人经由感测和用户输入学会如何执行某些任务,且在任务执行模式期间该机器人(可选地,部分基于机器人经由传感器对其环境的感知)自主地执行任务,而无需直接的用户交互。本文中,广泛地使用术语“训练”,并且其意在包含在任务(其中正为该任务训练机器人)执行之前的专用训练会话,以及在更多用户信息和/或反馈补充之前接收的训练的情况下(例如,由于在训练会话期间没有预料到所遇到的情况)任务执行的中断。
在各个实施例中,本发明提供机器人-用户接口,其经由机器人和用户之间的直接交互促成机器人训练。该接口的一些组件是专用的用户输入/输出装置,而其他组件具有独立于用户交互的功能,但在某些情况下辅助充当输入和/或输出装置。图1概念性地描述了根据各个实施例的机器人的主要功能系统组件,由粗的轮廓指示作为用户接口的部分的组件,即促成与用户的信息交换。
机器人包括一个或多个附件100,其通常包括用于操纵和移动对象或者执行其他有用工作的终端执行器,例如平行的双指夹持器、吸盘夹持器或者多指灵巧手。附件100通常包括经由可移动关节连接的多个链节,该关节诸如是铰链或旋转关节。由一个或多个控制器102控制附件100的移动,该控制器102通常包括监控和改变机器人位置、运动学、动力学和力的较高级机器人控制器104,以及与高级控制器104通信并且接收来自高级控制器104的命令的一个或多个关节级控制器106,该一个或多个关节级控制器106驱动与关节相关联的独立的电机和致动器,以便如所指示地移动附件100或者机器人的其他移动部分。附件100还可以具有一个或多个集成的力传感器108,该力传感器108测量外部(例如当用户引导机器人手臂时由该用户)施加于该附件的力。
机器人通常还包括一个或多个摄像机110或者其他光传感器,用于在训练期间以及任务执行期间在视觉上感知其环境。另外,机器人可利用其他类型的传感器112来捕获关于其环境和/或其自身状态的信息,其中传感器112例如是压力传感器、温度传感器、声纳传感器、加速计、陀螺仪等。例如,机器人可使用声纳传感器的环来检测附近的对象或者人,并且使用加速计或陀螺仪来跟踪其主体和附件的位置和方向。
除了这种通用的感测输入,机器人还可以从用户接收输入。出于该目的,机器人可包括用户可操纵机械控制件114(如按钮、拨号盘、滑块等)、触摸感应盘116,以及允许用户经由直接物理接触与机器人交互的类似的控制件。如果将机器人附件100配置为检测由用户施加的力和/或导致的位置变化,机器人附件100自身可充当这种机械输入装置。在某些实施方式中,用户还可以例如通过在摄像机的视野内打手势来提供视觉输入,因此,摄像机110可以是用户接口的部分。最后,机器人可包括诸如鼠标和键盘的传统用户输入装置,和/或像麦克风的音频输入装置(未示出)。为促成从机器人到用户的反向信息流,机器人可具有一个或多个用于显示文本和/或图像的视觉输出装置(如显示器118),和/或音频输出装置(如扬声器)。此外,附件100可充当输出装置:在用户(例如握着终端执行器)移动附件100时,他可以体验触觉反馈,即由机器人内部生成的、用于自主地移动附件100或者抵抗用户的移动的力。
计算设施114位于机器人的中心,其处理感测和用户输入,并且控制机器人的移动以及去往输出装置的信息和信号流。可将计算设施114嵌入机器人中,或者远程提供计算设施114且计算设施114经由有线或无线链接与机器人通信。如在下文中更详细解释的,计算设施114可基于其操作模式执行不同的程序模块。例如,任务执行模块120可包括用于由机器人基于感测输入自主执行任务的指令,而训练模块122可管理用户交互和机器人学习。任务执行和训练模块120、122可由一组共享的数据结构联系在一起并且通过其交互,其中在训练阶段创建和/或填充并且随后在任务执行阶段使用该组共享的数据结构。用这种方法,计算设施114和用户接口一起可以促成针对特定任务经由直觉的、以任务为中心的交互来训练机器人。然而,本文描述的各种用户接口组件也可以用于训练传统工业机器人(例如,通过沿期望轨迹引导机器人的附件,其中由机器人记录该期望轨迹供以后使用),并且不需要与本文描述的特定架构结合。
图2A和2B示出了根据本文一个示例性实施例的机器人200。机器人200具有人形外观:其包括主体(或躯干)202、头部204,以及具有在其终端处附接的夹持器208的两个手臂206。每个手臂包括七个链节和在其末端的手腕209。链节经由七个关节彼此连接并且被连接到机器人主体202,该七个关节一起为手臂206的运动提供了七自由度。如图2A中的箭头所指示的,每个关节或者提供铰链,该铰链允许两个链节之间的角度变化(即允许链节绕通过关节的轴转动,该轴与该链节的轴垂直),或者促成更末端的链节绕其轴转动。机器人200通常在力控制模式下操作,而不是如许多传统工业机器人在位置控制模式下操作。在位置控制模式下,不管它们可能在它们的轨迹上遇到的任何外力,机器人手臂接收命令以(通常非常快速地)移动到指定的空间坐标,这使得当机器人在移动时进入机器人的工作空间通常是危险的。与之相比,在力控制模式下,致动器将指定的力施加于关节。尽管可计算导致将手臂移动到某些空间位置和/或沿某些轨迹移动的力,但是当机器人遇到意外的外力时,计划的运动通常将被中断。因此,力控制模式使得例如在出现由意外碰撞导致的力的情况下,在机器人上执行的碰撞检测行为能够停止运动。在示例的机器人200中,关节中的串联弹性致动器(SEA)用来施加如由关节级控制器106指示的力,并且测量在关节处的力,以便用于反馈控制、碰撞检测并且估计外部(例如由用户)施加于手臂206的手腕209的任何力。例如,在1997年7月22日发布的美国专利No.5650704中详细描述了SEA,该美国专利的全部披露内容通过引用被包含于此。
机器人的夹持器208可以是适用于特定应用中的机器人操作的任何终端执行器。在一些实施例中,它们是机械夹持器,例如,每个机械夹持器包括从手腕209延伸出来的、彼此平行的两个或更多个手指,并且与对方具有可变、机械可调节的距离。可选地,夹持器208可以是经由管子连接到机器人内的单元的吸爪,其将来自连接到该单元的外部源的压缩空气转换成吸力。其他类型的夹持器也在本发明的范围内。可从手臂206(或者手腕209)容易地拆卸该夹持器208,这允许用户轻易地将它们换为其他类型的夹持器或者不同尺寸的夹持器。例如在一些实施例中,如图3A-3D中描述的,可将通用的手指传送机构300或者简单的手附接到手腕,并且接着可将各种形状和大小的手指302在与不同的最大手指间隔相对应的多个位置中的一个位置处(见图3A)简单地拧入(图3B)手300的可滑动元件304,并且此后经由可滑动元件304来调节手指的距离d。手指302可装配有栓306、抓住元件308或者促成与对象310的结合并且拿起对象310的其他部件。栓306用于在夹持器接触到对象310时停止夹持器的下降运动,例如,使得手指在对象的特定部分对齐,或者防止手300的“手掌”与对象310之间的接触(例如,以避免摩擦)。抓住元件308可存在不同的变体,并且提供适用于各种材料、重量等的对象310的不同的抓住表面。
再次参考图2A和2B,机器人主体202安装在基座210上,根据其中使用机器人200的特定应用和环境的需要,该基座210可以是固定的、可滚动的或者可以其他方式移动的。可经由基座210的不同高度来调节机器人主体202的垂直位置。在一些实施例中,基座210包括可相对于对方垂直移动的两个部分,这允许在某个范围内连续地调节高度。在图4A-4E描述的其他更简单的实施例中,在组装时基座210具有固定的高度但包括部分400,可以水平地翻转该部分400,并且可将其形状塑造成使得根据哪个表面向上以及哪个表面向下,向基座210增加不同的高度。可将该可翻转部分400制造成单个铸模件,并且在适用于机器人的两个不同工作级时,其较少地增加了机器人的成本。可在柱402上安装可翻转部分400。例如,如图所示,部分400可滑动到柱402上并且用螺钉固定在柱402上。图4B和4C示出了在与可翻转部分400的两个方向相对应的两个高度的基座210,并且图4D和4E提供了可翻转部分400的透明近距离视图。在高配置下(图4B和4D),可翻转部分400与柱402仅略微地重叠,这将其高度h的较大部分加入基座210的总高度。在低配置下(图4C和4D),可翻转部分400与柱402明显重叠,这样仅最低限度(如果有的话)地增加了基座210的总高度。
可在机器人的主体202、头部204和手臂206中完全或者部分地嵌入机器人的用户接口。在某些实施例中,可经由在机器人内建立的控制件来完成机器人训练的所有方面,这消除了对外部训练附件或者远程控制的需求。用户接口和机器人的行为可以在很大程度上模拟人类行为,这允许用户无需高级技术专长就能够使他自己快速地熟悉机器人200、与机器人经由简单物理交互(例如通过引导机器人的手臂)进行交互,以及基于直觉的视觉、触觉或其他线索解释和/或预计其动作。此外,机器人200可包括具有菜单、文本输入字段等的更传统的用户接口,该用户接口以技术熟练的用户熟悉的语言提供关于机器人状态的信息,并且允许操纵机器人状态。
在图2A和2B描述的实施例中,机器人具有集成在其头部204的屏幕212(例如LCD屏),该屏幕212可绕与该屏幕212平行的垂直轴旋转,并且绕与该屏幕212平行的水平轴点头。屏幕212有时显示脸,并且有时以不同的组合显示文本、菜单、图标、空间地图以及来自机器人摄像机的图像。机器人200可在任何时候基于其当前模式、内部状态、训练阶段和/或其环境中的特定触发条件,选择显示什么。在展示脸时,机器人可采用人类直观上理解的方式将信息传达给人类训练员。例如,响应于不完整的用户输入,机器人可显示困惑的神情以提示训练员提供说明,机器人还可以提供听觉线索。机器人还可以用它的眼睛跟随用户或者感兴趣的对象,从而发出其当前关注什么的信号。其他类型的屏幕显示也可以促成与用户以直觉的方式通信。例如,机器人可以向屏幕212发送用图形覆盖的直播视频帧,该图形描述了机器人如何解释其“看到”了什么。除了屏幕212,机器人还可包括其他视觉指示器,例如,在其头部204中屏幕212上方的状态灯214的环。状态灯214可闪烁、改变颜色等,以向用户报告机器人的状态。例如,状态灯可闪烁以指示机器人在等待进一步的输入,或者从黄色变为红色以在视觉上警告用户危险或错误状况。
机器人200包括五个摄像机。摄像机216位于两个手腕209中的每一个手腕中,使得机器人200可以“看见”其将要拿起的对象,并且相应地调节其夹持器208。另外,机器人具有在其胸部的并排的两个摄像机218,以提供工作空间的广角视图,并且允许机器人200在视觉上检测将被操纵的设备或对象。最后,机器人200具有在其屏幕212上方的摄像头220,摄像头220方向朝外以检测环境中的人。在一些实施例中,除了在环境中连续地监控人和对象,摄像机还充当视觉用户输入装置。例如,用户可指示在工作空间中感兴趣的对象、示范机器人应该如何抓住该对象,或者做出机器人被编程来识别的某些手势(例如“停止”、“向左移动”等)。机器人200还可以包括在每个手腕中的距离传感器,以及在其头部的(例如与状态灯214结合的)声纳传感器的环,其用于检测环境中的移动对象;参见在2012年4月26日提交的同时待审的美国专利申请No.13/456915,并且该美国专利申请通过引用被包含与此。
除了用于在视觉上和/或在听觉上检测对象的这些传感器,机器人200可包括在其手臂206和主体202上的多个触摸感应传感器和机械特征,其促成了与人(例如训练员)的机械交互。例如,如图2B所描述的,机器人200具有对称地位于该机器人的肩膀上的两个触摸板230。通过敲击触摸板230中的任何一个,即使当用户在机器人的后面出现,她也可以获得机器人的注意,并且还指示在训练该机器人时她想要站在哪一侧。机器人200可通过将其屏幕212转向用户并且呈现其在用户侧的一个手臂206来进行响应,以允许她容易地够到夹持器208。类似地,机器人手臂206和主体202上的其他物理用户交互元件可用于向机器人200报告用户的位置。例如,如果用户通过围绕机器人手腕209的触摸感应套箍来引导机器人的一个手臂,则机器人200假设该用户位于手腕209和夹持器208正指向的方向。通常,机器人使用跟踪交互元件的位置的三维自模型,基于最近被触摸的交互元件来估计训练员站在哪。(该三维自模型是本领域技术人员公知的。简要而言,机器人连续地跟踪其每个关节的旋转量,并且使用该信息以及关节的相对位置的运动学模型来计算每个机器人部分的三维位置和三维方向)。这种功能使得机器人能够确定其屏幕212的方向,以便当用户在该机器人的工作空间中移动时连续地面向她并且跟随她。这种能力是有用的,例如,在绕机器人移动以将机器人的手臂206引导到期望位置之后,当用户需要查看屏幕212时:代替后退到她之前的位置来查看屏幕212,用户可以简单地敲击附近的触摸板230,其使得机器人将其屏幕212转向她。
为了在与机器人的交互期间进一步方便用户,并且允许用户甚至在交互中自由地改变她相对于机器人的位置,机器人200可具有在该机器人的不同位置的一种或多种交互元件的多个副本。例如,所描述的机器人200包括在其手臂上、胸部和背部的四个相同的机械控制件集合232(每个集合总的称作“导航器”),无论用户站在机器人的前面、后面或侧面,其中至少一个集合是可访问的。如图5所描述的,每个导航器232可例如包括中心旋钮500,以及在旋钮500上方和下方的两个按钮502、504。上部和下部的按钮502、504可具有不同的意义和用途,且这些意义和用途可以是多变的,并可由设计者或者在一些实施例中由用户重新分配。中心旋钮500可以是具有按下功能的连续数字旋钮。导航器232允许用户(例如,通过选择菜单项、在训练和执行模式之间转换)对于在屏幕212上显示的信息进行响应,并且经由数字旋钮500输入数字(例如,以指示将在盒中包装多少行和列的对象)或者文本(例如,密码或者对象和任务名称)。在一些实施例中,旋钮500和/或按钮502、504的功能是依赖于场景的,也就是说,它们根据训练阶段、机器人请求的输入等而变化。例如,一个按钮最初可用于将机器人转换到训练模式,并且随后用于以肯定的方式回答由机器人提出的(以及,例如在屏幕上显示的)问题,而其他按钮可用于以否定的方式来回答。导航器还可以包括灯元件506(例如,以弧线的形式在上部和下部按钮周围的蓝灯,以及围绕中心旋钮的白灯),该灯元件506在训练期间在某些条件下打开,并且可提供按钮和旋钮的当前功能的指示。当然,本文描述的特定导航器的实施例仅是一组机械控制元件的一个示例,一个或多个控制元件以及指示器特征的许多其他的组合和配置是可能的,并且在本发明的范围内。
在任何给定的时间,所有导航器232具有相同的功能。因此,训练员可使用它们中的任何一个来进行机器人训练,并且可以在任何时候简单地通过使用另一个来转换到该另一个导航器。即使输入的片段属于单个事务,机器人200以与经由单独一个导航器232提供的相同输入的相同的响应方式来响应经由两个或更多个导航器232顺序提供的用户输入。这可能是有用的,例如,在针对对象的外观从前面训练机器人时,当用户意识到他挡住了光,并且因此围绕机器人走到其后面,以便使用机器人侧的一个导航器来完成训练。举另一个例子,如果用户将机器人手臂移动到他自己的手臂的范围外(在使用手臂上的导航器将机器人训练为举起对象之后),则他可能不能再看到该导航器,因为其现在在机器人手臂的顶部,并且因此转换到主体侧的导航器。类似地。可采用相同的方式来配置绕手腕209的两个套箍(将在下文中进一步描述)并且其可以以相同的方式运行,这允许用户根据是否方便,在左和右机器人手臂206之间转换。因此,在向用户提供极大的灵活性来选择她相对于机器人200的位置的同时,多个相同的导航器232、手腕套箍或者其他用户交互元件促成了无缝交互。
在训练机器人200时,用户经常将机器人的手臂206引导到期望的位置和/或调节夹持器208。例如,用户可向机器人展示如何用包括两个手指的机械夹持器来抓住对象,其中通过将夹持器定位到对象周围(对象的每侧具有一个手指),并且接着朝对方推动手指直到它们接触到对象,或者可选地,简单地按下按钮以使得夹持器关闭直到其遇到来自对象的阻力。为促成这种直接的机械交互以及用户对手臂206的引导,手臂206可具有手腕套箍,该手腕套箍被设计为由用户抓住,可选地,具有按钮或者其他机械控制件。
在一个实施例中,如图6所示,手腕套箍600形成围绕手腕209的带状物,其在标记手臂206的终端的圆板602的下方。在套箍600的下方,在手腕209内建立摄像头216和测距仪606。套箍600被设计为从左边或右边被抓住,在任何情况下,在拇指在一侧并且食指和中指在另一侧。套箍600可在每一侧具有两个按钮608、610,其位于可由用户的中指方便地操作的位置。可将按钮608、610设计为可根据触摸来识别其区别,例如,一个按钮可具有凸起的细长形状,而另一个按钮可具有凹下的圆形形状。在所描述的实施例中,无论从哪一侧抓住套箍600,对于用右手抓,圆形按钮610更远;并且对于用左手抓,细长按钮608更远。当以自然的方式(即,如预期的那样)抓住套箍600时,用户的拇指和食指在这两个按钮608、610的上方。
套箍600具有在用户抓住它时(与在机器人上执行的软件结合)进行检测的集成的触摸或压力传感器,例如,一个或多个柔性电阻器或者按下按钮开关。可用传递压力的弹性橡胶来覆盖套箍600,使得通过简单地抓住套箍来激活开关。传感器和控制程序可被配置来区分刻意的抓和与手腕的意外的物理接触。激活开关的触发条件可包括:例如,在手腕的两侧上施加压力(如当用拇指和食指抓住套箍600时)、压力超过指定的阈值,或者压力持续指定的时间。使用这些适当的条件,与抓住不同的接触(例如意外的短暂敲打)通常不会激活开关。
在各个实施例中,当用户通过手腕套箍600抓住手臂206时,计算设施114使得机器人自动地转换到不受力重力补偿模式。(在力控制模式下操作机器人使得用户在任何时候(包括在运动中)抓住手臂206是可行的和安全的,因为甚至在激活套箍之前,手臂206可以对意外的力立即进行响应)。在不受力重力补偿模式下,机器人控制器104操作机器人手臂,以便在补偿重力的同时表现得像在每个关节处具有低摩擦轴承的一组链节,使得手臂不会下降到最低的可能配置(而是相反,表现得像在太空中)。为实现重力补偿,控制器104基于内部存储的、机器人质量分布的详细数字化表示模型,考虑机器人的即时运动学配置,并且将转矩应用于每个关节,以抵消该关节末端所有链节的重力。另外,机器人依赖于每个关节中的SEA,以便估计由用户施加于手腕600的力,也就是说,在SEA中的传感器测量关节处的力,并且接着机器人控制器104和/或计算设施114使用手臂的运动学模型以及每个链节中的质量分布的模型,来减去重力导致的力。每个链节上剩余的力是由用户施加于手腕600的力造成的。机器人控制器104试着使这些剩余力中的每个力为零,从而导致机器人遵循该用户施加的力,无论用户如何推动手臂206的终端,这提供了几乎为零的推回的力。换句话说,归因于机器人控制器104对一旦由训练员握住手腕套箍600所施加的力的响应能力,手臂206响应于甚至很小的力自由地移动,其中该力仅受到其惯性的阻碍。因此,用户可例如为了训练目的将手臂206从一个地点轻易地移动到另一个地点。
在一些实施例中,抓住手腕套箍600导致机器人200不仅转换到不受力重力补偿模式,还转换到训练模式,其中机器人200等待并且响应于来自用户的输入。无论用户是否紧握套箍600,机器人200通常将保持在训练模式下,直到其接收到(例如通过按下按钮)返回执行模式的明确命令。可在训练过程中使用手腕套箍600上的两个按钮608、610,例如以便通过在不同的点(例如,多边形的顶点)处点击一个按钮来标出区域、确认对象的正确视觉选择,或者手动导致夹持器打开或关闭。
在一些实施例中,在训练期间,机器人的手臂206同时充当用户输入和输出装置:在用户引导手臂206以向机器人200展示特定的轨迹或位置时,手臂206可向用户提供触觉反馈。例如,机器人200可被配置为检测其手臂与其主体的其他部分(例如其屏幕212)的即将发生的自碰撞,并且抵抗其手臂以可能导致这种碰撞的方式的移动。因此,如果用户(可能漫不经心地)引导机器人手臂206,以致可能出现碰撞,他将感觉到来自机器人的阻力,该阻力与他通常会感觉到的为零的力形成明显的对比,并且因此向他警告问题。一旦机器人的夹持器或者沿机器人手臂的另一个相关点在其他机器人部分的阈值距离(即,其他机器人部分周围的“保护区”)内,可触发由机器人施加的(以及经由相关关节,由机器人控制器104发送到该相关关节的命令影响的)抵抗力,以避免自碰撞。机器人200可基于其三维自模型检测到机器人手臂206进入保护区,其中该三维自模型使用机器人对在关节处施加的力的知识连续地计算跟踪所有机器人部分的位置、方向和速度。可选地或者另外地,可向手臂206装配允许直接测量距离的适当的传感器,例如安装到其手腕600内的距离传感器606。由机器人生成的抵抗力可随手臂与其他机器人部分的距离的减少而增加。另外,这可以取决于机器人附件移动的速度向量(即速度和方向)。例如,如果手臂向另一个机器人部分快速移动,则抵抗力可能较大,然而,如果手臂以较低的速度移动和/或朝着与其他机器人部分的表面大体平行的方向移动,则抵抗力可能较小。
机器人200通常足够强大到能够阻止常人造成碰撞(不论是无意的或者是有意的)。例如,人不能使得机器人200用其手指戳其眼睛(即LCD屏幕212)。实际上,在一些实施例中,屏幕212由虚拟保护球包围,用户可通过在该屏幕212上滑动手指并且感觉抵抗力的开始地点来感觉其保护范围。同样地,如果用户试着将夹持器208移动到可能导致机器人的肘部与主体碰撞的工作空间中的地点,他可以感觉到集中于肘部的抵抗力。提供一个进一步的例子,在其中允许用户在不受力模式下同时引导两个手臂的实施例中,用户不会使它们彼此碰撞。由右手臂感觉的抵抗力取决于左手臂的位置并且反之亦然,因此,由力场有效地包围每个手臂,该力场在空间中随着手臂移动而移动。由控制器104响应于如上文描述的感测的条件发送给适当的关节级控制器器106的命令来实现该力场。
触觉反馈还可以用于用不同的“特殊效果”或“触觉签名”来“注释”某些地点、对象或机器人动作,即独特的时间变量力模式,如一系列的点击,或者模拟在振动带(rumble strip)上或跨砂纸的移动的力。通常,触觉签名涉及机器人生成的力,与在引导手臂时由用户在外部施加的力相比,该机器人生成的力在量级上显著较小(例如小一个或多个数量级)并且以更高的速率变化;因此,触觉签名向用户提供触觉线索,而不干扰手臂的整体运动。
例如,触觉签名可与空间中的某些位置相关联,并且在用户向周围引导手臂206时向她提供直觉信息。例如,为帮助用户将机器人的夹持器置于传送带上方的中心,机器人可通过给予用户跨砂纸移动的感觉来发出正确位置的信号(在机器人夹持器和传送带之间不存在任何物理接触)。触觉信号还可以用于提醒用户在某些位置处训练的动作的类型。例如,当在放下位置上移动手臂时,其可以给予用户特定粗糙度的砂纸感觉,并且当在拿起位置上移动该手臂时,其可以稍微上下摇晃。可选地,当拿起位置与延伸的区域(而不是点)相对应时,同样可用砂纸感觉来注释该区域,但其与放下区域相比具有不同的粗糙度。提供另一个例子,当在传送带上引导手臂时,该手臂可在与传送机对齐的二维向量的方向上保持不受力,但可能需要少量的力将其相对于传送机推到一旁并且离开该区域。触觉签名还可以促成训练。例如,当用户将机器人手臂返回到先前的位置时,只要手臂在该位置的附近,其就可以“对齐”到该位置(类似地,如文件图标对齐到计算机桌面上的文件夹),即机器人可应用少量的力将手臂移动到该位置,然而如果用户想要移动到不同的地点仍然允许她抵抗该力。
通常,无论其是位置本身、在该位置存在的设备的特定部分或者特定类型的对象、在该位置处发生的运动或其他动作,还是该位置的可测量参数(例如,高度、压力等),与特定位置相关联的且可由机器人检测的任何环境条件可用于在机器人的手臂或夹持器到达该位置时启动特定的触觉签名,从而向用户提供与她对手臂的引导直接相关的信息。此外,触觉签名可指示与手臂的位置不相关的环境条件或者机器人的状态。例如,当机器人在其视野中检测到某个对象时,该机器人可经由触觉签名向用户发送信号。当用户专注于引导机器人的手臂206时,该反馈可以是对通信的其他通道(例如LCD屏幕212)的有益补充。
此外,触觉签名可用于模拟环境,并且因此允许用户甚至在缺少训练相关的对象、设备等的情况下训练机器人。例如,要训练机器人在虚拟传送带上放下(真实的)对象,用户可通过该任务的运动来引导机器人而不需要在训练期间具有传送带,取而代之的是依赖于指示对象会在何时位于传送带的上方(例如,通过给予用户砂纸感觉)或者对象何时会接触传送带(例如,通过施加轻微的触觉推回)的触觉签名。换句话说,机器人维护不同环境(这里是传送带)的内部规范表示,包括通常在这些环境中找到的物品的空间位置,以及该物品的物理特征。由计算设施114将这些物理特征中的至少一些(例如,表面纹理)转换成触觉签名,并且由在所选的虚拟环境中操作机器人的用户进行体验。在一些实施例中,可由用户经由用户接口(从默认值)改变环境的特征。
为了向用户提供触觉反馈,机器人可利用结合了软件触觉模块的硬件组件,其中该硬件组件与在有用工作的执行期间用来操作机器人手臂206的硬件组件相同,例如,在关节处的力生成电机或致动器,以及驱动它们的关节级控制器106和机器人控制器104;该软件触觉模块(基于接收的数据,例如,来自自碰撞检测模块或者监控环境条件的模块的数据)计算期望的触觉力,并且向控制器提供适当的命令。可选地或者另外地,触觉反馈,尤其是触觉签名,可由专用的触觉硬件来启动,例如,集成到机器人的手腕600内的轻微力致动器(low-force actuator)和关联控制器,和/或根据签名经由相关的关节级控制器106调节夹持器的运动的过滤器。
当然,上文描述的机器人200仅是根据本发明的多个可能的机器人实施例中的一个实施例。可采用对于本领域技术人员来说显而易见的方式来修改各个组件和特征。例如,机器人通常可具有任何数量的手臂(或者更普遍地,附件),并且每个手臂可具有任何数量的自由度。不需要由仅提供一个转动自由度的关节来连接手臂的链节,而是手臂可以例如包括提供两个转动自由度的球窝式关节和/或促成平移运动的轨道系统。另外,用来代替夹持器或者除了夹持器之外,机器人可具有其他类型的终端执行器,例如工具(如钻、锯等)或者测量装置(例如秤、仪表等)。此外,可在不同的位置安装上文描述的一些用户接口组件,或者修改该用户接口组件的结构和功能细节。当然,在每个实施例中,各种用户接口组件无需全部使用。另外,可使用其他类型的输入和输出装置来补充机器人的用户交互能力。例如,机器人可包括用于音频通信的扬声器和/或麦克风。
如参考图1所指示的,计算设施114促成和指导了在机器人控制器、传感器和用户接口之间的信息交换。计算设施114可以利用通用计算机或者各种其他的处理装置中的任何一种,包括但不限于:专用计算机、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或者可编程门阵列(PGA)。在各个实施例中,使用多个不同的处理装置的组合。此外,在一些实施例中,在物理集成到机器人内的组件以及与机器人通信的外部组件之间分布全部的控制功能。
图7描述了在通用计算机700上实现的计算设施114的示例性实施方式,包括中央处理单元(CPU)702(例如,四核英特尔处理器)、系统存储器704和非易失性海量存储装置(例如,一个或多个硬盘和/或光存储单元)706。计算机700还包括双向系统总线708,其中CPU 702、存储器704和存储装置706通过该双向系统总线708彼此通信,并且与诸如关节级控制器106(其可以例如是ARM处理器)、屏幕118、摄像机110、导航器232、手腕套箍600、触摸板116、力传感器108、其他类型的传感器112和/或传统输入装置(例如键盘或鼠标)709的内部或外部输入/输出装置通信。
系统存储器704包含指令(概念性地描述为模块组),该指令控制CPU 702的操作以及该CPU 702与其他硬件组件的交互。可采用任何合适的编程语言来编写各个模块,包括但不限于:诸如C、C++、C#、Ada、Basic、Cobra、Fortran、Java、Lisp、Perl、Python、Ruby或对象Pascal的高级语言,或者低级汇编语言;在一些实施例中,用不同的语言编写不同的模块。模块可包括操作系统710(例如Gentoo Linux),其指导低级基本系统功能的执行,如存储器分配、文件管理和海量存储装置706的操作。在较高级,一个或多个服务应用可实现机器人控制器104、用于分析摄像机图像的图像处理模块712、用于读取传感器值(包括在关节处的力传感器708的那些值)并且检查它们的一致性和/或合理性的传感器监控模块714、用于经由各个机械控制元件解释用户输入并且在训练和执行模式之间转换的用户输入模块516、用于控制LCD屏幕和各种指示灯的用户输出模块718、碰撞和自碰撞检测模块720、用于计算经由机器人附件提供给用户的力反馈的触觉模块722,以及分别在训练和执行模式下管理机器人的总体行为的训练和执行模块122、120。当然,可采用多个可选择的方式对各个功能进行分组和组织。
为经由简单的直觉用户交互来促成以任务为中心的训练,计算机700可在系统存储器704或者存储装置706中存储基本任务(例如拿起或放下对象)和关联对象(例如要拿起的小部件的类型)以及地点(例如传送带)的原型库。在训练期间,训练模块122基于用户和感测输入来实例化和填充这些原型。例如,当用户已经在某个对象上方或者在某个对象周围放置了机器人夹持器,并且按下按钮来指示她想要机器人拿起该对象时,训练模块122可创建拿起原型以及关联的地点和对象原型的实例。接着,机器人可使用其手腕摄像机216拍摄对象的图像、使用其图像处理模块712分析该图像以提取相关的视觉特征、用这些视觉特征来填充对象实例、记录夹持器的当前位置以填充位置实例、关闭其夹持器直到其力传感器检测到阻力,以及在拿起实例中存储其手指之间的关联距离(以及任何其他相关信息)。接着(在存储器704中或者在存储装置706上)存储各个填充的实例,供以后使用。在随后的时间,当机器人在执行模式下操作时,任务执行模块120可将夹持器返回到存储的拿起位置、针对与存储的视觉特征相匹配的对象监控该位置,以及一旦机器人看到该对象,执行拿起实例。因此,机器人能够基于当前的感测信息独立地执行先前训练的任务。在2012年6月21日提交的美国临时专利申请No.61/662646中提供了关于原型、实例,以及在训练和任务执行模块122、120之间的相互作用的更多细节。
以上示例描述了结合了适当的计算功能的本文描述的用户接口是如何允许用户像她训练另一个人类一样来训练机器人的:通过使用视觉输入和直接的机械交互,向机器人展示做什么以及怎样做。要正确地解释用户的输入并且以如一般用户可能期望的方式进行响应,机器人依赖于关于用户动作的意义的预先编程的假设。优选地,这些假设基于公共的、统计学上可适用的人类行为。当然,由于人类行为的本质,该假设并不适用于所有情况下的每个用户。相应地,机器人允许用户例如经由传统的用户菜单,通过在更深的级别提供输入来重写默认值。在一些实施例中,机器人基于默认假设做动作,除非并且直到用户主动中断它,例如,通过抓住运动中的机器人夹持器来中断,或者通过按下被指定为使得机器人停止其当前动作的按钮来中断。可选地,机器人可以响应于初始用户输入,等待指定的时间,并且接着根据默认值继续执行,直到在此期间用户已经提供了额外的信息。在其他实施例中,机器人明确地请求用户对默认值或者可选的指令的确认。例如,如果用户确定机器人的手腕摄像机的方向以便查看工作表面上的对象,并且按下手腕套箍600上的按钮,则机器人可以通过在屏幕上显示问题“拿起对象?”来进行响应。如果用户以肯定的方式回答(例如,通过再次按下该按钮),则机器人继续执行以降低其夹持器并且拿起对象。否则,计算机可呈现对可选任务的选择(例如,包括生成对象的视觉模型的任务),供用户从中选择。
随着用户进入更深级别的交互,他需要的技术知识通常也增加。实际上,要向传统的机器人训练员提供高级技术专长以及精确地控制机器人的细节动作的期望,机器人可提供可选的“专家”接口,该“专家”接口规避较简单的、更直观的用户接口。在优选的实施例中,用户可在她可以与机器人交互的各个级别中进行选择,其中每个级别需要由用户提供的不同细节量,并且机器人基于其预先编程的默认值提供剩余的信息(如果有的话)。例如,考虑训练交互,其中机器人学习如何拿起特定对象。机器人可默认降低其夹持器(其手指包围对象),直到该夹持器与工作表面的(例如用在手腕内建立的距离传感器测量的)距离在指定的小距离(例如1cm)内,并且接着在对象周围关闭夹持器,直到其测量到来自该对象的指定的推回力。接着机器人可尝试举起该对象;如果操作成功则其在关联的拿起实例中记录推回力的大小,并且如果在抬升夹持器时该对象仍在工作表面上,则机器人用更大的力重复其尝试。用这种方式,机器人可以迭代地确定用于举起和握住该对象的适当的力。然而,用户可决定直接输入一些参数或者所有参数,而非让机器人自己算出相关参数。例如,在某些实例中,用户可能希望改变在拿起期间机器人夹持器在工作表面上的高度。另外,用户可能已经(例如,根据之前的经验)知道了施加于要握住和举起的对象的最优力,并且可以因此简单地输入该力,从而避免了对机器人反复试验的需要。不同的训练等级体现由用户输入以替换默认值的不同量的信息,其中更“专业”的级别与更多的用户输入以及对默认值更少的依赖相对应。
本文采用的术语和语句被用作说明书的术语和语句而不是用于限制,并且在使用该术语和语句时,没有排除所展示和描述的特征或其部分的任何等价物的意图。此外,在描述了本发明的某些实施例后,可使用结合本文公开的概念的其他实施例而不会背离本发明的精神和范围,对于本领域普通技术人员来说是显而易见的。特别地,本发明的实施例不需要包括本文描述的所有特征或者具有所有优点。相反,它们可以具有特征和优点的任何子集或者组合。因此,在各个方面,所描述的实施例仅被认为是示意性的而非限制性的。

Claims (37)

1.一种机器人,包括:
能够移动的机器人附件;
在所述附件的末端处设置的、(i)围绕所述末端的部分并且包括压力感应开关的套箍,以及(ii)围绕所述套箍在其上设置的压力传递层,该压力传递层用于将外部施加至所述套箍的压力传递给所述开关;以及
电路,该电路响应于在所述套箍被抓住时施加于所述开关的压力,用于使得所述机器人在不受力重力补偿模式下操作,从而所述附件响应于施加于所述套箍的力实质上没有阻力地移动。
2.根据权利要求1所述的机器人,其中:
所述机器人能够交替地在(a)训练模式或者(b)执行模式下操作,其中所述机器人在训练模式下学习和存储与任务相关的参数,所述机器人在执行模式下根据之前存储的参数来执行任务;以及
所述电路响应于在所述套箍被抓住时施加于所述开关的压力,还使得所述机器人在训练模式下操作。
3.根据权利要求1所述的机器人,其中,所述套箍还包括在该套箍的两个相对侧的每一侧上的多个能够按压的按钮。
4.根据权利要求3所述的机器人,其中,能够通过触摸来区别所述按钮。
5.根据权利要求4所述的机器人,所述按钮包括凸状按钮和凹状按钮。
6.根据权利要求4所述的机器人,其中,所述按钮包括圆形按钮和细长形按钮。
7.根据权利要求1所述的机器人,其中所述压力感应开关包括柔性电阻器。
8.根据权利要求1所述的机器人,其中所述压力感应开关包括微按钮开关。
9.根据权利要求1所述的机器人,其中所述压力传递层包括弹性橡胶或者由弹性橡胶组成。
10.一种能够与用户直接交互的机器人,包括:
机器人主体,其包括躯干和附接到该躯干的头部和至少一个附件;以及
集成到所述机器人主体内的用户接口,其包括:(i)用于向用户传达信息的视觉显示器;(ii)用于捕获所述机器人的环境的图像的至少一个摄像机;以及(iii)响应于触摸或者机械致动中的至少一个的至少一个机械输入装置;以及
处理器,用于处理由所述用户接口捕获的输入,并且基于该输入控制所述至少一个附件或者视觉显示器,其中所述用户接口能够在训练模式下操作,从而基于训练模式期间所述接口的用户操作和对所述附件的操纵,所述处理器识别和存储与机器人移动的序列的自主执行相关的参数,以用于重复执行。
11.根据权利要求10所述的机器人,其中,所述用户接口被配置为促成编程或者训练所述机器人中的至少一个。
12.根据权利要求10所述的机器人,其中,所述视觉显示器被配置为显示由所述至少一个摄像机捕获的图像、图形用户接口以及显示面部表情的计算机图形。
13.根据权利要求12所述的机器人,其中,所述视觉显示器被配置为交替显示图像、图形用户接口和面部表情。
14.根据权利要求10所述的机器人,其中,所述至少一个机械输入装置包括在所述躯干的两侧上以及在所述至少一个附件中的每一个上布置的相同的导航器。
15.根据权利要求14所述的机器人,其中,所述导航器被共同配置为使得经由多个导航器提供的一系列用户输入与经由单独一个导航器提供的该一系列用户输入导致相同的响应。
16.根据权利要求14所述的机器人,其中,每个导航器包括多个机械致动的元件。
17.根据权利要求10所述的机器人,其中,所述至少一个机械输入装置包括在所述机器人上的不同位置设置的多个机械输入装置,所述处理器被配置为响应于用户对机械输入装置的操纵以及基于被操纵的输入装置的位置,使所述机器人转向用户的估计位置。
18.根据权利要求17所述的机器人,其中,所述多个机械输入装置包括在所述机器人的肩膀上设置的触摸板。
19.根据权利要求17所述的机器人,其中,所述多个机械输入装置包括在所述至少一个附件的末端处附接到所述至少一个附件的至少一个手腕套箍。
20.根据权利要求17所述的机器人,其中,使所述机器人转向用户包括使所述视觉显示器面向用户。
21.根据权利要求17所述的机器人,其中,使所述机器人转向用户包括将所述至少一个附件中的一个向用户移动。
22.根据权利要求10所述的机器人,还包括用于安装所述主体的基座,所述基座包括能够在向上的方向和向下的方向之间翻转的水平部分,其中向上的方向为所述基座提供了第一高度,并且向下的方向为所述基座提供了第二高度,该第一高度与第二高度不同。
23.一种被配置为与用户交互的机器人,包括:
在所述机器人上的不同位置设置的多个用户输入装置;以及
处理器,用于响应于经由任何用户输入装置提供的输入并且基于该用户输入装置的位置,使所述机器人(i)估计用户的位置,并且(ii)将所述用户输入装置或机器人附件中的至少一个转向估计的位置,以便允许用户操纵所述机器人。
24.一种被配置为与用户交互的机器人,包括:
机器人主体,包括躯干和附接到该躯干的头部和至少一个附件;
在所述机器人上的不同位置设置的多个相同的导航器,用于接收来自用户的输入;以及
处理器,用于处理所述输入,并且基于所述输入控制所述至少一个附件的动作;
其中,所述导航器和处理器被共同配置为使得经由多个导航器提供的一系列用户输入与经由单独一个导航器提供的该一系列用户输入导致相同的动作。
25.一种机器人-用户交互方法,包括:
遵循在所述机器人上的不同位置设置的多个相同的导航器中的第一导航器的操纵,使得根据第一导航器的操纵执行动作;以及
遵循所述多个相同的导航器中的第二导航器的随后的操纵,使得所述机器人根据第二导航器的操纵继续执行所述动作。
26.一种机器人,包括:
至少一个用户能够引导的机器人附件,用于操纵对象,所述至少一个附件包括至少一个能够移动的关节;
处理器,被配置为基于三维自模型连续地跟踪所述至少一个附件以及所述机器人的其他部分的位置、方向和速度,以及
触觉模块,用于生成在所述至少一个关节处的力,所述触觉模块被配置为在所述机器人的其他部分周围的指定空间区域内至少部分地抵抗所述至少一个附件的用户引导,以便预防在附件和所述机器人的其他部分之间的碰撞。
27.根据权利要求26所述的机器人,其中,所述力取决于在所述附件和所述机器人的其它部分之间的距离。
28.根据权利要求27所述的机器人,其中,所述力还取决于所述附件的运动方向或者速度中的至少一个。
29.根据权利要求28所述的机器人,其中,所述力随所述附件向所述机器人的其他部分移近而增加。
30.根据权利要求27所述的机器人,其中,所述力随距离线性变化。
31.根据权利要求26所述的机器人,其中,所述力随距离非线性变化。
32.一种机器人,包括:
至少一个用户能够引导的机器人附件,包括用于操纵对象的终端执行器;
触觉模块,用于生成在所述终端执行器处的力;以及
控制系统,用于监控实际或模拟环境中的至少一个环境条件的存在,该环境条件具有与其相关联的相应触觉签名,所述触觉签名包括指定了时间变量力模式的数据,以及与由用户在外部施加的力相比在量级上小至少一个数量级并且以较高的速率变化,以便向用户提供触觉线索而不干扰附件的运动,
其中,所述控制系统响应于检测到所述至少一个环境条件的其中一个,使得所述触觉模块根据与检测到的环境条件相关联的触觉签名来生成随时间变化的力。
33.根据权利要求32所述的机器人,还包括训练模块,该训练模块被配置为将所述至少一个触觉签名与至少一个相应的环境条件相关联。
34.根据权利要求32所述的机器人,其中,所述至少一个环境条件包括在指定位置出现所述机器人或者在机器人摄像机的视野中出现指定对象中的至少一个。
35.一种用于向引导机器人附件的用户提供触觉反馈的机器人实现的方法,所述方法包括:
基于三维自模型连续地跟踪所述附件以及机器人的其他部分的位置、方向和速度,以及
在附件进入所述机器人的其他部分周围的指定空间区域时,通过生成在所述附件处的阻力来至少部分地抵抗所述附件的用户引导,以便预防在所述附件和所述机器人的其它部分之间的碰撞。
36.根据权利要求35所述的方法,其中,阻力的大小取决于所述附件与所述机器人的其他部分的距离、所述附件的运动方向或者所述附件的运动速度中的至少一个。
37.一种用于向引导机器人终端执行器的用户提供触觉反馈的机器人实现的方法,所述方法包括:
响应于检测到实际或模拟环境条件,根据与检测到的环境条件相关联的触觉签名生成在终端执行器处的随时间变化的力,
其中,所述触觉签名包括指定了时间变量力模式的数据,以及与由用户在外部施加的力相比在量级上小至少一个数量级并且以较高的速率变化,以便向用户提供触觉线索而不干扰附件的运动。
CN201380043813.2A 2012-06-21 2013-06-21 用于机器人训练的用户接口 Active CN104602868B (zh)

Applications Claiming Priority (23)

Application Number Priority Date Filing Date Title
US201261662646P 2012-06-21 2012-06-21
US61/662646 2012-06-21
US201261676586P 2012-07-27 2012-07-27
US61/676586 2012-07-27
US13/621658 2012-09-17
US13/621,648 US20130343640A1 (en) 2012-06-21 2012-09-17 Vision-guided robots and methods of training them
US13/621648 2012-09-17
US13/621,687 US9434072B2 (en) 2012-06-21 2012-09-17 Vision-guided robots and methods of training them
US13/621,561 US8965576B2 (en) 2012-06-21 2012-09-17 User interfaces for robot training
US13/621706 2012-09-17
US13/621,658 US9092698B2 (en) 2012-06-21 2012-09-17 Vision-guided robots and methods of training them
US13/621,708 US8965580B2 (en) 2012-06-21 2012-09-17 Training and operating industrial robots
US13/621,517 US8996167B2 (en) 2012-06-21 2012-09-17 User interfaces for robot training
US13/621708 2012-09-17
US13/621519 2012-09-17
US13/621657 2012-09-17
US13/621,657 US8958912B2 (en) 2012-06-21 2012-09-17 Training and operating industrial robots
US13/621,519 US8996174B2 (en) 2012-06-21 2012-09-17 User interfaces for robot training
US13/621687 2012-09-17
US13/621561 2012-09-17
US13/621,706 US8996175B2 (en) 2012-06-21 2012-09-17 Training and operating industrial robots
US13/621517 2012-09-17
PCT/US2013/046996 WO2013192500A2 (en) 2012-06-21 2013-06-21 User interfaces for robot training

Publications (2)

Publication Number Publication Date
CN104602868A CN104602868A (zh) 2015-05-06
CN104602868B true CN104602868B (zh) 2016-10-12

Family

ID=49774515

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201380043813.2A Active CN104602868B (zh) 2012-06-21 2013-06-21 用于机器人训练的用户接口
CN201380043208.5A Active CN104640677B (zh) 2012-06-21 2013-06-21 训练和操作工业机器人

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201380043208.5A Active CN104640677B (zh) 2012-06-21 2013-06-21 训练和操作工业机器人

Country Status (5)

Country Link
US (11) US9092698B2 (zh)
EP (2) EP2864085B1 (zh)
JP (2) JP2015520040A (zh)
CN (2) CN104602868B (zh)
WO (3) WO2013192492A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统

Families Citing this family (411)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011056633A1 (en) 2009-10-27 2011-05-12 Battelle Memorial Institute Semi-autonomous multi-use robot system and method of operation
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
DE102011005985B4 (de) * 2011-03-23 2019-01-24 Kuka Roboter Gmbh Roboter, Steuervorrictung für einen Roboter und Verfahren zum Betreiben eines Roboters
US20170028557A1 (en) 2015-07-28 2017-02-02 Comprehensive Engineering Solutions, Inc. Robotic navigation system and method
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
JP5840411B2 (ja) * 2011-08-05 2016-01-06 日本メクトロン株式会社 光電気混載可撓性プリント配線板及びその受発光素子実装方法
US9662788B2 (en) * 2012-02-03 2017-05-30 Nec Corporation Communication draw-in system, communication draw-in method, and communication draw-in program
EP2817712B1 (en) * 2012-02-21 2020-08-05 Amazon Technologies, Inc. System and method for automatic picking of products in a materials handling facility
US9092698B2 (en) 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
EP2685403A3 (en) * 2012-07-09 2017-03-01 Technion Research & Development Foundation Limited Natural machine interface system
DE102012106448B4 (de) * 2012-07-17 2016-03-31 Reis Group Holding Gmbh & Co. Kg Verfahren zur Bedienung eines Industrieroboters sowie sicheres Überwachungsgerät zur Durchführung des Verfahrens
EP2875914A1 (en) * 2012-07-20 2015-05-27 Kabushiki Kaisha Yaskawa Denki Robot simulator, robot teaching device and robot teaching method
US9186793B1 (en) 2012-08-31 2015-11-17 Brain Corporation Apparatus and methods for controlling attention of a robot
WO2014054183A1 (ja) * 2012-10-05 2014-04-10 株式会社安川電機 自動調製システム
US10572774B2 (en) * 2012-12-06 2020-02-25 Toyota Motor Engineering & Manufacturing North America. Inc. Methods and robots for adjusting object detection parameters, object recognition parameters, or both object detection parameters and object recognition parameters
WO2014093822A1 (en) * 2012-12-14 2014-06-19 Abb Technology Ag Bare hand robot path teaching
TWI483819B (zh) * 2012-12-25 2015-05-11 Ind Tech Res Inst 夾爪裝置及其控制方法
US10292887B2 (en) * 2012-12-31 2019-05-21 Mako Surgical Corp. Motorized joint positioner
US9272421B2 (en) * 2013-01-07 2016-03-01 Milos Misha Subotincic Visually controlled end effector
WO2014110682A1 (en) * 2013-01-18 2014-07-24 Robotiq Inc. Force/torque sensor, apparatus and method for robot teaching and operation
JP5716769B2 (ja) * 2013-02-21 2015-05-13 株式会社安川電機 ロボットシミュレータ、ロボット教示装置およびロボット教示方法
US9956687B2 (en) 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
US9056396B1 (en) * 2013-03-05 2015-06-16 Autofuss Programming of a robotic arm using a motion capture system
US9486918B1 (en) * 2013-03-13 2016-11-08 Hrl Laboratories, Llc System and method for quick scripting of tasks for autonomous robotic manipulation
US9333649B1 (en) * 2013-03-15 2016-05-10 Industrial Perception, Inc. Object pickup strategies for a robotic device
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US20150314454A1 (en) * 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US10195058B2 (en) * 2013-05-13 2019-02-05 The Johns Hopkins University Hybrid augmented reality multimodal operation neural integration environment
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
JP6229324B2 (ja) 2013-06-14 2017-11-15 セイコーエプソン株式会社 ロボット、ロボット制御装置およびロボットの制御方法
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
DE102013010290A1 (de) * 2013-06-19 2014-12-24 Kuka Laboratories Gmbh Überwachen eines kinematisch redundanten Roboters
WO2015013283A2 (en) * 2013-07-22 2015-01-29 Texas State University Autonomous performance optimization in robotic assembly process
JP5850004B2 (ja) * 2013-08-09 2016-02-03 株式会社安川電機 ロボット制御装置及びロボット制御方法
JP5939213B2 (ja) * 2013-08-09 2016-06-22 株式会社安川電機 ロボット制御装置及びロボット制御方法
CN104416581A (zh) * 2013-08-27 2015-03-18 富泰华工业(深圳)有限公司 具有报警功能的机械手
EP3041615B1 (en) * 2013-09-06 2019-05-01 Beumer Group A/S Method for inducting and singulating items to a sorter
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9846843B2 (en) * 2013-10-30 2017-12-19 Georgia Tech Research Corporation Methods and systems for facilitating interactions between a robot and user
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
JP6322959B2 (ja) * 2013-11-05 2018-05-16 セイコーエプソン株式会社 ロボット、ロボットシステム、及びロボット制御装置
US9248569B2 (en) 2013-11-22 2016-02-02 Brain Corporation Discrepancy detection apparatus and methods for machine learning
CN103744356B (zh) * 2014-01-17 2016-08-17 重庆大学 一种基于dsp/fpga动态可配置的机床智能控制器及控制方法
CN103722565B (zh) * 2014-01-23 2015-09-16 哈尔滨工业大学 仿人机器人自碰撞监控系统及监控方法
US9358685B2 (en) * 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9233469B2 (en) * 2014-02-13 2016-01-12 GM Global Technology Operations LLC Robotic system with 3D box location functionality
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
FR3020303B1 (fr) * 2014-04-25 2016-07-15 Sileane Procede et installation de prehension automatique d'un objet.
US10112076B2 (en) * 2014-04-25 2018-10-30 Christopher DeCarlo Robotic athletic training or sporting method, apparatus, system, and computer program product
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20150331415A1 (en) * 2014-05-16 2015-11-19 Microsoft Corporation Robotic task demonstration interface
US9737990B2 (en) 2014-05-16 2017-08-22 Microsoft Technology Licensing, Llc Program synthesis for robotic tasks
FR3021574B1 (fr) * 2014-05-27 2019-04-05 Commissariat A L`Energie Atomique Et Aux Energies Alternatives Manipulateur cobotique
JP5897644B2 (ja) * 2014-06-02 2016-03-30 株式会社神戸製鋼所 ロボットの制御装置
DE102015204641B4 (de) * 2014-06-03 2021-03-25 ArtiMinds Robotics GmbH Verfahren und System zur Programmierung eines Roboters
CN104057450B (zh) * 2014-06-20 2016-09-07 哈尔滨工业大学深圳研究生院 一种针对服务机器人的高维操作臂遥操作方法
JP6476632B2 (ja) * 2014-07-31 2019-03-06 セイコーエプソン株式会社 双腕ロボット
US9327406B1 (en) 2014-08-19 2016-05-03 Google Inc. Object segmentation based on detected object-specific visual cues
JP6440745B2 (ja) * 2014-08-25 2018-12-19 エックス デベロップメント エルエルシー ロボット装置の行為の仮想表現を表示する拡張現実のための方法及びシステム
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
US9501059B2 (en) * 2014-09-12 2016-11-22 Qualcomm Incorporated Pocket robot
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9403275B2 (en) * 2014-10-17 2016-08-02 GM Global Technology Operations LLC Dynamic obstacle avoidance in a robotic system
WO2016061471A1 (en) * 2014-10-17 2016-04-21 Hitachi High Technologies America, Inc. Interactive laboratory robotic system
US9592603B2 (en) * 2014-12-01 2017-03-14 Spin Master Ltd. Reconfigurable robotic system
US9375853B1 (en) * 2014-12-03 2016-06-28 Google Inc. Methods and systems to provide feedback based on a motion per path metric indicative of an effect of motion associated with components of a robotic device
US9592608B1 (en) * 2014-12-15 2017-03-14 X Development Llc Methods and systems for providing feedback during teach mode
US9492923B2 (en) 2014-12-16 2016-11-15 Amazon Technologies, Inc. Generating robotic grasping instructions for inventory items
WO2016100702A1 (en) * 2014-12-17 2016-06-23 Norgren Automation Solutions, Llc Apparatus and method for detecting multiple workpieces
JP6630042B2 (ja) 2014-12-26 2020-01-15 川崎重工業株式会社 双腕ロボットの教示システム及び双腕ロボットの教示方法
US11292706B2 (en) * 2014-12-30 2022-04-05 Edward Showalter Apparatus, systems and methods for preparing and dispensing foods
US10514687B2 (en) * 2015-01-08 2019-12-24 Rethink Robotics Gmbh Hybrid training with collaborative and conventional robots
CA2973000C (en) * 2015-02-12 2020-03-10 Melonee Wise System and method using robots to assist humans in order fulfillment
US9358684B1 (en) * 2015-02-18 2016-06-07 Merry Electronics Co., Ltd. Wireless transmission device and robot arm using the same
CA2882968C (en) 2015-02-23 2023-04-25 Sulfur Heron Cognitive Systems Inc. Facilitating generation of autonomous control information
US9569666B2 (en) 2015-02-25 2017-02-14 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for measuring image recognition accuracy
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
US9409294B1 (en) * 2015-03-05 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Hierarchical geometric plan composition (HGPC) framework for robot task planning
JP6126152B2 (ja) * 2015-03-16 2017-05-10 ファナック株式会社 曲線部を有する軌道を生成するロボットの軌道生成装置
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
EP3075496B1 (en) * 2015-04-02 2022-05-04 Honda Research Institute Europe GmbH Method for improving operation of a robot
US9878447B2 (en) 2015-04-10 2018-01-30 Microsoft Technology Licensing, Llc Automated collection and labeling of object data
JP6332128B2 (ja) * 2015-04-24 2018-05-30 トヨタ自動車株式会社 物体認識装置、及び物体認識方法
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
CN113491582A (zh) * 2015-05-01 2021-10-12 提坦医疗公司 器械碰撞检测与反馈
US20190381665A1 (en) * 2015-05-08 2019-12-19 C2 Systems Limited System, method, computer program and data signal for the registration, monitoring and control of machines and devices
US10089575B1 (en) 2015-05-27 2018-10-02 X Development Llc Determining grasping parameters for grasping of an object by a robot grasping end effector
US9682476B1 (en) 2015-05-28 2017-06-20 X Development Llc Selecting robot poses to account for cost
JP6401858B2 (ja) * 2015-05-28 2018-10-10 株式会社日立製作所 ロボット操作装置およびプログラム
US9724826B1 (en) 2015-05-28 2017-08-08 X Development Llc Selecting physical arrangements for objects to be acted upon by a robot
DE102015008144B4 (de) * 2015-06-24 2024-01-18 Kuka Roboter Gmbh Umschalten einer Steuerung eines Roboters in einen Handführ-Betriebsmodus
WO2016206645A1 (zh) * 2015-06-26 2016-12-29 北京贝虎机器人技术有限公司 为机器装置加载控制数据的方法及装置
CN106325065A (zh) * 2015-06-26 2017-01-11 北京贝虎机器人技术有限公司 机器人交互行为的控制方法、装置及机器人
CN106325228B (zh) * 2015-06-26 2020-03-20 北京贝虎机器人技术有限公司 机器人的控制数据的生成方法及装置
US9925662B1 (en) * 2015-06-28 2018-03-27 X Development Llc Generating a trained robot path based on physical manipulation of the robot and based on training user interface input(s) associated with the physical manipulation
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
US9889564B2 (en) 2015-07-08 2018-02-13 Empire Technology Development Llc Stable grasp point selection for robotic grippers with machine vision and ultrasound beam forming
US9844877B1 (en) 2015-07-14 2017-12-19 X Development Llc Generating a parameter for a movement characteristic for a waypoint trained path of a robot
US10311634B2 (en) * 2015-07-21 2019-06-04 IAM Robotics, LLC Three dimensional scanning and data extraction systems and processes for supply chain piece automation
US9919427B1 (en) 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US9919424B1 (en) 2015-07-27 2018-03-20 X Development Llc Analog control switch for end-effector
US20170028549A1 (en) * 2015-07-28 2017-02-02 Comprehensive Engineering Solutions, Inc. Robotic navigation system and method
US10166680B2 (en) * 2015-07-31 2019-01-01 Heinz Hemken Autonomous robot using data captured from a living subject
US11112781B2 (en) * 2015-07-31 2021-09-07 Heinz Hemken Training an autonomous robot using previously captured data
US9676098B2 (en) * 2015-07-31 2017-06-13 Heinz Hemken Data collection from living subjects and controlling an autonomous robot using the data
DE102016009030B4 (de) 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6240689B2 (ja) 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
US9868213B2 (en) * 2015-08-11 2018-01-16 Empire Technology Development Llc Incidental robot-human contact detection
DE102015017296B3 (de) 2015-08-14 2021-10-07 Franka Emika Gmbh Robotersystem
US9886035B1 (en) * 2015-08-17 2018-02-06 X Development Llc Ground plane detection to verify depth sensor status for robot navigation
CN108495738B (zh) 2015-09-01 2022-01-04 伯克希尔格雷股份有限公司 用于提供动态机器人控制系统的系统和方法
US11370128B2 (en) 2015-09-01 2022-06-28 Berkshire Grey Operating Company, Inc. Systems and methods for providing dynamic robotic control systems
EP3988263B1 (en) 2015-09-09 2024-01-31 Berkshire Grey Operating Company, Inc. System and method for providing dynamic communicative lighting in a robotic environment
DE102015011910A1 (de) * 2015-09-11 2017-03-16 Kuka Roboter Gmbh Verfahren und System zum Steuern einer Roboteranordnung
DE102016116702B4 (de) * 2015-09-14 2019-01-24 Fanuc Corporation Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters
US20180290297A1 (en) * 2015-10-02 2018-10-11 Verselus, Llc System and method for autonomously teaching working points in a robotic disk test apparatus
DE102015012959B4 (de) 2015-10-08 2019-01-17 Franka Emika Gmbh Robotersystem und Verfahren zur Steuerung eines Robotersystems
DE102015012962A1 (de) 2015-10-08 2017-04-13 Sami Haddadin Robotersystem
DE102015012961B4 (de) 2015-10-08 2022-05-05 Kastanienbaum GmbH Robotersystem
DE102015117211B8 (de) * 2015-10-08 2016-12-29 Kastanienbaum GmbH Roboterarm mit Eingabeelementen
JP6711591B2 (ja) * 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
CA3005038A1 (en) 2015-11-11 2017-05-18 Mako Surgical Corp. Robotic system and method for backdriving the same
CN108349083B (zh) * 2015-11-13 2021-09-21 伯克希尔格雷股份有限公司 用于提供各种物体的分拣的分拣系统和方法
US10220515B2 (en) * 2015-11-30 2019-03-05 Seiko Epson Corporation Robot and control method for robot
US10471594B2 (en) * 2015-12-01 2019-11-12 Kindred Systems Inc. Systems, devices, and methods for the distribution and collection of multimodal data associated with robots
US10613546B2 (en) 2015-12-02 2020-04-07 Qualcomm Incorporated Stochastic map-aware stereo vision sensor model
US10268188B2 (en) * 2015-12-02 2019-04-23 Qualcomm Incorporated Active camera movement determination for object position and extent in three-dimensional space
CN108290286A (zh) * 2015-12-03 2018-07-17 Abb瑞士股份有限公司 用于教导工业机器人拾取零件的方法
US20170161546A1 (en) * 2015-12-08 2017-06-08 Mitsubishi Electric Research Laboratories, Inc. Method and System for Detecting and Tracking Objects and SLAM with Hierarchical Feature Grouping
CN108369413B (zh) * 2015-12-11 2020-09-01 Abb瑞士股份有限公司 工业机器人和用于控制机器人自动选择接下来要执行的程序代码的方法
US9799198B2 (en) 2015-12-18 2017-10-24 General Electric Company System and method for communicating with an operator of the system
US9969082B1 (en) * 2016-01-05 2018-05-15 Boston Dynamics, Inc. Robotic systems and methods for task scoring and selection
US9919422B1 (en) 2016-01-06 2018-03-20 X Development Llc Methods and systems to provide mechanical feedback during movement of a robotic system
US10688665B2 (en) * 2016-01-06 2020-06-23 Hitachi Ltd. Robot system, and control method
CA3169689C (en) 2016-01-08 2024-04-02 Berkshire Grey Operating Company, Inc. Systems and methods for acquiring and moving objects
CN105498228B (zh) * 2016-01-14 2018-01-12 胡文杰 一种智能机器人学习玩具
US10456910B2 (en) * 2016-01-14 2019-10-29 Purdue Research Foundation Educational systems comprising programmable controllers and methods of teaching therewith
DE102017000063B4 (de) * 2016-01-14 2019-10-31 Fanuc Corporation Robotereinrichtung mit Lernfunktion
CN105718880A (zh) * 2016-01-20 2016-06-29 华东交通大学 一种远程办公签字及笔迹验证机器人系统设计
DE102016101375B4 (de) * 2016-01-26 2020-03-12 aku.automation GmbH Verbessertes Verfahren und Vorrichtung zum Anpassen einer Bildauswertung
CN105583824B (zh) * 2016-01-26 2017-05-24 清华大学 力控牵引和摆位的多自由度机械臂控制装置及其控制方法
US10065316B2 (en) * 2016-02-05 2018-09-04 Rethink Robotics, Inc. Systems and methods for safe robot operation
EP3414060B1 (en) 2016-02-08 2022-05-25 Berkshire Grey Operating Company, Inc. Systems and methods for providing processing of a variety of objects employing motion planning
EP3742347B1 (en) 2016-03-03 2022-11-02 Google LLC Deep machine learning methods and apparatus for robotic grasping
JP6586243B2 (ja) * 2016-03-03 2019-10-02 グーグル エルエルシー ロボットの把持のための深層機械学習方法および装置
JP6733239B2 (ja) * 2016-03-18 2020-07-29 セイコーエプソン株式会社 制御装置及びロボットシステム
CN105843118B (zh) * 2016-03-25 2018-07-27 北京光年无限科技有限公司 一种机器人交互方法及机器人系统
US10019566B1 (en) * 2016-04-14 2018-07-10 X Development Llc Authorizing robot use and/or adapting physical control parameters for a robot
DE102016004787B4 (de) 2016-04-20 2023-02-02 Franka Emika Gmbh Antriebsvorrichtung für einen Roboter und Verfahren zu ihrer Herstellung
DE102016004788A1 (de) 2016-04-20 2017-10-26 Kastanienbaum GmbH Verfahren zur Herstellung eines Roboters und Vorrichtung zur Durchführung dieses Verfahrens
US10500726B2 (en) * 2016-04-25 2019-12-10 Kindred Systems Inc. Facilitating device control
JP2017196705A (ja) * 2016-04-28 2017-11-02 セイコーエプソン株式会社 ロボット、及びロボットシステム
FR3050672B1 (fr) * 2016-04-29 2018-11-23 Les Companions Automate pour le traitement d'une surface
TWI622865B (zh) 2016-04-29 2018-05-01 財團法人工業技術研究院 用於機器人的直覺式力量導引方法及其裝置
TWI581731B (zh) * 2016-05-05 2017-05-11 Solomon Tech Corp Automatic shopping the method and equipment
CN105832419A (zh) * 2016-05-06 2016-08-10 济南创泽生物医药科技有限公司 一种微操精准手术机器人
US10322506B2 (en) * 2016-05-06 2019-06-18 Kindred Systems Inc. Systems, devices, articles, and methods for using trained robots
US20200348662A1 (en) * 2016-05-09 2020-11-05 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
US9821458B1 (en) 2016-05-10 2017-11-21 X Development Llc Trajectory planning with droppable objects
US10241514B2 (en) 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
US10974394B2 (en) 2016-05-19 2021-04-13 Deep Learning Robotics Ltd. Robot assisted object learning vision system
CN105892372A (zh) * 2016-05-31 2016-08-24 北京光年无限科技有限公司 一种智能机器人表情输出方法及智能机器人
US9987752B2 (en) 2016-06-10 2018-06-05 Brain Corporation Systems and methods for automatic detection of spills
US10058997B1 (en) * 2016-06-16 2018-08-28 X Development Llc Space extrapolation for robot task performance
US10052764B2 (en) * 2016-06-16 2018-08-21 Toyota Motor Engineering & Manufacutring North America, Inc. Automated and adjustable platform surface
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
CN106003038A (zh) * 2016-06-17 2016-10-12 小船信息科技(上海)有限公司 智能机器人
US10163219B2 (en) * 2016-06-24 2018-12-25 Fca Us Llc Machine vision cargo monitoring in a vehicle
US20170368691A1 (en) * 2016-06-27 2017-12-28 Dilili Labs, Inc. Mobile Robot Navigation
US10016896B2 (en) 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
US10058995B1 (en) * 2016-07-08 2018-08-28 X Development Llc Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request
JP7145843B2 (ja) 2016-07-18 2022-10-03 ラエル オドナー, ロボットマニピュレータの訓練
US10807233B2 (en) 2016-07-26 2020-10-20 The University Of Connecticut Skill transfer from a person to a robot
US10220511B2 (en) * 2016-07-28 2019-03-05 X Development Llc Customized robotic installation based on measurements collected on site
US10055667B2 (en) 2016-08-03 2018-08-21 X Development Llc Generating a model for an object encountered by a robot
FI127100B (en) * 2016-08-04 2017-11-15 Zenrobotics Oy A method and apparatus for separating at least one piece from a plurality of pieces
US10229317B2 (en) 2016-08-06 2019-03-12 X Development Llc Selectively downloading targeted object recognition modules
TWI651175B (zh) * 2016-08-12 2019-02-21 財團法人工業技術研究院 機械手臂之控制裝置及其教導系統與方法
CN107717982B (zh) 2016-08-12 2020-09-25 财团法人工业技术研究院 机械手臂的控制装置及操作方法
CN107717981B (zh) 2016-08-12 2021-01-05 财团法人工业技术研究院 机械手臂的控制装置及其教导系统与方法
JP6517762B2 (ja) 2016-08-23 2019-05-22 ファナック株式会社 人とロボットが協働して作業を行うロボットの動作を学習するロボットシステム
WO2018037662A1 (ja) * 2016-08-26 2018-03-01 シャープ株式会社 ロボット、ロボットの制御方法、および制御プログラム
JP6426672B2 (ja) * 2016-08-30 2018-11-21 ファナック株式会社 ワーク仕分けシステムおよび方法
CN106391372A (zh) * 2016-09-07 2017-02-15 广西大学 基于arm的自动喷粉系统
EP3512667A1 (en) * 2016-09-13 2019-07-24 ABB Schweiz AG Method of programming an industrial robot
EP3512669B1 (de) * 2016-09-14 2023-07-26 KEBA Industrial Automation GmbH Steuervorrichtung und steuerverfahren für industrielle maschinen mit gesteuerten bewegungsantrieben
US10131053B1 (en) * 2016-09-14 2018-11-20 X Development Llc Real time robot collision avoidance
US10596700B2 (en) 2016-09-16 2020-03-24 Carbon Robotics, Inc. System and calibration, registration, and training methods
JP6514166B2 (ja) 2016-09-16 2019-05-15 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置,ロボットシステムおよび機械学習方法
GB2554363B (en) * 2016-09-21 2021-12-08 Cmr Surgical Ltd User interface device
IT201600097482A1 (it) * 2016-09-28 2018-03-28 Gaiotto Automation S P A Metodo per il trattamento superficiale di un manufatto
US10571902B2 (en) * 2016-10-12 2020-02-25 Sisu Devices Llc Robotic programming and motion control
US10987804B2 (en) * 2016-10-19 2021-04-27 Fuji Xerox Co., Ltd. Robot device and non-transitory computer readable medium
US9717607B1 (en) * 2016-10-28 2017-08-01 International Business Machines Corporation Augmented control of robotic prosthesis by a cognitive system
US10274325B2 (en) 2016-11-01 2019-04-30 Brain Corporation Systems and methods for robotic mapping
US10001780B2 (en) 2016-11-02 2018-06-19 Brain Corporation Systems and methods for dynamic route planning in autonomous navigation
JP7314475B2 (ja) * 2016-11-11 2023-07-26 セイコーエプソン株式会社 ロボット制御装置、及び、ロボット制御方法
JP6534126B2 (ja) * 2016-11-22 2019-06-26 パナソニックIpマネジメント株式会社 ピッキングシステム及びその制御方法
US9805306B1 (en) 2016-11-23 2017-10-31 Accenture Global Solutions Limited Cognitive robotics analyzer
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
CN110352116A (zh) * 2016-12-05 2019-10-18 费洛有限公司 智能服务机器人和相关系统及方法
WO2018107000A1 (en) 2016-12-09 2018-06-14 Berkshire Grey, Inc. Systems and methods for processing objects provided in vehicles
US10430657B2 (en) 2016-12-12 2019-10-01 X Development Llc Object recognition tool
US10360531B1 (en) * 2016-12-19 2019-07-23 Amazon Technologies, Inc. Robot implemented item manipulation
US10635981B2 (en) * 2017-01-18 2020-04-28 Microsoft Technology Licensing, Llc Automated movement orchestration
JP7071054B2 (ja) * 2017-01-20 2022-05-18 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10377040B2 (en) 2017-02-02 2019-08-13 Brain Corporation Systems and methods for assisting a robotic apparatus
US10852730B2 (en) 2017-02-08 2020-12-01 Brain Corporation Systems and methods for robotic mobile platforms
JP6464213B2 (ja) * 2017-02-09 2019-02-06 ファナック株式会社 レーザ加工ヘッドおよび撮影装置を備えるレーザ加工システム
US20190370689A1 (en) * 2017-02-24 2019-12-05 Omron Corporation Learning data acquiring apparatus and method, program, and storing medium
US20190332969A1 (en) 2017-02-24 2019-10-31 Omron Corporation Configuring apparatus, method, program and storing medium, and learning data acquiring apparatus and method
ES2957704T3 (es) 2017-03-06 2024-01-24 Berkshire Grey Operating Company Inc Sistemas y métodos para mover eficientemente una variedad de objetos
CN206536457U (zh) * 2017-03-14 2017-10-03 合肥鑫晟光电科技有限公司 一种基板搬送机器人
CN107042507B (zh) 2017-03-16 2023-07-28 广东省智能制造研究所 一种多自由度驱动手臂及采用该手臂的双臂机器人
CN107123356A (zh) * 2017-03-21 2017-09-01 上海和盛前沿科技有限公司 工业机器人基本技能操作平台实训方法
CN107030691B (zh) * 2017-03-24 2020-04-14 华为技术有限公司 一种看护机器人的数据处理方法及装置
US11077562B2 (en) 2017-03-30 2021-08-03 Soft Robotics, Inc. User-assisted robotic control systems
GR20170100133A (el) * 2017-03-30 2018-10-31 Τεχνολογικο Εκπαιδευτικο Ιδρυμα Ανατολικης Μακεδονιας Και Θρακης Μεθοδος εκπαιδευσης ανθρωποειδων ρομποτ
US10293485B2 (en) 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning
CN106985152A (zh) * 2017-04-01 2017-07-28 佛山华数机器人有限公司 一种多功能机器人夹具
US10449671B2 (en) 2017-04-04 2019-10-22 Toyota Research Institute, Inc. Methods and systems for providing robotic operation constraints for remote controllable robots
US10766140B2 (en) 2017-04-13 2020-09-08 Battelle Memorial Institute Teach mode collision avoidance system and method for industrial robotic manipulators
JP6953778B2 (ja) * 2017-04-28 2021-10-27 オムロン株式会社 協調ロボット、コントローラ、および方法
US10860853B2 (en) * 2017-04-28 2020-12-08 Intel Corporation Learning though projection method and apparatus
EP3615281A4 (en) 2017-04-28 2021-01-13 Southie Autonomy Works, Inc. AUTOMATED PERSONALIZED FEEDBACK FOR INTERACTIVE LEARNING APPLICATIONS
JP2018192556A (ja) * 2017-05-16 2018-12-06 オムロン株式会社 ロボットシステム
CN106985141B (zh) * 2017-05-22 2020-07-03 中科新松有限公司 一种双臂协作机器人
JP6438525B1 (ja) * 2017-05-26 2018-12-12 ファナック株式会社 物品の重さを測定する重さ測定システムおよび方法
US20180341271A1 (en) * 2017-05-29 2018-11-29 Ants Technology (Hk) Limited Environment exploration system and method
CN107133609B (zh) * 2017-06-02 2020-01-14 王永安 一种人机交流机器人与其控制方法
CN110691676B (zh) * 2017-06-19 2023-02-03 谷歌有限责任公司 使用神经网络和几何感知对象表示的机器人抓取预测
US10569420B1 (en) * 2017-06-23 2020-02-25 X Development Llc Interfacing with autonomous devices
US10235192B2 (en) 2017-06-23 2019-03-19 Accenture Global Solutions Limited Self-learning robotic process automation
US10562181B2 (en) 2017-07-03 2020-02-18 X Development Llc Determining and utilizing corrections to robot actions
US11106967B2 (en) 2017-07-03 2021-08-31 X Development Llc Update of local features model based on correction to robot action
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
JP6619395B2 (ja) 2017-07-12 2019-12-11 ファナック株式会社 ロボットシステムおよびロボットの教示方法
US11345040B2 (en) * 2017-07-25 2022-05-31 Mbl Limited Systems and methods for operating a robotic system and executing robotic interactions
EP4299260A3 (en) * 2017-08-02 2024-04-10 Berkshire Grey Operating Company, Inc. Systems and methods for acquiring and moving objects having complex outer surfaces
JP6633580B2 (ja) * 2017-08-02 2020-01-22 ファナック株式会社 ロボットシステム及びロボット制御装置
JP6680730B2 (ja) * 2017-08-08 2020-04-15 ファナック株式会社 制御装置及び学習装置
US11316865B2 (en) 2017-08-10 2022-04-26 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11413748B2 (en) 2017-08-10 2022-08-16 Robert Bosch Gmbh System and method of direct teaching a robot
US20190051395A1 (en) 2017-08-10 2019-02-14 Nuance Communications, Inc. Automated clinical documentation system and method
WO2019039006A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 ロボット
JP6795471B2 (ja) * 2017-08-25 2020-12-02 ファナック株式会社 ロボットシステム
DE102017215114A1 (de) * 2017-08-30 2019-02-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Manipulatorsystem und Verfahren zum Steuern eines robotischen Manipulators
WO2019051645A1 (zh) * 2017-09-12 2019-03-21 深圳前海达闼云端智能科技有限公司 一种机器人动态学习方法、系统、机器人以及云端服务器
US10773382B2 (en) * 2017-09-15 2020-09-15 X Development Llc Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation
US10624707B2 (en) * 2017-09-18 2020-04-21 Verb Surgical Inc. Robotic surgical system and method for communicating synchronous and asynchronous information to and from nodes of a robotic arm
US10779901B2 (en) 2017-09-18 2020-09-22 Verb Surgical Inc. Robotic surgical system having a communication network of a ring topology and method for use therewith
JP2019059004A (ja) * 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム
US11847841B2 (en) 2017-10-18 2023-12-19 Brown University Probabilistic object models for robust, repeatable pick-and-place
CN107886501A (zh) * 2017-10-23 2018-04-06 深圳市共进电子股份有限公司 视觉定位方法及终端设备
JP7041492B2 (ja) * 2017-10-31 2022-03-24 川崎重工業株式会社 ロボットシステム
US11514599B2 (en) * 2017-11-01 2022-11-29 James R. Glidewell Dental Ceramics, Inc. Systems and methods for tracking manufactured articles during transfer operations
JP2019084601A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、把持システムおよび情報処理方法
CN109778621B (zh) * 2017-11-13 2022-02-08 宝马汽车股份有限公司 用于交通运输系统的移动平台和交通运输系统
US10828790B2 (en) * 2017-11-16 2020-11-10 Google Llc Component feature detector for robotic systems
CN107972063A (zh) * 2017-11-24 2018-05-01 嘉兴学院 一种电机驱动的仿人型机器人
TWI660254B (zh) * 2017-12-20 2019-05-21 湧德電子股份有限公司 軌跡優化系統
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
CN108563146B (zh) * 2018-01-15 2021-08-13 深圳市同川科技有限公司 机器人工作模式切换控制方法、装置、计算机设备和介质
JP7035555B2 (ja) * 2018-01-23 2022-03-15 セイコーエプソン株式会社 教示装置、及びシステム
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
JP7208713B2 (ja) * 2018-02-13 2023-01-19 キヤノン株式会社 画像解析装置および画像解析方法
EP3756188A4 (en) * 2018-02-15 2022-02-23 DMAI, Inc. SYSTEM AND METHOD FOR DYNAMIC ROBOT CONFIGURATION FOR ENHANCED DIGITAL EXPERIENCES
WO2019173333A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. Automated clinical documentation system and method
WO2019173331A1 (en) 2018-03-05 2019-09-12 Nuance Communications, Inc. System and method for review of automated clinical documentation
US11250382B2 (en) 2018-03-05 2022-02-15 Nuance Communications, Inc. Automated clinical documentation system and method
CN108381509B (zh) * 2018-03-19 2021-03-02 京东方科技集团股份有限公司 智能抓取装置及其控制方法、智能抓取控制系统
WO2019183141A1 (en) 2018-03-21 2019-09-26 Realtime Robotics, Inc. Motion planning of a robot for various environments and tasks and improved operation of same
JP7083189B2 (ja) * 2018-03-29 2022-06-10 国立大学法人 奈良先端科学技術大学院大学 学習データセット作製方法及び装置
US10147251B1 (en) * 2018-03-29 2018-12-04 Capital One Services, Llc Providing virtual and physical access to secure storage container
US10875176B2 (en) 2018-04-04 2020-12-29 Kuka Systems North America Llc Process control using deep learning training model
CN110340863B (zh) * 2018-04-08 2023-02-17 AIrobot株式会社 自主移动搬运机器人
DE102018109329B4 (de) * 2018-04-19 2019-12-05 Gottfried Wilhelm Leibniz Universität Hannover Mehrgliedrige aktuierte Kinematik, vorzugsweise Roboter, besonders vorzugsweise Knickarmroboter
US10967507B2 (en) * 2018-05-02 2021-04-06 X Development Llc Positioning a robot sensor for object classification
CN108656109B (zh) * 2018-05-07 2021-03-02 中国科学院力学研究所 一种远程操作的训练方法及系统
US11847822B2 (en) * 2018-05-09 2023-12-19 Sony Corporation Information processing device and information processing method
EP3566823A1 (en) * 2018-05-11 2019-11-13 Siemens Aktiengesellschaft Method, apparatus and system for robotic programming
CN108687772B (zh) * 2018-05-15 2020-06-30 浙江工业大学 一种基于均值耦合的双机械臂系统固定时间参数辨识与位置同步控制方法
US11119498B2 (en) 2018-06-06 2021-09-14 Toyota Research Institute, Inc. Systems and methods for simulation utilizing a segmentable monolithic mesh
CN108748152B (zh) * 2018-06-07 2021-06-29 上海大学 一种机器人示教方法及系统
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
CN108873774A (zh) * 2018-06-14 2018-11-23 合肥工业大学 一种vex机器人教学辅助控制系统及控制方法
US20210237266A1 (en) * 2018-06-15 2021-08-05 Google Llc Deep reinforcement learning for robotic manipulation
WO2019244434A1 (ja) * 2018-06-18 2019-12-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3584038A1 (en) * 2018-06-19 2019-12-25 BAE SYSTEMS plc Workbench system
EP3810375A1 (en) * 2018-06-19 2021-04-28 BAE SYSTEMS plc Workbench system
US11110610B2 (en) 2018-06-19 2021-09-07 Bae Systems Plc Workbench system
US11472035B2 (en) 2018-06-26 2022-10-18 Fanuc America Corporation Augmented reality visualization for robotic picking system
US11407111B2 (en) 2018-06-27 2022-08-09 Abb Schweiz Ag Method and system to generate a 3D model for a robot scene
DE102018210520B3 (de) * 2018-06-27 2019-09-05 Kuka Deutschland Gmbh Verfahren und System zur Diagnose eines Maschinenprozesses
AT521390B1 (de) * 2018-06-29 2021-11-15 Wittmann Tech Gmbh Verfahren zur laufenden Speicherung von internen Betriebszuständen und zur Visualisierung von zeitlich zurückliegenden Ablaufsequenzen sowie Roboter und/oder Robotsteuerung hierfür
CN112368656B (zh) * 2018-07-06 2021-08-20 三菱电机株式会社 机器学习装置、数控装置、工作机械及机器学习方法
US11285607B2 (en) * 2018-07-13 2022-03-29 Massachusetts Institute Of Technology Systems and methods for distributed training and management of AI-powered robots using teleoperation via virtual spaces
JP7035886B2 (ja) * 2018-07-30 2022-03-15 トヨタ自動車株式会社 画像処理装置、画像処理方法
US10953541B2 (en) * 2018-07-31 2021-03-23 At&T Intellectual Property I, L.P. Providing logistical support for robots
US11203122B2 (en) * 2018-08-03 2021-12-21 Digital Dream Labs, Llc Goal-based robot animation
US11636382B1 (en) * 2018-08-10 2023-04-25 Textron Innovations, Inc. Robotic self programming visual inspection
US11396072B2 (en) * 2018-08-20 2022-07-26 Massachusetts Institute Of Technology Robotic manipulation of objects using external contacts
WO2020041117A1 (en) * 2018-08-20 2020-02-27 Massachusetts Institute Of Technology Robotic manipulation of objects for grip adjustment
JP7262847B2 (ja) 2018-08-30 2023-04-24 ヴェオ ロボティクス, インコーポレイテッド 安全重視用途に関する産業ロボット動力学のシステム識別
CN109048843B (zh) * 2018-09-14 2024-03-29 昆明理工大学 一种捡球机器人
CN112702968A (zh) * 2018-09-17 2021-04-23 柯惠Lp公司 手术机器人系统
US11685052B2 (en) * 2018-09-18 2023-06-27 Kinova Inc. Vision guided robot arm and method for operating the same
JP7263724B2 (ja) * 2018-09-27 2023-04-25 株式会社デンソーウェーブ ロボットの制御方法
JP7172399B2 (ja) * 2018-10-03 2022-11-16 カシオ計算機株式会社 制御装置、ロボット、制御方法及びプログラム
CN109491902B (zh) * 2018-11-01 2023-04-18 京东方科技集团股份有限公司 交互测试方法、装置及系统
US20200160210A1 (en) * 2018-11-20 2020-05-21 Siemens Industry Software Ltd. Method and system for predicting a motion trajectory of a robot moving between a given pair of robotic locations
TWI734055B (zh) * 2018-11-30 2021-07-21 財團法人金屬工業研究發展中心 自動控制方法以及自動控制裝置
JP7044047B2 (ja) * 2018-12-14 2022-03-30 トヨタ自動車株式会社 ロボット
KR102619004B1 (ko) 2018-12-14 2023-12-29 삼성전자 주식회사 로봇 장치 및 로봇의 작업 기술을 학습하는 방법
RU192186U1 (ru) * 2018-12-21 2019-09-05 Ооо "Мера-Тсп" Силовой джойстик
WO2020139105A1 (ru) * 2018-12-26 2020-07-02 Публичное Акционерное Общество "Сбербанк России" Способ и система предиктивного избегания столкновения манипулятора с человеком
JP7128736B2 (ja) * 2018-12-27 2022-08-31 川崎重工業株式会社 ロボット制御装置、ロボットシステム及びロボット制御方法
US11185978B2 (en) 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
US10456915B1 (en) 2019-01-25 2019-10-29 Mujin, Inc. Robotic system with enhanced scanning mechanism
US10870204B2 (en) 2019-01-25 2020-12-22 Mujin, Inc. Robotic system control method and controller
CN109773793B (zh) * 2019-02-25 2022-03-25 太仓中科信息技术研究院 用于摄像机器人的碰撞检测系统及方法
JP7273538B2 (ja) * 2019-02-26 2023-05-15 パナソニックホールディングス株式会社 装置、方法、及びプログラム
CN109807909B (zh) * 2019-03-04 2020-12-11 清研同创机器人(天津)有限公司 七自由度喷涂机器人
EP3831545A4 (en) * 2019-03-15 2022-03-16 OMRON Corporation PARAMETER SETTING DEVICE, PARAMETER SETTING METHOD AND PROGRAM
US20200301510A1 (en) * 2019-03-19 2020-09-24 Nvidia Corporation Force estimation using deep learning
US11170526B2 (en) * 2019-03-26 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US10399227B1 (en) 2019-03-29 2019-09-03 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
WO2020203793A1 (ja) * 2019-03-29 2020-10-08 株式会社エスイーフォー ロボットの制御装置、制御ユニット、それらを有するロボット制御システム
US11022961B2 (en) 2019-04-04 2021-06-01 Plus One Robotics, Inc. Industrial robotics systems and methods for continuous and automated learning
US11318618B2 (en) 2019-04-05 2022-05-03 Verb Surgical Inc. Robotic surgical system and method for handling real-time and non-real-time traffic
US11813758B2 (en) * 2019-04-05 2023-11-14 Dexterity, Inc. Autonomous unknown object pick and place
EP3953855A4 (en) 2019-04-11 2023-01-25 Plus One Robotics, Inc. SYSTEMS AND METHODS FOR IDENTIFYING PACKAGE PROPERTIES IN AN AUTOMATED INDUSTRIAL ROBOTICS SYSTEM
US11132845B2 (en) * 2019-05-22 2021-09-28 Microsoft Technology Licensing, Llc Real-world object recognition for computing device
JP7226101B2 (ja) * 2019-05-28 2023-02-21 オムロン株式会社 安全監視システム、安全監視制御装置、および安全監視方法
US20220203540A1 (en) * 2019-05-31 2022-06-30 Siemens Aktiengesellschaft Method for dynamic multi-dimensional spatio-temporal human machine interaction and feedback
US10647528B1 (en) 2019-05-31 2020-05-12 Mujin, Inc. Robotic system for palletizing packages using real-time placement simulation
US10679379B1 (en) 2019-05-31 2020-06-09 Mujin, Inc. Robotic system with dynamic packing mechanism
US10618172B1 (en) * 2019-05-31 2020-04-14 Mujin, Inc. Robotic system with error detection and dynamic packing mechanism
US10696493B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system with packing mechanism
US11077554B2 (en) 2019-05-31 2021-08-03 Mujin, Inc. Controller and control method for robotic system
US10696494B1 (en) 2019-05-31 2020-06-30 Mujin, Inc. Robotic system for processing packages arriving out of sequence
US11883963B2 (en) * 2019-06-03 2024-01-30 Cushybots Corporation Robotic platform for interactive play using a telepresence robot surrogate
US11043207B2 (en) 2019-06-14 2021-06-22 Nuance Communications, Inc. System and method for array data simulation and customized acoustic modeling for ambient ASR
US11227679B2 (en) 2019-06-14 2022-01-18 Nuance Communications, Inc. Ambient clinical intelligence system and method
US11216480B2 (en) 2019-06-14 2022-01-04 Nuance Communications, Inc. System and method for querying data points from graph data structures
US20210323581A1 (en) * 2019-06-17 2021-10-21 Lg Electronics Inc. Mobile artificial intelligence robot and method of controlling the same
CN110393399B (zh) * 2019-06-25 2021-01-29 美克国际家居用品股份有限公司 一种智能组装拆卸家具用展示系统
DE102019004478B3 (de) * 2019-06-26 2020-10-29 Franka Emlka Gmbh System zum Vornehmen einer Eingabe an einem Robotermanipulator
CN114025928A (zh) * 2019-06-27 2022-02-08 松下知识产权经营株式会社 末端执行器的控制系统以及末端执行器的控制方法
US11531807B2 (en) 2019-06-28 2022-12-20 Nuance Communications, Inc. System and method for customized text macros
US11694432B2 (en) * 2019-07-23 2023-07-04 Toyota Research Institute, Inc. System and method for augmenting a visual output from a robotic device
US11491658B2 (en) * 2019-07-23 2022-11-08 Toyota Research Institute, Inc. Methods and systems for automatically annotating items by robots
JP7306908B2 (ja) * 2019-07-23 2023-07-11 ファナック株式会社 ロボットハンド制御装置、ロボットシステムおよびロボットハンド制御方法
US11213953B2 (en) * 2019-07-26 2022-01-04 Google Llc Efficient robot control based on inputs from remote client devices
JP2021020309A (ja) * 2019-07-30 2021-02-18 株式会社ダイアディックシステムズ ロボット制御プログラム生成システム、ロボット制御プログラム生成方法、及びプログラム
KR20190104483A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 로봇 시스템 및 그 제어 방법
CN110562553B (zh) * 2019-08-22 2021-04-09 深海弈智京山智能科技有限公司 一种下纸视觉引导系统及引导方法
US11262887B2 (en) 2019-09-13 2022-03-01 Toyota Research Institute, Inc. Methods and systems for assigning force vectors to robotic tasks
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
EP4034374A1 (en) 2019-09-23 2022-08-03 NIKE Innovate C.V. Manufacturing systems for applying materials to articles of apparel and methods of using the same
US11670408B2 (en) 2019-09-30 2023-06-06 Nuance Communications, Inc. System and method for review of automated clinical documentation
EP4040940A4 (en) * 2019-10-10 2022-11-30 The State of Israel, Ministry of Agriculture & Rural Development Agricultural Research Organization HUMAN-ROBOT GUIDANCE SYSTEM FOR THE DETECTION OF AGRICULTURAL OBJECTS IN UNSTRUCTURED AND NOISY ENVIRONMENTS BY INTEGRATION OF LASER AND SIGHT
WO2021078346A1 (en) * 2019-10-22 2021-04-29 Universal Robots A/S Robot arm with adaptive three-dimensional boundary in free-drive
US10954081B1 (en) 2019-10-25 2021-03-23 Dexterity, Inc. Coordinating multiple robots to meet workflow and avoid conflict
AU2020257165A1 (en) 2019-10-28 2021-05-13 The Raymond Corporation Systems and methods for transferring routes between material handling devices
US20230010651A1 (en) * 2019-10-29 2023-01-12 Abb Schweiz Ag System and Method for Online Optimization of Sensor Fusion Model
JP7415447B2 (ja) * 2019-10-31 2024-01-17 セイコーエプソン株式会社 ロボットシステム
CN110757461A (zh) * 2019-11-13 2020-02-07 江苏方时远略科技咨询有限公司 一种工业移动机器人的控制系统及其控制方法
DE102019217630B3 (de) * 2019-11-15 2021-01-14 Kuka Deutschland Gmbh Verfahren zum Ausführen einer Applikation eines Robotersystems
CN110900604B (zh) * 2019-12-02 2021-01-05 浙江大学 基于双机械臂协作打磨系统的动力学模型设计方法
US11584004B2 (en) * 2019-12-17 2023-02-21 X Development Llc Autonomous object learning by robots triggered by remote operators
JP2021102240A (ja) * 2019-12-25 2021-07-15 セイコーエプソン株式会社 プログラム作成システム、プログラム作成装置およびロボットシステム
US11610153B1 (en) * 2019-12-30 2023-03-21 X Development Llc Generating reinforcement learning data that is compatible with reinforcement learning for a robotic task
IT202000000373A1 (it) * 2020-01-13 2021-07-13 Ima Spa Isola robotizzata per il confezionamento di articoli o prodotti
US11741192B2 (en) * 2020-01-29 2023-08-29 International Business Machines Corporation Increasing trust formation and reduce oversight costs for autonomous agents
EP4099880A1 (en) * 2020-02-06 2022-12-14 Mark Oleynik Robotic kitchen hub systems and methods for minimanipulation library
CA3170703A1 (en) 2020-02-06 2021-08-12 Berkshire Grey Operating Company, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
US11875527B1 (en) 2020-04-13 2024-01-16 Apple Inc. Descriptor generation and point cloud fusion
US11826908B2 (en) 2020-04-27 2023-11-28 Scalable Robotics Inc. Process agnostic robot teaching using 3D scans
US20210347053A1 (en) * 2020-05-08 2021-11-11 Vangogh Imaging, Inc. Virtual presence for telerobotics in a dynamic scene
CN111590575B (zh) * 2020-05-15 2021-12-10 深圳国信泰富科技有限公司 一种机器人的控制系统及其方法
CN111702744A (zh) * 2020-06-10 2020-09-25 南昌大学 一种可双臂协作的仿人机械双臂
US11731271B2 (en) * 2020-06-30 2023-08-22 Microsoft Technology Licensing, Llc Verbal-based focus-of-attention task model encoder
US20220084306A1 (en) * 2020-07-14 2022-03-17 Kalpit Jain Method and system of guiding a user on a graphical interface with computer vision
US11554482B2 (en) * 2020-07-16 2023-01-17 Hitachi, Ltd. Self-learning industrial robotic system
WO2022014312A1 (ja) * 2020-07-16 2022-01-20 ソニーグループ株式会社 ロボット制御装置、およびロボット制御方法、並びにプログラム
KR102386009B1 (ko) * 2020-07-30 2022-04-13 네이버랩스 주식회사 로봇 작업의 학습 방법 및 로봇 시스템
EP3960395A1 (en) * 2020-08-24 2022-03-02 ABB Schweiz AG Method and system for training a robot
KR20230074229A (ko) * 2020-09-25 2023-05-26 아우리스 헬스, 인코포레이티드 로봇 아암을 정렬시키기 위한 햅틱 피드백
CN112223288B (zh) * 2020-10-09 2021-09-14 南开大学 一种视觉融合的服务机器人控制方法
US11222103B1 (en) 2020-10-29 2022-01-11 Nuance Communications, Inc. Ambient cooperative intelligence system and method
US11925848B2 (en) 2020-11-03 2024-03-12 Shuhari Group, LLC Combat applications partner
US11948375B2 (en) 2020-11-09 2024-04-02 Walmart Apollo, Llc System and method for optimizing container contents
US11565406B2 (en) 2020-11-23 2023-01-31 Mitsubishi Electric Research Laboratories, Inc. Multi-tentacular soft robotic grippers
CN112549023B (zh) * 2020-11-25 2022-05-27 浙江同善人工智能技术有限公司 基于TCP socket接口工业机器人示教器模式与协程控制方法
US11724407B2 (en) * 2021-01-18 2023-08-15 Xerox Corporation Target-free RGBD camera alignment to robots
CN116745816A (zh) * 2021-01-19 2023-09-12 Abb瑞士股份有限公司 用于使多个移动机器人可视化的系统和方法
US20220289501A1 (en) * 2021-03-15 2022-09-15 Dexterity, Inc. Singulation of arbitrary mixed items
US20240042617A1 (en) * 2021-03-23 2024-02-08 Nec Corporation Information processing device, modification system, information processing method, and non-transitory computer-readable medium
US20220331966A1 (en) * 2021-04-09 2022-10-20 Beyond Imagination Inc. Mobility surrogates
CA3230947A1 (en) 2021-09-08 2023-03-16 Patrick McKinley JARVIS Wearable robot data collection system with human-machine operation interface
DE102021125157A1 (de) 2021-09-28 2023-03-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Benutzerschnittstellenvorrichtung, Endeffektor, Roboter und Verfahren zum Kontrollieren einer Benutzerschnittstellenvorrichtung, eines Endeffektors und/oder eines Roboters
WO2023059485A1 (en) 2021-10-06 2023-04-13 Berkshire Grey Operating Company, Inc. Dynamic processing of objects provided in elevated vehicles with evacuation systems and methods for receiving objects
CN113799143B (zh) * 2021-11-18 2022-04-19 广东隆崎机器人有限公司 一种多机器人在工作区域内的安全协作方法及装置
US11989843B2 (en) 2022-06-22 2024-05-21 Snap Inc. Robotic learning of assembly tasks using augmented reality
CN115431251B (zh) * 2022-09-16 2023-03-21 哈尔滨工业大学 一种仿人机器人上肢

Family Cites Families (141)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337552B1 (en) 1999-01-20 2002-01-08 Sony Corporation Robot apparatus
JPS52145375U (zh) * 1976-04-30 1977-11-04
US4117605A (en) 1976-06-24 1978-10-03 Michael J. Freeman Real time conversational toy having secure playback response
JPS58195921U (ja) * 1982-06-23 1983-12-26 本田技研工業株式会社 ハンドルスイツチ装置
JPS59192491A (ja) * 1983-04-15 1984-10-31 株式会社日立製作所 組立用治具と力センサとを兼ねる組込形直接教示装置
JPS60221288A (ja) 1984-04-13 1985-11-05 株式会社 富士電機総合研究所 圧覚認識制御装置
JPH0445825Y2 (zh) * 1985-10-18 1992-10-28
US4952772A (en) 1988-11-16 1990-08-28 Westinghouse Electric Corp. Automatic seam tracker and real time error cumulative control system for an industrial robot
US5652910A (en) 1989-05-04 1997-07-29 Texas Instruments Incorporated Devices and systems with conditional instructions
JPH0440506A (ja) * 1990-06-06 1992-02-10 Murata Mach Ltd ロボットの教示装置
JP3126413B2 (ja) * 1991-06-15 2001-01-22 松下電工株式会社 ノンタッチスイッチ装置
JPH05143149A (ja) * 1991-11-18 1993-06-11 Fujitsu Ltd ロボツト
US5268837A (en) 1992-04-23 1993-12-07 Digital Equipment Corporation Robotics workstation
JPH0699375A (ja) 1992-09-18 1994-04-12 Kawasaki Heavy Ind Ltd ロボット操作訓練装置
JP3080791B2 (ja) * 1992-09-28 2000-08-28 三菱重工業株式会社 マニプレータの直接教示用補助装置
DE4443669A1 (de) 1994-12-08 1996-06-13 Index Werke Kg Hahn & Tessky Verfahren und Einrichtung zum Überwachen der Bewegung eines Maschinenbauteils
US5650704A (en) 1995-06-29 1997-07-22 Massachusetts Institute Of Technology Elastic actuator for precise force control
JPH09244724A (ja) * 1996-03-11 1997-09-19 Asahi Sanac Kk ロボットの動作プログラム作成方法及びその作成装置
DE19613386A1 (de) 1996-04-03 1997-10-09 Fiat Om Carrelli Elevatori Flurförderzeug, das wahlweise manuell oder automatisch betreibbar ausgebildet ist
AU3881197A (en) 1996-07-12 1998-02-09 Frank D. Francone Computer implemented machine learning method and system
JPH10136072A (ja) * 1996-11-01 1998-05-22 Masaru Okubo スイッチボタン用突起片及び移動電話
US5783834A (en) 1997-02-20 1998-07-21 Modular Process Technology Method and process for automatic training of precise spatial locations to a robot
FI112334B (fi) 1997-04-08 2003-11-28 Abb Research Ltd Menetelmä ja järjestely auton korin kokoonpanoon
US6363301B1 (en) 1997-06-04 2002-03-26 Nativeminds, Inc. System and method for automatically focusing the attention of a virtual robot interacting with users
US6353814B1 (en) 1997-10-08 2002-03-05 Michigan State University Developmental learning machine and method
JPH11254361A (ja) * 1998-03-13 1999-09-21 Sumitomo Heavy Ind Ltd ロボットにおけるダイレクトティーチングのモード切替え方式
US6951535B2 (en) 2002-01-16 2005-10-04 Intuitive Surgical, Inc. Tele-medicine system that transmits an entire state of a subsystem
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
US6484083B1 (en) 1999-06-07 2002-11-19 Sandia Corporation Tandem robot control system and method for controlling mobile robots in tandem
CA2388870A1 (en) 1999-11-18 2001-05-25 The Procter & Gamble Company Home cleaning robot
JP2001166804A (ja) 1999-12-10 2001-06-22 Sony Corp 学習式動作制御装置およびその方法、並びに提供媒体
EP2363774B1 (en) * 2000-05-01 2017-06-21 iRobot Corporation Method and system for remote control of mobile robot
US7236618B1 (en) * 2000-07-07 2007-06-26 Chee-Kong Chui Virtual surgery system with force feedback
EP1356413A2 (en) 2000-10-05 2003-10-29 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US6553311B2 (en) * 2000-12-08 2003-04-22 Trimble Navigation Limited Navigational off- line and off-heading indication system and method
US20020164070A1 (en) 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
JP2002301674A (ja) 2001-04-03 2002-10-15 Sony Corp 脚式移動ロボット及びその運動教示方法、並びに記憶媒体
US7328196B2 (en) 2003-12-31 2008-02-05 Vanderbilt University Architecture for multiple interacting robot intelligences
DE60118317T2 (de) 2001-04-30 2006-12-14 Sony France S.A. Autonom Roboter
SE0103994L (sv) 2001-11-29 2003-05-30 Abb Ab An industrial robot system and a method for programming thereof
US6587752B1 (en) * 2001-12-25 2003-07-01 National Institute Of Advanced Industrial Science And Technology Robot operation teaching method and apparatus
JP2005515910A (ja) 2002-01-31 2005-06-02 ブレインテック カナダ インコーポレイテッド シングルカメラ3dビジョンガイドロボティクスの方法および装置
WO2003064118A1 (en) 2002-01-31 2003-08-07 Abb Research Ltd. Robot machining tool position and orientation calibration
JP3529049B2 (ja) 2002-03-06 2004-05-24 ソニー株式会社 学習装置及び学習方法並びにロボット装置
US6826452B1 (en) 2002-03-29 2004-11-30 The Penn State Research Foundation Cable array robot for material handling
NO317898B1 (no) 2002-05-24 2004-12-27 Abb Research Ltd Fremgangsmate og system for a programmere en industrirobot
EP1532599B1 (de) 2002-08-17 2009-11-04 Abb Research Ltd. Verfahren zum betrieb eines systems mit einer vielzahl knoten und einer basisstation,gemäss tdma und system hierzu
SE524627C2 (sv) 2002-10-07 2004-09-07 Abb Research Ltd Trådlös regulator och förfarande för styrning av en anordning anordnad relativt en robot
JP3715617B2 (ja) 2002-12-02 2005-11-09 ファナック株式会社 生産セル
SE525108C2 (sv) 2002-12-30 2004-11-30 Abb Research Ltd Metod och system för programmering av en industrirobot, datorprogramprodukt, datorläsbart medium samt användning
JP3951235B2 (ja) 2003-02-19 2007-08-01 ソニー株式会社 学習装置及び学習方法並びにロボット装置
JP3950805B2 (ja) 2003-02-27 2007-08-01 ファナック株式会社 教示位置修正装置
US20070061041A1 (en) 2003-09-02 2007-03-15 Zweig Stephen E Mobile robot with wireless location sensing apparatus
US7096090B1 (en) 2003-11-03 2006-08-22 Stephen Eliot Zweig Mobile robotic router with web server and digital radio links
US7852355B2 (en) 2003-11-10 2010-12-14 Siemens Aktiengesellschaft System and method for carrying out and visually displaying simulations in an augmented reality
SE0303145D0 (sv) 2003-11-23 2003-11-23 Abb Research Ltd Method for optimising the performance of a robot
SE526119C2 (sv) 2003-11-24 2005-07-05 Abb Research Ltd Metod och system för programmering av en industrirobot
US7181314B2 (en) 2003-11-24 2007-02-20 Abb Research Ltd. Industrial robot with controlled flexibility and simulated force for automated assembly
SE0303445L (sv) 2003-12-17 2005-06-18 Abb Research Ltd Verktyg för en industrirobot
US7236854B2 (en) 2004-01-05 2007-06-26 Abb Research Ltd. Method and a system for programming an industrial robot
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US9110456B2 (en) 2004-09-08 2015-08-18 Abb Research Ltd. Robotic machining with a flexible manipulator
US7626569B2 (en) 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
SE0402750D0 (sv) 2004-11-10 2004-11-10 Abb Ab A calibration method
SE0402891D0 (sv) 2004-11-26 2004-11-26 Abb Ab A system and a method for controlling movements of an industrial robot
SE0402945D0 (sv) 2004-11-30 2004-11-30 Abb Research Ltd Industrial robot
US20060178775A1 (en) 2005-02-04 2006-08-10 George Zhang Accelerometer to monitor movement of a tool assembly attached to a robot end effector
US7643907B2 (en) 2005-02-10 2010-01-05 Abb Research Ltd. Method and apparatus for developing a metadata-infused software program for controlling a robot
EP1719588A1 (en) 2005-05-02 2006-11-08 Abb Research Ltd. A robot control system comprising a portable operating device with safety equipment
DE602005017376D1 (de) 2005-06-27 2009-12-10 Honda Res Inst Europe Gmbh Räumliche Annäherung und Objekterkennung für humanoiden Roboter
US20070001638A1 (en) 2005-07-01 2007-01-04 Fsi International, Inc. Robot with vibration sensor device
US8160743B2 (en) 2005-08-16 2012-04-17 Brainlab Ag Anthropomorphic medical robot arm with movement restrictions
ATE524784T1 (de) 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
DE102005054575B3 (de) 2005-11-16 2007-04-26 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zur Regelung eines Roboterarms sowie Roboter zur Durchführung des Verfahrens
US8667657B2 (en) 2006-01-18 2014-03-11 Abb Technology Ag Method and apparatus for engine piston installation by use of industrial robots
ATE410272T1 (de) 2006-02-17 2008-10-15 Abb Research Ltd Industrierobotersystem
JP4908020B2 (ja) 2006-03-02 2012-04-04 本田技研工業株式会社 ハンド制御システム
US20080065257A1 (en) 2006-09-13 2008-03-13 Jianmin He Controlled material removal rate (CMRR) and self-tuning force control in robotic machining process
TWI349870B (en) 2006-11-22 2011-10-01 Ind Tech Res Inst Device and method of tactile sensing for human robot interaction
EP1927440A1 (en) 2006-11-30 2008-06-04 Abb Research Ltd. Method and device for monitoring the condition of an industrial robot
EP1932629B1 (en) 2006-12-11 2019-04-24 ABB Research Ltd. A method and a control system for monitoring the condition of an industrial robot
TWI306051B (en) * 2006-12-14 2009-02-11 Ind Tech Res Inst Robotic apparatus with surface information displaying and interaction capability
JP2010513040A (ja) 2006-12-19 2010-04-30 アーベーベー・リサーチ・リミテッド 部品ハンドリング装置、システム及び方法
ATE542644T1 (de) 2006-12-22 2012-02-15 Abb Research Ltd Steuersystem
WO2008083079A2 (en) 2006-12-27 2008-07-10 Mako Surgical Corp. Apparatus and method for providing an adjustable positive stop in space
EP1955830B1 (en) 2007-02-06 2014-04-09 Abb Research Ltd. A method and a control system for monitoring the condition of an industrial robot
EP1958738B1 (en) 2007-02-13 2013-08-14 Abb Research Ltd. Remote diagnostic system for robots
EP1965281A1 (en) 2007-03-02 2008-09-03 Abb Research Ltd. Dynamic maintenance plan for an industrial robot
EP1967333A1 (en) 2007-03-09 2008-09-10 Abb Research Ltd. Detection of condition changes in an industrial robot system
JP4877810B2 (ja) 2007-04-02 2012-02-15 株式会社国際電気通信基礎技術研究所 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム
US20090132088A1 (en) 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
WO2008147239A1 (en) 2007-05-28 2008-12-04 Budker Institute Of Nuclear Physics Sibirskogo Otdeleniya Rossiiskoi Akademii Nauk Lithium container
US8414246B2 (en) 2007-06-06 2013-04-09 Cycogs, Llc Modular hybrid snake arm
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
WO2009071567A1 (en) 2007-12-05 2009-06-11 Abb Research Ltd A production line and a method for operating a such
ATE524772T1 (de) 2007-12-06 2011-09-15 Abb Research Ltd Roboterbetriebssystem und verfahren zur bereitstellung einer fernsteuerung für einen roboter
DE102007062108A1 (de) 2007-12-21 2009-07-02 Kuka Roboter Gmbh Industrieroboter und Verfahren zum Programmieren eines Industrieroboters
JP5213023B2 (ja) 2008-01-15 2013-06-19 本田技研工業株式会社 ロボット
FR2926240B1 (fr) 2008-01-15 2010-04-30 Blm Procede pour l'apprentissage d'un robot ou similaire et dispositif pour la mise en oeuvre de ce procede.
US8140188B2 (en) 2008-02-18 2012-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic system and method for observing, learning, and supporting human activities
EP2244866B1 (en) 2008-02-20 2015-09-16 ABB Research Ltd. Method and system for optimizing the layout of a robot work cell
US8175749B2 (en) * 2008-02-28 2012-05-08 Panasonic Corporation Control apparatus and control method for robot arm, robot, control program for robot arm, and integrated electronic circuit for controlling robot arm
US20090306825A1 (en) 2008-04-21 2009-12-10 Ying Li Manipulation system and method
JP5093498B2 (ja) * 2008-07-09 2012-12-12 花王株式会社 マニプレータシステム
EP2331303A1 (en) 2008-08-27 2011-06-15 ABB Research Ltd. A robot for harsh outdoor environment
JP2010094777A (ja) * 2008-10-16 2010-04-30 Fuji Electric Systems Co Ltd 遠隔操作支援装置
DE102008043360A1 (de) * 2008-10-31 2010-05-12 Kuka Roboter Gmbh Industrieroboter und Verfahren zum Programmieren eines Industrieroboters
EP2364243B1 (en) 2008-12-03 2012-08-01 ABB Research Ltd. A robot safety system and a method
US9108316B2 (en) 2008-12-10 2015-08-18 Abb Research Ltd. Method and system for in-production optimization of the parameters of a robot used for assembly
CN102256755B (zh) 2008-12-17 2014-09-17 Abb研究有限公司 用于操纵器的预防损坏的系统
WO2010083259A2 (en) 2009-01-13 2010-07-22 Meimadtek Ltd. Method and system for operating a self-propelled vehicle according to scene images
US9311917B2 (en) 2009-01-21 2016-04-12 International Business Machines Corporation Machine, system and method for user-guided teaching of deictic references and referent objects of deictic references to a conversational command and control system
JP4584354B2 (ja) 2009-01-22 2010-11-17 パナソニック株式会社 ロボットアームの制御装置及び制御方法、ロボット、ロボットアームの制御プログラム、並びに、集積電子回路
US20100188034A1 (en) 2009-01-23 2010-07-29 Derek Young Trainable Robot and Method of Training
CN102395449B (zh) 2009-04-15 2014-10-29 Abb研究有限公司 用于机器人臂的设备
KR20120027253A (ko) 2009-04-23 2012-03-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 물체-학습 로봇 및 방법
CN101590648A (zh) * 2009-05-14 2009-12-02 天津工程师范学院 基于脑-机接口的服务机器人系统
US20100312391A1 (en) 2009-06-05 2010-12-09 Abb Research Ltd. Calibration Of A Lead-Through Teaching Device For An Industrial Robot
PL2490867T3 (pl) 2009-10-22 2015-02-27 Abb Research Ltd Część robota i sposób zabezpieczenia części robota
CN102448681B (zh) 2009-12-28 2014-09-10 松下电器产业株式会社 动作空间提示装置、动作空间提示方法以及程序
KR101145243B1 (ko) 2010-03-31 2012-05-24 한국과학기술연구원 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법
WO2011140704A1 (en) 2010-05-11 2011-11-17 Abb Research Ltd. Apparatus, method, program and recording medium for robot offline teaching
WO2011153156A2 (en) 2010-06-02 2011-12-08 Abb Research Ltd Robotic assembly with partial fixturing
EP2404712A1 (en) 2010-07-07 2012-01-11 ABB Research Ltd. A dual arm robot and a method for controlling a dual arm robot
SE1050763A1 (sv) 2010-07-08 2010-07-12 Abb Research Ltd En metod för att kalibrera en mobil robot
WO2012020858A1 (ko) 2010-08-11 2012-02-16 (주) 퓨처로봇 식당의 고객 서비스 및 계산 가능한 지능형 주행로봇
CN103153553B (zh) 2010-08-27 2016-04-06 Abb研究有限公司 视觉引导对准系统和方法
US20120130541A1 (en) 2010-09-07 2012-05-24 Szalek Leszek A Method and apparatus for robot teaching
WO2012031635A1 (en) 2010-09-10 2012-03-15 Abb Research Ltd. Industrial robot
US8781629B2 (en) 2010-09-22 2014-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Human-robot interface apparatuses and methods of controlling robots
KR20120047577A (ko) 2010-11-04 2012-05-14 주식회사 케이티 대화형 행동모델을 이용한 로봇 인터랙션 서비스 제공 장치 및 방법
DE112011103794B4 (de) * 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
CN102060986A (zh) 2010-11-30 2011-05-18 中国科学院宁波材料技术与工程研究所 一种芳香族—脂肪族嵌段共聚酯及其制备方法
EP2673119B1 (en) 2011-02-07 2015-12-16 ABB Research Ltd. Industrial robot with a collapsible process force applicator
CN102655425B (zh) 2011-03-02 2014-12-10 爱立信(中国)通信有限公司 调控波束方向改变而导致的上行负载变化的方法和基站
DE102011006420A1 (de) 2011-03-30 2012-10-04 Robert Bosch Gmbh Steuerschaltung, Sensoranordnung und Verfahren zum Betrieb einer Steuerschaltung
US8588972B2 (en) 2011-04-17 2013-11-19 Hei Tao Fung Method for creating low-cost interactive entertainment robots
US8639644B1 (en) 2011-05-06 2014-01-28 Google Inc. Shared robot knowledge base for use with cloud computing system
US9002098B1 (en) * 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
US9092698B2 (en) 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
JP2023542915A (ja) 2020-09-18 2023-10-12 三星ディスプレイ株式會社 有機エレクトロルミネッセンス素子

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108838991A (zh) * 2018-03-06 2018-11-20 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
CN108838991B (zh) * 2018-03-06 2022-03-25 南昌工程学院 一种自主类人双臂机器人及其对运动目标的跟踪操作系统

Also Published As

Publication number Publication date
EP2864085B1 (en) 2016-11-30
US9434072B2 (en) 2016-09-06
US8996174B2 (en) 2015-03-31
US9092698B2 (en) 2015-07-28
WO2013192490A2 (en) 2013-12-27
EP2864085A2 (en) 2015-04-29
US8996167B2 (en) 2015-03-31
US20150290803A1 (en) 2015-10-15
US20130345872A1 (en) 2013-12-26
US20130343640A1 (en) 2013-12-26
JP2015520041A (ja) 2015-07-16
JP2015520040A (ja) 2015-07-16
US9669544B2 (en) 2017-06-06
WO2013192500A2 (en) 2013-12-27
WO2013192490A3 (en) 2014-03-20
WO2013192492A1 (en) 2013-12-27
US20130346348A1 (en) 2013-12-26
US20130345870A1 (en) 2013-12-26
US20130345875A1 (en) 2013-12-26
US8958912B2 (en) 2015-02-17
JP6314134B2 (ja) 2018-04-18
US20130345874A1 (en) 2013-12-26
US8965576B2 (en) 2015-02-24
CN104602868A (zh) 2015-05-06
CN104640677A (zh) 2015-05-20
US20130345869A1 (en) 2013-12-26
US8996175B2 (en) 2015-03-31
EP2864084A2 (en) 2015-04-29
US20130345873A1 (en) 2013-12-26
US9701015B2 (en) 2017-07-11
WO2013192500A3 (en) 2014-04-17
US20130345863A1 (en) 2013-12-26
US20150290802A1 (en) 2015-10-15
US8965580B2 (en) 2015-02-24
CN104640677B (zh) 2017-09-08

Similar Documents

Publication Publication Date Title
CN104602868B (zh) 用于机器人训练的用户接口
Bimbo et al. Teleoperation in cluttered environments using wearable haptic feedback
Khurshid et al. Effects of grip-force, contact, and acceleration feedback on a teleoperated pick-and-place task
Li et al. Survey on mapping human hand motion to robotic hands for teleoperation
CN103955295A (zh) 一种基于数据手套和物理引擎的虚拟手的实时抓取方法
EP3224681B1 (en) System for virtual commissioning
Sanfilippo et al. A low-cost multi-modal auditory-visual-tactile framework for remote touch
Coppola et al. An affordable system for the teleoperation of dexterous robotic hands using leap motion hand tracking and vibrotactile feedback
CN109801709A (zh) 一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统
Amaya et al. Evaluation of human-robot teleoperation interfaces for soft robotic manipulators
Pan et al. Robot teaching system based on hand-robot contact state detection and motion intention recognition
Giudici et al. Feeling good: Validation of bilateral tactile telemanipulation for a dexterous robot
Rodrıguez-Sedano et al. Strategies for haptic-robotic teleoperation in board games: playing checkers with Baxter
Zhu et al. Cutaneous feedback interface for teleoperated in-hand manipulation
Spano Teleoperating Humanoids Robots using Standard VR Headsets: A Systematic Review.
Nitsch Haptic human-machine interaction in teleoperation systems and its implications for the design and effective use of haptic interfaces
Thompson Redesigning the human-robot interface: intuitive teleoperation of anthropomorphic robots
Giudici Bilateral Tactile-Based Telerobotics Interface for Blind Objects Reconstruction
Sun et al. Direct virtual-hand interface in robot assembly programming
Zhang et al. Wearable teleoperation controller with 2-DoF robotic arm and haptic feedback for enhanced interaction in virtual reality
Katranitsiotis et al. Leveraging VR and Force-Haptic Feedback for an Effective Training with Robots.
KR101378752B1 (ko) 전시용 로봇 및 그 제어 방법
Sopon et al. Mixed Reality Framework for Eye-in-Hand Collaborative Robot-Human Interaction
Gorjup On Human to Robot Skill Transfer for Robust Grasping and Dexterous Manipulation
Kilby et al. A study of viewpoint and feedback in wearable systems for controlling a robot arm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant