CN113492393A - 一种由人演示的机器人示教 - Google Patents

一种由人演示的机器人示教 Download PDF

Info

Publication number
CN113492393A
CN113492393A CN202110378564.9A CN202110378564A CN113492393A CN 113492393 A CN113492393 A CN 113492393A CN 202110378564 A CN202110378564 A CN 202110378564A CN 113492393 A CN113492393 A CN 113492393A
Authority
CN
China
Prior art keywords
human hand
workpiece
robot
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110378564.9A
Other languages
English (en)
Inventor
王凯濛
加藤哲朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN113492393A publication Critical patent/CN113492393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0081—Programme-controlled manipulators with master teach-in means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B25/00—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes
    • G09B25/02—Models for purposes not provided for in G09B23/00, e.g. full-sized devices for demonstration purposes of industrial processes; of machinery
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39546—Map human grasps to manipulator grasps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40116—Learn by operator observation, symbiosis, show, watch
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

一种用于基于人类演示利用来自相机的图像来示教机器人以执行操作的方法。该方法包括示教阶段，其中2D或3D相机检测抓持和移动工件的人手，并且分析人手和工件的图像以确定机器人夹持器姿态和位置，其等同于人手的姿态和位置以及工件的对应姿态和位置。然后，根据计算出的相对于工件姿态和位置的夹持器姿态和位置，生成机器人编程命令。在重现阶段，相机识别工件姿态和位置，并且编程命令使机器人如演示那样移动夹持器以拾取、移动和放置工件。还公开了一种远程操作模式，其中使用人手的相机图像来实时控制机器人的移动。

Description

一种由人演示的机器人示教
技术领域
本发明涉及工业机器人编程领域，更具体地，涉及一种用于对机器人进行编程以执行工件拾取、移动和放置操作的方法，包括示教阶段，其中单个相机检测抓持和移动工件的人手，确定等同于人手的姿态的夹持器姿态，并且根据计算的夹持器姿态生成机器人编程命令。
背景技术
使用工业机器人重复地执行各种各样的制造、组装和材料移动操作是众所周知的。然而，使用传统方法示教机器人执行甚至相当简单的操作-诸如拾取在传送机上的处于随机位置和取向的工件并且将工件移动到集装箱或第二传送机-是非直观、耗时和/或昂贵的。
传统上，由人类操作员使用示教器示教机器人以执行上述类型的拾取和放置操作。示教器由操作员使用，以指示机器人进行增量移动-例如"在X方向慢进"或"绕局部Z轴旋转夹持器"，直到机器人及其夹持器处于正确的位置和取向以抓持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于"拾取"操作。然后使用类似的示教器命令来限定"移动"和"放置"操作。然而，经常发现使用示教器对机器人进行编程是非直观的、容易出错的和耗时的，尤其是对于非专业操作员。
另一种已知的示教机器人以执行拾取和放置操作的技术是使用运动捕捉系统。一种运动捕捉系统包括多个相机，这些相机布置在工作单元周围，以在人类操作员操纵工件时记录操作员和工件的位置和取向。操作员和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作员和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且精确设置和配置以使得所记录的位置准确是困难且耗时的。
鉴于上述情况，需要一种改进的机器人示教技术，其对于人类操作员来说执行起来简单且直观。
发明内容
根据本公开的教导，描述和示出了一种用于基于人类演示利用来自单个相机的图像来示教和控制机器人以执行操作的方法。该方法包括示教阶段，其中单个相机检测抓持和移动工件的人手，并且分析人手和工件的图像以确定机器人夹持器姿态和位置，该机器人夹持器姿态和位置等同于人手的姿态和位置以及工件的对应姿态和位置。公开了用于使用2D相机或3D相机的技术。然后，根据计算出的相对于工件姿态和位置的夹持器姿态和位置，生成机器人编程命令。在重现阶段，相机识别工件姿态和位置，并且编程命令使机器人如由人手所演示的那样移动夹持器以拾取、移动和放置工件。还公开了一种远程操作模式，其中人手的相机图像用于实时控制机器人的移动。
结合附图，根据以下描述和所附权利要求，当前公开的装置和方法的附加特征将变得显而易见。
附图说明
图1是根据本公开的实施例的如何分析人手的图像以确定指型机器人夹持器的对应位置和取向的示意图；
图2是根据本公开的实施例的如何分析人手的图像以确定磁性或吸盘式机器人夹持器的对应位置和取向的示意图；
图3是根据本公开的实施例的用于使用人手的相机图像来示教机器人以执行拾取和放置操作的系统和步骤的示意图；
图4是根据本公开的实施例的用于使用人手和工件的相机图像来示教机器人以执行拾取和放置操作的方法的流程图；
图5A至5D是根据本公开的实施例的用于从2D相机图像检测人手姿态、确定人手尺寸的第一步骤的四个部分的示意图；
图6A和6B是根据本公开的实施例的用于使用在第一步骤中确定的人手尺寸数据从2D相机图像检测人手姿态的第二步骤的各部分的示意图；
图7是根据本公开的实施例的用于使用工件的相机图像和先前由人手图像示教的编程来使机器人执行拾取和放置操作的系统和步骤的示意图；
图8是根据本公开的实施例的用于使用工件的相机图像和先前由人手图像示教的编程来使机器人执行拾取和放置操作的方法的流程图；
图9是根据本公开的实施例的使用人手的相机图像和经由人眼的视觉反馈的机器人的远程操作的系统和步骤的示意图；以及
图10是根据本公开的实施例的使用人手的相机图像和经由人眼的视觉反馈的机器人的远程操作的方法的流程图。
具体实施方式
以下对涉及使用单个相机通过人类演示来示教机器人的本公开的实施例的讨论本质上仅是示例性的，并且决不旨在限制所公开的设备和技术或它们的应用或使用。
使用工业机器人进行各种制造、组装和材料移动操作是众所周知的。一种已知类型的机器人操作有时被称为"拾取、移动和放置"，其中机器人从第一位置拾取零件或工件，移动零件并将其放置在第二位置。第一位置通常是传送带，其中随机取向的零件是流动的，例如刚刚从模具取出的零件。第二位置可以是引导至不同操作的另一传送器，或者可以是装运集装箱，但是在任一情况下，零件需要放置在特定位置处并且在第二位置处以特定姿态取向。
为了执行上述类型的拾取、移动和放置操作，通常使用相机来确定到来零件的位置和取向，并且必须示教机器人使用指型夹持器或磁性或吸盘夹持器以特定方式抓持零件。传统上，示教机器人如何根据零件的取向来抓持零件是由人类操作员使用示教器来完成的。示教器由操作员使用，以指示机器人进行增量移动-例如"在X方向慢进"或"绕局部Z轴旋转夹持器"-直到机器人及其夹持器处于正确的位置和取向以抓持工件。然后，机器人控制器记录机器人配置以及工件位置和姿态，以用于"拾取"操作。然后，使用类似的示教器命令限定"移动"和"放置"操作。然而，经常发现使用示教器对机器人进行编程是非直观的、容易出错的和耗时的，尤其是对于非专业操作员。
另一种已知的示教机器人以执行拾取、移动和放置操作的技术是使用运动捕捉系统。一种运动捕捉系统包括多个相机，这些相机布置在工作单元周围，以在人类操作员操纵工件时记录操作员和工件的位置和取向。操作员和/或工件可以具有附加的可唯一识别的标记点，以便在执行操作时更精确地检测相机图像中操作员和工件上的关键位置。然而，这种类型的运动捕捉系统是昂贵的，并且精确设置和配置以使得所记录的位置准确是困难且耗时的。
本公开通过提供一种技术克服了现有机器人示教方法的限制，该技术使用单个相机来捕获人类执行自然零件抓持和移动动作的图像，其中分析人手的图像及其相对于零件的位置以生成机器人编程命令。
图1是根据本公开的实施例的如何分析人手的图像以确定指型机器人夹持器的对应位置和取向的示意图。人手110具有被限定为附接到其上的人手坐标系120。人手110包括具有拇指尖114的拇指112和具有食指尖118的食指116。拇指112和食指116上的其他点也可以在相机图像中被识别，诸如拇指112和食指116的基部的位置以及拇指112和食指116的第一指节的位置等。
点122位于拇指112的基部和食指116的基部之间的中间，其中点122被限定为人手坐标系120的原点。人手坐标系120的取向可以使用适于与机器人夹持器取向相关的任何惯例来限定。例如，人手坐标系120的Y轴可以被限定为与拇指112和食指116的平面(该平面由点114、118和122限定)垂直。因此，X和Z轴位于拇指112和食指116的平面内。此外，Z轴可以被限定为平分拇指112和食指116所成的角度(角度114-122-118)。然后，X轴取向可以由右手规则从已知的Y和Z轴找到。如上所述，这里限定的惯例仅仅是示例性的，并且可以替代地使用其他坐标系取向。要点在于，可以基于人手上的关键可识别点来限定坐标系位置和取向，并且该坐标系位置和取向可以与机器人夹持器位置和取向相关。
相机(图1中未示出，稍后讨论)可以用于提供人手110的图像，其中图像然后可以被分析以确定包括拇指尖114和食指尖118以及指关节的拇指112和食指116的(诸如在工作单元坐标系中的)空间位置，并且因此确定原点位置122和人手参考系120的取向。在图1中，人手参考系120的位置和取向与附接到机器人160的夹持器150的夹持器坐标系140相关。夹持器坐标系140具有对应于人手参考系120的原点122的原点142，以及分别对应于食指尖118和拇指尖114的点144和146。因此，指型夹持器150的两个手指处于夹持器坐标系140的X-Z平面中，其中Z轴平分角度146-142-144。
夹持器坐标系140的原点142也被限定为机器人160的工具中心点。工具中心点是其位置和取向对于机器人控制器已知的点，其中控制器可以向机器人160提供命令信号以将工具中心点及其相关联的坐标系(夹持器坐标系140)移动到限定的位置和取向。
图2是根据本公开的实施例的如何分析人手的图像以确定磁性或吸盘式机器人夹持器的对应位置和取向的示意图。图1示出了人手姿态如何与具有可移动手指的机械夹持器的取向相关联，而图2示出了人手姿态如何与扁平夹持器(例如圆形的)相关联，该扁平夹持器通过吸力或磁力由零件的扁平表面拾取零件。
人手210也包括拇指212和食指216。点214位于拇指212与零件220接触的位置。点218位于食指216与零件220接触的位置。点230被限定为存在于点214和218之间的中间，其中点230对应于机器人260上的表面夹持器250的工具中心点(TCP)240。在图2所示的表面夹持器250的情况下，基于指关节和指尖的检测，夹持器250的平面可被限定为包含线214-218并且与拇指212和食指216的平面垂直的平面。如上所述，夹持器250的工具中心点240对应于点230。这完全限定了表面夹持器250的与人手210的位置和姿态相对应的位置和取向。
图3是根据本公开的实施例的用于使用人手的相机图像来示教机器人以执行拾取和放置操作的系统300和步骤的示意图。图3中所示的示教阶段在工作单元302中执行。工作单元302包括用于拍摄示教步骤的图像的相机310。相机310可以是三维(3D)相机或二维(2D)相机，只要它能够识别人手的例如前面讨论的指尖、拇指尖和指关节之类的特定点和特征的坐标。下面讨论使用3D相机进行人手姿态检测的技术，以及使用2D相机进行人手姿态检测的不同技术。相机310被配置为提供工作单元302的发生零件移动活动的部分的图像(下面讨论的所有步骤①-③)。
相机310与机器人控制器320通信。控制器320分析示教步骤的图像，并且如下所述生成机器人编程命令，其中机器人编程命令用于控制在重现阶段期间执行拾取和放置操作的机器人的运动。在相机310和控制器320之间还可以提供单独的计算机，其中该单独的计算机将分析相机图像并将夹持器位置传送到控制器320。图3的示教阶段由三个步骤组成：在拾取步骤(步骤①)中，确定工件的位置和姿态(姿态是用于取向的可互换术语)，并且确定抓持工件的人手的位置和姿态；在移动步骤(步骤②)中，当工件从拾取位置移动到放置位置时，跟踪工件和人手的位置；在放置步骤(步骤③)中，当工件被放置在其目的(放置)位置时，确定工件的位置和姿态。下面详细讨论这三个步骤。
在步骤①(拾取)中，使用相机图像来识别工件330的位置和姿态。如果工件在传送机上流入，则根据传送机位置索引来跟踪工件330的位置的一个坐标(例如Z)。图3中所示的工件330是简单的立方体；然而，可以从相机图像识别工件330的任何类型或形状。例如，如果已知工件330是特定的注塑模制零件，并且可以在传送带上具有任意随机的取向和位置，则可以分析来自相机310的图像以识别工件330的关键特征，并且根据这些特征确定工件坐标系332的位置和取向。
仍然在步骤①(拾取)中，当人手340抓持工件330时，相机图像也用于识别人手340的位置和姿态。以上面关于图1所讨论的和下面详细描述的方式(两种不同的技术)，分析人手340的图像以确定人手坐标系342的位置和取向。人手340沿箭头344所示的方向接近工件330。当拇指尖如所示在点350处接触工件330并且指尖接触工件330(该接触点不可见)时，控制器320存储来自该特定图像的所有数据作为拾取数据。拾取数据包括由工件坐标系332限定的工件330的位置和姿态，以及由其人手坐标系342限定的人手340的位置和姿态。
在步骤②(移动)中，当工件330和人手340沿路径360移动时，使用相机图像来跟踪它们的位置。记录工件330和人手340的多个图像以限定路径360，该路径可以不是直线。例如，路径360可以包括长的扫描曲线，或者路径360可以包括将工件330向上移动并越过某种障碍物。在任何情况下，路径360包括在移动步骤期间限定工件330和人手340的位置(以及可选地取向)的多个点。使用先前讨论的相同技术来从相机图像识别工件坐标系332的位置和姿态以及人手坐标系342的位置和姿态。人手姿态确定技术也在下面详细讨论。
在步骤③(放置)中，在工件330被放置在如箭头370所示的其目的位置之后，使用相机图像来识别其的最终位置和姿态(如其工件坐标系332所限定的)。先前讨论的相同技术用于从相机图像识别工件坐标系332的位置和姿态。当拇指尖和指尖与工件330断开接触时，控制器320存储来自该特定图像的工件坐标系数据作为放置数据。该放置数据也可以基于工件330已经停止移动(即，工件坐标系332处于完全相同的位置和姿态一段时间(例如1-2秒))而被记录和存储。
图4是根据本公开的实施例的用于使用人手和工件的相机图像来示教机器人以执行拾取和放置操作的方法的流程图400。流程图400布置成三个垂直列，对应于如图3所示的拾取步骤(在右侧)、移动步骤(中心)和放置步骤(在左侧)。拾取步骤在开始框402处开始。在框404处，在来自相机310的图像中检测工件330和人手340。图像的分析在控制器320或与控制器320通信的单独的计算机中执行。工件坐标系332的位置和取向根据工件330的图像分析来确定，而人手坐标系342的位置和取向根据人手340的图像分析来确定。
在判决菱形框406处，确定指尖(图1的拇指尖114和食指尖118)是否已经接触工件330。这是根据相机图像确定的。当各个指尖已经接触工件330时，在框408处，由控制器320记录工件330和人手340的抓持姿态和位置。重要的是，识别人手340相对于工件330的姿态和位置；即，必须相对于诸如工作单元坐标系之类的某全局固定参考系来限定人手坐标系342和工件坐标系332的位置和取向。这允许控制器320确定如何定位夹持器以在稍后的重现阶段中抓持工件，如下所述。
在框408处控制器320记录工件330和人手340的抓持姿态和位置之后，拾取步骤在结束框410处结束。然后，该过程继续进行到移动步骤，其在框422处开始。在框424处，在相机图像中检测工件330。在判决菱形框426处，如果在相机图像中没有检测到工件330，则过程循环回到框424以拍摄另一图像。当在相机图像中检测到工件330时，在框428处，控制器320记录工件位置(以及可选地姿态)。
在框434处，在相机图像中检测人手340。在判决菱形框436处，如果在相机图像中没有检测到人手340，则过程循环回到框434以拍摄另一图像。当在相机图像中检测到人手340时，在框438处，控制器320记录人手位置(以及可选地姿态)。当从同一相机图像检测并记录(来自框428的)工件位置和(来自框438的)人手位置两者时，在框440处组合并记录人手位置和工件位置。人手位置和工件位置的组合可以通过简单地取两者的平均值来实现；例如，如果拇指尖114和食指指尖118之间的中点应当与工件330的中心/原点重合，则可以计算中点和工件中心之间的平均位置。
优选地，通过重复从开始移动框422到组合人手和工件位置框440的活动，记录沿移动步骤的多个位置，以限定平滑移动路径。在框440处组合和记录人手位置和工件位置，并且不再需要移动步骤位置之后，移动步骤在结束框442处结束。然后，该过程进行到放置步骤，其在框462开始。
在框464处，在来自相机310的图像中检测工件330的位置。与所有图像分析步骤一样，在框464处的图像分析在控制器320中执行，或者在附接到控制器320的图形处理器上执行，或者如果需要的话在中间计算机上执行。在判决菱形框466处，确定是否在相机图像中发现工件330以及工件330是否静止。或者，可以确定指尖是否已经与工件330断开接触。当工件330被确定为静止和/或指尖已经与工件330断开接触时，在框468处，工件330的目的姿态和位置被控制器320记录。放置步骤和示教阶段的整个过程在结束框470结束。
在图1-4的整个前述讨论中，已经对从相机图像检测人手姿态(拇指和食指上的关键点的位置)并从其限定人手坐标系的概念进行了许多参考。为了限定人手坐标系(例如图1的人手坐标系120)的原点和轴取向，必须确定人手的关键点的三维(X、Y和Z)坐标。在以下讨论中描述了用于确定人手的关键点的3D坐标的两种不同技术。这些人手姿态检测技术中的任何一种都可以用在用于从人工演示进行机器人示教的总体方法中。
在人手姿态检测的一个实施例中，使用三维(3D)相机来直接检测人手的关键点的3D坐标。3D相机(其可以是图3的相机310)不仅能够提供其中可以在图像平面中识别关键点的图像，而且能够检测关键点处的深度(在垂直于图像平面的方向上的距离)。一些3D相机使用两个或更多个透镜或单个位置移动的透镜，以记录多个视点，其中两个视角的组合使得深度感知成为可能。其它3D相机使用范围成像来确定从相机透镜到图像中的各个点的范围(距离)。范围成像可以使用飞行时间测量或其它技术来完成。
使用直接从3D相机可获得的数据，可以确定人手上的关键点(诸如图1的点112和118等)的X/Y/Z坐标。如前所述，从人手上的关键点的X/Y/Z坐标，可以完全计算人手坐标系的原点和取向。然后，如前所述，可以基于人手坐标系和夹持器坐标系之间的对应关系来限定机器人运动命令。
在人手姿态检测的另一实施例中，可使用二维(2D)相机来使用两步过程检测人手的关键点的3D坐标。因为2D相机比3D相机更广泛地可用且更便宜，且因为2D相机具有快得多的图像帧速率，所以在一些应用中，将2D相机用于通过人类演示进行机器人示教可能是有利的。
用于从2D图像确定人手上的关键点的X/Y/Z坐标的现有技术可能是不可靠的。这些现有方法通常依赖于使用包含真实和合成的人手图像的数据库的深度学习图像分析技术。然而，因为人手尺寸在人与人之间有很大不同，所以这些现有方法可能导致低准确度。
为了克服现有方法的限制，这里公开了一种用于从2D相机图像检测人手姿态的新技术，其中执行测量人手尺寸的一次性预备步骤，然后可以针对人手上的关键点的3D坐标来准确地分析机器人示教期间的2D相机图像。
图5A是根据本公开的实施例的用于从2D相机图像检测人手姿态的第一步骤的第一部分的示意图。在第一步骤的第一部分(将被称为步骤1A)中，相机510用于捕获操作员的人手520的图像，该操作员稍后将经由人类演示来示教机器人程序。相机520可以与图3的相机310相同，人手520被放置在ArUco标记的网格530上，并且在步骤1A中拍摄照片(数字图像)。用于相机校准的传统棋盘是可以用于代替ArUco标记的另一个选项。在步骤1的剩余部分中分析数字图像以确定人手520的各个单元或部分的尺寸。步骤1对于单个操作员的人手仅执行一次。步骤2(机器人路径和通过人手演示示教的过程)可以对人手520执行多次，而不必重复步骤1。
步骤1过程基于寻找真实/物理环境中的点与其2D图像投影之间的对应关系。为了促进该步骤，采用合成或基准的标记。一种方法是使用二元正方形基准标记，例如ArUco标记。这些标记的主要益处在于单个标记提供足够的对应关系(其四个角)以获得相对于标记的平面的相机姿态。在网格530中使用许多标记提供了足够的数据来确定人手520的各个手指部分的真实尺寸。
ArUco标记是正方形的可视标记，其包括宽的黑色边界和确定其标识符的内部二元矩阵。黑色边界有助于其在图像中的快速检测，并且二元编码允许其识别以及错误检测和校正技术的应用。图5A的网格530包括5×7ArUco标记阵列，其包括单独的标记532、534和536。网格530中的每个ArUco标记是唯一的。网格530中使用的该5×7阵列尺寸设计为便于人手的视觉测量，并且仅仅是示例性的。使用ArUco标记的网格530以便在数字图像中提供足够的信息"带宽"，以使得能够针对标记平面来校准图像平面，并且确定人手520上的多个关键点在标记平面中的坐标，如下所述。
将来自步骤1A的人手520平放在网格530上的图像提供给步骤1B(图5B)和步骤1C(图5C)，在这两个步骤中执行两种不同类型的图像分析。
图5B是根据本公开的实施例的用于从2D相机图像检测人手姿态的第一步骤的第二部分的示意图。在框540中，图5B描绘了人手尺寸确定过程的步骤1B。在步骤1B中，执行对来自步骤1A的图像的分析，以便确定从图像(虚拟)坐标到标记(物理)坐标的旋转和平移变换。限定网格530或任何单独的标记(532、534等)具有标记坐标系538，其中局部X和Y轴在标记的平面中，而局部Z轴沿着所示的向上方向垂直于标记。
相机510(来自图5A)具有被限定为固定到其上的相机坐标系518，其中局部X和Y轴在屏幕或图像的平面中，而局部Z轴垂直于屏幕并且沿着相机视场的方向(朝向标记网格530)定向。注意，在该技术中，相机不必精确地与平行于标记平面的相机图像平面对准。变换计算将处理任何旋转和平移失准。在相机坐标系518中的理想化图像中的点具有坐标(xc，yc)。从标记坐标系538到相机坐标系518的变换由旋转矢量R和平移矢量t限定。
实际观察到的图像坐标系548被限定为在实际观察到的图像的平面中具有局部X和Y轴，其中局部Z轴是不相关的，因为图像是二维的。由于图像失真，实际观察到的图像坐标系548不同于相机坐标系518。实际观察图像坐标系548中的实际图像中的点具有坐标(xd，yd)。从相机坐标系518到实际观察到的图像坐标系548的变换由固有相机参数矩阵k限定。相机固有参数包括焦距、图像传感器格式和主点。
图5C是根据本公开的实施例的用于从2D相机图像检测人手姿态的第一步骤的第三部分的示意图。在框550中，图5C描绘了人手尺寸确定过程的步骤1C。在步骤1C中，执行对来自步骤1A的图像的分析，以便在图像中定位人手520的关键点。
卷积层560用于分析图像，并且识别和定位人手520的关键点。卷积层是一类通常应用于分析视觉图像的深度神经网络，如本领域所公知的。卷积层560被特别训练成基于已知的人手解剖结构和比例、诸如在关节处的弯曲和凸出的视觉线索和其它因素来识别人手的结构拓扑。特别地，卷积层560可以识别和定位图像中的点，包括指尖和指关节。
卷积层560的输出在框570处示出。人手520和ArUco标记的网格530在框570中的图像中是可见的。叠加在图像上还可看到的是人手520的拓扑结构，其包括人手520中的骨骼和骨骼之间的表示为点的关节。例如，拇指的指尖被识别为点572，并且食指的指尖被识别为点574。点572和574以及框570中的拓扑中所示的所有关键点具有在图像坐标中，特别是在实际观察的图像坐标帧548的坐标中，已知的位置。这是因为卷积层560应用于来自步骤1A的图像，该图像还没有以任何方式被调整或变换。
图5D是根据本公开的实施例的用于从2D相机图像检测人手姿态的第一步骤的第四部分的示意图。来自步骤1B(图5B)的变换参数k、R和t以及来自步骤1C(图5C)的图像坐标中的人手520的关键点都被提供给步骤1D，在那里执行计算以确定人手520的关键点之间的真实距离。
被执行以产生真实世界/标记坐标系中的人手520的拓扑的计算被限定为：
Xd＝k[Rt]Xw (1)
其中Xd是来自步骤1B的实际图像坐标中的人手关键点的集合，Xw是当前正在被计算的世界/标记坐标系中的人手关键点的集合，k、R和t如上限定。使用等式(1)，计算人手关键点Xw的集合。在步骤1D的框580中示出的人手关键点Xw在世界坐标中，并且已经由相同坐标系中的多个ArUco标记校准。因此，点582(拇指尖)和点584(最靠近拇指尖的指节)之间的真实距离可计算为点582和584的坐标差的各平方和的平方根。该距离在590处示出，并且是拇指的外侧部分(骨)的真实长度。同样地，点586与点588之间的距离可如592处所示而计算，且为食指的外侧部分的真实长度。可以以这种方式计算人手520中的每个骨骼(每根手指的每个部分)的真实长度。
如上所述，用于从2D相机图像检测人手姿态的方法的步骤1提供了人手520中的每根手指的每个部分的真实长度。此后，根据下面讨论的方法的步骤2，人手520可以用于机器人示教，其中来自2D相机的图像被分析以确定关键点的3D位置。
图6A是根据本公开的实施例的用于从2D相机图像检测人手姿态的第二步骤的第一部分的示意图。在第二步骤的该第一部分中，分析处于诸如在机器人示教会话期间抓持物体之类的任意姿态的人手520的相机图像以识别上述关键点。在框610中，提供人手520的图像。图像可以由相机510或不同的相机提供。在框620，以上述方式，使用神经网络卷积层执行图像分析以识别人手520上的关键点。人手通常将不会平放在来自框610的图像中的表面上，因此人手的一些部分可能被遮挡(在图像中不可见)。此外，来自框610的图像中的各个手指的各个部分通常将不在真实长度位置中；这将在后面说明。
在框630，人手520上的所有可识别关键点用它们在屏幕坐标中的位置来识别。例如，可以通过找到接近拇指的手指的中心尖端来识别食指的尖端处的关键点632。食指的外侧指节关节处的关键点634可以被识别为在图像中可识别的指节关节侧点636和638之间。神经网络卷积层基于其过去的训练例如通过在手指的图像中寻找凸出和弯曲来识别点。类似地识别其它可识别的关键点，例如在食指的中间指节关节处的在侧点642和644之间的关键点640。
然后可以确定人手520中的每个手指部分(各个骨骼)的屏幕坐标。在来自框610的图像的屏幕坐标中，食指外侧部分652被确定为从关键点632到关键点634的直线。同样地，食指中间部分654被确定为从关键点634到关键点640的直线，而食指内侧部分656被确定为从关键点640到关键点646的直线。
框630中的图描绘了处于平坦位置的人手520，仅仅为了清楚地示出如果它们在来自框610的图像中可见则可以被识别的所有不同的关键点。实际上，框630包括人手520的各个关键点在一个图像中的标识和位置，该图像看上去就像框610处的图像(例如，处于抓持姿态)。人手520没有以任何方式从框610处的相机图像展平或变换到框630处的关键点标识。
人手520的所有可见和可识别的关键点和手指部分(手指骨骼)的屏幕坐标位置和标识被提供给图6B中的附加分析步骤，其中人手520的3D姿态将最终被确定。
图6B是根据本公开的实施例的用于从2D相机图像检测人手姿态的第二步骤的第二部分的示意图。在框660处，作为输入提供来自步骤1(图5D)的人手尺寸。具体地，提供了人手520中的每个骨骼(每个手指的每个部分)的真实长度，如上文详细讨论的。此外，在左侧作为输入提供来自图6A的框630的处于某一姿态的人手520中的每个可识别关键点的在屏幕坐标系中的标识和位置。使用这些输入，执行一组透视n点计算，如在662处所示。
透视n点(PnP)是在给定世界中的一组n个3D点及其在图像中的对应2D投影的情况下估计经校准的相机的姿态的问题。相机姿态由6个自由度(DOF)组成，这些自由度由相机相对于"世界"或工作单元坐标系的旋转(滚动、俯仰和偏航)和3D平移组成。对于n＝3，存在称为P3P的对该问题的常用解，并且对于n≥3的一般情况，存在许多解。因为在食指和拇指的每个部分上的至少4-6个关键点将在图6A的框630中标识(可能与其它人手指上的若干其它骨骼一起)，所以存在多于足够数量的点用于在662处的PnP计算。
如图所示，从图6A的框630提供了食指外侧部分652上的关键点在屏幕坐标系中的标识和位置。同样，还提供了食指中间部分654和食指内侧部分656上的关键点在屏幕坐标系中的标识和位置。从框660提供各个手指部分(652、654、656)的每一个的真实长度。对于各个手指部分(652、654、656)的每一个，然后在664处指示的各个框中求解PnP问题。求解PnP问题产生了相机510相对于人手520的每个手指部分的姿态。因为相机510在世界或工作单元坐标系中的姿态是已知的，所以可以计算人手520的各个手指部分在世界或工作单元坐标系中的姿态。以这种方式，在666处所示的各个框中获得人手各个手指部分(652、654、656)的3D姿态。在框668处，组合各个各个部分652、654和656的3D姿态以获得整个食指的3D姿态。
在框672处，从图6A的框630提供拇指的各个部分和其它任何可见手指部分上的关键点在屏幕坐标系中的标识和位置。在框674处，如上所述，使用每个单独的手指部分的关键点屏幕坐标和真实长度作为输入，对该手指部分求解PnP问题。在框676处，获得在来自框610的图像中可见的每个手指部分的3D姿态。在框678处组合拇指的各个部分以获得整个拇指的3D姿态，以及类似地获得其它可见手指的3D姿态。
在框680处，组合来自框668和678的各个手指和拇指的3D姿态以获得整个人手520的3D姿态。在框690处，示出了步骤2方法和计算的最终输出，包括被表示为金字塔形692的相机510的位置和取向，以及被表示为线框694的人手520的姿态。人手520的姿态包括人手520上的每个可识别的手指部分(骨骼)在世界坐标系(或工作单元坐标系)中的3D位置，只要拇指和食指被定位，该位置就足以限定如图1所示的人手坐标系120。
在通过人类演示来进行机器人示教的整个过程期间，重复且连续地执行上文关于图6A和6B所讨论的用于从2D相机图像检测人手姿态的方法的第二步骤。即，再次参考图3和4，当2D相机用于检测抓持和移动工件的人手520时，使用图6A和6B的步骤2序列来确定沿途的每个位置处的人手姿态。相反，在用于机器人示教的人手姿态检测之前，仅执行一次确定人手尺寸(每个手指部分的真实长度；图5A-5D)的步骤1。
确定人手尺寸(图5A-5D)和根据人手关键点的3D坐标确定人手姿态(图6A和6B)的2D相机图像分析步骤可以在诸如图3的控制器320之类的机器人控制器上执行，或者在与控制器320通信的单独的计算机上执行。
图7是根据本公开的实施例的使用工件的相机图像和先前由人手图像示教的程序使机器人来执行拾取和放置操作的系统700和步骤的示意图。系统700位于工作单元702中，包括与控制器720通信的相机740。这些部件可以与前面图3所示的工作单元302、相机310和控制器320相同或不同。除了相机740和控制器720之外，工作单元702还包括通常通过物理电缆712与控制器720通信的机器人710。
系统700被设计成"重现"由系统300中的人类操作员示教的拾取、移动和放置操作。记录在流程图400的拾取、移动和放置步骤中的人手和工件数据用于产生如下所述的机器人编程指令。机器人710将夹持器720安置在初始位置，如本领域技术人员所知的。相机740识别正乘坐在入站传送机上的新工件730的位置和取向。从拾取步骤的框408，控制器320(图3)知道人手340相对于工件730的位置和取向(并且因此从图1知道夹持器720的位置和取向)，以正确地抓持工件730。路径1被计算为将夹持器720从初始位置移动到拾取位置的路径，该路径已经基于工件730的位置和取向被计算。拾取操作发生在路径1的末端。夹持器720A被示出为沿着路径1接近拾取位置，并且工件730A被示出为在拾取位置。
从移动步骤的框440(图4)，控制器320知道工件330(以及因此工件730)在沿着移动路径的多个位置中的所处位置。路径2被计算为从拾取位置沿着移动路径移动夹持器720A和工件730A的路径。在图7中，沿移动路径的各个中间位置中的一个示出了夹持器720B。
路径2在框468处记录的放置位置处结束。这包括对应于工件730C的工件330的位置和姿态(取向)两者。在夹持器720将工件730C放置在放置位置和取向之后，夹持器720释放工件730C并经由路径3返回初始位置。
图8是根据本公开的实施例的使用工件的相机图像和先前由人手图像示教的程序使机器人执行拾取和放置操作的方法的流程图800。在框802处，来自拾取和放置操作的人类演示的数据被提供给机器人控制器720，如上文详细讨论的。该数据可以来自2D或3D相机，并且包括由人手示教的拾取、移动和放置运动命令。在框804处，来自相机740的图像由控制器720分析以识别工件730的位置和取向(位置和姿态)。在框806处，控制器720提供动作指令至机器人710，以使抓持部720从机器人初始位置移动，以抓持工件730。控制器720根据从框806处的相机图像分析中得知的工件730的位置和姿态以及从拾取操作的人类演示中得知的夹持器720相对于工件730的相对位置和姿态(图3和4)来计算运动命令。
在框808处，机器人710响应于控制器指令，沿着如在人类演示期间所示教的移动路径移动保持工件730的夹持器720。移动路径可以包括拾取位置和放置位置之间的一个或多个中间点，使得移动路径可以跟踪任何三维曲线。在框810处，机器人710将工件730放置在放置操作的人类演示期间示教的位置和姿态。工件放置位置和姿态是从放置操作的人类演示中得知的，而夹持器720相对于工件730的相对位置和姿态是从拾取操作的人类演示中得知的。在框812处，机器人710返回到机器人初始位置，以准备接收拾取下一工件的指令。
下面是通过上面已经详细描述的人类演示的机器人编程的公开技术的概述：
●用人手演示抓持、移动和放置工件
●基于人手上的关键点，分析人手和工件的相机图像以确定机器人夹持器相对于工件的正确姿态和位置
■人手上的关键点可以根据来自3D相机的图像或者根据来自2D相机的图像利用人手尺寸确定的准备步骤来确定
●基于在重现阶段中新工件的相机图像使用机器人夹持器相对于工件的正确姿态和位置来生成机器人运动命令
■这包括最初抓持新工件，然后基于在人类演示期间捕捉的移动和放置数据来移动和放置新工件
前面的讨论描述了通过人类演示进行机器人示教的实施例，其中，预先执行示教阶段，并且在重现阶段期间人类不再处于循环中，在重现阶段中，机器人使用入站工件的相机图像在实际生产环境中执行操作。上述拾取和放置操作仅仅是通过人类演示的机器人示教的一个示例；可以以相同的方式示教其它机器人操作，其中人手的相机图像用于确定夹持器或其它工具相对于工件的相对位置。下面公开了另一个实施例，其中在生产操作期间人类保持在循环中，但是不需要入站工件的相机图像。
图9是根据本公开的实施例的用于使用人手的相机图像和经由人眼的视觉反馈来远程操作机器人的系统900和步骤的示意图。人类操作员910处于相机920可以捕获操作员的人手的图像的位置。相机920可以是2D或3D相机。相机920将图像提供给计算机930，该计算机分析图像以识别人手的关键特征，如参考图1和2以及图5和6(对于2D相机实施例)详细描述的。根据对图像的分析，可以确定人手坐标系的位置和取向，并因此确定夹持器坐标系的位置和取向。将夹持器坐标系的位置和取向提供给机器人控制器940。在该实施例的微小变形中，可以去除计算机930，并且控制器940可以执行图像分析功能以确定夹持器坐标系的位置和取向。
控制器940与机器人950通信。控制器940计算机器人运动命令以使机器人950将其夹持器960移动到从图像识别的夹持器坐标系的位置和取向。机器人950响应于来自控制器940的命令移动夹持器960，这又响应于来自相机图像的人手的位置。换位可以可选地包括在人手姿态和夹持器姿态之间，例如使得夹持器姿态和移动成为人手姿态和移动的镜像。图9的情况是夹持器960要抓持工件970并对工件970执行一些操作，例如将工件970移动到不同的位置和/或姿态。夹持器960示出为指型夹持器，但可以替代地为如前所述的吸盘式或磁性表面夹持器。
人类操作员910处于他或她可以看到机器人950、夹持器960和工件970的位置。操作员910可以与机器人950处于相同的工作单元中，或者可以处于由具有窗户的墙壁分开的单独的房间中。操作员910甚至可以远离机器人950或者以其他方式在视觉上被阻挡看不到机器人950，在这种情况下，机器人950、夹持器960和工件970的实时视频馈送将被提供给操作员910，作为视觉反馈的手段。
在系统900中，没有使用相机来提供工件970的图像。相反，操作员910观察夹持器960的运动并移动他或她的人手以使夹持器960对工件970执行操作。在一个可能的情况中，操作员910将他/她的手在食指和拇指张开的情况下向工件970移动，继续移动人手以使夹持器960从期望的方向接近工件970，将他/她的人手的食指和拇指捏在一起以抓持工件970，然后在抓持工件970的同时将工件970移动到不同的位置和/或姿态。
在系统700中，操作员910基于夹持器/工件场景的视觉反馈来移动人手，相机920提供人手的连续图像，并且控制器940基于如相机图像中分析的人手的移动来移动夹持器960。
图10是根据本公开的实施例的使用人手的相机图像和经由人眼的视觉反馈来远程操作机器人的方法的流程图1000。图10的方法使用图9的系统900。该方法开始于开始框1002。在框1004处，在相机图像中检测人手。在判决菱形框1006处，如果没有检测到人手，则过程循环回到框1004以继续拍摄图像。在框1008处，当在相机图像中正确地检测到人手时，计算机930基于通过识别人手上的关键点而确定的人手位置和姿态来计算夹持器960的位置和姿态。
在框1010处，夹持器位置和姿态从计算机930被传送到控制器940。或者，夹持器位置和姿态的图像分析和计算可以直接在控制器940上执行，在这种情况下，框1010被去除。在框1012处，控制器940基于最近分析的人手的图像向机器人950提供运动命令以将夹持器960移动到新的位置和姿态。在框1014处，人类操作员910视觉地检查夹持器位置和姿态。在判决菱形框1016处，操作员910确定是否已达到夹持器960的目标位置。如果未达到，则在框1018处，操作员910移动人手，使得夹持器960经由对新的相机图像的闭环反馈进行相应的移动。当达到目标位置时，该过程在终点1020处结束。
在实际实践中，操作员910可以做出连续的人手运动序列以经由远程操作来控制机器人。例如，操作员910可以移动他/她的人手以使夹持器960接近工件970、抓持工件970、将工件970移动到目的位置、放置和释放工件970、以及将夹持器960移动回到开始位置以接近新的工件。
在整个前述讨论中，描述并暗示了各种计算机和控制器。应当理解，这些计算机和控制器的软件应用和模块在具有处理器和存储器模块的一个或多个计算设备上执行。特别地，这包括上面讨论的机器人控制器320、720和940以及计算机930中的处理器。具体地，控制器320、720和940以及计算机930中的处理器被配置为以上述方式经由人类演示来执行机器人示教。
如上所述，所公开的用于通过人类演示来进行机器人示教的技术使得机器人运动编程比先前的技术更快、更容易和更直观，同时提供了仅需要单个相机的简单性。
虽然上面已经讨论了通过人类演示来进行机器人示教的多个示例性方面和实施例，但是本领域技术人员将认识到其修改、置换、添加和子组合。因此，下面所附权利要求和此后引入的权利要求旨在被解释为包括在其真实精神和范围内的所有这些修改、置换、添加和子组合。

Claims (28)

1.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：
通过人手演示对工件的操作；
通过计算机分析演示对所述工件的所述操作的所述人手的相机图像以创建演示数据；
分析新工件的相机图像以确定所述新工件的初始位置和取向；
基于所述演示数据和所述新工件的所述初始位置和取向，生成使所述机器人对所述新工件执行所述操作的机器人运动命令；以及
通过所述机器人对所述新工件执行所述操作。
2.根据权利要求1所述的方法，其中，通过所述人手演示对所述工件的所述操作和通过所述机器人对所述新工件执行所述操作都在机器人工作单元中执行，并且所述相机图像由单个相机拍摄。
3.根据权利要求2所述的方法，其中，所述相机是三维相机，其直接捕获图像以及所述图像中的所述人手上的多个可识别点的X、Y和Z坐标。
4.根据权利要求2所述的方法，其中，所述相机是二维相机，并且其中，所述人手的多个手指部分的真实长度已经使用人手尺寸图像分析步骤先前确定。
5.根据权利要求4所述的方法，其中，所述人手尺寸图像分析步骤包括提供所述人手在ArUco标记的网格上的图像，分析所述图像以计算从标记坐标系到屏幕坐标系的变换，在神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的各个关键点，使用所述变换来计算所述标记坐标系中的所述各个关键点的坐标，以及计算所述人手的所述多个手指部分的真实长度。
6.根据权利要求4所述的方法，其中，分析演示对所述工件的所述操作的所述人手的相机图像包含在神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的各个关键点，使用所述图像中的所述人手上的所述各个关键点和所述人手的所述多个手指部分的先前确定的真实长度来执行透视n点计算，以及计算所述多个手指部分的三维姿态。
7.根据权利要求1所述的方法，其中，分析演示所述操作的所述人手的相机图像包括识别所述人手上的多个点的位置，所述多个点包括拇指和食指中的每一个的指尖、基指节和第二指节。
8.根据权利要求7所述的方法，其中，所述演示数据包括在所述操作的抓持步骤处的人手坐标系的位置和取向、对应于所述人手坐标系的夹持器坐标系和工件坐标系。
9.根据权利要求8所述的方法，其中，所述演示数据还包括用于所述操作的中间步骤的所述人手坐标系和所述工件坐标系的位置，以及用于所述操作的最后步骤的所述工件坐标系的位置和取向。
10.根据权利要求8所述的方法，其中，所述人手坐标系具有在所述拇指和所述食指的基指节之间的中间点处的原点、穿过所述拇指和所述食指的指尖之间的中间点的Z轴、以及与包含所述拇指和所述食指的平面垂直的Y轴。
11.根据权利要求1所述的方法，其中，在通过所述机器人进行所述操作之前所述新工件乘坐在传送机上，并且所述新工件的初始位置是传送机位置索引的函数。
12.根据权利要求1所述的方法，其中，生成机器人运动命令包括由具有处理器和存储器的机器人控制器基于所述新工件的所述初始位置和取向以及机器人夹持器相对于所述演示数据中包含的所述工件的位置和取向，生成使所述机器人夹持器移动到抓持位置和取向的命令。
13.根据权利要求12所述的方法，其中，生成机器人运动命令还包括生成使所述机器人夹持器将所述新工件从所述抓持位置移动到在所述演示数据中包含的其他位置的命令。
14.根据权利要求12所述的方法，其中，所述机器人夹持器是指型夹持器或使用吸力或磁力的表面夹持器。
15.一种用于通过人类演示对机器人进行编程以执行操作的方法，所述方法包括：
通过人手演示对工件的操作；
分析演示对所述工件的所述操作的所述人手的相机图像以创建演示数据，包括识别所述人手上的多个点的位置并且确定机器人夹持器相对于所述工件的位置和取向；
分析新工件的相机图像以确定所述新工件的初始位置和取向，包括基于传送机位置索引来调整所述新工件的所述初始位置和取向；
由具有处理器和存储器的机器人控制器基于所述演示数据以及所述新工件的所述初始位置和取向来生成使所述机器人对所述新工件执行所述操作的机器人运动命令，所述机器人运动命令包括基于所述新工件的所述初始位置和取向以及所述夹持器相对于所述演示数据中包含的所述工件的所述位置和取向的使所述夹持器移动到抓持位置和取向的运动命令；以及
通过所述机器人对所述新工件执行所述操作。
16.根据权利要求15所述的方法，其中，通过所述人手演示对所述工件的所述操作和通过所述机器人对所述新工件执行所述操作都在机器人工作单元中执行，并且所述相机图像由单个二维或三维相机拍摄。
17.一种用于通过人类演示对机器人进行编程以执行操作的系统，所述系统包括：
相机；
工业机器人；以及
机器人控制器，其具有处理器和存储器，所述控制器与所述机器人通信并且从所述相机接收图像，所述控制器被配置成执行包括以下的各个步骤；
分析演示对工件的操作的人手的相机图像以创建演示数据；
分析新工件的相机图像以确定所述新工件的初始位置和取向；
基于所述演示数据和所述新工件的所述初始位置和取向，生成使所述机器人对所述新工件执行所述操作的机器人运动命令；以及
通过所述机器人对所述新工件执行所述操作。
18.根据权利要求17所述的系统，其中，分析演示所述操作的所述人手的相机图像包括识别所述人手上的多个关键点的位置，所述多个关键点包括拇指和食指中的每一个的指尖、基指节和第二指节。
19.根据权利要求18所述的系统，其中，所述相机是三维相机，其直接捕获多个图像以及在所述多个图像的每个图像中的所述人手上的所述多个关键点的X、Y和Z坐标。
20.根据权利要求18所述的系统，其中，所述相机是二维相机，并且其中，所述人手的多个手指部分的真实长度已经使用人手尺寸图像分析步骤先前确定。
21.根据权利要求20所述的系统，其中，所述人手尺寸图像分析步骤包括提供所述人手在ArUco标记的网格上的图像，分析所述图像以计算从标记坐标系到屏幕坐标系的变换，在神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的各个关键点，使用所述变换计算所述标记坐标系中的所述各个关键点的坐标，以及计算所述人手的所述多个手指部分的真实长度。
22.根据权利要求20所述的系统，其中，分析演示对所述工件的所述操作的所述人手的相机图像包括在神经网络卷积层中处理所述图像以识别所述图像中的所述人手上的所述多个关键点，使用所述图像中的所述人手上的所述多个关键点和所述人手的所述多个手指部分的先前确定的真实长度来执行透视n点计算，以及计算所述多个手指部分的三维姿态。
23.如权利要求18所述的系统，其中所述演示数据包括在所述操作的抓持步骤处的人手坐标系的位置和取向、对应于所述人手坐标系的夹持器坐标系和工件坐标系。
24.根据权利要求23所述的系统，其中，所述演示数据还包括用于所述操作的中间步骤的所述人手坐标系和所述工件坐标系的位置，以及用于所述操作的最后步骤的所述工件坐标系的位置和取向。
25.根据权利要求23所述的系统，其中，所述人手坐标系具有在所述拇指和所述食指的基指节之间的中间点处的原点、穿过所述拇指和所述食指的指尖之间的中间点的Z轴、以及与包含所述拇指和所述食指的平面垂直的Y轴。
26.根据权利要求17所述的系统，还包括传送机，其中，在通过所述机器人进行所述操作之前所述新工件乘坐在所述传送机上，并且所述新工件的初始位置是传送机位置索引的函数。
27.根据权利要求17所述的系统，其中，生成机器人运动命令包括基于所述新工件的所述初始位置和取向以及所述夹持器相对于所述演示数据中包含的所述工件的位置和取向来生成使机器人夹持器移动到抓持位置和取向的命令，并且生成使所述机器人夹持器将所述新工件从所述抓持位置移动到所述演示数据中包含的其他位置的命令。
28.根据权利要求17所述的系统，其中，所述机器人夹持器是指型夹持器或使用吸力或磁力的表面夹持器。
CN202110378564.9A 2020-04-08 2021-04-08 一种由人演示的机器人示教 Pending CN113492393A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/843,185 US11813749B2 (en) 2020-04-08 2020-04-08 Robot teaching by human demonstration
US16/843,185 2020-04-08

Publications (1)

Publication Number Publication Date
CN113492393A true CN113492393A (zh) 2021-10-12

Family

ID=77851773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378564.9A Pending CN113492393A (zh) 2020-04-08 2021-04-08 一种由人演示的机器人示教

Country Status (4)

Country Link
US (1) US11813749B2 (zh)
JP (1) JP2021167060A (zh)
CN (1) CN113492393A (zh)
DE (1) DE102021107532A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113894774A (zh) * 2021-10-26 2022-01-07 季华实验室 一种机器人抓取控制方法、装置、存储介质和机器人

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9227323B1 (en) * 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
CN112917470A (zh) * 2019-12-06 2021-06-08 鲁班嫡系机器人（深圳）有限公司 一种机械手的示教方法、装置、系统、存储介质及设备
US11826908B2 (en) 2020-04-27 2023-11-28 Scalable Robotics Inc. Process agnostic robot teaching using 3D scans
US20220048199A1 (en) * 2020-08-17 2022-02-17 Faro Technologies, Inc. Referencing pose manipulation system for marker based tracking of position measurement system
US11999060B2 (en) * 2020-12-28 2024-06-04 Cloudminds Robotics Co., Ltd. Action learning method, medium, and electronic device
EP4194154A1 (en) * 2021-12-07 2023-06-14 Fundación AITIIP Robot programming system
US12017371B2 (en) 2022-03-15 2024-06-25 Fanuc Corporation Efficient and robust line matching approach
DE102022118180B3 (de) 2022-07-20 2023-08-31 Deutsches Zentrum für Luft- und Raumfahrt e.V. Regelungsverfahren für die Teleaktuierung, Aktuatorsystem und Roboter
DE102022120633A1 (de) 2022-08-16 2024-02-22 Syntegon Technology Gmbh Verfahren zu einem Anlernen einer Handhabungsvorrichtung, Handhabungsvorrichtung, die mit einem derartigen Verfahren anlernbar ist, sowie Produktions- und/oder Transportmaschine mit einer derartigen Handhabungsvorrichtung
CN117558174B (zh) * 2023-11-13 2024-04-12 山东卓朗检测股份有限公司 面向教学机器人训练的数据采集和分析方法
CN117428788B (zh) * 2023-12-13 2024-04-05 杭州海康机器人股份有限公司 一种设备控制方法、装置、电子设备及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040056A (en) * 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
US6435794B1 (en) 1998-11-18 2002-08-20 Scott L. Springer Force display master interface device for teleoperation
US7626571B2 (en) 2005-12-22 2009-12-01 The Board Of Trustees Of The Leland Stanford Junior University Workspace expansion controller for human interface systems
US20090132088A1 (en) 2007-04-24 2009-05-21 Tairob Ltd. Transfer of knowledge from a human skilled worker to an expert machine - the learning process
US8996173B2 (en) * 2010-09-21 2015-03-31 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system
US9678662B2 (en) * 2010-04-23 2017-06-13 Handscape Inc. Method for detecting user gestures from alternative touchpads of a handheld computerized device
KR101941844B1 (ko) 2012-01-10 2019-04-11 삼성전자주식회사 로봇 및 그 제어방법
US10406686B2 (en) * 2012-12-14 2019-09-10 Abb Schweiz Ag Bare hand robot path teaching
US8989902B1 (en) * 2013-03-05 2015-03-24 U.S. Department Of Energy User interface for a tele-operated robotic hand system
JP6042291B2 (ja) * 2013-08-27 2016-12-14 株式会社デンソーアイティーラボラトリ ロボット、ロボット制御方法、及びロボット制御プログラム
US9321176B1 (en) * 2014-04-01 2016-04-26 University Of South Florida Systems and methods for planning a robot grasp based upon a demonstrated grasp
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US10768708B1 (en) * 2014-08-21 2020-09-08 Ultrahaptics IP Two Limited Systems and methods of interacting with a robotic tool using free-form gestures
US9561587B2 (en) 2014-12-16 2017-02-07 Amazon Technologies, Inc. Robotic grasping of items in inventory system
US9849595B2 (en) 2015-02-06 2017-12-26 Abb Schweiz Ag Contact force limiting with haptic feedback for a tele-operated robot
US9690984B2 (en) * 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US10730180B2 (en) 2015-05-29 2020-08-04 Abb Schweiz Ag User interface for a teleoperated robot
US10551923B2 (en) 2016-05-04 2020-02-04 Worcester Polytechnic Institute Haptic glove as a wearable force feedback user interface
CA3035607A1 (en) * 2016-09-08 2018-03-15 Fives Line Machines Inc. Machining station, workpiece holding system, and method of machining a workpiece
CN107169519B (zh) 2017-05-18 2018-05-01 重庆卓来科技有限责任公司 一种工业机器人视觉系统及其示教方法
US10929654B2 (en) * 2018-03-12 2021-02-23 Nvidia Corporation Three-dimensional (3D) pose estimation from a monocular camera
JP6826069B2 (ja) * 2018-04-18 2021-02-03 ファナック株式会社 ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
US11107242B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Detecting pose using floating keypoint(s)
US20210086364A1 (en) * 2019-09-20 2021-03-25 Nvidia Corporation Vision-based teleoperation of dexterous robotic system
US11288871B2 (en) * 2019-11-08 2022-03-29 Fujifilm Business Innovation Corp. Web-based remote assistance system with context and content-aware 3D hand gesture visualization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113894774A (zh) * 2021-10-26 2022-01-07 季华实验室 一种机器人抓取控制方法、装置、存储介质和机器人

Also Published As

Publication number Publication date
DE102021107532A1 (de) 2021-10-14
JP2021167060A (ja) 2021-10-21
US20210316449A1 (en) 2021-10-14
US11813749B2 (en) 2023-11-14

Similar Documents

Publication Publication Date Title
CN113492393A (zh) 一种由人演示的机器人示教
US11207781B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
CN111452040B (zh) 在引导装配环境中将机器视觉坐标空间关联的系统和方法
WO2018137445A1 (zh) 一种基于ros系统的机械臂抓取方法及系统
Ferreira et al. Stereo-based real-time 6-DoF work tool tracking for robot programing by demonstration
CN112171661A (zh) 一种基于视觉信息融合的机械臂抓取目标物体方法
JP2013043271A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2011110620A (ja) ロボットの動作を制御する方法およびロボットシステム
JP2008168372A (ja) ロボット装置及び形状認識方法
Gratal et al. Virtual visual servoing for real-time robot pose estimation
CN109945780A (zh) 物体检查系统以及物体检查方法
CN114670189A (zh) 存储介质、以及生成机器人的控制程序的方法及系统
JP2023084116A (ja) 視覚サーボを用いた実演によるロボット教示
US12036663B2 (en) Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
JP2023059837A (ja) 人間のデモンストレーションによるロボットプログラム作成方法
Ren et al. Vision based object grasping of robotic manipulator
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
US11712797B2 (en) Dual hand detection in teaching from demonstration
Osorio et al. 37,000 human-planned robotic grasps with six degrees of freedom
JP2023059863A (ja) 人の両手の実演による双腕ロボットの教示
Kamiya et al. Learning from Human Hand Demonstration for Wire Harness Grasping
Wörn et al. Multi-fingered reactive grasping with active guided camera systems
TWI788253B (zh) 適應性移動操作設備及方法
CN116423525B (zh) 一种自动手眼标定方法及系统、存储介质
Nissler et al. A method for hand-eye and camera-to-camera calibration for limited fields of view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination