CN111699077B - 用于机器人的基于视觉的操作 - Google Patents

用于机器人的基于视觉的操作 Download PDF

Info

Publication number
CN111699077B
CN111699077B CN201880088249.9A CN201880088249A CN111699077B CN 111699077 B CN111699077 B CN 111699077B CN 201880088249 A CN201880088249 A CN 201880088249A CN 111699077 B CN111699077 B CN 111699077B
Authority
CN
China
Prior art keywords
tool
image
robot
electronic device
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880088249.9A
Other languages
English (en)
Other versions
CN111699077A (zh
Inventor
潘文贵
马博军
王衍军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN111699077A publication Critical patent/CN111699077A/zh
Application granted granted Critical
Publication of CN111699077B publication Critical patent/CN111699077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1651—Programme controls characterised by the control loop acceleration, rate control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/416—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control of velocity, acceleration or deceleration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39392—Dynamic pyramiding, change vision field to small area if high tracking speed, zoom
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40609—Camera to monitor end effector as well as object to be handled

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

本公开的实施例涉及一种用于机器人的电子设备、基于视觉的操作方法和系统。该电子设备包括至少一个处理单元；以及耦合到至少一个处理单元并且其中存储有计算机程序指令的存储器，该指令在由至少一个处理单元执行时，致使该电子设备执行动作，所述动作包括：获取包含机器人的工具和将由工具操作的对象的图像，该图像是由相机利用参数捕获的；获取用于操作所述工具的命令，该命令是基于所述图像而生成的；以及基于所述命令和所述参数来控制机器人。本公开的实施例可以极大地提高机器人的操作的精确性、效率和安全性。

Description

用于机器人的基于视觉的操作
技术领域
本公开的实施例总体上涉及工业机器人领域，并且更具体地涉及一种用于机器人的电子设备、基于视觉的操作方法和系统。
背景技术
随着微加工和超精密加工领域的科技的发展，将由机器人操纵的对象从宏观领域扩展到亚微米和纳米级的微观领域。例如，有时需要机器人来为针穿线。操作人员通常使用示教器单元(TPU)来操作机器人。在手动模式下，通过TPU上的微动功能按钮来命令机器人到某个指定位置。
机器人的微操作是指人类操作员控制机器人在小空间内移动到精细位置。例如，该小空间处于微米级别。该操作要求机器人具有较高的运动精度，并且需要操作人员格外细心。例如，为了精确地示教机器人的工具，要求工具的尖端与参考尖端精确对准。传统方法效率低下，因为它们需要人们密切关注尖端，并且谨慎地推动操纵杆或其他控制设备。当使人眼接近尖端时，会导致很高的安全风险。
实际上，当前机器人的运动精度通常为0.05mm，这几乎是人眼无法达到的。此外，诸如操纵杆等控制设备被设计用于一般操作，并且对于操作人员来说，控制机器人在小空间中以合适的速度移动是一个巨大的挑战。
因此，需要一种微操作系统来改善人对机器人的观察和控制，该系统可以有效地提高微操作的效率和精确性并且使操作人员的机器人操作更安全。
发明内容
在本公开的第一方面中，提供了一种电子设备。该电子设备包括至少一个处理单元；以及存储器，其耦合到至少一个处理单元并且其中存储有计算机程序指令，该指令在由至少一个处理单元执行时致使电子设备执行动作，所述动作包括：获取包含机器人的工具和将由工具操作的对象的图像，该图像是由相机利用参数捕获的；获取用于操作工具的命令，该命令是基于图像而生成的；以及基于命令和参数来控制机器人。
在一些实施例中，该指令在由至少一个处理单元执行时，致使电子设备执行动作，所述动作包括：致使图像被显示给用户。
在一些实施例中，该参数与相机的视场的尺寸有关，并且其中控制机器人包括：响应于尺寸减小，控制工具以减小的速度移动；以及响应于尺寸增加，控制工具以增加的速度移动。
在一些实施例中，该参数与在相机与工具之间的距离有关，并且其中控制机器人包括：响应于距离减小，控制工具以减小的速度移动；以及响应于距离增加，控制工具以增加的速度移动。
在一些实施例中，该指令在由至少一个处理单元执行时致使电子设备执行动作，该动作包括：获取由布置在机器人上的传感器所生成的信号；基于该信号来生成示出机器人的姿势的另外的图像；以及致使另外的图像被显示给用户，其中该命令是基于图像和另外的图像而生成的。
在一些实施例中，获取图像包括获取包含工具和对象的视频。
在一些实施例中，图像具有在工具的预定义参考点上的焦点。
在本公开的第二方面，提供了一种用于机器人的基于视觉的操作方法。该方法包括：获取包含机器人的工具和将由工具操作的对象的图像，该图像是由相机利用参数捕获的；获取用于操作工具的命令，该命令是基于图像而生成的；以及基于命令和参数来控制机器人。
在一些实施例中，该方法还包括致使图像被显示给用户。
在一些实施例中，该参数与相机的视场的尺寸有关，并且其中控制机器人包括：响应于尺寸减小，控制工具以减小的速度移动；以及响应于尺寸增加，控制工具以增加的速度移动。
在一些实施例中，该参数与在相机与工具之间的距离有关，并且其中控制机器人包括：响应于距离减小，控制工具以减小的速度移动；以及响应于距离增加，控制工具以增加的速度移动。
在一些实施例中，该方法还包括：获取由布置在机器人上的传感器生成的信号；基于该信号来生成示出机器人的姿势的另外的图像；以及致使另外的图像被显示给用户，其中该命令是基于图像和另外的图像而生成的。
在一些实施例中，获取图像包括获取包含工具和对象的视频。
在一些实施例中，图像具有在工具的预定义参考点上的焦点。
在本公开的第三方面，提供了一种用于机器人的基于视觉的操作系统。该系统包括：根据本公开的第一方面的电子设备；以及相机，被配置为利用参数来捕获包含机器人的工具和对象的图像。
在一些实施例中，该系统还包括配置为向用户显示图像的显示器。
在一些实施例中，该系统还包括被配置为接收命令并且向电子设备传输命令的输入设备。
在本公开的第四方面，提供了一种计算机程序产品。该计算机程序产品有形地存储在非瞬态计算机可读介质中并且包括机器可执行指令，该机器可执行指令在被执行时，致使机器执行根据本公开的第二方面的方法。
附图说明
通过以下参考附图的详细描述，本文中公开的示例实施例的上述和其他目的、特征和优点将变得更加可理解。在附图中，将以示例性且非限制性的方式示出本文中公开的几个示例实施例，在附图中：
图1示意性地示出了根据本公开的一些示例实施例的用于机器人的基于视觉的操作系统的应用环境；
图2示意性地示出了根据本公开的另一些示例实施例的用于机器人的基于视觉的操作系统的应用环境；
图3是根据本公开的一些示例实施例的用于机器人的基于视觉的操作方法的流程图；以及
图4是适合于实现本公开的各种实施例的电子设备的图。
在所有附图中，相同或相似的附图标记用于指示相同或相似的元素。
具体实施方式
现在将参考附图中示出的几个示例实施例来描述本公开的原理。尽管在附图中示出了本公开的示例实施例，但是应当理解，描述实施例仅是为了帮助本领域技术人员更好地理解并且从而实现本公开，而不是以任何方式限制本公开的范围。
如本文中使用的，术语“相机”是指能够成像的任何设备。相机的示例包括但不限于用于捕获图像的任何传感器、热成像器、红外热相机、夜视设备等。可以通过测量诸如温度、磁场强度等物理量来获取图像。
图1示意性地示出了根据本公开的一些示例实施例的用于机器人400的基于视觉的操作系统100的应用环境。如图所示，机器人400包括机器人臂410和附接到机器人臂410的工具420。工具420可以由机器人臂410驱动以在不同位置之间移动。作为示例，工具420可以是可操作以抓握和放下对象200的抓具。当然，工具420的任何其他形式都是可能的，并且本公开的范围不限于此。借助于工具420，机器人400可以针对对象200执行操作，该对象200可以被放置在例如工作台(未示出)上并且由工作台支撑。在此，针对对象执行的操作可以包括微操作或任何其他形式的操作。
根据本公开的实施例，机器人400的操作由基于视觉的操作系统100来控制。基于视觉的操作系统100至少包括控制台140和相机110。作为示例而非限制，控制台140可以被实现为示教器单元(TPU)的一部分。
在操作中，相机110可以捕获包含工具420和对象200的图像。然后，图像可以被呈现给用户800。例如，图像可以被呈现在相机110的显示屏上。替代地或另外地，所捕获的图像可以被传递到控制台140，并且被显示在控制台140的显示器上。
给定由图像示出的状态，用户800可以确定如何操作机器人400，并且然后向控制台140提供用于操作工具420的命令。利用相机110来提供图像，而不是人眼，可以避免由于人眼的限制而导致的低操作精度以及在人眼靠近工具或对象时的高安全风险，从而大大提高了机器人的操作的精确性和安全性。此外，由于半自动操作，因此不需要超高清相机。因此，本公开的操作系统100成本较低。
然后，控制台140不仅基于用户的命令而且还基于用于捕获图像的一个或多个参数来控制机器人400，特别是工具420。参数的示例包括但不限于焦距、曝光时间、滤光器、视角、视场的尺寸、相机110与工具420之间的距离等。利用这些参数中的一个或多个参数的不同值，控制台140可以以不同的方式控制工具420的操作。这样，与传统方法不同，本文中提出的基于图像的操作方案可以避免依靠人眼来观看机器人的工具相对于对象的位置，而是基于图像和捕获图像所使用的参数来控制机器人400。
发明人发现，当机器人400相对靠近目的地时，例如，当工具420接近或抓握对象200时，通常以较小的视场尺寸来捕获图像。在这种情况下，工具420应当移动得更慢以避免与对象200碰撞。因此，在一些实施例中，可以基于用于捕获图像的参数来调节机器人400的微动速度。也就是说，如果控制台140根据视场的尺寸而确定工具420非常接近对象200，则控制台140可以控制机器人400以低速移动工具420，从而避免与对象200碰撞。
在一些实施例中，可以通过成像参数来估量相机110的视场的尺寸。在这些实施例中，如果控制台140根据参数而确定相机110的视场的尺寸减小，则控制台140可以减小工具420的移动速度。另一方面，如果确定视场的尺寸增加，则控制台140可以控制工具420以更高的速度移动。换言之，工具420的移动速度与相机110的视场的尺寸成正比。
替代地或另外地，在一些实施例中，工具420与对象200之间的距离可以通过参数来估量。如果控制台140根据这样的参数而确定距离减小，则控制台140可以控制工具420以较低速度移动。如果距离增加，则控制台140可以代替地增加工具420的移动速度。换言之，工具420的移动速度与工具420与对象200之间的距离成正比。
实际上，工具420的移动速度可以通过设置机器人400的许可最大速度来控制。许可最大速度定义工具420的最大速度。当视图/图像被放大时(这表示工具420非常靠近对象200)，则许可最大机器人移动速度将自动降低以确保安全。许可最大速度可以如下确定：
Vmax＝f(r，dis)
Vmax∝r，Vmax∝dis
其中Vmax表示机器人400的许可最大速度(例如，工具420的预定义参考点425或机器人400的关节的许可最大移动速度)；r表示相机110的视场的尺寸；dis表示相机110与工具420(例如，预定义参考点425)之间的距离。
以这种方式，机器人/工具的速度受到视场的尺寸和/或相机110与工具420之间的距离的限制。较小的视场或距离(这表示较大的放大程度和机器人运动的较多细节)对应于机器人运动的较小速度。较大的视场或距离(这表示较小的放大程度和机器人运动的较少细节)对应于机器人运动的较大速度。因此，当工具420非常靠近对象200时，工具420将移动得更慢以避免与对象200的碰撞。可以克服由于机器人的不方便的速度控制而导致的操作效率低下，从而极大地提高了机器人的操作效率。
图2示意性地示出了根据本公开的另一些示例实施例的用于机器人400的基于视觉的操作系统100的应用环境。如图所示，除了如上所述的控制台140和相机110，操作系统100还可以包括调节机构120。调节机构120可以设置参数，以便调节所捕获的图像。作为示例，调节机构120可以包括操作键盘。相机110可以经由调节机构120连接到控制台140。以这种方式，调节机构120可以将用于相机110的参数传输给控制台140。
操作系统100还可以包括用于向用户800显示图像的显示器130。显示器130可以是相机110的显示屏。替代地，显示器130可以是控制台140的图形用户界面(GUI)。
在一些实施例中，操作系统100还可以包括输入设备150。输入设备150被配置为从用户800接收命令并且将该命令传输给控制台140。作为示例而非限制，输入设备150可以是操纵杆。当观察显示在显示器130上的图像时，用户800(例如，人类操作员)可以发出用于操作工具420的命令。
在一些实施例中，机器人400的位置和取向信息(诸如工具420的预定义参考点425的位置)可以通过布置在机器人400上的传感器430来获取。传感器430可以包括安装在机器人400关节中的编码器或分析器，用于感测每个关节的角度信息。在一些实施例中，传感器430可以提供深度信息。控制台140可以获取由传感器430生成的信号并且基于该信号来生成另外的图像。机器人的位置和取向可以基于机器人模型来确定。然后，可以模拟示出机器人400的姿势的另外的图像。例如，可以生成整个机器人400的三维动画。控制台140还可以致使另外的图像被显示给用户800。在这种情况下，用于操作工具420的命令将基于图像和另外的图像两者来生成。以这种方式，示出机器人400的姿势的另外的图像可以帮助控制工具420，以使机器人操作更精确。来自布置在机器人400上的传感器430的信息可以与来自相机110的图像融合。信息的正确融合可以向用户800提供更精确的信息。
在一些实施例中，在捕获图像时，可以将焦点设置在工具420的预定义参考点425上。例如，预定义参考点425可以是工具420的中心点。在操作期间，预定义参考点425将与对象200对准或接触对象200。以这种方式，图像可以以更精确的方式提供工具420和对象200的细节。
在一些实施例中，相机110可以捕获包含工具420和对象200的视频。以这种方式，基于视频而实时地生成命令，使得机器人400的操作效率可以得到改进。
应当理解，图1或图2所示的组件可以以任何方式彼此连接，包括无线或有线连接。例如，相机110可以经由USB或电缆连接到控制台140。相机110的连接装置也可以用于固定相机110的位置。此外，相机110的控制装置在本文中不限于此。例如，相机110可以用手势来控制。
图3是根据本公开的一些示例实施例的用于机器人400的基于视觉的操作方法300的流程图。例如，方法300可以由图1或图2所示的控制台140来实现。图3中的虚线框表示可选动作。应当理解，方法300还可以包括未示出的附加动作和/或可以省略如图所示的一些动作。本公开的范围在这点上不受限制。
在框310中，获取包含机器人400的工具420和将由该工具420操作的对象200的图像。图像可以由相机110利用参数捕获。在一些实施例中，获取图像包括获取包含工具420和对象200的视频。在一些实施例中，图像具有在工具420的预定义参考点425上的焦点。
在一些实施例中，在框320中，可以致使图像被显示给用户800。
在框330中，获取用于操作工具420的命令。该命令是基于图像而生成的。
在一些实施例中，在框340中，方法300还包括：获取由布置在机器人400上的传感器430生成的信号；基于该信号来生成示出机器人400的姿势的另外的图像；并且致使另外的图像被显示给用户800，其中前述命令基于前述图像和该另外的图像来生成。
在框350中，基于命令和参数来控制机器人400。在一些实施例中，该参数与相机110的视场的尺寸有关。在这种情况下，控制机器人400包括：响应于尺寸减小，控制工具420以减小的速度移动；以及响应于尺寸增加，控制工具420以增加的速度移动。
在一些实施例中，该参数与相机110与工具420之间的距离有关。在这种情况下，控制机器人400包括：响应于距离减小，控制工具420以减小的速度移动；以及响应于距离增加，控制工具420以增加的速度移动。
本文中描述的主题可以体现为计算机程序产品。该计算机程序产品有形地存储在非瞬态计算机可读介质中，并且包括机器可执行指令。该机器可执行指令在被执行时致使机器执行如上所述的方法300。
图4是适合于实现本公开的各种实施例的电子设备500的图。电子设备500可以用于实现例如如图1和2所示的控制台140。
如图4所示，电子设备500包括至少一个处理单元510以及存储器520。存储器520耦合到至少一个处理单元510，并且其中存储有计算机程序指令525。指令525在由至少一个处理单元510执行时，致使电子设备500执行动作。
诸如方法300等的上述方法和过程可以由至少一个处理单元510来实现。例如，在一些实施例中，方法300可以被实现为有形地体现在机器可读介质(例如，存储器520)上的计算机软件程序。在一些实施例中，该计算机程序的一部分或全部可以被加载到和/或安装在图4所示的电子设备500上。该计算机程序在由至少一个处理单元510加载并执行时可以执行如上所述的方法300的一个或多个动作。替代地，至少一个处理单元510也可以被配置为以任何其他适当的方式(例如，借助于固件)来实现如上所述的方法300。
在本文中描述的主题的上下文中，存储器可以是可以包含或存储供指令执行系统、装置或设备使用或与其结合使用的程序的任何有形介质。存储器可以是机器可读信号介质或机器可读存储介质。存储器可以包括但不限于电子、磁性、光学、电磁、红外或半导体系统、装置或设备、或前述各项的任何合适的组合。存储器的更具体示例将包括具有一根或多根电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或上述各项的任何合适的组合。
附图中的流程图和框图示出了根据本公开的各种实施例的系统、方法和计算机程序产品的可能的实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示包括用于实现所指定的逻辑功能的一个或多个可执行指令的代码的模块、段或部分。还应当注意，在一些替代实现中，在框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，连续地示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还应当注意，框图和/或流程图的每个框、以及框图和/或流程图中的框的组合可以由执行所指定的功能或动作的基于专用硬件的系统来实现，或者由专用硬件和计算机指令的组合来实现。
应当理解，本公开的以上详细实施例仅用于例示或解释本公开的原理，而并并非用于限制本公开。因此，在不脱离本公开的精神和范围的情况下，任何修改、等同替换和改进等都应当被包括在本公开的保护范围之内。同时，本公开的所附权利要求旨在涵盖落入权利要求的范围和边界、或者范围和边界的等同形式内的所有变型和修改。

Claims (16)

1.一种电子设备(500)，包括：
至少一个处理单元(510)；以及
存储器(520)，耦合到所述至少一个处理单元(510)，并且其中存储有计算机程序指令(525)，所述指令(525)在由所述至少一个处理单元(510)执行时，致使所述电子设备(500)执行动作，所述动作包括：
获取包含机器人(400)的工具(420)和将由所述工具(420)操作的对象(200)的图像，所述图像是由相机(110)利用参数捕获的；
获取用于操作所述工具(420)的命令，所述命令是基于所述图像而生成的；以及
基于所述命令和所述参数来控制所述机器人(400)；
其中所述指令(525)在由所述至少一个处理单元(510)执行时，致使所述电子设备(500)执行动作，所述动作包括：
获取由布置在所述机器人(400)上的传感器(430)所生成的信号；
基于所述信号来生成示出所述机器人(400)的姿势的另外的图像；以及
致使所述另外的图像被显示给用户(800)，其中所述命令是基于所述图像和所述另外的图像而生成的。
2.根据权利要求1所述的电子设备(500)，其中所述指令(525)在由所述至少一个处理单元(510)执行时，致使所述电子设备(500)执行动作，所述动作包括：
致使所述图像被显示给用户(800)。
3.根据前述权利要求中任一项所述的电子设备(500)，其中所述参数与所述相机(110)的视场的尺寸有关，并且其中控制所述机器人(400)包括：
响应于所述尺寸减小，控制所述工具(420)以减小的速度移动；以及
响应于所述尺寸增加，控制所述工具(420)以增加的速度移动。
4.根据前述权利要求中任一项所述的电子设备(500)，其中所述参数与在所述相机(110)与所述工具(420)之间的距离有关，并且其中控制所述机器人(400)包括：
响应于所述距离减小，控制所述工具(420)以减小的速度移动；以及
响应于所述距离增加，控制所述工具(420)以增加的速度移动。
5.根据前述权利要求中任一项所述的电子设备(500)，其中获取所述图像包括获取包含所述工具(420)和所述对象(200)的视频。
6.根据前述权利要求中任一项所述的电子设备(500)，其中所述图像具有在所述工具(420)的预定义参考点(425)上的焦点。
7.一种用于机器人(400)的基于视觉的操作方法(300)，包括：
获取包含机器人(400)的工具(420)和将由所述工具(420)操作的对象(200)的图像，所述图像是由相机(110)利用参数捕获的；
获取用于操作所述工具(420)的命令，所述命令是基于所述图像而生成的；以及
基于所述命令和所述参数来控制所述机器人(400)；
获取由布置在所述机器人(400)上的传感器(430)所生成的信号；
基于所述信号来生成示出所述机器人(400)的姿势的另外的图像；以及
致使所述另外的图像被显示给用户(800)，其中所述命令是基于所述图像和所述另外的图像而生成的。
8.根据权利要求7所述的方法(300)，还包括：
致使所述图像被显示给用户(800)。
9.根据权利要求7至8中任一项所述的方法(300)，其中所述参数与所述相机(110)的视场的尺寸有关，并且其中控制所述机器人(400)包括：
响应于所述尺寸减小，控制所述工具(420)以减小的速度移动；以及
响应于所述尺寸增加，控制所述工具(420)以增加的速度移动。
10.根据权利要求7至9中任一项所述的方法(300)，其中所述参数与在所述相机(110)与所述工具(420)之间的距离有关，并且其中控制所述机器人(400)包括：
响应于所述距离减小，控制所述工具(420)以减小的速度移动；以及
响应于所述距离增加，控制所述工具(420)以增加的速度移动。
11.根据权利要求7至10中任一项所述的方法(300)，其中获取所述图像包括获取包含所述工具(420)和所述对象(200)的视频。
12.根据权利要求7至11中任一项所述的方法(300)，其中所述图像具有在所述工具(420)的预定义参考点(425)上的焦点。
13.一种用于机器人(400)的基于视觉的操作系统(100)，包括：
根据权利要求1至6中任一项所述的电子设备(500)；以及
所述相机(110)，被配置为利用所述参数来捕获包含所述机器人(400)的所述工具(420)和所述对象(200)的图像。
14.根据权利要求13所述的系统(100)，还包括被配置为向用户(800)显示所述图像的显示器(130)。
15.根据权利要求13至14中任一项所述的系统(100)，还包括输入设备(150)，被配置为接收所述命令并且向所述电子设备(500)传输所述命令。
16.一种计算机程序产品，有形地存储在非瞬态计算机可读介质中并且包括机器可执行指令，所述机器可执行指令在被执行时致使机器执行根据权利要求7至12中任一项所述的方法(300)。
CN201880088249.9A 2018-02-01 2018-02-01 用于机器人的基于视觉的操作 Active CN111699077B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/074961 WO2019148428A1 (en) 2018-02-01 2018-02-01 Vision-based operation for robot

Publications (2)

Publication Number Publication Date
CN111699077A CN111699077A (zh) 2020-09-22
CN111699077B true CN111699077B (zh) 2024-01-23

Family

ID=67478524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088249.9A Active CN111699077B (zh) 2018-02-01 2018-02-01 用于机器人的基于视觉的操作

Country Status (4)

Country Link
US (1) US11926065B2 (zh)
EP (1) EP3746270A4 (zh)
CN (1) CN111699077B (zh)
WO (1) WO2019148428A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112025705B (zh) * 2020-08-26 2021-10-29 哈尔滨理工大学 一种基于协作机器人的中医针灸系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0811071A (ja) * 1994-06-29 1996-01-16 Yaskawa Electric Corp マニピュレータの制御装置
JPH08108387A (ja) * 1994-10-11 1996-04-30 Mitsubishi Electric Corp ロボットの遠隔操作装置及びそのデータ表示装置
US6278906B1 (en) * 1999-01-29 2001-08-21 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
CN104588837A (zh) * 2015-01-20 2015-05-06 柳州铁道职业技术学院 弧焊机器人智能耦合系统
CN104954661A (zh) * 2014-03-31 2015-09-30 诺基亚公司 用于控制图像捕获的方法和装置
WO2016019489A1 (en) * 2014-08-04 2016-02-11 Nokia Technologies Oy Method, apparatus, computer program and system
CN106132346A (zh) * 2014-03-28 2016-11-16 索尼公司 机器人手臂设备、机器人手臂设备的控制方法和程序
CN106256512A (zh) * 2015-06-22 2016-12-28 通用汽车环球科技运作有限责任公司 包括机器视觉的机器人装置
CN107073719A (zh) * 2014-11-21 2017-08-18 精工爱普生株式会社 机器人和机器人系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8901345A (nl) 1989-05-29 1990-12-17 Philips Nv Werkwijze en inrichting voor het optekenen van signalen op een registratiedrager, alsmede een meetwerkwijze en meetinrichting voor toepassing in de optekenwerkwijze en optekeninrichting, alsmede een registratiedrager.
JP4262389B2 (ja) * 2000-06-01 2009-05-13 本田技研工業株式会社 ワーク取出し方法
CN100348383C (zh) * 2002-12-12 2007-11-14 松下电器产业株式会社 机器人控制装置
EP1927038A2 (en) * 2005-09-23 2008-06-04 Braintech Canada, Inc. System and method of visual tracking
US9579088B2 (en) 2007-02-20 2017-02-28 Board Of Regents Of The University Of Nebraska Methods, systems, and devices for surgical visualization and device manipulation
JP2011104706A (ja) * 2009-11-17 2011-06-02 Seiko Epson Corp ハンド装置
CN101803952A (zh) * 2010-03-05 2010-08-18 南开大学 Ct图像导航脊柱微创手术机器人运动控制系统
US8885023B2 (en) * 2010-09-01 2014-11-11 Disney Enterprises, Inc. System and method for virtual camera control using motion control systems for augmented three dimensional reality
CN102477396A (zh) 2010-11-22 2012-05-30 大连创达技术交易市场有限公司 一种显微视觉伺服控制的微操作机器人系统
WO2012078989A1 (en) * 2010-12-10 2012-06-14 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
JP5642759B2 (ja) * 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
US10314463B2 (en) * 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
DE102015100694A1 (de) * 2015-01-19 2016-07-21 Technische Universität Darmstadt Teleoperationssystem mit intrinsischem haptischen Feedback durch dynamische Kennlinienanpassung für Greifkraft und Endeffektorkoordinaten
FI20155784A (fi) * 2015-11-02 2017-05-03 Cryotech Nordic Oü Automatisoitu järjestelmä laser-avusteiseen dermatologiseen hoitoon ja ohjausmenetelmä
US20200261155A1 (en) * 2015-12-30 2020-08-20 Koninklijke Philips N.V. Image based robot guidance
CN106238969B (zh) * 2016-02-23 2023-06-30 中建五洲工程装备有限公司 基于结构光视觉的非标件自动化焊接加工系统
US9846915B2 (en) * 2016-03-17 2017-12-19 Conduent Business Services, Llc Image capture system for property damage assessment

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0811071A (ja) * 1994-06-29 1996-01-16 Yaskawa Electric Corp マニピュレータの制御装置
JPH08108387A (ja) * 1994-10-11 1996-04-30 Mitsubishi Electric Corp ロボットの遠隔操作装置及びそのデータ表示装置
US6278906B1 (en) * 1999-01-29 2001-08-21 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
CN106132346A (zh) * 2014-03-28 2016-11-16 索尼公司 机器人手臂设备、机器人手臂设备的控制方法和程序
CN104954661A (zh) * 2014-03-31 2015-09-30 诺基亚公司 用于控制图像捕获的方法和装置
WO2016019489A1 (en) * 2014-08-04 2016-02-11 Nokia Technologies Oy Method, apparatus, computer program and system
CN107073719A (zh) * 2014-11-21 2017-08-18 精工爱普生株式会社 机器人和机器人系统
CN104588837A (zh) * 2015-01-20 2015-05-06 柳州铁道职业技术学院 弧焊机器人智能耦合系统
CN106256512A (zh) * 2015-06-22 2016-12-28 通用汽车环球科技运作有限责任公司 包括机器视觉的机器人装置

Also Published As

Publication number Publication date
EP3746270A4 (en) 2021-10-13
EP3746270A1 (en) 2020-12-09
US20200353624A1 (en) 2020-11-12
CN111699077A (zh) 2020-09-22
US11926065B2 (en) 2024-03-12
WO2019148428A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
JP6795471B2 (ja) ロボットシステム
JP4167954B2 (ja) ロボット及びロボット移動方法
JP4844453B2 (ja) ロボットの教示装置及び教示方法
EP1985416B1 (en) Mobile robot
RU2012142510A (ru) Роботизированная хирургическая системы с усовершенствованным управлением
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
JP2018202514A (ja) ロボットの教示のための情報を表示するロボットシステム
JP6669714B2 (ja) 教示操作盤およびロボット制御システム
JP2014065100A (ja) ロボットシステム、及びロボットのティーチング方法
JP5428639B2 (ja) ロボットの制御装置及びロボットのティーチング方法
CN110363811B (zh) 用于抓取设备的控制方法、装置、存储介质及电子设备
CN111699077B (zh) 用于机器人的基于视觉的操作
JP5573537B2 (ja) ロボットのティーチングシステム
JP6409605B2 (ja) ロボットシステム
CN111941392A (zh) 机器人操作装置、机器人及机器人操作方法
JP2021065971A (ja) ロボット教示システム、画像生成方法、及びプログラム
CN111522299B (zh) 机械控制装置
JP2014144516A (ja) ロボット制御装置、ロボットシステム、ロボット、制御方法及びプログラム
JP2015174206A (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2005205519A (ja) ロボットハンド装置
KR101975556B1 (ko) 로봇의 관측 시점 제어 장치
CN111522295B (zh) 机械控制装置
KR20160094105A (ko) 로봇 제어 시각화 장치
JP2018158429A (ja) ロボットシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant