CN110389656A - 由用户借助移动显示装置使用多节式致动运动机构的方法 - Google Patents

由用户借助移动显示装置使用多节式致动运动机构的方法 Download PDF

Info

Publication number
CN110389656A
CN110389656A CN201910315707.4A CN201910315707A CN110389656A CN 110389656 A CN110389656 A CN 110389656A CN 201910315707 A CN201910315707 A CN 201910315707A CN 110389656 A CN110389656 A CN 110389656A
Authority
CN
China
Prior art keywords
movement mechanism
section type
actuating movement
type actuating
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910315707.4A
Other languages
English (en)
Inventor
J·科特拉尔斯基
A·舒布
C·格雷特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leading Robotics LLC
Original Assignee
Yuanda Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=66175412&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110389656(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Yuanda Robot Co Ltd filed Critical Yuanda Robot Co Ltd
Publication of CN110389656A publication Critical patent/CN110389656A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36167—Use camera of handheld device, pda, pendant, head mounted display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40125—Overlay real time stereo image of object on existing, stored memory image argos
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)

Abstract

一种由使用者(2)借助移动显示装置(4)使用多节式致动运动机构(1)的方法，具有步骤：·将移动显示装置(4)的图像采集元件(42)对准(000)多节式致动运动机构(1)，·借助图像采集元件(42)对多节式致动运动机构(1)进行采集(030)，·在图像采集元件(42)采集的图像数据中，对多节式致动运动机构(1)进行识别(050)，·基于采集的包含深度信息的图像数据，对多节式致动运动机构(1)进行三维指示(070)，以及·在移动显示装置(4)的显示元件(41)中，以与多节式致动运动机构(1)叠加的方式，显示(200)多节式致动运动机构的虚拟呈现(1')，其中在考虑多节式致动运动机构(1)的几何关联的情况下进行显示(200)。

Description

由用户借助移动显示装置使用多节式致动运动机构的方法
技术领域
本发明涉及一种根据权利要求1所述的由使用者借助移动显示装置使用多节式致动运动机构、优选机器人、特别优选关节型机器人的方法，一种根据权利要求15所述的用于实施这种方法的系统，一种根据权利要求16所述的用于实施这种方法的移动显示装置，一种根据权利要求17所述的用于实施这种方法的多节式致动运动机构，以及一种根据权利要求18所述的包含用于实施这种方法的程序代码的计算机程序产品。
背景技术
使用机器作为技术设备来取代人类进行机械工作，这一点由来已久。目前将机器人应用于许多不同领域。例如在工业中特别是广泛使用关节型机器人来承担安装、制造、物流以及包装和分拣方面的任务。关节型机器人通常为具有立方形工作空间的6轴式机器，因而使用起来非常灵活。视具体应用可以更换用作末端执行器的工具。也可以根据应用来对关节型机器人进行编程。可以以不变的方式应用关节型机器人，从而使其极具适应能力。
近年来研发出了例如在安装过程中直接与人员进行合作的机器人，特别是关节型机器人。从而产生了合作机器人(简称Cobot，源于英语：collaborative robot)这一概念。这样就不需要设置用来将机器人的工作空间与人员所停留的环境隔开的常见机械式分界(如栅格壁)，也不需要设置至少对人员进入机器人工作空间的情形加以识别的光障、光栅等诸如此类。确切而言，人员可以相对机器人进行自由运动。
为了编写应用，通常需要由使用者给定例如位置和定向(合称姿态)、路径及其速度(合称轨迹)、以及诸如末端执行器的行为，例如打开和关闭。由此能够创建整个运动过程，以使末端执行器从起始姿态直接地或者经过至少一个居中的中间姿态进入目标姿态。如果将例如事实为抓持器的末端执行器整合至这个运动，则例如能够在起始姿态上抓持物体和在目标姿态上放下物体。可以将这种由抓持器的运动和行为构成的过程称作应用，该应用在此情形下可称作“拾取并放置”应用。
最初是在充当基于文本的编程接口的静止式计算机上创建文本描述形式的应用，随即将其传输至机器人。为此，可以通过键盘针对每个姿态输入各轴的坐标，以及通过其他指令给定行为、速度以及诸如此类。通常以独立于机器人的方式进行上述操作。这种机器人编程方式的缺点在于，使用者需要将转换效率，即从文本描述推导出机器人的运动或行为的效率纳入考量。机器人编程方式可能缓慢和/或易于出错。此外，对于使用者而言，基于文本的程序与现实的机器人配置或现实的机器人环境之间的这个假想的转换效率有时非常具有挑战性。此过程也不够直观。
为了改进机器人的编程方案，已对编程作过进一步研发，使得目前也可以通过手持设备来进行编程，作为使用者的人员用一只手握住该手持设备并用另一只手进行操作。在此情形下，人员可以停留在机器人旁，用自己的眼睛观察机器人，以及随机器人的运动而运动，以便进行编程或对其进行控制。借此，使用者能够更好地理解其进行的编程。但在此情形下通常仍以文本描述的形式进行编程，仅是从远程的静止式计算机迁移至待编程之机器人附近的手持设备。
为了特别是在工业生产中实现更加简单、快速和/或直观的机器人编程，目前已开始在虚拟环境内或在虚拟现实内实施编程。虚拟现实(简称：VR)是指现实及其物理特性在经实时计算机生成的交互式虚拟环境中的呈现和感知。在VR环境中能够对待编程的机器人的模型进行呈现和编程。也可以通过运动和行为的虚拟呈现来对编程结果进行仿真，从而识别出错误。随后将虚拟编程的成功结果传输至现实的机器人并应用。
可由使用者实施在VR环境中的变成，具体方式为，使用者自身参与虚拟环境；这被称作沉浸式虚拟现实。沉浸描述的是因虚拟现实的环境引起的效应，其使得使用者的承受虚拟刺激的意识一定程度地进入背景，进而使得虚拟环境被作为真实环境感知。如果沉浸度特别高，则也称之为在场。当虚拟环境使得使用者能够直接与其交互，从而实现较纯粹的观察大幅提升的沉浸强度时，便称之为沉浸式虚拟环境。
在此情形下，为了对机器人进行编程，可以例如通过使用者的手势进行交互，这些手势被映射在VR环境中。为此可以使用数据头盔(英语：头戴式显示器；简称：HMD)以及数据手套。数据头盔是穿戴在头上的视觉输出设备，其或是将图像展示在靠近眼部的屏幕上，或是将图像直接投射至视网膜(虚拟视网膜显示器)。视技术方案而言，HMD也称作视频眼镜、头盔显示器或者VR头盔。数据手套是手套形式的输入设备。通过手和手指的运动在虚拟空间中定向以及与虚拟空间交互。该应用通常与数据头盔相结合。
US 2017 203 438 A1描述过一种系统和一种在使用虚拟现实系统的情况下创建沉浸式虚拟环境的方法，该虚拟现实系统接收与现实的机器人对应的参数。可对现实的机器人进行仿真，从而基于接收的参数创建虚拟的机器人。可将沉浸式虚拟环境传输至使用者，并以视觉方式呈现给使用者。使用者可以进行输入以及与虚拟机器人交互。可以将反馈信息，诸如虚拟机器人的或现实机器人的当前状态提供给使用者。使用者可以对虚拟机器人进行编程。可以基于虚拟机器人培训来对现实机器人进行编程。
换言之，根据US 2017 203 438 A1，在使用虚拟现实系统的情况下创建沉浸式虚拟环境。在该案中，经可视化的机器人基于现实机器人的数据。在虚拟环境内，人员可以通过交互对虚拟机器人进行编程，其中也能实现虚拟机器人对使用者的反馈。基于虚拟机器人的数据，最终能够对现实的机器人进行编程。
这个机器人编程方式的缺点在于，在现实的机器人上的编程实施很大程度上取决于虚拟机器人的仿真品质及其环境的品质。换言之，由于需要将现实的机器人传输至虚拟现实，可能出现现实与虚拟环境之间的偏差；在此情形下，偏差可能影响编程，使得尽管能够在虚拟环境中顺利实现编程，在现实中却不能。此外，创建虚拟环境以及特别是虚拟机器人需要不小的花费。
现实环境与虚拟环境之间的连接为所谓的增强现实(英语：augmented reality；简称：AR)，其指计算机辅助的现实感知的扩增。这些信息可以涉及所有人类刺激型式。但增强现实通常仅指信息的可视呈现，即借助显示或叠加来补充包含经计算机生成的附加信息或虚拟对象的图像或视频。与使用者完全沉浸至虚拟世界的虚拟现实不同，就增强现实而言重点在于在现实环境中呈现附加信息。为此例如可以使用混合现实眼镜，其可供使用者的视线透过，使得视线能够不受干扰地感知现实环境。可以产生图像元素并显示在使用者的视场中，使得这些图像元素能够与现实环境一起被使用者感知。换言之，可以将虚拟对象插入现实环境，使得使用者能够将其一同感知。
因此，可以如此在增强现实中对机器人进行编程，从而例如通过混合现实眼镜对待编程的现实机器人进行观察。可以将指令选项以及信息作为虚拟对象显示，使用者可以通过手势选择这些对象。使用者可以直接在现实机器人上检验编程的结果，具体方式为，由现实机器人实施应用并由使用者进行观察。通过使用手势，能够非常简单、快速和/或直观地对现实机器人进行编程。
US 2013 073 092 A1描述过一种用于运行机器人的系统，包括大体透明的显示器，其如此配置，使得操作人员能够看见机器人的一部分以及与机器人的工作相关的数据和/或图形信息。优选设有与机器人以及与透明的显示器连接的控制系统，使得操作人员能够对机器人的工作进行控制。
目前已知的在增强现实中进行的机器人编程的缺点在于，编程常因虚拟对象而过载。显示的大量虚拟对象将现实环境填满，对使用者造成的迷惑和分心可能多于协助，故目前已知的将增强现实用于机器人编程的方案帮助不大。大量的信息以及部分非常大、多彩且显眼的虚拟对象可能仅是花哨，而并不实用。
上述考虑同样体现在自动化设备上，这些自动化设备在被驱动节段间的移动方面是类似于机器人的且可能用来执行类似的任务。可以将自动化设备与机器人(特别是关节型机器人)统称为驱动系统或者多节式致动的运动机构。
发明内容
本发明的目的是提供本文开篇所述类型的一种使用多节式致动运动机构、优选机器人、特别优选关节型机器人的方法，使得使用者的使用更加简单、快速、舒适和/或直观。特别是需要为调试和/或编程实现这一点。至少要提供已知方法的替代方案。
本发明用以达成上述目的的解决方案为一种具有权利要求1的特征的方法，一种具有权利要求15的特征的系统，一种具有权利要求16的特征的移动显示装置，一种具有权利要求17的特征的多节式致动运动机构，以及一种具有权利要求18的特征的计算机程序产品。有利的进一步方案记载于从属权利要求中。
因此，本发明涉及一种由使用者借助移动显示装置使用多节式致动运动机构、优选机器人、特别优选关节型机器人的方法。这种运动机构可以静止式布置或者采用移动式可动方案。所述关节型机器人优选指的是合作机器人。但所述运动机构也可以是自动化设备。使用特别是指调试、编程以及操作。使用者是实施使用的人员。
所述多节式致动的运动机构具有至少多个通过致动接头相连的节段，和与至少一个节段连接的末端执行器。这种运动机构可以静止式布置或者采用移动式可动方案。所述关节型机器人优选指的是合作机器人。但所述运动机构也可以是自动化设备。
所述多节式致动的运动机构具有通过若干致动接头相连的多个节段、相对所述节段静止式布置且通过第一致动接头与第一节段连接的底座，和通过一个致动接头与一个节段连接的末端执行器。
节段可指某个刚性元件，其以每个末端上的至少一个接头与运动机构的底座、另一节段或者末端执行器连接。也可以设有底座，其相对这些节段静止式布置，因而节段和末端执行器的所有运动均相对底座进行。所述底座本身可以是可动的。优选可以通过末端执行器单元来将末端执行器与最近的节段连接在一起。所述末端执行器单元也可以通过致动接头与最近的节段连接。在末端执行器单元与末端执行器之间同样可以设有致动接头，以便特别是相对末端执行器单元而言围绕共同纵轴旋转该末端执行器。优选地，所述运动机构，优选机器人，特别优选关节型机器人，从静止或移动式底座出发通过多个借助致动接头相连的节段以及一个末端执行器单元延伸至末端执行器，从而形成一个连续的运动链。
接头指的是两个元件间(如本文中的两个节段间、一个节段与末端执行器或末端执行器单元间、末端执行器单元与末端执行器间或者一个节段与底座间)的可动连接。这种可动性优选可指旋转的或平移的，也可以采用组合式可动性。所述接头优选构建为旋转接头。所述接头可以分别被一个驱动单元驱动，即被致动，其中优选采用电驱动装置，因为电能相对易于通过各节段和接头被传输给驱动单元。所述末端执行器可指任意类型的工具、按键元件等诸如此类，如抓持器或类似元件。所述接头可以具有位置传感器，例如旋转接头中的角度编码器，用以采集接头的角位。此外也可以设有转矩传感器。
所述移动显示装置具有至少一个显示元件，其适于向使用者显示优选连同环境在内的多节式致动运动机构的至少一个现实呈现，以及具有至少一个图像采集元件，其适于将优选连同环境在内的多节式致动运动机构作为包含深度信息的图像数据加以采集，其中所述显示元件还适于为使用者将多节式致动运动机构的至少一个虚拟呈现插入多节式致动运动机构的现实呈现以及优选插入其环境。所述移动显示装置也可以称作可视化系统。
可以将具有对应的前述元件的任何可动的以及特别是待由使用者穿戴的装置用作移动显示装置。这些装置特别是可以为混合现实眼镜、增强现实眼镜、全息透镜、接触透镜以及具有此类功能的手持设备、平板电脑或智能手机。例如就平板电脑或智能手机而言，屏幕可以相应地用作显示元件。但所述显示装置也可以是完全乃至大体透明的屏幕，或混合现实眼镜、增强现实眼镜、全息透镜、接触透镜的对应的镜片，使得通过使用者的穿过屏幕或穿过镜片的透视产生所述多节式致动运动机构的现实呈现。例如就平板电脑或智能手机而言，通过对多节式致动运动机构进行图像采集以及将其在屏幕上再现来实现上述方案。通过图像采集元件来进行图像采集，该图像采集元件可以是面扫描摄像机形式的二维传感器。
例如可以通过以下方式来采集深度信息：所述图像采集元件构建为立体式。立体是指以存在于现实环境中的深度的空间印象来再现图像。这种图像采集单元可以相应地具有两个面扫描摄像机，其从两个视角同时对其环境进行采集，故通过将各自采集的图像数据组合便能获得深度信息。在此情形下，可以通过立体式图像采集元件采集包含深度信息在内的图像数据，其源自单个摄像机的两个平行采集的图像数据。也可以将TOF摄像机用作3D摄像机系统，其能够以飞行时间法(英语：time of flight，TOF或者ToF)采集和测定距离。
作为替代或附加方案，实施为仅一个面扫描摄像机的图像采集元件能够采集环境的无深度信息的图像，所述深度信息可以同时通过另一传感器、例如红外传感器或者深度摄像机获取。在此情形下，可以采集图像数据自身，并将其与并行采集的深度信息作为组合数据，由所述图像采集元件予以提供。
所述方法具有至少下列步骤：
·由使用者将所述移动显示装置的图像采集元件对准所述优选连同环境在内的多节式致动运动机构，
·借助移动显示装置的图像采集元件至少对优选连同环境在内的多节式致动运动机构进行采集，
·在移动显示装置的图像采集元件的采集的图像数据中，对多节式致动运动机构以及优选其环境进行识别
·基于采集的包含深度信息的图像数据，对多节式致动运动机构以及优选其环境进行三维指示，以及
·在移动显示装置的显示元件中，以与多节式致动运动机构叠加的方式，显示优选连同环境在内的多节式致动运动机构的虚拟呈现，
其中在将多节式致动运动机构以及优选其环境的几何关联纳入考量的情况下进行显示。除了运动机构的对准、采集和识别以外，也可以对参考指示进行采集和识别，该参考指示具有相对所述运动机构的预定的定位以及定向，故也可以通过参考指示实施这些分步骤，下文还将就方法的初始化对此进行说明。
换言之，使用者例如将平板电脑或者全息透镜对准诸如需要编程的机器人。通过面扫描摄像机对该机器人进行诸如立体式采集，并且借助图像处理法在采集的图像数据中识别机器人。同时获取机器人、其地基以及其余环境的三维位置数据。通过三维指示，能够为机器人指定在根据图像数据计算出的三维空间中的位置以及优选姿态，机器人在现实环境中实际处于该处。优选可以同时采集所述机器人的环境，并且识别对象以及地基。这样便能创建机器人的三维环境地图。随后，在现实的机器人所处于的现实视图中，可以通过叠加显示机器人的虚拟呈现，以及视情况而定显示其他对象的虚拟呈现。这相应地适用于所有其他对象。
这样便能创建机器人的三维环境地图。这个环境地图可以以任何基于移动显示装置的图像采集元件以及视情况而定基于运动机构的图像采集单元采集的图像数据为依据，下文还将对此进行说明。在此，可进行至少一个分为自由区域和非自由区域的划分，因为可以以此为基础进行至少一个碰撞识别，下文还将对此进行说明；此外，可以存在无信息的区域，因为目前尚未对这些区域进行图像采集。此举能够简化并进而例如加快图像处理。优选对所述非自由区域进行更加精确的区分，从而能够识别具体的对象。对环境的采集是指在图像采集单元的图像采集区域所允许的范围内采集环境的片段。
这特别是可如下实现：在显示时将诸如机器人的多节式致动运动机构的几何关联纳入考量。如前文所述，基于虚拟呈现与现实物体的对应关系，在同一三维空间中，相对使用者或相对移动显示装置以及相对于其余对象而言，每个虚拟呈现均在正确的位置并且以正确的定向布置和展示。这样一来，仅当对象在三维空间内相对使用者或相对移动显示装置而言前后布置时，对象才可能相互遮挡。因此，仅当对象的虚拟呈现能够在这个位置中被使用者在现实环境中无阻碍地看见时，才显示对象的虚拟呈现。
就多节式致动运动机构而言这表示，在各节段的定向相同的情况下，完全不显示多节式致动运动机构的虚拟呈现，从而避免现实的多轴致动运动机构被遮住，进而避免使用难度加大。仅当例如因仿真运动而导致多节式致动运动机构的虚拟呈现有别于现实的多节式致动运动机构时，才显示多节式致动运动机构的虚拟呈现的伸出现实的多节式致动运动机构的一部分。其中，如果多节式致动运动机构的虚拟呈现例如背离使用者运动，即相对使用者位于现实的多节式致动运动机构后，则也仅展示多节式致动运动机构的虚拟呈现的一部分，该部分为可供使用者在现实的多节式致动运动机构旁经过时在现实环境中能够看见的部分。
因此，本发明的将几何关联纳入考量的显示能够确保空间上正确的显示，从而展示例如显示环境被虚拟对象遮挡以及正好相反的情形(在现实的对象相向时便是如此)。例如，间隔较远的虚拟对象可以被现实对象遮住或“消失”在这个现实对象后；这可通过现实对象与虚拟对象之间的可取决于使用者的视角的深度渲染实现，该视角能够依据移动显示装置的自定位计算出。
这样一来，尽管显示虚拟对象，仍能维持使用者的正确的深度感知，因为虚拟呈现嵌入现实环境的呈现。例如在调试和编程中，借此能够在用户互动减小至最低程度的情况下直观和/或高效地使用多节式致动运动机构。此外，例如多节式致动运动机构在其现实环境中的期望特性与编程之间所需要的假想的转换效率也可以有所减小。
换言之，目前通常以不考虑现实对象或现实场景的方式显示虚拟呈现。例如就在增强现实中进行的机器人编程而言，机器人的虚拟呈现目前常会在重叠中将现实的机器人遮住，致使使用者无法感知现实的机器人及其环境。从使用者的角度来看，现实的机器人后或物体后的以虚拟方式呈现的对象也常会将现实对象遮住，从而对深度印象或深度感知构成限制。借助本发明能够避免这些情形。
也可以在使用多节式致动运动机构的立体传感器数据，例如轴数据、功率数据、计划数据的情况下，或通过这些数据的合并来进行显示。也可以将位于多节式致动运动机构的工作区内的、可从采集的图像数据识别出的对象和障碍物纳入考量。这样便能如前文所述进一步改善显示。
可以完全由多节式致动运动机构实施这些处理步骤，并将经合并的用于呈现的数据传输至移动显示装置。同样可以完全由移动显示装置实施这些处理步骤，该移动显示装置为此能够视情况而定从多节式致动运动机构获得数据。这些处理步骤也可以部分由移动显示装置实施，部分由多节式致动运动机构实施。在任何情形下均可由多节式致动运动机构的控制单元、例如运动控制系统实施多节式致动运动机构的的处理步骤。
通过对应的数据/通信接口和数据线，例如以太网、现场总线和诸如此类，能够通过仅沿一个方向或者沿两个方向的数据交换(例如针对传感器数据)进行通信。可通过各计算单元的通信接口同时提供数据。
根据本发明的一个方面，所述方法至少具有以下额外步骤：
由使用者借助所述移动显示装置对第一点，优选对第一姿态进行指示，
·其中在移动显示装置的显示元件中向使用者显示所述第一点，优选所述第一姿态的虚拟呈现，
优选至少包含以下额外步骤：
·由使用者借助所述移动显示装置对第二点，优选对第二姿态进行指示，
其中在移动显示装置的显示元件中向使用者显示所述第二点，优选所述第二姿态的虚拟呈现。
这样一来，使用者便能在空间内、优选在笛卡尔坐标中选择至少一个点，优选一个姿态，并且设定所述方法。优选可以在将多节式致动运动机构的配置纳入考量的情况下进行上述操作，从而能够设定第一姿态或第二姿态。借助点或姿态的虚拟呈现，能够为使用者简化这个设定。同样可以对结果进行目视检查。
根据本发明的另一方面，所述方法至少具有以下额外步骤：
·由使用者借助所述移动显示装置选择第一对象，
其中在移动显示装置的显示元件中向使用者显示所述第一对象的选择的虚拟呈现，
优选至少包含以下额外步骤：
·由使用者借助所述移动显示装置选择第二对象，
其中在移动显示装置的显示元件中向使用者显示所述第二对象的选择的虚拟呈现。
本发明的这个方面基于以下构思：为使用者进一步简化使用以及特别是调试和/或编程，具体方式为，无需创建必须由使用者指定给对象的位置或姿态，而是委托多节式致动运动机构进行此操作。因此，可以只选择对象，且运动机构能够自动测定用以到达这个对象的位置或姿态。举例而言，第一对象可以是待抓取的物体，且第二对象是需要将这个物体放下的地点。这对于使用者而言非常直观，并且能够加快使用以及降低易出错性。
根据本发明的另一方面，所述选择至少具有若干分步骤：
·由使用者将所述移动显示装置的图像采集元件对准所述第一对象或所述第二对象，
·借助移动显示装置的图像采集元件对第一对象或第二对象进行采集，以及
·在移动显示装置的显示元件中对第一对象或第二对象进行标记，
·此外优选由使用者确认选择第一对象或第二对象。
换言之，可以将移动显示装置对准对象，从而对这个对象进行光学采集和识别。这例如可以如下实现：将移动显示装置的中心点用作光标或十字线，并且优选也相应地将其虚拟呈现，使得使用者能够“瞄准”期望选择的对象。如果所述运动机构具有自有的图像采集单元，只要对象位于这个图像采集单元的图像采集区域内，则还可将该图像采集单元的图像数据用于对象的光学采集和识别。
现在可以通过使用者的操纵简单地选择经瞄准的对象，具体方式为，使得光标保持朝向对象例如数秒。如果识别出对象，则可例如通过对象的彩色边缘的虚拟呈现，视情况而定也可以通过边缘的闪烁，将对象标记为可选。这或是由使用者主动确认，或是间接确认，具体方式为，进一步瞄准这个对象例如数秒，使得这个对象被视作选中。这可通过例如采用另一颜色的另一标记，或通过连贯的边缘(无闪烁)表示。
根据本发明的另一方面，所述方法至少具有以下额外步骤：
·创建位于起始姿态与目标姿态之间的至少一个轨迹，
其中所述起始姿态为多节式致动运动机构的末端执行器的当前姿态，且所述目标姿态为所述第一点，优选为所述第一姿态，以及/或者
其中起始姿态为所述第一点，优选为所述第一姿态，且目标姿态为所述第二点，优选为所述第二姿态，或者反之，或者
其中起始姿态为多节式致动运动机构的末端执行器的当前姿态，且目标姿态为所述第一对象，以及/或者
其中起始姿态为第一对象，且目标姿态为第二对象，或者反之，以及
·借助多节式致动运动机构的虚拟呈现走完所述轨迹。
可以按照已知的轨迹规划方法来创建轨迹。如前文所述，通过在虚拟呈现不会被多节式致动运动机构遮盖处显示多节式致动运动机构的虚拟呈现来走完轨迹。这样一来，使用者便能在实现正确的深度感知的虚拟呈现中观察编程在现实环境中的结果。
根据本发明的另一方面，所述方法至少具有以下额外步骤：
·通过将采集的环境与所述多节式致动运动机构的虚拟呈现的运动进行比较，识别多节式致动运动机构的虚拟呈现与现实的碰撞对象的碰撞，
其中，在所述移动显示装置的显示元件中向使用者显示碰撞的虚拟呈现，并且优选地，作为对识别出的碰撞的响应，将多节式致动运动机构的虚拟呈现的运动停止。
如前文所述，对于多节式致动运动机构的环境而言，也存在所有从图像数据识别出的对象的形式为环境地图的三维对应关系，因此，根据这些与轨迹相关的信息，也能够识别出多节式致动运动机构的虚拟呈现与现实对象的映射的碰撞。其中为了简化，仅区分出自由区域和非自由区域，从而能够识别运动机构与非自由区域的碰撞。这样便能就碰撞对轨迹进行目视检查。
在此情形下，可以向使用者显示碰撞的虚拟呈现，以作告知。其中优选将多节式致动运动机构的虚拟呈现的运动停止，以便向使用者显示碰撞地点，并且使得使用者能够例如通过改变轨迹消除碰撞原因。
根据本发明的另一方面，所述方法至少具有以下额外步骤：
·作为对识别出的碰撞的响应，对所述多节式致动运动机构的虚拟呈现的至少一个区段进行标记，
·优选在发生碰撞处对多节式致动运动机构的虚拟呈现进行局部标记。
借此，使用者能够更清楚地注意到碰撞本身，以及特别是注意到多节式致动运动机构上的具体碰撞地点。特别是通过对碰撞点的标记，使用者能够更轻松地找到碰撞原因。
根据本发明的另一方面，所述方法至少具有以下额外步骤：
·创建位于至少起始姿态与目标姿态之间的至少一个替代性轨迹，以及
·借助多节式致动运动机构的虚拟呈现走完所述替代性轨迹。
优选在经使用者请求或确认后，这个步骤例如可由多节式致动运动机构自动实施。可以通过运动机构的环境的三维数据对此进行协助，因为运动机构的环境的对象在现实空间中的位置已知。这样便能通过运动机构自身确定一个绕开碰撞点的轨迹。可以通过如上文所述走完经修改的轨迹来进行虚拟检验。
根据本发明的另一方面，所述方法至少具有以下额外步骤：
·由使用者借助所述移动显示装置对另一点，优选对另一姿态进行指示，
其中在所述显示元件中向使用者显示所述另一点，优选所述另一姿态的虚拟呈现，
·在将所述另一点、优选另一姿态纳入考量的情况下，创建位于起始姿态与目标姿态之间的至少一个替代性轨迹，以及
·借助多节式致动运动机构的虚拟呈现走完所述轨迹。
使用者可以借此修改轨迹，从而绕开发生碰撞的位置。可以通过如上文所述走完经修改的轨迹来进行虚拟检验。
根据本发明的另一方面，所述方法至少具有以下额外步骤：
·借助所述多节式致动运动机构走完所述轨迹。
如果以虚拟方式成功且无碰撞地走完所述轨迹，则可传输至现实的运动机构。
根据本发明的另一方面，在显示前，所述方法至少具有以下额外步骤：
·所述方法的初始化，
优选通过至少以下分步骤进行：
·创建所述多节式致动运动机构的虚拟呈现，
·基于多节式致动运动机构的节段和/或致动接头和/或末端执行器的姿态将多节式致动的运动机构的虚拟呈现对准，
·对多节式致动运动机构和/或多节式致动运动机构的参考指示进行采集，以及
·基于采集的多节式致动运动机构或者基于参考指示，建立多节式致动运动机构的虚拟呈现对多节式致动运动机构的参照。
例如可以基于多节式致动运动机构的结构创建一个可用于虚拟呈现的模型。可以使用现实运动机构的其他数据，例如接头位置，从而根据现实运动机构的当前配置将虚拟模型的各节段对准。这样便能实现运动机构的与当前状态相符的虚拟呈现。为了根据现实的运动机构将运动机构的虚拟呈现布置在空间中，例如可以从图像数据识别这个现实运动机构，并将虚拟呈现叠加至这个运动机构。也可以将相对现实运动机构的距离和定向已知的标记或诸如此类用作参考指示。可以从图像数据识别这个参考指示，将运动机构的虚拟呈现移动至该参考指示，并且借助从该处起已知的移动矢量对现实运动机构进行叠加。这样便能建立运动机构的虚拟呈现对现实运动机构的参照。
根据本发明的另一方面，借助使用者的至少一个操作输入来实现使用者的指示、选择和/或确认，其中优选将使用者的操作输入作为虚拟呈现显示在所述显示元件中，其中使用者的操作输入优选为被移动显示装置的图像采集元件采集的手势，或者为被移动显示装置的显示元件采集的触碰。使用者能够非常简便和直观地实施这类特别是采用手指的手势，如在经虚拟呈现的控制元件上方将手指闭拢。此外，对例如平板电脑的触敏屏幕的操作目前已为使用者所知，并且能够由使用者直观地实施。通过对经移动显示装置识别的操作输入作虚拟呈现，使用者能够检验识别出的操作输入是否与实际实施的操作输入相符。
根据本发明的另一方面，所述多节式致动运动机构还具有至少一个图像采集单元，其采用一定的布置和对准方案，从而至少对所述末端执行器前的环境进行采集，其中所述图像采集单元优选布置在末端执行器上或末端执行器单元上并对准，从而对末端执行器正前方的环境进行采集，其中在也将多节式致动运动机构的图像采集单元的图像数据纳入考量的情况下执行所述方法。这有助于改进用于创建三维数据的方案。
通常特别是为移动显示装置使用图像采集元件，其用于采集移动显示装置的环境的尽可能大的片段。这可能会损害图像采集的品质，即采集的图像数据具有相对较小的图像分辨率，使得运动机构以及对象无法在其环境中被可靠识别。此外，针对例如智能手机、平板电脑的图像采集元件以及特别是全息透镜仅允许具有非常小的面积和/或非常小的重量，这实现小型化，进而可能造成性能方面的限制。至少对于经多节式致动运动机构的图像采集单元采集的区域而言，能够对上述缺陷加以补偿，因为可以将尺寸、重量以及性能大幅提升的图像采集单元用作针对运动机构的图像采集单元。所述图像采集单元也可以显著靠近运动机构及其周边。此举能够单独地以及特别是以组合的方式，至少在运动机构的图像采集单元的图像采集区域内提高分辨率。
根据本发明的另一方面，至少一个虚拟呈现具有至少一个在所述移动显示装置的显示元件中显示的信息，其中所述虚拟呈现优选至少具有：
·控制元件，用于优选通过至少一个操作输入与使用者交互，以及/或者
·所述末端执行器的坐标系，以及/或者
·至少一个点、优选至少一个姿态的坐标系，以及/或者
·轨迹，以及/或者
·轨迹的持续时间，以及/或者
·轨迹的总长度，以及/或者
·轨迹的能量需求，以及/或者
·多节式致动运动机构的图像采集单元的图像采集区域，以及/或者
·多节式致动运动机构的奇点，以及/或者
·多节式致动运动机构的工作区限制，以及/或者
·多节式致动运动机构的接头空间限制，以及/或者
·多节式致动运动机构的预定极限，以及/或者
·针对使用者的说明。
这些信息中的每一个，以及特别是这些信息中的多个的组合能够将使用简化、加快和/或使其更为直观。
本发明也涉及一种用于供使用者借助移动显示装置使用多节式致动运动机构、优选机器人、特别优选关节型机器人的系统，其中所述多节式致动运动机构至少具有：
·通过致动接头相连的多个节段，以及
·与至少一个节段连接的末端执行器，
其中所述移动显示装置至少具有：
·至少一个显示元件，其适于向使用者显示优选连同环境在内的多节式致动运动机构的至少一个现实呈现，以及
·至少一个图像采集元件，其适于将所述优选连同环境在内的多节式致动运动机构作为包含深度信息的图像数据加以采集，
·其中所述显示元件还适于为使用者将多节式致动运动机构的至少一个虚拟呈现插入多节式致动运动机构的现实呈现以及优选插入其环境，
其中所述系统，优选所述多节式致动运动机构和/或所述移动显示装置适于如前文所述实施方法，其中多节式致动运动机构优选还具有至少一个图像采集单元，其采用一定的布置和对准方案，从而至少对所述末端执行器前的环境进行采集，其中所述图像采集单元优选布置在末端执行器上或末端执行器单元上并对准，从而对末端执行器正前方的环境进行采集。前文已结合本发明的方法对这种系统或其组件的属性和优点进行过说明，在此不再赘述。
本发明也涉及一种用于应用在前述系统中的移动显示装置，具有至少一个显示元件，其适于向使用者显示优选连同环境在内的多节式致动运动机构的至少一个现实呈现，以及具有至少一个图像采集元件，其适于将优选连同环境在内的多节式致动运动机构作为包含深度信息的图像数据加以采集，其中所述显示元件还适于为使用者将多节式致动运动机构的至少一个虚拟呈现插入多节式致动运动机构的现实呈现以及优选插入其环境，且其中所述移动显示装置适于如前文所述实施方法。前文已结合本发明的方法对这种移动显示装置或其元件的属性和优点进行过说明，在此不再赘述。
本发明也涉及一种用于应用在前述系统的多节式致动运动机构，具有通过致动接头相连的多个节段，以及具有与至少一个节段连接的末端执行器，其中所述多节式致动运动机构适于如前文所述实施方法，其中所述多节式致动运动机构优选还具有至少一个图像采集单元，其采用一定的布置和对准方案，从而至少对所述末端执行器前的环境进行采集，其中所述图像采集单元优选布置在末端执行器上或末端执行器单元上并对准，从而对末端执行器正前方的环境进行采集。前文已结合本发明的方法对这种多节式致动运动机构或其元件的属性和优点进行过说明，在此不再赘述。
本发明也涉及一种计算机程序产品，包含存储在可计算机读取的介质上的程序代码，用以如前文所述实施方法。所述可计算机读取的介质可以是计算机的内存储器以及可移动存储器，例如软盘、CD、DVD、U盘、存储卡以及诸如此类。计算机是指任何能够实施所述方法的计算单元。这样便能将本发明的方法提供给计算机，该计算机可以是本发明的装置的控制单元。
附图说明
下面结合附图对两个实施例和本发明的更多优点进行说明。图中：
图1为第一实施例中的本发明的系统的示意性透视图；
图2为第二实施例中的本发明的系统的示意性透视图；
图3为本发明的方法的流程图；以及
图4至图13为本发明的多节式致动运动机构在不同处理步骤中的不同示意性透视图。
具体实施方式
在笛卡尔坐标系中观察上述附图。延伸有纵向X，其也可以称为深度X。垂直于纵向X地延伸有横向Y，其也可以称为宽度Y。既垂直于纵向X又垂直于横向Y地延伸有竖向Z，其也可以称为高度Z。
图1为第一实施例中的本发明的系统1、4的示意性透视图。系统1、4具有多节式致动运动机构1，其在这两个实施例中均实施为机器人1，且更确切言之实施为关节型机器人1。关节型机器人1借助底座10静止式布置在地基3上或下基面30上。从底座10出发延伸有多个作为连续运动链的节段11，其通过形式为致动旋转接头12的若干致动接头12相连。最后一个节段11通过一个致动旋转接头12与末端执行器单元13连接，该末端执行器单元具有形式为抓持器14的末端执行器14。关节型机器人1具有控制单元16，其也可称作计算单元16、主机16或运动控制系统16。在末端执行器单元13上，以轴向朝向末端执行器14的方式设有图像采集单元15，其能够借助其图像采集区域a对关节型机器人1的位于末端执行器14正前方的环境进行图像采集。此图像采集可以具有深度信息，因为末端执行器14的图像采集单元15构建为立体的面扫描摄像机。
在下基面30上设有形式为物体31的第一对象31，其可由关节型机器人1借助其末端执行器14抓持并在形式为第一存放面32的第二对象32上放下。为此，关节型机器人1能够沿第一轨迹e1逼近物体，将其抓持，沿第二轨迹e2运动至第一存放面32，并在该处将物体放下。
为了对这个“拾取并放置”应用进行编程，使用者2操作形式为平板电脑4的移动显示装置4。平板电脑4具有形式为壳体40的支架元件40，其在边缘以及在底侧将平板电脑4包围。借助壳体40，使用者2能够从侧面用至少一只手将平板电脑4握住。平板电脑4在其顶侧上以面向使用者2的方式具有形式为屏幕的显示元件41。在平板电脑4的相对的一侧上，平板电脑4还在壳体40的边缘的上沿处具有形式为立体的面扫描摄像机的图像采集元件42。借助图像采集元件42能够进行(在此情形下是对关节型机器人1及其环境的)图像采集，由于图像采集元件42的立体特性，该图像采集也可以包含深度信息。也可以将采集的图像数据显示给显示元件41以及使用者2，使得使用者能够看见平板电脑4或其图像采集元件42所对准的图像。除了采集的仅由显示元件41再现的现实图像数据以外，可以显示额外的虚拟呈现，下文还将对此进行详细说明。
图2为第二实施例中的本发明的系统1、4的示意性透视图。在此情形下，使用者2使用混合现实眼镜4来替代平板电脑4。镜脚相应地构建为支架元件40。图像采集元件42布置在两个镜片之间，并且直接背离使用者2。这两个镜片采用透明的技术方案并进而用作显示元件41，因为使用者2能够穿过显示元件41直接对关节型机器人1进行目视采集。通过显示元件41同样能够显示额外的虚拟呈现，下文还将对此进行详细说明。
图3为本发明的方法的流程图。图4至图13为在将第二实施例中的移动显示装置4用作全息透镜4的情况下，本发明的多节式致动运动机构1在不同处理步骤中的不同示意性透视图。
由使用者2将移动显示装置4的图像采集元件42朝向关节型机器人1及其环境对准000，例如参阅图1和图2。
借助移动显示装置4的图像采集元件42对关节型机器人1及其环境进行采集030，其中采集所述环境的片段，该片段为图像采集元件42在此时刻因使用者2进行的对准所能采集的片段。
在移动显示装置4的图像采集元件42的采集的图像数据中对关节型机器人1及其环境进行识别050。可以借助已知的图像处理以及图形识别方法来进行此操作。
基于采集的包含深度信息的图像数据对关节型机器人1及其环境进行三维指示070。在此情形下，通过实施为立体的面扫描摄像机的图像采集元件42提供深度信息。对关节型机器人1以及对象31-34的三维指示070(例如参阅图8和图9)提供一个三维环境地图。位于关节型机器人1的末端执行器14的图像采集单元15的图像采集区域内的对象31也通过这个图像采集单元光学采集，这能够改善识别050和指示070的品质，因为针对对象31的空间临近性有所增大，且关节型机器人1的末端执行器14的图像采集单元15的分辨率有所改善。
对所述方法进行初始化100，该操作只需要在使用方法前针对当前工作执行一次，并且优选具有多个分步骤。据此，基于一个运动模型创建110关节型机器人1的虚拟呈现，该模型与现实的关节型机器人1的结构相符。基于关节型机器人1的节段11或致动接头12以及末端执行器14的姿态将关节型机器人的虚拟呈现1'对准130，使得现实的关节型机器人1与其虚拟呈现相符。在此情形下，现实的关节型机器人1的接头12的角位例如被纳入考量，进而可供使用。
对关节型机器人1的形式为光学标记35的参考指示35进行采集150，该参考指示紧邻关节型机器人1的底座10布置在地基3的下基面30上，并且在移动显示装置4的图像采集元件42的这个定向中位于图像采集元件42的图像采集区域内。作为替代方案，也可以对关节型机器人1自身进行采集，但光学标记35的采集和识别更易于实施。
基于采集的光学标记35，建立关节型机器人的虚拟呈现1'对现实的关节型机器人1的参照170。换言之，使得关节型机器人的虚拟呈现1'移动至现实的关节型机器人1，以使其相符；节段11、接头12和末端执行器14的相互对准已在初始对准130中进行。
在移动显示装置4的显示元件41中，将关节型机器人的虚拟呈现1'在其环境中以与现实的关节型机器人1叠加的方式显示200。换言之，将虚拟环境和现实环境的数据相互合并或叠加。其中，在将关节型机器人1与其环境的几何关联纳入考量的情况下进行显示200。这样便能将三维环境地图的深度信息接收至显示，从而能够以位置正确的方式以及以正确的定向呈现关节型机器人1以及其他对象31-34。这样能够防止实体被虚拟呈现体遮住，并且使得使用者2更易理解由此创建的增强现实。借此，使用者特别是能够更加直观地进行调试和编程。
由使用者2借助移动显示装置4指示300a第一姿态，其中在移动显示装置4的显示元件41中向使用者2显示第一姿态的虚拟呈现D1，例如参阅图4。由使用者2借助移动显示装置4指示400a第二姿态，其中在移动显示装置4的显示元件41中向使用者2显示第二姿态的虚拟呈现D2，例如参阅图5。在此情形下，第二姿态D2处于关节型机器人1的末端执行器14(通过其姿态C示出)与第一姿态D1之间。其中，所有姿态C、D1、D2均是通过笛卡尔坐标系显示。
创建500从末端执行器14的充当起始姿态的当前姿态经过充当中间姿态的第二姿态D2乃至充当目标姿态的第一姿态D1的轨迹e1、e2，其中这个总轨迹划分成位于末端执行器14的当前姿态与第二姿态D2之间的第一(子)轨迹e1和位于第二姿态D2与第一姿态D1之间的第二(子)轨迹e2，例如参阅图5。通过移动显示装置4的显示元件41向使用者2显示轨迹e1、e2的虚拟呈现E1、E2。
借助关节型机器人的虚拟呈现1'走完550轨迹e1、e2，例如参阅图6。在此情形下，未识别出关节型机器人的虚拟呈现1'与真实环境或其作为三维环境地图的的映射之间的碰撞，其中为了简化和加快相应的计算，重要之处仅在于，轨迹e1、e2穿过三维环境地图的自由区域。
由于这些轨迹e1、e2被使用者2目视跟踪，并且由于无碰撞而被评估为可行，随后可以借助现实的关节型机器人1走完900轨迹e1、e2。通过移动显示装置4的显示元件41向使用者2显示轨迹e1、e2的持续时间F1以及总长度F2的虚拟呈现。这样一来，这个运动的编程便成功结束。
作为替代方案，由使用者2借助移动显示装置4选择300b第一对象31以及选择400b第二对象32，具体方式为，由使用者2将移动显示装置4的图像采集元件42对准310b；410b第一对象31或第二对象32，例如参阅图8至图10。其中，第一对象31为需要由关节型机器人1的末端执行器14抓持的物体31，第二对象32为三个存放面32-34中的第一存放面32，需要将物体31存放在这些存放面上。借助移动显示装置4的图像采集元件42对第一对象31或第二对象32进行采集330b；430b。在移动显示装置4的显示元件41中通过彩色加亮对第一对象31或第二对象32进行标记350b；450b，例如参阅图9和图10。此外，由使用者2确认370a；470a选择第一对象31或第二对象32，其中识别手势b作为确认，并且通过移动显示装置4的显示元件41向使用者2显示手势的虚拟呈现B。此外，在移动显示装置4的显示元件41中向使用者2显示第一对象31的选择G1以及第二对象32的选择G2的虚拟呈现。
在此情形下也创建500位于起始姿态与目标姿态之间的至少一个轨迹e1、e2，其从末端执行器14的当前姿态(通过其姿态C示出)经过第一姿态D1、第二姿态D2乃至到达第三姿态D3；(子)轨迹e1、e2在第一姿态D1与第二姿态D2之间或在第二姿态D2与第三姿态D3之间延伸，例如参阅图10和图11。
借助关节型机器人的虚拟呈现1'走完550轨迹e1、e2，其中在此情形下，在第一轨迹e1经过处设有碰撞对象36。借此，通过将采集的环境与关节型机器人的虚拟呈现1'的运动进行比较，识别600关节型机器人的虚拟呈现1'与现实的碰撞对象36的碰撞，其中在移动显示装置4的显示元件41中向使用者2显示碰撞的虚拟呈现H。此外，作为对识别出的碰撞的响应，将关节型机器人的虚拟呈现1'的运动停止610。此外，作为对识别出的碰撞的响应，对关节型机器人的虚拟呈现1'的末端执行器14进行标记630，因为在关节型机器人的虚拟呈现1'的这个区段中出现碰撞。
一方面，现在可以创建700位于至少起始姿态与目标姿态之间的至少一个替代性轨迹e1、e2，其可由关节型机器人1自动实施。例如可以将另一姿态嵌入轨迹e1，从而绕开现实的碰撞对象36。随后借助关节型机器人的虚拟呈现1'走完550替代性轨迹e1、e2。如果这个运动无碰撞，则随后可以借助现实的关节型机器人1走完900轨迹e1、e2。如果上述操作成功，则这个运动的编程成功结束。
另一方面，可以由使用者2借助移动显示装置4指示800另一姿态，其中在显示元件41中向使用者2显示所述另一姿态的虚拟呈现。也可以将这个额外的姿态嵌入轨迹e1，从而绕开现实的碰撞对象36。基于这个额外的姿态，可以在将该额外的姿态纳入考量的情况下创建500位于起始姿态与目标姿态之间的至少一个替代性轨迹e1、e2。如果这个运动无碰撞，则随后可以借助现实的关节型机器人1走完900轨迹e1、e2。如果上述操作成功，则这个运动的编程成功结束。
附图标记表
a 运动机构1的图像采集单元15的图像采集区域
A 运动机构1的图像采集单元15的图像采集区域的虚拟呈现
b 使用者2的手势
B 使用者2的手势的虚拟呈现
C 末端执行器14的坐标系的虚拟呈现
D1 第一点或第一姿态的(坐标系的)虚拟呈现
D2 另一/第二点或另一/第二姿态的(坐标系的)虚拟呈现
D3 另一/第三点或另一/第三姿态的(坐标系的)虚拟呈现
e1 第一轨迹
E1 第一轨迹e1的虚拟呈现
e2 第二轨迹
E2 第二轨迹e2的虚拟呈现
F1 轨迹e1、e2的持续时间的虚拟呈现
F2 轨迹e1、e2的总长度的虚拟呈现
G1 第一对象31的选择的虚拟呈现
G2 第二对象32的选择的虚拟呈现
H 碰撞的虚拟呈现
X 纵向；深度
Y 横向；宽度
Z 竖向；高度
1 多节式致动的运动机构；(关节型)机器人
1' 多节式致动的运动机构1的虚拟呈现
10 底座
11 节段
12 致动的(旋转)接头
13 末端执行器单元
14 末端执行器，抓持器
15 图像采集单元
16 控制单元；计算单元；主机；运动控制系统
2 使用者
3 地基
30 下基面
31 第一对象；物体
32 第二对象；第一存放面
33 第三对象；第二存放面
34 第四对象；第三存放面
35 参考指示；光学标记
36 碰撞对象
4 移动显示装置；混合现实眼镜；增强现实眼镜；全息透镜；接触透镜；手持设备；平板电脑；智能手机
40 支架元件；壳体；镜脚
41 显示元件
42 图像采集元件
000 由使用者2将图像采集元件42对准运动机构1
030 借助图像采集元件42采集运动机构1
050 在采集的图像数据中识别运动机构1
070 基于采集的包含深度信息的图像数据对运动机构1进行三维指定
100 方法初始化
110 创建运动机构的虚拟呈现1'
130 将运动机构的虚拟呈现1'对准
150 采集运动机构1和/或参考指示35
170 建立运动机构的虚拟呈现1'对运动机构1的参照
200 在显示元件41中以与运动机构1叠加的方式显示运动机构的虚拟呈现1'
300a 由使用者2借助移动显示装置4指示第一点或第一姿态
300b 由使用者2借助移动显示装置4选择第一对象31
310b 由使用者2将图像采集元件42对准第一对象31
330b 借助图像采集元件42采集第一对象31
350b 在显示元件41中标记第一对象31
370a 由使用者2确认选择第一对象31
400a 由使用者2借助移动显示装置4指示第二点或第二姿态
400b 由使用者2借助移动显示装置4选择第二对象32
410b 由使用者将图像采集元件42对准第二对象32
430b 借助图像采集元件42采集第二对象32
450b 在显示元件41中标记第二对象32
470a 由使用者2确认选择第二对象32
500 创建位于起始姿态与目标姿态之间的轨迹e1、e2
550 借助运动机构1的虚拟呈现走完轨迹e1、e2
600 识别运动机构的虚拟呈现1'与现实的碰撞对象36的碰撞
610 作为对识别出的碰撞的响应，停止运动机构的虚拟呈现1'的运动
630 作为对识别出的碰撞的响应，标记运动机构的虚拟呈现1'的区段
700 创建位于起始姿态与目标姿态之间的替代性轨迹e1、e2
800 由使用者2借助移动显示装置4指示其他点或其他姿态
900 借助运动机构1走完轨迹e1、e2

Claims (18)

1.一种由使用者(2)借助移动显示装置(4)使用多节式致动运动机构(1)、优选机器人(1)、特别优选关节型机器人(1)的方法，
其中所述多节式致动运动机构(1)至少具有：
通过致动接头(12)相连的多个节段(11)，以及
与至少一个节段(11)连接的末端执行器(14)，
其中所述移动显示装置(4)至少具有：
至少一个显示元件(41)，其适于向使用者(2)显示优选连同环境在内的多节式致动运动机构(1)的至少一个现实呈现，以及
至少一个图像采集元件(42)，其适于将所述优选连同环境在内的多节式致动运动机构(1)作为包含深度信息的图像数据加以采集，
其中所述显示元件(41)还适于为使用者(2)将多节式致动运动机构的至少一个虚拟呈现(1')插入多节式致动运动机构(1)的现实呈现以及优选插入其环境，
至少具有以下步骤：
由使用者(2)将移动显示装置(4)的图像采集元件(42)对准(000)优选连同环境在内的多节式致动运动机构(1)，
借助移动显示装置(4)的图像采集元件(42)至少对优选连同环境在内的多节式致动运动机构(1)进行采集(030)，
在移动显示装置(4)的图像采集元件(42)的采集的图像数据中，对多节式致动运动机构(1)以及优选其环境进行识别(050)，
基于采集的包含深度信息的图像数据，对多节式致动运动机构(1)以及优选其环境进行三维指示(070)，以及
在移动显示装置(4)的显示元件(41)中，以与多节式致动运动机构(1)叠加的方式，显示(200)优选连同环境在内的多节式致动运动机构的虚拟呈现(1')，
其中在将多节式致动运动机构(1)以及优选其环境的几何关联纳入考量的情况下进行显示(200)。
2.根据权利要求1所述的方法，其特征在于至少以下额外步骤：
由使用者(2)借助所述移动显示装置(4)对第一点，优选对第一姿态进行指示(300a)，
其中在移动显示装置(4)的显示元件(41)中向使用者(2)显示所述第一点的虚拟呈现(D1)，优选所述第一姿态的虚拟呈现(D1)，
优选至少包含以下额外步骤：
由使用者(2)借助移动显示装置(4)对第二点，优选对第二姿态进行指示(400a)，
其中在移动显示装置(4)的显示元件(41)中向使用者(2)显示所述第二点的虚拟呈现(D2)，优选所述第二姿态的虚拟呈现(D2)。
3.根据权利要求1所述的方法，其特征在于至少以下额外步骤：
由使用者(2)借助所述移动显示装置(4)选择(300b)第一对象(31)，
其中在移动显示装置(4)的显示元件(41)中向使用者(2)显示所述第一对象(31)的选择的虚拟呈现(G1)，
优选至少包含以下额外步骤：
由使用者(2)借助移动显示装置(4)选择(400b)第二对象(32)，
其中在移动显示装置(4)的显示元件(41)中向使用者(2)显示所述第二对象(32)的选择的虚拟呈现(G2)。
4.根据权利要求3所述的方法，其特征在于至少所述选择(300b，400b)的分步骤：
由使用者(2)将所述移动显示装置(4)的图像采集元件(42)对准(310b；410b)所述第一对象(31)或所述第二对象(32)，
借助移动显示装置(4)的图像采集元件(42)对第一对象(31)或第二对象(32)进行采集(330b；430b)，以及
在移动显示装置(4)的显示元件(41)中对第一对象(31)或第二对象(32)进行标记(350b；450b)，
此外优选由使用者(2)确认(370a；470a)选择第一对象(31)或第二对象(32)。
5.根据权利要求2至4中任一项所述的方法，其特征在于至少以下额外步骤：
创建(500)位于起始姿态与目标姿态之间的至少一个轨迹(e1，e2)，
其中所述起始姿态为多节式致动运动机构(1)的末端执行器(14)的当前姿态，且所述目标姿态为所述第一点，优选为所述第一姿态，以及/或者
其中起始姿态为所述第一点，优选为所述第一姿态，且目标姿态为所述第二点，优选为所述第二姿态，或者反之，或者
其中起始姿态为多节式致动运动机构(1)的末端执行器(14)的当前姿态，且目标姿态为所述第一对象(31)，以及/或者
其中起始姿态为第一对象(31)，且目标姿态为第二对象(32)，或者反之，以及
借助多节式致动运动机构的虚拟呈现(1')走完(550)所述轨迹(e1，e2)。
6.根据权利要求5所述的方法，其特征在于至少以下额外步骤：
通过将采集的环境与所述多节式致动运动机构的虚拟呈现(1')的运动进行比较，识别(600)多节式致动运动机构的虚拟呈现(1')与现实的碰撞对象(36)的碰撞，
其中在所述移动显示装置(4)的显示元件(41)中向使用者(2)显示碰撞的虚拟呈现(H)，
并且优选地，作为对识别出的碰撞的响应，将多节式致动运动机构的虚拟呈现(1')的运动停止(610)。
7.根据权利要求6所述的方法，其特征在于至少以下额外步骤：
作为对识别出的碰撞的响应，对所述多节式致动运动机构的虚拟呈现(1')的至少一个区段进行标记(630)，
优选在发生碰撞处对多节式致动运动机构的虚拟呈现(1')进行局部标记(630)。
8.根据权利要求6或7所述的方法，其特征在于至少以下额外步骤：
创建(700)位于至少起始姿态与目标姿态之间的至少一个替代性轨迹(e1，e2)，以及
借助多节式致动运动机构的虚拟呈现(1')走完(550)所述替代性轨迹(e1，e2)。
9.根据权利要求6或7所述的方法，其特征在于至少以下额外步骤：
由使用者(2)借助移动显示装置(4)对另一点，优选对另一姿态进行指示(800)，
其中在所述显示元件(41)中向使用者(2)显示所述另一点，优选所述另一姿态的虚拟呈现，
在将所述另一点、优选另一姿态纳入考量的情况下，创建(500)位于起始姿态与目标姿态之间的至少一个替代性轨迹(e1，e2)，以及
借助多节式致动运动机构的虚拟呈现(1')走完(550)所述轨迹(e1，e2)。
10.根据权利要求5、8或9中任一项所述的方法，其特征在于至少以下额外步骤：
借助所述多节式致动运动机构(1)走完(900)所述轨迹(e1，e2)。
11.根据上述权利要求中任一项所述的方法，其特征在于显示(200)前的至少以下额外步骤：
所述方法的初始化(100)，
优选通过至少以下分步骤进行：
创建(110)所述多节式致动运动机构的虚拟呈现(1')，
基于多节式致动运动机构(1)的节段(11)和/或致动接头(12)和/或末端执行器(14)的姿态将多节式致动的运动机构的虚拟呈现(1')对准(130)，
对多节式致动运动机构(1)和/或多节式致动运动机构(1)的参考指示(35)进行采集(150)，以及
基于采集的多节式致动运动机构(1)或者基于所述参考指示(35)，建立多节式致动运动机构的虚拟呈现(1')对多节式致动运动机构(1)的参照(170)。
12.根据上述权利要求中任一项所述的方法，其特征在于，
借助使用者的至少一个操作输入实现使用者(2)的指示(300a；400a；800)、选择(300b；400b)和/或确认(370a；470a)，
其中优选在所述显示元件(41)中将使用者(2)的操作输入作为虚拟呈现(B)加以显示，
其中使用者(2)的操作输入优选为被所述移动显示装置(4)的图像采集元件(42)采集的手势，或者为被移动显示装置(4)的显示元件(41)采集的触碰。
13.根据上述权利要求中任一项所述的方法，其特征在于，
所述多节式致动运动机构(1)还具有至少一个图像采集单元(15)，其采用一定的布置和对准方案，从而至少对所述末端执行器(14)前的环境进行采集，
其中所述图像采集单元(15)优选布置在末端执行器(14)上或末端执行器单元(13)上并对准，从而对末端执行器(14)正前方的环境进行采集，
其中在也将多节式致动运动机构(1)的图像采集单元(15)的图像数据纳入考量的情况下实施所述方法。
14.根据上述权利要求中任一项所述的方法，其特征在于
至少一个信息的至少一个虚拟呈现，其显示在所述移动显示装置(4)的显示元件(41)中，
其中所述虚拟呈现优选至少具有：
用于优选通过至少一个操作输入与使用者(2)交互的控制元件，以及/或者
所述末端执行器(14)的坐标系(C)，以及/或者
至少一个点(D1-D3)、优选至少一个姿态(D1-D3)的坐标系，以及/或者
轨迹(E1，E2)，以及/或者
轨迹(e1，e2)的持续时间(F1)，以及/或者
轨迹(e1，e2)的总长度(F2)，以及/或者
轨迹(e1，e2)的能量需求，以及/或者
所述多节式致动运动机构(1)的图像采集单元(15)的图像采集区域(A)，以及/或者
多节式致动运动机构(1)的奇点，以及/或者
多节式致动运动机构(1)的工作区限制，以及/或者
多节式致动运动机构(1)的接头空间限制，以及/或者
多节式致动运动机构(1)的预定极限，以及/或者
针对使用者(2)的说明。
15.一种用于供使用者(2)借助移动显示装置(4)使用多节式致动运动机构(1)、优选机器人(1)、特别优选关节型机器人(1)的系统(1，4)，
其中所述多节式致动运动机构(1)至少具有：
通过致动接头(12)相连的多个节段(11)，以及
与至少一个节段(11)连接的末端执行器(14)，
其中所述移动显示装置(4)至少具有：
至少一个显示元件(41)，其适于向使用者(2)显示优选连同环境在内的多节式致动运动机构(1)的至少一个现实呈现，以及
至少一个图像采集元件(42)，其适于将所述优选连同环境在内的多节式致动运动机构(1)作为包含深度信息的图像数据加以采集，
其中所述显示元件(41)还适于为使用者(2)将多节式致动运动机构的至少一个虚拟呈现(1')插入多节式致动运动机构(1)的现实呈现以及优选插入其环境，
其中所述系统(1，4)，优选多节式致动运动机构(1)和/或移动显示装置(4)适于实施如权利要求1至14中任一项所述的方法，
其中所述多节式致动运动机构(1)还优选具有至少一个图像采集单元(15)，其采用一定的布置和对准方案，从而至少对所述末端执行器(14)前的环境进行采集，
其中所述图像采集单元(15)优选布置在末端执行器(14)上或末端执行器单元(13)上并对准，从而对末端执行器(14)正前方的环境进行采集。
16.一种用于应用在如权利要求15所述的系统(1，4)中的移动显示装置(4)，
具有至少一个显示元件(41)，其适于向使用者(2)显示优选连同环境在内的多节式致动运动机构(1)的至少一个现实呈现，以及
具有至少一个图像采集元件(42)，其适于将所述优选连同环境在内的多节式致动运动机构(1)作为包含深度信息的图像数据加以采集，
其中所述显示元件(41)还适于为使用者(2)将多节式致动运动机构的至少一个虚拟呈现(1')插入多节式致动运动机构(1)的现实呈现以及优选插入其环境，以及
其中所述移动显示装置(4)适于实施如权利要求1至14中任一项所述的方法。
17.一种用于应用在如权利要求15所述的系统(1，4)中的多节式致动运动机构(1)，
具有通过致动接头(12)相连的多个节段(11)，以及
具有与至少一个节段(11)连接的末端执行器(14)，
其中所述多节式致动运动机构(1)适于实施如权利要求1至14中任一项所述的方法，
其中所述多节式致动运动机构(1)还优选具有至少一个图像采集单元(15)，其采用一定的布置和对准方案，从而至少对所述末端执行器(14)前的环境进行采集，
其中所述图像采集单元(15)优选布置在末端执行器(14)上或末端执行器单元(13)上并对准，从而对末端执行器(14)正前方的环境进行采集。
18.一种计算机程序产品，包含存储在可计算机读取的介质上的程序代码，用以实施如权利要求1至14中任一项所述的方法。
CN201910315707.4A 2018-04-19 2019-04-19 由用户借助移动显示装置使用多节式致动运动机构的方法 Pending CN110389656A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018109463.9A DE102018109463C5 (de) 2018-04-19 2018-04-19 Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE102018109463.9 2018-04-19

Publications (1)

Publication Number Publication Date
CN110389656A true CN110389656A (zh) 2019-10-29

Family

ID=66175412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910315707.4A Pending CN110389656A (zh) 2018-04-19 2019-04-19 由用户借助移动显示装置使用多节式致动运动机构的方法

Country Status (5)

Country Link
US (1) US20210170603A1 (zh)
EP (1) EP3781364A1 (zh)
CN (1) CN110389656A (zh)
DE (1) DE102018109463C5 (zh)
WO (1) WO2019201652A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782506A (zh) * 2019-11-21 2020-02-11 大连理工大学 一种利用红外相机和深度相机融合构建栅格地图的方法
CN113211494A (zh) * 2020-02-05 2021-08-06 马格纳斯泰尔汽车技术两合公司 用于检查机器人的安全区域的方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6823018B2 (ja) * 2018-08-03 2021-01-27 ファナック株式会社 協調動作支援装置
CN112672860B (zh) * 2018-09-10 2024-04-09 发纳科美国公司 用于ar和数字孪生的机器人校准
JP6787966B2 (ja) * 2018-10-02 2020-11-18 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置及び表示装置
US11752632B2 (en) * 2019-05-03 2023-09-12 Fanuc America Corporation Actuated mechanical machine calibration to stationary marker
CN115397627A (zh) * 2020-04-22 2022-11-25 Abb瑞士股份有限公司 控制工业机器人的方法、控制系统以及机器人系统
DE102020206403A1 (de) * 2020-05-22 2021-11-25 Kuka Deutschland Gmbh Konfigurieren, Durchführen und/oder Analysieren einer Applikation eines mobilen und/oder kollaborativen Roboters
JP7057393B2 (ja) * 2020-06-24 2022-04-19 株式会社電通 プログラム、ヘッドマウントディスプレイ及び情報処理装置
EP3978201A1 (en) * 2020-09-30 2022-04-06 Hilti Aktiengesellschaft Method of controlling a construction robot and construction robot
DE102020006304B3 (de) 2020-10-14 2022-01-13 Kuka Systems Gmbh Verfahren zum Einblenden von virtuellen Roboterdatenobjekten und Computerprogrammprodukt
JP2022097929A (ja) * 2020-12-21 2022-07-01 セイコーエプソン株式会社 プログラム作成支援方法、プログラム作成支援装置、プログラム作成支援プログラム及び記憶媒体
US20240083027A1 (en) * 2021-02-01 2024-03-14 Abb Schweiz Ag Visualization Of a Robot Motion Path and Its Use in Robot Path Planning
JP2022149202A (ja) * 2021-03-25 2022-10-06 セイコーエプソン株式会社 ロボットの制御プログラムの生成方法、ロボットの制御プログラムを生成する処理をプロセッサーに実行させるコンピュータープログラム、及び教示装置
CN113547519B (zh) * 2021-06-25 2022-12-13 北京精密机电控制设备研究所 一种基于变维缩放的机械臂逆运动学求解方法
EP4125015A1 (en) * 2021-07-28 2023-02-01 Dataconsult Spolka Akcyjna Management system for goods picking and packing
DE102022202564B4 (de) 2022-03-15 2024-10-31 Kuka Deutschland Gmbh Prüfen einer Sicherheitskonfiguration eines Roboters
DE102022202569B3 (de) 2022-03-15 2023-06-29 Kuka Deutschland Gmbh Prüfen einer vorgegebenen Bahn eines Roboters
DE102022202563B3 (de) 2022-03-15 2023-07-06 Kuka Deutschland Gmbh Planen einer Bahn eines Roboters
WO2024208919A1 (en) * 2023-04-05 2024-10-10 G.D S.P.A. Extended reality interface for robotic arm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189631A1 (en) * 2003-02-11 2004-09-30 Arif Kazi Method and device for visualizing computer-generated informations
CN107263449A (zh) * 2017-07-05 2017-10-20 中国科学院自动化研究所 基于虚拟现实的机器人远程示教系统
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10063089C1 (de) 2000-12-18 2002-07-25 Siemens Ag Anwendergesteuerte Verknüpfung von Informationen innerhalb eines Augmented-Reality-Systems
US6587752B1 (en) * 2001-12-25 2003-07-01 National Institute Of Advanced Industrial Science And Technology Robot operation teaching method and apparatus
WO2013039551A1 (en) * 2011-09-15 2013-03-21 Persimmon Technologies Corporation System and method for operation of a robot
BR112015019674A2 (pt) * 2013-02-14 2017-07-18 Seiko Epson Corp display instalado na cabeça e método de controle para display instalado na cabeça
US10888998B2 (en) 2013-10-07 2021-01-12 Abb Schweiz Ag Method and device for verifying one or more safety volumes for a movable mechanical unit
JP5911933B2 (ja) 2014-09-16 2016-04-27 ファナック株式会社 ロボットの動作監視領域を設定するロボットシステム
JP2016107379A (ja) 2014-12-08 2016-06-20 ファナック株式会社 拡張現実対応ディスプレイを備えたロボットシステム
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
DE102015006664A1 (de) 2015-05-22 2016-11-24 Giesecke & Devrient Gmbh System und Verfahren zur Bearbeitung von Wertdokumenten
US10956739B2 (en) 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040189631A1 (en) * 2003-02-11 2004-09-30 Arif Kazi Method and device for visualizing computer-generated informations
US9919427B1 (en) * 2015-07-25 2018-03-20 X Development Llc Visualizing robot trajectory points in augmented reality
CN107263449A (zh) * 2017-07-05 2017-10-20 中国科学院自动化研究所 基于虚拟现实的机器人远程示教系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FRANK JARED A ET AL: "Realizing mixed-reality environments", 《2016 25TH IEEE INTERNATIONAL SYMPOSIUM ON ROBOT AND HUMAN INTERACTIVE COMMUNICATION (RO-MAN), IEEE》 *
LOVON-RAMOS PERCY W ET AL: "Mixed Reality Applied to", 《2016 XIII LATIN AMERICAN ROBOTICS SYMPOSIUM AND IV BRAZILIAN ROBOTICS SYMPOSIUM (LARS/SBR), IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782506A (zh) * 2019-11-21 2020-02-11 大连理工大学 一种利用红外相机和深度相机融合构建栅格地图的方法
CN113211494A (zh) * 2020-02-05 2021-08-06 马格纳斯泰尔汽车技术两合公司 用于检查机器人的安全区域的方法

Also Published As

Publication number Publication date
DE102018109463C5 (de) 2023-10-05
EP3781364A1 (de) 2021-02-24
US20210170603A1 (en) 2021-06-10
DE102018109463B3 (de) 2019-09-19
WO2019201652A1 (de) 2019-10-24

Similar Documents

Publication Publication Date Title
CN110389656A (zh) 由用户借助移动显示装置使用多节式致动运动机构的方法
CN110977931B (zh) 使用了增强现实和混合现实的机器人控制装置及显示装置
Ostanin et al. Interactive robot programing using mixed reality
JP4817603B2 (ja) 工業ロボットをプログラミングするための方法およびシステム
CN100594517C (zh) 确定与ar-物体光学重叠的方法和装置
US7236854B2 (en) Method and a system for programming an industrial robot
Zaeh et al. Interactive laser-projection for programming industrial robots
Frank et al. Realizing mixed-reality environments with tablets for intuitive human-robot collaboration for object manipulation tasks
CN110394780A (zh) 机器人的仿真装置
Bolano et al. Transparent robot behavior using augmented reality in close human-robot interaction
JP2004243516A (ja) コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
Neves et al. Application of mixed reality in robot manipulator programming
CN107656505A (zh) 使用增强现实设备控制人机协作的方法、装置和系统
Huy et al. See-through and spatial augmented reality-a novel framework for human-robot interaction
CN111383348A (zh) 一种虚拟现实远程同步控制机器人的方法
Zaldívar-Colado et al. A mixed reality for virtual assembly
Cousins et al. Development of a mixed reality based interface for human robot interaciotn
Cannon et al. Virtual tools for supervisory and collaborative control of robots
Ostanin et al. Interactive industrial robot programming based on mixed reality and full hand tracking
Rastogi et al. Telerobotic control with stereoscopic augmented reality
JP7167518B2 (ja) 制御装置、ヘッドマウントディスプレイおよびロボットシステム
CN207937787U (zh) 扩增实境仿真系统
Shindev et al. Exploration of intention expression for robots
Su et al. Development of an optical tracking based teleoperation system with virtual reality
JP2007511839A (ja) 産業ロボットをプログラミングするための装置と方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220518

Address after: Hannover

Applicant after: Machine core Co.,Ltd.

Address before: Hannover

Applicant before: YUANDA ROBOTICS GmbH

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220905

Address after: Hannover

Applicant after: Leading Robotics LLC

Address before: Hannover

Applicant before: Machine core Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191029

WD01 Invention patent application deemed withdrawn after publication