CN106203252B - 借助相机查明机器人轴角度并选出机器人 - Google Patents

借助相机查明机器人轴角度并选出机器人 Download PDF

Info

Publication number
CN106203252B
CN106203252B CN201610365620.4A CN201610365620A CN106203252B CN 106203252 B CN106203252 B CN 106203252B CN 201610365620 A CN201610365620 A CN 201610365620A CN 106203252 B CN106203252 B CN 106203252B
Authority
CN
China
Prior art keywords
manipulator
actual
state
camera
portable terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610365620.4A
Other languages
English (en)
Other versions
CN106203252A (zh
Inventor
格哈德·希藤曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Deutschland GmbH
Original Assignee
KUKA Roboter GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Roboter GmbH filed Critical KUKA Roboter GmbH
Publication of CN106203252A publication Critical patent/CN106203252A/zh
Application granted granted Critical
Publication of CN106203252B publication Critical patent/CN106203252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B25J9/106—Programme-controlled manipulators characterised by positioning means for manipulator elements with articulated links
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39448—Same teach pendant connects to many robot controllers over network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39453—Select program as function of location of mobile manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Abstract

本发明涉及一种借助便携式终端设备识别操纵器的方法，其中，所述便携式终端设备包括3D相机。所述方法在此尤其包括借助所述便携式终端设备的3D相机从待识别的操纵器的至少一部分检测三维图像。基于被检测到的三维图像查明所述操纵器的实际状态。优选地，3D相机是全光相机，并且检测三维图像优选包括检测待识别的操纵器的至少一部分的四维光场。

Description

借助相机查明机器人轴角度并选出机器人
技术领域
本发明涉及一种借助便携式终端设备识别操纵器的方法，以及一种相应的便携式终端设备和一种机器人系统。
背景技术
操纵器以及特别是工业机器人是自动控制的、可自由编程的多用途机器。这些操纵器例如可以在制造设备的不同区域中使用，以便例如在加工站或测量站中加工或测量构件或工件。在工业领域中，通常在空间上彼此靠近地使用多个操纵器，这些操纵器可以执行不同的、相似的或相同的任务。
在具有一定程度的自动化技术的现代工业设备中，经常存在报告机器人系统状况信息的要求，以用于例如检验当前的过程参数、限制错误或者还有进行程序或参数变化。例如可以存在在某一确定的时间点报告确定的机器人系统的状况信息的必要性。为此，必须首先对机器人系统的通常提供所述状况信息的相应机器人控制器进行识别和选址。为此，例如可以通过使用者在输入设备上手动地输入控制器地址或类似参数，该控制器地址明确地识别机器人控制器并在必要时允许操控所述机器人控制器。但这是存在缺点的，因为地址是已知的并且必须被输入。也就是说，该方法是相对开销大的。
由另一方法已知，在机器人系统上提供特殊的标记、例如QR码或RFID标签，并在需要时读取这些标记并由此识别机器人系统和相应的机器人控制器。当然，该方法也关联着一些缺点，因为这些标记或标签必须被安置在所涉及的控制器或机械装置上。此外还可能进行的是，这些标记由于不利的配置而会被暂时地覆盖，并因此无法被读取。因此，该方法同样是相对开销大的且还不可靠。
发明内容
因此，本发明的目的在于提出一种方法，利用该方法可以简单且尽可能无错误地识别操纵器或机器人系统。在此，本发明的目的特别是提出一种方法，利用该方法可以借助于便携式操作设备从多个操纵器中选出确定的操纵器。本发明的另一目的在于，至少部分地克服上述的缺点。
这些目的和在阅读下面的说明书时变得清楚的目的通过根据本发明的方法和装置的主题得以解决。
本发明涉及一种借助便携式终端设备识别操纵器的方法。该便携式终端设备例如可以是移动式消费类输入设备，例如平板电脑、智能手表、智能手机等，或者也可以是移动式机器人操作设备。在此，便携式终端设备包括3D相机。在此优选地，3D相机是全光相机(plenoptische Kamera)，该全光相机基于光场传感器的原理。这种光场传感器由微透镜的场组成并记录被拍摄对象的光和颜色。此外，还检测如下这样的方向，光射线从该方向来地入射。因此，借助于光场传感器可以尤其事后改变图像的焦点，并且可以生成被影印对象的3D模型。
根据本发明的方法具有借助于便携式终端设备的3D相机从待识别的操纵器的至少一部分检测三维图像。在此优选地，借助3D相机检测整个待识别的操纵器。基于所检测到的三维图像来查明操纵器的实际状态。此外，根据本发明的方法提供操纵器的参考状态并基于所查明的实际状态和所提供的实际参考状态来识别操纵器。
在此优选地，实际状态或参考状态描述了操纵器的配置。优选地，操纵器的状态包括关于下列中至少一项的信息：操纵器的姿态、操纵器的轴角度、操纵器的位置、操纵器的定向、或者这些值中的一个值的时间变化。此外，操纵器的状态还可以包括关于操纵器的各个组件的绝对参量(或者几何尺寸)和/或参量比例的信息。在此，这些组件例如可以包括操纵器臂或夹持器。根据操纵器的状态可以有利地将该操纵器与其他操纵器区分开，因为每个操纵器通常表现出自己的、个别的状态。
因此，借助根据本发明的方法可以以直观的方式选出或识别操纵器。无需标记物、标记部或标签，而是基于被检测到的三维图像来查明操纵器的状态。有利地，基于该被检测到的状态和所提供的参考状态可以明确地并且自动地识别操纵器。例如当便携式终端设备的操作者由于保护栅栏而在空间上与操纵器分离时，3D相机的使用允许了在较大的距离之外识别操纵器。由此，操作者可以处于相对于操纵器安全的距离上并尽管如此仍能识别该操纵器。此外，由于3D相机的使用，有利地仅必须检测待识别的操纵器(或该操纵器的一部分)的一个图像，因为被检测到的三维图像足够地包含了允许明确认出所述操纵器的信息。
优选地，参考状态的提供通过操纵器控制器(机器人控制器)来进行。在此优选地，参考状态可以包括多个操纵器的参考状态，这些操纵器之一是待识别的操纵器。例如，操纵器控制器周期地交流一个或多个连接在其上的运动学装置或操纵器的轴角度。因此优选地通过便携式终端设备来执行检测三维图像、查明所述操纵器的实际值和识别所述操纵器。在此优选地，便携式终端设备在其接收范围内接收所有正在发送的操纵器控制器的参考状态，并且尤其基于这些接收到的参考状态来实施识别操纵器的步骤。因此有利地，借助根据本发明的方法来观察例如在一空间中的所有重要的操纵器，从而确认哪个是待识别的操纵器。
优选地，参考状态的提供以无线方式进行。因此，便携式终端设备被设计为用于移动式使用，并且可以例如在车间中毫无问题地从一站台被运输至另一站台，并且直接与这些重要的操纵器控制器交流。因此，使用者可以在没有很大开销的情况下简单且直观地识别出期望的操纵器，并随后例如检验识别出的操纵器的状况信息。
优选地，操纵器的识别包括确定所述操纵器的所查明的实际状态是否与操纵器的所提供的参考状态中的至少一个参考状态一致。因此例如将所有提供的参考状态与操纵器的所查明的实际状态进行比较，以便确认，操纵器的所提供的参考状态是否以及哪个与所查明的实际状态一致。当确定或确认了这种一致性时，优选可以直接地识别出相应的操纵器，因为一致的所提供的参考状态的来源和情况(例如由于时间标记等)有利地是已知的。
优选地，操纵器的识别包括选出所提供的参考状态中的一个参考状态，从而使得大致与三维图像的检测在时间上同步地生成该所选出的参考状态。因此选出如下这样的参考状态，其描述了大致在检测操纵器的三维图像的时间上的操纵器的位置。当提供多个操纵器的参考状态时，可以由此例如将选出可能性限制为，仅使用如下这样的参考状态来识别所述操纵器：这些参考状态大致在检测三维图像的时间上被生成。为此，例如可以使用参考状态的时间标记，或者可以对在三维图像检测的时间点所提供的参考状态相应地作上标记，从而使得这些参考状态被考虑用于操纵器的识别。因为由于技术前提条件很少能够存在完美的时间一致性，所以例如也可以使用相应的允差。
优选地，操纵器的识别包括选出所提供的参考状态中的一个参考状态，从而使得该所选出的参考状态最接近操纵器的所查明的实际状态。因此例如进行比较：例如能够描述车间中的多个操纵器的所有提供的状态中的哪个状态最匹配应当识别(并至少部分地借助3D相机被成像)的操纵器。为此，进一步优选可以使用预先限定的允差值，并且选出所提供的参考状态中的一个参考状态以如下方式进行，即，该所选出的参考状态和所查明的实际状态之间的差小于预先限定的允差值。由此，可以尽可能无错误地且尽管如此仍然以高准确度选出匹配的参考状态并有效率地识别相应的操纵器。
优选地，所提供的参考状态中的一个参考状态的选出通过固定式计算机或运算器来进行，例如通过中央计算机或主计算机来进行。在此，特别是优选通过操纵器控制器或机器人控制器为计算机提供参考状态。计算机例如可以以线缆连接方式或以无线缆方式在网络中集成，并且例如被用于程序归档、用于软件升级、生产信息的收集等。此外优选地，便携式终端设备还为运算器提供被检测到的三维图像和/或操纵器的所查明的实际状态。随后优选地，可能地通过中央运算器来进行查明操纵器的实际状态的步骤，以及根据本发明选出所提供的参考状态中的一个参考状态。
优选地，操纵器实际状态的查明如所描述的那样通过便携式终端设备或地点固定地安装的、固定式计算机来进行。因此，根据便携式终端设备的运算能力的不同，可以有效地将便携式终端设备和固定式计算机之间的工作量进行划分。
优选地，操纵器的实际状态包括关于以下中至少一项的信息：操纵器的实际姿态、操纵器的实际轴角度、实际操纵器的实际位置、操纵器的实际定向、操纵器的工具中心点的笛卡尔实际位置、或者这些提到的值的时间变化、或者操纵器的各个组件的实际参量和/或实际参量比例。操纵器的实际状态可以从被检测到的三维图像中获取。优选地，操纵器的参考状态与之相应地包括关于以下中至少一项的信息：操纵器的参考姿态、操纵器的参考轴角度、操纵器的参考位置、操纵器的参考定向、操纵器的工具中心点的笛卡尔参考位置、或这些提到的值的时间变化、或操纵器的各个组件的参考参量和/或参考参量比例。相应地可以进行待识别操纵器与已知的操纵器之间的尽可能明确的配属。
优选地，3D相机是全光相机，并且三维图像的检测包括检测(Umfassen)待识别的操纵器的所述至少一部分的四维光场。由此，例如可以以高准确度查明机器人或操纵器的轴角度或者一般而言查明操纵器的状态。
优选地，便携式终端设备包括显示部件，该显示部件显示被检测到的图像。由此，便携式终端设备的操作者可以直接地认出，是否检测了待识别的操纵器的匹配的图像。由此可以避免由于检测了不需识别的操纵器的图像的错误识别。
此外，本发明还涉及一种便携式终端设备，其包括3D相机和设备控制器，其中，设备控制器被设计为由操纵器的被检测到的图像来确定操纵器的轴角度的实际状态，并且其中，所述设备控制器优选进一步被设计为，执行根据本发明的用于识别操纵器的方法。因为无需开销大的操作场来识别操纵器，所以便携式终端设备可以具有小的参量，并由此适用于移动式使用和舒适的使用。
此外，本发明还涉及一种机器人系统，其包括操纵器和便携式终端设备，该终端设备包括3D相机。在此，机器人系统还具有控制器，该控制器被设计为，执行根据本发明的用于识别操纵器的方法。优选地，便携式终端设备的3D相机是全光相机。
附图说明
以下借助附图详细描述本发明。在此示出：
图1示例性示出了待识别的操纵器；
图2示出了一种用于识别操纵器的根据本发明的方法的流程图；以及
图3示出了用于识别操纵器的另一种根据本发明的方法的流程图。
其中，附图标记列表如下：
10操纵器
12三维线条模型
16便携式终端设备
具体实施方式
图1示例性示出了操纵器10，该操纵器被构造为多轴的关节臂机器人。所示出的操纵器10例如与其他的操纵器(未示出)一起位于车间中，并且应当借助便携式终端设备16从多个这种操纵器中被识别出来并被选址。
在此，便携式终端设备16包括3D相机(未示出)，该3D相机是全光相机并基于光场传感器的原理。为了识别操纵器10，利用便携式终端设备16拍摄三维图像并基于被检测到的图像查明操纵器的简单的三维线条模型12，该三维线条模型在图1中通过虚线示出。根据该三维线条模型12，例如可以认出或计算出操纵器的轴角度或姿态。
在图2中，示意性示出了用于识别操纵器的方法的流程图，以下借助在图1中示出的配置来描述该方法。在步骤21中，多个操纵器的每个操纵器控制器例如在车间中通过无线电周期地交流其所连接的操纵器的、尤其是待识别的操纵器10的轴角度(和/或其他的对象信息，例如工具中心点的当前的笛卡尔位置、工具体积模型、周围环境模型等)。便携式终端设备16接收所有在其接收范围内正在发送的操纵器控制器的信息(参考值)。
在步骤22中，使便携式终端设备16的相机对准到操纵器10上，并拍摄该操纵器10的图像。基于操纵器10的事先提供的模型，根据3D图像数据来查明操纵器10的所有实际轴角度。
在步骤23中，便携式终端设备16在如下的方面上挑选在步骤21中接收到的信息，即，仅使用那些例如描述操纵器的在拍摄图像的时间点上的轴角度的信息。随后，便携式终端设备16将这些信息与所查明的实际轴角度(和/或其他对象信息)进行比较。
在步骤24中，在一致的情况下识别出所期望的操纵器控制器。因此涉及由所述图像数据获取的实际轴角度与所有提供的轴角度(参考轴角度)之间的配属，从而使得能够明确地识别被成像的操纵器。
随后，在步骤25中，便携式终端设备可以进行与识别出的操纵器或识别出的控制器的连接，并与该操纵器或该控制器相互作用。例如可以读取状态、设置参数、或显示和/或报告讯息。
图3示意性示出了就像例如图1的用于识别操纵器那样的用于识别操纵器的另一根据本发明的方法的流程图。该方法开始于步骤31，在该步骤中，所有操纵器控制器进行与中央运算器(固定式计算机)的网络连接。
在步骤32中，所有这些操纵器控制器将它们的当前的轴角度(和/或其他的对象信息)交流至中央运算器上。优选地，这周期地进行，例如在每个IPO周期(IPO-Takt)上进行。
在步骤33中，借助便携式终端设备16的3D相机来拍摄待识别的操纵器10的三维图像。该图像包含三维信息，这些三维信息例如能够实现生成待识别操纵器10的三维模型。
在步骤34中，为中央运算器提供所拍摄的图像，并且由中央运算器基于所提供的图像查明机器人轴角度或操纵器轴角度。替代地，轴角度也可以在便携式终端设备中查明并随后提供至中央运算器。
在步骤35中，中央运算器将由所述图像中查明的实际轴值与在步骤32中由操纵器控制器供给的参考轴角度进行比较。为此可以考虑允差，以便能够实现有效率的比较。
在步骤36中，在一致的情况下识别出期望的控制器并将消息发送至便携式终端设备16，其允许所述便携式终端设备进行与所识别出的控制器的连接。例如可以为便携式终端设备16提供控制器的相应地址，从而使得便携式终端设备16能够自动地建立与该控制器的连接。
在步骤37中，便携式终端设备与所识别出的控制器相互作用，其中，例如传递状况信息或类似信息的询问。
为了进一步提高所述比较的准确度或精确度，附加于或替代于考虑轴角度，例如还可以使用例如所使用工具的体积模型、末端执行器的体积模型、操纵器附近构件的体积模型、机器人或操纵器本身的周围环境模型等。
替代被检测到的三维图像还可以使用待识别操纵器的多个三维图像和/或三维视频记录。例如可以从不同的观察方向拍摄多个图像。此外例如还可以执行动态的图像拍摄和处理。由此能够实现更安全的操纵器识别，因为现在也可以将来自于图像中的动态数据与操纵器控制器的动态数据进行比较，例如工具中心点在空间中的轮廓、轴特定的或笛卡尔的速度等。

Claims (15)

1.一种借助便携式终端设备(16)识别操纵器(10)的方法，其中，所述便携式终端设备(16)包括3D相机，所述方法具有以下步骤：
a)借助所述便携式终端设备(16)的3D相机从待识别的操纵器(10)的至少一部分检测三维图像；
b)基于所检测到的三维图像查明所述操纵器(10)的实际状态；
c)提供所述操纵器(10)的参考状态；以及
d)基于所查明的实际状态和所提供的参考状态识别所述操纵器(10)。
2.根据权利要求1所述的方法，其中，参考状态的提供通过操纵器控制器来进行。
3.根据权利要求1所述的方法，其中，参考状态的提供以无线方式进行。
4.根据权利要求1所述的方法，其中，所述操纵器(10)的识别包括确定所述操纵器(10)的所查明的实际状态是否与所述操纵器(10)的所提供的参考状态中的至少一个参考状态一致。
5.根据权利要求1所述的方法，其中，所述操纵器(10)的识别包括选出所提供的参考状态中的一个参考状态，从而使得与所述三维图像的检测大致在时间上同步地生成该所选出的参考状态。
6.根据权利要求1所述的方法，其中，所述操纵器(10)的所述识别包括选出所述操纵器(10)的所提供的参考状态中的一个参考状态，从而使得该所选出的参考状态最接近所述操纵器(10)的所查明的实际状态。
7.根据权利要求6所述的方法，其中，所提供的参考状态中的一个参考状态的选出以如下方式进行，即，该所选出的参考状态与所述所查明的实际状态之间的差小于预先限定的允差值。
8.根据权利要求5-7中任一项所述的方法，其中，所提供的参考状态中的一个参考状态的选出通过固定式计算机来进行。
9.根据权利要求1至7中任一项所述的方法，其中，所述操纵器(10)的实际状态的查明通过所述便携式终端设备(16)或固定式计算机来进行。
10.根据权利要求1至7中任一项所述的方法，其中，所述操纵器(10)的实际状态包括关于以下中至少一项的信息：
所述操纵器(10)的实际姿态，
所述操纵器(10)的实际轴角度，
所述操纵器(10)的实际位置，
所述操纵器(10)的实际定向，
所述操纵器(10)的工具中心点的笛卡尔实际位置，
所述操纵器(10)的实际姿态的时间变化，
所述操纵器(10)的实际轴角度的时间变化，
所述操纵器(10)的实际位置的时间变化，
所述操纵器(10)的实际定向的时间变化，
所述操纵器(10)的工具中心点的笛卡尔实际位置的时间变化，
所述操纵器的各个组件的实际参量和/或实际参量比例。
11.根据权利要求1至7中任一项所述的方法，其中，所述操纵器(10)的参考状态包括关于以下中至少一项的信息：
所述操纵器(10)的参考姿态，
所述操纵器(10)的参考轴角度，
所述操纵器(10)的参考位置，
所述操纵器(10)的参考定向，
所述操纵器(10)的工具中心点的笛卡尔参考位置，
所述操纵器(10)的参考姿态的时间变化，
所述操纵器(10)的参考轴角度的时间变化，
所述操纵器(10)的参考位置的时间变化，
所述操纵器(10)的参考定向的时间变化，
所述操纵器(10)的工具中心点的笛卡尔参考位置的时间变化，
所述操纵器的各个组件的参考参量和/或参考参量比例。
12.根据权利要求1至7中任一项所述的方法，其中，所述3D相机是全光相机，并且其中，所述三维图像的所述检测包括借助全光相机从所述待识别的操纵器(10)的至少一部分检测四维光场。
13.一种便携式终端设备(16)，其包括3D相机和设备控制器，其中，所述设备控制器被设计为，由操纵器的被检测到的图像确定所述操纵器的轴角度的实际状态，并且其中，所述设备控制器优选进一步被设计为，执行根据权利要求1至12中任一项所述的方法。
14.一种机器人系统，其包括操纵器(10)和便携式终端设备(16)，所述便携式终端设备包括3D相机，其中，所述机器人系统还具有控制器，该控制器被设计为，执行根据权利要求1至12中任一项所述的方法。
15.根据权利要求13所述的便携式终端设备或根据权利要求14所述的机器人系统，其中，所述3D相机是全光相机。
CN201610365620.4A 2015-05-29 2016-05-27 借助相机查明机器人轴角度并选出机器人 Active CN106203252B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015209896.6A DE102015209896B3 (de) 2015-05-29 2015-05-29 Ermittlung der Roboterachswinkel und Auswahl eines Roboters mit Hilfe einer Kamera
DE102015209896.6 2015-05-29

Publications (2)

Publication Number Publication Date
CN106203252A CN106203252A (zh) 2016-12-07
CN106203252B true CN106203252B (zh) 2020-06-05

Family

ID=56081291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610365620.4A Active CN106203252B (zh) 2015-05-29 2016-05-27 借助相机查明机器人轴角度并选出机器人

Country Status (5)

Country Link
US (1) US10007837B2 (zh)
EP (1) EP3098033B1 (zh)
KR (2) KR20160140401A (zh)
CN (1) CN106203252B (zh)
DE (1) DE102015209896B3 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017216134B4 (de) 2017-09-13 2021-03-25 Kuka Deutschland Gmbh Verfahren zum Identifizieren eines Roboters, tragbares Roboterbedienhandgerät und Roboterarbeitsplatz
DE102018109329B4 (de) * 2018-04-19 2019-12-05 Gottfried Wilhelm Leibniz Universität Hannover Mehrgliedrige aktuierte Kinematik, vorzugsweise Roboter, besonders vorzugsweise Knickarmroboter
DE102018113336A1 (de) * 2018-06-05 2019-12-05 GESTALT Robotics GmbH Verfahren zum Verwenden mit einer Maschine zum Einstellen einer Erweiterte-Realität-Anzeigeumgebung
JP2020013242A (ja) * 2018-07-17 2020-01-23 富士ゼロックス株式会社 ロボット制御システム、ロボット装置およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938716A (zh) * 2004-03-05 2007-03-28 电科学工业公司 确定物体角度姿态的方法和仪器
CN102506830A (zh) * 2011-11-21 2012-06-20 奇瑞汽车股份有限公司 视觉定位方法及装置
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
CN103003845A (zh) * 2011-03-02 2013-03-27 松下电器产业株式会社 姿势估计装置、姿势估计系统、及姿势估计方法
CN103959012A (zh) * 2011-12-06 2014-07-30 赫克斯冈技术中心 6自由度位置和取向确定
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167464A (en) * 1998-09-23 2000-12-26 Rockwell Technologies, Llc Mobile human/machine interface for use with industrial control systems for controlling the operation of process executed on spatially separate machines
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
EP1675709A2 (de) * 2003-10-20 2006-07-05 Isra Vision Systems AG VERFAHREN ZUR EINRICHTUNG EINER BEWEGUNG EINES HANDHABUNGSGERÄTS UND BILDVERARBEITUNG
JP2006102881A (ja) * 2004-10-06 2006-04-20 Nagasaki Prefecture 把持ロボット装置
DE102005061211B4 (de) * 2004-12-22 2023-04-06 Abb Schweiz Ag Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche
EP1716983B1 (en) * 2005-04-19 2008-05-14 COMAU S.p.A. Process for controlling industrial robots, and related robots, robot systems and computer programs
US8082064B2 (en) * 2007-08-24 2011-12-20 Elite Engineering Corporation Robotic arm and control system
US7720196B2 (en) * 2008-01-07 2010-05-18 Accuray Incorporated Target tracking using surface scanner and four-dimensional diagnostic imaging data
US8140188B2 (en) * 2008-02-18 2012-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Robotic system and method for observing, learning, and supporting human activities
JP4586092B2 (ja) * 2008-12-04 2010-11-24 ファナック株式会社 複数のロボット機構部を備えたロボットシステム
JP4850984B2 (ja) * 2009-12-28 2012-01-11 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
JP5526881B2 (ja) 2010-03-12 2014-06-18 株式会社デンソーウェーブ ロボットシステム
KR20120055142A (ko) * 2010-11-23 2012-05-31 한국과학기술연구원 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법
DE102012110508B4 (de) * 2011-11-04 2022-05-12 Fanuc Robotics America Corp. Roboter Einstellvorrichtung mit 3-D Display
DE102012002657A1 (de) * 2012-02-10 2013-08-14 Weber Maschinenbau Gmbh Breidenbach Vorrichtung mit erweiterter Realität
CN104641399B (zh) 2012-02-23 2018-11-23 查尔斯·D·休斯顿 用于创建环境并用于共享环境中基于位置的体验的系统和方法
CN104551291A (zh) * 2013-10-21 2015-04-29 泰科电子(上海)有限公司 自动焊接系统
EP3035234A1 (en) * 2014-12-18 2016-06-22 Thomson Licensing Method and electronic device for object tracking in a light-field capture

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1938716A (zh) * 2004-03-05 2007-03-28 电科学工业公司 确定物体角度姿态的方法和仪器
JP2012171024A (ja) * 2011-02-17 2012-09-10 Japan Science & Technology Agency ロボットシステム
CN103003845A (zh) * 2011-03-02 2013-03-27 松下电器产业株式会社 姿势估计装置、姿势估计系统、及姿势估计方法
CN102506830A (zh) * 2011-11-21 2012-06-20 奇瑞汽车股份有限公司 视觉定位方法及装置
CN103959012A (zh) * 2011-12-06 2014-07-30 赫克斯冈技术中心 6自由度位置和取向确定
CN104589356A (zh) * 2014-11-27 2015-05-06 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法

Also Published As

Publication number Publication date
US20160346927A1 (en) 2016-12-01
KR20180017074A (ko) 2018-02-20
KR102400416B1 (ko) 2022-05-19
EP3098033B1 (de) 2019-07-10
EP3098033A1 (de) 2016-11-30
DE102015209896B3 (de) 2016-08-18
KR20160140401A (ko) 2016-12-07
US10007837B2 (en) 2018-06-26
CN106203252A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106203252B (zh) 借助相机查明机器人轴角度并选出机器人
US11565427B2 (en) Robot system
US11173609B2 (en) Hand-eye calibration method and system
US10166673B2 (en) Portable apparatus for controlling robot and method thereof
US20150296324A1 (en) Method and Apparatus for Interacting Between Equipment and Mobile Devices
KR20190075096A (ko) 금속가공 산업에서의 내부 개인 추적에 기초한 제조 제어
US20150045949A1 (en) Robot control apparatus and method for controlling robot
CN106182042B (zh) 借助相机选择设备或对象
JP6856583B2 (ja) センシングシステム、作業システム、拡張現実画像の表示方法、拡張現実画像の記憶方法、およびプログラム
Martinez et al. Automated bin picking system for randomly located industrial parts
CN104023906A (zh) 操作管理装置及操作管理系统
US11731283B2 (en) Method for checking a safety area of a robot
CN110871441A (zh) 感测系统、作业系统、增强现实图像的显示方法、以及存储有程序的存储介质
CN110914021A (zh) 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序
JP2018128821A (ja) 画像処理システム、画像処理装置、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）における回路の再構成方法、および、ＦＰＧＡにおける回路の再構成プログラム
EP3946825A1 (en) Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system
EP4169676A1 (en) Robot teaching method and robot working method
US20170050319A1 (en) Programmable Machine Vision Device
KR20210075722A (ko) 제조 공정 현장에서 ar 공정 플랫폼 제공방법 및 시스템
CN113043268A (zh) 机器人手眼标定方法、装置、终端、系统及存储介质
JP6596530B2 (ja) 方法及び装置
WO2023157380A1 (ja) ロボット監視システム、監視装置、監視装置の制御方法およびプログラム
EP4074471A1 (en) Robotic cells
CN116940450A (zh) 机器人系统以及机器人控制方法
KR20210075723A (ko) 항공기 기체 조립 공정에서 헥사포드 활용을 위한 공정 설계방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant