DE102020006304B3 - Method for overlaying virtual robot data objects and computer program product - Google Patents

Method for overlaying virtual robot data objects and computer program product Download PDF

Info

Publication number
DE102020006304B3
DE102020006304B3 DE102020006304.7A DE102020006304A DE102020006304B3 DE 102020006304 B3 DE102020006304 B3 DE 102020006304B3 DE 102020006304 A DE102020006304 A DE 102020006304A DE 102020006304 B3 DE102020006304 B3 DE 102020006304B3
Authority
DE
Germany
Prior art keywords
code
robot
mobile terminal
terminal device
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102020006304.7A
Other languages
German (de)
Inventor
Jürgen Blume
Otmar Honsberg
Hamid Hadjar
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KUKA Systems GmbH
Original Assignee
KUKA Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KUKA Systems GmbH filed Critical KUKA Systems GmbH
Priority to DE102020006304.7A priority Critical patent/DE102020006304B3/en
Application granted granted Critical
Publication of DE102020006304B3 publication Critical patent/DE102020006304B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36371—Barcode reader
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39449—Pendant, pda displaying camera images overlayed with graphics, augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Einblenden von virtuellen Roboterdatenobjekten (13) in eine auf einem Display (1) eines mobilen Endgeräts (2) angezeigte Darstellung (3) einer aufgenommenen realen Umgebung eines Roboterarbeitsplatzes (4), der einen Roboter (5), eine Steuervorrichtung (6) zum Ansteuern des Roboters (5) und ein mit der Steuervorrichtung (6) verbundenes Handbediengerät (7) umfasst. Die Erfindung betrifft außerdem ein zugehöriges Computerprogrammprodukt.The invention relates to a method for displaying virtual robot data objects (13) in a display (1) of a mobile terminal (2) showing a representation (3) of a recorded real environment of a robot workstation (4), which has a robot (5), a Control device (6) for controlling the robot (5) and with the control device (6) connected manual control device (7). The invention also relates to an associated computer program product.

Description

Die Erfindung betrifft ein Verfahren zum Einblenden von virtuellen Roboterdatenobjekten in eine auf einem Display eines mobilen Endgeräts angezeigte Darstellung einer aufgenommenen realen Umgebung eines Roboterarbeitsplatzes, der einen Roboter, eine Steuervorrichtung zum Ansteuern des Roboters und ein mit der Steuervorrichtung verbundenes Handbediengerät umfasst. Die Erfindung betrifft außerdem ein zugehöriges Computerprogrammprodukt.The invention relates to a method for displaying virtual robot data objects in a representation of a recorded real environment of a robot workstation, which is displayed on a display of a mobile terminal device and comprises a robot, a control device for controlling the robot and a hand-held control device connected to the control device. The invention also relates to an associated computer program product.

Die EP 1 447 770 B1 beschreibt ein Verfahren zum Einblenden rechnergenerierter Informationen in einen von einem Bildempfangsgerät erfassten Bild der realen Umwelt auf einem Sichtgerät, wobei eine Bestimmung von Ort und Ausrichtung (Pose) des Bildempfangsgeräts erfolgt und dieser Bestimmung entsprechende roboterspezifische Informationen auf dem Sichtgerät dem Bild der realen Umwelt überblendet werden.the EP 1 447 770 B1 describes a method for displaying computer-generated information in an image of the real environment captured by an image receiving device on a viewing device, with the location and orientation (pose) of the image receiving device being determined and robot-specific information corresponding to this determination on the viewing device being superimposed on the image of the real environment .

Die DE 10 2019 006 800 A1 beschreibt eine Robotersteuerung und Anzeigevorrichtung unter Verwendung von erweiterter Realität und gemischter Realität.the DE 10 2019 006 800 A1 describes a robot controller and display device using augmented reality and mixed reality.

Aus der DE 10 2018 207 198 A1 ist ein Verfahren zur Roboterjustage bekannt, wobei aufgrund von optischen Markern ein Versatz dieser ermittelt wird und eine Justierung eines Gelenks auf Basis dieses Versatzes und einer Gelenkstellung erfolgt.From the DE 10 2018 207 198 A1 a method for robot adjustment is known, an offset of these being determined on the basis of optical markers and an adjustment of a joint taking place on the basis of this offset and a joint position.

In der DE 10 2018 109 463 B3 ist ein Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik durch einen Benutzer mittels einer mobilen Anzeigevorrichtung beschrieben. In the DE 10 2018 109 463 B3 describes a method for using a multi-element actuated kinematics by a user by means of a mobile display device.

Hierbei wird eine virtuelle Darstellung der Kinematik unter Berücksichtigung von geometrischen Zusammenhängen der tatsächlichen Kinematik eingeblendet.A virtual representation of the kinematics is displayed, taking into account the geometric relationships of the actual kinematics.

Die DE 10 2015 224 308 A1 zeigt ein Manipulatorsystem und Verfahren zur Identifikation von Bedienvorrichtungen.the DE 10 2015 224 308 A1 shows a manipulator system and method for identifying operating devices.

In der DE 10 2015 209 899 B4 ist ein Verfahren, ein tragbares Endgerät und ein Manipulator-System zum Ansteuern eines Manipulator-Systems mittels eines Endgeräts beschrieben, wobei dieses ein Feature des Systems durch ein Kamerabild ermittelt und basierend hierauf ein ansteuerbares Objekt identifiziert wodurch eine entsprechende Ansteuerung des Systems vorgenommen werden soll.In the DE 10 2015 209 899 B4 describes a method, a portable terminal device and a manipulator system for controlling a manipulator system using a terminal device.

Aus der DE 10 2015 015 503 A1 ist ein Robotersystem, das eine mit erweiterter Realität kompatible Anzeige aufweist, bekannt. Hierbei werden Zusatzinformationen in Echtzeit eingeblendet.From the DE 10 2015 015 503 A1 a robotic system having an augmented reality compatible display is known. Additional information is displayed in real time.

Aufgabe der Erfindung ist es, ein sicheres Verfahren zum Einblenden von virtuellen Roboterdatenobjekten in eine auf einem Display eines mobilen Endgeräts angezeigte Darstellung einer aufgenommenen realen Umgebung eines Roboterarbeitsplatzes zu schaffen. Das Verfahren soll insbesondere dadurch sicherer gemacht werden, indem auf eine steuerungstechnische Kopplung des mobilen Endgeräts an die Steuervorrichtung des Roboters verzichtet wird und dennoch Roboterdaten auf das mobile Endgerät übertragen werden können, die auf dem Display des mobilen Endgeräts dargestellt werden sollen.The object of the invention is to provide a secure method for displaying virtual robot data objects in a representation of a recorded, real environment of a robot workstation shown on a display of a mobile terminal device. The method is intended to be made safer in particular by dispensing with the need for a control-related coupling of the mobile terminal device to the robot's control device, while still allowing robot data to be transmitted to the mobile terminal device, which data is to be displayed on the mobile terminal device's display.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zum Einblenden von virtuellen Roboterdatenobjekten in eine auf einem Display eines mobilen Endgeräts angezeigte Darstellung einer aufgenommenen realen Umgebung eines Roboterarbeitsplatzes, der einen Roboter, eine Steuervorrichtung zum Ansteuern des Roboters und ein mit der Steuervorrichtung verbundenes Handbediengerät umfasst, aufweisend die Schritte:

  • - automatisches Erzeugen und Bereitstellen eines opto-elektronisch lesbaren ersten Codes, in welchem Roboterdaten dynamisch kodiert sind mittels der Steuervorrichtung, wobei das Bereitstellen dadurch erfolgt, dass der erzeugte opto-elektronisch lesbare erste Code (8.1) mittels der Steuervorrichtung (6) automatisch auf einem Display (11) des Handbediengeräts (7) angezeigt wird,
  • - Erfassen des erzeugten und bereitgestellten ersten Codes mittels einer Kamera des mobilen Endgeräts und Auswerten des erfassten ersten Codes, indem die im ersten Code dynamisch kodierten Roboterdaten durch einen Dekodierer des mobilen Endgeräts dekodiert und in einem Speicher des mobilen Endgeräts abgelegt werden, wobei das Erfassen dadurch erfolgt, dass der auf dem Display (11) des Handbediengeräts (7) angezeigte erste Code (8.1) von der Kamera (9) des mobilen Endgeräts (2) aufgenommen wird,
  • - Erfassen der realen Umgebung des Roboterarbeitsplatzes mittels der Kamera des mobilen Endgeräts und Anzeigen einer Darstellung der realen Umgebung des Roboterarbeitsplatzes auf dem Display des mobilen Endgeräts, unter Einblenden von virtuellen Roboterdatenobjekten, welche auf Grundlage von aus dem Speicher des mobilen Endgeräts ausgelesenen Roboterdaten erzeugt werden,
  • - Befestigen einer Plakette (12), auf der ein zweiter Code (8.2), in dem wenigstens ein Datensatz statisch kodiert dargestellt ist, an einem festen Ort innerhalb des Roboterarbeitsplatzes (4), insbesondere an dem Roboter (5), wobei die Position und Lage der Plakette (12) mittels der Steuervorrichtung (6) bereitgestellt wird,
  • - zusätzliches Erfassen des auf der Plakette (12) dargestellten zweiten Codes (8.2) mittels der Kamera (9) des mobilen Endgeräts (2) dadurch, dass der auf der Plakette (12) angezeigte zweite Code (8.2) von der Kamera (9) des mobilen Endgeräts (2) aufgenommen wird,
  • - das Einblenden von virtuellen Roboterdatenobjekten (13), welche auf Grundlage von aus dem Speicher (10) des mobilen Endgeräts (2) ausgelesenen Roboterdaten erzeugt wurden, auf dem Display (1) des mobilen Endgeräts (2) erfolgt, indem die virtuellen Roboterdatenobjekte in Abhängigkeit der erfassten Position und Lage des auf der Plakette (12) angezeigten statischen zweiten Codes (8.2) in einer der Plakette (12) zugeordneten Position, Lage und/oder Perspektive auf dem Display (1) des mobilen Endgeräts (2) dargestellt werden.
The object is achieved according to the invention by a method for displaying virtual robot data objects in a representation of a recorded real environment of a robot workstation, which is displayed on a display of a mobile terminal device and comprises a robot, a control device for controlling the robot and a manual control device connected to the control device the steps:
  • - automatic generation and provision of an opto-electronically readable first code, in which robot data are dynamically encoded, by means of the control device, the provision being effected in that the generated opto-electronically readable first code (8.1) by means of the control device (6) automatically on a the display (11) of the manual control unit (7) is shown,
  • - Detection of the generated and provided first code using a camera of the mobile device and evaluation of the detected first code by the robot data dynamically encoded in the first code being decoded by a decoder of the mobile device and stored in a memory of the mobile device, the detection thereby takes place that the first code (8.1) shown on the display (11) of the manual control device (7) is recorded by the camera (9) of the mobile terminal device (2),
  • - Capturing the real environment of the robot workplace using the camera of the mobile device and displaying a representation of the real environment of the robot workplace on the display of the mobile device, showing virtual robot data objects, which are generated on the basis of robot data read from the memory of the mobile device,
  • - Attaching a plaque (12) on which a second code (8.2) in which at least one data set is shown in statically encoded form at a fixed location within the robot workstation (4), in particular on the robot (5), the position and orientation of the plaque (12) being provided by the control device (6),
  • - additional detection of the second code (8.2) shown on the badge (12) by means of the camera (9) of the mobile terminal device (2) in that the second code (8.2) displayed on the badge (12) by the camera (9) of the mobile terminal device (2) is recorded,
  • - the display of virtual robot data objects (13), which were generated on the basis of robot data read from the memory (10) of the mobile terminal (2), on the display (1) of the mobile terminal (2) by the virtual robot data objects in Dependence on the detected position and location of the static second code (8.2) displayed on the badge (12) in a position, location and/or perspective assigned to the badge (12) on the display (1) of the mobile terminal device (2).

Das Einblenden von virtuellen Roboterdatenobjekten in eine auf einem Display eines mobilen Endgeräts angezeigte Darstellung einer aufgenommenen realen Umgebung eines Roboterarbeitsplatzes kann insbesondere nach einem in dem Fachgebiet der Erweiterten Realität (engl. „Augmented Reality“, „AR“) bekannten computergestützten Verfahren stattfinden. Insbesondere kann dies die visuelle Darstellung der Roboterdaten auf dem Display des mobilen Endgeräts umfassen, also die Ergänzung von auf dem Display des mobilen Endgeräts gezeigten Bildem oder Videos mit computergenerierten Zusatzinformationen bzw. virtuellen Objekten (den Roboterdatenobjekten) mittels Einblendung und/oder Überlagerung.The display of virtual robot data objects in a representation of a recorded real environment of a robot workstation shown on a display of a mobile device can take place in particular according to a computer-aided method known in the field of augmented reality (“AR”). In particular, this can include the visual representation of the robot data on the display of the mobile device, i.e. the supplementing of images or videos shown on the display of the mobile device with computer-generated additional information or virtual objects (the robot data objects) by means of overlays and/or overlays.

Dynamisch kodierte Roboterdaten sind in dem ersten Code kodierte Daten, die zu verschiedenen Zeitpunkten unterschiedliche Roboterdaten bzw. Roboterdaten mit veränderten Parametern und/oder Werten kodieren d.h. transportieren.Dynamically encoded robot data is data encoded in the first code, which encode different robot data or robot data with changed parameters and/or values at different points in time, i.e. transport them.

Statisch kodierten Roboterdaten sind in dem ersten Code zusätzlich, und/oder insbesondere in dem zweiten Code kodierte Daten, die zu verschiedenen Zeitpunkten gleiche d.h. unveränderte feste Roboterdaten bzw. Roboterdaten mit unveränderten Parametern und/oder Werten kodieren d.h. transportieren.Statically encoded robot data is data additionally encoded in the first code and/or in particular in the second code, which encodes, i.e. transports, the same, i.e. unchanged, fixed robot data or robot data with unchanged parameters and/or values at different points in time.

Erfindungsgemäß erfolgt das Bereitstellen des opto-elektronisch lesbaren ersten Codes, in welchem die Roboterdaten dynamisch kodiert sind, dadurch, dass der erzeugte opto-elektronisch lesbare erste Code mittels der Steuervorrichtung automatisch auf einem Display des Handbediengeräts angezeigt wird, und das Erfassen des erzeugten und bereitgestellten ersten Codes mittels der Kamera des mobilen Endgeräts dadurch erfolgt, dass der auf dem Display des Handbediengeräts angezeigte erste Code von der Kamera des mobilen Endgeräts aufgenommen wird.According to the invention, the opto-electronically readable first code, in which the robot data is dynamically encoded, is provided by automatically displaying the generated opto-electronically readable first code on a display of the hand-held operating device by means of the control device, and by detecting the generated and provided code first code by means of the camera of the mobile terminal takes place in that the first code displayed on the display of the hand-held terminal is recorded by the camera of the mobile terminal.

Wenn der erzeugte opto-elektronisch lesbare erste Code mittels der Steuervorrichtung automatisch auf einem Display des Handbediengeräts angezeigt wird, kann der erste Code sich dynamisch anpassen, d.h. der erste Code kann zu verschiedenen Zeitpunkten unterschiedlich ausgeführt d.h. codiert sein, so dass je nach momentanen Zeitpunkt unterschiedliche Roboterdaten übermittelt werden können. Diese Änderung der Kodierung des ersten Codes kann in Echtzeit erfolgen. Aufgrund der optischen Übertragung des ersten Codes ausgehend von dem Bedienhandgerät ausschließlich in Richtung des mobilen Endgeräts kann die Steuerung des mobilen Endgeräts keinen sicherheitstechnisch schädlichen Einfluss auf die Steuervorrichtung des Roboters nehmen. Beispielsweise ist dadurch verhindert, dass schädliche Programme bzw. schädlicher Softwarecode von dem mobilen Endgerät auf die Steuervorrichtung des Roboters übertragen werden kann. Dennoch können sicherheitsrelevante Daten von der Steuervorrichtung des Roboters auf das mobile Endgerät übermittelt und dort dargestellt werden. Eine Übertragung von Roboterdaten erfolgt demgemäß ohne eine direkte Netzwerkverbindung des mobilen Endgeräts zu der Steuervorrichtung des Roboters. Die Steuervorrichtung des Roboters kann eine Robotersteuerung und/oder eine separate oder integrierte Sicherheitssteuerung sein. Das mobile Endgerät kann beispielsweise ein Smartphone, ein Tablet-Computer, ein Notebook, ein Ultrabook oder eine Smart-Watch sein.If the generated opto-electronically readable first code is automatically displayed by the control device on a display of the handheld terminal, the first code can adapt dynamically, ie the first code can be executed differently at different times, ie encoded, so that depending on the current time different Robot data can be transmitted. This modification of the coding of the first code can take place in real time. Due to the optical transmission of the first code starting from the handheld device exclusively in the direction of the mobile terminal, the control of the mobile terminal cannot have any safety-damaging influence on the control device of the robot. For example, this prevents harmful programs or harmful software code from being able to be transferred from the mobile terminal device to the robot's control device. Nevertheless, safety-relevant data can be transmitted from the robot's control device to the mobile terminal and displayed there. Accordingly, robot data is transmitted without a direct network connection of the mobile terminal device to the control device of the robot. The robot's control device can be a robot controller and/or a separate or integrated safety controller. The mobile end device can be a smartphone, a tablet computer, a notebook, an ultrabook or a smart watch, for example.

In einer zweiten Ausführungsvariante des Verfahrens kann das Bereitstellen des opto-elektronisch lesbaren ersten Codes, in welchem die Roboterdaten dynamisch kodiert sind, dadurch erfolgen, dass der erzeugte opto-elektronisch lesbare erste Code mittels eines mit der Steuervorrichtung verbundenen Druckers automatisch auf ein separat handhabbares Etikett ausgedruckt wird und das Erfassen des erzeugten und bereitgestellten ersten Codes mittels der Kamera des mobilen Endgeräts dadurch erfolgt, dass der auf dem Etikett ausgedruckte erste Code von der Kamera des mobilen Endgeräts aufgenommen wird. Das ausgedruckte Etikett kann beispielsweise manuell auf ein Glied des Roboters, insbesondere dessen Basisglied und/oder auf eine sonstige Komponente des Roboterarbeitsplatzes angebracht, insbesondere aufgeklebt werden. In den individuell gewünschten zeitlichen Abständen kann immer wieder ein neues, insoweit aktualisiertes Etikett ausgedruckt und angebracht werden. Das nicht mehr benötigte alte Etikett kann zuvor wieder entfernt werden.In a second embodiment of the method, the opto-electronically readable first code, in which the robot data is dynamically encoded, can be provided by automatically printing the generated opto-electronically readable first code onto a separately manageable label using a printer connected to the control device is printed out and the detection of the generated and provided first code by means of the camera of the mobile terminal takes place in that the first code printed on the label is recorded by the camera of the mobile terminal. The printed label can, for example, be manually attached, in particular glued, to a member of the robot, in particular its base member, and/or to another component of the robot workstation. A new, up-to-date version can always be provided at the individually desired time intervals Label printed and attached. The old label that is no longer required can be removed beforehand.

Bei den Verfahren ist erfindungsgemäß eine Plakette vorgesehen, auf der ein zweiter Code, in dem wenigstens ein Datensatz statisch kodiert dargestellt ist, an einem festen Ort innerhalb des Roboterarbeitsplatzes, insbesondere an dem Roboter, befestigt wird, wobei die Position und Lage der Plakette mittels der Steuervorrichtung bereitgestellt wird und ein zusätzliches Erfassen des auf der Plakette dargestellten zweiten Codes mittels der Kamera des mobilen Endgeräts dadurch erfolgt, dass der auf der Plakette angezeigte zweite Code von der Kamera des mobilen Endgeräts aufgenommen wird. Die Plakette kann beispielsweise von einem ebenen Flächenabschnitt an einem Glied des Roboters oder an einer sonstigen Komponente des Roboterarbeitsplatzes, auch in Verbindung mit einem der beschriebenen Etiketten, gebildet werden.In the method, according to the invention, a tag is provided on which a second code, in which at least one data set is shown in statically encoded form, is attached to a fixed location within the robot workstation, in particular to the robot, with the position and orientation of the tag being determined by means of the Control device is provided and an additional detection of the second code shown on the sticker by means of the camera of the mobile terminal takes place in that the second code displayed on the sticker is recorded by the camera of the mobile terminal. The tag can be formed, for example, by a flat surface section on a limb of the robot or on another component of the robot workstation, also in connection with one of the labels described.

Bei den Verfahren kann vorgesehen sein, dass die Plakette, auf welcher der zweite Code, in dem der wenigstens eine Datensatz statisch kodiert dargestellt ist, ergänzt wird durch eine in die Plakette integrierte oder in räumlicher Nähe an die Plakette hinzugefügte Darstellung des ersten dynamischen Codes, wobei der dynamische erste Code und der statische zweite Code mittels eines mit der Steuervorrichtung verbundenen Druckers automatisch auf wenigstens ein separat handhabbares Etikett ausgedruckt wurde und ein Erfassen des erzeugten und bereitgestellten dynamischen ersten Codes und des statischen zweiten statischen Codes mittels der Kamera des mobilen Endgeräts dadurch erfolgt, dass der auf dem wenigstens einen Etikett ausgedruckte dynamische erste Code und statische zweite Code an seiner Position und Lage auf der Plakette von der Kamera des mobilen Endgeräts gemeinsam aufgenommen wird.In the method, it can be provided that the sticker on which the second code, in which the at least one data set is shown in statically encoded form, is supplemented by a representation of the first dynamic code that is integrated into the sticker or is added to the sticker in close proximity to it, wherein the dynamic first code and the static second code were automatically printed out on at least one separately manageable label using a printer connected to the control device, and the generated and provided dynamic first code and the static second static code are thereby captured using the camera of the mobile terminal device that the dynamic first code printed on the at least one label and the static second code are recorded together at their position and location on the sticker by the camera of the mobile terminal device.

Das Einblenden von virtuellen Roboterdatenobjekten, welche auf Grundlage von aus dem Speicher des mobilen Endgeräts ausgelesenen Roboterdaten erzeugt wurden, erfolgt erfindungsgemäß auf dem Display des mobilen Endgeräts, indem die virtuellen Roboterdatenobjekte in Abhängigkeit der erfassten Position und Lage des auf der Plakette angezeigten statischen zweiten Codes in einer der Plakette zugeordneten Position, Lage und/oder Perspektive auf dem Display des mobilen Endgeräts dargestellt werden. Der statische zweite Code kann dabei insoweit an dem Roboter oder einer sonstigen Komponente des Roboterarbeitsplatzes eingemessen sein, d.h. seine genaue Position und Lage im Raum relativ zu dem Roboter ist bekannt, beispielsweise in Form eines Datensatzes in der Steuervorrichtung des Roboters und/oder der Steuerung des mobilen Endgeräts.According to the invention, virtual robot data objects, which were generated on the basis of robot data read from the memory of the mobile terminal device, are displayed on the display of the mobile terminal device by the virtual robot data objects depending on the recorded position and location of the static second code displayed on the sticker in a position, position and/or perspective assigned to the badge on the display of the mobile terminal device. The static second code can be measured on the robot or another component of the robot workstation, i.e. its exact position and position in space relative to the robot is known, for example in the form of a data record in the robot's control device and/or the controller of the robot mobile device.

Die in dem ersten Code dynamisch kodierten Roboterdaten können ein oder mehrere Datenarten umfassen, aus der Gruppe von Datenarten bestehend aus: Schutzräume des Roboterarbeitsplatzes, Arbeitsräume des Roboterarbeitsplatzes, Arbeitsräume des Roboters, Sicherheitsfunktionen des Roboters, Bewegungsparameter des Roboters, insbesondere eines Werkzeugbezugspunktes des Roboters oder dessen Werkzeugs.The robot data dynamically encoded in the first code can include one or more data types from the group of data types consisting of: protective areas of the robot workstation, workspaces of the robot workstation, workspaces of the robot, safety functions of the robot, movement parameters of the robot, in particular a tool reference point of the robot or its tools.

Der dynamische erste Code und/oder der statische zweite Code können als ein Strichcode (1D-Code) oder als ein Matrixcode (2D-Code) ausgeführt sein. Im Falle eines Matrixcodes (2D-Code) kann dieser beispielsweise als ein Codablock, Code 49, PDF417, QR-Code, DataMatrix, MaxiCode, Aztec-Code, JAB-Code oder Han-Xin-Code ausgeführt sein.The dynamic first code and/or the static second code can be implemented as a bar code (1D code) or as a matrix code (2D code). In the case of a matrix code (2D code), this can be implemented, for example, as a Codablock, Code 49, PDF417, QR code, DataMatrix, MaxiCode, Aztec code, JAB code or Han Xin code.

In einer Ausführungsform der Verfahren kann in dem dynamischen ersten Code eine URL-Adresse codiert sein, welche auf eine Website verweist, die eingerichtet ist, bei einem Zugriff durch das mobile Endgerät, das Starten einer auf dem mobilen Endgerät eingerichteten Applikation zu autorisieren, welche zur Durchführung des Verfahrens zu verwenden ist.In one embodiment of the method, a URL address can be encoded in the dynamic first code, which refers to a website that is set up to authorize the launch of an application set up on the mobile terminal device when accessed by the mobile terminal device, which implementation of the procedure is to be used.

Die Aufgabe wird auch gelöst durch ein Computerprogrammprodukt aufweisend einen maschinenlesbaren Träger, auf dem Programmcode gespeichert ist, der von einer Steuerung auslesbar ist und der die Steuerung ausbildet und/oder einrichtet, zur Verwendung in einem Verfahren, nach einem oder mehreren Ausführungen wie beschriebenen, wenn der Programmcode von der Steuerung ausgeführt wird.The object is also achieved by a computer program product having a machine-readable carrier on which program code is stored, which can be read by a controller and which forms and/or sets up the controller for use in a method according to one or more embodiments as described if the program code is executed by the controller.

Die Steuerung kann die Steuervorrichtung des Roboters sein, eine Steuereinrichtung des mobilen Endgeräts sein oder eine von dem Roboter und dem mobilen Endgerät verschiedene Steuerung sein.The controller may be the controller of the robot, a controller of the mobile terminal, or a controller other than the robot and the mobile terminal.

Ein konkretes Ausführungsbeispiel der Erfindung ist in der nachfolgenden Beschreibung unter Bezugnahme auf die beigefügten Figuren näher erläutert. Konkrete Merkmale dieser exemplarischen Ausführungsbeispiels können unabhängig davon, in welchem konkreten Zusammenhang sie erwähnt sind, gegebenenfalls auch einzeln oder in weiteren Kombinationen betrachtet, allgemeine Merkmale der Erfindung darstellen.A specific exemplary embodiment of the invention is explained in more detail in the following description with reference to the attached figures. Specific features of these exemplary embodiments can represent general features of the invention, regardless of the specific context in which they are mentioned, if appropriate also considered individually or in further combinations.

Es zeigen:

  • 1 ein Flussdiagramm der Schritte in dem grundlegenden erfindungsgemäßen Verfahren, und
  • 2 eine schematische Darstellung eines beispielhaften Roboterarbeitsplatzes, der einen Roboter, eine Steuervorrichtung zum Ansteuern des Roboters und ein mit der Steuervorrichtung verbundenes Handbediengerät, sowie ein autarkes mobiles Endgerät in Art eines Smartphones umfasst.
Show it:
  • 1 a flow chart of the steps in the basic method according to the invention, and
  • 2 a schematic representation of an exemplary robot workstation, the one Robot, a control device for controlling the robot and a handheld device connected to the control device, as well as a self-sufficient mobile terminal device in the form of a smartphone.

Die 1 in Verbindung mit 2 zeigt ein Flussdiagramm der Schritte in dem grundlegenden erfindungsgemäßen Verfahren zum Einblenden von virtuellen Roboterdatenobjekten in eine auf einem Display 1 eines mobilen Endgeräts 2 angezeigte Darstellung 3 einer aufgenommenen realen Umgebung eines Roboterarbeitsplatzes 4, der einen Roboter 5, eine Steuervorrichtung 6 zum Ansteuern des Roboters 5 und ein mit der Steuervorrichtung 6 verbundenes Handbediengerät 7 umfasst.the 1 combined with 2 shows a flowchart of the steps in the basic method according to the invention for displaying virtual robot data objects in a representation 3 of a recorded real environment of a robot workstation 4 shown on a display 1 of a mobile terminal device 2, which has a robot 5, a control device 6 for controlling the robot 5 and includes a manual control device 7 connected to the control device 6 .

In einem ersten Schritt S1 erfolgt ein automatisches Erzeugen eines opto-elektronisch lesbaren ersten Codes 8.1, in welchem Roboterdaten dynamisch kodiert sind mittels der Steuervorrichtung 6 und in einem zweiten Schritt S2 erfolgt ein Bereitstellen des opto-elektronisch lesbaren ersten Codes 8.1, in welchem die Roboterdaten dynamisch mittels der Steuervorrichtung 6 kodiert sind.In a first step S1, an opto-electronically readable first code 8.1, in which robot data is dynamically encoded, is automatically generated by the control device 6 and in a second step S2, the opto-electronically readable first code 8.1, in which the robot data are dynamically encoded by the control device 6.

In einem dritten Schritt S3 erfolgt ein Erfassen des erzeugten und bereitgestellten ersten Codes 8.1 mittels einer Kamera 9 des mobilen Endgeräts 2 und in einem vierten Schritt S4 erfolgt ein Auswerten des erfassten ersten Codes 8.1, indem die im ersten Code 8.1 dynamisch kodierten Roboterdaten durch einen Dekodierer des mobilen Endgeräts 2 dekodiert und in einem Speicher 10 des mobilen Endgeräts 2 abgelegt werden.In a third step S3, the generated and provided first code 8.1 is captured using a camera 9 of the mobile terminal device 2, and in a fourth step S4, the captured first code 8.1 is evaluated by the robot data dynamically encoded in the first code 8.1 being processed by a decoder of the mobile terminal device 2 are decoded and stored in a memory 10 of the mobile terminal device 2.

In einem fünften Schritt S5 erfolgt ein Erfassen der realen Umgebung des Roboterarbeitsplatzes 4 mittels der Kamera 9 des mobilen Endgeräts 2 und in einem sechsten Schritt S6 erfolgt ein Anzeigen einer Darstellung 3 der realen Umgebung des Roboterarbeitsplatzes 4 auf dem Display 1 des mobilen Endgeräts 2, unter Einblenden von virtuellen Roboterdatenobjekten 13, welche auf Grundlage von aus dem Speicher 10 des mobilen Endgeräts 2 ausgelesenen Roboterdaten erzeugt werden. Die Roboterdatenobjekte 13 können beispielsweise die in 2 beispielhaft dargestellten Bewegungsparameter 13.1 des Roboters 5, Schutzräume 13.2 des Roboterarbeitsplatzes 4 oder Sicherheitsfunktionen 13.3 des Roboters 5 sein.In a fifth step S5, the real environment of the robot workstation 4 is captured using the camera 9 of the mobile terminal device 2, and in a sixth step S6, a representation 3 of the real environment of the robot workstation 4 is displayed on the display 1 of the mobile terminal device 2, below Fade in of virtual robot data objects 13, which are generated on the basis of robot data read from the memory 10 of the mobile terminal device 2. The robot data objects 13 can, for example, 2 example movement parameters 13.1 of the robot 5, shelters 13.2 of the robot workstation 4 or safety functions 13.3 of the robot 5.

In der 2 ist aufgezeigt, wie das Bereitstellen des opto-elektronisch lesbaren ersten Codes 8.1, in welchem die Roboterdaten dynamisch kodiert sind, dadurch erfolgt, dass der erzeugte opto-elektronisch lesbare erste Code 8.1 mittels der Steuervorrichtung 6 automatisch auf einem Display 11 des Handbediengeräts 7 angezeigt wird, und das Erfassen des erzeugten und bereitgestellten ersten Codes 8.1 mittels der Kamera 9 des mobilen Endgeräts 2 dadurch erfolgt, dass der auf dem Display 11 des Handbediengeräts 7 angezeigte erste Code 8.1 von der Kamera 9 des mobilen Endgeräts 2 aufgenommen wird.In the 2 shows how the opto-electronically readable first code 8.1, in which the robot data is dynamically encoded, is provided by the opto-electronically readable first code 8.1 being generated being automatically displayed on a display 11 of the hand-held operating device 7 by means of the control device 6 , and the detection of the generated and provided first code 8.1 by means of the camera 9 of the mobile terminal device 2 takes place in that the first code 8.1 displayed on the display 11 of the hand-held terminal device 7 is recorded by the camera 9 of the mobile terminal device 2.

In der 2 ist außerdem aufgezeigt, dass an dem Roboter 5 eine Plakette 12 angebracht ist, auf der ein zweiter Code 8.2, in dem wenigstens ein Datensatz statisch kodiert dargestellt ist, so dass die Plakette 12 an einem festen Ort innerhalb des Roboterarbeitsplatzes 4 befestigt ist, wobei die Position und Lage der Plakette 12 mittels der Steuervorrichtung 6 bereitgestellt wird und ein zusätzliches Erfassen des auf der Plakette 12 dargestellten zweiten Codes 8.2 mittels der Kamera 9 des mobilen Endgeräts 2 dadurch erfolgt, dass der auf der Plakette 12 angezeigte zweite Code 8.2 von der Kamera 9 des mobilen Endgeräts 2 aufgenommen wird.In the 2 is also shown that a sticker 12 is attached to the robot 5, on which a second code 8.2, in which at least one data set is shown in statically encoded form, so that the sticker 12 is attached to a fixed location within the robot workstation 4, with the The position and position of the badge 12 is provided by the control device 6 and the second code 8.2 shown on the badge 12 is additionally recorded using the camera 9 of the mobile terminal device 2 in that the second code 8.2 displayed on the badge 12 is captured by the camera 9 of the mobile terminal 2 is recorded.

Claims (7)

Verfahren zum Einblenden von virtuellen Roboterdatenobjekten (13) in eine auf einem Display (1) eines mobilen Endgeräts (2) angezeigte Darstellung (3) einer aufgenommenen realen Umgebung eines Roboterarbeitsplatzes (4), der einen Roboter (5), eine Steuervorrichtung (6) zum Ansteuern des Roboters (5) und ein mit der Steuervorrichtung (6) verbundenes Handbediengerät (67) umfasst, aufweisend die Schritte: - automatisches Erzeugen und Bereitstellen eines opto-elektronisch lesbaren ersten Codes (8.1), in welchem Roboterdaten dynamisch kodiert sind mittels der Steuervorrichtung (6), wobei das Bereitstellen dadurch erfolgt, dass der erzeugte opto-elektronisch lesbare erste Code (8.1) mittels der Steuervorrichtung (6) automatisch auf einem Display (11) des Handbediengeräts (7) angezeigt wird, - Erfassen des erzeugten und bereitgestellten ersten Codes (8.1) mittels einer Kamera (9) des mobilen Endgeräts (2) und Auswerten des erfassten ersten Codes (8.1), indem die im ersten Code (8.1) dynamisch kodierten Roboterdaten durch einen Dekodierer des mobilen Endgeräts (2) dekodiert und in einem Speicher (10) des mobilen Endgeräts (2) abgelegt werden, wobei das Erfassen dadurch erfolgt, dass der auf dem Display (11) des Handbediengeräts (7) angezeigte erste Code (8.1) von der Kamera (9) des mobilen Endgeräts (2) aufgenommen wird, - Erfassen der realen Umgebung des Roboterarbeitsplatzes (4) mittels der Kamera (9) des mobilen Endgeräts (2) und Anzeigen einer Darstellung der realen Umgebung des Roboterarbeitsplatzes (4) auf dem Display (1) des mobilen Endgeräts (2), unter Einblenden von virtuellen Roboterdatenobjekten (13), welche auf Grundlage von aus dem Speicher (10) des mobilen Endgeräts (2) ausgelesenen Roboterdaten erzeugt werden, - Befestigen einer Plakette (12), auf der ein zweiter Code (8.2), in dem wenigstens ein Datensatz statisch kodiert dargestellt ist, an einem festen Ort innerhalb des Roboterarbeitsplatzes (4), insbesondere an dem Roboter (5), wobei die Position und Lage der Plakette (12) mittels der Steuervorrichtung (6) bereitgestellt wird, - zusätzliches Erfassen des auf der Plakette (12) dargestellten zweiten Codes (8.2) mittels der Kamera (9) des mobilen Endgeräts (2) dadurch, dass der auf der Plakette (12) angezeigte zweite Code (8.2) von der Kamera (9) des mobilen Endgeräts (2) aufgenommen wird, wobei - das Einblenden von virtuellen Roboterdatenobjekten (13), welche auf Grundlage von aus dem Speicher (10) des mobilen Endgeräts (2) ausgelesenen Roboterdaten erzeugt wurden, auf dem Display (1) des mobilen Endgeräts (2) erfolgt, indem die virtuellen Roboterdatenobjekte in Abhängigkeit der erfassten Position und Lage des auf der Plakette (12) angezeigten statischen zweiten Codes (8.2) in einer der Plakette (12) zugeordneten Position, Lage und/oder Perspektive auf dem Display (1) des mobilen Endgeräts (2) dargestellt werden. Method for displaying virtual robot data objects (13) in a representation (3) of a recorded real environment of a robot workstation (4) displayed on a display (1) of a mobile terminal device (2), which has a robot (5), a control device (6) for controlling the robot (5) and a manual control device (67) connected to the control device (6), having the steps of: - automatically generating and providing an opto-electronically readable first code (8.1), in which robot data are dynamically encoded by means of the Control device (6), the provision being effected in that the generated opto-electronically readable first code (8.1) is automatically displayed on a display (11) of the hand-held operating device (7) by means of the control device (6), - detecting the generated and provided code first code (8.1) using a camera (9) of the mobile terminal (2) and evaluating the detected first code (8.1) by dynamically in the first code (8.1). coded robot data are decoded by a decoder of the mobile terminal device (2) and stored in a memory (10) of the mobile terminal device (2), the detection being carried out in that the first code shown on the display (11) of the hand-held terminal device (7). (8.1) is recorded by the camera (9) of the mobile terminal (2), - capturing the real environment of the robot workstation (4) using the camera (9) of the mobile terminal (2) and displaying a representation of the real environment of the robot workstation ( 4) on the display (1) of the mobile terminal (2), with virtual robot data objects (13) being displayed, which are generated on the basis of robot data read from the memory (10) of the mobile terminal (2), - Attaching a plaque (12), on which a second code (8.2), in which at least one data set is shown in statically encoded form, at a fixed location within the robot workstation (4), in particular on the robot (5), the position and position of the badge (12) is provided by the control device (6), - additional detection of the second code (8.2) shown on the badge (12) by means of the camera (9) of the mobile terminal device (2) in that the on the badge (12) displayed second code (8.2) is recorded by the camera (9) of the mobile terminal (2), wherein - the display of virtual robot data objects (13) which are based on from the memory (10) of the mobile terminal (2 ) read out robot data were generated on the display (1) of the mobile terminal device (2) by the virtual robot data objects depending on the recorded position and position of the static second code (8.2) displayed on the sticker (12) in one of Pl akette (12) associated position, location and / or perspective on the display (1) of the mobile terminal (2) are shown. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Bereitstellen des opto-elektronisch lesbaren ersten Codes (8.1), in welchem die Roboterdaten dynamisch kodiert sind, dadurch erfolgt, dass der erzeugte opto-elektronisch lesbare erste Code (8.1) mittels eines mit der Steuervorrichtung (6) verbundenen Druckers automatisch auf ein separat handhabbares Etikett ausgedruckt wird und das Erfassen des erzeugten und bereitgestellten ersten Codes (8.1) mittels der Kamera (9) des mobilen Endgeräts (2) dadurch erfolgt, dass der auf dem Etikett ausgedruckte erste Code (8.1) von der Kamera (9) des mobilen Endgeräts (2) aufgenommen wird.procedure after claim 1 , characterized in that the provision of the opto-electronically readable first code (8.1), in which the robot data are dynamically encoded, takes place in that the generated opto-electronically readable first code (8.1) is connected by means of a control device (6). printer is automatically printed out on a separately manageable label and the first code (8.1) generated and provided is captured by the camera (9) of the mobile terminal device (2) in that the first code (8.1) printed on the label is captured by the camera (9) of the mobile terminal (2) is recorded. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Plakette (12), auf welcher der zweite Code (8.2), in dem der wenigstens eine Datensatz statisch kodiert dargestellt ist, ergänzt wird durch eine in die Plakette (12) integrierte oder in räumlicher Nähe an die Plakette (12) hinzugefügte Darstellung des ersten dynamischen Codes (8.1), wobei der dynamische erste Code (8.1) und der statische zweite Code (8.2) mittels eines mit der Steuervorrichtung (6) verbundenen Druckers automatisch auf wenigstens ein separat handhabbares Etikett ausgedruckt wurde und ein Erfassen des erzeugten und bereitgestellten dynamischen ersten Codes (8.1) und des statischen zweiten statischen Codes (8.2) mittels der Kamera (9) des mobilen Endgeräts (2) dadurch erfolgt, dass der auf dem wenigstens einen Etikett ausgedruckte dynamische erste Code (8.1) und statische zweite Code (8.2) an seiner Position und Lage auf der Plakette (12) von der Kamera (9) des mobilen Endgeräts (2) gemeinsam aufgenommen wird.procedure after claim 2 , characterized in that the badge (12), on which the second code (8.2), in which the at least one data set is shown statically encoded, is supplemented by an integrated into the badge (12) or in spatial proximity to the badge ( 12) added representation of the first dynamic code (8.1), the dynamic first code (8.1) and the static second code (8.2) being automatically printed out on at least one separately manageable label by means of a printer connected to the control device (6) and recording of the generated and provided dynamic first code (8.1) and the static second static code (8.2) using the camera (9) of the mobile terminal device (2) takes place in that the dynamic first code (8.1) printed on the at least one label and static second code (8.2) is recorded together at its position and location on the badge (12) by the camera (9) of the mobile terminal device (2). Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die in dem ersten Code (8.1) dynamisch kodierten Roboterdaten ein oder mehrere Datenarten umfassen, aus der Gruppe von Datenarten bestehend aus: Schutzräume (13.2) des Roboterarbeitsplatzes (4), Arbeitsräume des Roboterarbeitsplatzes (4), Arbeitsräume des Roboters (5), Sicherheitsfunktionen (13.1) des Roboters (5), Bewegungsparameter (13.1) des Roboters (5), insbesondere eines Werkzeugbezugspunktes des Roboters (5) oder dessen Werkzeugs.Procedure according to one of Claims 1 until 3 , characterized in that the robot data dynamically encoded in the first code (8.1) comprises one or more data types from the group of data types consisting of: protective spaces (13.2) of the robot workstation (4), workspaces of the robot workstation (4), workspaces of the robot (5), safety functions (13.1) of the robot (5), movement parameters (13.1) of the robot (5), in particular a tool reference point of the robot (5) or its tool. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass der dynamische erste Code (8.1) und/oder der statische zweite Code (8.2) als ein Strichcode oder ein Matrixcode ausgeführt sind.Procedure according to one of Claims 1 until 4 , characterized in that the dynamic first code (8.1) and/or the static second code (8.2) are designed as a bar code or a matrix code. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in dem dynamischen ersten Code (8.1) eine URL-Adresse codiert ist, welche auf eine Website verweist, die eingerichtet ist, bei einem Zugriff durch das mobile Endgerät (2), das Starten einer auf dem mobilen Endgerät (2) eingerichteten Applikation zu autorisieren, welche zur Durchführung des Verfahrens zu verwenden ist.Procedure according to one of Claims 1 until 5 , characterized in that a URL address is encoded in the dynamic first code (8.1), which refers to a website that is set up, when accessed by the mobile terminal device (2), starting a web page on the mobile terminal device (2 ) to authorize the application set up to be used to carry out the method. Computerprogrammprodukt aufweisend einen maschinenlesbaren Träger, auf dem Programmcode gespeichert ist, der von einer Steuerung auslesbar ist und der die Steuerung ausbildet und/oder einrichtet, zur Verwendung in einem Verfahren nach einem der Ansprüche 1 bis 6, wenn der Programmcode von der Steuerung ausgeführt wird.Computer program product having a machine-readable carrier on which program code is stored, which can be read by a controller and which forms and/or sets up the controller, for use in a method according to one of Claims 1 until 6 , when the program code is executed by the controller.
DE102020006304.7A 2020-10-14 2020-10-14 Method for overlaying virtual robot data objects and computer program product Active DE102020006304B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102020006304.7A DE102020006304B3 (en) 2020-10-14 2020-10-14 Method for overlaying virtual robot data objects and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102020006304.7A DE102020006304B3 (en) 2020-10-14 2020-10-14 Method for overlaying virtual robot data objects and computer program product

Publications (1)

Publication Number Publication Date
DE102020006304B3 true DE102020006304B3 (en) 2022-01-13

Family

ID=79020571

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020006304.7A Active DE102020006304B3 (en) 2020-10-14 2020-10-14 Method for overlaying virtual robot data objects and computer program product

Country Status (1)

Country Link
DE (1) DE102020006304B3 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447770B1 (en) 2003-02-11 2013-10-09 KUKA Laboratories GmbH Method and apparatus for visualization of computer-based information
DE102015015503A1 (en) 2014-12-08 2016-06-09 Fanuc Corporation A robotic system having an augmented reality compatible display
DE102015224308A1 (en) 2015-12-04 2017-06-08 Kuka Roboter Gmbh Manipulator system and method for identifying operating devices
DE102015209899B4 (en) 2015-05-29 2019-06-19 Kuka Roboter Gmbh Selection of a device or an object with the help of a camera
DE102018109463B3 (en) 2018-04-19 2019-09-19 Yuanda Robotics Gmbh Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device
DE102018207198A1 (en) 2018-05-09 2019-11-14 Kuka Deutschland Gmbh robot mastering
DE102019006800A1 (en) 2018-10-02 2020-04-02 Fanuc Corporation Robot controller and display device using augmented reality and mixed reality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1447770B1 (en) 2003-02-11 2013-10-09 KUKA Laboratories GmbH Method and apparatus for visualization of computer-based information
DE102015015503A1 (en) 2014-12-08 2016-06-09 Fanuc Corporation A robotic system having an augmented reality compatible display
DE102015209899B4 (en) 2015-05-29 2019-06-19 Kuka Roboter Gmbh Selection of a device or an object with the help of a camera
DE102015224308A1 (en) 2015-12-04 2017-06-08 Kuka Roboter Gmbh Manipulator system and method for identifying operating devices
DE102018109463B3 (en) 2018-04-19 2019-09-19 Yuanda Robotics Gmbh Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device
DE102018207198A1 (en) 2018-05-09 2019-11-14 Kuka Deutschland Gmbh robot mastering
DE102019006800A1 (en) 2018-10-02 2020-04-02 Fanuc Corporation Robot controller and display device using augmented reality and mixed reality

Similar Documents

Publication Publication Date Title
DE10034606B4 (en) Method for providing manufacturing-related data in a series production of manufacturing objects, in particular motor vehicles
EP2027699B1 (en) System and method for picture and data upload with a mobile terminal
EP2771747B1 (en) Method for reading in a two-dimensional pattern code and for presenting and using data, a mobile device for carrying out the method, and a method for creating a two-dimensional pattern code
DE102012101676A1 (en) Method and device for processing forms with a data processing system
EP3036692A1 (en) Method for retrieving information regarding the operation, maintenance and/or assembly of a machine
DE102020006304B3 (en) Method for overlaying virtual robot data objects and computer program product
EP2862129B1 (en) Control device for a marking, with a registration and processing module for the marking registration
EP3977225B1 (en) Method for creating an environment map for use in the autonomous navigation of a mobile robot
DE102018132921A1 (en) Method for operating a field device of automation technology in an augmented reality / mixed reality environment
EP3132384B1 (en) The provision of system-specific data
CH688034A5 (en) Pipeline connector moulding containing resistance heating wires with electronic memory and radio transponder
Greiner SAP-Materialwirtschaft-Customizing
WO2010009744A1 (en) Parallel navigation in a plurality of cad models
DE102010064326A1 (en) Monitoring unit e.g. telematics unit, for monitoring e.g. transport container during transportation in logistics area, has transmission module that transmits combination of device and transmission identifiers to central management system
WO2020104263A1 (en) Method, control unit, system and computer program for determining characteristic object points of a target object, and method for the camera-assisted positioning of a motor-driven vehicle
EP3136321A1 (en) Method for transporting objects from an emitter to a receiver by means of a courier
DE102018217834A1 (en) Method and system for operating a detection and display device
EP3755588A1 (en) Method for operating a vehicle washing facility
WO2019121287A1 (en) Method for constructing a pipe system, thereby producing at least one pipe connection
DE202013006216U1 (en) Standard solution for the identification and identification of pets (but also livestock) using two-dimensional code on a flexible, physical information carrier
DE102021131060B3 (en) System and method with a system
DE202015009734U1 (en) Arrangement for the identification of scaffolding parts
DE102016217882B4 (en) Method for operating a printing unit
DE102022213931A1 (en) Modifying images with control of information content
EP3371734B1 (en) Method for providing information in a machine-readable form

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R082 Change of representative

Representative=s name: OELKE, JOCHEN, DR., DE

R020 Patent grant now final