DE102018212944A1 - Procedure to support collaboration between humans and robots using data glasses - Google Patents

Procedure to support collaboration between humans and robots using data glasses Download PDF

Info

Publication number
DE102018212944A1
DE102018212944A1 DE102018212944.4A DE102018212944A DE102018212944A1 DE 102018212944 A1 DE102018212944 A1 DE 102018212944A1 DE 102018212944 A DE102018212944 A DE 102018212944A DE 102018212944 A1 DE102018212944 A1 DE 102018212944A1
Authority
DE
Germany
Prior art keywords
location
data glasses
robot
related information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102018212944.4A
Other languages
German (de)
Inventor
Florian Haug
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102018212944.4A priority Critical patent/DE102018212944A1/en
Publication of DE102018212944A1 publication Critical patent/DE102018212944A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39449Pendant, pda displaying camera images overlayed with graphics, augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter (1) mittels einer Datenbrille (2), zumindest umfassend folgende Schritte:a) Generieren einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den der Roboter (1) an einem bestimmten Ort (3) ausführen soll,b) Übermitteln der ortsbezogenen Information an ein Visualisierungssystem (4), welches die Datenbrille (2) umfasst,c) Visualisieren der ortsbezogenen Information mittels der Datenbrille (2), wenn der bestimmte Ort (3) im Blickfeld (5) durch die Datenbrille (2) liegt.The invention relates to a method for supporting collaboration between humans and robots (1) using data glasses (2), at least comprising the following steps: a) generating location-related information about a planned workflow that the robot (1) at a specific location ( 3) is to be carried out, b) transmitting the location-related information to a visualization system (4) which comprises the data glasses (2), c) visualizing the location-related information by means of the data glasses (2) when the specific location (3) is in view (5 ) through the data glasses (2).

Description

Die Erfindung betrifft ein Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter, ein System zur Unterstützung der Kollaboration zwischen Mensch und Roboter sowie eine Verwendung einer Datenbrille.The invention relates to a method for supporting collaboration between humans and robots, a system for supporting collaboration between humans and robots and the use of data glasses.

Im Kontext der Industrie 4.0 entstehen immer mehr Maschinen bzw. Roboter (im Weiteren werden beide Begriffe zu Roboter zusammengefasst), die eine enge Zusammenarbeit mit dem Menschen ermöglichen. Anstatt klassische Sicherheitsmechanismen zu nutzen wie Käfige, Laser Vorhänge etc. - die den Menschen von dem Roboter trennen und beim Verletzen dieser Trennung einen Notstop des Roboters veranlassen - verwenden diese kollaborativen Roboter Sicherheits-Mechanismen wie Eigensicherheit, Sensorhaut, Arbeitsraumüberwachung etc. die dazu führen, dass ein Mensch im Arbeitsraum des Roboters Aufgaben verrichten kann. Sicherheitseingriffe sind nur nötig falls es zu einer Kollision zwischen beiden Parteien kommen könnte, wie z. B. der Mensch hat seinen Arm innerhalb des Bewegungspfades des Roboters oder seine Hand auf dem Ablageplatz des vom Roboter gegriffenen Objekts. Der Sicherheitseingriff führt aber nicht zu einem dauerhaften Notstop, sondern nur zu einer Pause oder einer alternativen Handlung des Roboters und sobald die auslösende Situation beendet ist, fährt der Roboter mit seiner gewünschten Handlung fort.In the context of Industry 4.0, more and more machines and robots are being created (both terms are summarized below as robots), which enable close cooperation with humans. Instead of using classic safety mechanisms such as cages, laser curtains etc. - which separate the human from the robot and trigger an emergency stop of the robot if this separation is violated - these collaborative robots use safety mechanisms such as intrinsic safety, sensor skin, work area monitoring etc. which lead to that a person can perform tasks in the robot's workspace. Security interventions are only necessary if there could be a collision between the two parties, e.g. B. man has his arm within the path of movement of the robot or his hand on the storage space of the object gripped by the robot. However, the safety intervention does not lead to a permanent emergency stop, but only to a break or an alternative action by the robot and as soon as the triggering situation has ended, the robot continues with its desired action.

Weiterhin existieren Datenbrillen, die es dem Träger ermöglichen der echten Welt virtuelle Informationen wie Text, Objekte etc. zu überlagern. Während diese Brillen für den Konsumermarkt zurzeit keinen Durchbruch erfahren haben, werden sie im professionellen Einsatz immer häufiger verwendet. Beispielsweise können sie sog. Meta-Informationen bei Paketen, in Werkstätten die Anleitung und auf Baustellen den Grundriss des Architekten einblenden.There are also data glasses that enable the wearer to overlay virtual information such as text, objects, etc. on the real world. While these glasses have currently not had a breakthrough for the consumer market, they are being used more and more in professional use. For example, they can display so-called meta information for packages, instructions in workshops and the architect's floor plan on construction sites.

Ein weiterer interessanter Anwendungsfall ist die Unterstützung in der Montage. Hier werden Arbeitsplätze mit Systemen ausgerüstet, die den Menschen bei seiner Arbeit unterstützen indem sie die zum zugehörigen Arbeitsschritt notwendigen Informationen einblenden - dies kann über ein Display geschehen aber auch über eine Datenbrille. So kann z. B. die jetzt notwendige Schraube eingeblendet werden, der Ort wo sie verbaut wird oder mit wieviel Newton-Meter sie angezogen werden muss. Fortgeschrittene Systeme verwenden dazu Tracking-Einheiten die verfolgen können wo sich der Mensch bzw. seine Hand befindet und damit zielgerichtet über einen bekannten, im System hinterlegen Arbeitsablauf Feedback übermitteln können.Another interesting application is the support in assembly. Here, workstations are equipped with systems that support people in their work by showing the information required for the associated work step - this can be done via a display or via data glasses. So z. B. the required screw is shown, the place where it is installed or how many Newton meters it has to be tightened. For this purpose, advanced systems use tracking units that can track where the person or hand is located and can thus provide feedback in a targeted manner via a known workflow stored in the system.

Hiervon ausgehend ist es Aufgabe der vorliegenden Erfindung, die mit Bezug auf den Stand der Technik geschilderten Probleme zumindest teilweise zu lösen. Insbesondere sollen ein Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter sowie ein System zur Unterstützung der Kollaboration zwischen Mensch und Roboter angegeben werden, die jeweils zumindest dazu beitragen, die Zusammenarbeit zwischen Mensch und kollaborativem Roboter zu verbessern.Proceeding from this, it is an object of the present invention to at least partially solve the problems described with reference to the prior art. In particular, a method for supporting collaboration between humans and robots and a system for supporting collaboration between humans and robots are to be specified, each of which at least contribute to improving the collaboration between humans and collaborative robots.

Diese Aufgaben werden gelöst durch die Merkmale der unabhängigen Patentansprüche. Weitere vorteilhafte Ausgestaltungen der hier vorgeschlagenen Lösung sind in den abhängigen Patentansprüchen angegeben. Es ist darauf hinzuweisen, dass die in den abhängigen Patentansprüchen einzeln aufgeführten Merkmale in beliebiger, technologisch sinnvoller, Weise miteinander kombiniert werden können und weitere Ausgestaltungen der Erfindung definieren. Darüber hinaus werden die in den Patentansprüchen angegebenen Merkmale in der Beschreibung näher präzisiert und erläutert, wobei weitere bevorzugte Ausgestaltungen der Erfindung dargestellt werden.These objects are achieved by the features of the independent claims. Further advantageous refinements of the solution proposed here are specified in the dependent claims. It should be pointed out that the features listed individually in the dependent patent claims can be combined with one another in any desired, technologically sensible manner and define further refinements of the invention. In addition, the features specified in the patent claims are specified and explained in more detail in the description, further preferred embodiments of the invention being illustrated.

Hierzu trägt ein Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter mittels einer Datenbrille bei, zumindest umfassend folgende Schritte:

  1. a) Generieren einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den der Roboter an einem bestimmten Ort ausführen soll,
  2. b) Übermitteln der ortsbezogenen Information an ein Visualisierungssystem, welches die Datenbrille umfasst,
  3. c) Visualisieren der ortsbezogenen Information mittels der Datenbrille, wenn der bestimmte Ort im Blickfeld durch die Datenbrille liegt.
A method to support collaboration between humans and robots using data glasses contributes to this, at least comprising the following steps:
  1. a) generating location-related information about a planned workflow that the robot is to carry out at a specific location,
  2. b) transmitting the location-related information to a visualization system which includes the data glasses,
  3. c) Visualizing the location-related information using the data glasses when the specific location is in view through the data glasses.

Die dargestellte Reihenfolge der Verfahrensschritte a), b) und c) ergibt sich in der Regel bei einem regulären Betriebsablauf. Das Verfahren kann mit einem unten vorgeschlagenen System durchgeführt werden. Darüber hinaus ist das unten vorgeschlagene System in vorteilhafter Weise zur Durchführung des hier vorgeschlagenen Verfahrens eingerichtet. Die hier vorgestellte Lösung trägt in vorteilhafter Weise zu einer Verbesserung der Zusammenarbeit zwischen Mensch und kollaborativem Roboter bei, insbesondere durch eine intuitive Darstellung dessen Handlungen bzw. Erwartungen für den Menschen.The sequence of process steps a), b) and c) shown is generally the result of a regular operating sequence. The method can be carried out using a system proposed below. In addition, the system proposed below is advantageously set up to carry out the method proposed here. The solution presented here advantageously contributes to an improvement in the cooperation between humans and collaborative robots, in particular through an intuitive representation of their actions and expectations for humans.

Der Roboter ist in der Regel dazu eingerichtet, dem Menschen (mechanische) Arbeit bzw. Arbeitsschritte abzunehmen. Der Roboter ist üblicherweise steuerbar, insbesondere mittels eines Computerprogramms. In diesem Zusammenhang ist der Roboter insbesondere dazu eingerichtet automatisch und/oder autonom zu operieren, insbesondere geplante Arbeitsschritte auszuführen und/oder Operationen durchzuführen, die sich für ihn aus erfassten Randbedingungen ergeben. Der Roboter kann beispielsweise ortsfest angeordnet oder mobil ausgeführt sein. Der Roboter ist vorzugsweise eine Maschine mit mindestens einem Freiheitsgrad. Somit kann der Roboter in einem einfachen Falle auch eine ausfahrbare Objektablage sein. Bevorzugt kann sich der Roboter mit mindestens zwei oder sogar mindestens drei Freiheitsgraden bewegen. Der Roboter betrifft insbesondere die Aktorik, die die Befehle der Robotiksteuerung bzw. Robotersteuerung entgegen nimmt und zu einer Veränderung der Umwelt des Arbeiters führt. Darüber hinaus kann der Roboter optional ebenfalls Sensorik zur Objekterkennung (wie eine Kamera) umfassen.The robot is usually set up to relieve (mechanical) work or work steps from humans. The robot can usually be controlled, in particular by means of a computer program. In this context, the robot is in particular set up to operate automatically and / or autonomously, in particular to carry out planned work steps and / or to carry out operations that arise for him from recorded boundary conditions. The robot can, for example, be arranged in a stationary manner or be designed to be mobile. The robot is preferably a machine with at least one degree of freedom. Thus, in a simple case, the robot can also be an extendable object rack. The robot can preferably move with at least two or even at least three degrees of freedom. The robot relates in particular to the actuator system, which accepts the commands from the robotics control or robot control and leads to a change in the environment of the worker. In addition, the robot can optionally also include sensors for object detection (such as a camera).

Bei der Datenbrille (im Englischen auch „smartglasses“) handelst es sich insbesondere um einen tragbaren Computer, der Informationen zum Sichtfeld bzw. Blickfeld des Benutzers hinzufügen kann. Die Datenbrille ermöglicht insbesondere eine sog. erweiterte Realität (engl.: „augmented reality“) bzw. eine sog. gemischte Realität (engl.: „mixed reality“). Unter erweiterter Realität versteht man insbesondere die computergestützte Erweiterung der Realitätswahrnehmung. Unter gemischte Realität werden Umgebungen oder Systeme zusammengefasst, die die natürliche Wahrnehmung eines Nutzers mit einer künstlichen (computererzeugten) Wahrnehmung vermischen bzw. überlagern. Neben der hauptsächlich computererzeugten virtuellen Realität sind dies insbesondere Systeme der erweiterten Realität und der erweiterten Virtualität. Die Datenbrille betrifft insbesondere ein System, welches virtuelle Informationen in das Auge des Menschen oder die Brillenoberfläche projizieren kann. Dieses System wird in der Regel von dem Menschen bzw. Arbeiter getragen.The data glasses (in English also “smart glasses”) are in particular a portable computer that can add information to the field of vision or field of vision of the user. The data glasses enable, in particular, a so-called augmented reality or a so-called mixed reality. Augmented reality means in particular the computer-assisted expansion of the perception of reality. Mixed reality encompasses environments or systems that mix or overlay the natural perception of a user with an artificial (computer-generated) perception. In addition to the mainly computer-generated virtual reality, these are in particular systems of augmented reality and augmented virtuality. The data glasses relate in particular to a system which can project virtual information into the human eye or the surface of the glasses. This system is usually carried by the person or worker.

Das Verfahren kann grundsätzlich mit einem oder mehreren Robotern durchgeführt werden. Insbesondere in diesem Zusammenhang können in Schritt a) auch eine oder mehrere ortsbezogene Informationen über einen oder mehrere geplante Arbeitsabläufe, die einer oder mehrere der Roboter an einem oder mehreren bestimmten Orten ausführen sollen, generiert werden. In Schritt b) können insbesondere in diesem Zusammenhang auch mehrere der ortsbezogenen Informationen an ein Visualisierungssystem, welches die Datenbrille umfasst, übermittelt werden. Weiterhin können in Schritt c) insbesondere in diesem Zusammenhang auch eine oder mehrere der ortsbezogenen Informationen mittels der Datenbrille visualisiert werden, wenn einer oder mehrere der bestimmten Orte im Blickfeld durch die Datenbrille liegen.The method can basically be carried out with one or more robots. In this context in particular, one or more location-related information items about one or more planned work processes that one or more of the robots are to perform at one or more specific locations can also be generated in step a). In this context, in step b) in particular, several of the location-related information items can also be transmitted to a visualization system that includes the data glasses. Furthermore, in step c), in particular in this context, one or more of the location-related information items can also be visualized using the data glasses if one or more of the specific locations lie in the field of vision through the data glasses.

In Schritt a) erfolgt ein Generieren einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den der Roboter an einem bestimmten Ort ausführen soll. Die Information über den geplanten Arbeitsablauf wird insbesondere dadurch ortsbezogen, indem sie mit einer Positionsangabe (der Position des bestimmten Orts) verknüpft wird. Bevorzugt umfasst die Information eine Positionsangabe und eine Angabe zum Arbeitsablauf, der an dieser Position durchgeführt werden soll. Die Positionsangabe kann beispielsweise Koordinaten der Position bzw. des bestimmten Orts umfassen. Die Koordinaten können sich beispielsweise auf ein globales Koordinatensystem und/oder ein lokales Koordinatensystems, wie etwa eine Werkshallenkoordinatensystem beziehen. Die Angabe zum Arbeitsablauf ist insbesondere dazu geeignet, einen bestimmten Arbeitsablauf aus einer Vielzahl (vor-)programmierter Arbeitsabläufe des Roboters zu identifizieren bzw. auszuwählen. Ein (vor-)programmierter Arbeitsablauf kann in diesem Zusammenhang beispielsweise eine bestimmte Folge bestimmter Arbeitsschritte umfassen.In step a), location-related information is generated about a planned workflow that the robot is to carry out at a specific location. The information about the planned workflow is particularly location-related in that it is linked to a position specification (the position of the specific location). The information preferably includes a position specification and an indication of the workflow that is to be carried out at this position. The position specification can include, for example, coordinates of the position or of the specific location. The coordinates can relate, for example, to a global coordinate system and / or a local coordinate system, such as a workshop coordinate system. The information on the workflow is particularly suitable for identifying or selecting a specific workflow from a large number of (pre) programmed workflows of the robot. In this context, a (pre-) programmed workflow can include, for example, a certain sequence of certain work steps.

In Schritt b) erfolgt ein Übermitteln der ortsbezogenen Information an ein Visualisierungssystem, welches die Datenbrille umfasst. Das Übermitteln kann kabelgebunden (beispielsweise via LAN) oder drahtlos erfolgen. Bevorzugt erfolgt das Übermitteln mittels eine Funkverbindung, wie etwa WLAN oder Bluetooth. Das Visualisierungssystem kann beispielsweise auch einen Visualisierungsrechner umfassen.In step b), the location-related information is transmitted to a visualization system which comprises the data glasses. The transmission can be wired (for example via LAN) or wireless. The transmission preferably takes place by means of a radio connection, such as WLAN or Bluetooth. The visualization system can also include a visualization computer, for example.

In Schritt c) erfolgt ein Visualisieren der ortsbezogenen Information mittels der Datenbrille, wenn der bestimmte Ort im Sichtfeld bzw. Blickfeld durch die Datenbrille liegt. Dies bedeutet mit anderen Worten insbesondere, dass der Mensch, der die Datenbrille trägt, die ortsbezogene Information (bzw. eine visuelle Information, die auf Basis der ortsbezogenen Information generiert wurde) von der Datenbrille angezeigt bekommt, wenn sein Blick auf den bestimmten Ort gerichtet ist oder der bestimmte Ort zumindest in seinem Sichtfeld bzw. Blickfeld liegt. Vorzugsweise erfolgt in Schritt c) ein Überlagen des Sichtfelds bzw. Blickfelds des Datenbrillenträgers mit einer Visualisierung der ortsbezogenen Information. Dies bedeutet mit anderen Worten insbesondere, dass eine visuelle Information, die auf Basis der ortsbezogenen Information generiert wurde, mittels der Datenbrille zum Sichtfeld bzw. Blickfeld des Benutzers hinzugefügt wird. Diese Hinzufügen erfolgt in vorteilhafter Weise jedoch nur, wenn der bestimmte Ort im Sichtfeld bzw. Blickfeld durch die Datenbrille liegt.In step c) the location-related information is visualized using the data glasses if the specific location lies in the field of vision or field of vision through the data glasses. In other words, this means in particular that the person wearing the data glasses receives the location-related information (or visual information that was generated on the basis of the location-related information) from the data glasses when his gaze is directed at the specific location or the particular location is at least within its field of vision. In step c), the field of vision or field of vision of the data glasses wearer is preferably overlaid with a visualization of the location-related information. In other words, this means in particular that visual information, which was generated on the basis of the location-related information, is added to the user's field of vision or field of vision by means of the data glasses. However, this addition is advantageously only carried out if the specific location lies in the field of vision or field of vision through the data glasses.

Bei einer engen Zusammenarbeit zwischen Mensch und Roboter ist es für den Menschen (hier auch Arbeiter genannt) vorteilhaft, eine Vielzahl von Informationen zu erhalten, wie er mit dem Roboter interagieren soll. Solche Information können z. B. umfassen: Welche Aufgabe bearbeitet der Roboter gerade? Welchen Arbeitsraum benötigt der Roboter bei seiner Aufgabe (d.h. in welchem Bereich sollte sich der Arbeiter gerade nicht aufhalten)? Erwartet der Roboter von dem Arbeiter aktuell etwas?When there is close cooperation between humans and robots, it is advantageous for humans (also called workers here) to receive a large amount of information about how they should interact with the robot. Such information can e.g. B. include: What task is the robot currently working on? Which work area does the robot need for its task (ie in which area should it be? the worker just isn't stopping)? Does the robot currently expect anything from the worker?

Diesen Informationen liegt insbesondere zugrunde, dass sie sich zu jeder Zeit verändern können. Sie können nicht nur abhängig von dem Arbeitsschritt des Arbeiters sein (wie etwa oben hinsichtlich der klassischen Unterstützung in der Montage beschrieben), sondern insbesondere auch von der Aufgabe und dem Verhalten des Roboters. Weiterhin können sie oftmals mit einem Ort verknüpft sein. Beispielsweise ist die Kenntnis des beanspruchten Arbeitsraums des Roboters oder dessen Objektablage-Platz für der Arbeiter gerade dann besonders hilfreich, falls er sich innerhalb dieses Bereichs aufhält bzw. seine Aufmerksamkeit auf diesen Bereich lenkt.This information is based in particular on the fact that it can change at any time. They can depend not only on the work step of the worker (as described above with regard to classic support in assembly), but in particular also on the task and behavior of the robot. Furthermore, they can often be linked to a location. For example, knowledge of the robot's working space or its object storage space is particularly helpful for the worker if he is within this area or draws his attention to this area.

Diese Informationen können grundsätzlich über unterschiedliche Medien bereitgestellt werden, wie etwa: Displays, die z. B. den Arbeitsablauf des Roboters visualisieren; Akustische, visuelle und/oder haptische Signale, welche z. B. einen Bedarf des Roboters signalisieren; Anleitung, wann der Roboter welchen Arbeitsschritt durchführt. Diesen Medien ist aber gemein, dass sie entweder unflexibel sind bzgl. der variablen Handlung des Roboters (z. B. die Anleitung), die Informationen ungefiltert dem Arbeiter präsentieren, ohne dessen Ort bzw. Aufmerksamkeit zu berücksichtigen (z. B. Signale, Displays, Anleitungen) oder eine Ablenkung des Arbeiters von seiner eigentlichen Aufgabe darstellen können (z. B. muss der Arbeiter auf ein Display schauen).This information can in principle be provided via different media, such as: Displays that e.g. B. visualize the workflow of the robot; Acoustic, visual and / or haptic signals, which e.g. B. signal a need of the robot; Instructions on when the robot performs which work step. What these media have in common, however, is that they are either inflexible with regard to the variable action of the robot (e.g. the instructions), which present unfiltered information to the worker without taking his location or attention into account (e.g. signals, displays , Instructions) or a distraction of the worker from his actual job (e.g. the worker has to look at a display).

Demgegenüber erlaubt die hier vorgeschlagenen Lösung in vorteilhafter Weise die Anzeige einer Vielzahl für die Interaktion mit einem Roboter vorteilhaften Informationen (insbesondere aller für die Interaktion mit einem Roboter notwendigen Informationen) mit einer Datenbrille und zwar Ortsbezogen an genau den Stellen wo die Interaktion auch stattfindet bzw. stattfinden soll. Vorzugsweise kann dazu mittels einem Trackingsystem die Blickrichtung der Datenbrille verfolgt und/oder exakt an den Stellen wo eine Interaktion erwartet wird oder eine ungewünschte Interaktion verhindert werden soll virtuelle Informationen in das Sichtfeld der Brille eingeblendet und die Realität damit überlagert werden. Hierbei wird insbesondere auf die grundlegenden Verfahren des Trackings und der virtuellen Überlagerung zurückgegriffen. Besonderer Vorteile der hier vorgestellten Lösung sind die Verknüpfung der Datenbrille mit der Robotersteuerung, um damit eine ortsbezogene und ständig aktualisierte Aufbereitung der sich verändernden Informationen des Roboters während des Arbeitsablaufs zu realisieren und die damit insbesondere einhergehende intuitive Darstellungsform als virtuelles Abbild.In contrast, the solution proposed here advantageously allows the display of a large amount of information which is advantageous for the interaction with a robot (in particular all the information necessary for the interaction with a robot) with data glasses, specifically location-specific at the points where the interaction also takes place or to be held. For this purpose, the viewing direction of the data glasses can preferably be tracked by means of a tracking system and / or exactly at the points where an interaction is expected or an undesired interaction is to be prevented, virtual information is faded into the field of view of the glasses and the reality is thus superimposed. The basic methods of tracking and virtual overlay are used in particular. Particular advantages of the solution presented here are the linking of the data glasses with the robot controller in order to realize a location-based and constantly updated preparation of the changing information of the robot during the workflow and the associated intuitive form of presentation as a virtual image.

Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass in Schritt a) das Generieren (einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den der Roboter an einem bestimmten Ort ausführen soll) mittels einer Robotersteuerung durchgeführt wird. Dies trägt insbesondere dadurch zu einer Verbesserung der Zusammenarbeit zwischen Mensch und kollaborativem Roboter bei, dass ein direkterer Kommunikationsweg vom Roboter zum Menschen bereitgestellt wird. Dies erlaubt in vorteilhafter Weise auch eine schnelle Berücksichtigung von Änderungen im Arbeitsablauf des Roboters.According to an advantageous embodiment, it is proposed that in step a) the generation (location-related information about a planned workflow that the robot is to carry out at a specific location) is carried out by means of a robot controller. This contributes in particular to an improvement in the cooperation between humans and collaborative robots by providing a more direct communication path from the robot to humans. This advantageously also allows changes in the workflow of the robot to be taken into account quickly.

Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass der Arbeitsablauf zumindest eine Objektablage, einen Bewegungsablauf oder eine Objektaufnahme umfasst. Darüber hinaus kann der Arbeitsablauf auch mindestens eine Zustand des Roboters, wie etwa eine Warteposition umfassen.According to an advantageous embodiment, it is proposed that the workflow comprises at least one object storage, a movement sequence or an object recording. In addition, the workflow can also include at least one state of the robot, such as a waiting position.

Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass die ortsbezogene Information eine Information über einen Arbeitsraum des Roboters umfasst. Vorzugsweise kann der beispielsweise für eine Arbeitsablauf, wie etwa eine Objektablage, einen Bewegungsablauf oder eine Objektaufnahme benötigte Arbeitsraum des Roboter als beispielhaft gestrichelter (oder ähnlich markierter) Kasten in der Datenbrille bzw. im Blickfeld (durch die Datenbrille) eingeblendet und/oder mit der Realität visuell überlagert werden. Im Falle einer drei-dimensionalen Darstellung kann der Kasten beispielsweise hin zu einem beispielhaft gestrichelten Raum erweitert werden.According to a further advantageous embodiment, it is proposed that the location-related information includes information about a work area of the robot. Preferably, the work space of the robot, which is required, for example, for a workflow, such as an object storage, a movement sequence or an object recording, can be shown in the data glasses or in the field of vision (through the data glasses) and / or with reality as an example with dashed lines (or similarly marked) be visually overlaid. In the case of a three-dimensional representation, the box can, for example, be expanded to an exemplary dashed space.

Eine oder mehrere der folgenden ortsbezogenen Informationen können mittels der Datenbrille visualisiert werden:

  • • Objektablage: wo möchte der Roboter etwas ablegen und wann möchte er es ablegen. (Dieser Bereich sollte von dem Arbeiter freigeräumt sein.)
  • • Bewegungsablauf: Wie bewegt sich der Roboter in der nächsten Zeit.
  • • Arbeitsraum: welchen Teil des Arbeitsraums wird der Roboter durch den Bewegungsablauf benötigen. (In diesem Bereich sollte sich der Arbeiter oder seine Gliedmaßen nicht aufhalten.)
  • • Objektaufnahme: wo und wann erwartet der Roboter ein (oder mehrere) Objekte und in welcher Lage. (Der Arbeit muss dafür sorgen, dass er dort die erwarteten Objekte innerhalb der erlaubten Toleranz an der richtigen Position und Orientierung ablegt.)
  • • Zustand des Roboters/Endeffektors: Pausiert der Roboter gerade, bewegt er sich, wartet er auf eine Eingabe, etc.
One or more of the following location-related information can be visualized using the data glasses:
  • • Object storage: where does the robot want to store something and when does it want to store it. (This area should be cleared by the worker.)
  • • Movement sequence: How does the robot move in the next time.
  • • Working area: which part of the working area will the robot need due to the movement sequence. (The worker or his limbs should not be in this area.)
  • • Object recording: where and when the robot expects one (or more) objects and in which position. (The work must ensure that it places the expected objects in the correct position and orientation within the permitted tolerance.)
  • • State of the robot / end effector: If the robot is currently pausing, it is moving, waiting for input, etc.

Eine oder mehrere dieser ortsbezogenen Informationen kann der Roboter, insbesondere über seine Robotersteuerung, der Datenbrille zur Verfügung stellen. Diese Informationen sind für eine verbesserte Kollaboration besonders vorteilhaft. The robot can make one or more of these location-related information available to the data glasses, in particular via its robot controller. This information is particularly advantageous for improved collaboration.

Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass die ortsbezogene Information eine Information über ein Objekt umfasst, an dem der Arbeitsablauf durchgeführt werden soll. Die Information kann beispielsweise die Abmaße bzw. Kontur des Objekts, die Ausrichtung des Objekts und/oder die Anzahl an Objekten umfassen. Beispielsweise kann mit einer Silhouette des Objekts der Bereich dargestellt werden, in dem der Roboter gleich ein Objekt ablegen oder aufnehmen soll.According to an advantageous embodiment, it is proposed that the location-related information includes information about an object on which the workflow is to be carried out. The information can include, for example, the dimensions or contour of the object, the orientation of the object and / or the number of objects. For example, a silhouette of the object can be used to represent the area in which the robot is to place or pick up an object.

Weiterhin können in der Datenbrille zusätzliche Metainformationen, wie z. B. die Identifikationsnummer (ID) eines Bauteils oder weitere Verarbeitungsschritte des Arbeiters angezeigt werden. Diese zusätzliche Metainformationen können grundsätzlich auch ohne eine Anbindung an die Robotersteuerung bereitgestellt werden, sondern beispielsweise über abgelegte Datenbanken oder Anleitungen realisiert werden kann.Furthermore, additional meta information, such as e.g. B. the identification number (ID) of a component or further processing steps of the worker are displayed. This additional meta information can in principle also be provided without a connection to the robot controller, but instead can be implemented, for example, via stored databases or instructions.

Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass in Schritt c) eine virtuelle Überlagerung des Blickfelds durch die Datenbrille mit der ortsbezogenen Information erfolgt. Bevorzugt wird die virtuelle Überlagerung von einem Visualisierungsrechner generiert.According to an advantageous embodiment, it is proposed that in step c) the field of vision is virtually overlaid by the data glasses with the location-related information. The virtual overlay is preferably generated by a visualization computer.

Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass in Schritt c) eine dreidimensionale virtuelle Überlagerung des Blickfelds durch die Datenbrille mit der ortsbezogenen Information erfolgt. Eine dreidimensionale virtuelle Überlagerung trägt in vorteilhafter Weise dazu bei, Fehlinterpretationen der Darstellung möglichst zu vermeiden.According to an advantageous embodiment, it is proposed that in step c) there is a three-dimensional virtual overlay of the field of view through the data glasses with the location-related information. A three-dimensional virtual overlay advantageously helps to avoid misinterpretation of the representation as far as possible.

Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass die Position und die Ausrichtung der Datenbrille erfasst werden. Vorzugsweise werden Position und die Ausrichtung der Datenbrille mittels eines sog. Trackingsystems erfasst.According to an advantageous embodiment, it is proposed that the position and the orientation of the data glasses are recorded. The position and the orientation of the data glasses are preferably recorded by means of a so-called tracking system.

Die hier vorgestellte Lösung (ggf. in Form einer ihrer beschriebenen, vorteilhaften Ausgestaltungen) erlaubt insbesondere einen oder mehrere der nachstehend angeführten Vorteile:

  • • Ablenkungsfrei & Fokusorientiert: Der Arbeiter wird nicht mit Informationen überfrachtet, sondern bekommt die für ihn relevanten Informationen nur zur Verfügung gestellt, wenn er seinen Fokus (d.h. seine Blickrichtung) auf den entsprechenden Ort legt - weil er z. B. in seinem Arbeitsablauf jetzt mit dem kollaborierenden Roboter interagieren möchte. Beispielsweise können unterschiedliche Informationen in der Brille virtuell überlagert werden, je nachdem ob der Arbeiter seinen Blick nach links oder rechts wendet.
  • • Intuitive Darstellungsform: Die Informationen werden dem Arbeiter in einer bekannten, natürlichen Repräsentation dargestellt, einem virtualisierten Abbild der physikalischen korrekten Form, der Realität überblendet an exakt der Stelle wo sich etwas bald befinden wird (wie ein Objekt, was der Roboter bald ablegt), wo etwas erwartet wird (wie ein Objekt, welches der Arbeiter ablegen soll) oder wo sich etwas eigentlich unsichtbares befindet (wie der vom Roboter belegte Bereich des Arbeitsraums). Dies über klassische Medien bereitzustellen, würde ein (zu) hohes Maß an Konzentration für den Arbeiter erfordern, da er die gesamte nichttriviale Transformation von dem Medium (wie einem Display) in die Realität in seinem Kopf durchführen müsste.
  • • Eindeutigkeit: Aufgrund der intuitiven Darstellungsform als drei-dimensionale virtuelle Überlagerung kann es zu keiner Fehlinterpretation kommen, da bei Zweifel das Abbild aus verschiedenen Blickwinkeln betrachtet werden kann. Darstellung mittels separatem Display würde immer nur eine Projektion der drei-dimensionalen Szene in einen 2D Raum mit entsprechendem Informationsverlust visualisieren, welcher z. B. bei der Objektlage oder der komplexen drei-dimensionalen Arbeitsraumbelegung des Roboters zu mehreren Interpretationsmöglichkeiten der realen physikalischen drei-dimensionalen Lage führen könnte.
  • • Einschränkungsfrei: Das Tragen einer Datenbrille führt nicht zu Einschränkungen in der Bewegung des Arbeiters - er hat weiterhin seine Hände frei und muss auch nicht ständig ein separates Display im Blick behalten.
  • • Aktualität: Die ständig sich verändernden Roboterinformationen können (nahezu) ohne Verzögerung in der Darstellung aktualisiert werden. Vorzugsweise werden für das virtuelle Erlebnis die Einblendungen mindestens mit 24Hz generiert.
The solution presented here (possibly in the form of one of its advantageous configurations described) allows in particular one or more of the advantages listed below:
  • • Distraction-free & focus-oriented: The worker is not overloaded with information, but only gets the information relevant to him if he puts his focus (ie his direction of vision) on the appropriate place - because he z. B. now wants to interact with the collaborative robot in his workflow. For example, different information can be virtually superimposed in the glasses, depending on whether the worker looks left or right.
  • • Intuitive form of presentation: The information is presented to the worker in a known, natural representation, a virtualized image of the physically correct form, which fades into reality exactly at the point where something will soon be (like an object that the robot will soon put down), where something is expected (like an object that the worker should put down) or where there is something that is actually invisible (like the area of the work area occupied by the robot). Providing this via classic media would require a (too) high level of concentration for the worker, since he would have to do the entire non-trivial transformation from the medium (like a display) to the reality in his head.
  • • Uniqueness: Due to the intuitive form of representation as a three-dimensional virtual overlay, there can be no misinterpretation, since in case of doubt the image can be viewed from different angles. Representation by means of a separate display would only ever visualize a projection of the three-dimensional scene into a 2D space with a corresponding loss of information. B. in the object position or the complex three-dimensional workspace assignment of the robot could lead to several interpretations of the real physical three-dimensional position.
  • • Unrestricted: Wearing data glasses does not lead to restrictions in the movement of the worker - he still has his hands free and does not have to keep an eye on a separate display.
  • • Up-to-dateness: The constantly changing robot information can be updated (almost) without delay in the display. For the virtual experience, the overlays are preferably generated at at least 24 Hz.

Nach einem weiteren Aspekt wird ein System zur Unterstützung der Kollaboration zwischen Mensch und Roboter mittels einer Datenbrille vorgeschlagen, zumindest umfassend:

  • - eine Datenbrille,
  • - eine Robotersteuerung, welche dazu eingerichtet ist eine ortsbezogene Information über einen geplanten Arbeitsablauf des Roboters zu generieren,
  • - einen Visualisierungsrechner, welcher dazu eingerichtet ist unter Verwendung der ortsbezogenen Information eine visuelle Information für die Datenbrille zu generieren.
According to a further aspect, a system for supporting collaboration between humans and robots using data glasses is proposed, at least comprehensively:
  • - data glasses,
  • a robot controller, which is set up to generate location-related information about a planned workflow of the robot,
  • - a visualization computer which is set up to generate visual information for the data glasses using the location-related information.

Die Robotersteuerung ist insbesondere dazu eingerichtet, die (Steuer-) Befehle für den Roboter zu generieren. Weiterhin ist bevorzugt, dass die Robotersteuerung die Arbeitsaufgabe kennt bzw. die Robotersteuerung auf geplante Arbeitsabläufe zugreifen kann. Weiterhin bevorzugt ist die Robotersteuerung dazu eingerichtet eine Objekterkennung auf Basis der Daten der Sensorik des Roboters durchzuführen. Bevorzugt ist die Robotersteuerung dazu eingerichtet, ortsbezogene Informationen, wie etwa eine Information über ein Objekt, beispielsweise umfassend dessen dreidimensionale (Ablage-/Aufnahme-)Position, Orientierung und/oder Form, dem Visualisierungsrechner zur Verfügung zu stellen. In diesem Zusammenhang könne ein mögliches Datenformat z. B. ein (beliebiges) CAD-Format sein.The robot controller is in particular set up to generate the (control) commands for the robot. It is further preferred that the robot controller knows the work task or the robot controller can access planned work processes. Furthermore, the robot controller is preferably set up to carry out object recognition on the basis of the data from the sensor system of the robot. The robot controller is preferably set up to make location-related information, such as information about an object, for example comprising its three-dimensional (storage / recording) position, orientation and / or shape, available to the visualization computer. In this context, a possible data format such. B. be any (any) CAD format.

Der Visualisierungsrechner ist vorzugsweise dazu eingerichtet alle dazustellenden Informationen zusammenzuführen. Weiterhin bevorzugt ist der Visualisierungsrechner dazu eingerichtet mittels der Lage und Blickrichtung der Datenbrille aus beispielsweise einem Trackingsystems und optional einem digitalen Bild der Brille alle darzustellenden Informationen in das aktuelle Sichtfeld des Arbeiters zu transformieren. Zudem ist der Visualisierungsrechner in der Regel dazu eingerichtet die so entstandene Darstellungsform an die Datenbrille zu übermitteln.The visualization computer is preferably set up to bring together all of the information to be provided. Furthermore, the visualization computer is preferably configured to use the position and viewing direction of the data glasses from, for example, a tracking system and optionally a digital image of the glasses to transform all information to be displayed into the current field of vision of the worker. In addition, the visualization computer is usually set up to transmit the resulting form of presentation to the data glasses.

Vorteilhafterweise ist der Visualisierungsrechner weiterhin dazu eingerichtet ständig bzw. wiederholt Informationen von der Robotersteuerung abzugreifen bzw. zu empfangen und/oder auszulesen. Weiterhin ist der Visualisierungsrechner vorzugsweise dazu eingerichtet Positionen und/oder Orientierungen von beispielsweise ortsbezogenen Information, wie etwa Objekten mit Hilfe der Lage & Blickrichtung der Brille in beispielsweise ein Sicht-Koordinatensystem der Bille zu transformieren. Darüber hinaus ist der Visualisierungsrechner vorzugsweise dazu eingerichtet Projektionen der entsprechenden Formen von beispielsweise Objekten in das Auge zu berechnen.Advantageously, the visualization computer is also set up to continuously or repeatedly tap or receive and / or read out information from the robot controller. Furthermore, the visualization computer is preferably set up to transform positions and / or orientations of, for example, location-related information, such as objects, with the aid of the position and viewing direction of the glasses into, for example, a viewing coordinate system of the glasses. In addition, the visualization computer is preferably set up to calculate projections of the corresponding shapes, for example objects, into the eye.

Darüber hinaus kann das System beispielsweise ein Trackingsystem umfassen. Bei dem Trackingsystem handelt es sich in der Regel um ein System, welches die Datenbrille und deren Blickrichtung in der Umgebung des Arbeitsplatzes verfolgt und die Lage der Brille und deren Blickrichtung (Orientierung) dem Visualisierungsrechner übermittelt. Das Trackingsystem und das Koordinatensystem der Robotersteuerung sind vorzugsweise miteinander kalibriert.In addition, the system can include, for example, a tracking system. The tracking system is usually a system that tracks the data glasses and their direction of view in the vicinity of the workplace and transmits the position of the glasses and their direction of view (orientation) to the visualization computer. The tracking system and the coordinate system of the robot controller are preferably calibrated with one another.

Je nach Ausprägung des Systems können beispielsweise Roboter und Robotersteuerung in einer Komponente zusammengefasst werden. Ebenso kann der Visualisierungsrechner und/oder das Trackingsystem in der Datenbrille enthalten sein. Eine Verbindung der Robotersteuerung und des Visualisierungsrechners kann über jede bekannte Datenübertragungstechnologie realisiert werden, wie etwa: LAN, WLAN, Bluetooth etc. Alternativ können die Robotersteuerung und der Visualisierungsrechner beispielsweise in einer Komponente zusammengefasst werden.Depending on the design of the system, robots and robot controls can be combined in one component, for example. The visualization computer and / or the tracking system can also be contained in the data glasses. The robot controller and the visualization computer can be connected using any known data transmission technology, such as: LAN, WLAN, Bluetooth, etc. Alternatively, the robot controller and the visualization computer can be combined in one component, for example.

Nach einem weiteren Aspekt wird eine Verwendung einer Datenbrille vorgeschlagen zum Visualisieren einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den ein Roboter an einem bestimmten Ort ausführen soll, wenn der bestimmte Ort im Blickfeld durch die Datenbrille liegt.According to a further aspect, the use of data glasses is proposed for visualizing location-related information about a planned workflow that a robot is to carry out at a specific location when the specific location lies in the field of vision through the data glasses.

Die im Zusammenhang mit dem Verfahren erörterten Details, Merkmale und vorteilhaften Ausgestaltungen können entsprechend auch bei dem hier vorgestellten System und/oder der Verwendung auftreten und umgekehrt. Insoweit wird auf die dortigen Ausführungen zur näheren Charakterisierung der Merkmale vollumfänglich Bezug genommen.The details, features and advantageous configurations discussed in connection with the method can accordingly also occur in the system and / or use presented here and vice versa. In this respect, full reference is made to the explanations given there for the more detailed characterization of the features.

Die hier vorgestellte Lösung sowie deren technisches Umfeld werden nachfolgend anhand der Figuren näher erläutert. Es ist darauf hinzuweisen, dass die Erfindung durch die gezeigten Ausführungsbeispiele nicht beschränkt werden soll. Insbesondere ist es, soweit nicht explizit anders dargestellt, auch möglich, Teilaspekte der in den Figuren erläuterten Sachverhalte zu extrahieren und mit anderen Bestandteilen und/oder Erkenntnissen aus anderen Figuren und/oder der vorliegenden Beschreibung zu kombinieren. Es zeigen schematisch:

  • 1: einen Ablauf eines hier vorgestellten Verfahrens,
  • 2: eine Veranschaulichung einer Ausführungsform des hier vorgestellten Verfahrens,
  • 3: eine Veranschaulichung einer weiteren Ausführungsform des hier vorgestellten Verfahrens, und
  • 4: ein hier vorgeschlagenes System.
The solution presented here and its technical environment are explained in more detail below with reference to the figures. It should be pointed out that the invention is not intended to be limited by the exemplary embodiments shown. In particular, unless explicitly stated otherwise, it is also possible to extract partial aspects of the facts explained in the figures and to combine them with other components and / or knowledge from other figures and / or the present description. They show schematically:
  • 1 : a sequence of a procedure presented here,
  • 2 : an illustration of an embodiment of the method presented here,
  • 3 : an illustration of a further embodiment of the method presented here, and
  • 4 : a system proposed here.

1 zeigt schematisch einen Ablauf eines hier vorgestellten Verfahrens. Das Verfahren dient zur Unterstützung der Kollaboration zwischen Mensch und Roboter mittels einer Datenbrille. Die dargestellte Reihenfolge der Verfahrensschritte a), b) und c) mit den Blöcken 110, 120 und 130 ergibt sich in der Regel bei einem regulären Betriebsablauf. In Block 110 erfolgt ein Generieren einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den der Roboter an einem bestimmten Ort ausführen soll. In Block 120 erfolgt ein Übermitteln der ortsbezogenen Information an ein Visualisierungssystem, welches die Datenbrille umfasst. In Block 130 erfolgt ein Visualisieren der ortsbezogenen Information mittels der Datenbrille, wenn der bestimmte Ort im Blickfeld durch die Datenbrille liegt. 1 shows schematically a sequence of a method presented here. The method is used to support collaboration between humans and robots using data glasses. The sequence of process steps a), b) and c) shown with the blocks 110 . 120 and 130 usually results from a regular operating procedure. In block 110 location-related information is generated about a planned workflow that the robot is to carry out at a specific location. In block 120 the location-related information is transmitted to a visualization system which includes the data glasses. In block 130 the location-related information is visualized using the data glasses when the specific location is in view through the data glasses.

2 zeigt schematisch eine Veranschaulichung einer Ausführungsform des hier vorgestellten Verfahrens. 2 veranschaulicht eine geplante Objektablage eines Objekts 8 durch den linken Roboter 1. Somit umfasst der geplante Arbeitsablauf hier beispielhaft eine Objektablage. 2 shows schematically an illustration of an embodiment of the method presented here. 2 illustrates a planned object storage of an object 8th through the left robot 1 , Thus, the planned workflow here includes, for example, object storage.

In diesem Zusammenhang veranschaulicht 2 mögliche Darstellungsformen der virtuell überlagerten ortsbezogenen Informationen durch die Datenbrille 2. Links ist mit einem Pfeil der Bewegungsablauf des linken kollaborativen Roboters 1 in den nächsten Sekunden dargestellt sowie als gestrichelter Kasten der dazu benötigte Arbeitsraum 7. Dies ist ein Beispiel dafür, dass die ortsbezogene Information (auch) eine Information über einen Arbeitsraum 7 des Roboters 1 umfassen kann und wie diese Information visualisiert werden kann.Illustrated in this context 2 Possible forms of representation of the virtually overlaid location-related information through the data glasses 2 , With an arrow on the left is the movement sequence of the left collaborative robot 1 displayed in the next few seconds as well as a dashed box the required work space 7 , This is an example of the fact that the location-related information (also) is information about a work space 7 of the robot 1 can include and how this information can be visualized.

Weiterhin ist mit einer Silhouette des Objekts 8 der Bereich dargestellt, wo der Roboter 1 gleich ein Objekt 8 ablegen wird. Dies ist ein Beispiel dafür, dass und wie die ortsbezogene Information eine Information über ein Objekt 8 umfassen kann, an dem der Arbeitsablauf durchgeführt werden soll. Diese Informationen werden exakt so in die Datenbrille 2 eingeblendet, dass sie für den Betrachter an der Stelle erscheinen, wo sie sich in der Realität befinden würden. Somit erfolgt hier eine beispielhafte virtuelle Überlagerung des Blickfelds 5 durch die Datenbrille 2 mit der ortsbezogenen Information.It also features a silhouette of the object 8th represented the area where the robot 1 an object 8th will drop. This is an example of that and how the location-related information is information about an object 8th may include where the workflow is to be performed. This information is exactly like that in the data glasses 2 shows that they appear to the viewer where they would be in reality. Thus, an exemplary virtual overlay of the field of view takes place here 5 through the data glasses 2 with the location-related information.

Die Identifikationsnummer (ID) 12 des Objekts 8 ist ebenfalls dargestellt. Die ID ist ein Beispiel für eine Metainformation die zusätzlich durch dir Datenbrille 2 angezeigt werden kann.The identification number (ID) 12 of the object 8th is also shown. The ID is an example of meta information that is additionally provided by data glasses 2 can be displayed.

Darüber hinaus wird hier beispielhaft die Position und die Ausrichtung der Datenbrille 2 erfasst. Hierzu ist ein Trackingsystem 11 vorgesehen. Das Trackingsystem 11 weist gemäß der Darstellung nach 2 eine ortsfeste Komponente und eine mit der Datenbrille 2 verbunden Komponente auf.In addition, the position and orientation of the data glasses are shown here as examples 2 detected. There is a tracking system for this 11 intended. The tracking system 11 demonstrates as shown 2 a fixed component and one with smart glasses 2 connected component on.

3 zeigt schematisch eine Veranschaulichung einer weiteren Ausführungsform des hier vorgestellten Verfahrens. Die Bezugszeichen werden einheitlich verwendet, sodass auf die vorstehenden Ausführungen zur 2 vollumfänglich Bezug genommen werden kann. 3 shows schematically an illustration of a further embodiment of the method presented here. The reference symbols are used uniformly, so that reference is made to the above statements 2 full reference can be made.

Blickt der Arbeiter auf die gegenüberliegende Seite seines Arbeitsplatzes werden ihm in diesem Beispiel die Informationen eines anderen, gemäß der Darstellung nach 3 rechten kollaborativen Roboters 1 eingeblendet. In diesem Fall wird mit einer gelben Sanduhr 13 der Zustand des Roboters (wartend) sowie der Grund der Pause: er erwartet drei Objekte 8 an den dargestellten Positionen mit der dargestellten Orientierung und der angezeigten ID 12. Somit veranschaulicht 3 eine geplante Objektaufnahme dreier Objekte 8 durch den rechten Roboter 1. Weiterhin ist zu erkennen, dass der Roboter schon ein Objekt 8 erkannt hat, nämlich das ausgefüllte linke Objekt 8.In this example, if the worker looks at the opposite side of his workplace, the information of another person is displayed 3 right collaborative robot 1 appears. In this case, a yellow hourglass 13 the state of the robot (waiting) and the reason for the break: it expects three objects 8th at the positions shown with the orientation and ID shown 12 , Thus illustrated 3 a planned object recording of three objects 8th by the right robot 1 , It can also be seen that the robot is already an object 8th recognized, namely the filled left object 8th ,

4 zeigt schematisch ein hier vorgeschlagenes System 9. Das System 9 dient zur Unterstützung der Kollaboration zwischen Mensch und Roboter 1 mittels einer Datenbrille 2. Das System 9 umfasst dementsprechend einen Roboter 1 und eine Datenbrille 2. Weiterhin umfasst das System 9 eine Robotersteuerung 6, welche dazu eingerichtet ist eine ortsbezogene Information über einen geplanten Arbeitsablauf des Roboters 1 zu generieren. Zudem umfasst das System 9 einen Visualisierungsrechner 10, welcher dazu eingerichtet ist unter Verwendung der ortsbezogenen Information eine visuelle Information für die Datenbrille 2 zu generieren. 4 schematically shows a system proposed here 9 , The system 9 serves to support collaboration between humans and robots 1 using data glasses 2 , The system 9 accordingly includes a robot 1 and smart glasses 2 , The system also includes 9 a robot controller 6 , which is set up to provide location-related information about a planned workflow of the robot 1 to generate. The system also includes 9 a visualization computer 10 , which is set up using the location-related information, visual information for the data glasses 2 to generate.

Beispielhaft umfasst das System 9 hier auch ein Trackingsystem 11, das dem Visualisierungsrechner 10 Informationen über die Position und Ausrichtung der Datenbrille 2 bereitstellt. Die Datenbrille 2 und der Visualisierungsrechner 10 bilden hier beispielhaft ein Visualisierungssystem 4.The system includes examples 9 here is also a tracking system 11 that the visualization computer 10 Information about the position and orientation of the smart glasses 2 provides. The data glasses 2 and the visualization computer 10 form a visualization system here as an example 4 ,

Hier vorgeschlagen werden (somit) ein Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter sowie ein System zur Unterstützung der Kollaboration zwischen Mensch und Roboter, welche die mit Bezug auf den Stand der Technik geschilderten Probleme zumindest teilweise lösen. Insbesondere werden ein Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter sowie ein System zur Unterstützung der Kollaboration zwischen Mensch und Roboter angegeben, die jeweils zumindest dazu beitragen, die Zusammenarbeit zwischen Mensch und kollaborativem Roboter zu verbessern.A method for supporting collaboration between humans and robots and a system for supporting collaboration between humans and robots, which at least partially solve the problems described in relation to the prior art, are proposed here. In particular, a method for supporting collaboration between humans and robots and a system for supporting collaboration between humans and robots are specified, each of which at least contribute to improving the collaboration between humans and collaborative robots.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Roboterrobot
22
Datenbrilledata glasses
33
Ortplace
44
Visualisierungssystemvisualization system
55
Blickfeldfield of vision
66
Robotersteuerungrobot control
77
Arbeitsraumworking space
88th
Objektobject
99
Systemsystem
1010
VisualisierungsrechnerDisplay computer
1111
Trackingsystemtracking system
1212
IdentifikationsnummerIdentification Number
1313
Sanduhrhourglass

Claims (10)

Verfahren zur Unterstützung der Kollaboration zwischen Mensch und Roboter (1) mittels einer Datenbrille (2), zumindest umfassend folgende Schritte: a) Generieren einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den der Roboter (1) an einem bestimmten Ort (3) ausführen soll, b) Übermitteln der ortsbezogenen Information an ein Visualisierungssystem (4), welches die Datenbrille (2) umfasst, c) Visualisieren der ortsbezogenen Information mittels der Datenbrille (2), wenn der bestimmte Ort (3) im Blickfeld (5) durch die Datenbrille (2) liegt.Method for supporting collaboration between humans and robots (1) using data glasses (2), at least comprising the following steps: a) generating location-related information about a planned workflow that the robot (1) is to carry out at a specific location (3), b) transmitting the location-related information to a visualization system (4) which comprises the data glasses (2), c) Visualizing the location-related information using the data glasses (2) when the specific location (3) is in the field of view (5) through the data glasses (2). Verfahren nach Anspruch 1, wobei in Schritt a) das Generieren mittels einer Robotersteuerung (6) durchgeführt wird.Procedure according to Claim 1 , wherein in step a) the generation is carried out by means of a robot controller (6). Verfahren nach Anspruch 1 oder 2, wobei der Arbeitsablauf zumindest eine Objektablage, einen Bewegungsablauf oder eine Objektaufnahme umfasst.Procedure according to Claim 1 or 2 , wherein the workflow comprises at least one object storage, a movement sequence or an object recording. Verfahren nach einem der vorhergehenden Ansprüche, wobei die ortsbezogene Information eine Information über einen Arbeitsraum (7) des Roboters (1) umfasst.Method according to one of the preceding claims, wherein the location-related information comprises information about a work space (7) of the robot (1). Verfahren nach einem der vorhergehenden Ansprüche, wobei die ortsbezogene Information eine Information über ein Objekt (8) umfasst, an dem der Arbeitsablauf durchgeführt werden soll.Method according to one of the preceding claims, wherein the location-related information comprises information about an object (8) on which the workflow is to be carried out. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt c) eine virtuelle Überlagerung des Blickfelds (5) durch die Datenbrille (2) mit der ortsbezogenen Information erfolgt.Method according to one of the preceding claims, wherein in step c) there is a virtual overlay of the field of view (5) by the data glasses (2) with the location-related information. Verfahren nach einem der vorhergehenden Ansprüche, wobei in Schritt c) eine dreidimensionale virtuelle Überlagerung des Blickfelds (5) durch die Datenbrille (2) mit der ortsbezogenen Information erfolgt.Method according to one of the preceding claims, wherein in step c) there is a three-dimensional virtual overlay of the field of view (5) through the data glasses (2) with the location-related information. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Position und die Ausrichtung der Datenbrille (2) erfasst werden.Method according to one of the preceding claims, wherein the position and the orientation of the data glasses (2) are detected. System (9) zur Unterstützung der Kollaboration zwischen Mensch und Roboter (1) mittels einer Datenbrille (2), zumindest umfassend: - eine Datenbrille (2), - eine Robotersteuerung (6), welche dazu eingerichtet ist eine ortsbezogene Information über einen geplanten Arbeitsablauf des Roboters (1) zu generieren, - einen Visualisierungsrechner (10), welcher dazu eingerichtet ist unter Verwendung der ortsbezogenen Information eine visuelle Information für die Datenbrille (2) zu generieren.System (9) to support collaboration between humans and robots (1) using data glasses (2), at least comprising: - data glasses (2), a robot controller (6), which is set up to generate location-related information about a planned workflow of the robot (1), - A visualization computer (10) which is set up to generate visual information for the data glasses (2) using the location-related information. Verwendung einer Datenbrille (2) zum Visualisieren einer ortsbezogenen Information über einen geplanten Arbeitsablauf, den ein Roboter (1) an einem bestimmten Ort (3) ausführen soll, wenn der bestimmte Ort (3) im Blickfeld (5) durch die Datenbrille (2) liegt.Use of data glasses (2) for visualizing location-related information about a planned workflow that a robot (1) is to carry out at a specific location (3) when the specific location (3) is in view (5) through the data glasses (2) lies.
DE102018212944.4A 2018-08-02 2018-08-02 Procedure to support collaboration between humans and robots using data glasses Pending DE102018212944A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018212944.4A DE102018212944A1 (en) 2018-08-02 2018-08-02 Procedure to support collaboration between humans and robots using data glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018212944.4A DE102018212944A1 (en) 2018-08-02 2018-08-02 Procedure to support collaboration between humans and robots using data glasses

Publications (1)

Publication Number Publication Date
DE102018212944A1 true DE102018212944A1 (en) 2020-02-06

Family

ID=69168326

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018212944.4A Pending DE102018212944A1 (en) 2018-08-02 2018-08-02 Procedure to support collaboration between humans and robots using data glasses

Country Status (1)

Country Link
DE (1) DE102018212944A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115847428A (en) * 2023-02-20 2023-03-28 中国信息通信研究院 AR technology-based mechanical assembly auxiliary guide system and method
EP4213086A1 (en) * 2022-01-14 2023-07-19 Sick Ag Augmented reality system for teaching a user of an application

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4213086A1 (en) * 2022-01-14 2023-07-19 Sick Ag Augmented reality system for teaching a user of an application
DE102022100840A1 (en) 2022-01-14 2023-07-20 Sick Ag AUGMENTED REALITY SYSTEM FOR TEACHING A USER OF AN APPLICATION
CN115847428A (en) * 2023-02-20 2023-03-28 中国信息通信研究院 AR technology-based mechanical assembly auxiliary guide system and method

Similar Documents

Publication Publication Date Title
DE102018109463C5 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user using a mobile display device
DE102019002898B4 (en) robot simulation device
EP1447770B1 (en) Method and apparatus for visualization of computer-based information
DE102016120763B4 (en) Method for collision-free motion planning
DE102006007623B4 (en) Robot with a control unit for controlling a movement between an initial pose and an end pose
EP1906281A1 (en) Method and system for designing and verifying safety areas of an industrial robot
DE102010036499A1 (en) Tool vector display device for a machine tool with a rotation axis
EP2285537A1 (en) Device and method for the computer-assisted generation of a manipulator track
EP3546136B1 (en) Augmented reality system
DE112017002498T5 (en) ROBOT PROCESS EVALUATION DEVICE, ROBOT PROCESS EVALUATION METHOD AND ROBOT SYSTEM
EP1362281A2 (en) User-controlled link of information within an augmented reality system
DE102020000390B4 (en) robotic system
WO2021186068A1 (en) Determination of safety zones around an automatically operating machine
DE102005011126A1 (en) Generation of virtual worlds based on a real environment
EP3974125B1 (en) Method and device for controlling a robot
DE102015015093A1 (en) Robot programming device for instructing a robot for machining
DE102005058240A1 (en) Tracking system and method for determining poses
DE102019103349B3 (en) Industrial robot system and method for controlling an industrial robot
WO2020126240A1 (en) Method for operating an automation technology field device in an augmented-reality/mixed-reality environment
DE102018212944A1 (en) Procedure to support collaboration between humans and robots using data glasses
DE102010008240B4 (en) Method for operating a multi-axis, preferably six-axis, robot
DE102004021379B4 (en) Operating and monitoring system for industrial plants and processes
EP3418839B1 (en) Method for monitoring an automation assembly
EP2753951A1 (en) Interaction with a three-dimensional virtual scenario
DE102015012344A1 (en) Method for calibrating a camera

Legal Events

Date Code Title Description
R012 Request for examination validly filed