DE102021131028A1 - Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität - Google Patents

Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität Download PDF

Info

Publication number
DE102021131028A1
DE102021131028A1 DE102021131028.8A DE102021131028A DE102021131028A1 DE 102021131028 A1 DE102021131028 A1 DE 102021131028A1 DE 102021131028 A DE102021131028 A DE 102021131028A DE 102021131028 A1 DE102021131028 A1 DE 102021131028A1
Authority
DE
Germany
Prior art keywords
robot
person
wearable
display
feedback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021131028.8A
Other languages
English (en)
Inventor
Wai Yang Chan
Geng Yang
Boon Siew Han
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schaeffler Technologies AG and Co KG
Original Assignee
Schaeffler Technologies AG and Co KG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schaeffler Technologies AG and Co KG filed Critical Schaeffler Technologies AG and Co KG
Priority to DE102021131028.8A priority Critical patent/DE102021131028A1/de
Publication of DE102021131028A1 publication Critical patent/DE102021131028A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/113Recognition of static hand signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

Die vorliegende Erfindung betrifft Verfahren zur Mensch-Roboter-Interaktion. In einer Ausführungsform umfasst das Verfahren einen Hinderniserkennungsschritt, in dem ein Sensorsystem (101) eine Gefahrensituation zwischen einem Roboter (100) und einer Person (99) erkennt, und einen Rückmeldungsschritt, in dem in Antwort auf das Erkennen der Gefahrensituation ein Steuersignal an eine der Person (99) zugeordnete tragbare Augmented Reality (AR)-Vorrichtung (103) gesendet wird. Das Steuersignal kann konfiguriert sein, Rückmeldungsinformationen in Bezug auf die Gefahrensituation auf einer Anzeige der tragbaren AR-Vorrichtung (103) darzustellen.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft allgemein das technische Gebiet der Mensch-Roboter-Interaktion und insbesondere Verfahren und Systeme zur verbesserten Mensch-Roboter-Kommunikation mittels Techniken der erweiterten Realität.
  • HINTERGRUND
  • Moderne Roboter haben vielfältige Anwendungen, beispielsweise im industriellen Umfeld (z.B. Automobilfertigung) oder der Medizin. Industrieroboter sind als programmierbare Maschinen zur Handhabung, Montage oder Bearbeitung von Werkstücken allgemein bekannt und werden in einer Vielzahl von industriellen Prozessen verwendet. Sie sind essenzieller Bestandteil der fortschreitenden Automatisierung und Digitalisierung im Rahmen der sogenannten Industrie 4.0.
  • Industrieroboter können mobil oder ortsfest eingesetzt werden und weisen typischerweise mehrere (insbesondere drei oder mehr) frei programmierbare Achsen auf, die zur Handhabung von Objekten mit entsprechenden Greifern oder Werkzeugen ausgerüstet sind. Solche Roboter umfassen im Allgemeinen einen mehrgliedrigen Manipulator (Roboterarm), welcher am distalen Ende einen Greifer oder Werkzeuge (Endeffektoren) führen kann, eine Steuereinrichtung sowie Antriebsmittel zum Bewegen des Manipulators. Oftmals wird sowohl der Antrieb als auch der Manipulator mittels Sensoren überwacht, was der Steuerung und Regelung des Antriebs dient. Der Antrieb kann beispielsweise ein elektrischer Antrieb sein, der eine Leistungselektronik und einen elektrischen Motor umfasst.
  • Bei bestimmten industriellen Arbeitsschritten kann es notwendig sein, dass eine Person mit einem Industrieroboter interagiert, was allgemein als „Mensch-Roboter-Interaktion“ bzw. MRI bezeichnet wird (siehe z.B. „Mensch-Roboter-Interaktion - Eine Taxonomie für alle Anwendungsfälle“ der Bundesanstalt für Arbeitsschutz und Arbeitsmedizin, Juni 2016, DOI: 10.21934/baua:fokus20160630). Dies betrifft sowohl klassische Industrieroboter als auch vermehrt Anwendung findende kollaborative Roboter, sogenannte Cobots („Collaborative Robot“). Hierbei handelt es sich im Allgemeinen um relativ klein, leicht und einfach zu montierende Roboter, die für eine enge bzw. unmittelbare Zusammenarbeit mit dem Menschen konfiguriert sind und somit die Vorteile der menschlichen Flexibilität und der maschinellen Produktivität vereinen sollen.
  • Unabhängig von Größe, Bauart oder Einsatzzweck des Roboters ist es bei MRI-Anwendungen notwendig, die Bewegung des Roboters an die Interaktion mit der Person anzupassen. Insbesondere muss der Roboter so gesteuert werden, dass Gefahr bringende Bewegungen verhindert werden, um die Person nicht zu gefährden. Sicherheitslösungen für die Mensch-Roboter-Interaktion müssen dabei vielfältige Anforderungen erfüllen, beispielsweise das in Betracht ziehen von oftmals unvorhersehbaren Bewegungen des Menschen oder die algorithmische Verarbeitung in Echtzeit (bzw. Nahezu-Echtzeit).
  • Das Patent US 9,902,061 B1 mit dem Titel „Robot to human feedback“ offenbart ein Robotersystem mit Feedbackfunktion. Das Robotersystem kann seine Umgebung erfassen und ein mit seiner aktuellen Aufgabe einhergehendes Sicherheitsniveau feststellen. Falls erforderlich, kann das Robotersystem Rückmeldungen an einen Menschen geben, z.B. durch visuelle oder akustische Rückmeldung, Gesten oder Benachrichtigungen an einen Computer oder Smartphone. Die visuelle Rückmeldung kann im einfachsten Fall durch Lampen am Roboter erfolgen. Alternativ kann am Kopf des Roboters ein Tablet-Computer verbaut sein, über den der Roboter Gefühle ausdrücken und seinen Status anzeigen kann. Ferner kann der Roboter einen Projektor aufweisen, mit dem er die visuelle Rückmeldung auf eine Oberfläche projiziert.
  • Das Patent US 9,272,418 B1 mit dem Titel „System and method for flexible human-machine collaboration“ offenbart ein System zur Mensch-Maschine-Kollaboration. Ein Benutzer kann in einer Virtual Reality (VR)-Umgebung mit einem Avatar des Roboters interagieren, um Bewegungstrajektorien zu definieren. Beispielsweise kann der Benutzer mit einer VR-Brille ausgestattet ein virtuelles Werkzeug im VR-Raum bedienen, wodurch der Roboter eine entsprechende Bewegung mit dem entsprechenden Werkzeug lernt.
  • Die Patentanmeldung CN 108127673 A offenbart ein kontaktloses Roboter-Mensch-Interaktionssystem mit Multi-Sensor-Integration, mit welchem der Roboter durch Arm- und Handgesten gesteuert werden kann.
  • Die oben genannten Ansätze erlauben zwar zumindest teilweise eine Rückmeldung des Roboters an die Bedienperson, die Rückmeldungsmöglichkeiten sind bzw. deren Effekt ist jedoch relativ begrenzt. Zum Beispiel kann eine am Roboter verbaute Signallampe oder ein Display in manchen Situationen von der Bedienperson erst wahrgenommen werden, nachdem diese dem Roboter bereits gefährlich nahegekommen ist. Ein Projizieren von Rückmeldungen auf eine Oberfläche durch den Roboter hingegen kann von der Bedienperson leicht übersehen werden bzw. es erfordert im Allgemeinen eine gewisse Vertrautheit mit dem System bzw. eine Einarbeitungsphase, damit die Bedienperson die Projektion tatsächlich dem Roboter zuordnet und so die Rückmeldung überhaupt als solche wahrnehmen kann.
  • Es ist deshalb eine Aufgabe der vorliegenden Erfindung, verbesserte Techniken für die Mensch-Roboter-Interaktion, insbesondere intuitivere und damit sicherere Rückmeldungsmöglichkeiten vom Roboter zur Bedienperson, bereitzustellen und damit die oben genannten Nachteile des Standes der Technik zumindest zum Teil zu überwinden.
  • ZUSAMMENFASSUNG
  • Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. In einer Ausführungsform wird ein Verfahren zur Mensch-Roboter-Interaktion bereitgestellt, das einen Hinderniserkennungsschritt und einen Rückmeldungsschritt umfasst. Im Hinderniserkennungsschritt kann ein Sensorsystem eine Gefahrensituation zwischen einem Roboter und einer Person erkennen, insbesondere eine drohende Kollision. Im Rückmeldungsschritt kann in Antwort auf das Erkennen der Gefahrensituation ein Steuersignal an eine der Person zugeordnete tragbare Augmented Reality (AR)-Vorrichtung gesendet werden. Das Steuersignal kann dabei so konfiguriert sein, um Rückmeldungsinformationen in Bezug auf die Gefahrensituation auf einer Anzeige der tragbaren AR-Vorrichtung darzustellen.
  • Hierdurch wird eine besonders nahtlose Mensch-Roboter-Interaktion ermöglicht. Denn durch die Hinderniserkennung kann sich das Robotersystem auf die Bedienperson einstellen und durch die Rückmeldungsinformationen kann sich umgekehrt die Bedienperson auf das Robotersystem einstellen. Hierdurch entsteht effektiv ein geschlossener Regelkreis zwischen Mensch und Roboter, was im Ergebnis zu einer sicheren, effizienten und vertrauenswürdigen Mensch-Roboter-Kollaboration beiträgt.
  • Die Verwendung von Augmented Reality ist hier besonders vorteilhaft, da sie das Einblenden der Rückmeldungsinformationen ermöglicht ohne die Person vollständig (wie bei Virtual Reality) von der Außenwelt abzuschotten. Somit behält der Mensch stets die Kontrolle über sein Umfeld.
  • Ferner ist das Feedback mittels einer tragbaren AR-Vorrichtung besonders immersiv, d.h. es kann von der Person besonders schnell und intuitiv aufgenommen werden. In anderen Worten wirkt das Feedback über die AR-Technologie und die damit einhergehende sehr realistische Überblendung der Wirklichkeit mit Zusatzinformationen (soweit wie möglich) direkt an die physiologische Perzeption und weniger an die kognitive Wahrnehmung. Zwischen Mensch Maschine wird hierdurch gewissermaßen eine direkte Verbindung hergestellt.
  • Die Rückmeldungsinformationen können beispielsweise Informationen zur Darstellung einer gegenwärtigen Bewegungstrajektorie des Roboters auf der Anzeige der tragbaren AR-Vorrichtung umfassen. Hierdurch hat die Person stets einen guten Überblick über den Aktionsradius des Roboters und kann ihr Verhalten entsprechend anpassen.
  • Das Verfahren kann auch einen Kollisionsverhinderungsschritt umfassen, in dem der Roboter auf eine sichere, insbesondere kollisionsfreie, Bewegungstrajektorie wechselt. Dann kann die Rückmeldungsinformationen Informationen zur Darstellung der sicheren Bewegungstrajektorie auf der Anzeige der tragbaren AR-Vorrichtung umfassen. Hierdurch wird nicht nur die Kollision verhindert, sondern die Person bekommt auch direkt vermittelt, wie sich der Roboter von nun an bewegen wird.
  • Alternativ oder zusätzlich können die Rückmeldungsinformationen auch Informationen zur Darstellung zumindest einer den Roboter umgebenden Sicherheitsgrenze auf der Anzeige der tragbaren AR-Vorrichtung umfassen. Hierdurch entsteht ein virtueller Sicherheitskäfig um den Roboter herum, der in der AR-Vorrichtung sichtbar ist. Durch ein Echtzeit-Rendering der virtuellen Sicherheitsgrenze auch während sich die Person im Raum bewegt wird eine sehr realistische Sicherheitsbegrenzung geschaffen.
  • Die zumindest eine Sicherheitsgrenze kann durch Einfärben eines entsprechenden Fußbodenabschnitts auf der Anzeige der tragbaren AR-Vorrichtung dargestellt werden. Hierdurch wird die Darstellung der Sicherheitsgrenze besonders immersiv und erschließt sich der Person intuitiv und zuverlässig.
  • Die zumindest eine Sicherheitsgrenze kann beispielsweise einen ersten, einen zweiten und einen dritten Sicherheitsbereich definieren. Der erste Sicherheitsbereich kann in einer ersten Farbe (z.B. grün) dargestellt werden, wenn der Abstand zwischen Person und Roboter einen ersten Wert erreicht oder überschreitet (z.B. ca. 1,5 Meter). Der zweite Sicherheitsbereich kann in einer zweiten Farbe (z.B. gelb) dargestellt werden, wenn der Abstand zwischen Person und Roboter in einem Zwischenbereich liegt (d.h. zwischen einem zweiten Wert, der kleiner als der erste Wert ist, und dem ersten Wert liegt, z.B. ca. 1 bis 1,5 Meter). Der dritte Sicherheitsbereich kann in einer dritten Farbe (z.B. rot) dargestellt werden, wenn der Abstand zwischen Person und Roboter weniger als ein Minimalabstand beträgt (d.h. den zweiten Wert erreicht oder unterschreitet, z.B. ca. 1 Meter). Hierdurch wird ein fein abgestufter Sicherheitsbereich um den Roboter herum aufgespannt, was zu erhöhter Sicherheit beiträgt.
  • Beim Übergang der Person zwischen Sicherheitsbereichen kann die dargestellte Farbe sich graduell ändern. Hierdurch wird die Darstellung der Sicherheitsbereiche wiederum besonders immersiv und für die Person besonders deutlich.
  • Das Sensorsystem kann eine Kamera umfassen und der Hinderniserkennungsschritt kann ferner umfassen: Erkennen der Person unter Verwendung eines Bilderkennungsmodells, und /oder Erkennen einer Körper- und/oder Handgeste der Person unter Verwendung eines Gestenklassifizierungsmodells, und/oder Bestimmen einer Intention der Person basierend auf der erkannten Körper- und/oder Handgeste der Person. Optional kann das Bilderkennungsmodell und/oder das Gestenklassifizierungsmodell auf einem maschinellen Lernmodell basieren. Hierdurch kann der Roboter das Verhalten der Person Erkennen bzw. Abschätzen und sein eigenes Verhalten gegebenenfalls entsprechend anpassen.
  • Die vorliegende Erfindung richtet sich auch auf einen Roboter und eine tragbare Augmented Reality (AR)-Vorrichtung, welche jeweils zur Verwendung in einem der hier offenbarten Verfahren konfiguriert sind. Schließlich wird auch ein Computerprogramm bereitgestellt, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, irgendeines der hier offenbarten Verfahren auszuführen.
  • Figurenliste
  • Bevorzugte Ausführungsformen der vorliegenden Offenbarung werden nachfolgend mit Bezugnahme auf die folgenden Figuren beschrieben:
    • 1: Ein System mit einem Roboter 100 und einem AR-Headset 103 gemäß Ausführungsformen der Erfindung.
    • 2: Beispiele für vom System erkanntes Nutzerverhalten 102 gemäß Ausführungsformen der Erfindung.
    • 3: Im AR-Headset projizierte Sicherheitszonen gemäß Ausführungsformen der Erfindung.
  • BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
  • In Ausführungsformen der Erfindung kommen Techniken der sogenannten „erweiterten Realität“ („Augmented Reality“, AR) zum Einsatz. Unter AR versteht man allgemein die computergestützte Erweiterung der Realitätswahrnehmung eines Menschen, typischerweise durch ein Überlagern der vom Menschen visuell wahrgenommenen Realität mit digitalen Zusatzinformationen z.B. in Form von Text, Bildern, Videos und/oder virtuellen Objekten. Hierzu können allgemein am Körper der benutzenden Person tragbare Technologien („Wearable Tech“) zum Einsatz kommen, insbesondere sogenannte AR-Headsets oder AR-Brillen. Sofern in den hier beschriebenen Ausführungsformen solche AR-Headsets oder AR-Brillen erwähnt sind, sei betont, dass die Prinzipien der Erfindung auch mit beliebigen anderen von der Bedienperson tragbaren Technologien mit einer visuellen Anzeige realisiert werden können, sofern diese ein entsprechendes Überblenden der von der Bedienperson wahrgenommenen Umgebung mit Zusatzinformationen ermöglichen. Insofern wird nachfolgend auch der Begriff tragbare AR-Vorrichtung als Sammelbegriff und ohne Einschränkung auf eine konkrete Ausgestaltung verwendet.
  • Der Schutz der Bedienperson wird in industriellen Prozessen mit Mensch-Roboter-Interaktionen immer wichtiger. Robotermanipulatoren können typischerweise sehr schnelle und kraftvolle Bewegungen durchführen, welche eine Bedienperson im Wirkungsbereich des Roboters leicht verletzen können. Zur Vermeidung von Unfällen bzw. Kollisionen zwischen Roboter und Bedienperson ist das Robotersystem in Ausführungsformen der Erfindung konfiguriert zum Erkennen eines gefährlichen Manövers der Bedienperson, wie z.B. eines schnellen Bewegens zum Roboter hin, und/oder zum Feststellen der Intention der Bedienperson durch ein Identifizieren einer Körpergeste und/oder Handgeste der Bedienperson. Auf dieser Basis kann der Roboter eine adäquate Reaktion auswählen. Ferner wird der Bedienperson in Ausführungsformen der Erfindung auch vermittelt, was der Roboter gerade wahrnimmt und/oder welche Reaktion der Roboter ausgewählt hat.
  • Im Folgenden wird eine Ausführungsform der Erfindung beschrieben, bei welcher ein Roboter mit visueller Wahrnehmungsfähigkeit („robot vision“) mit einem AR-Headset interagiert, um damit der Bedienperson besonders intuitiv, unmittelbar und nahtlos virtuelle und/oder physische Rückmeldungen zu geben, wodurch die Sicherheit der Bedienperson signifikant erhöht werden kann.
  • 1 zeigt ein System gemäß einer Ausführungsform der Erfindung im Überblick. Das System umfasst einen Roboter 100, bei dem es sich um einen beliebigen Typ von Roboter, wie eingangs beschrieben, handeln kann. Das System umfasst ferner eine Kamera 101, welche in der dargestellten Ausführungsform ortsfest in Bezug auf den Roboter 100 angeordnet ist. In alternativen Ausführungsformen kann die Kamera 101 auch am Roboter 100 angeordnet sein. Die Kamera 101 dient dazu, die Umgebung des Roboters 100, insbesondere dessen Arbeitsbereich, zu erfassen.
  • Ferner kann ein Personenerkennungs- und/oder -klassifizierungsmodul vorgesehen sein (in 1 nicht dargestellt), welches dazu vorgesehen ist, die Anwesenheit einer Person im Blickfeld der Kamera 101 zu detektieren, deren Verhalten, Bewegung, Pose und/oder Gesten zu erkennen und/oder eine Intention bzw. Handlungsabsicht 102 zu identifizieren bzw. abzuschätzen. 2 zeigt mögliche beispielhafte Klassifizierungen. So kann allgemein das Gesicht der Person (links oben in 2), der Körper der Person (rechts oben in 2), die Blickrichtung bzw. Kopfhaltung der Person (links unten in 2) und/oder eine Handgeste der Person (rechts unten in 2) erkannt und/oder klassifiziert werden. Auch ein Rückschluss auf die Bewegungsgeschwindigkeit und/oder den Abstand der Person zum Roboter, sowie ferner die Anzahl von Personen ist möglich. Hierzu können insbesondere Farb- und/oder Tiefeninformationen des Kamerabildes verwendet werden. Wie in 2 beispielhaft dargestellt ist, können in Ausführungsformen der Erfindung auch weitergehende Informationen abgeleitet werden, wie z.B. die Stimmung der Person, die Größe der Person, die Pose der Person (in 2 „STEHEND“) und/oder die Bedeutung einer Handgeste der Person (in 2 „GUT“).
  • In einigen Ausführungsformen kann zur Realisierung dieser Funktionen eine geeignete Software verwendet werden, wie z.B. Kinect SDK, OpenCV, oder ähnliche. Die Intention bzw. Handlungsabsicht wird vorzugsweise mittels eines auf maschinellem Lernen basierenden Personenerkennungsmodell und/oder Körper- und/oder Handgestenklassifizierungsmodell erkannt, welche fachmännisch mittels geeigneter Trainingsbilder trainiert werden können.
  • Obwohl die beschriebenen Ausführungsformen kamerabasiert sind, sind auch alternative Ausführungsformen denkbar, in welchen die entsprechenden Funktionen mit anderen Arten von Sensoren 101 realisiert werden.
  • 1 zeigt ferner ein AR-Headset 103 (bzw. allgemein eine tragbare AR-Vorrichtung). Das AR-Headset 103 dient dazu, der Person virtuelle visuelle Hilfestellung und/oder Rückmeldung bezüglich des Roboters 100 zu geben. Die Rückmeldungsinformationen können allgemein jede Information über den Zustand des Roboters 100 umfassen, die für die Person im Zuge der Mensch-Roboter-Interaktion hilfreich sein können. Denkbar sind beispielsweise eine Rückmeldung hinsichtlich der gegenwärtigen und/oder zukünftigen (z.B. extrapolierten) Bewegungstrajektorie des Roboters 100.
  • Ferner ist in einigen Ausführungsformen vorgesehen, dass in das AR-Headset 103 virtuelle Sicherheitsgrenzen projiziert werden, was nachfolgend mit Bezug auf 3 erläutert wird. Anders gesagt wird der Person 99 (siehe 3) intuitiv vermittelt, wo sie sich in Bezug auf eine Sicherheitszone 106 des Roboters 100 befindet. Beispielsweise kann der Fußboden um den Roboter 100 herum im AR-Headset 103 grün eingefärbt werden, wenn der Abstand zwischen Roboter 100 und Person 99 mehr als ein vordefinierter erster Sicherheitsabstand beträgt, z.B. 1,5 Meter. So weiß die Person 99, dass sie sich in einem sicheren Abstand zum Roboter 100 befindet. Wenn die Person 99 sich jedoch auf den Roboter 100 zubewegt, kann sich die Bodenfarbe im AR-Headset 103 (ggf. graduell) zu gelb verändern, um die Aufmerksamkeit der Person 99 zu schärfen. Schließlich kann das AR-Headset 103 den Boden rot einfärben, wenn ein zweiter, kleinerer Sicherheitsabstand unterschritten wird, z.B. wie in 3 dargestellt 1 Meter.
  • Hierdurch wird der Person 99 besonders intuitiv und eingänglich vermittelt, welcher Abstand zum Roboter 100 sicher ist. Es versteht sich, dass die genannten Farben und Abstände, sowie auch die Anzahl der Sicherheitszonen, abhängig vom Anwendungsfall und auch der Roboterart und -größe sind und in Ausführungsformen der Erfindung variieren können.
  • Zusätzlich zu dem visuellen Feedback ist es auch denkbar, dass das AR-Headset 103 Warntöne ausgibt, um die Rückmeldung noch zu verdeutlichen.
  • Auch ist es grundsätzlich denkbar, anstatt einer tragbaren AR-Vorrichtung 103 einen Monitor oder eine andere Art elektronisches Display in der Nähe des Roboters 100 anzuordnen, damit die Person 99 den Roboter 100 von dort aus überwachen kann.
  • Nachfolgend wird ein beispielhafter schrittweiser Mensch-Roboter-Interaktionsprozess gemäß einer Ausführungsform beschrieben:
    • Schritt 1: Ein Manipulator des Roboters 100 bewegt sich gemäß einem programmierten Arbeitsschritt zwischen zwei Endpunkten entlang der Trajektorie 104 in 1.
    • Schritt 2: Die in der Nähe des Roboters 100 montierte Kamera 101 überwacht die Umgebung des Roboters 100, um Bedienpersonen zu detektieren, während der Roboter 100 seine Aufgabe verrichtet.
    • Schritt 3: Als der Roboter 100 eine Person in der überwachten Umgebung detektiert, verändert der Roboter 100 sein Verhalten wie folgt: Als die Person 99 die „gelbe Zone“, d.h. den mittleren Sicherheitsbereich, betritt (vgl. die Erläuterungen zu 3 oben), fokussiert die Kamera 101 auf die Person 99 und das System analysiert das Verhalten, die Post und/oder die Gesten 102 (vgl. 2). Als die Person 99 anschließend die „rote Zone“, d.h. den kleinsten Sicherheitsbereich um den Roboter 100 herum, betritt, sodass eine Kollision droht, berechnet das System eine kollisionsfreie Trajektorie 105 und der Roboter 100 wechselt sofort zu dieser Trajektorie 105. Dies erlaubt es dem Roboter 100, einen Sicherheitsabstand zur Person 99 einzuhalten und trotzdem den Arbeitsgang auszuführen.
    • Schritt 4: Die Person 99 erhält visuelles und akustisches Feedback von dem tragbaren AR-Headset 103. Insbesondere sieht die Person 99 im Display des AR-Headsets 103 die Sicherheitsgrenze 106 und die zugehörigen Sicherheitszonen, da diese im AR-Headset auf den Boden projiziert werden (siehe 3). Außerdem sieht die Person 99 im Display des AR-Headsets 103 eine Vorschau der Trajektorie 104 und ggf. der kollisionsfreien Trajektorie 105.
    • Schritt 5: Gleichzeitig kann das AR-Headset 103 einen Ton ausgeben, um die Person 99 zu warnen, wenn sie sich in die Gefahrenzone begibt oder diese wieder verlässt.
  • Obwohl Ausführungsformen der Erfindung primär im industriellen Umfeld beschrieben wurden, sei erwähnt, dass sich die hier offenbarten Prinzipien gleichwohl in anderen Einsatzbereichen realisieren lassen, z.B. in der Medizin, im Servicebereich oder dem Katastrophenschutz.
  • Die für die obigen Funktionen notwendigen Algorithmen bzw. Computerprogramme können zweckmäßig ganz oder in Teilen jeweils im Roboter 100, im AR-Headset 103 und/oder auf einem anderen mit diesen Geräten in Verbindung stehenden Computersystem implementiert sein. Das Computersystem kann eine lokale Computervorrichtung (z. B. Personalcomputer, Laptop, Tablet-Computer oder Mobiltelefon) mit einem oder mehreren Prozessoren und einer oder mehreren Speichervorrichtungen oder kann ein verteiltes Computersystem (z. B. ein Cloud-Computing-System mit einem oder mehreren Prozessoren oder einer oder mehreren Speichervorrichtungen, die an verschiedenen Stellen verteilt sind, zum Beispiel an einem lokalen Client und/oder einer oder mehreren Remote-Server-Farms und/oder Datenzentren) sein.
  • Abhängig von bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder Software implementiert werden. Einige oder alle Verfahrensschritte können durch (oder unter Verwendung) einer Hardwarevorrichtung ausgeführt werden, wie es zum Beispiel ein Prozessor, ein Mikroprozessor, ein programmierbarer Computer oder eine elektronische Schaltung sein kann.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 9902061 B1 [0006]
    • US 9272418 B1 [0007]
    • CN 108127673 A [0008]

Claims (10)

  1. Ein Verfahren zur Mensch-Roboter-Interaktion, das umfasst: einen Hinderniserkennungsschritt, in dem ein Sensorsystem (101) eine Gefahrensituation zwischen einem Roboter (100) und einer Person (99) erkennt; und einen Rückmeldungsschritt, in dem in Antwort auf das Erkennen der Gefahrensituation ein Steuersignal an eine der Person (99) zugeordnete tragbare Augmented Reality (AR)-Vorrichtung (103) gesendet wird; wobei das Steuersignal konfiguriert ist, Rückmeldungsinformationen in Bezug auf die Gefahrensituation auf einer Anzeige der tragbaren AR-Vorrichtung (103) darzustellen.
  2. Das Verfahren nach Anspruch 1, wobei die Rückmeldungsinformationen Informationen zur Darstellung einer gegenwärtigen (104) Bewegungstrajektorie des Roboters (100) auf der Anzeige der tragbaren AR-Vorrichtung (103) umfassen.
  3. Das Verfahren nach Anspruch 1 oder 2, wobei das Verfahren ferner einen Kollisionsverhinderungsschritt umfasst, in dem der Roboter (100) auf eine sichere Bewegungstrajektorie (105) wechselt; und wobei die Rückmeldungsinformationen Informationen zur Darstellung der sicheren Bewegungstrajektorie (105) auf der Anzeige der tragbaren AR-Vorrichtung (103) umfassen.
  4. Das Verfahren nach irgendeinem der vorstehenden Ansprüche, wobei die Rückmeldungsinformationen Informationen zur Darstellung zumindest einer den Roboter (100) umgebenden Sicherheitsgrenze (106) auf der Anzeige der tragbaren AR-Vorrichtung (103) umfassen; wobei, optional, die zumindest eine Sicherheitsgrenze (106) durch Einfärben eines entsprechenden Fußbodenabschnitts auf der Anzeige der tragbaren AR-Vorrichtung (103) dargestellt wird.
  5. Das Verfahren nach Anspruch 4, wobei die zumindest eine Sicherheitsgrenze (106) einen ersten, einen zweiten und einen dritten Sicherheitsbereich definiert, wobei der erste Sicherheitsbereich grün dargestellt wird, wenn der Abstand zwischen Person (99) und Roboter (100) einen ersten Wert erreicht oder überschreitet, wobei der zweite Sicherheitsbereich gelb dargestellt wird, wenn der Abstand zwischen Person (99) und Roboter (100) zwischen einem zweiten Wert, der kleiner als der erste Wert ist, und dem ersten Wert liegt und wobei der dritte Sicherheitsbereich rot dargestellt wird, wenn der Abstand zwischen Person (99) und Roboter (100) den zweiten Wert erreicht oder unterschreitet.
  6. Das Verfahren nach Anspruch 4 oder 5, wobei beim Übergang der Person (99) zwischen Sicherheitsbereichen die dargestellte Farbe sich graduell ändert.
  7. Das Verfahren nach irgendeinem der vorstehenden Ansprüche, wobei das Sensorsystem eine Kamera (101) umfasst und wobei der Hinderniserkennungsschritt ferner umfasst: Erkennen der Person (99) unter Verwendung eines Bilderkennungsmodells; und /oder Erkennen einer Körper- und/oder Handgeste der Person (99) unter Verwendung eines Gestenklassifizierungsmodells; und/oder Bestimmen einer Intention der Person (99) basierend auf der erkannten Körper- und/oder Handgeste der Person (99); wobei, optional, das Bilderkennungsmodell und/oder das Gestenklassifizierungsmodell auf einem maschinellen Lernmodell basiert.
  8. Ein Roboter (100), konfiguriert zur Verwendung in einem Verfahren nach irgendeinem der Ansprüche 1-7.
  9. Eine tragbare Augmented Reality (AR)-Vorrichtung (103), konfiguriert zur Verwendung in einem Verfahren nach irgendeinem der Ansprüche 1-7.
  10. Ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, das Verfahren nach irgendeinem der Ansprüche 1-7 auszuführen.
DE102021131028.8A 2021-11-26 2021-11-26 Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität Pending DE102021131028A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102021131028.8A DE102021131028A1 (de) 2021-11-26 2021-11-26 Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021131028.8A DE102021131028A1 (de) 2021-11-26 2021-11-26 Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität

Publications (1)

Publication Number Publication Date
DE102021131028A1 true DE102021131028A1 (de) 2023-06-01

Family

ID=86316902

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021131028.8A Pending DE102021131028A1 (de) 2021-11-26 2021-11-26 Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität

Country Status (1)

Country Link
DE (1) DE102021131028A1 (de)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9272418B1 (en) 2014-09-02 2016-03-01 The Johns Hopkins University System and method for flexible human-machine collaboration
US9902061B1 (en) 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
CN108127673A (zh) 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9902061B1 (en) 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
US9272418B1 (en) 2014-09-02 2016-03-01 The Johns Hopkins University System and method for flexible human-machine collaboration
CN108127673A (zh) 2017-12-18 2018-06-08 东南大学 一种基于多传感器融合的非接触式机器人人机交互系统

Similar Documents

Publication Publication Date Title
DE102018109463C5 (de) Verfahren zur Benutzung einer mehrgliedrigen aktuierten Kinematik, vorzugsweise eines Roboters, besonders vorzugsweise eines Knickarmroboters, durch einen Benutzer mittels einer mobilen Anzeigevorrichtung
DE102013109753B4 (de) Haptisches Programmierhandgerät
DE102010017857B4 (de) 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
EP3011225B1 (de) Vorrichtung und verfahren zum absichern einer automatisiert arbeitenden maschine
DE102017120614B4 (de) Robotersystem mit einem Programmierhandgerät, das mit einer Robotersteuerung kommuniziert
DE10251584B4 (de) Verfahren und Vorrichtung zur Überwachung eines Erfassungsbereiches
EP2838698B1 (de) Roboteranordnung und verfahren zum steuern eines roboters
DE102005003827B4 (de) Vorrichtung und Verfahren zur Interaktion zwischen einem Menschen und einer Robotereinheit an einem Roboterarbeitsplatz
EP3383595B1 (de) Darstellung variabler schutzfelder
EP3365142B1 (de) Schutzfeldanpassung eines manipulatorsystems
DE10320343A1 (de) Verfahren zur überwachten Kooperation zwischen einer Robotereinheit und einem Menschen
EP2952989B1 (de) Verfahren zur berechnung einer optimierten trajektorie
DE102015012232A1 (de) Mit Menschen kollaborierendes Robotersystem
DE102012212754A1 (de) Verfahren zum Betreiben eines Sensorsystems sowie Sensorsystem
DE202014010054U1 (de) Protektofon - eine kognitive Sicherheitsfunktion
EP2047344A1 (de) Kamarabasierte überwachung von maschinen mit beweglichen maschinenelementen zur kollisionsverhinderung
EP3546136B1 (de) Augmented-reality-system
EP1367314A2 (de) Vorrichtung zur Überwachung eines Erfassungsbereiches an einem Arbeitsmittel
DE102013001987A1 (de) Verfahren und Ortungssystem zur Ortung von Menschen und/oder sich insbesondere bewegenden Gegenständen insbesondere für den Einsatz in hybriden Arbeitssystemen
EP3865257A1 (de) Einrichtung und verfahren zur überwachung und steuerung eines technischen arbeitssystems
WO2017054894A1 (de) Interaktives bediensystem und verfahren zum durchführen einer bedienhandlung bei einem interaktiven bediensystem
DE102017103568C5 (de) Sensor und Verfahren zur Erfassung von Objekten
DE102021131028A1 (de) Verbesserte Mensch-Roboter-Interaktion durch erweiterte Realität
DE102017213658A1 (de) Handhabungsanordnung mit einer Handhabungseinrichtung zur Durchführung mindestens eines Arbeitsschritts sowie Verfahren und Computerprogramm
EP3679417B1 (de) Sichere brillenartige vorrichtung und verfahren