-
Die Erfindung betrifft eine Einrichtung sowie ein Verfahren zur Einwirkung auf Gegenstände. Heutige Industrieroboter sind geeignet, einen stetig größer werdenden Anteil manueller Arbeiten in der industriellen Produktion auszuführen. Dabei wird in zunehmendem Maße Flexibilität gefordert, auch hinsichtlich einer Mensch-Roboter-Kollaboration. Bisher erfolgte typischerweise eine räumliche Trennung der Arbeitsräume von Menschen und Robotern. Die entsprechenden Arbeitsanlagen sind wenig wandlungsfähig und lassen sich nur mit großem Aufwand an neue Situationen anpassen, beispielsweise mittels der Errichtung mechanischer Barrieren wie Schutzzäunen.
-
In einer gemeinsamen Arbeitsumgebung hingegen kann der Roboter, beispielsweise ein mobiler Roboter, als Assistent des Menschen eng mit diesem zusammenarbeiten und dabei eine Vielzahl von Aufgaben übernehmen. Es wird möglich, Flexibilität und Kreativität eines Menschen mit der Präzision und Wiederholgenauigkeit eines Roboters zu kombinieren. Dazu sind sowohl geeignete Roboter als auch die entsprechende Sicherheitstechnik notwendig.
-
Eine weitere Voraussetzung für eine erfolgreiche Mensch-Roboter-Kollaboration ist die intuitive, sichere und einfache Bedienbarkeit der Roboter, insbesondere in größeren Arbeitsräumen oder unter komplexen Montagebedingungen, in denen beispielsweise eine Vielzahl von Menschen und Robotern zusammenarbeiten und interagieren. Hierzu wurden bereits unterschiedliche Konzepte vorgeschlagen, die vielfach auf berührungsloser Befehlseingabe beruhen:
- Die DE 10 2013 108 114 A1 beschreibt eine Eingabevorrichtung zur Gestensteuerung eines Roboters mit einem Bildverarbeitungssystem, die dazu ausgestaltet ist, eine Steuerung des Roboters mittels Gesten über einer mit einem Arm betätigbaren Schutzeinrichtung zu aktivieren bzw. zu deaktivieren.
-
Aus der
CN 201 955 771 U ist ein Mensch-Maschine-Interaktionssystem bekannt, welches einen virtuellen Desktop projiziert. Auf diesem ausgeführte Steuerungsgesten können von einer Kamera aufgenommen und in Befehle für einen Roboter umgesetzt werden.
-
Die
JP 2014 104 527 A beschreibt ein Robotersystem, welches einen Roboter umfasst, der zur gemeinsamen Arbeit mit menschlichen Mitarbeitern eingerichtet ist. Weiterhin sind eine Kamera zur Interpretation von Gesten sowie ein Ausgabegerät angeordnet, wobei das Ausgabegerät Benachrichtigungen für den Mitarbeiter ausgibt. Es können Detektionsbereiche und Ausschlussbereiche definiert werden, in denen die Gesten interpretiert bzw. die von der Interpretation von Gesten ausgeschlossen werden, um beispielsweise ein Gesicht von einer Interpretation von Handgesten auszuschließen. Auch kann die Steuerung eine Verzögerungszeit zur Ausführung von Befehlen bestimmen.
-
Die 10 2013 110 847 B3 betrifft eine Steuervorrichtung zum Steuern eines Robotersystems mit wenigstens einem Roboterarm, an dem ein chirurgisches Instrument befestigt ist, das einen Endeffektor aufweist, wobei die Steuervorrichtung ein Bilderfassungssystem umfasst, das die Steuervorgabe wenigstens einer Hand aufzeichnet, auswertet und in entsprechende Steuerbefehle für eine oder mehrere Komponenten des Robotersystems umsetzt. Um die Steuerung des Robotersystems zu vereinfachen und insbesondere intuitiv zu gestalten, wird vorgeschlagen, eine Steuereinheit vorzusehen, die die Orientierung und/oder die Position und/oder den Öffnungsgrad des Endeffektors eines chirurgischen Instruments als erste Größe bzw. erste Größen ermittelt, und ferner die Orientierung und/oder die Position und/oder den Öffnungsgrad wenigstens einer Hand als zweite Größe bzw. zweite Größen ermittelt und im Falle einer Abweichung einer oder mehrerer der ersten Größen von der jeweils entsprechenden zweiten Größe eine manuelle Steuerung des Endeffektors unterbindet, und im Falle einer Übereinstimmung einer oder mehrerer der ersten Größen mit der jeweils entsprechenden zweiten Größe eine Gestensteuerung freigibt, so dass das chirurgische Instrument von Hand betätigt werden kann.
-
Die
DE 10 2012 205 549 A1 offenbart ein Verfahren und ein System sowie ein Steuerungsmodul zum Betreiben und Steuern eines Totmann-Schalters in einem berührungslos gesteuerten medizinischen Gerät. Es wird ein Gesten-basiertes Aufforderungssignal als Lichtsignal in einen Betriebsbereich projiziert. Daraufhin wird ein Antwortsignal in Form einer Geste mittels einer automatischen Gestenerkennung erfasst. Das Antwortsignal wird in einem Computer ausgewertet und zur Steuerung eines Schalters verwendet.
-
Die
EP 2837986 A2 lehrt einen Reinigungsroboter, der Folgendes umfasst: einen Hauptkörper; eine Bewegungsbaugruppe zur Bewegung des Hauptkörpers; ein Reinigungswerkzeug, das an einem Bodenteil des Hauptkörpers vorgesehen ist, um Fremdstoffe auf einem Boden zu sammeln; eine Bildgebungseinheit, um Bilder um den Hauptkörper herum zu sammeln; eine Steuereinheit für Folgendes: Erkennen der Bewegung einer Hand durch Ausführen einer Bildverarbeitung der gesammelten Bilder, Identifizieren eines Steuerbefehls entsprechend der Bewegung der Hand, Planen einer Bewegungsrichtung und einer Bewegungsdistanz des Hauptkörpers als Bewegungsinformationen basierend auf dem Steuerbefehl, und Steuern von Arbeitsvorgängen der Bewegungsbaugruppe und des Reinigungswerkzeugs basierend auf den geplanten Bewegungsinformationen.
-
Aufgabe der Erfindung ist es, eine Einrichtung und ein Verfahren zur Einwirkung auf Gegenstände zur Verfügung zu stellen, mit denen eine einfache, robuste und sichere Steuerung von Handhabungseinrichtungen zur Handhabung von Gegenständen, insbesondere von Industrierobotern, möglich ist.
-
Die Aufgabe wird gelöst durch die Einrichtung zur Einwirkung auf Gegenstände gemäß Anspruch 1 sowie durch das Verfahren zur Einwirkung auf Gegenstände gemäß Anspruch 6. Vorteilhafte Ausgestaltungen der Einrichtung sind in den Unteransprüchen 2-5 angegeben, vorteilhafte Ausgestaltungen des Verfahrens werden in den Unteransprüchen 7-10 beschrieben.
-
Ein erster Aspekt der Erfindung ist eine Einrichtung zur Einwirkung auf Gegenstände, umfassend als Handhabungseinrichtung einen Industrieroboter zur Herstellung und/oder Montage bzw. zum Transport von Gegenständen. Sie umfasst weiterhin eine Steuereinrichtung zur Generierung von Steuerbefehlen zwecks Ansteuerung der Handhabungseinrichtung durch Umsetzung optisch und/oder akustisch wahrnehmbarer Informationen in Steuersignale.
-
Die Steuereinrichtung ist dazu ausgestaltet, einen ersten Steuerbefehl zur Aktivierung der Einrichtung zur Einwirkung auf Gegenstände zwecks Verarbeitung eines zweiten Steuerbefehls zu generieren.
-
Dies erfolgt durch Erkennung und Verarbeitung wenigstens einer von einer Bedienperson ausgegebenen optisch und/oder akustisch wahrnehmbaren ersten Information.
-
Die Steuereinrichtung ist weiter dazu ausgestaltet, durch Erkennung und Verarbeitung wenigstens einer von einer Bedienperson ausgegebenen optisch und/oder akustisch wahrnehmbaren zweiten Information den zweiten Steuerbefehl zur Ansteuerung der Handhabungseinrichtung zwecks Durchführung einer von der Handhabungseinrichtung auszuführenden Handlung zu generieren.
-
Die Einrichtung zur Einwirkung auf Gegenstände weist des Weiteren eine Informationsausgabevorrichtung auf, mit der Informationen zu einem jeweiligen, von der Handhabungseinrichtung ausgeführten oder auszuführenden Prozess optisch wahrnehmbar ausgebbar sind, insbesondere mittels Projektion in den Arbeitsraum.
-
Das heißt, dass die Steuereinrichtung dazu ausgestaltet ist, aus optisch und/oder akustisch wahrnehmbaren Informationen ein Signal zur Aktivierung bzw. Einsatzbereitschaft der Handhabungseinrichtung zu erstellen und damit die Handhabungseinrichtung in Einsatzbereitschaft zur Aufnahme eines weiteren Steuerbefehls zu versetzen, und nach der Aktivierung einen weiteren Steuerbefehl zu erstellen und diesen der Handhabungseinrichtung zuzuführen, so dass diese eine Handlung, wie z. B. eine Bewegung oder ein Einwirken auf einen separaten Gegenstand, ausführt. Auch kann die Steuereinrichtung selbst bzw. ein Teil der Steuereinrichtung dahingehend aktiviert werden, dass sie aus einer erkannten zweiten Information den zweiten Steuerbefehl generiert.
-
Bei erfolgter Eingabe und Erkennung einer ersten Information wird somit aus einer zweiten Information ein zweiter Steuerbefehl zur Ansteuerung der Handhabungseinrichtung generiert. Dies kann z. B. aus einem Stand-By-Zustand heraus erfolgen.
-
Die Aktivierung der Handhabungseinrichtung kann beispielsweise durch Aktivierung der Aufnahme, Umwandlung, Übertragung und/oder Erkennung der Information bzw. der aus der Information erhaltenen, insbesondere elektronischen, Signale realisiert werden.
-
Die zweite Information wird insbesondere von derselben Bedienperson ausgegeben. Typischerweise wird als erste Information eine eindeutig definierte, singuläre Information genutzt, während die Generierung des Steuerbefehls in Abhängigkeit von der aus einem Katalog von Informationen gewählten zweiten Information erfolgt. Als zweite Information können demnach unterschiedliche Informationen dienen, die unterschiedliche Steuerbefehle auslösen, wie beispielsweise unterschiedliche Sprachbefehle oder Gesten.
-
Optisch und/oder akustisch wahrnehmbar bedeutet insbesondere, dass diese Information für die entsprechende Aufnahmeeinrichtung wahrnehmbar ist. Optisch wahrnehmbare Informationen sind typischerweise sichtbares Licht sowie Infrarotlicht und ultraviolettes Licht, jedoch können auch andere elektromagnetische Spektralbereiche wie Röntgenstrahlung, Mikrowellenstrahlung und/oder Radiowellen umfasst sein.
-
Erkennung und Verarbeitung der Information umfasst eine Identifizierung der erhaltenen Information, beispielsweise durch Abgleich mit einem vorhandenen Katalog, so dass ein der Information entsprechender Steuerbefehl generiert werden kann.
-
Mit anderen Worten ist die erfindungsgemäße Einrichtung zur Einwirkung auf Gegenstände bzw. die Handhabungseinrichtung berührungslos sowohl in Betriebsbereitschaft versetzbar als auch ansteuerbar. Die Erkennung der berührungslosen Informationen kann dabei durch die Einrichtung selbst, durch geeignete externe Einrichtungen oder durch eine Kombination aus beidem erfolgen. Typischerweise ist die Steuereinrichtung dazu ausgestaltet, aus den optisch und/oder akustisch aufgenommenen Informationen generierte Signale zu verarbeiten.
-
Die Handhabungseinrichtung ist typischerweise ein Roboter und insbesondere ein Industrieroboter. Sie kann ein mobiler, also selbsttätig beweglicher Roboter sein, der in der industriellen Produktion eingesetzt wird.
-
Die Steuereinrichtung kann dazu ausgestaltet sein, die Aktivierung der Handhabungseinrichtung zwecks Aufnahme eines zweiten Steuerbefehls aus einer zweiten Information zeitlich begrenzt zu aktivieren. Demnach erfolgt die Generierung des Steuerbefehls nur innerhalb einer definierten Zeitdauer, beispielsweise innerhalb von fünf Sekunden. Nach Ablauf der Zeitdauer muss erneut eine erste Information eingegeben werden, bevor mittels Erkennen einer zweiten Information die Generierung des Steuerbefehls erfolgt.
-
Die vorgeschlagene zweistufige Befehlseingabe verhindert Fehleingaben und ist deshalb geeignet, die Sicherheit bei Mensch-Maschine-Interaktionen signifikant zu erhöhen. Wenn eine redundante Sicherheitsarchitektur vorhanden ist, können ggf. Schutzzäune oder andere herkömmliche Sicherheitsmaßnahmen wie Laserscanner entfallen, die bisher zum Schutz von Menschen vor Robotern genutzt werden. Weiterhin erhöht sich die Robustheit der Erkennung, beispielsweise durch die Reduzierung von Fehleingaben. Die Prozesssicherheit wird erhöht, da Ausfallzeiten und Störungen reduziert werden. Die Produktion wird wirtschaftlicher und flexibler. Menschen und Roboter können ohne Barrieren gleichzeitig an einem Bauteil arbeiten.
-
Mittels der Informationsausgabevorrichtung können Prozessinformationen im Arbeitsraum eingeblendet werden. Die Informationsausgabevorrichtung kann beispielsweise eine Beleuchtungseinrichtung zur Hervorhebung eines Ortes oder eine Projektionseinrichtung zur Ausgabe von Prozessdaten sein. Sie kann an der Handhabungseinrichtung und/oder an separater Position angeordnet sein.
-
Die Informationen haben typischerweise einen Bezug zum Arbeitsprozess. Es ist somit ein Informationsfluss von der Einrichtung zur Einwirkung auf Gegenstände, also beispielsweise dem Roboter, hin zur Bedienperson möglich. Dieser kann als Augmentierung bezeichnet werden. Augmentierungen können beispielsweise zur Realisierung eines Dialogs zwischen Roboter und Bedienperson genutzt werden. Der Roboter kann z. B. nach erfolgter Aktivierung der Generierung eines Steuerbefehls mittels einer erkannten ersten Information eine Bereitschaft zur Aufnahme von Befehlen signalisieren. Auch eine Bestätigung einer erkannten zweiten Information durch den Roboter oder eine erneute Rückmeldung, beispielsweise mit der Bitte um Bestätigung des erkannten Befehls durch die Bedienperson, ist möglich.
-
Die Informationsausgabevorrichtung kann beispielsweise zur Ausgabe von Licht oder Projektionen an einem Werkstück, einem Hallenboden, einer Wand, einem Werkzeug, einer Maschine o. Ä. eingerichtet sein. Derartige Informationsausgaben bringen minimale Einschränkungen für die Bedienperson mit.
-
Alternativ kann die Informationsausgabevorrichtung eine Datenbrille sein. Eine solche kann beispielsweise als „tragbarer Monitor“ fungieren, der Informationen einblendet, wie zum Beispiel grünes Licht für die Bereitschaft zur Aufnahme von Befehlen oder rotes Licht für eine nicht erkannte Information, eine verstrichene Zeitdauer zur Befehlseingabe oder eine Störung. Auch können „Augmented Reality“-Brillen genutzt werden, die virtuelle Projektionen von Informationen für Bedienpersonen sichtbar in den Arbeitsraum realisieren.
-
Ein Leuchtmittel, welches beispielsweise an der Handhabungseinrichtung, also z.B. am Roboter, angeordnet sein kann, kann ebenfalls zur Ausgabe von Informationen genutzt werden. Auch weitere Informationsausgabevorrichtungen bzw. Kombinationen daraus sind denkbar.
-
Mit anderen Worten kann die erfindungsgemäße Einrichtung dazu ausgestaltet sein, einen Dialog mit einer Bedienperson zu führen, in welchem sie Informationen zu einem Prozess an die Bedienperson ausgibt. Auch sind Prozessinformationen oder Informationen zur Qualitätssicherung ausgebbar.
-
Alternativ ist eine akustische Informationsausgabe möglich, beispielsweise mittels allgemeiner akustischer Signale und/oder mittels Sprachausgabe.
-
In einer Ausgestaltung der Einrichtung zur Einwirkung auf Gegenstände umfasst diese eine Aufnahmeeinrichtung zur Aufnahme von von einer Bedienperson ausgegebenen optisch und/oder akustisch wahrnehmbaren Informationen.
-
Die Aufnahmeeinrichtung ist derart mit der Steuereinrichtung gekoppelt, dass wenigstens eine optisch und/oder akustisch wahrnehmbare Information durch die Aufnahmeeinrichtung detektierbar ist und ein entsprechendes Signal oder eine entsprechende Information der Steuereinrichtung zuführbar ist, die aus der jeweiligen detektierten Information ein entsprechendes Signal oder einen entsprechenden Befehl für die Handhabungseinrichtung generieren und dieser zuleiten kann.
-
Die Aufnahmeeinrichtung kann an der Handhabungseinrichtung und/oder an separater Position angeordnet sein. Sie ist zur Aufnahme von optisch und/oder akustisch wahrnehmbaren Informationen, beispielsweise von Gesten oder Sprachbefehlen, eingerichtet. Es kann zur Aufnahme derselben oder einer anderen optisch bzw. akustisch eingegebenen Information eine weitere Aufnahmeeinrichtung angeordnet sein. Es kann ein Bereich, beispielsweise ein Raum, zur Eingabe von Informationen eingeschränkt werden. In diesem Fall werden Informationen, die nicht in diesem Bereich ausgegeben werden nicht zur Aktivierung bzw. nicht zur Generierung eines Steuerbefehls genutzt.
-
Die Aufnahmeeinrichtung kann insbesondere eine Kamera, ein Mikrofon, oder Ähnliches sein. Es können mehrere derartiger Aufnahmeeinrichtungen, beispielsweise mehrere Kameras vorhanden sein, die miteinander bzw. mit der Steuereinrichtung vernetzt sein können, so dass im gesamten Arbeitsraum ausgegebene Informationen aufgenommen werden können. Die Informationen können beispielsweise in einer zentralen Einrichtung zur Informationsverarbeitung, wie einem zentralen Steuerungscomputer, verarbeitet und zur Erkennung an die Steuereinheit geleitet werden.
-
Es können unterschiedliche Aufnahmeeinrichtungen, beispielsweise eingerichtet zur Aufnahme unterschiedlicher Arten von Informationen, angeordnet sein, die jeweils zur Aufnahme der ersten oder zweiten Information ausgestaltet sind.
-
Der Vorteil dieses Aspekts der Erfindung ist, dass damit alle benötigten Einrichtungen zur Realisierung der zweitstufigen Befehlseingabe zur Verfügung gestellt werden.
-
In einer weiteren Ausgestaltung ist die Aufnahmeeinrichtung dazu ausgestaltet, von einer Bedienperson ausgegebene Gesten aufzunehmen. Die Steuereinrichtung ist dazu ausgestaltet, aus den aufgenommenen Gesten Steuerbefehle zur Ansteuerung der Einrichtung zur Einwirkung auf Gegenstände bzw. der Handhabungseinrichtung zu generieren.
-
Gesten sind optisch wahrnehmbare Informationen, die zur berührungslosen Informationseingabe genutzt werden können. Typischerweise werden Haltung oder Bewegung des Körpers bzw. von Teilen des Körpers als Gesten bezeichnet. Insbesondere werden Hand- und Kopfgesten genutzt, allerdings kann unter Umständen auch eine Körpergeste, wie der Aufenthalt einer Person an einem bestimmten Ort, oder eine Fußgeste, zum Beispiel während einer beidhändigen Montage von Bauteilen, vorteilhaft sein.
-
Steuerbefehle zur Ansteuerung der Einrichtung zur Einwirkung auf Gegenstände bzw. der Handhabungseinrichtung können dabei Steuerbefehle zur Aktivierung oder Steuerbefehle zur Ansteuerung der Handhabungseinrichtung sein.
-
Ein Blickkontakt, beispielsweise detektierbar mittels einer definierten Blickrichtung einer Bedienperson, ist eine Kopf- bzw. Augengeste, bei der Kopf bzw. Augen einer Bedienperson auf eine Aufnahmeeinrichtung, beispielsweise auf eine an einem Roboter angeordnete Kamera, ausgerichtet sind. Wie bei allen Gesten kann eine Zeitdauer definiert sein, während der die Geste mindestens erkannt werde muss, um weiterverarbeitet zu werden, um auf diese Weise zufällige Gesteneingaben zu verhindern. Ein Blickkontakt als Kopfgeste kann auch mittels Messen des Kopfwinkels, zumindest des Winkels bezüglich der vertikalen Achse, erfolgen. Die detektierbare Blickrichtung kann dabei in einem räumlichen Bereich definiert sein.
-
Die Erkennung von Gesten kann durch die Verwendung von bestimmter Kleidung, z. B. bestimmter Handschuhe noch gesteigert werden. In der Produktion typischerweise getragene Kleidung kann dazu beispielsweise mit bestimmten Markierungen, Reflektoren oder sogenannten Markern ausgerüstet werden.
-
Die Einrichtung zur Einwirkung auf Gegenstände kann weiterhin eine Kennzeichnungseinrichtung aufweisen, mit der zumindest zweidimensional wenigstens ein Bereich kennzeichenbar ist. In diesem Bereich kann eine von einer Bedienperson ausgegebene optisch wahrnehmbare Information, insbesondere eine Geste, ausgegeben werden, so dass sie von der Aufnahmeeinrichtung aufgenommen werden kann und/oder die aufgenommene Information von der Steuereinrichtung zu einem Steuerbefehl verarbeitet werden kann.
-
Die Kennzeichnungseinrichtung kann dazu ausgestaltet sein, beispielsweise mittels Lichtausgabe oder Projektion wenigstens einen Bereich, auch als Interaktionsraum bezeichnet, zu kennzeichnen. Dieser dient insbesondere als räumliche Beschränkung der Erkennung bzw. Auswertung von Informationen, wie beispielsweise von Gesten. Mit anderen Worten kann ein Interaktionsraum zur Eingabe von Gesten definiert und gekennzeichnet werden. Typischerweise kann nach Aktivierung der Einrichtung ein Interaktionsraum zur Eingabe der zweiten Information gekennzeichnet werden, jedoch ist auch die Kennzeichnung eines Bereiches zur Eingabe der ersten Information, also vor Aktivierung, möglich.
-
Es kann z. B. vorgesehen sein, dass nur bei Erkennung der Information in einem gekennzeichneten Bereich ein Steuerbefehl generiert wird.
-
Die Kennzeichnungseinrichtung kann an der Handhabungseinrichtung und/oder an separater Position angeordnet sein. Beispielsweise können Projektoren genutzt werden, die auf dem Boden, an Wänden oder an Bau- bzw. Fahrzeugteilen Bereiche hervorheben. Es können mehrere, auch unterschiedliche, Kennzeichnungseinrichtungen kombiniert werden. Es können Kombinationen mit erfindungsgemäßen Informationsausgabevorrichtungen realisiert werden und somit beispielsweise Rückmeldungen über den bestehenden Dialog an die Bedienperson ausgegeben werden.
-
Beispielsweise kann die Kennzeichnungseinrichtung dazu ausgestaltet sein, eine Linie auf eine Wand zu projizieren und die Aufnahmeeinrichtung bzw. die Steuereinrichtung ist dazu eingerichtet, bei einer Ausführung einer Geste innerhalb des Bereichs der Linie, also bei einer Unterbrechung der Linie, eine entsprechende Information aufzunehmen bzw. die Information zu einem Steuerbefehl zu verarbeiten.
-
Es können auch mehrere Interaktionsräume kennzeichenbar sein. In diesen aufgenommene Gesten können beispielsweise nach dem Ort der Eingabe differenziert werden, wobei in Abhängigkeit vom Ort der Eingabe unterschiedliche Steuerbefehle realisiert werden können. Es können demnach je nach Ort der Eingabe mittels derselben Geste unterschiedliche Steuerbefehle ausgelöst werden.
-
Die Einrichtung zur Einwirkung auf Gegenstände und insbesondere die Steuereinrichtung kann dazu ausgestaltet sein, den bzw. die zu kennzeichnenden Interaktionsraum bzw. Interaktionsräume zu definieren, beispielsweise in Abhängigkeit vom Prozessfortschritt und/oder von der Position einer Bedienperson.
-
Vorteile dieser Ausgestaltung sind die Nutzbarkeit einfacher Gesten und die erhöhte Robustheit, also Genauigkeit der Gestenerkennung. Weiterhin kann die Fehleingabe von Informationen weiter minimiert werden, während die Bedienperson zu jeder Zeit durch die optische Ausgabe über den jeweiligen Interaktionsraum informiert ist. Mittels nach unterschiedlichen Interaktionsräumen differenzierter Gesten können sichere Eingaben mittels sehr einfacher Gesten realisiert werden. Somit sinkt die Fehleranfälligkeit.
-
Ein zweiter Aspekt der Erfindung ist ein Verfahren zur Einwirkung auf Gegenstände, insbesondere zur Herstellung und/oder Montage bzw. zum Transport von Gegenständen. Dieses umfasst die Erkennung und Verarbeitung wenigstens einer von einer Bedienperson ausgegebenen optisch und/oder akustisch wahrnehmbaren ersten Information. Es erfolgt die Generierung eines ersten Steuerbefehls aus der ersten Information zur Aktivierung einer Handhabungseinrichtung zur Handhabung von Gegenständen zwecks Aufnahme eines zweiten Steuerbefehls. Die Handhabungseinrichtung wird mittels des ersten Steuerbefehls aktiviert. Es erfolgt die Erkennung und Verarbeitung wenigstens einer von einer Bedienperson ausgegebenen optisch und/oder akustisch wahrnehmbaren zweiten Information. Ein zweiter Steuerbefehl wird aus der zweiten Information zur Ansteuerung der Handhabungseinrichtung zwecks Durchführung einer von der Handhabungseinrichtung auszuführenden Handlung generiert. Die Handhabungseinrichtung wird zwecks Durchführung einer von ihr auszuführenden Handlung angesteuert.
-
Vor und/oder während einer Bewegung zumindest eines Teils der Handhabungseinrichtung wird wenigstens eine Information zu der Bewegung mittels einer Informationsausgabevorrichtung optisch wahrnehmbar ausgegeben.
-
Dies kann beispielsweise eine Visualisierung der Bewegung darstellen. Es kann zum Beispiel mittels an der Handhabungseinrichtung angeordneten Leuchten ein Bewegungsbereich gekennzeichnet werden, bevor diese Bewegung realisiert wird. Alternativ können als Informationsausgabeeinrichtung separat angeordnete Projektions- bzw. Beleuchtungseinrichtungen genutzt werden.
-
Es ergibt sich der Vorteil, dass Bewegungswege und damit die Handlungen von Robotern vorhersehbar und somit transparenter werden. Die Sicherheit sowie die Akzeptanz bei den Bedienpersonen werden somit erhöht.
-
Beispielsweise kann das Verfahren zur Einwirkung auf Gegenstände derart ausgeführt werden, dass eine von einer Bedienperson ausgegebenen optisch und/oder akustisch wahrnehmbare ersten Information durch eine Aufnahmeeinrichtung aufgenommen wird. Diese wird durch eine Steuereinrichtung zur Generierung von Steuerbefehlen zur Ansteuerung einer Einrichtung zur Einwirkung auf Gegenstände, insbesondere einer Handhabungseinrichtung wie eines Industrieroboters, erkannt. Es wird die Generierung eines Steuerbefehls aus einer erhaltenen zweiten Information aktiviert. Eine optisch und/oder akustisch wahrnehmbare zweite Information wird aufgenommen. Ein Steuerbefehl wird aus der zweiten Information durch die Steuereinrichtung generiert. Die Einrichtung zur Einwirkung auf Gegenstände, insbesondere die Handhabungseinrichtung, wird angesteuert. Es wird mittels der Handhabungseinrichtung auf einen Gegenstand eingewirkt.
-
Die zweite Information wird insbesondere von derselben Bedienperson ausgegeben. Das erfindungsgemäße Verfahren zur Einwirkung auf Gegenstände beschreibt also ein Verfahren zur Mensch-Maschine-Interaktion.
-
Die aufgenommene erste bzw. zweite Information wird typischerweise in einer geeigneten Vorrichtung in ein Signal, insbesondere ein elektronisches Signal, umgewandelt, welches zur Erkennung bzw. Weiterverarbeitung an eine Steuereinrichtung weitergeleitet wird. Diese erkennt die Information und aktiviert die Einrichtung zur Handhabung von Gegenständen bzw. die Handhabungseinrichtung bzw. generiert einen entsprechenden Steuerbefehl. Die Aktivierung kann dabei, wie beschrieben, insbesondere für eine begrenzte Zeitdauer erfolgen.
-
In Abhängigkeit von der Art der ersten Information können weitere bzw. alternative Randbedingungen definiert sein, die die Aktivierung unterbrechen bzw. den Dialog abbrechen. Die beschriebene zeitliche Limitierung kann beispielsweise bei Gesten- oder Spracheingaben genutzt werden. Ein Beenden des Blickkontaktes durch Abwenden des Kopfes kann vorgesehen sein, wenn der Blickkontakt bis zur bzw. während der Eingabe der zweiten Information bestehen bleibt. Auch eine Abbruchgeste oder -eingabe kann vorgesehen werden, beispielsweise ein akustisches Signal oder ein Blickkontakt mit einer weiteren Aufnahmeeinrichtung, welcher die Aktivierung unterbricht.
-
Insbesondere wird von einer Steuereinrichtung eine festgelegte erste Information, also beispielsweise eine festgelegte Geste, zur Aktivierung erwartet, also um die Aufnahmeeinrichtung bzw. die Steuereinrichtung für die Aufnahme bzw. Erkennung von Befehlen in Form von zweiten Informationen freizuschalten. Eine solche kann ein beliebiger Befehl aus einer Vielzahl von möglichen Befehlen zur Ansteuerung der Handhabungseinrichtung sein.
-
Insbesondere ist das erfindungsgemäße Verfahren zur Ansteuerung der erfindungsgemäßen Einrichtung zur Einwirkung auf Gegenstände bzw. der entsprechenden Handhabungseinrichtung geeignet.
-
Die durchzuführende Handlung kann dabei das Einwirken auf einen Gegenstand sein, beispielsweise die Bewegung des Roboters selbst oder eines anderen Gegenstands oder das Positionieren oder Halten eines Gegenstands, wie eines Bauteils oder eines Werkzeugs. Es kann eine komplexe Tätigkeit sein, wie das Anreichen eines Werkzeugs oder der Transport oder die Montage eines Bauteils. Diese kann aus vordefinierten Schritten bestehen, die selbstständig vom Roboter ausgeführt werden. Das Einwirken auf einen Gegenstand erfolgt dabei auf der Grundlage der Ansteuerung der Handhabungseinrichtung mittels des generierten Steuerbefehls. Es kann für den eingegebenen Befehl vorgesehen sein. Auch ein Wählen oder Anpassen des Einwirkens in Abhängigkeit von Rahmenbedingungen, Messwerten o. ä. ist möglich. Auch kann die Handlung unter fortwährender Kooperation bzw. Rückkopplung mit der Bedienperson ausgeführt werden. Alternativ dazu kann die Handlung ein Darbieten von Informationen sein, welches insbesondere mittels der Informationsausgabevorrichtung erfolgt.
-
Nach Aktivierung der Handhabungsvorrichtung durch Erkennen einer von einer ersten Bedienperson ausgegebenen ersten Information werden typischerweise nur von dieser ersten Bedienperson ausgegebene zweite Informationen zur Generierung von Steuerbefehlen genutzt. Dies kann beispielsweise durch das Bestehenbleiben eines Blickkontaktes während der Ausgabe und Aufnahme der zweiten Information realisiert werden. Bevor eine zweite Bedienperson eine zweite Information zur Generierung eines Steuerbefehls eingeben kann, muss diese erst eine erste Information zur Aktivierung eingeben. Dies ist typischerweise nur möglich, wenn keine Aktivierung durch eine andere Bedienperson besteht, also mit anderen Worten, wenn die Einrichtung zur Einwirkung auf Gegenstände nicht auf eine Befehlseingabe durch eine andere Bedienperson „wartet“.
-
Weiterhin ist möglich, dass die Einrichtung zur Einwirkung auf Gegenstände und insbesondere die Steuereinrichtung mehrere zweite Informationen zwischenspeichern kann, um diese beispielsweise nacheinander in entsprechende Steuerbefehle umzusetzen. Dies kann auch für Eingaben durch mehrere Bedienpersonen möglich sein.
-
In einer Ausgestaltung des Verfahrens zur Einwirkung auf Gegenstände werden die optisch und/oder akustisch wahrnehmbaren Informationen von einer Aufnahmeeinrichtung zur Aufnahme von von einer Bedienperson ausgegebenen optisch und/oder akustisch wahrnehmbaren Informationen aufgenommen und der Steuereinrichtung zugeführt.
-
Insbesondere werden die erste und zweite Information durch Aufnahmeeinrichtungen aufgenommen, wobei die Aufnahmeeinrichtung zur Aufnahme der ersten Information dieselbe Aufnahmeeinrichtung sein kann wie diejenige zur Aufnahme der zweiten Information.
-
In einer weiteren Ausgestaltung sind die erste und/oder die zweite Information von der Bedienperson ausgegebene Gesten. Insbesondere ist die erste Information die Erkennung einer definierten Blickrichtung einer Bedienperson.
-
Gesten sind einfach auszugebende Informationen, die mit den Befehlen, für die sie genutzt werden, in engem Zusammenhang stehen können. Sie haben den Vorteil, dass sie die Befehlseingabe erleichtern und unabhängig von Sprache machen. Eine definierte Blickrichtung einer Bedienperson ist beispielsweise ein Blickkontakt mit einer entsprechenden Aufnahmeeinrichtung. Ein solcher kann die temporäre Zuordnung einer Handhabungseinrichtung, also eines Roboters, zu einer Bedienperson anzeigen, so dass die Mensch-Maschine-Kollaboration und deren Bedienung transparent werden.
-
Es kann zumindest zweidimensional wenigstens ein Bereich gekennzeichnet werden, in dem eine von einer Bedienperson ausgegebene optisch wahrnehmbare Information, insbesondere eine Geste, ausgegeben werden kann. Diese kann somit von der Aufnahmeeinrichtung aufgenommen werden und/oder die aufgenommene Information kann von der Steuereinrichtung zu einem Steuerbefehl verarbeitet werden.
-
Insbesondere erfolgt dies nach Aktivierung der Handhabungseinrichtung, also für die zweite Information, und mittels der erfindungsgemäßen Kennzeichnungseinrichtung. Es wird ein Bereich eingegrenzt, in dem Gesten aufgenommen bzw. erkannt werden. Es kann auch ein mit der Kennzeichnungseinrichtung gekennzeichneter Bereich mittels der Aufnahmeeinrichtung erfasst werden, beispielsweise auch über unterschiedliche Farben der Darstellung. Somit kann, z. B. durch eine entsprechend eingestellte Aufnahmeeinrichtung, beispielsweise einen Erkennungssensor, eine Information nur bei Eingabe bei z. B. gelbem Licht genutzt bzw. verarbeitet werden. Dies verringert Fehleingaben, da der mittels der Aufnahmeeinrichtung überwachte Raum minimiert wird.
-
In einer Ausgestaltung des Verfahrens werden, insbesondere nach Aktivierung der Handhabungseinrichtung, zumindest zweidimensional mehrere Bereiche gekennzeichnet, in denen eine von einer Bedienperson ausgegebene optisch wahrnehmbare zweite Information, insbesondere eine Geste, ausgegeben werden kann, so dass sie von der Aufnahmeeinrichtung aufgenommen werden kann. Die Generierung des Steuerbefehls erfolgt in Abhängigkeit des Bereiches, in dem die Information aufgenommen bzw. erkannt wird.
-
Das heißt, dass die Handhabungseinrichtung je nach Bereich bzw. Ort der Gesteneingabe unterschiedliche Steuerbefehle erhält bzw. unterschiedliche Handlungen ausführt. Dies hat den Vorteil, dass es eine zusätzliche Differenzierungsmöglichkeit zur Verfügung stellt und das robuste Arbeiten mit einfachen Gesten ermöglicht, die beispielsweise in Abhängigkeit typischer Arbeitsschritte an unterschiedlichen Orten unterschiedliche Handlungen initiieren können. Einfache Gesten sind leicht auszuführen und zu erkennen und somit weniger fehleranfällig.
-
Es können weitere Prozessinformationen ausgegeben werden, was insbesondere zu einem von der Bedienperson benötigtem Zeitpunkt erfolgen kann. Dies kann beispielsweise vor oder nach Durchführung eines bestimmten Arbeitsschrittes oder einen bestimmten Abfolge von Arbeitsschritten sein und wird auch als dynamische Augmentierung bezeichnet.
-
Insbesondere werden Informationen zum benötigten Zeitpunkt an einer benötigten Position ausgegeben, beispielsweise an einem Ort, an dem eine Montage realisiert wird. Diese Position kann beispielsweise durch die Steuereinrichtung in Abhängigkeit von der Position der Bedienperson gewählt bzw. definiert werden, so dass die Laufwege für die Bedienperson verringert werden und somit eine schnellere und effizientere Bedienung ermöglicht wird. An diese Positionen können auch eingeschränkte Bereiche zur Erkennung von Informationen, beispielsweise gekennzeichnet mittels Projektionen, angepasst werden. Beispielsweise können so mittels einer Leuchte oder eines Lasers Stellen am Werkstück hervorgehoben werden, an denen noch Arbeitsschritte erfolgen müssen. Dies kann den Schulungsaufwand verringern, da das System zur Einwirkung auf Gegenstände mittels eines Dialogs benötigte Informationen ausgeben kann.
-
Es kann weiterhin eine Kombination der an der benötigten Position ausgegebenen Informationen mit einer Kennzeichnung eines Bereiches zur Eingabe der zweiten Information, also der Visualisierung des Interaktionsraumes, erfolgen. Beispielsweise kann weißes Licht von oben den Interaktionsraum kennzeichnen. Wird mittels Gesteneingabe und beispielsweise mittels einer in das Licht gehaltenen Hand eine zweite Information ausgegeben, kann sich das weiße Licht nach Erkennung der Geste beispielsweise grün einfärben und bei Nichterkennung der Geste z. B. rot.
-
Es können weiterhin zur Ermittlung der benötigten Zeit und/oder Position der auszugebenden Informationen erfasste Daten, insbesondere optische Informationen, über den Arbeitsplatz genutzt werden. Beispielsweise kann mittels wenigstens einer Kamera die Position eines Bauteils oder einer Person ermittelt werden und auf dieser Grundlage durch die Steuereinrichtung eine Entscheidung getroffen werden, welcher Arbeitsschritt in diesem Moment erfolgt. Dann kann eine entsprechende Information zu diesem Arbeitsschritt angezeigt werden.
-
Weiterhin Gegenstand der Erfindung ist eine Software, die geeignet ist zur Durchführung wenigstens einiger der von der Steuereinheit auszuführenden erfindungsgemäßen Verfahrensschritte.
-
Die Erfindung wird im Folgenden anhand des in den beiliegenden Zeichnungen dargestellten Ausführungsbeispiels erläutert.
-
Es zeigen
- 1: eine schematische Darstellung des erfindungsgemäßen Verfahrens zur Einwirkung auf Gegenstände mittels der erfindungsgemäßen Einrichtung zur Einwirkung auf Gegenstände in einer komplexen Fertigungssituation,
- 2a-d: einen schematisch dargestellten zeitlichen Ablauf einzelner Verfahrensschritte des erfindungsgemäßen Verfahrens.
-
1 zeigt eine komplexe Fertigungssituation, in der mehrere Bedienpersonen 62 mit mehreren Handhabungseinrichtungen 10 mehrerer Einrichtungen 12 zur Einwirkung auf Gegenstände zusammenarbeiten. Dabei werden verschiedene Verfahrensschritte des erfindungsgemäßen Verfahrens dargestellt.
-
Unten links im Bild befindet sich eine Handhabungseinrichtung 10, also ein mobiler Roboter, welcher über eine Aufnahmeeinrichtung 16 verfügt. Mittels dieser ist ein Blickkontakt zu einer Bedienperson 62 etabliert, der die erste Information 20 darstellt. Aus dieser wird von der Steuereinrichtung ein Steuerbefehl zur Aktivierung der Einrichtung zur Einwirkung auf Gegenstände 12 generiert. Der Blickkontakt wird mittels einer am Roboter 10 angeordneten Aufnahmeeinrichtung 16, einer Kamera, über den Winkel des Kopfes der Bedienperson 62 bzw. über die Erkennung der Augen der Bedienperson aufgenommen, und von der Steuereinheit erkannt.
-
Nun besteht ein Dialog und die Bedienperson führt eine Geste 40 aus, welche die zweite Information 22 darstellt. Währenddessen bleibt der Blickkontakt bestehen. Die zweite Information 22 wird mittels der Steuereinrichtung in den zweiten Steuerbefehl zur Ansteuerung des Roboters 10 zwecks Durchführung einer auszuführenden Handlung 42, hier einer Bewegung 52 des Roboters, umgesetzt.
-
Rechts im Bild ist eine alternative Ausführungsform des Verfahrens dargestellt, in der ergänzend zum oben genannten mittels einer Informationsausgabevorrichtung 18, ausgeführt als Projektionseinrichtung, eine Information 34 zum Prozess in Form einer Projektion 32 in den Arbeitsraum 50 der Bedienperson 62 ausgegeben wird. Dies erfolgt nach Aktivierung infolge der ersten Information 20, auch hier ausgeführt als Blickkontakt. Die Ausgabe der Information 34 zum Prozess ist kombiniert mit einer Kennzeichnung eines Bereichs 30 zur Informationseingabe mittels einer Kennzeichnungseinrichtung 19. Der Roboter gibt somit der Bedienperson 62 zu erkennen, dass er aktiviert ist, also dass seine Steuereinrichtung zur Generierung eines Steuerbefehls aktiviert wurde, indem er einen Bereich zur Eingabe 30 der zweiten Information 22 kennzeichnet: Eine Kennzeichnungseinrichtung 19, hier ebenfalls ausgeführt als separat angeordneter Projektor, projiziert einen derartigen zweidimensionalen Bereich 30, auch als Interaktionsraum bezeichnet, auf das Werkstück 60. In diesem führt die Bedienperson 62 eine aus einem Gestenkatalog gewählte Geste 40 aus und gibt damit die zweite Information 22 zur Generierung eines Steuerbefehls für die Handhabungseinrichtung 10 aus: sie zeigt mit dem Zeigefinger auf einen bestimmten Bereich des Werkstückes 60. Eine Aufnahmeeinrichtung 16, hier ausgeführt als separat angeordnete Kamera, nimmt diese Geste 40 auf. Die Steuereinrichtung erhält diese zweite Information 22, typischerweise nach Umwandlung in geeignete elektronische Signale, und wandelt sie in einen entsprechenden Steuerbefehl um, mit welchem die Handhabungseinrichtung 10, also der Roboter, angesteuert wird. Der Roboter setzt sich nun beispielsweise in Bewegung 52 und holt ein zu montierendes Bauteil 60.
-
Oben dargestellt ist eine weitere Situation der Zusammenarbeit zwischen Bedienperson 62 und Handhabungseinrichtung 10, in der gemeinsam an einem Werkstück 60 gearbeitet wird. Der Roboter führt hier als Handlung 42 eine Montage aus, während die Bedienperson ihm entsprechende Informationen 22 mittels Gesten 40 gibt.
-
In 2a arbeitet die Bedienperson 62 selbstständig, während die Handhabungseinrichtung 10, also der mobile Industrieroboter nicht aktiviert bzw. in einem Standby-Modus ist. In 2b zeigt die Bedienperson 62 einen Interaktionswunsch an, indem sie eine erste Information 20 in Form eines Blickkontaktes aussendet. Diese wird vom Roboter erkannt und der Roboter wird aktiviert. In 2c ist dargestellt, dass die Einrichtung zur Einwirkung auf Gegenstände 12 mittels einer an der Hallendecke angeordneten Kennzeichnungseinrichtung 19 (nicht dargestellt) einen Bereich 30 kennzeichnet, in dem die Eingabe einer Geste 40 möglich ist und erkannt werden kann. Die Position dieses Bereichs 30 wird durch die Steuereinrichtung in Abhängigkeit von der Position der Bedienperson 62 gewählt. Die Bedienperson 62 führt eine derartige Geste 40 aus und gibt so eine zweite Information 22 zur Generierung eines Steuerbefehls. In 2d kennzeichnet der Roboter eine bevorstehende Bewegung mittels einer entsprechenden optischen Ausgabe 54 am Hallenboden sowie am Werkstück 60.
-
Bezugszeichenliste
-
- 10
- Handhabungseinrichtung
- 12
- Einrichtung zur Einwirkung auf Gegenstände
- 16
- Aufnahmeeinrichtung
- 18
- Informationsausgabevorrichtung
- 19
- Kennzeichnungseinrichtung
- 20
- erste Information
- 22
- zweite Information
- 30
- Bereich
- 32
- Projektion
- 34
- Information
- 40
- Geste
- 42
- Handlung
- 50
- Arbeitsraum
- 52
- Bewegung des Roboters
- 54
- Optische Ausgabe der Bewegung
- 60
- Werkstück
- 62
- Bedienperson
