DE102009046107A1

DE102009046107A1 - System und Verfahren für eine Interaktion zwischen einer Person und einer Maschine

Info

Publication number: DE102009046107A1
Application number: DE200910046107
Authority: DE
Inventors: Javier Massanell; Thomas May
Original assignee: IFM Electronic GmbH
Current assignee: PMDtechnologies AG
Priority date: 2009-10-28
Filing date: 2009-10-28
Publication date: 2011-05-05
Also published as: WO2011051285A1

Abstract

System für eine Interaktion zwischen einer Person und einer Maschine, insbesondere einem Roboter, - mit Markierungsmitteln, die an der Person an bestimmten Positionen, vorzugsweise Endpositionen von Extremitäten oder Gelenken, angeordnet sind, - mit mindestens einer 3-D-TOF-Kamera zur dreidimensionalen Erfassung des Interaktionsbereichs und zur Erfassung der Markierungsmittel, - mit einer Auswerteeinheit, die derart ausgestaltet ist, dass ausgehend von den erfassten Markierungsmitteln ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt wird, - mit einer Steuereinheit, die die Maschine derart ansteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht gefährdet wird.

Description

Die Erfindung betrifft ein System und ein Verfahren zur Interaktion zwischen einer Person und einer Maschine, insbesondere einem Roboter, bei dem an der Person an bestimmten Positionen Markierungsmittel angeordnet sind und mithilfe einer 3D-TOF-Kamera erfasst werden können. Die Maschine wird über eine Steuereinheit derart angesteuert, dass die erkannte Person nicht in ihrer Sicherheit gefährdet wird.
Aus der DE 10 2005 003 827 B4 ist bereits eine Vorrichtung und ein Verfahren zur Interaktion zwischen einem Menschen und einer Robotereinheit an einem Roboterarbeitsplatz bekannt, bei der die Annäherung eines Menschen anhand zweier Sicherheitsschwellen überwacht wird. Über eine erste Sensoreinheit wird eine Annäherung eines Menschen an den Arbeitsplatz derart erfasst, dass bei einem Unterschreiten eines ersten Sicherheitsabstandes ein erstes Signal und bei einem Unterschreiten eines zweiten Sicherheitsabstandes ein zweites Signal erzeugt wird. Bei Vorliegen des ersten Signals ist es vorgesehen, die Robotereinheit in einem vorgebbaren Zustand, in einen so genannten sicheren Betriebshalt zu überführen. Liegt das zweite Signal vor, wird die Robotereinheit in einen so genannten Not-Aus-Zustand überführt, in dem die Robotereinheit bewegungslos in ihrer momentanen Stellung verharrt. Weiterhin ist es vorgesehen, dass am Arbeitsplatz der Robotereinheit ein zusätzlicher Sicherheitsschalter angeordnet ist, der die Robotereinheit in den Zustand des sicheren Betriebshaltes überführt.
Aus der DE 103 20 343 B4 ist ein Verfahren zur überwachten Kooperation zwischen einer Robotereinheit und einem Menschen bekannt, bei dem nach einem vorgebbaren Programmablauf Handhabungsschritte innerhalb eines sowohl von der Robotereinheit als auch vom Menschen zugänglichen gemeinsamen Arbeitsraumes durchgeführt werden. Hierbei ist es vorgesehen, dass der Robotereinheit bei relativer Annäherung an den Menschen ein Bewegungsmuster aufgeprägt wird, dass sich durch die Bewegungsrichtung, Bewegungsgeschwindigkeit sowie dem Abstand der Robotereinheit relativ zum Menschen auszeichnet. Aus einer Vielzahl unterschiedlicher abgespeicherter Bewegungsmuster wird ein für den Menschen individuelles Bewegungsmuster ausgewählt, so dass dem Menschen ein Gefühl an Arbeitssicherheit und Kontrolle über die Robotereinheit vermittelt wird. Jedes Bewegungsmuster liegt mindestens in einer ersten und zweiten Qualitätsstufe vor, die sich beispielsweise in ihrer Bewegungsgeschwindigkeit und/oder Bewegungsrichtung unterscheiden. Unter Berücksichtigung eines aktuellen Abbremsweges der Robotereinheit sowie einer maximalen eigenen Bewegungsgeschwindigkeit des Menschen wird die Robotereinheit solange abgebremst oder zum Stillstand gebracht, bis eine Kollisionsgefahr auszuschließen ist.
Aus dem Stand der Technik sind ferner Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-of-flight-(TOF-) oder Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden dreidimensionalen Szenerie.
Mit Kamerasystem soll insbesondere alle 3D-TOF-Kamerasysteme mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u. a. in den Anmeldungen DE 196 35 932 , EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D101/M01594 zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.
Aufgabe der Erfindung ist es ein System mit einer 3D-TOF-Kamera für ein Interaktions-System zwischen einer Person und einer Maschine weiter zu bilden.
Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße Vorrichtung und dem erfindungsgemäßen Verfahren der unabhängigen Ansprüche gelöst.
Vorteilhaft sieht das erfindungsgemäße System für eine Interaktion zwischen einer Person und einer Maschine, insbesondere einem Roboter, Markierungsmittel vor, die an bestimmten Positionen der Person, vorzugsweise an Endpositionen von Extremitäten oder Gelenken, angeordnet sind. Mindestens eine 3D-TOF-Kamera dient zur dreidimensionalen Erfassung des Interaktionsbereichs und zur Erfassung der Markierungsmittel. Mit Hilfe einer Auswerteeinheit wird ausgehend von den erfassten Markierungsmitteln ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt. Anhand der erfassten und/oder vorbestimmten Position und Bewegung der Person wird die Maschine über eine Steuereinheit derart angesteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht weiter gefährdet wird.
Zweckmäßiger Weise sind die Markierungsmittel als Reflektoren ausgebildet, so wird in vorteilhafter Weise sichergestellt, dass auch bei starkem Umgebungslicht das Markierungsmittel eindeutig und sicher vom Hintergrund unterschieden werden kann.
Weiterhin ist es nützlich die Markierungsmittel mit unterschiedlichen optischen Eigenschaften auszugestalten. So ist es möglich, für bestimmte Positionen Markierungsmittel mit besonderen optischen Eigenschaften bereitzustellen. So kann beispielsweise ein Reflektor, der am Kopf der Person angeordnet ist, eine andere optische Eigenschaft aufweisen als die Reflektoren die an der Schulter oder an der Hand angeordnet sind. Prinzipiell ist es denkbar, für jede Position eine eigene optische Eigenschaft vorzusehen.
Gemäß einer weiteren Ausgestaltung ist es vorgesehen, eine Arbeitskleidung der interagierenden Person mit Markierungsmittel an den bestimmten Positionen auszustatten.
Weiterhin ist es von Vorteil mehr als eine 3D-TOF-Kamera vorzusehen. Die Verwendung mehrerer Kameras erlaubt es insbesondere, die Sicherheit der erfassten Daten zu erhöhen. Darüber hinaus ist es mithilfe mehrerer Kameras möglich auch gegebenenfalls durch die Person oder der Maschine verdeckte Bereiche zu erfassen.
In einer weiteren Ausgestaltung ist es vorteilhaft, innerhalb des Interaktionsbereichs mindestens zwei, personenunabhängige Referenzmarkierungen, insbesondere Reflektoren, vorzusehen. Ort und Abstand dieser Referenzmarkierungen sind in Bezug auf mindestens eine 3D-TOF-Kamera bekannt, sodass ausgehend von diesen Referenzmarkierungen das 3D-Modell einer 3D-TOF-Kamera kalibriert werden kann. Ferner ist es von Vorteil, auch ein Verfahren zum Betreiben des vorgenannten Systems bereitzustellen, bei dem die mit der Maschine interagierende Person anhand von Markierungsmitteln, die an bestimmten Stellen der Person angeordnet sind, in seiner Position und Bewegung erfasst wird, wobei anhand der erfassten Markierungsmittel zunächst ein Modell der Person ermittelt wird, anhand dessen die weiteren Berechungen erfolgen.
Das Verfahren lässt sich weiter verbessern, indem vor der Interaktion der Person mit der Maschine in einer Startphase zunächst alle Markierungsmittel der Person erfasst werden. So kann sichergestellt werden, dass für die Person ein geeignetes Modell für die weiteren Berechungen hinterlegt werden kann.
Zweckmäßiger Weise ist es vorgesehen, dass die Person in der Startphase bestimmte Positionen einnimmt und/oder bestimmte Gesten durchführt. So wird beispielsweise sichergestellt, dass alle Gelenkpunkte der Person erkannt und eine maximale Bewegungsmöglichkeit der Person erfasst wird.
Vorteilhaft wird die Interaktion mit der Maschine nur dann freigegeben, wenn in der Startphase alle erwarteten Markierungsmittel eindeutig erkannt wurden.
In einer weiteren Ausgestaltung ist es vorgesehen, bei einer erkannten oder prognostizierten Sicherheitskritischen Position und/oder Bewegung der Person die Maschine so anzusteuern, dass eine Gefährdung der Person auszuschließen ist.
Liegen die erkannten oder prognostizierten Positionen und/oder Bewegung der Person innerhalb eines erwarteten Prozessbereiches, ist es vorteilhaft vorgesehen einen kooperativen Prozessablauf zwischen Maschine und der Person aufrechtzuerhalten.
Es zeigen:
1 schematisch ein erfindungsgemäßes System,
2 einen Maschinenarbeitsbereich mit einer kooperierenden Person,
3 eine kooperierende Person innerhalb eines Interaktionsbereichs,
4 eine kooperierende Person außerhalb des Interaktionsbereichs in der Startphase.
1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem 3D-TOF-Kamerasystem, wie es beispielsweise aus der DE 197 04 496 bekannt ist.
Das 3D-TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. ein Beleuchtungsmodul 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3D-TOF-Kamera 200 mit einer Empfangsoptik 150 und einem Fotosensor 15. Der Fotosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.
Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Fotosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Fotosensor 15. Im Photosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.
2 zeigt schematisch einen Maschinenarbeitsplatz mit einem Roboter 30 und einer kooperierenden Person 300. Der Roboter 30 ist hier als Greif- bzw. Werkzeug-Roboter mit mehreren Gelenkarmen 32 und Gelenken 33 ausgestaltet. Zwischen der Person 300 und dem Roboter 30 befindet sich ein Arbeitsplatz 500, der gemeinsam von der Person 300 und dem Roboter 30 vorzugsweise kooperierend genutzt wird. Die gesamte Situation in der sich der Roboter 30 und die Person 300 befinden wird von einer 3D-TOF-Kamera 10 erfasst. Zur besseren Erkennung der Extremitäten der Person 300 sind an bevorzugten Stellen wie beispielsweise Kopf, Schulter, Handgelenk, Arm- und Kniegelenk sowie im Fußbereich Markierungsmittel, vorzugsweise Reflektoren, angeordnet. Die von der 3D-TOF-Kamera erfasste Situation wird mithilfe einer Auswerteeinheit bzw. Bildverarbeitung 210 verarbeitet und insbesondere im Hinblick auf Position und Bewegung der Person 300 ausgewertet. Die Daten der Auswerteeinheit 210 werden vorzugsweise einer Steuereinheit 35 des Roboters 30 zu Verfügung gestellt. Ausgehend von den Position-, Bewegungs- und Lagedaten der Person 300 kann in Relation zu den bekannten Positions- und Bewegungsplänen des Roboters eine sicherheitskritische Lage der Person 300 erkannt werden. Um die Gefahr für die Person zu reduzieren oder gegebenenfalls auch abzuwenden, kann es vorgesehen sein, beispielsweise die Geschwindigkeit der Robotergelenke bei Annäherung zu verringern, sodass sichergestellt werden kann, dass der Roboterarm jederzeit gefahrlos zum Stillstand gebracht werden kann.
Bei einer kooperierenden Interaktion zwischen Person 300 und Roboter 30 werden von der Person 300 vorbestimmte Bewegungsmuster erwartet. Kooperiert die Person 300 innerhalb dieser Bewegungsmuster, hält die Maschine den kooperativen Prozessablauf aufrecht. Weicht die Person 300 jedoch von diesem Prozessablauf ab, geht die Maschine gegebenenfalls in einen Sicherheitsmodus oder weicht den Bewegungen der Person 300 aus.
Auch für den kooperierenden Prozessablauf ist es vorgesehen, dass die maximale Geschwindigkeit des Roboters so gewählt ist, dass er innerhalb einer vorgegebenen Sicherheitsgrenze bei Gefahr zum Stillstand kommt. Beispielsweise kann es vorgesehen sein, dass die Geschwindigkeit des Roboters mit abnehmendem Abstand der Person 300 von dem Roboter 30 reduziert wird.
3 zeigt schematisch die interaktive Situation in einer Aufsicht. Beispielhaft sind in diesem Ausführungsbeispiel drei 3D-TOF-Kameras 10 vorgesehen, die innerhalb ihres Erfassungsbereiches E den Interaktionsbereich I der Maschine 30 vollständig erfassen. Der Interaktionsbereich I der Maschine 30 wird vornehmlich durch die maximalen Bewegungsmöglichkeiten des Roboters aufgespannt und umfasst selbstverständlich nicht nur eine zweidimensionale Ebene, sondern auch einen entsprechenden Volumenbereich. In der Darstellung befindet sich die Person 300 am Maschinenarbeitsplatz 500 und kann beispielsweise das auf dem Arbeitsplatz 500 befindliche Arbeitsmittel 510 dem Roboter 30 kooperativ zur Verfügung stellen.
4 zeigt eine mögliche Startphase der in 3 gezeigten Arbeitssituation. Im dargestellten Fall befindet sich die Person 300 in einer vorbestimmten Startposition SP. Diese Startposition befindet sich vorzugsweise außerhalb des Interaktionsbereiches, sodass in dieser Phase zunächst keine potenzielle Gefahr von der Maschine 30 ausgeht. Innerhalb der Startphase ist es erfindungsgemäß vorgesehen, dass die Person 300 sich vor Beginn einer Interaktion dem System in der Startposition SP zu erkennen gibt. Vorteilhaft nimmt die Person eine bestimmte Haltung oder eine bestimmte Geste ein, um dem System die Erkennung der Markierungsmittel zu erleichtern bzw. die Zuverlässigkeit der Erkennung zu verbessern. Zu einer weiteren Verbesserung der Erkennung kann es zudem auch vorgesehen sein, mehrere Positionen oder Gesten einzunehmen. Nachdem die Person anhand der Erfassung aller erwarteten Markierungsmittel sicher erfasst und erkannt wurde gibt das System eine mögliche Interaktion frei.
Personen die ohne Markierungsmittel in den Erfassungsbereich E eindringen werden als potenziell gefährdet eingestuft. Abhängig von Geschwindigkeit und Richtung des eindringenden Objektes werden sicherheitsrelevante Maßnahmen bis hin zum Not-Halt der Maschine durchgeführt.
Durch dieses Vorgehen wird sichergestellt, dass nur entsprechend autorisierte Personen, nämlich solche, die durch bestimmte Markierungsmittel gekennzeichnet sind, kooperativ mit der Maschine in Wechselwirkung treten können. Nicht autorisierte Personen bzw. unbekannte Objekte werden vorsorglich als Sicherheitsrisiko eingestuft.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102005003827 B4 [0002]
DE 10320343 B4 [0003]
DE 19635932 [0005]
EP 1777747 [0005]
US 6587186 [0005]
DE 19704496 [0005, 0024]

Claims

System für eine Interaktion zwischen einer Person und einer Maschine, insbesondere einem Roboter, – mit Markierungsmitteln, die an der Person an bestimmten Positionen, vorzugsweise Endpositionen von Extremitäten oder Gelenken, angeordnet sind, – mit mindestens einer 3D-TOF-Kamera zur dreidimensionalen Erfassung des Interaktionsbereichs und zur Erfassung der Markierungsmittel, – mit einer Auswerteeinheit, die derart ausgestaltet ist, dass ausgehend von den erfassten Markierungsmitteln ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt wird, – mit einer Steuereinheit, die die Maschine derart ansteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht gefährdet wird.
System nach Anspruch 1, bei dem die Markierungsmittel als Reflektoren ausgebildet sind.
System nach einem der vorhergehenden Ansprüche, bei dem die Markierungsmittel mit unterschiedlichen optischen Eigenschaften ausgestaltet sind
System nach einem der vorhergehenden Ansprüche, bei dem eine Arbeitskleidung der interagierenden Person Markierungsmitteln an den bestimmten Positionen aufweist.
System nach einem der vorhergehenden Ansprüche, mit mindestens zwei 3D-TOF-Kameras.
System nach einem der vorhergehenden Ansprüche, bei dem innerhalb des Interaktionsbereichs mindestens zwei, personenunabhängige Referenzmarkierung, insbesondere Reflektoren, angebracht sind.
Verfahren zum Betreiben eines Systems nach einem der vorhergehenden Ansprüchen, bei dem eine mit der Maschine interagierende Person anhand von Markierungsmittel, die an bestimmten Stellen der Person angeordnet sind, in seiner Position und Bewegung erfasst wird, wobei anhand der erfassten Markierungsmittel zunächst ein Modell der Person ermittelt wird, anhand dessen die weiteren Berechnungen erfolgen.
Verfahren nach Anspruch 7, bei dem vor der Interaktion der Person mit der Maschine in einer Startphase zunächst alle Markierungsmittel der Person erfasst werden.
Verfahren nach einem der Ansprüche 7 bis 8, bei dem die Person in der Startphase bestimmte Positionen einnimmt und/oder Gesten durchführt.
Verfahren nach einem der Ansprüche 7 bis 9, bei dem in der Startphase erst bei einer Erkennung aller erwarteten Markierungsmittel die Interaktion mit der Maschine freigegeben wird.
Verfahren nach einem der Ansprüche 7 bis 10, bei dem anhand der letzten Positionen und/oder Bewegungen der Person unter Berücksichtigung des ermittelten Modells die nächste Bewegung der Person vorbestimmt bzw. prognostiziert wird.
Verfahren nach einem der Ansprüche 7 bis 11, bei beim bei einer erkannte oder prognostizierten sicherheitskritischen Position und/oder Bewegung der Person die Maschine so angesteuert wird, dass eine Gefährdung der Person auszuschließen ist.
Verfahren nach einem der Ansprüche 7 bis 12, bei dem die Maschine mit der Person einen kooperativen Prozessablauf aufrechterhält, wenn die erkannte oder prognostizierten Position und/oder Bewegung der Person innerhalb eines erwarteten Prozessbereiches liegt.