-
Die Erfindung betrifft ein Verfahren zum Absichern einer Maschine nach dem Oberbegriff von Anspruch 1.
-
Das primäre Ziel der Sicherheitstechnik ist, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe von Sensoren überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen.
-
Herkömmlich werden vor allem optoelektronische Sensoren wie Lichtgitter oder Laserscanner für eine sicherheitstechnische Überwachung eingesetzt. In jüngerer Zeit treten 3D-Kameras hinzu. In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN 13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile.
-
Ein gängiges Absicherungskonzept sieht vor, dass Schutzfelder konfiguriert werden, die während des Betriebs der Maschine vom Bedienpersonal nicht betreten werden dürfen. Ein optoelektronischer Sicherheitssensor erfasst geometrische Informationen über seine Umgebung und setzt dies mit einer intern hinterlegten Geometrie eines Schutzfeldes in Beziehung. Konkret werden vorkonfigurierte Schutzfelder oder Schutzvolumina programmiert, und es wird eine Überschneidung der gemessenen Umgebungskontur mit diesen Schutzbereichen detektiert. Erkennt der Sensor auf diese Weise einen unzulässigen Schutzfeldeingriff, etwa ein Bein einer Bedienperson, so wird die Maschine veranlasst, in einen sicheren Zustand zu wechseln.
-
Die Programmierung der Schutzbereiche erfolgt typischerweise mit einfachen Zeichenoperationen in einem Konfigurationsprogramm oder in manchen statischen Anwendungsfällen durch Erfassen und eventuelles Anpassen einer Referenzkontur. Diese Konfiguration ist bereits im Fall von zweidimensionalen Schutzfeldern aufwändig und unübersichtlich. Im dreidimensionalen Fall nimmt die Komplexität deutlich zu, und die Konfiguration wird noch fehleranfälliger. Es bestehen außerdem hohe Anforderungen an die Qualifikation des Einrichters des Sicherheitssensors.
-
Um die Schutzfeldkonfiguration im Betrieb an verschiedene Arbeitsschritte anzupassen, können in manchen Sicherheitssensoren verschiedene Schutzfelder hinterlegt und dann prozessabhängig umgeschaltet werden. Dadurch steigen die Konfigurationsanforderungen nochmals an. Außerdem ist die Anzahl der konfigurierbaren Schutzfeldsätze durch begrenzte Speicherressourcen des Sensors relativ gering, und deshalb stößt diese Vorgehensweise ab einer gewissen Komplexität selbst dann an ihre Grenzen, wenn der Konfigurationsaufwand hingenommen wird.
-
Insgesamt ist die Verwendung von Schutzfeldern in komplexen Prozessabläufen, insbesondere mit komplexen Bewegungsprofilen wie bei Robotern, ausgesprochen aufwändig und in vielerlei Hinsicht nicht optimal. Es kommt hinzu, dass besonders bei Robotern ein zunehmender Wunsch nach engerer Zusammenarbeit mit Personen (MRK, Mensch-Roboter-Kollaboration) besteht. Relevante Normen in diesem Zusammenhang sind beispielsweise die ISO 10218 für Industrieroboter oder die ISO 15066 für kollaborierende Roboter (ISO 15066). In der MRK sollten Schutzfelder und Sicherheitsabstände möglichst klein und eventuell sogar situationsangepasst konfiguriert werden, natürlich unter der Vorgabe, dass die Sicherheit gewährleistet bleibt. Die Normen ISO13854, ISO 13855, ISO 13857 befassen sich mit der Festlegung von Sicherheitsabständen. Dabei sind prinzipiell auch Alternativen zu Schutzfeldern bekannt, etwa darauf zu achten, dass zwischen Maschine und Person ein von der Relativbewegung abhängiger Mindestabstand eingehalten ist („speed and separation“). Die gängigen Sicherheitssensoren verwenden aber trotz der grundsätzlich bekannten Alternative weiterhin Schutzfelder.
-
Die
DE 10 2004 043 514 A1 verwendet Schutzfelder, die in Abhängigkeit von Parametern einer Maschinensteuerung der überwachten Maschine dynamisch verändert werden. Die jeweilige Berechnung der Schutzfelder ist aufwändig, zumal wenn die Schutzfelder knapp ausgelegt werden sollen, um tatsächlich die Flexibilität zu verbessern. Grundsätzlich von dem Schutzfeldgedanken lösen kann sich die
DE 10 2004 043 514 A1 nicht.
-
Aus der
EP 2 023 160 B1 ist eine dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder bekannt. Dabei werden Informationen über den Gefahrenbereich anhand eines visuellen Merkmals eingelernt, welches an der Maschine befestigt und während deren Bewegung beobachtet wird. Auch die
EP 2 023 160 B1 hält damit an einem auf Schutzfeldern basierenden Sicherheitskonzept fest. Sofern nicht auf Kosten der Verfügbarkeit mit sehr großzügigen Zuschlägen gearbeitet wird, ist es auch eine ausgesprochen anspruchsvolle Aufgabe, aus der Bewegungsbahn des visuellen Merkmals daran angepasste Schutzfelder zu definieren.
-
Die nachveröffentlichte
DE 10 2017 111 885 A1 offenbart ein Verfahren zum Bestimmen der Bewegung einer Maschine, während die Maschine in einen sicheren Zustand verbracht wird. Dazu wird eine Bildsequenz einer an der Maschine angebrachten Kamera ausgewertet, um die jeweilige Eigenposition der Kamera zu erfassen. Diese Kamera soll aber in erste Linie nicht selbst die sicherheitstechnische Überwachung, sondern wichtige Vorbereitung dafür leisten, wie das Bestimmen von Nachlaufwegen der Maschine und die Validierung eines Sicherheitskonzepts. Soweit die Kamera auch für eine Objekterfassung zuständig ist, wird hierzu nur sehr allgemein auf eine Überwachung von Schutzfeldern und Sicherheitsabständen verwiesen.
-
In der
DE 10 2007 007 576 A1 wird eine Maschine dadurch abgesichert, dass eine Vielzahl von Laserscannern ein dreidimensionales Bild ihres Arbeitsraums aufnehmen und diesen Ist-Zustand mit einem Soll-Zustand vergleichen. Die Laserscanner werden am Rand des Arbeitsraums auf Stativen in unterschiedlicher Höhe positioniert. Anstelle von Laserscannern können auch 3D-Kameras verwendet werden. Als Soll-Zustand wird eine statische Szene des Arbeitsraums aufgenommen, die anhand eines Modells der Maschine angepasst wird. Um die Erfassungsdaten mehrerer Sensoren zueinander in Bezug zu setzen sowie für den Vergleich von Ist-Zustand und Soll-Zustand können SLAM-Algorithmen (Simultaneous Localization And Mapping) zum Einsatz kommen, was aber dann nicht weiter erläutert wird. Auch die Errechnung eines aktuellen Soll-Modells für den Arbeitsraum aufgrund von programmierten Bewegungsabläufen wird nicht konkret beschrieben.
-
Die
WO 2017/207312 A1 befasst sich mit einem Verfahren zur Orientierung eines Industrieroboters. Es werden Sensoren an unterschiedlichen Achsen des Roboters montiert, und mittels eines SLAM-Algorithmus' wird eine Karte der Umgebung mit extrahierten Merkmalen und eine absolute Pose eines beweglichen Teils des Roboters in einem absoluten Koordinatensystem bestimmt. Das dient aber allein der Kalibrierung des Roboters, nicht dessen Absicherung.
-
Die
DE 10 2010 007 027 A1 betrifft die Überwachung eines mobilen Roboters durch vier Laserscanner, die auf einer Plattform des Roboters mitfahren. Dazu wird ein zu überwachender Arbeitsraum des Roboters entsprechend eine Umgebungskontur in einer Basisposition bestimmt. Der mobile Roboter kann seine Basisposition verlassen und später dorthin zurückkehren, dabei jedoch einen Rotations- und Translationsversatz durch Toleranzen der Navigation aufweisen. Die Laserscanner passen dann ihren überwachten Arbeitsraum an.
-
Es ist daher Aufgabe der Erfindung, die Absicherung einer Maschine durch einen mit der Maschine mitbewegten Sensor zu verbessern.
-
Diese Aufgabe wird durch ein Verfahren und ein Überwachungssystem zum Absichern einer Maschine nach Anspruch 1 beziehungsweise 10 gelöst. Die Maschine ist insbesondere ein AGV (automated guided vehicle) oder Roboter, der sich als Ganzes in Bewegung befindet (mobile robot) oder Bewegungen mittels verschiedener Achsen und Gelenke durchführen kann. Diese Bewegung wird von einem optoelektronischen Sensor mitvollzogen, der an der Maschine montiert oder in die Maschine integriert ist und somit eine Ego-Perspektive der zu überwachenden Gefahrenquelle einnimmt. In einer Einlernphase findet nun mindestens eine Referenzfahrt statt, in der die abzusichernde Bewegung entsprechend dem geplanten Prozessablauf vollzogen wird, wobei die Referenzfahrt vorzugsweise mehrfach wiederholt wird. Dabei wird anhand der Sensordaten des mitbewegten Sensors eine Referenzkarte der Umgebung erzeugt und der Sensor innerhalb der Umgebungskarte lokalisiert. Nach der Einlernphase stehen somit die Referenzkarte als Vergleich einer Situation ohne Gefährdungen und die Trajektorie des Sensors zur Verfügung, wobei diese Trajektorie bis zu drei Positions- und drei Orientierungsfreiheitsgrade der jeweiligen Pose beziehungsweise Perspektive umfasst.
-
Die Erfindung geht von den Grundgedanken aus, in einer Betriebsphase die dann von dem Sensor wahrgenommene Umgebung mit der Referenzkarte zu vergleichen, um mögliche Gefährdungen zu erkennen. Die erkannten Abweichungen gegenüber der Einlernphase werden einer Sicherheitsbewertung unterworfen. Dabei werden Abweichungen als unbekannte Objekte aufgefasst, bei denen es sich um zu schützende Personen beziehungsweise deren Körperteile handeln könnte. Eine Filterung auf Personen durch eine Mindestgröße, -verweildauer oder spezifischere Körpermodelle ist denkbar. Außerdem bedeutet nicht jede Person in der Umgebung automatisch eine Gefahr, dazu werden bevorzugt auch der noch eingehaltene Abstand sowie Bewegungsparameter, vornehmlich Betrag und Richtung des relativen Geschwindigkeitsvektors zwischen Maschine und Objekt ausgewertet. Wenn die Sicherheitsbewertung zu dem Ergebnis kommt, dass sich eine zu schützende Person in einer gefährlichen Position bezüglich der Maschine befindet, so erfolgt eine sicherheitsgerichtete Reaktion wie ein Abbremsen, ein Ausweichen oder ein Nothalt.
-
Die Erfindung hat den Vorteil, dass eine Absicherung selbst im Fall komplexer Geometrien und Prozessabläufe ohne größeren Konfigurationsaufwand möglich wird. Ein manuelles Vorgehen durch Zeichnen von Schutzfeldern oder dergleichen wird überflüssig, da der Einlernprozess zumindest weitgehend automatisch verläuft. Umschalt- oder dynamische Anpassungsprozesse von Schutzfeldern entfallen, es sind keine Prozessinformationen aus der Maschinensteuerung erforderlich, und damit werden deren Latenzzeiten oder etwaige mangelnde Zuverlässigkeit irrelevant. Die Absicherung erfolgt situationsabhängig mit jeweils optimal anpassbaren Abständen, wodurch eine enge Kooperation zwischen Mensch und Maschine und eine hohe Verfügbarkeit erreicht wird. Während mit klassischen Schutzfeldern nur eine binäre Information erzeugt wird, ob eine Gefährdung vorliegt oder nicht, stehen erfindungsgemäß Zusatzinformationen zur Verfügung, wie die Geometrie des eingreifenden Objekts oder die Position des Eingriffs, die eine Diagnose und weitere Optimierung erleichtern. Auch lassen sich weitere sicherheitsrelevante Fehlerbeherrschungsmechanismen ableiten, wie die Überwachung auf eine Dejustage des Sensors, eine Veränderung im Bewegungsablauf der Maschine oder eine Veränderung gegenüber der erwarteten Szenerie durch Anwesenheits- und Positionsbestimmung vorher definierter Objekte in der Umgebung.
-
Die Erzeugung der Referenzkarte und die Lokalisierung des Sensors erfolgen vorzugsweise mit einem SLAM-Verfahren (Simultaneous Localisation and Tracking). Derartige Verfahren sind an sich für die Navigation in unbekannter Umgebung bekannt. Anhand von wiederholt, aber wegen der Eigenbewegung des Sensors versetzt erfassten Merkmalen wird einerseits die eigene Position des Sensors rekonstruiert, und andererseits wird iterativ aus den jeweils in neuer Position des Sensors hinzugekommenen Informationen der Sensordaten über die Umgebung iterativ eine Umgebungskarte zusammengesetzt.
-
Die Trajektorie des Sensors lässt sich auch unter Verwendung eines Structure-from-Motion-Verfahrens rekonstruieren. Solche Verfahren sind an sich bekannt, und das Grundkonzept ähnelt der Stereoskopie: Es werden in Bildern aus verschiedener Perspektive Korrespondenzen gesucht, also übereinstimmende Bildmerkmale. Im Falle von Structure-from-Motion hat die unterschiedliche Perspektive ihre Ursache in der Bewegung des Sensors. Aus dem Unterschied in der Lage der Bildmerkmale in dem jeweiligen Bild wird auf die Entfernung des zu dem Bildmerkmal gehörigen Merkmals der Szene geschlossen. In der Stereoskopie sind solche dreidimensionalen Bilddaten das Ziel der Auswertung. Beim einem Structure-from-Motion-Ansatz wird umgekehrt auf die jeweilige Position des Sensors geschlossen, um dessen Bewegung zu rekonstruieren. Ist die Eigenbewegung des Sensors bekannt, so können dessen jeweils erfasste Sensordaten auf ein beispielsweise im Anfangspunkt der Bewegung festgelegtes Koordinatensystem bezogen und so zu der Referenzkarte fusioniert werden. Die Lokalisierung kann auch mit den Daten einer Maschinensteuerung abgeglichen werden, sofern die Maschine über ein eigenes Bewegungsmodell und eigene Sensoren zu dessen Überwachung verfügt. Diese Daten stehen aber üblicherweise nicht schnell genug und nicht mit für die einleitend genannten Normen erforderlicher Verlässlichkeit zur Verfügung, so dass dies nur eine Zusatzmaßnahme darstellt.
-
Der Sensor wird vorzugsweise auch in der Betriebsphase lokalisiert. Während des Betriebs nimmt der Sensor ebenso wie zuvor in der Einlernphase ständig seine Umgebung auf, so dass mit gleichen Techniken auch im Betrieb die eigene Position erfasst beziehungsweise Trajektorie verfolgt werden kann. Allerdings wird in diesem Fall die Referenzkarte vorzugsweise nicht modifiziert, da im Gegensatz zur Einlernphase nicht von außen sichergestellt ist, dass es keine Gefährdungen gibt. Im Prinzip kann die eigene Position auch anhand einer Zeitmessung und der aus der Einlernphase bekannten Trajektorie bestimmt werden. Diese erwartete Position des Sensors wird bevorzugt als redundante Erfassung bestimmt, um eine weitere Möglichkeit der Fehleraufdeckung zu gewinnen. Sollte im Übrigen die tatsächliche Trajektorie nicht der erwarteten Trajektorie entsprechen, so schlägt sich das auch darin nieder, dass der Sensor nicht die erwartete Umgebung sieht, so dass völlig korrekt eine sicherheitsgerichtete Reaktion erfolgt, auch wenn möglicherweise die eigentliche Ursache nicht erkannt ist.
-
Vorzugsweise wird anhand der momentanen Position des Sensors aus der Referenzkarte eine Sollansicht der Umgebung erzeugt und mit der Erfassung des Sensors vergleichen. Die erwartete Umgebung ist in der Referenzkarte erfasst, und daraus können nun Ansichten aus beliebiger Position und Perspektive berechnet werden, insbesondere der momentanen 6D-Lage des Sensors. Dadurch entsteht eine Referenzansicht, die unmittelbar vergleichbar mit derjenigen Ansicht ist, die der Sensor selbst aktuell aufnimmt. Alternativ findet der Vergleich auf einer abstrakteren Ebene statt, etwa indem in der Referenzkarte und der jeweils aktuellen Ansicht des Sensors Objekte segmentiert werden und dann festgestellt wird, ob der Sensor gerade die Objekte erfasst, die gemäß Referenzkarte auch schon während der Einlernphase vorhanden waren.
-
Zur Erkennung von Abweichungen der Umgebung gegenüber der Einlernphase wird vorzugsweise ein Korrelationsmaß zwischen Sollansicht und Erfassung bestimmt. Das ist ein sehr einfacher Vergleich, der global oder bezogen auf bestimmte ROls die Änderungen quantifiziert. Das wird dann beispielsweise mit einer Schwelle verglichen, die so gewählt ist, dass erst auf Änderungen reagiert wird, deren Ausmaß über Toleranzen wie Rauschen oder zu ignorierende kleine Objekte hinausgeht, die also prinzipiell Personen oder Körperteilen entsprechen könnten.
-
Die Bewegung des Sensors in der Betriebsphase wird bevorzugt mit der abzusichernden Bewegung verglichen. Durch Lokalisierung des Sensors auch in der Betriebsphase sind Solltrajektorie und tatsächliche Trajektorie bekannt, so dass festgestellt und erforderlichenfalls sicherheitsgerichtet reagiert werden kann, wenn die Bewegung der Maschine nicht mehr dem Prozessablauf der Einlernphase entspricht. Über die Absicherung hinaus dient dies der Prozesskontrolle, da eine Maschine mit abweichender Trajektorie vermutlich auch nicht das gewünschte Arbeitsergebnis erzielt und einer Wartung bedarf.
-
Der Sensor misst bevorzugt Abstände, um daraus 3D-Bilddaten zu erzeugen. Dafür sind verschiedene Prinzipien denkbar, wie Lichtlaufzeitverfahren oder Triangulation. Zu den Triangulationsverfahren zählen insbesondere die Stereoskopie, die Bilder einer Doppelkamera oder mehrere nacheinander im Lauf der Bewegung aufgenommene Bilder miteinander korreliert, sowie ein Projektionsverfahren, bei dem ähnlich der Stereoskopie ein Bild mit einem bekannten Projektionsmuster korreliert wird. Beispiele derartiger Sensoren mit Abstandsmessung sind 3D-Kameras und Laserscanner.
-
Die Referenzkarte wird bevorzugt ausgewertet, um mögliche Gefährdungen im Prozessablauf zu erkennen. Das ist eine optionale Zusatzfunktion, um die eigentliche optische Überwachung und Absicherung zu ergänzen. Aus der Referenzkarte können nämlich problematische Situationen im Prozessablauf erkannt werden, wie potentielle Quetschstellen, wo die Maschine schon in der Referenzsituation der Einlernphase den vorhandenen Objekten sehr nahe kommt, oder scharfe Kanten und dergleichen. Daraus können Hinweise an den Einrichter gewonnen werde, um die Ausgangssituation zu verbessern und beispielsweise Objekte aus der Umgebung zu entfernen, neu zu positionieren oder bestimmte Teilbereiche mechanisch zu sperren.
-
Für die Maschine wird bevorzugt in der Einlernphase eine sicherheitsgerichtete Reaktion ausgelöst, um mit Hilfe des Sensors den Nachlaufweg zu bestimmen. Die Maschine wird in einen sicheren Zustand gebracht, wie dies in einer Sicherheitsanwendung geschieht, wenn eine gefährliche Situation zwischen Objekt und Maschine erkannt wird, sie hält also beispielsweise an, wird auf eine geringere Geschwindigkeit abgebremst oder weicht aus. Die hier in der Einlernphase ausgelöste sicherheitsgerichtete Reaktion erfolgt aber künstlich, ohne eigentliche Gefahr, um das Verhalten der Maschine zu beobachten. Der mitbewegte Sensor wird weiterhin lokalisiert, und dessen Trajektorie nach dem Auslösen der sicherheitsgerichteten Reaktion beschreibt den Nachlaufweg. Das wird vorzugsweise wiederholt und/oder zu verschiedenen Zeiten im Prozessablauf durchgeführt, um ein umfassenderes Bild über das Nachlaufverhalten der Maschine zu gewinnen. Damit lässt sich dann die Sicherheitsbewertung optimieren, in welcher Position und insbesondere in welchem Abstand im Betrieb eine Abweichung der von dem Sensor erfassten Umgebung von der Referenzkarte noch toleriert werden darf.
-
Ein erfindungsgemäßes Überwachungssystem weist einen optoelektronischen Sensor, insbesondere eine Kamera, zur Montage an einer Maschine und eine Steuer- und Auswertungseinheit auf, die für die Durchführung eines Verfahrens nach einer der beschriebenen Ausführungsformen ausgebildet ist. Der Sensor ist vorzugsweise sicher im Sinne der einleitend genannten oder vergleichbarer Normen. Die Steuer- und Auswertungseinheit kann in den Sensor integriert oder daran angeschlossen sein, etwa in Form einer Sicherheitssteuerung oder einer übergeordneten Steuerung, die auch mit der Maschinensteuerung kommuniziert. Zumindest Teile der Funktionalität, wie die Auswertung der Einlernphase, können auch in einem Remote-System oder einer Cloud implementiert sein. Der Sensor wird vorzugsweise an oder in der Nähe von einem gefahrbringenden Maschinenteil angebracht, wie etwa einer Werkzeugspitze. Wenn es sich beispielsweise um einen Roboter mit vielen Achsen handelt, ist für den Sensor deren Zusammenspiel nicht relevant, da der Sensor einfach die resultierende Bewegung am Ort der Gefahr nachvollzieht.
-
Vorzugsweise werden mehrere optoelektronische Sensoren an der Maschine angebracht, um die Bewegung von beweglichen Teilen der Maschine zu bestimmen. Damit lassen sich auch komplexe Maschinen überwachen, bei denen eine punktuelle Bestimmung der Bewegung nicht ausreicht. Ein Beispiel ist ein Roboter mit mehreren Roboterarmen und eventuell Gelenken. Mindestens ein stationärer, also nicht mit der Maschine mitbewegter optoelektronischer Sensor kann die Maschine zusätzlich beobachten.
-
Das erfindungsgemäße Verfahren kann auf ähnliche Weise weitergebildet werden und zeigt dabei ähnliche Vorteile. Derartige vorteilhafte Merkmale sind beispielhaft, aber nicht abschließend in den sich an die unabhängigen Ansprüche anschließenden Unteransprüchen beschrieben.
-
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
- 1 eine schematische Ansicht eines Roboters, der mit Hilfe einer mitbewegten Kamera abgesichert wird;
- 2 eine schematische Ansicht eines Roboters ähnlich 1, jedoch mit zusätzlicher stationärer Kamera und mindestens teilweise nicht in die Kamera integrierter Auswertung;
- 3 eine schematische Ansicht einer Trajektorie der Kamera im Verlauf eines Prozessablaufs des Roboters;
- 4 ein beispielhaftes Ablaufdiagramm der Einlernphase einer Absicherung einer Maschine durch einen mitbewegten optoelektronischen Sensor; und
- 5 ein beispielhaftes Ablaufdiagramm der Betriebsphase einer Absicherung einer Maschine durch einen mitbewegten optoelektronischen Sensor.
-
1 zeigt eine schematische Ansicht eines Industrieroboters als Beispiel einer abzusichernden beweglichen Maschine 10 mit Hilfe eines mitbewegten optoelektronischen Sensors 12, der die Umgebung 14 beobachtet. Andere sicherheitstechnisch zu überwachende Maschinen wie Fahrzeuge sind ebenso denkbar, insbesondere Gabelstapler oder autonome Fahrzeuge (AGC, Automated Guided Cart oder AGV, Automated Guided Vehicle). Der an der Maschine 10, vorzugsweise an der eigentlichen Gefahrenquelle und in diesem Fall der Werkzeugspitze angebrachte optoelektronische Sensor 12 ist in 1 eine Kamera. Als Kamera kann eine beliebige herkömmliche 2D-Kamera eingesetzt werden, insbesondere eine kleine und robuste Kamera (Action Cam). Vorzugsweise wird jedoch eine 3D-Kamera eingesetzt, insbesondere eine Lichtlaufzeitkamera (TOF, Time of Flight), eine Stereokamera oder eine 3D-Kamera mit einem Projektionsverfahren. Es ist denkbar, eine aktive Beleuchtung für den Sensor 12 vorzusehen, bei einigen Verfahren wie Lichtlaufzeitverfahren oder einem Projektionsverfahren ist das sogar erforderlich. In der Umgebung 14 können zusätzliche Marker angebracht werden, welche die Bewegungsrekonstruktion als zuverlässig erkennbare Korrespondenzen verbessern. Als Alternative zu einer Kamera kommen auch Laserscanner in Betracht.
-
Der Sensor 12 weist eine Steuer- und Auswertungseinheit 16 auf, in der insbesondere die Abstandsmessung beziehungsweise die 3D-Erfassung und je nach Ausführungsform zumindest ein Teil des noch zu beschreibenden Verfahrens zum Absichern implementiert ist.
-
Der Sensor 12 kann an jedem interessierenden beweglichen Maschinenteil angebracht werden, wie Gelenken, exponierten Punkten, dem vordersten Teil eines Fahrzeugs. Es ist unerheblich, wie komplex sich beispielsweise eine Roboterbewegung am Ort des Sensors aus verschiedenen Achsen zusammensetzt, da der Sensor 12 in jedem Fall die resultierende Bewegung erfährt. Durch Anbringen mehrerer Sensoren 12 an verschiedenen Maschinenteilen werden entsprechende Bewegungsbahnen aus deren jeweiliger Perspektive gewonnen. Zusätzliche Informationen lassen sich nicht nur durch mehrere optoelektronische Sensoren 12, sondern auch andere Sensoren gewinnen. So können die kinetischen Größen diversitär geprüft oder verbessert werden. Einige Beispiele sind Drehgeber oder Trägheitssensoren, wie Beschleunigungs- oder Drehratensensoren.
-
2 zeigt eine schematische Darstellung ähnlich 1, um zwei Variationen zu erläutern, die einzeln oder gemeinsam vorgenommen werden können. In 2 ist einerseits die Steuer- und Auswertungseinheit 16 des Sensors 12 über eine Schnittstelle 18 mit einer übergeordneten Steuerung 20 verbunden, insbesondere einer Sicherheitssteuerung oder einer Steuerung der Arbeitszelle, welcher auch die Maschine 10 zugeordnet ist. Die übergeordnete Steuerung 20 ist mit der Maschine 10 verbunden, insbesondere mit deren Maschinensteuerung und um dort eine sicherheitsgerichtete Reaktion auszulösen. Die übergeordnete Steuerung 20 kann ihrerseits mit einem Netzwerk verbunden sein, insbesondere einer Cloud. Damit soll illustriert werden, dass abweichend von 1 die Steuer- und Auswertungsfunktionalität praktisch beliebig auf den Sensor 12 selbst, dessen lokale übergeordnete Steuerung 20 und ein Remote-Netzwerk verteilt sein kann. Sicherheitsrelevante Kernfunktionen mit kurzer Ansprechzeit werden aber bevorzugt lokal in dem Sensor 12 oder dessen übergeordneter Steuerung 20 behandelt und nicht an eine Cloud ausgelagert.
-
Als weiterer Unterschied zu 1 ist ein zusätzlicher optoelektronischer Sensor 22 vorgesehen, der stationär montiert ist, über eine Schnittstelle 24 mit der übergeordneten Steuerung 20 oder alternativ direkt mit dem mitbewegten Sensor 12 verbunden ist und ebenfalls die Umgebung 14 der Maschine beobachtet. Für die möglichen Ausgestaltungen des stationären Sensors 22 gilt das gleiche wie für den mitbewegten Sensor 12, wobei homogene wie hybride Mehrfachanordnungen von Sensoren denkbar sind. Die Sensordaten des stationären Sensors 22 dienen dazu, die Erfassung durch den mitbewegten Sensor 12 zu ergänzen und/oder abzugleichen.
-
3 zeigt nochmals ähnlich 1 den als Beispiel einer Maschine 10 fungierenden Roboter samt mitbewegtem optoelektronischem Sensor 12. Im Prozessablauf bewegt die Maschine 10 ihre Werkzeugspitze und somit den dort befestigten mitbewegten Sensor 12 längs einer Trajektorie 26 in verschiedene Positionen und Orientierungen 12a-b. Dabei beobachtet der mitbewegte Sensor 12 die Umgebung 14, die in 3 lediglich durch wenige beispielhafte Objekte 28 repräsentiert ist. Erfindungsgemäß wird aus den Sensordaten die Trajektorie 26 und damit die jeweilige Eigenposition und -ausrichtung des mitbewegten Sensors 12 rekonstruiert. Weiterhin wird während einer Einlernphase eine Referenzkarte der Umgebung 14 erstellt und anhand dieser Referenzkarte im Betrieb festgestellt, ob sich in der Umgebung 14 eine Person beziehungsweise ein Körperteil einer Person mit einer gefährlichen Position und/oder Bewegung in Bezug auf die Maschine 10 befindet. Dann wird eine sicherheitsgerichtete Reaktion eingeleitet.
-
Gestützt auf diese Illustration der 3 wird nun unter Bezugnahme auf 4 die Einlernphase der erfindungsgemäßen Absicherung und anschließend unter Bezugnahme auf 5 die darauf basierende Absicherung im Betrieb genauer beschrieben. Durch den anhand der 4 erläuterten Inbetriebnahmeprozess entfällt die herkömmliche manuelle Konfiguration von Schutzfeldern, die durch eine automatisch generierte Referenzkarte ersetzt werden.
-
Gemäß einem Schritt S1 der Einlernphase durchfährt die Maschine 10 einmal oder mehrfach dem vorgegebenen Prozessablauf folgend die beabsichtigte Trajektorie 26, führt also mindestens eine Referenzfahrt durch. Das erfindungsgemäße Verfahren setzt vorzugsweise voraus, dass die Trajektorie 26 in jedem Durchlauf identisch ist. Weicht der Bewegungsablauf später im Betrieb oder gar schon in der Einlernphase zwischen den einzelnen Durchläufen ab, so erhöht sich die Unsicherheit.
-
Gemäß einem Schritt S2 erfasst der Sensor 12 währenddessen die Umgebung 14. Dabei sind weiterhin auch Konfigurationen mit mehreren mitbewegten Sensoren 12 beziehungsweise mindestens einem stationären Sensor 22 wie zu 1 und 2 erläutert möglich. Die Sensordaten können sofort ausgewertet werden, und so ist das Verfahren hier beschrieben, oder sie werden für eine verzögerte beziehungsweise nachgelagerte, im Prinzip aber gleichartige Auswertung zunächst nur gespeichert.
-
Gemäß einem Schritt S3 wird nun der Sensor 12 anhand der Sensordaten lokalisiert. Es sind diverse Verfahren an sich bekannt, um die Eigenbewegung eines optoelektronischen Sensors anhand der von ihm aus der Ego-Perspektive (first person) aufgezeichneten Daten zu rekonstruieren. Ein Bespiel sind Structure-from-Motion-Bildauswertungen (SFM) während der Aufnahme oder im Nachhinein aus einer Bildsequenz. Dabei können auch die Messpunkte eines Laserscanners als Bildsequenz aufgefasst werden. Solche Bildauswertungen sind an sich bekannt und beruhen darauf, übereinstimmende Bildmerkmale oder Korrespondenzen in zu unterschiedlichen Zeitpunkten aufgenommenen Bildern zu finden beziehungsweise Bildmerkmale über die Bildsequenz zu verfolgen (Tracking). Aufgrund der Bewegung wechselt zwischen den Bildern ständig die Perspektive des Sensors 12. Aus der relativen Lage der übereinstimmenden Bildmerkmale in den Bildern kann die jeweilige Sensorposition zurückgerechnet werden.
-
Ein bewährter Algorithmus zur Erkennung von übereinstimmenden Bildmerkmalen ist SIFT (Scale Invariant Feature Transform). Dabei wird zunächst zur Aufschärfung von Bildmerkmalen die DOG-Funktion (Difference-of-Gaussian) auf die Bilder angewandt, um Kandidaten für Bildmerkmale als deren Extrema zu erkennen. Ein anderer verbreiteter Algorithmus zur Bildmerkmalserkennung ist als SURF (Speed Up Robust Features) bekannt, wo die DOG-Funktion durch einen auf einer Hesse-Matrix basierenden Blob-Detektor ersetzt ist. Der Lukas-Kanade-Tracker ist ein Matching-Algorithmus, um Bildmerkmale von Bild zu Bild zu verfolgen. Es kann vorkommen, dass einige Bildmerkmale fehlerhaft als korrespondierend erkannt werden. Deshalb sind Filter vorteilhaft, um die Korrespondenzen zu überprüfen. Ausreißer werden dabei beispielsweise mit einem RANSAC-Verfahren (Random Sample Consensus) eliminiert.
-
Es gibt verschiedene Ansätze, um die Sensorpose aus den Korrespondenzen zu rekonstruieren. Bei inkrementeller SFM wird Bild für Bild eine Sensorpose berechnet, und die Sensorposen werden aneinandergereiht. Bei globaler SFM hingegen wird das Problem für alle Sensorposen gleichzeitig gelöst. Als Zwischenlösung gibt es sogenannte out-of-core-SFM, wo mehrere partielle Rekonstruktionen berechnet und dann zu einer globalen Lösung zusammengesetzt werden.
-
Somit ist durch SFM-Techniken die Abfolge der Sensorpositionen und damit die Trajektorie 26 des Sensors 12 samt jeweiliger Pose in den einzelnen Positionen bestimmbar, wobei der Zeitbezug aus der Framerate oder aus Zeitstempeln der jeweiligen Sensordatensätze gewonnen wird. Obwohl die vollständige zeitabhängige Bewegungsbahn zugänglich ist, sind natürlich auch Ausführungsformen vorstellbar, in denen nur ein Teil dieser Informationen gewonnen beziehungsweise weiterverwendet wird.
-
Gemäß einem Schritt S4 wird aus den in den jeweiligen Positionen des Sensors 12 gewonnenen Sensordaten eine Umgebungskarte als Referenzkarte zusammengesetzt. Die jeweilige Perspektive des Sensors 12 ist aus Schritt S3 schon bekannt. Somit ist klar, wo die bisher noch nicht erfassten Informationen über die Umgebung 14 iterativ ergänz werden. Eine passgenaue Fusion kann anhand von übereinstimmenden Merkmalen in bisheriger Referenzkarte und aktuell aufgenommenen Sensordaten erfolgen.
-
In einer bevorzugten Ausführungsform erfolgen die Lokalisation gemäß Schritt S3 und das Erstellen der Referenzkarte gemäß Schritt S4 in einem. Dazu eignet sich ein SLAM-Verfahren (Simultaneous Localisation and Mapping). Dabei wird iterativ die eigene Position des Sensors 12 rekonstruiert und die Referenzkarte direkt ergänzt, um sie dann im nächsten Schritt wieder für die Rekonstruktion der Position zu verwenden. SLAM-Verfahren sind auch besonders geeignet, um die Sensordaten mehrerer Sensoren gemeinsam zu behandeln, also im Falle mehrerer mitbewegter Sensoren 12 und/oder mindestens eines zusätzlichen stationären Sensors 22.
-
Der Einlern- oder Konfigurationsprozess basiert demnach darauf, eine oder mehrere Referenzfahrten durchzuführen, um eine digitale Referenzkarte zu erzeugen, die einen Soll- oder Normalzustand definiert. Es ist denkbar, an dieser Referenzkarte noch Modifikationen vorzunehmen, indem gezielt die zwei- oder dreidimensionalen Konturen in einem Konfigurationsprogramm beeinflusst werden. Es ist auch vorstellbar, mindestens eine weitere Referenzfahrt mit geänderten Bedingungen durchzuführen, um dadurch eine weitere Referenzkarte zu gewinnen und mit der ursprünglichen Referenzkarte zu verrechnen beziehungsweise gleich die ursprüngliche Referenzkarte zu verbessern und zu erweitern.
-
Die auf diese Weise gewonnene Referenzkarte repräsentiert eine Umgebung 14 ohne Gefährdungen und ersetzt in diesem Sinne die klassischen Schutzfelder.
-
5 zeigt ein Ablaufdiagramm einer sich anschließenden Betriebsphase. Dabei ist denkbar, dass mindestens eine weitere Einlernphase eingeschoben wird, um die Rekonstruktion der Trajektorie 26 beziehungsweise die Referenzkarte zu verbessern oder an einen veränderten Prozessablauf anzupassen.
-
Auch im Betrieb bewegt sich die Maschine 10 gemäß Schritt S5 durch den Prozessablauf, vorzugsweise stets durch einen identisch wiederholten Prozessablauf.
-
Der mitbewegte Sensor 12 erfasst dabei gemäß Schritt S6 seine jeweilige aktuelle Umgebung 14.
-
Gemäß einem Schritt S7 wird laufend die aktuelle Position des mitbewegten Sensors 12 in bis zu drei Positions- und drei Orientierungsfreiheitsgraden rekonstruiert, und damit auch die Position der Maschine 10 beziehungsweise des Maschinenteils, mit dem der Sensor 12 sich mitbewegt. Diese Lokalisierung kann mit den vergleichsweise aufwändigen Verfahren durchgeführt werden wie in der Einlernphase. Andererseits steht aber nun dafür auch eine für die erforderlichen Zwecke vollständige Referenzkarte zur Verfügung, die für die Lokalisierung genutzt werden kann.
-
In einem Schritt S8 werden die von dem Sensor 12 aufgenommenen Sensordaten mit einer aus der Referenzkarte abgeleiteten Erwartung verglichen. Dazu wird insbesondere aus der Referenzkarte eine Sollansicht erstellt, die der in Schritt S7 bestimmten Sensorposition entspricht. Als Alternative dazu, die Sollansicht künstlich aus der Referenzkarte zu erzeugen, können auch in der Einlernphase aufgezeichnete Sensordaten gespeichert und mit der jeweiligen Sensorposition verknüpft werden. Als Sollansicht werden dann die zur aktuellen Sensorposition passenden, gespeicherten Sensordaten geladen. Steht für die aktuelle Sensorposition kein gespeicherter Sensordatensatz zur Verfügung, so kann eine Extrapolation aus Sensordatensätzen benachbarter Sensorpositionen erfolgen. Bespielhafte Bewertungsmaßstäbe dafür, ob die aktuelle Ansicht des Sensors 12 von der Sollansicht abweicht, sind ein Korrelationsmaß, eine Volumenänderung zwischen Referenzkarte und aktuellen Sensordaten sowie einfache lineare Abweichungsmaße. Mit solchen Bewertungsmaßstäben können geringfügige Änderungen toleriert werden. Die Abweichung kann auf bestimmte Teilregionen beschränkt werden, was zum Beispiel bedeutet, dass Teilbereiche der Umgebung 14 als inhärent sicher, etwa mechanisch nicht zugänglich, oder nicht überwacht angesehen werden.
-
In einem Schritt S9 wird nun bewertet, ob die festgestellten Abweichungen auf das Eindringen eines gefahrbringenden Objektes oder einer Person zurückzuführen sein können. Das ist natürlich nicht der Fall, wenn es im Schritt S8 gar keine Abweichungen gab. Um sicherheitskritisch zu sein, muss eine Abweichung beispielsweise über eine Mindestgröße hinausgehen, einen Mindestabstand zu der Maschine 10 unterschreiten und/oder sich mit einer Mindestgeschwindigkeit darauf zubewegen.
-
Wird im Schritt S10 eine mögliche Gefährdung bejaht, so erfolgt in einem Schritt S11 eine sicherheitsgerichtete Reaktion, welche die Maschine 10 je nach Situation und Konfiguration abbremst, ausweichen lässt oder dort einen Nothalt auslöst. Ansonsten werden der Betrieb der Maschine 10 und die Überwachung fortgesetzt.
-
Zusätzlich zu der eigentlichen sicherheitsgerichteten Überwachung der Umgebung 14 ist eine Kontrolle des Prozessablaufs oder bestimmter Szeneneigenschaften denkbar. Dazu werden auch bestimmte Änderungen von dem durch die Referenzkarte vorgegebenen Sollzustand in der Umgebung 14 gemeldet, die nicht sicherheitsrelevant sind. Da im Betrieb ständig die eigene Position des mitbewegten Sensors 12 und damit die Trajektorie 26 überwacht wird, können Änderungen im Prozessablauf der Maschine 10 durch mögliche Verschleißerscheinungen oder andere prozessrelevante Einflüsse erkannt und gemeldet werden.
-
Über die beschriebene Absicherung lassen sich die Selbstlokalisierung und die Referenzkarte auch noch für weitere Aspekte vorteilhaft nutzen. Ein Beispiel ist eine Messung von Nachlaufwegen beziehungsweise die Verifikation einer Sicherheitsanwendung. Dazu werden künstlich Sicherheitsreaktionen der Maschine 10 eingeleitet. Der mitbewegte Sensor 12 bestimmt dann die Abbremstrajektorie der Maschine 10 bis in die sichere Position beziehungsweise bis zum Stillstand und damit den Nachlaufweg oder zumindest die Nachlaufzeit der Maschine 10 in beliebigen Momenten des Prozessablaufs. Solche Informationen helfen dem Sicherheitsexperten bei der Risikobeurteilung, bei der Auslegung des Prozessablaufs und bei dessen Absicherung beziehungsweise der Verbesserung der Parameter. Dadurch kann auch das Systemverhalten verifiziert werden, was wiederum als Grundlage für eine Sicherheitsfreigabe dient.
-
Die Analyse der Referenzkarte selbst kann ebenfalls bei der Risikoanalyse und Auslegung helfen. So werden beispielsweise anhand von Abstände zwischen Objekten 28 und der Maschine 10 während der Bewegung zu kleine Abständen als potentielle Quetschstellen erkannt. Ist die Referenzkarte hinreichend hoch aufgelöst, so können daraus scharfe Kanten und ähnliche Stellen als zusätzliche Gefährdungsstellen erkannt werden. Die Geschwindigkeit und Position der bewegten Maschinenteile ist nach der Einlernphase über den gesamten Prozessablauf bekannt. Hieraus können konkrete Sicherheitsabstände zu Aufenthaltsbereichen von Personen vorgeschlagen werden. Zudem kann in kritischen Bereichen die Maximalgeschwindigkeit der Bewegung begrenzt werden.
-
Gerade die zuletzt beschriebenen optionalen Verbesserungsschritte durch einen Sicherheitsexperten, aber auch automatische Schritte wie die Berechnungen eines SLAM-Verfahrens, können mittels einer Cloud erfolgen. Ein Grund dafür kann sein, dass weder die Steuer- und Auswertungseinheit 16 des mitbewegten Sensors 12 selbst noch die übergeordnete Steuerung 20 genügend Leistungsfähigkeit besitzt, um die Schritte S3 und S4 der Lokalisierung und Erzeugung einer Referenzkarte durchzuführen. In diesem Fall werden die Sensordaten in die Cloud übertragen, und von dort werden nach erfolgter Berechnung Trajektorie 26 und/oder Referenzkarte zurückgegeben.
-
Die Risikobetrachtung ist eine komplexe Aufgabe für erfahrene Sicherheitsexperten, die mittels der Cloud einen Zugriff auf Referenzkarte und/oder Sensordaten erhalten, der womöglich einen aufwändigen Vor-Ort-Termin vermeidet. Das erhöht insbesondere die Flexibilität bei häufigeren Änderungen des Prozessablaufs. Der Sicherheitsexperte kann Verbesserungen vornehmen oder vorschlagen, etwa hinsichtlich von Sicherheitsabständen, Maximalgeschwindigkeiten und dergleichen, und gegebenenfalls eine Freigabe erteilen. Falls es Verfügbarkeitsprobleme gibt, also relativ häufig eine sicherheitsgerichtete Reaktion ausgelöst wird, die sich im Nachhinein als unnötig herausstellt, so werden Diagnosemaßnahmen aus der Ferne unterstützt. Auch das Auslösen künstlicher Nothalte zum Verifizieren einer Sicherheitsanwendung beziehungsweise dem Bestimmen von Nachlaufwegen kann auf diesem Weg erfolgen.
