-
Die Erfindung betrifft ein Verfahren zum Überwachen einer Maschine nach dem Oberbegriff von Anspruch 1 sowie ein entsprechendes System nach Anspruch 14.
-
Das primäre Ziel der Sicherheitstechnik ist, Personen vor Gefahrenquellen zu schützen, wie sie beispielsweise Maschinen im industriellen Umfeld darstellen. Die Maschine wird mit Hilfe von Sensoren überwacht, und wenn demnach eine Situation vorliegt, in der eine Person gefährlich nahe an die Maschine zu gelangen droht, wird eine geeignete Absicherungsmaßnahme ergriffen.
-
Herkömmlich werden vor allem optoelektronische Sensoren wie Lichtgitter oder Laserscanner für eine sicherheitstechnische Überwachung eingesetzt. In jüngerer Zeit treten 3D-Kameras hinzu. Ein gängiges Absicherungskonzept sieht vor, dass Schutzfelder konfiguriert werden, die während des Betriebs der Maschine vom Bedienpersonal nicht betreten werden dürfen. Erkennt der Sensor einen unzulässigen Schutzfeldeingriff, etwa ein Bein einer Bedienperson, so löst er einen sicherheitsgerichteten Halt der Maschine aus. Andere Eingriffe in das Schutzfeld, beispielsweise durch statische Maschinenteile, können vorab als zulässig eingelernt werden. Oft sind den Schutzfeldern Warnfelder vorgelagert, wo Eingriffe zunächst nur zu einer Warnung führen, um den Schutzfeldeingriff und damit die Absicherung noch rechtzeitig zu verhindern und so die Verfügbarkeit der Anlage zu erhöhen. Es sind auch Alternativen zu Schutzfeldern bekannt, etwa darauf zu achten, dass zwischen Maschine und Person ein von der Relativbewegung abhängiger Mindestabstand eingehalten ist („speed and separation“).
-
In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN13849 für Maschinensicherheit und die Gerätenorm IEC61496 oder EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile.
-
In der sicherheitstechnischen Überwachung von Robotern, speziell Leichtbaurobotern, besteht ein zunehmender Wunsch nach engerer Zusammenarbeit mit Personen (MRK, Mensch-Roboter-Kollaboration). Relevante Normen in diesem Zusammenhang sind beispielsweise die ISO 10218 für Industrieroboter oder die ISO 15066 für kollaborierende Roboter (ISO 15066). In der MRK sollten Schutzfelder und Sicherheitsabstände möglichst klein und eventuall sogar situationsangepasst konfiguriert werden, natürlich unter der Vorgabe, dass die Sicherheit gewährleistet bleibt. Die Normen ISO13854, ISO 13855, ISO 13857 befassen sich mit der Festlegung von Sicherheitsabständen.
-
Es ist aber aufgrund der Komplexität und fehlender Angaben ausgesprochen schwierig, die Systemreaktionszeit und den Anhalte- oder Nachlaufweg eines Roboters zu bewerten, da hier zahlreiche Sensoren, Schnittstellen, Feldbusse und Steuerungen mit individuellen Verzögerungen zusammenarbeiten und diese Wege in beträchtlichem Maße von der genauen Trajektorie des Roboters sowie von der Nutzlast, der Geschwindigkeit und den verwendeten Achsen abhängen. Man behilft sich deshalb mit Worst-Case-Angaben des Roboterherstellers, wobei für die Nachlaufwege selbst solche Angaben häufig fehlen, da der Nachlaufweg von der bewegten Masse und damit der Nutzlast abhängt.
-
Folglich werden die bekannten Verzögerungen der Komponenten auf dem Signalpfad mit sehr konservativen Schätzungen für die nicht bekannten Verzögerungen aufsummiert und mit einer maximalen Geschwindigkeit des Roboterarms multipliziert, dann wird ein Nachlaufweg für die ungünstigste Last und womöglich noch ein Sicherheitszuschlag für die Unsicherheit der Schätzungen hinzugerechnet. Daraus resultieren extrem lange Anhaltezeiten und -wege und damit Sicherheitsdimensionierungen, die zwar ihre Schutzfunktion verlässlich erfüllen, eine enge Kollaboration zwischen Mensch und Maschine aber nahezu ausschließen.
-
Um eine größere Nähe zwischen dem Roboter und dem kollaborierenden Menschen zu ermöglichen, ist es vorteilhaft, wenn die für eine sicherheitsgerichtete Reaktion relevanten Reaktionszeiten minimiert werden oder wenn die Gefahr einer Berührung nicht nur durch konventionelle Abschaltung vermieden wird, sondern der Roboter die Gefahrensituation durch ein Verlangsamen seiner Geschwindigkeit oder durch ein aktives Ausweichen entschärft. Das alles hilft aber nur weiter, wenn dies auch Eingang in die Sicherheitsbetrachtung findet, was bei dem geschilderten und üblichen konservativen Vorgehen nicht der Fall ist.
-
Es wäre daher ausgesprochen hilfreich, das Bewegungsverhalten einer abzusichernden Maschine genau zu kennen und für die Risikobewertung, die Auslegung und Validierung einer Sicherheitsanwendung zu nutzen. Bei Robotern beispielsweise sind herkömmlich die Gelenke mit Drehgebern versehen. Es bedarf dann jedoch der Überwachung jeder Achse durch einen eigenen Drehgeber sowie eines Robotermodels, um aus solchen Sensorinformationen das Bewegungsverhalten abzuleiten. Es ist auch bekannt, den Kollisionsdruck beziehungsweise die Kollisionskraft durch taktile Messungen zu bestimmen. Damit lässt sich aber jeweils nur ein einziger Raumpunkt aus einer Richtung prüfen, und die Aufzeichnung einer vollständigen Bremsbewegung bedarf zahlreicher Einzelmessungen. Bekannt ist weiterhin der Ansatz, in sehr aufwändigen Messreihen Stoppzeiten aus dem Abspulverhalten von Seilzügen zu bestimmen. Trotz des Aufwands erlaubt dies nicht mehr als die skalare Stoppzeitmessung, Informationen über die Bewegungsbahn lassen sich so nicht gewinnen. Es gibt daher im Stand der Technik keine Möglichkeit, mit vertretbarem Aufwand das Bewegungsverhalten der Maschine zu erfassen.
-
Die
DE 10 2015 106 227 B3 offenbart ein Verfahren zum Steuern und/oder Regeln von Motoren eines Roboters, das die Vorhersage eines Bremsweges aus Sicherheitsgründen umfasst. In der
WO 2012/042470 A1 wird eine Sicherheitsvorrichtung für einen Roboter beschrieben, welche die Roboterbewegungen diversitär mit Encodern und Inertialsensoren überwacht. Damit wird sichergestellt, dass bei dem Roboter Plan und Wirklichkeit hinsichtlich seiner Bewegungen übereinstimmt. In beiden Fällen müssen sämtliche Achsen berücksichtigt werden. Für die Sicherheitstechnik reicht auch eine Modellierung des Bremswegs nicht aus, denn die Sicherheitsdimensionierung darf sich nicht an einer Erwartung ausrichten, sondern muss die tatsächliche Roboterbewegung berücksichtigen. Man müsste also doch wieder auf andere Weise validieren oder das Modell in eine Worst-Case-Fehlerbetrachtung einbetten und verliert dadurch den möglichen Vorteil. Mit der Beobachtung der Umgebung des Roboters befassen sich diese Schriften nicht.
-
Aus der
DE 10 2007 007 576 B4 ist ein Verfahren zum Sichern eines Arbeitsraums bekannt, der mit einer 3D-Kamera beobachtet wird, um eine Abweichung von einem Soll-Zustand zu erkennen. Dazu werden die Bewegungen von Mensch und Roboter modelliert und in einer Überprüfungsphase in sicherer Technik überwacht, ob sich der Roboter wie programmiert bewegt. Letzteres geschieht aber erneut durch Erfassung und Auswertung der Achsstellungen des Robotersystems. Die
DE 10 2007 576 B4 gibt auch nicht an, welches Ausmaß eine Abweichung annehmen muss, um sicherheitskritisch zu sein, und wie diese Abweichung festlegende Sicherheitsabstände für eine engere Mensch-Maschine-Kooperation geringer werden könnten.
-
In der
DE 10 2004 043 514 A1 wird ein Verfahren zum Steuern einer sicherheitsrelevanten Funktion einer Maschine beschrieben, das auf der Erfassung einer über der Maschine montierten Kamera basiert. Dabei wird ein die Maschine umgebender Gefahrenbereich dynamisch an die Bewegungen der Maschine und einer in der Nähe erfassten Person angepasst. Allerdings bleibt offen, wie der Gefahrenbereich konkret dimensioniert werden muss. Da nicht bekannt ist, wie sich die Maschine nach Auslösen einer sicherheitsrelevanten Funktion verhalten wird, wären folglich wieder Worst-Case-Annahmen für den Übergang in einen sicheren Zustand zugrunde zu legen.
-
In der
US 8 989 897 B2 wird ein kinematisches Modell eines Roboters durch verschiedene auf dem Roboter montierte Sensoren kalibriert. Das sorgt dafür, dass der Roboter sein internes, lokales Koordinatensystem mit der Außenwelt abgeglichen hat. Das kinematische Modell selbst hängt mit den für die Kalibrierung benutzten Sensoren nicht zusammen, und die
US 8 989 897 B2 trägt zu keiner Verbesserung einer Absicherung des Roboters bei.
-
Die
US 2015/0248916 A1 offenbart ein Verfahren zu Nachbearbeitung von Videofilmen. Ausgangspunkt ist ein Videofilm, der beispielsweise mit einer Helmkamera (Action Cam) aufgenommen wurde. In einem ersten Schritt werden aus den Bilddaten die jeweiligen Posen der Kamera rekonstruiert, und dies wird zu einer Bewegungsbahn zusammengesetzt. Diese Bewegungsbahn wird anschließend geglättet, da die Kamera typischerweise eine erratische Bewegung mit zahlreichen Stößen und Rucklern vollzieht. Schließlich wird ein Zeitrafferfilm längs der geglätteten Bewegungsbahn erstellt, in dem die einzelnen Frames aus mehreren Bildern des Ausgangsfilms zusammengesetzt sind. Ersichtlich dient dieses Verfahren einem gänzlich anderen Zweck als der Sicherheitstechnik, und ein Zeitrafferfilm ist auch kein geeignetes Werkzeug, um normgerechte Sicherheitsabstände zu gewinnen.
-
Es ist daher Aufgabe der Erfindung, die Auslegung einer sicherheitstechnischen Überwachung zu verbessern.
-
Diese Aufgabe wird durch ein Verfahren zum Überwachen einer Maschine nach Anspruch 1 sowie ein entsprechendes System nach Anspruch 14 gelöst. Dazu wird die (Eigen)bewegung der Maschine im Vorfeld und/oder im Betrieb bestimmt. Dies kann die jeweilige vollständige zeitabhängige Trajektorie r(t) = (x(t), y(t), z(t)) aller beweglichen Teile umfassen, wobei in der Praxis nur ein relevanter Teilausschnitt bestimmt wird, wie die Bewegung eines bestimmten Maschinenteils zu nur einigen Zeitpunkten und möglicherweise auch nicht in allen drei Dimensionen. Die Maschine wird in einen sicheren Zustand gebracht, wie dies in einer Sicherheitsanwendung geschieht, wenn eine gefährliche Situation zwischen Objekt und Maschine erkannt wird, sie hält also beispielsweise an, wird auf eine geringere Geschwindigkeit abgebremst oder weicht aus.
-
Die Erfindung geht nun von dem Grundgedanken aus, die Bewegung dadurch zu bestimmen, dass sie von einer Kamera mitvollzogen wird. Die Bewegung oder Teilbewegung der Maschine wird also aus der Ego-Perspektive anhand einer Bildsequenz der Umgebung rekonstruiert. Dazu werden beispielsweise Korrespondenzen von Bildmerkmalen in verschiedenen Frames der Bildsequenz gesucht, um die jeweilige Position der Kamera zu berechnen, deren zeitliche Aneinanderreihung gerade die gesuchte zeitabhängige Trajektorie ist. Es kann auch eine 6D-Pose samt Orientierung bestimmt werden. Den Zeitbezug bildet die Framerate, oder die Bilder der Bildsequenz werden mit einem Zeitstempel versehen, falls die Framerate nicht ausreichend gleichmäßig ist.
-
Die Erfindung hat den Vorteil, dass das Verhalten der Maschine und die Verzögerungen auf den Signalwegen nach Erkennen einer gefährlichen Situation präzise bestimmbar werden. Durch Zugriff auf die vollständige Bewegungsgleichung r(t) durch optische Mittel lassen sich auch andere physikalische Bewegungsparameter wie die Geschwindigkeit oder Beschleunigung ableiten. Bei bekannter Masse resultieren weitere Größen wie Impuls oder kinetische Energie, die relevant werden, sobald nicht jegliche Kollision vermieden werden soll, sondern nur solche, die eine Verletzung einer Person oder Beschädigung der Maschine nach sich ziehen könnten. Die Kraft, die auf eine Person, auf Körperteile oder auch andere Gegenstände bei einer möglichen Kollision wirkt, kann bei bekannten Eingangsgrößen ebenfalls bestimmt werden. Außerdem beeinflussen diese Größen Bremswege und Ausweichmanöver.
-
Da diese Größen nicht mehr konservativ geschätzt, sondern präzise gemessen werden, kann eine Sicherheitsanwendung mit optimierten Sicherheitsabständen ausgelegt werden, die eine deutlich größere Nähe von Mensch und Gefährdungsbereichen an der Maschine ermöglichen. Unter Umständen wird sogar eine Echtzeit-Risikobewertung möglich. Die Konfiguration, Optimierung und Verifikation der eingesetzten Sicherheitstechnik wird vereinfacht und verbessert. Eine Überdimensionierung der Sicherheitsabstände mit herkömmlicher konservativer Abschaltung des Systems zum Ausgleich unbekannter Verzögerungen und Bewegungen ist nicht mehr erforderlich, da dies durch direkte Messung bestimmt wird.
-
Zugleich ist der Ansatz konzeptionell einfach und das Verfahren dementsprechend praktisch ohne Vorwissen durchführbar. Die mögliche Komplexität der Bildauswertungsverfahren ist für den Anwender nicht von Belang, und außerdem sind viele Techniken aus anderen Zusammenhängen schon vorhanden. Es bedarf keiner teuren Ausrüstung, sondern lediglich einer Kamera und zugehöriger Software, die nach Belieben an jedem beweglichen Teil einer Maschine angebracht werden kann, so dass das Verfahren kostengünstig und äußerst flexibel ist. Da viele kommerzielle Kameras zumindest eine gewisse Robustheit und Wasserfestigkeit aufweisen, sind auch Anwendungen im Freien oder gar unter Wasser möglich.
-
Die Bewegung wird bevorzugt unter Verwendung eines Structure-from-Motion-Verfahrens bestimmt. Solche Verfahren sind an sich bekannt, und das Grundkonzept ähnelt der Stereoskopie: Es werden in Bildern aus verschiedener Perspektive Korrespondenzen gesucht, also übereinstimmende Bildmerkmale. Im Falle von Structure-from-Motion hat die unterschiedliche Perspektive ihre Ursache in der Bewegung der Kamera. Aus dem Unterschied in der Lage der Bildmerkmale in dem jeweiligen Bild wird auf die Entfernung des zu dem Bildmerkmal gehörigen Merkmals der Szene geschlossen. In der Stereoskopie sind solche dreidimensionalen Bilddaten das Ziel der Auswertung. Beim hier verwendeten Structure-from-Motion-Ansatz wird umgekehrt auf die jeweilige Position der Kamera geschlossen, um deren Bewegung zu rekonstruieren. Später werden einige Beispiele bekannter Algorithmen für Structure-from-Motion genannt.
-
Die Bewegung wird vorzugsweise geglättet. Damit ist die erfasste Bewegung gemeint, also die Daten, nicht die tatsächliche Bewegung, die in der Verantwortung der Steuerung der Maschine liegt und nur beobachtet wird. Da sich die Kamera mit der Maschine bewegt, ist sie Erschütterungen und dergleichen ausgesetzt. Auf solchen Einzelereignissen soll die Sicherheitsbetrachtung nicht beruhen. Eine Möglichkeit, die Bewegung zu glätten, wird bei der Pfadplanung in der einleitend genannten
US 2015/0248916 A1 beschrieben. Sie dient dort der Erzeugung von Zeitrafferfilmen, kann aber auch für die Erfindung verwendet werden. Sofern zum Glätten Frames entfallen müssen, wird der Zeitbezug vorzugsweise reskaliert. Weitere Möglichkeiten könnten das Errechnen dreidimensionaler gleitender Durchschnitte oder Interpolationen insbesondere mit Splines sein.
-
Vorzugsweise werden mehrere Bildsequenzen ausgewertet, die unterschiedliche Teilmengen der Bildsequenz einer Bewegung oder mehrerer Bewegungen der Maschine während des Verbringens in einen sicheren Zustand sind. Dadurch können statistische Messunsicherheiten quantifiziert werden. Um die erforderliche Anzahl von Auswertungen zu erhalten, sind tatsächliche Messwiederholungen denkbar, aber auch Untermengen eines einzigen Datensatzes, etwa Verwendung jedes n-ten Bildes, oder eine Kombination aus beidem.
-
Die Kamera wird vorzugsweise an oder in der Nähe von einem gefahrbringenden Maschinenteil angebracht, wie etwa einer Werkzeugspitze. Damit wird die Flexibilität genutzt, die Kamera überall anbringen zu können. Wenn es sich beispielsweise um einen Roboter mit vielen Achsen handelt, ist für die Kamera deren Zusammenspiel nicht relevant, da sie einfach die resultierende Bewegung am Ort der Gefahr bestimmt.
-
Vorzugsweise werden mehrere Kameras an der Maschine angebracht, um die Bewegung von beweglichen Teilen der Maschine zu bestimmen. Damit lassen sich auch komplexe Maschinen überwachen, bei denen eine punktuelle Bestimmung der Bewegung nicht ausreicht. Ein Beispiel ist ein Roboter mit mehreren Roboterarmen und eventuell Gelenken.
-
Vorteilhafterweise wird eine sicherheitsgerichtete Reaktion der Maschine ausgelöst und anhand der darauf folgenden Bewegung eine Reaktionszeit, ein Nachlaufweg der Maschine und/oder eine physikalische Größe bestimmt, wie Geschwindigkeit, Beschleunigung, Kraft oder Energie. Das sind wichtige Informationen für die Auslegung von Schutzfeldern oder Sicherheitsabständen. Sie können erfindungsgemäß durch präzises Messen der tatsächlichen Bewegung bestimmt statt nur konservativ abgeschätzt werden. Das ermöglicht engeren Kontakt zu der Maschine und eine bessere Verfügbarkeit. Die Reaktionszeit ist die Zeitspanne zwischen dem Zeitpunkt des Signals für die sicherheitsgerichtete Reaktion und einer daraufhin plötzlich auftretenden Beschleunigung, die aus der Bildsequenz deutlich erkennbar ist. Auch der Stillstand ist relativ einfach zu erkennen, weil nur noch gleiche oder sehr ähnliche Bilder aufgenommen werden. Die sicherheitsgerichtete Abschaltung muss jedoch nicht zwingend in den Stillstand führen, sondern allgemein in einen sicheren Zustand, wozu je nach Anwendung auch ein Ausweichen oder Absenken der Geschwindigkeit auf einen unbedenklichen Wert zählt.
-
Der Kamera wird bevorzugt die sicherheitsgerichtete Abschaltung durch einen Marker signalisiert. Dabei handelt es sich insbesondere um einen optischen Marker, beispielsweise ein Blitzlicht. In einer Ausführungsform erkennt die Kamera den optischen Marker selbst. Sie kann das nutzen, um aus einem Standby-Zustand aufzuwachen und eine Bildsequenz aufzuzeichnen. Alternativ werden ständig Bilder aufgenommen, aber nur diejenigen nach Erkennen des optischen Markers gespeichert oder innerhalb der gespeicherten Bilder als zu einer Phase im Übergang in einen sicheren Zustand gekennzeichnet. Die Kamera muss den optischen Marker aber auch nicht notwendig als solchen erkennen, da der Marker automatisch mit aufgenommen wird und daher auch zu einem späteren Bearbeitungszeitpunkt während einer nachgelagerten einen eindeutigen Zeitbezug liefert. Alternativ zu einem optischen Marker sind auch elektrische oder elektromagnetische Marker denkbar, die dann der Kamera nicht über deren Bilderfassung, sondern eine Signalleitung zugänglich gemacht werden, eventuell mit einem zwischengeschalteten weiteren Sensor. Eine spezielle Signalisierung der sicherheitsgerichteten Abschaltung erfolgt durch ein OSSD-Signal (Output Signal Switching Device) eines Sicherheitssensors oder einer Sichterheitssteuerung. Damit kann auch diese Signalkette mit vermessen werden.
-
Vorzugsweise wird zum Optimieren von Sicherheitsabständen zur Charakterisierung einer gefährlichen Situation die Bewegung der Maschine in mindestens einer Brems- und/oder Ausweichsituation ausgewertet. Es werden also künstlich Situationen hergestellt, in denen die Maschine in den sicheren Zustand übergeht, bevorzugt mehrfach und/oder in verschiedenen Situationen. Damit lässt sich einerseits verifizieren, dass die Maschine tatsächlich den sicheren Zustand in einer Weise erreicht, in der mit den gewählten Sicherheitsabständen keine Kollision auftritt, oder jedenfalls nur mit so kleinen Energien, dass es unbedenklich ist. Andererseits können auch benötigte Sicherheitsabstände abgeleitet werden, oder es wird festgestellt, dass bereits gewählte Sicherheitsabstände noch zu großzügig sind und weiter optimiert werden können.
-
Vorzugsweise werden anhand der während des Verbringens der Maschine in einen sicheren Zustand bestimmten Bewegung oder daraus abgeleiteter Größen sicherheitstechnisch relevante Messgrößen validiert. In diesem Szenario gibt es also bereits eine Sicherheitsauslegung, die mittels erfindungsgemäßer Überwachung einer Maschine oder auch auf andere Weise aufgefunden wurde. Die an der Maschine mitbewegte Kamera und die Auswertung von deren Bildsequenzen wird dann genutzt, um diese Sicherheitsauslegung zu validieren, insbesondere sicherzustellen, dass sie den relevanten Normen und einer gewünschten Sicherheitsstufe entspricht.
-
Vorzugsweise werden Objekte in einer Umgebung der Maschine erfasst, und die Maschine wird in einen sicheren Zustand überführt, wenn eine gefährliche Situation zwischen Objekt und Maschine erkannt wird. Die Erkennung der gefährlichen Situation erfolgt prinzipiell wie üblich, etwa durch Schutzfelder oder Speed-and-Separation Monitoring, und dafür werden auch übliche, an sich bekannte Sensoren eingesetzt, etwa Laserscanner, Lichtgitter, Sicherheitskameras, Ultraschallsensoren oder Trittmatten. Die Sicherheitsauslegung, d. h. die Dimensionierung von Schutzfeldern oder der Sicherheitsabständen für Speed-and-Separation-Überwachung erfolgt dabei anhand der tatsächlichen Bewegung der Maschine und den aus der Überwachung dieser Bewegung gewonnenen Informationen, wie Reaktions- bzw. Stoppzeiten, Nachlaufwege oder anderen physikalischen Größen. Es ist auch denkbar, dynamisch im Betrieb die erkannte beziehungsweise prognostizierte Eigenbewegung zu nutzen, um Gefahren zu erkennen.
-
Bilder der Kamera werden vorzugsweise auch für die Erfassung von Objekten in der Umgebung der Maschine genutzt. Die Kamera beobachtet die Umgebung ohnehin und kann deshalb in einer Doppelfunktion auch für eine Objekterfassung zuständig sein. Sie ersetzt oder ergänzt dann Sicherheitssensoren für die sicherheitstechnische Überwachung der Maschine. Eine solche Kamera ist bevorzugt eine Sicherheitskamera mit entsprechenden Maßnahmen zur Einhaltung einschlägiger Sicherheitsnormen. Alternativ ist die Kamera nur eine von mehreren Quellen zu Erfassung von Objekten, dann kann die Sicherheit auch erst durch die Kombination gewährleistet sein, und die Kamera braucht in sich nicht sicher ausgelegt zu werden.
-
Die Objekte in der Umgebung werden bevorzugt von mindestens einer externen, nicht an der Maschine angebrachten Kamera erfasst, wobei insbesondere lokale Koordinaten der Bewegung der Maschine anhand gemeinsam erkannter Bildmerkmale der an der Maschine angebrachten Kamera und der externen Kamera in globale Koordinaten der äußeren Perspektive umgerechnet werden oder umgekehrt. Die mitbewegte Kamera bestimmt die Bewegung zunächst nur in ihren eigenen lokalen Koordinaten. Eine Möglichkeit der Umrechnung in ein externes oder globales Koordinatensystem ist eine Kalibration. Die Transformation lässt sich aber anhand von Bildmerkmalen, welche von der mitbewegten Kamera und der externen Kamera gleichermaßen erfasst werden, auch automatisieren. Die externe Kamera und die an der Maschine angebrachte Kamera können einander für Objekterkennung und Bestimmung der Bewegung ergänzen, etwa indem die aus der mitbewegten Kamera bestimmte Bewegungsbahn durch die Bildsequenz der externen Kamera plausibilisiert wird.
-
Ein erfindungsgemäßes System zum Absichern einer Maschine umfasst mindestens eine an der Maschine angebrachte Kamera und eine Steuer- und Auswertungseinheit, die für ein erfindungsgemäßes Verfahren ausgebildet ist. Die Kamera ist beispielsweise eine Action Cam oder eine vergleichbare Kamera, die nur Bilddaten liefert. Dann ist die Steuer- und Auswertungseinheit ein externer Rechner, welcher die Bilddaten in Echtzeit oder nachträglich empfängt und auswertet. Dazu ist eine bevorzugt drahtlose Datenverbindung zwischen Kamera und Steuer- und Auswertungseinheit vorgesehen. Eine externe Steuer- und Auswertungseinheit ist insbesondere über ein Netzwerk oder eine Cloud realisiert. Die Datenverbindung kann auch dadurch hergestellt werden, dass ein Speichermedium oder -chip der Kamera von der Steuer- und Auswertungseinheit gelesen wird. Alternativ ist zumindest ein Teil der Steuer- und Auswertungsfunktionalität in die Kamera integriert, etwa in einem Smartphone, beziehungsweise in einem an die Kamera anschließbaren Modul untergebracht.
-
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
- 1 eine schematische Ansicht eines Roboters mit einer daran angebrachten Kamera zum Bestimmen der Eigenbewegung des Roboters; und
- 2 eine beispielhafte Darstellung einer Bewegungsbahn einer Kamera und eine zugehörige geglättete Bewegungsbahn.
-
1 zeigt eine schematische Ansicht eines Roboters 10. Der Roboter 10 dient als Beispiel eines gefahrbringenden Objekts, aber andere sicherheitstechnisch zu überwachende Maschinen wie Förderer, Pressen und auch Fahrzeuge sind ebenso denkbar, insbesondere Gabelstapler oder autonome Fahrzeuge (AGC, Automated Guided Cart oder AGV, Automated Guided Vehicle).
-
An dem Roboter 10 ist eine Kamera 12 angebracht, vorzugsweise an der eigentlichen Gefahrenquelle, welche hier eine Werkzeugspitze bildet. Die Kamera 12 weist eine Kommunikationsschnittstelle 14 auf, vorzugsweise eine drahtlose optische Schnittstelle oder eine Funkschnittstelle nach einem Standard wie WLAN, ZIGBEE, Bluetooth oder dergleichen. Alternativ speichert die Kamera 12 ihre Bilder auf einem Speichermedium, das nachträglich entnommen und ausgelesen wird.
-
Als Empfänger der Bilddaten mit passender Schnittstelle ist eine Steuer- und Auswertungseinrichtung 16 vorgesehen, die in 1 als Notebook gezeigt ist. Ebenso denkbar wäre ein Tablet, Smartphone und allgemein jedes Gerät, welches in der Lage ist, mit der Kamera 14 zu kommunizieren. Die Steuer- und Auswertungseinrichtung 16 kann alternativ zumindest teilweise in der Kamera 14, einem daran direkt angeschlossenen Modul oder dem Roboter 12 implementiert sein und überdies bei Bedarf auch mit der Robotersteuerung kommunizieren. Die Steuer- und Auswertungseinheit 16 wertet in einer noch zu erläuternden Weise mit der Kamera 14 aufgenommene Bildsequenzen aus, um deren Eigenbewegung und damit die Bewegung des Roboters am Anbringungsort zu bestimmen.
-
Der Roboter 10 wird in diesem Ausführungsbeispiel durch eine externe Kamera 18 sicherheitstechnisch überwacht. Diese externe Überwachung ist optional, die Erfindung bezieht sich zunächst nur auf die Überwachung durch die am Roboter 12 mitbewegte Kamera 14, während die externe Kamera 18 für eine zusätzliche Überwachung insbesondere auf Gefährdungssituationen vorgesehen ist. Die Kamera 18 weist einen sicheren Ausgang 20 auf (OSSD, Output Signal Switching Device), über den sie an den Roboter 10 beziehungsweise dessen Robotersteuerung angeschlossen ist. Erkennt die externe Kamera 18 eine Gefahrensituation in Form eines Objekts, das dem Roboter 10 in gefährlicher Weise nahe kommt, so wird ein sicherheitsgerichtetes Absicherungssignal an den Roboter 10 ausgegeben, woraufhin dieser in einen sicheren Zustand versetzt wird. Bei der Sicherheitsauslegung, also der Konfiguration der externen Kamera 18 im Hinblick darauf, was eine gefährliche Situation ist, wird die in der Steuer- und Auswertungseinheit 16 bestimmte Eigenbewegung des Roboters 10 genutzt. Insbesondere werden Schutzfelder oder Sicherheitsabstände validiert und/oder optimiert. Dazu kann auch eine Kommunikationsverbindung zwischen der Steuer- und Auswertungseinheit 16 und der externen Kamera 18 bestehen, oder die Steuer- und Auswertungseinheit 16 ist mindestens teilweise in der externen Kamera 18 implementiert sein.
-
Dabei steht die externe Kamera 18 rein beispielhaft für eine Vielzahl von möglichen Sicherheitskonzepten. Zunächst wird häufig eine weitere Steuerungseinheit die Bilddaten der Kamera 18 sicherheitstechnisch auswerten, statt dass dies wie dargestellt intern geschieht. Außerdem sind beliebige andere Sensoren und Kombinationen von Sensoren, auch Sensoren des Roboters 10 selbst oder deren Einbeziehung, als Teil des Sicherheitskonzepts möglich. Auch die Bilddaten der am Roboter 10 mitbewegten Kamera 12 können für die Objektüberwachung mitgenutzt werden, auch wenn deren Hauptfunktion die Bestimmung der Eigenbewegung des Roboters 10 ist. Im kompaktesten Fall ist die Kamera 12 eine Sicherheitskamera und übernimmt die Funktion der externen Kamera 18 vollständig.
-
Nachstehend wird zunächst erläutert, wie die Kamera 12 die Eigenbewegung des Roboters 10 bestimmt. Da die Kamera 12 mit dem Roboter 10 mitbewegt ist, nimmt sie Bildsequenzen aus einer Ego-Perspektive (first-person) auf. Es ist vorteilhaft, die Kamera 12 vorab zu kalibrieren. Ein optischer Marker in ihrem Sichtfeld kann genutzt werden, um eine Umrechnungsvorschrift von lokalen Koordinaten der Kamera 12 in globale Koordinaten zu gewinnen. Es ist auch möglich, den optischen Marker so zu präsentieren, dass auch die externe Kamera 18 ihn aufnimmt und so Umrechnungsvorschriften für die Bilddaten in ein gemeinsames Koordinatensystem beider Kameras 12, 18 zu erhalten. Das vereinfacht es, die Relativbewegung von Roboter 10 und einem erfassten Objekt wie einer zu schützenden Person zu bestimmen (Speed-and-Separation Monitoring).
-
Die Steuer- und Auswertungseinheit 16 bestimmt nun mit Structure-from-Motion-Bildauswertungen (SFM) während der Aufnahme oder im Nachhinein aus einer Bildsequenz der Kamera 12 die jeweilige Kameraposition in lokalen Koordinaten. Solche Bildauswertungen sind an sich bekannt und beruhen darauf, übereinstimmende Bildmerkmale oder Korrespondenzen in zu unterschiedlichen Zeitpunkten aufgenommenen Bildern zu finden beziehungsweise Bildmerkmale über die Bildsequenz zu verfolgen (Tracking). Aufgrund der Bewegung wechselt zwischen den Bildern ständig die Kameraperspektive. Aus der relativen Lage der übereinstimmenden Bildmerkmale in den Bildern kann die jeweilige Kameraposition zurückgerechnet werden.
-
Ein bewährter Algorithmus zur Erkennung von übereinstimmenden Bildmerkmalen ist SIFT (Scale Invariant Feature Transform). Dabei wird zunächst zur Aufschärfung von Bildmerkmalen die DOG-Funktion (Difference-of-Gaussian) auf die Bilder angewandt, um Kandidaten für Bildmerkmale als deren Extrema zu erkennen. Ein anderer verbreiteter Bildmerkmalserkennung ist als SURF (Speed Up Robust Features) bekannt, wo die DOG-Funktion durch einen auf einer Hesse-Matrix basierenden Blob-Detektor ersetzt ist. Der Lukas-Kanade-Tracker ist ein Matching-Algorithmus, um Bildmerkmale von Bild zu Bild zu verfolgen. Es kann vorkommen, dass einige Bildmerkmale fehlerhaft als korrespondierend erkannt werden. Deshalb sind Filter vorteilhaft, um die Korrespondenzen zu überprüfen. Ausreißer werden dabei beispielsweise mit einem RANSAC-Verfahren (Random Sample Consensus) eliminiert.
-
Es gibt verschiedene Ansätze, um die Kamerapose aus den Korrespondenzen zu rekonstruieren. Bei inkrementeller SFM wird Bild für Bild eine Kamerapose berechnet, und die Kameraposen werden aneinandergereiht. Bei globaler SFM hingegen wird das Problem für alle Kameraposen gleichzeitig gelöst. Als Zwischenlösung gibt es sogenannte out-of-core-SFM, wo mehrere partielle Rekonstruktionen berechnet und dann zu einer globalen Lösung zusammengesetzt werden.
-
Somit ist durch SFM-Techniken die Abfolge der Kamerapositionen und damit die Bewegungsbahn r(t) = (x(t), y(t), z(t)) der Kamera 12 bestimmbar, wobei der Zeitbezug aus der Framerate oder aus Zeitstempeln der jeweiligen Bilder gewonnen wird. Obwohl die vollständige zeitabhängige Bewegungsbahn zugänglich ist, sind natürlich auch Ausführungsformen vorstellbar, in denen nur ein Teil dieser Informationen gewonnen beziehungsweise weiterverwendet wird.
-
Die Bewegungsbahn der Kamera
12 kann anschließend noch geglättet werden, da sie möglicherweise aufgrund von Erschütterungen und anderen Störungen von einer ideal gemessenen Bewegungsbahn des Roboters
10 noch abweicht.
2 illustriert dies an einem Beispiel, wo die mittels SFM-Verfahren berechnete ursprüngliche Bewegungsbahn
22 in grau und die geglättete Bewegungsbahn
24 in schwarz dargestellt ist. Die Glättung kann durch eine Mittelung erfolgen. Vorzugsweise werden aber anspruchsvollere Techniken verwendet, die eigentlich für die Erzeugung von ruckfreien Zeitraffervideos entwickelt wurden. Für eine genaue Erläuterung dieses Glättungsverfahrens verweisen wir auf die einleitend kurz diskutierte
US 2015/0248916 A1 .
-
Als Kamera 12 kann eine beliebige herkömmliche 2D-Kamera eingesetzt werden, insbesondere eine kleine und robuste Kamera (Action Cam). Alternativ wird eine 3D-Kamera eingesetzt, insbesondere eine Lichtlaufzeitkamera (TOF, Time of Flight). Es ist denkbar, eine aktive Beleuchtung für die Kamera 12 vorzusehen, bei einigen Verfahren wie Lichtlaufzeitverfahren oder 3D-Triangulation aus einem strukturierten Muster ist das sogar erforderlich. In der Szenerie können zusätzliche Marker angebracht werden, welche die Bewegungsrekonstruktion als zuverlässig erkennbarer Korrespondenzen verbessern. Zusätzliche Maßnahmen zur Qualitätsverbesserung der Messung sind möglich, wie Bandpassfilter, insbesondere auf eine eigene aktive Beleuchtung abgestimmt, Filter für Bewegungsunschärfe, kurze Belichtungszeiten, hohe Aufnahmefrequenzen und dergleichen.
-
Die Kamera 12 kann sehr einfach an jedem interessierenden beweglichen Maschinenteil angebracht werden, wie Gelenken, exponierten Punkten, dem vordersten Teil eines Fahrzeugs. Es ist unerheblich, wie komplex sich beispielsweise eine Roboterbewegung am Ort der Kamera 12 aus verschiedenen Achsen zusammensetzt, da die Kamera 12 in jedem Fall die resultierende Bewegung erfährt. Durch Anbringen mehrerer Kameras 12 an verschiedenen Maschinenteilen werden entsprechende Bewegungsbahnen aus deren jeweiliger Perspektive gewonnen. Aus den Bewegungsbahnen ri(t) für die i=1... n Kameras 12 lassen sich in Kenntnis oder nach Messung der bewegten Massen auch weitere physikalische Größen wie der Impuls, die kinetische Energie oder auch die Kraft beziehungsweise der Kraftübertrag bei einer Kollision ableiten. In einigen Sicherheitsanwendungen sind unschädliche Berührungen erlaubt, beispielsweise bei Kleinrobotern in einer Mensch-Maschine-Kooperation (MRK). Dort kann anhand solcher Größen bestimmt werden, welche Berührungen noch zugelassen werden beziehungsweise direkt gemessen werden, ob Grenzen noch eingehalten sind.
-
Zusätzliche Informationen lassen sich nicht nur durch mehrere Kameras 12, sondern auch andere Sensoren gewinnen. So können die kinetischen Größen diversitär geprüft oder verbessert werden. Einige Beispiele sind Drehgeber oder Trägheitssensoren, wie Beschleunigungs- oder Drehratensensoren.
-
Im Betrieb sind zwei Gruppen von Ausführungsformen zu unterscheiden. In vielen Fällen wird die Kamera 12 mit der Steuer- und Auswertungseinheit 16 für eine anfängliche Konfiguration und Sicherheitsauslegung verwendet und kann auch eigens dafür an dem Roboter 12 angebracht beziehungsweise anschließend abmontiert werden. Dabei ist sowohl eine Verifikation/Validierung als auch eine Optimierung möglich. Die Bewegungsbahn r(t) ermöglicht unmittelbar, spezifische Variablen wie Geschwindigkeit, Impuls, Bremswege und dergleichen zu überprüfen. Damit können Herstellerangaben sicherheitstechnisch validiert oder, sofern solche Angaben fehlen, überhaupt erst bestimmt werden.
-
Zwei besonders interessante Größen für eine Sicherheitsauslegung sind die Reaktionszeit, bis auf ein sicherheitsgerichtetes Abschaltsignal der Übergang in einen sicheren Zustand einsetzt, sowie die Stillsetzzeit, bis der sichere Zustand erreicht ist. Zu beiden Zeiten sind durch die Bewegungsbahn r(t) auch Positionen, Geschwindigkeiten und weitere Größen bekannt. Der Übergang in den sicheren Zustand wird regelmäßig durch eine plötzliche Beschleunigung gekennzeichnet sein. Ein Stillstand, sofern dies der sichere Zustand ist, kann auch vereinfacht durch redundante Frames erkannt werden, ist aber ebenso wie eine Ausweichbewegung oder ein Herabsetzen auf eine sichere Geschwindigkeit auch aus der Bewegungsbahn r(t) erkennbar.
-
Diese Größen können in einer Ausführungsform vorab in verschiedenen Szenarien gezielt gemessen werden. Dazu wird künstlich eine sicherheitsgerichtete Abschaltung ausgelöst, entweder indem absichtlich ein Schutzfeld verletzt oder ein Sicherheitsabstand unterschritten wird, oder ganz unabhängig von der Sicherheitsanwendung durch ein Signal an die Robotersteuerung, welches elektrisch oder optisch, insbesondere durch ein Blitzlicht, zugleich der Kamera 12 zugeleitet wird. Die Reaktionszeit und die Stillsetzzeit sind dann die jeweilige Dauer von dem auslösenden Signal bis zum Einsetzen des Übergangs in den sicheren Zustand beziehungsweise dem Erreichen des sicheren Zustands. Durch Wiederholungen können auch statistische Fluktuationen in der jeweiligen Bewegungsbahn beziehungsweise Reaktionszeit und Stillsetzzeit bestimmt und in der Sicherheitsauslegung berücksichtigt werden. Das Wissen um die Bewegungsbahn kann auch für deren Planung und Optimierung verwendet werden.
-
In einer zweiten Gruppe von Anwendungen wird die Bewegung der Kamera 12 alternativ oder zusätzlich auch während des eigentlichen Betriebs bestimmt. Sofern dies sicherheitsrelevante Aufgaben betrifft, sollte in diesem Fall die Kamera 12, die Steuer- und Auswertungseinheit 16 sowie deren Kommunikationsverbindung bevorzugt sicherheitstechnischen Anforderungen genügen. Dann sind auch in-situ-Messungen mit dynamischen Bewertungen von Gefahrensituationen und Entscheidungen über angemessene Absicherungsmaßnahmen möglich.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102015106227 B3 [0010]
- WO 2012/042470 A1 [0010]
- DE 102007007576 B4 [0011]
- DE 102007576 B4 [0011]
- DE 102004043514 A1 [0012]
- US 8989897 B2 [0013]
- US 2015/0248916 A1 [0014, 0022, 0045]
-
Zitierte Nicht-Patentliteratur
-
- ISO 10218 [0005]
- ISO 15066 [0005]
- ISO13854 [0005]
- ISO 13855 [0005]
- ISO 13857 [0005]
