-
Die Erfindung betrifft eine Sensoranordnung zur Objekterkennung in einem Überwachungsbereich mit einem entfernungsmessenden Laserscanner und mindestens einem weiteren Sensor nach dem Oberbegriff von Anspruch 1.
-
Zur Überwachung von Arbeitsbereichen werden häufig Sicherheitslaserscanner eingesetzt, wie sie beispielsweise aus
DE 43 40 756 A1 bekannt sind Ein von einem Laser erzeugter Lichtstrahl überstreicht mit Hilfe einer Ablenkeinheit periodisch einen Überwachungsbereich. Das Licht wird an Objekten in dem Überwachungsbereich remittiert und in dem Scanner ausgewertet. Aus der Winkelstellung der Ablenkeinheit wird auf die Winkellage des Objektes und aus der Lichtlaufzeit unter Verwendung der Lichtgeschwindigkeit zusätzlich auf die Entfernung des Objektes von dem Laserscanner geschlossen. Dabei sind zwei grundsätzliche Prinzipien bekannt, die Lichtlaufzeit zu bestimmen. Bei phasenbasierten Verfahren wird das Sendelicht moduliert und die Phasenverschiebung des empfangenen gegenüber dem gesendeten Licht ausgewertet. Bei pulsbasierten Verfahren, wie sie in der Sicherheitstechnik bevorzugt eingesetzt werden, misst der Laserscanner die Laufzeit, bis ein ausgesandter Lichtpuls wieder empfangen wird. In der
DE 20 2006 014 939 U1 wird vorgeschlagen, anstelle einer Ablenkeinheit und einer Photodiode eine 360°-Optik mit einem ortsauflösenden, entfernungsmessenden Matrixbildsensor einzusetzen. Auch derartige Sensoren können, obwohl sie keine Scanbewegung ausführen, wegen ihrer ähnlichen Funktion als Laserscanner aufgefasst werden.
-
Eine andere bekannte Möglichkeit der entfernungsaufgelösten Positionserkennung von Objekten besteht in der Aufnahme von Bildern mit 3D-Kameras. Auch hier sind mehrere Messprinzipien bekannt. In der Stereoskopie werden Bilder von zwei Kameras aus gegeneinander versetzter Perspektive aufgenommen, in den beiden entstehenden Bildern Korrespondenzen gesucht und aus deren Disparität die Entfernung trianguliert. Bei einem Lichtschnittverfahren und bei aktiver Triangulation werden Lichtmuster in den Überwachungsbereich projiziert und Lage oder Verzerrung von Musterelementen ausgewertet Lichtlaufzeitkameras messen die Entfernung im Prinzip wie ein Laserscanner mit dem Unterschied, dass in jedem Pixel des ortsaufgelösten Bildsensors die Lichtlaufzeit ermittelt wird.
-
Eine wichtige sicherheitstechnische Anwendung ist die Absicherung von Maschinen, die eine Gefahrenquelle bilden. Der Sensor überwacht dabei ein innerhalb des Überwachungsbereiches definiertes Schutzfeld, das während des Betriebs der Maschine von Bedienpersonal nicht betreten werden darf. Erkennt der Sensor einen unzulässigen Schutzfeldeingriff, etwa ein Bein einer Bedienperson, so löst er einen Nothalt der Maschine aus. Andere Eingriffe in das Schutzfeld, beispielsweise durch statische Maschinenteile, können vorab als zulässig eingelernt werden. Oft sind den Schutzfeldern Warnfelder vorgelagert, wo Eingriffe zunächst nur zu einer Warnung führen, um den Schutzfeldeingriff und damit die Abschaltung noch rechtzeitig zu verhindern und so die Verfügbarkeit der Anlage zu erhöhen.
-
In der Sicherheitstechnik eingesetzte Sensoren müssen besonders zuverlässig arbeiten und deshalb hohe Sicherheitsanforderungen erfüllen, beispielsweise die Norm EN13849 für Maschinensicherheit und die Gerätenorm EN61496 für berührungslos wirkende Schutzeinrichtungen (BWS). Zur Erfüllung dieser Sicherheitsnormen sind eine Reihe von Maßnahmen zu treffen, wie beispielsweise sichere elektronische Auswertung durch redundante, diversitäre Elektronik, Funktionsüberwachung oder speziell Überwachung der Verschmutzung optischer Bauteile, insbesondere einer Frontscheibe, und/oder Vorsehen von einzelnen Testzielen mit definierten Reflexionsgraden, die unter den entsprechenden Scanwinkeln erkannt werden müssen.
-
Oftmals ist es nicht möglich, den gesamten zu überwachenden Bereich mit einem einzigen Sensor abzudecken. Beispielsweise ist ein nach vorne ausgerichteter Laserscanner an einem Fahrzeug blind gegenüber rückwärtigen Ereignissen. Aber auch innerhalb des Sichtbereichs eines Sensors genügt die Auflösung nach einer gewissen Reichweite nicht mehr, kleinere Objekte sicher zu erkennen. Ein Ausweg besteht darin, mehrere Sensoren zu verwenden und deren Daten zu fusionieren.
-
Die von mehreren Sensoren bestimmten Datensätze einer Szenerie aus verschiedenen Perspektiven beziehen sich zunächst auf das jeweils eigene Koordinatensystem. Um diese Daten in einem gemeinsamen Koordinatensystem auswerten zu können, muss eine entsprechende Transformationsvorschrift ermittelt werden. Das Zusammenfügen mehrerer Bilder aus unterschiedlichen Perspektiven wird als Registrierung bezeichnet und ist äquivalent zu dem Problem, eine Transformationsvorschrift von dem Koordinatensystem eines jeweiligen Sensors in ein gemeinsames Weltkoordinatensystem aufzufinden. Die Registrierung lässt sich herkömmlich nicht ohne Weiteres automatisieren, sondern erfordert Zusatzmaßnahmen und vertieftes Wissen, um die Sensordaten zu interpretieren. Dies ist eine erhebliche Hürde, derartige Mehrsensoranordnungen in sicherheitstechnischen Anwendungen einzusetzen.
-
In der
DE 10 2004 043 515 A1 ist ein Verfahren zum Erfassen eines Objekts offenbart, bei dem zumindest zwei Sensoren jeweils einen Teil des Überwachungsbereichs überwachen und deren Einzelbilder in einem gemeinsamen Koordinatensystem erzeugt werden. Auch aus der
EP 1 405 100 B1 ist bekannt, mehrere Sensoren zu verwenden, um den beobachtbaren Bereich zu überwachen. Diese Dokumente schweigen aber zu der Frage der Registrierung und gehen bereits davon aus, dass die beiden Sensoren ihre gegenseitigen Koordinatensysteme kennen.
-
Eine übliche, aber sehr aufwändige Maßnahme zur Unterstützung der Registrierung besteht darin, spezielle Marken, beispielsweise Retroreflektoren, in dem gemeinsamen Sichtfeld der Sensoren anzuordnen. Bekannt ist außerdem, mehreren horizontal montierten Laserscannern ein schmales zylinderförmiges Ziel in verschiedenen Positionen zu präsentieren. Zylindrische Ziele sind aber dem menschlichen Bein in Sicherheitsanwendungen sehr ähnlich. Die Registrierung erfordert, das Ziel an verschiedene Positionen zu bringen und jeweils interaktiv einen Bereich in dem Bild anzugeben, in dem sich das Ziel befindet, da eine automatische Erkennung nicht zuverlässig ist. Somit kann auch hier die Registrierung nur mit einigem Aufwand und durch entsprechend qualifiziertes Fachpersonal vorgenommen werden.
-
Es gibt bekannte Verfahren, die eine Registrierung allein aus den Messdaten vornehmen. In
P. Besl und N. McKay, „A method for registration of 3-D shapes", IEEE PAMI 14(2). 239–256, 1992 wird dafür der ICP-Algorithmus (iterative closest point) verwendet. Ein anderes Verfahren ist als NDT bekannt (normal distribution transform) und wird beispielsweise in den Arbeiten von
P. Biber, "The normal distributions transform: a new approach to laser scan matching" Technical report 3, Wilhelm Schickard Institute for Computer Science, Graphical-Interactive Systems (WSI/GRIS), University of Tubingen oder
N. Ripperda und C. Brenner, "Marker-free registration of terrestrial laser scans using the normal distribution transform", 3D-ARCH 2005 diskutiert. Allerdings konvergieren diese Algorithmen nur dann, wenn gute Anfangsbedingungen aus einer manuellen Grobausrichtung vorgegeben werden.
-
In einem anderen bekannten Ansatz aus
L. Bornaz, F. Rinaudo, "Terrestrial laser scanner data processing", International Archives of Photogrammetry and Remote Sensing, Commision V, ISPRS XX Congress, Istanbul, Turchia, 12–23 July 2004 werden natürliche Merkmale wie beispielsweise Ecken als Marken verwendet. Diese natürlichen Marken müssen durch den Anwender gekennzeichnet werden, und wenn eine Szenerie nicht mindestens zwei geeignete Merkmale aufweist, so scheitert die Registrierung.
-
H. J. Zhao and R. Shibasaki, A robust method for registering ground-based laser range images of urban outdoor objects", Photo. Eng. Remote Sensing 67(10) (2001) 1143–1153 nutzen markante Liniensegmente natürlicher Objekte zur Registrierung mehrerer Scanner, wobei die Optimierung das Auffinden von Linienkorrespondenzen beinhaltet. Dieses Verfahren wird in
Jinshi Cui, Hongbin Zha, Huijing Zhao, Ryosuke Shibasaki, "Multi-modal tracking of people using laser scanners and video camera", Image and Vision Computing 2007 eingesetzt, um in einer Außenanwendung Personen zu zählen. Offensichtlich hängt die erfolgreiche Registrierung von dem Vorhandensein entsprechender Liniensegmente ab.
-
Andrew Fitzgibbon, "Robust registration of 2D and 3D point sets", Image and Vision Computing 2003 sowie BMVC 2001 beschreibt ein Verfahren zur Registrierung von 2D- und 3D-Daten, geht dabei aber nur auf Punktkorrespondenzen ein.
-
Es gibt somit keine bekannte Möglichkeit, Laserscanner und ähnliche Sensoren zu fusionieren, ohne dass dabei umständliche Zusatzmaßnahmen oder vertieftes Fachwissen erforderlich wäre.
-
Daher lautet die Aufgabe der Erfindung, mehrere Sensoren auf einfache und zu verlässige Art zu registrieren.
-
Diese Aufgabe wird durch eine Sensoranordnung zur Objekterkennung gemäß Anspruch 1 gelöst. Dabei geht die Erfindung von dem Grundgedanken aus, mehrere Sensoren für einen vergrößerten Sichtbereich, eine bessere Auflösung, zur Vermeidung von Abschattungen oder zur Kombination verschiedener, heterogener Sensorprinzipien zu fusionieren. Es wird ein sehr einfaches Ziel und ein Registrierungsverfahren verwendet, das von dem Anwender praktisch keine Vorkenntnisse verlangt. Erfindungsgemäß ist auch kein besonderes Ziel erforderlich, solange es eine ebene Fläche aufweist.
-
Die Erfindung hat den Vorteil, dass sich das Ziel sehr zuverlässig auch vor anderen Vordergrundobjekten wie Armen und Beinen automatisch erkennen lässt. Ein ebenes Ziel kann genauer lokalisiert werden, weil typischerweise mehr Datenpunkte verfügbar sind. Daraus resultiert eine verbesserte Registrierung mit weniger systematischen Messfehlern in den Sensordaten. Das Vorgehen ist robust und anwenderfreundlich zugleich und kann deshalb nahtlos in bestehende Konfigurationsprozesse integriert werden. Eine manuelle Nachbearbeitung oder Interpretation der Daten ist für die Registrierung nicht erforderlich.
-
Die gemeinsame Steuerungseinheit ist bevorzugt unabhängig von dem Laserscanner und dem weiteren Sensor. Denkbar ist aber auch, die gemeinsame Steuerungseinheit als Teil eines der Sensoren der Sensoranordnung vorzusehen oder sie sogar als verteiltes System zu implementieren.
-
Der weitere Sensor spannt bevorzugt eine Überwachungsebene auf und ist insbesondere ebenfalls ein Laserscanner, wobei die gemeinsame Steuerungseinheit dafür ausgebildet ist, in den Messpunkten Cluster zu bilden und das ebene Ziel als Linie zu erkennen. Die Überwachungsebene der Sensoren schneidet sich mit dem kooperativen ebenen Ziel in jeweils einer Linie, und diese Linien werden für die Registrierung verwendet. Nach erfolgter Registrierung entsteht durch die Fusion zweier oder mehrerer Laserscanner aus Anwendersicht ein virtueller Laserscanner” mit vergrößertem Sichtbereich.
-
Die Scanebene des Laserscanners und die Überwachungsebene des weiteren Sensors liegen bevorzugt in derselben Ebene. Dabei ist eine Verkippung und ein Abstand der Ebenen im Rahmen von Toleranzen erlaubt Auch wenn die Sensoren dieselbe Ebene überwachen, sind damit noch nicht die Überwachungsbereiche identisch, da die Sensoren nicht notwendig Sichtwinkel von 360° aufweisen. Selbst bei Sensoren mit Rundumsicht kann eine Fusion sinnvoll sein, um abgeschattete Bereiche einzusehen oder um höhere lokale Auflösungen zu erreichen. Sensoren können auch kopfüber zueinander montiert sein, dies ist bei der Registrierung zu erkennen. Durch die Einschränkung auf Ebenensensoren mit gleicher Überwachungsebene müssen bei der Registrierung nicht sämtliche sechs Freiheitsgrade des allgemeinen dreidimensionalen Falls bestimmt werden, sondern nur zwei Translations- und ein Rotationsfreiheitsgrad eines zweidimensionalen Problems.
-
Der weitere Sensor kann alternativ einen dreidimensionalen Raumbereich überwachen und ist insbesondere eine 3D-Kamera, wobei die gemeinsame Steuerungseinheit dafür ausgebildet ist, in den Messpunkten des Laserscanners Cluster zu bilden und das ebene Ziel als Linie zu erkennen und in den Messpunkten des weiteren Sensors Cluster zu bilden und das ebene Ziel als Fläche zu erkennen. Einige Beispiele für 3D-Kameras sind einleitend genannt. Da die 3D-Kamera dreidimensionale Raumbereiche und nicht nur eine Ebene überwacht, wird auch das ebene Ziel als Fläche erkannt. Bei einer hinreichenden Anzahl von verschiedenen Positionen und Orientierungen gibt es nur eine eindeutige Transformationsvorschrift, mit der sich die aus den Messdaten des Laserscanners bestimmte Linie in die Fläche der 3D-Kamera überführen lässt.
-
Die gemeinsame Steuerungseinheit ist bevorzugt dafür ausgebildet, gemäß eines RANSAC-Verfahrens (RANdom SAmple Consensus) wiederholt eine erste Stichprobe von Messpunkten aus dem eine Linie repräsentierenden Cluster des Laserscanners zu ziehen und daraus die Lage der Linie bezüglich des Laserscanners zu ermitteln und eine zweite Stichprobe von Messpunkten aus dem eine Linie oder eine Fläche repräsentierenden Cluster des weiteren Sensor zu ziehen und daraus die Lage der Linie oder Fläche bezüglich des weiteren Sensors zu ermitteln, um anschließend eine Transformationsvorschrift zu bestimmen, welche die Messpunkte der ersten Stichprobe bestmöglich in Messpunkte der zweiten Stichprobe überführt. Ein RANSAC-Algorithmus ist besonders geeignet, schnell und zuverlässig die Lage der Linien oder Flächen zu schätzen und somit anschließend die notwendige Transformation aufzufinden Durch das wiederholte Ziehen der Stichproben wird ausgeschlossen, dass zufällig nur solche Stichproben Verwendung finden, welche die zugehörigen Cluster schlecht repräsentieren.
-
Die gemeinsame Steuerungseinheit ist bevorzugt dafür ausgebildet, die Transformationsvorschrift so oft aus Messpunkten zu schätzen, die bei unterschiedlichen Positionen und/oder Orientierungen des ebenen Ziels aufgenommen wurden, bis eine vorgegebene Genauigkeit der Transformationsvorschrift erreicht ist. Es werden demnach überhaupt keine Vorgaben an den Anwender gemacht, wie das ebene Ziel zu präsentieren ist. Stattdessen wird das Ziel frei im Überwachungsbereich bewegt, bis die Sensoranordnung ein beispielsweise akustisches Rückmeldung gibt, dass die Registrierung erfolgt ist. Verbleibende Registrierungsfehler werden auf diese Weise so weit reduziert, wie es die Anwendung fordert.
-
Vorteilhafterweise ist ein sicherer Ausgang vorgesehen, über den von der gemeinsamen Steuerungseinheit ein Abschaltsignal an eine überwachte Gefahrenquelle ausgebbar ist, wenn ein unzulässiger Objekteingriff in einen Schutzbereich erkannt wird. Ein solcher Ausgang ist üblicherweise zweikanalig ausgebildet und wird oft als OSSD (Output Signal Switching Device) bezeichnet. Auch die Sensoren selbst sowie die gemeinsame Steuerungseinheit sind bevorzugt sicher im Sinne der einleitend genannten Normen oder deren Entsprechung ausgebildet. Die fusionierten Sensoren sind dann ohne Einschränkung in sicherheitstechnischen Anwendungen einsetzbar.
-
Die gemeinsame Steuerungseinheit ist bevorzugt dafur ausgebildet, Aufnahmen des Laserscanners und des weiteren Sensors zu synchronisieren. Damit wird sichergestellt, dass die für die Registrierung verwendeten Aufnahmen auch einander zugehören. Alternativ müsste die Szenerie und insbesondere die Pose des ebenen Ziels in jedem Aufnahmerahmen statisch bleiben.
-
Die gemeinsame Steuerungseinheit ist bevorzugt dafür ausgebildet, zu Beginn des Registierungsmodus Messpunkte des Laserscanners und des weiteren Sensors ohne das ebene Ziel in deren Sichtbereich zu bestimmen, um diese Messpunkte später als Hintergrund auszublenden. Häufig befinden sich Objekte in der Szenerie, auch Objekte mit ebenen Flächen wie Werktische oder dergleichen. Durch diesen Schritt verbleiben nur die interessierenden Vordergrundobjekte in den Messdaten.
-
Die gemeinsame Steuerungseinheit ist bevorzugt dafür ausgebildet, eine Vielzahl von Laserscannern, deren Sichtbereiche paarweise zumindest teilweise überlappen, jeweils paarweise zu registrieren und anschließend Registrierungsfehler gleichmäßig auf alle Paare von Laserscannern in einem Zyklus zu verteilen Mit jedem weiteren Sensor wird der Sichtbereich zusätzlich erweitert. Dieser Vorteil würde weitgehend eingebüßt, wenn alle Sensoren sich zur Registrierung in einem Teil ihres Sichtbereichs überlappen müssten. Andererseits führt die paarweise Registrierung zu einem aufakkumulierten Registrierungsfehler Indem dieser Fehler nachträglich gleichmäßig verteilt wird, gelingt es, die Genauigkeitsanforderungen dennoch einzuhalten.
-
Die Erfindung wird nachstehend auch hinsichtlich weiterer Merkmale und Vorteile beispielhaft anhand von Ausführungsformen und unter Bezug auf die beigefügte Zeichnung näher erläutert. Die Abbildungen der Zeichnung zeigen in:
-
1 eine schematische Draufsicht auf eine erfindungsgemäße Anordnung zweier Sensoren mit deren Überwachungsebenen und einem kooperativen ebenen Ziel zur Registrierung;
-
2 eine Darstellung der Schnittlinien zwischen Überwachungsebene und ebenem Ziel in mehreren Positionen des ebenen Ziels sowie eine in jeder Position ermittelte Transformationsvorschrift, um die Schnittlinien zweier Sensoren zur Deckung zu bringen;
-
3a eine dreidimensionale Ansicht ähnlich 1 zur Erläuterung der Schnittlinien zweier Sensoren mit gleichen Überwachungsebenen;
-
3b–c eine zweidimensionale Darstellung der Lage der Schnittlinie des ersten Sensors;
-
3c eine Darstellung analog 3b für den zweiten Sensor;
-
4a eine beispielhafte zweidimensionale Darstellung der Messpunkte und einer einzelnen Schnittlinie des ersten Sensors bei einer Pose des ebenen Ziels;
-
4b eine Darstellung analog 4b für den zweiten Sensor;
-
4c eine Darstellung einer Vielzahl von Schnittlinien des ersten und des zweiten Sensors bei einer Vielzahl von Posen des ebenen Ziels;
-
4d eine Fusion der Messpunkte beider Sensoren aus 4a und 4b nach Registrierung anhand der Vielzahl von Schnittlinien der 4c;
-
5a eine schematische Draufsicht auf ein Fahrzeug, das zu vier Seiten von Sensoren abgesichert wird;
-
5b eine Repräsentation der vier Sensoren gemäß 5a als Graph;
-
5c eine Darstellung zur Erläuterung der paarweisen Registrierung benachbarter Sensoren gemäß 5a und des kumulierten Registrierungsfehlers;
-
5d eine Darstellung gemäß 5c nach gleichmäßiger Verteilung des Registrierungsfehlers,
-
5e eine Repräsentation der vier Sensoren gemäß 5a–d als Graph mit Bezug auf einen Mastersensor;
-
6a eine dreidimensionale Ansicht einer weiteren Ausführungsform der Erfindung mit einer 3D-Kamera, einem Laserscanner und dem ebenen kooperativen Ziel zur Registrierung;
-
6b eine zweidimensionale Darstellung des als Fläche in der 3D-Kamera erkannten Ziels;
-
6c eine zweidimensionale Darstellung der Schnittlinie zwischen der Überwachungsebene des Laserscanners und dem ebenen Ziel; und
-
7 eine schematische Schnittzeichnung durch einen entfernungsmessenden Laserscanner.
-
Anhand der 7 wird zunächst die Funktionsweise eines erfindungsgemäß eingesetzten entfernungsmessenden Laserscanners 10 beschrieben. Ein von einem Lichtsender 12, beispielsweise einem Laser, erzeugter Lichtstrahl 14, der einzelne Lichtimpulse aufweist, wird über Lichtablenkeinheiten 16a–b in einen Überwachungsbereich 18 gelenkt und dort von einem gegebenenfalls vorhandenen Objekt remittiert. Das remittierte Licht 20 gelangt wieder zu dem Sicherheitsscanner 10 zurück und wird dort über die Ablenkeinheit 16b und mittels einer Empfangsoptik 22 von einem Lichtempfänger 24 detektiert, beispielsweise einer Photodiode.
-
Die Lichtablenkeinheit 16b ist in der Regel als Drehspiegel ausgestaltet, die durch Antrieb eines Motors 26 kontinuierlich rotiert. Die jeweilige Winkelstellung der Lichtablenkeinheit 16b wird über einen Encoder 28 erfasst. Der von dem Lichtsender 12 erzeugte Lichtstrahl 14 überstreicht somit den durch die Rotationsbewegung erzeugten Überwachungsbereich 18. Wird von dem Lichtempfänger 24 ein reflektiertes Lichtsignal 20 aus dem Überwachungsbereich 18 empfangen, so kann aus der Winkelstellung der Ablenkeinheit 16b mittels des Encoders 28 auf die Winkellage des Objektes in dem Überwachungsbereich 18 geschlossen werden.
-
Zusätzlich wird die Laufzeit der einzelnen Laserlichtpulse von ihrem Aussenden bis zu dem Empfang nach Reflexion an dem Objekt in dem Überwachungsbereich 18 ermittelt. Aus der Lichtlaufzeit wird unter Verwendung der Lichtgeschwindigkeit auf die Entfernung des Objektes von dem Sicherheitsscanner 10 geschlossen. Diese Auswertung erfolgt in einer Auswerteeinheit 30, die dafür mit dem Lichtsender 12, dem Lichtempfänger 24, dem Motor 26 und dem Encoder 28 verbunden ist. Somit stehen über den Winkel und die Entfernung zweidimensionale Messdaten mit Polarkoordinaten aller Objekte in dem Überwachungsbereich 18 zur Verfügung. Diese Messdaten 18 werden über eine Schnittstelle 32 ausgegeben.
-
Die genannten Funktionskomponenten sind in einem Gehäuse 34 angeordnet, das frontseitig, also im Bereich des Lichtaus- und Lichteintritts, eine Frontscheibe 36 aufweist. Die Frontscheibe 36 ist zur Vermeidung von direkten Reflexionen in den Lichtempfänger 24 schräg gestellt, so dass Lichtstrahl 14 und Frontscheibe 36 einen Winkel ungleich neunzig Grad einschließen. Die Auswertungseinheit 30 kann abweichend von der Darstellung auch ganz oder teilweise außerhalb des Sensors 10 implementiert sein. In diesem Fall werden an der Schnittstelle 32 Rohdaten ausgegeben. Umgekehrt können in einer alternativen Ausgestaltung über die Schnittstelle 32 Messdaten oder Rohdaten eines anderen Sensors empfangen werden, um diese gemeinsam in der Auswertungseinheit 30 zu bearbeiten.
-
1 zeigt eine schematische Draufsicht auf eine Anordnung eines ersten Sensors 100 und eines zweiten Sensors 200. Beide Sensoren 100, 200 können beispielsweise als entfernungsmessende Laserscanner gemäß der Erläuterung zu 7 ausgebildet sein, und sie überwachen jeweils eine erste Überwachungsebene 102 und eine zweite Überwachungsebene 202. Die Sensoren 100, 200 sind jeweils mit einer gemeinsamen Steuerungseinheit 300 verbunden. Alternativ kann die gemeinsame Steuerungseinheit 300 in einen der Sensoren 100, 200 integriert werden. Es ist denkbar, in analoger Weise weitere Sensoren an die gemeinsame Steuerungseinheit 300 anzuschließen.
-
Die gemeinsame Steuerungseinheit 300 empfängt Messdaten beider angeschlossener Sensoren 100, 200 und fusioniert sie in einem gemeinsamen Weltkoordinatensystem, so dass sich die gesamte Anordnung wie ein Sensor mit erweitertem Sichtbereich verhält. In einer beispielhaften Anwendung in der Sicherheitstechnik werden die Positionen und Abmessungen von Objekten daraufhin überprüft, ob ein in dem gemeinsamen Überwachungsbereich 102, 202 detektiertes Objekt einen unzulässigen Schutzfeldeingriff verursacht ist das der Fall, so wird über einen sicheren Ausgang 302 ein sicherheitsgerichtetes Abschaltsignal ausgegeben. In einer stationären Anwendung führt dieses Abschaltsignal beispielsweise zu einem Nothalt einer gefährlichen Maschine, während es in einer mobilen Anwendung als Brems- oder Ausweichsignal wirkt.
-
Voraussetzung für die Fusion der Sensordaten ist eine Registrierung der beiden Sensoren 100, 200. Dazu wird in einem Registrierungsmodus ein kooperatives ebenes Ziel 400 in dem überlappenden Sichtbereich beider Sensoren 100, 200 angeordnet. Der Hintergrund wird ausgeblendet, indem vorab Messdaten der ursprünglichen Szenerie ohne das Ziel 400 aufgenommen und von den späteren Messdaten abgezogen werden. Von anderen Vordergrundobjekten wird das Ziel 400 an seiner ebenen Fläche und daran unterschieden, dass es im Verlauf der Registrierung in verschiedenen Positionen und Orientierungen angeboten wird. Außerdem ist möglich, der Steuerungseinheit 300 die Abmessungen des Ziels 400 mitzuteilen beziehungsweise ein Ziel 400 mit standardisierten Abmessungen zu verwenden.
-
Das Ziel 400 schneidet sich mit den Überwachungsebenen 102, 202 in jeweils einer Schnittlinie 104, 204. Aus verschiedenen Posen des Ziels 400 entsteht eine Vielzahl solcher Paare von Schnittlinien 104a–d, 204a–d, wie sie in 2 beispielhaft gezeigt sind. Mit Hilfe eines RANSAC-Verfahrens wird nun diejenige Transformation aufgefunden, welche mit möglichst kleinem Fehler die Schnittlinien 104a–d, 204a–d dieser Paare ineinander überführt. Dazu werden zufällig zwei Punkte gezogen, welche eine Linie definieren. Wie gut diese hypothetische Linie die Messdaten repräsentiert, wird anschließend durch die Anzahl von Messpunkten bestimmt, welche in einer Toleranzentfernung zu der Linie liegen. Die Menge dieser um Ausreißer bereinigten Messpunkte wird als consensus set bezeichnet. Das zufällige Ziehen zweier Punkte wird mehrfach wiederholt und diejenige Linie gewählt, deren consensus set die größte Mächtigkeit aufweist.
-
Auf diese Weise werden in unabhängigen Schritten repräsentierende Linien für die Schnittlinien 104a–d, 204a–d ermittelt. Die Transformationsvorschrift wird dann mit einem gängigen Optimierungsverfahren aufgefunden, beispielsweise als diejenige Transformationsvorschrift, die den quadratischen Fehler minimiert (least mean square). Um ein Fehlermaß einer Transformation zu bestimmen, werden beispielsweise die Messpunkte der consensus sets der Schnittlinien 104a–d der Transformation unterworfen und die Distanzen dieser Messpunkte zu den Linien aufaddiert, welche mittels des vorstehend beschriebenen RANSAC-Verfahrens als beste Repräsentanten der Schnittlinien 204a–d ermittelt wurden. Die Statistik des RANSAC-Verfahrens ist robust genug, auch unter gestörten Verhältnissen eine Transformationsvorschrift mit einem vorgegebenen höchsten Registrierungsfehler aufzufinden.
-
Dabei sind im allgemeinen Fall sechs Freiheitsgrade zu bestimmen, nämlich drei Translations- und drei Rotationsfreiheitsgrade Vereinfacht man die Situation wie in 3 dargestellt auf den zweidimensionalen Fall, in dem zwei Laserscanner 100, 200 dieselbe Ebene überwachen, so reduziert sich diese Anzahl auf zwei Freiheitsgrade der Translation und einen der Rotation.
-
Da in 3 die Überwachungsebenen 102, 202 zusammenfallen, gibt es in der objektiven dreidimensionalen Betrachtung auch nur eine gemeinsame Schnittlinie 104, 204. Die subjektive Sicht der einzelnen Sensoren 100, 200 unterscheidet sich wegen der unterschiedlichen Perspektiven, wie die 3b für den ersten Sensor 100 im Vergleich zu der 3c für den zweiten Sensor 200 erläutert. Die beiden Aufnahmen der 3b–c sind entweder von der Steuerungseinheit 300 synchronisiert oder in einer statischen Situation aufgenommen, so dass sich das Ziel 400 zwischen den beiden Aufnahmen nicht bewegt. In dem RANSAC-Verfahren werden bevorzugt anstelle der gestrichelt dargestellten Linienabschnitte 104, 204 die zugehörigen vollständigen, unendlichen Linien verwendet.
-
Die Registrierung erfolgt somit in drei Schritten. Zunächst wird der statische Hintergrund aufgenommen, um ihn später abzuziehen. Dann bewegt und verschwenkt der Anwender das Ziel 400 in dem gemeinsamen Sichtfeld der Sensoren 100, 200. Währenddessen wird iterativ und fortlaufend anhand der verschiedenen Posen des Ziels 400 eine Registrierung der beiden Sensoren 100, 200 geschätzt und verbessert. Sobald der Registrierungsfehler für die Anforderungen der Anwendung klein genug ist, gibt die gemeinsame Steuerungseinheit 300 dem Anwender eine Rückmeldung, dass die Registrierung nun abgeschlossen ist.
-
4 erläutert nochmals die Registrierung an einem Beispiel. 4a zeigt Messdaten 106 des ersten Sensors 100 sowie die mit Hilfe des Ziels 400 erzeugte Schnittlinie 104. Entsprechend zeigt 4b Schnittlinie 204 und Messdaten 206 des zweiten Sensors 200. Wie 4c illustriert, werden die Schnittlinien 104, 204 wiederholt in einer Vielzahl von Posen des Ziels 400 bestimmt. 4c entspricht dabei der schematischen Darstellung der 2, wobei hier anstelle von Linienstücken unendliche Linien gezeigt sind.
-
Mit Hilfe des RANSAC-Algorithmus' wird diejenige Transformationsvorschrift aufgefunden, die bestmoglich die durchgezogen dargestellten Schnittlinien 104 des ersten Sensors in die gestrichelt dargestellten Schnittlinien 204 des zweiten Sensors 100, 200 überführt. Diese Transformationsvorschrift ist die Lösung des Registrierungsproblems und gibt an, wie die Messpunkte des einen Sensors 100 in Messpunkte des zweiten Sensors 200 umgerechnet werden, oder äquivalent hierzu Position und Ausrichtung des ersten Sensors 100 gegenüber Position und Ausrichtung des zweiten Sensors 200.
-
4d zeigt die fusionierten Messpunkte 106, 206 in dem Koordinatensystem des ersten Sensors 100. Selbstverständlich kann, nachdem die relative Transformationsvorschrift zwischen den Sensoren 100, 200 bekannt ist, ein beliebiges anderes gemeinsames Weltkoordinatensystem gewählt werden. Dabei ist noch zu beachten, dass der Sensor 200 gegenüber dem Sensor 100 kopfüber stand, was sich in einer axialen Spiegelung der Messpunkte 206 äußert und während der Registrierung automatisch erkannt wurde.
-
Mehr als zwei Sensoren 100, 200 mit überlappendem Sichtbereich werden ganz analog registriert. Ein Sonderfall tritt auf, wenn eine Vielzahl von Sensoren keinen gemeinsamen Sichtbereich haben. 5a zeigt vier Sensoren 500a–d, die zu den vier Seiten eines beispielsweise führerlosen Fahrzeugs 502 montiert sind. Dabei überlappen sich die Sichtbereiche wegen der begrenzten Sichtwinkel und der Verdeckung durch das Fahrzeug 502 selbst nur jeweils paarweise.
-
Die Registrierung erfolgt dann gemäß dieser Ausführungsform paarweise nach dem zu den 1–4 beschriebenen Verfahren. Wie 5b zeigt, werden dazu die Sensoren 500a–d als Knoten eines Graphen zusammengefasst, dessen Kanten diejenige Transformationsvorschrift Tij bilden, mit denen Messdaten der beiden Sensoren 500a–d eines Paares i, j ineinander umgerechnet werden.
-
5c illustriert, dass sich dabei ein Registrierungsfehler kumuliert. Die paarweise Registrierung erfolgt zyklisch zunächst mit dem ersten Paar Sensoren 500a, 500b, dann mit dem Paar Sensoren 500b, 500c, dem Paar Sensoren 500c, 500d und schließlich dem Paar Sensoren 500d, 500a, wie der Pfeil in der Mitte der Darstellung andeutet. Da bei den zyklischen Registrierungen schon der jeweilige Ausgangssensor 500a–d einen Registrierungsfehler trägt, stimmt die Position und Orientierung des zum Abschluss des Zyklus' nochmals registrierten ersten Sensors 500a' nicht mit der ursprünglichen Position und Orientierung überein.
-
Nach Abschluss der paarweisen Registrierung wird deshalb der Registrierungsfehler wie folgt verteilt:
- – Bestimme alle Zyklen in dem Graphen (Breitensuche oder Tiefensuche)
- – Solange der kumulierte Registrierungsfehler in einem Zyklus größer ist als ein geforderter höchster Fehler, verteile diesen kumulierten Registrierungsfehler gleichmäßig auf die Kanten des Zyklus
- – Beziehe die Position und Orientierung der Sensoren in dem Zyklus auf einen Mastersensor
-
Dieses Verfahren zur Fehlerverteilung funktioniert nur, wenn vorab bei der paarweisen Registrierung ein hinreichend kleiner Registrierungsfehler gefordert und erreicht wird.
-
Das Ergebnis der Fehlerverteilung zeigt 5d als resultierende Posen der Sensoren 500a–d und 5e als Graph, in dem der Zyklus aufgelöst ist und in dem die Transformationsvorschriften nunmehr auf den ersten Sensor 500a als Mastersensor bezogen sind.
-
6a zeigt eine weitere Ausführungsform der Erfindung, wobei im Unterschied zu den bisher beschriebenen Ausführungsformen eine 3D-Kamera 200 als zweiter Sensor eingesetzt wird. Im Unterschied zu einem Laserscanner erkennt die 3D-Kamera das Ziel 400 als eindeutige Fläche 208, wie 6b illustriert. Der Laserscanner 100 erkennt unverändert die in 6c gezeigte Schnittlinie 104 mit dem Ziel 400. Anstelle einer Vielzahl von Schnittlinienpaaren erfolgt deshalb in dieser Ausführungsform die Registrierung mit einer Vielzahl von Paaren {Fläche, Schnittlinie}. Dabei ist bei nur einer Pose des Ziels 400 die Eindeutigkeit der Transformationsvorschrift selbst im idealen und gänzlich ungestörten Fall noch nicht gegeben, da die Schnittlinie 104 innerhalb der Fläche 208 zumindest noch verdreht werden kann. Bei Auswertung einer Vielzahl von Posen des Ziels 400 wird die Transformationsvorschrift und damit die Registrierung eindeutig, wobei erneut ein RANSAC-Algorithmus für eine robuste Schätzung auch im gestörten Fall sorgt.
-
Auch bei dieser Ausführungsform sind weitere Sensoren einsetzbar, beispielsweise ein zweiter Laserscanner. Eine Beispielanwendung ist die Volumenbestimmung bewegter Objekte, etwa auf einem Förderband. Eine an der Decke montierte 3D-Kamera misst die Objektbewegungen einschließlich der Geschwindigkeit, während der oder die Laserscanner jeweils Schnittprofile der Objektgeometrie aufzeichnen. Auf Basis der Bewegungsdaten der 3D-Kamera können die Schnittprofile auch in unregelmäßiger Weise zusammengesetzt werden. Ein anderes Beispiel ist ein Flurförderfahrzeug.
-
Die komplementären Messprinzipien von Laserscanner und 3D-Kamera können auch bei überlappenden Messbereichen sehr nützlich sein. Beispielsweise kann eine 3D-Kamera auch bei vorübergehender starker Staubbelastung Bilder aufzeichnen, während der Laserscanner dies nicht ohne Weiteres von einem festen Objekt unterscheidet. Solche diversitären Messprinzipien dienen gerade in der Sicherheitstechnik dazu, die Sensoranordnung auch unter widrigen Bedingungen einsatzfähig zu halten.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 4340756 A1 [0002]
- DE 202006014939 U1 [0002]
- DE 102004043515 A1 [0008]
- EP 1405100 B1 [0008]
-
Zitierte Nicht-Patentliteratur
-
- Norm EN13849 [0005]
- Gerätenorm EN61496 [0005]
- P. Besl und N. McKay, „A method for registration of 3-D shapes”, IEEE PAMI 14(2). 239–256, 1992 [0010]
- P. Biber, ”The normal distributions transform: a new approach to laser scan matching” Technical report 3, Wilhelm Schickard Institute for Computer Science, Graphical-Interactive Systems (WSI/GRIS), University of Tubingen [0010]
- N. Ripperda und C. Brenner, ”Marker-free registration of terrestrial laser scans using the normal distribution transform”, 3D-ARCH 2005 [0010]
- L. Bornaz, F. Rinaudo, ”Terrestrial laser scanner data processing”, International Archives of Photogrammetry and Remote Sensing, Commision V, ISPRS XX Congress, Istanbul, Turchia, 12–23 July 2004 [0011]
- H. J. Zhao and R. Shibasaki, A robust method for registering ground-based laser range images of urban outdoor objects”, Photo. Eng. Remote Sensing 67(10) (2001) 1143–1153 [0012]
- Jinshi Cui, Hongbin Zha, Huijing Zhao, Ryosuke Shibasaki, ”Multi-modal tracking of people using laser scanners and video camera”, Image and Vision Computing 2007 [0012]
- Andrew Fitzgibbon, ”Robust registration of 2D and 3D point sets”, Image and Vision Computing 2003 sowie BMVC 2001 [0013]
