DE202012004864U1

DE202012004864U1 - Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor)

Info

Publication number: DE202012004864U1
Application number: DE202012004864U
Authority: DE
Original assignee: FUSIONSYSTEMS GmbH
Current assignee: FUSIONSYSTEMS GmbH
Priority date: 2012-05-16
Filing date: 2012-05-16
Publication date: 2012-12-10
Anticipated expiration: 2022-05-17

Abstract

Gerät zur automatischen sensorgestützten Erkennung und Lokalisierung von Transportpaletten durch Datenfusion von Sensordaten eines Laserscanners und einer bildgebenden Kamera dadurch gekennzeichnet, dass durch die Sensor-Daten-Fusion der geometrischen Konturmessdaten eines Laserscanners und der Bildinformationen einer Kamera (einem Flächensensor) sowohl die hochgenaue Positionserfassung als auch die sichere Erkennung von Transportpaletten erfolgt.

Description

Die Erfindung ist ein Palettensensor zur automatischen sensorgestützten Erkennung und Lokalisierung von Transportpaletten durch Datenfusion von Sensordaten eines Laserscanners und einer bildgebenden Kamera. Der Palettensensor ist modular aufgebaut und besteht aus einem Spezialkamerasystem, einem Laserscanner und einem Prozessormodul. Die Einsatzmöglichkeiten der Erfindung sind sehr vielfältig. Insbesondere ist die Verwendung in Zusammenhang mit entsprechender Fördertechnik möglich, die beispielsweise über Gabelzinken die Palette aufnehmen kann. Dabei ist die automatische Erkennung sowohl als Voraussetzung für das anschließende ebenfalls automatische Aufnehmen der Paletten mit der Fördertechnik als auch als Hilfsmittel für ein Unterstützungssystem für den Bediener der Fördertechnik möglich.
Der modulare Aufbau erlaubt für die Anbringung am Fahrzeug zwei Varianten, entweder wird das Spezialkamerasystem zusammen mit dem Laserscanner tief (ca. in Wadenhöhe) an einem Fahrzeug angebracht oder nur der Laserscanner wird in Wadenhöhe angebracht, das Spezialkamerasystem wird in ca. 1500 mm Höhe am Fahrzeug angebracht. Daraus ergeben sich zwei Arbeitsmodi des Sensors, die unten noch genauer beschrieben sind. Die Sensor-Daten-Verarbeitung findet in einem Prozessormodul statt, welches separat am Fahrzeug angebracht wird, günstigerweise in einem vorhandenen Schaltkasten.
Die Sensorfunktion beruht auf einem zweistufigen Konzept, welches zuerst aus dem Entfernungssignal des Laserscanners Hypothesen für die Existenz und die Position von Paletten liefert und diese Hypothesen dann der weiteren Überprüfung mit Hilfe von Bilddaten übergibt. Dafür wird die in der Hypothese angenommene Position einer Palette auf Basis der Kalibrierungsdaten der Kamera in das Kamerabild transformiert und dort in der lokalen Bildumgebung die Existenz der Hypothese überprüft. Beide Stufen verwenden ein mathematisches geometrisches Modell, welches die Abmaße und die 3D-Formmerkmale einer Palette (des jeweils zu erkennenden Palettentyps) repräsentiert.
Die Detektion der Palette in den Laserdaten in der ersten Stufe erfolgt durch Vergleich der geometrischen Muster im Laserscann mit dem im System hinterlegten Palettenmodell. Dabei werden vorrangig zwei Formmerkmale verwendet: die Durchgängigkeit der oberen Deckbretter der Palette (erkennbar durch zusammenhängende Linien im Laserscan) oder die mehrfach vorhandenen Klötzer der Zwischenschicht (kurze einzelne Stücke bilden ein regelmäßiges Muster im Laserscan). Der zu wählende Ansatz ist von der Scanhöhe des Laserscanners abhängig. Dementsprechend ist eine Linienerkennung bzw. ein Mustervergeich dieser Klötzerpositionen die Grundlage der Laserscannerverarbeitung.
In der zweiten Stufe dient das 3D-Palettenmodell dazu, die im Bild auswertbaren Merkmale der Palette zur Erhebung der Bildmerkmale zu verwenden und so einen Merkmalsvektor zu generieren, der zur Verifikation der Hypothese verwendet wird.
Je nach Lage der Palette sind entweder zwei Palettenseiten gut sichtbar und auch für die Erhebung von Merkmalen geeignet oder es ist nur eine Palettenseite frontal sichtbar – dann wird nur diese eine Seite für die Erhebung von Merkmalen verwendet. Für die Merkmalserhebung im Bild werden mehrere Ansätze miteinander kombiniert: Mit Hilfe des 3D-Palettenmodells wird ein zur erkannten Palettenlage passendes synthetisches Bild generiert und daraus ein Kantenbild erzeugt, welches als Vergleichsmuster zum selektierten Bildbereich (ebenfalls als Kantenbild repräsentiert) verwendet wird. Zur Durchführung des Mustervergleichs wird vorteilhaft die Methode des Chamfer-Matchings verwendet und auf diese Weise ein ganzheitlicher Gütewert für die Übereinstimmung von synthetischem Soll-Bild und aktuellem Ist-Bild abgeleitet. Zusätzlich wird von beiden gut sichtbaren, einer daraus ausgewählten oder der einen sichtbaren Palettenseite(n) die passende Größe des Seitenansichtbildes selektiert und entzerrt und so ein standardisiertes Frontansichtbild erzeugt.
Im Frontansichtbild wird eine systematische Grauwertbetrachtung mit Hilfe eines Grauwertprofils durchgeführt. Für jede Spalte eines Frontansichtbildes wird der Grauwert über die selektierten Zeilen gemittelt. Das Standardmuster des Grauwertprofils ist ein Stufenbild, welches 5 typische Bereiche aufweist, davon in der Regel 3 Klötze der Palette und 2 Freiraumbereiche. Die Profilerzeugung führt zu einer weiteren Merkmalsbetrachtung mit einem Merkmalssatz von Merkmalen wie dem Grauwert der Bereiche, dem Grauwertverhältnis der Klotzbereiche zu den Freiraumbereichen, der Symmetrie der Grauwerte der Segmente und ähnlichen. Über diesen Merkmalssatz wird ebenfalls die Güte der hypothetischen Frontansicht definiert. Abschließend werden die Bewertungen des Mustervergleichs und die Bewertungen des Merkmalssatzes der Profilbewertung zusammengeführt und mit einem Fusionsoperator (beispielweise mit UND-Charakteristik) zu einem gemeinsamen Bewertungswert zusammengeführt, dessen Vergleich mit einem Zielwert darüber entscheidet, ob die untersuchte Palettenhypothese tatsächlich zu einer Palette gehört oder nicht.
Die Durchführung der Bildverarbeitung wird durch Verwendung von Scheinwerfern begünstigt, die für eine Beleuchtung sorgen, die weniger stark vom Umgebungslicht abhängig ist. Dafür wird eine Beleuchtung im Infrarotbereich (NIR) und ein entsprechender Filter für die Kamera verwendet. Dadurch kann die Empfindlichkeit gegenüber Tageslicht oder anderen variierenden künstlichen Lichtquellen erheblich reduziert werden.
Agenda zu Abb. 1:

B – Beleuchter in Spezialkamerasystem
KOF – Kamera/Optik/Filter in Spezialkamerasystem

Agenda zu Abb. 2:

K1 – Kamera + Beleuchter Position K1
K2 – Kamera + Beleuchter Position K2
L1 – Laserscanner
L2 – Laserstrahl
T1 – Transportpalette
F1 – Fördertechnik (z. B. Gabelstapler)

Claims

Gerät zur automatischen sensorgestützten Erkennung und Lokalisierung von Transportpaletten durch Datenfusion von Sensordaten eines Laserscanners und einer bildgebenden Kamera dadurch gekennzeichnet, dass durch die Sensor-Daten-Fusion der geometrischen Konturmessdaten eines Laserscanners und der Bildinformationen einer Kamera (einem Flächensensor) sowohl die hochgenaue Positionserfassung als auch die sichere Erkennung von Transportpaletten erfolgt.
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass der Sensordatenverarbeitung der Laserdaten und der Bilddaten ein 3D-Formmodell zugrunde liegt, welches die Abmaße und Merkmale zur Detektion der Paletten in den Laserdaten und die Merkmale zur Durchführung der Bildverarbeitung zur Verfügung stellt.
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass für die Detektion der Paletten in den Laserdaten vorrangig zwei mögliche Ansätze unter Verwendung folgender Formmerkmale alternativ oder gleichzeitig verwendet werden: a. die Durchgängigkeit der oberen Deckbretter der Palette (erkennbar durch zusammenhängende Linien im Laserscan) oder b. die mehrfach vorhandenen Klötzer der Zwischenschicht (kurze einzelne Stücke bilden ein regelmäßiges Muster im Laserscan). Der zu wählende Ansatz ist von der Scanhöhe und dem horizontalen Sichtwinkel des Laserscanners abhängig und kann im online-Betrieb bei unebenem Boden in Abhängigkeit von der aktuellen Sichtbarkeit der Merkmale automatisch ausgewählt werden.
Gerät nach Anspruch 1 und 3, dadurch gekennzeichnet, dass für die Laserscannerverarbeitung der Merkmale 3.a) ein Verfahren der Linienerkennung bzw. für die Verarbeitung der Merkmale 3.b) ein Verfahren zum Mustervergleich der Klötzerpositionen verwendet wird.
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass die aus der Laserscannerverarbeitung gewonnenen Detektionen von Palette als Hypothesen angesehen werden, deren angenommene Position und Lage auf Basis der Kalibrierungsdaten der Kamera in das Kamerabild transformiert werden und dort in der lokalen Bildumgebung die Existenz der Hypothesen überprüft wird.
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass für die Bildverarbeitung entweder die beiden gut sichtbaren Seiten der dem Sensorsystem zugewandten Seitenansichten der Palette verwendet werden, von diesen beiden eine ausgewählt wird oder nur die eine in Frontallage liegende Seitenansicht verwendet wird.
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass die Bildverarbeitung mehrere Verfahren zur Merkmalsberechnung und -überprüfung miteinander kombiniert und dabei mindestens einen oder beide der folgenden Verfahrensschritte umfasst: a. Aus dem 3D-Palettenmodell ein zur erkannten Palettenlage passendes synthetisches Bild generieren und daraus ein Kantenbild erzeugt, welches als Vergleichsmuster zum selektierten Bildbereich (ebenfalls als Kantenbild repräsentiert) verwendet wird. Der Gütewert ergibt sich aus der Güte eines Mustervergleichs der Kantenbilder (beispielsweise mit Chamfer-Matching). b. In den Seitenansichten (Frontansichtbilder) wird eine systematische Grauwertbetrachtung mit Hilfe eines Grauwertprofils durchgeführt. Das Grauwertprofil wird mit dem Musterprofil verglichen. Dafür wird ein Merkmalssatz generiert, der die Güte der Übereinstimmung von Grauwertprofil und Musterprofil fassbar macht.
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass für die Güteberechnung eine Zusammenfassung der einzelnen Ergebnisse nach 7.a) und 7.b) mit einer Fusionsvorschrift oder einem Fusionsoperator erfolgt (z. B. ein Operator aus der UND-Kategorie).
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass zur Stabilisierung der Erkennung als Beleuchter zusätzliche Scheinwerfer eingesetzt werden und diese im sichtbaren Wellenlängenbereich oder im nicht-sichtwaren Wellenlängenbereich (z. B. nahes Infrarot, NIR) leuchten und dafür ein dem Wellenlängenbereich angepasster Zusatzfilter für die Kamera eingesetzt wird, der mehrheitlich nur den gewünschten Wellenlängenbereich durchlässt.
Gerät nach Anspruch 1, dadurch gekennzeichnet, dass der Laserscanner in Höhe der Transportpalette angebracht ist und dort parallel zur Bodenebene scannt und dass die Kamera und die Beleuchter entweder in der Nähe des Laserscanners angebracht sind und die Szene mit Palette nahezu waagerecht erfasst wird ( : K2) oder dass Kamera und die Beleuchter in erhöhter Position angebracht sind und dabei die Szene mit Palette schräg von oben erfasst wird ( : K1).