DE202012004864U1 - Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor) - Google Patents
Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor) Download PDFInfo
- Publication number
- DE202012004864U1 DE202012004864U1 DE202012004864U DE202012004864U DE202012004864U1 DE 202012004864 U1 DE202012004864 U1 DE 202012004864U1 DE 202012004864 U DE202012004864 U DE 202012004864U DE 202012004864 U DE202012004864 U DE 202012004864U DE 202012004864 U1 DE202012004864 U1 DE 202012004864U1
- Authority
- DE
- Germany
- Prior art keywords
- data
- pallet
- sensor
- laser scanner
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Gerät zur automatischen sensorgestützten Erkennung und Lokalisierung von Transportpaletten durch Datenfusion von Sensordaten eines Laserscanners und einer bildgebenden Kamera dadurch gekennzeichnet, dass durch die Sensor-Daten-Fusion der geometrischen Konturmessdaten eines Laserscanners und der Bildinformationen einer Kamera (einem Flächensensor) sowohl die hochgenaue Positionserfassung als auch die sichere Erkennung von Transportpaletten erfolgt.
Description
- Die Erfindung ist ein Palettensensor zur automatischen sensorgestützten Erkennung und Lokalisierung von Transportpaletten durch Datenfusion von Sensordaten eines Laserscanners und einer bildgebenden Kamera. Der Palettensensor ist modular aufgebaut und besteht aus einem Spezialkamerasystem, einem Laserscanner und einem Prozessormodul. Die Einsatzmöglichkeiten der Erfindung sind sehr vielfältig. Insbesondere ist die Verwendung in Zusammenhang mit entsprechender Fördertechnik möglich, die beispielsweise über Gabelzinken die Palette aufnehmen kann. Dabei ist die automatische Erkennung sowohl als Voraussetzung für das anschließende ebenfalls automatische Aufnehmen der Paletten mit der Fördertechnik als auch als Hilfsmittel für ein Unterstützungssystem für den Bediener der Fördertechnik möglich.
- Der modulare Aufbau erlaubt für die Anbringung am Fahrzeug zwei Varianten, entweder wird das Spezialkamerasystem zusammen mit dem Laserscanner tief (ca. in Wadenhöhe) an einem Fahrzeug angebracht oder nur der Laserscanner wird in Wadenhöhe angebracht, das Spezialkamerasystem wird in ca. 1500 mm Höhe am Fahrzeug angebracht. Daraus ergeben sich zwei Arbeitsmodi des Sensors, die unten noch genauer beschrieben sind. Die Sensor-Daten-Verarbeitung findet in einem Prozessormodul statt, welches separat am Fahrzeug angebracht wird, günstigerweise in einem vorhandenen Schaltkasten.
- Die Sensorfunktion beruht auf einem zweistufigen Konzept, welches zuerst aus dem Entfernungssignal des Laserscanners Hypothesen für die Existenz und die Position von Paletten liefert und diese Hypothesen dann der weiteren Überprüfung mit Hilfe von Bilddaten übergibt. Dafür wird die in der Hypothese angenommene Position einer Palette auf Basis der Kalibrierungsdaten der Kamera in das Kamerabild transformiert und dort in der lokalen Bildumgebung die Existenz der Hypothese überprüft. Beide Stufen verwenden ein mathematisches geometrisches Modell, welches die Abmaße und die 3D-Formmerkmale einer Palette (des jeweils zu erkennenden Palettentyps) repräsentiert.
- Die Detektion der Palette in den Laserdaten in der ersten Stufe erfolgt durch Vergleich der geometrischen Muster im Laserscann mit dem im System hinterlegten Palettenmodell. Dabei werden vorrangig zwei Formmerkmale verwendet: die Durchgängigkeit der oberen Deckbretter der Palette (erkennbar durch zusammenhängende Linien im Laserscan) oder die mehrfach vorhandenen Klötzer der Zwischenschicht (kurze einzelne Stücke bilden ein regelmäßiges Muster im Laserscan). Der zu wählende Ansatz ist von der Scanhöhe des Laserscanners abhängig. Dementsprechend ist eine Linienerkennung bzw. ein Mustervergeich dieser Klötzerpositionen die Grundlage der Laserscannerverarbeitung.
- In der zweiten Stufe dient das 3D-Palettenmodell dazu, die im Bild auswertbaren Merkmale der Palette zur Erhebung der Bildmerkmale zu verwenden und so einen Merkmalsvektor zu generieren, der zur Verifikation der Hypothese verwendet wird.
- Je nach Lage der Palette sind entweder zwei Palettenseiten gut sichtbar und auch für die Erhebung von Merkmalen geeignet oder es ist nur eine Palettenseite frontal sichtbar – dann wird nur diese eine Seite für die Erhebung von Merkmalen verwendet. Für die Merkmalserhebung im Bild werden mehrere Ansätze miteinander kombiniert: Mit Hilfe des 3D-Palettenmodells wird ein zur erkannten Palettenlage passendes synthetisches Bild generiert und daraus ein Kantenbild erzeugt, welches als Vergleichsmuster zum selektierten Bildbereich (ebenfalls als Kantenbild repräsentiert) verwendet wird. Zur Durchführung des Mustervergleichs wird vorteilhaft die Methode des Chamfer-Matchings verwendet und auf diese Weise ein ganzheitlicher Gütewert für die Übereinstimmung von synthetischem Soll-Bild und aktuellem Ist-Bild abgeleitet. Zusätzlich wird von beiden gut sichtbaren, einer daraus ausgewählten oder der einen sichtbaren Palettenseite(n) die passende Größe des Seitenansichtbildes selektiert und entzerrt und so ein standardisiertes Frontansichtbild erzeugt.
- Im Frontansichtbild wird eine systematische Grauwertbetrachtung mit Hilfe eines Grauwertprofils durchgeführt. Für jede Spalte eines Frontansichtbildes wird der Grauwert über die selektierten Zeilen gemittelt. Das Standardmuster des Grauwertprofils ist ein Stufenbild, welches 5 typische Bereiche aufweist, davon in der Regel 3 Klötze der Palette und 2 Freiraumbereiche. Die Profilerzeugung führt zu einer weiteren Merkmalsbetrachtung mit einem Merkmalssatz von Merkmalen wie dem Grauwert der Bereiche, dem Grauwertverhältnis der Klotzbereiche zu den Freiraumbereichen, der Symmetrie der Grauwerte der Segmente und ähnlichen. Über diesen Merkmalssatz wird ebenfalls die Güte der hypothetischen Frontansicht definiert. Abschließend werden die Bewertungen des Mustervergleichs und die Bewertungen des Merkmalssatzes der Profilbewertung zusammengeführt und mit einem Fusionsoperator (beispielweise mit UND-Charakteristik) zu einem gemeinsamen Bewertungswert zusammengeführt, dessen Vergleich mit einem Zielwert darüber entscheidet, ob die untersuchte Palettenhypothese tatsächlich zu einer Palette gehört oder nicht.
- Die Durchführung der Bildverarbeitung wird durch Verwendung von Scheinwerfern begünstigt, die für eine Beleuchtung sorgen, die weniger stark vom Umgebungslicht abhängig ist. Dafür wird eine Beleuchtung im Infrarotbereich (NIR) und ein entsprechender Filter für die Kamera verwendet. Dadurch kann die Empfindlichkeit gegenüber Tageslicht oder anderen variierenden künstlichen Lichtquellen erheblich reduziert werden.
- Agenda zu Abb. 1:
-
- B – Beleuchter in Spezialkamerasystem
- KOF – Kamera/Optik/Filter in Spezialkamerasystem
- Agenda zu Abb. 2:
-
- K1 – Kamera + Beleuchter Position K1
- K2 – Kamera + Beleuchter Position K2
- L1 – Laserscanner
- L2 – Laserstrahl
- T1 – Transportpalette
- F1 – Fördertechnik (z. B. Gabelstapler)
Claims (10)
- Gerät zur automatischen sensorgestützten Erkennung und Lokalisierung von Transportpaletten durch Datenfusion von Sensordaten eines Laserscanners und einer bildgebenden Kamera dadurch gekennzeichnet, dass durch die Sensor-Daten-Fusion der geometrischen Konturmessdaten eines Laserscanners und der Bildinformationen einer Kamera (einem Flächensensor) sowohl die hochgenaue Positionserfassung als auch die sichere Erkennung von Transportpaletten erfolgt.
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass der Sensordatenverarbeitung der Laserdaten und der Bilddaten ein 3D-Formmodell zugrunde liegt, welches die Abmaße und Merkmale zur Detektion der Paletten in den Laserdaten und die Merkmale zur Durchführung der Bildverarbeitung zur Verfügung stellt.
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass für die Detektion der Paletten in den Laserdaten vorrangig zwei mögliche Ansätze unter Verwendung folgender Formmerkmale alternativ oder gleichzeitig verwendet werden: a. die Durchgängigkeit der oberen Deckbretter der Palette (erkennbar durch zusammenhängende Linien im Laserscan) oder b. die mehrfach vorhandenen Klötzer der Zwischenschicht (kurze einzelne Stücke bilden ein regelmäßiges Muster im Laserscan). Der zu wählende Ansatz ist von der Scanhöhe und dem horizontalen Sichtwinkel des Laserscanners abhängig und kann im online-Betrieb bei unebenem Boden in Abhängigkeit von der aktuellen Sichtbarkeit der Merkmale automatisch ausgewählt werden.
- Gerät nach Anspruch 1 und 3, dadurch gekennzeichnet, dass für die Laserscannerverarbeitung der Merkmale 3.a) ein Verfahren der Linienerkennung bzw. für die Verarbeitung der Merkmale 3.b) ein Verfahren zum Mustervergleich der Klötzerpositionen verwendet wird.
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass die aus der Laserscannerverarbeitung gewonnenen Detektionen von Palette als Hypothesen angesehen werden, deren angenommene Position und Lage auf Basis der Kalibrierungsdaten der Kamera in das Kamerabild transformiert werden und dort in der lokalen Bildumgebung die Existenz der Hypothesen überprüft wird.
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass für die Bildverarbeitung entweder die beiden gut sichtbaren Seiten der dem Sensorsystem zugewandten Seitenansichten der Palette verwendet werden, von diesen beiden eine ausgewählt wird oder nur die eine in Frontallage liegende Seitenansicht verwendet wird.
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass die Bildverarbeitung mehrere Verfahren zur Merkmalsberechnung und -überprüfung miteinander kombiniert und dabei mindestens einen oder beide der folgenden Verfahrensschritte umfasst: a. Aus dem 3D-Palettenmodell ein zur erkannten Palettenlage passendes synthetisches Bild generieren und daraus ein Kantenbild erzeugt, welches als Vergleichsmuster zum selektierten Bildbereich (ebenfalls als Kantenbild repräsentiert) verwendet wird. Der Gütewert ergibt sich aus der Güte eines Mustervergleichs der Kantenbilder (beispielsweise mit Chamfer-Matching). b. In den Seitenansichten (Frontansichtbilder) wird eine systematische Grauwertbetrachtung mit Hilfe eines Grauwertprofils durchgeführt. Das Grauwertprofil wird mit dem Musterprofil verglichen. Dafür wird ein Merkmalssatz generiert, der die Güte der Übereinstimmung von Grauwertprofil und Musterprofil fassbar macht.
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass für die Güteberechnung eine Zusammenfassung der einzelnen Ergebnisse nach 7.a) und 7.b) mit einer Fusionsvorschrift oder einem Fusionsoperator erfolgt (z. B. ein Operator aus der UND-Kategorie).
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass zur Stabilisierung der Erkennung als Beleuchter zusätzliche Scheinwerfer eingesetzt werden und diese im sichtbaren Wellenlängenbereich oder im nicht-sichtwaren Wellenlängenbereich (z. B. nahes Infrarot, NIR) leuchten und dafür ein dem Wellenlängenbereich angepasster Zusatzfilter für die Kamera eingesetzt wird, der mehrheitlich nur den gewünschten Wellenlängenbereich durchlässt.
- Gerät nach Anspruch 1, dadurch gekennzeichnet, dass der Laserscanner in Höhe der Transportpalette angebracht ist und dort parallel zur Bodenebene scannt und dass die Kamera und die Beleuchter entweder in der Nähe des Laserscanners angebracht sind und die Szene mit Palette nahezu waagerecht erfasst wird (
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE202012004864U DE202012004864U1 (de) | 2012-05-16 | 2012-05-16 | Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor) |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE202012004864U DE202012004864U1 (de) | 2012-05-16 | 2012-05-16 | Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor) |
Publications (1)
Publication Number | Publication Date |
---|---|
DE202012004864U1 true DE202012004864U1 (de) | 2012-12-10 |
Family
ID=47503410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE202012004864U Expired - Lifetime DE202012004864U1 (de) | 2012-05-16 | 2012-05-16 | Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor) |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE202012004864U1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9990535B2 (en) | 2016-04-27 | 2018-06-05 | Crown Equipment Corporation | Pallet detection using units of physical length |
DE102020211892A1 (de) | 2020-09-23 | 2022-03-24 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Objekterkennung, Computerprogramm, Speichermedium, Objekterkennungseinrichtung und Überwachungsanordnung |
-
2012
- 2012-05-16 DE DE202012004864U patent/DE202012004864U1/de not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9990535B2 (en) | 2016-04-27 | 2018-06-05 | Crown Equipment Corporation | Pallet detection using units of physical length |
DE102020211892A1 (de) | 2020-09-23 | 2022-03-24 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Objekterkennung, Computerprogramm, Speichermedium, Objekterkennungseinrichtung und Überwachungsanordnung |
WO2022063654A1 (de) * | 2020-09-23 | 2022-03-31 | Robert Bosch Gmbh | Verfahren zur objekterkennung, computerprogramm, speichermedium, objekterkennungseinrichtung und überwachungsanordnung |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2643103B1 (de) | Verfahren und einrichtung zur einzelkornsortierung von objekten aus schüttgütern | |
DE69826753T2 (de) | Optischer Profilsensor | |
DE112010002174T5 (de) | Verfahren und vorrichtung für ein praktisches 3d-sehsystem | |
DE112017005711T5 (de) | Keramikkörper-Defektuntersuchungsvorrichtung und Defektuntersuchungsverfahren | |
DE102008016215A1 (de) | Informationsvorrichtungsbediengerät | |
EP3312592B1 (de) | Vorrichtung und verfahren zur detektion von luftblasen in einem mit flüssigkeit befüllten behälter | |
DE102017119528B4 (de) | Bildgebungsmodul und -lesegerät zum Lesen eines Zieles über ein Sichtfeld durch Bilderfassung mit einer optisch markanten Anzeige einer Mittelzone des Sichtfeldes, und Verfahren dafür | |
EP1600764A1 (de) | Verfahren und Vorrichtung zum Untersuchen lichtdurchlässiger Objekten | |
WO2019002114A1 (de) | Vorrichtung und verfahren zum rundum-inspizieren von behältnissen am transportband | |
DE102008062995A1 (de) | 3D-Kamera zur Raumüberwachung | |
DE102009030644B4 (de) | Berührungslose Erfassungseinrichtung | |
EP1845336A1 (de) | Verfahren zur optischen Erfassung von bewegten Objekten und Vorrichtung | |
DE102015212932A1 (de) | Verfahren zum Steuern eines Roboters und/oder eines autonomen fahrerlosen Transportsystems | |
EP3316181A1 (de) | Verfahren zum erkennen von objekten in einem lager und flurförderzeug mit einer einrichtung zum erkennen von objekten in einem lager | |
DE102017116758B4 (de) | Verfahren und Vorrichtung zum Abtasten von Oberflächen mit einer Stereokamera | |
DE102014107143A1 (de) | System und Verfahren zur effizienten Oberflächenmessung mithilfe eines Laserverschiebungssensors | |
DE102020120887B4 (de) | Verfahren zum erfassen einer einhängeposition eines auflagestegs und flachbettwerkzeugmaschine | |
WO2020201217A1 (de) | Verfahren und vorrichtung zur bestimmung von verformungen an einem objekt | |
WO2020043856A1 (de) | Verfahren und vorrichtung zum überprüfen der einstellung von scheinwerfern von kraftfahrzeugen | |
DE112019002006T5 (de) | Dekodieren eines bestimmten strichcodes im sichtfeld eines strichcodelesers | |
DE102014115650B4 (de) | Inspektionssystem und Verfahren zur Fehleranalyse | |
DE202012004864U1 (de) | Automatische Erkennung und Lokalisierung von Transportpaletten durch Datenfusion der Sensordaten eines Laserscanners und einer bildgebenden Kamera (Palettensensor) | |
EP2916258A1 (de) | 2D-Barcode-Scanner | |
EP3770804A1 (de) | Flurförderzeug mit einer objekterkennung | |
DE102004026090A1 (de) | Messsystem zur dreidimensionalen Bilderfassung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R207 | Utility model specification |
Effective date: 20130131 |
|
R163 | Identified publications notified | ||
R163 | Identified publications notified |
Effective date: 20141208 |
|
R150 | Utility model maintained after payment of first maintenance fee after three years | ||
R150 | Utility model maintained after payment of first maintenance fee after three years |
Effective date: 20150518 |
|
R151 | Utility model maintained after payment of second maintenance fee after six years | ||
R152 | Utility model maintained after payment of third maintenance fee after eight years | ||
R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06K0009460000 Ipc: G06V0030180000 |
|
R071 | Expiry of right |