-
Die Erfindung betrifft ein Verfahren zur Erfassung eines Ladeguts innerhalb eines Laderaums, bei dem das Innere des das Ladegut enthaltenen Laderaums mit mindestens einer Kamera, d. h. mit dem Bildsensor einer Kamera, als Bild aufgenommen und die aufgenommene Bildinformation einer automatischen Bildverarbeitung unterzogen wird.
-
Die Ladungsüberwachung insbesondere durch elektronische Systeme nimmt bei den heutigen Verkehrsströmen und den Anforderungen an die Logistik von Gütern einen immer breiteren Raum ein. Insbesondere die Laderäume von Lkw und von Containern stehen in dieser Hinsicht bei Flottenbetreibern, Speditionen und Versandhandel im Fokus und müssen möglichst effizient genutzt werden. Dazu sind in Abhängigkeit vom Befüllungsgrad des Laderaums auch die Be- und Entladevorgänge zu planen.
-
Oft wird eine solche Überwachung dadurch durchgeführt, dass die Objekte oder Ladungsteile, die in einen Laderaum verladen werden, vor oder während der Verladung gemessen, gescannt oder in anderer Weise bestimmt werden. So sind Verfahren bekannt, bei denen etwa Kameras an Gabelstaplern montiert sind, die während der Verladung die einzelnen Ladungsstücke scannen und die Ergebnisse zu einer Gesamtladung bzw. zu einem Füllungsgrad innerhalb des Laderaums aufaddieren. Andere Lösung arbeiten mit an Ladungsteilen befestigten RFID-Tags/RFID-Etiketten (RFID; engl. Radio Frequency Identification, Funkwellen-Identifikation), die während der Verladung oder innerhalb des Laderaums von entsprechenden Antennen im Laderaum oder etwa im Verladebereich an der Rampe detektiert werden. Eine genaue Bestimmung eines örtlich bestimmten Ladungszustands innerhalb des Laderaums ist dadurch allerdings nur bedingt möglich. Zudem erfordern solche Verfahren relativ viele Einrichtungen in der gesamten die Ladung umgebenden Infrastruktur, d. h. an Ladestellen, Rampen, an Ladefahrzeugen etc., die dann natürlich in einer geeigneten Form erst zusammengefasst und bewertet werden müssen.
-
Im Stand der Technik sind auch Verfahren bekannt, die mit Hilfe kameragestützter Verfahren einzelne Ladungsteile örtlich bestimmen und identifizieren können. So offenbart etwa die
DE 10 2016 011 788 DE ein Verfahren zur Ladeguterfassung in einem Fahrzeug mittels eines Bildsensors bzw. einer Kamera, bei dem ein Ladegut identifiziert und ein Ablageort des jeweiligen Ladeguts im Fahrzeug anhand erfasster Bilddaten des Bildsensors automatisch ermittelt wird. Dazu werden zwei Bilder zu unterschiedlichen Zeitpunkten oder Ereignissen aufgenommen und mittels einer automatischen Auswertung eines Differenzbildes miteinander verglichen. Das jeweilig ermittelte Ladegut wird anhand von Barcodes oder Transpondern identifiziert und so der Ablageort erfasst. Das identifizierte Ladegut und der Ablageort werden in einer Datenbank gespeichert.
-
Nachteilig hierbei ist Erfordernis, dass der Laderaum in bekannte Sektionen aufgeteilt werden muss, beispielsweise in Regalfächer, um eindeutige Differenzbilder zu erzeugen. Ein Ladegut innerhalb eines beliebig ausgebildeten Laderaums ohne vorgesehene Einteilungen lässt sich mit diesem Verfahren kaum ermitteln.
-
Darüber hinaus liegt diesem und vielen anderen bekannten Verfahren der Erfassung von Ladungsteilen mittels Kameras oder Bildsensoren der Nachteil zugrunde, dass die Erkennung stark von den herrschenden Lichtverhältnissen beeinträchtigt werden kann. Gerade bei Ladegut in unterschiedlichen Größen und Formen ist eine Differenzierung bei wechselnden Beleuchtungen und Lichtverhältnissen außerordentlich schwierig.
-
Die Aufgabe der vorliegenden Erfindung bestand demnach in der Bereitstellung eines verbesserten Verfahrens zur Ladungserkennung und Ladeguterfassung, welches für beliebig gestaltete Laderäume anwendbar ist, welches von wechselnden Lichtverhältnissen nicht beeinflusst wird und welches in Bezug auf seine apparativen und elektronischen Erfordernisse möglichst universell und einfach zu realisieren ist.
-
Gelöst wird diese Aufgabe durch die Merkmale des Hauptanspruchs. Weitere vorteilhafte Ausbildungen sind in den abhängigen Ansprüchen offenbart. Ebenfalls offenbart ist eine Einrichtung zur Durchführung des Verfahrens sowie ein Fahrzeug mit einer solchen Einrichtung.
-
Das erfindungsgemäße Verfahren ist dabei dadurch gekennzeichnet, dass der der Bildverarbeitung zugrundeliegende Algorithmus einen Programmteil oder Operator zur Kantenerkennung beinhaltet, mittels dessen aus der Bildinformation sichtbare und vom Standort der Kamera erkennbare Kanten des Ladeguts jeweils aktuell bestimmt werden. Des Weiteren erfolgt danach mit Hilfe des Algorithmus eine Einpassung des durch die aktuelle Kantenkonfiguration des Ladeguts beschriebenen Modells des Ladeguts in ein durch die Kanten des Laderaums beschriebenes Modell, nämlich dadurch, dass ein Vergleich der erkennbaren Kanten des Ladeguts sowie deren Kantenlängen mit den Kanten des unbeladenen Laderaums und deren Kantenlängen oder mit den Kanten des Laderaums in einem vorherigen beladenen Zustand und der dazu gehörigen Kantenlängen durchgeführt wird und daraus der durch das Ladegut eingenommene Laderaum bestimmt und ermittelt wird.
-
Eine Kantendetektion oder Kantenextraktion als solche ist bekannt und üblicherweise Teil einer Segmentierung von Elementen in der digitalen Bildverarbeitung. Dabei sollen durch einen entsprechend ausgebildeten Algorithmus flächige Bereiche im Bild voneinander getrennt werden, wenn sie sich entlang gerader oder auch gekrümmter Linien in Farb- oder Grauwert, Helligkeit oder Textur hinreichend unterscheiden. Spezielle Kantenoperatoren (Kantendetektoren) sollen diese Bereiche erkennen und Daten bereitstellen, mit deren Hilfe die dazwischen liegenden Kanten beschrieben werden können. In der Bildverarbeitung sind als Kantendetektoren beispielsweise der sogenannte Prewitt-Operator oder der Canny-Algorithmus bekannt. Kantendetektoren werden auch in der Photogrammmetrie und der Kartografie eingesetzt, um z. B. aus Luftbildern Objekt- oder Geländekanten zu ermitteln.
-
In dem erfindungsgemäßen Verfahren wird nun die Kantendetektion dazu benutzt, Kanten von Ladungsteilen in einem Laderaum zu erkennen, deren Längen zu ermitteln und mit Hilfe von vorgegebenen Modellen von Ladegütern und vom Laderaum als solchem eine Beladungssituation festzustellen, die es ermöglicht, Position, Menge und Volumen einer in einem Laderaum befindlichen Ladung zu ermitteln. Die vorgegebene Laderaumgeometrie wird dabei verglichen mit der Geometrie und den aktuell gemessenen Volumina der Ladegüter. Dies macht bereits deutlich, dass hier nicht nur eine einfache Übertragung bekannter Verfahren auf ein anderes Anwendungsgebiet erfolgt, sondern eine neue und erfinderisch angepasste Anwendung der lediglich im zweidimensionalen Bereich bekannten Kantendetektion zur Interpretation der Ladungssituation in einem dreidimensionalen Raum.
-
Das erfindungsgemäße Verfahren ermöglicht auch bei einer relativ geringen Menge an zu verarbeitenden Daten eine genaue und ausreichend klare Beurteilung der Situation in einem Laderaum. Darüber hinaus werden durch die erfindungsgemäß angepasste Methode der Kantendetektion die bei der Bildverarbeitung nach herkömmlichen Methoden durch unterschiedliche Beleuchtungssituationen oder Reflexionseinfluss entstehenden Nachteile und Fehlerquellen vermieden. Es wird so eine sehr robuste Erkennung des Laderaumzustands bereitgestellt, die von wechselnden Lichtverhältnissen und wechselnder Helligkeit kaum beeinflusst ist.
-
Eine Weiterbildung besteht darin, dass der verfahrensgemäß ermittelte durch das Ladegut eingenommene Laderaum in Form einer graphischen Darstellung auf einem Anzeigegerät oder einem Interface dargestellt wird, insbesondere auf einem Bildschirm. Durch eine solche Ausbildung ergibt sich eine außerordentlich einfache Handhabung des Systems ohne langwieriges Training. Es erlaubt dem jeweiligen Anwender, die Ergebnisse der durch das erfindungsgemäße Verfahren ermittelten Laderaumsituation einfach zu interpretieren und entsprechend darauf zu reagieren.
-
Eine weitere Ausbildung besteht darin, dass unter Nutzung und ausgehend von der graphischen Darstellung Eingriffe am oder Änderungen der durch den Programmteil oder den Operator erfolgenden Kantenerkennung sowie Kalibrierungen durchführbar sind, insbesondere manuelle Eingriffe, Änderungen oder Kalibrierungen. Damit lassen sich Simulationen von Ladungszuständen oder Darstellungen von geänderten Beladungspositionen ebenso durchführen wie eventuelle Korrekturen am erfassten Ladezustand, wenn z.B. der Anwender selbst andere oder bessere Kenntnis von einer aktuell veränderten Ladungssituation besitzt.
-
Eine Weiterbildung besteht darin, dass das Innere des das Ladegut enthaltenden Laderaums mit mindestens einer Kamera unter Beleuchtung mit sichtbarem oder infrarotem Licht als Bild aufgenommen wird. Auch wenn das erfindungsgemäße Verfahren sich sehr robust gegenüber Helligkeitsunterschieden verhält, können zusätzliche und insbesondere auf den Bildsensor der Kamera angepasste Beleuchtungen die Ermittlung von Kanten und Längen positiv beeinflussen. Bei der Verwendung von Infrarotlicht ist eine Kamera erforderlich, deren Bildsensor auch auf Infrarotstrahlung reagiert.
-
Eine weitere Ausbildung besteht darin, dass durch den der Bildverarbeitung zugrundeliegenden Algorithmus in der graphischen Darstellung auf dem Anzeigegerät oder Interface zusätzliche in den Laderaum projizierte Linien darstellbar sind. Das erleichtert dem Anwender, d. h. dem Lademeister oder dem Spediteur die Orientierung. Ebenfalls erleichtert es die Interpretation der graphischen Darstellung auf dem Interface oder dem Bildschirm. Dadurch wird auch leichter ersichtlich, in welchem Bereich Ladungsgrenzen überschritten werden oder wo noch genügend Platz zur Umstellung oder Neuanordnung der Ladung vorhanden ist. Dasselbe gilt für eine weitere Ausbildung, die darin besteht, dass durch den der Bildverarbeitung zugrundeliegenden Algorithmus in der graphischen Darstellung auf dem Anzeigegerät oder Interface zusätzliche in den Laderaum projizierte Gitterlinien oder Ordnungslinien darstellbar sind.
-
Eine weitere Ausbildung besteht darin, dass der verfahrensgemäß ermittelte durch das Ladegut eingenommene Laderaum als verarbeitbare, insbesondere digitale Information zur Speicherung in verschiedenen Systemen zur Datenverarbeitung, insbesondere zur Nutzung in Steuerungseinrichtungen und zur Verwendung und Verarbeitung innerhalb eines Daten-Kommunikationssystems, bereitgestellt wird. So können etwa die erforderlichen Daten, die auch zur Bereitstellung der graphischen Darstellung genutzt werden, in eine Daten-Cloud geladen werden oder über Telekommunikationseinrichtungen an eine Zentrale einer Spedition gegeben werden, die damit in die Lage versetzt ist, den Laderaum respektive die Ladungssituation in einem Lkw während seiner unterschiedlichen Fahrtstationen zu überwachen.
-
Eine weitere Ausbildung besteht darin, dass eine Durchführung des Verfahrens zur Erfassung eines Ladeguts ereignisbezogen ausgelöst wird, insbesondere durch Sensorsignale, ausgelöst von Ladevorgängen oder Laderaumöffnungen. Bei einer solchen Ausbildung kann die Erfassung des Ladeguts nach dem erfindungsgemäßen Verfahren durch Signale aus einem CAN-Bus eines Fahrzeugs ausgelöst werden, der entsprechende Signale oder Ereignisse im gesamten Fahrzeug überträgt. Die Recheneinheit, in der der Algorithmus zur Durchführung der Ladeguterfassung als Programm hinterlegt ist, ist dann auf entsprechende Weise in einer Dateninfrastruktur über CAN-Bus eingebettet. Auf diese Weise können auch Ereignisse als Auslöser genutzt werden, bei denen über eine separate Sensorik im Laderaum beispielsweise ein Verrutschen oder ein Verschieben der Ladung festgestellt wird. Durch eine entsprechende Sensorik können auch Ereignisse wie Rauchentwicklung, Entstehung von Rieselgut oder Schüttwinkeländerungen, veränderte Temperaturen oder Feuchtigkeit etc. als Auslöser für die verfahrensgemäße Erfassung genutzt werden. Natürlich können mit dem erfindungsgemäßen Verfahren in bestimmten Fällen auch Schüttwinkelveränderungen von Schüttgut wahrgenommen und entsprechende Reaktionen daraus abgeleitet werden.
-
Eine weitere Ausbildung besteht darin, dass im Falle eines die Abfolge der Verfahrensschritte zur Erfassung eines Ladeguts auslösenden Ereignisses oder für den Fall, dass eine Bestimmung des durch das Ladegut eingenommenen Laderaums vorgegebene Schwellenwerte überschreitet, die Ausgabe einer Warnmeldung oder eines Warnsignals über das Anzeigegerät oder Interface erfolgt. Damit ist eine direkte Information an einen Fahrer, einen Lademeister oder an eine zentrale Überwachungsstelle möglich.
-
Eine weitere Ausbildung besteht darin, dass die Bildverarbeitung und der zugehörige Algorithmus mindestens teilweise als App, also als Anwendungssoftware oder Computerprogrammen für Datenverarbeitungsgeräte, insbesondere mobile Datenverarbeitungsgeräte wie Mobiltelefone oder Tablets ausgeführt ist, wobei die graphische Darstellung auf diesen Datenverarbeitungsgeräten erfolgt und davon ausgehend Eingriffe am oder Änderungen des Verfahrensablaufs sowie Kalibrierungen durchführbar sind, insbesondere manuelle Eingriffe, Änderungen oder Kalibrierungen durchführbar sind. Mit einer solchen Ausbildung kann der Zugang zur Ladungskontrolle und der Service in den entsprechenden Einrichtungen wesentlich erleichtert werden, da lediglich die Laderäume bzw. die Fahrzeuge mit einer Kamera und einer entsprechenden Datenübermittlung ausgerüstet sein müssen, wobei die übertragenen Rohdaten dann in den Datenverarbeitungsgeräten verfahrensgemäß verarbeitet werden können.
-
Eine weitere, die erfindungsgemäße Erfassung des Ladeguts erleichternde, Ausbildung besteht darin, dass durch die Kamera ermittelbare und für die Kantenerkennung als „künstliche“ Kanten erkennbare Strukturen durch in den Laderaum projizierte Lichtstrahlen oder auf Wänden oder Boden des Laderaums aufgebrachte linienförmige Markierungen erzeugbar sind. Hier können etwa Laser Lichtstrahlen erzeugen, die von der Kamera bzw. von der im Algorithmus eingebundenen Kantenerkennung als Kanten erkannt werden. Ebenso können beispielsweise Markierungen aus Klebstreifen auf dem Boden oder auf den Seitenwänden des Laderaums aufgebracht sein, die in gleicher Weise als Kante von der Kantenerkennung interpretiert werden. Eine solche Verfahrensweise erleichtert natürlich die Auswertung und Interpretation der jeweils vom Ladegut eingenommenen Volumina im Verhältnis zu den Grenzen bzw. Grenzflächen des Laderaums.
-
Zur Durchführung des Verfahrens ist danach eine Einrichtung besonders geeignet, die eine in einem Laderaum angebrachte Kamera aufweist, welche das Innere des das Ladegut enthaltenen Laderaums aufnimmt und die aufgenommene Bildinformation einer in einem Datenverarbeitungsgerät enthaltenen Recheneinheit zur automatischen Bildverarbeitung übermittelt, wobei in der Recheneinheit ein Algorithmus zur Bildverarbeitung programmiert ist, der Programmteile oder Operatoren zur Kantenerkennung, zur Einpassung des Modells des Ladeguts in das Modell des Laderaums und zum Vergleich der Kanten und Kantenlängen des Ladeguts und des unbeladenen oder vorbeladenen Laderaums beinhaltet und daraus den durch das Ladegut eingenommenen Laderaum bestimmt.
-
Eine solche Einrichtung ist besonders in Transportfahrzeugen von Nutzen, insbesondere in Nutzfahrzeugen, insbesondere in einem Lkw oder Anhängefahrzeug. Unter der Voraussetzung, dass die dort vorhandenen Laderäume in ihren Abmessungen bekannt sind, kann dann auch eine Simulation einer Ladungskonfiguration vorab durchgeführt werden und so eine Planung für das Ein- und Ausladen an sukzessive angefahrenen Haltestellen aufgestellt werden.
-
Anhand eines Ausführungsbeispiels soll die Erfindung näher erläutert werden.
-
Dazu zeigt 1 in Form einer graphischen Darstellung auf einem Bildschirm skizzenhaft einen Blick in das Innere eines Laderaums 1, nämlich von seiner hinteren Ladebordwand aus in Blickrichtung auf die vordere Wand 2. Die Darstellung enthält zur besseren Vergleichbarkeit dieselbe Ansicht des Laderaums in drei nebeneinander gestellten Ansichten, d.h. in drei nebeneinander gestellten Bildern einer Kamera, die sich in der in Fahrtrichtung rechten oberen Ecke der hinteren Ladebordwand des Laderaums 1 befindet. Dieser Ort ist besonders gut geeignet für die Anordnung einer solchen Kamera, da der gesamte Laderaum bis zur Vorderwand sich dann im Sichtbereich befindet.
-
Das linke Bild unterscheidet sich von den danebenliegenden Bildern dadurch, dass andere Ladungsteile bzw. eine andere Anordnung des Ladeguts sichtbar sind.
-
Man erkennt jeweils die rechte Begrenzungswand 3, die linke Begrenzungswand 4, die Ladefläche bzw. den Boden 5 und die vordere Begrenzungswand 2 des Laderaums. Ebenfalls erkennbar ist Ladegut, nämlich verschiedene Objekte bzw. verschiedene auf dem Laderaumboden 5 verteilte Ladungsteile 6.1, 6.2 und 6.3. Es handelt sich hier um den Laderaum eines Lkw, dessen Ladefläche mit einem Gerüst aus Streben und Latten versehen ist, welches mit einer Plane überdeckt ist.
-
Die aufgenommene Bildinformation ist erfindungsgemäß einer automatischen Bildverarbeitung unterzogen worden, wobei der der Bildverarbeitung zugrundeliegende Algorithmus einen Operator zur Kantenerkennung beinhaltet, mit dessen Hilfe aus der Bildinformation sichtbare und vom Standort der Kamera erkennbare Kanten 7 des Ladeguts bestimmt werden. In allen drei Ansichten der hier gewählten graphischen Darstellungen sind alle Ladegutkanten durch strichpunktierte Linien dargestellt, jedoch aus Gründen der Übersichtlichkeit nicht überall mit Bezugsziffern versehen. Die verfahrensgemäß interpretierte aktuelle Kantenkonfiguration der strichpunktierten Linien beschreibt so das Modell bzw. die graphische Darstellung des Ladeguts.
-
Der Operator zur Kantenerkennung bestimmt aus der Bildinformation ebenfalls sichtbare und vom Standort der Kamera erkennbare Kanten 8, welche in hinreichender Genauigkeit das Modell des Laderaums 1 darstellen und der Übersichtlichkeit halber hier nur im linken Bild dargestellt sind.
-
Mit Hilfe des Algorithmus erfolgt eine Einpassung des durch die aktuelle Konfiguration der Kanten 7 des Ladeguts 6.1, 6.2 und 6.3 beschriebenen Modells in das durch die Kanten 8 des Laderaums 1 beschriebene Modell dadurch, dass ein Vergleich der erkennbaren Kanten des Ladeguts 6.1, 6.2 und 6.3 sowie deren Kantenlängen mit den Kanten 8 des Laderaums und ihren Kantenlägen durchgeführt wird.
-
Das erfolgt in Bezug auf den unbeladenen Laderaums und dessen Kantenlängen genauso wie mit den um entsprechende Kantenlängen eines nachfolgend eingeladenen Ladeguts reduzierten sichtbaren Kanten des Laderaums. Daraus wird dann eine Bestimmung des durch das Ladegut eingenommenen Laderaums und auch des noch zur Verfügung stehenden Laderaums durchgeführt.
-
In der mittleren Ansicht der 1 zeigen dazu die auf dem Bildschirm zusätzlich in den Laderaum projizierten Linien 9 die Grenzen bzw. das eingenommene Volumen der nach den Ladungsteilen 6.1 noch eingeladenen Ladungsteile 6.2 und 6.3. Auch die Linien 9 sind hier nur in der mittleren und nicht in der rechten Ansicht dargestellt, um Übersichtlichkeit zu gewährleisten.
-
In der rechten Ansicht der 1 sind auf dem Bildschirm weitere in den Laderaum bzw. auf den Laderaumboden 5 projizierte punktierte Linien 10 als Gitterlinien oder Ordnungslinien dargestellt, die dem Nutzer oder dem Lademeister in einer Simulation anzeigen, wie eine optimierte Ladekonfiguration für weitere in ihren Maßen vorgegebene Ladungsteile (z.B. Gitterboxen) aussehen könnte.
-
Bezugszeichenliste
-
- 1
- Laderaum
- 2
- vordere Wand des Laderaums
- 3
- rechte Begrenzungswand des Laderaums
- 4
- linke Begrenzungswand des Laderaums
- 5
- Boden des Laderaums
- 6.1
- Ladungsteil/Ladegut
- 6.2
- Ladungsteil/Ladegut
- 6.3
- Ladungsteil/Ladegut
- 7
- Kante des Ladeguts/des Ladungsteils
- 8
- Kante des Laderaums
- 9
- projizierte Linie (eingenommenes Volumen)
- 10
- projizierte Linie (Simulation zusätzliche Ladung)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
