DE10323643B4

DE10323643B4 - Sensorsystem für ein autonomes Flurförderfahrzeug

Info

Publication number: DE10323643B4
Application number: DE10323643.0A
Authority: DE
Inventors: Dipl.-Ing. Brösel Ralf; Dipl.-Ing. Horstmann Sven; Dipl.-Inf. Küttner Lars; Dr.-Ing. Stopp Andreas
Original assignee: STILL GmbH
Current assignee: STILL GmbH
Priority date: 2003-05-26
Filing date: 2003-05-26
Publication date: 2021-02-04
Anticipated expiration: 2023-05-27
Also published as: DE10323643A1

Abstract

Verfahren zum Betrieb eines Sensorsystems mit wenigstens zwei, an unterschiedlichen Stellen angeordneten Bildsensoren (1), (2) an einem autonomen Flurförderfahrzeug (3),wobei mittels des Sensorsystems Umgebungsinformationen erfasst werden, und wobei die Umgebungsinformationen mittels einer Rechnereinheit (4) dahingehend ausgewertet werden, um das Fördergut (8) zu erkennen und dessen Position zu bestimmen,dadurch gekennzeichnet,dass mittels der wenigstens zwei Bildsensoren (1), (2) die Umgebungsinformationen unabhängig von der Position eines Lastmittels (6) und einer Ausrichtung des Flurförderfahrzeugs (3) erfasst werden und beim Erkennen und/oder bei der Bestimmung der Position von Fördergut (8)/einer Last (9) zusammenwirken,wobei wenigstens einer der Bildsensoren (1) an dem Lastmittel (6) des Flurförderfahrzeugs (3) angebracht ist und mittels dem Lastmittel (6) des Flurförderfahrzeugs (3) gemeinsam verfahren wird und wobei zur Bestimmung der Position der Last (9) auf einer Hubgabel (5) der gemeinsam mit dem Lastmittel (6) verfahrbar angeordnete Bildsensor (1) zusätzlich relativ gegenüber dem Lastmittel (6) verfahren wird.

Description

Die Erfindung betrifft ein Verfahren zum Betrieb eines Sensorsystems an einem Flurförderfahrzeug, sowie ein Sensorsystem für ein autonomes Flurförderfahrzeug nach den Oberbegriffen der Patentansprüche 1 und 12.
Im industriellen Bereich werden vermehrt fahrerlose Transportsysteme eingesetzt, jedoch sind die derzeit am Markt angebotenen fahrerlosen Transportsysteme noch relativ unflexibel. Sie können sich nur auf exakt vorgegebenen Fahrspuren fortbewegen und es ist ihnen nicht möglich selbständig einen Weg zu finden. Ebenso wie bei stationären Industrierobotern muss die Arbeitsumgebung den Robotern angepasst werden. Daher können diese Roboter nicht für Aufgaben genutzt werden, bei denen sich die Arbeitsumgebung dynamisch verändert oder die Platzierung von zu transportierenden Lasten nicht exakt gesteuert werden kann. Autonome, frei navigierende und universell einsetzbare Roboter werden aber künftig nicht mehr an fest vorgegebenen Positionen und auf fest vorgegebenen Wegen arbeiten; diese werden zusammen mit dem Menschen in einer sich dynamisch ändernden Umgebung eingesetzt werden. Um die dafür notwendigen und anspruchsvollen Anforderungen erfüllen zu können, benötigen moderne mobile Roboter zusätzliche Sensoren. Beispielsweise ermöglichen handelsübliche Entfernungs-, Bild- oder Ultraschallsensoren die exakte Bestimmung der Fahrzeug- und Lastposition sowie das Erkennen von Hindernissen zur Vermeidung von Kollisionen.
Die US 4 279 328 A zeigt eine Vorrichtung zur Ausrichtung von Hebemitteln, insbesondere dem Lastmittel eines Gabelstaplers. Bei dem Gabelstapler kann es sich hierbei um einen automatisch oder halbautomatisch betriebenen Gabelstapler handeln. Wobei die Ausrichtung des Lastmittels mittels der Vorrichtung in eine bestimmte Position relativ zur Last erfolgt. Die Vorrichtung umfasst hierzu einen Bildsensor, mittels dem Bilder der Last abgetastet werden. Unter Zuhilfenahme einer die Last homogen beleuchtenden Lichtquelle, welche mit dem Bildsensor mechanisch in Verbindung steht, wird mittels dem Bildsensor ein eindeutiges Abbild der Last bestehend aus Schatten und Reflexionen optoelektronisch detektiert. Der Bildsensor sowie die Lichtquelle sind dabei derart mit dem Lastmittel verbunden, dass diese gemeinsam mit dem Lastmittel beweglich angeordnet sind.
In der EP 0 800 129 B1 wird ein Flurförderfahrzeug, insbesondere ein Gegengewichtsgabelstapler beschrieben, welcher wahlweise manuell oder automatisch betreibbar ist. Für den automatischen Betrieb ist der Gabelstapler mit einem Kontrollsystem ausgestattet, welches in Wirkverbindung mit dem Fahrantrieb, der Lenkung, der Bremsanlage und der Bewegungssteuerung der Hubgabel steht. Weiterhin ist ein Mittel zum Eingeben und Speichern von möglichen Fahrrouten und einer Transportaufgabe vorgesehen. Zur Steuerung der Bewegung des Flurförderfahrzeugs in Abhängigkeit von dessen Position im Raum und von der vorgegebenen Transportaufgabe sind weitere Mittel vorhanden. Hierbei wird zum autonomen Bestimmen der Fahrzeugposition im Raum eine Odometrieanlage sowie eine Bildverarbeitungsanlage mit mindestens einer Navigationskamera verwendet, wobei die Navigationskamera auf der der Hubgabel gegenüberliegenden Seite im oberen Bereich des Fahrerschutzdaches angebracht ist. Weitere Kameras dienen zum Erkennen des Vorhandenseins, der Position und der Ausrichtung der Last. Wobei diese Kameras gabelseitig, bewegungsgleich zur Last, am Flurförderfahrzeug befestigt sind. Die Steuerung des Lastmittels und/oder des Flurförderfahrzeugs erfolgt dabei in Abhängigkeit von der Position, der Ausrichtung der Last und der Transportaufgabe. Ein wesentlicher Nachteil ist es hierbei, dass die Erkennung der Last ausschließlich in Abhängigkeit von der Position des Lastmittels erfolgt und zudem von der Ausrichtung des Flurförderfahrzeugs abhängt und deshalb damit nur ein kleiner Umgebungsbereich erfasst werden kann.
Aus der US 6 194 860 B1 und der WO 94 / 05 586 A1 sind weitere Sensorsysteme für autonome oder halbautonome Flurförderfahrzeuge bekannt, welche als Sensorsystem zumindest zwei Bildkameras aufweisen, die an unterschiedlichen Stellen am Fahrzeug angeordnet sind und die die Position des Förderguts bzw. des Ladegeschirrs bestimmen.
Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren zum Betrieb eines Sensorsystems an einem autonomen Flurförderfahrzeug sowie ein Sensorsystem für ein Flurförderfahrzeug gemäß den Oberbegriffen der Patentansprüche 1 und 12 bereitzustellen, wodurch eine bessere Übersicht beim Erkennen des Vorhandensein, der Position und der Ausrichtung der Last ermöglicht wird.
Die Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 12 gelöst.
Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.
Gemäß der Erfindung wird ein Sensorsystem zur Erfassung von Umgebungsinformationen an einem autonomen Flurförderfahrzeug betrieben. Dabei werden die erfassten Umgebungsinformationen mittels einer Rechnereinheit dahingehend ausgewertet, um das Fördergut zu erkennen und dessen Position zu bestimmen. In einer erfinderischen Weise umfasst das Sensorsystem zur Erfassung der Umgebungsinformationen wenigstens zwei Bildsensoren. Wobei die Bildsensoren an unterschiedlichen Stellen am Flurförderfahrzeug angebracht sind. In besonders vorteilhafter Weise wirken die Bildsensoren beim Erkennen des Vorhandenseins und/oder bei der Bestimmung der Position des Förderguts/einer Last zusammen. Insbesondere entsteht durch das Zusammenwirken der Bildsensoren eine bessere Übersicht bei der Umgebungserfassung, wobei mit dem Sensorsystem unabhängig von der Position des Lastmittels sowie der Ausrichtung des Flurförderfahrzeugs ein großer Umgebungsbereich erfasst werden kann.
Bei einer gewinnbringenden Ausführungsform der Erfindung ist wenigstens einer der Bildsensoren linear am Flurförderfahrzeug verfahrbar. Wobei zum Verfahren des Bildsensors vor allem handelsübliche Linearantriebe vorteilhafte Eigenschaften aufweisen. Derartige Linearantriebe können grundsätzlich in jeder beliebigen Orientierung am autonomen Flurförderfahrzeug oder an einem seiner Lastmittel angebracht sein. Beispielsweise eignet sich eine vertikale Anordnung des Linearantriebs dazu, einen Bildsensor während dem Transport einer Last in vorteilhafter Weise über oder unter das Niveau der Last zu verfahren, um dadurch ein freies Sichtfeld auf die dem Flurförderfahrzeug vorausliegende Umgebung zu erhalten. Selbstverständlich ist auch eine horizontale Anbringung des Linearantriebs denkbar, wodurch es möglich wird mit einem Bildsensor seitlich an der Last vorbei zu schauen.
Bei einer weiteren gewinnbringenden Ausführungsform der Erfindung ist wenigstens einer der Bildsensoren drehbar am Flurförderfahrzeug angebracht, wobei zum Drehen des Bildsensors vor allem handelsübliche Drehantriebe vorteilhafte Eigenschaften aufweisen. Beispielsweise lassen sich mit einem drehbar angeordneten Bildsensor außer der Last auch die seitlichen Bereiche am Flurförderfahrzeug gut erfassen. Selbstverständlich ist es auch denkbar, dass trotz einer Richtungsumkehr des Flurförderfahrzeugs derselbe Bildsensor zur vorausschauenden Umgebungserfassung eingesetzt wird, indem dieser dann z.B. um 180 Grad gedreht wird. In vorteilhafter Weise ist es auch denkbar, dass als Bildsensor lediglich eine Kamerazeile verwenden wird, wobei die zweite Dimension der Bildinformation aufgrund der Drehbewegung mittels dem Drehantrieb generiert wird. Besonders hat sich im Zusammenhang mit Drehantrieben eine Kombination mit Laserscannern bewährt. Wobei handelsübliche Laserscanner mittels einem rotierenden Spiegel 2D-Tiefendaten auf einer Fläche erfassen. Indem der Laserscanner zusätzlich in der zur Rotationsachse des Spiegels orthogonalen Richtung auf einer Drehachse gedreht wird, kann mit dem Laserscanner ein kugelförmiger bzw. zylindrischer Erfassungsbereich realisiert werden. Dadurch wird es mit einem einzigen Bildsensor möglich einen Rundblick um das autonome Flurförderfahrzeug herum zu realisieren.
Weiterhin ist es von großem Vorteil, falls wenigstens einer der Bildsensoren schwenkbar und/oder neigbar am Flurförderfahrzeug angebracht ist. Hierzu können vor allem handelsübliche Schwenk-Neige-Einheiten eingesetzt werden. Derartige Schwenk-Neige-Einheiten sowie die zur Bewegung des Bildsensors zuvor vorgeschlagenen Linear- und Drehantriebe sind beispielsweise bei der AMTEC GmbH erhältlich (www.amtecrobotics.de). Durch das Schwenken und Neigen wird es erst möglich, auch Bildsensoren mit einem kleinen Erfassungsbereich sinnvoll zur Umgebungserfassung an autonomen Flurförderfahrzeugen einzusetzen. Wobei ein Bildsensor mittels einer Schwenk-Neige-Einheit exakt positioniert und auf die jeweiligen interessierenden Umgebungsausschnitte ausgerichtet werden kann.
Erfindungsgemäß ist wenigstens einer der Bildsensoren am Lastmittel des Flurförderfahrzeugs angebracht und mittels dem Lastmittel gemeinsam verfahrbar. Beispielsweise kann bei der Verwendung einer Kamerazeile dabei die zweite Bilddimension aufgrund der Bewegung des Lastmittels generiert werden, wobei hierbei ein zusätzliches Mittel für den Antrieb des Bildsensors nicht benötigt wird. Besonders vorteilhaft ist es jedoch, falls wenigstens einer der Bildsensoren beispielsweise in Kombination mit Linear- und/oder Drehantrieben und/oder Schwenk-/Neigeköpfen gemeinsam verfahrbar am Lastmittel des Flurförderfahrzeugs angebracht ist. Wodurch ein gemeinsam mit dem Lastmittel verfahrbar angeordneter Bildsensor zusätzlich innerhalb eines vorgegebenen Bereichs relativ gegenüber dem Lastmittel verfahrbar ist. Diese Kombination ist insbesondere beim Auf- und Abstapeln (Docking-Vorgang) im Zusammenhang mit autonomen Flurförderfahrzeugen von großem Vorteil.
Bei einer weiteren vorteilhaften Ausgestaltung der Erfindung wird wenigstens einer der Bildsensoren derart am Flurförderfahrzeug befestigt, dass sich dieser an einer möglichst hohen Position über dem Fahrweg befindet. Beispielsweise ist bei einem Flurförderfahrzeug das Fahrerschutzdach oder bei einem Gabelstapler der Mast eine geeignete Position zur Befestigung von Bildsensoren. Aufgrund der hohen Position gegenüber dem Fahrweg können mittels wenigstens einem der Bildsensoren Umgebungsinformationen aus der Vogelperspektive abgetastet werden. Hierdurch wird ein besserer Überblick bei der Umgebungserfassung möglich, welcher beispielsweise in Lagerbereichen beim Erkennen des Förderguts bzw. beim Überwachen der Last von großem Vorteil ist. Auch lässt sich mit der Umgebungserfassung in der Vogelperspektive beispielsweise bei einer vorausschauenden Erfassung des Fahrwegs sowie beim Erkennen von Hindernissen ein besserer Überblick verschaffen.
In vorteilhafter Weise besitzen wenigstens zwei der zur Umgebungserfassung am autonomen Flurförderfahrzeug eingesetzten Bildsensoren ein unterschiedliches Auflösungsvermögen. Beispielsweise besitzen Kameras, welche im sichtbaren Spektrum empfindlich sind, häufig ein deutlich höheres Auflösungsvermögen als diejenigen Kameras, welche im Infraroten Wellenlängenbereich empfindlich sind. Wohingegen bei der Erzeugung von 2D-Bilddaten mittels einer bewegten Kamerazeile die Bildauflösung von der Geschwindigkeit der Bewegung abhängt. Daher ist es besonders vorteilhaft, die mittels verschiedener Bildsensoren und/oder mittels Bildsensoren mit unterschiedlichem Auflösungsvermögen gewonnen Umgebungsdaten miteinander zu fusionieren. Dem Fachmann auf dem Gebiet der digitalen Bildverarbeitung sind dazu Methoden und Verfahren zur Bildfusion bekannt. Insbesondere ist es hierbei nicht nur möglich die Bilddaten mehrerer/unterschiedlicher Kameras zu fusionieren, sondern zusätzlich z.B. auch die Punktmessdaten von Abstandsmessenden Sensoren.
In besonders vorteilhafter Weise eignen sich zur Erfassung von Umgebungsinformationen kamerabasierte und/oder laserbasierte und/oder akustische Sensordaten. Beispielsweise werden zur Erfassung von Umgebungsinformationen vorzugsweise Entfernungsinformationen erfassende Sensoren eingesetzt. Dem Fachmann sind hierzu unterschiedlichste Sensoren bekannt, vor allem haben sich handelsübliche Laserscanner beim Einsatz am Flurförderfahrzeug bewährt. Derartige Bildsensoren erfassen 2D-Entfernungsdaten im Nahbereich mit einer Tiefenauflösung von ca. 1cm bei einem Entfernungsradius von ca. 8m und unter einem Sichtwinkel von wenigstens 180 Grad. Laserscanner eignen sich dabei sowohl für die Anbringung am Flurförderfahrzeug als auch an dessen Lastmittel. Jedoch ist es im Rahmen einer Umgebungserfassung auch denkbar, dass dabei visuelle Informationen herangezogen werden. Hierbei kommen bildgebende Sensoren wie beispielsweise Kameras zum Einsatz. Dem Fachmann sind hierbei unterschiedliche Kameratypen bekannt, z.B. können diese ein CCD-Array umfassen oder aus einer einzelnen Zeile lichtempfindlicher Elemente aufgebaut sein. Die lichtempfindlichen Elemente können dabei sowohl im sichtbaren Spektrum als auch im nichtsichtbaren Spektrum empfindlich sein. Wobei sich für den Einsatz im Industriellen Umfeld das sichtbare Spektrum und der nahe Infrarot Wellenlängenbereich besonders bewährt haben. Auch ist es im Zusammenhang mit Kameras denkbar eine Stereoanordnung zu wählen, wodurch zusätzlich Tiefeninformationen generiert werden können. Auch ist es denkbar im Rahmen einer Umgebungserfassung akustische Informationen heranzuziehen. Hierbei kommen im industriellen Umfeld vor allem Ultraschallsensoren zum Einsatz. Diese besitzen im Vergleich zu optoelektronischen Sensoren zwar ein etwas geringeres Auflösungsvermögen, sind dafür aber relativ kostengünstig.
Die Auswertung der Umgebungsinformationen wird mittels einer Rechnereinheit durchgeführt. Hierbei kann es sich bei der Rechnereinheit um einen Bordrechner und/oder um eine mit dem Flurförderfahrzeug in Verbindung stehende übergeordnete Rechnereinheit handeln. Dabei kann ein am Flurförderfahrzeug angebrachter Bordrechner neben der Auswertung der Bildinformationen auch andere Aufgaben übernehmen, beispielsweise die Steuerung des Flurförderfahrzeugs, die Ansteuerung der Bildsensoren oder die Planung der Fahrtroute. Derartige Bordrechner verfügen jedoch oft nur über eine begrenzte Leistungsfähigkeit. Außerdem stellen diese einen zusätzlichen Verbraucher elektrischer Energie dar, was gerade im Bereich von autonomen Flurförderfahrzeugen ein Nachteil ist. Daher ist es auch denkbar, dass nur die höchstprioren Rechenaufgaben durch den Bordrechner erledigt werden und andere, mit niedriger Priorität mittels einer übergeordneten Recheneinheit verarbeitet werden. Selbstverständlich ist es auch denkbar, dass alle für die Auswertung benötigten Berechnungen ausschließlich mittels einer übergeordneten Rechnereinheit erledigt werden. Wobei das Flurförderfahrzeug dann lediglich eine Einheit für den Datenaustausch mit der übergeordneten Rechnereinheit sowie der Bildsensoren und der Aktuatorik am Flurförderfahrzeug umfasst.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von Ausführungsbeispielen anhand der Figur. Dabei zeigt die Figur beispielhaft den Einsatz des erfindungsgemäßen Sensorsystem an einem Gabelstapler.
In einem ersten Ausführungsbeispiel soll die Arbeitsweise des erfindungsgemäßen Sensorsystems beim Einsatz an einem autonomen Flurförderfahrzeug (3), insbesondere einem Gabelstapler aufgezeigt werden. Hierbei werden die einzelnen Arbeitsschritte beim Transport von Fördergut (8), insbesondere dem Leergut, von einem Verbauort (z.B. der Produktionslinie) zum Leergutlager aufgezeigt. Ausgangspunkt ist dabei eine Wartestation, wo der Gabelstapler (3) auf einen Auftrag wartet. Nachdem mittels einem am Verbauort befindlichen Leergut-Sensor ein Auftrag initiiert und über eine übergeordnete Rechnereinheit (Leitsystem) an den Gabelstapler (3) übermittelt wurde, fährt dieser von der Wartestation zum Verbauort. Am Verbauort entnimmt der Gabelstapler (3) sodann das Leergut (8) und fährt damit zum Leergutlager, wo das Leergut aufgestapelt werden soll. Im Leergutlager fährt der Gabelstapler (3) vor die erwartete Lagerreihe des jeweiligen Objekttyps. Dem Gabelstapler (3) sind hierbei die jeweiligen Objekttypen, Verbauorte sowie die Orte der Leergut- und Vollgutlager bekannt; Leergut- und Vollgutlagerreihen können untereinander wechseln. Vor der erwarteten Leergutreihe wird mittels dem Bildsensor (2), zunächst eine 3D-Szenenanalyse der jeweiligen Leergutlagerreihe durchgeführt. Hierbei wird der Leergut-Behälterstapel/das Freiraumraster mittels einer schnellen 3D-Szenenanalyse auf Veränderungen überprüft und ggf. mit einer genauen 3D-Szenenanalyse neu vermessen und ggf. eine neue Reihenfolgenbestimmung durchgeführt. Im Rahmen der mittels dem Bildsensor (2) durchgeführten 3D-Szenenanalyse wird zusätzlich implizit eine Störungsüberwachung durchgeführt. Bei der Störungsüberwachung werden Freiräume auf Störungen hin überwacht, beispielsweise liegt eine Störung vor falls sich Personen in der Szene bewegen. Bei einem Störfall wird sodann ggf. die Szene nochmals vermessen.
Zu der mittels dem Bildsensor (2) durchgeführten 3D-Szenenanalyse kann in einer besonders vorteilhaften Weise mittels dem Bildsensor (1) zusätzlich eine Überprüfung der Position der Last (9) relativ zum Gabelstapler (3) durchgeführt werden. Eine Überprüfung der Lastposition bietet sich vor allem vor dem Einfahren in enge Lagergassen an, um insbesondere bei verschobener Last (9) Kollisionen mit benachbarten Stapeln zu vermeiden. Hierzu wird durch vertikales Verfahren des Bildsensor (1) die Position der Last (9) auf der Hubgabel (5) bestimmt und bei verschobener Last (9) ggf. korrigiert. Wobei die Korrektur bei leicht seitlich verschobener Last (9) durch ein Verfahren der Hubgabel (5) ausgeglichen werden kann. Wohingegen bei einer im Winkel gedrehten Last (9) der Gabelstapler (3) zurücksetzen, die Last (9) abgesetzt und unter korrektem Winkel wieder aufgenommen werden muss.
In einem zweiten Ausführungsbeispiel wird der Einsatz des erfindungsgemäßen Sensorsystems ebenfalls an einem autonomen Gabelstapler (3) beschrieben, wobei sich der Gabelstapler (3) im Leergutlager direkt am Aufstapelort befindet. Insbesondere befindet sich der Gabelstapler (3) dabei mit der Hubgabel (5) in der Leergutreihe vor demjenigen Leergutstapel auf den aufgestapelt werden soll bzw. steht vor dem neuen Stapelort, an dem das erste, unterste Objekt abgestellt werden soll. Bildsensor (1) übernimmt hierbei die 3D-Erkennung für das Aufstapeln, wobei dieser vertikal mit der Hubgabel (5) verfahrbar angeordnet ist und dabei den Leergut-Behälterstapel/das Freiraumraster über dem Stapel und das Stützenmuster, auf das aufgesetzt werden soll, vermisst. Zudem wird mittels dem verfahrbaren Bildsensor (1) eine 3D-Vermessung der Füße des auf der Hubgabel (5) befindlichen Leergutbehälters vorgenommen, welche unabhängig von der Durchbiegung der Gabel auf Grund des Gewichts der Last (9) ist. Aufgrund der gemessenen Posen des Leergut-Behälterstapels und der aufzustapelnden Last (9) wird sodann die Fahrkorrektur zum Aufstapeln berechnet. Im Anschluss an diese Berechung fährt der Gabelstapler (3) zur Aufstapelposition und führt dabei eine Positionskontrolle (Soll-Ist-Vergleich) durch. Falls dabei eine Abweichung festgestellt wird, wird dieser Vorgang wiederholt, indem der Gabelstapler (3) zurücksetzt und erneut korrigiert. Falls keine Abweichung besteht bzw. eine höchstzulässige Abweichung nicht überschritten wird, kann die Last (9) aufgestapelt/abgestellt werden.
Auch ist es denkbar, optional mittels Bildsensensor (1) eine relative Positionsmessung zum Aufstapeln durchzuführen. Falls die fahrzeugeigene Positionsbestimmung nicht ausreichend präzise erfolgen kann (z.B. in Lagergassen) und damit die oben genannte reine Positionskontrolle am Aufstapelort ungeeignet ist, kann eine sensorielle Überprüfung der erreichten Aufstapelposition erfolgen. Hierbei wird durch vertikales Verfahren des Bildsensor (1) die Position des Leergut-Behälterstapels, auf den aufgestapelt werden soll, relativ zur aufzustapelnden Last (9), die sich auf der Hubgabel (5) befindet, bestimmt. Anschließend kann ggf. eine notwendige Korrektur beispielsweise im einfachsten Fall durch ein Ansteuern der Hubgabel (5) (seitliche Gabelverschiebung), durch leichtes Vor-/Rückwärtsbewegen des Gabelstaplers (3) oder z.B. bei erforderlichen Winkelkorrekturen auch durch Zurücksetzen des Gabelstaplers (3) in Verbindung mit einer korrigierenden erneuten Anfahrt erreicht werden.
Nach dem Aufsetzen/Abstellen des Leergutbehälters wird als Sicherheitstest vor dem Ausfahren der Hubgabel (5) mittels dem Bildsensor (1) eine 3D-Freiraumerkennung über der Hubgabel (5) durchgeführt. Bei der Freiraumerkennung wird beispielsweise eine Quader- oder Polyederform zugrunde gelegt. Hierbei wird nach dem Aufsetzen/Abstellen des Leergutbehälters (9) zunächst die Hubgabel (5) mittels dem Lastmittel (6) gegenüber dem Mast (7) etwas weiter abgesenkt und anschließend mit dem verfahrbaren Bildsensor (1) eine 3D-Vermessung über der Hubgabel (5) durchgeführt. In vorteilhafter Weise wird dadurch ein Verkippen der Last (9) beim Ausfahren der Hubgabel (5) verhindert. Falls ein Verkippen der Last (9) festgestellt wird, kann ggf. entweder ein Notstopp ausgelöst werden oder die Last (9) angehoben werden.
Zusätzlich kann zur o.g. 3D-Freiraumüberwachung mittels dem Bildsensor (1) eine 2D-Erkennung von Veränderungen während dem Ausfahren durchgeführt werden. Hierbei wird überprüft, ob der aufgestapelte/abgestellte Leergutbehälter (8) während dem Ausfahren der Hubgabel (5) ortsfest bleibt.
In einem dritten Ausführungsbeispiel wird die Arbeitsweise des erfindungsgemäßen Sensorsystems an einem Beispielszenario des Vollgutlagers beschrieben, wobei das Fördergut (8), insbesondere das Vollgut, mit dem autonomen Gabestapler (3) abgestapelt/aufgenommen wird. Entsprechend der Planung erhält der Gabelstapler (3) zunächst einen Auftrag über das Leitsystem und fährt vor die erwartete Lagerreihe des jeweiligen Objekttyps, um dort das Vollgut (8) abzustapeln/aufzunehmen. Hierzu wird zunächst mittels Bildsensor (2) eine 3D-Szenenanalyse der jeweiligen Vollgutlagerreihe durchgeführt. Hierbei wird der Vollgut-Behälterstapel mittels einer schnellen 3D-Szenenanalyse auf Veränderungen hin überprüft und ggf. mit einer genauen 3D-Szenenanalyse neu vermessen und ggf. eine neue Reihenfolgenbestimmung durchgeführt. Im Rahmen der mittels Bildsensor (2) durchgeführten 3D-Szenenanalyse wird zusätzlich implizit eine Störungsüberwachung durchgeführt. Wobei bei der Störungsüberwachung Freiräume auf Störungen hin überwacht werden, beispielsweise liegt eine Störung vor, falls sich Personen innerhalb der Szene bewegen. Bei einem Störfall wird ggf. die Szene nochmals vermessen. Zusätzlich zur 3D-Szenenanalyse des Vollgutlagers wird mittels Bildsensor (2) eine 3D-Szenenanalyse des abzustapelnden /aufzunehmenden Vollgutbehälters (8) durchgeführt. Hierbei wird zur Sicherheit der notwendige Freiraum über dem gewünschten abzustapelnden/aufzunehmenden Vollgutbehälter (8) bestimmt. Wobei hierbei implizit eine Störungsüberwachung durchgeführt wird. Nachdem die Freiraumüberwachung durchgeführt wurde, fährt der Gabelstapler (3) mit der Hubgabel (5) vor den entsprechenden Vollgutbehälter (8). In einer besonders vorteilhaften Weise wird sodann zur Korrektur der Gabeleinfahrt und/oder zur Freiraumüberwachung beim Abstapeln/Aufnehmen mittels Bildsensor (1) eine 3D-Objekterkennung durchgeführt. Hierbei wird Bildsensor (1) gemeinsam mit der Hubgabel (5) verfahren, welcher dabei den Vollgut-Behälterstapel sowie den Freiraum zum Einfahren der Hubgabel (5) unter dem abzustapelnden/aufzunehmenden Vollgutbehälter (8) vermisst. Bei Abweichungen kann ggf. eine Korrektur vorgenommen werden. Nachdem der Vollgutbehälter (8) mittels der Hubgabel (5) abgestapelt/aufgenommen wurde, kann dieser aus dem Behälterstapel ausgefahren werden. Beim Ausfahren wird mittels Bildsensor (1) zusätzlich eine 2D-Erkennung von Lastveränderungen durchgeführt, womit beispielsweise ein Verrutschen des Vollgutbehälters (9) sofort festgestellt werden kann.
In einem vierten Ausführungsbeispiel wird die Arbeitsweise des erfindungsgemäßen Sensorsystems am Beispiel des Transports einer Last (9), insbesondere von Vollgut beschrieben, wobei das Vollgut (9) mittels dem autonomen Gabestapler (3) vom Vollgutlager zum Verbauort transportiert wird. Entsprechend der Planung erhält der Gabelstapler (3) über das Leitsystem einen Auftrag und fährt zunächst mit dem Vollgut (9) zum Verbauort. Hierbei findet während dem Transport eine Überwachung gegen Verrutschen des Vollguts (9) mittels Bildsensor (1) statt. Zur Überwachung wird eine variable Ladeposition auf der Hubgabel (5) sowie ein einstellbares Zeitfenster für die Überprüfung festgelegt. Dabei ist die Empfindlichkeit bei der Überwachung frei wählbar. Sobald während dem Transport ein leichtes Verrutschen festgestellt wird, fährt der Gabelstapler (3) mit reduzierter Geschwindigkeit weiter. Wohingegen bei einem starken Verrutschen der Gabelstapler (3) stoppt, das Vollgut (9) absetzt, der Gabelstapler (3) zurücksetzt, eine Messung zur Docking-Korrektur durchführt, die Last (9) korrekt wieder aufnimmt und den Transport anschließend mit der ursprünglichen Geschwindigkeit fortsetzt.
Nachdem der Gabelstapler (3) die Last (9) zum Verbauort transportiert hat und bevor diese am Verbauort eingesetzt wird, wird mittels dem Bildsensor (1) ein Sicherheitstest zur 3D-Erkennung von Lastveränderungen durchgeführt. Falls die Last (9) dabei unverändert ist, kann diese sofort eingesetzt werden. Wohingegen beispielsweise bei einer leicht verrutschten Last (9) mittels dem Gabelstapler (3) und/oder dem Lastmittel (6) eine Positionskorrektur durchgeführt wird. Bei einer stark verrutschten Last (9) muss dagegen die Last (9) abgesetzt und nach einer Positionskorrektur erneut aufgenommen werden. Danach kann die Last (9) schließlich am Verbauort eingesetzt werden. Dabei kann mittels wenigstens einem der Bildsensoren (1), (2) eine Überwachung durchgeführt werden, wodurch ein Anstoßen, Verkannten und Verrutschen beim Einsetzten in die Lastaufnahme verhindert werden soll. Falls am Verbauort beim Einsetzen der Last (9) eine Störung auftritt, besteht die Möglichkeit dass der Gabelstapler (3) gestoppt wird. Zudem besteht die Möglichkeit einer Wiederholung, wobei mit dem Gabelstapler (3) und/oder dem Lastmittel (6) eine Positionskorrektur durchgeführt wird. Dabei ist die Anzahl der Wiederholungen begrenzt und wird mittels einer Plausibiltätskontrolle überwacht.
Im Zusammenhang mit den oben genannten Ausführungsbeispielen ist es auch denkbar, dass der Bildsensor (1) die komplette 3D-Vermessung übernimmt. Dabei wird die dritte Dimension der Bilddaten beispielsweise dadurch erzeugt, indem der Bildsensor (1) gemeinsam mittels dem Lastmittel (6) und/oder einer Linear-, Dreheinheit und/oder einem Schwenk-Neigekopf bewegt wird. Allerdings ist die Ausführungsgeschwindigkeit bei dieser Variante deutlich niedriger als bei einem kombinierten Einsatz der Bildsensoren (1), (2). Wobei der Bildsensor (2) alle Vorgänge erheblich beschleunigt, dies spart Zeit, Kosten, Energie und ermöglicht vor allem erheblich flexiblere und komplexere Arbeitsabläufe.
Selbstverständlich ist die Erfindung nicht auf die exemplarisch beschriebenen Ausführungsbeispiele beschränkt Ausgehend hiervon ist ein Fachmann in der Lage ein erfindungsgemäßes System bezüglich unterschiedlichster Aufgaben und Einsatzgebiete zu konfigurieren.
Bezugszeichenliste

1: Bildsensor 1
2: Bildsensor 2
3: Flurförderfahrzeug
4: Rechnereinheit
5: Hubgabel
6: Lastmittel
7: Mast
8: Fördergut
9: Last

Claims

Verfahren zum Betrieb eines Sensorsystems mit wenigstens zwei, an unterschiedlichen Stellen angeordneten Bildsensoren (1), (2) an einem autonomen Flurförderfahrzeug (3), wobei mittels des Sensorsystems Umgebungsinformationen erfasst werden, und wobei die Umgebungsinformationen mittels einer Rechnereinheit (4) dahingehend ausgewertet werden, um das Fördergut (8) zu erkennen und dessen Position zu bestimmen, dadurch gekennzeichnet, dass mittels der wenigstens zwei Bildsensoren (1), (2) die Umgebungsinformationen unabhängig von der Position eines Lastmittels (6) und einer Ausrichtung des Flurförderfahrzeugs (3) erfasst werden und beim Erkennen und/oder bei der Bestimmung der Position von Fördergut (8)/einer Last (9) zusammenwirken, wobei wenigstens einer der Bildsensoren (1) an dem Lastmittel (6) des Flurförderfahrzeugs (3) angebracht ist und mittels dem Lastmittel (6) des Flurförderfahrzeugs (3) gemeinsam verfahren wird und wobei zur Bestimmung der Position der Last (9) auf einer Hubgabel (5) der gemeinsam mit dem Lastmittel (6) verfahrbar angeordnete Bildsensor (1) zusätzlich relativ gegenüber dem Lastmittel (6) verfahren wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass vor dem Aufstapeln oder Abstapeln einer Last (9)/des Förderguts (8) mittels Bildsensor (2) eine Szenenanalyse am Lagerort durchgeführt wird, wobei optional eine Überprüfung der Lastposition mittels Bildsensor (1) erfolgt.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Aufstapeln oder Abstellen einer Last (9) mittels Bildsensor (1) eine Lasterkennung, optional eine relative Positionsmessung, eine Freiraumerkennung in der Umgebung der Last (9), sowie eine Erkennung von Veränderungen beim Ausfahren des Lastmittels (6) erfolgt.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass beim Abstapeln oder Aufnehmen des Förderguts (8)/der Last (9) mittels Bildsensor (2) eine Szenenanalyse im Bereich des Förderguts (8)/der Last (9) durchgeführt wird, wobei mittels Bildsensor (1) eine Lasterkennung, sowie eine Erkennung von Positionsänderungen bei der Last (9) durchgeführt wird.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass nach dem Transport einer Last (9) mittels dem Bildsensor (1) ggf. Veränderungen an der Last (9) erkannt werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens einer der Bildsensoren (1), (2) linear am Flurförderfahrzeug (3) verfahrbar ist.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens einer der Bildsensoren (1), (2) drehbar am Flurförderfahrzeug (3) angebracht ist.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens einer der Bildsensoren (1), (2) schwenkbar und/oder neigbar am Flurförderfahrzeug (3) angebracht ist.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass wenigstens einer der Bildsensoren (1), (2) die Umgebungsinformationen aus der Vogelperspektive abtastet.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass die mittels verschiedener Bildsensoren (1), (2) und/oder mit Bildsensoren (1), (2) mit unterschiedlichem Auflösungsvermögen gewonnen Umgebungsdaten fusioniert werden.
Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, dass zur Erfassung von Umgebungsinformationen kamerabasierte und/oder laserbasierte und/oder akustische Sensordaten herangezogen werden.
Sensorsystem für ein autonomes Flurförderfahrzeug (3), wobei das Sensorsystem wenigstens zwei Bildsensoren (1), (2) umfasst, welche an unterschiedlichen Stellen am Flurförderfahrzeug (3) angebracht sind, und wobei das Sensorsystem Umgebungsinformationen am Flurförderfahrzeug (3) erfasst, und wobei eine Rechnereinheit (4) vorhanden ist, welche die Umgebungsinformationen dahingehend auswertet, um das Fördergut (8) zu erkennen und dessen Position zu bestimmen, dadurch gekennzeichnet, dass die wenigstens zwei Bildsensoren (1), (2) die Umgebungsinformationen unabhängig von der Position eines Lastmittels (6) und einer Ausrichtung des Flurförderfahrzeugs (3) erfassen und zum Erkennen und/oder zur Bestimmung der Position von Förderguts (8)/einer Last (9) in Wirkverbindung stehen, wobei wenigstens einer der Bildsensoren (1) an dem Lastmittel (6) des Flurförderfahrzeugs (3) angebracht ist und mittels dem Lastmittel (6) des Flurförderfahrzeugs (3) gemeinsam verfahrbar ist und wobei ein Mittel vorgesehen ist, womit der wenigstens eine am Lastmittel (6) des Flurförderfahrzeugs (3) angebrachte Bildsensor (1) relativ gegenüber dem Lastmittel (6) verfahrbar ist, wobei zur Bestimmung der Position der Last (9) auf einer Hubgabel (5) der gemeinsam mit dem Lastmittel (6) verfahrbar angeordnete Bildsensor (1) zusätzlich relativ gegenüber dem Lastmittel (6) verfahren wird.
Sensorsystem nach Anspruch 12, dadurch gekennzeichnet, dass Linearantriebe vorgesehen sind, womit wenigstens einer der Bildsensoren (1), (2) verfahren werden kann.
Sensorsystem nach einem der vorstehenden Ansprüche 12 oder 13, dadurch gekennzeichnet, dass Drehantriebe vorgesehen sind, womit wenigstens einer der Bildsensoren (1), (2) positioniert und ausgerichtet werden kann.
Sensorsystem nach einem der vorstehenden Ansprüche 12 bis 14, dadurch gekennzeichnet, dass Schwenk-Neige-Einheiten vorgesehen sind, womit wenigstens einer der Bildsensoren (1), (2) positioniert und ausgerichtet werden kann.
Sensorsystem nach einem der vorstehenden Ansprüche 12 bis 15, dadurch gekennzeichnet, dass wenigstens einer der Bildsensoren (1), (2) derart am Flurförderfahrzeug (3) befestigt ist, dass sich dieser an einer möglichst hohen Position über dem Fahrweg befindet.
Sensorsystem nach einem der vorstehenden Ansprüche 12 bis 16, dadurch gekennzeichnet, dass wenigstens zwei der Bildsensoren (1), (2) ein unterschiedliches Auflösungsvermögen besitzen.
Sensorsystem nach einem der vorstehenden Ansprüche 12 bis 17, dadurch gekennzeichnet, dass es sich bei den Bildsensoren (1), (2) um einen auf einer Kamera basierenden Sensor und/oder einen Lasersensor und/oder einen Ultraschallsensor handelt.
Sensorsystem nach einem der vorstehenden Ansprüche 12 bis 18, dadurch gekennzeichnet, dass es sich bei der Rechnereinheit (4) um einen Bordrechner und/oder um eine mit dem Flurförderfahrzeug (3) in Verbindung stehende übergeordnete Rechnereinheit handelt.