DE102020215149A1

DE102020215149A1 - Verfahren zum Betreiben eines Fahrzeugs in einem Regalgang in Abhängigkeit von einer Fahrweginformation

Info

Publication number: DE102020215149A1
Application number: DE102020215149.0A
Authority: DE
Inventors: Matthias Ulrich; Camille Marbach; Carina Engelhart; Ron Xu
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-01
Filing date: 2020-12-01
Publication date: 2022-06-02

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, insbesondere Flurförderzeugs, in einem Regalgang (42) in Abhängigkeit von einer Fahrweginformation, mit folgenden Schritten:- Erfassen zumindest eines den Regalgang (42) begrenzenden Regals (44, 46) mittels einer an dem Fahrzeug, insbesondere Flurförderzeug, angeordneten Kameraeinheit, um Bilddaten umfassend das zumindest eine Regal (44, 46) einer Steuereinheit bereitzustellen;- Ermitteln einer Regalinformation bezüglich einer räumlichen Position des zumindest einen Regals (44, 46) relativ zu dem Fahrzeug, insbesondere Flurförderzeug, unter Verwendung der bereitgestellten Bilddaten mittels der Steuereinheit;- Ermitteln der Fahrweginformation bezüglich eines von dem Fahrzeug, insbesondere Flurförderzeug, befahrbaren Fahrwegs (80) in dem Regalgang (42) basierend auf der ermittelten Regalinformation mittels der Steuereinheit; und- Betreiben des Fahrzeugs, insbesondere Flurförderzeugs, in Abhängigkeit von der ermittelten Fahrweginformation mittels der Steuereinheit.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs, insbesondere Flurförderzeugs, in einem Regalgang in Abhängigkeit von einer Fahrweginformation, eine Steuereinheit zum Ausführen und/oder Steuern des Verfahrens, ein System mit der Steuereinheit, ein Fahrzeug mit dem System sowie eine Verwendung einer Kameraeinheit zum Betreiben des Fahrzeugs nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung sind auch ein Computerprogramm und ein maschinenlesbares Speichermedium.
Stand der Technik
Offroad-Fahrzeuge, im Speziellen Fahrzeuge im Bereich von Warenlagern, werden größtenteils manuell betrieben und durch den Bediener am Lenkrad gesteuert. Die Spurhaltung in engen Umgebungen wie in Lagerhallen mit Regalgängen ist hierbei nicht einfach. Durch Anfahrschäden von Regalen entstehen hohe Kosten für die Instandhaltung. Die Überwachung von Schmalgängen, in denen sich Fahrzeuge bewegen, ist gemäß Information 208-030 „Personenschutz beim Einsatz von Flurförderzeugen in Schmalgängen“ der Deutschen Gesetzlichen Unfallversicherung (DGUV) Information vorgeschrieben, entweder durch Einrichtungen an der Infrastruktur oder an den Fahrzeugen.
Für den speziellen Einsatz in Schmalgängen sind Hilfsmittel wie beispielsweise die Spurführung über einen Magnet-Fahrdraht (induktive Führung) im Boden oder eine mechanische Führung des Fahrzeugs bspw. mittels Rollen bekannt.
Die EP 3 333 116 A1 offenbart ein Verfahren zur automatischen Ausrichtung eines Flurförderzeugs in einem Warenlager, basierend auf 3D-Kamera, Laserscanner oder Funkortung. Hierbei erfolgt eine Ausrichtung des Flurförderzeugs gegenüber einer linken oder rechten Regalseite eines Regalgangs des Warenlagers.
Offenbarung der Erfindung
Gegenstand der vorliegenden Erfindung ist ein Verfahren zum Betreiben eines Fahrzeugs, insbesondere Flurförderzeugs, in einem Regalgang in Abhängigkeit von einer Fahrweginformation.
Das Verfahren umfasst einen Schritt des Erfassens zumindest eines den Regalgang begrenzenden Regals mittels einer an dem Fahrzeug, insbesondere Flurförderzeug, angeordneten Kameraeinheit, um Bilddaten umfassend das zumindest eine Regal einer, bevorzugt fahrzeugseitigen, Steuereinheit bereitzustellen. Hierbei umfassen die Bilddaten zumindest einen Teilbereich des zumindest einen Regals, insbesondere einen dem Regalgang zugewandten Teilbereich des Regals. Das heißt, mit anderen Worten, mittels der Kameraeinheit werden zumindest einen Teilbereich des Regals umfassende Bilddaten erzeugt, welche als Roh-Bilddaten und/oder mittels einer Bilddatenauswertung bearbeitete Bilddaten an die Steuereinheit übertragen werden. Bevorzugt umfassen die Bilddaten auch zumindest einen Teilbereich des von dem Regal begrenzten Regalgangs.
Das Verfahren umfasst weiter einen Schritt des Ermittelns einer Regalinformation bezüglich einer räumlichen Position des zumindest einen Regals relativ zu dem Fahrzeug, insbesondere Flurförderzeug, unter Verwendung der bereitgestellten Bilddaten mittels der Steuereinheit. Das heißt, mit anderen Worten, basierend auf den bereitgestellten Bilddaten wird eine Relativposition zwischen dem Fahrzeug und dem Regal, also eine räumliche Position des Fahrzeugs relativ zu dem Regal bzw. in einem Koordinatensystem des Fahrzeugs eine räumliche Position des Regals relativ zu dem Fahrzeug ermittelt.
Das Verfahren umfasst außerdem einen Schritt des Ermittelns der Fahrweginformation bezüglich eines von dem Fahrzeug, insbesondere Flurförderzeug, befahrbaren Fahrwegs in dem Regalgang basierend auf der ermittelten Regalinformation mittels der Steuereinheit. Hierbei ist der Fahrweg bevorzugt ein innerhalb des Regalgangs verlaufender, insbesondere ein durch den Regalgang führender Fahrweg, auf bzw. innerhalb dem das Fahrzeug in dem Regalgang betreibbar bzw. führbar ist.
Das Verfahren umfasst ferner einen Schritt des Betreibens des Fahrzeugs, insbesondere Flurförderzeugs, in Abhängigkeit von der ermittelten Fahrweginformation mittels der Steuereinheit. Das heißt, mit anderen Worten, eine Einheit des Fahrzeugs wird mittels eines von der Steuereinheit abgegebenen und auf der ermittelten Fahrweginformation basierenden Steuersignals gesteuert.
Gegenstand der vorliegenden Erfindung ist außerdem eine Steuereinheit zum Betreiben eines Fahrzeugs, insbesondere Flurförderzeugs, in einem Regalgang in Abhängigkeit von einer Fahrweginformation. Die Steuereinheit ist eingerichtet, Bilddaten umfassend zumindest ein den Regalgang begrenzendes Regal zu empfangen. Die Steuereinheit ist auch eingerichtet, eine Regalinformation bezüglich einer räumlichen Position des zumindest einen Regals relativ zu dem Fahrzeug, insbesondere Flurförderzeug, unter Verwendung der empfangenen Bilddaten zu ermitteln. Die Steuereinheit ist weiter eingerichtet, die Fahrweginformation bezüglich eines von dem Fahrzeug, insbesondere Flurförderzeug, befahrbaren Fahrwegs in dem Regalgang basierend auf der ermittelten Regalinformation zu ermitteln. Ferner ist die Steuereinheit eingerichtet, das Fahrzeug, insbesondere Flurförderzeug, in Abhängigkeit von der ermittelten Fahrweginformation zu betreiben.
Weiter ist Gegenstand der vorliegenden Erfindung ein Computerprogramm, das, wenn es auf einem Computer ausgeführt wird, dazu eingerichtet ist, alle Schritte eines vorangehend beschriebenen Verfahrens durchzuführen und/oder zu steuern, sowie ein maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm.
Gegenstand der vorliegenden Erfindung ist darüber hinaus ein System zum Betreiben eines Fahrzeugs, insbesondere Flurförderzeugs, in einem Regalgang in Abhängigkeit von einer Fahrweginformation. Das System umfasst die vorstehend beschriebene Steuereinheit und eine Kameraeinheit, die ausgebildet ist, das den Regalgang begrenzende Regal zu erfassen, um die Bilddaten umfassend das Regal der Steuereinheit bereitzustellen.
Gegenstand der vorliegenden Erfindung ist ferner ein Fahrzeug mit dem vorstehend beschriebenen System.
Gegenstand der vorliegenden Erfindung ist außerdem eine Verwendung einer an einem Fahrzeug angeordneten Monokameraeinheit zur Abstandssensor-unabhängigen Ermittlung eines von dem Fahrzeug befahrbaren Fahrwegs in einem Regalgang. Das heißt, mit anderen Worten, der befahrbare Fahrweg in dem Regalgang wird unter Verwendung von Bilddaten einer Monokameraeinheit und unabhängig von Sensordaten eines abstandserfassenden Sensors wie bspw. einem Lidar, einer Stereokamera, einem Radar oder einem Laserscanner, ermittelt.
Das Fahrzeug kann ein Personenkraftwagen oder ein Nutzkraftwagen sein. Denkbar ist, dass das Fahrzeug eine mobile Arbeitsmaschine ist. Das Fahrzeug ist bevorzugt ein Fahrzeug für logistische Zwecke, insbesondere ein Flurförderzeug, besonders bevorzugt ein gleisloses bzw. nicht gleisgebundenes Flurförderzeug. Zum Beispiel kann das Fahrzeug ein Hubwagen, ein Schlepper, ein Stapler, insbesondere ein Hochregalstapler, sein. Denkbar ist auch, dass das Fahrzeug eine Kehrmaschine ist.
Das Fahrzeug umfasst zumindest eine Kameraeinheit. Die Kameraeinheit kann eine Kameraeinheit eines an dem Fahrzeug angeordneten Multi-Kamera-Systems umfassend eine Mehrzahl, bspw. drei, vier, fünf oder sechs Kameraeinheiten sein.
Die Kameraeinheit kann eine Monokamera oder eine Stereokamera umfassen. Bevorzugt weist die Kameraeinheit ein Objektiv aus, das als Fischaugenobjektiv ausgebildet ist, um einen möglichst großen Winkelbereich einer Umgebung des Fahrzeugs zu erfassen. Der mittels der das Fischaugenobjektiv aufweisenden Kameraeinheit erfassbare Winkelbereich kann beispielsweise eine Größe größer oder gleich 150° und kleiner oder gleich 210°, insbesondere von 185°, in horizontaler Richtung und/oder eine Größe größer oder gleich 90° und kleiner oder gleich 180°, insbesondere von 120°, aufweisen. Dadurch ist eine räumliche Überwachung des Regalgangs, insbesondere bezüglich eines aus dem Regal, bevorzugt auch oberhalb einer Bodenfläche des Regalgangs, vorstehenden bzw. überstehenden Objekts, möglich.
Die Kameraeinheit kann an einem Frontbereich des Fahrzeugs angeordnet sein. Bspw. kann die Kameraeinheit an einer Karosserie, einem Fahrgestell bzw. einem Aufbau, einem Anbaugerät, einem Arbeitsarm und/oder einer Hubeinheit des Fahrzeugs angeordnet sein. Bevorzugt ist die Kameraeinheit an einer Kontur des Fahrzeugs, beispielsweise an einem Dach bzw. Dachholm oder an einem oberen Endbereich eines Hubmasts des Fahrzeugs angeordnet. Durch eine gegenüber der Bodenfläche des Regalgangs erhöhte Anordnung der Kameraeinheit und der Verwendung eines Fischaugenobjektivs kann der Regalgang besonders gut gleichzeitig bezüglich der Bodenebene und eines aus dem Regal oberhalb einer Bodenfläche des Regalgangs vorstehenden bzw. überstehenden Objekts überwacht werden.
Die Kameraeinheit kann entlang einer bevorzugt vorgesehenen Fahrtrichtung bzw. Hauptfahrtrichtung des Fahrzeugs ausgerichtet sein. Das heißt, mit anderen Worten, die Kameraeinheit ist derart an dem Fahrzeug angeordnet und ausgerichtet, dass ein sich entlang der Hauptfahrtrichtung des Fahrzeugs vor dem Fahrzeug befindlicher Bereich der Fahrzeugumgebung mittels der Kameraeinheit erfassbar ist. Der sich entlang der Hauptfahrtrichtung des Fahrzeugs vor dem Fahrzeug befindliche Bereich der Fahrzeugumgebung kann zumindest Teile eines Regalgangs und zumindest Teile eines oder mehrere, insbesondere zwei, den Regalgang begrenzender Regale umfassen.
Unter einem Regalgang kann im Rahmen der vorliegenden Erfindung ein Gang verstanden werden, der zumindest von einem, bevorzugt von zwei gegenüberstehenden Regalen begrenzt wird bzw. an den ein oder bevorzugt zwei gegenüberstehende Regale angrenzen. Der Regalgang kann ein Zugangsweg für eine Regalbeschickung oder Regalentnahme des Lagers mittels des Fahrzeugs sein. Der Regalgang kann zusammen mit dem oder den den Regalgang begrenzenden Regalen eine Lagergasse bspw. eines Logistik- bzw. Warenlagers ausbilden. Das den Regalgang begrenzende bzw. an den Regalgang angrenzende Regal kann als ein Palettenregal, insbesondere als ein Hochregal ausgebildet sein.
Die Bilddaten können ein oder mehrere zweidimensionale und/oder dreidimensionale Bilder umfassen. Denkbar ist, dass die Bilddaten von der Kameraeinheit bereitgestellte unbearbeitete Rohdaten bzw. ein oder mehrere unbearbeitete Rohbilder umfassen. Denkbar ist auch, dass die Bilddaten mittels einer Bilddatenauswertung bearbeitete Bilddaten umfassen. Denkbar ist bspw., dass die Bilddaten rektifizierte Bilddaten umfassen, wenn die Kameraeinheit ein Fischaugenobjektiv aufweist.
Unter einer räumlichen Position des Regals relativ zu dem Fahrzeug kann ein räumlicher Abstand zwischen dem Fahrzeug und dem Regal und/oder eine Relativanordnung und/oder eine Relativausrichtung zwischen dem Fahrzeug und dem Regal verstanden werden.
Die Regalinformation bezüglich der räumlichen Position des Regals relativ zu dem Fahrzeug umfasst bevorzugt eine Information bezüglich eine räumlichen Bereichs, der einen dem Regalgang zugewandten Regalbereich des Regals repräsentiert. Das heißt, mit anderen Worten, die Regalinformation umfasst eine Information bezüglich einer räumlichen Position eines an den Regalgang angrenzenden Regalbereichs des Regals. Denkbar ist, dass die Regalinformation einen Teilbildbereich der Bilddaten umfasst, die das Regal, insbesondere den an den Regalgang angrenzenden Regalbereich des Regals, repräsentieren.
Basierend auf der ermittelten Regalinformation wird der von dem Fahrzeug befahrbare Fahrweg in dem Regalgang ermittelt. Der Fahrweg kann eine zweidimensionale Fahrspur bzw. ein dreidimensionaler Fahrschlauch innerhalb des Regalgangs sein. Eine Breite des Fahrwegs ist größer oder gleich einer Breite des Fahrzeugs und kleiner oder gleich einer Breite des Regalgangs. Denkbar ist, dass der Fahrweg parallel zu dem den Regalgang begrenzenden Regal verläuft. Denkbar ist auch, dass der Fahrweg abschnittsweise parallel und abschnittsweise quer zu dem den Regalgang begrenzenden Regal verläuft, wenn beim Ermitteln der Fahrweginformation ein sich in dem Regalgang befindliches oder ein in den Regalgang hineinragendes bewegtes oder stationäres Objekt berücksichtigt wird.
Die Fahrweginformation bezüglich des Fahrwegs in dem Regalgang kann eine Angabe von virtuellen den Fahrweg begrenzenden eindimensionalen oder zweidimensionalen Fahrwegbegrenzungen umfassen. Denkbar ist, dass die Fahrweginformation räumliche Koordinaten des Fahrwegs und/oder der Fahrwegbegrenzungen in einem, bevorzugt fahrzeugseitigen bzw. fahrzeugfesten, Koordinatensystem umfassen. Denkbar ist auch, dass die Fahrweginformation Bildpunkte der Bilddaten umfasst, welche den Fahrweg und/oder die Fahrwegbegrenzungen repräsentieren.
Ist der Fahrweg als, insbesondere zumindest eine Gesamthöhe des Fahrzeugs aufweisender, Fahrschlauch ausgebildet, wird beim Ermitteln der Fahrweginformation bevorzugt ermittelt, ob der Fahrweg bzw. Fahrschlauch bzgl. der Gesamthöhe des Fahrzeugs von dem Fahrzeug befahrbar ist. Das heißt, mit anderen Worten, bevorzugt wird ermittelt, ob ein sich oberhalb der Bodenfläche des Regalgangs in dem Regalgang befindliches oder in den Regalgang hineinragendes Objekt eine Breite des befahrbaren Fahrwegs bzw. Fahrschlauchs gegenüber einer Breite des befahrbaren Fahrwegs in der Bodenfläche bzw. Bodenebene verkleinert. Dadurch kann eine Kollisionsgefahr mit bspw. aus dem Regal vorstehenden Transporteinheiten oder Lasten reduziert werden.
Das Betreiben des Fahrzeugs in dem Regalgang kann ein Betreiben des Fahrzeugs innerhalb des Regalgangs und/oder zur bzw. während einer Einfahrt des Fahrzeugs in den Regalgang umfassen. Das Betreiben des Fahrzeugs kann ein Steuern einer Einheit des Fahrzeugs zur akustischen und/oder visuellen bzw. optischen und/oder haptischen Unterstützung eines Führers des Fahrzeugs und/oder ein teil- oder vollautomatisiertes Führen des Fahrzeugs umfassen.
Die Steuereinheit ist bevorzugt eine fahrzeugseitige bzw. an dem Fahrzeug angeordnete Steuereinheit. Die Steuereinheit kann bspw. im Bereich einer Fahrerkabine des Fahrzeugs angeordnet sein. Denkbar ist auch, dass die Steuereinheit als fahrzeugfremde Steuereinheit ausgebildet und abseits des Fahrzeugs angeordnet ist. Zum Beispiel kann die Steuereinheit Teil eines Cloud-Computing-Systems oder eines Server-Backends sein. In diesem Fall kann die fahrzeugfremde Steuereinheit mit einer fahrzeugseitigen Steuereinheit und/oder der Kameraeinheit und/oder einer Ausgabeeinheit und/oder einer Antriebs- und/oder Lenk- und/oder Bremseinheit des Fahrzeugs mittels einer drahtlosen Kommunikationsverbindung verbindbar sein.
Durch das erfindungsgemäße Verfahren und die erfindungsgemäße Steuereinheit ist es nunmehr möglich, das Fahrzeug in einem Regalgang besonders sicher zu betreiben, indem Kollisionen mit dem Regalgang und stationären und/oder mobilen Hindernissen im Regalgang verhindert werden. Mittels der ermittelten Fahrweginformation kann ein Führer des Fahrzeugs beim Führen des Fahrzeugs gezielt unterstützt und/oder das Fahrzeug teil- oder vollautomatisiert im Regalgang geführt werden. Hierbei ist der erfindungsgemäße Ansatz unabhängig sowohl von zusätzlicher Infrastruktur im Regalgang bspw. in Form von Schienen für das Fahrzeug oder Magnetbändern als Fahrspurmarkierungen, als auch von weiteren, abstandsmessenden Sensoren am Fahrzeug.
Vorteilhaft ist es, wenn die bereitgestellten Bilddaten ein das Regal umfassendes dreidimensionales Bild umfassen. Hierbei wird das dreidimensionale Bild basierend auf

- einem im Schritt des Erfassens in einer ersten räumlichen Position des Fahrzeugs erfassten ersten Bild umfassend das Regal,
- einem im Schritt des Erfassens in einer zweiten räumlichen Position des Fahrzeugs erfassten zweiten Bild umfassend das Regal, und
- einer Bewegungsinformation bezüglich einer Bewegung des Fahrzeugs von der ersten zu der zweiten räumlichen Position,

Vorteilhaft ist es weiter, wenn

- die bereitgestellten Bilddaten zumindest zwei Regalpfosten des Regals umfassen,
- basierend auf den bereitgestellten Bilddaten jeweils ein vorgegebener und/oder vorgebbarer Bereich, insbesondere jeweils ein Fußpunkt, der Regalpfosten ermittelt wird, und
- die Regalinformation eine Information bezüglich einer räumlichen Position des vorgegebenen und/oder vorgebbaren Bereichs, insbesondere der Fußpunkte, der Regalpfosten relativ zu dem Fahrzeug umfasst.

Die Regalpfosten sind bevorzugt senkrecht bzw. vertikal zu dem Regalgang bzw. einer an das Regal angrenzenden Bodenfläche ausgerichtet. Insbesondere sind die Regalpfosten an einem dem Regalgang zugewandten bzw. an den Regalgang angrenzenden Regalbereich des Regals angeordnet.
Denkbar ist, dass, bspw. bei einem Hochregal, die bereitgestellten Bilddaten einen, insbesondere die Fußpunkte der Regalpfosten umfassenden, Teilbereich der Regalpfosten umfassen. Unter einem Fußpunkt kann im Rahmen der vorliegenden Erfindung ein an die Bodenfläche bzw. den Regalgang angrenzender bzw. die Bodenfläche bzw. den Regalgang berührender Endbereich, insbesondere Endpunkt, der Regalpfosten verstanden werden.
Das Ermitteln des vorgegebenen und/oder vorgebbaren Bereichs der Regalpfosten umfasst bevorzugt zunächst ein Ermitteln von die Regalpfosten repräsentierenden Bildbereichen der Bilddaten. Bspw. können die Regalpfosten unter Verwendung eines Algorithmus zur Kantenerkennung und/oder unter Verwendung eines zur Erkennung von Regelpfosten trainierten neuronalen Netzes in den Bilddaten und/oder in einem vorgegebenen und/oder vorgebbaren Teilbildbereich der Bilddaten ermittelt werden. Basierend auf den ermittelten die Regalpfosten repräsentierenden Bildbereichen der Bilddaten kann der vorgegebene und/oder vorgebbare Bereich der Regalpfosten ermittelt werden. Der Fußpunkt kann z. B. als ein unterer bzw. bodennächster Endbereich des einen Regalpfosten repräsentierenden Bildbereichs ermittelt werden.
Die räumliche Position des vorgegebenen und/oder vorgebbaren Bereichs kann in Form von zweidimensionalen oder dreidimensionalen Bildkoordinaten der Bilddaten bereitgestellt werden. Alternativ oder zusätzlich ist denkbar, dass die räumliche Position in Form einer anhand einer Relativposition, bspw. eines räumlichen Abstands, zu einem definierten Fahrzeugpunkt bereitgestellt wird. Die Relativposition, insbesondere der räumliche Abstand, kann unter Verwendung der dreidimensionalen Bilddaten ermittelt werden.
Durch die Verwendung des vorgegebenen und/oder vorgebbaren Bereichs der Regalpfosten kann die Regalinformation einfach und zugleich zuverlässig ermittelt werden, wodurch das Verfahren auch mit für komplexe Bildauswertung unzureichender Hardware ausgeführt werden kann.
Vorteilhaft ist es auch, wenn im Schritt des Ermittelns der Fahrweginformation eine seitliche Begrenzung einer befahrbaren Bodenfläche in dem Regalgang basierend auf der räumlichen Position des Regals ermittelt wird. Das Ermitteln der seitlichen Begrenzung umfasst insbesondere das Ermitteln von die seitliche Begrenzung repräsentierenden Bildpunkten der Bilddaten und/oder von einer Relativposition der seitlichen Begrenzung relativ zu einem an dem Fahrzeug angeordneten Fahrzeugreferenzpunkt bzw. von einer Position der seitlichen Begrenzung relativ zu dem Fahrzeug in einem Fahrzeugkoordinatensystem.
Bevorzugt wird die seitliche Begrenzung der befahrbaren Bodenfläche in dem Regalgang basierend auf der räumlichen Position der vorgegebenen und/oder vorgebbaren Bereiche, insbesondere der Fußpunkte, der Regalpfosten ermittelt. Denkbar ist, dass die seitliche Begrenzung eine vorgegebene und/oder vorgebbare Form aufweist, bspw. als eine geradlinige Begrenzung ausgebildet ist. Denkbar ist weiter, dass mittels eines Algorithmus zur Ausgleichsrechnung die vorgegebene und/oder vorgebbare Form der seitlichen Begrenzung an die die vorgegebenen und/oder vorgebbaren Bereiche der Regalpfosten repräsentierenden Bildpunkte des Regals angepasst wird. Denkbar ist ferner, dass zum Ermitteln der seitlichen Begrenzung die die vorgegebenen und/oder vorgebbaren Bereiche der Regalpfosten repräsentierenden Bildpunkte des Regals zu einem den Regalgang teilweise begrenzenden Polygonzug bzw. Streckenzug verbunden werden.
Alternativ oder zusätzlich kann vorteilhafterweise im Schritt des Ermittelns der Fahrweginformation eine seitliche Begrenzung einer befahrbaren Bodenfläche in dem Regalgang unter Verwendung eines Algorithmus zur Erkennung einer befahrbaren Bodenfläche ermittelt werden. Denkbar ist, dass hierzu ein auf einem Convolutional Neural Network basierender Algorithmus verwendet wird, welcher zur Erkennung einer befahrbaren bzw. hindernisfreien Bodenfläche trainiert wurde.
Denkbar ist auch, dass eine basierend auf der räumlichen Position des Regals ermittelte seitliche Begrenzung mit einer unter Verwendung eines Algorithmus zur Erkennung einer befahrbaren Bodenfläche ermittelten seitlichen Begrenzung überprüft bzw. plausibilisiert wird, und vice versa. Durch diese Ausgestaltung kann zuverlässig ein Fahrweg bzw. ein Fahrkorridor für das Fahrzeug ermittelt werden, innerhalb dessen das Fahrzeug ohne Kollisionsgefahr mit dem Regal bewegt werden kann.
Vorteilhaft ist es darüber hinaus, wenn im Schritt des Erfassens ein dem Regal bezüglich des Regalgangs gegenüberstehendes, den Regalgang begrenzendes weiteres Regal mittels der Kameraeinheit erfasst wird und die Regalinformation eine Information bezüglich einer räumlichen Position des weiteren Regals relativ zu dem Fahrzeug umfasst. Denkbar ist, dass die Regale gemeinsam mit dem Regalgang eine Regalgasse ausbilden. Bevorzugt wird im Schritt des Ermittelns der Fahrweginformation je eine seitliche Begrenzung der befahrbaren Bodenfläche für jedes der Regale ermittelt. Durch diese Ausgestaltung ist das Verfahren auch für schmale Regalgassen besonders geeignet.
Vorteilhaft ist es des Weiteren, wenn im Schritt des Ermittelns der Fahrweginformation der befahrbare Fahrweg als ein mittig zwischen der seitlichen Begrenzung der befahrbaren Bodenfläche durch das Regal und einer seitlichen Begrenzung der befahrbaren Bodenfläche durch das weitere Regal verlaufender Fahrweg ermittelt wird. Das heißt, mit anderen Worten, der befahrbare Fahrweg weist zu den Regalen denselben räumlichen Abstand auf. Durch das Ermitteln eines mittig verlaufenden Fahrwegs kann die Kollisionsgefahr mit den den Regalgang begrenzenden Regalen minimiert werden.
Vorteilhaft ist es, wenn die Fahrweginformation ferner unter Berücksichtigung

- einer Höhe und/oder Breite des Fahrzeugs und/oder einer von dem Fahrzeug transportieren Last und/oder
- eines vorgegebenen und/oder vorgebbaren Mindestabstands des Fahrzeugs zu der seitlichen Begrenzung der befahrbaren Bodenfläche

Bevorzugt wird im Schritt des Ermittelns der Fahrweginformation überprüft, ob eine Breite einer befahrbaren Bodenfläche in dem Regalgang größer als eine Breite des Fahrzeugs und/oder der von dem Fahrzeug transportieren Last ist. Insbesondere kann überprüft werden, ob die Breite der befahrbaren Bodenfläche in dem Regalgang größer ist als eine Summe von einer Breite des Fahrzeugs bzw. der Last und einem Wert des Mindestabstands des Fahrzeugs zu der seitlichen Begrenzung. Durch das Berücksichtigen zumindest einer der genannten Größen bzw. Parameter kann die Fahrwegsinformation fahrzeugindividuell bzw. lastindividuell ermittelt werden, wodurch das Verfahren in besonders vielen Situationen einsetzbar ist.
Vorteilhaft ist es außerdem, wenn die Fahrweginformation ferner unter Berücksichtigung eines sich in dem Regalgang befindlichen bewegten und/oder stationären Objekts ermittelt wird. Hierbei kann das Objekt mittels eines oder mehrerer Algorithmen zur Detektion von Objekten ermittelt werden.
Denkbar ist, dass das Objekt als ein von der Bodenfläche verschiedenes, insbesondere zu der Bodenfläche zumindest teilweise beabstandetes, in dem Regalgang angeordnetes bzw. sich bewegendes Objekt ermittelt wird. Hierbei kann ein den Regalgang bzw. die befahrbare Bodenfläche in dem Regalgang repräsentierender Bildbereich der Bilddaten hinsichtlich einer Bewegung und/oder eines sich auf der Bodenfläche oder oberhalb der Bodenfläche befindenden Objekts ausgewertet werden.
Ein Algorithmus zur Ermittlung des Objekts in den Bilddaten kann abhängig von einem Bewegungszustand des Fahrzeugs ausgewählt werden. Denkbar ist, dass zumindest bei einer Bewegung bzw. Fahrt des Fahrzeugs ein „Structure from Motion“-Algorithmus auf die Bilddaten angewandt wird, um ein in dem Regalgang ruhendes bzw. stationäres Objekt, bspw. eine stehende Person oder eine abgestellte Palette, zu ermitteln. Denkbar ist auch, dass zumindest bei einer Bewegung bzw. Fahrt des Fahrzeugs ein auf einem optischen Fluss basierter Algorithmus auf die Bilddaten angewandt wird, um ein sich in dem Regalgang bewegendes Objekt, bspw. eine gehende Person oder ein fahrendes Fahrzeug, zu ermitteln.
Denkbar ist weiter, dass zumindest bei einem Stillstand des Fahrzeugs ein zur Detektion von Bewegungen und/oder Veränderungen und/oder Variationen in Bildbereichen von zeitlich aufeinander folgenden Bildern einer von den Bilddaten umfassten Bildsequenz geeigneter Algorithmus auf die Bilddaten angewandt wird, um ein sich in dem Regalgang bewegendes Objekt zu ermitteln. Denkbar ist ferner, dass zumindest bei einem Stillstand des Fahrzeugs ein auf einem Convolutional Neural Network basierter und zur Erkennung einer befahrbaren Bodenfläche trainierter Algorithmus auf die Bilddaten angewandt wird, um ein in dem Regalgang ruhendes bzw. stationäres Objekt zu ermitteln. Denkbar ist auch, dass das Objekt mittels eines geeigneten Algorithmus klassifiziert wird, bspw. als Person, Fahrzeug, Transportgut etc.
Bevorzugt wird der befahrbare Fahrweg als ein mittig in der befahrbaren Bodenfläche bzw. mittig zwischen den seitlichen Begrenzungen des Regalgangs verlaufender Fahrweg ermittelt, wenn der Regalgang, insbesondere die Bodenfläche zwischen den seitlichen Begrenzungen und bevorzugt ein sich auf der Bodenfläche erstreckender Fahrschlauch, als frei von Objekten bzw. Hindernissen ermittelt wurde.
Bevorzugt wird der befahrbare Fahrweg als ein an dem Objekt vorbeiführender Fahrweg ermittelt, wenn der Regalgang, insbesondere die Bodenfläche zwischen den seitlichen Begrenzungen und bevorzugt ein sich auf der Bodenfläche erstreckender Fahrschlauch, als ein Objekt bzw. Hindernis umfassender Regalgang ermittelt wurde.
Zur Berücksichtigung des Objekts kann ein geeigneter Algorithmus für eine Fahrweg- bzw. Trajektorienermittlung angewandt werden, der basierend auf der Regalinformation, insbesondere der räumlichen Position der seitlichen Begrenzungen, und einer Position des ermittelten Objekts, den Fahrweg ermittelt. Durch die Berücksichtigung von Objekten in dem Regalgang kann die Sicherheit des Verfahrens weiter erhöht werden, indem Kollisionen mit Personen, Fahrzeugen und anderen Hindernissen im Regalgang, wie bspw. im Regalgang abgeladene oder in den Regalgang gefallene Ware, verhindert werden.
Vorteilhaft ist es weiter, wenn im Schritt des Betreibens des Fahrzeugs ein Steuersignal an ein oder mehrere Einheiten des Fahrzeugs ausgegeben wird, um ansprechend auf das Steuersignal

- die ermittelte Fahrweginformation anzuzeigen, und/oder
- eine Bewegung des Fahrzeugs und/oder eine Position und/oder eine Ausrichtung einer Arbeitseinheit des Fahrzeugs an die ermittelte Fahrweginformation

Die Einheit kann als Ausgabeeinheit ausgebildet sein, die eingerichtet ist, ansprechend auf das Steuersignal die ermittelte Fahrweginformation zumindest teilweise auszugeben. Die Ausgabeeinheit kann als optische bzw. visuelle und/oder akustische und/oder haptische Ausgabeeinheit ausgebildet sein, die eingerichtet ist, die ermittelte Fahrweginformation optisch bzw. visuell und/oder akustisch und/oder haptisch auszugeben. Bevorzugt ist die Ausgabeeinheit als Anzeigeeinheit ausgebildet, die eingerichtet ist, ansprechend auf das Steuersignal die Fahrweginformation, insbesondere die räumliche Position des Fahrwegs, bspw. in Form von seitlichen Begrenzungen, anzuzeigen. Eine Anzeige auf der Anzeigeeinheit kann die Bilddaten, bspw. ein aktuelles von der Kameraeinheit bereitgestelltes, bevorzugt rektifiziertes, Bild, und die Fahrweginformation, insbesondere die räumliche Position des Fahrwegs, als Overlay auf bzw. über den Bilddaten umfassen.
Die Anzeigeeinheit kann an dem Fahrzeug, bevorzugt an, insbesondere in, einer Fahrerkabine des Fahrzeugs, angeordnet sein. Die Anzeigeeinheit kann einen Bildschirm, eine Anzeigefläche beispielsweise eines Infotainments bzw. ein Display bzw. einen Monitor aufweisen. Die Anzeigeeinheit kann eine bereits an dem Fahrzeug vorhandene oder nachträglich in das Fahrzeug eingebaute Anzeigeeinheit sein.
Die Einheit kann auch als Antriebseinheit und/oder Bremseinheit und/oder Lenkeinheit und/oder Arbeitseinheit des Fahrzeugs ausgebildet sein, die eingerichtet ist, ansprechend auf das Steuersignal eine Bewegung des Fahrzeugs und/oder eine Position und/oder eine Ausrichtung der Arbeitseinheit an die ermittelte Fahrweginformation anzupassen. Denkbar ist, dass eine Geschwindigkeit des Fahrzeugs beibehalten wird, wenn eine Breite des ermittelten Fahrwegs größer als ein vorgegebener und/oder vorgebbarer erster Schwellenwert ist. Denkbar ist, dass eine Geschwindigkeit des Fahrzeugs mittels Steuern der Antriebseinheit und/oder der Bremseinheit reduziert wird, wenn eine Breite des ermittelten Fahrwegs kleiner oder gleich als ein erster vorgegebener und/oder vorgebbarer und größer oder gleich als ein zweiter vorgegebener und/oder vorgebbarer Schwellenwert ist. Denkbar ist weiter, dass das Fahrzeug in den Stillstand bzw. Stand mittels Steuern der Antriebseinheit und/oder der Bremseinheit übergeführt wird, wenn eine Breite des ermittelten Fahrwegs unterhalb des vorgegebenen und/oder vorgebbaren zweiten Schwellenwerts liegt. Denkbar ist außerdem, dass das Fahrzeug mittels Steuern der Lenkeinheit gelenkt wird, um das Fahrzeug auf dem bzw. innerhalb des ermittelten Fahrwegs zu bewegen.
Denkbar ist ferner, dass das Anpassen der Ausrichtung der Arbeitseinheit an die ermittelte Fahrweginformation ein Absenken der Arbeitseinheit und/oder einer mittels der Arbeitseinheit beförderten Last umfasst. Weiter kann das Anpassen der Ausrichtung ein seitliches Verschieben der Arbeitseinheit, bspw. einer Gabel bzw. eines Gabelträgers eines Gabelstaplers, umfassen, um die Arbeitseinheit, bspw. die Gabel bzw. den Gabelträger und/oder eine mittels der Gabel beförderte Last, relativ zum Fahrzeug zu verschieben und damit das Fahrzeug unter Berücksichtigung der Arbeitseinheit und/oder der Last innerhalb des ermittelten Fahrwegs zu bewegen. Durch diese Ausgestaltung kann ein Fahrer bzw. Führer des Fahrzeugs beim kollisionsfreien Fahren bzw. Führen des Fahrzeugs in einem Regalgang gezielt unterstützt und/oder das Fahrzeug teil- oder vollautomatisiert im Regalgang kollisionsfrei geführt werden.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Steuereinheit ausgeführt wird.
Im Folgenden soll die Erfindung anhand der Zeichnungen näher erläutert werden.
Dazu zeigen

1 eine schematische Darstellung eines Gabelstaplers mit einem System zum Betreiben des Gabelstaplers in einem Regalgang;
2 eine visuelle Ausgabe auf der Anzeigeeinheit des Gabelstaplers 10 gemäß 1; und
3 ein Ablaufdiagramm eines Verfahrens zum Betreiben des Gabelstaplers gemäß 1 in einem Regalgang.

In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines als Gabelstapler 10 ausgebildeten Fahrzeugs 10 mit einem System 12 zum Betreiben des Gabelstaplers 10 in einem Regalgang 42 eines Warenlagers.
Das System 12 umfasst eine nicht dargestellte Steuereinheit zum Betreiben des Gabelstaplers 10 in dem Regalgang 42 und ein Multi-Kamera-System mit einer ersten Kameraeinheit 14, einer zweiten Kameraeinheit 16, einer dritten Kameraeinheit 18 und einer vierten Kameraeinheit 20.
Die Steuereinheit ist im Bereich einer Fahrerkabine des Gabelstaplers 10 angeordnet. Die Steuereinheit ist mit jeder der vier Kameraeinheiten 14, 16, 18, 20 mittels je einer drahtgebundenen elektronischen Verbindung verbunden. Mittels der Verbindungen werden Bilddaten der Kameras 14, 16, 18, 20 an die Steuereinheit übertragen. Weiter ist die Steuereinheit mittels einer weiteren nicht dargestellten drahtgebundenen elektronischen Verbindung mit einer Anzeigeeinheit des Gabelstaplers 10 verbunden.
Die Kameraeinheiten 14, 16, 18, 20 sind jeweils als CMOS-Kameras 14, 16, 18, 20 ausgebildet. Die Kameras 14, 16, 18, 20 weisen ein Fischaugenobjektiv und einen Erfassungsbereich bzw. ein Field of View von ca. 185° in horizontaler und von ca. 120° in vertikaler Richtung auf.
Die erste Kamera 14 ist an einem vorderen Dachholm 24 des Gabelstaplers 10 angeordnet und auf einen vorderen Teilbereich der Fahrzeugumgebung ausgerichtet. Somit ist die erste Kamera 14 als Frontkamera 14 ausgebildet. Die zweite Kamera 16 und die vierte Kamera 20 sind an gegenüberliegenden seitlichen Dachholmen 26, 30 des Gabelstaplers 10 angeordnet und jeweils auf einen seitlichen Teilbereich der Fahrzeugumgebung ausgerichtet. Somit sind die zweite und die vierte Kamera 16, 20 als Seitenkameras 16, 20 ausgebildet. Die dritte Kamera 18 ist an einem hinteren Dachholm 28 des Gabelstaplers 10 angeordnet und auf einen hinteren Teilbereich der Fahrzeugumgebung ausgerichtet. Somit ist die dritte Kamera 18 als Rückkamera 18 ausgebildet. Aufgrund ihrer Anordnung und Ausrichtung an dem Gabelstapler 10 ermöglichen die Kameras 14, 16, 18, 20 eine 360°-Umfelderfassung des Gabelstaplers 10.
In 1 befindet sich bzw. befährt der Gabelstapler 10 eine Lagergasse 40. Die Lagergasse umfasst den Regalgang 42, der von einem ersten Regal 44 und einem dem ersten Regal 44 bezüglich des Regalgangs 42 gegenüberstehenden zweiten Regal 46 begrenzt wird. Die Regale 44, 46 weisen jeweils eine Mehrzahl von ersten Regalpfosten 48, 50 und eine Mehrzahl von zweiten Regalpfosten 52, 54 auf.
Hierbei sind die ersten Regalpfosten 48, 50 jeweils an einem dem Regalgang 42 zugewandten bzw. an den Regalgang 42 angrenzenden Regalbereich der Regale 44, 46 angeordnet. Die zweiten Regalpfosten 52, 54 sind jeweils an einem dem Regalgang 42 abgewandten Regalbereich der Regale 44, 46 angeordnet.
Die Regale 44, 46 weisen eine Vielzahl von Regalplätzen zur Lagerung von Waren, insbesondere von mittels Paletten 56 transportierten und gelagerten Waren, auf. Der Gabelstapler 10 ist ausgebildet, eine Palette 56 mit einer Last aus einem der Regale 44, 46 aufzunehmen oder in eines der Regale 44, 46 abzustellen.
Um ein sicheres Betreiben des Gabelstaplers 10 in dem Regalgang 42 zu ermöglichen, sind ein oder mehrere der Kameras 14, 16, 18, 20 ausgebildet und angeordnet, einen Teilbereich des Regalgangs 42 und der den Regalgang 42 begrenzenden Regale 44, 46 zu erfassen. Die Kameras 14, 16, 18, 20 sind weiter ausgebildet, Bilddaten umfassend den erfassten Teilbereich des Regalgangs 42 und der Regale 44, 46 der Steuereinheit des Gabelstaplers 10 bereitzustellen.
Die an dem Gabelstapler 10 angeordnete Steuereinheit ist eingerichtet, den Gabelstapler 10 in dem Regalgang 42 in Abhängigkeit von einer Fahrweginformation gemäß dem in 3 beschriebenen Verfahren zu betreiben. Hierzu ist die Steuereinheit eingerichtet, Bilddaten mit dem erfassten Teilbereich des Regalgangs 42 und der Regale 44, 46 von den Kameras 14, 16, 18, 20 zu empfangen. Weiter ist die Steuereinheit eingerichtet, eine Regalinformation bezüglich einer räumlichen Position der Regale 44, 46 relativ zu dem Gabelstapler 10 unter Verwendung der empfangenen Bilddaten zu ermitteln. Ferner ist die Steuereinheit eingerichtet, die Fahrweginformation bezüglich eines von dem Gabelstapler 10 befahrbaren Fahrwegs in dem Regalgang 42 basierend auf der ermittelten Regalinformation zu ermitteln.
Zudem ist die Steuereinheit eingerichtet, beim Ermitteln der Fahrweginformation ein sich in dem Regalgang 42 befindliches Objekt, bspw. eine Person, zu berücksichtigen, abhängig davon, ob sich das Objekt in einer unmittelbar an den Gabelstapler 10 angrenzenden Hochrisikobereich 58 der Fahrzeugumgebung oder in einem von dem Gabelstapler 10 durch den Hochrisikobereich 58 beabstandeten Risikobereich 60 der Fahrzeugumgebung befindet.
2 zeigt eine beispielhafte visuelle Ausgabe auf der Anzeigeeinheit des Gabelstaplers 10 gemäß 1. Die Ausgabe umfasst ein von der Frontkamera 14 erfasstes Bild. Das Bild umfasst einen Teilbereich des Regalgangs 42, der Regale 44, 46 mit Regalpfosten 48, 50 und Fußpunkten 62, 64 sowie eine von dem Gabelstapler 10 transportierte Last 66.
Dem Bild überlagert ist je eine gemäß dem in 3 beschriebenen Verfahren ermittelte seitliche Begrenzung 68, 70 einer befahrbaren Bodenfläche 78 in dem Regalgang 42. Die seitliche Begrenzungen 68, 70 repräsentieren seitliche Begrenzungen 68, 80 der befahrbaren Bodenfläche 78 relativ zu den Regalen 44, 46. Die seitliche Begrenzungen 68, 70 sind in Form gerader Begrenzungslinien 68, 70 ausgebildet.
Weiter umfasst das Bild eine Person 76, die sich auf der befahrbaren Bodenfläche 78 in dem Regalgang 42 befindet und die gemäß dem in 3 beschriebenen Verfahren erkannt wird.
Dem Bild überlagert ist ferner eine seitliche Begrenzung 72, 74 eines gemäß dem in 3 beschriebenen Verfahren ermittelten von dem Gabelstapler 10 befahrbaren Fahrwegs 80, welcher an der Person 76 vorbeiführt, sodass ein Kollisionsrisiko mit der Person 76 reduziert wird.
3 zeigt ein Ablaufdiagramm eines Verfahrens zum Betreiben des Gabelstaplers 10 gemäß 1 und 2 in einem Regalgang 42. Das Verfahren ist in seiner Gesamtheit mit dem Bezugszeichen 100 versehen.
Das Verfahren 100 kann ausgeführt werden, während der Gabelstapler 10 sich innerhalb des Regalgangs 42 oder im Bereich eines Eingangs des Regalgangs 42 befindet.
In Schritt 110 wird ein Teilbereich des Regalgangs 42 und der den Regalgang 42 begrenzenden Regale 44, 46 mittels der Frontkamera 14 des Gabelstaplers 10 erfasst. Die Frontkamera 14 stellt der Steuereinheit des Gabelstaplers 10 Bilddaten umfassend den erfassten Teilbereich des Regalgangs 42 und der Regale 44, 46 bereit.
Hierbei umfassen die Bilddaten ein dreidimensionales Bild mit dem erfassten Teilbereich des Regalgangs 42 und der Regale 44, 46 in Form einer Punktewolke. Das dreidimensionale Bild wird unter Verwendung eines „Structure from Motion“-Algorithmus aus zwei zweidimensionalen Bildern umfassend den Teilbereich des Regalgangs 42 und der Regale 44, 46 unter Verwendung einer Bewegungsinformation des Gabelstaplers 10 erzeugt. Hierzu wird im Schritt des Erfassens 110 in einer ersten räumlichen Position des Gabelstaplers 10 ein erstes Bild umfassend den Regalgang 42 und die Regale 44, 46 sowie in einer zweiten räumlichen Position des Gabelstaplers 10 ein zweites Bild umfassend den Regalgang 42 und die Regale 44, 46 erfasst. Zur Ermittlung der Bewegungsinformation wird bspw. mittels eines Beschleunigungssensors eine Bewegung bzw. Veränderung der räumlichen Position des Gabelstaplers 10 von der ersten zu der zweiten räumlichen Position ermittelt.
Das dreidimensionale Bild umfasst zumindest je zwei dem Regalgang 42 zugewandte Regalpfosten 48, 50 der Regale 44, 46.
In Schritt 120 wird eine Regalinformation bezüglich einer räumlichen Position der Regale 44, 46 relativ zu dem Gabelstapler 10 unter Verwendung der bereitgestellten Bilddaten mittels der Steuereinheit ermittelt.
Unter Verwendung bspw. eines Algorithmus zur Kantenerkennung von vertikalen Kanten werden die Regalpfosten 48, 50 repräsentierende Bildbereiche in dem dreidimensionalen Bild bzw. der dreidimensionalen Punktewolke identifiziert. Anschließend wird für jeden der einen Regalpfosten 48, 50 repräsentierenden Bildbereiche ein Bildpunkt ermittelt, der einen Fußpunkt 62, 64 des jeweiligen Regalpfostens 48, 50 repräsentiert.
Die Regalinformation umfasst eine Information bezüglich einer räumlichen Position der ermittelten Fußpunkte 62, 64 der Regalpfosten 48, 50 relativ zu dem Gabelstapler 10. Die räumlichen Positionen der ermittelten Fußpunkte 62, 64 werden in Form von Bildkoordinaten in dem dreidimensionalen Bild bereitgestellt.
In Schritt 130 wird die Fahrweginformation bezüglich des von dem Gabelstapler 10 befahrbaren Fahrwegs 80 in dem Regalgang 42 basierend auf der ermittelten Regalinformation mittels der Steuereinheit ermittelt.
Hierzu wird eine seitliche Begrenzung 68, 70 einer befahrbaren Bodenfläche 78 in dem Regalgang 42 basierend auf den räumlichen Positionen der ermittelten Fußpunkte 62, 64 der Regalpfosten 48, 50 ermittelt. Unter Verwendung eines Algorithmus zur Ausgleichsrechnung wird je eine gerade Begrenzungslinie 68, 70 an die die Fußpunkte 62, 64 repräsentierenden Bildpunkte der Regalpfosten 48, 50 des jeweiligen Regals 44, 46 angepasst.
Die Fläche zwischen den geraden Begrenzungslinien 68, 70 repräsentiert die prinzipiell befahrbare Bodenfläche 78 in dem Regalgang 42. Weiter wird beim Ermitteln der Fahrweginformation ein sich in dem Regalgang 42 befindliches bewegtes und/oder stationäres Objekt 76 berücksichtigt.
Während einer Fahrt des Gabelstaplers 10 wird der Regalgang 42 unter Verwendung eines „Structure from Motion“-Algorithmus hinsichtlich eines in dem Regalgang 42 ruhenden bzw. stationären Objekts 76, bspw. einer stehenden Person 76 oder einer abgestellten Palette, überprüft.
Während einer Fahrt des Gabelstaplers 10 wird der Regalgang 42 unter Verwendung eines auf einem optischen Fluss basierten Algorithmus hinsichtlich eines sich in dem Regalgang 42 bewegenden Objekts 76, bspw. einer gehenden Person 76 oder eines fahrenden Fahrzeugs, überprüft.
Während eines Stillstands des Gabelstaplers 10 wird der Regalgang 42 unter Verwendung eines zur Detektion von Bewegungen und/oder Veränderungen und/oder Variationen in Bildbereichen von zeitlich aufeinander folgenden Bildern einer von den Bilddaten umfassten Bildsequenz geeigneten Algorithmus hinsichtlich eines sich in dem Regalgang 42 bewegenden Objekts 76, bspw. einer gehenden Person 76 oder eines fahrenden Fahrzeugs, überprüft.
Während eines Stillstands des Gabelstaplers 10 wird der Regalgang 42 unter Verwendung eines auf einem Convolutional Neural Network basierten Algorithmus, welcher zur Erkennung einer befahrbaren Bodenfläche 78 trainiert wurde, hinsichtlich eines in dem Regalgang 42 ruhenden bzw. stationären Objekts 76, bspw. einer stehenden Person 76 oder einer abgestellten Palette, überprüft.
Hierbei wird auch ein von der Bodenfläche 78 räumlich beabstandetes Objekt in dem Regalgang 42, bspw. eine aus einem der Regale 44, 46 in den Regalgang 42 hineinragende Palette 56, bezüglich des befahrbaren Fahrwegs 80 des Gabelstaplers 10 berücksichtigt.
Ergibt die Überprüfung des Regalgangs 42, dass der Regalgang 42 frei von Objekten 76 bzw. Hindernissen ist, wird der befahrbare Fahrweg 80 als ein mittig zwischen den seitlichen Begrenzungen 68, 70 der befahrbaren Bodenfläche 78 in dem Regalgang 42 verlaufender Fahrweg 80 ermittelt.
Ergibt die Überprüfung des Regalgangs 42, dass sich in dem Regalgang 42 ein Objekt 76 bzw. ein Hindernis befindet, wird der befahrbare Fahrweg 80 unter Berücksichtigung einer räumlichen Position des Objekts 76 als ein an dem Objekt 76 vorbeiführender Fahrweg 80 in dem Regalgang 42 ermittelt.
Darüber hinaus wird beim Ermitteln der Fahrweginformation unter Berücksichtigung einer Höhe und Breite des Gabelstaplers 10 und einer von dem Gabelstapler 10 transportieren Last 66 sowie eines vorgegebenen und/oder vorgebbaren Mindestabstands des Gabelstaplers 10 zu den seitlichen Begrenzungen 68, 70 der befahrbaren Bodenfläche 78 und zu dem ggf. erkannten Objekt 76 geprüft, ob der ermittelte Fahrweg 80 von dem Gabelstapler 10 befahrbar ist.
In Schritt 140 wird der Gabelstapler 10 in Abhängigkeit von der ermittelten Fahrweginformation mittels der Steuereinheit betrieben. Hierzu wird von der Steuereinheit ein Steuersignal an die Anzeigeeinheit des Gabelstaplers 10 ausgegeben, um ansprechend auf das Steuersignal einem Führer des Gabelstaplers 10 die Fahrweginformation mittels der Anzeigeeinheit anzuzeigen. Auf dem Display der Anzeigeeinheit wird wie in 2 gezeigt ein von der Kameraeinheit 12 empfangenes aktuelles Bild mit einem von der Fahrweginformation umfassten Overlay angezeigt, mittels dessen der von dem Gabelstapler 10 befahrbare Fahrweg 80 dargestellt wird.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 3333116 A1 [0004]

Claims

Verfahren (100) zum Betreiben eines Fahrzeugs (10), insbesondere Flurförderzeugs (10), in einem Regalgang (42) in Abhängigkeit von einer Fahrweginformation, mit folgenden Schritten: - Erfassen (110) zumindest eines den Regalgang (42) begrenzenden Regals (44, 46) mittels einer an dem Fahrzeug (10), insbesondere Flurförderzeug (10), angeordneten Kameraeinheit (14, 16, 18, 20), um Bilddaten umfassend das zumindest eine Regal (44, 46) einer Steuereinheit bereitzustellen; - Ermitteln (120) einer Regalinformation bezüglich einer räumlichen Position des zumindest einen Regals (44, 46) relativ zu dem Fahrzeug (10), insbesondere Flurförderzeug (10), unter Verwendung der bereitgestellten Bilddaten mittels der Steuereinheit; - Ermitteln (130) der Fahrweginformation bezüglich eines von dem Fahrzeug (10), insbesondere Flurförderzeug (10), befahrbaren Fahrwegs (80) in dem Regalgang (42) basierend auf der ermittelten Regalinformation mittels der Steuereinheit; und - Betreiben (140) des Fahrzeugs (10), insbesondere Flurförderzeugs (10), in Abhängigkeit von der ermittelten Fahrweginformation mittels der Steuereinheit.
Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die bereitgestellten Bilddaten ein das Regal (44, 46) umfassendes dreidimensionales Bild umfassen, wobei das dreidimensionale Bild basierend auf - einem im Schritt des Erfassens (110) in einer ersten räumlichen Position des Fahrzeugs (10) erfassten ersten Bild umfassend das Regal (44, 46), - einem im Schritt des Erfassens (110) in einer zweiten räumlichen Position des Fahrzeugs (10) erfassten zweiten Bild umfassend das Regal (44, 46), und - einer Bewegungsinformation bezüglich einer Bewegung des Fahrzeugs (10) von der ersten zu der zweiten räumlichen Position, ermittelt wird.
Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass - die bereitgestellten Bilddaten zumindest zwei Regalpfosten (48, 50) des Regals (44, 46) umfassen, - basierend auf den bereitgestellten Bilddaten jeweils ein vorgegebener und/oder vorgebbarer Bereich (62, 64), insbesondere jeweils ein Fußpunkt (62, 64), der Regalpfosten (48, 50) ermittelt wird, und - die Regalinformation eine Information bezüglich einer räumlichen Position des vorgegebenen und/oder vorgebbaren Bereichs (62, 64), insbesondere der Fußpunkte (62, 64), der Regalpfosten (48, 50) relativ zu dem Fahrzeug (10) umfasst.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Ermittelns (130) der Fahrweginformation eine seitliche Begrenzung (68, 70) einer befahrbaren Bodenfläche (78) in dem Regalgang (42) - basierend auf der räumlichen Position des Regals (44, 46) und/oder - unter Verwendung eines Algorithmus zur Erkennung einer befahrbaren Bodenfläche (78) ermittelt wird.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Erfassens (110) ein dem Regal (44, 46) bezüglich des Regalgangs (42) gegenüberstehendes, den Regalgang (42) begrenzendes weiteres Regal (44, 46) mittels der Kameraeinheit (14, 16, 18, 20) erfasst wird und die Regalinformation eine Information bezüglich einer räumlichen Position des weiteren Regals (44, 46) relativ zu dem Fahrzeug (10) umfasst.
Verfahren (100) nach Anspruch 5, dadurch gekennzeichnet, dass im Schritt des Ermittelns (130) der Fahrweginformation der befahrbare Fahrweg (80) als ein mittig zwischen der seitlichen Begrenzung (68, 70) der befahrbaren Bodenfläche (78) durch das Regal (44, 46) und einer seitlichen Begrenzung (68, 70) der befahrbaren Bodenfläche (78) durch das weitere Regal (44, 46) verlaufender Fahrweg (80) ermittelt wird.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Fahrweginformation ferner unter Berücksichtigung - einer Höhe und/oder Breite des Fahrzeugs (10) und/oder einer von dem Fahrzeug (10) transportieren Last (66) und/oder - eines vorgegebenen und/oder vorgebbaren Mindestabstands des Fahrzeugs (10) zu der seitlichen Begrenzung (68, 70) der befahrbaren Bodenfläche (78) ermittelt wird.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Fahrweginformation ferner unter Berücksichtigung eines sich in dem Regalgang (42) befindlichen bewegten und/oder stationären Objekts (76) ermittelt wird.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Betreibens (140) des Fahrzeugs (10) ein Steuersignal an ein oder mehrere Einheiten des Fahrzeugs (10) ausgegeben wird, um ansprechend auf das Steuersignal - die ermittelte Fahrweginformation anzuzeigen, und/oder - eine Bewegung des Fahrzeugs (10) und/oder eine Position und/oder eine Ausrichtung einer Arbeitseinheit des Fahrzeugs (10) an die ermittelte Fahrweginformation anzupassen.
Computerprogramm, das, wenn es auf einem Computer ausgeführt wird, dazu eingerichtet ist, - Bilddaten umfassend zumindest ein einen Regalgang (42) begrenzendes Regal (44, 46) zu empfangen, - eine Regalinformation bezüglich einer räumlichen Position des zumindest einen Regals (44, 46) relativ zu einem Fahrzeug (10), insbesondere Flurförderzeug (10), unter Verwendung der empfangenen Bilddaten zu ermitteln, - eine Fahrweginformation bezüglich eines von dem Fahrzeug (10) befahrbaren Fahrwegs (80) in dem Regalgang (42) basierend auf der ermittelten Regalinformation zu ermitteln, und - das Fahrzeug (10) in Abhängigkeit von der ermittelten Fahrweginformation zu betreiben.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10.
Steuereinheit zum Betreiben eines Fahrzeugs (10), insbesondere Flurförderzeugs (10), in einem Regalgang (42) in Abhängigkeit von einer Fahrweginformation, wobei die Steuereinheit eingerichtet ist, - Bilddaten umfassend zumindest ein den Regalgang (42) begrenzendes Regals (44, 46) zu empfangen, - eine Regalinformation bezüglich einer räumlichen Position des zumindest einen Regals (44, 46) relativ zu dem Fahrzeug (10), insbesondere Flurförderzeug (10), unter Verwendung der empfangenen Bilddaten zu ermitteln, - die Fahrweginformation bezüglich eines von dem Fahrzeug (10), insbesondere Flurförderzeug (10), befahrbaren Fahrwegs (80) in dem Regalgang (42) basierend auf der ermittelten Regalinformation zu ermitteln, und - das Fahrzeug (10), insbesondere Flurförderzeug (10), in Abhängigkeit von der ermittelten Fahrweginformation zu betreiben.
System (12) zum Betreiben eines Fahrzeugs (10), insbesondere Flurförderzeugs (10), in einem Regalgang (42) in Abhängigkeit von einer Fahrweginformation, mit - einer Steuereinheit nach Anspruch 12, und - einer Kameraeinheit (14, 16, 18, 20), die ausgebildet ist, das zumindest eine den Regalgang (42) begrenzende Regal (44, 46) zu erfassen, um die Bilddaten umfassend das Regal (44, 46) der Steuereinheit bereitzustellen.
Fahrzeug (10), insbesondere Flurförderzeug (10), mit einem System (12) nach Anspruch 13.
Verwendung einer an einem Fahrzeug (10) angeordneten Monokameraeinheit (14, 16, 18, 20) zur Abstandssensor-unabhängigen Ermittlung eines von dem Fahrzeug (10) befahrbaren Fahrwegs (80) in einem Regalgang (42).