DE102021211707A1

DE102021211707A1 - Verfahren zum Steuern einer eine Lasthandhabungseinheit mit einer Kameraeinheit umfassenden mobilen Arbeitsmaschine

Info

Publication number: DE102021211707A1
Application number: DE102021211707.4A
Authority: DE
Inventors: Carina Engelhart; Ron Xu; Matthias Ulrich; Camille Marbach; Carsten Dolar
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-10-18
Filing date: 2021-10-18
Publication date: 2023-04-20

Abstract

Die Erfindung betrifft ein Verfahren zum Steuern einer eine Lasthandhabungseinheit (20) mit einer Kameraeinheit (12) umfassenden mobilen Arbeitsmaschine (10), wobei- eine Benutzungsinformation bezüglich einer bevorstehenden Benutzung der mobilen Arbeitsmaschine (10) empfangen wird,- die Lasthandhabungseinheit (20) ansprechend auf die empfangene Benutzungsinformation ohne Fortbewegung der mobilen Arbeitsmaschine (10) bewegt wird,- die Kameraeinheit (12) aufgrund des Bewegens der Lasthandhabungseinheit (20) zumindest eine erste räumliche Position und eine zweite räumliche Position einnimmt,- eine Umgebung der mobilen Arbeitsmaschine (10) mittels der Kameraeinheit (12) in der ersten räumlichen Position erfasst wird, um erste Bilddaten bezüglich der Umgebung zu erzeugen,- die Umgebung mittels der Kameraeinheit (12) in der zweiten räumlichen Position erfasst wird, um zweite Bilddaten bezüglich der Umgebung zu erzeugen,- dreidimensionale Bilddaten bezüglich der Umgebung unter Verwendung der ersten und der zweiten Bilddaten ermittelt werden, und- die mobile Arbeitsmaschine (10) basierend auf den dreidimensionalen Bilddaten gesteuert wird.

Description

Die Erfindung betrifft ein Verfahren zum Steuern einer eine Lasthandhabungseinheit mit einer Kameraeinheit umfassenden mobilen Arbeitsmaschine sowie eine Steuereinheit zum Ausführen und/oder Steuern des Verfahrens nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung sind auch ein System mit der Steuereinheit und der Kameraeinheit, sowie eine mobile Arbeitsmaschine. Gegenstand der vorliegenden Erfindung sind ferner ein Computerprogramm und ein maschinenlesbares Speichermedium.
Stand der Technik
Die DE 10 2017 111 885 B4 offenbart ein Verfahren zum Überwachen einer Maschine, bei dem die Bewegung der Maschine bestimmt wird, während die Maschine in einen sicheren Zustand verbracht wird, wobei zur Bestimmung der Bewegung eine Kamera an der Maschine angebracht ist, welche eine Bildsequenz der Umgebung der Maschine während der Bewegung aus der Ego-Perspektive aufnimmt, und aus der Bildsequenz die jeweiligen Eigenpositionen der Kamera bestimmt werden.
Offenbarung der Erfindung
Gegenstand der vorliegenden Erfindung ist ein Verfahren zum Steuern einer eine Lasthandhabungseinheit mit einer Kameraeinheit umfassenden mobilen Arbeitsmaschine gemäß dem Anspruch 1.
Gegenstand der vorliegenden Erfindung ist auch eine Steuereinheit zum Steuern einer eine Lasthandhabungseinheit mit einer Kameraeinheit umfassenden mobilen Arbeitsmaschine gemäß dem Anspruch 8.
Gegenstand der vorliegenden Erfindung sind weiter ein System zum Steuern einer eine Lasthandhabungseinheit mit einer Kameraeinheit umfassenden mobilen Arbeitsmaschine gemäß dem Anspruch 9 und eine mobile Arbeitsmaschine gemäß dem Anspruch 10.
Gegenstand der vorliegenden Erfindung sind ferner ein Computerprogramm gemäß Anspruch 11 und ein maschinenlesbaren Speichermedium mit dem darauf gespeicherten Computerprogramm gemäß Anspruch 12.
Die mobile Arbeitsmaschine kann eine Arbeitsmaschine für landwirtschaftliche, bauwirtschaftliche oder logistische Zwecke sein. Die Arbeitsmaschine kann ein Agrarfahrzeug, ein Forstfahrzeug, ein Baufahrzeug oder ein Logistikfahrzeug sein. Bspw. kann die Arbeitsmaschine ein Flurförderzeug, insbesondere ein Gabelstapler, ein Traktor, ein Radlader, ein Telehandler oder ein Bagger sein.
Unter einer Lasthandhabungseinheit kann im Rahmen der vorliegenden Erfindung eine Einheit der mobilen Arbeitsmaschine verstanden werden, die an der mobilen Arbeitsmaschine angeordnet und ausgebildet ist, eine Last bzw. eine Ladung handzuhaben, insbesondere aufzunehmen und/oder abzugeben und/oder abzusetzen und/oder zu transportieren. Hierzu ist die Lasthandhabungseinheit relativ zu einer Maschinenhaupteinheit der mobilen Arbeitsmaschine, bspw. einem Unterwagen eines Baggers, einem Hinterwagen eines Radladers oder einem Fahrgestell eines Flurförderzeugs, bewegbar angeordnet. Die Lasthandhabungseinheit kann als Anbaugerät oder Arbeitsarm ausgebildet sein oder ein Anbaugerät oder einen Arbeitsarm umfassen. Denkbar ist, dass die Arbeitseinheit bspw. als Hubmast eines Flurförderzeugs, als Arbeitsarm eines Baggers oder als Frontlader eines Traktors ausgebildet ist.
Die Kameraeinheit ist an der Lasthandhabungseinheit angeordnet. Die Kameraeinheit kann Teil eines Kamerasystems der mobilen Arbeitsmaschine, umfassend insbesondere zwei, vier, sechs oder mehr als sechs, Kameraeinheiten, sein. Die Kameraeinheit kann Teil eines Multi-Kamera-Systems bzw. Surround View Systems der mobilen Arbeitsmaschine sein.
Die Kameraeinheit ist ausgerichtet, zumindest einen Teilbereich der Umgebung der mobilen Arbeitsmaschine optisch zu erfassen und Bilddaten bezüglich des erfassten Teilbereichs der Umgebung bereitzustellen. Hierbei kann der mittels der Kameraeinheit erfasste Teilbereich der Fahrzeugumgebung einem Erfassungsbereich der Kameraeinheit entsprechen. Bevorzugt ist die Kameraeinheit eine Frontkamera, die ausgebildet und ausgerichtet ist, einen an eine Front der mobilen Arbeitsmaschine angrenzenden Teilbereich der Umgebung zu erfassen.
Die Kameraeinheit kann eine Monokamera sein. Bevorzugt umfasst die Kameraeinheit eine Kamera mit einem Fischaugenobjektiv, um einen möglichst großen Winkelbereich der Umgebung zu erfassen. Der mittels der Kameraeinheit erfassbare Winkelbereich kann in horizontaler Richtung beispielsweise eine Größe in einem Bereich größer oder gleich 150° und kleiner oder gleich 210°, insbesondere von 190°, aufweisen. In vertikaler Richtung kann der erfassbare Winkelbereich größer oder gleich 90° sein.
Die Benutzungsinformation bezüglich einer bevorstehenden Benutzung der Arbeitsmaschine kann mittels einer Steuereinheit der mobilen Arbeitsmaschine empfangen bzw. eingelesen werden.
Denkbar ist, dass eine bevorstehende Benutzung erkannt wird, wenn eine Antriebseinheit, bspw. eine Motoreinheit, der mobilen Arbeitseinheit aktiviert wird und/oder eine Bremseinheit, insbesondere eine Feststellbremse, der mobilen Arbeitsmaschine gelöst und/oder ein Fahrgang eingelegt wird. Denkbar ist auch, dass eine bevorstehende Benutzung erkannt wird, wenn die mobile Arbeitsmaschine bei aktivierter Antriebseinheit, insbesondere Motoreinheit, für eine Zeitdauer größer oder gleich einem vorgegebenen Schwellenwert keine Eigenbewegung, insbesondere keine Fortbewegung, aufweist.
Denkbar ist weiter, dass eine bevorstehende Benutzung erkannt wird, wenn ein Benutzer der mobilen Arbeitsmaschine eine entsprechende Benutzereingabe über ein Benutzerterminal, bspw. umfassend ein berührungsempfindliches Display oder ein Mikrofon, bereitstellt. Denkbar ist ferner, dass eine bevorstehende Benutzung erkannt wird, wenn ein räumlicher Abstand zwischen einem Schlüssel oder einer Chipkarte zur Bedienung der mobilen Arbeitsmaschine und der mobilen Arbeitsmaschine einen vorgegebenen Schwellenwert unterschreitet.
Vorteilhaft ist es, wenn die Benutzungsinformation bezüglich der bevorstehenden Benutzung der mobilen Arbeitsmaschine basierend auf weiteren Bilddaten einer weiteren Kameraeinheit der mobilen Arbeitsmaschine ermittelt werden, wobei die weiteren Bilddaten eine in die mobile Arbeitsmaschine einsteigende Person repräsentieren. Die weitere Kameraeinheit kann ausgebildet und an der mobilen Arbeitsmaschine angeordnet sein, um einen an einen Zugangsbereich der mobilen Arbeitsmaschine angrenzenden Bereich der Umgebung zu erfassen. Bspw. kann die Kameraeinheit eine Seitenkamera sein. Alternativ kann die weitere Kameraeinheit eine Bedienerkamera sein, die ausgebildet und an der mobilen Arbeitsmaschine angeordnet ist, einen Bediener der mobilen Arbeitsmaschine beim Bedienen der mobilen Arbeitsmaschine zu erfassen. Die Kameraeinheit und die weitere Kameraeinheit können Teil eines Multi-Kamera-Systems zur Umfelderfassung der mobilen Arbeitsmaschine sein. Durch diese Ausgestaltung kann die Benutzungsinformation mit Standard-Hardware eines Multi-Kamera-Systems und ohne Vorsehen einer Mensch-Maschinen-Schnittstelle ermittelt werden.
Ansprechend auf die empfangene Benutzerinformation wird die Lasthandhabungseinheit ohne Fortbewegung der mobilen Arbeitsmaschine bewegt. Das heißt, mit anderen Worten, das Bewegen der Lasthandhabungseinheit zum Erzeugen der ersten und zweiten Bilddaten erfolgt, nach Empfangen der Benutzerinformation und bevor sich die mobile Arbeitsmaschine fortbewegt. Das Bewegen der Lasthandhabungseinheit kann eine translatorische und/oder rotatorische Bewegung der Lasthandhabungseinheit umfassen.
Das Bewegen der Lasthandhabungseinheit umfasst bevorzugt eine Relativbewegung der Lasthandhabungseinheit zu einer von der Lasthandhabungseinheit verschiedenen Maschinenhaupteinheit der mobilen Arbeitsmaschine. Denkbar ist, dass die Maschinenhaupteinheit zumindest eines von Chassis, Aufbau, Bediener- oder Fahrerkabine umfasst. Die Maschinenhaupteinheit kann bspw. einen Oberwagen eines Baggers, einen Vorderwagen eines Radladers oder eine Fahrerkabine eines Flurförderzeugs oder eines Traktors umfassen. Das Bewegen kann ein Anheben, Absenken, Neigen, Kippen, Drehen etc. der Lasthandhabungseinheit umfassen.
Denkbar ist, dass ansprechend auf die empfangene Benutzerinformation mittels der Steuereinheit ein erstes Steuersignal an die mobile Arbeitsmaschine ausgegeben wird, um die Lasthandhabungseinheit zu bewegen. Das erste Steuersignal kann bspw. an eine zum Bewegen der Lasthandhabungseinheit ausgebildete Antriebseinheit der mobilen Arbeitsmaschine ausgegeben werden. Alternativ kann das erste Steuersignal an eine Anzeigeeinheit der mobilen Arbeitsmaschine ausgegeben werden, um eine Information bezüglich einer erforderlichen Bewegung der Lasthandhabungseinheit auszugeben, sodass ein Benutzer bzw. Bediener der mobilen Arbeitsmaschine ansprechend auf die mittels der Anzeigeeinheit ausgegebene Information die Lasthandhabungseinheit bewegt.
Aufgrund des Bewegens der Lasthandhabungseinheit nimmt die Kameraeinheit zumindest die erste räumliche Position und die von der ersten räumlichen Position verschiedene zweite räumliche Position ein. Die zweite räumliche Position kann sich von der ersten räumlichen Position bezüglich einer räumlichen Position eines vorgegebenen Referenzpunkts der Kameraeinheit und/oder bezüglich einer räumlichen Orientierung bzw. Ausrichtung der Kameraeinheit bzw. einer optischen Achse der Kameraeinheit unterscheiden.
Denkbar ist, dass die erste räumliche Position eine Ausgangsposition der Kameraeinheit vor dem Bewegen der Lasthandhabungseinheit und/oder die zweite räumliche Position eine Endposition der Kameraeinheit nach dem Bewegen der Lasthandhabungseinheit repräsentiert. Denkbar ist auch, dass die erste und/oder die zweite räumliche Position eine von der Ausgangsposition und der Endposition verschiedene räumliche Position der Kameraeinheit während der Bewegung der Lasthandhabungseinheit repräsentiert.
Die Umgebung der mobilen Arbeitsmaschine wird mittels derselben Kameraeinheit zunächst in der ersten räumlichen Position der Kameraeinheit und anschließend in der zweiten räumlichen Position der Kameraeinheit erfasst. Das heißt, mit anderen Worten, mittels der Kameraeinheit werden zeitlich nacheinander erste und zweite Bilddaten erzeugt, welche aufgrund der unterschiedlichen räumlichen Positionen der Kameraeinheit zum jeweiligen Zeitpunkt des Erfassens der Umgebung unterschiedliche Perspektiven bzw. Blickwinkel bzw. Sichtwinkel auf die Umgebung repräsentieren.
Hierbei repräsentieren die ersten Bilddaten einen ersten Teilbereich der Umgebung der mobilen Arbeitsmaschine und die zweiten Bilddaten einen zweiten Teilbereich der Umgebung der mobilen Arbeitsmaschine. Die erfassten Teilbereiche der Umgebung überlappen sich zumindest teilweise oder nahezu vollständig. Bspw. kann der in der ersten räumlichen Position erfasste erste Teilbereich mit dem in der zweiten räumlichen Position erfassten zweite Teilbereich zu größer oder gleich 50%, bevorzugt zu größer oder gleich 80% übereinstimmen.
Die erzeugten ersten und zweiten Bilddaten werden bevorzugt der Steuereinheit bereitgestellt, um die dreidimensionalen Bilddaten bezüglich der Umgebung zu ermitteln. Hierbei können die ersten und zweiten Bilddaten von der Kameraeinheit drahtlos oder drahtgebunden an die Steuereinheit übertragen werden. Die Übertragung der Bilddaten von der Kameraeinheit zu der Steuereinheit kann bspw. mittels einer Ethernet- oder Automotive-Ethernet-Verbindung erfolgen. Die Bilddaten können codiert oder uncodiert übertragen werden. Die ersten und zweiten Bilddaten umfassen insbesondere ein zweidimensionales Bild oder eine Sequenz von zweidimensionalen Bildern.
Unter Verwendung der ersten, insbesondere zweidimensionalen, Bilddaten und der zweiten, insbesondere zweidimensionalen, Bilddaten werden dreidimensionale Bilddaten bezüglich der Umgebung, insbesondere eine Tiefenkarte der Umgebung, der mobilen Arbeitsmaschine ermittelt. Bevorzugt werden die dreidimensionalen Bilddaten unter Verwendung eines dem Fachmann bekannten „Structure from Motion“-Algorithmus ermittelt. Hierzu kann eine Flussinformation bezüglich eines optischen Flusses der ersten und der zweiten Bilddaten ermittelt werden. Dazu werden insbesondere mittels eines dem Fachmann bekannten Algorithmus Korrespondenzen zwischen Bildpunkten der ersten Bilddaten und Bildpunkten der zweiten Bilddaten ermittelt.
Die dreidimensionalen Bilddaten sind als Bilddaten ausgebildet, welche eine dreidimensionale Darstellung der Umgebung ermöglichen. Das heißt, mit anderen Worten, die dreidimensionalen Bilddaten können Bilddaten sein, welche eine Hervorrufung einer Raumwirkung bei einem Betrachter der Bilddaten ermöglichen. Denkbar ist, dass basierend auf der ermittelten Tiefenkarte eine zweidimensionale Ausgabe mittels einer Anzeigeeinheit erfolgt, wobei unter Berücksichtigung der ermittelten Tiefenkarte eine Raumwirkung bei einem Betrachter der Ausgabe hervorgerufen wird.
Beim Ermitteln der dreidimensionalen Bilddaten kann bevorzugt eine Bewegungsinformation der Kameraeinheit und/oder der Lasthandhabungseinheit berücksichtigt werden, wobei die Bewegungsinformation eine Bewegung der Kameraeinheit bzw. Lasthandhabungseinheit von der ersten räumlichen Position zu der zweiten räumlichen Position repräsentiert. Die Bewegungsinformation kann eine Information bezüglich eines Werts und/oder eines zeitlichen Verlaufs einer Geschwindigkeit und/oder einer Beschleunigung und/oder einer zurückgelegten Strecke der Kameraeinheit oder Lasthandhabungseinheit bezüglich einer Bewegung von der ersten räumlichen Position zu der zweiten räumlichen Position umfassen.
Das Steuern der mobilen Arbeitsmaschine basierend auf den dreidimensionalen Bilddaten kann ein mittelbares oder unmittelbares Steuern einer Einheit der mobilen Arbeitsmaschine umfassen. Hierzu kann mittels der Steuereinheit der mobilen Arbeitsmaschine ein zweites Steuersignal ausgegeben werden, um die Einheit der mobilen Arbeitsmaschine ansprechend auf das ausgegebene zweite Steuersignal zu steuern.
Die Einheit kann eine akustische und/oder optische und/oder haptische Ausgabeeinheit und/oder eine Antriebseinheit und/oder eine Bremseinheit und/oder eine Lenkeinheit und/oder ein Aktuator der Lasthandhabungseinheit sein. Mittels einer als Anzeigeeinheit ausgebildeten Ausgabeeinheit können die ersten und/oder zweiten und/oder die dreidimensionalen Bilddaten angezeigt werden. Bspw. können ansprechend auf das zweite Steuersignal anhand der dreidimensionalen Bilddaten ermittelte Entfernungsangaben, z.B. zwischen der mobilen Arbeitsmaschine und einem Hindernis, als Overlay über den ersten und/oder zweiten Bilddaten angezeigt werden. Denkbar ist auch, dass mittels Steuern der Arbeitsmaschine die Lasthandhabungseinheit bewegt wird, bspw. durch Anpassen von Mastneigung und/oder Gabelträgerhöhe und/oder Seitenverschub eines Gabelstaplers.
Das mittels der Steuereinheit ausgegebene erste und/oder zweite Steuersignal kann ein drahtlos oder drahtgebundenes, insbesondere elektronisches, Signal sein.
Durch das erfindungsgemäße Verfahren und die erfindungsgemäße Steuereinheit ist es nunmehr möglich, ohne bzw. vor einer Fortbewegung der mobilen Arbeitsmaschine mittels Bilddaten einer einzelnen Monokameraeinheit ein dreidimensionales Bild der Umgebung der Arbeitsmaschine zu erzeugen. Das Bereitstellen von dreidimensionalen Bilddaten der Umgebung bereits vor einer Fortbewegung der Arbeitsmaschine ist sowohl für auf dreidimensionalen Bilddaten basierenden Bedienerassistenzfunktionen als auch entsprechende teil- oder vollautomatisierte Fahr- oder Arbeitsfunktionen der mobilen Arbeitsmaschine vorteilhaft. Insbesondere wird die Sicherheit beim Betrieb der mobilen Arbeitsmaschine erhöht, da Hindernisse bereits vor einem Anfahren erkannt und entsprechend ein Bediener gewarnt und/oder in die Fahrzeugsteuerung eingegriffen werden kann. Ferner erlaubt der vorliegende Ansatz einen Verzicht auf dreidimensional bildgebende Sensorik wie bspw. Stereokamera oder Lidar, wodurch die Komplexität der Hardware reduziert werden kann.
Das erfindungsgemäße Verfahren ermöglicht bspw. die Realisierung einer Assistenzfunktion zum Stapeln von Gitterboxpaletten, zum Einlagern von Gegenständen in Regalen eines Warenlagers, zur Tiefenschätzung von Aushubarbeiten, zur Aufnahme und/oder Ablage von Anbaugeräten, zum Einfädeln von Paletten etc.
Vorteilhaft ist es, wenn das Bewegen der Lasthandhabungseinheit ein Überführen der Lasthandhabungseinheit von einer ersten räumlichen Position in eine zweite räumliche Position und weiter zurück in die erste räumliche Position umfasst. Denkbar ist, dass die Lasthandhabungseinheit von einer Ausgangsposition der Lasthandhabungseinheit über eine von der Ausgangsposition verschiedene Zwischenposition und anschließend zurück in die Ausgangsposition bewegt wird. Bspw. kann das Bewegen einer als Hubmast eines Gabelstaplers ausgebildeten Lasthandhabungseinheit ein Neigen des Hubmasts auf die mobile Arbeitsmaschine zu und anschließend von der mobilen Arbeitsmaschine weg umfassen. Durch diese Ausgestaltung kann die mobile Arbeitsmaschine nach dem Erzeugen der ersten und zweiten Bilddaten in derselben Position der Lasthandhabungseinheit wie vor dem Erzeugen der Bilddaten bereitgestellt werden.
Vorteilhaft ist es auch, wenn im Schritt des Steuerns ein optisches und/oder haptisches und/oder akustisches und/oder elektronisches Freigabesignal für die Fortbewegung der mobilen Arbeitsmaschine und/oder eine Benutzung der Lasthandhabungseinheit, insbesondere mittels einer Ausgabeeinheit der mobilen Arbeitsmaschine, ausgegeben wird. Denkbar ist, dass die Fortbewegung der mobilen Arbeitsmaschine und/oder die Benutzung der Lasthandhabungseinheit erst freigegeben bzw. entsperrt wird, wenn die dreidimensionalen Bilddaten ermittelt wurden. Durch diese Ausgestaltung können dem Bediener der mobilen Arbeitsmaschine vor einer Fortbewegung bzw. einem Anfahren oder Weiterfahren dreidimensionale Bilddaten der Umgebung bereitgestellt werden, wodurch die Sicherheit beim Betrieb der Arbeitsmaschine erhöht wird.
Vorteilhaft ist es weiter, wenn basierend auf den dreidimensionalen Bilddaten eine Relativanordnung zwischen der mobilen Arbeitsmaschine und zumindest einem Lastladebereich in der Umgebung ermittelt wird und die mobile Arbeitsmaschine ferner abhängig von der ermittelten Relativanordnung gesteuert wird. Der Lastladebereich kann bspw. einen Ladungsträger wie eine abgestellte Palette oder eine Gitterboxpalette, ein Regal in einem Warenlager oder ein abgestelltes Anbaugerät umfassen.
Denkbar ist, dass der Lastladebereich basierend auf den dreidimensionalen Bilddaten ermittelt wird. Hierzu kann der Lastladebereich unter Verwendung eines Algorithmus zum Erkennen eines Lastladebereichs, insbesondere zum Erkennen eines Ladungsträgers oder eines Anbaugeräts, bspw. unter Verwendung eines trainierten künstlichen neuronalen Netzes, ermittelt werden. Basierend auf dem in den dreidimensionalen Bilddaten ermittelten Lastladebereich kann die Relativanordnung zwischen dem Lastladebereich und der mobilen Arbeitsmaschine, insbesondere unter Berücksichtigung von Sensordaten einer zusätzlichen abstandserfassenden Sensoreinheit, ermittelt werden.
Denkbar ist weiter, dass basierend auf den dreidimensionalen Bilddaten eine räumliche Höhe des Ladungsträgers bzw. des Anbaugeräts ermittelt wird. Denkbar ist ferner, dass basierend auf den dreidimensionalen Bilddaten eine räumliche Höhe und/oder Breite und/oder Länge einer mittels der Lasthandhabungseinheit beförderten Last bzw. Ladung ermittelt wird.
Unter Verwendung der Relativanordnung, und bevorzugt ferner der räumlichen Höhe des Ladungsträgers oder Anbaugeräts und/oder der räumlichen Höhe und/oder Breite und/oder Länge der beförderten Last, kann eine Trajektorie bzw. ein Fahrschlauch für die mobile Arbeitsmaschine ermittelt werden, um die Last auf dem Ladungsträger abzuladen oder ein abgestelltes Anbaugerät aufzunehmen. Hierbei kann die Trajektorie bzw. der Fahrschlauch unter Berücksichtigung einer bereitgestellten Freifläche derart ermittelt werden, dass die Trajektorie innerhalb der Freifläche verläuft. Beim Ermitteln der Trajektorie kann eine Kinematik der Arbeitsmaschine berücksichtigt werden, d.h. unterschiedliche Arbeitsmaschinen können unterschiedliche Trajektorien bedingen.
Das Steuern der Arbeitsmaschine kann ein Ausgeben einer optischen und/oder akustischen und/oder haptischen Warnung umfassen, wenn die Arbeitsmaschine die ermittelte Trajektorie verlässt oder einen vorgegebenen Abstand zu einem Objekt bzw. Hindernis unterschreitet. Das Steuern der Arbeitsmaschine kann auch ein automatisiertes Betreiben der Arbeitsmaschine entlang der ermittelten Trajektorie sein.
Weiter kann das Steuern der Arbeitsmaschine eine graphische Ausgabe einer oder mehrerer ermittelten Lastladebereiche, bspw. mehrerer Ladungsträger, mittels einer arbeitsmaschinenseitigen Anzeigeeinheit umfassen. Denkbar ist, dass hierbei einem Bediener der Arbeitsmaschine mittels der Anzeigeeinheit und/oder einer akustischen und/oder haptischen Ausgabeeinheit eine Annäherung der Lasthandhabungseinheit an den Lastladebereich, bspw. farblich oder akustisch, verschieden von einem Entfernen der Lasthandhabungseinheit von dem Ladebereich signalisiert wird. Bevorzugt erfolgt die Ausgabe unter Berücksichtigung einer horizontalen und/oder vertikalen Relativanordnung von Lasthandhabungseinheit und Lastladebereich sowie bevorzugt ferner unter Berücksichtigung der Kinematik der Arbeitsmaschine. Bspw. wird beim Abladen einer mittels eines Gabelstaplers transportierten Gitterbox auf einer bereits abgeladenen Gitterbox ermittelt, ob die gewählten Werte von Mastneigung, Gabelträgerhöhe und Seitenverschub ein Abstellen der Gitterbox auf der Gitterbox erlauben oder nicht.
Durch diese Ausgestaltung können Kollisionen beim Be- und Entladen von Ladungsträgern oder beim Ablegen oder Aufnahmen von Anbaugeräten verhindert werden. Insbesondere können Unfälle beim Be- und Entladen von Lastkraftwagen mittels Flurförderzeugen bspw. zwischen Ladung und LKW-Rahmen, verhindert werden.
Vorteilhaft ist es des Weiteren, wenn die Arbeitsmaschine ferner unter Berücksichtigung einer von Objekten freien Fläche bzw. Freifläche in der Umgebung der mobilen Arbeitsmaschine gesteuert wird. Bevorzugt wird die von Objekten freie Fläche basierend auf den dreidimensionalen Bilddaten ermittelt. Alternativ kann die von Objekten freie Fläche bzw. Freifläche basierend auf den ersten oder zweiten, insbesondere zweidimensionalen, Bilddaten, bspw. unter Verwendung eines zum Erkennen von Freiflächen trainierten künstlichen neuronalen Netzes, ermittelt werden.
Das Steuern der Arbeitsmaschine kann ein Steuern einer arbeitsmaschinenseitigen Ausgabeeinheit, insbesondere einer Anzeigeeinheit sein. Bevorzugt umfasst eine optische bzw. graphische Ausgabe der arbeitsmaschinenseitigen Anzeigeeinheit eine auf den ersten und/oder zweiten Bilddaten basierende Ansicht der Umgebung. Ferner kann die Ausgabe ein Overlay repräsentierend die ermittelte Freifläche und/oder ein Overlay repräsentierend Objekte, welche basierend auf den dreidimensionalen Bilddaten ermittelt wurden, umfassen. Das Steuern der Arbeitsmaschine kann auch ein Steuern eine Antriebseinheit und/oder Bremseinheit und/oder Lenkeinheit sein, um die mobile Arbeitsmaschine auf bzw. innerhalb der Freifläche zu betreiben und/oder ein Verlassen der Freifläche zu verhindern. Durch diese Ausgestaltung können mögliche Kollisionsrisiken der mobilen Arbeitsmaschine mit Hindernissen frühzeitig erkannt und frühzeitig eine Reaktion, bspw. eine Warnung oder ein Eingriff in die mobile Arbeitsmaschine eingeleitet werden.
Vorteilhaft ist es darüber hinaus, wenn basierend auf den dreidimensionalen Bilddaten zumindest eine an die von Objekten freie Fläche angrenzende Vertiefung ermittelt und die mobile Arbeitsmaschine ferner abhängig von der ermittelten Vertiefung gesteuert wird. Werden die dreidimensionalen Bilddaten unter Verwendung eines „Structure from Motion“-Algorithmus ermittelt, kann die Vertiefung anhand eines Vorliegens von optischen Flussvektoren unterschiedlicher Länge und Richtung ermittelt werden.
Die Freifläche kann zumindest teilweise von der Vertiefung begrenzt werden. Denkbar ist auch, dass die Freifläche durch die Vertiefung in zumindest zwei durch die Vertiefung räumlich getrennte bzw. beabstandete Teilfreiflächen unterteilt wird. Die Vertiefung kann bspw. eine Stufe oder ein Ende einer Laderampe oder einer Ladefläche eines, insbesondere mittels der mobilen Arbeitsmaschine zu beladenden oder zu entladenden, Fahrzeugs sein.
Das Steuern der Arbeitsmaschine kann ein Steuern einer Ausgabeeinheit und/oder Antriebseinheit und/oder Bremseinheit und/oder Lenkeinheit, der mobilen Arbeitsmaschine umfassen, um vor einem Überfahren der Vertiefung rechtzeitig zu warnen und/oder ein Überfahren der Vertiefung mittels eines automatisierten Eingriffs in die Arbeitsmaschine zu verhindern.
Zur Erhöhung der Genauigkeit und zum Bereitstellen einer Redundanz kann die Vertiefung zusätzlich basierend auf Sensordaten einer weiteren Sensoreinheit, bspw. einer Lasereinheit, einer Ultraschalleinheit, einer Lidareinheit oder einer Radareinheit, ermittelt werden. Die Sensordaten der weiteren Sensoreinheit können mit den dreidimensionalen Bilddaten fusioniert werden. Die weitere Sensoreinheit ist bevorzugt an der mobilen Arbeitsmaschine angeordnet.
Bspw. kann mittels einer Lasereinheit, welche in Richtung einer Bodenebene der mobilen Arbeitsmaschine an der mobilen Arbeitsmaschine angeordnet und ausgerichtet ist, ein räumlicher Abstand zu einem Untergrund der Arbeitsmaschine erfasst werden, um basierend auf einer sprunghaften Änderung des räumlichen Abstands die Vertiefung, bspw. einen Boden-Versatz, zu erkennen. Alternativ oder zusätzlich kann der räumliche Abstand mittels einer Ultraschalleinheit erfasst werden.
Durch diese Ausgestaltung können Arbeitsunfälle beim Rangieren im Bereich von Laderampen verhindert werden, indem Vertiefungen, Stufen etc. rechtzeitig erkannt und der Bediener frühzeitig gewarnt bzw. ein geeigneter Eingriff in die Arbeitsmaschine erfolgt. Dadurch kann insbesondere ein Abstürzen der mobilen Arbeitsmaschine von der Laderampe oder aus einem zu beladenden LKW bedingt durch eine Lücke zwischen der Laderampe und dem LKW verhindert werden.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung, bspw. einer Steuereinheit ausgeführt wird.
Im Folgenden soll die Erfindung anhand der Zeichnungen näher erläutert werden.
Dazu zeigen

1 eine schematische Darstellung eines Gabelstaplers gemäß einer Ausführungsform;
2 eine graphische Ausgabe einer Anzeigeeinheit einer mobilen Arbeitsmaschine;
3A,B,C je eine graphische Ausgabe einer Anzeigeeinheit einer mobilen Arbeitsmaschine; und
4 ein Ablaufdiagramm eines Verfahrens zum Steuern einer mobilen Arbeitsmaschine.

1 zeigt eine Darstellung einer als Gabelstapler 10 ausgebildeten mobilen Arbeitsmaschine 10. Der Gabelstapler 10 umfasst ein Multi-Kamera-System mit vier Kameraeinheiten 12, 14, 16, 18 sowie eine als Hubgerüst 20 ausgebildete Lasthandhabungseinheit 20. An dem Gabelstapler 10 sind ferner eine nicht dargestellte Steuereinheit und eine nicht dargestellte Anzeigeeinheit angeordnet.
Die Steuereinheit ist im Bereich einer Fahrerkabine des Gabelstaplers 10 angeordnet. Die Steuereinheit ist mit jeder der vier Kameraeinheiten 12, 14, 16, 18 mittels je einer drahtgebundenen elektronischen Verbindung verbunden. Die Steuereinheit ist eingerichtet, Bilddaten der Kameraeinheiten 12, 14, 16, 18 mittels der Verbindungen zu empfangen. Weiter ist die Steuereinheit mittels einer weiteren nicht dargestellten drahtgebundenen elektronischen Verbindung mit der Anzeigeeinheit des Gabelstaplers 10 verbunden.
Die Kameraeinheiten 12, 14, 16, 18 sind jeweils als CMOS-Kameras 12, 14, 16, 18 ausgebildet. Die Kameras 12, 14, 16, 18 weisen je ein Fischaugenobjektiv auf.
Die Kamera 12 ist an einem seitlichen Bereich eines Hubgerüsts 20 des Gabelstaplers 10 angeordnet und auf einen vorderen Teilbereich der Fahrzeugumgebung ausgerichtet. Somit ist die Kamera 12 als Frontkamera 12 ausgebildet. Die Kameras 14, 18 sind an gegenüberliegenden seitlichen Dachholmen des Gabelstaplers 10 angeordnet und jeweils auf einen seitlichen Teilbereich der Fahrzeugumgebung ausgerichtet. Somit sind die Kameras 14, 18 als Seitenkameras 14, 18 ausgebildet. Die Kamera 16 ist an einem hinteren Dachholm des Gabelstaplers 10 angeordnet und auf einen hinteren Teilbereich der Fahrzeugumgebung ausgerichtet. Somit ist die Kamera 16 als Rückkamera 16 ausgebildet. Aufgrund ihrer Anordnung und Ausrichtung an dem Gabelstapler 10 ermöglichen die Kameras 12, 14, 16, 18 eine 360°-Erfassung der Umgebung des Gabelstaplers 10.
1 zeigt weiter Erfassungsbereiche 22, 24, 26, 28 der Kameras 12, 14, 16, 18. Die Erfassungsbereiche 22, 24, 26, 28 von benachbart an dem Gabelstapler 10 angeordneten Kameras 12, 14, 16, 18 überlappen hierbei teilweise.
Die Steuereinheit ist eingerichtet, eine Benutzungsinformation bezüglich einer bevorstehenden Benutzung des Gabelstaplers 10 zu empfangen. Bevorzugt ist die Steuereinheit eingerichtet, eine bevorstehende Benutzung des Gabelstaplers 10 anhand eines Aktivierens der Antriebseinheit des Gabelstaplers 10 durch einen Bediener zu ermitteln.
Die Steuereinheit ist auch eingerichtet, ein erstes Steuersignal an den Gabelstapler 10 auszugeben, um das Hubgerüst 20 ansprechend auf die empfangene Benutzungsinformation ohne Fortbewegung des Gabelstaplers 10 zu neigen, wobei die Frontkamera 12 aufgrund des Neigens des Hubgerüsts 20 zumindest eine erste räumliche Position und eine zweite räumliche Position einnimmt. Bevorzugt ist die Steuereinheit eingerichtet, das erste Steuersignal an eine Anzeigeeinheit für einen Bediener des Gabelstaplers 10 auszugeben, um den Bediener mittels einer Ausgabe auf der Anzeigeeinheit zu einer Bewegung, insbesondere einem Neigen, des Hubgerüsts 20, aufzufordern.
Die Steuereinheit ist weiter eingerichtet, erste Bilddaten, welche eine mittels der Frontkamera in der ersten räumlichen Position erfasste Umgebung des Gabelstaplers 10 repräsentieren, zu empfangen. Ebenso ist die Steuereinheit eingerichtet, zweite Bilddaten, welche die mittels der Frontkamera 12 in der zweiten räumlichen Position erfasste Umgebung des Gabelstaplers 10 repräsentieren, zu empfangen.
Die Steuereinheit ist außerdem eingerichtet, dreidimensionale Bilddaten bezüglich der Umgebung unter Verwendung der ersten und der zweiten Bilddaten und eines „Structure from Motion“-Algorithmus zu ermitteln.
Die Steuereinheit ist ferner eingerichtet, ein zweites Steuersignal an den Gabelstapler 10 basierend auf den dreidimensionalen Bilddaten auszugeben, um den Gabelstapler 10 abhängig von den dreidimensionalen Bilddaten zu steuern. Hierbei ist die Steuereinheit bevorzugt eingerichtet, das zweite Steuersignal als Freigabesignal an eine Brems- und/oder Antriebseinheit des Gabelstaplers 10 auszugeben, um eine Fortbewegung des Gabelstaplers 10 zuzulassen.
2 zeigt eine graphische Ausgabe 30 einer Anzeigeeinheit einer mobilen Arbeitsmaschine gemäß 1.
Die graphische Ausgabe 30 umfasst ein auf den Bilddaten der Frontkamera 12 basierendes Bild der Umgebung. Das Bild weist drei in der Umgebung des Gabelstaplers 10 abgestellte Ladungsträger 32a, 32b, 32c in Form von Gitterboxen 32a, 32b, 32c auf. Die Ladungsträger 32a, 32b, 32c werden unter Verwendung eines geeigneten Algorithmus basierend auf den ermittelten dreidimensionalen Bilddaten erkannt, bspw. anhand einer charakteristischen Bildsignatur eines Ladungsträgers 32, 32b, 32c.
Auf die Ladungsträger 32a, 32b, 32c wird ein Bediener des Gabelstaplers 10 mittels je eines graphischen Elements 34a, 34b, 34c in Form eines Pfeils 34a, 34b, 34c hingewiesen. Das heißt, mit anderen Worten, dem Bediener des Gabelstaplers 10 werden auf der Anzeigeeinheit mögliche Zielpositionen zur Ablage einer mittels des Gabelstaplers transportierten Last angezeigt.
3A,B,C zeigen je eine graphische Ausgabe 30a, 30b, 30c einer Anzeigeeinheit einer mobilen Arbeitsmaschine gemäß 1.
Im Vergleich mit 2 umfassen die graphische Ausgabe 30a, 30b, 30c weiterhin ein auf den Bilddaten der Frontkamera 12 basierendes Bild der Umgebung. Jedoch weist das jeweilige Bild aufgrund einer erfolgten räumlichen Annäherung des Gabelstaplers 10 an den Ladungsträger 32a nur noch den Ladungsträger 32a auf.
In 3A wird der Bediener des Gabelstaplers 10 mittels graphischer Elemente in Form einer virtuellen Abbilds 38 der transportierten Last, eines horizontalen Pfeils 36b und eines vertikalen Pfeils 36a darauf hingewiesen, dass mittels der Lasthandhabungseinheit 12 eine Korrektur von vertikaler und horizontaler Relativanordnung zwischen der transportierten Last und dem Ladungsträger 32a erfolgen muss, um die Last auf dem Ladungsträger 32a abzustellen.
In 3B wird der Bediener des Gabelstaplers 10 mittels graphischer Elemente in Form des virtuellen Abbilds 38 der transportierten Last und des vertikalen Pfeils 36a darauf hingewiesen, dass mittels der Lasthandhabungseinheit 12 eine Korrektur von vertikaler Relativanordnung zwischen der transportierten Last und dem Ladungsträger 32a erfolgen muss, um die Last auf dem Ladungsträger 32a abzustellen.
In 3C wird der Bediener des Gabelstaplers 10 mittels eines graphischen Elements in Form des virtuellen Abbilds 38 der transportierten Last darauf hingewiesen, dass die horizontale und vertikale Relativanordnung zwischen der transportierten Last und dem Ladungsträger 32a ein Abstellen der Last auf dem Ladungsträger 32a ermöglicht. Denkbar ist, dass zusätzlich das virtuelle Abbild 38 der transportieren Last in 3A, 3B aufgrund der Abweichung bzgl. horizontaler bzw. vertikaler Relativanordnung in einer anderen Farbe als in 3C angezeigt wird.
Weiter kann dem Bediener zusätzlich ein Abweichen von horizontaler und/oder vertikaler Anordnung mittels eines geeigneten akustischen Signals signalisiert werden.
4 zeigt ein Ablaufdiagramm eines Verfahrens zum Steuern einer mobilen Arbeitsmaschine. Das Verfahren ist in seiner Gesamtheit mit dem Bezugszeichen 100 versehen.
Die mobile Arbeitsmaschine umfasst eine Lasthandhabungseinheit mit einer Kameraeinheit. Die mobile Arbeitsmaschine kann bspw. der Gabelstapler 10 gemäß 1 sein.
In Schritt 110 wird eine Benutzungsinformation bezüglich einer bevorstehenden Benutzung der Arbeitsmaschine empfangen.
In Schritt 120 wird die Lasthandhabungseinheit ansprechend auf die empfangene Benutzungsinformation ohne Fortbewegung der mobilen Arbeitsmaschine bewegt. Hierbei nimmt die Kameraeinheit aufgrund des Bewegens der Lasthandhabungseinheit zumindest eine erste räumliche Position und eine zweite räumliche Position ein.
In Schritt 130 wird eine Umgebung der mobilen Arbeitsmaschine mittels der Kameraeinheit in der ersten räumlichen Position erfasst, um erste Bilddaten bezüglich der Umgebung zu erzeugen.
In Schritt 140 wird die Umgebung der mobilen Arbeitsmaschine mittels der Kameraeinheit in der zweiten räumlichen Position erfasst, um zweite Bilddaten bezüglich der Umgebung zu erzeugen.
In Schritt 150 werden dreidimensionale Bilddaten bezüglich der Umgebung unter Verwendung der ersten und der zweiten Bilddaten ermittelt.
In Schritt 160 wird die Arbeitsmaschine basierend auf den dreidimensionalen Bilddaten gesteuert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102017111885 B4 [0002]

Claims

Verfahren (100) zum Steuern einer eine Lasthandhabungseinheit (20) mit einer Kameraeinheit (12) umfassenden mobilen Arbeitsmaschine (10), wobei - eine Benutzungsinformation bezüglich einer bevorstehenden Benutzung der mobilen Arbeitsmaschine (10) empfangen wird, - die Lasthandhabungseinheit (20) ansprechend auf die empfangene Benutzungsinformation ohne Fortbewegung der mobilen Arbeitsmaschine (10) bewegt wird, - die Kameraeinheit (12) aufgrund des Bewegens der Lasthandhabungseinheit (20) zumindest eine erste räumliche Position und eine zweite räumliche Position einnimmt, - eine Umgebung der mobilen Arbeitsmaschine (10) mittels der Kameraeinheit (12) in der ersten räumlichen Position erfasst wird, um erste Bilddaten bezüglich der Umgebung zu erzeugen, - die Umgebung mittels der Kameraeinheit (12) in der zweiten räumlichen Position erfasst wird, um zweite Bilddaten bezüglich der Umgebung zu erzeugen, - dreidimensionale Bilddaten bezüglich der Umgebung unter Verwendung der ersten und der zweiten Bilddaten ermittelt werden, und - die mobile Arbeitsmaschine (10) basierend auf den dreidimensionalen Bilddaten gesteuert wird.
Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass die Benutzungsinformation bezüglich der bevorstehenden Benutzung der mobilen Arbeitsmaschine (10) basierend auf weiteren Bilddaten einer weiteren Kameraeinheit (14, 18) der mobilen Arbeitsmaschine (10) ermittelt werden, wobei die weiteren Bilddaten eine in die mobile Arbeitsmaschine (10) einsteigende Person repräsentieren.
Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bewegen der Lasthandhabungseinheit (20) ein Überführen der Lasthandhabungseinheit (20) von einer ersten räumlichen Position in eine zweite räumliche Position und weiter zurück in die erste räumliche Position umfasst.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass im Schritt des Steuerns ein Freigabesignal für die Fortbewegung der mobilen Arbeitsmaschine (10) und/oder eine Benutzung der Lasthandhabungseinheit (20) ausgegeben wird.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass basierend auf den dreidimensionalen Bilddaten eine Relativanordnung zwischen der mobilen Arbeitsmaschine (10) und zumindest einem Lastladebereich in der Umgebung ermittelt wird und die mobile Arbeitsmaschine (10) ferner abhängig von der ermittelten Relativanordnung gesteuert wird.
Verfahren (100) nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Arbeitsmaschine ferner unter Berücksichtigung einer von Objekten freien und insbesondere basierend auf den dreidimensionalen Bilddaten ermittelten Fläche in der Umgebung gesteuert wird.
Verfahren (100) nach Anspruch 6, dadurch gekennzeichnet, dass basierend auf den dreidimensionalen Bilddaten zumindest eine an die von Objekten freie Fläche angrenzende Vertiefung ermittelt und die mobile Arbeitsmaschine (10) ferner abhängig von der ermittelten Vertiefung gesteuert wird.
Steuereinheit zum Steuern einer eine Lasthandhabungseinheit (20) mit einer Kameraeinheit (12) umfassenden mobilen Arbeitsmaschine (10), wobei die Steuereinheit eingerichtet ist, - eine Benutzungsinformation bezüglich einer bevorstehenden Benutzung der mobilen Arbeitsmaschine (10) zu empfangen, - ein erstes Steuersignal an die mobile Arbeitsmaschine (10) auszugeben, um die Lasthandhabungseinheit (20) ansprechend auf die empfangene Benutzungsinformation ohne Fortbewegung der mobilen Arbeitsmaschine (10) zu bewegen, wobei die Kameraeinheit (12) aufgrund des Bewegens der Lasthandhabungseinheit (20) zumindest eine erste räumliche Position und eine zweite räumliche Position einnimmt, - erste Bilddaten, welche eine mittels der Kameraeinheit (12) in der ersten räumlichen Position erfasste Umgebung der mobilen Arbeitsmaschine (10) repräsentieren, zu empfangen, - zweite Bilddaten, welche die mittels der Kameraeinheit (12) in der zweiten räumlichen Position erfasste Umgebung der mobilen Arbeitsmaschine (10) repräsentieren, zu empfangen, - dreidimensionale Bilddaten bezüglich der Umgebung unter Verwendung der ersten und der zweiten Bilddaten zu ermitteln, und - ein zweites Steuersignal an die mobile Arbeitsmaschine (10) basierend auf den dreidimensionalen Bilddaten auszugeben, um die mobile Arbeitsmaschine (10) abhängig von den dreidimensionalen Bilddaten zu steuern.
System zum Steuern einer eine Lasthandhabungseinheit (20) mit einer Kameraeinheit (12) umfassenden mobilen Arbeitsmaschine (10), wobei das System die Kameraeinheit (12) und eine Steuereinheit gemäß Anspruch 8 umfasst.
Mobile Arbeitsmaschine (10) umfassend eine Lasthandhabungseinheit (20) mit einer Kameraeinheit (12) und ein System nach Anspruch 9.
Computerprogramm, das, wenn es auf einem Computer oder einer Steuereinheit ausgeführt wird, dazu eingerichtet ist, - eine Benutzungsinformation bezüglich einer bevorstehenden Benutzung einer mobilen Arbeitsmaschine (10) zu empfangen, - ein erstes Steuersignal an die mobile Arbeitsmaschine (10) auszugeben, um eine Lasthandhabungseinheit (20) der mobilen Arbeitsmaschine (10) ansprechend auf die empfangene Benutzungsinformation ohne Fortbewegung der mobilen Arbeitsmaschine (10) zu bewegen, wobei eine an der Lasthandhabungseinheit (20) angeordnet Kameraeinheit (12) aufgrund des Bewegens der Lasthandhabungseinheit (20) zumindest eine erste räumliche Position und eine zweite räumliche Position einnimmt, - erste Bilddaten, welche eine mittels der Kameraeinheit (12) in der ersten räumlichen Position erfasste Umgebung der mobilen Arbeitsmaschine (10) repräsentieren, zu empfangen, - zweite Bilddaten, welche die mittels der Kameraeinheit (12) in der zweiten räumlichen Position erfasste Umgebung der mobilen Arbeitsmaschine (10) repräsentieren, zu empfangen, - dreidimensionale Bilddaten bezüglich der Umgebung unter Verwendung der ersten und der zweiten Bilddaten zu ermitteln, und - ein zweites Steuersignal an die mobile Arbeitsmaschine (10) basierend auf den dreidimensionalen Bilddaten auszugeben, um die mobile Arbeitsmaschine (10) abhängig von den dreidimensionalen Bilddaten zu steuern.
Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 11.