-
Die Erfindung betrifft ein Verfahren zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen in einem Sichtfeld eines Bedieners einer mobilen Arbeitsmaschine, ein Computerprogramm zur Durchführung des Verfahrens, eine maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist sowie ein System zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen in einem Sichtfeld eines Bedieners einer mobilen Arbeitsmaschine. Die Erfindung kann insbesondere für eine auf Augmented-Reality-Technologie basierende Visualisierung einer arbeitsraumbegrenzenden Assistenzfunktion bei Erdbewegungsarbeiten mit einer mobilen Arbeitsmaschine, wie etwa einem Bagger oder einer Raupe zur Anwendung kommen.
-
Es sind mobile Arbeitsmaschinen mit diversen Assistenzfunktionen zur Arbeitserleichterung und/oder Arbeitsüberwachung bekannt. Mögliche Anwendungen sind beispielsweise Bagger (Standard, Mini, Midi, Mining, Mobil), Radlader, Telehandler und/oder Forstmaschinen mit entsprechender Funktionalität. Die genannten Assistenzfunktionen können beispielsweise über Bedienelemente wie Drehregler oder Touch-Displays eingestellt werden. Die gewählte Einstellung kann beispielsweise auf einem speziellen Panel oder Tablet, bisher jedoch lediglich als 2D-Modell dargestellt werden. Nachteile der bekannten Assistenzfunktionen sind insbesondere eine schwierige Bedienbarkeit der Assistenzfunktionen durch kleine Bedienpanels, nicht-intuitive Bedienelemente und insbesondere fehlende Möglichkeiten zur realitätsnahen und/oder automatisierten Einstellbarkeit.
-
Im Zusammenhang mit Baggern können beispielsweise virtuelle Wände zur Begrenzung des Arbeitsbereichs der Baggerschaufel (welche von der Baggerschaufel oder anderen Teilen des Baggers nicht durchfahren werden dürfen) relativ zu einer zweidimensionalen Miniaturansicht des Baggers manuell gesetzt werden. Insbesondere wenn die Wände verschiedene, nicht parallele Ebenen schneiden sollen, müssen diese in der Regel in verschiedenen zweidimensionalen Miniaturansicht definiert werden. Ein kleines Panel sowie eventuell unzureichende Maßstabstreue können das korrekte Setzen der Wände dabei zusätzlich erschweren. Ein entsprechendes Setzen von virtuellen Wänden in verschiedenen zweidimensionalen Miniaturansichten kann dazu führen, dass die Baggerschaufel im späteren Einsatz zwischen mehreren Wänden gefangen ist (sogenanntes „Trapped-Bucket“-Problem). Häufig ermöglicht in diesem Fall erst ein Aufheben der Assistenzfunktion es die Maschine wieder zu bewegen. Der Grund kann für den Fahrzeugführer schwer ersichtlich sein, da die tatsächliche Position der Wände nicht zur Verfügung steht.
-
Die genannten Nachteile können insbesondere dazu führen, dass Assistenzfunktionen trotz sinnvoller Funktionalität von Fahrzeugführern nicht akzeptiert werden. Geübten Baggerfahrern könnte zum Beispiel das Einstellen mittels kleinem Bedienpanel und schlechter Überprüfbarkeit der Einstellung zu aufwendig und ungenau sein, sodass sie die Funktionalität nicht benutzen. Die beschriebenen, derzeitigen Ansätze zur Darstellung und Bedienbarkeit lassen zudem lediglich Assistenzfunktionen zu, die nicht mehr als zwei Raumrichtungen berücksichtigen. Die derzeitigen Ansätze lassen sich nicht ohne Weiteres auf drei Dimensionen erweitern.
-
Das manuelle Definieren der virtuellen Wänden kann darüber hinaus den Nachteil aufweisen, dass von dem Bediener üblicherweise nur für solche Hindernisse im Umfeld der Arbeitsmaschine virtuelle Wände gesetzt werden, die der Bediener auch rechtzeitig wahrnimmt bzw. sieht. In diesem Zusammenhang konnte beobachtet werden, dass insbesondere Objekte wie Hochleitungen und/oder Decken von Brücken während dem Arbeiten leicht übersehen werden können.
-
Eine Aufgabe der Erfindung liegt demnach in der Verbesserung der Bedienbarkeit und/oder Verlässlichkeit mindestens einer Assistenzfunktion für mobile Arbeitsmaschinen. Weiterhin soll eine vereinfachte Bedienung mindestens einer Assistenzfunktion an mobilen Arbeitsmaschinen basierend auf Augmented-Reality ermöglicht werden. Darüber hinaus soll die Arbeitssicherheit verbessert werden.
-
Diese Aufgabe wird gelöst mit einem Verfahren gemäß Anspruch 1 und einem System nach Anspruch 10. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen angegeben. Die in den Ansprüchen aufgeführten Merkmale sind miteinander kombinierbar und führen zu weiteren Ausführungsvarianten. Die Beschreibung, insbesondere im Zusammenhang mit den Figuren erläutert die Erfindung und geben weitere bevorzugte Ausgestaltungen der Erfindung an.
-
Hierzu trägt ein Verfahren zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen in einem Sichtfeld eines Bedieners einer mobilen Arbeitsmaschine bei, umfassend zumindest folgende Schritte:
- a) Einlesen von Sensordaten von mindestens einem Umfeldsensor der mobilen Arbeitsmaschine,
- b) Analysieren der Sensordaten mittels eines Algorithmus zur Objekterkennung, um mindestens ein Objekt im Umfeld der mobilen Arbeitsmaschine zu erkennen,
- c) Automatisches Erzeugen mindestens einer dreidimensionalen Arbeitsbereichsbegrenzung relativ zu der mobilen Arbeitsmaschine,
- d) Visualisieren der automatisch erzeugten, mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung in dem momentanen Sichtfeld des Bedieners.
-
Das Verfahren kann beispielsweise zum automatisierten Vorgeben von dreidimensionalen Arbeitsbereichsbegrenzungen zum Einsatz kommen. Die angegebene Reihenfolge der Schritte a), b), c) und d) ist grundsätzlich beispielhaft. Die Schritte a), b), c) und d) können zur Durchführung des Verfahrens zumindest einmal in der angegebenen Reihenfolge durchgeführt werden. Darüber hinaus können die Schritte a), b), c) und d), insbesondere die Schritte a) und b) zumindest teilweise parallel oder sogar gleichzeitig durchgeführt werden.
-
Das Verfahren trägt in vorteilhafter Weise zur Verbesserung der Bedienbarkeit und/oder Verlässlichkeit mindestens einer auf Augmented-Reality-Technologie basierender Assistenzfunktion für mobile Arbeitsmaschinen bei. Dies insbesondere dadurch, dass Objekte im Umfeld der Arbeitsmaschine automatisch erkannt und mindestens eine entsprechende Arbeitsbereichsbegrenzung automatisch erzeugt werden. Darüber kann die Arbeitssicherheit verbessert werden, indem durch das sensorische Erfassen von Objekten im Umfeld der Arbeitsmaschine auch Objekte erkannt werden können, die von einem Bediener möglicherweise übersehen werden könnten.
-
Bei der mobilen Arbeitsmaschine kann es sich beispielsweise um eine mobile Arbeitsmaschine für Erdbewegungsarbeiten, wie etwa um einen Bagger oder eine Raupe handeln. Bei den Arbeitsbereichsbegrenzungen kann es sich zum Beispiel um virtuelle Wände handeln. Die Arbeitsbereichsbegrenzungen können einen Arbeitsbereich begrenzen bzw. definieren, indem beispielsweise Erdbewegungsarbeiten durchgeführt werden sollen. Die Arbeitsbereichsbegrenzungen können beispielsweise dazu beitragen, dass Erdbewegungsarbeiten gezielt (nur) in dem Arbeitsbereich durchgeführt werden können. Insbesondere soll die Bewegungsfreiheit einer Arbeitsvorrichtung der Arbeitsmaschine (etwa einer Baggerschaufel eines Baggers) durch die Arbeitsbereichsbegrenzungen begrenzt werden, sodass Erdbewegungsarbeiten gezielt (nur) in dem Arbeitsbereich durchgeführt werden können. Darüber hinaus können auch Hindernisse, deren Relativpositionen zur Arbeitsmaschine bekannt sind oder durch die Objekterkennung erkannt wurden, mögliche Arbeitsbereichsbegrenzungen darstellen. Durch Einblenden der (virtuellen) Arbeitsbereichsbegrenzungen in das „reale Sichtfeld“ des Fahrzeugführers (oder ggf. weiterer Operatoren) kann die Bedienbarkeit und die Sicherheit der Arbeit vorteilhaft verbessert werden.
-
In Schritt a) erfolgt ein Einlesen von Sensordaten von mindestens einem Umfeldsensor der mobilen Arbeitsmaschine. Der mindestens eine Umfeldsensor kann beispielsweise zumindest einen Teil des Umfelds um die Arbeitsmaschine insbesondere kontinuierlich während des Betriebs der Arbeitsmaschine erfassen bzw. überwachen.
-
In Schritt b) erfolgt ein Analysieren der Sensordaten mittels eines Algorithmus zur Objekterkennung, um mindestens ein Objekt im Umfeld der mobilen Arbeitsmaschine zu erkennen. Hierbei genügt grundsätzlich, wenn das Vorhandensein des Objekts im Umfeld der mobilen Arbeitsmaschine, insbesondere durch Erkennung dessen Relativposition zur Arbeitsmaschine und/oder dessen räumlicher Ausbreitung im Umfeld der mobilen Arbeitsmaschine erfasst bzw. erkannt wird. Insbesondere ist es nicht erforderlich, dass der Algorithmus erkennt, um welche Art von Objekt es sich handeln. Es kann jedoch in vorteilhafter Weiterbildung möglich sein, dass der Algorithmus (auch) erkennen kann, um welche Art von Objekt es sich handelt. Insbesondere können hier mithilfe von künstlicher Intelligenz Objekte, die den Arbeitsraum einer Arbeitsmaschine einschränken können, erkannt werden. Anschließend kann ein Vorschlag für geeignete Positionen von Arbeitsbereichsbegrenzungen (wie etwa von virtuellen Wänden) ermittelt werden, wodurch der erkannte Bereich bzw. die Arbeitsmaschine geschützt werden soll.
-
In Schritt c) erfolgt ein automatisches Erzeugen mindestens einer dreidimensionalen Arbeitsbereichsbegrenzung relativ zu der mobilen Arbeitsmaschine. Das automatische Erzeugen der mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung erfolgt insbesondere, um eine Kollision der Arbeitsmaschine, insbesondere einer Arbeitsvorrichtung der Arbeitsmaschine mit dem Objekt möglichst zu vermeiden, insbesondere den Weg hin zu dem Objekt zu begrenzen. Das automatische Erzeugen kann auch von dem Algorithmus zur Objekterkennung und/oder einem mit dem Algorithmus zur Objekterkennung zusammenwirkenden Algorithmus durchgeführt werden. Auch bei diesem Algorithmus kann es sich um einen maschinell lernfähigen bzw. maschinell gelernten Algorithmus handeln. Der Algorithmus kann in vorteilhafter Weiterbildung zum Beispiel unter Verwendung der Sensordaten mindestens eine Relativposition und/oder mindestens eine Relativausrichtung mindestens einer dreidimensionalen (virtuellen) Wand zur Arbeitsmaschine als Arbeitsbereichsbegrenzung ermitteln.
-
Weiterhin kann auch ein Ermitteln von Visualisierungsdaten zur Visualisierung der automatisch erzeugten, mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung in dem momentanen Sichtfeld des Bedieners erfolgen. Das Ermitteln kann beispielsweise mittels eines der mobilen Arbeitsmaschine zuordenbaren bzw. zugeordneten (Visualisierungs-)Steuergeräts bzw. eines (Visualisierungs-)Steuergeräts der Arbeitsmaschine durchgeführt werden. Das (Visualisierungs-)Steuergeräts kann in diesem Zusammenhang beispielsweise unter Verwendung der Augmented-Reality-Technologie das erfasste momentane Sichtfeld und die automatisch erzeugte, mindestens eine Arbeitsbereichsbegrenzung zu einem virtuellen Realitätsabbild mit eingeblendeter Arbeitsbereichsbegrenzung zusammenführen. Das so ermittelte Realitätsabbild und/oder die ermittelten Visualisierungsdaten zur Visualisierung (ausschließlich) der automatisch erzeugten, mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung in dem momentanen Sichtfeld des Bedieners können einem der mobilen Arbeitsmaschine zuordenbaren bzw. zugeordneten Visualisierungsgerät, wie etwa einer Augmented-Reality-Brille (des Bedieners) und/oder einem Head-Up-Display der Arbeitsmaschine übermittelt werden.
-
In Schritt d) erfolgt ein Visualisieren der automatisch erzeugten, mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung in dem momentanen Sichtfeld des Bedieners. Das Visualisieren kann mittels eines der mobilen Arbeitsmaschine zuordenbaren bzw. zugeordneten Visualisierungsgeräts, wie etwa einer Augmented-Reality-Brille (des Bedieners) und/oder eines Head-Up-Displays der Arbeitsmaschine durchgeführt werden. Dabei kann eine Visualisierung eines (wie zuvor beschrieben ermittelten) Realitätsabbilds mit eingeblendeter Arbeitsbereichsbegrenzung oder eine Visualisierung der Arbeitsbereichsbegrenzung mittels (ansonsten möglichst) transparentem Visualisierungsgerät erfolgen.
-
Das Visualisieren erfolgt vorzugsweise (zumindest zunächst) zum Zwecke der (visuellen) Überprüfung der vorgegebenen, mindestens einen Arbeitsbereichsbegrenzung durch den Bediener selbst. Vorteilhafterweise kann der Bediener dabei beispielsweise den (korrekten) Relativabstand und/oder die (korrekte) Relativausrichtung mindestens einer als Arbeitsbereichsbegrenzung dienenden, virtuellen Wand (visuell) überprüfen. Darüber hinaus kann die Visualisierung der (so überprüften und ggf. angepassten) Arbeitsbereichsbegrenzung zur (visuellen) Arbeitsführung, insbesondere zum (ausschließlichen) Arbeiten in einem vorgesehenen (durch die mindestens eine Arbeitsbereichsbegrenzung definierten bzw. begrenzten) Arbeitsbereich verwendet werden.
-
Alternativ oder kumulativ kann auch ein maschinelles bzw. automatisiertes Abfahren einer (in Relation zur Arbeitsmaschine vorgegebenen und visuell überprüften und ggf. angepassten) Arbeitsbereichsbegrenzung, wie etwa einer Planierebene vorgesehen sein. Das maschinelle bzw. automatisierte Abfahren kann beispielsweise von einem Steuergerät der Arbeitsmaschine durchgeführt werden.
-
Nach einer vorteilhaften Ausgestaltung wird vorgeschlagen, dass die mobile Arbeitsmaschine eine Antriebsvorrichtung zum Manövrieren der Arbeitsmaschine und eine Arbeitsvorrichtung für Erdbewegungsarbeiten aufweist. Die Antriebsvorrichtung kann beispielsweise einen Motor und/oder einen Kettenantrieb bzw. ein Kettenfahrwerk umfassen. Die Arbeitsvorrichtung kann beispielsweise ein Arbeitswerkezug für Erdbewegungsarbeiten, wie etwa einen Raupenschild oder eine Baggerschaufel umfassen.
-
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass der mindestens eine Umfeldsensor einen optischen Sensor und/oder einen akustischen Sensor umfasst. Beispielsweise kann der mindestens eine Umfeldsensor eine Kamera, einen RADAR-Sensor, einen LIDAR-Sensor und/oder einen Ultraschallsensor umfassen. Weiterhin kann der mindestens eine Umfeldsensor auch zum Erfassen eines momentanen Sichtfelds des Bedieners der mobilen Arbeitsmaschine beitragen. Die so erfassten Sensordaten bzw. Bilddaten können einem der mobilen Arbeitsmaschine zuordenbaren bzw. zugeordneten (Visualisierungs-)Steuergerät bzw. einem (Visualisierungs-)Steuergerät der Arbeitsmaschine übermittelt werden.
-
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass es sich bei dem Algorithmus um einen maschinell lernfähigen Algorithmus handelt. Der Algorithmus kann beispielsweise maschinell gelernt bzw. trainiert sein. Der Algorithmus kann in diesem Zusammenhang beispielhaft fertig trainiert sein oder während des Betriebs der Arbeitsmaschine weiter trainiert werden. Der Algorithmus kann als eine Eingangsgröße beispielsweise Sensordaten von dem mindestens einen Umfeldsensor einlesen. Der Algorithmus kann als Ausgangsgrößen beispielsweise mindestens eine Position und/oder mindestens eine räumliche Erstreckung (Ausrichtung in mindestens einer oder mehreren Raumrichtungen) einer Arbeitsbereichsbegrenzung ausgeben. Der Algorithmus kann beispielsweise in der Form mindestens eines künstlichen neuronalen Netzes gebildet sein. Hier können zum Beispiel besonders vorteilhaft virtuelle Wände automatisch mittels eines Künstliche Intelligenz Algorithmus (kurz: KI) erzeugt werden. Insbesondere werden die virtuellen Wände mittels Kl automatisch platziert. Das Verfahren kann somit in vorteilhafter Weise zur automatischen Platzierung von virtuellen Wänden für Arbeitsmaschinen mithilfe künstlicher Intelligenz dienen.
-
Weiterhin können beispielsweise zur Bestimmung der Orientierung der Arbeitsmaschine Winkel- und/oder Beschleunigungssensoren (IMUs - inertial measurement unit) verwendet werden. Sensorausgänge dieser Sensoren der Arbeitsmaschine können zum Beispiel auch (zusätzliche) Eingänge des Algorithmus darstellen.
-
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass es sich bei der mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung um eine virtuelle Wand handelt. Virtuelle Wände (Virtual Walls) schützen den Arbeitsraum, in dem eine Arbeitsmaschine tätig ist, in vorteilhafter Weise indem sie ein rechtzeitiges Anhalten vor den vorher definierten Wänden ermöglichen oder die Bewegung in einer Art und Weise umlenken, dass eine Kollision vermieden wird. Eine entsprechende Kollisionsüberwachung kann zum Beispiel in einem Steuergerät der Arbeitsmaschine realisiert sein.
-
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass der Bediener angefragt wird, ob er die automatisch erzeugte, mindestens eine dreidimensionale Arbeitsbereichsbegrenzung setzen möchte. Beispielsweise kann der Bediener die automatisch erzeugte, mindestens eine dreidimensionale Arbeitsbereichsbegrenzung über ein Eingabegerät der mobilen Arbeitsmaschine, beispielsweise über ein Eingabegerät des hier auch beschriebenen Systems bestätigen und/oder deren Position und/oder Erstreckung anpassen oder ggf. die Arbeitsbereichsbegrenzung ablehnen. Bei dem Eingabegerät kann es sich beispielsweise um ein Bedienelement (wie etwa Bedienpanel und/oder Touch-Display) der Arbeitsmaschine und/oder ein mobiles Endgerät (wie etwa ein tragbares Tablet und/oder Smartphone) handeln, das mit der Arbeitsmaschine (über zum Beispiel eine Funkverbindung und/oder Kabelverbindung) verbindbar ist.
-
Nach einer weiteren vorteilhaften Ausgestaltung wird vorgeschlagen, dass in Schritt d) das Visualisieren über ein der mobilen Arbeitsmaschine zugeordnetes Visualisierungsgerät durchgeführt wird. Bei dem Visualisierungsgerät kann es sich beispielsweise um eine Augmented-Reality-Brille (des Bedieners) und/oder ein Head-Up-Display der Arbeitsmaschine handeln.
-
Nach einem weiteren Aspekt wird auch ein Computerprogramm zur Durchführung eines hier beschriebenen Verfahrens vorgeschlagen. Dies betrifft mit anderen Worten insbesondere ein Computerprogramm(-produkt), umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, ein hier beschriebenes Verfahren auszuführen.
-
Nach einem weiteren Aspekt wird auch ein maschinenlesbares Speichermedium vorgeschlagen, auf dem das Computerprogramm gespeichert ist. Regelmäßig handelt es sich bei dem maschinenlesbaren Speichermedium um einen computerlesbaren Datenträger.
-
Nach einem weiteren Aspekt wird ein System zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen in einem Sichtfeld eines Bedieners einer mobilen Arbeitsmaschine vorgeschlagen, umfassend zumindest folgende Komponenten:
- - mindestens einen Umfeldsensor für eine mobile Arbeitsmaschine,
- - ein der mobilen Arbeitsmaschine zuordenbares Steuergerät zum Analysieren der Sensordaten des mindestens einen Umfeldsensors mittels eines Algorithmus zur Objekterkennung, um mindestens ein Objekt im Umfeld der mobilen Arbeitsmaschine zu erkennen, sowie zum automatischen Erzeugen mindestens einer dreidimensionalen Arbeitsbereichsbegrenzung relativ zu der mobilen Arbeitsmaschine,
- - ein der mobilen Arbeitsmaschine zuordenbares Visualisierungsgerät zum Visualisieren der automatisch erzeugten, mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung in dem momentanen Sichtfeld des Bedieners.
-
Beispielsweise kann das System zur Durchführung eines hier beschriebenen Verfahrens vorgesehen und eingerichtet sein.
-
Die hier vorgestellte Lösung sowie deren technisches Umfeld werden nachfolgend anhand der Figuren näher erläutert. Es ist darauf hinzuweisen, dass die Erfindung durch die gezeigten Ausführungsbeispiele nicht beschränkt werden soll. Insbesondere ist es, soweit nicht explizit anders dargestellt, auch möglich, Teilaspekte der in den Figuren erläuterten Sachverhalte zu extrahieren und mit anderen Bestandteilen und/oder Erkenntnissen aus anderen Figuren und/oder der vorliegenden Beschreibung zu kombinieren. Es zeigen schematisch:
- 1: ein beispielhaftes Ablaufdiagramm eines hier beschriebenen Verfahrens,
- 2: eine Veranschaulichung einer beispielhaften Anwendungsmöglichkeit eines hier beschriebenen Verfahrens,
- 3: eine Veranschaulichung einer weiteren beispielhaften Anwendungsmöglichkeit eines hier beschriebenen Verfahrens, und
- 4: einen beispielhaften Aufbau der Struktur eines hier beschriebenen Systems.
-
1 zeigt schematisch ein beispielhaftes Ablaufdiagramm eines hier beschriebenen Verfahrens zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen 1 in einem Sichtfeld 2 eines Bedieners 3 einer mobilen Arbeitsmaschine 4 (vgl. 2 und 3). Die mit den Blöcken 110, 120, 130 und 140 dargestellte Reihenfolge der Schritte a), b), c) und d) ist beispielhaft und kann beispielsweise bei einem regulären Betriebsablauf zumindest einmal in der dargestellten Reihenfolge zur Durchführung des Verfahrens durchlaufen werden.
-
In Block 110 erfolgt gemäß Schritt a) ein Einlesen von Sensordaten von mindestens einem Umfeldsensor 9 der mobilen Arbeitsmaschine 4. In Block 120 erfolgt gemäß Schritt b) ein Analysieren der Sensordaten mittels eines Algorithmus zur Objekterkennung, um mindestens ein Objekt 11 im Umfeld der mobilen Arbeitsmaschine 4 zu erkennen. In Block 130 erfolgt gemäß Schritt c) ein automatisches Erzeugen mindestens einer dreidimensionalen Arbeitsbereichsbegrenzung 1 relativ zu der mobilen Arbeitsmaschine 4. In Block 140 erfolgt gemäß Schritt d) ein Visualisieren der automatisch erzeugten, mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung 1 in dem momentanen Sichtfeld 2 des Bedieners 3.
-
2 zeigt schematisch eine Veranschaulichung einer beispielhaften Anwendungsmöglichkeit eines hier beschriebenen Verfahrens. Die Bezugszeichen werden einheitlich verwendet, sodass auf die vorhergehenden Erläuterungen Bezug genommen werden kann.
-
In 2 ist beispielhaft veranschaulicht, dass die mobile Arbeitsmaschine 4 eine Antriebsvorrichtung 5 zum Manövrieren der Arbeitsmaschine 4 und eine Arbeitsvorrichtung 6 für Erdbewegungsarbeiten aufweist. Bei der mobilen Arbeitsmaschine 4 handelt es sich hier beispielhaft um einen Bagger. Die Antriebsvorrichtung 5 umfasst beispielhaft einen Kettenantrieb bzw. ein Kettenfahrwerk und die Arbeitsvorrichtung 6 eine Baggerschaufel.
-
Der mindestens eine Umfeldsensor 9 kann beispielsweise einen optischen Sensor und/oder einen akustischen Sensor umfassen. Hier handelt es sich bei dem Umfeldsensor 9 beispielhaft um eine Kamera. Der Umfeldsensor 9 kann darüber hinaus auch dazu beitragen, das Sichtfelds 2 des Bedieners 3 zu erfassen. Das so erfasste Sichtfeld 2 kann beim Visualisieren beispielsweise mit der erzeugten Arbeitsbereichsbegrenzung 1 überlagert werden.
-
Bei der mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung 1 kann es sich vorzugsweise um eine virtuelle Wand handeln. Die mobile Arbeitsmaschine 4 verfügt insbesondere über die Assistenzfunktion „Virtual Walls“ (virtuelle Wände als Arbeitsraumbegrenzung). Mögliche Anwendungen sind beispielsweise Bagger (Standard, Mini, Midi, Mining, Mobil), Radlader, Telehandler, Forstmaschinen mit entsprechender Funktionalität. Die virtuelle Wand dient hier der Begrenzung des Arbeitsbereichs in Richtung eines Objekts 11, mit welchem insbesondere die Arbeitsvorrichtung 6 der Arbeitsmaschine 4 nicht kollidieren sollte. Bei dem Objekt 11 handelt es sich hier beispielhaft um eine Hochleitung. Diese wurde von dem Algorithmus zur Objekterkennung erkannt und infolge dessen die Arbeitsbereichsbegrenzung 1 automatisch erzeugt.
-
Weiterhin kann es sich bei dem Algorithmus um einen maschinell lernfähigen Algorithmus handeln. Zum Beispiel kann hier ein Machine-Learning-Algorithmus (künstliche Intelligenz) zur Objekterkennung verwendet werden, um die Platzierung von virtuellen Wänden vorzuschlagen. Dazu können über den mindestens einen Umfeldsensor 9 Daten gesammelt und zum Beispiel über einen Deep-Learning-Algorithmus ausgewertet werden. Werden Objekte 11 im Arbeitsbereich 15 bzw. im Umfeld der Arbeitsmaschine 4 erkannt, kann der Algorithmus anschließend eine geeignete Position für eine oder mehrere virtuelle Wände, die das Objekt 11 vom Arbeitsbereich 15 abgrenzen ermitteln. Der Bediener 3 kann die vorgeschlagenen Positionen der virtuellen Wände angezeigt bekommen und kann entscheiden, ob er diese setzen möchte. Die beschriebene Funktion kann beispielhaft auf Objekte direkt vor der Arbeitsmaschine 4 beschränkt werden (wodurch ggf. weniger Sensoren vorgesehen sein könnten) und/oder auf eine Rundum-Erkennung angewendet werden.
-
Arbeitet, wie beispielhaft in 2 veranschaulicht, ein Bagger z.B. unter einer Hochleitung oder Brücke, könnte nach Erkennung dieser Objekte 11 eine Deckenbegrenzung vorgeschlagen und in einem Display angezeigt werden. Der Bediener 3 kann dann entweder den Vorschlag akzeptieren, zuvor die Position der Wand anpassen und dann akzeptieren oder den Vorschlag ganz ablehnen/ignorieren.
-
Beispielsweise kann der Bediener 3 angefragt werden, ob er die automatisch erzeugte, mindestens eine dreidimensionale Arbeitsbereichsbegrenzung 1 setzen (bestätigen bzw. festlegen) möchte. In diesem Zusammenhang kann beispielsweise die mindestens eine dreidimensionale Arbeitsbereichsbegrenzung 1 relativ zu einer Fahrerkabine 7 der mobilen Arbeitsmaschine 4 gesetzt werden. Eine entsprechende Bestätigung zum Setzen der automatisch erzeugten, dreidimensionalen Arbeitsbereichsbegrenzung 1 kann der Bediener 3 zum Beispiel über ein der mobilen Arbeitsmaschine 4 zuordenbares Eingabegerät 8 vornehmen. In diesem Zusammenhang kann auch vorgesehen sein, dass der Bediener 3 über das Eingabegerät 8 eine Anpassung der automatisch erzeugten, dreidimensionalen Arbeitsbereichsbegrenzung 1 vornehmen kann, beispielsweise durch ein Verändern der Relativposition und/oder mindestens einer Erstreckung dreidimensionalen Arbeitsbereichsbegrenzung 1. Das Eingabegerät 8 kann hier beispielhaft in Form eines Displays gebildet sein, das in der Fahrerkabine 7 angeordnet ist.
-
Weiterhin kann beispielsweise in Schritt d) das Visualisieren über ein der mobilen Arbeitsmaschine 4 zugeordnetes Visualisierungsgerät 10 durchgeführt werden. Bei dem Visualisierungsgerät 10 kann es sich zum Beispiel um eine Augmented-Reality-Brille und/oder ein Head-Up-Display handeln.
-
3 zeigt schematisch eine Veranschaulichung einer weiteren beispielhaften Anwendungsmöglichkeit eines hier beschriebenen Verfahrens. Die Bezugszeichen werden einheitlich verwendet, sodass auf die vorhergehenden Erläuterungen Bezug genommen werden kann. In 3 ist beispielhaft veranschaulicht, dass und wie drei Arbeitsbereichsbegrenzungen 1 dazu beitragen können einen Arbeitsbereich 15 zu begrenzen bzw. zu definieren, in dem die mobilen Arbeitsmaschine 4 arbeiten soll. Insbesondere soll die Bewegungsfreiheit der Arbeitsvorrichtung 6 durch die Arbeitsbereichsbegrenzungen 1 begrenzt werden, sodass Erdbewegungsarbeiten gezielt (nur) in dem Arbeitsbereich 15 durchgeführt werden können.
-
Die 2 und 3 zeigen insbesondere prinzipielle Anwendungsbeispiele von Augmented-Reality-Technology in Verbindung mit einer mobilen Arbeitsmaschine. Wie zuvor beschrieben können dem Bediener 3 bzw. Fahrzeugführer in vorteilhafter Weise virtuelle Wände als beispielhafte Arbeitsbereichsbegrenzungen 1 direkt im realen Sichtfeld 2 angezeigt werden, wobei die Positionen und/oder Ausrichtungen dieser virtuellen Wände insbesondere lediglich mit Bezug auf die Arbeitsmaschine 4 bzw. die Fahrerkabine 7 automatisch erzeugt und ggf. festgelegt werden. Zusätzlich können zum Beispiel durch farbliche Hervorhebung auf Bewegung nahe einer virtuellen Wand hingewiesen und/oder zusätzliche Informationen angezeigt werden.
-
4 zeigt schematisch einen beispielhaften Aufbau der Struktur eines hier beschriebenen Systems 12 zum Visualisieren von dreidimensionalen Arbeitsbereichsbegrenzungen 1 in einem Sichtfeld 2 eines Bedieners 3 einer mobilen Arbeitsmaschine 4 (vgl. 2 und 3). Das System 12 umfasst mindestens einen Umfeldsensor 9, bei dem es sich beispielhaft um eine Kamera handeln kann. Das System hat zudem ein der mobilen Arbeitsmaschine 4 zuordenbares Steuergerät 14 zum Analysieren der Sensordaten des mindestens einen Umfeldsensors 9 mittels eines Algorithmus zur Objekterkennung, um mindestens ein Objekt im Umfeld der mobilen Arbeitsmaschine 4 zu erkennen, sowie zum automatischen Erzeugen mindestens einer dreidimensionalen Arbeitsbereichsbegrenzung 1 relativ zu der mobilen Arbeitsmaschine 4. Zudem hat das System 12 ein der mobilen Arbeitsmaschine 4 zuordenbares Visualisierungsgerät 10 zum Visualisieren der automatisch erzeugten, mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung 1 in dem momentanen Sichtfeld 2 des Bedieners 3.
-
Das System 12 weist hier weiterhin beispielhaft ein der mobilen Arbeitsmaschine 4 zuordenbares Eingabegerät 8 zum Bestätigen mindestens einer dreidimensionalen Arbeitsbereichsbegrenzung 1 auf. Das System hat zudem beispielsweise eine der mobilen Arbeitsmaschine 4 zuordenbare Erfassungsvorrichtung 13 zum Erfassen eines momentanen Sichtfelds 2 des Bedieners 3 der mobilen Arbeitsmaschine 4. Das Steuergerät 14 kann beispielsweise auch zum Ermitteln von Visualisierungsdaten zur Visualisierung der mindestens einen dreidimensionalen Arbeitsbereichsbegrenzung 1 in dem momentanen Sichtfeld 2 des Bedieners 3 eingerichtet sein.
-
Die Erfassungsvorrichtung 13 kann zum Beispiel mit dem mindestens einen Umfeldsensor 9, gebildet sein. Beispielsweise kann das Steuergerät 14 über eine Kommunikationseinrichtung 16, wie etwa eine BUS-Verbindung mit den weiteren Komponenten des Systems 12, wie beispielsweise dem Eingabegerät 8, der Erfassungsvorrichtung 13 und dem Visualisierungsgerät 10 kommunizieren bzw. Daten austauschen. Das Steuergerät 14 kann hier beispielhaft in ein übergeordnetes Steuergerät 14 der mobilen Arbeitsmaschine 4 integriert sein. Somit kann das Steuergerät 14 hier beispielsweise auch mit der Antriebsvorrichtung 5 und der Arbeitsvorrichtung 6 kommunizieren bzw. Daten austauschen.
-
Das System kann in vorteilhafter Weise dazu genutzt werden, ein hier beschriebenes Verfahren durchzuführen. Das Verfahren und/oder das System erlauben insbesondere einen oder mehrere der nachfolgend genannten Vorteile:
- • Verbesserte Visualisierung und Einstellmöglichkeit von Assistenzfunktionen,
- • Erhöhte Sicherheit beim Maschinenbetrieb durch automatisches Erkennen von Gefahren,
- • Verbesserte Effizienz des Maschinenbetriebs durch effizientere Bedienung (reduzierte Leerlaufzeiten),
- • Dreidimensionale, maßstabstreue Darstellung von Funktionen wie „Virtual Walls“ möglich,
- • Mittels Augmented-Reality-Darstellung können auf vorteilhafte Weise zusätzliche Hinweise und/oder Warnungen ausgegeben werden, wie zum Beispiel farbliche Hervorhebung der relevanten virtuellen Wände (zum Beispiel beim oben erläuterten „Trapped-Bucket“-Problem),
- • Erhöhung der Akzeptanz bei Fahrzeugführern durch verbesserte Visualisierung und Bedienbarkeit sowie Nachvollziehbarkeit der Funktionalität (Steigerung der sogenannten User-Experience).
-
Bezugszeichenliste
-
- 1
- Arbeitsbereichsbegrenzung
- 2
- Sichtfeld
- 3
- Bediener
- 4
- Arbeitsmaschine
- 5
- Antriebsvorrichtung
- 6
- Arbeitsvorrichtung
- 7
- Fahrerkabine
- 8
- Eingabegerät
- 9
- Umfeldsensor
- 10
- Visualisierungsgerät
- 11
- Objekt
- 12
- System
- 13
- Erfassungsvorrichtung
- 14
- Steuergerät
- 15
- Arbeitsbereich
- 16
- Kommunikationseinrichtung
