DE102020200122A1

DE102020200122A1 - Assistenzsystem und Verfahren zum Betreiben eines Assistenzsystems

Info

Publication number: DE102020200122A1
Application number: DE102020200122.7A
Authority: DE
Inventors: Gabriela Jager; Markus Birk
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2020-01-08
Filing date: 2020-01-08
Publication date: 2021-04-29

Abstract

Es wird ein Assistenzsystem für eine Arbeitsmaschine (10), welche zur Aufnahme unterschiedlicher Anbaugeräte (14, 18, 20, 22, 24) ausgebildet ist, beschrieben. Das Assistenzsystem weist eine optische Erfassungsvorrichtung (26), welche dazu ausgebildet ist, Umgebungsinformationen einer Umgebung der Arbeitsmaschine (10) zu erfassen. Zudem weist das Assistenzsystem eine Auswertvorrichtung (30) auf, welche dazu ausgebildet ist, die erfassten Umgebungsinformationen zum Bestimmen wenigstens einer Eigenschaft eines Anbaugeräts (14, 18, 20, 22, 24) in der Umgebung der Arbeitsmaschine (10) auszuwerten. Außerdem weist das Assistenzsystem eine Steuervorrichtung (32), welche dazu ausgebildet ist, wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts (14, 18, 20, 22, 24) zu steuern. Weiterhin wird ein Verfahren zum Betreiben eines Assistenzsystems.

Description

Die vorliegende Anmeldung betrifft ein Assistenzsystem für eine Arbeitsmaschine und ein Verfahren zum Betreiben eines Assistenzsystems.
Arbeitsmaschinen, wie Baumaschinen und Landmaschinen, sind wichtige Gerätschaften bei Bautätigkeiten und der Landwirtschaft. Gerade Erd- und Erntearbeiten sind ohne Arbeitsmaschinen kaum kostendeckend und mit vernünftigem Zeitaufwand zu erledigen. Arbeitsmaschinen sind jedoch teuer in Anschaffung und Unterhalt. Aus diesem Grund ist es gewünscht, Arbeitsmaschinen für viele verschiedene Anwendungen nutzen zu können.
Deshalb sind Arbeitsmaschinen üblicherweise zur Aufnahme unterschiedlicher Anbaugeräte ausgebildet. Beispielsweise kann bei einem Radlader an dessen Hubgerüst unterschiedliches Werkzeug für unterschiedliche Tätigkeiten aufgenommen werden, wie beispielsweise eine Schaufel oder ein Greifer.
Die unterschiedlichen Anbaugeräte können jedoch eine unterschiedliche Bedienung zu deren sicherem Betrieb und bestimmungsgemäßen Gebrauch erfordern. Zudem sind nicht zwangsläufig alle verfügbaren Anbaugeräte mit einer bestimmten Arbeitsmaschine kompatibel. Ein Bediener sollte also entsprechend nicht nur für die Bedienung der Arbeitsmaschine selbst, sondern auch für die Bedienung möglicher Anbaugeräte geschult sein, was aufwendig ist. Zudem können viele unterschiedliche Anbaugeräte erheblich die Bedienungskomplexität von Arbeitsmaschinen erhöhen.
Die vorliegende Erfindung bezieht sich auf ein Assistenzsystem für eine Arbeitsmaschine und ein Verfahren zum Betreiben einer Arbeitsmaschine, wobei die Erfindung durch die Gegenstände der unabhängigen Patentansprüche definiert ist. Ausgestaltungen mit zweckmäßigen Weiterbildungen sind in den jeweiligen Unteransprüchen angegeben.
Ein erster Aspekt betrifft ein Assistenzsystem für eine Arbeitsmaschine, wobei die Arbeitsmaschine zur Aufnahme unterschiedlicher Anbaugeräte ausgebildet ist. Das Assistenzsystem kann eine optische Erfassungsvorrichtung aufweisen, welche dazu ausgebildet ist, Umgebungsinformationen einer Umgebung der Arbeitsmaschine zu erfassen. Das Assistenzsystem kann eine Auswertvorrichtung aufweisen, welche dazu ausgebildet ist, die erfassten Umgebungsinformationen zum Bestimmen wenigstens einer Eigenschaft eines Anbaugeräts in der Umgebung der Arbeitsmaschine auszuwerten. Das Assistenzsystem kann eine Steuervorrichtung aufweisen, welche dazu ausgebildet ist, wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts zu steuern. Damit ist es möglich, die Arbeitsmaschine wenigstens teilweise automatisch angepasst an jeweilige Anbaugeräte zu steuern. Der Bediener der Arbeitsmaschine kann so beispielsweise bei Identifizierung, Aufnahme, korrekter Steuerung und Nutzung der Anbaugeräte unterstützt werden. Dies vereinfacht die Bedienung der Arbeitsmaschine erheblich und kann auch einen Schulungsaufwand des Bedieners verringern. Zudem können unsichere und unzulässige Bedienbefehle vermieden werden.
Die Arbeitsmaschine kann beispielsweise eine Baumaschine oder eine Landmaschine sein. Arbeitsmaschinen können stationäre, semimobile oder mobile Maschinen sein, die beispielsweise mit Verbrennungsmotoren oder Elektromotoren angetrieben werden und mit denen Bauaufgaben oder landwirtschaftliche Aufgaben ausgeführt werden können. Beispiele für eine Baumaschine sind ein Bagger, ein Frontlader und ein Radlader. Beispiele für eine Landmaschine sind ein Traktor und ein Mähdrescher. Die Arbeitsmaschine kann auch dazu ausgebildet sein, mehrere Anbaugeräte gleichzeitig aufzunehmen.
Anbaugeräte können Werkzeuge sein, welche zur betrieblichen Kopplung mit einer Arbeitsmaschine ausgebildet sind. Beispiele für Anbaugeräte sind Schaufeln, wie Universalschaufeln, Erdschaufeln, Hochkippschaufeln und Siebschaufeln, Abbruchwerkzeuge, Bohrer, Rammwerkzeuge, Hebewerkzeuge, Greifer, Erntevorsätze, Rundballengreifer, Greifschaufeln, Ballenspieße, Holzzangen, Palettengabeln, Silageschneidzangen, und Big-Bag-Träger. Die Anbaugeräte können bewegliche Teile aufweisen. Die beweglichen Teile und alternativ oder zusätzlich auch das Anbaugerät selbst können durch die Arbeitsmaschine nach Aufnahme daran bewegt werden. Unterschiedliche Anbaugeräte können vom gleichen Typ sein. Ein Typ kann beispielsweise durch die gleichen Funktionen oder den bestimmungsgemäßen Gebrauch des Anbaugeräts definiert sein. Beispielsweise ist eine Schaufel und ein Greifer jeweils ein Typ von Anbaugerät. Zwei unterschiedlich große Schaufeln gehören also beispielsweise zum gleichen Typ.
Die Arbeitsmaschine kann Mittel zur Kopplung mit unterschiedlichen Anbaugeräten aufweisen. Die Anbaugeräte können Mittel zur Kopplung mit einer Arbeitsmaschine aufweisen. Die jeweiligen Kopplungsmittel können standardisiert sein. Die jeweiligen Kopplungsmittel können für eine mechanische und alternativ oder zusätzlich hydraulische und alternativ oder zusätzlich elektrische Kopplung ausgebildet sein. Beispielsweise kann eine Schaufel mechanische Kopplungselemente zum Verbinden mit einem Ausleger eines Baggers aufweisen, wobei eines der Kupplungselemente für eine Verbindung mit einem Aktuator zum Kippen der Schaufel ausgebildet ist. Die Arbeitsmaschine kann dazu ausgebildet sein, jeweilige Anbaugeräte zu deren bestimmungsgemäßen Gebrauch aufzunehmen. Jeweilige unterschiedliche Anbaugeräte können zur Aufnahme an gleichen Teilen einer Arbeitsmaschine ausgebildet sein, aber unterschiedliche Bedienung bei deren bestimmungsgemäßen Gebrauch erfordern. Das Aufnehmen eines Anbaugeräts durch die Arbeitsmaschine kann ein Ausrüsten der Arbeitsmaschine mit dem Anbaugeräte sein.
Die optische Erfassungsvorrichtung kann Mittel zum Erfassen von Umgebungsinformationen, wie einen oder mehrere Sensoren, aufweisen. Beispiele für ein solches Mittel sind eine Kamera und eine Stereokamera. Die optische Erfassungsvorrichtung kann zum wenigstens teilweisen dreidimensionalen Erfassen des Umgebungsbereichs der Arbeitsmaschine ausgebildet sein. Die Umgebung der Arbeitsmaschine kann ein Umgebungsbereich um die Arbeitsmaschine sein, beispielsweise definiert durch einen Maximalabstand oder einen Bereich vor Kopplungsmitteln der Arbeitsmaschine. Die Umgebung der Arbeitsmaschine kann auch einem Erfassungsbereich der Erfassungsvorrichtung entsprechen. Beispielsweise kann die Umgebung dem Sichtfeld jeweiliger Kameras der Arbeitsmaschine entsprechen. Die Erfassungsvorrichtung kann beispielsweise aus den Umgebungsinformationen Sensordaten erzeugen, welche beispielsweise codiert sind und als elektrische Signale von der Erfassungsvorrichtung ausgegeben werden. Die Erfassungsvorrichtung kann beispielsweise als Teil der Baumaschine ausgebildet sein.
Die Auswertvorrichtung kann Mittel zum Auswerten der erfassten Umgebungsinformationen aufweisen, um eine Eigenschaft eines Anbaugeräts in der Umgebung der Arbeitsmaschine zu bestimmen. Beispielsweise kann die Auswertvorrichtung eine elektronische Vorrichtung sein, wie ein Computer, Mikrochip oder ECU. Die Auswertvorrichtung kann dazu ausgebildet sein, jeweilige Eingangssignale, beispielsweise entsprechend den erfassten Umgebungsinformationen, zu verarbeiten und in Reaktion auf die Eingangssignale jeweilige Ausgangssignale zu erzeugen. Diese Ausgangssignale können beispielsweise an die Steuervorrichtung ausgegeben werden. Vorzugsweise ist die Auswertvorrichtung zur Bildverarbeitung ausgebildet. Beispielsweise kann die Auswertvorrichtung einen Bilderkennungsalgorithmus aufweisen, welcher zur Identifizierung von Eigenschaften von Anbaugeräten ausgebildet ist. Die Auswertvorrichtung kann auch eine Datenbankvorrichtung aufweisen oder zur Verbindung mit einer Datenbankvorrichtung ausgebildet sein. In der Datenbankvorrichtung können optische Daten von Anbaugeräten gespeichert sein. Die Auswertung kann durch einen Vergleich der erfassten Umgebungsinformationen mit den optischen Daten erfolgen.
Die Datenbankvorrichtung kann beispielsweise Teil eines zentralen Servers sein, welcher extern zur Arbeitsmaschine ausgebildet ist. Dies ermöglicht ein leichtes Ergänzen und Verändern von gespeicherten optischen Daten. Zudem kann der Datensatz dann auch durch mehrere Assistenzsysteme gemeinsam genutzt werden. Die optischen Daten können von der Datenbankvorrichtung beispielsweise über das Internet und alternativ oder zusätzlich eine Mobilfunkverbindung durch die Auswertvorrichtung abgerufen werden.
Jeweilige Signalübertragungen bei dem Assistenzsystem können kabelgebunden oder mittels einer drahtlosen Verbindung erfolgen, beispielsweise über einen CAN-Bus. Die Auswertvorrichtung kann auch extern zur Arbeitsmaschine ausgebildet sein, beispielsweise ebenfalls zentral auf einem Server. Die Auswertvorrichtung kann so einfach mit verbesserter Hardware und Software nachgerüstet werden und ebenfalls durch mehrere Assistenzsysteme oder Arbeitsmaschinen gemeinsam genutzt werden.
Bei der Eigenschaft des Anbaugeräts, die bestimmt wird, kann es sich um eine Eigenschaft handeln, welche optisch zu erkennen ist. Die Eigenschaft kann eine unmittelbar optisch erkennbare Eigenschaft des Anbaugeräts sein, wie eine Geometrie oder Farbe. Die Eigenschaft kann eine mittelbar optisch erkennbare Eigenschaft des Anbaugeräts sein, wie ein Typ, Gewicht oder eine Art des Anbaugeräts. Die Auswertvorrichtung kann dazu ausgebildet sein, unmittelbare Eigenschaften auszuwerten, um mittelbare Eigenschaften zu bestimmen. Beispielsweise kann die Auswertvorrichtung dazu ausgebildet sein, ein Gewicht eines Anbaugeräts in Abhängigkeit von dessen erfasster Geometrie zu berechnen. Alternativ oder zusätzlich kann es sich bei der Eigenschaft um ein Merkmal des Anbaugeräts handeln, welches bei der Steuerung von Maschinenfunktionen zu berücksichtigen ist. Jedes Anbaugerät kann auch eine Vielzahl von Eigenschaften aufweisen. Die Auswertvorrichtung kann dazu ausgebildet sein, für das Anbaugerät in der Umgebung der Arbeitsmaschine mehrere Eigenschaften zu bestimmen.
Eine Eigenschaft eines Anbaugeräts kann beispielsweise dessen Typ, dessen Geometrie, dessen Breite, dessen Volumen, dessen Funktion, dessen Gewicht oder dessen Eignung zur Aufnahme durch die Arbeitsmaschine sein. Eine Eigenschaft eines Anbaugeräts kann auch eine relative Position zu der Maschine sein, gegebenenfalls mit einer Ausrichtung eines Koppelelements des Anbaugeräts zur Aufnahme an der Arbeitsmaschine. Mittels einer Eigenschaft kann ein Anbaugerät auch klassifiziert werden. Eigenschaften von Anbaugeräten können Merkmale sein, welche deren bestimmungsgemäßen Gebrauch betreffen. Eine Eigenschaft eines Anbaugeräts kann auch deren derzeitige Verwendung sein, beispielsweise ob das Anbaugerät bereits von einer anderen Arbeitsmaschine aufgenommen ist oder frei verfügbar ist. Eine Eigenschaft eines Anbaugeräts kann technische Daten des Anbaugeräts betreffen. Jeweilige Eigenschaften können statisch sein und alternativ oder zusätzlich physische Merkmale betreffen. Die jeweiligen Eigenschaften können identisch und konstant für jeweils gleichartige Anbaugerät sein oder individuell für jedes Anbaugerät. Für das Assistenzsystem können jeweilige Eigenschaften relevant sein, die dazu geeignet sind, in deren Abhängigkeit wenigstens eine Maschinenfunktion zu steuern.
Die Steuervorrichtung kann Mittel zur Steuerung jeweiliger Maschinenfunktionen der Arbeitsmaschine aufweisen. Insbesondere kann die Steuervorrichtung dazu ausgebildet sein, jeweilige Aktuatoren und Motoren zu steuern. Die Steuervorrichtung kann beispielsweise die Nutzung eines aufgenommenen Anbaugeräts steuern. Die Steuervorrichtung kann beispielsweise auch die Aufnahme von Anbaugeräten steuern. Die Steuervorrichtung kann dazu ausgebildet sein, wenigstens ein Signal auszugeben, mittels welchem eine elektrische, hydraulische, pneumatische oder mechanischer Vorrichtung der Arbeitsmaschine gesteuert wird. Ein solches Ausgangssignal kann in Abhängigkeit von Eigenschaften jeweiliger Anbaugeräte, beispielsweise als Signale von der Auswertvorrichtung erhalten, durch die Steuervorrichtung erzeugt werden. Beispielsweise kann die Steuervorrichtung einen Zustand eines Ventils oder eines Schaltkreises steuern. Die Steuervorrichtung kann als ein Teil der Arbeitsmaschine ausgebildet sein.
Die Maschinenfunktion kann einen bestimmungsgemäßen Gebrauch der Arbeitsmaschine betreffen, beispielsweise eine Benutzung des Anbaugeräts oder den Betrieb der Arbeitsmaschine mit aufgenommenen Anbaugerät. Mittels des Steuergeräts können optional auch mehrere unterschiedliche Maschinenfunktionen in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts gesteuert werden. Der bestimmungsgemäße Gebrauch einer Arbeitsmaschine kann beispielsweise ein Fahren, ein Aufnehmen eines Anbaugeräts und eine Benutzung des Anbaugeräts sein. Bei der Maschinenfunktion kann es sich auch um ein autonomes oder teilautonomes Betreiben der Maschine handeln. Die Steuervorrichtung kann dazu ausgebildet sein, die Arbeitsmaschine autonom in Abhängigkeit von der wenigstens einen erfassten Eigenschaft des Anbaugeräts zu steuern. Beispielsweise kann eine autonome Böschungserstellungsfunktion durch einen Bagger implementiert werden, welche an das verwendete Werkzeug angepasst ist.
Die Maschinenfunktion kann ein Steuern einer elektrischen, hydraulischen, pneumatischen oder mechanischen Vorrichtung betreffen. Die Maschinenfunktion kann auch ein Freischalten oder Sperren von Systemen betreffen. Die Maschinenfunktion kann auch eine Ausgabe, wie beispielsweise ein Anschalten einer Signallampe oder Ausgeben eines Warntons, betreffen. Die Maschinenfunktion kann auch eine Steuerung und Konfiguration der Arbeitsmaschine betreffen. Beispielsweise können jeweilige Bedienelemente in einer ersten Konfiguration für ein bestimmtes Anbaugerät andere Steuerbefehle bei deren Bedienung erzeugen als in einer zweiten Konfiguration für ein anderes Anbaugerät. Beispielsweise kann in Abhängigkeit von dem Gewicht des Anbaugeräts eine Arbeitsweise der Arbeitsmaschine als Maschinenfunktion angepasst und optimiert werden. So kann beispielsweise das Vorhalten von ausreichenden Leistungsreserven bei unterschiedlich großen Schaufeln sichergestellt werden. Bei einer großen Schaufel sind beim Betrieb von Baggern beispielsweise höhere Leistungsreserven notwendig als bei einer kleinen Schaufel. Dies kann durch das Assistenzsystem automatisch berücksichtigt werden, sodass keine entsprechende Benutzereinstellung mehr vorgenommen werden muss. Das Steuern der Maschinenfunktion kann eine parametrische Einstellung der Funktion sein, wie eine Geschwindigkeit oder Leistung, oder auch ein Freigeben oder Sperren der Funktion.
Das Assistenzsystem kann beispielsweise eine automatische Optimierung von Arbeitsgängen ermöglichen. Beispielsweise eine Gewichtsschätzung einer Zuladung in Kombination mit dem bestimmten Gewicht des Anbaugeräts ermöglicht eine automatisch optimierte Leistungssteuerung. Beispielsweise kann das übliche Gewicht von Heuballen bekannt sein und das Gewicht eines Ballenspießes von dem Assistenzsystem bestimmt worden sein. Entsprechend kann eine Leistungseinstellung für einen Hubvorgang durch das Assistenzsystem optimiert sein.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass die Auswertvorrichtung dazu ausgebildet ist, die erfassten Umgebungsinformationen zum Unterscheiden wenigstens zweier Anbaugeräte auszuwerten. Die Auswertvorrichtung kann dazu ausgebildet sein, die erfassten Umgebungsinformationen zum Bestimmen wenigstens einer Eigenschaft der Anbaugeräte in der Umgebung der Arbeitsmaschine auszuwerten.
Die Auswertvorrichtung kann dazu ausgebildet sein, die bestimmten Eigenschaften den wenigstens zwei Anbaugeräten zuzuordnen. Die Steuervorrichtung kann dazu ausgebildet sein, die wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft wenigstens eines der beiden Anbaugeräte zu steuern. Das Assistenzsystem ist damit dazu geeignet, auch zwei Anbaugeräte in der Umgebung der Arbeitsmaschine zu berücksichtigen und deren jeweilige Eigenschaften zu bestimmen. Diese Eigenschaften können dabei den Anbaugeräten zugeordnet werden.
Die Zuordnung kann eine Verknüpfung einer jeweiligen bestimmten Eigenschaften mit nur einem einzigen der Anbaugeräte sein. Beispielsweise kann für eines der beiden Anbaugeräte bestimmt werden, dass es nicht für die Aufnahme an der Arbeitsmaschine geeignet ist. Eine versehentliche Benutzung dieses Anbaugerät durch die Arbeitsmaschine kann dann durch das Assistenzsystem verhindert werden.
Dem anderen Anbaugerät kann als Eigenschaft die Eignung zur Aufnahme an der Arbeitsmaschine zugeordnet werden. Dessen Aufnahme und Benutzung wird dann entsprechend zugelassen. Jeweilige Eigenschaften der Anbaugeräte können einem Bediener angezeigt werden, damit dieser eine Auswahl treffen kann. Die Steuervorrichtung kann dazu ausgebildet sein, die wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft beider Anbaugeräte zu steuern. So kann beispielsweise berücksichtigt werden, dass eine andere Steuerung bei zwei gleichzeitig aufgenommenen Anbaugeräten sinnvoll ist. Beispielsweise können zwei Anbaugeräte jeweils bei alleiniger Aufnahme einen kollisionsfreien vollen Bewegungsbereich zur Verfügung haben. Sind beide Anbaugeräte gleichzeitig an der Arbeitsmaschine aufgenommen, können diese jedoch bei Ausnutzung des vollen Bewegungsbereichs miteinander kollidieren. Durch Bestimmung deren jeweilige Geometrie durch das Assistenzsystem kann dieses die Bewegungen der beiden Anbaugeräte als Maschinenfunktion so steuern, dass eine Kollision, auch bei einer Fehlbedienung, automatisch ausgeschlossen wird.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass die Auswertvorrichtung dazu ausgebildet ist, die wenigstens eine bestimmte Eigenschaft zum Berechnen wenigstens eines Betriebsparameters zur Verwendung des Anbaugeräts mit der bestimmten Eigenschaft auszuwerten. Die Steuervorrichtung kann dazu ausgebildet sein, die wenigstens eine Maschinenfunktion in Abhängigkeit von dem wenigstens berechneten Betriebsparameter zu steuern. Der Betriebsparameter kann ein Betriebsparameter der Arbeitsmaschine sein. Der Betriebsparameter kann beispielsweise wenigstens eine Steuergröße von jeweiligen Aktuatoren und Motoren sein. Ein Betriebsparameter ist beispielsweise ein hydraulischer Druck oder eine Motorendrehzahl. Dadurch ist ein angepasster Arbeitsgang möglich und eine effiziente Nutzung der Arbeitsmaschine. Beispielsweise kann ein Motor einer Arbeitsmaschine so gesteuert werden, dass nur die für die Nutzung einer bestimmten Schaufel notwendige Leistung maximal zur Verfügung gestellt wird. Dadurch kann der Energieverbrauch der Arbeitsmaschine besonders gering sein.
Die Auswertvorrichtung kann dazu ausgebildet sein, die erfassten Umgebungsinformationen zum Bestimmen von wenigstens einer Eigenschaft eines zu bearbeiteten Objekts, wie beispielsweise eines Untergrunds, auszuwerten. Beispielsweise kann auch eine Dichte und Festigkeit des Untergrunds bestimmt werden, was dann ebenfalls bei der Steuerung berücksichtigt wird. Beispielsweise kann dies bei dem Berechnen von Betriebsparametern eine Optimierung verbessern. Die Auswertvorrichtung kann dazu ausgebildet sein, die wenigstens eine Eigenschaft des zu bearbeiteten Objekts zur Bestimmung einer Eignung des Anbaugeräts für die Bearbeitung auszuwerten.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass die Auswertvorrichtung dazu ausgebildet ist, die wenigstens eine bestimmte Eigenschaft zum Erkennen einer Beschädigung des Anbaugeräts auszuwerten. Die Steuervorrichtung kann dazu ausgebildet sein, die wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen erkannten Beschädigung zu steuern. Die Beschädigung kann eine Abweichung von einem Sollzustand oder auch eines vorherigen Zustands des Anbaugeräts sein. Die Beschädigung kann beispielsweise eine strukturelle Veränderung gegenüber einem unbeschädigten Zustand sein. Beispielsweise können Risse, Verformungen, Verschleißerscheinungen oder abgebrochene Teile, wie Zähne einer Schaufel, eine Beschädigung darstellen. Beschädigungen können beispielsweise optisch erkennbar sein. Eine Beschädigung kann eine veränderte oder eingeschränkte Benutzung des Anbaugeräts bedingen, welche so automatisch berücksichtigt werden kann. Bei einem zu schwer beschädigten Anbaugerät kann dessen Benutzung auch verhindert werden. Das Erkennen der Beschädigung kann beispielsweise ein Feststellen sein, ob eine Beschädigung vorhanden ist, aber auch welcher Art und wie schwer die Beschädigung ist. Beispielsweise kann eine Delle in einer Schaufel weiterhin deren problemlose Benutzung zulassen, während ein abgebrochenes oder gerissenes Kopplungselement einer weiteren Benutzung entgegensteht.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass die wenigstens eine Maschinenfunktion ein autonomes Betreiben, ein teilautonomes Betreiben, eine Leistungssteuerung oder ein Steuern eines Kopplungszustands mit einem jeweiligen Anbaugerät ist. Diese Funktionen sind besonders sinnvoll in Abhängigkeit von der bestimmten Eigenschaft des Anbaugeräts steuerbar. Beispiele für autonomes oder teilautonomes Betreiben ist eine Adas Funktion, eine Autodig-Funktion und eine automatische Böschungserstellung. Hier hat das Anbaugerät und dessen Eigenschaften einen großen Einfluss auf die Steuerung. Autonomes Betreiben kann eine Steuerung ohne Einflussnahme durch einen Bediener sein. Es wird lediglich beispielsweise ein Start des autonomen Betreibens durch einen Bediener veranlasst. Bei dem teilautonomen Betreiben kann ein Bediener beispielsweise den Betrieb überwachen oder parametrisch regulieren. Das Steuern des Kopplungszustands mit dem Anbaugerät kann ein Aufnehmen eines jeweiligen Anbaugeräts und ein Lösen eines aufgenommenen Anbaugeräts betreffen.
Mit dem Assistenzsystem kann die Arbeitsmaschine jeweilige Anbaugeräte beispielsweise selbsttätig aufnehmen. Mittels der Auswertvorrichtung kann dafür vorher geprüft werden, ob ein Koppeln des Anbaugeräts aufgrund dessen Eigenschaften zulässig ist. Mittels der Auswertvorrichtung kann dafür vorher alternativ oder zusätzlich auch geprüft werden, ob eine Verwendung des Anbaugeräts aufgrund dessen Eigenschaften zulässig ist. Beispielsweise kann das Anbaugerät unzulässige geometrische Abmessungen aufweisen, zu schwer sein, oder eine Aufnahme für Anbaugeräte der Arbeitsmaschine nicht zu einem Kopplungselement des Anbaugeräts passen.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass die Steuerung der wenigstens einen Maschinenfunktion wenigstens eine Leistungseinstellung, ein Sperren, ein Freigeben oder eine Steuerung zum Einhalten von vorgegebenen Benutzungsbedingungen ist. Die Leistungseinstellung kann beispielsweise eine maximal verfügbare Leistung zum Verwenden des Anbaugeräts betreffen. Das Sperren kann eine Deaktivierung einer Funktion sein. Das Freigeben kann deren Aktivierung zulassen und auch das Aktivieren einer Funktion betreffen. Mit den vorgegebenen Benutzungsbedingungen kann ein Einhalten von gesetzlichen Vorschriften automatisch durch das Assistenzsystem bewirkt werden. Mit den vorgegebenen Benutzungsbedingungen kann ein Einhalten von sicherheitsrelevanten Vorschriften automatisch durch das Assistenzsystem bewirkt werden. Dabei können auch weitere Benutzungszustände der Arbeitsmaschine mitberücksichtigt werden. Beispielsweise kann vorgegeben sein, dass ein Fahren mit der Arbeitsmaschine mit heruntergeklapptem Ballenspieß ohne Beladung unzulässig ist. Die Steuervorrichtung kann den Ballenspieß beim Fahren ohne aufgespießten Heuballen entsprechend automatisch hochklappen. Ein weiteres Beispiel ist eine zugelassene Breite des Anbaugeräts für bestimmte Fahrgeschwindigkeiten. Dadurch kann ein Spritzen, ungewolltes Aufspießen von Objekten oder auch eine Instabilität der Baumaschine vermieden werden. Die jeweiligen vorgegebenen Benutzungsbedingungen können Anbaugeräten mit bestimmten Eigenschaften zugeordnet sein. Beispielsweise können diese einem Typ von Anbaugeräten zugeordnet sein. Dies ermöglicht die Implementierung unterschiedlicher Nutzungsregeln je nach aufgenommenen Anbaugerät.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass das Assistenzsystem eine Datenbankvorrichtung aufweist, auf welcher Benutzungsbedingungen für jeweilige unterschiedliche Anbaugeräte gespeichert sind. Die Steuervorrichtung kann dazu ausgebildet sein, die wenigstens eine Maschinenfunktion in Abhängigkeit von einer Benutzungsvorschrift, welche einem an der Maschine aufgenommenen Anbaugeräts zugeordnet ist, zu steuern. Die Datenbankvorrichtung kann als Teil der Arbeitsmaschine oder extern dazu ausgebildet sein. Die Datenbankvorrichtung kann gemeinsam mit der Datenbankvorrichtung ausgebildet sein, in welcher optische Daten zur Auswertung der erfassten Umgebungsinformationen gespeichert sind. Die Benutzungsbedingungen können beispielsweise elektronisch gespeichert sein. Die Benutzungsbedingungen können beispielsweise eine maximale Zuladung und weitere Betriebs- und Sicherheitsvorschriften für bestimmte Anbaugeräte sein. Die Benutzungsbedingungen können eine zugelassene Verwendung und alternativ oder zusätzlich Randbedingung für die Verwendung eines jeweiligen Anbaugeräts betreffen. Die Benutzungsbedingungen können beispielsweise einem Typ von Anbaugeräten und alternativ oder zusätzlich der Arbeitsmaschine zugeordnet sein. Zum Beispiel darf eine Arbeitsmaschine ein bestimmtes Anbaugerät anders nutzen als eine andere Arbeitsmaschine. Dies kann so ebenfalls berücksichtigt werden.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass das Assistenzsystem eine Ausgabevorrichtung aufweist, welche dazu ausgebildet ist, die bestimmte Eigenschaft des Anbaugeräts auszugeben. Bei mehreren Anbaugeräten können auch deren jeweilige Eigenschaften zugeordnet ausgegeben werden. Die Ausgabevorrichtung kann dazu ausgebildet sein, ein durch einen Bediener wahrnehmbares Signal zur Verfügung zu stellen. Die Ausgabe kann beispielsweise optisch und alternativ oder zusätzlich akustisch erfolgen. Die Ausgabevorrichtung kann beispielsweise wenigstens einen Bildschirm, wie einen Touchscreen, eine Lampe oder einen Lautsprecher aufweisen. Beispielsweise kann mit einem Signalton angezeigt werden, ob ein Anbaugerät zur Aufnahme durch die Baumaschine geeignet ist oder nicht. Dem Bediener können auch technische Eigenschaften von einem oder mehreren Anbaugeräten angezeigt werden. Ebenso können Beschädigungen angezeigt werden. Es können auch derzeit von der Steuervorrichtung angewandte Benutzungsbedingungen angezeigt werden.
Die Ausgabevorrichtung kann dazu ausgebildet sein, alle Ergebnisse von Auswertungen durch die Auswertvorrichtung auszugeben. Die Ausgabe kann den Bediener der Arbeitsmaschine bei deren Steuerung unterstützen. Die Ausgabe kann den Bediener auch bei der Überwachung der korrekten Funktionsweise des Assistenzsystems unterstützen. Zudem kann der Bediener so informiert werden, inwiefern die Steuerung von Maschinenfunktionen durch die Steuervorrichtung angepasst wurde. Die Ausgabevorrichtung kann auch dazu ausgebildet sein, die Steuerung jeweiliger Maschinenfunktionen durch die Steuervorrichtung in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts anzuzeigen. Es kann auch eine Warnung ausgegeben werden, wenn eine manuelle Steuerung durch einen Bediener vorgenommen wird, die von einer automatischen Steuerung einer Maschinenfunktion durch die Steuervorrichtung in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts abweicht. Dadurch kann die Wahrscheinlichkeit einer manuellen, übersteuernden Fehlbedienung reduziert werden.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass das Assistenzsystem eine Eingabevorrichtung aufweist, mittels welcher ein Anbaugerät in der Umgebung der Arbeitsmaschine für die Verwendung durch die Arbeitsmaschine auswählbar ist. Die Steuervorrichtung kann dazu ausgebildet sein, die wenigstens eine Maschinenfunktion in Abhängigkeit von dem ausgewählten Anbaugerät zu steuern. Das Assistenzsystem kann ein Mittel zur Erfassung von Bedienereingaben aufweisen, beispielsweise einen Touchscreen, eine Tastatur oder eine Maus. Die Auswahl kann eine Bedieneingabe sein. Damit kann eine Auswahl eines zu nutzenden Anbaugeräts durch einen Benutzer der Arbeitsmaschine ermöglicht werden. Beispielsweise kann das Assistenzsystem alle Anbaugeräte in der Umgebung der Arbeitsmaschine identifizieren, welche von der Arbeitsmaschine aufgenommen werden können. Als Maschinenfunktion wird dann ein Aufnehmen dieser Anbaugeräte freigegeben. Durch die Auswahl kann dann ein autonomes Aufnehmen eingeleitet werden, wobei die Aufnahme dann ebenfalls eine Maschinenfunktion ist, welche von der Steuervorrichtung in Abhängigkeit jeweiliger dem ausgewählten Anbaugerät zugeordneter Eigenschaften gesteuert wird. Für das autonome Aufnehmen kann die Auswertvorrichtung dazu ausgebildet sein, die Umgebungsinformationen zum Berechnen einer Trajektorie zum Manövrieren der Arbeitsmaschine an das Anbaugerät für dessen Aufnahme auszuwerten. Die Steuervorrichtung kann dazu ausgebildet sein, die Arbeitsmaschine entlang dieser Trajektorie als Maschinenfunktion zu steuern. Die Steuervorrichtung kann dazu ausgebildet, eine Position eines Kopplungselements der Arbeitsmaschine für die Aufnahme des Anbaugeräts zu steuern.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass die Auswertvorrichtung als ein KI-basiertes System ausgebildet ist. Das KI-basierte System kann mit einer maschinellen Lernfunktion zur Auswertung der erfassten Umgebungsinformationen trainiert werden. Das KI-basierte System kann beispielsweise einen Computerprogrammcode, welcher von der Auswertvorrichtung ausgeführt werden kann, aufweisen. Ein Teil des Computerprogrammcodes kann eine KI-Software sein. Die KI-basierte Auswertvorrichtung kann Eigenschaften von Anbaugeräten und deren Ausprägung bestimmen, ohne dass alle diese Eigenschaften und alternativ oder zusätzlich alle möglichen Ausprägungen bereits im Vorfeld bekannt waren. Dadurch können wenigstens teilweise auch die Eigenschaften von neuartigen oder dem Assistenzsystem unbekannten Anbaugeräten bestimmt werden. Beispielsweise ist ein KI-basiertes System besonders geeignet zum Erkennen von Beschädigungen von Anbaugeräten und ob ein Anbaugerät für die Aufnahme durch die Arbeitsmaschine geeignet ist.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass das KI-basierte System dazu ausgebildet ist, die erfassten Umgebungsinformationen als Eingangswerte in einer Eingabeschicht zu nutzen. Dabei können die Umgebungsinformationen in der Form von Daten bereitgestellt werden, wobei die Erfassungsvorrichtung oder die Auswertvorrichtung dazu ausgebildet ist, die Umgebungsinformationen in Daten zu wandeln. Die Daten können dabei in Form von elektronischen Signalen ausgebildet sein. Das KI-basierte System kann dazu ausgebildet sein, die Eingangswerte in wenigstens einer Bewertungsschicht zum Bestimmen der Eigenschaften jeweiliger Anbaugeräte zu nutzen, um diese Eigenschaften als Analyseergebnisse bereitzustellen. Die Bewertungsschicht kann mittels Beispielumgebungsdaten für diese Analyse in einem Trainingsverfahren erzeugt worden sein.
Das KI-basierte System kann dazu ausgebildet sein, die Analyseergebnisse in einer Ausgabeschicht als Ausgangswerte zur Verwendung durch die Steuerungsvorrichtung bereitzustellen. Die Eingangsschicht kann ein Layer sein, der für anderen Teile sichtbar ist. Dort werden beispielsweise Roheingabedaten, wie die erfassten Umgebungsinformationen, verarbeitet. Die Bewertungsschicht kann ein versteckter Layer sein. Die Bewertungsschicht ist beispielsweise zur Auswertung trainiert. Die Beispielumgebungsdaten können bereits ausgewerteten Umgebungsinformationen entsprechen. Die Beispielumgebungsdaten können beispielsweise optisch erfasste Umgebungsinformationen, wie eine Videoaufnahme, und optional weitere Daten aufweisen. Beispielsweise kann von einem menschlichen Bewerter jeweilige Anbaugeräten in den Beispielumgebungsdaten markiert sein und manuell eine Eigenschaft bestimmt sein, beispielsweise eine Eignung für die Aufnahme an einer bestimmten Arbeitsmaschine, um Beispielumgebungsdaten zu erzeugen. Es kann sich um positive Samples halten, beispielsweise von Anbaugeräten, bei denen eine Kopplung manuell erfolgreich durchgeführt wurde. Alternativ oder zusätzlich können negative Samples genutzt werden.
Bei negativen Samples können beispielsweise defekte Anbaugeräte gezeigt werden und alternativ oder zusätzlich Anbaugeräte mit unpassenden Kopplungselementen. Um Beschädigungen können Markierungen, wie Bounding Boxes, in den Beispielumgebungsdaten gelegt worden sein. Die Beispielumgebungsdaten können mit weiteren Daten verknüpft sein, wie beispielsweise einer Bezeichnung des Anbaugeräts und dessen technischen Daten. Im Zuge eines maschinellen Lernens können aus den Beispielumgebungsdaten jeweilige Bewertungsalgorithmen für die Bewertungsschicht erzeugt werden. Die KI-Software der Auswertvorrichtung kann als künstliches neuronales Netz ausgebildet sein. Die KI-Software kann mittels eines Deep-Learning Prozesses trainiert worden sein. Die Ausgabeschicht kann beispielsweise ein sichtbarer Layer sein. An der Ausgabeschicht können jeweilige Analyseergebnisse der Steuervorrichtung zur Verfügung gestellt werden. Die Analyseergebnisse können jeweilige bestimmte Eigenschaften von Anbaugeräten in elektronisch codierter Form sein. Diese Daten und ob ein Sample positiv oder negativ ist können zum Beispiel manuell durch einen Betreiber, der die KI-Software trainiert, manuell hinzugefügt werden.
Ein weiterer Aspekt betrifft eine Arbeitsmaschine mit einem Assistenzsystem gemäß dem ersten Aspekt. Noch ein weiterer Aspekt betrifft ein System mit einer Arbeitsmaschine mit einem Assistenzsystem gemäß dem ersten Aspekt und mit wenigstens zwei unterschiedlichen Anbaugeräten. Jeweilige Vorteile und Merkmale sind dabei der Beschreibung des ersten Aspekts zu entnehmen.
Ein zweiter Aspekt betrifft ein Verfahren zum Betreiben eines Assistenzsystem für eine Arbeitsmaschine, welche dazu ausgebildet sind, mit unterschiedlichen Anbaugeräten ausgerüstet zu werden. Das Verfahren kann zum Betreiben des Assistenzsystems gemäß dem ersten Aspekt ausgebildet sein.
Das Verfahren kann einen Schritt eines optischen Erfassens von Umgebungsinformationen einer Umgebung der Arbeitsmaschine aufweisen. Das Verfahren kann einen Schritt eines Bestimmens wenigstens einer Eigenschaft eines Anbaugeräts in der Umgebung der Arbeitsmaschine in Abhängigkeit von den erfassten Umgebungsinformationen aufweisen. Das Verfahren kann einen Schritt eines Steuerns wenigstens einer Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts aufweisen. Das Erfassen kann mittels einer Erfassungsvorrichtung erfolgen. Die Erfassungsvorrichtung kann beispielsweise an der Arbeitsmaschine angeordnet sein. Das Bestimmen kann mittels einer Auswertung durch eine Auswertvorrichtung erfolgen. Das Steuern kann mittels einer Steuervorrichtung erfolgen. Die Steuervorrichtung kann beispielsweise Teil der Arbeitsmaschine sein. Das Verfahren erleichtert die Bedienung einer Arbeitsmaschine und kann die Sicherheit bei der Nutzung von Anbaugeräten durch die Arbeitsmaschine erhöhen. Eine autonome Steuerung von Maschinenfunktionen kann so vereinfacht werden und zuverlässiger arbeiten. Das Verfahren kann auch zum Betreiben einer Arbeitsmaschine mit dem Assistenzsystem ausgebildet sein.
In einer weiterbildenden Ausführungsform des Assistenzsystems kann es vorgesehen sein, dass ein Schritt eines Trainierens wenigstens einer als KI-basierten System ausgebildeten Auswertvorrichtung vorgesehen ist. Die Auswertvorrichtung kann Teil des Assistenzsystems sein. Das Trainieren kann beispielsweise ein Training einer Bewertungsschicht einer künstlichen Intelligenz sein, beispielsweise mittels Beispielumgebungsdaten. Bei dem Training kann es sich um einen Deep-Learning Prozess handeln. Das Trainieren ermöglicht eine zuverlässige Auswertung von komplexen Umgebungsinformationen und komplexen Eigenschaften von Anbaugeräten auch bei unbekannten Umgebungssituation und gegebenenfalls unbekannten Anbaugeräten.
Ein weiterer Aspekt betrifft ein Verfahren zum Trainieren wenigstens einer als KI-basierten System ausgebildeten Auswertvorrichtung mittels Beispielumgebungsdaten zum Erzeugen eines Computerprogrammprodukts.
Weitere Merkmale ergeben sich in den Ansprüchen, den Ausführungsbeispielen sowie anhand der Zeichnungen. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in den Ausführungsbeispielen genannten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar. Die sich aus den jeweiligen Aspekten ergebenden Merkmale und Vorteile stellen auch jeweilige Merkmale und Vorteile anderer Aspekte dar.

1 veranschaulicht in einer schematischen Ansicht einen Kompaktlader mit einem Assistenzsystem.
2 veranschaulicht in schematischen Perspektivansichten unterschiedliche Anbaugeräte zur Aufnahme durch den Kompaktlader gemäß 1.
3 veranschaulicht schematisch ein Verfahren zum Betreiben des Assistenzsystems des Kompaktladers gemäß 1

1 zeigt in einer schematischen Schnittansicht einen Kompaktlader 10 als Beispiel für eine Arbeitsmaschine. Der Kompaktlader 10 weist an seiner Vorderseite eine Kopplungsvorrichtung 12 auf, mit welcher der Kompaktlader 10 unterschiedliche Anbaugeräte aufnehmen kann. Dazu weist die Kopplungsvorrichtung 10 vier Koppelelemente auf, an welchen jeweilige Anbaugeräte befestigt werden können. Vorliegend hat der Kompaktlader 10 als Anbaugerät eine Schaufel 14 aufgenommen. Die Schaufel 14 weist dabei korrespondierende Koppelelemente auf, welche das Aufnehmen der Schaufel 14 durch die Kupplungsvorrichtung 12 gestatten. Aufgenommene Anbaugeräten ermöglichen deren bestimmungsgemäßen Gebrauch. Die Schaufel 14 kann von dem Kompaktlader 10 beispielsweise zum Aufnehmen und Abladen von Schüttgut genutzt werden. Die Schaufel 14 kann von dem Kompaktlader 10 gehoben, gesenkt und geneigt werden. Zu diesem Zweck weist der Kompaktlader 10 wenigstens einen Hydraulikaktuator auf.
Vorliegend ist der bestimmungsgemäße Gebrauch der Schaufel 14 eine Maschinenfunktion des Kompaktladers 10. Jeweilige Bewegungen der Schaufel 14 stellen jeweils Teilfunktionen dieser Maschinenfunktion dar, können aber auch als eigenständige Maschinenfunktion angesehen werden. Weiterhin ist der Kompaktlader 10 dazu ausgebildet, gefahren zu werden. Zu diesem Zweck weist der Kompaktlader 10 einen Antrieb mit vier Rädern 16 auf. Die Fahrfunktion ist ebenfalls eine Maschinenfunktion des Kompaktladers 10.
2 veranschaulicht in schematischen Perspektivansichten unterschiedliche Anbaugeräte zur Aufnahme durch den Kompaktlader 10. Lediglich als Beispiele sind eine Siebschaufel 18, eine 4-in-1 Schaufel 20, eine Hochkippschaufel 22 und ein Ballenspieß 24 gezeigt. Für die Aufnahme durch den Kompaktlader 10 ist bei Anbaugeräten notwendig, dass diese mittels der Kopplungsvorrichtung 12 an den Kompaktlader 10 koppelbar sind. Zudem soll bei erfolgter Kopplung deren bestimmungsgemäßer Gebrauch möglich sein.
Weiterhin weist der Kompaktlader 10 ein Assistenzsystem auf. Das Assistenzsystem weist eine optische Erfassungsvorrichtung auf, welche bei dem gezeigten Ausführungsbeispiel eine Stereokamera 26 an einer oberen Vorderseite einer Kabine 28 ist. In einer anderen Ausführungsform weist die Erfassungsvorrichtung alternativ oder zusätzlich wenigstens eine Kamera auf, welche nur zweidimensionale Bilder erfasst. Die Erfassungsvorrichtung ist dazu ausgebildet, Umgebungsinformationen einer Umgebung des Kompaktladers 10 zu erfassen. Vorliegend wird ein Bereich vor dem Kompaktlader 10 in einem Sichtbereich der Stereokamera 26 wenigstens teilweise dreidimensional erfasst, wobei der Sichtbereich auch die Kopplungsvorrichtung 12 umfasst.
Das Assistenzsystem weist zudem eine Auswertvorrichtung 30 auf, welche dazu ausgebildet ist, die erfassten Umgebungsinformationen zum Bestimmen wenigstens einer Eigenschaft eines Anbaugeräts in der Umgebung des Kompaktladers 10 auszuwerten. Vorliegend wird als Eigenschaften wenigstens bestimmt, ob das jeweilige Anbaugerät zur Kopplung mit der Kopplungsvorrichtung 12 und zum bestimmungsgemäßen Gebrauch durch den Kompaktlader 10 geeignet ist. Die Auswertvorrichtung 30 weist dafür einen Mikrokontroller und Algorithmen zur Bildverarbeitung auf.
Das Assistenzsystem weist zudem eine Steuervorrichtung 32 auf, welche dazu ausgebildet ist, wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts zu steuern. Beispielsweise kann durch das Assistenzsystem erkannt worden sein, dass die Schaufel 14 bereits mittels der Kopplungsvorrichtung 12 mit dem Kompaktlader 10 verbunden ist und ein bestimmungsgemäßer Gebrauch möglich ist. Durch die Steuervorrichtung 32 kann dann dieser bestimmungsgemäße Gebrauch freigegeben werden. Zudem kann die Auswertvorrichtung 30 bestimmen, dass in der Umgebung des Kompaktladers 10 die Siebschaufel 18, die 4-in-1 Schaufel 20, die Hochkippschaufel 22 und der Ballenspieß 24 vorhanden sind und noch nicht von anderen Arbeitsmaschinen aufgenommen wurden. Die Steuervorrichtung 32 kann dann als Maschinenfunktion deren Aufnahme, bei geeigneter Ausstattung des Kompaktladers 10 auch deren autonome Aufnahme, freigeben. Sollte eine Auswertung ergeben, dass eines dieser Anbaugeräte für den bestimmungsgemäßen Gebrauch durch den Kompaktlader 10 ungeeignet ist, beispielsweise aufgrund inkompatibler Kopplungselemente, kann dessen Aufnahme durch die Steuervorrichtung 32 in Abhängigkeit von diesem Auswertergebnis auch gesperrt werden. Dadurch wird ein sicherer Betrieb des Kompaktladers 10 wesentlich erleichtert.
Die Auswertvorrichtung 30 kann auch eine Art des Anbaugeräts als eine Eigenschaft von Anbaugeräten bestimmen und die Steuervorrichtung 32 jeweilige Aktuatoren in Abhängigkeit von der Art des Anbaugeräts unterschiedlich steuern. Beispielsweise erfordert ein bestimmungsgemäßer Gebrauch der Hochkippschaufel 22 andere Bewegungen und damit eine andere Steuerung jeweiliger Aktuatoren als der Ballenspieß 24. Dies kann durch das Assistenzsystem automatisch berücksichtigt werden, womit Fehlbedienungen zuverlässig vermieden werden können.
Das Assistenzsystem prüft In einer weiterbildenden Ausführungsform beispielsweise auch, ob eine Benutzung eines Anbaugeräts durch eine Arbeitsmaschine zulässig ist. Beispielsweise kann eine Schaufel zu groß sein, diese für eine Kopplung unpassend sein oder deren Benutzung potenziell zu einem Überladen führen. Dies kann jeweils durch jeweilige Eigenschaften der Anbaugeräte, welche mittels der Auswertvorrichtung 30 bestimmt werden, berücksichtigt werden. Auch bei Wiegeeinrichtungen sollte ein Gewicht eines aufgenommenen Anbaugeräts bekannt sein. In einer weiterbildenden Ausführungsform wird von der Steuervorrichtung 32 auch eine zusätzliche Funktion in Abhängigkeit von wenigstens einer bestimmten Eigenschaft freigeschaltet werden. Für die Steuerung von autonomen Funktionen, wie einer Autodig-Funktion oder einer automatischen Böschungserstellung, muss unter anderem eine Außenkontur und ein Volumen einer Schaufel bekannt sein. Diese kann die Auswertvorrichtung 30 In einer weiterbildenden Ausführungsform als Eigenschaften durch Auswertung der erfassten Umgebungsinformationen bestimmen. Die entsprechenden autonomen Funktionen werden von der Steuervorrichtung 32 dann angepasst freigegeben und gesteuert.
Die Steuervorrichtung 32 ist In einer weiterbildenden Ausführungsform auch dazu ausgebildet, eine Steuerung des Kompaktladers 10 durch einen Bediener dahingehend zu begrenzen, dass jeweilige Benutzungsbedingungen eingehalten werden. Dazu kann eine Sicherheitsfunktion gehören, welche eine Außenkontur des verwendeten Anbaugeräts berücksichtigt, um Kollisionen zu vermeiden. Es können als Benutzungsbedingungen auch Leistungsreserven für eine Benutzung vorgehalten werden. Beispielsweise beim Baggern mit einer großen Schaufel muss eine höhere Leistungsreserve vorgehalten werden als bei einer kleinen Schaufel, um ein Baggergut effizient oder überhaupt tatsächlich aus dem Untergrund lösen zu können.
In einer weiterbildenden Ausführungsform weist das Assistenzsystem zusätzlich eine kombinierte Ausgabe- und Eingabevorrichtung in Form eines Touchscreens 34 auf. Auf dem Touchscreen 34 kann ein Typ des Anbaugeräts, wie ein Schaufeltyp, für den Bediener des Kompaktladers 10 angezeigt werden. Auf der Anzeige können für die Aufnahme durch den Kompaktlader 10 kompatible Anbaugeräte farblich markiert werden. Eine Aufnahme inkompatibler Geräte ist dagegen durch die Steuervorrichtung 32 gesperrt.
In einer weiterbildenden Ausführungsform ist die Auswertvorrichtung 30 auch dazu ausgebildet, die wenigstens eine bestimmte Eigenschaft eines Anbaugeräts zum Erkennen einer Beschädigung des der Eigenschaft zugeordneten Anbaugeräte auszuwerten. Beispielsweise kann die Auswertvorrichtung 30 dafür einen Schaufeltyp erkennen, welcher in einer Datenbankvorrichtung 36 hinterlegt ist. In der Datenbankvorrichtung 36 kann eine reguläre Außenkontur des Schaufeltyps gespeichert sein. Zudem kann die tatsächliche Außenkontur der Schaufel als Eigenschaft bestimmt werden. Bei Abweichungen der tatsächlichen von der regulären Außenkontur kann eine Beschädigung in Form einer Verformung vorliegen. Bei einer erkannten gravierenden Beschädigung kann die Steuervorrichtung 32 die Aufnahme und Benutzung des beschädigten Anbaugeräts sperren. Die jeweiligen Sperrungen werden von dem Touchscreen 34 In einer weiterbildenden Ausführungsform für den Bediener angezeigt.
Die kompatiblen und für die Benutzung nicht gesperrten Anbaugeräte kann der Bediener mit dem Touchscreen 34 In einer weiterbildenden Ausführungsform jeweils auswählen. Die Auswertvorrichtung 30 bestimmt in Abhängigkeit von den erfassten Umgebungsinformationen als Eigenschaft des ausgewählten Anbaugeräts eine Trajektorie zu dessen Aufnahme. Die Steuervorrichtung 32 ist dazu ausgebildet, in Abhängigkeit von dieser Berechnung eine Aufnahme des Anbaugeräts als Maschinenfunktion zu steuern. So wird eine autonome Anbaugeräteaufnahme durch das Assistenzsystem ermöglicht.
Die Auswertvorrichtung 30 kann In einer weiterbildenden Ausführungsform dazu ausgebildet sein, ein Gewicht eines an dem Kompaktladers 10 aufgenommenen Anbaugeräts zu berechnen. Daran angepasst kann eine Leistungssteuerung durch die Steuervorrichtung 32 erfolgen. Beispielsweise kann die Auswertvorrichtung 30 als Eigenschaft des Ballenspießes 24 dessen Gewicht berechnen und das übliche Gewicht von Standardheuballen in der Datenbankvorrichtung 36 gespeichert sein. Entsprechend kann die Steuervorrichtung 32 dann angepasst einen Hebevorgang besonders effizient steuern. Ebenso kann die Auswertvorrichtung 30 einen Schaufeltyp als Eigenschaft eines Anbaugeräts bestimmen und deren Volumen in der Datenbankvorrichtung 36 gespeichert sein. Zudem ist bei einer weiteren Ausführungsform die Auswertvorrichtung 30 dazu ausgebildet, die erfassten Umgebungsinformationen zum Bestimmen einer Dichte von Schaufelgut, wie Schüttgut, auszuwerten. Entsprechend kann die maximal zulässige Ladung je nach Schaufelgut von der Auswertvorrichtung 30 berechnet werden und die Steuervorrichtung 32 steuert als Maschinenfunktion den Beladevorgang daran angepasst.
In einer weiterbildenden Ausführungsform sind mit jeweiligen Anbaugerättypen in der Datenbankvorrichtung 36 korrespondierende Sicherheitsbedingungen als Benutzungsbedingungen gespeichert. Die Steuervorrichtung 32 steuert dann jeweilige Maschinenfunktionen so, dass deren Einhaltung bei Nutzung eines Anbaugeräts mit entsprechend durch die Auswertvorrichtung 30 erkanntem Typ berücksichtigt wird. Beispielsweise kann die Steuervorrichtung 32 ein Fahren mit unbeladenem und heruntergeklapptem Ballenspieß 24 blockieren oder diesen automatisch hochklappen. Auch kann die Steuervorrichtung 32 eine Maximalfahrgeschwindigkeit so auf eine mit jeweiligen aufgenommenen Anbaugeräten zulässige Maximalgeschwindigkeit begrenzen.
3 veranschaulicht schematisch ein Verfahren zum Betreiben des Assistenzsystems des Kompaktladers gemäß 1. Schritt S1 ist ein erster Schritt dieses Verfahrens einer Ausführungsform. In Schritt S1 wird ein Auswertvorrichtung 30 mit einem KI-basierten System trainiert. Schritt S1 kann In einer weiterbildenden Ausführungsform separat zum restlichen Verfahren durchgeführt werden und stellt dann ein Herstellungsverfahren eines Computerprogrammprodukts dar, welches zur Bildverarbeitung durch die Auswertvorrichtung 30 genutzt wird.
Bei dem Training werden der Auswertvorrichtung 30 in einem Deep-Learning-Prozess Beispielumgebungsdaten zur Verfügung gestellt, welche jeweils als positive Samples und negative Sample gekennzeichnet sind. Bei den positiven Samples handelt es sich beispielsweise um Videoaufnahmen einer Anfahrt und Aufnahme an unterschiedliche kompatible Anbaugerät. Es können auch jeweilige Steuerungsdaten und optional oder zusätzlich Aufnahmen von dem bestimmungsgemäßen Gebrauch des Anbaugeräts in den Beispielumgebungsdaten enthalten sein. Jeweilige Lichtverhältnisse und relative Positionen der Anbaugeräte sind unterschiedlich in den positiven Samples. Bei den negativen Samples handelt es sich beispielsweise um Videoaufnahmen von beschädigten Anbaugeräten mit Bounding Box um den Defekt, von Anbaugeräten mit inkompatiblen Kopplungselementen oder beliebige Objekte oder Geräte auf Baustellen, welche überhaupt keine Anbaugeräte sind.
Die Auswertvorrichtung 30 wird damit trainiert, jeweilige relevante Eigenschaften von Anbaugeräten in Umgebungsinformationen auszuwerten. Die Kennzeichnung als negative oder positive Samples wird zu diesem Zweck vorab durch einen Menschen vorgenommen. Dieser kann verknüpft mit den Beispielumgebungsdaten weitere Daten hinterlegen, wie beispielsweise eine Bezeichnung und technische Daten jeweiliger Anbaugeräte. Zu den technischen Daten gehören beispielsweise ein Typ von Kopplungselementen, ein Volumen, eine Fläche, ein maximales Volumen einer Ladung und ein maximales Gewicht der Ladung. Der Trainer, wie z.B. der Betreiber, kann in den Beispielumgebungsdaten auch Bounding Boxen, einen relativen Abstand und eine Matrix, welche Anbaugeräte für welche Arten von Arbeitsmaschinen zugelassen sind, einfügen. Damit kann das KI-basierte System auch für unterschiedliche Arbeitsmaschinen gleichzeitig trainiert werden.
In Schritt S2 erfolgt das optische Erfassen von Umgebungsinformationen einer Umgebung des Kompaktladers 10, vorliegend mittels der Erfassungsvorrichtung. In Schritt S3 erfolgt das Bestimmen wenigstens einer Eigenschaft eines Anbaugeräts 14, 18, 20, 22, 24 in der Umgebung des Kompaktladers 10 in Abhängigkeit von den erfassten Umgebungsinformationen, vorliegend mittels der Auswertvorrichtung 30. In Schritt S4 erfolgt das Steuern wenigstens einer Maschinenfunktion des Kompaktladers 10 in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts. In dem beschriebenen Beispiel handelt es sich dabei um die durch den Kompaktlader 10 aufgenommene Schaufel. Bei dieser Ausführungsform erfolgt das Steuern mittels der Steuervorrichtung 32.
Bezugszeichenliste

10: Kompaktlader
12: Kopplungsvorrichtung
14: Schaufel
16: Räder
18: Siebschaufel
20: 4-in-1 Schaufel
22: Hochkippschaufel
24: Ballenspieß
26: Stereokamera
28: Kabine
30: Auswertvorrichtung
32: Steuervorrichtung
34: Touchscreen
36: Datenbankvorrichtung
S1: Schritt des Trainierens
S2: Schritt des Erfassens
S3: Schritt des Auswertens
S4: Schritt des Steuerns

Claims

Assistenzsystem für eine Arbeitsmaschine (10), welche zur Aufnahme unterschiedlicher Anbaugeräte (14, 18, 20, 22, 24) ausgebildet ist, dadurch gekennzeichnet, dass das Assistenzsystem aufweist: - eine optische Erfassungsvorrichtung (26), welche dazu ausgebildet ist, Umgebungsinformationen einer Umgebung der Arbeitsmaschine (10) zu erfassen, - eine Auswertvorrichtung (30), welche dazu ausgebildet ist, die erfassten Umgebungsinformationen zum Bestimmen wenigstens einer Eigenschaft eines Anbaugeräts (14, 18, 20, 22, 24) in der Umgebung der Arbeitsmaschine (10) auszuwerten, und - eine Steuervorrichtung (32), welche dazu ausgebildet ist, wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts (14, 18, 20, 22, 24) zu steuern.
Assistenzsystem nach Anspruch 1, dadurch gekennzeichnet, dass die Auswertvorrichtung (30) dazu ausgebildet ist, um - die erfassten Umgebungsinformationen zum Unterscheiden wenigstens zweier Anbaugeräte (14, 18, 20, 22, 24) auszuwerten, - die erfassten Umgebungsinformationen zum Bestimmen wenigstens einer Eigenschaft der Anbaugeräte (14, 18, 20, 22, 24) in der Umgebung der Arbeitsmaschine (10) auszuwerten und - die bestimmten Eigenschaften den wenigstens zwei Anbaugeräten (14, 18, 20, 22, 24) zuzuordnen, wobei die Steuervorrichtung (32) dazu ausgebildet ist, die wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft wenigstens eines der beiden Anbaugeräte (14, 18, 20, 22, 24) zu steuern.
Assistenzsystem nach Anspruch 1 oder 2 dadurch gekennzeichnet, dass die Auswertvorrichtung (30) dazu ausgebildet ist, die wenigstens eine bestimmte Eigenschaft zum Berechnen wenigstens eines Betriebsparameters zur Verwendung des Anbaugeräts (14, 18, 20, 22, 24) mit der bestimmten Eigenschaft auszuwerten, wobei die Steuervorrichtung (32) dazu ausgebildet ist, die wenigstens eine Maschinenfunktion in Abhängigkeit von dem wenigstens berechneten Betriebsparameter zu steuern.
Assistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswertvorrichtung (30) dazu ausgebildet ist, die wenigstens eine bestimmte Eigenschaft zum Erkennen einer Beschädigung des Anbaugeräts (14, 18, 20, 22, 24) auszuwerten, wobei die Steuervorrichtung (32) dazu ausgebildet ist, die wenigstens eine Maschinenfunktion in Abhängigkeit von der wenigstens einen erkannten Beschädigung zu steuern.
Assistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die wenigstens eine Maschinenfunktion ein autonomes Betreiben, ein teilautonomes Betreiben, eine Leistungssteuerung oder ein Steuern eines Kopplungszustands mit einem jeweiligen Anbaugerät ist.
Assistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerung der wenigstens einen Maschinenfunktion wenigstens eine Leistungseinstellung, ein Sperren, ein Freigeben oder eine Steuerung zum Einhalten von vorgegebenen Benutzungsbedingungen ist.
Assistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Assistenzsystem eine Datenbankvorrichtung (36) aufweist, auf welcher Benutzungsbedingungen für jeweilige unterschiedliche Anbaugeräte (14, 18, 20, 22, 24) gespeichert sind, und die Steuervorrichtung (32) dazu ausgebildet ist, die wenigstens eine Maschinenfunktion in Abhängigkeit von einer Benutzungsvorschrift, welche einem an der Arbeitsmaschine (10) aufgenommenen Anbaugeräts (14, 18, 20, 22, 24) zugeordnet ist, zu steuern.
Assistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Assistenzsystem eine Ausgabevorrichtung (34) aufweist, welche dazu ausgebildet ist, die bestimmte Eigenschaft des Anbaugeräts (14, 18, 20, 22, 24) auszugeben.
Assistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Assistenzsystem eine Eingabevorrichtung (34) aufweist, mittels welcher ein Anbaugerät (14, 18, 20, 22, 24) in der Umgebung der Arbeitsmaschine (10) für die Verwendung durch die Arbeitsmaschine (10) auswählbar ist, wobei die Steuervorrichtung dazu ausgebildet ist, die wenigstens eine Maschinenfunktion in Abhängigkeit von dem ausgewählten Anbaugerät zu steuern.
Assistenzsystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswertvorrichtung (30) als ein KI-basiertes System ausgebildet ist.
Assistenzsystem nach Anspruch 10, dadurch gekennzeichnet, dass das KI-basierte System dazu ausgebildet ist, um - die erfassten Umgebungsinformationen als Eingangswerte in einer Eingabeschicht zu nutzen, - die Eingangswerte in wenigstens einer Bewertungsschicht zum Bestimmen der Eigenschaften jeweiliger Anbaugeräte (14, 18, 20, 22, 24) zu nutzen, um diese Eigenschaften als Analyseergebnisse bereitzustellen, wobei die Bewertungsschicht mittels Beispielumgebungsdaten für diese Analyse in einem Trainingsverfahren erzeugt wurde, und die Analyseergebnisse in einer Ausgabeschicht als Ausgangswerte zur Verwendung durch die Steuerungsvorrichtung (32) bereitzustellen.
Verfahren zum Betreiben eines Assistenzsystem für eine Arbeitsmaschine (10), welche zur Aufnahme von unterschiedlichen Anbaugeräten (14, 18, 20, 22, 24) ausgebildet ist, gekennzeichnet durch folgende Schritte: - optisches Erfassen von Umgebungsinformationen einer Umgebung der Arbeitsmaschine (10); - Bestimmen wenigstens einer Eigenschaft eines Anbaugeräts (14, 18, 20, 22, 24) in der Umgebung der Arbeitsmaschine (10) in Abhängigkeit von den erfassten Umgebungsinformationen; und - Steuern wenigstens einer Maschinenfunktion in Abhängigkeit von der wenigstens einen bestimmten Eigenschaft des Anbaugeräts (14, 18, 20, 22, 24).
Verfahren nach Anspruch 12, gekennzeichnet durch den Schritt: - Trainieren wenigstens einer als KI-basierten System ausgebildeten Auswertvorrichtung (30).