DE102021204424A1

DE102021204424A1 - Bild-basierte identifikation und positionserkennung von anbaugeräten

Info

Publication number: DE102021204424A1
Application number: DE102021204424.7A
Authority: DE
Inventors: Thomas L. Kennedy
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2020-06-03
Filing date: 2021-05-03
Publication date: 2021-12-09
Also published as: US20210381194A1; US11718972B2

Abstract

Verfahren und Systeme zum Betrieb eines Arbeitsfahrzeugs mit einem selektiv austauschbaren Anbausgerät. Die Bilddaten werden von einer Kamera (und/oder einer anderen Art von optischem Sensor) erfasst, die am Arbeitsfahrzeug montiert ist. Die erfassten Bilddaten enthalten mindestens einen Teil eines ersten Anbaugerätes und der Gerätetyp des ersten Anbaugerätes wird durch die Verarbeitung der erfassten Bilddaten identifiziert. Auf Betriebsinformationen, die dem identifizierten Anbaugerätetyp entsprechen, wird von einem nichtflüchtigen computerlesbaren Speicher zugegriffen und ein Betrieb des Arbeitsfahrzeugs wird automatisch auf der Grundlage der abgerufenen Betriebsinformationen für den identifizierten Anbaugerätetyp eingestellt. In einigen Implementierungen wird der Anbaugerätetyp bestimmt, indem die erfassten Bilddaten als Eingabe für ein künstliches neuronales Netzwerk bereitgestellt werden, und in einigen Implementierungen ist das künstliche neuronale Netzwerk so konfiguriert, dass es auch eine Anzeige einer aktuellen Betriebsposition des Anbaugerätes basierend auf den erfassten Bilddaten ausgibt.

Description

HINTERGRUND
Die vorliegende Erfindung betrifft Systeme und Verfahren zum Betrieb von Arbeitsfahrzeugen mit einem selektiv austauschbaren Anbaugerät.
KURZDARSTELLUNG
In einer Ausführungsform stellt die Erfindung ein Verfahren zum Betrieb eines Arbeitsfahrzeugs mit einem selektiv austauschbaren Anbaugerät bereit. Die Bilddaten werden von einer am Arbeitsfahrzeug montierten Kamera erfasst. Die erfassten Bilddaten enthalten mindestens einen Teil eines ersten Anbaugerätes und der Gerätetyp des ersten Anbaugerätes wird durch die Verarbeitung der erfassten Bilddaten identifiziert. Auf Betriebsinformationen, die dem identifizierten Anbaugerätetyp entsprechen, wird von einem nichtflüchtigen computerlesbaren Speicher zugegriffen und ein Betrieb des Arbeitsfahrzeugs wird automatisch auf der Grundlage der abgerufenen Betriebsinformationen für den identifizierten Anbaugerätetyp eingestellt.
In einigen Implementierungen wird der Anbaugerätetyp bestimmt, indem die erfassten Bilddaten als Eingabe für ein künstliches neuronales Netzwerk bereitgestellt werden, das so trainiert ist, dass es eine Anzeige des Anbaugerätetyps als Antwort auf den Empfang von Bilddaten als Eingabe ausgibt, welche mindestens einen Teil des Anbaugerätes enthalten. In einigen Implementierungen ist das künstliche neuronale Netzwerk außerdem so konfiguriert, dass es eine Anzeige einer aktuellen Betriebsposition des Anbaugerätes basierend auf den erfassten Bilddaten ausgibt.
In einer weiteren Ausführungsform stellt die Erfindung ein Steuersystem für ein Arbeitsfahrzeug zur Verfügung. Das Arbeitsfahrzeug ist mit einem selektiv austauschbaren Anbaugerät betriebsbereit koppelbar. Das Steuersystem umfasst ein Kamerasystem, einen nichtflüchtigen computerlesbaren Speicher und einen elektronischen Prozessor. Das Kamerasystem ist auf dem Arbeitsfahrzeug montiert und mit einem Sichtfeld positioniert, das mindestens einen Teil eines an das Arbeitsfahrzeug gekoppelten Anbaugerätes beinhaltet. Der nichtflüchtige, computerlesbare Speicher speichert Betriebsinformationen, die jedem Anbaugerät aus einer Vielzahl von Anbaugeräten entsprechen. Der elektronische Prozessor ist so konfiguriert, dass er einen Vorgang ausführt, indem er eine Position des Anbaugerätes relativ zum Arbeitsfahrzeug steuerbar einstellt. Der elektronische Prozessor empfängt die vom Kamerasystem erfassten Bilddaten und wendet ein künstliches neuronales Netz an, um auf der Grundlage der Bilddaten des Kamerasystems einen Anbaugerätetyp des aktuell an das Arbeitsfahrzeug gekoppelten Anbaugerätes zu identifizieren. Das künstliche neuronale Netz wird so trainiert, dass es die Bilddaten als Eingabe erhält und als Ausgabe eine Anzeige des Anbaugerätetyps erzeugt. Der elektronische Prozessor greift auf die Betriebsinformationen, die dem identifizierten Anbaugerätetyp entsprechen, aus dem Speicher zu und stellt den Betrieb des Arbeitsfahrzeugs basierend auf den abgerufenen Betriebsinformationen, die dem identifizierten Anbaugerätetyp entsprechen, automatisch ein.
Weitere Aspekte der Erfindung werden ersichtlich, wenn man mit der detaillierten Beschreibung und den beigefügten Zeichnungen betrachtet.
Figurenliste

1A und 1B sind perspektivische Ansichten eines Radladers, der mit einem selektiv austauschbaren Schaufelanbaugerät gemäß einer Implementierung ausgestattet ist.
2 ist ein Blockdiagramm eines ersten Beispiels eines Steuersystems zum Betrieb des Radladers der 1A und 1B, basierend auf einem identifizierten Anbaugerätetyp und einer ermittelten Position des selektiv austauschbaren Anbaugerätes.
3 ist ein Blockdiagramm eines zweiten Beispiels eines Steuersystems zum Betrieb des Radladers der 1A und 1B, basierend auf einem identifizierten Anbaugerätetyp und einer ermittelten Position des selektiv austauschbaren Anbaugerätes.
4A, 4B und 4C sind schematische Blockdiagramme eines auf künstlicher Intelligenz basierenden Mechanismus zum Bestimmen eines Anbaugerätetyps und einer Position des selektiv austauschbaren Anbaugerätes des Radladers der 1A und 1B.
5 ist ein Flussdiagramm eines Verfahrens zum Betrieb des Radladers der 1A und 1B, basierend auf dem identifizierten Anbaugerätetyp und der ermittelten Position des selektiv austauschbaren Anbaugerätes.
6 ist ein Flussdiagramm eines Verfahrens zum Umtrainieren des auf künstlicher Intelligenz basierenden Mechanismus der 4A, 4B und/oder 4C.

AUSFÜHRLICHE BESCHREIBUNG
Bevor Ausführungsformen der Erfindung im Detail erklärt werden, sollte verstanden werden, dass die Erfindung in ihrer Anwendung nicht auf die Konstruktionsdetails und die Komponentenanordnung beschränkt ist, welche in der folgenden Beschreibung erläutert oder in den folgenden Zeichnungen dargestellt sind. Die Erfindung kann andere Ausführungsformen haben und auf verschiedene Weisen angewendet oder ausgeführt werden.
1A und 1B zeigen ein Beispiel für einen Radlader 10. Der Radlader 10 besteht aus einem vorderen Abschnitt 12 und einem hinteren Abschnitt 14. Ein Paar Vorderräder 16 ist drehbar mit dem vorderen Abschnitt 12 des Radladers 10 verbunden und ein Paar Hinterräder 18 ist drehbar mit dem hinteren Abschnitt 14 verbunden. Der Radlader 10 wird mit mechanischer Kraft belastet, um die Hinterräder 18 zu drehen, was eine Fortbewegung des Radladers 10 bewirkt. Das Wenden des Radladers 10 erfolgt durch steuerbares Schwenken des vorderen Abschnitts 12 relativ zum hinteren Abschnitts 14 mit Hilfe einer Schwenkkupplung 22, die den vorderen Abschnitt 12 mit dem hinteren Abschnitt 14 koppelt. Eine Kabine 30 wird vom hinteren Abschnitt 14 des Radladers 10 getragen. Ein Bediener des Radladers 10 befindet sich während des Betriebs des Radladers 10 innerhalb der Kabine 30.
Ein Anbaugeräteausleger 42 ist über ein erstes Auslegerdrehgelenk A1 schwenkbar mit dem vorderen Abschnitt 12 des Radladers 10 verbunden. Ein erster Hydraulikzylinder 42 ist zwischen dem vorderen Abschnitt 12 und dem Ausleger 42 gekoppelt, um die Bewegung des Auslegers 42 in der vertikalen Ausrichtung zu steuern. Insbesondere hebt die Betätigung des Hydraulikzylinders 42 zum Ausfahren seines Kolbens den Ausleger 42 an und das Einfahren des Kolbens des Hydraulikzylinders 42 senkt den Ausleger 42 ab.
Der Radlader 10 ist mit einem Kupplungsgestänge zum wahlweisen Anbringen, Abnehmen und Wechseln eines Anbaugerätes am distalen Ende des Auslegers 42 ausgestattet. Im Beispiel von 1A und 1B ist das selektiv austauschbare Anbaugerät, das an den Radlader 10 gekoppelt ist, eine Schaufel 40. Die Schaufel 40 ist am Kupplungsgestänge A2 schwenkbar mit dem distalen Ende des Auslegers gekoppelt. Die Schaufel 40 ist außerdem über ein Kippgestänge 46 selektiv mit einem zweiten Hydraulikzylinder 48 gekoppelt. In dieser Anordnung wird das Anbaugerät (in diesem Fall die Schaufel 40) relativ zum Ausleger 42 nach unten gekippt, indem der zweite Hydraulikzylinder 48 betätigt wird, um seinen Kolben einzufahren, und relativ zum Ausleger 42 nach oben gekippt, indem der zweite Hydraulikzylinder 48 betätigt wird, um seinen Kolben auszufahren.
Wie bereits erwähnt, ist der Radlader 10, der in den 1A und 1B dargestellt ist, mit einer Kupplung zum selektiven Anbringen, Abnehmen und Wechseln eines Anbaugerätes am distalen Ende des Auslegers 42 ausgestattet. Diese Austauschbarkeit ermöglicht den Einsatz des Radladers 10 in einer Vielzahl von verschiedenen Anwendungen mit jeweils unterschiedlichen Anbaugeräten für verschiedene Anwendungen. Das spezifische Anbaugerät, das an den Radlader gekoppelt ist, kann jedoch die Arbeitsweise des Radladers 10 beeinflussen (bzw. wie er für eine bestimmte Aufgabe betrieben werden sollte). In einigen Implementierungen ist der Radlader 10 so konfiguriert, dass er automatisch bestimmte Funktionen aktiviert und/oder Anpassungen an bestimmten Einstellungen der Maschine vornimmt, um eine optimale Leistung zu erzielen oder die Präferenzen des Bedieners zu berücksichtigen, je nachdem, welches Anbaugerät gerade an den Radlader 10 angeschlossen ist.
In 2 ist ein erstes Beispiel für ein Steuersystem des Radladers 10 dargestellt. Eine Steuerung 201 für den Radlader 10 umfasst einen elektronischen Prozessor 203 und einen nichtflüchtigen, computerlesbaren Speicher 205. In einigen Implementierungen speichert der Speicher 205 Daten und computerausführbare Anweisungen. Die computerausführbaren Anweisungen werden aus dem Speicher 205 abgerufen und vom elektronischen Prozessor 203 ausgeführt, um die Funktionen der Steuerung 201 zu ermöglichen. Die Steuerung 201 ist auch kommunikativ mit einer oder mehreren Funkantennen gekoppelt, die am Radlader 10 angebracht sind, sowie mit einem oder mehreren Positionssensoren 209, die so konfiguriert sind, dass sie die Position des Anbaugerätes (z. B. der Schaufel 40) und des Auslegers 42 relativ zum Radlader 10 überwachen. Die Steuerung 201 ist auch so konfiguriert, dass sie den Betrieb des Radladers 10 steuert, indem sie Steuersignale erzeugt und an einen oder mehrere Fahrzeugstellglieder 211 überträgt (z. B. eine Hydraulikpumpe für die Zylinder 44, 48; einen Motor zur Steuerung des Drehpunkts der Schwenkkupplung 22, um den Radlader 10 zu drehen; einen Motor zur Steuerung der an die Hinterräder 18 angelegten Antriebsleistung; usw.) In einigen Implementierungen liefert die Steuerung 201 auch Ausgabedaten, die dem Bediener des Radladers auf einer Fahrzeuganzeige 213 in der Kabine 30 angezeigt werden, und empfängt Benutzereingabesignale von einem oder mehreren Bedienelementen 215.
In einigen Implementierungen ist das Anbaugerät (z. B. die Schaufel 40) mit einem Bluetooth-Beacon 221 ausgestattet, der fest am Anbaugerät montiert ist. Der Bluetooth-Beacon 221 kommuniziert mit der Steuerung 201 über die Funkantenne 207, und die Steuerung 201 ist so konfiguriert, dass sie auf der Grundlage des vom Bluetooth-Beacon 221 empfangenen Signals das aktuell an den Radlader 10 gekoppelte Anbaugerät identifiziert. In einigen Implementierungen ist die Steuerung 201 so konfiguriert, dass sie nach der Identifizierung des Anbaugerätes auf der Grundlage des Signals von dessen Bluetooth-Beacon 221 bestimmte Funktionen, die mit dem identifizierten Anbaugerät verknüpft sind, automatisch aktiviert und bestimmte Einstellungen des Radladers 10 anpasst. Beispielsweise kann die Steuerung 201 eine maximale und/oder minimale Auslegerhöhe, einen maximalen und/oder minimalen Neigungswinkel, eine maximale und/oder minimale Fahrzeuggeschwindigkeit definieren, auf Grundlage des identifizierten Anbaugerätes, das derzeit am Radlader 10 angebracht ist, sowie in einigen Implementierungen die mit dem identifizierten Anbaugerät verknüpften Prozesse.
Darüber hinaus ist die Steuerung 201 in einigen Implementierungen für einen vereinfachten oder verbesserten Betrieb konfiguriert, indem sie eine Vielzahl automatischer (oder halbautomatischer) Funktionen bereitstellt, z. B. „Return-to-Dig“ (Rückkehr zum Grabungsbetrieb), „Return-to-Carry“ (Rückkehr zum Tragebetrieb), sowie elektrohydraulische Soft-Stopps. Um diese automatisierten oder halbautomatisierten Funktionen auszuführen, ermittelt die Steuerung 201 zunächst eine aktuelle Position des Anbaugerätes, um dann zu bestimmen, welche Anpassungen an der Position für den automatisierten oder halbautomatisierten Betrieb vorgenommen werden müssen. In einigen Implementierungen (wie z. B. Implementierungen mit dem Steuersystem von 2) ist die Steuerung 201 so konfiguriert, dass sie die Position des an dem Radlader 10 angebrachten Anbaugerätes auf der Grundlage von Signalen bestimmt, die von einem oder mehreren Drehpositionssensoren 209 empfangen werden (z. B. Drehpositionssensoren, die konfiguriert sind, um das erste Auslegerdrehgelenk A1 und die neigbare Kupplung A2 zu überwachen). Die Positionssensoren 209 erfordern jedoch, dass elektrische und mechanische Komponenten auf dem Gestänge platziert werden, wobei die Kabelbäume zum und vom Sensor 209 an Stellen verlegt werden müssen, die anfällig für Verschmutzungen und Beschädigungen sind.
3 zeigt ein Beispiel eines alternativen Steuersystems, bei dem ein kamerabasierter Mechanismus verwendet wird, um die Identität und die Position des am Radlader 10 angebrachten Anbaugerätes zu bestimmen, anstatt einen Bluetooth-Beacon 221 und Positionssensoren 209 wie in dem Beispiel in 2 zu verwenden. Wie im Beispiel in 2 umfasst die Radladersteuerung 301 auch einen elektronischen Prozessor 303 sowie einen nichtflüchtigen computerlesbaren Speicher 305 und ist kommunikativ mit einem oder mehreren Fahrzeugstellgliedern 311, einer Fahrzeuganzeige 313 und Bedienelementen 315 gekoppelt. Die Steuerung 301 ist jedoch auch kommunikativ mit einem oder mehreren Kamerasystemen 317 gekoppelt, die am Radlader 10 montiert sind. Eine oder mehrere Kameras 301 können z. B. an der Kabine 30 des Radladers montiert werden, wie im Beispiel von 1A und 1B (d. h. das Kamerasystem 51) dargestellt. In einigen Implementierungen beinhalten die eine oder mehreren Kameras 317 ein Stereokamerasystem, das auf dem Radlader 10 positioniert ist und ein Sichtfeld hat, das das Gestänge einschließt, das den Radlader 10 mit dem selektiv austauschbaren Anbaugerät (z. B. der Schaufel 40) verbindet.
In einigen Implementierungen ist das Kamerasystem 317 so konfiguriert, dass der Bereich vor dem Radlader 10 in seinem Sichtfeld liegt. Wenn sich der Radlader 10 einem Anbaugerät (z. B. einer Schaufel, einer Gabel usw.) nähert, um es selektiv an dem Radlader 10 anzubringen, erfasst das Kamerasystem 317 Bilddaten und die Steuerung 301 verarbeitet die erfassten Bilddaten, um das Anbaugerät zu identifizieren, das der Bediener an dem Radlader 10 anbringen möchte. In anderen Implentierungen ist das Kamerasystem 317 so konfiguriert, dass es das gesamte Anbaugerät oder zumindest einen Teil davon in seinem Sichtfeld hat, wenn das Anbaugerät an dem Radlader 10 angebracht ist. Dementsprechend ist in einigen solchen Implementierungen die Steuerung 301 so konfiguriert, dass sie die erfassten Bilddaten verarbeitet, um das Anbaugerät zu identifizieren, nachdem es an den Radlader 10 angekoppelt wurde.
In einigen Implementierungen ist die Steuerung 301 so konfiguriert, dass sie einen Mechanismus der künstlichen Intelligenz oder des „maschinellen Lernens“ (z. B. ein künstliches neuronales Netzwerk) nutzt, um das Anbaugerät auf Grundlage der erfassten Bilddaten zu identifizieren. In einigen solchen Implementierungen ist das System der künstlichen Intelligenz so konfiguriert (d. h. „trainiert“), dass es bestimmte physikalische Merkmale verschiedener Anbaugeräte erkennt, die für die Konstruktion bestimmter Anbaugeräte typisch sind (z. B. Abmessungen der Kopplerschnittstelle, Breite des Anbaugerätes, Form des Anbaugerätes usw.) In anderen Implementierungen kann das Anbaugerät so modifiziert werden, dass es ein Designmerkmal (z. B. eine Form, Farbe usw.) enthält, um die Identifizierung zu erleichtern.
Wenn das Anbaugerät identifiziert wird, ruft die Steuerung 301 aus dem Speicher 305 gespeicherte Maschineneinstellungen ab, die dem identifizierten Anbaugerät entsprechen, und passt die Maschineneinstellungen des Radladers 10 entsprechend an. Durch diese Methode der Identifizierung von Anbaugeräten auf der Grundlage von Bilddaten entfällt nicht nur die Notwendigkeit eines separaten elektronischen Gerätes am Anbaugerät (d. h. des Bluetooth-Beacons 221), sondern die Maschine kann auch Anbaugeräte desselben Typs, derselben Größe, desselben Modells usw. leichter identifizieren und auswechseln. Die Steuerung 301 kann daher z. B. konfiguriert sein, um anhand der erfassten Bilddaten eine beliebige Anzahl von Kopplungsschaufeln von 2,3 Kubikmeter am Arbeitsort zu identifizieren. Bei Verwendung des Mechanismus mit Bluetooth Beacon 221 kann die Steuerung 201 jedoch möglicherweise nur eine bestimmte Kopplungsschaufel von 2,3 Kubikmeter identifizieren, die zuvor mit dem Radlader 10 gekoppelt worden ist.
In einigen Implementierungen ist das Kamerasystem 317 so konfiguriert, dass es das gesamte Gestänge zur selektiven Kopplung mit einem Anbaugerät in seinem Sichtfeld umfasst. Dementsprechend kann die Steuerung 301 in einigen solchen Implementierungen auch weiter konfiguriert werden, um die Position des Anbaugerätes auf Grundlage der erfassten Bilddaten zu bestimmen. Die Positionssensoren 205 könnten dann, wie im Beispiel von 3, komplett weggelassen werden. Alternativ können in einigen Implementierungen ein oder mehrere Positionssensoren 205 kommunikativ mit einer Steuerung 301 in einem bildbasierten System gekoppelt sein, um für eine redundante, also eine Backup-Funktionalität zu sorgen (z. B. wie weiter unten beschrieben).
Mit der Möglichkeit, die Position des Anbaugerätes und/oder des Anbaugerätegestänges zu identifizieren, kann die Steuerung 301 so konfiguriert werden, dass diese Informationen in automatischen oder halbautomatischen Funktionen des Radladers 10 verwendet werden, wie z. B. Rückkehr zum Grabungsbeterieb, Rückkehr zum Tragebetrieb, Soft-Stopps und andere Funktionen. In einigen Implementierungen kann die bildbasierte Verarbeitung zur Bestimmung der Position des angebrachten Anbaugerätes weiter auf selektiv anzubringende Anbaugeräte erweitert werden, die eigene zusätzliche bewegliche Komponenten enthalten (z. B. Greiferschaufeln, Gabeln mit hydraulisch beweglichen Zinken, Baggerschaufeln mit Löffeln usw.), um nicht nur die Position des Anbaugerätes relativ zum Radlader 10 zu überwachen, sondern auch einen aktuellen Betriebszustand des Anbaugerätes.
Obwohl die obigen Beispiele speziell Mechanismen zur Identifizierung eines Anbaugerätes und zur Überwachung seiner Position für die Verwendung mit einem Radlader 10 beschreiben, können diese bildbasierten Techniken in verschiedenen anderen Arten von Arbeitsfahrzeugen mit selektiv anzubringenden/auswechselbaren Anbaugeräten implementiert werden, z. B. in Mähdreschern und Vorsätzen, Traktoren, Motorgradern und Kompaktladern. Darüber hinaus können einige der hier beschriebenen Mechanismen auch auf Arbeitsfahrzeuge und Maschinen mit fest angebrachten Anbaugeräten erweitert werden. Beispielsweise könnte das System so konfiguriert sein, dass es eine bestimmte Konfiguration des Arbeitsfahrzeugs anhand von Bilddaten seines fest angebrachten Anbaugerätes erkennt. Alternativ können in einigen Implementierungen die bildbasierten Mechanismen zur Überwachung einer Position und/oder zum Betrieb eines angebrachten Anbaugerätes in ein Arbeitsfahrzeug mit der Funktion zur Identifizierung des Anbaugerätes selbst auf der Grundlage erfasster Bilddaten integriert werden.
Wie oben beschrieben ist das System in einigen Implementierungen konfiguriert, um ein Anbaugerät auf der Grundlage von Bilddaten zu identifizieren, indem es ein trainiertes System mit „künstlicher Intelligenz“ (KI) verwendet, wie z. B. ein künstliches neuronales Netzwerk. 4A zeigt ein Beispiel für ein KI-System 401, das so konfiguriert ist, dass es Kamerabilder 403 als Eingabe erhält und als Ausgabe sowohl eine Anzeige des Anbaugerätetyps 405 als auch eine Anzeige der Position/Ausrichtung des Anbaugerätes 407 erzeugt. In einigen Implementierungen umfassen die Kamerabilder 403, die dem KI-System als Eingabe zur Verfügung gestellt werden, ein Paar von Bildern, die jeweils von einer der beiden Perspektiven in einer Stereokamera aufgenommen wurden. In anderen Implementierungen kann das Kamerasystem so konfiguriert sein, dass es sogar gleichzeitig Bilddaten aus mehr als zwei Perspektiven erfasst und ein gleichzeitiges Bild aus jeder Kameraperspektive als Eingabe für das KI-System 401 bereitstellt. In anderen Implementierungen kann das KI-System 401 so konfiguriert sein, dass es eine Folge von Bildern von jeder Kamera empfängt, die die Bewegung des Anbaugerätes im Raum über einen bestimmten Zeitraum zeigen.
In einigen Implementierungen werden die Kamerabilder 403 als einzige Eingabe für das KI-System 401 bereitgestellt. In anderen Implementierungen kann das KI-System 401 jedoch so konfiguriert sein, dass es zusätzlich zu den Kamerabildern 403 auch andere Daten als Eingabe empfängt. Beispielsweise kann die Steuerung so konfiguriert sein, dass sie bestimmte Stellgliedeinstellungen 409 oder Sensorwerte (z. B. eine aktuelle Position des Auslegerzylinders 44) als weitere Eingabe an das KI-System 401 liefert.
In einigen Implementierungen ist das KI-System 401 so konfiguriert, dass es ein einziges künstliches neuronales Netzwerk (d. h. ein kombiniertes neuronales Netzwerk 411) verwendet, das trainiert ist, um sowohl eine Identifikation des Anbaugerätetyps 405 als auch die Position/Ausrichtung des Anbaugerätes 407 als Ausgaben des kombinierten neuronalen Netzwerks 411 zu liefern (wie im Beispiel in 4B gezeigt). In anderen Implementierungen, wie im Beispiel von 4C gezeigt, kann das KI-System 401 jedoch so konfiguriert sein, dass es zwei separate künstliche neuronale Netzwerke implementiert, einschließlich eines ersten künstlichen neuronalen Netzwerks (d. h., ein neuronales Netzwerk vom „Anbaugerätetyp“ 413), das trainiert wird, um eine Anzeige eines Anbaugerätetyps 405 als Ausgabe zu erzeugen, die zumindest teilweise auf Kamerabildern 403 als Eingabe basiert, und ein zweites künstliches neuronales Netzwerk (d. h. ein neuronales Netzwerk vom Anbaugerätepositionstyp 415), das trainiert wird, um eine Anzeige einer Anbaugeräteposition/-ausrichtung 407 zu erzeugen, die zumindest teilweise auf den Kamerabildern 403 als Eingabe basiert. In einigen solchen Implementierungen wird die Ausgabe des ersten künstlichen neuronalen Netzwerks (d. h. der ermittelte Anbaugerätetyp 405) als zusätzliche Eingabe für das zweite künstliche neuronale Netzwerk bereitgestellt und zusätzlich zu den Kamerabildern 403 verwendet, um die Position/Ausrichtung des Anbaugerätes 407 zu bestimmen.
5 zeigt ein Beispiel für ein Verfahren zum Betreiben eines Arbeitsfahrzeugs (wie z. B. eines Radladers) mit einem selektiv austauschbaren Anbaugerät unter Verwendung eines KI-Systems, wie es in 4A bis 4C abgebildet ist. Wenn das Arbeitsfahrzeug gestartet wird (Schritt 501), werden Kamerabilddaten erfasst (Schritt 503) und als Eingabe für die künstlichen neuronalen Netzwerke bereitgestellt (Schritt 505). Wenn das angebrachte Anbaugerät (oder das Anbaugerät, dem sich das Arbeitsfahrzeug zum Anbringen nähert) noch nicht identifiziert wurde (Schritt 507), empfängt die Steuerung des Arbeitsfahrzeuges eine Angabe des Anbaugerätetyps als Ausgabe vom künstlichen neuronalen Netzwerk (Schritt 509), greift auf gespeicherte Betriebsinformationen für den identifizierten Anbaugerätetyp zu (Schritt 511) und passt den Betrieb und/oder die Einstellungen des Arbeitsfahrzeugs auf Grundlage des identifizierten Anbaugerätetyps an (Schritt 513).
In einigen Implementierungen werden die Kamerabilddaten ab dem Zeitpunkt des Starts des Arbeitsfahrzeugs (Schritt 501) erfasst (Schritt 503) und als Eingabe für das künstliche neuronale Netzwerk bereitgestellt (Schritt 505). In anderen Implementierungen kann der Prozess der Erfassung und Verarbeitung von Kamerabilddaten mithilfe des künstlichen neuronalen Netzwerks jedoch auch unter anderen Bedingungen eingeleitet werden. In einigen Implementierungen kann der Prozess der Erfassung und/oder Verarbeitung der Kameradaten mithilfe des künstlichen neuronalen Netzwerks beispielsweise stattdessen als Reaktion auf eine Benutzereingabe (über ein Bedienelement oder eine Benutzerschnittstelle) eingeleitet werden, die angibt, dass ein Kopplungsprozess eingeleitet wurde, um das Arbeitsfahrzeug an ein Anbaugerät anzukoppeln. In anderen Implementierungen kann der Prozess der Erfassung und/oder Verarbeitung der Kameradaten stattdessen durch einen automatischen Mechanismus eingeleitet werden, z. B. als Reaktion auf ein Signal von einem Näherungssensor, der angibt, dass sich das Arbeitsfahrzeug einem Objekt (z. B. einem Anbaugerät) nähert, oder von einem anderen Sensor, der so konfiguriert ist, dass er angibt, dass ein Anbaugerät neu am Arbeitsfahrzeug angebracht wurde.
Wie oben beschrieben, kann die Steuerung in einigen Implementierungen so konfiguriert sein, dass sie die Kameradaten nur zur Identifizierung des Typs des Anbaugerätes verwendet, das am Arbeitsfahrzeug angebracht wurde (oder gerade angebracht wird), so dass Betriebseinstellungen und andere Parameter des Arbeitsfahrzeugs auf der Grundlage des identifizierten Anbaugerätetyps angepasst werden können. In anderen Implementierungen ist das System jedoch ferner konfiguriert, um die Kamerabilddaten weiterzuverarbeiten, um die Position und/oder Ausrichtung des Anbaugerätes zu überwachen, während es vom Arbeitsfahrzeug betrieben wird.
Zurück zum Beispiel von 5: In Implementierungen, in denen die Kameradaten und das künstliche neuronale Netzwerk verwendet werden, um die Position und/oder Ausrichtung des Anbaugerätes zu überwachen, während es vom Arbeitsfahrzeug betrieben wird, empfängt die Steuerung eine Angabe der Position/Ausrichtung des Anbaugerätes als eine Ausgabe des künstlichen neuronalen Netzwerks (Schritt 515) und betreibt das Arbeitsfahrzeug basierend auf der ermittelten Position/Ausrichtung (Schritt 517). Solange das Arbeitsfahrzeug in Betrieb ist oder, in einigen Implementierungen, bis ein Wechsel des selektiv angebrachten Anbaugerätes erfolgt (Schritt 519), fährt das System damit fort, Kamerabilddaten zu erfassen (Schritt 503) und die erfassten Kamerabilddaten als Eingabe für das künstliche neuronale Netzwerk bereitzustellen (Schritt 505).
In einigen Implementierungen, in denen separate künstliche neuronale Netzwerke verwendet werden, um (a) den Anbaugerätetyp und (b) die Anbaugeräteposition/-ausrichtung zu bestimmen, kann das System konfiguriert sein, die Bilddaten bei nachfolgenden Iterationen nur mithilfe des zweiten künstlichen neuronalen Netzwerks (d. h. des neuronalen Netzwerks für die Anbaugeräteposition/-ausrichtung) zu verarbeiten, nachdem der Gerätetyp identifiziert wurde. In einigen anderen Implementierungen (z. B. wenn ein einziges kombiniertes neuronales Netzwerk so konfiguriert ist, dass es sowohl die Angabe des Anbaugerätetyps als auch die Angabe der Position/Ausrichtung des Anbaugerätes ausgibt) empfängt das System weiterhin eine Angabe des Anbaugerätetyps als Ausgabe des künstlichen neuronalen Netzwerks, wiederholt aber nicht die Schritte zur Anpassung der Betriebseinstellungen des Arbeitsfahrzeugs (d. h. Schritt 513), bis das Anbaugerät gewechselt wird.
Wie oben unter Bezugnahme auf 3 erläutert, ersetzt das Kamerasystem 317 in einigen Implementierungen sowohl den Bluetooth-Beacon 221 als auch den/die Sensor(en) 209, der/die sonst zur Bestimmung einer Position/Ausrichtung des Anbaugerätes verwendet würde(n). Dementsprechend sind in einigen solchen Implementierungen die mechanischen/elektrischen Positionssensoren nicht Teil des Steuersystems. In einigen Implementierungen kann/können die Funkantenne(n) auch ganz weggelassen werden. In einigen Implementierungen werden jedoch die mechanischen/elektrischen Positionssensoren und/oder die Funkantenne für die drahtlose Kommunikation als redundante Backup-Mechanismen und/oder zur Durchführung anderer Funktionen beibehalten. Anstatt konfiguriert zu sein, um mit einem Bluetooth-Beacon des Anbaugerätes zu kommunizieren, um das Anbaugerät zu identifizieren, kann das System beispielsweise so konfiguriert werden, dass es einen drahtlosen Transceiver für die drahtlose Kommunikation mit anderen Computersystemen umfasst (z. B. zum Herunterladen von Serverdaten und/oder für Updates für das künstliche neuronale Netzwerk). In ähnlicher Weise kann das System in einigen Implementierungen, um die Rechenlast auf dem Arbeitsfahrzeug selbst zu reduzieren, so konfiguriert sein, dass es die erfassten Kamerabilddaten drahtlos an ein anderes entferntes Computersystem überträgt, wo sie mithilfe des künstlichen neuronalen Netzwerks verarbeitet werden, und dass es die Ausgabe des künstlichen neuronalen Netzwerks bzw. der künstlichen neuronalen Netzwerke von dem entfernten Computersystem drahtlos empfängt, nachdem die Kamerabilddaten verarbeitet wurden. In einigen Implementierungen, in denen mechanische und/oder elektrische Positionssensoren am Arbeitsfahrzeug vorhanden sind, um die Position/Ausrichtung des Anbaugerätes zu überwachen, kann das System auch konfiguriert sein, um die Ausgabe eines oder mehrerer Positionssensoren zum erneuten Trainieren des/der künstlichen neuronalen Netzwerks/Netzwerke zu verwenden.
6 zeigt ein Beispiel, bei dem die Positionssensoren, die zur Überwachung einer Position/Ausrichtung des Anbaugerätes konfiguriert sind, vom System verwendet werden, um das neuronale Netzwerk neu zu trainieren. In diesem Beispiel wird das Verfahren von 6 eingeleitet, wenn das künstliche neuronale Netzwerk das Anbaugerät nicht aus den erfassten Bilddaten identifizieren kann (Schritt 601). Diese Situation kann z. B. auftreten, wenn ein neuer Typ oder ein neues Modell des Anbaugerätes zum ersten Mal verwendet wird. In diesem Fall kann das System den Bediener auffordern, das Anbaugerät manuell über eine Benutzerschnittstelle zu identifizieren (Schritt 603). Zusätzliche Informationen für das Anbaugerät (einschließlich z. B. der Betriebseinstellungen, die in Schritt 513 von 5 verwendet werden) werden abgerufen (Schritt 605). In einigen Implementierungen werden diese zusätzlichen Informationen vom Bediener manuell über die Benutzerschnittstelle des Arbeitsfahrzeuges eingegeben. In einigen anderen Implementierungen kann das System jedoch so konfiguriert sein, dass es Informationen über einen drahtlosen Transceiver anfordert und herunterlädt, auf Grundlage der Identifikation des Anbaugerätes, das vom Bediener bereitgestellt wurde. In einigen Implementierungen werden diese zusätzlichen Informationen, die dem Anbaugerät zugeordnet sind, für die zukünftige Verwendung gespeichert, wenn dasselbe Anbaugerät anschließend an das Arbeitsfahrzeug gekoppelt und vom künstlichen neuronalen Netzwerk identifiziert wird.
Das künstliche neuronale Netzwerk wird dann neu trainiert, um die erfassten Bilddaten dem manuell identifizierten Anbaugerätetyp zuzuordnen (Schritt 607), und das System kann die Betriebseinstellungen des Arbeitsfahrzeugs basierend auf dem identifizierten Anbaugerät anzupassen (Schritt 609). Das System kann auch das künstliche neuronale Netzwerk neu zu trainieren, um die Position/Ausrichtung des neuen Anbaugerätes auf Grundlage der erfassten Kamerabilddaten zu identifizieren, indem die Informationen zur Position/Ausrichtung des Anbaugerätes auf der Grundlage der Ausgabe der mechanischen und/oder elektrischen Positionssensoren bestimmt werden (Schritt 611) und das künstliche neuronale Netzwerk neu trainiert wird, um die erfassten Bilddaten (und nachfolgend erfasste Bilddaten) der Position/Ausrichtung des Anbaugerätes zuzuordnen, wie sie durch die Ausgabe der Positionssensoren angegeben wird (Schritt 613).
Obwohl sich die obigen Beispiele in erster Linie auf die Erfassung von Bilddaten mit einer Kamera und die Verarbeitung von Kamerabildern zur Identifizierung des Anbaugerätes und/oder der Position des Anbaugerätes konzentrieren, ist das System in einigen Implementierungen so konfiguriert, dass es andere Arten von optischen Sensoren zur Erfassung der „Bild“-Daten verwendet, die als Verarbeitungseingabe verwendet werden. Zusätzlich zu oder anstelle von Kamerabilddaten, die von einer einzelnen Kamera, Stereokamera, Videokameras usw. erfasst werden, können einige Implementierungen so konfiguriert werden, dass sie mit einem LIDAR-Sensor oder einer anderen Art von visuellem Sensor oder einer Kombination von Sensoren arbeiten, die in der Lage sind, Daten zu erfassen, mit denen ein 2D- oder 3D-Bild der Umgebung konstruiert werden kann.
Dementsprechend stellt die Erfindung unter anderem Systeme und Verfahren bereit, um ein an ein Arbeitsfahrzeug ankoppelbares, selektiv austauschbares Anbaugerät zu identifizieren und/oder eine Position/Ausrichtung des Anbaugerätes während des Betriebes auf Grundlage erfasster Bilddaten und mithilfe eines oder mehrerer künstlicher neuronaler Netzwerke zu überwachen. Weitere Merkmale und Vorteile der Erfindung sind in den folgenden Ansprüchen dargelegt.

Claims

Verfahren zum Betrieb eines Arbeitsfahrzeugs mit einem selektiv austauschbaren Anbaugerät, wobei das Verfahren Folgendes umfasst: Erfassen von Bilddaten durch einen am Arbeitsfahrzeug montierten optischen Sensor, wobei die erfassten Bilddaten ein erstes Anbaugerät beinhalten; Identifizierung eines Gerätetyps des ersten Anbaugerätes durch Verarbeitung der erfassten Bilddaten durch einen elektronischen Prozessor; Zugriff auf Betriebsinformationen, die dem identifizierten Anbaugerätetyp des ersten Anbaugerätes entsprechen, von einem nichtflüchtigen computerlesbaren Speicher; und automatische Einstellung eines Betriebs des Arbeitsfahrzeugs auf der Grundlage der abgerufenen Betriebsinformationen, die dem identifizierten Anbaugerätetyp des ersten Anbaugerätes entsprechen.
Verfahren nach Anspruch 1, wobei die Identifikation des Anbaugerätetyps des ersten Gerätes durch Verarbeitung der erfassten Bilddaten auch Folgendes beinhaltet: Bereitstellen der erfassten Bilddaten als Eingabe für ein künstliches neuronales Netzwerk, wobei das künstliche neuronale Netzwerk darauf trainiert ist, als Eingabe Bilddaten zu empfangen, die mindestens einen Teil eines Anbaugerätes enthalten, und als Ausgabe eine Identifikation des Anbaugerätetyps des Anbaugerätes in den erfassten Bilddaten zu erzeugen; und Empfangen einer Angabe der Identifikation des ersten Anbaugerätes als Ausgabe des künstlichen neuronalen Netzwerks.
Verfahren nach Anspruch 2, wobei der optische Sensor so positioniert ist, dass er Bilddaten mit einem Sichtfeld erfasst, das das Anbaugerät einschließt, wenn sich das Arbeitsfahrzeug dem Anbaugerät zum selektiven Koppeln nähert.
Verfahren nach einem der Ansprüche 1 bis 3, wobei der optische Sensor so positioniert ist, dass er Bilddaten mit einem Sichtfeld erfasst, das ein Anbaugerät einschließt, das an das Arbeitsfahrzeug gekoppelt ist.
Verfahren nach Anspruch 4, wobei das Arbeitsfahrzeug einen Ausleger mit einem Koppler an einem distalen Ende des Auslegers aufweist, und wobei der optische Sensor so positioniert ist, dass er Bilddaten mit dem Sichtfeld erfasst, das das Anbaugerät einschließt, wenn das Anbaugerät selektiv an den Koppler am distalen Ende des Auslegers gekoppelt ist.
Verfahren nach Anspruch 4 oder 5, ferner umfassend: Erfassen von zusätzlichen Bilddaten durch den am Arbeitsfahrzeug montierten optischen Sensor, wobei die zusätzlichen Bilddaten mindestens einen Teil des ersten Anbaugerätes beinhalten, während das Arbeitsfahrzeug und das erste Anbaugerät in Betrieb sind; Bestimmung einer aktuellen Betriebsposition des ersten Anbaugerätes durch Verarbeiten der zusätzlichen Bilddaten durch den elektronischen Prozessor; und Betreiben des Arbeitsfahrzeugs auf Grundlage der ermittelten aktuellen Betriebsposition des ersten Anbaugerätes.
Verfahren nach Anspruch 6, wobei das Bestimmen der aktuellen Betriebsposition des Anbaugerätes Folgendes umfasst: Bereitstellen der zusätzlichen Bilddaten als Eingabe für ein künstliches neuronales Netzwerk, wobei das künstliche neuronale Netzwerk darauf trainiert ist, als Eingabe Bilddaten zu empfangen, die mindestens einen Teil des Anbaugerätes beinhalten, das mit dem Arbeitsfahrzeug gekoppelt ist, und als Ausgabe eine Anzeige der aktuellen Betriebsposition des Anbaugerätes zu erzeugen; und Empfangen der Anzeige der aktuellen Betriebsposition des ersten Anbaugerätes als Ausgabe des künstlichen neuronalen Netzwerks.
Verfahren nach Anspruch 7, wobei das künstliche neuronale Netzwerk ein neuronales Netzwerk für die Anbaugeräteposition umfasst, und wobei die Identifikation des Gerätetyps des ersten Anbaugerätes durch Verarbeitung der erfassten Bilddaten auch Folgendes umfasst: Bereitstellen der erfassten Bilddaten als Eingabe für ein neuronales Netzwerk zur Anbaugeräteidentifikation, wobei das neuronale Netzwerk zur Anbaugeräteidentifikation darauf trainiert wird, als Ausgabe eine Identifikation des Anbaugerätetyps des in den Bilddaten erfassten Anbaugerätes zu erzeugen; und Empfangen einer Angabe der Identifikation des ersten Anbaugerätes als Ausgabe des neuronalen Netzwerks zur Anbaugeräteidentifikation, wobei das neuronale Netzwerk zur Anbaugerätepositionierung ferner so konfiguriert ist, dass es als zusätzliche Eingabe die Angabe des Anbaugerätetyps des ersten Anbauerätes vom neuronalen Netzwerk zur Anbaugeräteidentifikation empfängt.
Verfahren nach Anspruch 7 oder 8, wobei das künstliche neuronale Netzwerk so trainiert wird, dass es Bilddaten als Eingabe erhält und als Ausgabe sowohl die Identifikation des Anbaugerätetyps des ersten Anbaugerätes als auch die Anzeige der aktuellen Betriebsposition des ersten Anbaugerätes erzeugt.
Verfahren nach einem der Ansprüche 7 bis 9, wobei das Bereitstellen der zusätzlichen Bilddaten als Eingabe für das künstliche neuronale Netzwerk auch das Bereitstellen einer Bildersequenz, die von dem optischen Sensor über einen bestimmten Zeitraum aufgenommen wurde, als Eingabe für das künstliche neuronale Netzwerk beinhaltet.
Verfahren nach einem der Ansprüche 6 bis 10, wobei der Betrieb des Arbeitsfahrzeugs auf der Grundlage der ermittelten aktuellen Betriebsposition des ersten Anbaugerätes das Durchführen eines automatisierten oder halbautomatisierten Prozesses durch das Arbeitsfahrzeug beinhaltet, indem eine Position des ersten Anbaugerätes relativ zu dem Arbeitsfahrzeug steuerbar eingestellt wird.
Verfahren nach Anspruch 11, wobei der automatisierte oder halbautomatisierte Prozess mindestens einen Vorgang umfasst, der aus einer Gruppe ausgewählt wird, die aus einem Rückkehr zum Grabungsbetrieb, einem Rückkehr zum Tragebetrieb und einem Soft-Stop-Vorgang besteht.
Verfahren nach einem der Ansprüche 1 bis 12, wobei der Zugriff auf die Betriebsinformationen, die dem identifizierten Anbaugerätetyp des ersten Anbaugerätes entsprechen, auch den Zugriff auf eine maximale und eine minimale Anbaugerätepositionseinstellung für das erste Anbaugerät beinhaltet, und wobei die automatische Einstellung eines Betriebs des Arbeitsfahrzeugs auf der Grundlage der abgerufenen Betriebsinformationen, die dem identifizierten Anbaugerätetyp des ersten Anbaugerätes entsprechen, die steuerbare Einstellung einer Position des ersten Anbaugerätes innerhalb der maximalen und der minimalen Anbaugerätepositionseinstellungen für das erste Anbaugerät beinhaltet. das Arbeitsfahrzeug so konfiguriert ist, dass es den Betrieb des Arbeitsfahrzeugs durch kontrollierte Einstellung einer Position des ersten Anbaugerätes durchführt.
Steuersystem für ein Arbeitsfahrzeug, wobei das Arbeitsfahrzeug betriebsfähig mit einem selektiv austauschbaren Anbaugerät koppelbar ist, und wobei das Steuersystem Folgendes umfasst: Ein optisches Sensorsystem, das auf dem Arbeitsfahrzeug montiert und mit einem Sichtfeld positioniert ist, das mindestens einen Teil eines an das Arbeitsfahrzeug gekoppelten Anbaugerätes einschließt; einen nichtflüchtigen, computerlesbaren Speicher, der Betriebsinformationen speichert, die jedem aus einer Vielzahl von Anbaugeräten entsprechen; und einen elektronischen Prozessor, der so konfiguriert ist, dass er einen Vorgang ausführt, indem er eine Position des Anbaugerätes relativ zum Arbeitsfahrzeug steuerbar einstellt, Bilddaten empfängt, die vom optischen Sensorsystem erfasst wurden, ein künstliches neuronales Netzwerk verwendet, um einen Anbaugerätetyp des Anbaugerätes zu identifizieren, das derzeit an das Arbeitsfahrzeug gekoppelt ist, basierend auf den Bilddaten von dem optischen Sensorsystem, wobei das künstliche neuronale Netzwerk so trainiert ist, dass es die Bilddaten als Eingabe empfängt und als Ausgabe eine Anzeige des Anbaugerätetyps erzeugt, von einem nichtflüchtigen computerlesbaren Speicher auf die Betriebsinformationen zugreift, die dem identifizierten Anbaugerätetyp entsprechen, und den Betrieb des Arbeitsfahrzeugs automatisch anpasst, auf der Grundlage der abgerufenen Betriebsinformationen, die dem identifizierten Anbaugerätetyp entsprechen.
Steuersystem nach Anspruch 14, wobei das künstliche neuronale Netzwerk ferner darauf trainiert ist, als Ausgabe eine Anzeige für eine aktuelle Betriebsposition des Anbaugerätes zu erzeugen, das derzeit an das Arbeitsfahrzeug gekoppelt ist, und wobei der elektronische Prozessor ferner konfiguriert ist, um Steuersignale für ein oder mehrere Stellglieder zu erzeugen und diese so automatisch oder halbautomatisch zu betreiben, basierend auf der aktuellen Betriebsposition des Anbaugerätes.