DE102014217746A1

DE102014217746A1 - Steuersystem zum Bewegen eines Fahrzeugs in Bezug auf ein an dem Fahrzeug anzubringendes Arbeitsgerät

Info

Publication number: DE102014217746A1
Application number: DE201410217746
Authority: DE
Inventors: Han Shufeng; Bryan K. Buerkle; Steven A. Duppong; Christopher D. Turner
Original assignee: Deere and Co
Current assignee: Deere and Co
Priority date: 2013-09-16
Filing date: 2014-09-04
Publication date: 2015-03-19
Also published as: US9880560B2; BR102014021838B1; CN104460361A; BR102014021838A2; BR102014021838B8; CN104460361B; US20150077557A1

Abstract

Ein Steuersystem (24) zum Bewegen eines Fahrzeugs in Bezug auf ein an dem Fahrzeug anzubringendes Arbeitsgerät, wobei das Fahrzeug Antriebs- und Lenksteuersysteme (44, 46) hat, die auf jeweilige Eingabesignale reagieren. Das Steuersystem (24) umfasst ein optisches Ziel, das auf dem Arbeitsgerät montiert werden kann, und mindestens eine Kamera (20, 22), die auf dem Fahrzeug montiert werden kann. Die mindestens eine Kamera (20, 22) erzeugt Bilder des Ziels. Eine elektronische Steuereinheit (30) empfängt die Bilder von der mindestens einen Kamera (20, 22). Die elektronische Steuereinheit (30) verarbeitet die Bilder und erzeugt Fahrzeugbewegungsbefehlssignale in Abhängigkeit von den Bildern, wobei die Fahrzeugbewegungsbefehlssignale von der elektronischen Steuereinheit (30) zur Kommunikation mit den Antriebs- und Lenksteuersystemen (44, 46) zum Bewegen des Fahrzeugs in eine Kupplungsposition erzeugt werden, so dass das Arbeitsgerät an das Fahrzeug gekuppelt werden kann.

Description

Die vorliegende Erfindung betrifft ein Steuersystem zum Bewegen eines Fahrzeugs in Bezug auf ein an dem Fahrzeug anzubringendes Arbeitsgerät.
Beim Betrieb von landwirtschaftlichen Fahrzeugen ist es oftmals erforderlich, ein Arbeitsgerät an eine Kupplung anzuschließen, die sich am Heck des Fahrzeugs befindet. Der Zeit- und Arbeitsaufwand, der zum manuellen Ausrichten des Fahrzeugs auf das Arbeitsgerät erforderlich ist, kann beträchtlich sein, je nach dem Geschick des Bedieners beim Steuern des Fahrzeugs und der Fähigkeit des Bedieners, sowohl eine Arbeitsgerätedeichsel als auch eine Fahrzeugzugstange zu sehen. Insbesondere bei großen Geländefahrzeugen, wie einem landwirtschaftlichen Traktor, kann das Blickfeld des Bedieners beeinträchtigt sein, so dass der Bediener möglicherweise nicht dazu in der Lage ist, eine oder beide der Arbeitsgerätedeichsel und/oder der Fahrzeugzugstange zu sehen. Es wäre wünschenswert, über ein Steuersystem zu verfügen, das elektronische Steuerungen hat, die den Vorgang auf der Basis von Bildern, die von mindestens einer Kamera erhalten werden, automatisieren.
Diese und andere Gegenstände werden von der vorliegenden Erfindung erzielt, wobei ein Steuersystem zum Bewegen eines Fahrzeugs in Bezug auf ein an dem Fahrzeug anzubringendes Arbeitsgerät bereitgestellt wird, wobei das Fahrzeug Antriebs- und Lenksteuersysteme hat, die auf jeweilige Eingabesignale reagieren. Das Steuersystem umfasst ein optisches Ziel, das auf dem Arbeitsgerät montiert werden kann, und mindestens eine Kamera, die auf dem Fahrzeug montiert werden kann. Die mindestens eine Kamera erzeugt Bilder des Ziels. Eine elektronische Steuereinheit empfängt die Bilder von der mindestens einen Kamera. Die elektronische Steuereinheit verarbeitet die Bilder und erzeugt Fahrzeugbewegungsbefehlssignale in Abhängigkeit von den Bildern, wobei die Fahrzeugbewegungsbefehlssignale von der elektronischen Steuereinheit zur Kommunikation mit den Antriebs- und Lenksteuersystemen zum Bewegen des Fahrzeugs in eine Kupplungsposition erzeugt werden, so dass das Arbeitsgerät an das Fahrzeug gekuppelt werden kann.
Das Steuersystem richtet die Kupplung des Fahrzeugs auf das Arbeitsgerät, wie einen anzuschließenden Wagen oder Anhänger, aus. Das Fahrzeug hält automatisch an, wenn die Kupplung, wie eine Fahrzeugzugstange, auf eine Arbeitsgerätedeichsel ausgerichtet ist. Dies reduziert das von einem Bediener erforderte Geschick und überwindet die Blickfeldeinschränkungen.
Zwecks eines vollständigen Verständnisses der Gegenstände, Techniken und Struktur der Erfindung sollte auf die folgende ausführliche Beschreibung und die begleitenden Zeichnungen Bezug genommen werden, in denen ähnliche Komponenten mit identischen Bezugsziffern bezeichnet sind:
1 ist eine vereinfachte schematische Seitenansicht eines landwirtschaftlichen Traktors und eines an den landwirtschaftlichen Traktor zu kuppelnden Arbeitsgeräts,
2 ist eine Vorderansicht eines Ziels, das auf dem Arbeitsgerät von 1 montiert ist,
3 ist ein schematisches Blockdiagramm des Steuersystems, das die vorliegende Erfindung verkörpert und das die Bewegung des landwirtschaftlichen Traktors von 1 steuert,
4 ist ein schematisches Blockdiagramm einer Wahrnehmungsmaschine, die Teil des Steuersystems von 3 ist,
5 ist ein schematisches Blockdiagramm eines Steuergeräts, das Teil des Steuersystems von 3 ist, und
6 ist eine Ablaufdiagrammdarstellung einer Schnittstelle, die Teil des Steuersystems von 3 ist.
Unter Bezugnahme auf 1 hat ein Fahrzeug, wie ein landwirtschaftlicher Traktor 10, eine herkömmliche Kupplung 11 und/oder eine Fahrzeugzugstange 12 zum Kuppeln an ein Arbeitsgerät 14. Ein Ziel 16 wird auf dem Arbeitsgerät 14 montiert, so dass es aus der Richtung des landwirtschaftlichen Traktors 10 sichtbar ist. Das Ziel 16 ist vorzugsweise auf dem Arbeitsgerät 14 drehbar um einen Drehzapfen 18 mit einer Drehachse montiert, die zu einer Längsachse des Arbeitsgeräts 14 quer verläuft. Ein Paar Kameras 10 und 22 ist auf einem hinteren oberen Teil des landwirtschaftlichen Traktors 10 montiert. Vorzugsweise beinhalten die Kameras eine Nahsichtkamera 20 und eine Weitsichtkamera 22. Vorzugsweise hat das Ziel 16 ein Schachbrettmuster zur leichten Identifizierung der Eckenpositionen.
Verschiedene Arten von Kameras 20 und 22 können verwendet werden, wie eine CCD-Kamera (CCD = charge-coupled device, Digitalkamera) oder eine CMOS-Kamera (CMOS = complementary metal-oxide-semiconductor, Kamera mit komplementärem Metall-Oxid-Halbleiter). Die Bilddaten von den Kameras 20 und 22 können digital oder analog, in Farbe oder in Schwarzweiß sein. Die Kameras 20 und 22 sollten einen hohen Dynamikbereich haben, so dass sie das Bild des Ziels 16 in den hellsten und den dunkelsten Betriebsbedingungen erfolgreich aufnehmen können. Das Sichtfeld der Kameras 20 und 22 sollte große genug sein, um das Ziel 16 in den weitesten und nächsten Entfernungen von dem landwirtschaftlichen Traktor 10 zu dem Arbeitsgerät 14 identifizieren zu können. Wenn ein Sichtfeld einer einzigen Kamera nicht den gesamten Entfernungsbereich abdecken kann, kann eine zusätzliche Kamera verwendet werden. Vorzugsweise sind die Kameras 20 und 22 hochauflösende Farbdigitalkameras.
Die Bilddaten von den Kameras 20 und 22 werden von Bildaufnahmehardware und zugehöriger Bildverarbeitungssoftware verarbeitet. Je nach den Bilddaten der Kameras 20 und 22 kann die Bildaufnahmehardware verschiedene Varianten aufweisen, wie einen ADC (Analog-Digital-Wandler), eine direkte physische Schnittstelle unter Verwendung eines der Standardprotokolle (d. h. Camera Link, FireWire, USB usw.). Ein Digitalsignalprozessor (DSP) oder ein anderer Digitalprozessor wird zur weiteren Bildverarbeitung verwendet.
Wie in 2 am besten zu erkennen ist, hat das Ziel 16 ein spezifisches Design oder Muster, das von den Kameras 20 und 22 wahrgenommen werden kann. Das Muster kann beispielsweise ein Schachbrettmuster sein, wie in 2 gezeigt.
Unter Bezugnahme auf 3 ist ein Steuersystem 24, das die vorliegende Erfindung verkörpert, gezeigt, in dem die Nahsichtkamera 20 und die Weitsichtkamera 22 an eine elektronische Steuereinheit (ESE) 30 angeschlossen sind. Die ESE 30 verarbeitet die Bilddaten von den Kameras 20 und 22 und erzeugt Traktorbewegungsbefehle, die bewirken, dass der landwirtschaftliche Traktor 10 sich in eine Position bewegt, die das Kuppeln des Arbeitsgeräts 14 an den landwirtschaftlichen Traktor 10 ermöglicht. Die ESE 30 ist dazu programmiert, eine Wahrnehmungsmaschine 32, ein Steuergerät 34 und eine Schnittstelle 36 einzusetzen. Die Wahrnehmungsmaschine 32 verarbeitet die Bilddaten von den Kameras 20 und 22 und erzeugt relative (Traktor-Arbeitsgerät) Lageinformationen, einschließlich der dreidimensionalen Position (x, y, z) und der dreidimensionalen Rotation (Gier-, Nick- und Rollwinkel). Die relativen Lageinformationen werden dann von dem Steuergerät 34 verarbeitet. Die Daten von dem Steuergerät 34 werden von der Schnittstelle 36 weiter verarbeitet. Ein fakultativer Trägheitssensor 38 kann dem Steuergerät 34 Gierraten-, Beschleunigungs- und Nickrateninformationen bereitstellen. Der Trägheitssensor 38 kann zu der ESE 30 entweder intern oder extern sein. Ein Digitaldatenkommunikationsbus 40, wie ein Bus nach ISO 11783 oder SAE J19239, verbindet die Schnittstelle 36 mit einer Bedieneranzeige 42, mit einem herkömmlichen Lenksteuersystem 44, das das Lenken des landwirtschaftlichen Traktors 10 steuert, und mit einem herkömmlichen Antriebssteuersystem 46, das die Bewegung des landwirtschaftlichen Traktors 10 steuert.
Die Kameras 20 und 22 können im Handel erhältliche Komponenten sein, die mit der ESE 30 verdrahtet werden, oder sie können anwendungsspezifisch und in ein ESE-Gehäuse (nicht gezeigt) integriert sein. Vorzugsweise sollten die Kameras 20 und 22 die Geschwindigkeit und Auflösung von HDTV haben. Die Weitsichtkamera 22 würde weiter hinausblicken, um das Arbeitsgerät 14 zu identifizieren und den automatischen Kupplungsarbeitsvorgang aus längeren Entfernungen zu beginnen, und versetzt sich seitlich zu dem Arbeitsgerät 14. Die Nahsichtkamera 20 wird eine höhere Lokalisierungsgenauigkeit bereitstellen, wenn der landwirtschaftliche Traktor 10 sich in der Nähe des Arbeitsgeräts 14 befindet.
Nun unter Bezugnahme auf 4 beinhaltet die Wahrnehmungsmaschine 32 Bildverarbeitungssoftware, die entweder aktiv geschult oder programmiert ist, um die Größe, Geometrie und/oder Farbe des Ziels 16, das sich auf dem Arbeitsgerät 14 befindet, zu erkennen. Die Bildverarbeitungssoftware kann auch dazu in der Lage sein, den Bildfehler und die Bildverzerrung aufgrund der Kameraoptik und der Herstellungstoleranz zu normalisieren.
Die Wahrnehmungsmaschine 32 beinhaltet einen Bildaufnahmevorgang 50, der Bilddaten von den Kameras 20 und 22 empfängt. Die Bilder werden durch einen Bildentzerrungsvorgang 52 entzerrt. Dieser Entzerrungsvorgang 52 findet die Beziehung zwischen den Bildpixelkoordinaten und den entsprechenden Koordinaten in dem Kamerareferenzrahmen. Dieser Entzerrungsvorgang 52 korrigiert außerdem die geometrische Verzerrung, die von der Optik eingebracht wird. Zwei Sätze von Parametern werden verwendet: intrinsische Kameraparameter und Verzerrungskoeffizienten. Diese Parameter werden durch einen Standardkamerakalibrierungsvorgang unter Verwendung eines bekannten Bildmusters, wie eines klassischen schwarzweißen Schachbretts, erhalten. Intrinsische Kameraparameter betreffen nur die spezifische Kamera (Brennweite f, Objektivverzerrnung). Intrinsische Kameraparameter werden in einer Speichervorrichtung gespeichert und beim Starten der Bildverarbeitungssoftware geladen.
Umwandlungsdaten werden durch einen Umwandlungsdatenberechnungsvorgang 54 erhalten und berechnet. Der Umwandlungsdatenberechnungsvorgang 54 findet die Beziehung zwischen den Koordinaten in dem Kamerareferenzrahmen und den entsprechenden Koordinaten in dem Weltreferenzrahmen (d. h. Ort und Ausrichtung des Ziels 16). Diese Beziehung wird von extrinsischen Kameraparametern (Verschiebungs- und Rotationsmatrizen) definiert. Extrinsische Kameraparameter können in der Speichervorrichtung gespeichert werden oder sie können während eines Feldarbeitsvorgangs unter Verwendung eines Kalibrierfelds erhalten werden. Extrinsische Kameraparameter betreffen die Kameramontageposition und den gewählten Weltreferenzrahmen. Wenn die Kamera 20 oder 22 während des Arbeitsvorgangs bewegt wird, muss sie neu kalibriert werden, um einen neuen Satz extrinsischer Kameraparameter zu erhalten.
Ein Vorgang 56 bestimmt eine anfängliche Region von Interesse (RVI) in dem Bild. Ein Vorgang 58 sucht dann nach dem Ziel 16 in der RVI. Der Vorgang 58 berechnet die Verschiebungs- und Rotationsmatrizen aus der aktuellen (relativen) Position zwischen dem landwirtschaftlichen Traktor 10 und dem Ziel 16. Er erzeugt ein Teilbild auf der Basis der RVI, wandelt das Teilbild in Schwarzweiß um, findet die Pixelkoordinaten der Ecken des Zielmusters, präzisiert die Pixelkoordinaten der Ecken und schätzt extrinsische Kameraparameter (Verschiebungs- und Rotationsmatrizen). Da das Ziel 16 ein Schachbrettmuster hat, das dem für die Kalibrierung verwendeten ähnlich ist, sind die Funktionen zum Finden des Ziels 16 den Kamerakalibrierungsroutinen im vorherigen Schritt sehr ähnlich.
Wenn das Ziel 16 nicht gefunden wird, steuert Schritt 60 den Vorgang zurück zu dem Bildaufnahmevorgang 50. Wenn das Ziel 16 gefunden wird, steuert Schritt 60 den Vorgang parallel zu beiden Vorgängen 70 und 72.
Vorgang 70 aktualisiert die RVI und steuert den Vorgang zurück zum Bildaufnahmevorgang 50. Um die Bildverarbeitung zu beschleunigen, verarbeitet die Wahrnehmungsmaschine 32 nicht das gesamte Bild von den Kameras 20 und 22. Stattdessen verarbeitet die Wahrnehmungsmaschine 32 nur die RVI, die nur die Ansicht des Ziels 16 enthält. Da der landwirtschaftliche Traktor 10 sich in Bezug auf das Ziel 16 bewegt, ändert sich das Sichtfeld (SF) ständig. Folglich wird das SF durch den folgenden Algorithmus bestimmt: Xmin_neu = Xmin_alt – dX Xmax_neu = Xmax_alt + dX Ymin_neu = Ymin_alt – dY Ymax_neu = Ymax_alt + dY dX = c·(Xmax_alt – Xmin_alt) dY = c·(Ymax_alt – Ymin_alt), wobei c eine Konstante auf der Basis eines Versuchs ist, wie 0,8.
Vorgang 72 analysiert das Bild, das das Ziel 16 enthält, und erzeugt die Positions- und Lageninformationen des landwirtschaftlichen Traktors 10. Der Vorgang 72 findet die Position und die Ausrichtung des Ziels 16 in dem Weltreferenzrahmen. Die Position und die Ausrichtung des Ziels 16 werden aus den Differenzen zwischen der aktuellen Verschiebung und Rotation und der anfänglichen Verschiebung und Rotation berechnet. Die Position des Ziels 16 sind die dreidimensionalen Weltkoordinaten (wobei z = 0). Die Ausrichtung des Ziels 16 beinhaltet den Rotationswinkel sowie die Nick-, Roll- und Gierwinkel.
Vorgang 74 gibt die Informationen an das Steuergerät 34 aus. Die Position und die Ausrichtung des Ziels 16 (d. h. x, y, Rotationswinkel, die Nick-, Roll- und Gierwinkel) werden an das Lenksteuersystem 44 und das Antriebssteuersystem 46 zur automatischen Navigation gesendet.
Folglich aktualisiert die Wahrnehmungsmaschine 32 die aktuelle RVI auf der Basis einer vorherigen Zielposition. Dies verbessert die Ausgabegeschwindigkeit an das Steuergerät 34, um Echtzeit-Anforderungen zu erfüllen. Es gibt ein Gleichgewicht zwischen dem Auswählen einer großen RVI und dem Auswählen einer kleineren RVI um das Ziel 16 herum. Eine kleinere RVI kann die Bildverarbeitungsgeschwindigkeit verbessern, eine größere RVI kann es aber einfacher gestalten, die nächste Zielposition zu finden. Eine Größe der RVI, die um 120% größer als das Ziel 16 in der horizontalen und der vertikalen Richtung ist, wird bevorzugt.
Nun unter Bezugnahme auf 5 werden die relative Position und die relative Ausrichtung der Kupplung 11 und des Arbeitsgeräts 14 von dem Steuergerät 34 gelesen. Das Steuergerät 34 berechnet die Entfernung zwischen der Kupplung 11 und dem Arbeitsgerät 14, die Spurabweichungs- und Auffahrfehler des landwirtschaftlichen Traktors 10. Diese Informationen werden von dem Steuergerät 34 verarbeitet, um den Lenk- und Geschwindigkeitsbefehl zum Betreiben des landwirtschaftlichen Traktors 10 zu erzeugen. Die Entfernungsberechnung wird dazu verwendet, die Geschwindigkeit zu steuern und den landwirtschaftlichen Traktor 10 anzuhalten, wenn die Kupplung 11 auf das Arbeitsgerät 14 ausgerichtet ist. Die Spurabweichungs- und Auffahrfehler werden verarbeitet, um entweder den landwirtschaftlichen Traktor 10 derart zu positionieren, dass die Mittelachse des landwirtschaftlichen Traktors 10 auf die Mittelachse des Arbeitsgeräts 14 ausgerichtet ist, während die Annäherung der Kupplungspunkte zum Ausrichten von Kupplungen mit mehreren Kontaktpunkten (z. B. Kupplungen mit drei Punkten) anschließend oder gleichzeitig gesteuert wird, oder den landwirtschaftlichen Traktor 10 einfach entlang dem kürzesten Weg zu fahren, um die Entfernung zwischen den Kupplungspunkten bei Kupplungen mit einem einzigen Kontaktpunkt (Kupplungen mit Zugstange/Deichsel) anzunähern.
Das Steuergerät 34 empfängt die folgenden Daten:
Fahrzeugdatenbankinformationen, einschließlich Kupplungsumwandlung, Kupplungshöhe und Trägheitsumwandlung;
Arbeitsgerätedatenbankinformationen, einschließlich Kupplungsumwandlung und Kupplungshöhe; Wahrnehmungsmaschineninformationen, einschließlich x-, y-, z-Position, Roll-, Nick- und Gierwinkel; Trägheitssensorinformationen, einschließlich dreidimensionale Beschleunigungen und Rotationsraten;
Fahrzeugtelemetrieinformationen, einschließlich Radkurvenführung und Raddrehzahl und Trägheitsumwandlung. Das Steuergerät 34 verarbeitet diese Informationen und erzeugt diese Ausgaben: Leitungssteuerungsinformationen, einschließlich Spurabweichungsfehler, normaler Fehler, Auffahrgeschwindigkeit und Auffahrfehler; Geschwindigkeitsbegrenzerinformationen, einschließlich Auffahrfehler, gewünschte Geschwindigkeit und gewünschte Richtung (vorwärts oder rückwärts).
Die Fahrzeugdatenbank befindet sich in dem Steuergerät 34 des landwirtschaftlichen Traktors 10, auf dem das Steuersystem 24 installiert ist. Die Fahrzeugdatenbank kann die folgenden Informationen (und mehr) zu dem landwirtschaftlichen Traktor 10 enthalten: Kupplungsumwandlung, wobei es sich um euklidische Verschiebungs- und Rotationsumwandlungsmatrizen von dem Brennpunkt auf den Kameras 20 und 22 zu einem Nadelloch auf der Fahrzeugzugstange 12 handelt. Kupplungshöhe, wobei es sich um die Größenordnung des Vektors handelt, der zu der Weltreferenzgrundebene zu der Mitte der Kupplung 11 senkrecht ist. Trägheitssensorumwandlung, wobei es sich um die euklidische Verschiebung zwischen dem Trägheitssensor 38 und entweder der Kupplung 11 oder der Kamera 20 oder 22 handelt.
Die Arbeitgerätedatenbank befindet sich ebenfalls in dem Steuergerät 34 des landwirtschaftlichen Traktors 10 und enthält die Informationen zu allen Arbeitsgeräten der Flotte. Sie kann die folgenden Informationen (und mehr) zu den Arbeitsgeräten der Flotte enthalten: Kupplungsumwandlung, wobei es sich um euklidische Verschiebungs- und Rotationsumwandlungsmatrizen von einem Punkt auf dem Ziel 16 zu der Mitte der Arbeitsgerätekupplung handelt.
Kupplungshöhe, wobei es sich um eine Größenordnung des Vektors handelt, der zu der Weltreferenzgrundebene zu der Mitte der Arbeitsgerätekupplung senkrecht ist.
Die Wahrnehmungsmaschine 32 berechnet die Sichtsystemdaten. Sie enthält, die x-, y- und z-Daten, die Roll-, Nick- und Gierwinkel des landwirtschaftlichen Traktors 10 in Bezug auf das Ziel 16 auf dem Arbeitsgerät 14.
Der fakultative Trägheitssensor 38 stellt Fahrzeuglageinformationen bereit, einschließlich Kompasskurs, dreidimensionale Beschleunigung und 3-Achsen-Rotationsraten (Roll-, Nick- und Gierwinkel), ist jedoch nicht darauf beschränkt. Die Vorwärts- oder Rückwärtsgeschwindigkeit der Räder an dem landwirtschaftlichen Traktor 10 und der Links- und Rechtslenkbogen des landwirtschaftlichen Traktors 10 werden von existierenden Sensoren bereitgestellt. Ein oder mehrere Trägheitssensoren können eingesetzt werden, um die Stabilität des Steuergeräts 34 bei einer schnellen Bewegung und die Interpolierung zwischen Wahrnehmungsepiken zu verbessern. Die Trägheitsinformationen können auch anstelle der Wahrnehmung bei einem zeitweise auftretenden Wahrnehmungsverlust verwendet werden.
Infolgedessen führt das Steuergerät 34 dreidimensionale Verschiebungen und Rotationen unter Verwendung von Kalibrierungsdaten und der Ausgabe von der Wahrnehmungsmaschine 32 durch und projiziert den Ort des Arbeitsgerätekupplungspunkts auf die Ebene, auf der der landwirtschaftliche Traktor 10 fährt, um einen seitlichen Versatz und einen Auffahrfehler zu erzeugen. Das Steuergerät 34 erzeugt vorzugsweise einen Lenkbefehl auf der Basis des gleichzeitigen Annäherns von Versatz und Auffahrfehler, um die Arbeitsgerätekupplungspunkte auszurichten. Das Steuergerät 34 erzeugt vorzugsweise ein Geschwindigkeitssteuersignal auf der Basis einer Nachschlagetabelle unter Verwendung von Entfernung und Auffahrfehler als Eingaben. Das Steuergerät 34 ist vorzugsweise außerdem dazu programmiert, eine Erzeugung eines Geschwindigkeitssteuersignals zu verhindern, das bewirken könnte, dass der landwirtschaftliche Traktor 10 im Fall eines Wahrnehmungsinformationsverlusts oder -fehlers „davonfährt” oder die Geschwindigkeit erhöht, während der landwirtschaftliche Traktor 10 gesteuert wird.
Nun unter Bezugnahme auf 6 empfängt die Schnittstelle 36 (von dem Steuergerät 34) die zuvor beschriebenen Ausgabeinformationen und verarbeitet diese Informationen gemäß den in dem Ablaufdiagramm von 6 gezeigten Vorgangsschritten. Wenn der landwirtschaftliche Traktor 10 in Schritt 100 angelassen ist, deaktiviert Schritt 102 die Kupplungs- und Ausrichtungssteuerungen. Schritt 104 verhindert eine weitere Maßnahme, bis der Bediener den Kupplungsausrichtungsvorgang aktiviert.
Wenn der Bediener den Kupplungsausrichtungsvorgang aktiviert, fordert Schritt 106 den Bediener dazu auf, den landwirtschaftlichen Traktor 10 in Richtung des Arbeitsgeräts 14 zu fahren.
Wenn Schritt 108 das Arbeitsgerät 14 erkennt, leitet er die Steuerung zu Schritt 110, andernfalls zurück zu Schritt 106.
Schritt 110 sucht eine Datenbank 112 nach Kalibrierungsdaten ab. Wenn Kalibrierungsdaten gefunden werden, leitet Schritt 114 die Steuerung zu Schritt 116, andernfalls zurück zu Schritt 102.
Schritt 116 sendet die Kalibrierungsdaten an das Steuergerät 34.
Schritt 118 fordert dann den Bediener dazu auf, das automatische Ankuppeln auszulösen.
Schritt 120 leitet die Steuerung zu Schritt 122, wenn der Bediener das automatische Ankuppeln auslöst, andernfalls zurück zu Schritt 118.
Schritt 122 löst automatische Lenksteuerungen und eine automatische Geschwindigkeitsbegrenzung aus.
Schritt 124 leitet die Steuerung zu Schritt 126, wenn die automatische Ausrichtung aktiv ist und der Bediener einer Steuerung eine manuelle Eingabe bereitstellt (das Lenkrad dreht, das Kupplungspedal durchdrückt, den Gang wechselt oder die Bremsen betätigt), wodurch die automatische Steuerung deaktiviert wird. Infolgedessen hat der Bediener Priorität, so dass der Bediener die Steuerung des landwirtschaftlichen Traktors 10 übernehmen kann.
Schritt 126 beendet die Automatisierung, stellt den landwirtschaftlichen Traktor 10 auf manuelle Steuerung zurück und leitet die Steuerung zurück zu Schritt 102.
Schritt 128 leitet die Steuerung zu Schritt 130, wenn die Kupplung 11 des landwirtschaftlichen Traktors 10 und das Arbeitsgerät 14 ausgerichtet sind, andernfalls zurück zu Schritt 102.
Schritt 130 beendet die Automatisierung, fordert den Bediener dazu auf, den landwirtschaftlichen Traktor 10 in die Parkposition zu versetzen, und leitet die Steuerung zurück zu Schritt 102.
Die Schnittstelle 36 implementiert eine menschliche Schnittstelle unter Verwendung standardmäßiger virtueller Endgerätetechnologie und implementiert eine Arbeitsgerätefahrzeugsteuerung der Klasse 3. Beide sind in der Norm ISO 11783 definiert. Alternativ dazu gibt es andere Mittel zum Implementieren der menschlichen Schnittstelle.
Die Umwandlung des obigen Ablaufdiagramms in eine Standardsprache zum Implementieren des durch das Ablaufdiagramm beschriebenen Algorithmus in einem Digitalrechner oder Mikroprozessor der ESE 30 wird einem Durchschnittsfachmann offenbar sein.
Viele andere Kameraanordnungen könnten verwendet werden, wie Stereoabbildung, automatische Verfolgung, PTZ (Pan/Tilt/Zoom, Schwenken/Neigen/Zoomen) mit Autofokus, wenn die Rückmeldung von der mechanischen Objektivposition und das Schwenken/Neigen eine ausreichende Genauigkeit aufweisen. Das Ziel 16 kann einen Code zur automatischen Identifizierung des Arbeitsgeräts 14 beinhalten, so dass Kalibrierungsparameter automatisch von einer Speichervorrichtung geladen werden können.
Das hierin beschriebene Steuersystem stellt die Position des Arbeitsgeräts in Bezug auf den landwirtschaftlichen Traktor bereit. Die Bewegung des landwirtschaftlichen Traktors, die von dem Steuersystem erkannt wird, kann mit existierenden Geschwindigkeits- und Beschleunigungsbordsensoren, einschließlich Berechnungen von einem GPS, kombiniert werden. Ein derartiges kombiniertes Signal kann dazu verwendet werden, die Steuerung des Wegs, den der landwirtschaftliche Traktor entlang fährt, zu verbessern. Dieses Steuersystem könnte auch von automatisch gelenkten Traktor-Arbeitsgerät-Paaren dazu verwendet werden, Richtungsumkehrungen unter Anwendung einer Rückwärtsbewegung durchzuführen, um automatische Wendemanöver zu erzielen. Das Steuersystem kann den Weg des landwirtschaftlichen Traktors und des Arbeitsgeräts steuern, wenn das Arbeitsgerät rückwärts geschoben wird. Das Steuersystem stellt außerdem dreidimensionale Informationen zu dem Arbeitsgerät bereit, wenn es an den landwirtschaftlichen Traktor gekuppelt ist. Die Bodenfreiheit von Arbeitsgeräten oder die Eindringtiefe von in den Erdboden eindringenden Arbeitsgeräten kann durch Referenzieren der Arbeitsgerätehöhe in Bezug auf den landwirtschaftlichen Traktor, der auf der Oberfläche arbeitet, gemessen werden. Diese Erfindung kann auch mit einem automatischen Ankuppelsystem verwendet werden, so dass kein manueller Aufwand erforderlich ist, um den landwirtschaftlichen Traktor anzukuppeln, wenn er auf das Arbeitsgerät ausgerichtet wird. Diese Erfindung findet auch Anwendung für sowohl Kupplungen mit einem einzigen Kontaktpunkt (z. B. Kupplungen mit Zugstange/Deichsel) als auch Kupplungen mit mehreren Kontaktpunkten (z. B. Kupplungen mit drei Kontaktpunkten) für Arbeitsgeräte, die sich an einer beliebigen Stelle an dem Fahrzeug (Front, Heck, auf und unter dem Fahrzeug) ankuppeln lassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

ISO 11783 [0016]
SAE J19239 [0016]
Norm ISO 11783 [0047]

Claims

Steuersystem zum Bewegen eines Fahrzeugs in Bezug auf ein an dem Fahrzeug anzubringendes Arbeitsgerät, wobei das Fahrzeug (10) Antriebs- und Lenksteuersysteme (44, 46) hat, die auf jeweilige Eingabesignale reagieren, wobei das Steuersystem (24) ein optisches Ziel (16), das auf dem Arbeitsgerät (14) montiert werden kann; mindestens eine Kamera (20, 22), die auf dem Fahrzeug (10) montiert werden kann, wobei die mindestens eine Kamera (20, 22) Bilder des Ziels (16) erzeugt; und eine elektronische Steuereinheit (30) umfasst, die die Bilder von der mindestens einen Kamera (20, 22) empfängt, wobei die elektronische Steuereinheit (30) die Bilder verarbeitet und Fahrzeugbewegungsbefehlssignale in Abhängigkeit von den Bildern erzeugt, wobei die Fahrzeugbewegungsbefehlssignale von der elektronischen Steuereinheit (30) zur Kommunikation mit den Antriebs- und Lenksteuersystemen (44, 46) zum Bewegen des Fahrzeugs (10) in eine Kupplungsposition erzeugt werden, so dass das Arbeitsgerät (14) an das Fahrzeug (10) gekuppelt werden kann.
Steuersystem nach Anspruch 1, dadurch gekennzeichnet, dass die elektronische Steuereinheit (30) eine Wahrnehmungsmaschine (32), die mit der mindestens einen Kamera (20, 22) verbunden ist, ein Steuergerät (34), das mit der Wahrnehmungsmaschine (32) verbunden ist, und eine Schnittstelle (36) umfasst, wobei die Schnittstelle (36) mit dem Steuergerät (34) und mit den Antriebs- und Lenksteuersystemen (44, 46) verbunden ist.
Steuersystem nach Anspruch 2, dadurch gekennzeichnet, dass die Wahrnehmungsmaschine (32) eine Region von Interesse bestimmt und die Region von Interesse auf der Basis einer Zielposition regelmäßig aktualisiert.
Steuersystem nach Anspruch 3, dadurch gekennzeichnet, dass die Region von Interesse ein Teil des Bilds ist, das von der mindestens einen Kamera (20, 22) empfangen wurde.
Steuersystem nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass die Region um ungefähr 120% größer als das Ziel (16) in jeder Richtung ist.
Steuersystem nach mindestens einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die Wahrnehmungsmaschine (32) ein Bild von der mindestens einen Kamera (20, 22) aufnimmt, das Bild entzerrt und nach dem Ziel (16) sucht.
Steuersystem nach Anspruch 6, dadurch gekennzeichnet, dass, wenn das Ziel (16) gefunden wird, die Wahrnehmungsmaschine (32) Fahrzeugstellungsinformationen einholt und diese Informationen an das Steuergerät (34) überträgt.
Steuersystem nach mindestens einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Ziel (16) ein Schachbrettmuster zeigt.
Steuersystem nach mindestens einem der Ansprüche 1 bis 8, gekennzeichnet durch eine Nahsichtkamera (20) und eine Weitsichtkamera (22).