DE69814847T2

DE69814847T2 - Agrar-erntemaschine mit roboter-kontrolle

Info

Publication number: DE69814847T2
Application number: DE69814847T
Authority: DE
Inventors: Henning Pangels; Thomas Pilarski; Kerien Fitzpatrick; Michael Happold; Regis Hoffman; William Whittaker
Original assignee: Carnegie Mellon University
Current assignee: Carnegie Mellon University
Priority date: 1997-04-16
Filing date: 1998-04-15
Publication date: 2004-01-22
Anticipated expiration: 2018-04-16
Also published as: US6336051B1; DE69814847D1; WO1998046065A1; EP0975209A1; EP0975209A4; EP0975209B1; AU7110698A

Description

Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf landwirtschaftliche Maschinen, und insbesondere auf Erntemaschinen, die als Teil des Erntevorganges das Erntematerial oder die Pflanzen, auf denen das Erntematerial wächst, mähen oder abschneiden. Die Erfindung ergibt eine automatische Lenkungssteuerung, die in der Lage ist, die Erntematerial-Linie zwischen gemähtem und nicht gemähtem Erntematerial zu lokalisieren, die Erntemaschine entlang der Erntematerial-Linie zu lenken, während diese ein Feld überquert, das Ende einer Erntematerial-Reihe festzustellen, und beim Erreichen das Ende einer Erntematerial-Reihe das Wenden der Erntemaschine zu steuern, um einen neuen Durchlauf über das Feld zu beginnen.
Hintergrund der Erfindung
In den letzten Jahren wurden viele der Funktionen von Erntemaschinen, die normalerweise manuell von einem Fahrer gesteuert wurden, automatisiert. Die akustische und optische Messung durch den Fahrer wurde durch optische, akustische, magnetische, Hochfrequenz- und andere Typen von Sensoren ersetzt. Mikroprozessoren, die in Abhängigkeit von von den Sensoren gemessenen Bedingungen arbeiten, haben die manuelle Steuerung der mechanischen Funktionen durch den Fahrer ersetzt. Es ist jedoch immer noch erforderlich, einen Fahrer zum Lenken der Erntemaschine zu haben, um (1) sie entlang einer Erntematerial-Linie zu bewegen, (2) die Erntemaschine zu wenden, wenn das Ende einer Erntematerial-Reihe erreicht wurde, und (3) Hindernissen auszuweichen, die auf dem Feld vorhanden sein können.
Wenn die Notwendigkeit eines Fahrers beseitigt werden kann, würde es nicht erforderlich sein, eine Kabine für die Erntemaschine oder die vielen Fahrer-Komfortmerkmale vorzusehen, wie z. B. Klimatisierung, Stereogeräte, usw., die heute auf vielen Erntemaschinen vorgesehen sind.
Selbst wenn die Notwendigkeit eines Fahrers nicht vollständig beseitigt wird, ist es dennoch wünschenswert, eine gewisse Form einer automatischen Lenkung oder „Fahrtsteuerung" vorzusehen, um die Belastung des Fahrers zu verringern und um den Wirkungsgrad bei der Ausnutzung der Erntemaschine zu vergrößern. Obwohl ein Fahrer ohne weiteres eine Erntemaschine entlang einer Erntematerial-Linie mit Geschwindigkeiten von ungefähr 4 bis 5 Meilen pro Stunde lenken kann, ist die dauernde Aufmerksamkeit, die erforderlich ist, um dies auszuführen, extrem ermüdend, und ein Fahrer kann diese Geschwindigkeit nicht über lange Zeitperioden aufrechterhalten. Der Wirkungsgrad der Anwendung der Erntemaschine könnte dadurch vergrößert werden, daß irgendeine Form von Fahrtsteuerung vorgesehen wird, die die Erntemaschine entlang der Erntematerial-Linie mit der maximalen Erntemaschinen-Geschwindigkeit lenkt und die Erntemaschine entweder stoppt oder dem Fahrer ein Signal gibt, die manuelle Steuerung der Lenkung zu übernehmen, wenn sich die Erntemaschine dem Ende eines Erntematerial-Feldes nähert.
Die EP-A-0 801 885 offenbart eine automatische Lenkungssteuerung, die Videobilder verarbeitet, um die Erntematerial-Linie zwischen gemähtem und nicht gemähtem Erntematerial zu lokalisieren, und die die Fahrtrichtung einstellt, damit die Erntemaschine dieser Erntematerial-Linie folgt. Das Dokument offenbart nicht, wie das Ende einer Erntematerial-Reihe festgestellt werden kann.
Die US-A-4 077 488 offenbart in gleicher Weise ein System, das die Begrenzung zwischen gemähtem und ungemähtem Erntematerial lokalisiert. Dieses System ist jedoch lediglich in der Lage, eine Bildzeile zu verarbeiten. Es ist nicht in der Lage, das Vorhandensein des Endes einer Erntematerial-Reihe vor der landwirtschaftlichen Maschine festzustellen.
Zusammenfassung der Erfindung
Gemäß einem Gesichtspunkt der vorliegenden Erfindung wird ein Roboter-Steuersystem für eine landwirtschaftliche Erntemaschine geschaffen, das zumindest eine Videokamera, die auf der Erntemaschine zur Betrachtung der sich ändernden Szene vor der Erntemaschine und zur Erzeugung von Bildern der sich ändernden Szene während der Bewegung der Erntemaschine entlang eines geplanten Pfades befestigt ist, und ein Modul zur Abtastung jeder Zeile eines Bildes zur Bestimmung einschließt, ob eine Erntematerial-Linien-Begrenzung in der Zeile angezeigt ist,
dadurch gekennzeichnet, daß das Modul ein Reihenende-Detektor-Modul umfaßt, um aus der Feststellung, welche Zeilen eine Erntematerial-Linien-Begrenzung anzeigen, und welche Zeilen dies nicht tun, die wahrscheinlichste Zeile zu bestimmen, die das Ende einer Erntematerial-Reihe abbildet.
Gemäß einem weiteren Gesichtspunkt der vorliegenden Erfindung wird ein Verfahren zum Ernten von Erntematerial mit einer Erntematerial-Erntemaschine geschaffen, die ein Roboter-Steuersystem aufweist, mit den folgenden Schritten:
Erzeugen von Bildern von zumindest einer Videokamera, die auf der Erntemaschine befestigt ist, um die sich ändernde Szene vor der Erntemaschine anzuzeigen, während sich die Erntemaschine entlang eines Lenkungspfades bewegt, und
Abtasten jeder Zeile jedes Bildes mit Hilfe eines Moduls zur Feststellung, ob eine Erntematerial-Linien-Begrenzung angezeigt ist,
dadurch gekennzeichnet, daß das Modul ein Reihenende-Detektor-Modul ist, und daß das Verfahren den weiteren folgenden Schritt umfaßt:
daß das Reihenende-Detektor-Modul aus der Feststellung, welche Zeilen eine Erntematerial-Linienbegrenzung anzeigen, und welche nicht, die wahrscheinlichste Zeile bestimmt, die das Ende einer Erntematerialreihe abbildet.
Das Reihendetektor-Modul kann in einem Roboter-Steuersystem für eine landwirtschaftliche Erntemaschine verwendet werden, wobei das Roboter-Steuersystem ein Ausführungs-Überwachungs-Modul umfaßt, das schrittweise durch eine Vielzahl von endlichen Zuständen durch Auslösemeldungen von einem Feldüberdeckungs-Planungs-Modul, einem globalen Bewegungsbahn-Verfolgungs-Modul, einem Steuerungs-Modul, einem Reihenende-Detektor-Modul und einem Feldüberdeckungs-Überwachungs-Modul folgegesteuert wird, wobei das Ausführungs-Überwachungs-Modul zumindest eines der Feldüberdeckungs- Planungsmodule, der globalen Bewegungsbahn-Verfolgungs-Module, der Reihenende-Detektor-Module, eines Erntematerial-Linien-Verfolgungs-Moduls oder eines örtliche Bewegungsbahn-Verfolgungs-Module in jedem endlichen Zustand aktiviert, um auf diese Weise Lenkungssignale zum Lenken der Erntemaschine entlang eines Pfades zu erzeugen, die von einem Feldüberdeckungs-Plan festgelegt sind, um das gesamte Erntematerial auf einem Feld zu mähen.
Das globale Bewegungsbahn-Verfolgungs-Modul kann Voten erzeugen, die die bevorzugte Richtung anzeigen, entlang der die Erntemaschine gelenkt werden soll, um dem Pfad zu folgen, und das Erntematerial-Linien-Verfolgungs-Modul erzeugt Lenkungs-Voten hinsichtlich der Richtung, entlang der die Erntemaschine gelenkt werden sollte, um einer Erntematerial-Linie zwischen gemähtem und nicht gemähtem Erntematerial zu folgen, wobei das System weiterhin ein kontinuierlich laufendes Lenkungsentscheidungs-Modul zur Erzeugung von Lenkbefehlen aus all den Lenkungs-Voten und eine kontinuierlich arbeitende Steuereinrichtung umfaßt, die auf die Lenkbefehle anspricht, um Signale zur differenziellen Ansteuerung der Vorderräder der Erntemaschine zu erzeugen, um diese zu lenken.
Das Roboter-Steuersystem schließt zumindest eine und vorzugsweise zwei abwechselnd aktive Videokameras, die auf der Erntemaschine befestigt sind, um die sich ändernde Szene vor der Erntemaschine zu betrachten und um Bilder hiervon zu erzeugen, während sich die Erntemaschine entlang des geplanten Pfades bewegt, eine Bildfangeinrichtung zum Einfangen eines Bildes zu einer Zeit von der aktiven Kamera, und einen Video-Verarbeitungscomputer zum Analysieren jedes Bildes Pixel für Pixel entsprechend einer Farb-Diskriminantenfunktion zur Lokalisierung einer Erntematerial-Linie zwischen gemähtem und ungemähtem Erntematerial ein, wobei die Farb-Diskriminantenfunktion adaptiv dadurch aktualisiert wird, daß als Diskriminatorfunktion, die bei der Analyse eines Bildes verwendet wird, die lineare Fisher-Diskriminatorfunktion im RGB-Raum zwischen den gemähten und nicht gemähten Pixel-Klassen für das vorhergehende Bild berechnet wird. Vor der Analyse jedes Bildes zur Lokalisierung der Erntematerial-Linie kann das Bild gegen Schatten vorkompensiert werden.
Das Roboter-Steuersystem kann zumindest eine und vorzugsweise zwei abwechselnd aktive Videokameras, die auf einer Erntemaschine befestigt sind, um die sich ändernde Szene vor der Erntemaschine zu betrachten und um Bilder hiervon während der Bewegung der Erntemaschine entlang des geplanten Pfades zu erzeugen, eine Bildfangeinrichtung zum Einfangen eines Bildes zu einer Zeit von der aktiven Kamera und einen Video-Verarbeitungscomputer zum Analysieren jedes Bildes Pixel für Pixel und Abtastzeile für Abtastzeile einschließen, um für jede Abtastzeile einen Erntematerial-Linien-Punkt zwischen gemähtem und nicht gemähtem Erntematerial zu lokalisieren, wenn eine Erntematerial-Linie in der Abtastzeile abgebildet ist, und um zu bestimmen, welche Abtastzeile die wahrscheinlichste Abbildung des Endes einer Erntematerial-Reihe ist.
In vorteilhafter Weise kann das Roboter-Steuersystem zumindest eine und vorzugsweise zwei abwechselnd aktive Videokameras, die auf einer Erntemaschine zur Betrachtung der sich ändernden Szene vor der Erntemaschine befestigt sind und Bilder hiervon erzeugen, während sich die Erntemaschine entlang des geplanten Pfades bewegt, eine Bildfangeinrichtung zum Einfangen eines Bildes zu einer Zeit von der aktiven Kamera und einen Video-Verarbeitungscomputer zum Analysieren jedes Bildes Pixel für Pixel einschließen, um die Wahrscheinlichkeit zu bestimmen, daß ein Bereich des Bildes, der jedes Pixel umgibt, eine Abbildung eines Hindernisses auf dem Pfad der Erntemaschine ist.
Kurze Beschreibung der Zeichnungen
1 zeigt eine Erntemaschine, die sich über ein Feld bewegt, auf dem ein Teil des Erntematerials gemäht wurde.
2 ist ein Blockschaltbild der Hardware, die das Erntemaschinen-Steuersystem gemäß einer bevorzugten Ausführungsform der Erfindung bildet,
3 und 4 zeigen einen Anzeige-Bildschirm, der ein Videobild eines Feldes vor der Erntemaschine (3) und die Erntemaschinen-Statusinformation (4) darstellt.
5 ist ein Blockschaltbild, das die Software-Module des Steuersystems zeigt.
6 ist ein Ablaufdiagramm, das die Folgesteuerung von Operationen durch das Ausführungs-Überwachungs-Modul zeigt.
7A und 7B sind Darstellungen, die zur Erläuterung der mathematischen Grundlage der Betriebsweise der Erntematerial-Linien-Verfolgungseinrichtung nützlich sind.
8 ist ein Ablaufdiagramm, das die Betriebsweise des Erntematerial-Linien-Verfolgungs-Moduls erläutert.
9 ist ein Ablaufdiagramm, das die Betriebsweise des Hindernis-Ausweich-Moduls erläutert.
10 ist ein Ablaufdiagramm, das die Betriebsweise des Reihenende-Detektor-Moduls erläutert.
11 umfaßt grafische Darstellungen, die die Auswirkung einer zeitlichen Bewertung und Mittelwertbildung von Erntematerial-Linien-Verfolgungs-Lenkungssignalen durch das Lenkungs-Entscheidungs-Modul erläutern.
12 ist ein Ablaufdiagramm von Operationen, die von dem Lenkungs-Entscheidungs-Modul hinsichtlich der Modul-Lenkungssignale ausgeführt werden, um Lenkungs-Vorzugssignale zu entwickeln, und
13 ist ein Ablaufdiagramm, das die Betriebsweise des Lenkungs-Entscheidungsmoduls zur Erzeugung von Lenkungsbefehlen in Abhängigkeit von Lenkungs-Vorzugssignalen von zwei Modulen erläutert.
Beschreibung von bevorzugten Ausführungsformen
System-Hardware
1 zeigt eine landwirtschaftliche Maschine 10 während des Vorganges des Mähens eines Erntematerials auf einem Feld, das eine Begrenzung 12 aufweist. Der nicht gemähte Teil des Erntematerials ist durch den schattierten Bereich 14 dargestellt. Die Kante oder Unterteilung zwischen dem gemähten Erntematerial und dem nicht gemähten Erntematerial vor der Erntemaschine wird allgemein als die Erntematerial-Linie bezeichnet und ist mit der Bezugsziffer 16 markiert. Wie dies üblich ist, ist nicht die gesamte Fläche des Feldes mit Erntematerial bepflanzt. Ein Wendebereich mit einer Breite D bleibt an jedem Ende des Feldes unbepflanzt und ergibt einen Bereich, auf dem die Erntemaschine wenden kann. Die Unterteilung zwischen dem Wendebereich und dem Teil des Feldes, der mit Erntematerial bepflanzt ist, wird allgemein als das "Reihenende" bezeichnet und ist mit der Bezugsziffer 18 markiert. Die Erfindung ist nicht auf die Verwendung auf rechtwinkligen Feldern beschränkt, und die zu mähende Erntematerial-Fläche kann eine unregelmäßige Form aufweisen.
Die Erntemaschine 10 kann vielfältige Formen annehmen (Mähdrescher, Feldhäcksler, usw.), doch wurden die Experimente unter Verwendung einer Maschine vom Typ 2550 Speedrower^® ausgeführt, die von der Firma New Holland North America Inc. vertrieben wird. Diese Erntemaschine ist ähnlich der, wie sie in dem US-Patent 5 327 709 beschrieben ist, und weist einen (nicht gezeigten) Mähbalken auf, der angehoben und abgesenkt werden kann und der geringfügig über der Bodenebene vor dem Mähdrescher gehaltert wird, wenn Erntematerial gemäht wird. Eine Haspel 20 streift das gemähte Erntematerial in (nicht gezeigte) Aufbereitungswalzen zur weiteren Bearbeitung ab, und das aufbereitete Erntematerial wird dann auf der Rückseite der Erntemaschine in einem Schwad abgeworfen.
Die im Handel erhältliche Erntemaschine wird nachträglich mit linken und rechten Radcodierern 28, 30 (2) an ihren Vorderrädern 22, 24 versehen. Zusätzlich werden linke und rechte Radantriebsmotoren 32 und 34 (2) und ein elektrostatisch gesteuertes hydrostatisches Getriebe 35 hinzugefügt, um differenziell und reversibel die Vorderräder 22, 24 anzutreiben. Die auf diese Weise modifizierte Erntemaschine wird dadurch gelenkt, daß die Vorderräder mit unterschiedlichen Relativgeschwindigkeiten angetrieben werden. Bei dem Testmodell wurde eine Drosselsteuerung 36 als die Kombination eines kleinen elektrischen Motors, einer elektromagnetischen Bremse und einem federbelasteten (nicht gezeigten) Seilzug realisiert, doch wird bei einer kommerziellen Ausführungsform erwartet, daß eine Drosselbetätigungseinrichtung mit üblicher Konstruktion verwendet wird. Eine Anbaugeräte- oder Mähbalken-Steuerung 38 umfaßt ein übliches magnetspulenbetätigtes (nicht gezeigtes) Ventil zum Anheben oder Absenken des Mähbalkens. Die üblichen vom Fahrer betätigten Steuerungen 40 werden bei der dargestellten Ausführungsform beibehalten, doch können, wie dies weiter unten erläutert wird, diese Steuerungen in einer Ausführungsform beseitigt werden, die den Betrieb der Erntemaschine ohne einen Fahrer ermöglicht.
Die Radcodierer 28, 30 weisen eine übliche Konstruktion auf und können von irgendeinem Typ eines Codierers sein, der in der Größenordnung von 10000 Zählungen oder Impulse pro Radumdrehung erzeugen kann. Die Ausgangssignale von den Radcodierern werden einem physikalischen Steuercomputer (PCC) 50 zugeführt, der die Fahrzeuggeschwindigkeit aus diesen Signalen berechnet.
Die Erntemaschine 10 ist mit zumindest einer Videokamera 42 (2) versehen, die auf einen Arm befestigt ist, der sich von einer Seite der Erntemaschine aus nach außen erstreckt. Die Kamera 42 ist auf einem Arm gehaltert, der in der Nähe der Oberseite der Fahrerkabine 26 befestigt ist und sich zur linken Seite der Erntemaschine in einer Höhe von ungefähr 4 m über dem Boden erstreckt. Die Kamera 42 ist so gehaltert, daß sie geringfügig einwärts bezüglich des linken Endes des Erntemaschinen-Mähbalkens gerichtet ist, und sie ist so gerichtet, daß sie ein Bild der Landschaft vor der Erntemaschine einfängt. Wenn somit die Erntemaschine so gelenkt wird, daß die Kamera im wesentlichen über der Erntematerial-Linie bleibt, so überlappt der Mähbalken geringfügig die Erntematerial-Linie. Dies stellt sicher, daß keine schmalen Streifen von ungemähtem Erntematerial auf dem Feld verbleiben.
Weil die Kamera 42 über der Erntematerial-Linie gehaltert ist, würde die ausschließliche Verwendung dieser Kamera die Feldüberdeckungspläne oder Bewegungsmuster beschränken, für deren Verfolgung beim Mähen des Feldes der Erntemaschine ein Befehl gegeben werden kann. Wenn beispielsweise die Erntemaschine eine einzige Kamera hat, die auf der linken Seite der Fahrerkabine 26 befestigt ist, um die Erntematerial-Linie 16 zu verfolgen (1), so ist es beim Erreichen des Reihenendes durch die Erntemaschine nicht möglich, die Erntemaschine um 180° um das rechte Vorderrad 26 als Schwenkpunkt zu wenden und das Mähen wieder aufzunehmen. Die neue Erntematerial-Linie 16' wird sich auf der rechten Seite der Erntemaschine befinden, doch befindet sich die Kamera immer noch auf der linken Seite. Daher ist bei einer bevorzugten Ausführungsform eine zweite Kamera 44 auf der rechten Seite der Erntemaschine befestigt, und eine Zweikanal-Digitalisierungs- und Bildfangeinrichtung 46 wird so gesteuert, daß sie das Video-Ausgangssignal von der passenden Kamera auswählt.
Die Kameras 42 und 44 müssen keine Videokameras sein, sondern sie können irgendeine Form eines Gerätes aufweisen, das in der Lage ist, die Erntematerial-Höhe oder die spektrale Verteilung festzustellen, wie dies von Ollis und Stentz in Proceedings of IEEE Conference on Robotics and Automation (ICRA '96) April 1996, Seiten 951–956 beschrieben ist. Bei einer bevorzugten Ausführungsform sind die Kameras jedoch RGB-Videokameras, die mit Auto-Iris-Linsen ausgerüstet sind. CCD-Farbkameras, die von der Firma Sony Corporation hergestellt werden, wurden bei der Entwicklung der Erfindung verwendet. Die Kameras werden unter Verwendung des Verfahrens kalibriert, das von Tsai im IEEE Journal of Robotics and Automation, Band RA-3, Nr. 4, August 1987, Seiten 323–344 beschrieben ist, um Bildpixel-Koordinaten in Positionen in der realen Welt innerhalb von Szenen umzuwandeln, die von den Kameras betrachtet werden.
Die Video-Ausgangssignale von der Kamera 42 und 44 werden einer Zweikanal-Digitalisierungseinrichtung 46 zugeführt, die durch Software-Befehle von einem Aufgabenverwaltungscomputer (TMC) 52 gesteuert wird, um abwechselnd das Ausgangssignal von der einen oder der anderen Kamera auszuwählen. Mit einer Frequenz von ungefähr 5–6 Hz fängt die Digitalisierungseinrichtung einen Rahmen des Signals ein und digitalisiert ihn für die Weiterverarbeitung in dem Video-Verarbeitungscomputer (VPC) 48. Der VPC 48 analysiert das Signal, wie dies nachfolgend beschrieben wird, um eine Erntematerial-Linie zu verfolgen, um das Ende einer Reihe festzustellen, um Hindernisse auf dem Pfad der Erntemaschine zu erfassen und um eine Erntematerial-Linie zu lokalisieren, nachdem die Erntemaschine eine Kurve in einem Wendebereich ausgeführt hat.
Ein Empfänger 54 für das globale Positionsbestimmungs-Satellitensystem (GPS) und ein Trägheitsnavigationssystem (INS) 56 sind mit dem PCC 50 über serielle RS-232-Verbindungsstrecken 58 bzw. 60 verbunden. Die Computer 48, 50 und 52 sind über eine serielle Ethernet-Verbindungsstrecke 62 miteinander verbunden.
Der PCC 50 und der TMC 52 können beispielsweise Motorola-MV162-Computer (MC68040-basiert) sein, auf denen VxWorks^® läuft. Der VPC 48 kann ein IBM-PCkompatibler Computer auf der Basis von Pentium II^® sein, auf dem Microsoft Windows^®-NT läuft. Der GPS 54-Empfänger kann ein NovAtel AG 20 GPS-Empfänger sein. Das INS 56 kann ein Lichtleitfaser-Kreiselgerät wie z. B. das Gerät AutoGyro^®-Gerät sein, das im Handel von der Firma Andrew Corporation erhältlich ist. Die hier erwähnte Hardware stellt lediglich ein Beispiel dar, wobei es verständlich ist, daß andere Computer, Trägheitssensoren und GPS-Empfänger bei der Ausführung der Erfindung in der Praxis verwendet werden können.
Weiterhin sind in 2 ein optionaler Basisstations-Computer 70, der mit den Computern 48, 50 und 52 über eine Funk-Ethernet-Verbindungsstrecke in Verbindung steht, eine wahlweise Bediener-Anzeige 42 und eine Sicherheits-Überwachungsleiterplätte 74 gezeigt. Bei einer Ausführungsform kann eine Erntemaschine gemäß der Erfindung vollständig Roboter-gesteuert sein und muß nicht einmal eine Fahrerkabine haben. Die gesamte Steuerung wird von dem Computer 70 aus durchgeführt, und die Fahrer-Steuerungen 40 und die Anzeige 72 sind nicht vorgesehen.
In einer zweiten Ausführungsform kann die Erfindung in einem On-Bord-System realisiert sein, das eine automatisierte Steuerung einiger Operationen und eine manuelle Steuerung anderer Operationen durch einen Fahrer ermöglicht. Beispielsweise kann ein Fahrer manuell die Erntemaschine zum Anfang einer Erntematerial-Reihe steuern und die Roboter-Steuerung für die Verfolgung der Erntematerial-Linie einleiten, wobei der Fahrer die manuelle Steuerung wieder übernimmt, wenn das Ende einer Reihe erreicht ist. In diesem Fall ist der Computer 70 nicht erforderlich, doch sind die Fahrer-Anzeige 72 und die Fahrer-Steuerungen in der Fahrerkabine vorgesehen.
Wie dies in den 3 und 4 gezeigt ist, ist die Anzeige 72 so steuerbar, daß sie verschiedene Informationen anzeigt, wie z. B. ein Bild der von einer Kamera betrachteten Szene (3) oder verschiedene Statusinformationen (4) unter Einschluß des Mähwerk-Status (ein/aus und auf/ab), der Motordrehzahl und der Erntemaschinen-Kursrichtung und der Ausrichtung und der Betriebsart. Die Anzeige schließt verschiedene auf dem Bildschirm angeordnete programmierbare Tasten (3) ein, die betätigbar sind, um verschiedene Daten zur Anzeige auszuwählen oder um verschiedene Parameter einzustellen.
Die Anforderungen an die Sicherheits-Überwachungseinrichtung 74 ändern sich in Abhängigkeit davon, ob Vorkehrungen für eine an Bord befindliche Fahrersteuerung vorgesehen sind oder nicht. Die Sicherheits-Überwachungseinrichtung stellt unnormale Zustandsbedingungen fest und stoppt entweder die Erntemaschine oder liefert Signale an den Fahrer, wenn ein unnormaler Zustand festgestellt wird. Die Sicherheits-Überwachungseinrichtung als solche bildet keinen Teil der vorliegenden Erfindung und wird hier nicht weiter beschrieben.
Der physikalische Steuercomputer 50 überwacht kontinuierlich die Ausgangssignale von den Radcodierern 28 und 30, wie dies weiter oben erwähnt wurde, und überwacht weiterhin kontinuierlich Daten, die von dem GPS 54 und dem INS 56 ausgehen. Auf der Grundlage von Informationen, die von diesen Quellen gewonnen werden, berechnet der PPC 50 aktuelle Schätzwerte der globalen (absoluten) Position, der örtlichen (relativen) Position, der Kursrichtung und der Fahrgeschwindigkeit und sendet diese in einer Punkt-zu-Mehrpunkt-Übertragung an andere Module.
Die globale Position wird in Cartesischen Koordinaten bezogen auf einen systemweiten, vordefinierten Koordinatensystem-Ursprung ausgedrückt. Dieses Koordinatensystem entspricht grob dem Bereich des Kontinents, auf dem das System betrieben wird, d. h. der Ursprung wird lediglich dann neu zugeordnet, wenn die Erntemaschine in der Größenordnung von Hunderten von Meilen bewegt wird. Der globale Positions-Schätzwert wird von dem PCC 50 dadurch berechnet, daß die von dem GPS-Empfänger 54 gesammelte GPS-Information mit den Rad-Codierer-Daten aktualisiert wird, die von den Radcodierern 28 und 30 geliefert werden. Dies ermöglicht häufigere und präziserer Aktualisierungen, als sie von dem GPS-System allein verfügbar sein würden.
Während der Perioden, während der GPS-Daten nicht zur Verfügung stehen, wird der globale Positions-Schätzwert ausschließlich anhand von Daten aktualisiert, die von den Radcodierern 28 und 30 gewonnen werden. Obwohl die Genauigkeit des Positions-Schätzwertes auf der Grundlage ausschließlich der Rad-Codieren-Daten mit der Zeit und mit der Erntemaschinen-Geschwindigkeit beeinträchtigt wird, wird das normale Betriebsverhalten automatisch wiederhergestellt, wenn der PCC 50 feststellt, daß die GPS-Daten wieder zur Verfügung stehen.
Die örtliche Position wird in Cartesischen Koordinaten gegenüber einem willkürlichen Koordinatensystem ausgedrückt, das jedesmal dann ausgebildet oder festgelegt wird, wenn das gesamte Steuersystem in Betrieb gesetzt wird. Dieses Koordinatensystem kann als die Felder betrachtet werden, auf denen die Erntemaschine derzeit arbeitet. Der örtliche Positions-Schätzwert wird von Daten abgeleitet, die von den Radcodierern 28 und 30 und dem INS 56 gewonnen werden.
Der Steuerkurs, der im Punkt-zu-Mehrpunkt-Betrieb von dem PCC 50 abgegeben wird, ist ein Steuerkurs, der bezüglich des globalen Koordinatensystems ausgedrückt ist. Dieser Steuerkurs wird von einer Kombination der Informationen abgeleitet, die von dem INS 56 und dem GPS 54 gewonnen werden.
Der physikalische Steuercomputer 50 verarbeitet weiterhin Lenkbefehle, die von dem Aufgabenverwaltungscomputer 52 empfangen werden, und erzeugt Signale zum Lenken der Erntemaschine. Wie dies weiter unten beschrieben wird, entwickelt ein Lenkungs-Entscheidungs-Programm-Modul, das auf dem Aufgabenverwaltungs computer 52 abläuft, die Lenkbefehle zum Lenken der Erntemaschine. Ein Lenkbefehl umfaßt einen ungeradzahligen Satz von Werten, die hinsichtlich ihrer Größe beschränkt sind und Werte aufweisen, die reziprok zu dem Krümmungsradius der befohlenen Kurve sind. Beispielsweise kann es 201 Lenkbefehle geben, wobei der Befehl #1 einer Kurvenkrümmung von -0,1 (maximale linke Kurve) entspricht, während ein Befehl #201 einem Kurvenradius +0,1 (maximale rechte Kurve) entspricht. Der Befehl #100 in diesem Fall würde einer Kurvenkrümmung von Null entsprechen, so daß das Fahrzeug geradeaus gesteuert würde.
Ein von dem Aufgabenverwaltungscomputer 42 erzeugter Lenkbefehl wird über die serielle Verbindungsstrecke 62 an den physikalischen Steuercomputer 50 übertragen, der den Lenkbefehl auflöst und Analog-Stromsignale erzeugt, die elektrisch gesteuerten hydraulischen Servoventilen in dem Getriebe 35 zugeführt werden. Die Ventile ermöglichen es, daß proportionale Mengen an hydraulischer Leistung (Strömung) geliefert werden, um die Radantriebsmotoren 32 und 34 mit ihren jeweils gewünschten Geschwindigkeiten anzutreiben. Die Erntemaschinen-Fahrgeschwindigkeit oder Geschwindigkeit ist gleich dem mittleren Wert der linken und rechten Radgeschwindigkeiten, während die Krümmung des Pfades proportional zu dem Unterschied in den Radgeschwindigkeiten ist. Bezüglich der Fahrgeschwindigkeit und der verfügbaren hydraulischen Gesamtleistung und damit der maximalen erreichbaren Fahrgeschwindigkeit ist festzustellen, daß diese proportional zu der Erntemaschinen-Motordrehzahl ist, die durch die Einstellung einer Drosselsteuerung 36 bestimmt ist.
Der PCC 50 gibt weiterhin Signale zur Einstellung der Drosselsteuerung 36 und zur Betätigung von Anbaugeräte-Steuerungen 38 ab. Bei Ausführungsformen der Erfindung, bei denen Fahrer-betätigte Steuerungen vorgesehen sind, um es einem Fahrer zu ermöglichen, manuell die Erntemaschine zu steuern oder um eine automatische Steuerung zu übersteuern, werden Signale von den Fahrer-betätigten Steuerungen von dem PCC 50 verarbeitet, um die Erntemaschine zu lenken, ihre Geschwindigkeit einzustellen, den Mähbalken zu steuern, usw.
Systemsoftware-Überblick
Das System der vorliegenden Erfindung verwendet eine verhaltensbasierte Lösung zur Steuerung der Erntemaschine 10. Die Systemsoftware definiert eine Maschine endlicher Zustände, die einen zyklischen Durchlauf der Erntemaschine durch eine Serie von Zuständen hindurch bewirkt, wie z. B. das Mähen oder Wenden. Jeder Zustand definiert, welche Programmmodule in dem Zustand aktiv sind und definiert weiterhin die Auslöseereignisse, die es dem System ermöglichen, von dem derzeitigen Zustand zu einem anderen Zustand überzugehen. Während eines vorgegebenen Zustandes werden verschiedene Ausführungsmodule oder Verhaltensweisen aktiviert oder deaktiviert. Übergänge zwischen Zuständen werden durch Ereignisse ausgelöst, die von einem Modul signalisiert werden. Auslöseereignisse können von allen Modulen innerhalb des Systems signalisiert werden.
Wie dies in 5 gezeigt ist, umfassen die Programmmodule für die Steuerung der Erntemaschine ein Ausführungsüberwachungs- (EM-) Modul 100, ein Erntematerial-Linien-Verfolgungs- (CLT-) Modul 102, ein Reihenende-Detektor(ERD-) Modul 104, ein örtliches Bewegungsbahn-Verfolgungs- (LTT-) Modul 106, ein globales Bewegungsbahn-Verfolgungs- (GTT-) Modul 108, ein Hindernis-Vermeidungs- (OA-) Modul 110, ein Lenkungs-Entscheidungs- (SA-) Modul 114, ein Feldüberdeckungs-Planungs- (FCP-) Modul 116, ein Feldüberdeckungs-Überwachungs- (FCM-) Modul 118 und ein Steuerungs-Modul 120. Die CLT-, EORund OA-Module 102, 104 und 110 werden alle in dem Videoverarbeitungscomputer 48 ausgeführt. Die EM-, LTT-, GTT-, SA-, FCP- und FCM-Module 100, 106, 108, 114, 116, 118 laufen alle in dem Aufgabenverwaltungscomputer 52 ab. Das Steuerungsmodul 120 läuft in dem physikalischen Steuercomputer 50 ab. Das Lenkungsentscheidungs-Überwachungsmodul 114, das Feldüberdeckungs-Überwachungsmodul 118, das Hindernisvermeidungs-Modul 110 und das Steuerungsmodul 120 laufen dauernd ab, d. h. gleichzeitig mit irgendwelchen anderen der Programmmodule.
Die Ausführungsüberwachung 100 dient als die Haupt-Steuereinheit für das System und definiert die Zustände. Das EM 100 führt eine Folgebewegung durch eine Vielzahl von Zuständen aus und aktiviert in jedem Zustand ein oder mehrere andere Programmmodule, um so das Feld entsprechend einem Feldüberdeckungsplan zu mähen, der von dem Feldüberdeckungs-Planungsmodul 116 festgelegt ist. Das FCP-Modul 116 wird mit vermessenen GPS-Punkten versorgt, die sowohl die Geometrie des zu mähenden Feldes als auch die Position irgendwelcher bekannter Hindernisse auf dem Feld definieren. Das Planungsmodul wird weiterhin mit Daten gespeist, die die Abmessungen der Erntemaschine und dessen Mäh-Vorsatzgerätes, den maximalen Bereich der Kameras 42 und 44, die Erntemaschinen-Position in globalen Koordinaten und die Art des zu planenden Pfades definieren, beispielsweise einen Pfad-zum-Land-Plan, einen S-Typ-Pfad oder irgendeine andere Art von Pfad. Befehle, die sich auf Punkte entlang des geplanten Pfades beziehen, werden mit Meldungen "etikettiert", die zu der Einleitung verschiedener Operationen führen, wenn die Erntemaschine jeden etikettierten Punkt erreicht. Beispielsweise kann ein Befehl festlegen, daß sich die Erntemaschine vom Punkt A zum Punkt B mit einem vorgegebenen Kurvenkrümmungsradius und mit irgendeiner festgelegten Geschwindigkeit bewegen soll. Wenn die Erntemaschine den Punkt B erreicht, kann der nächste Befehl eine Kurve auf einen bestimmten Steuerkurs, möglicherweise eine neue Geschwindigkeit und das Absenken des Mähbalken festlegen. Die Befehle können weiterhin solche Etikett-Informationen einschließen, wie die optimale Mähbreite, oder sie können Meldungen auslösen, die zu der Aktivierung anderer Module führen, indem der Zustand des Ausführungsüberwachungs-Moduls 100 weitergeschaltet wird.
6 zeigt die Folgeschaltung des Ausführungsüberwachungs-Moduls 100 zwischen 8 Zuständen zur Bewegung der Erntemaschine zu einem Landabschnitt, zur Steuerung der Erntemaschine derart, daß sie Erntematerial auf dem Landabschnitt mäht, indem der Landabschnitt in einem S-förmigen Muster überquert wird, wobei eine 180°-Kurve am Ende jeder Erntematerial-Reihe ausgeführt wird. Ein Landabschnitt kann ein gesamtes Feld oder einen Abschnitt eines Feldes umfassen, der von anderen Abschnitten durch eine Bewässerungsgrenze getrennt ist.
Der Zustand 1 stellt den Zustand des Systems dar, wenn sich die Erntemaschine an irgendeiner zufälligen Position auf einem Feld befindet und einen Pfad plant, der von der Erntemaschine durchquert werden muß, um zu einem bestimmten Landabschnitt in dem Feld zu gelangen. Es wird angenommen, daß das Feld vermessen wurde, um GPS-Datenpunkte zu gewinnen, die die Geometrie des Feldes festlegen, und daß diese GPS-Datenpunkte von dem FCP-Modul 116 verarbeitet wurden, um das Feld in Landabschnitte zu unterteilen. Im Zustand 1 liefert das EM-Modul 100 einen Befehl an das FCP-Modul 116, einen Pfad zu dem nächsten nicht bearbeiteten Landabschnitt in dem Feld zu planen. Sobald das FCP-Modul 116 den Pfad konstruiert hat, der hier als Pfad-zum-Land- oder PTL-Plan bezeichnet wird, liefert es eine Auslösemeldung an das EM-Modul 100, das dann zum Zustand 2 übergeht.
Im Zustand 2 aktiviert das EM-Modul das GTT-Modul 108 und liefert diesem einen Befehl, den PTL-Plan auszuführen. Bei seiner Aktivierung gewinnt das GTT-Modul die PTL-Information von dem FCP-Modul 116 und beginnt mit der Ausführung des Plans, wie dies weiter unten ausführlicher erläutert wird. Sobald das GTT-Modul vollständig den PTL-Plan ausgeführt hat, liefert das Modul eine Auslösemeldung an das EM-Modul 100, das dann zum Zustand 3 übergeht.
Beim Eintritt in den Zustand 3 deaktiviert das EM-Modul 100 das GTT-Modul 108 und gibt einen Befehl an das GCP-Modul 116 für die Planung eines S-förmigen Mähmuster für den vorgegebenen Landabschnitt. Sobald das Muster geplant wurde, sendet das FCP-Modul zunächst eine Meldung an das Erntematerial-Linien-Verfolgungs-Modul 102, die das CLT-Modul über die optimale Mähbreite informiert, die beim Mähen des derzeitigen Landabschnittes zu verwenden ist. Das FCP-Modul 116 sendet dann eine Auslösemeldung an das EM-Modul 100, um dieses zum Zustand 4 weiterzuschalten.
Im Zustand 4 aktiviert das EM-Modul 100 sowohl das GTT-Modul 108 als auch das CLT-Modul 102. Das GTT-Modul gewinnt das zu verfolgende S-förmige Mähmuster von dem FCP-Modul 116 und beginnt unmittelbar mit der Verfolgung des Pfades. Das heißt, das GTT-Modul beginnt mit der Erzeugung von Lenkungs-Voten (die weiter unten erläutert werden), die es an das Lenkungs-Entscheidungs-Modul 114 sendet. Wie dies weiter oben erläutert wurde, sind das SA-Modul 114 und das Steuerungs-Modul 120 immer aktiv, so daß die Lenkungs-Voten über die Module 114 und 120 in Signale umgewandelt werden, die zu dem Getriebe 35 (2) übertragen werden, um die Erntemaschine entlang des S-förmigen Pfades zu lenken.
Wenn das CLT-Modul 102 aktiviert ist, gewinnt es zunächst von dem FCP-Modul 116 eine Anzeige, ob die linke Kamera 42 oder die rechte Kamera 44 aktiviert werden soll, um die Erntematerial-Linie zu verfolgen. Das CLT-Modul beginnt dann mit der Verarbeitung von Bildern von der aktivierten Kamera, um eine Erntematerial-Linie aufzufinden und um schließlich Lenkungs-Voten zu erzeugen, die dem SA-Modul 114 zugeführt werden, um die Erntemaschine dazu zu bringen, daß dieses Erntematerial mit der passenden Mähbreite mäht, die im Zustand 3 an das CLT-Modul gesandt wurde.
Im Zustand 4 gibt das EM-Modul 100 weiterhin einen Befehl an das Steuerungs-Modul 120, damit dieses das Mähen vorbereitet. Das Steuerungs-Modul ermöglicht eine autonome Betriebsweise, die es dem Software-System ermöglicht, die Steuerung der Erntemaschinen-Bewegung zu übernehmen, die Drosselstellung auf einen Wert einzustellen, der für das Mähen geeignet ist, und das Mäh-Vorsatzgerät einzuschalten und abzusenken. Sobald die Steuerung alle diese Funktionen ausgeführt hat, sendet sie eine Auslösemeldung an das EM-Modul 100, um das EM-Modul auf den Zustand 5 weiterzuschalten.
Im Zustand 5 hält das EM-Modul 100 die GTT- und CLT-Module aktiv, und beide Module erzeugen weiter die Lenkungs-Voten zum Lenken der Erntemaschine. Das EM-Modul liefert weiterhin einen Befehl an das Steuerungs-Modul 120 dafür, daß die Geschwindigkeit langsam rampenförmig auf die optimale Mähgeschwindigkeit für das derzeitige Feld und die derzeitigen Feldbedingungen vergrößert wird. Bei Empfang dieses Befehls beginnt das Steuerungs-Modul, die Geschwindigkeit der Erntemaschine rampenförmig bis zu der angeforderten Geschwindigkeit zu vergrößern. Beim Erreichen der angeforderten Geschwindigkeit hält die Steuerung diese Geschwindigkeit aufrecht, sofern sie nicht nachfolgend einen Befehl erhält, die Geschwindigkeit zu ändern.
Wie dies weiter oben erwähnt wurde, läuft das Feldüberdeckungs-Überwachungs-Modul 118 dauernd. Eines seiner Zwecke besteht in der Überwachung der Vorwärtsbewegung der Erntemaschine entlang des S-Pfades, der von dem Feldüberdeckungs-Planungs-Modul 116 geplant wurde. Wenn das FCM-Modul 118 feststellt, daß sich die Erntemaschine an einem etikettierten Punkt auf dem Pfad befindet oder diesen gerade passiert hat, der festlegt, daß die Erntemaschine sich in der Nähe des Endes der Erntematerial-Reihe befindet, so sendet das Modul eine Auslösemeldung an das EM-Modul 100, um dieses auf den Zustand 6 weiterzuschalten.
Im Zustand 6 hält das EM-Modul 100 die GTT- und CLT-Module aktiv und diese beiden Module erzeugen weiterhin Lenkungs-Voten, um die Erntemaschine auf den S-förmigen Pfad zu halten. Das EM-Modul aktiviert weiterhin das Reihenende-Detektor-Modul 104, das mit der Verarbeitung von Bildern von der aktiven Kamera beginnt, um das Ende der Reihe festzustellen.
Das EM-Modul wird nur dann vom Zustand 6 zum Zustand 7 weitergeschaltet, wenn es eine Auslösemeldung empfängt, die ihm mitteilt, daß sich die Erntemaschine am Ende der Reihe befindet. Diese Auslösemeldung kann entweder von dem Feldüberdeckungs-Überwachungs-Modul 118 oder dem Reihenende-Detektor-Modul 104 kommen. Wenn die Software bestimmt, daß sie eine gute und gültige globale Position hat, so erwartet das EM-Modul 100, daß die Reihenende-Auslösemeldung von dem FCM-Modul 118 kommt, das die Auslösemeldung als Ergebnis der Überwachung der Vorwärtsbewegung entlang des festgelegten Pfades sendet. Sobald das FCM-Modul 118 feststellt, daß die Erntemaschine den Punkt entlang des Pfades erreicht hat, der als der Reihenende-Punkt für diesen Mähdurchgang etikettiert wurde, so sendet das FCM-Modul die Auslösemeldung an das EM-Modul 100.
Wenn andererseits die globale Position aufgrund eines festgestellten GPS-Ausfalls nicht gültig ist, so kann das FCM-Modul 118 den globalen Positionsdaten nicht vertrauen und ist daher nicht in der Lage, festzustellen, wann sich die Erntemaschine am Ende der Reihe befindet. In diesem Fall erwartet das EM-Modul 100, daß die Reihenende-Auslösemeldung von dem Reihenende-Detektor-Modul 104 kommt, das die Auslösemeldung zusammen mit einem Maß des Abstandes von dem Punkt der Feststellung des Reihenendes zum tatsächlichen Ende der Reihe sendet.
Beim Eintreten in den Zustand 7 deaktiviert das Ausführungs-Überwachungs-Modul 100 die CLT- und ERD-Module 102 und 104 und liefert einen Befehl an das Steuerungs-Modul 120 dafür, daß das Mäh-Vorsatzgerät angehoben wird. Dann wird das EM-Modul 100 in Abhängigkeit davon, ob das System eine gültige globale Position hat oder nicht, entweder unmittelbar zum Zustand 8 weitergeschaltet (globale Position noch nicht gültig) oder es wartet auf den Empfang einer Auslösemeldung von dem FCM-Modul 118, wenn das FCM-Modul feststellt, daß sich die Erntemaschine an dem Punkt befindet, der dafür etikettiert ist, daß er ein Wendepunkt auf dem Pfad ist. Im Zustand 8 führt die Erntemaschine eine 180°-Wendekurve um ein Vorderrad herum aus, um die Erntemaschine auf Ausrichtung mit der nächsten Erntematerial-Reihe zu bringen. In Abhängigkeit von dem Status des GPS wird diese Kurve entweder durch das örtliche Bewegungsbahn-Verfolgungs-Modul 106 (globale Position nicht gültig) oder das globale Bewegungsbahn-Verfolgungs-Modul 108 (globale Position gültig) gesteuert. Hierdurch wird das Mähen einer Reihe und das Wenden der Erntemaschine am Ende der Reihe abgeschlossen.
Nachdem die Wendekurve abgeschlossen wurde, sendet das Modul 106 oder 108, das die Kurve gesteuert hat, eine Auslösemeldung an das EM-Modul 100, um einen Übergang des EM-Moduls zurück auf den Zustand 4 zu bewirken. Das EM-Modul wird dann erneut durch die Zustände 4 bis 8 folgegesteuert, um die nächste Reihe zu mähen und um die Erntemaschine erneut zu wenden. Sobald das Erntematerial in dem Landabschnitt geerntet wurde, wird das EM-Modul auf den Zustand 1 zurückgebracht, um zu bestimmen, ob es noch irgendwelche weiteren Landabschnitte gibt, die zu bearbeiten sind. Wenn dies der Fall ist, konstruiert das FCP-Modul den Pfad-zum-Land-Pfad, der erforderlich ist, um die Erntemaschine zu dem neuen Landabschnitt zu führen.
Feldüberdeckungs-Planungsmodul
Wie dies weiter oben erwähnt wurde, plant das Feldüberdeckungs-Planungs-Modul 116 einen Pfad, dem die Erntemaschine folgen soll. Der Pfad kann entweder ein Pfad-zum-Land-Pfad zur Bewegung der Erntemaschine (1) von ihrer derzeitigen Position zum Ende der ersten Reihe, (2) von dem Ende der letzten Reihe eines Landabschnittes zu der ersten Reihe eines weiteren Landabschnittes, oder (3) ein Überdeckungspfad, wie z. B. ein S-förmiger Pfad sein. Um einen Pfad zu planen, benötigt das FCP-Modul als Eingangsdaten den Typ des Plans, den es konstruieren soll, vermesssene GPS-Punkte, die sowohl die Geometrie des Feldes als auch die Position bekannter Hindernisse definieren, unter Einschluß von Bewässerungsdämmen in dem Feld, die Abmessungen der Erntemaschine und dessen Mähgerät, den maximalen Bereich der Kameras 42 und 44 und die derzeitige Position der Erntemaschine in globalen Koordinaten. Aus diesen Daten konstruiert das FCP-Modul 116 einen Pfad, der aus Punkten besteht, die mit Positions-, Geschwindigkeits-, Krümmungs-, Auslöse- und anderen Informationen etikettiert sind, wobei sich die Punkte auf den globalen Bezugsrahmen beziehen.
Wenn ein S-förmiges Mähmuster für einen Landabschnitt geplant wird, so berechnet das FCP-Modul den Spitzkehrenpfad, der die geringste Anzahl von Durchgängen erfordert, während sichergestellt wird, daß der Landabschnitt vollständig abgeerntet wird. Wenn ein Pfad-zum-Land-Pfad geplant wird, berechnet das FCP-Modul den kürzesten Pfad, um die Erntemaschine von ihrer derzeitigen Position zu dem festgelegten Landabschnitt zu bringen, wobei Hindernisse und ungemähtes Erntematerial vermieden werden. Wenn eine Kamera 42 oder 44 ein unerwartetes Hindernis feststellt, beispielsweise ein Maschinenteil, oder wenn dem FCP-Modul eine Mitteilung von dem Feldüberdeckungs-Überwachungs-Modul 118 geliefert wird, daß die Erntemaschine zu weit von dem geplanten Pfad abgewichen ist, so plant das FCP-Modul einen neuen Pfad von der derzeitigen Position der Erntemaschine zu dem ursprünglichen Ziel. Das FCP-Modul 116 plant lediglich einen Pfad, es führt den Plan nicht aus.
Feldüberdeckungs-Überwachungs-Modul
Das FCM-Modul 118 wirkt als eine Sicherheitsüberwachungseinrichtung. Die Eingänge an dieses Modul sind die Geometrie des Feldes, auf dem die Erntemaschine arbeitet, der geplante Pfad von dem FCP-Modul 116 und ein maximaler Pfad-Toleranzwert. Das FCM-Modul überwacht die Position der Erntemaschine auf dem Feld zu allen Zeiten, und wenn die Erntemaschine von dem geplanten Pfad abweicht oder festgestellt wird, daß sie sich zu nahe an einem Hindernis oder einem Außenrand des Feldes befindet, so sendet das FCM-Modul einen Stoppbefehl an das Steuerungs-Modul 120, um die Drosselsteuerung 36 zu betätigen, damit die Erntemaschine unmittelbar gestoppt wird.
Weil das FCM-Modul bereits die Erntemaschinen-Position bezüglich des geplanten Pfades aus Sicherheitsgründen überwacht, wird es weiterhin zum Prüfen des geplanten Pfades verwendet, um festzustellen, wann die Erntemaschine an einem etikettierten Punkt entlang des Pfades angekommen ist. Wenn das FCM-Modul feststellt, daß sich die Erntemaschine an einem etikettierten Auslösepunkt entlang des geplanten Pfades befindet, so sendet es eine Auslösemeldung, die dem etikettierten Punkt zugeordnet ist, an das EM-Modul 100.
Globales Bewegungsbahn-Verfolgungs-Modul
Das GTT-Modul 108 empfängt die derzeitige Erntemaschinen-Position von dem Steuerungs-Modul 120 und den zu verfolgenden Pfad von dem Feldüberdeckungs- Planungs-Modul 116. Aus dieser Information erzeugt es Lenkbefehle, die an das Lenkungs-Entscheidungs-Modul 114 gesendet werden, um die Erntemaschine entlang des geplanten Pfades zu lenken, sowie die Geschwindigkeitsbefehle, die an das Steuerungs-Modul 120 zur Ausführung geliefert werden. Wenn der zu verfolgende Pfad ein Pfad-zum-Land-Plan ist, sendet das GTT-Modul 108 weiterhin Wendekurvenbefehle an das Steuerungs-Modul 120.
Örtliches Bewegungsbahn-Verfolgungs-Modul
Das LTT-Modul 106 empfängt als Eingänge die derzeitige Position der Erntemaschine in örtlichen Koordinaten, sowie den geplanten Pfad. Aus diesen Daten erzeugt es Geschwindigkeitsbefehle, die dem Steuerungs-Modul 120 zugeführt werden, und Lenkbefehle oder Voten, die dem Lenkungs-Entscheidungs-Modul 114 zugeführt werden. Das LTT-Modul verwendet einen adaptiven reinen Verfolgungs-Nachführalgorithmus, um Lenkbefehle zu erzeugen, die es der Erntemaschine ermöglichen, dem geplanten Pfad genauer zu folgen. Beim Verfolgen des Pfades überwacht das LTT-Modul die etikettierten Geschwindigkeitspunkte entlang des geplanten Pfades. Wenn festgestellt wird, daß die Geschwindigkeit der Erntemaschine größer als die ist, die in dem Plan festgelegt ist, liefert das LTT-Modul einen Befehl an das Steuerungs-Modul 120, das diesem den Befehl gibt, die Geschwindigkeit auf den Geschwindigkeitswert des etikettierten Pfadpunktes einzustellen, an dem sich die Erntemaschine derzeit befindet.
Erntematerial-Linien-Verfolgungs-Modul
Der Zweck des CLT-Moduls 102 besteht darin, das die Szene oder einen Teil einer Szene darstellende Videosignal in dem Blickfeld der aktiven Kamera 42 oder 44 zu analysieren und eine Anzeige zu erzeugen, wo sich die Erntematerial-Linie bezogen auf den Mittelpunkt der Szene befindet.
Das CLT-Modul 102 umfaßt einen Diskriminator und einen Segmentierer, wie dies in der vorstehend erwähnten Veröffentlichung beschrieben ist, wobei die Unterscheidung zwischen gemähtem und ungemähtem Erntematerial auf dem Verhältnis zwischen zwei Spektralbändern (rot/grün) oder der prozentualen Intensität von Grün innerhalb eines vorgegebenen Spektralbandes beruht. Der Diskriminator berechnet aus dem digitalisierten Ausgangssignal einer Kamera eine Funktion d (i, j) einzelner Pixel innerhalb eines Fenstes oder interessierenden Bereichs mit einer Breite von ungefähr 400 Pixeln mal einer Länge von ungefähr 480 Pixeln, die sich an oder in der Nähe des Mittelpunktes des Videokamera-Abbildungsschirmes befinden.
7A zeigt eine Darstellung von d (i, j) für einen Abschnitt einer Abtastzeile in der Nähe des Mittelpunktes der Abtastzeile, wobei das Unterscheidungskriterium die prozentuale Grün-Intensität ist. Für jede Pixelposition j erzeugt der Diskriminator ein Ausgangssignal mit einer Amplitude i, die auf die prozentuale Grün-Intensität an der Pixelposition bezogen ist. Aufgrund des Blattwerks an dem ungemähten Erntematerial sind die d (i, j)-Werte um einen ersten Mittelwert m_r (7B) für ungemähtes Erntematerial und um einen zweiten Mittelwert m_I für gemähtes Erntematerial gruppiert. Die 7B deutet eine Stufenfunktion an, die durch drei Parameter definiert ist: j_d, die j-Koordinate der Diskontinuität; m_I den Mittelwert der Stufenfunktion links von der Diskontinuität, und m_r den Mittelwert der Stufenfunktion auf der rechten Seite der Diskontinuität. Das Auffinden der besten Segmentierung ist damit eine Frage des Auffindens der eine beste Anpassung darstellenden Stufenfunktion (niedrigster Fehlerquadrate-Fehler) von d (i, j) entlang einer vorgegebenen Abtastzeile.
Die Segmentierungseinrichtung kann jd entsprechend dem folgenden Algorithmus bestimmen:
kleinster_Fehler = unendlich
für jeden möglichen Welt j_d von j_min zu j_max
berechne m_I
berechne m_r berechne Fehler
wenn (Fehler < kleinster_Fehler)
kleinster Fehler = Fehlerquadrate
bestes j_d = j_d
Ende wenn
Ende für
Vorzugsweise berechnet die Segmentierungseinrichtung den Wert von jd entsprechend der folgenden Gleichung:

f(j_d) = e(J_d) (j_max + 1)² –
d(i, j)

worin e der Fehler ist.
Gemäß 8 analysiert der Diskriminator-Teil des CLT-Moduls 102 ein Pixel entsprechend der Diskriminanz-Funktion im Schritt 121 und erzeugt und speichert einen Wert i für dieses Pixel. Der Schritt 122 bestimmt, ob dieses das letzte zu überprüfende Pixel in der derzeitigen Abtastzeile ist, und wenn dies nicht das letzte Pixel ist, so wird der Schritt 121 ausgeführt, um einen Diskriminanzwert i für das nächste Pixel zu erzeugen. Unter der Annahme, daß das analysierte Fenster 400 Pixel breit ist, werden die Schritte 121 und 122 vierhundertmal wiederholt, um 400 Werte von i₁–i₄₀₀ zu erzeugen und zu speichern. Im Schritt 123 berechnet die Segmentierungseinrichtung eine Stufenfunktion bester Anpassung für diese Werte. Die Position der Stufe definiert eine Pixelposition j_n, die ihrerseits die Position der Erntematerial-Linie darstellt, wie sie aus der derzeitigen Abtastzeile bestimmt wurde. Das Ausgangssignal der Segmentierungseinrichtung ist ein binäres Signal, das eine Bitposition aufweist, die jedem Pixel auf einer einzelnen Abtastzeile und innerhalb des interessierenden Bereiches entspricht. In dem Signal ist ein einzelnes 1-Bit an der Position enthalten, das der Pixelposition j_n der berechneten Stufenfunktion entspricht. Dieses Bit stellt ein Erntematerial-Linien-Verfolgungs"Votum" hinsichtlich des Lenkungswinkels oder der Richtung dar, in die die Erntemaschine gelenkt werden soll, um die Erntematerial-Linie zu verfolgen.
Im Idealfall sollten die Voten hinsichtlich der Lenkungsrichtung in der gleichen Bitposition jedes Ausgangssignals liegen, wenn die Erntemaschine die Erntematerial-Linie verfolgt. In der tatsächlichen Praxis bewirken jedoch von Erntematerial freie Stellen, Bereiche mit schlechtem oder totem Erntematerial oder andere Anomalien, daß die Voten über verschiedene Bitpositionen für unterschiedliche Abtastzeilen verteilt sind. Ein Akkumulator ist für jede Pixelposition vorgesehen, und im Schritt 124 wird das im Schritt 123 erzeugte Votum zu dem Akkumulator addiert, der Voten für die Pixelposition jn akkumuliert.
Die Segmentierungseinrichtung erzeugt ein Ausgangssignal oder Votum für jede Abtastzeile in dem Fenster oder interessierenden Bereich. Der Schritt 125 bestimmt, ob die letzte Abtastzeile des Fensters verarbeitet wurde. Wenn die letzte Abtastzeile noch nicht verarbeitet wurde, erfolgt eine Rückkehr zum Schritt 121, und die Schritte 121 bis 124 werden wiederholt, um ein Votum hinsichtlich der Lenkungsrichtung für die nächste Abtastzeile zu erzeugen. Der Schritt 125 stellt fest, wann alle 480 Abtastzeilen des Bildes innerhalb des Fensters verarbeitet wurden.
An diesem Punkt hat die Erntematerial-Linien-Verfolgungseinrichtung 480 Voten für die Lenkungsrichtung erzeugt, wobei diese Voten auf 400 Voten-Akkumulatoren verteilt sind. Im Schritt 127 werden die Voten für Gruppen von benachbarten Pixelpositionen in 201 Fächern gesammelt, und im Schritt 128 werden die Fach-Votenzählungen normalisiert. Somit erzeugt das CLT-Modul für jedes Bild 400 normalisierte Voten hinsichtlich der Lenkungsrichtung, wobei jedes normalisierte Votum einen Wert zwischen 0,0 und 1,0 hat und die Summe der normalisierten Voten 1 ist. Den normalisierten Voten für die Pixelpositionen 1 bis 200, d. h. die Pixelpositionen links von dem mittleren Pixel des Fensters, werden negative Werte zugeordnet, so daß diese Voten Voten zum Lenken der Erntemaschine nach links von dem derzeitigen Kurs sind. Die normalisierten Voten werden dem Lenkungs-Entscheidungs-Modul 114 zugeführt, das in dem Aufgabenverwaltungscomputer 52 abläuft, und sie werden weiter von dem SA-Modul 114 verarbeitet, wie dies weiter unten beschrieben wird, um einen Lenkbefehl zu erzeugen, der dem PCC 50 zugeführt wird, in dem er aufgelöst wird, um die Analogsignale zu erzeugen, die den differenziellen Antrieb der Vorderräder der Erntemaschine steuern.
Wenn der TMC 52 einen Satz von normalisierten Voten von dem CLT-Modul 102 empfängt, das in dem VPC 48 abläuft, so sendet der TMC 52 ein Signal an den Digitalisieren 46, so daß der Digitalisieren einen weiteren Rahmen des Videosignals von der Kamera 42 oder 44 zur Verarbeitung durch das CLT-Modul einfängt.
Die Größe des in dem Erntematerial-Linien-Detektor verwendeten Fensters muß nicht gleich 400 × 480 Pixel sein, und es ist nicht erforderlich, jede Pixelposition eines Bildes innerhalb eines Fensters zu verarbeiten. Beispielsweise kann das Fenster kleiner gemacht werden, oder, wenn das Erntematerial über das Feld relativ gleichförmig ist und es einfach von dem gemähten Abschnitt des Feldes zu unterscheiden ist, so kann die Verarbeitung jedes dritten oder vierten Pixels fortgelassen werden, um die Signalverarbeitungszeit in dem CLT-Modul zu verringern.
Das vorstehend beschriebene CLT-Modul kann in vielfältiger Weise geändert werden, um sein Betriebsverhalten zu verbessern. Selbst auf einem einzelnen Feld kann die Verwendung einer festen Diskriminanten-Funktion, wie z. B. f=G/R+G+B keine kontinuierlich korrekte Segmentierung ergeben, und zwar aufgrund von Änderungen der Lichtbedingungen und des Bodentyps. Um diese Änderungsmöglichkeiten in der Umgebung zu überwinden, wird die Diskriminanten-Funktion adaptiv aktualisiert. Wenn der Schritt 125 in 8 anzeigt, daß die letzte Abtastzeile analysiert wurde, so berechnet das CLT-Modul 102 (im Schritt 126) die lineare Fisher-Diskriminante (siehe Pattern Classification and Scene Analysis, J. Wiley & Sons, 193, Seiten 114–118) im RGB-Raum zwischen den gemähten und ungemähten Pixel-Klassen. Diese Diskriminante wird dann im Schritt 121 in 8 als die Diskriminante für die Analyse des nächsten Bildes verwendet.
Die Fisher-Diskriminante berechnet eine Linie in einem RGB-Raum derart, daß wenn die Pixelwerte auf diese Linie projiziert werden, das Verhältnis der mittleren Zwischenklassen-Entfernung zur mittleren Zwischenklassen-Streuung zu einem Maximum gemacht wird. Dies führt zu der linearen Funktion, die am saubersten die gemähten und ungemähten Pixel-Klassen trennt.
Die bei der Verarbeitung des ersten Bildes verwendete Diskriminanten-Funktion wird willkürlich gewählt, und eine schlechte Auswahl kann zu ungenauen Erntematerial-Linien-Anzeigen für die ersten wenigen Bildern führen, während der Algorithmus zu wirkungsvolleren Diskriminanten-Funktionen zusammenläuft. Wenn das CLT-Modul 102 eine Zykluszeit von ungefähr 5 Hz hat, so werden die Erntematerial-Linien-Anzeigen jedoch innerhalb von ungefähr 0,5 Sekunden ziemlich zuverlässig.
Der adaptive CLT-Algorithmus kann wie folgt zusammengefaßt werden:

1. Initialisiere die Farb-Diskriminanten-Funktion: f = 1,0 R + 1,0 G + 1,0 B.
2. Digitalisiere ein Bild
3. Für jede Abtastzeile des Bildes:
a. Zeichne die Kurve von f als eine Funktion der Bildspalte i auf.
b. Berechne die eine beste Anpassung ergebende Stufenfunktion für die Kurve.
c. liefere die Position der Stufe als den Erntematerial-Liniengrenze-Schätzwert oder das Votum hinsichtlich der Lenkungsrichtung zurück.
4. Berechne eine aktualisierte Diskriminanten-Funktion unter Verwendung der linearen Fisher-Diskriminante.
5. Kehre zum Schritt 2 zurück.

Die Betriebsweise des grundlegenden Erntematerial-Linien-Verfolgungsmoduls kann weiterhin durch Schaffung einer Schattenkompensation verbessert werden. Schatten"störungen" können sehr stark sowohl die Bildintensität (Luminanz) als auch die Farbe (Chrominanz) verzerren, was zu Fehlern in dem von dem Modul erzeugten Erntematerial-Linien-Anzeigen führt. Schattenstörungen ergeben Schwierigkeiten aus einer Anzahl von Gründen. Sie sind in vielen Fällen nicht strukturiert, und sie werden daher nicht gut durch stochastische Techniken modelliert. Ihre Wirkungen und Auswirkungen sind schwierig vorherzusagen. Wenn beispielsweise die Sonne momentan durch eine vorbeiziehende Wolke verdeckt ist oder wenn sich die Ausrichtung der Erntemaschine schnell ändert, so kann sich das Überwiegen und die Wirkung der Schattenstörungen dramatisch auf Zeitmaßstäben von weniger als einer Minute ändern.
Eine Normalisierung der Intensität löst das Problem aus zwei Gründen nicht. Der Hauptgrund besteht darin, daß dies nicht die wesentlichen Farbänderungen berücksichtigt, die in den abgeschatteten Bereichen vorhanden sind. Die dominierende Beleuchtungsquelle für nicht abgeschattete Bereiche ist das Sonnenlicht, während die dominierende Beleuchtungsquelle für die abgeschatteten Bereiche das Himmelslicht ist. Der zweite Grund besteht darin, daß dies den Verfolgungs-Algorithmus daran hindert, natürliche Intensitätsunterschiede zu verwenden, um zwischen gemähtem und ungemähtem Erntematerial zu unterscheiden.
In einer idealen Kamera sind die RGB-Pixelwerte an einem vorgegebenen Bildpunkt eine Funktion der Spektralleistungsverteilung S(λ), die von einem Punkt in der Umgebung emittiert wird. Beispielsweise ist
R = r0 ∫S(λ)rλ (λ)dλ
worin r₀ ein Skalierungsfaktor ist und r(λ) eine Funktion ist, die das Antwortverhalten des CCD-Chips und des Rotfilters der Kamera beschreibt, wobei diese Funktion sehr schnell außerhalb eines schmalen Wellenlängenbandes auf Null abfällt. Weil r₀ und r(λ) reine Funktionen der Kamera sind, ist es lediglich erforderlich, ein Modell zu konstruieren, wie Schatten die Funktion S(λ) ändern. In einer ersten Näherung ist S(λ) = I(λ) ρ(λ), worin I(λ) das Beleuchtungslicht und ρ(λ) die Funktion des Reflexionsvermögens des beleuchteten Oberflächenpunktes ist. Wenn angenommen wird, daß jeder Punkt in der Umgebung durch eine von zwei spektralen Leistungsverteilungen beleuchtet wird, entweder I_sun(λ), die sowohl Sonnenlicht als auch Himmelslicht umfaßt, oder Himmelslicht allein, so sind die roten Pixelwerte für nicht abgeschattete Bereiche wie folgt:Rsun = r0 ∫Isun(λ) ρ(λ) r(λ)dλ und die roten Pixelwerte für abgeschattete Bereiche sind wie folgt:Rshad ow = r0 ∫Ishadow(λ) ρ(λ) r λ) dλ
Die Näherung von (λ) als eine Deltafunktion mit einem von Null abweichenden Wert lediglich bei λ_red und die Vereinfachung der Gleichungen R_sun und R_shadow kann durch einen konstanten Faktor C_red in Beziehung gesetzt werden, d. h.
Die gleiche Analyse kann für G- und B-Pixelwerte wiederholt werden. Unter den vorstehenden Annahmen bleiben C_red, C_blu und C_green über alle Reflexionsfunktionen ρ(λ) für die vorgegebene Kamera in einer vorgegebenen Beleuchtungsumgebung konstant.
Die Schattenkompensation kann dadurch realisiert werden, daß (1) die passenden Konstanten für C_red, C_blue und C_green ausgewählt werden, (2) bestimmt wird, ob Punkte abgeschattet oder nicht abgeschattet sind, und (3) die abgeschatteten Pixel unter Verwendung der obenstehenden Gleichung korrigiert werden, d. h. daß die abgeschatteten Pixelwerte mit jeweiligen Korrekturfaktoren multipliziert werden. Eine Intensitäts-Schwellenwertbildung wird dazu verwendet, zu bestimmen, ob ein Punkt abgeschattet oder nicht abgeschattet ist. Sobald ein Bild gegen Schatten kompensiert wurde, wird es dem Diskriminator nach Figur zugeführt.
Angenäherte Werte für C_red, C_blue und C_green wurden experimentell von Hand ausgewählt, wobei die Werte C_red = 5,6, C_blue = 2,8 und C_green = 4,0 waren. Diese Werte unterscheiden sich von Werten, die zunächst aus dem Spektralverteilungsmodellen eines schwarzen Körpers für Sonnenlicht und Himmelslicht berechnet wurden. Der Unterschied kann sich aufgrund der Unzulänglichkeit der Spektralverteilungsfunktion für den schwarzen Körper als Modell für die Himmelslichtwerte und/oder für die sich ändernde Empfindlichkeit der Kamera-CCD gegenüber rotem, grünem und blauem Licht ergeben.
Weil der in 8 gezeigte Erntematerial-Linien-Verfolgungsalgorithmus auf der Grundlage der Farbunterschiede zwischen dem gemähten und ungemähten Erntematerial segmentiert, ruft die Ähnlichkeit der Farbe von ungemähtem Erntematerial und gemähtem Erntematerial, das in einem Schwad liegt, der von der Erntemaschine während des unmittelbar vorhergehenden Durchlaufes erzeugt wurde, gelegentlich eine schlechte Segmentierung hervor. Dieses Problem kann dadurch beseitigt werden, daß von dem von dem CLT-Modul verarbeiteten Bild der Bereich des Bildes ausgeschlossen wird, an dem sich der Schwad befindet. Die Position des Schwades gegenüber der idealen Erntematerial-Linie kann sehr einfach aus der Mähbreite bei dem vorhergehenden Durchlauf unter Kenntnis der mittleren Breite eines Schwades bestimmt werden. Der Abstand zwischen der derzeitigen Erntematerial-Linie und der nahegelegenen Kante des Schwades, der von dem vorhergehenden Mähvorgang zurückbleibt kann entsprechend der folgenden Gleichung berechnet werden.Entfernung = (vorhergehende Mähbreite/2) – (mittlere Schwadbreite/2)
Zum Zweck der Verarbeitung des betreffenden Bereiches des Videobildes müssen die Kameras in der vorstehend erwähnten Weise kalibriert werden, um die Konvergenz der Linien zum Horizont zu erfassen und um die Kameralinsen-Verzerrung zu korrigieren. Eine Umwandlung des tatsächlichen Abstandes zwischen der Erntematerial-Linie und dem Schwad in Bildwerte ergibt eine Abtrennlinie sowohl für die Segmentierungseinrichtung als auch die Lernphase des adaptiven Algorithmus. Wenn die Erntemaschine den Nachführvorgang unter Verwendung der linken Kamera ausführt, werden alle Pixelpositionen j des Bildes auf der linken Seite dieser Abschnittslinie ignoriert, wenn die Diskriminanten-Funktion im Schritt 121 nach 8 angewandt wird, und wenn die Verfolgung mit der rechten Kamera ausgeführt wird, so werden diejenigen Pixelpositionen j des Bildes auf der rechten Seite der Abschnittslinie ignoriert.
Die Erntemaschine kann gegebenenfalls nicht perfekt mit dem Erntematerial ausgerichtet sein, wenn sie eine Wendekurve ausführt, und dies führt zu einer schlechten Erntematerial-Linie für den Teil des Bildes, der das bereits gemähte Erntematerial vor dem Beginn des Erntevorganges einschließt. Die anfänglich abgebildete Erntematerial-Linie wird durch eine Erntematerial-Linien-Abschätzeinrichtung oder einen Detektor für „den Anfang des Erntematerials" geleitet, um die Position in dem Bild zu bestimmen, an der das ungemähte Erntematerial beginnt. Die Erntematerial-Abschätzeinrichtung berechnet die Regressionslinie und den Fehler für jeden von vier Abschnitten der Erntematerial-Linie. Die Steigung und der Schnittpunkt jeder Regressionslinie werden wie folgt berechnet:
Schnittpunkt = (S_y – (S_X·Steigung))/S
worin
Teilabschnitte der Erntematerial-Linie werden als auf die Erntematerial-Linie aufgerastet betrachtet, wenn ihr Fehler unterhalb von ERROR_THRESH = 10,0 liegt, sie nicht gegenüber der Regressionslinie für den oberhalb von ihnen liegenden Teilabschnitt des Bildes schräg verlaufen und die bisherige Linie eingerastet ist. Die Regressionslinie wird als schrägverlaufend betrachtet, wenn der Unterschied zwischen ihrer Steigung und der Regressionslinie oberhalb hiervon größer als SKEW_THRESH = 1,5 ist und der Unterschied zwischen dem Anfangspunkt der derzeitigen Linie und dem Endpunkt der früheren Linie kleiner als DISTANCE_THRESH = 15 Pixel ist. Der oberste Teilabschnitt der Erntematerial-Linie ist mit größter Wahrscheinlichkeit auf das Erntematerial verriegelt, so daß seine Regressionslinie als die Basislinie zur Bestimmung des Schrägverlaufs der unteren Teilabschnitte verwendet wird und niemals als schrägverlaufend betrachtet wird. Der Anfang des Erntematerials wird so angenommen, als ob er sich am Ende des verriegelten Teilabschnittes befindet, der in dem Bild am niedrigsten liegt.
Experimente haben gezeigt, daß die Farb-Diskriminanten, die von dem vorstehend beschriebenen Erntematerial-Linien-Verfolgungs-Modul verwendet werden, unzureichend sind, um eine Verfolgung in Sudan-Gras durchzuführen. Verschiedene Textur-Diskriminanten können anstelle der Farb-Diskriminanten verwendet werden. Dies erfordert einen zusätzlichen Schritt bei der Verarbeitung der Erntematerial-Linie, weil ein Textur-Operator mit dem Bild gefaltet werden muß, um ein gefiltertes Bild zu erzeugen. Ein elementares Gabor-Filter stellt eine diskrete Verwirklichung der folgenden Funktion dar:
e(–((x – x0)2 + (y – y0)2))/2·/2σ2·sin(ω(xcosΘ – ysinΘ) + φ
worin φ, θ und ω die Frequenz, die Ausrichtung und Phase der sinusförmigen ebenen Welle sind. Die diskrete Realisierung bildet einen Kern, der mit dem Bild gefaltet ist. Kerne mit Ausrichtungen von 45° und 135° werden verwendet. Das resultierende gefilterte Signal wird dann durch den gleichen Segmentierungsvorgang (Schritt 123 nach 8) geleitet, und auf die Farb-Diskriminanten angewandt.
In Ausführungsformen der Erfindung, die eine manuelle Fahrersteuerung vorsehen, können die Fahrersteuerungen 40 einen Schalter oder eine Auswahleinrichtung zur Auswahl einer Textur-Diskriminanten einschließen, wenn Sudan-Gras geerntet werden soll, oder um die Farb-Diskriminante auszuwählen, wenn ein anderes Erntematerial geerntet werden soll. In den Ausführungsformen, bei denen keine an Bord angeordnete Fahrersteuerungen vorgesehen sind, kann die Auswahl über den außerhalb der Erntemaschine angeordneten Basisstationscomputer 70 (1) erfolgen.
Hindernis-Vermeidungseinrichtung
Der Zweck des Hindernis-Vermeidungs-Moduls 110 besteht darin, Hindernisse auf dem Pfad der Erntemaschine festzustellen, und, wenn ein Hindernis festgestellt wird, die Erntemaschine zu stoppen und ein Signal an den Fahrer zu liefern. Die Detektion wird dadurch ausgeführt, daß Pixel für Pixel ein Bild des Bereiches vor der Erntemaschine analysiert wird (das Erntematerial sein sollte), um die Wahrscheinlichkeit zu bestimmen, daß der um das Pixel herum zentrierte Bereich zu einem Erntematerial-Modell gehört.
Ein diskretisiertes 2D-Histogramm-Modell des Erntematerials ist für die Analyse erforderlich. Das Modell wird vorzugsweise direkt an dem zu mähenden Feld dadurch erfaßt, daß ein Bildrahmen des zu mähenden Erntematerials von der Kamera 42 oder 44 vor dem Anfang des Mähens des Feldes eingefangen wird, wobei dieses Modell mit jedem neuen Bild aktualisiert oder trainiert wird. Das Stufenfunktions-Anpaßverfahren, das bezüglich des CLT-Moduls 102 beschrieben wurde, wird zur Erzeugung der Trainingsdaten zum Aufbau von zwei Wahrscheinlichkeits-Dichtefunktionen (PDF's) verwendet, eine für den verarbeiteten oder gemähten Teil des Feldes und eine für den unverarbeiteten oder nicht gemähten Teil des Feldes. Die PDF's werden dann zu einem einzigen PDF sowohl für die verarbeitete als auch die nicht bearbeitete Oberfläche kombiniert. Jedes Pixel in einem Bild wird dann überprüft und markiert, wenn es eine geringe Wahrscheinlichkeit einer Darstellung der bearbeiteten oder nicht bearbeiteten Oberfläche aufweist.
Sobald das Histogramm-Modell gewonnen wurde (Schritt 150 in 9) wiederholt das Hindernis-Vermeidungs-Modul 110 kontinuierlich eine Folge von Schritten 151 bis 155, solange kein Hindernis festgestellt wird. Im Schritt 151 fängt das Hindernis-Vermeidungs-Modul ein neues Bild des Bereiches vor der Erntemaschine ein. D. h., daß das Ausgangssignal von einer Kamera 42 oder 44, das ein Bild darstellt, digitalisiert wird. Das OA-Modul 110 wählt dann (Schritt 152) ein Pixel (i, j) aus, das noch nicht verarbeitet wurde. Der Schritt 153, der das Histogramm-Modell und die Pixelinformation für die das ausgewählte Pixel (i, j) umgebenden Pixel verwendet, berechnet die Wahrscheinlichkeit PROB(i, j), daß der Bereich von 10 × 10 Pixeln innerhalb des um den ausgewählten Pixel zentrierten Bereiches zu dem Ernte-Modell gehört. PROB(i, j) wird dadurch gewonnen, daß zunächst alle Punkte m, n innerhalb des 10 × 10-Pixelbereiches von i, j multipliziert werden. PROB(i, j) wird dann durch Dividieren der Anzahl von Punkten, die in die Histogramm-Zelle für die Farbe des Pixels (m, n) fallen, durch die Gesamtzahl der Punkte in dem Histogramm gewonnen.
Der Schritt 154 vergleicht die berechnete Wahrscheinlichkeit mit einem Schwellenwert OBSTACLE_THRESH, der typischerweise in der Größenordnung von 10 bis 100 liegt, und wenn die Wahrscheinlichkeit nicht kleiner als der Schwellenwert ist, so bedeutet dies, daß Erntematerial erfaßt wird. Der Schritt 155 bestimmt, ob das gerade verarbeitete Pixel das letzte Pixel in dem zu verarbeitenden Rahmen oder Bild ist. Wenn dies nicht der Fall ist, werden die Schritte 152 bis 155 wiederholt. Wenn der Schritt 155 bestimmt, daß das letzte Pixel des Bildes verarbeitet wurde, so kehrt das Hindernis-Vermeidungs-Modul zum Schritt 151 zurück, um ein neues Bild zur Analyse zu gewinnen.
Wenn irgendeine Ausführung des Schrittes 154 bestimmt, daß PROB(i, j) unter den Schwellenwert (OBSTACLE_THRESH) fällt, so wurde wahrscheinlich ein Hindernis festgestellt. Wenn sie nicht in der automatischen Lenkungsbetriebsam (156) arbeitet, wird die Erntemaschine beispielsweise dadurch gestoppt, daß ein Signal an den PCC 50 gesandt wird, um die Erntemaschinen-Drosselsteuerung 36 zu steuern (Schritt 157). Der Fahrer kann dadurch informiert werden, daß ein Befehl an den PCC 50 gesandt wird, um das Ertönen eines Alarms (nicht gezeigt) zu steuern und/oder eine optische Warnung zu liefern. Wenn die Erntemaschine in der automatischen Lenkungsbetriebsam betrieben wird, so werden Lenkungs-Voten erzeugt (Schritt 158) und dem Lenkungs-Entscheidungs-Modul 114 zugeführt. Die im Schritt 158 erzeugten Lenkungs-Voten sind ähnlich zu den Lenkungs-Voten, die von dem Erntematerial-Linien-Verfolgungs-Modul erzeugt werden, weil es 201 Voten gibt, eines für jede mögliche Lenkungsrichtung. Eine oder mehrere der Voten können jedoch ein Veto-Votum mit einem Wert von –1,0 sein. Wie dies nachfolgend erläutert wird, verhindert ein Veto-Votum auf einer vorgegebenen Lenkungsrichtung, daß das Lenkungs-Entscheidungs-Modul ein Befehl zum Lenken in diese Richtung erzeugt. Weil die Videokameras 42, 44 geeicht sind, ist die Richtung jedes Punktes in dem Kamera-Blickfeld bezogen auf die derzeitige Lenkungsrichtung aus der Pixelposition bekannt, an der der Punkt auf dem Kamera-Bildschirm abgebildet wird. Wenn somit ein im Schritt 152 gewähltes Pixel (9) zu einer Bestimmung (Schritt 154) führt, daß ein Hindernis auf diesem Pixel abgebildet ist, so berechnet das Hindernis-Vermeidungs-Modul, welche Lenkrichtungen bewirken würden, daß die Erntemaschine auf dem Punkt konvergiert, der auf diesem Pixel abgebildet ist. Das Hindernis-Vermeidungs-Modul fügt dann ein Veto-Votum in die Fächer ein, die diesen Lenkungsrichtungen entsprechen, wenn es die Lenkungsvoten im Schritt 158 erzeugt.
Reihenende-Detektor
Das Reihenende-Detektor- (ERD-) Modul 104 stellt fest, wann sich die Erntemaschine in der Nähe des Ende einer Reihe befindet, und liefert, wenn das GPS-System nicht arbeitet, eine Auslösemeldung an das Ausführungs-Überwachungs-Modul 100, die anzeigt, daß das Ende einer Erntematerial-Reihe nahe ist. Das ERD-Modul 104 liefert weiterhin eine Anzeige der Entfernung zwischen der derzeitigen Erntemaschinen-Position und dem Ende der Reihe. Wenn die Begrenzung des Reihenendes angenähert senkrecht zur Erntematerial-Linie ist und die Kameras für eine Null-Roll- oder Querneigungsposition befestigt sind, so ist die Entfernung zum Ende der Reihe ausschließlich eine Funktion der Bildreihe, an der die Erntematerial-Linien-Begrenzung stoppt.
Das ERD-Modul 104 wird durch das EM-Modul 100 eingeschaltet, wenn das Modul 100 den Zustand 6 erreicht. Beim Einschalten setzt es einen Zähler M (Schritt 242 in 10) zurück, fängt ein Bild des Bereiches vor der Erntemaschine ein (Schritt 243) und beseitigt Schattenstörungen aus dem Bild, wie dies vorstehend anhand des Erntematerial-Linien-Verfolgungs-Moduls beschrieben wurde. Das Modul 104 bestimmt dann (Schritt 244) das wahrscheinlichste Ende der Reihe. Das ERD-Modul 104 bestimmt die Bildreihe oder Abtastzeile i, die mit der größten Wahrscheinlichkeit diejenigen Abtastzeilen, die eine Erntematerial-Linien-Begrenzung enthalten, d. h. eine Begrenzung zwischen gemähtem und ungemähtem Erntematerial, von denjenigen Abtastzeilen trennt, die keine Erntematerial-Linien-Begrenzung enthalten. Im Schritt 244 analysiert das ERD-Modul jede Abstastzeile entsprechend dem Algorithmus bester Anpassung für die Erntematerial-Linie, wie dies anhand des Erntematerial-Linien-Verfolgungs-Moduls 102 beschrieben wurde. Die Position und Höhe der resultierenden Stufenfunktionen mit bester Anpassung werden mit vorher berechneten Bereichen verglichen, die in einem Speicher in dem VPC 48 gespeichert sind und von Trainingsdaten abgeleitet sind. Wenn sie in die zulässigen Bereiche fallen, wird die Begrenzung oder Stufe als echte Anzeige der Erntematerial-Linie akzeptiert, und der Abtastzeile wird ein "vor dem Ende"-Etikett zugeordnet. Wenn keine Erntematerial-Linie gefunden wird, wird der Abtastzeile ein „nach dem Ende"-Etikett zugeordnet.
Nachdem ein vollständiges Bild abgetastet wurde, wird eine Bewertung S(i) für jede Abtastzeile dadurch berechnet, daß (1) S(i) = 0 gesetzt wird, (2) S(i) für jede Abtastzeile x von 0 (der Oberseite des Bildes) bis zur Linie i-1 weitergeschaltet wird, wenn der Abtastzeile ein "nach dem Ende"-Etikett zugeordnet wurde, und (3) S(i) für jede Abtastzeile y von i + 1 bis i_MAX (der Unterseite des Bildes) weitergeschaltet wird, wenn der Abtastzeile ein "vor dem Ende"-Etikett zugeordnet wurde. Die Abtastzeile mit der höchsten Bewertung S(i) ist die Abtastzeile, die das Ende der Reihe abbildet. Aus den Kamera-Kalibrierdaten kann der Abstand zwischen der derzeitigen Erntemaschinen-Position und dem Ende der Reihe dann bestimmt werden.
Als Vorsichtsmaßnahme gegen die Auslösung einer falschen Reihenende-Meldung wird die berechnete Entfernung (Schritt 245) mit einem gespeicherten Entfernungswert verglichen, um festzustellen, ob das Reihenende bevorsteht. Wenn die berechnete Entfernung größer ist, sendet das Modul keine Auslösemeldungen an das EM 100, sondern speichert die berechnete Entfernung und führt eine Rückkehr zum Schritt 243 aus, um ein neues Bild einzufangen und zu verarbeiten. Die Schritte 243 bis 245 werden wiederholt, bis im Schritt 245 die berechnete Entfernung gleich oder kleiner als der gespeicherte Entfernungswert ist. Wenn dies eintritt, wird die berechnete Entfernung für das derzeitige Bild mit dem Entfernungswert verglichen (Schritt 246), der für das vorhergehende Bild berechnet wurde.
Um zu verhindern, daß ein Störbild eine fehlerhafte Reihenende-Meldung auslöst, sendet das ERD-Modul eine Auslösemeldung erst dann, nachdem es eine Mehrzahl von Bildern verarbeitet hat und feststellt, daß für N (beispielsweise 3) Bilder die berechnete Entfernung für jedes nachfolgende Bild kleiner als die berechnete Entfernung für das vorhergehende Bild ist.
Wenn der Schritt 246 feststellt, daß die berechnete Entfernung für das derzeitige Bild nicht kleiner als die ist, die für das vorhergehende Bild berechnet wurde, so kehrt das Programm zum Schritt 243 zurück, um ein weiteres Bild zu verarbeiten. Wenn andererseits der Schritt 246 feststellt, daß die berechnete Entfernung kleiner als die ist, die für das vorhergehende Bild berechnet wurde, so wird der Zähler N weitergeschaltet (Schritt 247) und mit dem Wert END_THRESH verglichen (Schritt 248) (von dem angenommen wird, daß er einen Wert von 3 hat). Wenn N kleiner oder gleich 3 ist, kehrt das Programm zum Schritt 243 zurück, doch wenn N größer als 3 ist, so wird eine Auslösemeldung (Schritt 249) an das EM-Modul 100 gesandt, wobei in dieser Meldung der Wert der Entfernung zum Ende der Reihe enthalten ist, der für das letzte verarbeitete Bild berechnet wurde.
Die Zuverlässigkeit des vorstehend beschriebenen Teilsystems kann dadurch verbessert werden, daß ein zweites Teilsystem in Form einer Erntematerial-Linien-Abschätzeinrichtung ähnlich dem Erntematerial-Anfangs-Detektor geschaffen wird, der in dem Erntematerial-Linien-Verfolgungs-Modul 102 vorgesehen ist. Anstelle der Auswertung der Regressionszeilen von oben nach unten werden die Zeilen jedoch von unten nach oben ausgewertet, wobei der untere Teilabschnitt immer als nicht schrägverlaufend betrachtet wird. Ein mögliches Reihenende wird als am Anfangspunkt (von der Seite der Zeile) der niedrigsten schrägverlaufenden Zeile auftretend betrachtet.
Die von dem ersten Teilsystem abgegebene mögliche Reihenende-Position wird mit der des zweiten Teilsystems korreliert, und eine Auslösemeldung wird an das EM-Modul 100 nur dann abgesandt, wenn die beiden Ausgänge übereinstimmen (und GPS-Daten derzeit unzuverlässig oder nicht verfügbar sind).
Entscheidung
Ein Zweck des Lenkungs-Entscheidungs-Moduls 114 besteht in der Auflösung von Konflikten zwischen zwei oder mehr Modulen, die gleichzeitig die Erntemaschine zu lenken wünschen.
Das Entscheidungs-Modul führt weiterhin eine Glättungs- oder Filterfunktion an den Lenkungsrichtungs-Voten aus, die von den verschiedenen Modulen erzeugt werden. Diese Funktion kann anhand der 11 erläutert werden, die eine typische Situation für den Fall von schlechtem Erntematerial zeigt. Die Figur wurde für den Fall von weniger als 201 Lenkrichtungen gezeichnet, um klarer die Glättungsfunktion zu demonstrieren. In 11 sei angenommen, daß die grafischen Darstellungen (a)–(d) die Votenzählungen darstellen, die von dem CLT-Modul 102 für vier aufeinanderfolgende Bilder erzeugt werden, wobei die grafische Darstellung (a) für das zuletzt erzeugte Bild gilt. Jeder vertikale Balken in einer grafischen Darstellung stellt die Votenzählung in einem der Fächer dar, d. h. die akkumulierte Votenzählung für ein Fach, wie es von dem CLT-Modul 102 im Schritt 127 in 8 erzeugt wird, und bevor die Votenzählungen normalisiert werden. In jeder grafischen Darstellung wurde das Votum für jedes Bild zeitlich mit einem Faktor gewertet oder gewichtet, wie dies auf der linken Seite jeder grafischen Darstellung angegeben ist.
In der grafischen Darstellung (a) hat das Fach oder die Lenkungsrichtung, das bzw. die mit 220 bezeichnet ist, die höchste Votensumme, so daß, wenn die von diesem Bild abgeleiteten Voten allein betrachtet werden, der Erntemaschine ein Befehl gegeben würde, eine ziemlich extreme Kurve nach links zu machen, weil dieses Fach von dem „geradeaus"-Fach, das durch 0 dargestellt ist, um ungefähr 15 Fächer entfernt ist. Andererseits sind für die drei vorhergehenden Bilder die Votensummierungen für die mit 221, 222 und 223 bezeichneten Fächer am größten, so daß, wenn auf der Grundlage der Votensummierungen für diese Bilder allein gehandelt würde, der Erntemaschine ein Befehl gegeben würde, sanft nach rechts in sich geringfügig änderndem Ausmaß zu lenken.
Die Votensummierungen in der grafischen Darstellung (a) sind offensichtlich das Ergebnis einer gewissen Anomalie und würden eine unerwünschte Lenkung nach links hervorrufen, wenn sie allein berücksichtigt würden. Um einen derartigen Vorgang zu vermeiden, werden die Votensummierungen für mehrere Bilder gespeichert und klingen mit ihrem Wert mit der Zeit ab, und die abklingenden Votensummierungswerte werden dann miteinander addiert. Die grafische Darstellung (e), die nicht in gleichem Maßstab wie die grafischen Darstellungen (a)–(d) gezeichnet ist, zeigt das Ergebnis. Durch zeitliches Bewerten und Summieren der normalisierten Votenzählungen in entsprechenden Fächern für die vier Bilder hat das mit 224 gezeichnete Fach die größte Summe. Wenn somit die Voten über vier Bilder betrachtet werden, so kann die fehlerhafte Lenkanzeige, die in der grafischen Darstellung (a) dargestellt ist, ausgefiltert oder ausgemittelt werden, und der Erntemaschine wird ein Befehl gegeben, leicht nach rechts zu lenken, obwohl die Analyse des letzten Bildes anzeigt, daß ein scharfes Lenken nach links erforderlich ist.
Gemäß 12 führt das Lenkungs-Entscheidungs-Modul 114 im Schritt 250 eine zeitliche Bewertung oder ein Abklingen jedes der 201 normalisierten Fach-Votenzählungen für die letzten n Bilder aus, die von dem Erntematerial-Linien-Verfolgungs-Modul 102 verarbeitet wurden. Obwohl 11 die Summierung von Voten für n = 4 Bilder zeigt, kann n irgendeine feste Zahl oder die Anzahl von Bildern sein, die von dem Erntematerial-Linien-Verfolgungs-Modul 102 innerhalb eines festen Intervalls von beispielsweise einer oder zwei Sekunden verarbeitet wurden.
Der Schritt 251 mittelt die abklingenden normalisierten Fach-Votenzählungen, die im Schritt 250 gewonnen wurden, um ein Lenkungs-Vorzugssignal für das Erntematerial-Linien-Verfolgungs-Modul zu erzeugen. Aus der vorstehenden Beschreibung ist es ersichtlich, daß das Lenkungs-Vorzugssignal 201 Fächer oder Werte umfaßt, wobei jeder Wert zwischen 0,0 und 1,0 liegt und der Gesamtwert aller Werte 1,0 ist. Das Erntematerial-Linien-Verfolgungs-Lenkungs-Vorzugssignal wird dann im Schritt 252 gespeichert.
Als nächstes führt das Entscheidungs-Modul ein zeitliches Abklingen und eine Mittelwertbildung der Fach-Votenzählungen aus, die von anderen als dem CLT-Modul 102 erzeugt wurden, um Lenkungs-Vorzugssignale für diese Module zu erzeugen. Die zeitliche Abklingrate der Fach-Votenzählungen von diesen Modulen muß nicht die gleiche sein, wie die für die Fach-Votenzählungen von dem CLT-Modul. Weiterhin können die Fach-Votenzählungen über mehr oder weniger Bilder gemittelt werden, als dies bei der Mittelwertbildung der Erntematerial-Linien-Verfolgungs-Votenzählungen verwendet wurde. Die zeitliche Abklingrate und die Anzahl von Bildern, die bei der Mittelwertbildung berücksichtigt werden, hängt von der Bedeutung eines Moduls für den Gesamt-Lenkvorgang und der Frequenz ab, mit der das Modul Bilder verarbeiten kann.
Das zeitliche Abklingen der Fach-Votensummierungen (Schritt 250) und die Summierung der abklingenden Fach-Votensummierungen für mehrere Bilder (Schritt 251) ergibt einen Vorteil, der nicht ohne weiteres aus der vorstehenden Beschreibung ersichtlich ist. Die verschiedenen Module erzeugen Fach-Votensummierungen mit unterschiedlichen Raten, beispielsweise mit 2 Hz oder 5 Hz, und Lenkbefehle werden von dem SA-Modul 114 mit einer Rate von 10 Hz erzeugt. Dies würde zu schnellen Änderungen des Lenkbefehls führen, wenn die Fach-Votensummierungen für vorhergehende Bilder nicht berücksichtigt würden.
Nachdem der Schritt 253 abgeschlossen ist, prüft der Schritt 254 einen Zeitgeber, um festzustellen, ob 0,1 Sekunden abgelaufen sind. Wenn der Schritt 254 feststellt, daß noch nicht 0,1 Sekunden seit der Erzeugung des letzten Lenkbefehls vergangen sind, so werden die Schritte 250–253 wiederholt. Nach 0,1 Sekunden erweist sich die Prüfung im Schritt 254 als wahr, und das SA-Modul erzeugt einen Lenkbefehl, wie dies weiter unten beschrieben wird.
Wie dies weiter erwähnt wurde, besteht ein Zweck des SA-Moduls 114 darin, Konflikte aufzulösen, wenn zwei oder mehr Module gleichzeitig die gleiche Erntemaschinen-Funktion steuern wollen. Das Entscheidungsmodul erzeugt in diesem Fall einen Lenkbefehl, der ein Kompromiß zwischen dem in Konflikt stehenden Wünschen der zwei Modulen ist.
In 13 werden die Lenkungs-Vorzugssignale für jedes Modul (die in den Schritten 252 und 253 in 12 erzeugt wurden) entsprechend der Bedeutung des Moduls dadurch bewertet oder gewichtet, daß jedes Lenkungs-Vorzugssignal mit einem konstanten Wert multipliziert wird. Beispielsweise wird der Wert in jedem Fach des Erntematerial-Linien-Verfolgungs-Lenkungs-Vorzugssignals mit einer Konstante k, bei 256 multipliziert, und der Wert in jedem Fach des Lenkungs-Vorzugssignals für das Modul M wird mit einer Konstante k₂ bei 257 multipliziert. Die Werte in entsprechenden Fächern der bewerteten Vorzugssignale werden dann miteinander im Schritt 258 addiert. Der Schritt 259 überprüft jeden der 201 Fach-Gesamtwerte, die im Schritt 258 gewonnen wurden, und bestimmt, welches Fach die größte Gesamtsumme hat. Das Entscheidungs-Modul erzeugt dann (Schritt 260) einen Lenkbefehl mit einem Wert, der von der Position des Faches abhängt, von dem festgestellt wurde, daß es den größten Gesamtwert hat.
Als ein Beispiel sei angenommen, daß das Erntemaschinen-Getriebe 50 in der Lage ist, in eine von 5 Richtungen zu lenken. Es sei weiterhin angenommen, daß die Erntematerial-Linien-Verfolgungs- und Modul M- (entweder das LTT-Modul 106, GTT-Modul 106 oder GTT-Modul 108) Lenk-Vorzugssignale nach der Bewertung bei 256 und 257 die Werte von 0,6, 0,4, 0, 0,0 bzw. 0,1, 0,6, 0,1, 0,1, 0 haben. Das Lenkungs-Vorzugssignal für das Erntematerial-Linien-Verfolgungs-Modul zeigt einen Vorzug für eine scharfe Lenkung nach links (0,6) an, doch ist eine leichte Linkskurve (0,4) akzeptabel. Andererseits zeigt das Lenkungs-Vorzugssignal für das Modul B einen Vorzugswert für eine leichte Linkskurve (0,6) an. Nach dem Summieren der entsprechenden Fachpositionen im Schritt 258 sind die Fach-Gesamtwerte 0,7, 1,0, 0,1, 0,1, 0,1. Der Schritt 259 bestimmt, daß das zweite Fach von links den höchsten Gesamtwert (1,0) hat, so daß im Schritt 260 ein Lenkbefehl erzeugt wird, um eine leichte Kurve nach links hervorzurufen.
Wie dies weiter oben erläutert wurde, enthalten die von dem Hindernis-Vermeidungs-Modul erzeugten Lenkungsrichtungs-Voten für jedes Bild Veto-Voten (-1) in irgendeinem Fach, das einer Lenkrichtung zugeordnet ist, die die Erntemaschine auf einen Kollisionskurs mit einem festgestellten Hindernis lenken würde. In dem SA-Modul können diese Veto-Voten in unterschiedlicher Weise verwendet werden, um die Erzeugung eines Befehls zur Lenkung entlang eines Kollisionskurses zu sperren. Beispielsweise können im Schritt 258 nach 13 die Veto-Voten das Summieren von Werten in denjenigen Fachpositionen verhindern, die den Fachpositionen entsprechen, die Veto-Voten enthalten, oder im Schritt 259 können die Veto-Voten aus der Bestimmung des Faches mit dem höchsten Voten-Gesamtwert diejenigen Fächer ausschließen, die den Fächern entsprechen, die darin enthaltene Veto-Voten haben.
Die von dem Lenkungs-Entscheidungs-Modul im Schritt 260 erzeugten Lenkbefehle werden von dem Aufgabenverwaltungscomputer 52 auf den physikalischen Steuercomputer 50 übertragen. Der PCC 50 löst die Befehle auf und erzeugt Analogsignale, die Ventile in dem Getriebe 35 steuern, so daß die Radantriebsmotoren in unterschiedlicher Weise angetrieben werden, um die Erntemaschine auf die Befehlsrichtung zu lenken. Ein Lenkbefehl wird alle 0,1 Sekunden erzeugt, wenn sich der Test im Schritt 254 (12) als wahr erweist. Nach jedem Erzeugen des Lenkbefehls kehrt das Entscheidungs-Modul zum Schritt 250 zurück.
Aus der vorstehenden Beschreibung ist es ersichtlich, daß die vorliegende Erfindung in einer Ausführungsform ein Roboter-Steuersystem ergibt, das den Fahrer bei der Steuerung aller Funktionen einer Erntemaschine ersetzen kann. Das Steuerprogramm muß nicht geändert werden, um Felder mit unterschiedlichen Größen oder Formen zu berücksichtigen, weil der Pfad der Erntemaschinen-Bewegung und andere Funktionen in einem Feldüberdeckungs-Plan angegeben werden, der innerhalb des Systems geplant wird. Eine alternative Ausführungsform ergibt eine Fahrtsteuerung, die den Fahrer von der Verantwortung für das Lenken der Erntemaschine entlang einer Erntematerial-Linie entlastet, jedoch alle anderen Funktionen unter Fahrersteuerung beläßt.
Obwohl die Erfindung bezüglich der Steuerung einer Erntemaschine beschrieben wurde, ist es verständlich, daß verschiedene Gesichtspunkte der Erfindung in einfacher Weise für die Verwendung bei der Steuerung anderer Maschinen oder Fahrzeuge anpaßbar sind, und zwar sowohl landwirtschaftlicher als auch nicht landwirtschaftlicher Maschinen oder Fahrzeuge.

Claims

Roboter-Steuersystem für eine landwirtschaftliche Erntemaschine (10), das zumindest eine Video-Kamera (42/44), die auf der Erntemaschine (10) zur Betrachtung der sich ändernden Szene vor der Erntemaschine (10) befestigt ist und Bilder der sich ändernden Szene erzeugt, während sich die Erntemaschine (10) entlang eines geplanten Pfades bewegt, und ein Modul (104) zum Abtasten jeder Zeile eines Bildes einschließt, um zu bestimmen, ob eine Erntematerial-Linienbegrenzung in der Zeile angezeigt ist, dadurch gekennzeichnet, daß das Modul ein Reihenende-Detektor-Modul (104) umfaßt, um aus der Feststellung, welche der Zeilen eine Erntematerial-Linienbegrenzung anzeigt, und welche der Zeilen dies nicht tut, die wahrscheinlichste Zeile zu bestimmen, die das Ende einer Erntematerial-Reihe abbildet.
Roboter-Steuersystem nach Anspruch 1, dadurch gekennzeichnet, daß das Reihenende-Detektor-Modul (104) eine berechnete Entfernung von einer derzeitigen Erntemaschinenposition zu einer bestimmten Position berechnet, die einer wahrscheinlichsten Reihenende-Position entspricht, daß die berechnete Entfernung mit einem gespeicherten Entfernungswert verglichen wird, und daß das Reihenende-Detektor-Modul (104) jedesmal dann ein neues Bild verarbeitet und eine neue bestimmte Position bestimmt, aus der eine neue berechnete Entfernung berechnet wird, wenn die berechnete Entfernung größer als die gespeicherte Entfernung ist.
Roboter-Steuersystem nach Anspruch 2, dadurch gekennzeichnet, daß das Reihenende-Detektor-Modul (104) die Verarbeitung neuer Bilder und die Bestimmung neuer bestimmter Positionen fortsetzt, bis die neue berechnete Entfernung für eine vorgegebene Anzahl von berechneten neuen bestimmten Positionen kleiner oder gleich der gespeicherten Entfernung ist.
Roboter-Steuersystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß es weiterhin folgendes einschließt: – ein Ausführungs-Überwachungs-Modul (100), das durch eine Vielzahl von endlichen Zuständen durch Auslösemeldungen von einem Feldüberdeckungs-Planungs-Modul (118) folgegeschaltet wird, – ein globales Bewegungsbahn-Verfolgungs-Modul (108), – ein Steuerungs-Modul (120), und – ein Feldüberdeckungs-Überwachungs-Modul (118), wobei das Ausführungs-Überwachungs-Modul (100) zumindest eines der Feldüberdeckungs-Planungs-Module (118), der globalen Bewegungsbahn-Verfolgungs-Module (108), der Reihenende-Detektor-Module (104), eines Erntematerial-Linien-Verfolgungs-Moduls (102) oder eines örtlichen Bewegungsbahn-Verfolgungs-Moduls (106) in jedem endlichen Zustand aktiviert, um Lenkungssignale zum Lenken der Erntemaschine (10) entlang eines Pfades zu erzeugen, der durch einen Feldüberdeckungs-Plan spezifiziert ist, um das gesamte Erntematerial auf einem Feld zu mähen.
Roboter-Steuersystem nach Anspruch 4, dadurch gekennzeichnet, daß: das globale Bewegungsbahn-Verfolgungs-Modul (108) Lenkungsvoten erzeugt, die die bevorzugte Richtung anzeigen, in die die Erntemaschine (10) gelenkt werden sollte, um dem Pfad zu folgen, und das Erntematerial-Linien-Verfolgungs-Modul (102) Lenkungsvoten hinsichtlich der Richtung erzeugt, in die die Erntemaschine (10) gelenkt werden sollte, um einer Erntematerial-Linie (16) zwischen gemähtem und nicht gemähtem Erntematerial zu folgen, wobei das System weiterhin ein kontinuierlich ablaufendes Lenkungs-Entscheidungs-Modul (114) zur Erzeugung von Lenkbefehlen aus all den Lenkungsvoten und ein kontinuierlich ablaufendes Steuerungs-Modul (120) umfaßt, das auf die Lenkbefehle anspricht, um Signale zum differenziellen Antrieb von Vorderrädern (22, 24) der Erntemaschine (10) zu erzeugen, um diese zu lenken.
Roboter-Steuersystem nach Anspruch 4 oder 5, dadurch gekennzeichnet, daß das Erntematerial-Linien-Verfolgungs-Modul (102) für jedes Bild Lenkungsvoten hinsichtlich der Richtung erzeugt, in die die Erntemaschine (10) gelenkt werden sollte, um einer Erntematerial-Linie (16) zwischen gemähtem und ungemähtem Erntematerial zu folgen, wobei das System weiterhin ein kontinuierlich ablaufendes Lenkungs-Entscheidungs-Modul (114) zur Erzeugung eines Lenkbefehls aus allen den Lenkungsvoten und ein kontinuierlich ablaufendes Steuerungs-Modul (120) umfaßt, das auf die Lenkbefehle anspricht, um Signale zum differenziellen Antrieb der Vorderräder (22, 24) der Erntemaschine (10) zu erzeugen, um diese zu lenken.
Roboter-Steuersystem nach Anspruch 6, dadurch gekennzeichnet, daß bei der Erzeugung der Lenkbefehle die Voten von dem Erntematerial-Linien-Verfolgungs-Modul (102) in von den Voten von dem globalen Bewegungsbahn-Verfolgungs-Modul (108) unterschiedlicher Weise bewertet werden.
Roboter-Steuersystem nach einem der Ansprüche 4 bis 7, dadurch gekennzeichnet, daß das Erntematerial-Linien-Verfolgungs-Modul (102) die Bilder gegen Schatten in der Szene kompensiert und aus jedem kompensierten Bild Lenkungsvoten zum Lenken der Erntemaschine (10) entlang einer Erntematerial-Linie (16) zwischen gemähtem und ungemähtem Erntematerial ableitet.
Roboter-Steuersystem nach Anspruch 8, dadurch gekennzeichnet, daß die Lenkungsvoten über N Bilder zeitlich abklingend gemacht werden, um ein Lenkungs-Vorzugssignal zu erzeugen.
Roboter-Steuersystem nach einem der Ansprüche 4 bis 9, dadurch gekennzeichnet, daß das Erntematerial-Linien-Verfolgungs-Modul (102) jedes der erzeugten Bilder entsprechend einer adaptiv aktualisierten Farb-Diskriminanten-Funktion analysiert, um Lenkungsvoten zum Lenken der Erntemaschine (10) entlang einer Erntematerial-Linie (16) zwischen gemähtem und ungemähtem Erntematerial abzuleiten.
Roboter-Steuersystem nach Anspruch 10, dadurch gekennzeichnet, daß das Erntematerial-Linien-Verfolgungs-Modul (102) folgendes einschließt: einen Diskriminator zum Analysieren jedes Pixels jeder Zeile jedes erzeugten Bildes und zur Zuordnung eines Diskriminanten-Wertes zu jedem der Pixel; und einen Segmentieren zum Berechnen einer eine beste Anpassung ergebenden Stufenfunktion für die Pixel jeder Zeile und zur Definition eines ausgewählten Pixels in jeder Zeile, das die Position der Erntematerial-Linie darstellt.
Roboter-Steuersystem nach Anspruch 10 oder 11, dadurch gekennzeichnet, daß nach der Analyse jedes Bildes das Erntematerial-Linien-Verfolgungs-Modul (102) die lineare Fisher-Diskriminante im RGB-Raum zwischen dem gemähten und ungemähten Erntematerial als die Diskriminante für das nächste Bild berechnet.
Verfahren zum Ernten von Erntematerial mit einer Erntematerial-Erntemaschine (10), die ein Roboter-Steuersystem aufweist, mit den folgenden Schritten: Erzeugen von Bildern von zumindest einer Video-Kamera (42/44), die auf der Erntemaschine (10) befestigt ist, um die sich ändernde Szene vor der Erntemaschine (10) anzuzeigen, während sich die Erntemaschine entlang eines Lenkungspfades bewegt; und Abtasten jeder Zeile jedes Bildes mit Hilfe eines Moduls (104), um festzustellen, ob eine Erntematerial-Linienbegrenzung angezeigt ist, dadurch gekennzeichnet, daß das Modul ein Reihenende-Detektor-Modul (104) ist, und das das Verfahren den weiteren Schritt umfaßt, daß das Reihenende-Detektor-Modul aus der Feststellung, welche der Zeilen eine Erntematerial-Linienbegrenzung anzeigen, und welche Linien dies nicht tun, die wahrscheinlichste Zeile bestimmt, die das Ende einer Erntematerial-Reihe abbildet.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß es die folgenden weiteren Schritte umfaßt: Bereitstellen eines Ausführungsüberwachungs-Moduls (100), das durch eine Mehrzahl von endlichen Zuständen hindurch durch Auslösemeldungen von einem Feldüberdeckungs-Planungs-Modul (118), einem globalen Bewegungsbahn-Verfolgungs-Modul (108), einem Steuerungs-Modul (120), dem Reihenende-Detektor-Modul (104), einem Erntematerial-Linien-Verfolgungs-Modul (102) und einem Feldüberdeckungs-Überwachungs-Modul (118) folgegesteuert wird, und Aktivieren zumindest eines der Feldüberwachungs- (118), der globalen Bewegungsbahn-Verfolgungs- (108), des Reihenende-Detektor-Moduls (104) oder eines örtlichen Bewegungsbahn-Verfolgungs-Moduls (108) in jedem endlichen Zustand zur Erzeugung von Lenkungsvoten zum Lenken der Erntemaschine (10) entlang eines durch einen Feldüberdeckungs-Plan bestimmten Pfades zum Mähen des gesamten Erntematerials auf einem Feld.
Verfahren nach Anspruch 14, dadurch gekennzeichnet, daß es weiterhin die folgenden Schritte umfaßt: Erzeugen von Lenkungsvoten zumindest von dem globalen Bewegungsbahn-Modul, das die bevorzugte Richtung anzeigt, in die die Erntemaschine (10) gelenkt werden sollte, um den Pfad zu folgen, und von dem Erntematerial-Linien-Verfolgungs-Modul (102), das eine Erntematerial-Linie zwischen gemähtem und ungemähtem Erntematerial definiert, entlang der die Erntemaschine (10) gelenkt werden sollte; Entscheiden über die Lenkungsvoten durch ein kontinuierlich ablaufendes Lenkungs-Entscheidungs-Modul (114) zur Entwicklung von Lenkbefehlen aus all den Lenkungsvoten und eine kontinuierlich ablaufende Steuerung (120) in Abhängigkeit von den Lenkbefehlen zur Erzeugung von Signalen zum differenziellen Antrieb von Vorderrädern (22, 24) der Erntemaschine (10), um diese zu lenken, und Lenken der Erntematerial-Erntemaschine in Abhängigkeit von den Lenkbefehlen.
Verfahren zum Ernten von Erntematerial nach Anspruch 15, dadurch gekennzeichnet, daß es weiterhin den folgenden Schritt umfaßt: Bewerten der Lenkungsvoten in dem Entscheidungsschritt derart, daß die Lenkungsvoten von dem Erntematerial-Linien-Verfolgungs-Modul (102) in anderer Weise bewertet werden, als die Lenkungsvoten von dem globalen Bewegungsbahn-Verfolgungs-Modul (108).
Verfahren nach Anspruch 16, dadurch gekennzeichnet, daß es weiterhin die folgenden Schritte umfaßt: Kompensieren der Bilder gegen Schatten, um kompensierte Bilder zu schaffen; und Ableiten der Lenkungsvoten für das Erntematerial-Linien-Verfolgungs-Modul (102) von den kompensierten Bildern zum Lenken der Erntemaschine (10) entlang einer Erntematerial-Linie zwischen gemähtem und ungemähtem Erntematerial.
Verfahren nach Anspruch 17, dadurch gekennzeichnet, daß der Ableitungsschritt den Schritt der Analyse jedes der Bilder entsprechend einer adaptiv aktualisierten Farb-Diskriminanten-Funktion einschließt, um die Erntematerial-Linie zwischen gemähtem und ungemähtem Erntematerial zu definieren.