DE102019203247A1

DE102019203247A1 - Vision-basiertes Lenkungsassistenzsystem für Landfahrzeuge

Info

Publication number: DE102019203247A1
Application number: DE102019203247.8A
Authority: DE
Inventors: Benedict Strohmaier; Costanza Cascelli; Tommy Ikonen; Jan-Frederik Kuhn
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-03-11
Filing date: 2019-03-11
Publication date: 2020-09-17
Also published as: WO2020182564A1

Abstract

Die Erfindung betrifft den autonomen Betrieb eines Fahrzeugs (1). So wird beispielsweise eine Prozessoreinheit zum autonomen Betrieb eines Fahrzeugs (1) vorgeschlagen. Die Prozessoreinheit umfasst eine Schnittstelle, wobei die Prozessoreinheit dazu eingerichtet ist, mittels der Schnittstelle auf eine von einer Sensoreinheit generierte Umfelderfassung des Fahrzeugs (1) zuzugreifen, mehrere Spurlinien (4.1, 4.2) in der Umfelderfassung zu erkennen, eine Spurlinie (4.1) aus den mehreren Spurlinien (4.1, 4.2) auszuwählen, und das Fahrzeug (1) basierend auf der ausgewählten Spurlinie (4.1) derart zu steuern, dass das Fahrzeug (1) autonom der ausgewählten Spurlinie (4.1) folgt. Weitere Ansprüche sind auf ein entsprechendes Fahrerassistenzsystem (5), ein Verfahren sowie auf ein Computerprogrammprodukt und ein Fahrzeug (1) gerichtet.

Description

Die Erfindung betrifft eine Prozessoreinheit, ein Fahrerassistenzsystem, ein Verfahren und ein Computerprogrammprodukt zum autonomen Betrieb eines Fahrzeugs, insbesondere eines landwirtschaftlichen Nutzfahrzeugs.
Es sind Fahrerassistenzsysteme für landwirtschaftliche Nutzfahrzeuge bzw. Maschinen (Landtechnik) bekannt. Diese Fahrerassistenzsysteme sollen insbesondere als vollautomatisierte oder teilautomatisierte Lenkhilfe den Fahrer entlasten. Dabei hat sich die Lenkhilfe via GPS-Steuerung in der Landtechnik etabliert. Die Fahrerassistenzsysteme sind teilweise sehr komplex und ermöglichen je nach Korrektursignal Genauigkeiten von bis zu 2 cm. Problematisch an GPS ist die teilweise nicht vorhandene Signalabdeckung weltweit (z.B. auch im Bergland) und die je nach System hohen Anschaffungskosten und Lizenzkosten.
Alternative, nicht auf GPS basierende Fahrerassistenzsysteme für landwirtschaftliche Nutzfahrzeuge sehen optische Systeme vor, die bestimmte Anwendungen in der Landwirtschaft automatisieren. Beispiele sind Fahrerassistenzsysteme, die auf Kameras, auf Lidar-Sensoren oder allgemeiner auf Laser-Sensoren basieren. Derartige Systeme sind jedoch aufwändig und teuer (insbesondere, wenn Lidar-Sensoren zum Einsatz kommen) und/oder können nur eine einfache Anwendung ausführen oder unterstützen. Beispielsweise ermöglichen diese Systeme typischerweise lediglich, einen Schwad mittig vor dem Fahrzeug zu erkennen und nicht seitlich des Fahrzeugs. Unter einem „Schwad“ kann ein abgemähtes und in einer Reihe liegendes landwirtschaftliches Gut verstanden werden, z.B. Gras, Getreide o.Ä. Weiterhin sind derartige Systeme nicht in der Lage, mehrere Anwendungen (z.B. Mähen, Schwaden, Laden oder Pressen) zu verarbeiten und bieten so keine echte Alternative zu GPS-Systemen.
Ein Fahrer eines landwirtschaftlichen Nutzfahrzeugs muss sich typischerweise für die Dauer eines ganzen Tages auf einen Arbeitsgang konzentrieren. Daneben muss der Fahrer üblicherweise neben dem Steuern des Fahrzeugs gleichzeitig die Funktion von Anbaugeräten des Fahrzeugs überwachen. Dies kann dazu führen, dass es zu Fehlbedienungen kommt, dass die Maschinen nicht optimal effizient genutzt werden und dass die Arbeitsleistung und die Arbeitsqualität leiden.
Teure GPS Systeme sind für kleinere oder mittlere Landwirtschaftsbetriebe oftmals nicht rentabel oder nutzlos in Gebieten mit schlechter Signalabdeckung. Optische Assistenzsysteme sind bisher sehr eingeschränkt in Ihrer Funktion und können oft nur sehr einfache Anwendungen umsetzen.
Eine Aufgabe der vorliegenden Erfindung kann darin gesehen werden, eine insbesondere zu teuren GPS-Systemen alternative Technologie bereitzustellen, die den Fahrer entlastet und ihm mehr Komfort bei verschiedenen Anwendungen (z.B. Mähen, Schwaden, Laden oder Pressen) bietet.
Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der Unteransprüche, der folgenden Beschreibung sowie der Figuren.
Gemäß der vorliegenden Erfindung wird eine Technologie vorgeschlagen, die Spurlinien (z.B. Schwade oder Mähkanten) in einem Feld erfasst, entsprechende Bildinhalte verarbeitet sowie die richtige Spur auswählt und dann die Lenkung des Fahrzeugs entsprechend ansteuert. Einen Kern der Erfindung stellt dabei ein System aus einfachen Sensoren (z.B. Kameras) und modernster Bildverarbeitung dar (insbesondere durch Methoden der Künstlichen Intelligenz erweitert, siehe weiter unten), die es ermöglicht, das System flexibel zu gestalten und einzusetzen. Je nach Art der Anwendung und des Einsatzgebietes kann das System unterschiedlich implementiert und so an Kundenanforderungen angepasst werden.
Insbesondere werden gemäß der vorliegenden Erfindung drei Funktionalitäten bzw. Verfahrensschritte vorgeschlagen, nämlich die Erkennung der Spurlinien („Sehen“ bzw. im Englischen: „See“), die Auswahl der richtigen Spurlinie („Denken“ bzw. im Englischen: „Think“) und die Ansteuerung der Lenkung des Fahrzeugs („Handeln“ bzw. im Englischen: „Act“). Die vorliegende Erfindung ermöglicht, den Fahrer zu entlasten und ihm mehr Komfort bei verschiedenen Anwendungen (z.B. Mähen, Schwaden, Laden oder Pressen) zu bieten. Das landwirtschaftliche Nutzfahrzeug kann dadurch effizienter genutzt werden. Die Schlagkraft wird höher, die Arbeitsleistung und Arbeitsqualität verbessern sich deutlich und der Kraftstoffverbrauch sinkt.
In diesem Sinne wird gemäß einem ersten Aspekt der Erfindung eine Prozessoreinheit zum autonomen Betrieb eines Fahrzeugs bereitgestellt. Die Prozessoreinheit kann ein Element eines elektronischen Steuergeräts des Fahrzeugs bilden. Die Prozessoreinheit kann weiterhin ein Element eines Fahrerassistenzsystems des Fahrzeugs bilden. Die Prozessoreinheit umfasst eine Schnittstelle. Die Schnittstelle ist insbesondere eine Kommunikations-Schnittstelle, welche den Austausch von Daten ermöglicht, und zwar einen Austausch von Daten zwischen der Prozessoreinheit einerseits und einer Sensoreinheit andererseits. Weiterhin kann die Prozessoreinheit über die Schnittstelle Befehle an Aktuatoren des Fahrzeugs übermitteln, beispielsweise an einen Lenk-Aktuator des Fahrzeugs. Die Prozessoreinheit ist insbesondere dazu eingerichtet, mittels der Schnittstelle auf eine von der Sensoreinheit generierte Umfelderfassung des Fahrzeugs zuzugreifen, mehrere Spurlinien in der Umfelderfassung zu erkennen, eine Spurlinie aus den mehreren Spurlinien auszuwählen, und das Fahrzeug basierend auf der ausgewählten Spurlinie derart zu steuern, dass das Fahrzeug autonom der ausgewählten Spurlinie folgt, z.B. dass das Fahrzeug auf oder seitlich neben der ausgewählten Spurlinie fährt. Wenn die Sensoreinheit lediglich eine einzige Spurlinie in dem Umfeld des Fahrzeugs erfasst, dann ist die Prozessoreinheit auch dazu eingerichtet, diese einzige Spurlinie zu erkennen und das Fahrzeug derart zu steuern, dass es ihr folgt.
Gemäß einem zweiten Aspekt der Erfindung wird analog ein Fahrerassistenzsystem zum autonomen Betrieb eines Fahrzeugs vorgeschlagen. Das Fahrerassistenzsystem umfasst eine Sensoreinheit zur Erfassung eines Umfelds des Fahrzeugs und eine Prozessoreinheit gemäß dem ersten Aspekt der Erfindung. Die Sensoreinheit ist dazu eingerichtet, eine Umfelderfassung des Fahrzeugs zu generieren.
Gemäß einem dritten Aspekt der Erfindung wird ein entsprechendes Verfahren zum autonomen Betrieb eines Fahrzeugs vorgeschlagen. Das Verfahren kann ein Generieren einer Umfelderfassung des Fahrzeugs durch eine Sensoreinheit und ein Erkennen mehrerer Spurlinien in der Umfelderfassung mittels einer Prozessoreinheit umfassen. Weiterhin kann mittels der Prozessoreinheit eine Spurlinie aus den mehreren Spurlinien ausgewählt werden, und das Fahrzeug mittels der Prozessoreinheit basierend auf der ausgewählten Spurlinie gesteuert werden, sodass das Fahrzeug autonom der ausgewählten Spurlinie folgt, z.B. dass das Fahrzeug auf oder seitlich neben der ausgewählten Spurlinie fährt.
Gemäß einem vierten Aspekt der Erfindung wird ferner analog ein Computerprogrammprodukt zum autonomen Betrieb eines Fahrzeugs bereitgestellt. Das Computerprogrammprodukt leitet, wenn es auf einer Prozessoreinheit ausgeführt wird, die Prozessoreinheit an, mittels einer Schnittstelle auf eine von einer Sensoreinheit generierte Umfelderfassung des Fahrzeugs zuzugreifen, mehrere Spurlinien in der Umfelderfassung zu erkennen, eine Spurlinie aus den mehreren Spurlinien auszuwählen, und das Fahrzeug basierend auf der ausgewählten Spurlinie derart zu steuern, dass das Fahrzeug autonom der ausgewählten Spurlinie folgt, z.B. dass das Fahrzeug auf oder seitlich neben der ausgewählten Spurlinie fährt.
Gemäß einem fünften Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, insbesondere ein Offroad-Fahrzeug. Das Fahrzeug kann eine Prozessoreinheit gemäß dem ersten Aspekt der Erfindung umfassen. Alternativ oder zusätzlich kann das Fahrzeug ein Fahrerassistenzsystem gemäß dem zweiten Aspekt der Erfindung umfassen.
Die folgenden Ausführungen gelten gleichermaßen für die Prozessoreinheit gemäß dem ersten Aspekt der Erfindung, für das Fahrerassistenzsystem gemäß dem zweiten Aspekt der Erfindung, für das Verfahren gemäß dem dritten Aspekt der Erfindung, für das Computerprogrammprodukt gemäß dem vierten Aspekt der Erfindung und für das Fahrzeug gemäß dem fünften Aspekt der Erfindung.
Das Fahrzeug kann mittels der Prozessoreinheit gesteuert werden. Unter „gesteuert“ oder „steuern“ kann insbesondere verstanden werden, dass das Fahrzeug autonom betrieben werden kann, d.h. es kann insbesondere automatisch gelenkt, beschleunigt und abgebremst werden, einschließlich aller dazu notwendigen Steuerungen von Aktuatoren insbesondere des Antriebsstrangs, der Lenkung und Signalgebung des Fahrzeugs. Die Steuerung des Fahrzeugs mittels der Prozessoreinheit kann automatisch oder durch einen Nutzer des Fahrzeugs mittels eines Bedienelements aktiviert werden, wenn das Fahrzeug entlang einer Spurlinie fährt. Wenn das Fahrzeug an einem Vorgewende der Spurlinie(n) dreht, kann die Steuerung des Fahrzeugs automatisch oder durch den Nutzer des Fahrzeugs mittels eines Bedienelements deaktiviert werden.
Eine Spurlinie kann beispielsweise einen Schwad oder eine Mähkante oder eine Schnittkante auf einer landwirtschaftlichen Nutzfläche, z.B. einem Feld, umfassen. Weiterhin kann die Spurlinie eine Fahrspur, eine Pflanzreihe, eine Baumreihe, einen Bordstein oder einen Arbeitsweg umfassen. So kann die Prozessoreinheit dazu eingerichtet sein, nicht nur Schwade und Mähkanten als Spurlinien zu erkennen und das Fahrzeug anzuweisen ihnen zu folgen, sondern mit einfachem Applikationsaufwand können auch andere Anwendungen in der Landwirtschaft, im Kommunalbereich oder auch im Baumaschinengeschäft erfolgreich automatisiert werden. So können beispielsweise Maisreihen, Apfelbäume in Plantagen, Rebstöcke in Weinbergen, Schnittkanten eines Mähdreschers im Getreide, Hackkulturen (Sojabohnen, Zuckerrüben etc.), Kartoffeldämme oder Bordsteine für Kehrmaschinen beim Mäheinsatz von Straßenrändern erkannt werden. Die Spurlinie kann sich insbesondere auf einem Feld befinden und beispielsweise durch ein vorheriges Sähen hervorgerufen worden sein. Pflanzreihen sind Reihen des betreffenden angebauten Produkts, z.B. Mais oder Weinreben. Baumreihen sind beispielsweise auf Obstbaumplantagen, z.B. Apfelplantagen, anzutreffen. Arbeitswege findet man beispielsweise im Bergbau (insbesondere im Tagebau).
Bei dem Fahrzeug kann es sich insbesondere um ein Offroad-Fahrzeug handeln. Unter einem Offroad-Fahrzeug kann ein Fahrzeug verstanden werden, dessen primäres Einsatzgebiet nicht eine Straße ist (wie dies z.B. bei Personenkraftfahrwagen, Bussen oder Lastkraftfahrwagen der Fall ist), sondern beispielsweise eine landwirtschaftliche Nutzfläche, z.B. ein zu bearbeitendes / bestehendes Feld oder ein Waldgebiet, oder ein Bergbaugebiet (insbesondere Tagebau), oder eine industrielle Nutzfläche, z.B. innerhalb einer Fertigungsstätte oder einer Lagerhalle. Beispielsweise kann das Offroad-Fahrzeug ein landwirtschaftliches Nutzfahrzeug bzw. eine landwirtschaftliche Zugmaschine wie Mähdrescher oder Traktor sein. Weiterhin kann es sich bei dem Fahrzeug um ein Flurförderzeug handeln, z.B. um einen Gabelstapler oder um einen Schlepper. Weiterhin kann das Fahrzeug auch ein Kommunalfahrzeug sein, z.B. eine Straßenkehrmaschine, ein Müllfahrzeug oder ein Schneeräum-Fahrzeug.
Insbesondere ist die Prozessoreinheit dazu eingerichtet diejenige Spurlinie auszuwählen, welche den geringsten Abstand zu dem Fahrzeug hat. Beispielsweise kann die Umfelderfassung mehrere zeitlich nacheinander aufgenommene Kamera-Bilder umfassen (Bildfolge), welche das Umfeld des Fahrzeugs abbilden. In einem dieser Kamera-Bilder kann beispielsweise eine erste Spurlinie und eine zweite Spurlinie erkannt werden. Die erste Spurlinie und die zweite Spurlinie können parallel zueinander und seitlich neben dem Fahrzeug verlaufen. Dies kann durch Methoden der Bildverarbeitung erkannt werden. Ebenfalls kann durch Methoden der Bildverarbeitung erkannt werden, welche der beiden Spurlinien sich seitlich näher an dem Fahrzeug befindet. Wenn dies die erste Spurlinie ist, so kann die Prozessoreinheit die erste Spurlinie auswählen und das Fahrzeug derart steuern, dass es auf oder parallel zu der ersten Spurlinie fährt. Wenn die Prozessoreinheit jedoch ermittelt, dass die zweite Spurlinie einen geringeren Abstand zum Fahrzeug aufweist als die erste Spurlinie, dann kann es die zweite Spurlinie auswählen und das Fahrzeug derart steuern, dass es beispielsweise auf oder mit seitlichem Abstand parallel zu der zweiten Spurlinie fährt.
Die vorliegende Erfindung unterstützt mehrere verschiedene Anwendungen (z.B. Mähen, Schwaden, Laden oder Pressen). Weiterhin ermöglicht die vorliegende Erfindung, dass Spurlinien mit einem bestimmten Abstand gefolgt werden kann, was insbesondere wichtig bei unterschiedlichen Arbeitsbreiten von Anbaugeräten ist, die an das Fahrzeug angebaut werden können. Ferner ermöglicht die vorliegende Erfindung, dass Spurlinien zuverlässig erkannt werden können. Außerdem können Schwade und Schnittkanten beispielsweise mit einem seitlichen Abstand von bis zu 8 m erkannt werden, wobei das landwirtschaftliche Nutzfahrzeug derart gesteuert werden kann, dass den genannten erkannten Objekten gefolgt wird.
Die Sensoreinheit ist dazu eingerichtet, ein lokales Umfeld des Fahrzeugs zu erfassen. Das lokale Umfeld des Fahrzeugs kann als Region of Interest (ROI) bezeichnet werden. Beispielsweise kann die Region of Interest ein Feld oder ein Teil eines Felds sein. Das Feld oder der Teil des Felds kann dazu bestimmt sein, von dem Fahrzeug insbesondere landwirtschaftlich bearbeitet zu werden. Beispielsweise kann das Fahrzeug oder ein Anbaugerät des Fahrzeugs Mittel aufweisen, die es dazu befähigen, eine bestimmte Operation innerhalb des Arbeitsbereichs durchzuführen, z.B. Mähen, Schwaden, Laden oder Pressen. Diese Mittel können in das Fahrzeug integriert oder als Anbaugeräte an das Fahrzeug angebaut sein. Die bei der Erfassung des Umfelds entstehenden Aufnahmen bzw. Frames ergeben die Umfelderfassung. So kann es sich bei der Umfelderfassung beispielsweise um Bilder handeln, wenn als Sensor eine Kamera oder ein Kamerasystem eingesetzt wird. Weiterhin kann es sich bei der Umfelderfassung um Frames handeln, wenn beispielsweise ein Radar oder ein Lidar eingesetzt wird. Die Aufnahmen, insbesondere die Bilder oder Frames, decken jeweils einen begrenzten Bereich um das Fahrzeug herum ab. Dies ist mit dem Merkmal „lokal“ gemeint. Das lokale Umfeld des Fahrzeugs ist somit ein begrenzter Bereich, welcher sich außen um das Fahrzeug herum erstreckt.
Die Reichweite bzw. Erstreckung des lokalen Umfelds kann je nach verwendetem Sensortyp abweichen und ggfs. eingestellt werden. Das im Rahmen der vorliegenden Anmeldung offenbarte Sensorsystem ist dazu eingerichtet, derart an dem Fahrzeug angeordnet zu werden, insbesondere befestigt zu werden, dass es das lokale Umfeld des Fahrzeugs erfassen kann. Der Bereich der Umgebung, welchen der betreffende Sensor dabei erfasst, kann auch als sogenanntes „Field of View“ bezeichnet werden. Dieser Bereich kann je nach verwendetem Sensor eindimensional, zweidimensional oder dreidimensional sein. Es ist möglich, dass der durch den Sensor erfassbare Bereich einen Teil der Umgebung des Fahrzeugs erfassen kann, z.B. einen Sektor im Vorausbereich und/oder im seitlichen Bereich und/oder im Hinterausbereich des Fahrzeugs. Weiterhin kann der betreffende Sensor auch dazu eingerichtet sein, die vollständige Umgebung des Fahrzeugs zu erfassen, z.B. beim Einsatz sogenannter Surround View Systeme.
Die Prozessoreinheit ist dazu eingerichtet, die Umfelderfassung auszuwerten. Die Umfelderfassung kann beispielsweise eine Aufnahme des lokalen Umfelds des Fahrzeugs sein. Insbesondere ist die Prozessoreinheit dazu eingerichtet, aus Aufnahmen oder Frames, die durch die Sensoreinheit generiert worden sind, Objekte zu extrahieren. Beispielsweise kann die Prozessoreinheit ein Bild einer Kamera der Sensoreinheit auswerten, und dabei sämtliche Spuren innerhalb des Bilds erkennen.
Die mehreren Spurlinien können mittels Methoden der Bildverarbeitung erkannt werden, beispielsweise innerhalb eines Bildes, welches von einer Kamera der Sensoreinheit aufgenommen worden ist und welches das Umfeld des Fahrzeugs abbildet. Beispiele für geeignete Methoden der Bildverarbeitung sind beispielsweise die semantische Segmentierung oder die Kantenerkennung. Das Ergebnis der Anwendung solcher Methoden der Bildverarbeitung kann insbesondere ein Polynom sein, das die Erstreckung und den Verlauf der Spurlinien beschreibt.
In einer Ausführungsform ist die Prozessoreinheit dazu eingerichtet, das Fahrzeug basierend auf wenigstens einem der folgenden Parameter zu steuern, nämlich basierend auf einer Krümmung der ausgewählten Spurlinie, basierend auf einem Kursfehler des Fahrzeugs oder basierend auf einer Differenz aus einem aus der Umfelderfassung ermittelten seitlichen Abstand der ausgewählten Spurlinie zu dem Fahrzeug einschließlich dessen Anbaugeräten und einem gewünschten Abstand der ausgewählten Spurlinie zu dem Fahrzeug einschließlich dessen Anbaugeräten.
In einer weiteren Ausführungsform ist die Prozessoreinheit dazu eingerichtet ist, die mehreren Spurlinien in der Umfelderfassung zu erkennen, indem Methoden der Bildverarbeitung mit Methoden der künstlichen Intelligenz kombiniert werden. Dabei kann ein künstliches neuronales Netz trainiert werden, z.B. indem dem künstlichen neuronalen Netz zu dessen Training repräsentative Beispielbilder mit Spurlinien zur Verfügung gestellt werden. Die Erweiterung der „klassischen Bildverarbeitung“ um Elemente der Künstlichen Intelligenz ermöglicht insbesondere mehrere Spurlinien zu erkennen und durch Training beispielsweise eines neuronalen Netzes den Erkennungsgrad und somit die Zuverlässigkeit ständig zu verbessern. Ein durch die Kombination aus klassischer Bildverarbeitung und Künstlicher Intelligenz ausgegebenes Polynom kann die Krümmung der Spurlinie, den Verlauf der Spurlinie und den seitlichen Abstand der Spurlinie zu dem Offroad-Fahrzeug einschließlich dessen Anbaugeräten mit einer besonders hohen Wahrscheinlichkeit richtig beschreiben. Zusammen mit dem gewünschten Abstand der Spurlinie zu dem Offroad-Fahrzeug einschließlich dessen Anbaugeräten („desired lateral offset“) kann die Lenkung des Fahrzeugs angesteuert werden.
Beispielsweise können durch die Sensoreinheit generierte Bilder oder Frames mittels der sogenannten semantischen Segmentierung (im Englischen: „Semantic-Segmentation“) verarbeitet werden, die ein künstliches neuronales Netz nutzt. Bei der semantischen Segmentierung werden einzelne Bildinhalte segmentiert. Dabei können benachbarte Pixel zu einer inhaltlich zusammenhängenden Bildregionen zusammengefasst werden, wenn sie ein definiertes Homogenitätskriterium erfüllen. Es kann insbesondere eine Pixel-genaue Klassifikation der Bilder erfolgen, wobei für jeden Pixel die Zugehörigkeit zu einer bekannten Objektklasse bestimmt werden kann. Beispielsweise kann die Prozessoreinheit eine Bildfolge von einer Kamera erhalten, welche das Umfeld des Fahrzeugs in aufeinanderfolgenden Bildern der Bildfolge erfasst. In den Bildern kann die Prozessoreinheit mittels semantischer Segmentierung beispielsweise Merkmale extrahieren und in einer Klassifikation jeden Pixel einer Objektklasse zuordnen, beispielsweise einer Objektklasse „Spurlinie“, einer Objektklasse „Feld ohne Spurlinie“, „Himmel“ usw. Die Methode des semantischen Segmentierung eignet sich besonders für komplexe Anwendungen und liefert eine besonders hohe Genauigkeit.
Alternativ können durch die Sensoreinheit generierte Bilder oder Frames mittels der Methode der Kantenerkennung verarbeitet werden, die ein künstliches neuronales Netz nutzt. Dabei kann mittels des künstlichen neuronalen Netzes ein Filter angepasst werden. Bei der Methode der Kantenerkennung (im Englischen: „edge detection“) können flächige Bereiche in einem digitalen Bild voneinander getrennt werden, insbesondere wenn sie sich entlang gerader oder gekrümmter Linien ausreichend in Farb- oder Grauwert, Helligkeit oder Textur unterscheiden. Dabei können spezielle Kantenoperatoren, die auch als Filter bezeichnet werden, Übergänge zwischen flächigen Bereichen erkennen und als Kanten markieren. Mit anderen Worten können bei der Methode der Kantenerkennung Kanten in einem beispielsweise zweidimensionalen Bild erkannt werden, das z.B. von einer Kamera aufgenommen worden ist. Informationen bezüglich erkannter Kanten können zum Erkennen bestimmter Objekte in dem Bild genutzt werden, bezugnehmend auf die vorliegende Erfindung insbesondere zum Erkennen von Spurlinien auf einem Feld. Dazu können beispielsweise die Informationen bezüglich erkannter Kanten mit hinterlegten Mustern verglichen werden.
Das System ermöglicht durch die Erkennung der Spurlinien auch eine Ansteuerung bzw. Automatisierung eines Anbaugeräts des Fahrzeugs. So kann beispielsweise eine Ladewagen-Pickup (als Beispiel eines Anbaugeräts) z.B. über ein CAN-Signal ausgehoben werden, wenn das Ende eines Schwads von der Sensoreinheit erkannt wird. Weiterhin kann die Ladewagen-Pickup z.B. über ein CAN-Signal abgesenkt werden, wenn der Anfang eines Schwads von der Sensoreinheit erkannt wird. In diesem Sinne ist gemäß einer weiteren Ausführungsform vorgesehen, dass die Prozessoreinheit dazu eingerichtet ist, ein an das Fahrzeug angebautes Anbaugerät basierend auf der ausgewählten Spurlinie und dessen Verlauf in der Umfelderfassung zu steuern. Der gewünschte Abstand zu den Spurlinien („Desired Lateral Offset“) kann durch die Breite des Anbaugerätes definiert werden. Entweder kann dies manuell durch den Fahrer über ein Terminal eingegeben werden oder durch eine automatische Anbaugeräteerkennung, z.B. mittels eines Tags des Anbaugeräts, wobei der Tag direkt von der Prozessoreinheit bzw. dem Fahrerassistenzsystem erkannt und verarbeitet wird.
Die Prozessoreinheit kann in ein Fahrerassistenzsystem des Fahrzeugs integriert sein oder mit dem Fahrerassistenzsystem kommunikativ verbunden sein. Die Prozessoreinheit kann dazu eingerichtet sein, einzuleiten, dass das Fahrzeug in einen sicheren Zustand überführt wird, wenn die Prozessoreinheit in der Umfelderfassung wenigstens ein potentielles Kollisionsobjekt erkennt. Ein potentielles Kollisionsobjekt kann ein Gegenstand (ortsfest oder beweglich, z.B. ein Baum, ein Strommast, ein Pfahl oder ein anderes Fahrzeug), ein Mensch oder ein Tier sein, dass sich innerhalb des erfassten lokalen Umfelds des Fahrzeugs befindet. Unter „einzuleiten“ kann in diesem Zusammenhang insbesondere verstanden werden, dass die Prozessoreinheit einen Befehl an das Fahrerassistenzsystem des Fahrzeugs übermittelt, sodass das Fahrerassistenzsystem das Fahrzeug in den sicheren Zustand überführt. Beispielsweise kann das Fahrerassistenzsystem das Fahrzeug beim Überführen in den sicheren Zustand zum Stillstand bringen. Alternativ kann auch die Geschwindigkeit verringert werden (ohne dass das Fahrzeug gestoppt werden muss), sodass eine Kollisionsgefahr signifikant verringert werden kann. Weiterhin kann eine optische oder akustische Warnung ausgegeben werden, insbesondere an den Nutzer des Fahrzeugs (z.B. über ein Display innerhalb des Fahrzeugs) und/oder an das lokale Umfeld des Fahrzeugs, z.B. durch eine Hupe, ein Signalhorn, einen Lautsprecher oder durch eine Leuchteinrichtung des Fahrzeugs. Die optische oder akustische Warnung kann insbesondere durch Personen und Tiere wahrgenommen werden, die sich in der Nähe des Fahrzeugs befinden. Auf diese Weise können Personen in der Nähe vor dem autonom fahrenden Fahrzeug gewarnt und Kollisionen vermieden werden.
Die Sensoreinheit zur Erfassung des Umfelds des Fahrzeugs kann wenigstens einen der folgenden Sensoren umfassen, nämlich einen Bildverarbeitungs-Sensor, insbesondere eine Kamera, einen Radar-Sensor oder einen Laser-basierten Sensor.
Der Bildverarbeitungs-Sensor (z.B. eine Kamera), kann dazu eingerichtet sein, Bilder des Umgebungsbereichs aufzunehmen. Mittels bekannter Methoden der Bildverarbeitung und Bildauswertung können in den Bildern Merkmale erkannt werden, insbesondere die Spurlinien.
Der Radar-basierte Sensor kann dazu eingerichtet sein, in dem erfassten Umfeld des Fahrzeugs Merkmale zu erkennen, insbesondere die Spurlinien. Der Radar-basierte Sensor kann beispielsweise Abstände zu Objekten innerhalb des erfassten Umfelds messen. Weiterhin kann der Radar-basierte Sensor beispielsweise auch Azimut-Werte, Höhen-Werte (Elevation), Intensitäts-Werte und Radialgeschwindigkeits-Werte messen. Der Radar-Sensor kann zur Ermittlung der Steigung eingesetzt werden. Durch Einbeziehen von Höhenwerten kann insbesondere eine Steigung des Geländes ermittelt werden, welche in dem erfassten Umfeld des Fahrzeugs vorliegt. Insbesondere kann die Sensoreinheit wenigstens eine Kamera umfassen, welche in einem Field of View der Kamera Spurlinien erkennt, und zusätzlich kann die Sensoreinheit einen Radar-basierten Sensor umfassen, welcher dazu eingerichtet ist, in einem Field of View des Radar-basierten Sensors die Steigung des Geländes zu ermitteln. Die Fields of View der Kamera und des Radar-basierten Sensors können dabei deckungsgleich sein, sich überlappen oder sich nicht überlappen (komplementäre Fields of View). Ein entsprechender Messzyklus, in dem der Radar-basierte Sensor das Umfeld des Fahrzeugs erfasst bzw. auf die beschriebene Art vermessen hat, kann dabei als ein „Frame“ bezeichnet werden. Der Radar-basierte Sensor kann das Umfeld somit N-dimensional abtasten bzw. erfassen, wodurch Punktewolken generiert werden können. Aus erfassten Punktewolken kann der Radar-basierte Sensor Merkmale extrahieren. Die Punktewolke kann entsprechend mehrere Dimensionen umfassen (N-dimensionale Punktewolke), wenn man beispielsweise auch Intensitäten und Radialgeschwindigkeiten beachtet.
Der Laser-basierter Sensor (z.B. ein Lidar-Sensor) kann dazu eingerichtet sein, in dem erfassten Umfeld des Fahrzeugs Merkmale zu erkennen, insbesondere die Spurlinien. Der Laser-basierte Sensor kann beispielsweise innerhalb des erfassten Umfelds Intensitäten in einer x-Richtung, in einer y-Richtung und in einer z-Richtung eines kartesischen Koordinatensystems des Laser-basierten Sensors messen. Ein entsprechender Messzyklus, in dem der Laser-basierte Sensor das Umfeld erfasst bzw. auf die beschriebene Art vermessen hat, kann dabei als ein „Frame“ bezeichnet werden. Der Laser-basierte Sensor kann das Umfeld N-dimensional abtasten bzw. erfassen, wodurch Punktewolken generiert werden können. Aus erfassten Punktewolken kann der Laser-basierte Sensor Merkmale extrahieren. Die Punktewolke kann entsprechend mehrere Dimensionen umfassen (N-dimensionale Punktewolke).
Zusätzlich zu der automatischen Auswahl der Spurlinie durch die Prozessoreinheit kann eine Auswahl einer zu folgenden Spurlinie, z.B. einem zu folgenden Schwad oder einer zu folgenden Schnittkante, von einem Fahrer bzw. Nutzer des landwirtschaftlichen Nutzfahrzeugs über eine Bedienhilfe gesteuert werden. In diesem Sinne umfasst das System in einer weiteren Ausführungsform eine Bedieneinheit, welche dazu eingerichtet ist, einem Nutzer das Auswählen einer Spurlinie aus den mehreren Spurlinien zu ermöglichen. Die Bedieneinheit kann ein Display umfassen, z.B. einen Touchscreen. Das Display kann die mehreren durch die Sensoreinheit erfassten Spurlinien zeigen. Der Nutzer kann aus den mehreren dargestellten Spurlinien diejenige Spurlinie auswählen, der das Fahrzeug autonom folgen soll.
Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert, wobei gleiche oder ähnliche Elemente mit dem gleichen Bezugszeichen versehen sind. Hierbei zeigt

1 eine Draufsicht auf ein Feld, auf welchem ein Traktor mit einem Anbaugerät autonom fährt,
2 Elemente eines Fahrerassistenzsystems für den Traktor nach 1,
3 Schritte eines Verfahrens zur Detektion von Spurlinien und zur Steuerung des Traktors nach 1 basierend auf einer ausgewählten Spurlinie mittels des Fahrerassistenzsystems nach 2, und
4 Szenarien A bis F, in welchen das Fahrerassistenzsystem nach 2 in einem Traktor aktiv bzw. passiv ist.

1 zeigt eine landwirtschaftliche Nutzmaschine in der Form eines Traktors 1. Im Heckbereich des Traktors 2 ist ein Anbaugerät 2 an den Traktor 1 angebaut. Der Traktor 1 zieht das Anbaugerät über ein Feld 3, sodass das Anbaugerät 2 das Feld 3 bearbeiten kann und sodass mehrere Spurlinien entstehen, in dem gezeigten Ausführungsbeispiel eine erste Spurlinie 4.1 und eine zweite Spurlinie 4.2. Die erste Spurlinie 4.1 verläuft parallel zu der zweiten Spurlinie 4.2. Der Traktor 1 befindet sich mit dem Anbaugerät 2 seitlich beabstandet neben der ersten Spurlinie 4.1. Die zweite Spurlinie 4.2 ist weiter entfernt von dem Fahrzeug 1 und dem Anbaugerät 2 als die erste Spurlinie 4.1.
Das Fahrzeug 1 umfasst ein näher in 2 dargestelltes System 5 zum autonomen Betrieb des Fahrzeugs 1 (in bestimmten Situationen/Szenarien, vgl. 4). Das System 5 umfasst in dem gezeigten Ausführungsbeispiel eine Prozessoreinheit 6, eine Speichereinheit 7, eine Kommunikations-Schnittstelle 8 und eine Sensoreinheit 9.
Die Sensoreinheit 9 umfasst in dem gezeigten Ausführungsbeispiel ein digitales Kamerasystem, das im Folgenden mit „Kamera“ bezeichnet und in 2 mit dem Bezugszeichen 11 versehen ist. Die Kamera 11 ist insbesondere auf einem Dach des Traktors 1 angeordnet, so dass sie ein Umfeld 12 des Traktors 1 abdeckt, das sich in einem Vorausbereich und beidseitig seitlich des Traktors 1 befindet. Dies ist jedoch rein beispielhaft. Alternativ kann das digitale Kamerasystem 11 auch z.B. ein Surround View System umfassen, welches ein Umfeld 12 erfassen kann, das sich 360° um den Traktor 1 herum erstreckt. Die Kamera 11 nimmt nacheinander und kontinuierlich Bilder des Umfelds 12 des Traktors 1 auf, wodurch ein Video bzw. eine Bildfolge des Umfelds 12 des Traktors 1 generiert wird. Dieses Video bzw. diese Bildfolge ist die Umfelderfassung des Traktors 1. Innerhalb der einzelnen Bilder dieses Videos bzw. dieser Bildfolge können Bildausschnitte definiert werden (Regions of Interest, kurz: ROI), innerhalb welcher die Spurlinien 4.1 und 4.2 mittels Methoden der Bilderkennung erkannt werden können. Optional können dabei Methoden der Künstlichen Intelligenz bzw. des Maschinellen Lernens zum Einsatz kommen. Beispielsweise kann als Methode der Bilderkennung die semantische Segmentierung gewählt werden, wobei ein künstliches neuronales Netz zum Einsatz kommt (z.B. ein Convolutional Neural Network, kurz: CNN), das mit Referenzbildern trainiert wird. Zusätzlich zu der Kamera 9 kann die Sensoreinheit 10 einen Radar-basierten Sensor 13 aufweisen. Der Radar-basierte Sensor 13 ist derart an dem Traktor 1 angeordnet, dass er Höhenwerte ermitteln kann, die eine Berechnung einer Steigung des Geländes erlauben, welche in dem erfassten Umfeld 12 des Traktors 1 vorliegt.
Auf der Speichereinheit 7 kann ein Computerprogrammprodukt 10 gespeichert sein. Das Computerprogrammprodukt 10 kann auf der Prozessoreinheit 6 ausgeführt werden, wozu die Prozessoreinheit 6 und die Speichereinheit 7 entsprechend kommunikativ miteinander verbunden sind. Wenn das Computerprogrammprodukt 10 auf der Prozessoreinheit 6 ausgeführt wird, leitet es die Prozessoreinheit 6 an, die im Zusammenhang mit der Zeichnung beschriebenen Funktionen bzw. Verfahrensschritte auszuführen.
Dem Traktor 1 kann ein Koordinatensystem mit einer x-Achse (Längsrichtung) und einer quer dazu verlaufenden y-Achse (Querrichtung bzw. Breitenrichtung) zugeordnet sein, dass als Referenzkoordinatensystem angesehen werden kann. Jedem von der Kamera 11 aufgenommenen Bild kann ein Kamera-Koordinatensystem zugeordnet sein. 1 zeigt, dass dieses Koordinatensystem eine Längsachse L des Gespanns aus Traktor 1 und Anbaugerät 2 aufweisen kann. In dem Beispiel nach 1 stimmt die Längsachse L des Bild-Koordinatensystems mit der x-Achse des Traktor-Koordinatensystems überein. Das Bild-Koordinatensystem weist ferner eine quer zu der Längsachse L verlaufende Breitenachse B des Anbaugeräts 1 auf, das sich in Breitenrichtung B weiter seitlich erstreckt als der Traktor 1. In dem Ausführungsbeispiel nach 1 stimmt die Breitenachse L nicht mit der y-Achse des Traktor-Koordinatensystems überein, sondern es besteht ein longitudinaler Versatz x0 in Längsrichtung x. Die Prozessoreinheit 6 ist dazu eingerichtet, diesen Versatz zu berücksichtigen, indem sie ermittelte Bild-Koordinaten in Traktor-Koordinaten umrechnet. Die Prozessoreinheit 6 ist ebenfalls dazu eingerichtet, einen Versatz in Breitenrichtung y zu berücksichtigen, indem sie ermittelte Bild-Koordinaten in Traktor-Koordinaten umrechnet (auch wenn in dem vorliegenden Beispiel nach 1 kein Versatz in Breitenrichtung y vorliegt).
Die Breitenachse B kann beispielsweise durch den breitesten Abschnitt des Anbaugeräts 2 verlaufen, wie diese durch 1 gezeigt ist. Das breitere Anbaugerät 2 soll gemäß dem Ausführungsbeispiel nach 1 einen gewünschten seitlichen Abstand („desired lateral offset“, „Soll-Abstand“) zu einer nächstgelegenen Spurlinie haben (in dem Ausführungsbeispiel nach 1 ist dies die erste Spurlinie 4.1), während das Gespann aus Traktor 1 und Anbaugerät 2 auf dem Feld 3 fährt und das Feld 3 mittels des Anbaugeräts 2 bearbeitet. Dieser seitlich Soll-Abstand kann beispielsweise einige Meter betragen, z.B. 8 m. Es kann beispielsweise in einem ersten Verfahrensschritt 100 (3) ein Abstand B0 definiert werden, welchen die nächstliegende Spurlinie 4.1 von der Längsachse L des Gespanns aus Traktor 1 und Anbaugerät 2 mindestens aufweisen soll. Der gewünschte seitliche Abstand B0 kann als Abstands-Datensatz vorliegen, auf welchen die Prozessoreinheit 6 Zugriff hat. Beispielsweise kann das Anbaugerät 2 einen Tag, z.B. einen RFID-Tag umfassen, der durch das Fahrerassistenzsystem 5 ausgelesen werden kann. Auf dem Tag kann der Abstands-Datensatz hinterlegt sein. Weiterhin kann der Abstands-Datensatz auch durch einen Nutzer bzw. einen Fahrer des Traktors 1 in das Fahrerassistenzsystem 5 erzeugt werden, z.B. durch Eingabe über ein entsprechendes Terminal des Traktors 1.
Die Kamera 11 nimmt in einem zweiten Verfahrensschritt 200 (3) ein Bild des Umfelds des Traktors 1 auf. Der zweite Schritt 200 kann nach dem ersten Schritt 100 durchgeführt werden. Alternativ können die Schritte 100 und 200 jedoch auch zeitgleich oder zeitlich überlappend durchgeführt werden. Die Prozessoreinheit 6 kann in einem dritten Verfahrensschritt 300 (3) das von der Kamera 11 aufgenommene Bild auswerten und dabei die Spurlinien 4.1 und 4.2 erkennen, wobei wie weiter oben erwähnt Methoden der Künstlichen Intelligenz zum Einsatz kommen können. Dadurch entsteht ein klassifiziertes Bild der Kamera.
In einem anschließenden Schritt 400 (3) kann ein Polynom-Fitting durchgeführt werden. Beim Polynomfitting werden die Bildinhalte weiterverarbeitet und aus einzelnen Informationen (Punkten, unterbrochenen Linien, etc.) werden Polynome berechnet, die eine Spurlinie bzw. deren Richtung definieren. Das Ergebnis dieses vierten Verfahrensschritts 400 sind somit Polynome in dem Bild-Koordinatensystem (L, B). In einem fünften Verfahrensschritt 500 (3) können die Polynome, die zuvor im Bild-Koordinatensystem berechnet worden sind, in Koordinaten des Traktor-Koordinatensystems transformiert werden. Das Ergebnis dieses fünften Verfahrensschritts 500 sind somit Polynome in dem Traktor-Koordinatensystem (x, y).
Bei den Spurlinien 4.1 und 4.2 kann es sich beispielsweise um Schwade oder Schnittkanten handeln. Die erste Spurlinie 4.1 weist in der Breitenrichtung B einen ersten seitlichen Abstand (erster „lateral offset“ / erster „Ist-Abstand“) B1 zu der Längsachse L des Gespanns aus Traktor 1 und Anbaugerät 2 auf. Die zweite Spurlinie 4.2 weist in der Breitenrichtung B einen zweiten seitlichen Abstand (zweiter „lateral offset“; zweiter „Ist-Abstand“) B2 zu der Längsachse L des Gespanns aus Traktor 1 und Anbaugerät 2 auf. Der erste seitliche Abstand B1 ist kleiner als der zweite seitliche Abstand B2, d.h. die erste Spurlinie 4.1 befindet sich in der Breitenrichtung B näher an der Längsachse L des Gespanns aus Traktor 1 und Anbaugerät 2 als die zweite Spurlinie 4.2. Die Prozessoreinheit 6 kann in einem weiteren Verfahrensschritt 600 (3) das Bild dahingehend auswerten, welche der beiden Spurlinien 4.1 und 4.2 einen geringeren seitlichen Abstand (in der Breitenrichtung B) zu dem Gespann aus Traktor 1 und Anbaugerät 2 aufweist. In dem Ausführungsbeispiel nach 1 wird die Prozessoreinheit 6 dabei feststellen, dass die erste Spurlinie 4.1 den geringeren seitlichen Abstand zu dem Gespann aus Traktor 1 und Anbaugerät 2 aufweist als die zweite Spurlinie 4.2 (B1 < B2). Dementsprechend wird die Prozessoreinheit 6 die erste Spurlinie 4.1 auswählen.
Basierend auf der ausgewählten Spurlinie 4.1 kann die Prozessoreinheit 6 den Traktor 1 in einem siebten Verfahrensschritt 700 derart steuern, dass sich das Gespann aus Traktor 1 und Anbaugerät 2 autonom entlang der ausgewählten ersten Spurlinie 4.1 bewegt. Dabei kann das Anbaugerät 2 seiner Hauptfunktion nachgehen, nämlich das Feld 3 zu bearbeiten und dabei beispielsweise eine neue Spurlinie neben der ersten Spurlinie 4.1 erzeugen oder die erste Spurlinie 4.1 einsammeln.
In dem durch 1 gezeigten Beispiel ist der erste seitliche Ist-Abstand B1 kleiner als der seitliche Soll-Abstand B0. Gefordert bzw. gewünscht ist jedoch, dass der Ist-Abstand B1 mindestens so groß ist wie der Soll-Abstand B0. Die Prozessoreinheit 6 kann dies ermitteln und beispielsweise derart korrigierend auf die Lenkung des Traktors 1 einwirken, dass sich das Gespann aus Traktor 1 und Anbaugerät 2 von der ersten Spurlinie 4.1 wegbewegt (gemäß der Ansicht nach 1 nach links), dass der Abstand B1 der Längsachse L von der ersten Spurlinie 4.1 in nachfolgenden von der Kamera 11 aufgenommenen Bildern steigt und dass das Soll-Kriterium B1 ≥ B0 erfüllt wird. Wenn der Ist-Abstand B1 und der Soll-Abstand B0 vom Wert her übereinstimmen, ist die durch das Fahrerassistenzsystem 5 gelieferte Lenkungs-Genauigkeit hoch und der Traktor 1 folgt perfekt der Spurlinie 4.1 in dem eingehaltenen Abstand B0. Je größer die Abweichung zwischen Soll-Abstand B0 und Ist Abstand B1 ist, desto ungenauer ist die Steuerung bzw. Regelung durch das Fahrerassistenzsystem 5.
In dem durch 1 gezeigten Beispiel weisen die Spurlinien 4.1 und 4.2 jeweils eine Krümmung auf. Die Prozessoreinheit 6 ist dazu eingerichtet, die Krümmung der Spurlinien 4.1 und 4.2 zu ermitteln. Beispielsweise kann die Prozessoreinheit 6 - wie durch 1 gezeigt - eine Tangente T dort an die erste Spurlinie 4.1 anlegen, wo die Breitenachse B die erste Spurlinie 4.1 schneidet. Diese Tangente T kann derart verschoben werden, dass sie im Schnittpunkt zwischen der Längsachse L und der Breitenachse B liegt. Die Prozessoreinheit 6 kann einen Winkel Δ zwischen dieser verschobenen Tangente T' und der Längsachse L berechnen. Der Winkel Δ kann als Kursfehler des Traktors 1 angesehen werden. Der Winkel Δ kann beispielsweise durch Abdrift, Wind, Traktionsprobleme oder Fliehkräfte verursacht sein. Würde sich der Traktor 1 weiter in Richtung der Längsachse L geradeaus bewegen, dann würden sich der Traktor 1 und das Anbaugerät 2 der ersten Spurlinie 4.1 nähern und diese evtl. überfahren. Um jedoch der gekrümmten ersten Spurlinie 4.1 mit dem seitlichen Soll-Abstand B0 zu folgen, kann die Prozessoreinheit 6 beispielsweise derart korrigierend auf die Lenkung des Traktors 1 einwirken, dass sich der Verlauf der verschobenen Tangente T' in nachfolgenden von der Kamera 11 aufgenommenen Bildern dem Verlauf der Längsachse L annähert, und dass der Kursfehler in Form des Winkels Δ minimiert wird.
Die Prozessoreinheit 6 kann weiterhin dazu eingerichtet sein, einzuleiten, dass der Traktor in einen sicheren Zustand gebracht wird (z.B. gestoppt wird), wenn die Prozessoreinheit 6 in der Umfelderfassung wenigstens ein potentielles Kollisionsobjekt 15 erkennt, z.B. eine Person, einen Pfahl oder ein anders Fahrzeug. Alternativ kann auch eine Warnung an den Fahrer des Traktors 1 oder dessen Umfeld 12 abgegeben werden.
4 zeigt, dass das Fahrerassistenzsystem 5 eines Traktors 1 dann aktiv sein kann und den Traktor 1 wie vorstehend beschrieben steuern kann, wenn der Traktor 1 auf dem Feld 3 entlang der Spurlinie 4 fährt (Szenarien A, B und C). Wenn Probleme mit der Erkennung der Spurlinien 4 auftreten, übergibt das Fahrerassistenzsystem 5 die Kontrolle über die Steuerung des Traktors 1 wieder an den Fahrer des Traktors 1. Auch während der Fahrer den Traktor 1 an einem Vorgewende 14 wendet, übergibt das Fahrerassistenzsystem 5 die Kontrolle über die Steuerung des Traktors 1 wieder an den Fahrer des Traktors 1. Ferner übergibt das Fahrerassistenzsystem 5 die Kontrolle über die Steuerung des Traktors 1 wieder an den Fahrer des Traktors 1, wenn der Fahrer nicht am Vorgewende 14 wendet oder einen völlig falschen Kurs einschlägt (Szenarien D, E und F), weil in diesen Fällen beispielsweise keine Spurlinie 4 in dem Umfeld des Traktors 1 durch die Sensoreinheit des Traktors 1 erfasst werden können und die Bedingungen für die Steuerung des Traktors 1 somit nicht erfüllt werden können.
Bezugszeichenliste

L: Längsachse Gespann Traktor und Anbaugerät im Bild-Koordinatensystem
B: Breitenachse Anbaugerät im Bild-Koordinatensystem
B0: Desired Lateral Offset
B1: Lateral Offset zur ersten Spurlinie
B2: Lateral Offset zur zweiten Spurlinie
x0: longitudinaler Offset im Traktor-Koordinatensystem
x: Längsachse Traktor im Traktor-Koordinatensystem
y: Querachse/Breitenachse im Traktor-koordinatensystem
1: Traktor
2: Anbaugerät
3: Feld
4.1: erste Spurlinie
4.2: zweite Spurlinie
5: Fahrerassistenzsystem
6: Prozessoreinheit
7: Speichereinheit
8: Kommunikationsschnittstelle
9: Sensoreinheit
10: Computerprogrammprodukt
11: digitales Kamerasystem
12: Umfeld des Traktors
13: Radar-basierter Sensor
14: Vorgewende
15: potentielles Kollisionsobjekt
100: Verfahrensschritt
200: Verfahrensschritt
300: Verfahrensschritt
400: Verfahrensschritt
500: Verfahrensschritt
600: Verfahrensschritt
700: Verfahrensschritt

Claims

Prozessoreinheit (6) zum autonomen Betrieb eines Fahrzeugs (1), die Prozessoreinheit (6) umfassend eine Schnittstelle (8), wobei die Prozessoreinheit (6) dazu eingerichtet ist, - mittels der Schnittstelle (8) auf eine von einer Sensoreinheit (9) generierte Umfelderfassung des Fahrzeugs (1) zuzugreifen, - mehrere Spurlinien (4.1, 4.2) in der Umfelderfassung zu erkennen, - eine Spurlinie (4.1) aus den mehreren Spurlinien (4.1, 4.2) auszuwählen, und - das Fahrzeug (1) basierend auf der ausgewählten Spurlinie (4.1) derart zu steuern, dass das Fahrzeug (1) autonom der ausgewählten Spurlinie (4.1) folgt.
Prozessoreinheit (6) nach Anspruch 1, wobei die Prozessoreinheit (6) dazu eingerichtet ist, das Fahrzeug (1) basierend auf wenigstens einem der folgenden Parameter zu steuern, nämlich - einer Krümmung der ausgewählten Spurlinie (4.1), - einem Kursfehler des Fahrzeugs (1), - einer Differenz aus einem aus der Umfelderfassung ermittelten seitlichen Abstand (B1) der ausgewählten Spurlinie (4.1) zu dem Fahrzeug (1) einschließlich dessen Anbaugeräten (2) und einem gewünschten Abstand (B0) der ausgewählten Spurlinie (4.1) zu dem Fahrzeug (1) einschließlich dessen Anbaugeräten (2).
Prozessoreinheit (6) nach einem der vorstehenden Ansprüche, wobei die Prozessoreinheit (6) dazu eingerichtet ist, die mehreren Spurlinien (4.1, 4.2) in der Umfelderfassung mittels Methoden der Bildverarbeitung kombiniert mit Methoden der künstlichen Intelligenz zu erkennen.
Prozessoreinheit (6) nach Anspruch 3, wobei die Methode der semantischen Segmentierung mit einem künstlichen neuronalen Netz kombiniert wird.
Prozessoreinheit (6) nach Anspruch 3 oder 4, wobei die Methode der Kantenerkennung mit einem künstlichen neuronalen Netz kombiniert wird.
Prozessoreinheit (6) nach einem der vorstehenden Ansprüche, wobei die Prozessoreinheit (6) dazu eingerichtet ist, ein an das Fahrzeug (1) angebautes Anbaugerät (2) basierend auf der ausgewählten Spurlinie (4.1) und dessen Verlauf in der Umfelderfassung zu steuern.
Prozessoreinheit (6) nach einem der vorstehenden Ansprüche, wobei die Prozessoreinheit (6) dazu eingerichtet ist, - zu prüfen, ob die Umfelderfassung wenigstens ein potentielles Kollisionsobjekt abbildet, und - das Fahrzeug (1) in einen sicheren Zustand zu überführen oder die Geschwindigkeit des Fahrzeugs (1) zu reduzieren oder eine optische oder akustische Warnung and den Nutzer des Fahrzeugs (1) oder an das Umfeld des Fahrzeugs (1) auszugeben, wenn die Umfelderfassung wenigstens ein potentielles Kollisionsobjekt abbildet.
Prozessoreinheit (6) nach einem der vorstehenden Ansprüche, wobei die Spurlinie (4.1, 4.2) - einen Schwad, - eine Schnittkante, - eine Mähkante, - eine Fahrspur, - eine Pflanzreihe, - eine Baumreihe, - einen Bordstein oder - einen Arbeitsweg (15) umfasst.
Fahrerassistenzsystem (5) zum autonomen Betrieb eines Fahrzeugs (1), das Fahrerassistenzsystem (5) umfassend - eine Sensoreinheit (9), wobei die Sensoreinheit (9) dazu eingerichtet ist, eine Umfelderfassung des Fahrzeugs (1) zu generieren, und - eine Prozessoreinheit (6) nach einem der vorstehenden Ansprüche.
Fahrerassistenzsystem (5) nach Anspruch 9, wobei die Sensoreinheit (9) zur Erfassung des Umfelds (12) des Fahrzeugs (1) wenigstens einen der folgenden Sensoren umfasst, nämlich - einen Bildverarbeitungs-Sensor, insbesondere eine Kamera (11), vorzugsweise eine Stereokamera, - einen Radar-Sensor (13), - einen Laser-basierten Sensor.
Fahrerassistenzsystem (5) nach einem der Ansprüche 9 oder 10, das Fahrerassistenzsystem (5) weiterhin umfassend eine Bedieneinheit, welche dazu eingerichtet ist, einem Nutzer das Auswählen einer Spurlinie (4.1) aus den mehreren Spurlinien (4.1, 4.2) zu ermöglichen.
Verfahren zum autonomen Betrieb eines Fahrzeugs (1), das Verfahren umfassend die Schritte: - Generieren einer Umfelderfassung des Fahrzeugs (1) durch eine Sensoreinheit (9), - Erkennen mehrerer Spurlinien (4.1, 4.2) in der Umfelderfassung mittels einer Prozessoreinheit (6), - Auswählen einer Spurlinie (4.1) aus den mehreren Spurlinien (4.1, 4.2) mittels der Prozessoreinheit (6), und - Steuern des Fahrzeugs (1) mittels der Prozessoreinheit (6) basierend auf der ausgewählten Spurlinie (4.1), sodass das Fahrzeug (1) autonom der ausgewählten Spurlinie (4.1) folgt.
Computerprogrammprodukt (10) zum autonomen Betrieb eines Fahrzeugs (1), wobei das Computerprogrammprodukt (10), wenn es auf einer Prozessoreinheit (6) ausgeführt wird, die Prozessoreinheit (6) anleitet, - mittels einer Schnittstelle (8) auf eine von einer Sensoreinheit (9) generierte Umfelderfassung des Fahrzeugs (1) zuzugreifen, - mehrere Spurlinien (4.1, 4.2) in der Umfelderfassung zu erkennen, - eine Spurlinie (4.1) aus den mehreren Spurlinien (4.1, 4.2) auszuwählen, und - das Fahrzeug (1) basierend auf der ausgewählten Spurlinie (4.1) derart zu steuern, dass das Fahrzeug (1) autonom der ausgewählten Spurlinie (4.1) folgt.
Fahrzeug (1) umfassend eine Prozessoreinheit (6) nach einem der Ansprüche 1 bis 7 oder ein Fahrerassistenzsystem (5) nach einem der Ansprüche 8 bis 11.