-
Technischer Bereich
-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung einer befahrbaren Fläche abseits von Straßen. Zudem wird ein Verfahren und eine Vorrichtung zur automatischen Steuerung eines Fahrzeugs abseits von Straßen beschrieben.
-
Stand der Technik
-
Es ist für die automatische Befahrung von landwirtschaftlichen Nutzflächen bekannt, eine befahrbare Fläche mithilfe einer Stereokamera und/oder einem LIDAR-System zu erfassen.
-
Ein derartiges System ist jedoch kostspielig, da die LIDAR-Sensoren teuer im Einkauf sind. Auch die eingesetzten Stereokameras sind teuer in der Anschaffung.
-
Die Systeme, welche im Allgemeinen zur Erkennung von Fahrspuren auf Straßen eingesetzt werden, sind wiederum zur Erkennung von Spurmarkierungen ausgelegt. Da bei dem Fahren im landwirtschaftlichen Bereich, wie beispielsweise in Baumplantagen oder im Weinbau, jedoch keine Spurmarkierungen auftreten, können konventionelle Spurerkennungsmechanismen nicht eingesetzt werden.
-
Auch sind besonders im Obstbau oder im Weinbau die befahrbare Fläche und die nicht befahrbare Fläche schwer zu unterscheiden, da sie einen relativ kleinen Kontrast aufweisen, wodurch beispielsweise Gradientenfilter, Farbfilter oder andere bekannte Filtermethoden keinen Unterschied feststellen können. Ferner sind in der Landwirtschaft beispielsweise Baumreihen und Wiesen durch ihren nahezu identischen grünen Teil schwer zu unterscheiden.
-
Zusammenfassung der Erfindung
-
Die Erfindung stellt daher eine Lösung bereit, die es ermöglicht, eine befahrbare Fläche abseits einer Straße zu erkennen. Diese Information kann später zur automatischen Steuerung eines Fahrzeugs abseits der Straße eingesetzt werden.
-
Ein derartiges Verfahren zur Erkennung einer befahrbaren Fläche abseits von Straßen weist einen Schritt des Empfangens von Bildinformation einer Monokamera auf. Die empfangene Bildinformation dieser Monokamera wird dann unter Verwendung eines neuronalen Netzes klassifiziert. Basierend auf der Klassifikation wird dann eine Erkennung einer befahrbaren Fläche durchgeführt.
-
Bei einer befahrbaren Fläche abseits von Straßen kann es sich beispielsweise um eine landwirtschaftliche Nutzfläche handeln. Lediglich beispielhaft sind hierbei Baumplantagen oder Flächen im Weinbau zu nennen. Im Allgemeinen sind derartige befahrbare Flächen abseits von Straßen (auch als Off-Highway bezeichnet) dadurch gekennzeichnet, dass sie befahrbar sind, jedoch keine Spurmarkierungen aufweisen. Zudem ist sie meist unbefestigt. Bei einer befahrbaren Fläche abseits von Straßen kann es sich beispielsweise auch um Feldwege, Waldwege, Ackerspuren oder militärische Pfade handeln oder um Fahrrillen, welche sich beispielhaft in Steinbrüchen, Mienen, Baustellen, im Straßenbau auf nicht geteerten Arealen oder in der Forstwirtschaft bilden können.
-
Im vorgenannten Verfahren wird zunächst Bildinformation von einer Monokamera empfangen. Eine derartige Monokamera nimmt Aufnahmen, d.h. Bilder, von der Umgebung auf und stellt, in Abgrenzung zu einer Stereokamera, zu einem Zeitpunkt lediglich eine Aufnahme aus einem Winkel bereit.
-
Durch Einsatz einer Monokamera anstelle einer Stereokamera können die oben beschriebenen höheren Kosten bei Verwendung einer Stereokamera vermieden werden.
-
Die Bildinformation, d.h. Bilder oder Aufnahmen, der Monokamera wird von dieser ausgegeben und anschließend zur Weiterverarbeitung von einer Klassifizierungseinheit empfangen. Ein Empfangen kann hierbei eine beliebige Form der Übertragung über eine beliebige Übertragungsstrecke darstellen.
-
Diese Bildinformation wird dann unter Verwendung eines neuronalen Netzes klassifiziert. Bei einer Klassifizierung wird hierbei jeder Abschnitt der Bildinformation, beispielsweise jedes einzelne Pixel oder eines aus einer Mehrzahl von Pixeln bestehende Element der Bildinformation, einer vordefinierten Klasse bzw. Kategorie zugeordnet. Als Klassen können hierbei beispielhaft einerseits befahrbare Flächen und andererseits nicht befahrbare Flächen verwendet werden. Auch eine Unterscheidung und Klassifizierung zwischen befahrbaren Flächen, Bewuchs, Hindernissen etc. ist denkbar.
-
Zur Durchführung dieser Klassifizierung wird ein neuronales Netz eingesetzt.
-
Das neuronale Netz kann zuvor mit Trainingsdaten trainiert werden. Hierbei werden Trainingsdaten verwendet, die an die spätere Anwendung im Bereich der Erfassung bzw. Erkennung einer befahrbaren Fläche abseits von Straßen angepasst sind. Beispielhaft kann das neuronale Netz mit Trainingsdaten aus dem Bereich des Weinbaus oder mit Trainingsdaten aus dem Bereich der Plantagen trainiert werden, wobei die Trainingsdaten Bilder sowie die zugehörige Klassifizierung der Bildinformation enthalten.
-
Somit kann ein speziell für die Anwendung abseits der Straße trainiertes neuronales Netz zur Verfügung gestellt werden.
-
Als neuronale Netze können hierbei Fully Convolutional Deep Neural Networks (FCN), auch Fully Convolutional Networks, eingesetzt werden.
-
In einer Ausführungsform werden neuronale Netze verwendet, welche eine semantische Segmentierung, im Englischen semantic segmentation, verwenden. Hiermit kann, entsprechend der obigen Beschreibung, jedes Pixel einer Kategorie bzw. (Objekt-)Klasse zugeordnet werden. Dieses Verfahren wird als semantische Segmentierung bezeichnet. Dem Fachmann sind verschiedene Verfahren und neuronale Netze zur semantischen Segmentierung bekannt, welche hier Einsatz finden können. Eine Ausgabe einer derartigen semantischen Segmentierung ist im Allgemeinen ein Datensatz, in welchem jedes Pixels eines Eingangsbildes einer Kategorie bzw. (Objekt-)Klasse zugeordnet ist.
-
Eine derartige Segmentierung kann hierbei für jede einzelne Aufnahme der Monokamera durchgeführt werden. Die Segmentierung kann hierbei für jedes einzelne Bild erfolgen, ohne vorhergehende und nachfolgende Bilder zu betrachten. Eine Klassifizierung kann somit basierend auf lediglich einem Eingangsbild der Monokamera jeweils separat erfolgen.
-
Mit dieser Klassifizierung kann, aufgrund der Zuordnung der jeweiligen Pixel der Bildinformation zu einer Klasse, in einem nachfolgenden Schritt eine befahrbare Fläche erkannt werden. Beispielsweise kann hierbei eine Klasse als befahrbar definiert werden. Alle Pixel dieser Klasse können somit als befahrbare Fläche erkannt werden.
-
Das Verfahren ermöglicht es somit mit kostengünstiger Technik befahrbare Flächen abseits von Straßen zu extrahieren.
-
Basierend auf der erkannten befahrbaren Fläche kann ein binäres Bild erzeugt werden, welches die befahrbare Fläche mit einem Wert belegt und die nicht befahrbare Fläche mit einem zweiten Wert.
-
Anschließend kann mittels verschiedener Filtermethoden das Pixelrauschen reduziert werden. Wird bei der Ermittlung der befahrbaren Fläche eine Fusion von unterschiedlichen Messmethoden oder eine Fusion von unterschiedlichen Sensordaten berücksichtigt, dann kann die erkannte befahrbare Fläche noch genauer ermittelt werden. So können beispielsweise Daten von Lidarsensoren, Radarsensoren, Ultraschallsensoren, Stereokameras oder Daten eines globalen Navigationssatellitensystems (GNSS) bei einer solchen Fusion berücksichtigt werden.
-
Ergebnis ist somit ein binäres Bild, welches die befahrbare Fläche mit einem Wert, beispielsweise weiß, darstellt.
-
Basierend auf der erkannten befahrbaren Fläche oder der binären Bildinformation kann nunmehr eine Regelung einer Fahrzeuglenkung erfolgen. Entsprechend kann ein Verfahren zur automatischen Steuerung eines Fahrzeugs abseits von Straßen bereitgestellt werden.
-
Zur Fahrzeug- bzw. Fahrspurregelung (Trajektorien-Regelung) kann beispielsweise eine Lateralposition, wie eine laterale Mitte, oder ein Verlauf einer Trajektorie einer Freifläche, in der erkannten befahrbaren Fläche bestimmt werden. Basierend auf dieser lateralen Mitte oder des Verlaufs der Trajektorie der Freifläche kann dann eine Regelung der Lenkung sowie auch der Beschleunigung oder negativen Beschleunigung des Fahrzeugs erfolgen.
-
Fahrzeuge sind hier im Allgemeinen Fahrzeuge, die zum Einsatz im Offroad-Bereich, bzw. Offroad-Terrain, verwendet werden. Diese umfasst zum Beispiel landwirtschaftliche Nutzfahrzeuge oder Arbeitsmaschinen.
-
Entsprechend dem oben beschriebenen Verfahren umfasst eine zugehörige Vorrichtung zur Erkennung einer befahrbaren Fläche abseits von Straßen erstens eine Monokamera zur Ausgabe von Bildinformation, zweitens eine Klassifizierungseinheit zur Klassifizierung der Information unter Verwendung eines neuronalen Netzes und drittens einer Erkennungseinheit zur Erkennung einer befahrbaren Fläche basierend auf der Klassifizierung.
-
Es kann ferner eine Vorrichtung bereitgestellt werden, die ausgebildet ist, um die oben beschriebenen Schritte des Verfahrens zur Erkennung einer befahrbaren Fläche abseits von Straßen auszuführen.
-
Entsprechend dem oben beschriebenen Verfahren zur automatischen Steuerung eines Fahrzeugs abseits von Straßen umfasst eine zugehörige Vorrichtung zur automatischen Steuerung eines Fahrzeugs abseits von Straßen einerseits einer Vorrichtung zur Erkennung einer befahrbaren Fläche abseits von Straßen, wie oben beschrieben, und andererseits eine Regelungsvorrichtung zur Regelung einer Fahrzeuglenkung basierend auf der Erkennung der befahrbaren Fläche und ggf. basierend auf statischen Objekten, wie beispielhaft Bäume, Wegmarkierungen oder Spurrillen.
-
Es kann ferner eine Vorrichtung bereitgestellt werden, die ausgebildet ist, um die oben beschriebenen Schritte des Verfahrens zur automatischen Steuerung eines Fahrzeugs abseits von Straßen auszuführen.
-
Die oben beschriebenen Verfahren und Vorrichtungen erlauben es somit, unter Einsatz lediglich einer Monokamera und ohne den Einsatz von Stereokameras oder LIDAR-Sensoren einen Fahrweg abseits von Straßen (im Offroad-Terrain) zu erkennen und basierend hierauf eine automatische Steuerung einer Arbeitsmaschine oder Ähnliches vorzunehmen.
-
Figurenliste
-
- 1 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zur automatischen Steuerung eines Fahrzeugs abseits von Straßen.
- 2 zeigt eine schematische Darstellung einer Ausführungsform einer Vorrichtung zur automatischen Steuerung eines Fahrzeugs abseits von Straßen.
- 3 zeigt beispielhaft Ausgaben der Klassifizierung
-
Detaillierte Beschreibung von Ausführungsformen
-
In 1 sind die einzelnen Verfahrensschritte eines Verfahrens zur automatischen Steuerung eines Fahrzeugs abseits von Straßen gezeigt.
-
Die Schritte S101 bis S103 definieren hierbei das Verfahren zur Erkennung einer befahrbaren Fläche abseits von Straßen, wohingegen die Schritte S101 bis S104 das Verfahren zur automatischen Steuerung eines Fahrzeugs abseits von Straßen definieren.
-
Im ersten Schritt S101 werden die oben beschriebenen Bildinformationen von einer Monokamera empfangen.
-
Diese Bildinformationen werden dann, wie oben im Detail beschrieben, mittels eines neuronalen Netzwerks klassifiziert, S102.
-
Das Ergebnis einer derartigen Klassifizierung lässt sich der 3a) entnehmen. Wie in der Darstellung gezeigt, ist in der Mitte des Bildes eine Fläche erkannt worden, welche einer befahrbaren Fläche entspricht und in einer Kategorie klassifiziert wurde. Die Klassifikation am oberen Ende des Bildes entspricht dem Himmel, wohingegen das Band im mittleren Bereich des Bildes dem Baumbewuchs entspricht. Eine derartige Klassifizierung kann, wie der 3b) zu entnehmen, auch mit ursprünglichen Bild überlagert werden, so dass für jedes Pixel des Bildes die entsprechende Zuordnung zu einer Klasse bzw. einer Objektklasse ersichtlich wird.
-
In dem nachfolgenden Schritt S103 kann aufgrund dieser Klassifizierung erkannt werden, welcher Bereich, der auf dem Bild dargestellt ist, befahrbar ist. Wie oben beschrieben, kann dies beispielsweise dadurch erfolgen, dass eine bestimmte Klasse als befahrbare Fläche erkannt bzw. (vor)definiert wird.
-
Hinsichtlich der Details es Verfahrens wird auf die obigen Ausführungen verwiesen.
-
Im Anschluss an die Erkennung einer befahrbaren Fläche (Schritte S101 bis S103) kann dann im nachfolgenden Schritt S104 eine Regelung der Fahrzeuglenkung bzw. einer Fahrspurregelung und/oder eine Regelung der Beschleunigung basierend auf der Erkennung der befahrenen Fläche durchgeführt werden.
-
Um eine derartige Regelung auszuführen, kann das oben genauer beschriebene ein binäre Bild berechnet werden, welches in 3c) dargestellt ist. Hiernach kann eine Lateralposition im binären Bild für eine Fahrspurregelung berechnet und im Anschluss die Fahrspurregelung basierend auf der Lateralposition durchgeführt werden.
-
2 zeigt die zum Verfahren zugehörige Vorrichtung.
-
Hierbei bilden die Elemente 201 bis 203 eine Vorrichtung zur Erkennung einer befahrbaren Fläche abseits von Straßen.
-
Die Elemente 201 bis 204 bilden wiederum eine Vorrichtung 200 zur automatischen Steuerung eines Fahrzeugs abseits von Straßen.
-
Hierbei ist das Element 201 die Monokamera, welche Bildinformation ausgibt. Diese Bildinformation wird in die Klassifizierungseinheit 202 eingegeben, welches durch die Verbindung in 2 dargestellt ist. Die Klassifizierungseinheit 202 führt dann eine Klassifizierung der Bildinformation unter Verwendung des neuronalen Netzes durch. Das Ergebnis dieser Klassifizierung wird wiederum in die Erkennungseinheit 203 eingegeben, welche eine Erkennung einer befahrbaren Fläche basierend auf der Klassifizierung durchführt. Das Erkennungsergebnis der Erkennungseinheit 203 wird dann wiederum in die Regelungsvorrichtung 204 zur Regelung einer Fahrzeuglenkung eines Fahrzeuges basierend auf der Erkennung der befahrbaren Fläche eingegeben. Auch diese Übertragungen sind wiederum durch die gezeigten Verbindungen in 2 dargestellt.
-
Es ist für den Fachmann offensichtlich, dass die gezeigten Einheiten auch in Form von Softwaremodulen oder Ähnliches oder gemeinsam in einer Einheit ausgebildet sein können. Eine physikalische Trennung muss hierbei nicht vorliegen.
-
Bezugszeichenliste
-
- S101
- Empfangen
- S102
- Klassifizieren
- S103
- Erkennen
- S104
- Regeln
- 200
- Vorrichtung zur automatischen Steuerung
- 201
- Monokamera
- 202
- Klassifizierungseinheit
- 203
- Erkennungseinheit
- 204
- Regelungsvorrichtung
