DE102016220560A1

DE102016220560A1 - Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors und Verfahren zum Ansteuern eines Assistenzsystems eines Fahrzeugs

Info

Publication number: DE102016220560A1
Application number: DE102016220560.9A
Authority: DE
Inventors: Johannes Foltin
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-10-20
Filing date: 2016-10-20
Publication date: 2018-04-26

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors (104). In dem Verfahren werden unter Verwendung eines von dem Bildsensor (104) aufgenommenen Bildes eines Objekts (108) ein primärer Lichtreflexionswert und ein sekundärer Lichtreflexionswert ermittelt. Dabei repräsentiert insbesondere der primäre Lichtreflexionswert eine durch das Objekt (108) reflektierte elektromagnetische Strahlung im Bereich sichtbaren Lichts und der sekundäre Lichtreflexionswert eine durch das Objekt (108) reflektierte elektromagnetische Strahlung im Infrarotbereich. Der primäre Lichtreflexionswert und der sekundäre Lichtreflexionswert werden miteinander verglichen, um einen Vergleichswert zu erhalten. Schließlich wird unter Verwendung des Vergleichswertes ein das Objekt (108) als Pflanze kennzeichnendes Erkennungssignal erzeugt.

Description

Stand der Technik
Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
Passive Kamerasysteme erfassen in der Regel sichtbares Licht. Das erfasste Licht kann in einen Helligkeitswert und einen Farbwert aufgeteilt werden. Monochrome Kameras erfassen beispielsweise ausschließlich Helligkeitswerte, während andere Kameras Farbwerte wie RGB für Rot, Grün und Blau oder zusätzlich zu Helligkeitswerten auch Farbwerte erfassen können.
Ferner sind Kameras zum Erfassen von Licht im Nahinfrarotbereich (NIR) oder Ferninfrarotbereich (FIR) bekannt. NIR-Kameras werden beispielsweise in Nachtsichtsystemen für Fahrzeuge eingesetzt. Dabei wird eine Szene vor dem Fahrzeug durch Infrarot-Fernlichtscheinwerfer beleuchtet und dem Fahrer über eine NIR-Kamera sichtbar gemacht. Eine FIR-Kamera kann beispielsweise als Wärmebildkamera zum Empfangen von Wärmestrahlung dienen. FIR-Kameras in Fahrzeugen können beispielsweise zur Erkennung gut getarnter Tiere, etwa in einem Wald, eingesetzt werden.
Offenbarung der Erfindung
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors, ein Verfahren zum Ansteuern eines Assistenzsystems eines Fahrzeugs, weiterhin ein Steuergerät, das zumindest eines dieser Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.
Es wird ein Verfahren zum Erkennen einer Pflanze mittels eines Bildsensors vorgestellt, wobei das Verfahren folgende Schritte umfasst:
Ermitteln eines primären Lichtreflexionswerts, insbesondere eines Lichtreflexionsgrades, und eines sekundären Lichtreflexionswerts, insbesondere eines Infrarotreflexionsgrades, unter Verwendung eines von dem Bildsensor aufgenommenen Bildes eines Objekts, insbesondere wobei der Lichtreflexionsgrad eine durch das Objekt reflektierte elektromagnetische Strahlung im Bereich sichtbaren Lichts repräsentiert und der Infrarotreflexionsgrad eine durch das Objekt reflektierte elektromagnetische Strahlung im Infrarotbereich repräsentiert;
Vergleichen des primären Lichtreflexionswerts mit dem sekundären Lichtreflexionswert und/oder einem Schwellenwert, um einen Vergleichswert zu erhalten; und
Erzeugen eines das Objekt als Pflanze kennzeichnenden Erkennungssignals unter Verwendung des Vergleichswertes.
Unter einem Bildsensor kann ein ein- oder mehrdimensionaler Sensor verstanden werden, der für elektromagnetische Strahlung im Bereich sichtbaren Lichts oder nahen Infrarots empfindlich ist. Beispielsweise kann der Bildsensor ein einzelnes Sensorpixel, eine Sensorpixelzeile oder ein zweidimensionaler Bildsensor sein. Alternativ kann der Bildsensor auch für andere Spektralbereiche wie beispielsweise mittleres bis fernes Infrarot empfindlich sein. Alternativ oder zusätzlich kann der Bildsensor eine von der Polarisation des Lichts abhängigen Sensitivität aufweisen. Hierzu kann der Bildsensor je nach Ausführungsform eine Mehrzahl von unterschiedlichen Spektralbereichen zugeordneten Sensorelementen oder Pixel aufweisen. Alternativ kann ein Bildsensor ein einzelnes Sensorelement aufweisen, das für einen Spektralbereich sensitiv ist, beispielsweise im Nahinfrarotbereich. Beispielsweise kann das von dem Bildsensor aufgenommene Bild eine erste Aufnahme des Objekts im sichtbaren Wellenlängenbereich und eine zweite Aufnahme des Objekts im Infrarotbereich umfassen.
Unter einem Reflexionswert wie dem primären oder sekundären Lichtreflexionswert kann allgemein ein Reflexionsgrad verstanden werden, der das Verhältnis von einfallendem zu reflektiertem Licht repräsentieren kann. Unter einem Reflexionswert kann alternativ das Verhältnis einer ersten Größe einer ausgesandten elektromagnetischen Strahlung zu einer zweiten Größe einer reflektierten elektromagnetischen Strahlung verstanden werden. Die erster Größe der ausgesandten elektromagnetischen Strahlung kann, muss aber nicht, einer ausgesandten Licht-Energie entsprechen. Die zweite Größe der elektromagnetischen Strahlung kann, muss aber nicht, einer empfangenen Licht-Energie entsprechen. Der Zusammenhang zwischen erster und zweiter Größe kann in einem unterschiedlichen Verhältnis stehen und/oder nichtlinear sein. Ein Ansteigen der ersten Größe führt bei gleichbleibendem Reflexionswert zu einem Ansteigen der zweiten Größe. Ein Verringern der ersten Größe führt bei gleichbleibendem Reflexionswert zu einem Abfallen der zweiten Größe. Aus erster Größe und zweiter Größe kann ein Reflexionswert ermittelt werden, beispielsweise durch ein Verhältnis von zweiter Größe und erster Größe. Es kann dadurch ermöglicht werden, einen Reflexionswert besonders ressourcenschonend zu ermitteln, ohne einen exakten Reflexionsgrad zu ermitteln. Der so ermittelte Reflexionswert kann beispielsweise sehr einfach gegen einen Referenzwert verglichen werden.
Alternativ kann anstelle der ersten ausgesandten Größe eine dritte Größe einer empfangenen elektromagnetischen Strahlung für das Ermitteln des Reflexionswertes genutzt werden. Dies ist besonders vorteilhaft, wenn es sich um eine passive Messung handelt.
Alternativ kann anstelle der ersten Größe eine vierte vordefinierte Größe für das Ermitteln des Reflexionswerts genutzt werden. Dies ist besonders vorteilhaft, wenn keine dritte empfangene Größe ermittelt werden kann.
Der Reflexionswert kann ein Reflexionswert für einen sehr schmalen Wellenlängenbereich, beispielsweise einer einzelnen Wellenlänge, ein mittlerer Reflexionswert, ein minimaler oder maximaler Reflexionswert eines Spektralbereichs sein. Dies ist besonders vorteilhaft, wenn der Bildsensor oder ein Sensorelement des Bildsensors einen breiten Sicht-Bereich abdeckt.
Unter einem Reflexionswert kann die Menge der reflektierten Energie in Relation zu einfallenden Energie betrachtet werden. Dies kann auch als Reflexionsgrad bezeichnet werden. In einer vorteilhaften Ausführungsform kann unter einem Reflexionswert auch ein wellenlängenabhängiges Verhältnis verstanden werden. Dadurch ist es möglich, dass beispielsweise der Reflexionswert bestimmt werden kann, ohne die exakte Charakteristik des Bildaufnehmers bzw. Empfängers zu kennen. Dadurch kann die Komplexität des Verfahrens reduziert werden. Es kann dementsprechend ausreichend sein, einen relativen Wert zu ermitteln. Dies kann beispielsweise durch Vergleich mit einem Referenzwert erfolgen.
Beispielsweise kann eine Auswertung der Reflexionseigenschaften (indirekt durch Interpretation der wellenlängenabhängigen Helligkeit als Funktion von Umgebungslicht und Reflexionseigenschaft) ohne Messung einer tatsächlichen Energie-Größe an Hand des Sehens des Menschen bzw. analog dazu die technische Umsetzung mit einem sensiblen Grün-Pixel und einem weniger sensiblen Rot-Pixel erfolgen: Beispielsweise kann bei einem Bildaufnehmer für Rot und Grün ein relativer Helligkeitswert bestimmt werden, um ein Objekt als grün (z. B. Messwert für Rot ist gering, Messwert für Grün ist hoch), als gelb (Messwert für Rot ist ungefähr so groß wie für Grün) oder als rot identifiziert werden (Messwert für Rot ist hoch, Messwert für Grün ist gering). Dadurch kann eine erste Einschätzung erfolgen, ob es sich um eine Pflanze handelt oder nicht. Dies ist ähnlich zum Helligkeitsempfinden eines Menschen: Dieses ist im grünen Bereich stärker ausgeprägt, d. h. grün wird bei gleicher Intensität/ Reflexionseigenschaft des Materials heller wahrgenommen als andere Stoffe. Dennoch kann man durch den Vergleich, der nicht auf Energie beruht, auf eine Farbe schließen und damit bereits einschätzen, ob es sich potenziell um eine Pflanze handelt oder nicht.
Unter einem primären Lichtreflexionswert kann ein Reflexionswert, beispielsweise einen Reflexionsgrad, insbesondere im sichtbaren Spektrum des Lichts verstanden werden.
Unter einem sekundären Lichtreflexionswert kann ein Reflexionswert verstanden werden, der für das menschliche Auge nicht einfach erkennbar sein kann. Beispielsweise kann es sich bei dem sekundären Reflexionswert um einen polarisationsabhängigen Reflexionswert handeln. Zusätzlich oder alternativ kann es sich bei dem sekundären Reflexionswert um einen Reflexionswert im Infrarotspektrum handeln.
Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass durch Analysieren eines spektralen Reflexionsverhaltens eines Objekts, insbesondere durch Vergleichen eines Reflexionsgrades im Bereich sichtbaren Lichts mit einem Reflexionsgrad im Infrarotbereich zuverlässig ermittelt werden kann, ob das Objekt pflanzlicher Natur ist oder nicht. Dabei macht sich der hier vorgestellte Ansatz die Tatsache zunutze, dass Pflanzen Infrarotlicht im Allgemeinen gut reflektieren und in der Regel (dunkel)grün sind. Ein derartiger Vergleich kann beispielsweise unter Verwendung von Laserscanner-Daten und einer Kamera-Textur, wie sie durch moderne Fahrzeuge bereitgestellt werden, erfolgen. Die Auswertung der Textur (z. B. „verrauschte“ filigrane Bildinhalte bei Blattwerk gegenüber einer homogenen flächigen Struktur bei einer Betonwand) ist eine Ausführungsform, allgemeiner sind es aber Kamerabild-Daten. Beispielsweise kann es ausreichen, dass man die Farbinformation aus der Kamera mit der Infrarot-Reflexionseigenschaft vergleicht. Im Kontext von Fahrerassistenzsystemen ist es ohne Beschränkung der Verwendung des hier vorgestellten Ansatzes auf andere Einsatzumgebungen wie Ernte- oder allgemein Agrarmaschinen häufig sinnvoll, zu wissen, ob es sich bei einem erfassten Objekt um einen Busch, einen Baum oder eine sonstige Pflanze handelt. Der hier vorgestellte Ansatz ermöglicht die Erkennung von Bewuchs in Bildern, ohne dass hierzu eine ressourcenaufwendige Mustererkennung erforderlich ist. Auf Basis einer derartigen Klassifizierung eines Objekts als Pflanze oder Bewuchs können beispielsweise entsprechende Systemreaktionen ausgelöst werden. Dadurch kann die Verkehrssicherheit erhöht werden.
Ein Vergleich von Kamerabild Bild eines optischen Bildsensors und einer Lidar-Messung kann ebenfalls möglich sein. In diesem Fall würde die Lidar-Messung als Bild bzw. den Lidar-Sensor als Bildsensor dienen. Es ist ebenfalls möglich, dass der Lidar-Sensor über räumliche Abtastung mittels eines einzelnen Strahls eine flächige Messung macht, wobei die Kamera als Bildsensor bzw. Teil-Bildsensor prinzipiell auf einen Schlag eine 2D-Messung durchführen kann. Prinzipiell ist auch eine Messung mit einem einzelnen Sensorelement möglich und nicht ausgeschlossen (z. B. Lichtsensor, einzelner Polarisations-Mess-Pixel, der punktuell die Polarisation zur Esi-Messung vornimmt).
Gemäß einer Ausführungsform kann im Schritt des Erzeugens das Erkennungssignal erzeugt werden, wenn sich im Schritt des Vergleichens ergibt, dass der sekundäre Lichtreflexionswert größer als der primäre Lichtreflexionswert ist. Pflanzen weisen im Allgemeinen eine hohe Reflektivität für Infrarotstrahlung auf. Dies kann beispielsweise durch Mehrfachstreuungen an der Blattstruktur hervorgerufen werden, wobei auch absorbierende Stoffe fehlen können. Somit kann das Objekt mit hoher Zuverlässigkeit als Pflanze erkannt werden. Insbesondere ist auch der Vergleich gegen eine spektrale Referenz-Reflektanz sinnvoll: Pflanzen reflektieren im Infrarotbereich zwar viel, dies möglicherweise absolut gesehen nicht mehr ist als im sichtbaren Bereich. Insbesondere wenn die Empfängercharakteristik des Sensors nicht herausgerechnet wird, dann wird eine skalierte Größe erhalten. Durch Vergleich gegen eine Referenzschwelle für Infrarot und eine Schwelle für andere Spektralbereiche (z. B. sichtbares Licht) kann der Unterschied sicher festgestellt werden: Pflanzen weisen im Infrarotbereich einen Reflektanzwert oberhalb der Referenzschwelle auf, im sichtbaren Bereich einen Reflektanzwert, der unterhalb der Referenzschwelle liegt. Eine Möglichkeit der Umsetzung bzw. einfachen Vergleichbarkeit kann beispielsweise als Liste mit Farben als Referenz für einen Spektralbereich und dazugehöriger (relativer) Reflexionsgrad implementiert werden.
Gemäß einer weiteren Ausführungsform kann im Schritt des Vergleichens der primäre Lichtreflexionswert mit einem ein Absorptionsspektrum von Chlorophyll repräsentierenden sekundären Lichtreflexionswert verglichen werden, um einen weiteren Vergleichswert zu erhalten. Im Schritt des Erzeugens kann das Erkennungssignal unter Verwendung des weiteren Vergleichswertes erzeugt werden. Dadurch kann die Zuverlässigkeit des Verfahrens weiter erhöht werden. Wenn der Polarisationswert ebenfalls als polarisationsabhängiger Reflexionswert definiert ist, dann kann vorteilhaft sein, wenn zusätzlich zum Referenzreflexionsgrad auch die Polarisation mit aufgenommen wird (z. B. einen polarisationsabhängigen Referenzreflexionswert). Unter einem Absorptionsspektrum kann auch ein polarisationsabhängiges Absorptionsspektrum verstanden werden.
Es ist vorteilhaft, wenn im Schritt des Ermittelns unter Verwendung des Bildes zumindest ein erster primärer Lichtreflexionswert und ein zweiter primärer Lichtreflexionswert ermittelt werden. Hierbei kann der erste primäre Lichtreflexionswert eine durch das Objekt reflektierte elektromagnetische Strahlung in einem ersten Spektralbereich sichtbaren Lichts repräsentieren und der zweite primäre Lichtreflexionswert eine durch das Objekt reflektierte elektromagnetische Strahlung in einem zumindest teilweise außerhalb des ersten Spektralbereichs liegenden zweiten Spektralbereich sichtbaren Lichts repräsentieren. Im Schritt des Vergleichens können der erste primäre Lichtreflexionswert und der zweite primäre Lichtreflexionswert mit dem sekundären Lichtreflexionswert verglichen werden, um den Vergleichswert zu erhalten. Dadurch kann das Objekt unter Berücksichtigung von Lichtreflexionsgraden für unterschiedliche Spektralbereiche als Pflanze erkannt werden. Somit kann die Genauigkeit des Verfahrens erhöht werden. Es ist prinzipiell auch möglich den Helligkeitswert (und damit auch den Reflexionswert) zweier disjunkter Bereiche zu messen, indem man einen größeren Bereich misst (z. B. sowohl sichtbares, als auch Infrarotlicht gemeinsam bzw. auf einmal mit einem Sensorelement) und anschließend z. B. ausschließlich das sichtbare Licht mit einer Kamera misst. D. h. der zweite Bereich (ausschließlich sichtbares Licht) liegt vollständig innerhalb des ersten Bereichs. Dennoch kann ich durch Subtraktion der empfangenen Helligkeit auf die Helligkeit des Infrarotbereichs schließen. D. h. ohne den Infrarotbereich separat zu messen kann man auf die Werte schließen.
Es ist zudem von Vorteil, wenn im Schritt des Ermittelns unter Verwendung des Bildes ein Polarisationswert ermittelt wird. Der Polarisationswert kann eine Polarisationsrichtung der durch das Objekt reflektierten elektromagnetischen Strahlung repräsentieren. Dementsprechend kann im Schritt des Erzeugens das Erkennungssignal unter Verwendung des Polarisationswertes erzeugt werden. Durch diese Ausführungsform kann die Robustheit des Verfahrens weiter erhöht werden.
Des Weiteren kann im Schritt des Ermittelns der primäre Lichtreflexionswert oder, zusätzlich oder alternativ, der sekundäre Lichtreflexionswert unter Verwendung eines eine Helligkeit einer Umgebung des Objekts repräsentierenden Helligkeitswertes ermittelt werden. Durch diese Ausführungsform kann vermieden werden, dass das Objekt je nach Helligkeit der Umgebung fälschlicherweise als Pflanze erkannt wird.
Gemäß einer weiteren Ausführungsform kann das Verfahren einen Schritt des Plausibilisierens des Erkennungssignals unter Verwendung eines dem Bild zugeordneten Wärmebilds oder, zusätzlich oder alternativ, einer Objektklasseninformation umfassen. Hierbei kann die Objektklasseninformation eine Zuordnung des Objekts zu zumindest einer Objektklasse repräsentieren. Unter einer Objektklasse kann eine bestimmte, das Objekt charakterisierende Kategorie verstanden werden, wie beispielsweise eine Kategorie „Mensch“, „Auto“, „Gebäude“, „Straßenlaterne“ oder „Verkehrsschild“. Durch diese Ausführungsform kann eine besonders hohe Erkennungsgenauigkeit des Verfahrens sichergestellt werden.
Zudem ist es von Vorteil, wenn in einem Schritt des Aussendens zumindest ein Lichtstrahl mit einer Aussendeintensität ausgesandt wird, um das Objekt zu beleuchten. Hierbei kann im Schritt des Ermittelns der primäre Lichtreflexionswert oder, zusätzlich oder alternativ, der sekundäre Lichtreflexionswert in Abhängigkeit von der Aussendeintensität ermittelt werden. Bei dem Lichtstrahl kann es sich um eine elektromagnetische Strahlung im Bereich sichtbaren Lichts und/oder im Infrarotbereich handeln. Unter einer Aussendeintensität kann eine Intensität verstanden werden, mit der der Lichtstrahl durch eine entsprechende Lichtquelle erzeugt oder ausgesandt wird. Dadurch kann die Ermittlung des primären Lichtreflexionswerts bzw. des sekundären Lichtreflexionswerts bei wechselnden Umgebungsbedingungen mit gleichbleibend hoher Genauigkeit durchgeführt werden. Beispielsweise hat ferner eine Halogenlampe einen großen Anteil Infrarotstrahlung. D. h. es kann sowohl die Intensität des ausgesandten sichbaren, als auch des Infrarotlichts genutzt werden, um beim Empfangen dann wiederum einen Reflexionsgrad zu erhalten.
Der hier vorgestellte Ansatz schafft zudem ein Verfahren zum Ansteuern eines Assistenzsystems für ein Fahrzeug, wobei das Verfahren die Schritte eines Verfahrens gemäß einer der vorstehenden Ausführungsformen umfasst. Das Verfahren umfasst einen Schritt des Bereitstellens eines Ansteuersignals zum Ansteuern des Assistenzsystems unter Verwendung des Erkennungssignals.
Unter einem Assistenzsystem kann ein System zur Unterstützung eines Fahrers beim Führen des Fahrzeugs und/oder ein System verstanden werden, das dem Menschen in irgendeiner Form Arbeit abnehmen soll - einerseits beim Fahrer, andererseits aber auch bei anderen Tätigkeiten wie dem Ernten oder dem maschinellen Erkennen von Pflanzen. So kann das Assistenzsystem verschiedene Sicherheits- oder Komfortfunktionen umfassen. Je nach Ausführungsform kann das Assistenzsystem ausgebildet sein, um das Fahrzeug vollständig oder zumindest teilweise autonom, d. h. ohne Eingreifen des Fahrers, zu steuern. Durch ein derartiges Ansteuerungsverfahren kann das Assistenzsystem auf Basis einer Unterscheidung zwischen pflanzlichen und nicht pflanzlichen Objekten angesteuert werden.
Diese Verfahren können beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.
Der hier vorgestellte Ansatz schafft ferner ein Steuergerät, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form eines Steuergeräts kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
Hierzu kann das Steuergerät zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
Unter einem Steuergerät kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Das Steuergerät kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen des Steuergeräts beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
In einer vorteilhaften Ausgestaltung erfolgt durch das Steuergerät eine Steuerung des Fahrzeugs. Hierzu kann das Steuergerät beispielsweise auf Sensorsignale wie Beschleunigungs-, Druck-, Lenkwinkel- oder Umfeldsensorsignale zugreifen. Die Ansteuerung erfolgt über Aktoren wie Brems- oder Lenkaktoren oder ein Motorsteuergerät des Fahrzeugs.
In einer weiteren Ausgestaltung erfolgt durch das Steuergerät eine Anpassung an Schutzmitteln des Fahrzeugs. Hierzu kann das Steuergerät beispielsweise auf Sensorsignale wie Beschleunigungs-, Druck-, Lenkwinkel-, Unfall- oder Umfeldsensorsignale zugreifen. Die Ansteuerung erfolgt über Aktoren wie Sitzverstell-, Gurtanpassungs-, Lenkungsverstellaktoren oder eine Anpassung von Entscheidungsparametern in einem Airbagsteuergerät.
Denkbar ist ferner eine Ausgestaltung des Steuergeräts als Ernte- oder Agrar-Einheit, die zur Suche von Pflanzen ausgebildet ist.
Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 eine schematische Darstellung eines Fahrzeugs mit einem Steuergerät gemäß einem Ausführungsbeispiel;
2 eine schematische Darstellung eines Steuergeräts gemäß einem Ausführungsbeispiel;
3 ein Diagramm zur Darstellung eines Absorptionsspektrums von Chlorophyll;
4 eine schematische Darstellung eines Bildes, aufgenommen durch einen Bildsensor zur Verwendung mit einem Steuergerät gemäß einem Ausführungsbeispiel;
5 eine schematische Darstellung eines Bildes, aufgenommen durch einen Bildsensor zur Verwendung mit einem Steuergerät gemäß einem Ausführungsbeispiel;
6 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Erkennen einer Pflanze; und
7 ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens zum Ansteuern eines Assistenzsystems eines Fahrzeugs.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einem Steuergerät 102 gemäß einem Ausführungsbeispiel. Das Fahrzeug 100 weist einen Bildsensor 104 auf, der mit dem Steuergerät 102 verbunden ist. Der Bildsensor 104 ist ausgebildet, um ein Umfeld des Fahrzeugs 100 zu erfassen und ein Bildsignal 106, das ein Bild eines im Umfeld befindlichen Objekts 108 repräsentiert, an das Steuergerät 102 zu senden. Das Objekt 108 ist in 1 beispielhaft als Baum dargestellt. Das Steuergerät 102 ist ausgebildet, um unter Verwendung des Bildsignals 106 einen primären Lichtreflexionswert, beispielsweise als Reflexionsgrad einer von dem Objekt 108 reflektierten sichtbaren Lichtstrahlung, auch Lichtreflexionsgrad genannt, sowie einen sekundären Lichtreflexionswert, beispielsweise einen Reflexionsgrad einer von dem Objekt 108 reflektierten Infrarotstrahlung, auch Infrarotreflexionsgrad genannt, zu ermitteln und durch Vergleichen des primären Lichtreflexionswerts, beispielsweise des Lichtreflexionsgrades mit dem sekundären Lichtreflexionswert, beispielsweise Infrarotreflexionsgrad und/oder einem Schwellwert zu erkennen, ob es sich bei dem Objekt 108 um eine Pflanze handelt. Die vom Objekt 108 reflektierte elektromagnetische Strahlung ist schematisch durch drei auf den Bildsensor 104 gerichtete Pfeile gekennzeichnet. Insbesondere erkennt das Steuergerät 102 das Objekt 108 dann als Pflanze, wenn der sekundäre Lichtreflexionswert wie beispielsweise der Infrarotreflexionsgrad größer als der primäre Lichtreflexionswert wie beispielsweise der Lichtreflexionsgrad ist.
Auch wenn in der nachfolgenden Beschreibung das Erkennen der Pflanze unter Verwendung des Lichtreflexionsgrades in Verbindung mit dem Infrarot-Reflexionsgrad beschrieben wird, ist dieses Erkennen nur anhand dieser Werte für den Lichtreflexionsgrad und den Infrarot-Reflexionsgrad beispielhaft erläutert und ist nicht einschränkend gegenüber der allgemeinen Erkennung der Pflanze unter Verwendung des ersten und zweiten Lichtreflexionswertes zu verstehen, wie dies vorstehend näher genannt wurde.
Der Reflexionsgrad repräsentiert nicht zwingend die vom Objekt reflektierte Strahlung, sondern die reflektierte Strahlung in Bezug auf die auf dem Objekt aufgetroffene Strahlung. Vereinfacht kann über die Helligkeit (z. B. im Bild) erkannt werden, wenn dies in Bezug auf eine (angenommene) Umgebungshelligkeit gesetzt wird.
Es ist prinzipiell auch möglich, dass die Reflexionswerte in Bezug zueinander gesetzt werden. Dies ist besonders vorteilhaft, wenn die Pflanzen unterschiedlich hell sind. In der Regel kann aber durch Auswertung des Absorptionsspektrums dennoch auf den pflanzlichen Ursprung geschlossen werden.
Als Reflexionsgrad einer Infrarotstrahlung wird hier nicht nur ein Reflexionsgrad des Objektes verstanden, der aus der reflektierten Infrarotstrahlung ermittelt werden kann bzw. ein Reflexionsgrad des Objektes in einem Infrarot-Spektralbereich. Lediglich aus dem am Objekt reflektierten Licht kann kein (echter) Reflexionsgrad ermittelt werden, da das Spektrum des auf das Objekt einfallenden Lichts nicht gleichförmig sein muss.
Gemäß diesem Ausführungsbeispiel ist das Steuergerät 102 ausgebildet, um zusätzlich ein Ansteuersignal 110 zum Ansteuern eines Assistenzsystems 112 des Fahrzeugs 100 bzw. ein Ansteuersignal zum Anpassen von Rückhaltemitteln auszugeben, wenn das Objekt 108 vom Steuergerät 102 als Pflanze erkannt wird.
Optional steuert das Steuergerät 102 durch Ausgeben eines Lichtsteuersignals 114 eine Lichtquelle 116 zum Beleuchten des Objekts 108. Die Lichtquelle 116 sendet unter Verwendung des Lichtsteuersignals 114 Lichtstrahlen 118, etwa in Form eines Infrarot-Laserimpulses, mit einer bestimmten Aussendeintensität in Richtung des Objekts 108. Die Aussendeintensität wird von dem Steuergerät 102 verwendet, um den Lichtreflexionsgrad bzw. den Infrarotreflexionsgrad der von dem Objekt 108 reflektierten Strahlung zu ermitteln.
2 zeigt eine schematische Darstellung eines Steuergeräts 102 gemäß einem Ausführungsbeispiel, beispielsweise eines Steuergeräts, wie es vorangehend anhand von 1 beschrieben ist. Das Steuergerät 102 umfasst eine optionale Einleseeinheit 210 zum Einlesen des Bildsignals 106. Eine Ermittlungseinheit 220 ist ausgebildet, um das Bildsignal 106 von der Einleseeinheit 210 zu empfangen und zu verwenden, um den Lichtreflexionsgrad und den Infrarotreflexionsgrad zu ermitteln. Die Ermittlungseinheit 220 gibt den Lichtreflexionsgrad als einen ersten Eingangswert 222 und den Infrarotreflexionsgrad als einen zweiten Eingangswert 224 an eine Vergleichseinheit 230 weiter, die den Lichtreflexionsgrad und den Infrarotreflexionsgrad unter Verwendung der beiden Eingangswerte 222, 224 miteinander vergleicht, um einen Vergleichswert 232 zu erhalten. An die Vergleichseinheit 230 ist eine Erzeugungseinheit 240 angeschlossen, die den Vergleichswert 232 von der Vergleichseinheit 230 empfängt. Die Erzeugungseinheit 240 ist ausgebildet, um in Abhängigkeit von dem Vergleichswert 232 ein Erkennungssignal 242, durch das das Objekt als Pflanze gekennzeichnet wird, zu erzeugen. Die Referenz-Reflektanz kann gegebenenfalls als Normierung beschrieben werden, sodass dann einfach die normierten Lichtreflexionsgrade und Infrarotreflexionsgrade miteinander verglichen werden. Hierzu kann beispielsweise ein weiterer Schritt des Anpassens / Normierens eingefügt werden. Statt einer Normierung, die abhängig von z. B. Umweltsignalen (z. B. allgemeine Umgebungshelligkeit) ist auch eine einfache Skalierung mit festen Werten möglich.
Gemäß diesem Ausführungsbeispiel umfasst das Steuergerät 102 eine optionale Ausgabeeinheit 250, die ausgebildet ist, um unter Verwendung des Erkennungssignals 242 das Ansteuersignal 110 auszugeben.
3 zeigt ein Diagramm zur Darstellung eines Absorptionsspektrums von Chlorophyll in Abhängigkeit von einer Wellenlänge. Gezeigt sind zwei Kurven 300, 302, aus denen ersichtlich ist, dass die Absorption von Chlorophyll bei 400 nm und 500 nm sowie im Bereich zwischen 600 nm und 800 nm am größten ist. In diesen Bereichen wird wenig Licht reflektiert, d. h., der Reflexionsgrad ist entsprechend klein. Das Reflexionsspektrum der Pflanze ändert sich durch die Beschaffenheit der Struktur, in die das Chlorophyll eingebettet ist. Die prinzipielle Verteilung von Minima und Maxima bleibt jedoch im Wesentlichen erhalten.
4 zeigt eine schematische Darstellung eines Bildes 400, aufgenommen durch einen Bildsensor zur Verwendung mit einem Steuergerät gemäß einem Ausführungsbeispiel. Beispielsweise kann das Bild 400 von einem Bildsensor, wie er vorangehend anhand von 1 beschrieben ist, aufgenommen sein. Gezeigt sind das Objekt 108 in Form des Baums, eine Straße 402, eine Rasenfläche 404 sowie ein Gebäude 406. Bei dem Bild 400 handelt es sich um eine Aufnahme im Bereich des sichtbaren Spektrums.
5 zeigt eine schematische Darstellung eines Bildes 500, aufgenommen durch einen Bildsensor zur Verwendung mit einem Steuergerät gemäß einem Ausführungsbeispiel. Das Bild 500 entspricht dem in 4 gezeigten Bild, mit dem Unterschied, dass das Bild 500 eine Infrarotaufnahme im Bereich zwischen 700 nm und 1000 nm darstellt.
Beim direkten Vergleich der beiden Bilder 400, 500 fällt auf, dass der Baum 108 und die Rasenfläche 404 im Bild 500 hell, im Bild 400 dagegen dunkel und grün erscheinen. Im Vergleich dazu erscheinen die nicht pflanzlichen Elemente im Bild 500 ähnlich hell oder gar dunkler als im Bild 400. Diese Charakteristik im Reflexionsspektrum wird in dem hier vorgestellten Ansatz genutzt, um Pflanzen anhand des darin enthaltenen Chlorophylls als solche zu identifizieren.
6 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 600 zum Erkennen einer Pflanze mittels eines Bildsensors. Das Verfahren 600 kann beispielsweise im Zusammenhang mit einem Steuergerät, wie es vorangehend anhand der 1 bis 5 beschrieben ist, durchgeführt werden. Hierbei werden in einem Schritt 620 der Lichtreflexionsgrad und der Infrarotreflexionsgrad ermittelt. In einem Schritt 630 werden die beiden Reflexionsgrade der miteinander verglichen, um den Vergleichswert zu erhalten. Schließlich wird in einem Schritt 640 unter Verwendung des Vergleichswertes das Erkennungssignal erzeugt.
7 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 700 zum Ansteuern eines Assistenzsystems eines Fahrzeugs. Das Verfahren 700 kann beispielsweise im Zusammenhang mit einem Steuergerät, wie es vorangehend anhand der 1 bis 5 beschrieben ist, durchgeführt werden. Das Verfahren 700 umfasst die Schritte 620, 630, 640 des vorangehend anhand von 6 beschriebenen Verfahrens zum Erkennen einer Pflanze mittels eines Bildsensors. Des Weiteren umfasst das Verfahren 700 einen Schritt 710, in dem unter Verwendung des Erkennungssignals das Ansteuersignal ausgegeben wird, etwa um ein Systemverhalten des Assistenzsystems in entsprechender Weise anzupassen.
Gemäß diesem Ausführungsbeispiel umfasst das Verfahren 700 einen dem Schritt 620 vorangehenden Schritt 720 mit einem ersten Teilschritt 722, in dem ein Kamerabild aufgenommen wird, einem zweiten Teilschritt 724, in dem eine Umgebungshelligkeit erfasst wird, beispielsweise durch einen Lichtsensor, und einen dritten Teilschritt 726, in dem ein Infrarot-Laserimpuls ausgesandt wird und eine Helligkeit gemessen wird. Das Kamerabild sowie die erfasste Umgebungshelligkeit werden im Schritt 620 in einem vierten Teilschritt 728 verwendet, um den Lichtreflexionsgrad zu ermitteln. Die im dritten Teilschritt 726 gemessene Helligkeit wird im Schritt 620 in einem fünften Teilschritt 730 zur Ermittlung des Infrarotreflexionsgrades verwendet.
Ergibt sich beispielsweise im Schritt 630, dass der Infrarotreflexionsgrad nicht hoch genug ist, so wird das Verfahren 700 in einem Schritt 732 beendet. Andernfalls wird das Verfahren 700 mit dem Schritt 640 fortgeführt.
Nachfolgend werden verschiedene Ausführungsbeispiele des hier vorgestellten Ansatzes anhand der 1 bis 7 nochmals mit anderen Worten beschrieben.
Gemäß dem hier vorgestellten Ansatz wird insbesondere die Reflexionseigenschaft beispielsweise einschließlich Polarisation von Chlorophyll ausgewertet. Alternativ können auch die Reflexionseigenschaften anderer Stoffe von Pflanzen ausgewertet werden.
Gemäß im Ausführungsbeispiel erfasst oder ermittelt ein Umfeldsensor des Fahrzeugs 100, etwa eine Kamera, einen Reflexionsgrad sichtbaren Lichts. Tatsächlich wird eine sensorabhängige Helligkeit gemessen, die von der Umgebungshelligkeit bzw. auf dem Objekt auftreffenden Helligkeit und dem Reflexionsgrad abhängig ist. In einem zweiten Schritt kann beispielsweise aus der Helligkeit und der (angenommenen) auf das Objekt einfallenden Strahlung den Reflexionsgrad ermittelt werden. Ein weiterer Sensor des Fahrzeugs 100, etwa ein Laserscanner, erfasst den Reflexionsgrad von Infrarotlicht. Wenn der Reflexionsgrad von Infrarotlicht höher ist als der Reflexionsgrad sichtbaren Lichts, dann wird das Erkennungssignal 242, auch Pflanzenmaterial-Signal genannt, ausgegeben.
Gemäß einem weiteren Ausführungsbeispiel wird statt einem allgemeinen Reflexionsgrad des sichtbaren Lichts der Reflexionsgrad in verschiedenen Spektralbereichen separat ausgewertet. Im roten Bereich zwischen 600 nm und 800 nm und im blauen Bereich zwischen 400 nm und 500 nm ist der Absorptionsgrad hoch, weshalb der Reflexionsgrad niedrig ist. Im grünen Bereich, etwa zwischen 500 nm und 600 nm, ist der Reflexionsgrad hoch, weshalb Pflanzen grün erscheinen. Die Reflexionsgrade der unterschiedlichen Farben oder Spektralbereiche werden im Schritt 630 mit dem Reflexionsgrad von Infrarotlicht verglichen. Ist der Reflexionsgrad der verschiedenen Spektralbereiche ähnlich dem von Pflanzen bzw. Chlorophyll, so wird im Schritt 640 das Erkennungssignal 242 ausgegeben.
Ein Beispiel für den Vergleich der verschiedenen Reflexionsgrade ist in der folgenden Liste zu sehen:

Rot = niedriger Reflexionsgrad
Grün = hoher Reflexionsgrad
Blau = niedriger Reflexionsgrad
Infrarot = hoher Reflexionsgrad

Der Vorteil der zusätzlichen Auswertung des infraroten Spektrums besteht darin, dass bei ausschließlicher Auswertung von Farben im sichtbaren Bereich grüne Flächen fälschlicherweise als Pflanzen erkannt werden können. Durch Nutzung von Infrarotlicht ist eine zusätzliche Informationsquelle vorhanden, die bei modern ausgestatteten Fahrzeugen in Form eines Lidarsensors bereits vorhanden ist.
Im Wellenlängenbereich um 580 nm existiert ein weiteres Band, das senkrecht zu den Banden zwischen 600 nm und 800 nm polarisiert ist. Durch Auswertung der Polarisationsrichtung kann daher ein weiterer Hinweis gewonnen werden, ob es sich beim Objekt 108 um eine Pflanze handelt oder nicht. Beispielsweise werden Polfilter genutzt, um einen Straßenzustand (trocken, nass, vereist) zu ermitteln. Da diese Information für Fahrzeugregelungssysteme relevant ist, sind diese oftmals bereits im Fahrzeug integriert.
Die Infrarotinformation und die Information über den sichtbaren Bereich werden entweder durch die Fusionierung mehrerer Sensoren oder durch ein und denselben Sensor erfasst. Beispielsweise ist ein Imager einer Kamera so ausgelegt, dass damit auch Infrarot-Informationen gemessen werden können. Hierzu sind in den Imager beispielsweise punktuell Pixel integriert, die die Intensität des Infrarotlichts messen. Alternativ wird ein Pixel genutzt, das alle Farben einschließlich des Infrarotanteils erfasst. Durch Subtraktion der gemessenen sichtbaren Anteile um das Intensitätspixel herum wird wiederum auf den Infrarotanteil geschlossen. Dies ist in ähnlicher Weise auch bei Messung unterschiedlicher Spektralbereiche möglich.
Eine aktive Messung ist dadurch gekennzeichnet, dass die Lichtquelle 116, die zum Messsystem gehört, Licht aussendet, das nach Reflexion auf dem zu vermessenden Objekt 108 wieder empfangen wird. Beispielsweise werden Lidarsensoren, Laserscanner oder auch Systeme wie Nightvision oder Time-of-Flight-Kameras zur aktiven Messung genutzt. Bei der aktiven Messung wird die Stärke des ausgesandten Lichts in Messrichtung als bekannt angenommen. Aus bekannter Lichtstärke und der Intensität des zurückgestrahlten Lichts wird ein Reflexionsgrad ermittelt. Insbesondere die Nutzung von Lidarsensoren, die im Rahmen des hochautomatisierten Fahrens eine starke Verbreitung erfahren werden, kann für die Messung der Anwesenheit von Bewuchs oder Pflanzen vorteilhaft sein.
Die aktive Messung hat den Vorteil, dass die Menge des ausgesandten Lichts bekannt ist und so eine genaue Bestimmung des Reflexionsgrades möglich ist. Bei der passiven Messung wird ausschließlich mit dem in der Umgebung vorhandenen Licht gearbeitet oder die konkreten Eigenschaften des ausgesandten Lichts sind nicht bekannt, wie etwa im Fall eines Standardscheinwerfers oder bei ausschließlicher Beleuchtung durch Tageslicht.
Zur Messung der Umfeldhelligkeit, insbesondere des spektralen Zusammenhangs, wird ein Referenzsensor genutzt. Die Messung erfolgt beispielsweise durch einen separaten Sensor, der in den Lichtsensor integriert sein kann. Gemäß einem weiteren Ausführungsbeispiel wird der im Kamerabild vorhandene Himmel ausgewertet, der bei Tag in der Regel die Hauptbeleuchtungsquelle repräsentiert.
Neben den Farben im sichtbaren Bereich, wie beispielsweise Rot, Grün und Blau, weist der Bildsensor 104 beispielsweise einen zusätzlichen Sensor für den Infrarotbereich auf. Der Bildsensor fasst insbesondere alle Sensorinformationen zusammen, sodass beispielsweise am Ausgang des Bildsensors die Helligkeit sowie die Polarisation - oder gar die dazugehörigen Reflexionswerte anliegen. Dabei handelt es sich entweder um einen speziell für den Infrarotbereich sensitiven Imagerbereich oder der Bereich erfasst alle sichtbaren Wellenlängen und den relevanten Infrarotbereich. Aus den Pixeln des sichtbaren Bereichs wird der Infrarotbereich bei flächigen Objekten beispielsweise durch Subtraktion extrahiert werden. Durch Vergleich von in der Umgebung vorhandenem Infrarotlicht mit von Objekten reflektiertem Infrarotlicht wird im Vergleich zum Reflexionsgrad im visuellen Bereich auf die Materialeigenschaft des Objekts 108 geschlossen. Wenn der Reflexionsgrad von Infrarotlicht deutlich über dem Reflexionsgrad anderer Farben liegt, dann wird das Erkennungssignal 242. Zusätzlich erfolgt optional eine farbindividuelle Auswertung, um ausschließlich grüne Objekte als Pflanzen zu identifizieren.
Optional wird beispielsweise über Ferninfrarotstrahlung, d. h. mittels eines Wärmebilds, des Erkennungssignals 242 durchgeführt oder plausibilisiert. Dabei wird das Erkennungssignal 242 verworfen, wenn das Objekt 108 viel Ferninfrarot aussendet, d. h. warm ist. Insbesondere durch Vergleich des Wärmeanteils des Objekts 108 mit einem Wärmeanteil aus der Umgebung, beispielsweise von leblosen Objekten mit ähnlicher Helligkeit oder niedrigerem Infrarotreflexionsgrad, wie beispielsweise Asphalt, wird dann auf die Gesamterwärmung geschlossen und die Wärmeinformation in Relation zur Umgebung verglichen. Wenn die Umgebung warm ist, dann wird die Schwelle für die Ferninfrarot-Deplausibilisierung erhöht. Das heißt, bei warmer Umgebung kann das zu erkennende Objekt 108 auch wärmer sein, bevor das Erkennungssignal 242 unterdrückt wird.
Mittels eines geeigneten Sensors beispielsweise eine konkrete Klassifizierung des Subjekts 108 vorgenommen. Ist diese Klassifizierung nicht mit dem Erkennungssignal 242 vereinbar, dann wird das Erkennungssignal 242 gemäß einem Ausführungsbeispiel unterdrückt oder zweitrangig behandelt. So kann beispielsweise durch einen Menschen, der eine größere Pflanze trägt, oder dessen Kleidung zufällig eine ähnliche Reflexionseigenschaft wie eine Pflanze aufweist, das Erkennungssignal 242 erzeugt werden. Wird das Objekt jedoch als „Mensch“ klassifiziert, so wird das Erkennungssignal 242 unterdrückt und etwa eine auf die Objektklasse „Mensch“ bezogene Standardreaktion durchgeführt.
Je nach Ausführungsbeispiel kann das Erkennungssignal 242 genutzt werden, um verschiedene Fahrzeugsysteme oder sonstige mobile Systeme mit Umfeldsensorik anzupassen. Beispielsweise kann ein mobiles System ein Ernte- oder Agrargerät sein, welches Pflanzen erkennen kann. So wird das Erkennungssignal 242 beispielsweise in Verbindung mit einem Fernlichtassistenten genutzt, um eine seitliche Verdeckung bei der Sichtweitenschätzung genauer zu erkennen. Die Sichtweite wird bei Fernlichtassistenten genutzt, um eine Wartezeit zum Umschalten zwischen Abblendlicht und Fernlicht anzupassen. Hierbei wird die Dichtheit der seitlichen Verdeckung ausgewertet, um das Verhalten anzupassen. Ein blattloser Busch besitzt eine geringere Dichtheit als ein Busch mit Blättern. So kann beispielsweise frühzeitig durch Auswerten des Erkennungssignals 242 auf die Dichtheit der seitlichen Verdeckung geschlossen werden und der Fernlichtassistent entsprechend angepasst werden.
Optional wird das Erkennungssignal 242 über eine geeignete Kommunikationsschnittstelle an andere Fahrzeuge ausgegeben, entweder direkt über Car-to-Car-Kommunikation oder indirekt über Car-to-Infrastructure-Kommunikation.
Das Weiteren kann der hier beschriebene Ansatz in Verbindung mit (automatisierten) Erntemaschinen oder Pflegemaschinen genutzt werden, um Pflanzen ausfindig zu machen und entsprechend darauf zu reagieren, beispielsweise durch Düngen einer erwünschten Pflanze auf dem Feld oder Entfernen einer unerwünschten Pflanze im Bereich von Solarkollektoren.
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.

Claims

Verfahren (600) zum Erkennen einer Pflanze mittels eines Bildsensors (104), wobei das Verfahren (600) folgende Schritte umfasst: Ermitteln (620) eines primären Lichtreflexionswerts, insbesondere eines Lichtreflexionsgrades (222), und eines sekundären Lichtreflexionswerts, insbesondere eines Infrarotreflexionsgrades (224), unter Verwendung eines von dem Bildsensor (104) aufgenommenen Bildes (400; 500) eines Objekts (108), insbesondere wobei der Lichtreflexionsgrad (222) eine durch das Objekt (108) reflektierte elektromagnetische Strahlung im Bereich sichtbaren Lichts repräsentiert und der Infrarotreflexionsgrad (224) eine durch das Objekt (108) reflektierte elektromagnetische Strahlung im Infrarotbereich repräsentiert; Vergleichen (630) des primären Lichtreflexionswerts (222) mit dem sekundären Lichtreflexionswert (224), um einen Vergleichswert (232) zu erhalten; und Erzeugen (640) eines das Objekt (108) als Pflanze kennzeichnenden Erkennungssignals (242) unter Verwendung des Vergleichswertes (232).
Verfahren (600) gemäß Anspruch 1, bei dem im Schritt des Erzeugens (640) das Erkennungssignal (242) erzeugt wird, wenn sich im Schritt des Vergleichens (630) ergibt, dass der sekundäre Lichtreflexionswert (224) größer als der primäre Lichtreflexionswert(222) ist.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Vergleichens (630) der primäre Lichtreflexionswert (222) mit einem ein Absorptionsspektrum von Chlorophyll repräsentierenden sekundären Lichtreflexionswerts verglichen wird, um einen weiteren Vergleichswert zu erhalten, wobei im Schritt des Erzeugens (640) das Erkennungssignal (242) unter Verwendung des weiteren Vergleichswertes erzeugt wird.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermittelns (620) unter Verwendung des Bildes (400; 500) zumindest ein erster primärer Lichtreflexionswert und ein zweiter primärer Lichtreflexionswert ermittelt werden, wobei der erste primäre Lichtreflexionswert eine durch das Objekt (108) reflektierte elektromagnetische Strahlung in einem ersten Spektralbereich sichtbaren Lichts repräsentiert und der zweite primäre Lichtreflexionswert eine durch das Objekt (108) reflektierte elektromagnetische Strahlung in einem zumindest teilweise außerhalb des ersten Spektralbereichs liegenden zweiten Spektralbereich sichtbaren Lichts repräsentiert, wobei im Schritt des Vergleichens (630) der erste primäre Lichtreflexionswert und der zweite primäre Lichtreflexionswert mit dem sekundären Lichtreflexionswert (224) verglichen werden, um den Vergleichswert (232) zu erhalten.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermittelns (620) unter Verwendung des Bildes (400; 500) ein Polarisationswert ermittelt wird, wobei der Polarisationswert eine Polarisationsrichtung der durch das Objekt (108) reflektierten elektromagnetischen Strahlung repräsentiert, wobei im Schritt des Erzeugens (640) das Erkennungssignal (242) unter Verwendung des Polarisationswertes erzeugt wird.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, bei dem im Schritt des Ermittelns (620) der primäre Lichtreflexionswert (222) und/oder der sekundäre Lichtreflexionswert (224) unter Verwendung eines eine Helligkeit einer Umgebung des Objekts (108) repräsentierenden Helligkeitswertes ermittelt wird.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Plausibilisierens des Erkennungssignals (242) unter Verwendung eines dem Bild (400; 500) zugeordneten Wärmebilds und/oder einer Objektklasseninformation, die eine Zuordnung des Objekts (108) zu zumindest einer Objektklasse repräsentiert.
Verfahren (600) gemäß einem der vorangegangenen Ansprüche, mit einem Schritt des Aussendens zumindest eines Lichtstrahls (118) mit einer Aussendeintensität, um das Objekt (108) zu beleuchten, wobei im Schritt des Ermittelns (620) der primäre Lichtreflexionswert (222) und/oder der sekundäre Lichtreflexionswert (224) in Abhängigkeit von der Aussendeintensität ermittelt wird.
Verfahren (700) zum Ansteuern eines Assistenzsystems (112) eines Fahrzeugs (100), wobei das Verfahren (700) die Schritte eines Verfahrens (600) gemäß einem der Ansprüche 1 bis 9 umfasst, wobei das Verfahren (700) einen Schritt des Bereitstellens (710) eines Ansteuersignals (110) zum Ansteuern des Assistenzsystems (112) unter Verwendung des Erkennungssignals (242) umfasst.
Steuergerät (102) mit Einheiten (210, 220, 230, 240), die ausgebildet sind, um das Verfahren (600) gemäß einem der Ansprüche 1 bis 8 und/oder das Verfahren (700) gemäß Anspruch 9 auszuführen und/oder anzusteuern.
Computerprogramm, das ausgebildet ist, um das Verfahren (600) gemäß einem der Ansprüche 1 bis 8 und/oder das Verfahren (700) gemäß Anspruch 9 auszuführen und/oder anzusteuern.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 11 gespeichert ist.