-
Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung eines Blattrandes, ein Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel, eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes, ein Computerprogramm, ein maschinenlesbares Speichermedium sowie ein elektronisches Steuergerät.
-
Stand der Technik
-
Das vorliegende technische Gebiet betrifft die Erkennung von Blättern oder Pflanzen auf einem Ackerboden durch Bildsensoren bei einer Fahrtgeschwindigkeit von bis zu 20 km/h eines über den Ackerboden fahrenden Fahrzeugs.
-
Es ist im Stand der Technik bekannt, dass die verfügbare Information in der Szene sinnvollerweise nur auf die Blattrand-Kurve reduziert ist, die mit einer Bodenauflösung zwischen 0,5 und 1 mm pro Pixel, der sogenannten Blattrand-Auflösung, erfasst werden kann. Dies liegt darin begründet, dass die Blatttextur als nächsthöhere Informationsebene erst mindestens bei Verzehnfachung der Bodenauflösung hinzugenommen werden kann, was bezüglich Datenmengen, Dynamikumfang des Sensors und Kosten für Sensor/Optik mit herkömmlichen Bildsensoren nicht praktikabel ist.
-
Ferner ist der Dynamikumfang in einem einzelnen Bild bei direktem Sonnenlichteinfall und vorhandenem Schlagschatten bereits bei der Blattrand-Auflösung an Erdklumpen oder Pflanzen sehr hoch. Bei dem begrenzten Dynamikumfang von ungefähr 60 bis 80 dB verwendbarer CMOS-Kameras bleiben zeitgleich über- und unterbelichtete Bildbereiche, mit denen kein sinnvoller normalisierter differenzierter Vegetationsindex (NDVI, engl. Normalized Difference Vegetation Index) berechnet werden kann. Der NDVI ist ein Differenzindex aus Nahinfrarot- und Rotkanal zur Pflanzen- / Boden-Unterscheidung. Der NDVI berechnet sich als die Differenz der Reflexionswerte im nahen Infrarotbereich und des roten sichtbaren Bereichs geteilt durch die Summe dieser Reflexionswerte. Der NDVI ist der am häufigsten angewandte Vegetationsindex und wurde historisch für Fernerkundungsaufgaben definiert.
-
Im Stand der Technik sind eventbasierte Bildsensoren oder Kameras, insbesondere DVS-Kameras (DVS = Dynamic Vision Sensor), bekannt. DVS-Kameras stellen eine änderungssensitive Form einer Kamera da, deren Funktionsweise aus der Biologie des menschlichen Auges heraus adaptiert wurde. Der Dynamic-Vision-Sensor nimmt nicht wie klassische Bildsensoren (z.B. CMOS-Technologie) in äquidistanten Zeitschritten Bilder auf, sondern misst Intensitätsdifferenzen, sogenannte Events, an einzelnen Pixelpositionen und sendet nur diese unverzüglich mit Mikrosekundengenauigkeit und Millisekunden-Latenz. Wenn sich die Intensität eines Pixels nicht oder nur geringfügig ändert, wird kein Event ausgelöst und für dieses Pixel keine Daten gesendet. Ein solcher Sensor wird auch Veränderungssensor genannt.
-
Es kann eingestellt werden, ab welcher Intensitätdifferenz der Veränderungssensor ein Event erkennt, zum Beispiel bei einer Änderung um einen gewissen Prozentsatz oder um einen gewissen Betrag. Es sind auch andere Definitionen einer Änderung möglich. Der Veränderungssensor ist ausgebildet, Intensitätsänderungen in einem Pixel von einem Zeitpunkt tn1 zu einem Zeitpunkt tn2 als Intensitätsdaten zu bestimmen. Insbesondere gilt, dass tn2 - tn1 = dt2 ist, wobei dt2 < 10-4 Sekunden ist. Vorzugsweise ergibt sich das Zeitintervall dt2 aus den von dem Veränderungssensor detektierten Zeitpunkten einer Intensitätsänderung. Die Zeitpunkte tn1 und tn2 sowie das Zeitintervall dt2 sind vorzugsweise veränderlich und/oder nicht zwangsläufig konstant für verschiedene Intensitätsänderungen. Beispielsweise ist das Zeitintervall dt2 variabel und ergibt sich aus den detektierten Intensitätsänderungen in einer Zelle und/oder aus der Übertragungsrate des Veränderungssensors.
-
Offenbarung der Erfindung
-
Das Verfahren zur Erkennung eines Blattrandes weist als ersten Schritt das Erfassen von Events eines Bildes eines mit Pflanzen oder Vegetation bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden auf.
-
Ein derartiges Bild eines mit Pflanzen bewachsenen Bodens weist in der Regel hauptsächlich zwei Arten von Bereichen auf. Zum einen ist dies ein Bereich, in dem die Farbe Grün vorherrscht, welche vom Chlorophyll der Pflanzen stammt. Zum anderen ist dies ein Bereich, in dem eine vom Boden stammende bräunliche Farbe vorherrscht. Unter einer Pflanze soll eine Pflanze mit Blättern verstanden werden, deren Blätter Chlorophyll enthält.
-
Im Folgenden werden die Reflexionskoeffizienten von Vegetation und trockenem Boden beschrieben unter der Voraussetzung, dass im roten Spektralbereich und im nahen Infrarot gleich intensive Beleuchtung vorhanden ist und dass die verwendeten Sensoren eine gleiche spektrale Empfindlichkeit aufweisen.
-
Vegetation weist im sichtbaren Bereich einen sehr niedrigen Reflexionskoeffizienten unter 25% auf, jedoch steigt der Reflexionskoeffizient vom roten Bereich zum NIR-Bereich, in dem er nahezu 50 % aufweist, steil an. Der Reflexionskoeffizient von trockenen Boden verändert sich weniger stark vom roten zum NIR-Bereich. Der entsprechende Wert des Reflexionskoeffizienten beträgt im roten Bereich ca. 25% und im NIR-Bereich ca. 30 bis 35%. Im ganzen NIR-Bereich ist der Reflexionskoeffizient der Vegetation deutlich höher als der Reflexionskoeffizient des trockenen Bodens. Im roten Spektralbereich ist der Reflexionskoeffizient des trockenen Bodens in der Regel größer als der Reflexionskoeffizient der Vegetation, jedoch ist der Reflexionskoeffizient der Vegetation in Richtung des NIR-Bereichs größer als der Reflexionskoeffizient des trockenen Bodens.
-
Unter diesen Voraussetzungen werden bei relativer Bewegung der Kamera zur Szene, z.B. nach rechts, an den Helligkeitsgradienten Events erzeugt. Diese sind für Boden-Boden- bzw. Boden-Stein-Übergänge wegen der nahezu konstanten Reflektivität zwischen R- und NIR- gefiltertem Event-Strom positiv korreliert.
-
Für Vegetation ist die Reflektivitätsdifferenz beider Kanäle deutlich höher, so dass das Vorzeichen der Gradientenstärke im Fall eines Bodens mittlerer Reflektivität stets zwischen beiden Kanälen entgegengesetzt ist. Damit kehrt sich die ON-/OFF-Polarität der Events entsprechend um.
-
Falls der Boden dunkel ist, erhält man einen schwachen Gradienten im roten Kanal an den Pflanzenrändern und starke Gradienten im NIR-Kanal. Falls der Boden hell ist, erhält man starke Gradienten im R-Kanal an den Pflanzenrändern und schwache Gradienten im NIR-Kanal.
-
Das Verfahren benutzt für die Ermittlung eines Blattrandes eine Bodenauflösung zwischen 0,5 und 1 mm pro Pixel. Der Vorteil dieser Bodenauflösung liegt darin, dass damit die sogenannte Blattrand-Kurve mit herkömmlichen Mitteln erfasst werden kann. Zudem ist diese Art der Erfassung sehr schnell und ermöglicht einen hohen Dynamikumfang. Dies gewährleistet eine zuverlässige Analyse der Blattrand-Kurve in Echtzeit.
-
Ferner ist vor einem ersten Pixel des Bildsensors ein Bandpassfilter eines ersten Frequenzbereichs und vor einem zum ersten Pixel benachbarten zweiten Pixel ein Bandpassfilter eines zweiten Frequenzbereichs angeordnet. Durch eine solche benachbarte Anordnung von Bandpassfiltern kann ein unterschiedliches Verhalten in den entsprechenden spektralen Bereichen von unterschiedlichen Materialien detektiert werden.
-
In einer Ausführungsform des Verfahrens ist der erste Frequenzbereich gleich dem zweiten Frequenzbereich. Dies ermöglicht die Verwendung eines Filters, welcher ein Machine-Learning zur falsch-positiv-Entfernung verwendet. Bevorzugt ist der erste Frequenzbereich allerdings das nahe Infrarot und der zweite Frequenzbereich ein roter Spektralbereich. Durch eine solche benachbarte Anordnung von Bandpassfiltern im NIR- und im roten Spektralbereich kann ein Blattrand zuverlässig erkannt werden.
-
Gemäß dem Verfahren wird bestimmt, dass ein Blattrand erkannt wurde, falls der erste Pixel zu einem ersten Zeitpunkt t1 mindestens ein Event einer ersten Polarität und der zweite Pixel zu einem Zeitpunkt t2 mindestens ein Event einer zweiten Polarität erfasst, wobei die erste und zweite Polarität entgegengesetzt sind, und dass das mindestens eine Event einer ersten Polarität des ersten Pixels und das mindestens ein Event einer zweiten Polarität des zweiten Pixels demselben Ort des mit Pflanzen bewachsenen Bodens entspricht. Hierbei ist unter dem Begriff „desselben Ortes das mit Pflanzen bewachsenen Bodens“ insbesondere benachbarte Pixel eines Einzelbildes zu verstehen. Alternativ können hierunter auch Pixel im Abstand von bis zu drei Pixeln verstanden werden. Das oben genannte Merkmal ist insbesondere dann der Fall, falls der mit Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten Frequenzbereich eine gleich intensive Beleuchtung aufweist.
-
Alternativ wird gemäß dem Verfahren bestimmt, dass ein Blattrand erkannt wurde, falls die detektierten Events entweder nur bei dem ersten oder dem zweiten Pixel erkannt wurden. Dies kann insbesondere durch geeignete Wahl von Schwellenwerten des Objektkontrastes erreicht werden. Hierbei können die Schwellenwerte für On- und Off-Events separat eingestellt werden. Die Schwellenwerte können auch für die unterschiedlichen Kanäle, d.h. den R-Kanal und den NIR-Kanal separat eingestellt werden. Dieser Fall tritt unter anderem dann ein, falls der Boden dunkel oder hell ist.
-
Insbesondere durch geeignete Wahl der Schwellenwerte kann für beliebige Helligkeitsbedingungen erreicht werden, dass entweder der oben genannte erste Fall, wonach benachbarte Pixel eine entgegengesetzte Polarität aufweisen oder der oben genannte zweite Fall, wonach bei benachbarten Pixeln lediglich ein Pixel Events aufweist, auftritt.
-
Alternativ lässt sich für beliebige Helligkeitsverhältnisse die gleiche Information auch aus dem Helligkeitshistogramm des Vollbildes folgern. Hierbei bietet sich das Verfahren der Szenenrekonstruktion an, das z.B. unter anderem in der wissenschaftlichen Veröffentlichung mit dem Titel „Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera" von Hanme Kim, Stefan Leutenegger, Andrew J. Davison in European Conference on Computer Vision, ECCV 2016: Computer Vision - ECCV 2016, pp 349-364, veröffentlicht wurde, gezeigt wird. Dort siehe insbesondere 4.
-
Hierbei ist das Helligkeitshistogramm in mindestens einem der beiden Farbkanäle bimodal, im Fall der mittleren Bodenhelligkeit sogar in beiden, wodurch eine automatische Festlegung des Kontrastschwellwertes bei der Eventerzeugung ermöglicht wird, z.B. per Otsu-Verfahren.
-
Wie bereits obenstehend erläutert, stellen Intensitätsänderungen an den einzelnen Pixelpositionen Events dar. Ein detektiertes Event wird unverzüglich mit Mikrosekundengenauigkeit und Millisekunden-Latenz an eine Recheneinheit gesendet. Wenn nur die beiden benachbarten Pixel im Zeitraum betrachtet werden, so liefert der eventbasierte Bildsensor für jeden Pixel eine zeitabhängige Funktion, welche für jeden Zeitpunkt angibt, ob ein Event detektiert wurde oder nicht. Falls ein Event detektiert wurde, gibt die Funktion zusätzlich die Intensitätsänderung mit an.
-
Wann Events als gleichzeitig anzusehen sind, hängt von einem Zeitfenster ab. Die Größe des Zeitfensters hängt von Bodenauflösung und Geschwindigkeit ab. Falls z.B. zwei Pixel einen Millimeter abbilden und die Geschwindigkeit 1 Meter pro Sekunden beträgt, so sind Events mit einem Zeitunterschied von ungefähr einer halben Millisekunde als gleichzeitig anzusehen. Wie an anderer Stelle beschrieben, detektiert man dann bei gegensätzlicher Polarität der Events einen Blattrand.
-
Durch den Einsatz einer entsprechenden Auswertungssoftware können mithilfe des beschriebenen Verfahrens Blattrand-Informationen extrahiert und die zugehörigen Pflanzenarten in Echtzeit ermittelt werden. Das Verfahren generiert durch den Einsatz von eventbasierten Bildsensoren eine geringe Datenrate, was sich vorteilhaft auf die nachfolgende Datenverarbeitung auswirkt und effiziente lokale Berechnungen an den Kamera- und Feldspritzenmodulen ermöglicht.
-
Als besonders vorteilhaft stellt sich dabei auch die hohe Robustheit des Verfahrens bei einem Dynamikumfang von 130 dB dar. Damit wird ein störungsfreier Ablauf der Blattranderkennung selbst bei sich schnell bewegenden Kameras und Tageslichtbedingungen sichergestellt.
-
Das Erfassen von Events durch den eventbasierten Bildsensor ermöglicht es vorteilhafterweise, Bereiche gleicher Semantik im abgebildeten Bereich als solche zu finden und zu klassifizieren.
-
Insbesondere hängt die Dauer zwischen den beiden Zeitpunkten t1 und t2 bei einer vorgegebenen Fahrtrichtung von einer ersten Richtung, welche von einem Mittelpunkt des ersten Pixels zu einem Mittelpunkt des zweiten Pixels verläuft, und einer zweiten Richtung, welche einer tangentialen Richtung des Blattrandes entspricht, ab.
-
Bevorzugt werden die Events mit einem eventbasierten Bildsensors erfasst. Der eventbasierte Bildsensor ist bevorzugt ein DVS-Sensor. Da die detektierten Events in der Regel sehr viel weniger Speicherplatz benötigen als die Speicherung jedes einzelnen Pixels für jedes Frame, ist die von einer DVS-Kamera gelieferte Datenmenge sehr viel geringer als von einem gewöhnlichen Bildsensor. Ferner ist die Verarbeitungsgeschwindigkeit eines DVS-Sensors deutlich schneller als bei gewöhnlichen Kameras. Da ein DVS-Sensor einzelne Pixel unabhängig betrachtet, wird ein sehr viel höherer Dynamikumfang bis zu 130 dB ermöglicht. Dieser hohe Dynamikumfang verhindert überbelichtete Bildbereiche, was wiederum eine zuverlässigere Bildauswertung und somit eine genauere Erkennung des Blattrandes ermöglicht.
-
Gemäß einer bevorzugten Ausführungsform liegt die Bodenauflösung zwischen 0,1 und 1 mm pro Pixel. Dadurch können vorteilhafterweise feinere Strukturen in den aufgenommenen Bildern aufgelöst werden. Dies trägt dazu bei, dass unterschiedlichen Pflanzenarten zuverlässiger voneinander abgegrenzt werden können.
-
Gemäß einer weiteren Ausführungsform ist vor dem Bildsensor ein Farbfilterarray (engl.: color filter array (CFA)) aus Bandpassfiltern im NIR- und R-Spektralbereich angeordnet. Hierbei steht der R-Spektralbereich für den roten Spektralbereich.
-
Die beiden unterschiedlichen Bandpassfilter können vorteilhafterweise im Schachbrettmuster angeordnet sein. Dadurch wird vorteilhafterweise erreicht, dass neben jedem Pixel mit NIR-Bandpassfilter einen Pixel mit Bandpassfilter im roten Spektralbereich angeordnet ist. Dieser wiederum den Vorteil, dass für jeden Pixel eine Blattranderkennung durchgeführt werden kann.
-
Gemäß einer anderen Ausführungsform sind die beiden unterschiedlichen Bandpassfilter streifenförmig angeordnet. Hierbei sind die Streifen bevorzugt quer zur Fahrtrichtung angeordnet. Dies hat den Vorteil, dass mithilfe dieser Anordnung jeder Blattrandübergang erfasst werden kann.
-
Gemäß noch einer weiteren Ausführungsform ist das Farbfilterarray NDVI-optimiert. Unter einem NDVI-optimierten Farbfilterarray versteht man, dass das Farbfilterarray optimal zwischen dem NIR und dem roten Spektralbereich unterscheidet, so dass der NDVI-Index eine hohe Aussagekraft aufweist. Dies ist insbesondere dann der Fall, wenn der NIR-Bandpassfilter des Farbfilterarrays um 850 nm und der R-Bandpassfilter des Farbfilterarrays um 660 nm zentriert ist. Die jeweiligen Bandpassfilter weisen bevorzugt eine Breite von 20 nm auf. Durch ein solches Farbfilterarray wird eine optimale Unterscheidung zwischen Vegetation und Boden entsprechend dem NDVI erreicht.
-
Bevorzugt ist vor einem dritten Pixel des Bildsensors ein Bandpassfilter eines dritten Frequenzbereiches angeordnet. Gemäß einer solchen Ausführungsform weist das Farbfilterarray einen dritten Bandpassfilter auf, welcher bevorzugt im grünen Farbbereich liegt. Hierdurch kann vorteilhafterweise, die Genauigkeit der Erkennung des Blattrandes weiter erhöht werden. Es können zum Beispiel neben dem NDVI-Index auch andere Indices, wie z.B. Excessive Green, verwendet werden. Bevorzugt ist das Farbfilterarray für andere Filter optimiert, zum Beispiel für den Excessive Green Index.
-
Gemäß einer weiteren bevorzugten Ausführungsform weist der mit Pflanzen bewachsene Boden sowohl im ersten als auch im zweiten Frequenzbereich eine gleich intensive Beleuchtung auf. Falls dies nicht der Fall ist, wird alternativ die Intensität im ersten Frequenzbereich und im zweiten Frequenzbereich bestimmt. Dies kann auch pixelweise geschehen. Bevorzugt wird ein neues Bild berechnet, bei dem die Intensität im ersten und zweiten Frequenzbereich gleich oder identisch ist. Dies kann ebenfalls pixelweise geschehen.
-
Gemäß einer weiteren Ausführungsform wird ein passierendes Objekt mehrfach vermessen. Unter einem passierenden Objekt versteht man ein Objekt, welches einen Erfassungsbereich des eventbasierten Bildsensors passiert. Da die Fahrtgeschwindigkeit und die Fahrtrichtung des Fahrzeugs und die Orientierung und Position des eventbasierten Bildsensors relativ zum Fahrzeug bekannt sind, kann ein Objekt, welches von dem Bildsensor erkannt wird, nachverfolgt werden. Falls sich das Objekt während der Erfassung relativ zum Bildsensor nicht dreht, werden alle Punkte des Objektes mehrfach aufgenommen. Bevorzugt wird das passierende Objekt kontinuierlich vermessen. Durch die mehrfache oder kontinuierliche Vermessung des Objektes wird eine zeitliche Mittelung möglich, welche wiederum eine Erhöhung der Erfassungsgenauigkeit und somit auch eine genauere Detektion des Blattrandes ermöglicht.
-
Gemäß einer weiteren Ausführungsform wird eine Wuchshöhe einer Pflanze aus mindestens einem Bild des mit Pflanzen bewachsenen Bodens ermittelt. Hierbei wird unter einem Bild ein mit einem eventbasierten Bildsensor aufgenommenes Bild verstanden. Bevorzugt wird die Wuchshöhe aus einer Vielzahl von Bildern des mit Pflanzen bewachsenen Bodens ermittelt. Voraussetzung hierfür ist, dass aus dem mindestens einen Bild ein interpretierbares Flussfeldes bestimmt werden kann. Im Stand der Technik ist die Technik „Structure from motion (SfM)“ bekannt. Diese Technik ist photogrammetrische Bildgebungstechnik für dreidimensionale Strukturen auf Basis von zweidimensionalen Bildsequenzen. Diese Technik wird in den Bereichen „Computer Vision“ und visuelle Wahrnehmung untersucht. Menschen und andere Lebewesen können dreidimensionale Strukturen aufgrund der projizierten zweidimensionalen Bewegung eines bewegten Objektes oder einer Szene im Gehirn rekonstruieren. Die Ermittlung der Wuchshöhe bringt den Vorteil mit sich, dass nachfolgende Spritzvorgänge exakter dosiert werden können und damit flexibel an die jeweiligen Gegebenheiten angepasst werden können.
-
Bei Aufnahme von Bildern eines mit Pflanzen bewachsenen Bodens mit einer bewegten Kamera, deren Geschwindigkeitsverlauf bekannt ist, brauchen Bereiche des Bildes, welche näher der Kamera sind für einen Bilddurchgang weniger Zeit als weiter entfernte Bereiche des Bildes. Somit ist das durch die Kamera aufgenommene Flussfeld ein interpretierbares Flussfeld. Für metrische Genauigkeit der Ergebnisse müssen nur intrinsische Parameter der Optik wie die fokale Länge (Öffnungswinkel) und Fahrgeschwindigkeit bekannt sein. Vergleichende Aussagen ohne metrische Genauigkeit sind auch ohne diese Kalibrierung möglich.
-
Durch die zeitkontinuierliche Aufnahme von Events führen auch Verdeckungen kleiner, bodennaher Unkräuter in hochwachsenden Kulturen mit breiten Blättern (z.B. Mais) seltener zu fehlenden Detektionen als zeitdiskrete Vollbildaufnahmen.
-
Bevorzugt weist das Verfahren einen maschinenbasierten Lernalgorithmus zum Erkennen einer Klassifikation der Pflanze auf. Mit dessen Hilfe wird die Bestimmung der Pflanzenart fortwährend verbessert und die Verfahrensergebnisse insgesamt genauer.
-
Das Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel erkennt in einem ersten Schritt des Verfahrens einen Blattrand gemäß dem obenstehend dargelegten Verfahren. In einem zweiten Schritt des Verfahrens wird eine Blattform der Pflanze basierend auf dem erkannten Blattrand der Pflanze erkannt. Für einen Standbild eines Ackerbodens mit einem Blatt wird für jedes Pixelpaar, bei dem nur ein Pixel vorwiegend Events detektiert, einen Blattrand erkannt. Dementsprechend kann für das gesamte Standbild jede Stelle des Blattrandes erkannt werden. Falls jede Stelle des Blattrandes bekannt ist, kann eine Blattform bestimmt oder erkannt werden. Für ein bewegtes Bild kann für jeden Zeitpunkt, an dem man das Blatt sieht, eine Blattform bestimmt werden.
-
In einem dritten Schritt des Verfahrens wird anhand der bestimmten Blattform der Pflanze eine Klassifikation der Pflanze bestimmt. Dies hat den Vorteil, dass die somit klassifizierte Pflanze gezielt mit einem für diese Pflanze passenden Mittel behandelt werden kann.
-
In einem vierten Schritt des Verfahrens wird die Pflanze mit einem der Klassifikation der Pflanze entsprechenden Mittel behandelt. Hierdurch wird vorteilhafterweise erreicht, dass bestimmte Pflanzen selektiv oder gezielt behandelt werden können. Zum Beispiel ist es möglich, dass Unkräuter gezielt mit einem Unkrautbekämpfungsmittel oder Herbizid behandelt wird. Alternativ oder zusätzlich können andere erkannte Pflanzen mit anderen Mitteln behandelt werden. Ein solches Mittel ist insbesondere ein Pflanzenschutzmittel, ein Pestizid, ein Insektizid, ein Fungizid, ein Herbizid, ein Biozid, ein Bakterizid, ein Viruzid, ein Akarizid, ein Avizid, ein Molluskizid, ein Nematizid, ein Ovizid oder ein Rodentizid. Die gezielte Behandlung der Pflanze mit einem für diese Pflanze passenden Mittel hat den Vorteil, dass keine Ressourcen verschwendet werden, insbesondere werden keine Pflanzen geschädigt, da keine Pflanze mit einem unpassenden Mittel behandelt wird.
-
Das Verfahren zur gezielten Behandlung von Pflanzen ermöglicht eine schnelle Differenzierung zwischen den verschiedenen Pflanzenarten und darauf aufbauend eine gezielte Behandlung der jeweiligen Pflanzenart mit dem passenden Mittel.
-
Ferner betrifft die Erfindung eine Verwendung eines eventbasierten Bildsensors zur Erkennung eines Blattrandes mithilfe durch einen eventbasierten Bildsensor aufgenommenen Bilder. Diese Verwendung ist bereits im Rahmen des oben beschriebenen Verfahrens zur Erkennung eines Blattrandes offenbart worden. Daraus ergeben sich aber auch die mit der Verwendung einhergehenden Vorteile.
-
Das Computerprogramm ist eingerichtet, jeden Schritt des Verfahrens durchzuführen, insbesondere wenn es auf einem elektronischen Steuergerät oder Rechengerät abläuft. Hierbei ist sowohl das Verfahren zur Erkennung eines Blattrandes als auch das Verfahren zur gezielten Behandlung von Pflanzen mit einem Blattbehandlungsmittel gemeint. Dies ermöglicht die Implementierung des Verfahrens in einem herkömmlichen Steuergerät, ohne hieran bauliche Veränderungen vornehmen zu müssen. Hierzu ist das Computerprogramm auf einem maschinenlesbaren Speichermedium gespeichert. Durch Aufspielen des Computerprogramms auf ein herkömmliches elektronisches Steuergerät wird das elektronische Steuergerät erhalten, welches eingerichtet ist, einen Blattrand zu erkennen oder eine Pflanze gezielt zu behandeln.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweiligen angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Figurenliste
-
Ein Ausführungsbeispiel der Erfindung ist in der Zeichnung dargestellt und wird in der nachfolgenden Beschreibung näher erläutert.
- 1 zeigt ein Ablaufdiagramm eines Verfahrens zur Blattranderkennung gemäß einem Ausführungsbeispiel der Erfindung.
-
Ausführungsbeispiel der Erfindung
-
1 zeigt ein Ablaufdiagramm eines Verfahrens 100 zur Blattranderkennung. In einem ersten Schritt 110 des Verfahrens 100 werden Events eines Bildes eines mit Pflanzen bewachsenen Bodens bei einer Fahrtgeschwindigkeit relativ zum Boden mithilfe eines eventbasierten Bildsensors erfasst. Die hierbei verwendete Bodenauflösung beträgt 0,5 mm pro Pixel und vor dem Bildsensor ist ein NDVI-optimiertes Farbfilterarray (CFA) aus Bandpassfiltern im NIR- und R-Spektralbereich angeordnet. Hierbei ist der NIR-Bandpassfilter um 850 nm und der R-Bandpassfilter um 660 nm zentriert.
-
In einem zweiten Schritt 120 des Verfahrens 100 wird bestimmt, dass ein Blattrand erkannt wurde, falls die detektierten Events zweier benachbarter Pixel vorwiegend nur bei einem der beiden benachbarten Pixel erkannt wurden. Der Schritt 120 wird für alle benachbarten Pixel der erfassten Events des Bildes durchgeführt. Dies bedeutet ebenfalls, dass das Verfahren 100 ein passierendes Objekt mehrfach vermessen wird. Somit erhält man den Blattrand für alle aufgenommenen Bilder der Pflanze, woraus man eine Blattform der Pflanze bestimmen kann.
-
In Schritt 130 des Verfahrens 100 wird eine Wuchshöhe einer Pflanze aus allen Bildern ermittelt, welche dieselbe Pflanze des bewachsenen Bodens zeigen.
-
Im darauf folgenden Schritt 140 des Verfahrens 100 wird ein maschinenbasierter Lernalgorithmus dazu benutzt, anhand der von der Pflanze aufgenommenen Bilder des Blattrandes die Pflanze zu klassifizieren.
-
Im nächsten Schritt 150 Verfahrens 100 wird die klassifizierte Pflanze gezielt mit einem der Klassifikation der Pflanze entsprechenden Blattbehandlungsmittel behandelt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- „Real-Time 3D Reconstruction and 6-DoF Tracking with an Event Camera“ von Hanme Kim, Stefan Leutenegger, Andrew J. Davison in European Conference on Computer Vision, ECCV 2016: Computer Vision - ECCV 2016, pp 349-364 [0020]
