-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren zum Klassifizieren von auf einem Feld wachsenden Pflanzen und eine Klassifizierungseinheit nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Steuergerät und ein Computerprogramm.
-
Für die Automatisierung verschiedenster in der Landwirtschaft und Saatzucht anfallenden Arbeiten, wie z.B. das Regulieren von Beikräutern, das Zählen und Vermessen von Pflanzen zur Phänotypisierung, die selektive Ernte, die selektive Applikation von Herbiziden, Fungiziden, Pestiziden und Insektiziden, uvm., ist die Typisierung (Klassifizierung, Klassifikation) der Pflanze unabdingbar. Eine falsche Bestimmung der Pflanzenart würde z.B. zum Jäten der Nutzpflanze oder zur Zählung, Vermessung und/oder Behandlung von Beikräutern führen.
-
Für die Pflanzenklassifizierung werden heute überwiegend überwachte Lernverfahren (supervised learning) eingesetzt, wie z.B. in „Plant classification system for crop /weed discrimination without segmentation Applications of Computer Vision (WACV)", 2014 IEEE Winter Conference on, 2014, 1142-1149 ; „Support Vector Machines for crop/weeds identification in maize fields Expert Systems with Applications", 2012, 39, 11149-11155 und „Evaluation of Features for Leaf Classification in Challenging Conditions Applications of Computer Vision (WACV)", 2015 IEEE Winter Conference on, 2015, 797-804 offenbart.
-
Für das Training dieser Klassifikatoren bzw. Klassifizierungseinheiten werden große Mengen an Trainings- und Validierungsdaten benötigt, die annotiert bzw. zugewiesen sein müssen. Die Annotationen weisen hierbei den zu klassifizierenden Pflanzen die korrekte Klasse zu. Die Annotationen werden aus diesem Grund als Ground Truth bezeichnet.
-
Alle heutigen Methoden zur Gewinnung von Ground Truth sind sehr zeitaufwändig und werden zu einem großen Teil manuell durchgeführt. Trotz semi-automatischer Annotationsunterstützung, wie z.B. das Verfolgen der Annotationen über mehrere Frames des zu annotierenden Videos, semi-automatischer Segmentierung der Pflanzen etc., ist der Aufwand aufgrund der zu annotierenden Menge sehr hoch, da die Menge alle Wachstumsphasen der Nutzpflanze und möglichst alle vorkommenden Beikräuter mit allen möglichen biologischen Wachstumsmorphologien beinhalten sollte. Hierbei beeinträchtigen unterschiedliche Umstände wie Wasser, Wärme, Boden, Nährstoffe, Wind etc. das Wachstum und/oder das Erscheinungsbild der Pflanze.
-
Der Aufwand jedes zu annotierenden Bildes steigt zudem in Kulturen mit geringeren Pflanzenabständen aufgrund von Verdeckungen stark. Obwohl durch die zusätzliche Aufnahme der Pflanze im Nah-Infrarot Bereich und durch die Anwendung des NDVI-Index (Normalized Differenced Vegetation Index) die Pflanze vom Untergrund sehr robust segmentiert werden kann, sind Trennlinien zwischen Kultur und Unkrautpflanzen aufwändig manuell einzuzeichnen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Klassifizieren von auf einem Feld wachsenden Pflanzen, weiterhin eine Klassifizierungseinheit, das dieses Verfahren ausführt, sowie schließlich ein entsprechendes Steuergerät und ein Computerprogramm gemäß den Hauptansprüchen vorgestellt.
-
Der hier vorgestellte Ansatz schafft ein Verfahren zum Klassifizieren von auf einem Feld wachsenden Pflanzen, wobei das Verfahren die folgenden Schritte aufweist:
- - Erfassen von Pflanzen eines Feldabschnitts des Feldes mittels einer optischen und/oder Infrarot-Erfassungseinheit, um jeweils eine Pflanzenbildinformation der Pflanzen zu erhalten;
- - Ermitteln einer Ähnlichkeit der erfassten Pflanzen des Feldabschnitts zueinander und/oder zu Pflanzen eines weiteren Feldabschnitts und/oder zu einem Referenzelement unter Verwendung der Pflanzenbildinformationen; und
- - Klassifizieren der erfassten Pflanzen in Abhängigkeit von einem Grad der Ähnlichkeit, wobei die Pflanzenbildinformationen zumindest einer Klasse zugewiesen werden.
-
Der hier vorgestellte Ansatz schafft ferner Steuergerät und ein Computerprogramm, die jeweils dazu eingerichtet sind,
- - eine Ähnlichkeit von erfassen Pflanzen eines Feldabschnitts des Feldes zueinander und/oder zu Pflanzen eines weiteren Feldabschnitts und/oder zu einem Referenzelement unter Verwendung von Pflanzenbildinformationen der Pflanzen zu ermitteln, wobei die Pflanzen mittels einer optischen und/oder Infrarot-Erfassungseinheit erfasst wurden, um jeweils eine Pflanzenbildinformation der Pflanzen zu erhalten; und
- - die erfassten Pflanzen in Abhängigkeit von einem Grad der Ähnlichkeit zu klassifizieren und die Pflanzenbildinformationen zumindest einer Klasse zuzuweisen.
-
Unter einem Feld kann vorliegend eine landwirtschaftlich genutzte Fläche, eine Anbaufläche für Pflanzen oder auch eine Parzelle einer solchen Fläche bzw. Anbaufläche verstanden werden. Das Feld kann somit eine Ackerfläche, ein Grünland oder eine Weide sein. Das Feld kann ein Freilandfeld bzw. Freilandacker sein. Das Feld kann jedoch auch überdacht und bspw. Teil eines Treibhauses sein. Die zu klassifizierenden Pflanzen können beispielsweise Nutzpflanzen umfassen, deren Frucht landwirtschaftlich genutzt wird, beispielsweise als Nahrungsmittel, Futtermittel oder als Energiepflanze. Die zu klassifizierenden Pflanzen können auch Zierpflanzen umfassen. Die zu klassifizierenden Pflanzen können auch Beikräuter bzw. Unkräuter umfassen.
-
Der Feldabschnitt kann ein Erfassungsabschnitt bzw. ein erfasster Bildabschnitt oder ein erfasstes Bild einer optischen und/oder Infrarot-Erfassungseinheit sein. Demnach kann der Feldabschnitt ein gesamtes erfasstes Bild und/oder ein Abschnitt eines erfassten Bildes der optischen und/oder Infrarot-Erfassungseinheit. Der Feldabschnitt ist somit ein Bereich, in dem Pflanzen zur Klassifizierung erfasst werden sollen. Der Feldabschnitt weist hierbei in der Regel eine Vielzahl von Pflanzen auf.
-
Die Erfassungseinheit kann eine optische und/oder multispektrale und/oder hyperspektrale und/oder Infrarot-Erfassungseinheit sein. Unter einer optischen Erfassungseinheit kann beispielsweise eine Kamera oder eine 3D-Kamera verstanden werden. Die optische und/oder Infrarot-Erfassungseinheit kann ausgebildet sein, Bilder im NIR und/oder visuellen Bereich zu erfassen bzw. aufzunehmen.
-
Die optische und/oder Infrarot-Erfassungseinheit kann kalibriert sein, um z. B. die Höhenzuordnung aus erfassten Bilder zu errechnen. Die optische und/oder Infrarot-Erfassungseinheit kann auf einer mobilen Einheit angeordnet sein, wobei die mobile Einheit insbesondere als Landfahrzeug und/oder Luftfahrzeug und/oder als Anhänger ausgebildet sein kann.
-
Unter einem Erfassen von Pflanzen bzw. einer Vielzahl von Pflanzen kann beispielsweise das Bestimmen des Vorhandenseins von Pflanzen in dem Feldabschnitt und/oder eine Bestimmung einer Form, Größe, Spezies, Blattanzahl, Blattstruktur, Knospenanzahl, Knospenstruktur oder anderer biologischer Merkmale, die die Pflanzen von anderen Objekten bzw. dem (Erd-) Boden unterscheidbar macht, verstanden werden. Das Erfassen der Pflanzen erfolgt insbesondere ohne eine Klassifizierung der Pflanzen. Durch automatische Segmentierungsverfahren, z.B. basierend auf dem NDVI-Index, kann hierbei der Vordergrund vor dem Erdboden und damit die Pflanze segmentiert werden, wodurch wiederum die Pflanze erfasst werden kann. Der NDVI-Index bietet ein robustestes Segmentierungsverfahren, benötigt jedoch Infrarot-Farbinformation. Weitere (z.B. nur auf RGB-Bilder basierende) Segmentierungsverfahren währen Indizes wie ExG (Excessive Green), ExG - ExR (Excessive Green - Excessive Red). Weiterhin sind auch Segmentierungen über beliebige andere Verfahren möglich, z.B. die Farbe betreffend in verschiedenen Farbräumen wie RGB, HSV, HSL, Lab, die Textur betreffend, Gradienten-basierend, usw.
-
Hierbei ist es denkbar, dass während des Schritts des Erfassens, d.h. bspw. bei der Überfahrt einer mobilen Einheit, welche die optische und/oder Infrarot-Erfassungseinheit aufweist, über dem Erfassungsbereich, eine oder mehrere Pflanzen in einem Bildausschnitt der optischen und/oder Infrarot-Erfassungseinheit gleichzeitig erfasst werden. Hierbei können auch mehrere Aufnahmen der selben Pflanze(n) von verschiedenen Perspektiven während der Überfahrt gemacht werden, um das Verfahren zu optimieren. Durch die One-Shot Bildaufnahmetechnik können dann mehrere Aufnahmen derselben Pflanze sequenziell gemacht werden (Image Sequencing). Dieses Verfahren gestattet, die Einflüsse durch wechselnde Wind- und Lichtverhältnisse sowie Überlappungen und Rauschen im Bild auf ein Minimum zu reduzieren. Die von der optischen und/oder Infrarot-Erfassungseinheit unter gegebenen Beleuchtungsumständen aufgezeichneten Bildinformationen umfassen beispielsweise RGB-Bilder und Infrarot-Bilder. Die optische und/oder Infrarot-Erfassungseinheit ist kalibriert, um z. B. die Höhenzuordnung aus den Bildern zu errechnen. Die von der optischen und/oder Infrarot-Erfassungseinheit erfassten Bilder werden miteinander registriert, um z.B. im Anschluss einen NDVI-Index (Normalized Differenced Vegetation Index, er wird aus Reflexionswerten im nahen infraroten und sichtbaren roten Wellenlängenbereich des Lichtspektrums gebildet) berechnen zu können. Anhand des vorbestimmten NDVI-Wertes erfolgt die Trennung von Biomasse und Boden im Bild, was im Ergebnis zu Biomasse-Masken (reduzierte Bilddaten mit Clusterungen von Grün-Anteilen, die mit hoher Wahrscheinlichkeit einzelne Pflanzen repräsentieren) führt.
-
Unter einer Pflanzenbildinformation kann ein Abbild oder ein Pflanzenparameter bzw. ein Pflanzenmerkmal verstanden werden, das/der optisch erfassbare Merkmale oder mittels Infrarot-Strahlung erfassbare Merkmale der Pflanze wiedergibt. Ohne den Rahmen der Erfindung zu verlassen, können grundsätzlich auch weitere Wellenlängen als der sichtbare und IR-Wellenlängenbereich miteinbezogen werden (bspw. multispektral und hyperspektral). Hierbei kann die Pflanzenbildinformation auch Informationen enthalten, die durch eine Ver- oder Bearbeitung des von der optischen Kamera und/oder des Infrarotsensors der Infrarot-Erfassungseinheit erfassten Abbildes der Pflanze erhalten wird. Die Pflanzenbildinformationen der Pflanzen können von einer Steuereinheit gelernt sein (z.B. mittels DeepLearning). Die Pflanzenbildinformationen der Pflanzen können auch vorgegeben sein. Die Pflanzenbildinformationen sind bevorzugt Pflanzenmerkmale und/oder Pflanzeneigenschaften und/oder Pflanzenzuständen. Die Pflanzenbildinformationen der Pflanzen sind bevorzugt ausgewählt aus der Gruppe bestehend aus: Forminformationen, insbesondere 2D- oder 3D-Formmerkmale, Gradienten (bspw. Kanten, Ecken etc.), Texturen, Farbwerte (in verschiedenen Wellenlängenbereichen und deren Derivate), Reflektanzwerte (in verschiedenen Wellenlängenbereichen und deren Derivate), Pixelstatistika, Pflanzabstände, Pflanzreihenabstände, Variationsinformationen, Positionsinformationen, Entwicklungsinformationen, Krankheitsinformationen. Hierbei kann z.B. ein gelerntes und/oder parametrisiertes Positionsmodell mit den entsprechenden Informationen bereitgestellt bzw. ergänzt werden.
-
Eine Ermittlungseinheit kann hierbei ausgebildet sein, für verschiedene erfasste Pflanzen des Feldabschnitts bzw. die Teilflächen des Bildabschnitts die Pflanzenbildinformationen, d.h. Merkmale, die den Inhalt der Pflanzen bzw. Teilflächen beschreiben, zu berechnen. Hierbei kann die Auswertung für das gesamte erfasste Bild oder auch nur über ein Raster, einen überlappenden Sliding-Window Ansatz (=ein Raster mit Überlappungen) und/oder objektbasiert (z.B. aus einer Segmentierung von zusammenhängenden Regionen) erfolgen.
-
Die Pflanzenbildinformationen werden bevorzugt beim Erfassen und/oder Klassifizieren in einer Speichereinheit gespeichert.
-
Es wird eine Ähnlichkeit der erfassten Pflanzen des Feldabschnitts zueinander und/oder zu Pflanzen eines weiteren Feldabschnitts und/oder zu einem Referenzelement unter Verwendung der Pflanzenbildinformationen ermittelt, bspw. mittels einer Ermittlungseinheit. Die Ermittlungseinheit kann Teil einer Steuereinheit und/oder eines Steuergerätes sein. Hierbei werden in dem Schritt des Ermittelns der Ähnlichkeit Ähnlichkeitswerte der Pflanzenbildinformationen der Pflanzen berechnet, wobei die Ähnlichkeitswerte den Grad der Ähnlichkeit zwischen den Pflanzen und/oder zu dem Referenzelement repräsentieren. Diese Pflanzenbildinformationen können dann mit bekannten Verfahren aus dem unüberwachten Lernen (unsupervised learning), wie z.B. Verfahren zur Anomalie Detektion (Outlier Detection) und des Clusterings miteinander bzw. mit dem Referenzelement verglichen werden. Dadurch kann festgestellt werden, welche Pflanzen sich ähnlich sind, und welche sich von ihnen unterscheiden. Dabei können auch explizit mehrere Klassen bzw. Gruppen (wie z.B. mit einem hierarchischen Cluster-Ansatz oder k-means) entstehen.
-
Unter einer Klassifizierung ist eine Annotation, insbesondere automatische Annotation zu verstehen. Vorteilhafterweise werden in dem Schritt des Klassifizierens die Pflanzen, deren Pflanzenbildinformationen Ähnlichkeitswerte in einem vorgebbaren und/oder vorgegebenen Bereich aufweisen, einer ersten Klasse zugewiesen werden, und/oder die Pflanzen, deren Pflanzenbildinformationen Ähnlichkeitswerte außerhalb eines vorgebbaren und/oder vorgegebenen Bereichs aufweisen, einer zweiten Klasse zugewiesen.
-
Eine Klasse umfasst demnach Pflanzen, welche eine gleiche oder zumindest ähnliche Eigenschaft bzw. einen gleichen oder zumindest ähnlichen Zustand aufweisen, wie bspw.: Art, Gattung, Sorte, Sortenreinheit, Alter, Größe, Gesundheitszustand, Wachstumsstufe, Entwicklungszustand. Demnach kann eine Klasse bspw. Pflanzen einer bestimmten Pflanzenart oder Pflanzgattung, wie z.B. bestimmte Nutzpflanzen (Zuckerrübe, Mais, Soja, Weizen, usw.) oder Beikräuter bzw. Unkräuter umfassen. Die erste Klasse kann somit Nutzpflanzen und die zweite Klasse Beikräuter umfassen. Eine Klasse kann jedoch auch Pflanzen mit anderen ähnlichen Merkmalen, wie Größe, Entwicklungszustand, Gesundheitszustand, usw. umfassen.
-
Die Schritte des Erfassens von Pflanzen, des Ermittelns einer Ähnlichkeit und des Klassifizierens der erfassten Pflanzen können mittels einer Steuereinheit durchgeführt bzw. angesteuert werden. Hierbei können insbesondere die Schritte des Ermittelns einer Ähnlichkeit und des Klassifizierens der erfassten Pflanzen unter Verwendung eines Verfahrens des unüberwachten Lernens durchgeführt werden. Die Steuereinheit kann ferner ausgebildet sein, spezifische Merkmale aus den zugewiesenen bzw. annotierten Pflanzenbildinformationen zu filtern und daraus ein Modell zu bilden.
-
Es kann ferner ein Schritt des Behandelns der klassifizierten Pflanzen in Abhängigkeit von Klasse vorgesehen sein. Ein Behandeln kann hierbei ein Behandeln mit einem Wirkstoff, bspw. einen Pflanzenschutzmittel, oder eine mechanische Bearbeitung bzw. Beschädigung umfassen.
-
Erfindungsgemäß werden somit alle erfassten Pflanzen mit einem bestimmten Mindestgrad einer Ähnlichkeit bzw. mit einer bestimmten Mindestähnlichkeit in zumindest einer Pflanzenbildinformation bzw. Pflanzenmerkmal „pauschal“ einer gemeinsamen Klasse, bspw. der Klasse „Pflanzen“ zugewiesen, ohne dass dabei eine aufwendige Identifizierung der Pflanzen und Annotation der Pflanzenbildinformationen mit einer entsprechenden Zuweisung zu unterschiedlichen Klassen durchgeführt werden müssen. Alternativ oder zusätzlich können alle restlichen erfassten Pflanzen, welche der Kriterium der Ähnlichkeit nicht erfüllen, ebenfalls „pauschal“ einer (anderen) gemeinsamen Klasse zugewiesen werden, bspw. der Klasse „Ausreißer“, wiederum ohne dass dabei eine aufwendige Identifizierung der Pflanzen und Annotation der Pflanzenbildinformationen.
-
Demnach ist es durch das erfindungsgemäße Verfahren möglich, ohne „Vorwissen“ über die Pflanzen mittels Ähnlichkeitsbestimmung (mittels unüberwachten Lernverfahren) eine Pflanzenklassifizierung auf einem Feld durchzuführen, so dass in einem oder mehreren Merkmalen ähnliche Pflanzen und/oder Pflanzen, welche sich von den restlichen Pflanzen unterscheiden („Ausreißer“) erkannt und klassifiziert werden können. Dadurch kann eine Klassifizierung bereitgestellt werden, ohne dass Ground Truth Daten erforderlich sind, d.h. es kann gänzlich auf eine trainierte/gelernte Klassifizierungseinheit verzichtet werden, wodurch der Aufwand der Pflanzenklassifizierung minimiert wird. Dies führt wiederum dazu, dass mittels des Verfahrens vorteilhafterweise extrem große Mengen an Daten inkl. Ground-Truth-Informationen bzw. -Daten mit geringem Aufwand gewonnen werden können. Diese können insbesondere dazu verwendet werden, verschiedenste Klassifizierungseinheiten für die Typisierung von Pflanzen zu gewinnen. Dank dieser großen Menge an Grund Truth Daten können spezielle Klassifizierungseinheiten für eine beliebige Kombinationen aus Nutzpflanzen, die von bestimmten Beikräutern getrennt werden sollen, Pflanzenarten einer bestimmten Wachstumsgröße, uvm. durch Kombination der klassifizierten Pflanzenbildinformationen bzw. Grund Truth Mengen trainiert werden. Erhebliche Vorteile ergeben sich hierbei v.a. beim Regulieren von Beikräutern, beim Zählen und Vermessen von Pflanzen zur Phänotypisierung, bei der selektiven Ernte sowie bei der selektiven Applikation von Herbiziden, Fungiziden, Pestiziden und Insektiziden.
-
Es ist vorteilhaft, wenn ein weiterer Schritt des Erfassens von Pflanzen des weiteren Feldabschnitts mittels der optischen und/oder Infrarot-Erfassungseinheit vor dem Schritt des Erfassens von Pflanzen des Feldabschnitts vorgesehen ist, um jeweils eine Pflanzenbildinformation der Pflanzen zu erhalten, wobei der weitere Feldabschnitt ein Feldabschnitt des Feldes ist. Durch diese Maßnahme gewinnt man weitere Vergleichsobjekte zur Klassifizierung neuer Pflanzen.
-
Ferner ist es vorteilhaft, wenn ein weiterer Schritt des Klassifizierens weiterer Pflanzen unterer Verwendung der zugewiesenen Pflanzenbildinformationen, insbesondere mittels einer trainierten Klassifizierungseinheit vorgesehen ist. Hierbei kann die trainierte bzw. gelernte Klassifizierungseinheit als eine Art Langzeitgedächtnis angesehen werden. Die trainierte Klassifizierungseinheit wurde mit Ground Truth Daten bereits trainiert und kann die Zielpflanze von einer anderen Pflanze unterscheiden. Die untrainierte bzw. ungelernte Klassifizierungseinheit kann als Kurzzeitgedächtnis angesehen werden, welche nur eine Historie von einer bestimmten Zeit/Menge an Bildern/Pflanzen speichert und anhand dieser die Ähnlichkeiten auf dem aktuellen Bild berechnet. Durch die Kombination beider Einheiten bzw. Verfahren kann die trainierte Klassifizierungseinheit während des Betriebes nachtraininert werden und somit langfristig auf die Bedingungen/Begebenheiten angepasst werden. Folglich kann die Robustheit, z.B. bei veränderten Bedingungen (neues Saatgut, andere Lichtverhältnisse, andere Aufnahmebedingungen, Wind, Tageszeit, Feuchtigkeit, etc.) verbessert werden.
-
Der hier vorgestellte Ansatz schafft ferner eine Klassifizierungseinheit, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Einheit bzw. einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann die Klassifizierungseinheit zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einer Klassifizierungseinheit kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird. Das erfindungsgemäße Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Figurenliste
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
- 1 eine erfindungsgemäße Klassifizierungseinheit; und
- 2 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
In 1 ist eine erfindungsgemäße Klassifizierungseinheit dargestellt, welche in seiner Gesamtheit mit der Bezugsziffer 10 versehen ist.
-
Die Klassifizierungseinheit 10 ist an einem Landfahrzeug 12 angeordnet. Die Klassifizierungseinheit 10 ist als untrainierte bzw. ungelernte Klassifizierungseinheit 10 ausgebildet. Die Klassifizierungseinheit 10 weist eine Erfassungseinheit 14 und eine Steuereinheit 16 auf.
-
Die Erfassungseinheit 14 ist als optische Erfassungseinheit 14 bzw. optische Kamera 14 ausgebildet. Die optische Kamera 14 umfasst eine Filtereinheit 18, um einen Farbanteil wie beispielsweise den grünen und/oder roten Farbanteil eines von der optischen Kamera 14 erfassten Bildes eines Feldabschnitts 20 eines Feldes 22 zu extrahieren, um zu klassifizierende Pflanzen 24 zu erfassen.
-
Die Steuereinheit 16 weist außerdem eine Rechnereinheit 26 und eine Speichereinheit 28 auf. Die Steuereinheit 16 ist ausgebildet, Pflanzenbildinformation der mittels der Kamera 14 erfassten Pflanzen 24 zu filtern und in der Speichereinheit 28 abzulegen. Die Steuereinheit 16 ist ferner ausgebildet eine Ähnlichkeit bzw. einen Ähnlichkeitswert der erfassten Pflanzen 24 des Feldabschnitts 20 zueinander unter Verwendung der Pflanzenbildinformationen zu ermitteln bzw. zu berechnen. Die Steuereinheit 16 ist außerdem ausgebildet, die erfassten Pflanzen 24 in Abhängigkeit von einem Grad der Ähnlichkeit zu klassifizieren und die Pflanzenbildinformationen zumindest einer Klasse zuzuweisen.
-
Zusätzlich ist an dem Landfahrzeug 12 eine Unkrautbekämpfungsvorrichtung 30 auf. Die Unkrautbekämpfungsvorrichtung 30 weist eine trainierte Klassifizierungseinheit 32 und eine Spritzeinheit 34 auf. Die Unkrautbekämpfungsvorrichtung 30 ist mit der Steuereinheit 16 kommunikativ verbunden.
-
Folglich kann die trainierte Klassifizierungseinheit 32, welche bereits mit Ground Truth Daten trainiert wurde und eine Zielpflanze von einer anderen Pflanze unterscheiden kann, mittels der klassifizierten Pflanzen 24 bzw. zugewiesenen Pflanzenbildinformationen stetig nachtrainiert und somit langfristig auf veränderte Bedingungen/Begebenheiten angepasst werden. Hierdurch können mittels der (nach)trainierten Klassifizierungseinheit 32 weitere Pflanzen 24" besser klassifiziert und mittels der Spritzeinheit 34 entsprechend behandelt bzw. bekämpft werden.
-
2 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 100 zum Klassifizieren von auf einem Feld 22 wachsenden Pflanzen 24. Das Verfahren 100 umfasst einen Schritt 104 des Erfassens von Pflanzen 24 eines Feldabschnitts 20 des Feldes 22 mittels einer optischen und/oder Infrarot-Erfassungseinheit 14, um jeweils eine Pflanzenbildinformation der Pflanzen 24 zu erhalten. Das Verfahren 100 umfasst ferner einen Schritt 106 des Ermittelns einer Ähnlichkeit der erfassten Pflanzen 24 des Feldabschnitts 20 zueinander und/oder zu Pflanzen eines weiteren Feldabschnitts und/oder zu einem Referenzelement unter Verwendung der Pflanzenbildinformationen. Das Verfahren 100 umfasst schließlich einen Schritt 108 des Klassifizierens der erfassten Pflanzen 24 in Abhängigkeit von einem Grad der Ähnlichkeit, wobei die Pflanzenbildinformationen zumindest einer Klasse zugewiesen werden.
-
Optional kann das Verfahren 100 ferner einen Schritt 102 des Erfassens von Pflanzen 24' des weiteren Feldabschnitts 20' mittels der optischen und/oder Infrarot-Erfassungseinheit 14 vor dem Schritt 104 des Erfassens von Pflanzen 24 des Feldabschnitts 20 umfassen, um jeweils eine Pflanzenbildinformation der Pflanzen 24' zu erhalten, wobei der weitere Feldabschnitt 20' ein Feldabschnitt des Feldes 22 ist.
-
Optional kann das Verfahren 100 außerdem einen Schritt 110 des Klassifizierens weiterer Pflanzen 24" unterer Verwendung der zugewiesenen Pflanzenbildinformationen, insbesondere mittels einer trainierten Klassifizierungseinheit 30 umfassen.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- „Plant classification system for crop /weed discrimination without segmentation Applications of Computer Vision (WACV)“, 2014 IEEE Winter Conference on, 2014, 1142-1149 [0003]
- „Support Vector Machines for crop/weeds identification in maize fields Expert Systems with Applications“, 2012, 39, 11149-11155 [0003]
- „Evaluation of Features for Leaf Classification in Challenging Conditions Applications of Computer Vision (WACV)“, 2015 IEEE Winter Conference on, 2015, 797-804 [0003]
