-
Stand der Technik
-
Die Erfindung betrifft ein Verfahren zum Klassifizieren von auf einem Feld wachsenden Pflanzen und ein Informationssystem nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.
-
Für die Automatisierung verschiedenster in der Landwirtschaft und Saatzucht anfallenden Arbeiten, wie z. B. das Regulieren von Beikräutern, das Zählen und Vermessen von Pflanzen zur Phänotypisierung, die selektive Ernte, die selektive Applikation von Herbiziden, Fungiziden, Pestiziden und Insektiziden, uvm., ist die Typisierung (Klassifizierung, Klassifikation) der Pflanze unabdingbar. Eine falsche Bestimmung der Pflanzenart würde z. B. zum Jäten der Nutzpflanze oder zur Zählung, Vermessung und/oder Behandlung von Beikräutern führen.
-
Für die Pflanzenklassifizierung werden heute überwiegend überwachte Lernverfahren (supervised learning) eingesetzt, wie z. B. in „Plant classification system for crop/weed discrimination without segmentation Applications of Computer Vision (WACV)”, 2014 IEEE Winter Conference on, 2014, 1142–1149; ”Support Vector Machines for crop/weeds identification in maize fields Expert Systems with Applications”, 2012, 39, 11149–11155 und ”Evaluation of Features for Leaf Classification in Challenging Conditions Applications of Computer Vision (WACV)”, 2015 IEEE Winter Conference on, 2015, 797–804 offenbart.
-
Für das Training dieser Klassifikatoren werden große Mengen an Trainings- und Validierungsdaten benötigt, die annotiert bzw. zugewiesen sein müssen. Die Annotationen weisen hierbei den zu klassifizierenden Pflanzen die korrekte Klasse zu. Die Annotationen werden aus diesem Grund als Ground Truth bezeichnet.
-
Alle heutigen Methoden zur Gewinnung von Ground Truth sind sehr zeitaufwändig und werden zu einem großen Teil manuell durchgeführt. Trotz semi-automatischer Annotationsunterstützung, wie z. B. das Verfolgen der Annotationen über mehrere Frames des zu annotierenden Videos, semi-automatischer Segmentierung der Pflanzen etc., ist der Aufwand aufgrund der zu annotierenden Menge sehr hoch, da die Menge alle Wachstumsphasen der Nutzpflanze und möglichst alle vorkommenden Beikräuter mit allen möglichen biologischen Wachstumsmorphologien beinhalten sollte. Hierbei beeinträchtigen unterschiedliche Umstände wie Wasser, Wärme, Boden, Nährstoffe, Wind etc. das Wachstum und/oder das Erscheinungsbild der Pflanze.
-
Der Aufwand jedes zu annotierenden Bildes steigt zudem in Kulturen mit geringeren Pflanzenabständen aufgrund von Verdeckungen stark. Obwohl durch die zusätzliche Aufnahme der Pflanze im Nah-Infrarot Bereich und durch die Anwendung des NDVI-Index (Normalized Differenced Vegetation Index) die Pflanze vom Untergrund sehr robust segmentiert werden kann, sind Trennlinien zwischen Kultur und Unkrautpflanzen aufwändig manuell einzuzeichnen.
-
Die
DE 44 13 739 C2 offenbart ein Verfahren zur Klassifikation von erfassten Pflanzen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Klassifizieren von auf einem Feld wachsenden Pflanzen, weiterhin ein Informationssystem, das dieses Verfahren verwendet, sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt.
-
Der hier vorgestellte Ansatz schafft ein Verfahren zum Klassifizieren von auf einem Feld wachsenden Pflanzen, wobei das Verfahren die folgenden Schritte aufweist:
Entfernen von Objekten, welche nicht zu der Klasse der zu klassifizierenden Pflanzen gehören, in einem definierten Pflanzenbereich des Feldes, so dass im Wesentlichen nur noch zu klassifizierende Pflanzen bzw. eine Art der zu klassifizierenden Pflanze in dem definierten Pflanzenbereich übrig bleiben;
- – Erfassen der zu klassifizierenden Pflanzen in dem Pflanzenbereich des Feldes mittels einer optischen und/oder Infrarot-Erfassungseinheit, um jeweils eine Pflanzenbildinformation zu erhalten;
- – Speichern der erhaltenen Pflanzenbildinformationen; und
- – Klassifizieren bzw. Annotieren der erfassten Pflanzen mittels Zuweisung der Pflanzenbildinformationen, wobei die abgespeicherten Pflanzenbildinformationen, insbesondere alle abgespeicherten Pflanzenbildinformationen einer ersten Klasse zugewiesen werden.
-
Unter einem Feld kann vorliegend eine abgegrenzte Bodenfläche für den Anbau von Pflanzen oder auch eine Parzelle eines solchen Feldes verstanden werden. Unter einem Bereich kann ein gesamtes Feld oder ein Teil eines Feldes, aber auch eine Parzelle oder ein Teil einer Parzelle verstanden werden. Unter einem Pflanzenbereich kann ein Bereich verstanden werden, in dem Pflanzen zur Klassifizierung erfasst werden sollen. Unter einer Pflanze kann beispielsweise eine Nutzpflanze verstanden werden, deren Frucht landwirtschaftlich genutzt wird, beispielsweise als Nahrungsmittel, Futtermittel oder als Energiepflanze. Unter einem Objekt kann jegliche Pflanze oder jeglicher Gegenstand verstanden werden. Objekte können insbesondere Beikräut, Hölzer und Steine umfassen. Objekte können jegliche Objekte sein, welche während einer Segmentierung (z. B. via NDVI Index) als Vordergrund erkannt, jedoch nicht zu der separierenden Klasse an Objekten und/oder Pflanzen gehören. Unter einem Erfassen der Pflanze kann beispielsweise das Bestimmen des Vorhandenseins der Pflanze in dem Pflanzenbereich und/oder eine Bestimmung einer Form, Größe, Spezies, Blattanzahl, Blattstruktur, Knospenanzahl, Knospenstruktur oder anderer biologischer Merkmale verstanden werden, die eine Pflanze von anderen Pflanzen und/oder Objekten unterscheidbar macht. Durch automatische Segmentierungsverfahren, z. B. basierend auf dem NDVI-Index, kann hierbei der Vordergrund vor dem Feldboden und damit die Pflanze segmentiert und dadurch erfasst werden. Unter einer optischen Erfassungseinheit kann beispielsweise eine Kamera oder eine 3D-Kamera verstanden werden. Die optische und/oder Infrarot-Erfassungseinheit kann auf einer mobilen Einheit, welche als Landfahrzeug und/oder Luftfahrzeug ausgebildet sein kann, angeordnet sein.
-
Unter einer Pflanzenbildinformation kann ein Abbild oder ein Pflanzenparameter verstanden werden, das/der optisch erfassbare Merkmale oder mittels Infrarot-Strahlung erfassbare Merkmale der Pflanze wiedergibt. Ohne den Rahmen der Erfindung zu verlassen, können grundsätzlich auch weitere Wellenlängen als der sichtbare und IR-Wellenlängenbereich miteinbezogen werden (bspw. multispektral und hyperspektral). Hierbei kann die Pflanzenbildinformation auch Informationen enthalten, die durch eine Ver- oder Bearbeitung des von der optischen Kamera und/oder des Infrarotsensors erfassten Abbildes der Pflanze erhalten wird. Unter einer Klasse kann bspw. eine Pflanzen- oder Objektart, Pflanzen- oder Objektgattung, wie z. B. eine bestimmte Nutzpflanze (Zuckerrübe, Mais, Soja, Weizen, usw) oder ein später wiederzuerkennendes Beikraut verstanden werden. Unter einer Klassifizierung ist eine Annoatation, insbesondere automatische Annotation zu verstehen.
-
Erfindungsgemäß werden zunächst in einem definierten Pflanzenbereich eines Feldes vor dem Schritt des erfassens der zu klassifizierenden Pflanzen alle anderen „störenden” Objekte, wie bspw. Beikräuter, Hölzer und Steine, entfernt. Demnach bleiben im Wesentliche nur die zu klassifizierenden Pflanzen in dem Pflanzenbereich übrig. Anschließend werden unter Verwendung einer optischen und/oder multispektralen und/oder hyperspektralen und/oder Infrarot-Erfassungseinheit alle Pflanzen erfasst, wobei jeweils eine Pflanzenbildinformation abgespeichert wird. Da alle erfassten Pflanzen zu den zu klassifizierenden Pflanzen gehören, werden die abgespeicherten Pflanzenbildinformationen „pauschal” einer ersten Klasse, bspw. der Klasse „Pflanzen” zugewiesen, ohne dass dabei eine aufwendige Identifizierung der Pflanzen und Annotation der Pflanzenbildinformationen mit einer entsprechenden Zuweisung zu unterschiedlichen Klassen durchgeführt werden müssen. Durch das erfindungsgemäße Verfahren ist es somit möglichst, extrem große Mengen an Daten inkl. Ground-Truth-Informationen bzw. -Daten mit geringem Aufwand zu gewinnen. Diese können ferner dazu verwendet werden, verschiedenste Klassifikatoren für die Typisierung von Pflanzen zu gewinnen. Dank dieser großen Menge an Grund Truth Daten können spezielle Klassifikatoren für eine beliebige Kombinationen aus Nutzpflanzen, die von bestimmten Beikräutern getrennt werden sollen, Pflanzenarten einer bestimmten Wachstumsgröße, uvm. durch Kombination der Sorten-, Größen-, und/oder Eigenschaftsreinen Grund Truth Mengen trainiert werden. Erhebliche Vorteile ergeben sich hierbei v. a. beim Regulieren von Beikräutern, beim Zählen und Vermessen von Pflanzen zur Phänotypisierung, bei der selektiven Ernte sowie bei der selektiven Applikation von Herbiziden, Fungiziden, Pestiziden und Insektiziden.
-
Es ist insbesondere vorteilhaft, wenn der Schritt des Klassifizierens der Pflanzen in dem Pflanzenbereich mittels einer Klassifizierungseinheit durchgeführt wird, welche eine Rechnereinheit umfasst und ferner ausgebildet ist, spezifische Merkmale aus den zugewiesenen bzw. annotierten Pflanzenbildinformationen zu filtern und daraus ein Modell zu bilden. Durch das erfindungsgemäße Verfahren und das Vorsehen einer Klassifizierungseinheit kann die Klassifizierung bzw. Annotation aller abgespeicherten Pflanzenbildinformationen und damit der erfassten Pflanzen mittels der Klassifizierungseinheit schnell automatisiert und mit sehr geringem, insbesondere ohne manuellen Aufwand durchgeführt werden. Die klassifizierten bzw. annotierten Pfanzenbildinformationen können im Anschluss insbesondere verwendet werden, um eine Identifizierungseinheit anzulernen bzw. zu trainieren.
-
Vorteilhaft ist es ferner, wenn folgende zusätzliche Schritte durchgeführt werden:
- – Entfernen der zu klassifizierenden Pflanzen in einem definierten Objektbereich eines Feldes, so dass im Wesentlichen nur Objekte, welche nicht zu der Klasse der zu klassifizierenden Pflanzen gehören, in dem definierten Objektbereich übrig bleiben;
- – Erfassen der Objekte in dem definierten Objektbereich des Feldes mittels einer optischen und/oder Infrarot-Erfassungseinheit, um jeweils eine Objektbildinformation zu erhalten;
- – Speichern der erhaltenen Objektbildinformationen; und
- – Klassifizieren bzw. Annotieren der erfassten Objekte mittels Zuweisung der Objektbildinformationen, wobei die abgespeicherten Objektbildinformationen, insbesondere alle abgespeicherten Objektbildinformationen einer zweiten Klasse zugewiesen werden.
-
D. h., mit anderen Worten, dass zusätzlich zu dem Pflanzenbereich ein weiterer Bereich, nämlich der Objektbereich eines Feldes definiert wird, in dem allerdings – im Gegensatz zu dem Vorgehen im Pflanzbereich – die zu klassifizierenden Pflanzen entfernt werden und alle anderen Objekte, wie bspw. Beikräter, Hölzer und Steine, übrig bleiben. Unter einem Objektbereich kann hierbei ein Bereich verstanden werden, in dem Objekte zur Klassifizierung erfasst werden sollen. Anschließend werden unter Verwendung einer optischen und/oder Infrarot-Erfassungseinheit alle Objekte erfasst, wobei jeweils eine Objektbildinformation abgespeichert wird. Auch hier kann durch automatische Segmentierungsverfahren, z. B. basierend auf dem NDVI-Index, der Vordergrund vor dem Feldboden und damit das Objekt segmentiert und dadurch erfasst werden. Da alle erfassten Objekte nicht zu den zu klassifizierenden Pflanzen gehören, werden die abgespeicherten Objektbildinformationen „pauschal” einer zweiten Klasse, bspw. der Klasse „Sonstiges” zugewiesen, ohne dass dabei eine aufwendige Identifizierung der Objekte und Annotation der Objektbildinformationen mit einer entsprechenden Zuweisung zu unterschiedlichen Klassen durchgeführt werden müssen. Demnach können weitere große Datenmengen auf einfache Art und Weise gewonnen werden, um bei die Erfassung und/oder Klassifizierung von Pflanzen, bspw. in Bereichen, welche nicht vorher bearbeitet bzwl gesäubert wurden und in denen somit sowohl zu klassifizierende Pflanzen als auch Objekte vorkommen, zu verbessern. Hierbei können die „störenden” Objekte besser erkannt und damit von den zu klassifizierenden Pflanzen einfacher abgrenzt bzw. differenziert werden. D. h., dass Ground-Truth-Daten bzw. Objektbildinformationen von Objekten mit anderen Ground-Truth-Datensätzen bzw. Pflanzenbildinformationen von Pflanzen frei kombiniert werden können. Dies kann insbesondere derart erfolgen, dass die gewonnenen Objektbildinformationen dann zum Training von Klassifikatoren herangezogen werden, die z. B. Unkräuter in verschiedenen Regionen Deutschlands, Europas oder der Welt beinhalten. Weiterhin können so durch Kombination verschiedener Grund Truth Datensätze verschiedene Nutzpflanzen von Unkräuter unterschieden und auf Größen- und/oder weitere Eigenschaften (z. B. Pflanzen nach einer Trockenperiode, etc.) basierende Klassifikatoren trainiert werden.
-
Es ist insbesondere vorteilhaft, wenn der Schritt des Klassifizierens der Objekte in dem Objektbereich mittels einer Klassifizierungseinheit durchgeführt wird, welche eine Rechnereinheit umfasst und ferner ausgebildet ist, spezifische Merkmale aus den zugewiesenen bzw. annotierten Objektbildinformationen zu filtern und daraus ein Modell zu bilden. Durch das Vorsehen einer Klassifizierungseinheit kann die Klassifizierung bzw. Annotation aller abgespeicherten Objektbildinformationen und damit der erfassten Objekte mittels der Klassifizierungseinheit schnell automatisiert und mit sehr geringem, insbesondere ohne manuellen Aufwand von der Klassifizierungseinheit durchgeführt werden. Die klassifizierten bzw. annotierten Objektbildinformationen können im Anschluss verwendet werden, um insbesondere eine Identifizierungseinheit anzulernen bzw. zu trainieren.
-
Vorteilhaft ist es ferner, wenn folgende zusätzliche Schritte durchgeführt werden:
- – Erfassen der zu klassifizierenden Pflanzen und/oder Objekte und/oder Mischobjekte in einem Mischbereich des Feldes mittels einer optischen und/oder Infrarot-Erfassungseinheit, um jeweils eine ergänzende Bildinformation umfassend eine ergänzende Pflanzenbildinformation und/oder eine ergänzende Objektbildinformation und/oder eine ergänzende Mischbildinformation zu erhalten;
- – Speichern der erhaltenen ergänzenden Bildinformationen;
- – Identifizieren der erfassten Pflanzen und/oder erfassten Objekte und/oder Mischobjekte unter Verwendung der bereits zuvor zugewiesenen Pflanzenbildinformationen aus dem Pflanzenbereich und der Objektbildinformationen aus dem Objektbereich; und
- – Klassifizieren der erfassten Pflanzen und/oder erfassten Objekte und/oder Mischobjekte mittels Zuweisung der ergänzenden Bildinformationen, wobei die den zu klassifizierenden Pflanzen zuordenbaren ergänzenden Pflanzenbildinformationen der ersten Klasse zugewiesen werden, die den Objekten zuordenbaren ergänzenden Objektbildinformationen einer zweiten Klasse zugewiesen werden und die nicht zuordenbaren ergänzenden Mischbildinformationen der Mischobjekte einer dritten Klasse zugewiesen werden.
-
D. h., mit anderen Worten, dass zusätzlich zu dem Pflanzenbereich und dem Objektbereich ein weiterer Bereich, nämlich der Mischbereich eines Feldes definiert wird, in dem allerdings – im Gegensatz zu dem Vorgehen im Pflanzbereich und im Objektbereich – weder die zu klassifizierenden Pflanzen noch die Objekte entfernt werden. Unter einem Mischbereich kann hierbei ein Bereich verstanden werden, in dem Pflanzen und Objekte sowie Mischobjekte zur Klassifizierung erfasst werden sollen. Bei Mischobjekten kann es sich insbesondere um sich überlappende Pflanzen, sich überlappende Objekte sowie sich überlappende Pflanzen und Objekte handeln, welche zunächst weder einer Pflanze noch einem Objekt zuordenbar sind. Unter Verwendung einer optischen und/oder multispektralen und/oder hyperspektralen und/oder Infrarot-Erfassungseinheit werden alle Pflanzen und Objekte sowie undefinierbare Mischobjekte erfasst, wobei jeweils eine ergänzende Bildinformation abgespeichert wird. Anders als bei der Klassifizierung im Pflanzenbereich und im Objektbereich, in denen „pauschal” alle erfassten Pflanzen bzw. Objekte ohne Identifizierung einer jeweiligen Klasse zugewiesen werden, erfolgt im Mischbereich eine Identifizierung der erfassten Pflanzen und/oder erfassten Objekte und/oder Mischobjekte unter Verwendung der bereits zuvor zugewiesenen Pflanzenbildinformationen aus dem Pflanzenbereich und der Objektbildinformationen aus dem Objektbereich. Der Schritt des Identifizierens kann hierbei ein Erkennen einer Spezies der Pflanze umfassen, um eine ergänzende Pflanzenbildinformation zu erhalten, insbesondere wobei bei dem Erkennen ein Unterscheiden der Spezies der Pflanze von einer Spezies einer anderen Pflanze erfolgt. Unter einer Spezies einer Pflanze kann vorliegend eine Gattung der Pflanze verstanden werden. Der Schritt des Identifizierens kann ferner ein Erkennen einer Art des Objekts umfassen, um eine ergänzende Objektbildinformation zu erhalten. Die den zu klassifizierenden Pflanzen zuordenbaren ergänzenden Bildinformationen, d. h. die ergänzenden Pflanzenbildinformationen, werden der ersten Klasse, bspw. der Klasse „Pflanzen” zugewiesen. Die den Objekten zuordenbaren ergänzenden Bildinformationen, d. h. die ergänzenden Objektbildinformationen, werden der zweiten Klasse, bspw. der Klasse „Sonstiges” zugewiesen. Die nicht zuordenbaren ergänzenden Bildinformationen von Mischobjekten, d. h. die ergänzenden Mischbildinformationen, werden „pauschal” einer dritten Klasse, bspw. der Klasse „Undefinierbar” zugewiesen. Die unzuordenbaren ergänzenden Mischbildinformationen können dann durch z. B. Active-Learning Verfahren manuell zugewiesen werden, wobei bspw. eine entsprechende Benachrichtigung bei der Zuweisung einer Mischbildinformation erfolgt. Alternativ oder ergänzend können auch alle ergänzenden Bildinformationen aus dem Mischbereich, d. h. auch die ergänzenden Pflanzen- und Objektbildinformationen manuell geprüft und ggf. falsche Klassenzuweisungen korrigiert werden. Hierbei kann beispielsweise auch die Bestimmung einer Grenze einer Pflanze in Bezug zu einer anderen Pflanze oder zu einem Objekt erfolgen. Demnach können weitere Datenmengen gewonnen werden, um bei der Erfassung, Identifizierung und Klassifizierung von Pflanzen, bspw. in Bereichen, welche nicht vorher bearbeitet wurden und in denen somit sowohl zu klassifizierende Pflanzen als auch weitere Objekte vorkommen, die zu klassifizierenden Pflanzen präziser von anderen zu klassifizierenden Pflanzen und den Objekten abgrenzen bzw. differenzieren zu können.
-
Es ist insbesondere vorteilhaft, wenn der Schritt des Identifizierens der erfassten Pflanzen und/oder Objekte und/oder Mischobjekte in dem Mischbereich mittels einer Identifizierungseinheit durchgeführt wird, welche durch die bereits zuvor zugewiesenen Pflanzenbildinformationen der ersten Klasse und die bereits zugewiesenen Objektbildinformationen der zweiten Klasse trainiert wurde und ausgebildet ist eine Separierung der neu abgespeicherten ergänzenden Bildinformationen zu erstellen. Besonders vorteilhaft ist es, wenn der Schritt des Identifizierens der erfassten Pflanzen und/oder erfassten Objekte und/oder erfassten Mischobjekte in dem Mischbereich nach den Schritten des Klassifizierens der erfassten Pflanzen in dem Pflanzenbereich und des Klassifizierens der Objekte in dem Objektbereich durchgeführt wird. Durch das Vorsehen einer Identifizierungseinheit kann die Klassifizierung bzw. Annotation aller abgespeicherten Pflanzenbildinformationen und Objektbildinformationen und damit der erfassten Pflanzen und Objekte schnell automatisiert durchgeführt werden. Hierbei ist die Identifizierungseinheit bereits eingelernt, d. h. sie ist ausgebildet unter Verwendung der bereits zuvor erfassten und klassifizierten bzw. annotierten Pflanzenbildinformationen aus dem Pflanzenbereich und Objektbildinformationen aus dem Objektbereich, Pflanzen und/oder Objekte und/oder Mischobjekte zu identifizieren. Die ergänzenden Bildinformationen können demnach für die Validierung und Verfeinerung der eingelernten Identifizierungseinheit genutzt werden. Folglich kann die Identifizierungseinheit mittels des o. g. Active-Learning Verfahrens bzw. der manuellen Korrektur falscher Klassenzuweisungen nachtrainiert und die Identifizierung/Klassifizierung präzisiert werden.
-
Des Weiteren ist es vorteilhaft, wenn vor dem Schritt des Entfernens der Objekte Samen der zu klassifizierenden Pflanzen in dem definierten Pflanzenbereich und/oder dem definierten Mischbereich des Feldes mittels einer Säeinheit ausgesät werden und im Schritt des Erfassens der zu klassifizierenden Pflanzen die aus den Samen entstandenen Pflanzen mittels der optischen und/oder Infrarot-Erfassungseinheit erfasst werden. Vor dem Aussäen können der Pflanzenbereich und/oder der Mischbereich insbesondere speziell bearbeitet bzw. behandelt werden. Demnach kann auf einfache Art und Weise eine definierte Klasse von Pflanzen ausgesät werden, um dann erfasst und klassifiziert zu werden.
-
Vorteilhaft ist es auch, wenn das Entfernen der Objekte, welche nicht zu der Klasse der zu klassifizierenden Pflanzen gehören, in dem definierten Pflanzenbereich und/oder das Entfernen der zu klassifizierenden Pflanzen in dem definierten Objektbereich mittels einer Säuberungseinheit durchgeführt wird. Hierdurch kann das Entfernen der Objekte und/oder Pflanzen schnell automatisiert und effizient durchgeführt werden.
-
Es ist ferner vorteilhaft, wenn die Schritte des Entfernens, des Erfassens, des Speicherns und des Klassifizierens der Pflanzen und/oder Objekte und/oder Mischobjekte zumindest einmal wiederholt ausgeführt werden, insbesondere zyklisch wiederholt ausgeführt werden, insbesondere wobei in jedem Schritt des Speicherns zusätzlich ein Zeitparameter abgespeichert wird, der einen Ermittlungszeitpunkt der Bildinformationen repräsentiert. Durch diese Maßnahme können Ground-Truth-Informationen, d. h. Bildinformationen zu allen Wachstumsphasen und allen möglichen biologischen Wachstumsmorphologien der Pflanzen und allen vorkommenden Objekten gewonnen werden, so dass eine äußerst zuverlässige und effiziente Klassifizierung der Pflanzen, insbesondere mittels durch die gewonnenen Bildinformationen trainierter Klassifizierungseinheiten durchgeführt werden kann. Das erfindungsgemäße Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in einem Steuergerät implementiert sein.
-
Der hier vorgestellte Ansatz schafft ferner ein Informationssystem, das ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Hierzu kann das Informationssystem zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.
-
Unter einem Informationssystem kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind. Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Zeichnungen
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1A, 1B eine schematische Darstellung eines Pflanzenbereichs vor und nach der Aussaat;
-
2A, 2B eine schematische Darstellung des Pflanzenbereichs aus 1B vor und nach dem Schritt des Entfernens von Objekten;
-
3A, 3B eine schematische Darstellung eines Objektbereiches vor und nach der anfänglichen Bearbeitung bzw. Behandlung;
-
4A, 4B eine schematische Darstellung des Objektbereichs aus 3B vor und nach dem Schritt des Entfernens von Pflanzen;
-
5A, 5B eine schematische Darstellung eines Mischbereichs vor und nach der Aussaat;
-
6A, 6B eine schematische Darstellung des Mischbereichs aus 5B mit zu erfassenden Pflanzen und Objekten; und
-
7 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnliche Element gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung der Elemente verzichtet wird.
-
In den 1A bis 2B ist ein definierter Pflanzenbereich 10 dargestellt. Der Pflanzenbereich 10 ist als Parzelle eines Feldes für den Anbau von Pflanzen ausgebildet. Der Pflanzenbereich 10 dient zur Erfassung von zu klassifizierenden Pflanzen. Die gewonnenen Informationen sollen insbesondere für eine Klassifizierungseinheit bereitgestellt werden, d. h. zum „Trainieren” der Klassifizierungseinheit dienen, um die Klassifizierung von Pflanzen zu verfeinern.
-
1A zeigt den Pflanzenbereich 10 in einem unbearbeiteten Zustand. Durch eine vorbereitende Bearbeitung und Behandlung der Bodenfläche des Pflanzenbereiches 10 für eine Aussaat sowie die Aussaat von Samen 12 der zu klassifizierenden Pflanzen wird der in 1B dargestellte Zustand erreicht. Die Aussaat der Samen 12 kann hierbei mittels einer Säeinheit (nicht dargestellt) durchgeführt werden.
-
2A zeigt einen zeitlich nachgelagerten Zustand des Pflanzenbereiches 10 aus 1B. Hierbei sind aus den Samen 12 Pflanzen 14 entstanden. Ferner dargestellt sind Beikräuter 16, welche ebenfalls während der Wachstumsphase der Pflanzen 14 ungewollt entstanden sind, sowie Hölzer 18 und Steine 20, welche ungewollt bzw. unvorhergesehen in den Pflanzenbereich 10 gelangt sind.
-
Erfindungsgemäß werden die Objekte, welche nicht zu den zu klassifizierenden Pflanzen 14 gehören, d. h. die Beikräuter 16, die Hölzer 18 und die Steine 20 in bzw. aus dem Pflanzenbereich 10 entfernt, wodurch der in 2B dargestellte Zustand erreicht wird. Hierbei ist ersichtlich, dass im Wesentlichen nur noch zu klassifizierende Pflanzen 14 in dem Pflanzenbereich 10 übrig geblieben sind. Das Entfernen der Objekte 16, 18, 20 bzw. die Säuberung des Pflanzenbereiches 10 kann mittels einer Säuberungseinheit (nicht dargestellt) durchgeführt werden.
-
Anschließend werden erfindungsgemäß alle Pflanzen 14 in dem gesäuberten Pflanzenbereich 10 des Feldes erfasst. Das Erfassen der zu klassifizierenden Pflanzen 14 in dem Pflanzenbereich 10 wird vorzugsweise mittels einer optischen und/oder Infrarot-Einheit (nicht dargestellt) durchgeführt. Hierbei wird beim Erfassen der Pflanzen 14 jeweils eine Pflanzenbildinformation in einer Speichereinheit (nicht dargestellt) abgespeichert.
-
Danach werden erfindungsgemäß die erfassten Pflanzen 14 klassifiziert. Hierbei werden die abgespeicherten Pflanzenbildinformationen annotiert bzw. zugewiesen. Da aufgrund der vorgelagerten Entfernung der Objekte 16, 18, 20 ausschließlich zu klassifizierende Pflanzen 14 in dem Pflanzenbereich 10 angeordnet sind, ist keine aufwendige Identifizierung mehr notwendig. Folglich können alle abgespeicherten Pflanzenbildinformationen „pauschal” einer ersten Klasse zugewiesen werden, bspw. der Klasse „Pflanzen”. Die Klassifizierung wird hierbei bevorzugt mittels einer Klassifizierungseinheit (nicht dargestellt) durchgeführt, welche eine Rechnereinheit umfasst und ferner ausgebildet ist, spezifische Merkmale aus den zugewiesenen Pflanzenbildinformationen zu filtern und daraus ein Modell zu bilden.
-
In den 3A bis 4B ist ein definierter Objektbereich 22 dargestellt. Der Objektbereich 22 ist als Parzelle eines Feldes für den Anbau von Pflanzen ausgebildet. Der Objektbereich 22 dient zur Erfassung von Objekten 16, 18, 20 wie bspw. Beikräuter 16, Hölzer 18 und Steine 20, welche nicht zu der zu klassifizierenden Pflanzen 14 bzw. der Klasse der zu klassifizierenden Pflanzen 14 gehören. Die gewonnenen Informationen sollen insbesondere für eine Klassifizierungseinheit bereitgestellt werden, d. h. zum „Trainieren” der Klassifizierungseinheit dienen, um die Klassifizierung von Pflanzen zu verfeinern, indem „störende” Objekte besser erkannt und somit von den zu klassifizierenden Pflanzen abgegrenzt bzw. differenziert werden können.
-
3A zeigt den Objektbereich 22 in einem unbearbeiteten Zustand. Durch eine vorbereitende Bearbeitung und Behandlung der Bodenfläche des Objektbereiches 22 wird der in 3B dargestellte Zustand erreicht.
-
4A zeigt einen zeitlich nachgelagerten Zustand des Objektbereiches 22 aus 3B. Hierbei sind dargestellt Beikräuter 16, welche im Laufe der Zeit entstanden sind, sowie Hölzer 18 und Steine 20, welche in den Objektbereich 22 gelangt sind. Ebenfalls im Objektbereich 22 entstanden sind jedoch auch zu klassifizierende Pflanzen 14, welche jedoch im Objektbereich 22 ungewollt und somit „störend” sind.
-
Folglich werden die Pflanzen 14, welche nicht zu den Objekten 16, 18, 20 bzw. zu der Klasse der Objekte 16, 18, 20 gehören in bzw. aus dem Objektbereich 22 entfernt, wodurch der in 4B dargestellte Zustand erreicht wird. Hierbei ist ersichtlich, dass im Wesentlichen nur noch zu Objekte 16, 18, 20 in dem Objektbereich 22 übrig geblieben sind. Das Entfernen der Pflanzen 14 bzw. die Säuberung des Objektbereiches 22 kann mittels einer Säuberungseinheit (nicht dargestellt) durchgeführt werden.
-
Anschließend werden alle Objekte 16, 18, 20 in dem gesäuberten Objektbereich 22 des Feldes erfasst. Das Erfassen der Objekte 16, 18, 20 in dem Objektbereich 22 wird vorzugsweise mittels einer optischen und/oder Infrarot-Einheit (nicht dargestellt) durchgeführt. Hierbei wird beim Erfassen der Objekte 16, 18, 20 jeweils eine Objektbildinformation in einer Speichereinheit (nicht dargestellt) abgespeichert.
-
Danach werden die erfassten Objekte 16, 18, 20 klassifiziert. Hierbei werden die abgespeicherten Objektbildinformationen annotiert bzw. zugewiesen. Da aufgrund der vorgelagerten Entfernung der Pflanzen 14 ausschließlich Objekte 16, 18, 20 in dem Objektbereich 22 angeordnet sind, ist keine aufwendige Identifizierung mehr notwendig. Folglich können alle abgespeicherten Objektbildinformationen „pauschal” einer zweiten Klasse zugewiesen werden, bspw. der Klasse „Sonstiges”. Die Klassifizierung wird hierbei bevorzugt mittels einer Klassifizierungseinheit (nicht dargestellt) durchgeführt, welche eine Rechnereinheit umfasst und ferner ausgebildet ist, spezifische Merkmale aus den zugewiesenen Objektbildinformationen zu filtern und daraus ein Modell zu bilden.
-
In den 5A bis 6B ist ein definierter Mischbereich 24 dargestellt. Der Mischbereich 24 ist als Parzelle eines Feldes für den Anbau von Pflanzen ausgebildet. Der Mischbereich 24 dient zur Erfassung von Pflanzen 14 und Objekten 16, 18, 20 sowie undefinierten Mischobjekten 26. Unter Mischobjekten 26 sind insbesondere überlappenden Anordnungen von Pflanzen 14 und Objekten 16, 18, 20, d. h. sich überlappenden Pflanzen 14, sich überlappenden Objekten 16, 18, 20 und sich überlappenden Pflanzen 14 und Objekten 16, 18, 20 zu verstehen. Die gewonnenen Informationen sollen insbesondere für eine Identifizierungseinheit bereitgestellt werden, d. h. zum „Trainieren” der Identifizierungseinheit dienen, um das Erfassen, das Identifizieren und das Klassifizieren von Pflanzen zu verfeinern. Hierbei ist die Identifizierungseinheit ausgebildet unter Verwendung, d. h. mittels der zuvor klassifizierten bzw. annotierten Pflanzenbildinformationen aus den Pflanzenbereich 10 und Objektbildinformationen aus dem Objektbereich 22 verschiedene Gattungen von Pflanzen 14 präzise zu unterschieden und insbesondere überlappende Anordnungen von Pflanzen 14 und Objekten 16, 18, 20 zu erkennen, wobei letztere bspw. mittels Active-Learning Verfahren korrigiert werden können, so dass eine Identifizierungseinheit nachtrainiert und die Identifizierung/Klassifizierung weiter präzisiert bzw. verfeinert werden kann.
-
5A zeigt den Mischbereich 24 in einem unbearbeiteten Zustand. Durch eine vorbereitende Bearbeitung und Behandlung der Bodenfläche des Mischbereiches 24 für eine Aussaat sowie die Aussaat von Samen 12 der zu klassifizierenden Pflanzen 14 wird der in 5B dargestellte Zustand erreicht. Die Aussaat der Samen 12 kann hierbei mittels einer Säeinheit (nicht dargestellt) durchgeführt werden.
-
6A zeigt einen zeitlich nachgelagerten Zustand des Mischbereiches 24 aus 5B. Hierbei sind aus den Samen 12 Pflanzen 14 entstanden. Ferner dargestellt sind Beikräuter 16, welche ebenfalls während der Wachstumsphase der Pflanzen 14 entstanden sind, sowie Hölzer 18 und Steine 20, welche in den Pflanzenbereich 10 gelangt sind. Des Weiteren sind Mischobjekte 26 entstanden, d. h. sich überlappende Pflanzen 14 mit bspw. Beikräutern 16.
-
Im Gegensatz zu dem vorangehend beschriebenen Vorgehen, d. h. von der 2A zur 2B und 4A zur 4B wird nun kein Schritt des Entfernens „störender” Objekte 16, 18, 20 oder Pflanzen 14 durchgeführt. Folglich werden die in dem Mischbereich 24 entstandenen Pflanzen 14 und Beikräuter 16 sowie in den Mischbereich 24 gelangte Hölzer 18 und Steine 20 belassen, wodurch der in 6B dargestellte Zustand erreicht wird.
-
Anschließend werden alle Pflanzen 14 und Objekte 16, 18, 20 sowie Mischobjekte 26 in dem Mischbereich 24 des Feldes erfasst. Das Erfassen der Pflanzen 14 und Objekte 16, 18, 20 sowie der Mischobjekte 26 in dem Mischbereich 24 wird vorzugsweise mittels einer optischen und/oder Infrarot-Einheit (nicht dargestellt) durchgeführt. Hierbei wird beim Erfassen der Pflanzen 14 und Objekte 16, 18, 20 sowie Mischobjekte 26 jeweils eine ergänzenden Bildinformation umfassend eine ergänzende Pflanzenbildinformation und/oder ergänzende Objektbildinformation und/oder ergänzenden Mischbildinformation in einer Speichereinheit (nicht dargestellt) abgespeichert.
-
Danach werden die erfassten Pflanzen 14 und Objekte 16, 18, 20 sowie die erfassten Mischobjekte 26 unter Verwendung der bereits zuvor zugewiesenen Pflanzenbildinformationen aus dem Pflanzenbereich 10 und der Objektbildinformationen aus dem Objektbereich 22 identifiziert, d. h. mittels dem Fachmann bekannten Techniken erkannt und differenziert. Die Identifizierung der Pflanzen 14 und der Objekte 16, 18, 20 wird hierbei bevorzugt mittels einer Identifizierungseinheit (nicht dargestellt) durchgeführt, Anschließend werden die erfassten Pflanzen 14 und/oder erfassten Objekte 16, 18, 20 und/oder Mischobjekte 26 mittels Zuweisung der ergänzenden Bildinformationen klassifiziert, wobei die abgespeicherten Bildinformationen annotiert und einer bestimmten Klasse zugewiesen werden. Die den zu klassifizierenden Pflanzen 14 zuordenbaren Bildinformationen, d. h. die Pflanzenbildinformationen, werden der ersten Klasse, bspw. der Klasse „Pflanzen” zugewiesen. Die den Objekten 16, 18, 20 zuordenbaren Bildinformationen, d. h. die Objektbildinformationen, werden der zweiten Klasse, bspw. der Klasse „Sonstiges” zugewiesen. Die nicht zuordenbaren Bildinformationen der Mischobjekte 26, d. h. die Mischbildinformationen, werden „pauschal” einer dritten Klasse, bspw. der Klasse „Undefinierbar” zugewiesen. welche durch die bereits zuvor zugewiesenen Pflanzenbildinformationen der ersten Klasse und die bereits zugewiesenen Objektbildinformationen der zweiten Klasse trainiert wurde und ausgebildet ist eine Separierung der neu abgespeicherten ergänzenden Bildinformationen zu erstellen. Die unzuordenbaren Mischbildinformationen können stattdessen durch Active-Learning Verfahren manuell zugewiesen werden. Alternativ oder ergänzend können auch alle Bildinformationen aus dem Mischbereich 26, d. h. auch die Pflanzen- und Objektbildinformationen manuell geprüft und ggf. falsche Klassenzuweisungen korrigiert werden. Hierbei kann beispielsweise auch die Bestimmung einer Grenze einer Pflanze 14 in Bezug zu einer anderen Pflanze 14 oder zu einem Objekt 16, 18, 20 erfolgen.
-
7 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 100 zum Klassifizieren von auf einem Feld wachsenden Pflanzen 14. Das Verfahren 100 umfasst einen Schritt 110 des Entfernens von Objekten 16, 18, 20, welche nicht zu der Klasse der zu klassifizierenden Pflanzen 14 gehören, in einem definierten Pflanzenbereich 10 des Feldes, so dass im Wesentlichen nur noch zu klassifizierende Pflanzen 14 in dem definierten Pflanzenbereich 10 übrig bleiben. Ferner umfasst das Verfahren 100 einen Schritt 120 des Erfassens der zu klassifizierenden Pflanzen 14 in dem Pflanzenbereich 10 des Feldes mittels einer optischen und/oder Infrarot-Einheit, um jeweils eine Pflanzenbildinformation zu erhalten. Des Weiteren umfasst das Verfahren 100 einen Schritt 130 des Speicherns der erhaltenen Pflanzenbildinformationen. Schließlich umfasst das Verfahren 100 einen Schritt 140 des Klassifizierens der erfassten Pflanzen 14 mittels Zuweisung der Pflanzenbildinformationen, wobei die abgespeicherten Pflanzenbildinformationen einer ersten Klasse zugewiesen werden.
-
Zum Schritt 120 des Erfassens der zu klassifizierenden Pflanzen 14 in dem Pflanzenbereich 10 des Feldes sei noch angemerkt, dass während des Schritts des Erfassens 120, d. h. bspw. bei der Überfahrt einer mobilen Einheit, welche die optische und/oder Infrarot-Erfassungseinheit aufweist, über dem Pflanzenbereich 10, eine oder mehrere Pflanzen 14 in einem Bildausschnitt der optischen und/oder Infrarot-Erfassungseinheit erfasst werden können. Durch die One-Shot Bildaufnahmetechnik können hierbei mehrere Aufnahmen derselben Pflanze 14 sequenziell gemacht werden (Image Sequencing). Dieses Verfahren gestattet, die Einflüsse durch wechselnde Wind- und Lichtverhältnisse sowie Überlappungen und Rauschen im Bild auf ein Minimum zu reduzieren. Die von der optischen und/oder Infrarot-Erfassungseinheit unter gegebenen Beleuchtungsumständen aufgezeichneten Bildinformationen umfassen beispielsweise RGB-Bilder und Infrarot-Bilder. Die optische und/oder Infrarot-Erfassungseinheit ist kalibriert, um z. B. die Höhenzuordnung aus den Bildern zu errechnen. Die von der optischen und/oder Infrarot-Erfassungseinheit erfassten Bilder werden miteinander registriert, um z. B. im Anschluss einen NDVI-Index (Normalized Differenced Vegetation Index, er wird aus Reflexionswerten im nahen infraroten und sichtbaren roten Wellenlängenbereich des Lichtspektrums gebildet) berechnen zu können. Anhand des vorbestimmten NDVI-Wertes erfolgt die Trennung von Biomasse und Boden im Bild, was im Ergebnis zu Biomasse-Masken (reduzierte Bilddaten mit Clusterungen von Grün-Anteilen, die mit hoher Wahrscheinlichkeit einzelne Pflanzen repräsentieren) führt.
-
Umfasst ein Ausführungsbeispiel eine „und/oder” -Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
