DE19858552A1

DE19858552A1 - Vorrichtung zur Erkennung von Pflanzen und/oder Mustern in landwirtschaftlichen Anwendungen

Info

Publication number: DE19858552A1
Application number: DE19858552A
Authority: DE
Inventors: Timur Dzinaj; Hoerstkamp Stephan Kleine; Andreas Linz; Steffen Klamt; Frank Gelze; Arno Ruckelshausen
Original assignee: Amazonen Werke H Dreyer SE and Co KG
Current assignee: Amazonen Werke H Dreyer SE and Co KG
Priority date: 1998-11-27
Filing date: 1998-12-18
Publication date: 2000-05-31
Also published as: DE59907105D1

Abstract

Vorrichtung zur Erkennung von Pflanzen und/oder Mustern in landwirtschaftlichen Anwendungen mittels elektronisch auswertenden Sensorelementen oder -systemen, wobei zumindest eine digitale CMOS-XY Kamera zur Pflanzen- und/oder Mustererkennung vorgesehen ist. Die Kamera weist eine freie Adressierbarkeit und einen wahlfreien Zugriff einzelner Bildpixel auf.

Description

Die Erfindung betrifft eine Vorrichtung gemäß des Oberbegriffes des Patentanspruches 1.

Derartige Vorrichtungen sind beispielsweise durch die DE-PS 196 42 439 bekannt.

Weitere Vorrichtungen sind in der Literatur vielfältig beschrieben, jedoch keines dieser Systeme konnte sich bisher im breiten Umfang im praktischen Einsatz durchsetzen.

Die Online-Anwendung von kommentionellen Kamerasystemen beider Pflanzenerkennung in landwirtschaftlichen Anwendung war bisher technisch nicht möglich, da sowohl die Probleme der Komplexität der Auswertung als auch die hohe Datenrate mit entsprechenden Zeiten zur Bildverarbeitung nicht gelöst werden konnten.

Der Erfindung liegt die Aufgabe zugrunde, unter Nutzung heutiger moderner Technologie eine Online-Erkennung mit preiswerten Mitteln zu schaffen.

Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 1 gelöst. Infolge dieser Maßnahmen wird ein modernes neuartiges und darüber hinaus äußerst preiswertes Kamerasystem geschaffen, welches in Verbindung mit geometrischen und spektralen Merkmalen der Pflanzen zur Online-Erkennung ausgenutzt wird.

Um eine schnelle Auswertung der aufgenommenen Signale im Online-Verfahren zu ermöglichen, ist vorgesehen, daß die Auflösung des aufzunehmenden Bildes per Software festlegbar und nicht durch die Kamera fixiert ist. Als besonders vorteilhaft hat sich die Auflösung von 32 × 32 Pixel herausgestellt. Desweiteren zeichnen sich die eingesetzten Kameras durch ihre geringen Kosten im Vergleich zu CCD- Kameras aus. Hierbei können Kameras mit einer größeren Anzahl Pixel Verwendung finden, beispielsweise 512 × 512 Pixel oder mehr, wobei lediglich eine begrenzte Anzahl Pixel zur Auswertung verwendet wird. So ist für die Pflanzenerkennung derzeit eine Auflösung von beispielsweise 32 × 32 Pixel sinnvoll. Dieses bedeutet, daß softwaremäßig nur eine begrenzte Anzahl Pixel zur Auswertung herangezogen wird, um einerseits preiswerte Kameras einsetzen zu können und andererseits eine schnelle Auswertung erreicht wird.

Eine Verbesserung der aufgenommenen Signale läßt sich dadurch erreichen, daß den Sensorelementen eine Beleuchtungsquelle im nahen Infrarotbereich zugeordnet ist. Hierdurch wird bei den Pflanzen der hohe Reflexionsgrad ausgenutzt und gleichzeitig werden die Reflexionsanteile des Bodens reduziert. Alternativ dazu ist auch der Einsatz von optischen Filtern und eine Beleuchtungsquelle im nahen Infrarotbereich möglich.

Gegebenenfalls kann seitlich eine Beleuchtungsquelle angebracht werden, so daß die Reflexionsanteile des Bodens weiter unterdrückt werden.

Darüber hinaus sieht die Erfindung in einer Ausführung vor, daß eine schnelle Weiterverarbeitung der Signale durch ein Microcontrollersystem oder einen PC erfolgt.

Desweiteren ist vorgesehen, daß das Bild kontinuierlich in Zeitintervalle ausgelesen wird, die deutlich unterhalb der Fernsehnorm konventioneller Kameras liegen.

Desweiteren ist vorgesehen, daß die Erkennung einer Pflanze durch die flächenmäßige Auswertung der Kamerasignale gestartet wird. Erst ab einer gewissen Zahl "grüner Pixel" wird die Weiterverarbeitung vorgenommen. Hierbei läßt sich der Schwellwert der Anzahl grüner Pixel auch dynamisch einstellen. Bei der Weiterverarbeitung wird nach einer Hauptkomponentenanalyse die Auswertung vorgenommen. Wenn eine Schwarzweiß-Kamera eingesetzt wird, wird quasi in der Weiterverarbeitung zwischen schwarzen und weißen Pixeln unterschieden. Es sind sowohl Farb- wie Schwarzweiß-Kameras einsetzbar.

Desweiteren ist in einer Weiterbildung der Erfindung vorgesehen, daß zur Weiterverarbeitung eine spezielle Software zur Analyse der Signale verwendet wird, die schnelle Algorithmen (z. B. Hauptkomponentenanalyse) enthält. Hierdurch werden Gesamtverarbeitungszeiten (Bildaufnahme und Auswertung) erreicht, die weit unterhalb der Bildaufnahmezeiten konventioneller Kameras liegen können. Bei Verwendung eines typischen PC's liegt diese Zeit beispielsweise bei 0,5 Millisekunden, bei typischen Microcontrollern bei ca. 20 Millisekunden. Diese Angaben beziehen sich auf einen Pentium 200 MHz-Rechner. Beim Einsatz schnellerer Rechner oder Prozessoren ergeben sich kürzere Verarbeitungszeiten.

Bei praktischen Versuchen hat sich herausgestellt, daß die Verwendung von zwei oder mehr Kameras (oben oder seitlich angeordnet) zur Korrelation geometrischer Merkmale vorteilhaft ist. Die Pflanzenmerkmale von Nutzpflanzen und Beikräutern sind in vielen Fällen durch ihre Geometrie (Sicht von oben und seitlich) unterscheidbar. Die beiden Kamerasignale werden hierbei ausgewertet und durch eine schnelle Analyse der Daten werden die Pflanzen differenziert und hierdurch vom System erkannt.

Der Einsatz eines Microcontrollers erlaubt die Integration weiterer Sensoren im Rahmen einer sogenannten Multisensorkonzeption. Dieses ist für den speziellen Fall von Bedeutung, wenn die Differenzierung von Nutzpflanzen und Beikräutern durch zwei oder mehrere Kameras nicht immer möglich ist.

Weitere Einzelheiten der Erfindung sind den übrigen Unteransprüchen, der Beispielsbeschreibung und den Zeichnungen zu entnehmen. Hierbei zeigen

Fig. 1 die schematische Anordnung der Kamera und den prinzipiellen Aufbau der Vorrichtung und

Fig. 2 einen weiteren Aufbau der Vorrichtung.

Die Vorrichtung zur Erkennung von Pflanzen und/oder Mustern in landwirtschaftlichen Anwendungen weist eine digitale CMOS-XY Kamera 1 auf. Desweiteren ist eine seitliche Beleuchtungsquelle 2 zur Beleuchtung der zu erkennenden Pflanzen 3 angeordnet. Die Kamera 1 ist über eine Datenübertragungsleitung 4 mit einem Microcontrollersystem 5 oder einem PC verbunden.

Die Funktionsweise dieses Systems ist folgende: In dem Microcontrollersystem 5 bzw. dem PC ist softwaremäßig die Auflösung des aufzunehmenden Bildes festgelegt und daher nicht durch die Kamera 1 fixiert. Hierbei ist im Ausführungsbeispiel die Auflösung bei 32 × 32 Pixel festgelegt. Die Beleuchtungsquelle 2 strahlt im nahen Infrarotbereich die Pflanze 3 an. Hierdurch wird der Hohe Reflektionsgrad der Pflanze 3 ausgenutzt und gleichzeitig der Reflektionsanteil des Bodens 6 reduziert bzw. unterdrückt, so daß die Kamera 1 klare Signale empfangen und somit auslesen kann. Die Weiterverarbeitung der Signale, die von der Kamera 1 aufgenommen werden, erfolgt durch das Microcontrollersystem 5 bzw. den PC. Das Bild wird kontinuierlich in Zeitintervallen ausgelesen, die deutlich unterhalb der Fernsehnorm konventioneller Kameras liegen. Die Ansteuerung erfolgt somit über die programmierbare Hardware des Microcontrollersystems 5 bzw. des PC's. Hierbei wird die Erkennung einer Pflanze 3 durch die flächenmäßige Auswertung der Kamerasignale gestartet. Erst ab einer gewissen Zahl (Schwellwert, auch dynamisch einstellbar) "grüner Pixel" wird die Weiterverarbeitung (Hauptkomponentenanalyse) vorgenommen.

Zur Weiterverarbeitung wird eine spezielle Software zur Analyse verwendet, die schnelle Algorithmen (Hauptkomponentenanalyse) enthält. Hierdurch werden Gesamtverarbeitungszeiten (Bildaufnahme und Auswertung) erreicht, die unterhalb der Bildaufnahmezeit konventioneller Kameras liegen. Bei Verwendung eines typischen PC's liegt diese Zeit beispielsweise bei 0,5 Millisekunden, bei typischen Microcontrollern bei ca. 20 Millisekunden.

Das Ausführungsbeispiel gemäß Fig. 2 unterscheidet sich von dem Ausführungsbeispiel gemäß Fig. 1 dadurch, daß zwei Kameras 1 eingesetzt werden. Eine Kamera 1 ist oberhalb des zu erfassenden Objektes 3 und eine Kamera 1 seitlich angeordnet. Diese beiden Kameras 1 werden zur Korrelation geometrischer Merkmale eingesetzt. Die Pflanzenmerkmale von Nutzpflanzen und Beikräutern sind in vielen Fällen durch ihre Geometrie (Sicht von oben und seitlich) unterscheidbar, welches hierdurch den Einsatz von zwei Kameras 1 ausgenutzt wird. Die beiden Kamerasignale werden durch das Microcontrollersystem 5 bzw. den PC ausgewertet und durch diese schnelle Analyse der Daten werden die Pflanzen 3 differenziert.

Der Einsatz eines Microcontrollers 5 erlaubt die Integration weiterer Sensoren in Form und Anordnung einer Multisensorkonzeption. Dieses ist für den speziellen Fall interessant, wenn die Differenzierung von Nutzpflanzen und Beikräutern durch zwei oder mehrere Kameras 1 nicht immer möglich ist.

Diese Vorrichtung zur Erkennung von Pflanzen läßt sich in vielfältiger Weise in der Landwirtschaft einsetzen. Beispielsweise ist der Einsatz geeignet, um Nutzpflanzen 3 von Beikräutern (Unkraut) zu unterscheiden, um somit eine gezielte Anwendung von Pflanzenschutzmitteln zu ermöglichen. Auch kann diese Vorrichtung eingesetzt werden, um beim mechanischen Hacken die Beikräuter abzuschneiden und die Nutzpflanzen zu erhalten.

Claims

1. Vorrichtung zur Erkennung von Pflanzen und/oder Mustern in landwirtschaftlichen Anwendungen mittels elektronisch auswertenden Sensorelementen oder -Systemen, dadurch gekennzeichnet, daß zumindest eine digitale CMOS-XY Kamera (1) zur Pflanzen- und/oder Mustererkennung vorgesehen ist, daß die Kamera eine freie Adressierbarkeit und einen wahlfreien Zugriff einzelner Bildpixel aufweist.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Auflösung des aufzunehmenden Bildes per Software festlegbar und nicht durch die Kamera (1) fixiert ist.

3. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Auflösung zwischen 24 × 24 und 48 × 48, vorzugsweise 32 × 32 Pixel beträgt.

4. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß den Sensorelementen (1) eine Beleuchtungsquelle (2) im nahen Infrarotbereich zugeordnet ist.

5. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß den Sensorelementen (1) optische Filter und eine Beleuchtungsquelle (2) im nahen Infrarotbereich zugeordnet ist.

6. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Beleuchtungsquelle (2) seitlich der zu erkennenden Pflanzen (3) angeordnet ist.

7. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Sensorelemente (1) an ein Microcontrollersystem (5) oder einen PC zur schnellen Weiterverarbeitung der von den Sensorelementen (1) aufgenommenen Signale aufweist.

8. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Vorrichtung eine spezielle Software, die schnelle Algorithmen enthält, zur Analyse der Signale verwendet.

9. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß zwei Kameras (1) verwendet werden, daß mittels der mehreren Kameras (1) eine Korrelation geometrischer Merkmale erfolgt.

10. Vorrichtung nach einem oder mehreren der vorstehenden Ansprüche, dadurch gekennzeichnet, daß zusätzlich zu der Kamera (1) weitere Sensoren in Art einer Multisensorkonzeption vorgesehen sind.