DE19725547A1

DE19725547A1 - Verfahren zur echtzeitnahen Pflanzenerkennung

Info

Publication number: DE19725547A1
Application number: DE1997125547
Authority: DE
Inventors: Andreas Hilker
Original assignee: Individual
Current assignee: Individual
Priority date: 1997-06-17
Filing date: 1997-06-17
Publication date: 2001-06-28

Abstract

Gegenstand der Erfindung ist ein Verfahren zur Echtzeiterkennung von Pflanzen, bei dem die erfaßten Objektdaten in einen Rechner eingespeist und dort im Hinblick auf das Vorliegen von Zielpflanzen zu Ausgangssignalen aufgabengerecht weiterverarbeitet wird, wobei der Lichtstrahl eines Strahlers in Richtung der zu erwartenden Zielobjekte umgelenkt wird.

Description

Überlegungen zum Stand der Technik

Von der echtzeitnahen Erkennung von Pflanzen kann entsprechend neuerer pflanzenbaulicher Zielsetzungen ihre präzise Behandlung, Bearbeitung oder Kartierung abhängen. Dazu werden die erfaßten Objektdaten in einen Rechner eingespeist und dort im Hinblick auf das Vorliegen von Zielpflanzen zu Ausgangssignalen aufgabengerecht weiterverarbeitet.

Für die Ermittlung des Durchmessers oder anderer morphologischer Größen erfaßter Objekte mittels Sensoren ist es notwendig, die Fahrgeschwindigkeit zuverlässig zu messen. Beim Messen der Fahrgeschwindigkeit auftretende Fehler können die Genauigkeit der Objektvermessung negativ beeinflussen. Solche Meßfehler treten bei allen bekannten Meßsystemen auf.

Echtzeitnähe

Von der echtzeitnahen Erkennung von Pflanzen kann entsprechend neuerer pflanzenbaulicher Zielsetzungen ihre präzise Behandlung, Bearbeitung oder Kartierung abhängen. Dazu werden die erfaßten Objektdaten in einen Rechner eingespeist und dort im Hinblick auf Identifikationsziele zu Ausgangssignalen aufgabengerecht weiterverarbeitet und ausgegeben.

Optische Sensoren, also z. B. Kameras, Einweg- oder Reflexlichtschranken gehören zu den schnellsten und präzisesten Meßsystemen. Aufgrund der gegenüber z. B. akustischen Systemen hohen mit optischen Systemen möglichen Meßfrequenz sind auch unter Kosten- und Potentialgesichtspunkten optische Systeme für eine echtzeitnahe Signalverarbeitung bei hoher Präzision sehr gut geeignet.

Störgrößen

Für die Ermittlung des Durchmessers oder anderer morphologischer Größen erfaßter Objekte mittels Sensoren ist es notwendig, die Fahrgeschwindigkeit der Maschine zuverlässig zu kennen, an welcher die Sensoren angebaut sind. Beim Messen der Fahrgeschwindigkeit auftretende Fehler können die Genauigkeit der Objektvermessung negativ beeinflussen.

Solche Meßfehler treten bei allen bisher bekannten Meßsystemen auf:

- bei der berührungslosen Geschwindigkeitsmessung mit Ultraschallsensoren am Boden aufgrund einer von Nickbewegungen des Schleppers herrührenden wechselnden Neigung des Sensors und einer damit einhergehenden fehlerhaften Signallaufzeit;
- bei der Ermittlung der Geschwindigkeit aus der Raddrehzahl eines Bodenrades tritt positiver oder negativer Schlupf als Fehlergröße auf.
- bei der Ableitung der Geschwindigkeit aus zeitlich hintereinanderliegenden und nur durch Extrapolation zu gewinnenden Positionswerten eines Naviagationssystems (GPS oder lokal) treten meßwertbedingte Wegfehler auf.
- durch mechanische Baugruppen zwischen einer Objektsensorik und Geschwindigkeitssensoren, die bei dynamischen Einsatz in ihrer räumlichen Anordnung sich zueinander verändern (z. B. Knick- oder Längungsbewegungen), treten ebenfalls Wegfehler auf.

Mechanische oder elektronische Schwingungstilgung

Optische Sensoren (einschließlich Kamerasysteme) sind für Messungen mit hoher Präzision geeignet. Es ist daher naheliegend, mittels einer Optoelektronik eine Planzenidentifizierung durchzuführen. Für eine dynamische Pflanzenerkennung erscheint es praktikabel, eine Messung des Durchmessers oder von Oberflächeneigenschaften erfaßter Objeke durchzuführen. Denn aus dem Durchmesser geeigneter Objektkompartimente, z. B. den Pflanzenstengeln in einer durchschnittlichen Höhe über dem Boden oder aus den Eigenschaften von Objektoberflächen kann gegebenenfalls durch Beigabe statistischer Wertefenster eine Identifizierung von Ziel- oder Nichtzielobjekten durchgeführt werden.

Das Potential einer optosystembasierenden Objekterkennung steigt mit der Komplexizität der Signalverarbeitung sowie als Funktion der unter praktischen Bedingungen zuverlässig einhaltbaren Präzision der Objektvermessung. Dabei wird unter dem Gesichtspunkt einer Echtzeitnähe das Erhöhen der Meßpräzision als wirksamer angesehen, als das Erhöhen der Signalverarbeitungskomplexizität. Denn kleinräumige Identifikationsmerkmale an Pflanzen können durch verbesserte Algorithmen zur Pflanzenerkennung neu hinzugewonnen werden, es steigt zudem die absolute Zahl relevanter Erkennungsmerkmale, die dann gegebenenfalls mit ggf. vergleichsweise simplen Algorithmen ausgewertet können. Zusätzlich sind kleinräumige Merkmale zeiteffektiver auszuwerten, als großräumige Merkmale und darauf basierende Auswertealgorithmen.

So kann eine Vermessung oder Bildaufnahme der Stengeloberfläche von z. B. Maispflanzen für eine Pflanzenidentifikation herangezogen werden. Denn es ist bekannt, daß z. B. die für C4-Pflanzen typische Oberflächentextur der Maispflanzen signifikant von den Texturen der meisten unter nordeuropäischen klimatischen Bedingungen auf dem Acker gedeihenden Pflanzen abweicht. Die Erfassung der Textur des Maises erfordert nach eigenen Erfahrungen eine Merkmalserfassung im hundertstel- bis zehntel-Millimeter- Bereich. Diese kann mit Bildaufnehmern sowie mit Reflexlichtschranken bei Verwendung scharf fokussierter Strahler (z. B. Laserdioden) als kleinräumige Abtastung und Messung der Reemission/Reflexion durchgeführt werden. Eine derartige Messung der Reemission/Reflexion ist bereits in der 195 30 356 beschrieben worden.

Für die dynamische Ausfilterung von Störgrößen an Pflanzenerkennungssensoren können also erstens elektronische Störgrößenfilter genutzt werden, die auch eine eigene Sensorik aufweisen können, welche sich auf Positionsänderungen des Pflanzensensors im Raum oder relativ zu sonstigen Maschinenelementen beziehen oder die sich auf auf den Pflanzensensor einwirkende Kräfte beziehen.

Zweitens können die Pflanzensensoren mit mechanischen Systemelementen zur Schwingungstilgung gekoppelt sein, wobei das aus dem Zusammenwirken der primären Störschwingungen mit den durch die Tilgungsapparatur erzeugten Schwingungen entstehende Störungssystem bei bisherigen Systemen vermutlich chaotisch verläuft und daher eine geringe Eignung aufweist, das Leistungsprofil von Pflanzensensoren zu unterstützen.

Um Echtzeitnähe zu erreichen, hat die mechanische Schwingungstilgung dennoch ein hohes Potential, da sie erstens absolut paralell zur sonstigen Meßwertanalyse erfolgen kann und da sie zweitens aufgrund der Ausnutzung von Trägheitsmomenten zur Beseitigung bestimmter bekannter Frequenzen in gewissem Umfange geeignet ist.

Für das Problem der Messung der Fahrgeschwindigkeit im Pflanzenbestand ist eine elektronische sowie mechanische Schwingungstilgung im Resultat gleichermaßen problembehaftet. Letztlich ist es bei der präzisen Analyse Vereinbarung, welche Geschwindigkeitsänderungen der Gesamtmaschine Schwingungen und welche Änderungen gültige Fahrbewegungen sind und es hängt von den Eigenschaften des Merkmalserfassungssystems ab, welche Schwingungen ausgefiltert werden müssen.

Die Messung der Fahrgeschwindigkeit erfolgt aufgrund der beschreibenen Problematik am besten am Zielobjekt selbst. Dadurch werden systembedingte Totzeiten (z. B. Rechnerzeit) und Störgrößen der beschriebenen Formen bestmöglich reduziert.

Erfindungsgemäße Verfahren Ausführungsbeispiel (Diodenlinie bzw. Diodenraute)

Ein Sender erzeugt hintereinander im Raum, in ihrer Frequenz oder in ihrer Amplitude verschiedene oder verschieden intensive Strahlen, dabei wird z. B. der punktförmige fokussierte Lichtstrahl einer Laserdiode über einen Spiegel in Richtung zu erwartender Zielobjekte abgelenkt (z. B. aus seitlicher Position quer zu einer Pflanzenreihe) und dadurch zu einer Linie mit einer maximalen Strahlungsintensität in der Linienmitte umgeformt. Die durch das Diode-Optik-Spiegel-System (Sender) erzielte "Diodenlinie" hat bekannte Proportionen, z. B. einen Öffnugswinkel von 5%. Pro 10 mm Entfernung vom Senderkopf verlängert sich die Diodenlinie um 0,5 mm. Aufgrund des Öffnungswinkels und der dadurch zunehmenden "Unschärfe" der Diodenlinie verbreitert sich die Diodenlinie zudem, vielleicht etwa um 0,1 mm/10 mm Entfernung. Bei einer effektiven Meßlänge von 0 bis 100 mm werden von einem Sensor Diodenlinien mit Höhen von etwa 0 mm bis 5 mm sowie Breiten von etwa 0 mm bis 1 mm abstandproportional dem Abstand zwischen Sender und dem beleuchteten Objekt auf dem Objekt abgebildet. Als Sender wird bevorzugt eine IR-Diode oder Laserdiode eingesetzt, der eine einstellbare oder automatisch einstellende Linse vorgeschaltet ist.

Wesentlich für die Zielfunktion erscheint die bekannte Form der Diodenlinie (näherungsweise eigentlich eher eine langgezogene Diodenraute). Die Diodenlinie weist eine vollständig bekannte und relativ scharf umrissene Geometrie auf sowie eine für jeden Abstand bekannte Gesamthöhe und -breite. Ein Sensorsystem, z. B. eine Kamera ist etwa parallel zum Sender ausgerichtet und weist einen Erfassungsbereich auf, der die Diodenlinie erfaßt.

Während der Vorbeifahrt an Pflanzenreihen wird die Diodenlinie aus vorzugsweise seitlicher Position auf Pflanzen abgebildet und zur Kamera rückgestreut. Da die Höhe und Breite der Diodenlinie für jeden Abstand bekannt ist, kann durch Messung der Höhe und Breite auf den Abstand zur Zielpflanze geschlossen werden.

Die Messung des Abstandes zur Zielpflanze kann auch erfolgen, indem der Sender und die Kamera im spitzen Winkel zueinander angeordnet sind, so daß abhängig von der Entfernung zwischen Sender und Objekt die Diodenlinie weiter oben oder unten auf der Kamera sichtbar ist bei leicht geneigter oder aufwärts gerichteter Kamera, bzw. mehr links oder rechts sichtbar ist bei gegenüber dem Sender vor- oder nacheilend eingestellter Kamera.

Nachdem auf die beschriebene Weise die Meßsystem-Objekt Entfernung genau ermittelt werden kann, soll desweiteren der Durchmesser des Objektes, z. B. eines Pflanzenstieles gefunden werden. Dies geschieht in der folgenden Weise. Die Diodenlinie hat bekannte Proportionen. Abhängig vom Abstand zu einem Objekt wird sie darauf mehr oder weniger unvollständig abgebildet (Die Abbildung von Mustern auf Pflanzen wird ebenfalls in der 195 30 356.3 beschrieben). Der von der Pflanze reflektierte Abdruck der Diodenlinie weist annährend seine gesamte Höhe auf, da der Stengel vertikal verläuft. Demgegenüber ist die Breite des Abdruckes entsprechend dem vorgefundenen Stengeldurchmesser reduziert.

Aus der Proportion Höhe-Breite der auf dem Objekt abgebildeten Diodenlinie kann die Breite des Objektes, z. B. Pflanzenstengels unabhängig von Störungen anhand z. B. eines Einzelbildes berechnet werden.

Ausführungsbeispiel (Linie)

Wird eine Diode oder Laserdiode in eine über eine Achse oder eine Ebene pendelnde Bewegung versetzt, entsteht für das Auge der Eindruck einer "Linie". Dementsprechend wird eine Diode durch einen Schwingungsmotor oder einen sonstigen Antrieb angeregt, um so eine virtuelle Linie (oder eine sonstige geometrische Figur) zu erzeugen, deren Abmessungen für jeden Abstand bekannt sind. Die Diode ist leicht gegen den Boden geneigt, so daß eine dem Sender zugeordnete Kamera die Linie abstandsproportional weiter oben oder weiter unten im Bild abbildet. Aus der Dauer der Abbildung der z. B. für alle Abstände 5 mm breiten Linie kann auf den Durchmesser der davon überstrichenen Objekte geschlossen werden. Somit kann, wie im vorigen Ausführungsbeispiel der Objektabstand und der Objektdurchmesser ermittelt werden.

Ausführungsbeispiel (Übergang Boden-Pflanze)

Wird die Linie entsprechend dem oben beschriebenen Verfahren in vertikaler Ausrichtung erzeugt, wobei die Diode über eine Drehachse geschwenkt wird (sofern auf elektronischem oder sonstigem elektromechanischem Wege ein Strahl verdreht werden kann, ist dies ebenfalls hier anwendbar) und ist werden von der Linie abwechselnd Bodenkompartimente und aufrechte Pflanzenteile erfaßt, ist die folgende Anwendung damit möglich. Die Kamera ist etwa waagerecht quer in die Reihe hineingerichtet, ihr Öffnungswinkel ist so gewählt, daß auch der Boden vor der Kamera im Bereich der Pflanzenreihe miterfaßt wird. Überstreicht die Linie abwechselnd die aufrechten Pflanzen und den waagerechten Boden, scheint aus Perspektive der Kamera der Bildpunkt auf dem Boden schneller zu wandern, als auf den Stengeln, dies weil der Boden zur Kamera im spitzen Winkel liegt. An dem Ort, an dem die Geschwindigkeit des Bildpunktes wechselt, dringt die Pflanze in den Boden ein bzw. befindet sich ein ggf. annährend waagerechtes (damit zur Kamera ebenfalls spitzwinkeliges) Blatt. Somit ist die Messung der Bewegungsgeschwindigkeit des, die Linie erzeugenden Bildpunktes geeignet, um den Wurzelhals der Pflanze zu ermitteln sowie ist begrenzt geeignet, um störende Blattmasse von Stengeln zu unterscheiden. Bei präzisierter Messung der Bewegung des Bildpunktes kann die Form des Bodenprofiles (z. B. ist eine Radspur bei der Werkzeugjustierung zu berücksichtigen oder welche Arbeitstiefe einstellen?) ebenfalls ermittelt und ausgewertet werden.

Ausführungsbeispiel (Kontur Boden-Pflanze)

Wandert der Bildpunkt, wie im vorher beschriebenen Beispiel über Konturen des Bodens und der Pflanze, können damit die Leistungen aller beschriebenen Systeme kombiniert werden. Davon kann der Pflanzenabstand zum System, der Durchmesser der Pflanzenstengel, die Position des Wurzelhalses der Pflanzenstengel im Boden, das Profil des Bodens sowie störende Blattmasse identifiziert und durch eine Elektronik ausgewertet werden. Dabei ist es unerheblich, ob der Bildpunkt durch ein elektronisches, elektromechanisches oder mechanisches System in Bewegung versetzt wird. Es ist nur ergeblich, daß die Bewegungsgeschwindigkeit des Bildpunktes bekannt ist. Es wird vorgeschlagen, den Antrieb des Bildpunktes bedarfgerecht über ein elektronisches Steuersystem abhängig von der zu bearbeitenden Kultur anzusteuern. Dies über ein Programm, welches den Konturverlauf der durch den Punkt erzeugten Kontur z. B. abhängig von den zu erwartenden Stengeldurchmessern und von der ermittelten mittleren Höhe über dem Boden durch Verstellen des Antriebs des Senders fortwährend einstellt. Somit kann z. B. die Vermessung von Pflanzenstengeln in verschiedenen Höhen über dem Boden erfolgen, Boden oder Blattkonturen können in verschiedener Weise mehrmals gescannt und ausgewertet werden. Insbesondere können uneindeutige Messungen auf diese Weise diversifiziert oder ergänzt werden. Abhängig davon können Werkzeugeinstellungen, z. B. Anpassungen der Arbeitstiefe dann vorgenommen werden. Die Bildauswertung bezieht sich bei allen bisherigen Ausführungsbeispielen nur auf die Positionen bzw. Positionsänderungen von wenigen Bildpunkten, ist also relativ schnell im Vergleich zu einer Gesamtauswertung von Bildinformationen.

Ausführungsbeispiel (dosisäquivalente Reemission)

Es wird angenommen, daß Pflanzen artabhängig auf sie auftreffendes Licht abhängig von der Bestrahlungsintensität in typischer Weise a) reflektieren und b) reemittieren. Ein linearer Anstieg der Beleuchtungsintensität führt mindestens für bestimmte Lichtwellenlängen zu einer Reflektion, die nicht linear mit ansteigen muß sowie zu einer ebenso charakterisierbaren Rückstreuung.

Erfindungsgemäß werden Lichtstrahlen bestimmter Intensität auf die Pflanze abgebildet. Dabei wechselt die Intensität in sehr kurzem Abstand aufrund eines Programms, das die Beleuchtungsintensität steuert. Ein Optosensor, z. B. eine Photodiode oder eine Kamera mißt aus einer dem Sender nahen Position die Reflektion, ein anderer Optosensor mißt aus einer Winkelposition zum Sender die von der Pflanze ausgehende Reemission. Beide Größen werden (ggf. zudem für verschiedene Beleuchtungsstärken oder Lichtwellenlängen) ins Verhältnis gesetzt und die daraus erzeugte Messkurve wird mit einer im Speicher abgelegten weiteren pflanzencharakteristischen Messkurve verglichen. Bei Übereinstimmung der Kurven liegt dann z. B. eine Nutzpflanze vor. Dabei bezieht sich die Messung insbesondere auf einheitliche Pflanzenteile, z. B. Stengelsegmente.

Die Messung der dosisäquivalenten Reemission/Reflektion von Pflanzen ermöglicht somit eine Unterscheidung farbähnlicher Pflanzen aufgrund z. B. des erzielten Durchleuchtungsgrades oder z. B. der Struktur von Gefäßbündeln, da diese inneren Oberflächen die Reemission deutlich mitbestimmen, während die Reflektion der Pflanzen von den Oberflächeneigenschaften, Rauhigkeit, Wachsschicht usw. abhängt.

Ausführungsbeispiel (Kreuzgangmessung)

In einer Ausgestaltung erfolgt durch Messung des primären Strahlenganges (der Reflektion) als Bezugsgröße eine Autojustierung des Sensors für die Messung der Reemission. Es ist z. B. eine Kreuzgangmessung (Binder, Jürgen DE 42 20 913) oder (Feser, Werner DE 40 04 247) bekannt, die hier über verschiedenfarbige Refexlichtschranken ausgestaltet wird, wobei die Lichtwellenlängen der Schranken so entfernt sind, daß sie einen ausreichenden Signalabstand gewährleisten sowie nah beieinander liegen, daß jede Lichtschranke beide Lichtstrahlen messen kann, insbesondere die Reflektion des eigenen Lichtstrahls sowie die Reemission des Lichtstrahles der anderen Lichtschranke.

Ausführungsbeispiel (Elektronik)

Eine Elektronik gibt Stufensignale ab. Diese Signale werden über ein Register sowie eine Verstärkerschaltung für die Anregung einer Diode einer Lichtschranke zu verschieden starken Strahlen genutzt sowie für die Weiterschaltung eines Registerzählers. Somit korreliert die Intensität der Diodenstrahlen mit den Zählwerten eines Zählers. Die aufgrund der aufeinander folgenden und bekannt intensiven Lichtstrahlen erzeugte Reemission/Reflektion wird in einem Speicher eingelesen und den Registerwerten zugeordnet. Die Speicherwerte für identische Register werden verglichen, so daß ein pflanzentypischer Reemissions/Reflektionsanstieg bestimmte Pflanzen signifikant kennzeichnet, dies insbesondere im Zusammenwirken mit dem vorherigen Ausführungsbeispiel.

Ausführungsbeispiel (lokaler Punkt)

Eine Kamera wird zur herkömmlichen Pflanzenerkennung eingesetzt. Um den Abstand eines Objektes von der Kamera zu ermitteln, wird eines der oben beschriebenen Verfahren eingesetzt. Ein scharf fokussierter Strahl wird im spitzen Winkel zur Kamera vorzugsweise quer in die Reihe hineingeleitet. Somit wird aufgrund der Abbildungshöhe des sehr kleinen Punktes auf der Kamera der Objektabstand festgelegt.

Die Bildauswertesoftware zentriert nun den Bildpunkt als Bildzentrum, so bei verwackelungsfreier Befestigung des Bildpunktsenders mit der Kamera unabhähngig von Systemschwingungen die Bildmitte aus dem Einfluß von Störschwingungen leicht herausberechnet werden kann.

Falls ein runder Stengel sowie näherungsweise plane Blätter unterstellt werden, z. B. beim Mais, können zur Unterscheidung der Maisblätter vom Maisstengel in verschiedenen Positionen angeordnete Kameras die durch den Punkt sowie durch einen zweiten größeren und identisch justierten Lichtpunkt ausgeleuchteten Pflanzensegmente auszählen und die Zählwerte miteinander vergleichen. Für runde Stengel wird eine andere Form des größeren Lichtpunktes ermittelt, als für flache Blätter, so daß z. B. Stengel und Blätter durch dieses Verfahren hinreichend unterschieden werden können.

Ausführungsbeispiel (Klassifizierungsgrad)

Vom Unkraut- bzw. Nutzpflanzenerkennungs- oder Klassifizierungsgrad eine Maßnahme kann die Art der Unkrautbekämpfung abhängen. Es wird vorgeschlagen, abhängig von der Eindeutigkeit der durch ein eingsetztes Sensorsystem ermittelten Pflanzenerkennung z. B. eine mechanische Unkrautbekämpfung durchzuführen (Nutzpflanzen sind eindeutig erkannt) oder eine chemische Behandlung durchzuführen (Nutzpflanzen konnten lokal nicht sicher erkannt werden). Dazu sind Applikationseinrichtungen sowie Einrichtungen zur mechanischen, elektrischen oder thermischen Unkrautbekämpfung an einer Bearbeitungsmaschine angeordnet, die abhängig vom Unkraut- bzw. Nutzpflanzenerkennungsgrad angesteuert werden. Ebenfalls kann eine gegenseitige Unterstützung, das heißt eine gleichzeitige nichtchemische Bearbeitung sowie chemische Behandlung durch die Anordnung und funktionale Verknüpfung der Maschinenelemente geleistet werden, z. B. bei sektoraler Problemverunkrautung. Desweiteren ist es somit möglich, die Unkräuter mechanisch vorzubehandeln (zu beschädigen), um sie durch chemische oder besser biologische Präparate besser abtöten zu können.

Claims

1. Verfahren zur Bestimmung der Fahrgeschwindigkeit eines Bodenbearbeitungsfahrzeuges, gekennzeichnet durch mehrmaliges Messen des Abstandes zum Zielobjekt und durch Ermitteln der Abstandsänderung über der Zeit.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
dass ein Laserstrahl bekannter Proportionen eine Diodenlinie erzeugt,
dass die auf das Zielobjekt auftreffende Diodenlinie von einem Sensorsystem, beispielsweise einer Kamera, erfasst wird und dass über das Sensorsystem die Proportionen der auf dem Zielobjekt auftreffenden Diodenlinie ermittelt werden, um hieraus den Abstand zu errechnen.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass der Laserstrahl mittels Spiegel einmal oder mehrfach umgelenkt wird.