-
Die vorliegende Erfindung bezieht sich auf die Erfassung von Pflanzen und insbesondere auf die optische Erfassung von Pflanzen, die auf einem Feld, in einem Gewächshaus oder auf einem Acker eingepflanzt sind oder auf sonstige Art und Weise vorliegen.
-
Die Erfassung von Pflanzen ist in der Agrartechnik von Bedeutung, wobei hier die sogenannte Phenotypisierung von Pflanzen zu nennen ist. Ein weiteres Beispiel für die Erfassung besteht in der Identifizierung von Pflanzen, um beispielsweise ein automatisches Jäten von unerwünschten Pflanzen, d. h. Beikräutern zu ermöglichen.
-
Für die dreidimensionale Erfassung von Objekten sind verschiedene Verfahren gebräuchlich, wie beispielsweise Streifenlichtverfahren oder Lichtschnittverfahren. Diese Verfahren bieten eine hohe räumliche dreidimensionale Auflösung. Sie sind jedoch bezüglich der Beleuchtung auf definierte Umgebungsbedingungen angewiesen. Ein weiterer Nachteil ist, dass die dreidimensionale Erfassung nicht in sehr kurzer Zeit erfolgen kann.
-
Beim Streifenlichtverfahren müssen nacheinander verschiedene Lichtmuster auf das Objekt projiziert werden, während beim Lichtschnittverfahren zu einem gegebenen Zeitpunkt nur eine Höhenlinie erfasst wird. Das Objekt muss also zur dreidimensionalen Erfassung abgescannt werden.
-
Um die definierten Lichtbedingungen auf einem Acker bzw. Feld zu erzeugen, kann man ein Zelt aufbauen, das das Umgebungslicht von dem zu erfassenden Bereich abhält. Dann kann in diesem lichtdichten Zelt eine definierte Umgebungsbedingung hergestellt werden, um das Lichtschnittverfahren bzw. das Streifenlichtverfahren anzuwenden. Wenn ein bestimmter Bereich, der innerhalb des Zelts vorhanden ist, erledigt ist, muss das Zelt abgebaut werden, und an einer anderen Stelle wieder aufgebaut werden, bevor dann an dieser anderen Stelle das Lichtschnittverfahren bzw. das Streifenlichtverfahren angewendet werden kann.
-
Diese Vorgehensweise ist zeitaufwendig und damit teuer. Außerdem ist sie nicht zur dreidimensionalen Erfassung von größeren Flächen geeignet, weil dieses Prozedere zu langsam ist. Um einen ausreichenden Durchsatz zu erreichen, müssten sehr viele Teams parallel arbeiten, was viele Zelte, viele Lichtschnitt-Kameras und damit auch einen hohen Bedarf an ausgebildeten Fachkräften erforderlich macht, was alles zu einer Erhöhung der Kosten führt.
-
Andererseits ist es besonders bei der Entwicklung von Pflanzensaaten von hoher Bedeutung, in regelmäßigen Abständen, wie beispielsweise alle ein bis zwei Wochen eine objektive Beurteilung der von einem Saatgut erzeugten Keimlinge zu erhalten, ohne dass diese Keimlinge zerstört werden. Es sei darauf hingewiesen, dass hier, als Testäcker, Felder eingesetzt werden sollten, die eine Mindestgröße haben, um einigermaßen realistische Wachstumsbedingungen zu haben. Daher werden, wenn große Anbauflächen für ein Saatgut beabsichtigt werden, auch relativ große Testflächen benötigt.
-
Neben Testflächen mit beachtlicher Größe werden auch genaue Daten über die Ausrichtung von Pflanzenblättern im Raum, zur Größe der Pflanzenblätter, zur Struktur der Pflanzenblätter, etc. benötigt, um eine genaue Information über ein bestimmtes Saatgut zu erhalten. Um diese Informationen zuverlässig zu erhalten, wenn die Pflanzen nicht ausgerissen werden dürfen, ist eine dreidimensionale Erfassung notwendig, da im Falle einer zweidimensionalen Erfassung lediglich Projektionen bzw. Silhouetten von Blättern erfasst werden, deren Ausrichtung nicht ermittelt werden kann, und deren wahre Fläche ebenfalls nicht ermittelt werden kann, weil aus einer Projektion ohne Kenntnis über die Ausrichtung der projizierten Fläche nicht auf die Fläche selbst geschlossen werden kann.
-
Die Extraktion von Pflanzenmerkmalen aus Messdaten bildgebender Verfahren wird also in verschiedenen Anwendungen der modernen Agrartechnik und Agrarwissenschaften benötigt. Hierbei ist es notwendig, die Pflanze in den aufgenommenen Daten zu identifizieren und zu unterscheiden, welche Bildregionen die Pflanze beinhaltet und welche Bildbereiche nicht zur Pflanze zählen. Für die Segmentierung werden üblicherweise Farbbilder einer Pflanze herangezogen, da in diesen die grüne Pflanze z. B. von einem braunen Erdboden deutlich unterschieden werden kann.
-
Ein Standardverfahren zur Trennung von Pflanzen- und Hintergrundbereichen mit Hilfe von Vorabdaten ist aus der Fachveröffentlichung „Improving Plant Discrimination in image processing by use of different colour space transformation", I. Philipp, T. Rath, Computers and Electronics in Agriculture 35 (2002) 1–15 (Elsevier), beschrieben.
-
Hierbei werden die RGB-Farbkanäle jedes einzelnen Pixels geeignet transformiert und anschließend anhand eines Entscheidungskriteriums entschieden, ob der Pixel als Pflanzenbildpunkt oder Nicht-Pflanzenbildpunkt (Hintergrund) klassifiziert wird. Beispielsweise kann für jeden Pixel der Anteil des Grünkanals an der Gesamtfarbe bestimmt werden und als Pflanzenpixel klassifiziert werden, wenn dieser über einem Schwellwert liegt.
-
Problematisch bei diesen Verfahren ist die geringe Information eines Farbbilds. Zu jedem Bildpunkt stehen nur drei Werte zur Verfügung: die Helligkeit des Grünkanals, des Rotkanals und des Blaukanals. Gerade bei der Erfassung von Pflanzen können aber z. B. hohe Helligkeitsunterschiede auftreten. Gründe dafür sind z. B. unterschiedliche Winkel der Pflanzenblätter relativ zur Lichtquelle und Schattenwurf durch Pflanzenteile. Zudem ist die Helligkeit innerhalb eines Blattes oder mehrerer Blätter zueinander nicht homogen. Oft besitzen Blätter eine helle Mittelrippe oder einen helleren Stiel.
-
Aufgrund der möglichen großen Variabilität und der limitierten Dynamik der Farbkamera kommt es vor, dass helle Pflanzenregionen überbelichtet und dunkle Pflanzenregionen unterbelichtet sind. So sind beispielsweise helle Blattstiele überbelichtet, während manche Regionen an den Blatträndern aufgrund der Wölbung nach unten für eine sichere Segmentierung zu dunkel sind.
-
Die Aufgabe der vorliegenden Erfindung besteht darin, ein verbessertes Konzept zum Erfassen einer Pflanze vor einem Hintergrund zu schaffen.
-
Diese Aufgabe wird durch eine Vorrichtung zum Erfassen einer Pflanze gemäß Patentanspruch 1, ein Verfahren zum Erfassen einer Pflanze gemäß Patentanspruch 14 oder ein Computer-Programm gemäß Patentanspruch 15 gelöst.
-
Eine Vorrichtung zum Erfassen einer Pflanze, wie z. B. eines Pflanzenblatts, vor einem Hintergrund umfasst eine Einrichtung zum Bereitstellen einer Mehrzahl von unterschiedlichen Aufnahmen des Pflanzenblatts vor dem Hintergrund, wobei sich die Aufnahmen dadurch unterscheiden, dass Bildpunkte der unterschiedlichen Aufnahmen, die sich auf dieselbe Stelle des Pflanzenblatts beziehen, unterschiedlich hell sind. Ferner ist eine Einrichtung zum Auswählen von Bildpunkten aus den unterschiedlichen Aufnahmen vorgesehen, deren Helligkeiten in einem vorbestimmten Bereich liegen, wobei für eine erste Stelle des Pflanzenblatts ein Bildpunkt einer ersten Aufnahme ausgewählt wird und für eine andere Stelle des Pflanzenblatts ein Bildpunkt einer zweiten anderen Aufnahme ausgewählt wird, um eine zusammengesetzte Darstellung bzw. fusionierte Darstellung des Pflanzenblatts vor dem Hintergrund zu erhalten, die aus verschiedenen Aufnahmen zusammengesetzt bzw. fusioniert ist. Ferner ist eine Einrichtung zum Segmentieren der zusammengesetzten Aufnahme vorgesehen, um eine Segmentdarstellung zu erhalten, die das Pflanzenblatt ohne den Hintergrund oder den Hintergrund ohne das Pflanzenblatt aufweist.
-
Die vorliegende Erfindung basiert auf der Erkenntnis, dass eine stabilere und zuverlässige Segmentierung von Pflanzen in Farbaufnahmen dadurch erreicht werden kann, dass mehrere Aufnahmen derselben Pflanze, wie z. B. eines Pflanzenblatts oder allgemein eines Pflanzenteils oder mehrerer Pflanzen, generiert werden, die unterschiedlich hell sind, um dann eine Dynamikkompression durchzuführen. Dadurch werden überbelichtete Abschnitte einer Aufnahme durch dieselben Abschnitte einer anderen Aufnahme mit einer geringeren Belichtung ersetzt. Die geringer belichtete Aufnahme führt nämlich dazu, dass die in der ersten Aufnahme überbelichteten Bereiche normal belichtet sind. Andererseits sind normal belichtete Bereiche des ersten Aufnahme in der unterbelichteten zweiten Aufnahme wahrscheinlich unterbelichtet, was jedoch unkritisch ist, da die normal belichteten Bereiche der ersten Aufnahme für den entsprechenden Bildbereich genommen werden können. Genauso können in der ersten Aufnahme unterbelichtete Bereiche aus einer weiteren Aufnahme genommen werden, die sehr stark belichtet ist. Diese starke Belichtung führt dazu, dass die eigentlich in der ersten Aufnahme unterbelichteten Bereiche normal belichtet sind, während natürlich Bereiche der ersten Aufnahme, die dort bereits überbelichtet sind, noch stärker überbelichtet sind. Dies ist jedoch unkritisch, weil die überbelichteten Bereiche der ersten Aufnahme nicht genommen werden müssen, sondern stattdessen die entsprechenden Bereiche der zweiten Aufnahme, die weniger als die erste Aufnahme belichtet worden ist.
-
Erfindungsgemäß wird somit eine zusammengesetzte Darstellung des Pflanzenblatts erzeugt, die eine deutlich geringere Dynamik hat als sie in den ursprünglichen Aufnahmen zu finden ist. Würde die zusammengesetzte Darstellung visuell z. B. auf einem Monitor oder einem Photo angezeigt werden, so hat diese keine besonders gute Qualität. Allerdings ist aufgrund der durchgeführten Dynamikkompression diese zusammengesetzte Darstellung besonders gut für eine nachfolgende Segmentierung geeignet, da dort Überbelichtungs- bzw. Unterbelichtungs-Problematiken eliminiert worden sind.
-
Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen detailliert erläutert. Es zeigen:
-
1 ein Blockschaltbild einer erfindungsgemäßen Vorrichtung zum Erfassen eines Pflanzenblatts bzw. eine Darstellung eines Verfahrens zum Erfassen eines Pflanzenblatts.
-
1a eine schematische Darstellung eines ersten mittelbelichteten Bilds;
-
2b eine schematische Darstellung eines zweiten stark belichteten Bilds;
-
2c eine schematische Darstellung eines dritten schwach belichteten Bilds;
-
2d eine schematische Darstellung mit der zusammengesetzten Darstellung;
-
3a eine schematische Darstellung des Bilds mit Pixelnummerierung;
-
3b eine listenmäßige Aufbereitung der zusammengesetzten Darstellung;
-
4 ein Flussdiagramm eines bevorzugten Verfahrens zum Erfassen eines Pflanzenblatts;
-
5a bis 5g verschiedene Aufnahmen mit zunehmender Belichtungszeit derselben Pflanze;
-
5h eine Darstellung des Ergebnisses des Separationsalgorithmus; und
-
5i eine optische Darstellung der zusammengesetzten Darstellung, mit der der Segmentierungsalgorithmus ausgeführt worden ist, um 5h zu erhalten.
-
1 zeigt eine Vorrichtung zum Erfassen eines Pflanzenblatts vor einem Hintergrund. Die Vorrichtung umfasst eine Einrichtung 10 zum Bereitstellen einer Mehrzahl von unterschiedlichen Aufnahmen des Pflanzenblatts vor dem Hintergrund, wobei sich die Aufnahmen dadurch unterscheiden, dass Bildpunkte der unterschiedlichen Aufnahmen, die sich auf dieselbe Stelle des Pflanzenblatts beziehen, unterschiedlich hell ausgeleuchtet sind.
-
Die Einrichtung 10 zum Bereitstellen ist mit einer Einrichtung 12 zum Auswählen von Bildpunkten aus den unterschiedlichen Aufnahmen gekoppelt, wobei die Helligkeiten der unterschiedlichen Aufnahmen in einem vorbestimmten Bereich liegen. Insbesondere ist die Einrichtung zum Auswählen derart ausgebildet, dass für eine erste Stelle des Pflanzenblatts ein Bildpunkt einer Aufnahme ausgewählt wird und für eine andere Stelle des Pflanzenblatts ein Bildpunkt einer zweiten anderen Aufnahme ausgewählt wird, um eine zusammengesetzte Darstellung des Pflanzenblatts vor dem Hintergrund zu erhalten, der aus verschiedenen Aufnahmen zusammengesetzt ist. Die Einrichtung 12 zum Auswählen ist mit einer Einrichtung 14 zum Segmentieren der zusammengesetzten Aufnahme gekoppelt, um eine Segmentdarstellung zu erhalten, die lediglich das Pflanzenblatt ohne den Hintergrund oder den Hintergrund ohne das Pflanzenblatt aufweist.
-
Die Einrichtung 10 zum Bereitstellen unterschiedlicher Aufnahmen ist beispielsweise als Farbkamera ausgebildet, die dasselbe Pflanzenblatt vor dem Hintergrund mit unterschiedlichen Belichtungszeiten aufnimmt, um die unterschiedlichen Aufnahmen zu erzeugen. Statt einer einzelnen Bildaufnahme wird also für jeden Bildpunkt eine Reihe von Aufnahmen gemacht, wobei die einzelnen Bildpunkte unterschiedlich ausgeleuchtet sind. Je nach Implementierung kann dies auf verschiedene Art und Weise erreicht werden. Beispielsweise kann die Belichtungszeit, die Beleuchtungsintensität, die Beleuchtungsrichtung oder die Kameraempfindlichkeit variiert werden. Je nach Implementierung werden beispielsweise die Positionen von Farbkamera und Pflanzenblatt stationär gehalten, so dass sich in den unterschiedlichen Aufnahmen eine 1:1 Korrespondenz der einzelnen Pixel ergibt. Alternativ kann zwischen den verschiedenen Aufnahmen auch der relative Ort der Beleuchtung, der Pflanze oder der Kamera geändert werden. Hier ist es jedoch dann nötig, dass korrespondierende Bildpunkte einander zugeordnet werden. Dies kann z. B. dadurch geschehen, dass Lagesensoren z. B. in der Kamera eingesetzt werden. Solche Lagesensoren sind beispielsweise Positionsgeber oder Beschleunigungssensoren. Alternativ kann auch ohne Beschleunigungssensoren gearbeitet werden. In diesem Fall ist die Einrichtung 10 zum Bereitstellen ausgebildet, um aus den verschiedenen Aufnahmen gemeinsame Merkmale zu extrahieren und aufgrund der Veränderung eines solchen gemeinsamen Merkmals von einer Aufnahme zur nächsten einen Bewegungsvektor zu erzeugen, der die Relativbewegung zwischen Kamera und Pflanzenblatt beschreibt. Dieser Bewegungsvektor kann ein zweidimensionaler Vektor sein, wenn sich der Abstand zum Pflanzenblatt nicht geändert hat. Sollten sich jedoch Pflanzenblatt und Kamera bezüglich Ihres Abstands zueinander ändern, so wird der Bewegungsvektor ein dreidimensionaler Vektor sein. Die dritte Dimension, also der Abstand zwischen Kamera und Pflanzenblatt kann ebenfalls aufgrund gemeinsamer extrahierter Merkmale aus den Bildern ermittelt werden. Ist beispielsweise das gemeinsame Merkmal einer zweiten Aufnahme kleiner als das entsprechende Merkmal in der ersten Aufnahme, so war der Abstand zwischen Kamera und Pflanzenblatt bei der zweiten Aufnahme größer. Aufgrund des Verhältnisses der Größen der gemeinsamen Merkmale in den unterschiedlichen Aufnahmen wird dann der Abstand berechnet.
-
Typischerweise hat eine kommerziell erhältliche Kamera eine Farbtiefe bzw. einen Dynamikbereich von 8 Bit. Dies entspricht 256 Farbabstufungen bzw. Helligkeiten pro Farbkanal. Vorzugsweise wird dieser gesamte Dynamikbereich in eine Anzahl N von unterschiedlichen Teildynamikbereichen aufgeteilt. Wird beispielsweise eine Aufteilung des gesamten maximalen Dynamikbereichs in fünf Teilbereiche vorgenommen, so hat jeder Teilbereich eine Menge von 51 Farbabstufungen bzw. Helligkeiten pro Farbkanal. Dann würden insgesamt fünf Aufnahmen des Pflanzenblatts gemacht werden, wobei für jede Aufnahme die Belichtung so eingestellt wird, dass der Dynamikbereich, wenn möglich in den entsprechenden Teilbereich fällt. Je nach Implementierung wird die Aufteilung in mehr Dynamikteilbereiche vorgenommen, was unmittelbar zu mehr einzelnen Aufnahmen führt. Alternativ können auch weniger Aufnahmen gemacht werden, wie beispielsweise nur drei Aufnahmen, wobei dann die Belichtung so eingestellt wird, dass überwiegend belichtete Pixel in drei unterschiedlichen Dynamikbereichen existieren. So hätte bei einer Aufteilung in drei Dynamikbereiche jeder Dynamikbereich etwa 85 Helligkeits- bzw. Farbabstufungen pro Farbkanal.
-
Die Einrichtung 12 zum Auswählen wird je nach Implementierung derart ausgebildet, dass aus den erstellten Aufnahmen eine Reihe von Bildhelligkeiten für korrespondierende Punkte unter Berücksichtigung der Aufnahmeparameter, insbesondere des Orts von Kamera und Objekt, zusammengestellt wird. Die Einrichtung 12 zum Auswählen greift somit auf die Ergebnisse der Einrichtung 10 zum Bereitstellen zurück, und insbesondere auf einen zwei- oder dreidimensionalen Bewegungsvektor bei einer zugelassenen Relativbewegung zwischen Kamera und Blatt. Wird dagegen keine Relativbewegung zwischen Kamera und Blatt auftreten, so führt dies dazu, dass die unterschiedlichen Aufnahmen denselben Abschnitt des Pflanzenblatts vor dem Hintergrund wiedergeben und damit die einzelnen Pixel sich 1:1 entsprechen. Ein Pixel mit einer bestimmten Koordinate in einer Aufnahme gibt somit dieselbe Stelle des Pflanzenblatts wieder, wie das Pixel mit der gleichen Koordinate in einer anderen Aufnahme.
-
Nachfolgend werden anhand der 2a bis 3b verschiedene Implementierungen der Einrichtung 12 zum Auswählen dargestellt.
-
2a zeigt eine schematische Darstellung eines ersten Bilds bzw. einer ersten Aufnahme, die mittelbelichtet worden ist. Das „G” in den einzelnen Pixeln, wobei beispielhaft ein Bild mit 8 × 8 = 64 Pixel gezeigt ist, zeigt die Helligkeit des Grün-Kanals. So ist zu sehen, dass die Helligkeiten des Grünkanals zwischen 1 (links in 2a) und 20 (rechts in 2a) variieren, wobei für dieses Beispiel von einem maximalen Dynamikbereich von 1 bis 20 ausgegangen wird. Die mittlere Belichtung hat beispielsweise eine Digitalkamera mit einer Belichtungsautomatik bestimmt, wobei jedoch zu sehen ist, dass der linke Bereich des Pflanzenblatts unterbelichtet ist, während der rechte Bereich des Pflanzenblatts überbelichtet ist. Lediglich der Übersichtlichkeit halber wurden die anderen Pixel, die in 2a nicht extra bezeichnet sind, freigelassen. Selbstverständlich enthalten diese ebenfalls Informationen in den drei Farbkanälen. 2a zeigt zusätzlich die bereits als Ergebnis der Segmentierung betrachteten Pixel des Blatts, das eine etwa dreieckige Form in 2a annimmt. Selbstverständlich ist jedoch die Segmentierung zum Zeitpunkt der Aufnahme von 2a noch nicht bekannt, sondern wird dann auf der Basis der zusammengesetzten Darstellung, wie sie z. B. in 2d dargestellt ist, berechnet.
-
Die typische Segmentierung wird jedoch, wenn sie unmittelbar auf das erste Bild in 2a angewendet wird, eine reduzierte Zuverlässigkeit haben, weil die überbelichteten Bereiche rechts in 2a und die unterbelichteten Bereiche links in 2a nicht zuverlässig erfasst werden können.
-
2b zeigt eine weitere Aufnahme bzw. ein zweites Bild des Pflanzenblatts vor dem Hintergrund, nun jedoch mit starker Belichtung. Dies führt dazu, dass die stark belichteten Bereiche rechts in 2b durch die noch stärkere Belichtung in die Sättigung gehen und alle mit der maximalen Helligkeit 20 erscheinen. Auch die mittleren Bereiche werden mit der maximalen bzw. nahezu maximalen Helligkeit aufgezeichnet. Die unterbelichteten Bereiche links in 2b bzw. 2a werden nun jedoch etwa normal belichtet. Für das in 2b gezeigte Beispiel wurde die Belichtung so erhöht, dass sich bezüglich Bild 1 Helligkeiten ergeben, die um „neun” höher sind.
-
2c zeigt eine weiter Aufnahme der Mehrzahl von Aufnahmen, die durch die Einrichtung 10 von 1 erzeugt worden ist. Hier ist eine schwache Belichtung genommen worden, was dazu führt, dass die ohnehin bereits schwach belichteten Bereiche links in 2c an der unteren Sättigung liegen, also gleich schwach belichtet bleiben. Die Aufnahme mit schwacher Belichtung führt jedoch dazu, dass die in 2a und 2b überbelichteten Bereiche nunmehr in einem mittleren Dynamikbereich liegen. Bezüglich Bild 1 wurde in 2c die Helligkeit um einen Wert von „9” geringer gewählt.
-
Es sei darauf hingewiesen, dass typische Farbkameras, wie bereits ausgeführt, einen Dynamikbereich von 256 haben. Lediglich beispielhaft wurde in den 2a bis 2c eine maximale Dynamik von 20 angenommen.
-
2d zeigt nunmehr ein zusammengesetztes bzw. fusioniertes Bild, das entstanden ist, nachdem ein Auswahlbereich der Helligkeiten angesetzt worden ist, der Helligkeiten zwischen 9 und 14 umfasst. Daraus zeigt sich, dass der mittlere Bereich vom ersten Bild von 2a ausgewählt worden ist, dass der linke Bereich vom zweiten stark belichteten Bild von 2b ausgewählt worden ist und dass der rechte Bereich vom dritten schwach belichteten Bild aus 2d ausgewählt worden ist.
-
Für die Auswahl der einzelnen Pixel aus den unterschiedlichen Bildern wurde bei den in 2d gezeigten Beispiel ein mittlerer Bereich von 9 bis 14 vorgesehen. Alternativ kann die Auswahl jedoch auch so erfolgen, dass für jedes Pixel bestimmt wird, von welcher Aufnahme ein Pixel existiert, dass am nächsten an dem halben maximalen Dynamikbereich, also am nächsten bei 10 liegt. Das Ergebnis würde bei dem in den 2a bis 2d dargestellten Beispiel zur selben zusammengesetzten Darstellung von 2d führen. Allerdings ist diese Implementierung, also dass pro Pixel jeweils eine Auswahl des Pixels getroffen wird, dessen Pixel am nächsten beim Zielwert liegt, sichergestellt, dass automatisch immer pro Pixel eine Information aus irgendeinem der Mehrzahl von Bildern gefunden wird.
-
Das in 2d gezeigte zusammengesetzte Bild kann tatsächlich so erzeugt werden, dass es wie eine einzige Aufnahme erscheint. Eine visuelle Darstellung dieses zusammengesetzten Bildes ist ebenfalls möglich, ist jedoch für einen Betrachter von geringer Qualität und nicht schön zu betrachten. Dies liegt daran, dass das Bild einer komprimierte Dynamik hat, die nur zwischen 9 und 14 liegt, während die Dynamikbereiche der zugrundeliegenden Aufnahmen allesamt größer sind und, wobei insbesondere der Dynamikbereich der ersten Aufnahme der maximale Dynamikbereich zwischen 1 und 20 ist. Um eine Segmentierung durchzuführen, ist es jedoch nicht erforderlich, die zusammengesetzte Darstellung als zusammengesetztes Bild zu erzeugen. Dies hängt lediglich davon ab, in welcher Form der Segmentierungsalgorithmus, der in der Einrichtung 14 zum Segmentieren ausgeführt wird, die Eingangsdaten benötigt. Alternativ kann auch eine Liste mit Verweisen als zusammengesetzte Darstellung erzeugt werden, die sich dadurch auszeichnet, dass pro Pixel ein Verweis auf eines der Mehrzahl von Aufnahmen existiert.
-
In diesem Zusammenhang wird nachfolgend Bezug nehmend auf 3a und 3b eine alternative Erzeugung der zusammengesetzten Darstellung gegeben. 3a zeigt wieder das Bild, nun jedoch mit den Pixelkoordinaten für die in den 2a bis 2d besprochenen Pixel. Darüber hinaus zeigt die Tabelle in 3b jeweils pro Pixelkoordinate den Helligkeitswert des entsprechenden Bildes. In der letzten Spalte der Tabelle in 3b findet sich die Auswahl, wobei jedem Pixel nunmehr ein Verweis auf Bild 1, Bild 2 oder Bild 3 zugeordnet ist. Die zusammengesetzte Darstellung wäre somit eine Liste der Pixelkoordinaten 1 bis 64 sowie, jeder Pixelkoordinate zugeordnet eine Auswahlinformation, aus welchem der einzelnen Aufnahmen das Pixel mit dieser Koordinate genommen wird, um in der zusammengesetzten Darstellung zu erscheinen. Wird diese Liste von 3b in eine einzige zusammengesetzte Pixelaufnahme bzw. in ein Pixelarray umgeformt, so entsteht genau die Darstellung in 2d.
-
Die Einrichtung 12 zum Auswählen kann ferner dahin gehend implementiert sein, dass für jeden Bildpunkt eine Reihe von Bildhelligkeiten bzw. Helligkeitsdaten ausgewertet und zur Segmentierung benutzt wird. Ein Algorithmus würde beispielsweise darin bestehen, dass aus der gewonnen Reihe diejenigen Werte benutzt werden, bei denen sich die Helligkeit eines Farbkanals bzw. die mittlere Helligkeit aller Farbkanäle möglichst im mittleren Dynamikbereich der Kamera befindet. So wird vermieden, dass über- oder unterbelichtete Pixel auftreten, und dort eine sichere Segmentierung nicht erfolgen kann. Ein so generiertes Farbbild bzw. eine derart generierte zusammengesetzte Darstellung kann dann je nach Implementierung mit einem Standardalgorithmus segmentiert werden. Ein komplexerer Segmentierungsalgorithmus würde darüber hinaus den Verlauf der Helligkeit für alle drei Farbkanäle unter Einbezug der Aufnahmesituation berücksichtigen und zur Segmentierung verwenden.
-
Obgleich anhand der 2a bis 3b lediglich die Grün-Helligkeitswerte der einzelnen Bildpunkte aus den einzelnen Aufnahmen betrachtet worden sind, was hier intuitiv betrachtet zur Erfassung einer grünen Pflanze sinnvoll erscheint, wurde herausgefunden, dass bessere Ergebnisse bei der Segmentierung dadurch erzielt werden, dass nicht die Helligkeiten eines Farbkanals ausgewählt werden und die Helligkeiten der anderen Farbkanäle verworfen werden. Stattdessen wird es bevorzugt, für jeden Bildpunkt eine mittlere Helligkeit auf sämtlichen Farbkanälen für diesen Bildpunkt zu berechnen und auf der Basis dieses mittleren Werts dann die Auswahl gemäß 2d oder 3b vorzunehmen.
-
Nachfolgend wird anhand von 4 eine bevorzugte Implementierung des Verfahrens zum Erfassen eines Bildes dargestellt. In einem Schritt 40 werden durch die Einrichtung 10 zum Bereitstellen von 1 mehrere Aufnahmen mit unterschiedlicher Belichtung erzeugt. Diese Erzeugung kann zum Beispiel durch eine handelsübliche Farb-Digital-Kamera erfolgen. Alternativ können auch bereits vorher aufgenommene Bilder durch die Einrichtung zum Bereitstellen unterschiedlicher Aufnahmen eingelesen werden. In einem Schritt 41 wird dann durch die Einrichtung 12 zum Auswählen eine Berechnung der mittleren Helligkeit pro Pixel aus den drei Farbkanälen für jedes Bild vorgenommen, so dass damit eine Darstellung jeder Aufnahme erzeugt wird, die pro Pixel nur noch einen mittleren Helligkeitswert hat. Hierauf wird in einem Schritt 42 für jedes Pixel eine Auswahl vorgenommen. Insbesondere wird das Pixel aus dem entsprechenden Bild ausgewählt, dessen mittlere Helligkeit am nächsten an der halben Maximalhelligkeit ist. Ist die Maximalhelligkeit z. B. ein Wert von 256, so wäre die halbe Maximalhelligkeit 128. Dieser mittlere Wert wird bevorzugt. Es hat sich jedoch gezeigt, dass ähnlich gute Ergebnisse erhalten werden, wenn die halbe Maximalhelligkeit um + oder –50% der halben Maximalhelligkeit variiert wird, wenn also statt 128 ein Wert 192 genommen wird oder statt 128 ein Wert von 64 genommen wird.
-
Auf der Basis des Ergebnisses von Schritt 42 wird in einem Schritt 43 eine zusammengesetzte Darstellung entweder als Pixelarray gemäß 2d oder als Liste von Verweisen auf die einzelnen Bilder gemäß 3b oder in einer anderen vielfach geläufigen Form erzeugt. Dann wird in einem Schritt 44 durch die Einrichtung 14 von 1 eine Segmentierung aufgrund der zusammengesetzten Darstellung vorgenommen und es werden gegebenenfalls Blattmerkmale berechnet. Diese Blattmerkmale beziehen sich auf eine Anzahl von Blättern, auf die Größe der einzelnen Blätter, auf Flächeninhalte bzw. Flächenformen und auch auf die Ausrichtung des Blatts bzw. einen Neigungswinkel des Blatt, z. B. bezüglich der Sonne, einer anderen Beleuchtungsquelle oder bezüglich einer Bezugsrichtung.
-
Die Segmentierung im Schritt 4 wird vorzugsweise vorgenommen, wie es in dem vorher genannten Dokument dargelegt ist. Insbesondere wird eine Unterscheidungsanalyse (discriminant analysis) durchgeführt, die aus zwei Teilen besteht. Zunächst wird eine Farbraumtransformation durchgeführt, der dann eine Binarisierung folgt. Die Binarisierung betrifft die Unterscheidung zwischen der Pflanze und dem Boden bzw. Hintergrund. Hierzu wird keine Extraschwellenbildung benötigt. Durch Verwendung von speziell erzeugten Trainingsdaten 14 und der folgenden Unterscheidungsfunktion, die linear oder logarithmisch sein kann, wird die Wahrscheinlichkeit berechnet, dass jedes Pixel der Testbilder zu einer entsprechenden Gruppe (Pflanze oder Hintergrund) gehört. Dann wird jedes Pixel basierend auf der berechneten Wahrscheinlichkeit einer Gruppe zugewiesen. Um einen unbekannten Datensatz unter Verwendung der Unterscheidungsanalyse oder der kanonischen Transformation zu analysieren, wird der Trainingsdatensatz benötigt. Er definiert die unterschiedlichen Gruppen und ihre Charakteristiken. Daher werden unterschiedliche Bilder unter verschiedenen Umgebungsbedingungen aufgenommen. Auf jedem Bild können beispielsweise 20 Pflanzen- und 20 Hintergrund- bzw. Boden-Regionen manuell markiert werden. Für jede Region wird die mittlere Grauintensität jedes Kanals berechnet und als Trainingsdatensatz gespeichert.
-
5a bis 5g zeigen verschiedene Aufnahmen mit zunehmender Belichtungszeit derselben Pflanze. Insbesondere sind sieben Aufnahmen dargestellt, wobei 5a sehr dunkel, also insgesamt relativ unterbelichtet ist, und 5g sehr hell ist, also insgesamt relativ überbelichtet ist. 5i zeigt eine optische bzw. visuelle Darstellung der zusammengesetzten bzw. fusionierten Darstellung, wie sie von der Auswahleinrichtung z. B. gemäß 4 erzeugt wird. Man kann eine schlechte optische Qualität aufgrund der reduzierten bzw. komprimierten Dynamik erkennen. Diese schlechte optische Qualität ist jedoch irrelevant, weil die fusionierte Darstellung nicht optisch angezeigt werden muss, sondern lediglich in den Segmentierungsalgorithmus eingespeist werden soll. 5h zeigt eine Darstellung des Ergebnisses des Separationsalgorithmus mit einem deutlichen Ergebnis der Pflanze. Ferner sind rechts noch zwei allerdings klar abgegrenzte Artefakte zu sehen, die ohne weiteres herausgefiltert werden können. Auf der Basis der Darstellung von 5h, die ebenfalls nicht unbedingt in der illustrierten optischen Form vorliegen muss, können dann weitere Berechnungen bzw. Bestimmungen von Pflanzenmerkmalen vorgenommen werden.
-
Obgleich vorstehend bestimmte Merkmale der vorliegenden Erfindung in Verbindung mit einer Vorrichtung oder einem Verfahren dargestellt worden sind, sei darauf hingewiesen, dass die Beschreibung von Vorrichtungsmerkmalen gleichzeitig eine Beschreibung der Funktionalität in Verfahrensform bzw. als Verfahrensschritt ist, und dass darüber hinaus die Beschreibung von Verfahrensschritten gleichzeitig eine Beschreibung eines Vorrichtungsmerkmals ist, also einer Vorrichtung bzw. Einrichtung, die ausgebildet ist, um diesen Verfahrensschritt durchzuführen.
-
Abhängig von den Gegebenheiten kann das erfindungsgemäße Verfahren zum Analysieren eines Informationssignals in Hardware oder in Software implementiert werden. Die Implementierung kann auf einem nicht vergänglichen Speichermedium (non-transitory storage medium) oder einem digitalen Speichermedium, insbesondere einer Diskette oder CD mit elektronisch auslesbaren Steuersignalen erfolgen, die so mit einem programmierbaren Computersystem zusammenwirken können, dass das Verfahren ausgeführt wird. Allgemein besteht die Erfindung somit auch in einem Computer-Programm-Produkt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des Verfahrens, wenn das Computer-Programm-Produkt auf einem Rechner abläuft. In anderen Worten ausgedrückt kann die Erfindung somit als ein Computer-Programm mit einem Programmcode zur Durchführung des Verfahrens realisiert werden, wenn das Computer-Programm auf einem Computer abläuft.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Fachveröffentlichung „Improving Plant Discrimination in image processing by use of different colour space transformation”, I. Philipp, T. Rath, Computers and Electronics in Agriculture 35 (2002) 1–15 (Elsevier) [0010]
