DE102017007737A1

DE102017007737A1 - Verfahren und Vorrichtung zum Erfassen einer Abbildung einer Pflanze mit einer Sensoreinrichtung

Info

Publication number: DE102017007737A1
Application number: DE102017007737.1A
Authority: DE
Inventors: Ben Niehaus; Stefan Paulus
Original assignee: LEMNATEC GmbH
Current assignee: LEMNATEC GmbH
Priority date: 2017-08-17
Filing date: 2017-08-17
Publication date: 2019-02-21

Abstract

Bei einem Verfahren zum Erfassen einer Abbildung einer Pflanze mit einer Sensoreinrichtung wird die Sensoreinrichtung mit einem Arm eines Roboters um die Pflanze herum geführt. Die Sensoreinrichtung hat vorzugweise mehrere verschiedene Sensoren. Besonders vorteilhaft sind ein Hyperspektralsensor und ein 3D-Sensor.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erfassen einer Abbildung einer Pflanze mit einer Sensoreinrichtung.
In vielen Fällen ist es notwendig, Pflanzen nicht nur von einer Seite abzubilden, sondern so abzubilden, dass möglichst die gesamte Pflanze von der Abbildung erfasst ist. Hierfür ist es vorteilhaft, wenn die Pflanze auf einen Drehteller gestellt wird und während des Drehens der Pflanze die Abbildung erstellt wird. Hierzu können auch mehrere Sensoren eingesetzt werden oder ein Sensor wird während die Pflanze gedreht wird, auf einer Linie auf- und ab bewegt. Dies ermöglicht einen einfachen Aufbau der Vorrichtung und eine schnelle Erfassung einer Abbildung der gesamten Pflanze.
Der Erfindung liegt die Aufgabe zu Grunde, ein derartiges Verfahren und eine derartige Vorrichtung weiter zu entwickeln. Diese Aufgabe wird verfahrensmäßig mit den Merkmalen des Patentanspruchs 1 und vorrichtungsmäßig mit den Merkmalen des Patentanspruchs 22 gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Das erfindungsgemäße Verfahren hat den Vorteil, dass die Pflanze während des Erfassens der Abbildung absolut ruhig stehen kann und die Sensoreinrichtung in einem beliebigen Abstand zur Pflanze positioniert werden kann. Durch die Optimierung des Abstands zwischen der Sensoreinrichtung und einzelnen Elementen der Pflanze kann eine optimale Abbildungsschärfe erreicht werden und der Verzicht auf eine Bewegung der Pflanze während der Abbildung erleichtert es, eine optimale Abbildung zu erstellen. Außerdem erlaubt das erfindungsgemäße Verfahren das Führen der Sensoreinrichtung möglichst weit an die Pflanze heran, ohne die Pflanze zu berühren. Dadurch ermöglicht das erfindungsgemäße Verfahren ein Vermeiden von Überdeckungen und eine weit höhere Qualität der Abbildung als herkömmliche Verfahren.
In der Praxis besonders vorteilhaft ist es, wenn der gleiche Datensatz zur Bewegung des Arms und zu einer Bestimmung der Pose des Arms verwendet wird. Damit kann auf einfache Art und Weise zu jedem Teil der Abbildung die jeweilige Pose festgehalten werden.
Alternativ oder kumulativ kann auch während der Bewegung des Arms die Pose des Sensors erfasst werden.
Besonders vorteilhaft ist es, wenn die Sensoreinrichtung einen Hyperspektralsensor, insbesondere für den UV-Bereich, aufweist.
Kumulativ oder alternativ kann die Sensoreinrichtung einen 3D-Sensor, einen Thermalsensor, eine RGB-Kamera, eine NIR-Kamera oder einen Fluoreszenzsensor aufweisen.
Für viele Anwendungsfälle ist es vorteilhaft, wenn die Abbildung ein Datensatz eines vollständigen Modells der von außen sichtbaren Bereiche der Pflanze ist. Dabei wird die Sensoreinrichtung so nah an die Pflanze herangeführt, dass möglichst wenig Verdeckungen bestehen, die den von außen sichtbaren Bereich der Pflanze einschränken.
Um möglichst viele Informationen über die Pflanze zu erfassen, wird vorgeschlagen, dass die Abbildung miteinander verrechnete Datensätze unterschiedlicher Sensoren aufweist. Wird der Sensor bewegt ist ein wesentlicher Schritt die Daten der Einzelaufnahmen zu fusionieren (Registrierung). Dabei kommen entweder datengetriebene Lösungen durch Datenmatching-Algorithmen (MapMatching, Passpunktfeatures), vorher definierte Passpunkte (Laserscannerzielzeichen, Kugeln, etc.) oder eine trackende Geometrie (Messarm, Lasertracker etc.) zum Einsatz. Letzteres ermöglicht die Messung einer Pose (Position + Ausrichtung) zu jeder Sensormessung. Damit ist es möglich einzelne Sensormessungen direkt zusammenzusetzen.
Darüber hinaus können die miteinander verrechneten Datensätze auch Daten von Umgebungsinformationen enthalten. Sie können beispielsweise die Bodenfeuchte, die Bodentemperatur und/oder die Raumtemperatur erfassen.
Das erfindungsgemäße Verfahren sieht als ersten Schritt vor, dass die Pflanze in eine definierte Position relativ zum Roboter gebracht wird. Dabei kann die Pflanze beispielsweise durch eine Markierung am Pflanzbehälter auch auf der Position eine definierte Ausrichtung einnehmen, sodass die Pose der Pflanze festgelegt ist.
Anschließend ist vorgesehen, dass die Pflanze während der Messung unbewegt auf der Position bleibt. Obwohl eine gewisse Bewegung der Pflanze während der Messung das Führen der Sensoreinrichtung um die Pflanze herum erleichtern würde, ist es vorteilhaft, wenn die Pflanze während der Messung unbewegt bleibt, um Kollisionen mit dem Arm des Roboters zu vermeiden und ein scharfes Bild der Pflanze aufnehmen zu können.
Die Sensoreinrichtung kann auf einer beliebigen Bahn um die Pflanze herum bewegt werden. Vorteilhaft ist es, wenn dabei alle relevanten Bereiche der Pflanze mit dem Sensor erfasst werden. Um dies sicherzustellen wird vorgeschlagen, dass für das Führen der Sensoreinrichtung um die Pflanze eine definierte Bahn festgelegt wird. Dafür kann zunächst eine die Pflanze umhüllende Form ermittelt werden, um Kollisionen mit der Pflanze zu vermeiden. Es kann jedoch auch eine Standardbahn festgelegt werden, von der abgewichen wird, wenn sich vor der Messung oder während der Messung herausstellt, dass diese Bahn zu nah an die Pflanze heranführt oder sogar mit ihr kollidieren würde.
Eine besonders vorteilhafte Ausführungsvariante sieht vor, dass der Sensor in einem definierten Abstand zum Bereich der Pflanze, auf den er ausgerichtet ist, geführt wird, sofern dies ohne Berührung der Pflanze möglich ist. Dieser definierte Abstand kann auch ein Abstandsbereich sein, der beispielsweise auf die jeweils verwendeten Sensoren abgestimmt sein kann.
Eine einfache Ausführungsform sieht vor, dass während der Bewegung des Arms die Sensoreinrichtung zur Pflanze hin ausgerichtet wird. Grundlage dafür kann eine vorzugsweise vorermittelte Pflanzenform oder ein Zentrum der Pflanze sein.
Um die Sensoreinrichtung mit dem Arm möglichst auf einfacher Art und Weise um die Pflanze herumzuführen wird vorgeschlagen, dass der Arm mindestens zwei und vorzugsweise mindestens drei beabstandete Gelenke aufweist.
Eine vereinfachte Abbildung der Pflanze sieht vor, dass in vorbestimmten Posen oder nach vorbestimmten Zeiten Abbildungen als Bilder der Pflanze gespeichert werden. Dadurch wird der Datensatz deutlich reduziert.
Um die für das Verfahren besonders relevanten Daten zu ermitteln, wird vorgeschlagen, dass in Posen, bei denen ein mit einem Sensor erfasster Wert oder ein aus den Werten mehrerer Sensoren berechneter Wert einen Grenzwert überschreitet, eine Reaktion ausgelöst wird. Dabei kann der Grenzwert auch ein Modell der Pflanze beispielsweise als Form oder Farbfläche sein, das vorbekannt ist, sodass bei einem bestimmten Grad der Abweichung von diesem Wert oder Modell eine bestimmte Reaktion ausgelöst wird. Diese Reaktion kann beispielsweise das Erstellen einer Abbildung sein oder das Speichern des aktuell aufgenommenen Bildes. Beispielsweise kann die Pflanze auch bei Überschreiten des Grenzwertes bewegt werden, um sie auszusondern oder sie wird nach einer Vorgabe, die auch von der Art der Grenzwertüberschreitung abhängig sein kann, behandelt. Diese Vorgabe kann beispielsweise die Intensität oder Dauer der Behandlung mit einem Spritzmittel, insbesondere auch an einer speziellen Stelle der Pflanze sein.
Daher sieht eine spezielle Ausgestaltung des erfindungsgemäßen Verfahrens vor, dass Posen, bei denen ein mit einem Sensor erfasster Wert oder ein aus den Werten mehrerer Sensoren berechneter Wert einen Grenzwert überschreitet mit der dazugehörigen Abbildung gespeichert werden.
Vorrichtungsmäßig wird die der Erfindung zugrunde liegende Aufgabe dadurch gelöst, dass die Sensoreinrichtung derart an einem Arm eines Roboters befestigt ist, dass sie um die Pflanze herumgeführt werden kann.
Dabei kann die Sensoreinrichtung einen Hyperspektralsensor, insbesondere für den UV-Bereich, aufweisen und sie kann kumulativ oder alternativ auch einen 3D-Sensor aufweisen.
Ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung ist in der Zeichnung dargestellt und wird im Folgenden näher erläutert. Es zeigt die einzige Figur schematisch einen Roboterarm mit Sensoreinrichtung.
Die in 1 gezeigte Vorrichtung 1 dient dazu, mit einer Sensoreinrichtung 2 eine einer Pflanze 4 als Datensatz zu erfassen. Dafür weist die Sensoreinrichtung 2 einen Hyperspektralsensor 5 und einen 3D-Sensor 6 auf. Die Sensoreinrichtung 2 ist an einem Arm 7 eines Roboters 8 befestigt.
Der Roboter 8 steht mit einem Rechner 14 in Verbindung, der mit einem Speicher 15 für Grenzwerte und Vergleichswerte und mit einem weiteren Sensor 16 für Umgebungsinformationen 9 in Verbindung steht.
Die Sensoreinrichtung 2 wird so um die Pflanze 4 herumgeführt, dass der Abstand 17 zu dem Bereich 10 der Pflanze 4, auf den der Sensor 2 ausgerichtet ist, auf einem vorbestimmten konstanten Wert bleibt. Dafür ist der Arm 7 mit Gelenken 11, 12 und 13 versehen, zwischen denen Stäbe 18 und 19 vorgesehen sind. Im vorliegenden Fall wird die Sensoreinrichtung 2 mit sechs Freiheitsgraden 20 bis 25 bewegt. Vorteilhaft sind Roboterarme 7 mit fünf bis sieben Freiheitsgraden, um die Pflanze 4 mit möglichst wenig Verdeckung abzubilden.
Zur Durchführung des Verfahrens werden die zu untersuchenden Pflanzen nacheinander manuell oder automatisiert in den Messbereich des Roboterarms 7 gestellt. Dabei können auch mehrere Pflanzen 4 auf einmal vermessen werden. Die Position der Pflanze 4 kann vorgegeben und damit fixiert sein oder mit der Sensoreinrichtung 2 erfasst und gelernt werden. Die Sensoren 5, 6 an der Sensoreinrichtung ermöglichen es, auch während der Vermessung die Position der Pflanze 4 zu prüfen.
In einem angepassten Abstand 17 zur Pflanze 4 oder in einem definierten Abstand zur Mitte der Pflanze 4 wird mit dem Roboterarm 7 die Sensoreinrichtung 2 um die Pflanze gefahren. Der Abstand der Sensoreinrichtung 2 zur Pflanze ist dabei von der Geometrie der Pflanze, den benutzten Sensoren und dem gewünschte Grad an Verdeckung bzw. der gewünschten Auflösung des finalen Modells der Pflanze, der abhängig.
Der Hyperspektralsensor 5 kann Aufnahmen im Bereich von 400 bis 1.000 bzw. 900 bis 2.500 µm erstellen und auch im Bereich zwischen 250 und 500 µm.
Die Sensoreinrichtung 2 kann entweder nach einem vorher festgelegten Bewegungsablauf um die Pflanze geführt werden oder es kann zunächst die Geometrie der Pflanze 4 erfasst werden, um an die Geometrie einer Einzelpflanze, einer Pflanzengruppe oder einer Pflanzenart angepasst den Fahrweg der Sensoreinrichtung 2 festzulegen.
Der Datensatz der beschreibt ein mehrdimensionales Modell aus 3D-Daten, hyperspektralen Daten, thermischen Daten und Fluoreszenzdaten. Dadurch können Abweichungen der Daten durch die Geometrie in Folge unterschiedlicher Auftreffwinkel oder Entfernungen berichtigt werden. Dieses mehrdimensionale Modell ermöglicht die Ableitung von Parametern, die nur mit einem Sensor nicht möglich wäre. Außerdem können sensorübergreifende Analysen durch Machine Learning Methoden oder Deep Learning Ansätze mittels neuronaler Netze oder Support Vector Maschinen durchgeführt werden.
Die Vorrichtung eignet sich vor allem um Parameter wie die Höhe, die Breite und die konvexe Hülle einer Pflanze, Parameter zur Beschreibung einer Ähre, einer Blattstellung, einer Blattfläche oder Stängelparameter abzubilden. Daraus können Ernteprognosen abgeleitet werden und es können Pflanzenkrankheiten, Trockenstress oder Resistenzen erkannt werden. Unterschiede in der Temperatur der Pflanze durch Krankheitsbefall schlagen sich in thermischen Parametern nieder. Fluoreszenzparameter ermöglichen Aussagen zur Funktion und Leistungsfähigkeit des Photosynthesesystems. Eine NIR-Kamera ermittelt den Wassergehalt in Bereichen der Pflanze.
Die unterschiedlichen Sensoren erlauben somit multidimensionale Pflanzenmodelle.

Claims

Verfahren zum Erfassen einer Abbildung (3) einer Pflanze (4) mit einer Sensoreinrichtung (2), dadurch gekennzeichnet, dass die Sensoreinrichtung (2) mit einem Arm (7) eines Roboters (8) um die Pflanze (4) herum geführt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der gleiche Datensatz zur Bewegung des Arms (7) und zu einer Bestimmung der Pose des Arms (7) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass während der Bewegung des Arms (7) die Pose der Sensoreinrichtung (2) erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung (2) einen Hyperspektralsensor (5), insbesondere für den UV-Bereich, aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung (2) einen 3D-Sensor (6) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung (2) einen Thermalsensor aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung eine RGB-Kamera aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung (2) eine NIR-Kamera aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung (2) einen Fluoreszenzsensor aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Abbildung (3) ein Datensatz eines vollständigen Modells der von außen sichtbaren Bereiche der Pflanze (4) ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Abbildung (3) miteinander verrechnete Datensätze unterschiedlicher Sensoren (5, 6) aufweist.
Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass die miteinander verrechneten Datensätze auch Daten von Umgebungsinformationen (9) berücksichtigen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pflanze (4) in eine definierte Position relativ zum Roboter (8) gebracht wird.
Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass die Pflanze (4) während der Messung unbewegt auf der Position bleibt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für das Führen der Sensoreinrichtung (2) um die Pflanze (4) eine definierte Bahn festgelegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Sensoreinrichtung in einem definierten Abstand (17) zum Bereich (10) der Pflanze (4), auf den er ausgerichtet ist, geführt wird, sofern dies ohne Berührung der Pflanze (4) möglich ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass während der Bewegung des Arms (7) die Sensoreinrichtung (2) zur Pflanze (4) hin ausgerichtet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Arm (7) mindestens zwei und vorzugsweise mindestens drei beabstandete Gelenke (11. 12, 13) aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in vorbestimmten Posen oder nach vorbestimmten Zeiten Abbildungen (3) als Bilder der Pflanze (4) gespeichert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in Posen, bei denen ein mit einem Sensor (5, 6) erfasster Wert oder ein aus den Werten mehrerer Sensoren (5, 6) berechneter Wert einen Grenzwert überschreitet, eine Reaktion ausgelöst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Posen, bei denen ein mit einem Sensor (5, 6) erfasster Wert oder ein aus den Werten mehrerer Sensoren (5, 6) berechneter Wert einen Grenzwerte überschreitet, mit der dazu gehörigen Abbildung gespeichert werden.
Vorrichtung (1) zum Erfassen einer Abbildung (3) einer Pflanze (4) mit einer Sensoreinrichtung (2), dadurch gekennzeichnet, dass die Sensoreinrichtung (2) derart an einem Arm (7) eines Roboters (8) befestigt ist, dass sie um die Pflanze (4) herum geführt werden kann.
Vorrichtung nach Anspruch 22, dadurch gekennzeichnet, dass die Sensoreinrichtung (2) einen Hyperspektralsensor (5), insbesondere für den UV-Bereich, aufweist
Vorrichtung nach Anspruch 22 oder 23, dadurch gekennzeichnet, dass die Sensoreinrichtung (2) einen 3D-Sensor (6) aufweist.