DE102011086091B4

DE102011086091B4 - Device and method for mechanical thinning of flowers

Info

Publication number: DE102011086091B4
Application number: DE102011086091.6A
Authority: DE
Inventors: Adrian Schischmanow; Martin Scheele
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2011-11-10
Filing date: 2011-11-10
Publication date: 2016-12-08
Anticipated expiration: 2031-11-11
Also published as: WO2013068521A1; DE102011086091A1

Abstract

Vorrichtung (1) zum mechanischen Ausdünnen von Blüten, insbesondere von Obstbäumen, umfassend einen mechanischen Aktor (6), dadurch gekennzeichnet, dass die Vorrichtung (1) mindestens einen optischen Detektor, eine Positionsbestimmungseinrichtung (3) und eine Auswerteeinheit (4) umfasst, wobei mittels des oder der optischen Detektoren mindestens zwei Aufnahmen (B1, B2) zur Erzeugung eines Stereobildes aufgenommen werden und aus dem Stereobild ein 3D-Modell berechnet wird, wobei in dem 3D-Modell Bereiche maskiert werden, die außerhalb eines vorgegebenen Abstandsbereiches liegen und/oder zum Horizont und/oder zum Bodenbereich gehören und in einem Grauwertbild und/oder in einem Farbbild eine Bildsegmentierung mittels mindestens eines Merkmalsextraktionsverfahrens durchgeführt wird, wobei das maskierte 3D-Modell und das segmentierte Bild fusioniert werden, wobei die Auswerteeinheit (4) aus dem fusionierten Bild eine Blütendichte ermittelt, wobei der mechanische Aktor (6) in Abhängigkeit der ermittelten Blütendichte angesteuert wird.Device (1) for mechanical thinning of flowers, in particular of fruit trees, comprising a mechanical actuator (6), characterized in that the device (1) comprises at least one optical detector, a position determining device (3) and an evaluation unit (4), wherein at least two recordings (B1, B2) for generating a stereo image are recorded by means of the optical detector (s) and a 3D model is calculated from the stereo image, wherein areas are masked in the 3D model that are outside a predetermined distance range and / or belong to the horizon and / or the floor area and in a gray value image and / or in a color image image segmentation by means of at least one feature extraction method is performed, wherein the masked 3D model and the segmented image are merged, wherein the evaluation unit (4) from the merged image determines a bloom density, wherein the mechanical actuator (6) depending on The determined flower density is controlled.

Description

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zum mechanischen Ausdünnen von Blüten, insbesondere von Obstbäumen. The invention relates to a device and a method for the mechanical thinning of flowers, in particular of fruit trees.

Aus der DE 197 13 452 A1 ist eine Vorrichtung zum Ausdünnen von Obstbäumen oder anderen mit Ästen und Zweigen versehenen Fruchtgehölzen durch Verringern der Anzahl von Blüten und/oder Fruchtansätzen bekannt, mit einem langgestreckten, um die Längsachse drehbaren Körper und einer Vielzahl peitschenartigen Zinken aus einem flexiblen Material, die im Wesentlichen radial von dem langgestreckten Körper abstehen, wobei der drehbare Körper in einem Rahmen gehalten ist. Dabei ist der Rahmen über eine Antriebseinrichtung in einer im Wesentlichen gleichmäßig oszillierenden Bewegung angetrieben, so dass neben der Rotationsbewegung des drehbaren Körpers eine im Wesentlichen gleichmäßige Hin- und Herbewegung quer zur Drehachse des Körpers ausführbar ist. Ähnliche Vorrichtungen sind beispielsweise aus der DE 196 04 758 A1 , der DE 295 19 718 U1 und der DE 41 03 915 A1 bekannt. Nachteilig an den bekannten Vorrichtungen ist, dass die Antriebsgeschwindigkeit des Aktors manuell eingestellt wird, so dass das Ergebnis des Ausdünnens maßgeblich von der Erfahrung und dem Geschick der Bedienperson abhängig ist. From the DE 197 13 452 A1 For example, there is known an apparatus for thinning fruit trees or other branch and twig fruit trees by reducing the number of flowers and / or fruit stems, having an elongate body rotatable about the longitudinal axis and a plurality of flexible material whip-like tines which are substantially radial protrude from the elongated body, wherein the rotatable body is held in a frame. In this case, the frame is driven by a drive device in a substantially uniformly oscillating movement, so that in addition to the rotational movement of the rotatable body, a substantially uniform reciprocating movement is transverse to the axis of rotation of the body executable. Similar devices are for example from DE 196 04 758 A1 , of the DE 295 19 718 U1 and the DE 41 03 915 A1 known. A disadvantage of the known devices that the drive speed of the actuator is set manually, so that the result of the thinning is significantly dependent on the experience and skill of the operator.

Aus der WO 2010/102840 A1 ist ein Verfahren zur Bestimmung eines Disparitäts- bzw. Stereobildes von mindestens zwei stereoskopisch aufgenommenen Bildern bekannt. From the WO 2010/102840 A1 For example, a method for determining a disparity or stereo image of at least two stereoscopically recorded images is known.

Aus der DE 699 07 328 T2 ist eine Vorrichtung zum Schneiden baumartiger Pflanzen bekannt, umfassend einen mechanischen Aktor, optische Detektoren und eine Auswerteeinheit, wobei die Auswerteeinheit aus mindestens einer Aufnahme der optischen Detektoren die Position des Hauptzweiges oder Stammes erfasst, wobei der mechanische Aktor in Abhängigkeit der ermittelten Position angesteuert wird. From the DE 699 07 328 T2 a device for cutting tree-like plants is known, comprising a mechanical actuator, optical detectors and an evaluation, wherein the evaluation of at least one recording of the optical detectors detects the position of the main branch or trunk, wherein the mechanical actuator is driven in dependence of the determined position.

Der Erfindung liegt das technische Problem zugrunde, eine Vorrichtung und ein Verfahren zum mechanischen Ausdünnen von Blüten zu schaffen, mittels derer automatisch ein Aktor verbessert angesteuert wird. The invention is based on the technical problem of providing a device and a method for the mechanical thinning of flowers, by means of which an actuator is automatically controlled improved.

Die Lösung des technischen Problems ergibt sich durch die Gegenstände mit den Merkmalen der Ansprüche 1 und 5. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen. The solution of the technical problem results from the objects with the features of claims 1 and 5. Further advantageous embodiments of the invention will become apparent from the dependent claims.

Hierzu umfasst die Vorrichtung zum mechanischen Ausdünnen von Blüten, insbesondere von Obstbäumen, einen mechanischen Aktor, mindestens einen optischen Detektor, eine Positionsbestimmungseinrichtung und eine Auswerteeinheit, wobei mittels des oder der optischen Detektoren mindestens zwei Aufnahmen zur Erzeugung eines Stereobildes aufgenommen werden und aus dem Stereobild ein 3D-Modell berechnet wird, wobei in dem 3D-Modell Bereiche maskiert werden, die außerhalb eines vorgegebenen Abstandsbereiches liegen und/oder zum Horizont und/oder zum Bodenbereich gehören und in einem Grauwertbild und/oder in einem Farbbild eine Bildsegmentierung mittels mindestens eines Merkmalsextraktionsverfahrens durchgeführt wird, wobei das maskierte 3D-Modell und das segmentierte Bild fusioniert werden, wobei die Auswerteeinheit aus dem fusionierten Bild eine Blütendichte ermittelt, wobei der mechanische Aktor in Abhängigkeit der ermittelten Blütendichte angesteuert wird. For this purpose, the device for mechanical thinning of flowers, in particular of fruit trees, comprises a mechanical actuator, at least one optical detector, a position determination device and an evaluation unit, wherein at least two recordings for generating a stereo image are recorded by means of the optical detector (s) and from the stereo image 3D model is modeled, wherein in the 3D model areas are masked, which lie outside a predetermined distance range and / or belong to the horizon and / or the floor area and performed in a gray scale image and / or in a color image image segmentation by means of at least one feature extraction method wherein the masked 3D model and the segmented image are fused, wherein the evaluation unit determines a bloom density from the fused image, wherein the mechanical actuator is controlled as a function of the determined bloom density.

Der Aktor ist dabei vorzugsweise ein Aktor wie in der DE 197 13 452 A1 beschrieben. Der optische Detektor ist dabei vorzugsweise eine Kamera. Die Kamera ist dabei vorzugsweise eine digitale Kamera, die sowohl als panchromatische oder spektralselektive Farb-Kamera ausgebildet sein kann. The actuator is preferably an actuator as in the DE 197 13 452 A1 described. The optical detector is preferably a camera. The camera is preferably a digital camera, which can be designed both as a panchromatic or spectrally selective color camera.

Die Positionsbestimmungseinrichtung kann dabei beispielsweise alle sechs äußeren Freiheitsgrade der Vorrichtung bestimmen (drei translatorische und drei rotatorische Freiheitsgrade). Hierzu umfasst die Positionsbestimmungseinrichtung beispielsweise einen Empfänger eines GNSS-Systems, beispielsweise einen DGPS-Empfänger, sowie eine Inertial Measurement Unit zur Bestimmung der drei translatorischen Freiheitsgrade. The position-determining device can determine, for example, all six outer degrees of freedom of the device (three translational and three rotational degrees of freedom). For this purpose, the position-determining device comprises, for example, a receiver of a GNSS system, for example a DGPS receiver, and an inertial measurement unit for determining the three translatory degrees of freedom.

Alternativ kann anstelle der Inertial Measurement Unit auch einfach der Nickwinkel der optischen Detektoren bestimmt werden. In einer besonders einfachen Ausführungsform werden sogar nur die translatorischen Freiheitsgrade bestimmt, wobei die rotatorischen Änderungen teils als Null gesetzt werden bzw. aus den Änderungen der translatorischen Position bestimmt werden. Alternatively, instead of the inertial measurement unit, simply the pitch angle of the optical detectors can be determined. In a particularly simple embodiment, even only the translational degrees of freedom are determined, wherein the rotational changes are partly set to zero or determined from the changes in the translational position.

Die optischen Detektoren können dabei als Stereokamerapaar ausgebildet sein, die unterschiedliche Blickrichtungen aufweisen und vorzugsweise gleichzeitig zwei Aufnahmen der gleichen Szene aus unterschiedlichen Blickrichtungen aufnehmen. Dabei können die Kameras als Farbkameras oder als panchromatische Kameras ausgebildet sein, wobei sowohl Matrix- als auch Zeilenkameras zur Anwendung kommen können. Weiterhin ist auch möglich, eine panchromatische Kamera und eine Kamera mit einem spektralen Filter zu verwenden oder zwei panchromatische und zusätzlich eine dritte Kamera mit Spektralfilter einzusetzen. Schließlich ist auch denkbar, nur eine einzige Kamera zu verwenden, wobei aus zwei zeitlich nacheinander aufgenommenen Aufnahmen ein Stereobild erzeugt wird, was beispielsweise durch Ermittlung des optischen Flusses möglich ist. Durch die Verwendung der spektralen Filter lässt sich der Bildinhalt bereits erheblich reduzieren. Dabei wird ausgenutzt, dass die üblicherweise weißen Blüten sehr breitbandig sind, wohingegen die grünen Blätter schmalbandig im grünen Wellenlängenbereich liegen. Der Filter sollte jedoch nicht zu schmalbandig sein, da ansonsten die Zuordnung zu dem panchromatischen Bild zur Erzeugung des Stereobildes erschwert sein kann. Bei Verwendung von Bandpassfiltern sollten diese daher eine Halbwertsbreite zwischen 30–100 nm aufweisen. The optical detectors can be designed as a stereo camera pair, which have different viewing directions and preferably simultaneously record two shots of the same scene from different viewing directions. The cameras may be designed as color cameras or as panchromatic cameras, wherein both matrix and line scan cameras can be used. Furthermore, it is also possible to use a panchromatic camera and a camera with a spectral filter or to use two panchromatic and additionally a third camera with spectral filter. Finally, it is also conceivable to use only a single camera, wherein two temporally successively recorded Recordings a stereo image is generated, which is possible for example by determining the optical flow. By using the spectral filters, the image content can be significantly reduced. It is exploited that the usually white flowers are very broadband, whereas the green leaves are narrow band in the green wavelength range. However, the filter should not be too narrow, otherwise the assignment to the panchromatic image may be difficult to produce the stereo image. When using bandpass filters, they should therefore have a half-width between 30-100 nm.

Zur Erzeugung eines Stereobildes bzw. Disparitätsbildes wird vorzugsweise zunächst ein Stereobildpaar rektifiziert. Voraussetzung dafür ist die Kenntnis der relativen äußeren Orientierung des Stereokamerasystems zueinander zum Aufnahmezeitpunkt. Die relative äußere Orientierung des Stereokamerasystems wird dabei vorzugsweise vorab im Rahmen einer geometrischen Kalibrierung des Stereokamerasystems bestimmt. Anschließend werden aus dem rektifizierten Stereobild homologe Punkte ermittelt, aus denen dann ein Disparitätsbild erzeugt wird, wozu beispielsweise ein Verfahren, wie in der WO 2010/102840 A1 beschrieben, zur Anwendung kommt. To generate a stereo image or disparity image, a stereo image pair is preferably first rectified. Prerequisite for this is the knowledge of the relative outer orientation of the stereo camera system to each other at the time of recording. The relative outer orientation of the stereo camera system is preferably determined in advance in the context of a geometric calibration of the stereo camera system. Subsequently, homologous points are determined from the rectified stereo image, from which a disparity image is then generated, for example a method as described in US Pat WO 2010/102840 A1 described, is used.

Dabei wird aus dem Disparitäts- bzw. Stereobild ein 3D-Modell, d.h. eine Tiefenkarte, berechnet. Dabei liegen die 3D-Modellkoordinaten im metrischen Kamerakoordinatensystem vor. Die Berechnung der Kenngrößen zur Aktorsteuerung erfolgt dabei vorzugsweise auf Basis der 3D-Modellkoordinaten. In this case, the disparity or stereo image becomes a 3D model, i. a depth map, calculated. The 3D model coordinates are present in the metric camera coordinate system. The calculation of the parameters for actuator control is preferably carried out based on the 3D model coordinates.

Vorzugsweise werden in dem 3D-Modell alle drei genannten Maskierungen durchgeführt. Hierdurch kann der Bildinhalt auf eine aktuell zu bearbeitende Baumreihe reduziert werden. Preferably, all three mentioned masks are performed in the 3D model. This allows the image content to be reduced to a tree row currently being edited.

Zum Ausblenden des Horizonts wird für jede Zeile in dem 3D-Modell der maximale Abstandswert zur Kamera ermittelt. Bei Überschreiten eines festgelegten Abstandsschwellwertes wird die gesamte Zeile maskiert, d.h. alle Pixel der Zeile erhalten den Wert 0. Hierdurch werden zwar einzelne Pixel, die eigentlich nicht zum Horizont gehören, mitmaskiert, jedoch hat sich dieser Fehler als vernachlässigbar erwiesen, wobei andererseits die Bildverarbeitung erheblich reduziert wird. To hide the horizon, the maximum distance to the camera is determined for each line in the 3D model. When a fixed distance threshold is exceeded, the entire line is masked, i. all pixels of the line are given the value 0. Although individual pixels that do not actually belong to the horizon are masked, this error has proven to be negligible, on the other hand, the image processing is significantly reduced.

Durch die Maskierung von Pixeln, die außerhalb eines vorgegebenen Abstandsbereichs liegen, wird der Vorder- und der Hintergrund ausgeblendet. Alle Pixel, die außerhalb des festgelegten Abstandsschwellbereichs liegen, erhalten den Wert 0. By masking pixels that are outside of a given distance range, the foreground and the background are hidden. All pixels that are outside the specified distance threshold range are given the value 0.

Aufgrund der üblicherweise schrägen Kamerablickrichtung befindet sich der Boden teilweise innerhalb des festgelegten Abstandsschwellbereiches. Daher wird ermittelt, wie homogen (Boden) bzw. heterogen (Baum) die einzelnen Zeilen der Tiefenkarte sind. Bei Unterschreiten einer Heteroganitätsschwelle wird der untere Bildbereich bis zur aktuellen Zeile maskiert. Dazu wird vorzugsweise ein Vertikalprofil durch Summation von Pixelgrauwerten (kodierter Abstand) der Tiefenkarte jeder Zeile erzeugt. Die Anstiege im Profil werden bestimmt. Vom unteren Bildbereich (Zeile 0) beginnend wird überprüft, ob ein festgelegter Anstiegsschwellenwert überschritten wird. Beim erstmaligen Überschreiten des Anstiegsschwellenwertes werden alle Zeilen von Zeile 0 bis zur aktuellen Zeile maskiert, d.h. alle Pixel der Zeile erhalten den Wert 0. Alternativ kann zum Auffinden des Bodenbereiches eine Ebene bestimmt werden, wobei alle Pixel, die einen bestimmten Abstandsschwellenbereich zur Ebene unterschreiten, maskiert werden (erhalten den Wert 0). Due to the usually oblique camera viewing direction, the bottom is partially within the specified distance threshold range. Therefore, it is determined how homogeneous (ground) or heterogeneous (tree) are the individual lines of the depth map. When falling below a heteroganity threshold, the lower image area is masked to the current line. For this purpose, a vertical profile is preferably generated by summation of pixel gray values (coded spacing) of the depth map of each line. The climbs in the profile are determined. Beginning at the bottom of the screen (line 0), a check is made as to whether a defined rise threshold is exceeded. When the rise threshold is exceeded for the first time, all lines from line 0 to the current line are masked, i. all pixels of the line are given the value 0. Alternatively, a plane can be determined to find the ground area, whereby all pixels which fall below a certain distance threshold area to the plane are masked (receive the value 0).

Die Bildsegmentierung dient dem Auffinden von Pixeln, die Blüten bzw. Teile von Blüten abbilden. Image segmentation is used to find pixels that represent flowers or parts of flowers.

Ein mögliches Verfahren ist die Auswertung eines Grauwerthistogramms. Aus dem Histrogramm eines Grauwertbildes wird der Grauwert bestimmt, der den Fuß- bzw. Knick- bzw. Wendepunkt an der rechten Seite des Maximalwertes der Grauwertverteilung darstellt. Dazu wird aus einem Grauwertbild des Stereobildpaares ein Histrogramm erzeugt und geglättet. Das Histrogramm wird in Segmente unterteilt und für jedes Segment Anstiege ermittelt. Es wird dann beispielsweise das Segment ermittelt, dessen Anstiegswert einem festgelegten Zielwert (z.B. "–1") am nächsten ist. Von diesem Segment werden die Intervallgrenzen gemittelt, was dann den gesuchten Grauwert ergibt. One possible method is the evaluation of a gray value histogram. From the histogram of a gray value image, the gray value is determined which represents the foot or bend or inflection point on the right side of the maximum value of the gray value distribution. For this purpose, a histogram is generated and smoothed from a gray scale image of the stereo image pair. The histogram is divided into segments and ascents are ascertained for each segment. For example, the segment whose slope value is closest to a specified target value (e.g., "-1") is then determined. From this segment, the interval limits are averaged, which then results in the sought gray value.

Weiterhin können vom linken und rechten Nachbarsegment die Anstiege berechnet und die Differenz gebildet werden. Werden die Ergebnisse mehrerer Verfahren einer Klassifikation unterzogen, so gehen Grauwert und Differenz in die Klassifikation ein. Furthermore, the increases can be calculated from the left and right neighboring segment and the difference formed. If the results of several methods are subjected to a classification, gray value and difference enter into the classification.

Ein alternatives Merkmalsextraktionsverfahren ist ein Grauwertgradientenverfahren. Dabei werden in einem Grauwertbild Kanten bestimmt, mit denen Blütenbereiche von ihrer Umgebung abgrenzbar sind. Hierzu wird beispielsweise aus einem Grauwertbild des Stereobildpaares ein Kantenbild erzeugt, beispielsweise mittels eines Robertsfilters. Anhand des Mittelwertes und der Standardabweichung wird eine Schwelle bestimmt, bei deren Unterschreitung Pixel im Kantenbild maskiert werden, d.h. die Pixel auf 0 gesetzt werden. Die äquivalenten Pixel im Grauwertbild werden ebenfalls maskiert, d.h. auf 0 gesetzt. Aus dem maskierten Grauwertbild wird ein Histogramm erzeugt und der Maximalwert der Häufigkeit und die Standardabweichung bestimmt, wobei im Falle einer Klassifizierung beide Werte in die Klassifikation eingehen. An alternative feature extraction method is a grayscale gradient method. In this case, edges are determined in a gray value image with which flower areas can be delimited from their surroundings. For this purpose, for example, an edge image is generated from a gray value image of the stereo image pair, for example by means of a roberts filter. Based on the mean value and the standard deviation, a threshold is determined, below which pixels in the edge image are masked, ie the pixels are set to 0. The equivalent pixels in the gray scale image are also masked, ie set to 0. The masked gray value image becomes one Histogram generated and determines the maximum value of the frequency and the standard deviation, in the case of a classification both values are included in the classification.

In einem weiteren alternativen Merkmalsextraktionsverfahren wird an einem Grauwertbild des Stereobildpaares eine Texturanalyse durchgeführt. In einer bevorzugten Ausführungsform werden co-occurence bzw. Grauwerte-Matrizen berechnet. Daraus werden Texturdeskriptoren (Merkmale), z.B. Homogenität, Energie, Kontrast, Entropie u.a., abgeleitet. Die Werte gehen in eine gegebenenfalls nachfolgende Klassifikation ein. In einer alternativen Ausführungsform werden alternative Methoden der Texturanalyse wie beispielsweise Texturenergiemaße, Lauflängenmatrizen oder Markov-Zufallsfelder verwendet. Die Verfahren zur Texturanalyse können dabei selbstverständlich auch kumulativ zur Anwendung kommen. In a further alternative feature extraction method, a texture analysis is performed on a halftone image of the stereo image pair. In a preferred embodiment, co-occurrence and gray scale matrices are calculated. From this, texture descriptors (features), e.g. Homogeneity, energy, contrast, entropy and others derived. The values are included in any subsequent classification. In an alternative embodiment, alternative methods of texture analysis such as texture energy measures, run-length matrices or Markov random fields are used. Of course, the methods for texture analysis can also be used cumulatively.

In einem weiteren alternativen Merkmalsextraktionsverfahren werden aus einem RGB-Bild oder alternativ aus verschiedenen Spektren Farbwerte als Merkmale bestimmt. Beispielsweise werden pixelbezogene statistische Werte (Mittelwert, Standardabweichung) für jeden Kanal sowie Verhältnisse der Kombinationen R/G, R/B, G/B bzw. der jeweils verwendeten Spektren bestimmt. In a further alternative feature extraction method, color values are determined as characteristics from an RGB image or alternatively from different spectra. For example, pixel-related statistical values (mean value, standard deviation) are determined for each channel as well as ratios of the combinations R / G, R / B, G / B or the respectively used spectra.

Dabei sei angemerkt, dass das letzte Verfahren nur bei Verwendung von Farbkameras bzw. Schwarz-Weiß-Kameras mit spektralen Filtern Anwendung finden kann. Umgekehrt muss zur Anwendung der Merkmalsextraktionsverfahren unter Verwendung von Grauwertbildern bei Verwendung einer Farbkamera das Farbbild in ein Grauwertbild umgewandelt werden. It should be noted that the last method can only be used when using color cameras or black and white cameras with spectral filters. Conversely, in order to apply the feature extraction method using grayscale images when using a color camera, the color image must be converted to a halftone image.

Prinzipiell ist ein Merkmalsextraktionsverfahren ausreichend. Vorzugsweise kommen jedoch mehrere solcher Verfahren zur Anwendung, wobei die verschiedensten Kombinationen der beschriebenen Merkmalsextraktionsverfahren zur Anwendung kommen können. In diesem Fall werden diese durch eine Klassifikation zusammengeführt, beispielsweise mittels eines Bayes-Klassifikators, wobei durch die Klassifikation für jedes Pixel ermittelt wird, ob es eine Blüte oder Bestandteil einer Blüte ist. Auf dieser Basis wird das Grauwertbild maskiert, d.h. Pixel, deren Werte unterhalb eines Schwellbereichs liegen, erhalten den Wert 0. Vorzugsweise wird dazu das System angelernt. In principle, a feature extraction method is sufficient. Preferably, however, several such methods are used, wherein a variety of combinations of the described feature extraction methods can be used. In this case they are combined by a classification, for example by means of a Bayes classifier, whereby the classification determines for each pixel whether it is a flower or a component of a flower. On this basis, the gray value image is masked, i. Pixels whose values are below a threshold range are given the value 0. Preferably, the system is taught to do this.

In einer alternativen Ausführungsform wird aus dem Ergebnis der Histrogramm- und Kantenanalyse ein gewichteter mittlerer Grauwert gebildet und über n Aufnahmezeitpunkte gefiltert (beispielsweise mittels eines Medianfilters). Auf dieser Basis wird das Grauwertbild maskiert (Pixel, deren Werte unterhalb eines Schwellbereiches liegen, erhalten den Wert 0). Das System muss dabei nicht angelernt werden. In an alternative embodiment, a weighted average gray value is formed from the result of the histogram and edge analysis and filtered over n acquisition times (for example by means of a median filter). On this basis, the gray value image is masked (pixels whose values lie below a threshold range are given the value 0). The system does not have to be taught.

Analog zur Maskierung der Tiefenkarte ist das Ziel, das segmentierte Grauwertbild auf die aktuell vom Aktor zu behandelnde Baumreihe zu reduzieren. Dazu werden alle Pixel des Grauwertbildes maskiert (erhalten den Wert 0), deren äquivalente Pixel der maskierten Tiefenkarte ebenfalls den Wert 0 haben. Alle Pixel des segmentierten, maskierten Bildes erhalten in dem fusionierten Bild einen eigenen einheitlichen Wert. Alle Pixel der maskierten Tiefenkarte, die nicht bereits durch das segmentierte Bild belegt sind, erhalten in dem fusionierten Bild ebenfalls einen eigenen einheitlichen Wert. Analogous to the masking of the depth map, the goal is to reduce the segmented gray value image to the tree row currently to be treated by the actuator. For this purpose, all pixels of the gray value image are masked (the value 0), whose equivalent pixels of the masked depth map also have the value 0. All pixels of the segmented, masked image receive their own uniform value in the merged image. All pixels of the masked depth map that are not already occupied by the segmented image also receive their own uniform value in the merged image.

Um die Daten unterschiedlicher Aufnahmezeitpunkte und Kamerastandorte für die Aktorsteuerung oder die automatische Steuerung der Vorrichtung nutzbar zu machen, müssen diese in ein übergeordnetes Objekt- bzw. Weltkoordinatensystem, z.B. UTM, überführt und anschließend räumlich fusioniert werden. In order to utilize the data of different recording times and camera locations for the actuator control or the automatic control of the device, these must be stored in a higher-level object or world coordinate system, e.g. UTM, transferred and then spatially fused.

In einer bevorzugten Ausführungsform werden die 3D-Modellkoordinaten in 3D-Koordinaten eines übergeordneten Weltkoordinatensystems überführt. Dies erfordert jedoch die Kenntnis aller sechs Freiheitsgrade der äußeren Orientierung während der Bildaufnahme, d.h. es müssen drei Rotationen mit Trägheitssensoren und drei Translationen beispielsweise mit DGPS gemessen werden. In a preferred embodiment, the 3D model coordinates are converted into 3D coordinates of a higher-order world coordinate system. However, this requires knowledge of all six degrees of outer orientation during image acquisition, i. Three rotations with inertial sensors and three translations, for example with DGPS, have to be measured.

In einer alternativen Ausführungsform, wo beispielsweise die Positionsbestimmungseinrichtung nicht alle sechs Freiheitsgrade ermittelt, werden die 3D-Modelle in 2D-Koordinaten eines übergeordneten Weltkoordinatensystems überführt. Dies erfordert die Kenntnis von mindestens vier Freiheitsgraden (drei Translationen und eine Rotation) der äußeren Orientierung. Hierzu werden beispielsweise die drei Translationen mittels DGPS ermittelt. Daraus kann die Fahrtrichtung der Vorrichtung bzw. des diese tragenden Traktors bestimmt werden und daraus die Rotation um die Z-Achse im Weltkoordinatensystem berechnet werden. Als a priori Information wird dazu dann noch die Kameraneigung benötigt oder aber die Kameraneigung durch einen Neigungssensor ermittelt. In an alternative embodiment, where, for example, the position determination device does not determine all six degrees of freedom, the 3D models are converted into 2D coordinates of a superordinate world coordinate system. This requires knowledge of at least four degrees of freedom (three translations and one rotation) of the outer orientation. For example, the three translations are determined using DGPS. From this, the direction of travel of the device or of the tractor carrying it can be determined and from this the rotation about the Z-axis in the world coordinate system can be calculated. As a priori information is then still required the camera tilt or determined the camera tilt by a tilt sensor.

In einer weiteren Ausführungsform erfolgt in dem fusionierten Bild eine Baumseparierung, für den eine Blütendichten-Ermittlung erfolgt. Zur Generierung baumbezogener Blütendichten werden einerseits einzelne Bäume separiert. Allerdings ist die Separierung einzelner Bäume in einer Baumhecke anhand des 3D-Modells allein schwierig. Deshalb wird zusätzlich das segmentierte Bild verwendet. Aus der Kombination des 3D-Modells und der Segmentierung können geschlossene Baumhecken in Bereiche ähnlicher Blütendichten gegliedert werden. Die Trennung einzelner Bäume und gleichzeitig die Trennung von Baumbereichen mit wechselnden Blütendichten erfolgt anhand des fusionierten Bildes. Dazu wird ein Horizontalprofil durch spaltenweise Summierung der Pixelanzahl, deren Wert ungleich 0 ist, erstellt und lokale Minima berechnet. Die lokalen Minima markieren Trennlinien zwischen einerseits Bäumen und andererseits markieren diese signifikante Änderungen der Blütendichte innerhalb einer Baumhecke. In a further embodiment, a tree separation takes place in the merged image, for which a flower density determination is carried out. On the one hand, individual trees are separated to generate tree-related flower densities. However, the separation of individual trees in a tree hedge using the 3D model alone is difficult. Therefore, the segmented image is additionally used. The combination of the 3D model and the segmentation allows closed tree hedges to become areas be structured similar flower densities. The separation of individual trees and at the same time the separation of tree areas with changing flower densities takes place on the basis of the merged image. For this purpose, a horizontal profile is created by column-by-column summation of the number of pixels whose value is not equal to 0, and local minima are calculated. The local minima mark dividing lines between on the one hand trees and on the other hand mark these significant changes of the bloom density within a tree hedge.

Dabei kann für jeden separierten Baumbereich die Anzahl der Pixel (Pixelwert ungleich 0) innerhalb des entsprechenden Abschnitts der Tiefenkarte und die Anzahl der segmentierten Pixel (Pixelwert ungleich 0) im äquivalenten Abschnitt des segmentierten Bildes berechnet und ins Verhältnis gesetzt werden. Dies gibt eine absolute Blütendichte an. In this case, for each separated tree area, the number of pixels (nonzero pixel value) within the corresponding section of the depth map and the number of segmented pixels (unequal pixel value) in the equivalent segment of the segmented image can be calculated and related. This indicates an absolute flower density.

Zusätzlich oder alternativ kann für jeden separierten Baumbereich für jede Spalte innerhalb des entsprechenden Abschnitts der Tiefenkarte die Pixelanzahl (Pixelwert ungleich 0) berechnet und der Mittelwert gebildet werden. Im äquivalenten Abschnitt des segmentierten Bildes wird ebenfalls für jede Spalte die Pixelanzahl berechnet und der Mittelwert gebildet, wobei dann die beiden Mittelwerte ins Verhältnis gesetzt werden. Dies stellt eine integrale Blütendichte über den Baum dar. Additionally or alternatively, for each separated tree area, for each column within the corresponding portion of the depth map, the pixel count (nonzero pixel value) may be calculated and the average formed. In the equivalent section of the segmented image, the number of pixels is also calculated for each column and the average is formed, in which case the two mean values are compared. This represents an integral bloom density over the tree.

Weiter kann für jeden separierten Baumbereich innerhalb des entsprechenden Abschnitts der Tiefenkarte der mittlere Abstand zur Kamera berechnet werden. Furthermore, for each separated tree area within the corresponding section of the depth map, the average distance to the camera can be calculated.

In einer weiteren Ausführungsform wird eine Ebene durch die Tiefenkarte gelegt. Die Ebene beschreibt eine vertikale Baumform und Parallelität zwischen Baumreihe und Kamera-/Modellkoordinatensystem. In another embodiment, a plane is laid through the depth map. The plane describes a vertical tree shape and parallelism between tree row and camera / model coordinate system.

In einer alternativen Ausführungsform kann die Parallelität zwischen Baumreihe und Kamera durch Berechnung des Winkels der Kameratrajektorie und der Baumreihe im Weltkoordinatensystem bestimmt werden. In an alternative embodiment, the parallelism between tree row and camera can be determined by calculating the angle of the camera trajectory and the tree row in the world coordinate system.

Weiter kann eine räumliche Datenfusion durchgeführt werden. Furthermore, a spatial data fusion can be performed.

Während der Fahrt werden Bäume vorzugsweise mehrmals vom Kamerasystem aufgenommen. Räumlich werden sie durch die Koordinaten der Trennlinien repräsentiert, die während der Separierung generiert wurden. Die Modellkoordinaten dieser Trennlinien werden in ein Weltkoordinatensystem (2D-Koordinaten) überführt. Damit wird der räumliche Zusammenhang zwischen den Daten, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, hergestellt. Auf einer festgelegten Länge wird eine Gerade durch die 2D-Koordinaten der Trennlinien gelegt. Die Reihenfolge der Trennlinien auf der Geraden, d.h. ihre räumliche Beziehung, wird bestimmt. Die Trennlinien sind gleichzusetzen mit Baumgrenzen oder Grenzen verschiedener Blütendichten. Durch die Mehrfachabtastung wird ein Geradenabschnitt mehrfach durch Trennlinien belegt. Auf den Geradenabschnitten wird eine Mitteilung der Steuergrößen, die für einen Baum mehrfach berechnet wurden, durchgeführt. Dies stellt eine räumliche Datenfusion dar. During the journey trees are preferably taken several times by the camera system. Spatially, they are represented by the coordinates of the dividing lines generated during the separation. The model coordinates of these dividing lines are transferred to a world coordinate system (2D coordinates). This establishes the spatial relationship between the data recorded at different times. At a specified length, a straight line is laid through the 2D coordinates of the dividing lines. The order of the dividing lines on the line, i. their spatial relationship is determined. The dividing lines are equivalent to tree borders or boundaries of different flower densities. Due to the multiple scanning a straight line section is repeatedly occupied by separating lines. On the straight line sections, a notification of the control variables, which have been calculated several times for a tree, is carried out. This represents a spatial data fusion.

In einer weiteren Ausführungsform ist der Vorrichtung mindestens eine Beleuchtungsquelle und/oder eine optische Abschirmeinrichtung zugeordnet. Mittels der Beleuchtungsquelle kann dabei die Vorrichtung auch bei Dunkelheit eingesetzt werden, wobei die Abschirmeinrichtung direkte Sonneneinstrahlung im Aufnahmebereich der Kamera abschirmt. In a further embodiment, the device is assigned at least one illumination source and / or one optical shielding device. By means of the illumination source, the device can also be used in the dark, wherein the shielding shields direct sunlight in the receiving area of the camera.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Fig. zeigen: The invention will be explained in more detail below with reference to a preferred embodiment. The figures show:

1 ein schematisches Blockschaltbild einer Vorrichtung zum mechanischen Ausdünnen von Blüten und 1 a schematic block diagram of an apparatus for mechanical thinning of flowers and

2 ein schematisches Flussdiagramm eines Verfahrens zum Ausdünnen von Blüten. 2 a schematic flow diagram of a method for thinning flowers.

Die Vorrichtung 1 zum mechanischen Ausdünnen von Blüten umfasst zwei Kameras 2, die ein Stereokamerapaar bilden, eine Positionsbestimmungseinrichtung 3, eine Auswerteeinheit 4, eine Steuereinrichtung 5, einen Aktor 6 sowie eine optische Abschirmeinrichtung 7. Die Vorrichtung 1 ist vorzugsweise auf einem Traktor 8 montiert und ermittelt Steuergrößen, um den Aktor 6 automatisch zum Ausdünnen von Blüten anzusteuern. Weiter kann die Vorrichtung 1 auch Steuergrößen für den Traktor 8 selbst erzeugen, um diesen selbsttätig anzutreiben oder Lenkhilfen zur Verfügung zu stellen. The device 1 The mechanical thinning of flowers involves two cameras 2 which form a stereo camera pair, a position-determining device 3 , an evaluation unit 4 , a control device 5 , an actor 6 and an optical shielding device 7 , The device 1 is preferably on a tractor 8th mounted and determines control variables to the actuator 6 automatically to thinning flowers to control. Next, the device 1 also control variables for the tractor 8th generate yourself to drive this automatically or to provide power steering.

In einem ersten Schritt S1 werden zwei Bilder B1, B2 durch die Kameras 2 aufgenommen und mit Positionsdaten X, Y, Z, α, β, γ der Positionsbestimmungseinrichtung 3 verknüpft. Die Positionsbestimmungseinrichtung ist beispielsweise ein DGPS-Empfänger mit einer Inertial Measurement Unit. In einem weiteren Schritt S2 wird mittels der beiden Bilder B1, B2 ein 3D-Modell erstellt. In einem nachfolgenden Schritt S3 werden nicht relevante Bereiche wie beispielsweise Horizont, Vordergrund, Hintergrund und Boden maskiert. Parallel wird in einem Bild B1 oder B2 oder einem daraus ermittelten Grauwertbild in einem Schritt S4 eine Bildsegmentierung mittels Merkmalsextraktionsverfahren durchgeführt und in einem Schritt S5 mittels des maskierten 3D-Modells ebenfalls maskiert. Anschließend erfolgt in einem weiteren Schritt S6 eine Fusion des maskierten 3D-Modells mit dem maskierten segmentierten Grauwertbild. In einem nachfolgenden Schritt S7 werden eine Blütendichte und gegebenenfalls weitere Größen wie mittlerer Baumabstand etc. bestimmt und schließlich in einem Schritt S8 Steuergrößen zur Ansteuerung des Aktors 6 zum Ausdünnen und zusätzlich gegebenenfalls Steuergrößen für den Traktor 8 selbst ermittelt. In a first step S1, two images B1, B2 are passed through the cameras 2 recorded and with position data X, Y, Z, α, β, γ of the position-determining device 3 connected. The position determination device is, for example, a DGPS receiver with an inertial measurement unit. In a further step S2, a 3D model is created by means of the two images B1, B2. In a subsequent step S3, non-relevant areas such as horizon, foreground, background and ground are masked. In parallel, image segmentation is carried out by means of feature extraction methods in a picture B1 or B2 or a gray scale image determined therefrom in a step S4 and also masked in a step S5 by means of the masked 3D model. Subsequently, in a further step S6, a fusion of the masked 3D model with the masked segmented gray value image takes place. In a subsequent step S7, a bloom density and optionally other variables such as mean tree distance etc. are determined, and finally in a step S8 control variables for controlling the actuator 6 for thinning out and optionally also control variables for the tractor 8th determined yourself.

Claims

Contraption ( 1 ) for mechanical thinning of flowers, in particular of fruit trees, comprising a mechanical actuator ( 6 ), characterized in that the device ( 1 ) at least one optical detector, a position determining device ( 3 ) and an evaluation unit ( 4 ), wherein at least two recordings (B1, B2) for generating a stereo image are recorded by means of the optical detector (s) and a 3D model is calculated from the stereo image, wherein areas are masked in the 3D model that are outside a predetermined distance range lie and / or belong to the horizon and / or the floor area and in a gray scale image and / or in a color image image segmentation by means of at least one feature extraction method is performed, wherein the masked 3D model and the segmented image are merged, wherein the evaluation unit ( 4 ) determines a bloom density from the fused image, wherein the mechanical actuator ( 6 ) is controlled in dependence of the determined bloom density.

Apparatus according to claim 1, characterized in that the 3D model coordinates are converted into 2D or 3D world coordinates.

Device according to claim 1 or 2, characterized in that in the fused image a tree separation takes place, for which a flower density determination takes place.

Device according to one of the preceding claims, characterized in that the device ( 1 ) at least one illumination source and / or an optical shielding device ( 7 ) assigned.

Process for the mechanical thinning of flowers, in particular of fruit trees, by means of at least one mechanical actuator ( 6 ), characterized in that at least one optical detector, a position determining device ( 3 ) and an evaluation unit ( 4 ) are provided, wherein by means of the optical detectors or at least two images (B1, B2) for generating a stereo image with the aid of the data of a position-determining device ( 3 ) and a 3D model is calculated, wherein in the 3D model areas are masked, which lie outside a predetermined distance range and / or belong to the horizon and / or the floor area and in a gray scale image and / or in a color image, an image segmentation by means of at least one feature extraction method, wherein the masked 3D model and the segmented image are fused, wherein an evaluation unit ( 4 ) determines a bloom density from the fused image, wherein the mechanical actuator ( 6 ) is controlled in dependence of the determined bloom density.