DE102019201983A1 - Method for determining a condition of a crop planting and agricultural vehicle - Google Patents

Method for determining a condition of a crop planting and agricultural vehicle Download PDF

Info

Publication number
DE102019201983A1
DE102019201983A1 DE102019201983.8A DE102019201983A DE102019201983A1 DE 102019201983 A1 DE102019201983 A1 DE 102019201983A1 DE 102019201983 A DE102019201983 A DE 102019201983A DE 102019201983 A1 DE102019201983 A1 DE 102019201983A1
Authority
DE
Germany
Prior art keywords
camera
field
crop planting
image
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019201983.8A
Other languages
German (de)
Inventor
Tim Härle
Christian Herzog
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZF Friedrichshafen AG
Original Assignee
ZF Friedrichshafen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZF Friedrichshafen AG filed Critical ZF Friedrichshafen AG
Priority to DE102019201983.8A priority Critical patent/DE102019201983A1/en
Publication of DE102019201983A1 publication Critical patent/DE102019201983A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Abstract

Verfahren zum Ermitteln eines Zustandes (H) einer Feldfrucht-Bepflanzung (16) mittels eines landwirtschaftlichen Kameraträgers (10), an dem eine Kamera (20) montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung (16) gerichtetes Blickfeld (22) hat, mit den Schritten: Aufnehmen wenigstens eines digitalen Bildes (30) mittels der Kamera (20); Durchführen einer Mustererkennung an den Bilddaten (34) des Bildes (30); Erfassen des Zustandes (H) der Feldfrucht-Bepflanzung (16) aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes (60) durchgeführt wird.Method for determining a state (H) of a field crop (16) by means of an agricultural camera support (10) on which a camera (20) is mounted, which provides a field of view (22) which is at least partially directed at the field crop (16) with the steps of: taking at least one digital image (30) by means of the camera (20); Performing a pattern recognition on the image data (34) of the image (30); Detecting the state (H) of the field crop planting (16) from at least one recognized pattern, the pattern recognition being carried out using a neural network (60).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung bzw. eines Kulturenfeldes mittels eines landwirtschaftlichen Kameraträgers, an dem eine Kamera montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat.The present invention relates to a method for determining a condition of a crop planting or a crop field by means of an agricultural camera support on which a camera is mounted which has a field of view directed at least partially onto the crop planting.

Ferner betrifft die vorliegende Erfindung ein landwirtschaftliches Fahrzeug mit einer Kamera und mit einer Steuereinrichtung, auf der ein Verfahren der oben beschriebenen Art implementiert ist.The present invention also relates to an agricultural vehicle with a camera and with a control device on which a method of the type described above is implemented.

Die Landwirtschaft hat in den letzten Jahren erhebliche Schritte hinsichtlich einer Modernisierung erreicht. Dabei wird vornehmlich darauf abgestellt, landwirtschaftliche Nutzflächen örtlich differenziert und zielgerichtet zu bewirtschaften. Das Ziel ist es dabei generell, die Ertragsfähigkeit innerhalb eines Feldes möglichst dauerhaft zu optimieren.Agriculture has taken considerable steps towards modernization in recent years. The focus is primarily on cultivating agricultural areas in a locally differentiated and targeted manner. The goal is generally to optimize the profitability within a field as permanently as possible.

Während des Wachstums der Feldfrucht-Bepflanzung soll dabei Dünger beispielsweise nur nach Bedarf aufgebracht werden, ggf. als Funktion eines Zustandes der Feldfrucht-Bepflanzung über der Fläche des Ackers. Ferner ist man bestrebt, landwirtschaftliche Fahrzeuge möglichst autonom fahren zu lassen und/oder Drohnen zu verwenden, um einer Bodenverfestigung entgegen zu wirken.During the growth of the crop planting, fertilizer should, for example, only be applied as required, possibly as a function of a condition of the field crop planting over the area of the field. Furthermore, efforts are made to drive agricultural vehicles as autonomously as possible and / or to use drones to counteract soil consolidation.

Die autonome Fahrzeugsteuerung kann dabei beispielsweise über GPS-Navigation erfolgen. Zusätzlich hierzu ist es bekannt, Bilddaten zur selbsttätigen Führung eines landwirtschaftlichen Fahrzeugs zu verwenden.The autonomous vehicle control can take place, for example, via GPS navigation. In addition to this, it is known to use image data for the automatic guidance of an agricultural vehicle.

Beispielsweise offenbart das Dokument DE 10 2016 209 437 A1 ein selbsttätiges Lenksystem zur Führung eines landwirtschaftlichen Fahrzeugs über ein Feld, auf dem bei einem vorhergehenden Arbeitsvorgang eine Fahrspur hinterlassen wurde, wobei das Lenksystem eine auf die Fahrspur blickende Kamera, ein Bildverarbeitungssystem zur Verarbeitung von Bildsignalen der Kamera und eine Lenksteuerung aufweist. Das Bildverarbeitungssystem ist programmiert, das Bildsignal der Kamera in ein binäres Bild zu überführen und die Fahrspur anhand einer auf das binäre Bild angewandten, morphologischen Operation unter Verwendung eines die Fahrspur repräsentierenden Strukturelementes wie senkrechten Linien oder Rechtecken zu erkennen.For example, the document discloses DE 10 2016 209 437 A1 an automatic steering system for guiding an agricultural vehicle over a field on which a lane was left in a previous work process, the steering system having a camera looking at the lane, an image processing system for processing image signals from the camera and a steering control. The image processing system is programmed to convert the image signal from the camera into a binary image and to recognize the lane based on a morphological operation applied to the binary image using a structural element such as vertical lines or rectangles that represents the lane.

Das Dokument DE 103 51 861 A1 offenbart ein anderes Verfahren zum selbsttätigen Lenken einer landwirtschaftlichen Maschine, bei dem eine Kamera ein Bildsignal erzeugt, aus dem eine Pixeldatei erzeugt wird. Aus dieser wiederum wird Texturinformation bezüglich der Textur der Umgebung der Pixel der Pixeldatei erzeugt. Pixel der Pixeldatei werden unter Berücksichtigung der Texturinformation klassifiziert, um eine binäre Information zu erzeugen, ob das Pixel einer zu bearbeitenden Fläche zuzuordnen ist oder nicht. Anschließend wird ein Lenksignal erzeugt, das auf den Ergebnissen der Klassifikation basiert. Die Lenkmittel der Erntemaschine werden gemäß dem Lenksignal verstellt, so dass die Maschine selbsttätig gelenkt wird.The document DE 103 51 861 A1 discloses another method for automatic steering of an agricultural machine in which a camera generates an image signal from which a pixel file is generated. From this, in turn, texture information relating to the texture of the surroundings of the pixels in the pixel file is generated. Pixels of the pixel file are classified taking into account the texture information in order to generate binary information as to whether or not the pixel is to be assigned to an area to be processed. A steering signal based on the results of the classification is then generated. The steering means of the harvesting machine are adjusted according to the steering signal so that the machine is steered automatically.

Durch das selbsttätige Lenken kann das landwirtschaftliche Fahrzeug sicher auf einer Fahrgasse geführt werden, die für eine landwirtschaftliche Saison oder dauerhaft in dem Acker vorgesehen ist, zum wiederholten Durchführen von Pflegemaßnahmen an der Bepflanzung.As a result of the automatic steering, the agricultural vehicle can be safely guided on a tramline which is provided for an agricultural season or permanently in the field, for repeated maintenance measures to be carried out on the plants.

In einem Regelfahrgassenverfahren wird jedes Jahr exakt dieselbe Fahrgasse benutzt. Mithilfe von GPS sowie Daten zur Maschinenarbeitsbreite etc. wird der Acker in befahrene und unbefahrene Zonen eingeteilt.In a standard tramline procedure, exactly the same tramline is used every year. With the help of GPS and data on the machine working width, etc., the field is divided into zones that are driven on and areas not driven on.

An dem landwirtschaftlichen Fahrzeug ist in der Regel eine Vielzahl von Anbauteilen und/oder Hängern anbringbar. Zum Düngen werden häufig sogenannte Sprüher verwendet. Zur Optimierung des Sprühvorganges werden an den Sprühern häufig Ultraschall-Sensoren zur Messung der Gewächshöhe eingesetzt. Diese Sensoren sind dabei in der Regel an Auslegern des Sprühers befestigt. Die so ermittelte Gewächshöhe kann verwendet werden, um einen optimalen Abstand zwischen einer Spritze des Sprühers und der Feldfrucht-Bepflanzung zu gewährleisten. Die Wuchshöhe kann auch zur automatischen Einstellung eines Mähwerkes verwendet werden.As a rule, a large number of add-on parts and / or hangers can be attached to the agricultural vehicle. So-called sprayers are often used for fertilization. To optimize the spraying process, ultrasonic sensors are often used on the sprayers to measure the height of the vegetation. These sensors are usually attached to the sprayer's arms. The plant height determined in this way can be used to ensure an optimal distance between a syringe of the sprayer and the crop planting. The height can also be used to automatically adjust a mower.

Es ist vor diesem Hintergrund eine Aufgabe der Erfindung, ein verbessertes Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung sowie ein verbessertes landwirtschaftliches Fahrzeug anzugeben.Against this background, it is an object of the invention to provide an improved method for determining a condition of a field crop planting and an improved agricultural vehicle.

Die obige Aufgabe wird gelöst durch ein Verfahren zum Ermitteln einer Feldfrucht-Bepflanzung mittels eines landwirtschaftlichen Kameraträgers, an dem eine Kamera montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat, mit den Schritten: Aufnehmen wenigstens eines digitalen Bildes mittels der Kamera; Durchführen einer Mustererkennung an den Bilddaten des Bildes; Erfassen des Zustandes der Feldfrucht-Bepflanzung aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes durchgeführt wird.The above object is achieved by a method for determining a crop planting by means of an agricultural camera carrier, on which a camera is mounted, which has a field of view directed at least partially onto the crop planting, with the steps: recording at least one digital image by means of the Camera; Performing a pattern recognition on the image data of the image; Detecting the state of the crop planting from at least one recognized pattern, the pattern recognition being carried out using a neural network.

Die obige Aufgabe wird zudem gelöst durch ein landwirtschaftliches Fahrzeug mit einer Kamera und mit einer Steuereinrichtung, auf der ein Verfahren der erfindungsgemäßen Art implementiert ist.The above object is also achieved by an agricultural vehicle with a camera and with a control device on which a method of the type according to the invention is implemented.

Mit dem erfindungsgemäßen Verfahren lässt sich ein Zustand einer Feldfrucht-Bepflanzung ermitteln, ohne dass spezielle Sensoren oder dergleichen zu diesem Zweck vorgesehen werden müssen, wie beispielsweise Ultraschall-Sensoren. Daher kann das erfindungsgemäße Verfahren kostengünstig durchgeführt werden. With the method according to the invention, a state of a field crop can be determined without special sensors or the like having to be provided for this purpose, such as ultrasonic sensors. The method according to the invention can therefore be carried out inexpensively.

In vielen Fällen ist an einem landwirtschaftlichen Kameraträger, insbesondere an einem landwirtschaftlichen Fahrzeug wie einem Traktor, ohnehin eine Kamera montiert, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat. In vielen Fällen dient eine derartige Kamera zur Navigation bzw. zum selbsttätigen Lenken des Fahrzeugs und/oder zur Unterstützung des selbsttätigen Lenkens des Fahrzeugs.In many cases, a camera is in any case mounted on an agricultural camera carrier, in particular on an agricultural vehicle such as a tractor, which camera has a field of view that is at least partially directed towards the crops. In many cases, a camera of this type is used for navigation or for automatic steering of the vehicle and / or for supporting the automatic steering of the vehicle.

Der Kameraträger kann ein landwirtschaftliches Fahrzeug sein, kann jedoch auch ein Anbauteil an einem landwirtschaftlichen Fahrzeug sein. Ferner kann der landwirtschaftliche Kameraträger ein Anhänger für ein landwirtschaftliches Fahrzeug oder dergleichen sein. Generell ist es jedoch auch denkbar, als landwirtschaftlichen Kameraträger eine Drohne einzusetzen, die ohne Kontakt zum Boden unbemannt in vergleichsweise niedriger Höhe (z.B. maximal 5 m) über das Feld geflogen wird.The camera support can be an agricultural vehicle, but it can also be an attachment part on an agricultural vehicle. Furthermore, the agricultural camera carrier can be a trailer for an agricultural vehicle or the like. In general, however, it is also conceivable to use a drone as an agricultural camera carrier that is flown unmanned over the field at a comparatively low height (e.g. maximum 5 m) without contact with the ground.

Die Kamera ist insbesondere eine Digitalkamera. Das digitale Bild, das mittels der Kamera aufgenommen wird, kann ein digitales Schwarzweiß- oder digitales Farbbild sein. Sofern es sich um ein Farbbild handelt, ist es möglich, zur Durchführung des Verfahrens nur die Bilddaten einer Farbe (z.B. rot, grün oder blau) zu verwenden, oder von allen drei Farben, aus denen ein Farbbild zusammengesetzt ist.In particular, the camera is a digital camera. The digital image captured by the camera can be a digital black and white or digital color image. If it is a color image, it is possible to use only the image data of one color (e.g. red, green or blue) to carry out the method, or of all three colors that make up a color image.

Das digitale Bild kann vor der Durchführung der Mustererkennung einer digitalen Filterung unterzogen werden, durch die beispielsweise eine Kontrasterhöhung durchgeführt wird oder Ähnliches. Ferner können die Bilddaten einer Vorabbearbeitung unterzogen werden, bei der beispielsweise optische Verzerrungen oder Aberrationen etc. herausgerechnet werden, die für die spezielle Kamera bzw. das spezielle in der Kamera verwendete Objektiv charakteristisch sind. Generell ist es auch möglich, eine automatisierte Bildverarbeitung über das aufgenommene Bild auszuführen, um den Kontrast zu verbessern, etc., und/oder einen Weißabgleich durchzuführen, ggf. in Abhängigkeit von der aufgenommenen überwiegenden Farbtemperatur (bewölkter Himmel, Sonnenschein oder andere Temperaturparameter).Before the pattern recognition is carried out, the digital image can be subjected to digital filtering by means of which, for example, a contrast increase is carried out or the like. Furthermore, the image data can be subjected to preliminary processing in which, for example, optical distortions or aberrations, etc., which are characteristic of the special camera or the special lens used in the camera, are calculated out. In general, it is also possible to carry out automated image processing on the recorded image in order to improve the contrast, etc., and / or to carry out a white balance, possibly depending on the predominant color temperature recorded (cloudy sky, sunshine or other temperature parameters).

Das digitale Bild kann beispielsweise ein Bild mit mehr als 1 Megapixeln sein (jeder Pixel kann ausschließlich ein Grauwert sein oder kann drei Einzelpixel für einen Grünwert, einen Blauwert und einen Rotwert beinhalten).The digital image can, for example, be an image with more than 1 megapixel (each pixel can be exclusively a gray value or can contain three individual pixels for a green value, a blue value and a red value).

Für die Durchführung der Mustererkennung ist es in der Regel hinreichend, wenn das digitale Bild weniger als 10 Megapixel aufweist.In order to carry out the pattern recognition it is usually sufficient if the digital image has less than 10 megapixels.

Der Zustand der Feldfrucht-Bepflanzung ist vorzugsweise ein solcher Zustand, der sich aus einem Muster ableiten lässt, das im Rahmen der Mustererkennung an den Bilddaten des Bildes durchgeführt wird.The state of the field crop planting is preferably such a state that can be derived from a pattern that is carried out in the context of pattern recognition on the image data of the image.

Da die Mustererkennung und Verwendung eines neuronalen Netzes durchgeführt wird, ist es bevorzugt, wenn die Aufnahme des wenigstens einen digitalen Bildes unter vergleichbaren Randbedingungen erfolgt, unter denen ein Einlernen des neuronalen Netzes stattgefunden hat. Dies kann beispielsweise eine Position einer Kamera an dem landwirtschaftlichen Kameraträger sein. Ferner sollte die gleiche Kamera bzw. eine Kamera mit zumindest dem gleichen Blickwinkel verwendet werden (gleicher Brennweite!). Schließlich sollte das Blickfeld der Kamera vergleichbar eingestellt werden, und zwar sowohl hinsichtlich der Ausrichtung in der Horizontalen und der Ausrichtung in der Vertikalen.Since the pattern recognition and use of a neural network is carried out, it is preferred if the recording of the at least one digital image takes place under comparable boundary conditions under which the neural network was learned in. This can be a position of a camera on the agricultural camera support, for example. Furthermore, the same camera or a camera with at least the same viewing angle should be used (same focal length!). Finally, the field of view of the camera should be set comparably, both with regard to the alignment in the horizontal and the alignment in the vertical.

Die Aufgabe wird damit vollkommen gelöst.The task is thus completely solved.

Bei einer besonders bevorzugten Ausführungsform ist das neuronale Netz ein Convolutional Neural Network. Derartige Netzwerke sind allgemein bekannt und auch als faltende neuronale künstliche Netzwerke bekannt, siehe
https://de.wikipedia.org/wiki/Convolutional_Neural_Network.
In a particularly preferred embodiment, the neural network is a convolutional neural network. Such networks are well known and also known as convolutional neural artificial networks, see
https://de.wikipedia.org/wiki/Convolutional_Neural_Network.

Gemäß einer weiteren bevorzugten Ausführungsform ist es bevorzugt, wenn aus dem aufgenommenen Bild zunächst eine Zielregion ausgewählt wird.According to a further preferred embodiment, it is preferred if a target region is first selected from the recorded image.

Die Zielregion ist vorzugsweise ein bevorzugter Ausschnitt aus den aufgenommenen Bilddaten.The target region is preferably a preferred section from the recorded image data.

Das Blickfeld der Kamera ist vorzugsweise ein solches Blickfeld, das die Kamera dazu befähigt, auch bei Verfahren zum selbsttätigen Lenken beizutragen. Demzufolge ist das Blickfeld eher ein „Weitwinkel“-Blickfeld.The field of view of the camera is preferably such a field of view that enables the camera to contribute to automatic steering even during processes. As a result, the field of view is more of a “wide angle” field of view.

Für die Ermittlung des Zustandes der Feldfrucht-Bepflanzung ist jedoch in der Regel nur ein relativ kleiner Ausschnitt aus dem digitalen Bild notwendig, da beispielsweise bei der Mustererkennung nur auf Daten abgestellt wird, die sich in relativer Nähe zu der Kamera befinden, beispielsweise in einem Abstand von weniger als 15 Metern von der Kamera, insbesondere weniger als 10 Metern.To determine the condition of the crop planting, however, only a relatively small section of the digital image is usually necessary, since, for example, pattern recognition is only based on data that are in relative proximity to the camera, for example at a distance less than 15 meters from the camera, especially less than 10 meters.

Demzufolge kann die Zielregion so gewählt werden, dass aus dem Blickfeld der Kamera ein solcher Ausschnitt ausgewählt wird, bei dem die so erzeugte Zielregion maximal bis zu dem o.g. Wert reicht. Accordingly, the target region can be selected in such a way that such a section is selected from the field of view of the camera in which the target region generated in this way extends maximally up to the above value.

Beispielsweise kann hierdurch die Anzahl der Pixel auf weniger als die Hälfte der Anzahl der Pixel des digitalen Bildes reduziert werden, vorzugsweise weniger als ein Viertel, und insbesondere weniger als ein Fünftel der Anzahl der Pixel des digitalen Ausgangsbildes.For example, this allows the number of pixels to be reduced to less than half the number of pixels in the digital image, preferably less than a quarter, and in particular less than a fifth of the number of pixels in the digital output image.

Ferner ist es vorteilhaft, wenn bei der Verwendung des Convolutional Neural Networks eine Mehrzahl von Faltungsoperationen an den Bilddaten durchgeführt wird.Furthermore, it is advantageous if, when using the convolutional neural network, a plurality of convolution operations are carried out on the image data.

Hierzu wird in der Regel eine Faltungsmatrix bzw. ein Filterkernel verwendet, die bzw. der über die digitalen Bilddaten bewegt wird. Die Faltungsmatrix ist vorzugsweise eine 3x3-Matrix, eine 5x5-Matrix oder eine 7x7-Matrix.For this purpose, a convolution matrix or a filter kernel is usually used, which is moved over the digital image data. The convolution matrix is preferably a 3x3 matrix, a 5x5 matrix or a 7x7 matrix.

Der mittels der Faltungsmatrix ermittelte Input für ein Neuron des Netzwerks wird dann über eine Aktivierungsfunktion in einen Ausgang verwandelt. In einem folgenden Schritt wird vorzugsweise nach jeder Faltungsoperation eine Auswahloperation durchgeführt, das sogenannte „Pooling“, bei dem überflüssige Informationen verworfen werden.The input for a neuron of the network determined by means of the convolution matrix is then converted into an output via an activation function. In a subsequent step, a selection operation, known as “pooling”, is preferably carried out after each convolution operation, during which superfluous information is discarded.

Nach einigen sich wiederholenden Einheiten aus jeweiligen Faltungsoperationen und Auswahloperationen kann das Netzwerk eine oder mehrere sogenannte Fully-Connected Layers erzeugen, die zur Klassifizierung oder Approximation angewendet werden.After a few repetitive units of respective convolution operations and selection operations, the network can generate one or more so-called fully connected layers that are used for classification or approximation.

Während der Schritte der Faltungsoperationen und der Auswerteoperationen findet in der Regel eine Kantenerkennung statt. Das Muster beinhaltet dabei insbesondere wenigstens eine Kante.Edge detection usually takes place during the steps of the convolution operations and the evaluation operations. The pattern includes in particular at least one edge.

Von besonderem Vorzug ist es, wenn nach einer Mehrzahl von Faltungsoperationen wenigstens eine Fully-Connected Layer vorliegt, die eine Klassifikation oder Approximation des Zustandes der Feldfrucht-Bepflanzung darstellt.It is particularly preferred if, after a plurality of folding operations, there is at least one fully connected layer that represents a classification or approximation of the state of the crops.

Mit anderen Worten wird das Convolutional Neural Network so trainiert, dass in wenigstens einer Fully-Connected Layer als Abschluss des Netzwerkes nicht nur ein Muster erkannt worden ist, sondern bereits auf den Zustand der Feldfrucht-Bepflanzung geschlossen worden ist.In other words, the convolutional neural network is trained in such a way that not only a pattern has been recognized in at least one fully connected layer as the end of the network, but the state of the crops has already been inferred.

Hierbei kann das Convolutional Neural Network als Approximation diskrete Werte ausgeben, also beispielsweise Zustand 1, Zustand 2, Zustand 3, etc. Vorzugsweise gibt das Convolutional Neural Network (im Folgenden auch mit CNN bezeichnet) jedoch Klassen diskreter Größe aus, beispielsweise Zustand A von 0 bis 0,1, Zustand B von 0,1 bis 0,2, etc.Here, the convolutional neural network can output discrete values as an approximation, for example state 1 , Status 2 , Status 3 , etc. However, the convolutional neural network (also referred to as CNN in the following) preferably outputs classes of discrete size, for example state A from 0 to 0.1, state B from 0.1 to 0.2, etc.

Das Training des CNN beinhaltet dabei vorzugsweise die Verwendung von einer Vielzahl von aufgenommenen digitalen Bildern und zugeordneten echten Messdaten („gelabelte Daten“).The training of the CNN preferably includes the use of a large number of recorded digital images and assigned real measurement data (“labeled data”).

Die Anzahl der im Training verwendeten Bilder sollte so groß wie möglich sein und dennoch praktikabel sein. Die Anzahl kann beispielsweise in einem Bereich von größer 2.000 und kleiner 50.000 liegen, insbesondere in einem Bereich von mehr als 4.000 und weniger als 15.000 Bildern. Die Optimierungs- bzw. Trainingsverfahren werden dabei mittels geeigneter Lernmechanismen durchgeführt.The number of images used in training should be as large as possible and still be practical. The number can, for example, be in a range of greater than 2,000 and less than 50,000, in particular in a range of more than 4,000 and less than 15,000 images. The optimization and training processes are carried out using suitable learning mechanisms.

Bei dem erfindungsgemäßen Verfahren wird das CNN folglich nicht nur zur Mustererkennung, sondern auch zur Approximation/Klassifizierung des Zustandes der Feldfrucht-Bepflanzung angewendet.In the method according to the invention, the CNN is consequently used not only for pattern recognition, but also for approximation / classification of the condition of the crops.

Insgesamt ist es besonders vorteilhaft, wenn ein bei der Mustererkennung zu erkennendes Muster einen Rand der Feldfrucht-Bepflanzung aufweist, auf die das Blickfeld der Kamera gerichtet ist.Overall, it is particularly advantageous if a pattern to be recognized during the pattern recognition has an edge of the crop planting towards which the field of view of the camera is directed.

Unter einem Rand der Feldfrucht-Bepflanzung wird ein Übergang von der Feldfrucht-Bepflanzung zu einem unbepflanzten Teil des Ackers verstanden. Das zu erkennende Muster kann dabei insbesondere eine Oberkante und/oder eine Unterkante eines solchen Randes der Feldfrucht-Bepflanzung sein, also insbesondere ein Bereich, bei dem die randständigen Pflanzen der Feldfrucht-Bepflanzung aus dem Boden austreten bzw. mit ihren Spitzen (z.B. Ähren) enden.An edge of the field crop planting is understood to mean a transition from the field crop planting to an unplanted part of the field. The pattern to be recognized can in particular be an upper edge and / or a lower edge of such an edge of the field crop planting, i.e. in particular an area in which the edge plants of the field crop planting emerge from the ground or with their tips (e.g. ears) end up.

Dabei ist es bevorzugt, wenn der Rand der Feldfrucht-Bepflanzung benachbart zu einer Fahrgasse ist.It is preferred here if the edge of the crop planting is adjacent to a tramline.

Der Zustand der Feldfrucht-Bepflanzung kann einen Fruchtreifegrad, eine Fruchtgröße, eine Farbe, etc. sein.The state of the crop planting may be a fruit ripeness degree, a fruit size, a color, etc.

Besonders bevorzugt ist es jedoch, wenn der Zustand der Feldfrucht-Bepflanzung eine Gewächshöhe der Feldfrucht-Bepflanzung ist.It is particularly preferred, however, if the state of the crop planting is a plant height of the crop planting.

Dieser Zustand kann insbesondere dazu genutzt werden, um eine Höhe einer Spritze bzw. einen Abstand der Spritze zu den Spitzen der Pflanze einzustellen, wenn die Bepflanzung mittels Sprüher besprüht wird.This state can in particular be used to set a height of a syringe or a distance between the syringe and the tips of the plant when the vegetation is sprayed by means of a sprayer.

Gemäß einer weiteren insgesamt bevorzugten Ausführungsform ist die Kamera an dem Kameraträger in einer solchen Kameraposition montiert, dass das Blickfeld der Kamera von schräg oben auf eine Fahrspur in der Feldfrucht-Bepflanzung gerichtet ist. According to a further overall preferred embodiment, the camera is mounted on the camera support in such a camera position that the field of view of the camera is directed obliquely from above onto a lane in the crops.

Durch das von schräg oben auf die Fahrspur gerichtete Blickfeld ist es möglich, den Rand der Feldfrucht-Bepflanzung am Übergang zu dieser Fahrspur gut zu erfassen. Das Blickfeld ist dabei vorzugsweise so, dass zu der Fahrspur benachbarte Feldfrüchte bzw. Pflanzen ausgehend von dem Boden bis zur Spitze der jeweiligen Pflanze zu sehen sind; bei einer zweispurigen Fahrgasse mit zwei Fahrspuren ist es bevorzugt, wenn die Kamera gegenüber einer Längs-Mittelachse des Kameraträgers bzw. des Fahrzeugs seitlich versetzt ist. Der seitliche Versatz kann beispielsweise in dem Bereich von 5 cm bis 150 cm liegen, insbesondere in einem Bereich von 10 cm bis 100 cm.The field of view directed obliquely from above onto the lane makes it possible to clearly see the edge of the crop planting at the transition to this lane. The field of view is preferably such that crops or plants adjacent to the lane can be seen starting from the ground up to the tip of the respective plant; In the case of a two-lane tramline with two lanes, it is preferred if the camera is laterally offset with respect to a longitudinal central axis of the camera carrier or of the vehicle. The lateral offset can, for example, be in the range from 5 cm to 150 cm, in particular in a range from 10 cm to 100 cm.

Hierdurch ist es möglich, den Rand der Feldfrucht-Bepflanzung von einer der zwei Fahrspuren der Fahrgasse optimiert aufzunehmen, derart, dass der Rand der Feldfrucht-Bepflanzung im Verhältnis zur Umgebung relativ groß ist.This makes it possible to record the edge of the field crop planting of one of the two lanes of the tramline in an optimized manner such that the edge of the field crop planting is relatively large in relation to the surroundings.

Bei dem erfindungsgemäßen Verfahren ist es mit geringem Mehraufwand möglich, sogenannte „Ground Truth Werte“ für die Wuchshöhe mitzubestimmen, beispielsweise durch Ultraschall-Sensoren, durch Lidar oder manuell mithilfe eines Maßbandes.With the method according to the invention, it is possible with little additional effort to co-determine so-called “ground truth values” for the height of growth, for example by means of ultrasonic sensors, by lidar or manually with the aid of a measuring tape.

Ferner wird eine Steuereinrichtung bereitgestellt, die eingerichtet ist, um das Verfahren gemäß einer der zuvor beschriebenen Ausführungsformen auszuführen. Die Steuereinrichtung kann verschiedene Schnittstellen zum Empfangen und Ausgeben der entsprechenden Signale aufweisen. Unter einer Einrichtung der Steuereinrichtung zum Ausführen einer bestimmten Funktion kann im Rahmen der Erfindung eine spezifische Herrichtung, beispielsweise eine Programmierung, der Steuereinrichtung zum Ausführen der Funktion verstanden werden.Furthermore, a control device is provided which is set up to carry out the method according to one of the previously described embodiments. The control device can have various interfaces for receiving and outputting the corresponding signals. In the context of the invention, a device of the control device for executing a specific function can be understood to mean a specific preparation, for example programming, of the control device for executing the function.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It goes without saying that the features mentioned above and those yet to be explained below can be used not only in the respectively specified combination, but also in other combinations or alone, without departing from the scope of the present invention.

Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:

  • 1 eine schematische Darstellung eines landwirtschaftlichen Fahrzeugs am Rand einer Feldfrucht-Bepflanzung;
  • 2 ein mittels einer Kamera des Fahrzeugs der 1 aufgenommenes digitales Bild;
  • 3 eine Zielregion des Bildes der 2;
  • 4 eine schematische Darstellung eines erkannten Musters in der Zielregion der 3;
  • 5 ein aus dem erkannten Muster der 4 ermittelter Zustand der Feldfrucht-Bepflanzung;
  • 6 eine Draufsicht auf ein landwirtschaftliches Fahrzeug, das in einer zweispurigen Fahrgasse in einer Feldfrucht-Bepflanzung fährt;
  • 7 ein mittels einer Kamera des Fahrzeugs der 6 aufgenommenes Bild;
  • 8 eine Zielregion des digitalen Bildes der 7;
  • 9 ein erkanntes Muster in der Zielregion der 8 mit einer Darstellung des ermittelten Zustandes der Feldfrucht-Bepflanzung; und
  • 10 eine schematische Darstellung eines Verfahrensablaufs ausgehend von einer Bild-Vorbearbeitung über die Anwendung eine Convolutional Neural Networks und das daraus abgeleitete Klassifizierungsergebnis.
Exemplary embodiments of the invention are shown in the drawing and are explained in more detail in the following description. Show it:
  • 1 a schematic representation of an agricultural vehicle on the edge of a crop planting;
  • 2 one by means of a camera of the vehicle 1 captured digital image;
  • 3 a target region of the image of the 2 ;
  • 4th a schematic representation of a recognized pattern in the target region of FIG 3 ;
  • 5 one from the recognized pattern of the 4th ascertained condition of crop planting;
  • 6th a plan view of an agricultural vehicle traveling in a two-lane tramline in a crop plantation;
  • 7th one by means of a camera of the vehicle 6th captured image;
  • 8th a target region of the digital image of the 7th ;
  • 9 a recognized pattern in the target region of the 8th with a representation of the determined condition of the crop planting; and
  • 10 a schematic representation of a process sequence based on image preprocessing using a convolutional neural network and the classification result derived therefrom.

In 1 ist in schematischer Form ein landwirtschaftliches Fahrzeug in Form eines Fahrzeugs dargestellt und generell mit 10 bezeichnet. Das Fahrzeug 10 steht auf einem Acker 12, genauer auf dessen Ackerboden 14. In einem Bereich vor dem Fahrzeug 10 befindet sich auf dem Acker 12 eine Feldfrucht-Bepflanzung 16, beispielsweise in Form eines Weizenfeldes, eines Maisfeldes, eines Rapsfeldes, etc.In 1 an agricultural vehicle is shown in schematic form in the form of a vehicle and is generally designated 10. The vehicle 10 stands in a field 12 , more precisely on its arable land 14th . In an area in front of the vehicle 10 is in the field 12 a field crop planting 16 , for example in the form of a wheat field, a corn field, a rape field, etc.

Die Feldfrucht-Bepflanzung besteht aus Einzelpflanzen mit einem Halm 16a und einem Pflanzenkopf bzw. -ende, beispielsweise einer Pflanzenähre 16b. Die Feldfrucht-Bepflanzung 16 weist einen Zustand in Form einer Gewächshöhe H auf, die ausgehend von dem Ackerboden 14 bis zu der Oberseite der Pflanzenenden 16b reicht.The crop planting consists of single plants with a stalk 16a and a plant head or end, for example a plant ear 16b . The field crop planting 16 has a state in the form of a plant height H starting from the arable soil 14th up to the top of the plant ends 16b enough.

Dem Fahrzeug 10 ist ein Fahrzeugkoordinatensystem mit einer x-Achse, die einer Fahrzeuglängsachse des Fahrzeugs 10 entspricht, einer y-Achse, die einer Querachse des Fahrzeugs 10 entspricht, und einer z-Achse zugeordnet, die einer Höhenrichtung entspricht. Die Gewächshöhe H verläuft parallel zu der z-Richtung.The vehicle 10 is a vehicle coordinate system with an x-axis that is a longitudinal axis of the vehicle 10 corresponds to a y-axis which is a transverse axis of the vehicle 10 corresponds, and assigned to a z-axis which corresponds to a height direction. The height of the plant H runs parallel to the z-direction.

Eine Achse der Hinterreifen des Fahrzeugs 10 befindet sich an einer Position x0 .An axle of the rear tires of the vehicle 10 is in one position x 0 .

An dem Fahrzeug 10 ist eine digitale Kamera 20 fest montiert, und zwar in einer x-Position von x1 . Eine alternative Montageposition ist bei 20' gezeigt. On the vehicle 10 is a digital camera 20th permanently mounted, in an x position of x 1 . An alternative mounting position is at 20 ' shown.

Die Kamera 20 weist ein Blickfeld 22 auf, das generell nach vorne gerichtet ist, derart, dass die Feldfrucht-Bepflanzung 16 erfasst wird, und zwar einschließlich ihres Randes, an dem die Feldfrucht-Bepflanzung 16 endet (in x-Richtung gesehen).The camera 20th shows a field of vision 22nd which is generally forward facing, so that the crop planting 16 is recorded, including its edge, on which the crop planting 16 ends (seen in x-direction).

Zwischen der Kamera 20 und dem Rand der Feldfrucht-Bepflanzung 16 ist ein Abstand von wenigstens einem Meter vorgesehen.Between the camera 20th and the edge of the crop plantation 16 a distance of at least one meter is provided.

Ein unterer Rand des Blickfeldes 22 fällt in der dargestellten Ausführungsform an einer Position x2 mit dem Ackerboden 14 zusammen. Die Position x2 liegt vor einer Position x3, die die x-Position des Randes der Feldfrucht-Bepflanzung 16 darstellt.A lower edge of the field of vision 22nd falls in the illustrated embodiment at a position x 2 with the soil 14th together. The position x 2 lies in front of a position x 3 which is the x position of the edge of the crop planting 16 represents.

Mit anderen Worten ist das Blickfeld 22 der Kamera 20 so eingestellt, dass der Rand der Feldfrucht-Bepflanzung 16 ausgehend von dem Ackerboden 14 bis hin zu der Oberseite der einzelnen Pflanzen vollständig erfasst wird.In other words, is the field of view 22nd the camera 20th adjusted so that the edge of the crop planting 16 starting from the arable land 14th is completely recorded up to the top of the individual plants.

Ergänzend sei darauf hingewiesen, dass das landwirtschaftliche Fahrzeug 10 eine Steuereinrichtung 24 aufweist, die vorzugsweise mit der Kamera 20 verbunden ist. Ferner weist das landwirtschaftliche Fahrzeug 10 vorzugsweise eine Lenkeinrichtung 26 auf, die ein selbsttätiges Lenken des Fahrzeugs 10 ermöglicht, und zwar auf der Basis entweder ausschließlich von Daten der Kamera 20 und/oder auf der Basis von Daten eines GPS-Systems 28, das ebenfalls vorzugsweise in das Fahrzeug 10 integriert ist.In addition, it should be noted that the agricultural vehicle 10 a control device 24 having, preferably with the camera 20th connected is. Furthermore, the agricultural vehicle 10 preferably a steering device 26th on which an automatic steering of the vehicle 10 on the basis either exclusively of data from the camera 20th and / or on the basis of data from a GPS system 28 , which is also preferably in the vehicle 10 is integrated.

Die Lenkeinrichtung 26 und das GPS-System 28 befinden sich ebenfalls mit der Steuereinrichtung 24 in Verbindung. Die Steuereinrichtung 24 kann ferner dazu ausgebildet sein, einen an dem Fahrzeug 10 montierten Sprüher 29 hinsichtlich seiner Höhe zu verstellen, wie es durch einen Fall in 1 dargestellt ist, vorzugsweise in Abhängigkeit von der Gewächshöhe H.The steering device 26th and the GPS system 28 are also located with the control device 24 in connection. The control device 24 can also be designed to have one on the vehicle 10 mounted sprayer 29 to be adjusted with regard to its height, as indicated by a case in 1 is shown, preferably as a function of the plant height H .

In 2 ist ein mittels der Kamera 20 aufgenommenes Bild 30 zu sehen. Das Bild 30 zeigt einen Teil eines Himmels 32 sowie die Feldfrucht-Bepflanzung 16 im Bereich ihres Randes. Ferner ist ein kleiner Teil des Ackerbodens 14 zu erkennen. Das Bild 30 weist eine Breite BB und eine Höhe BH auf. Das Bild 30 weist eine Vielzahl von Pixeln 34 auf, von denen einer in 2 schematisch angedeutet ist. Das Bild kann beispielsweise eine Anzahl von Pixeln von größer 500.000 und kleiner 20.000.000 aufweisen, wobei jedem Pixel entweder ein einzelner Grauwert zugeordnet ist oder drei Farbwerte in Form eines Rot-, eines Grün- oder eines Blauwertes.In 2 is a means of using the camera 20th captured image 30th to see. The picture 30th shows part of a sky 32 as well as the field crops 16 in the area of their edge. There is also a small part of the arable land 14th to recognize. The picture 30th has a width B B and a height B H on. The picture 30th has a multitude of pixels 34 on, one of which is in 2 is indicated schematically. The image can, for example, have a number of pixels greater than 500,000 and less than 20,000,000, with each pixel being assigned either a single gray value or three color values in the form of a red, a green or a blue value.

Die Kamera 20 und die damit aufgenommenen digitalen Bilder 30 werden bei dem Fahrzeug 10 vorzugsweise zur Navigation bzw. zum Zwecke des autonomen Fahrens verwendet, beispielsweise um eine in 1 nicht näher dargestellte Fahrgasse zu erkennen. Die Erkennung der Fahrgasse kann beispielsweise erfolgen, wie es den oben beschriebenen Dokumenten DE 10 2016 209 437 A1 und DE 103 51 861 A1 beschrieben ist.The camera 20th and the digital images recorded with it 30th be at the vehicle 10 preferably used for navigation or for the purpose of autonomous driving, for example to use an in 1 not shown in detail to recognize tramline. The tramline can be recognized, for example, as in the documents described above DE 10 2016 209 437 A1 and DE 103 51 861 A1 is described.

Andererseits dient die Kamera 20 vorliegend auch zum Ermitteln eines Zustandes der Feldfrucht-Bepflanzung 16. Der Zustand kann ein Fruchtreifegrad sein, eine Fruchtgröße, eine Farbe oder Ähnliches. Vorzugsweise ist der Zustand jedoch die Gewächshöhe H, anhand derer das vorliegende Ermittlungsverfahren beispielhaft beschrieben wird.On the other hand, the camera serves 20th in the present case also for determining a state of the crop planting 16 . The condition can be a degree of fruit ripeness, a fruit size, a color or the like. However, the state is preferably the height of the plant, on the basis of which the present determination method is described by way of example.

Zum Ermitteln der Gewächshöhe H ist vorzugsweise nur ein Ausschnitt aus dem Bild 30 von Interesse. Der Ausschnitt, der vorliegend auch als Zielregion 36 bzw. „Region of Interest“ bezeichnet wird, ist in 3 vergrößert dargestellt. Man erkennt, dass hier die Gewächshöhe H' relativ zu der Höhe der Zielregion 36 einen relativ großen Wert einnimmt, so dass eine vergleichsweise gute Erkennung dieses Zustandes möglich ist.To determine the height of the plant H, only a section of the image is preferably needed 30th of interest. The section, which is also used as the target region 36 or "Region of Interest" is in 3 shown enlarged. It can be seen that here the plant height H 'is relative to the height of the target region 36 assumes a relatively large value, so that a comparatively good detection of this state is possible.

Das digitale Bild 30 und/oder die Zielregion 36 kann ferner einer weiteren Vorbearbeitung unterzogen werden, die beispielsweise eine Filterung beinhalten kann, einen Weißabgleich, eine Kontrasterhöhung oder -verringerung, eine Vergrößerung oder Verkleinerung des Dynamikumfanges etc. Ferner ist es möglich, Grauwerte zu filtern, beispielsweise auf die Farbe der Feldfrucht-Bepflanzung hin. Beispielsweise kann ein Gelbfilter verwendet werden, um auf diese Weise Blau herauszufiltern, so dass der Himmel im Schwarzweißbild anschließend schwarz erscheint, wie es in der Zielregion 36A der 4 schematisch bei 32 angedeutet ist.The digital image 30th and / or the target region 36 can also be subjected to further pre-processing, which can include, for example, a filtering, a white balance, an increase or decrease in contrast, an increase or decrease in the dynamic range, etc. Furthermore, it is possible to filter gray values, for example based on the color of the crops . For example, a yellow filter can be used to filter out blue in this way, so that the sky in the black and white image then appears black as it does in the target region 36A of the 4th is indicated schematically at 32.

Die Arten der Vorbearbeitung des Bildes 30 bzw. der daraus abgeleiteten Zielregion 36 hängt maßgeblich von der Art der Feldfrucht-Bepflanzung sowie von sonstigen Umgebungsbedingungen ab.The types of pre-processing of the image 30th or the target region derived from it 36 depends largely on the type of crop planting and other environmental conditions.

In vielen Fällen beinhaltet die Vorbearbeitung auch einen Ausgleich von intrinsischen Fehlern der Kamera, beispielsweise ein Korrigieren einer Aberration, einer Verzerrung eines Objektives der Kamera, etc. Dies ist für eine Zielregion 36B schematisch in 5 dargestellt.In many cases, the preprocessing also includes a compensation of intrinsic errors of the camera, for example a correction of an aberration, a distortion of a lens of the camera, etc. This is for a target region 36B schematically in 5 shown.

Schließlich kann eine Vorbearbeitung auch eine Funktion von äußeren Umgebungszuständen sein, beispielsweise eine Funktion einer Farbtemperatur (z.B. Aufnahme bei bewölktem Himmel oder bei Sonnenschein, etc.).Finally, pre-processing can also be a function of external environmental conditions, for example a function of a color temperature (e.g. recording under cloudy skies or sunshine, etc.).

Nach dieser Vorbearbeitung des Bildes 30 bzw. der Zielregion 36 wird die so erzeugte digitale zweidimensionale Bilddatei einem Convolutional Neural Network zugeführt, das vorab auf die Erkennung der Gewächshöhe H trainiert worden ist. After this pre-processing of the image 30th or the target region 36 the digital two-dimensional image file generated in this way is fed to a convolutional neural network that has been previously trained to recognize the height of the plant.

Das Convolutional Neural Network, das im Folgenden kurz mit CNN bezeichnet wird, ist anhand einer Vielzahl (beispielsweise mehr als 1.000 und vorzugsweise weniger als 50.000) vergleichbaren Bilddaten trainiert worden, und zwar unter Verwendung von echten Messdaten zu diesen Bilddaten. Mit anderen Worten wurden der 2 vergleichbare Bilder aufgenommen und es wurde dann ein Training des CNN vorgenommen, dahingehend, dass zu den jeweiligen Bildern die richtige, mit anderen Mitteln (entweder manuell oder mittels Sensoren oder dergleichen) gemessene echte Höhe H als Trainingsparameter verwendet wurde.The convolutional neural network, which is referred to below as CNN for short, has been trained on the basis of a large number (for example more than 1,000 and preferably less than 50,000) comparable image data, specifically using real measurement data for these image data. In other words, the 2 comparable images were recorded and the CNN was then trained to the effect that the correct real height H, measured by other means (either manually or by means of sensors or the like) was used as the training parameter for the respective images.

Das CNN führt an den Bilddaten des Bildes bzw. der Zielregion 36 eine Mustererkennung durch und erfasst den Zustand in Form der Gewächshöhe H der Feldfrucht-Bepflanzung aus wenigstens einem erkannten Muster. Sowohl das Durchführen der Mustererkennung als auch das Erfassen des Zustandes erfolgt dabei durch das CNN. The CNN leads to the image data of the image or the target region 36 a pattern recognition by and detects the state in the form of the plant height H of the field crop planting from at least one recognized pattern. Both the implementation of the pattern recognition and the detection of the state are carried out by the CNN.

Das CNN gibt dabei als Endwert eine Approximation von H als diskrete Größe aus, beispielsweise eine Gewächshöhe in Form einer numerischen Zahl, die aus einem Zahlenraum entnommen ist, der beispielsweise eine begrenzte Anzahl von numerischen Werten enthält. Diese sind beispielsweise so beabstandet, dass der Abstand einer Gewächshöhen-Differenz von mehr als 0,5 cm und weniger als 50 cm entspricht. Für Mais als Feldfrucht liegt die relevante Differenz in einem Bereich von 5 cm bis 50 cm. Für kleinere Bepflanzungen, beispielsweise Weizen, liegt die Differenz beispielsweise in einem Bereich von 1 cm bis 10 cm.The CNN outputs an approximation of H as a discrete variable, for example a plant height in the form of a numerical number, which is taken from a number range that contains, for example, a limited number of numerical values. These are spaced, for example, so that the distance corresponds to a difference in plant height of more than 0.5 cm and less than 50 cm. For maize as a field crop, the relevant difference is in a range from 5 cm to 50 cm. For smaller plantings, for example wheat, the difference is, for example, in a range from 1 cm to 10 cm.

Durch diese Einschränkung des Zahlenraumes auf beispielsweise mehr als 5 und weniger als 50, insbesondere weniger als 30 unterschiedliche Werte, kann das Training des CNN mit der o.g. begrenzten Anzahl von Bilddaten durchgeführt werden.By restricting the number range to, for example, more than 5 and less than 50, in particular less than 30 different values, the training of the CNN with the above-mentioned limited number of image data can be performed.

Alternativ zur Ausgabe von diskreten Werten der Gewächshöhe H ist es möglich, das CNN so zu trainieren, dass dieses Klassen von Gewächshöhen ausgibt, also beispielsweise 10 cm bis 20 cm oder 20 cm bis 30 cm oder 30 cm bis 40 cm oder....As an alternative to outputting discrete values for the plant height H, it is possible to train the CNN in such a way that it outputs classes of plant heights, for example 10 cm to 20 cm or 20 cm to 30 cm or 30 cm to 40 cm or ...

Die Anzahl der Klassen liegt vorzugsweise in einem Bereich von 5 bis 30, insbesondere in einem Bereich von 5 bis 15.The number of classes is preferably in a range from 5 to 30, in particular in a range from 5 to 15.

Mittels des oben beschriebenen Verfahrens zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung kann der Zustand aus Bilddaten einer Kamera erfasst bzw. abgeleitet werden, und zwar mittels eines CNN. Alternativ kann auch ein anderes neuronales Netzwerk verwendet werden, wobei ein CNN für Bilddaten das bevorzugte künstliche neurale Netzwerk ist.By means of the method described above for determining a condition of a field crop planting, the condition can be recorded or derived from image data from a camera, specifically by means of a CNN. Alternatively, another neural network can also be used, with a CNN for image data being the preferred artificial neural network.

Es ist folglich möglich, Sensoren wie Ultraschall-Sensoren einzusparen, die an dem Sprüher 29 befestigt werden, um die Gewächshöhe H im Betrieb zu messen. Ferner liegt ein Vorteil darin, dass man während eines Fahrbetriebes des Fahrzeuges die Gewächshöhe quasi vorausschauend ermitteln kann, und die Einstellung der Höhe des Sprühers anschließend unter Berücksichtigung der zurückgelegten Wegstrecke und beispielsweise des Abstandes von dem gemessenen Abschnitt der Feldfrucht-Bepflanzung zu dem Sprüher 29 in x-Richtung angepasst werden kann.It is therefore possible to save sensors such as ultrasonic sensors that are attached to the sprayer 29 be attached in order to measure the height H during operation. Another advantage is that the height of the vegetation can be determined in advance while the vehicle is in motion, and the height of the sprayer can then be adjusted, taking into account the distance covered and, for example, the distance from the measured section of the crop plantation to the sprayer 29 can be adjusted in the x-direction.

Nachstehend wird eine weitere Ausführungsform eines Verfahrens zum Ermitteln einer Gewächshöhe einer Feldfrucht-Bepflanzung beschrieben, das hinsichtlich Aufbau und Funktionsweise generell dem Verfahren der 1 bis 5 entspricht. Gleiche Elemente sind daher durch gleiche Bezugszeichen gekennzeichnet. Im Folgenden werden im Wesentlichen die Unterschiede erläutert.Another embodiment of a method for determining a plant height of a field crop is described below, which generally corresponds to the method of FIG 1 to 5 corresponds. The same elements are therefore identified by the same reference symbols. The main differences are explained below.

In 6 ist zu erkennen, dass ein landwirtschaftliches Fahrzeug 10, das als zweispuriges Fahrzeug ausgebildet ist, entlang einer Fahrgasse 40 fährt, die eine linke Fahrspur 42 und eine rechte Fahrspur 44 beinhaltet. Die Fahrgasse 40 ist eine in der Feldfrucht-Bepflanzung 16 vorgesehene Fahrgasse, die regelmäßig zur Bewirtschaftung der Bepflanzung 16 befahren wird und folglich im Bereich der Fahrspuren 42, 44 direkt dem Ackerboden bzw. der Ackerbodenhöhe entspricht.In 6th can be seen that an agricultural vehicle 10 , which is designed as a two-lane vehicle, along a tramline 40 drives that one left lane 42 and a right lane 44 includes. The tramline 40 is one in the crop planting 16 provided tramline, which is regularly used for cultivating the planting 16 is driven on and consequently in the area of the lanes 42 , 44 corresponds directly to the arable soil or the arable soil height.

Das Fahrzeug 10 weist eine Mittelachse 46 in x-Richtung, d.h. in Längsrichtung auf. Die Kamera 20 weist eine Blickfeldachse 48 auf, die schräg verläuft zu der Mittelachse 46, also unter einem Winkel von mehr als 1 Grad und vorzugsweise weniger als 30 Grad zu der Mittelachse 46 ausgerichtet ist. Ferner ist es alternativ oder zusätzlich bevorzugt, wenn die Kamera 20 gegenüber der Mittelachse 46 seitlich versetzt ist, und zwar in y-Richtung. Der Seitenabstand 50 zwischen der Mittelachse 46 und der Kamera 20 kann beispielsweise in einem Bereich von 5 cm bis 100 cm liegen, vorzugsweise in einem Bereich von 5 cm bis 50 cm.The vehicle 10 has a central axis 46 in the x direction, ie in the longitudinal direction. The camera 20th has an axis of field of view 48 which runs obliquely to the central axis 46 , so at an angle of more than 1 degree and preferably less than 30 degrees to the central axis 46 is aligned. Furthermore, it is alternatively or additionally preferred if the camera 20th opposite the central axis 46 is laterally offset, in the y-direction. The side distance 50 between the central axis 46 and the camera 20th can for example be in a range from 5 cm to 100 cm, preferably in a range from 5 cm to 50 cm.

Durch diese asymmetrische Anordnung bzw. Ausrichtung wird eine der zwei Fahrspuren von dem Blickfeld 22 so erfasst, dass ein Rand 52 der Feldfrucht-Bepflanzung 16 am Übergang von dieser Bepflanzung zu der Fahrspur (hier der linken Fahrspur 42) gut zu erkennen ist, und zwar ausgehend von dem Ackerboden 14 bis zu den oberen Spitzen der Feldfrucht-Bepflanzung 16 im Bereich dieses Randes 52.This asymmetrical arrangement or alignment removes one of the two lanes from the field of view 22nd so captured that an edge 52 of the crop planting 16 at the transition from this planting to the lane (here the left lane 42 ) is clearly visible, starting from the arable land 14th to the top of the crop planting 16 in the area of this edge 52 .

Ein mittels der Kamera 20 aufgenommenes Bild 30 (entsprechend dem Bild 30 der 2) ist in 7 gezeigt.One by means of the camera 20th captured image 30th (according to the picture 30th of the 2 ) is in 7th shown.

Es ist zu erkennen, dass die zwei Fahrspuren 42, 44 zu sehen sind, wobei von der linken Fahrspur 42 ein überwiegender Teil des Ackerbodens 14 zu erkennen ist. Ferner ist für die linke Fahrspur 42 der Rand 52 ausgehend von der Fahrspur 42 bis hin zu der Oberseite der Feldfrucht-Bepflanzung 16 gut erkennbar, und zwar insbesondere in einem unteren Teilbereich des Bildes 30.It can be seen that the two lanes 42 , 44 can be seen, taking from the left lane 42 a predominant part of the arable land 14th can be seen. It is also for the left lane 42 the edge 52 starting from the lane 42 up to the top of the crop planting 16 easily recognizable, especially in a lower part of the image 30th .

Folglich wird eine Zielregion 36 aus dem unteren Teil des Bildes 30 ausgewählt, wie es in 8 bei 36A dargestellt ist. In dem Bild der 8 ist die rechte Fahrspur zwar noch ansatzweise zu erkennen, spielt jedoch für die weitere Mustererkennung und Zustandsermittlung keine Rolle mehr. 9 entspricht 5 und zeigt eine Zielregion 36B.Hence becomes a target region 36 from the lower part of the picture 30th selected as it is in 8th at 36A is shown. In the picture the 8th the right lane can still be seen to some extent, but it no longer plays a role in further pattern recognition and status determination. 9 corresponds 5 and shows a target region 36B .

Entscheidend ist, dass sich aus der Darstellung der 8 und/oder der 9 und insbesondere von dem Rand 52 der Feldfrucht-Bepflanzung 16 unter Zuhilfenahme eines CNN die Höhe H der Feldfrucht-Bepflanzung ermitteln lässt, und zwar auf gleiche Art und Weise wie oben unter Bezugnahme auf die 2 bis 5 beschrieben.It is crucial that the representation of the 8th and / or the 9 and especially from the edge 52 of the crop planting 16 with the aid of a CNN can determine the height H of the crop planting, in the same way as above with reference to the 2 to 5 described.

Die Höhe H kann wieder als diskreter Wert ausgegeben werden oder als Gewächshöhen-Klasse.The height H can again be output as a discrete value or as a plant height class.

10 zeigt in schematischer Form das oben dargestellte Ermittlungsverfahren. 10 shows in schematic form the determination method presented above.

In einem Schritt 62 erfolgt eine Bild-Vorbearbeitung, wie sie ausführlich unter Bezugnahme auf die 2 und 3 beschrieben worden ist und die in gleicher Art und Weise auf die 7 und 8 anwendbar ist.In one step 62 image preprocessing takes place, as described in detail with reference to the 2 and 3 has been described and which in the same way to the 7th and 8th is applicable.

Anschließend wird die vorbearbeitete Bilddatei (bzw. deren Zielregion 36) in ein CNN 60 eingegeben, innerhalb dessen Faltungsoperationen 66, Auswahloperationen 68 (Pooling) und weitere aus dem Stand der Technik zu CNN bekannte Schritte erfolgen, bis letztlich eine oder mehrere Fully-Connected Layers 70 vorliegen, aus denen sich eine Klassifikation des Zustandes ergibt bzw. die eine solche Klassifikation des Zustandes darstellt (bei 64 angedeutet), wobei der Begriff der Klassifikation des Zustandes H vorliegend bedeuten kann, dass diskrete Werte dargestellt werden als auch Klassen in Form von Gewächshöhen-Bereichen, wie oben beschrieben.The pre-processed image file (or its target region 36 ) into a CNN 60 entered, within its convolution operations 66 , Selection operations 68 (Pooling) and further steps known from the prior art relating to CNN are carried out until one or more fully connected layers are ultimately implemented 70 from which a classification of the state results or which represents such a classification of the state (indicated at 64), whereby the term classification of the state H can mean that discrete values are represented as well as classes in the form of plant height Areas as described above.

In einer bevorzugten Variante erfolgt in dem CNN zunächst eine Mustererkennung, aus der die Fahrgasse bzw. wenigstens eine Fahrspur abgeleitet werden kann. Diese Fully-Connected Layer, die Daten hinsichtlich der Fahrgasse darstellt, kann dann beispielsweise von einem selbsttätigen Lenksystem verwendet werden und im Anschluss auch von einem weiteren CNN bzw. weiteren Faltungsoperationen und Auswahloperationen bis hin zu weiteren Fully-Connected Layern, aus denen die Klassifikation der Gewächshöhe H der Feldfrucht-Bepflanzung hervorgeht.In a preferred variant, a pattern recognition first takes place in the CNN, from which the tramline or at least one lane can be derived. This fully connected layer, which represents data with regard to the tramline, can then be used, for example, by an automatic steering system and then also by a further CNN or further folding operations and selection operations up to further fully connected layers from which the classification of the Plant height H of the crops can be seen.

Bei dem Ermittlungsverfahren können mit etwas Mehraufwand Ground Truth Werte für die Gewächshöhe mitbestimmt werden, z.B. durch Ultraschall-Sensoren, durch Lidar oder manuell mithilfe eines Maßbandes. Dies Ground Truth Werte können zum fortlaufenden Training des CNN verwendet werden.During the determination process, ground truth values for the plant height can be determined with a little extra effort, e.g. by ultrasonic sensors, by lidar or manually using a tape measure. These ground truth values can be used for ongoing training of the CNN.

Dadurch, dass die Bilddaten auf eine Zielregion eingeschränkt werden, kann die Laufzeit des CNN positiv beeinflusst werden.By restricting the image data to a target region, the runtime of the CNN can be positively influenced.

BezugszeichenlisteList of reference symbols

1010
landwirtschaftliches Fahrzeugagricultural vehicle
1212
AckerField
1414th
AckerbodenArable land
1616
Feldfrucht-BepflanzungField crop planting
16a16a
HalmStraw
16b16b
ÄhreEar of wheat
2020th
Kamera (digital)Camera (digital)
2222nd
BlickfeldField of view
2424
SteuereinrichtungControl device
2626th
LenkeinrichtungSteering device
2828
GPS-SystemGPS system
2929
SprüherSprayer
3030th
Bildimage
3232
Himmelsky
3434
Pixelpixel
3636
ZielregionTarget region
4040
FahrgasseTramline
4242
linke Fahrspurleft lane
4444
rechte Fahrspurright lane
4646
Mittelachse (10)Central axis ( 10 )
4848
BlickfeldachseField of view axis
5050
SeitenabstandSide spacing
52 52
Rand (16)Edge ( 16 )
6060
Convolutional Neural NetworkConvolutional Neural Network
6262
Vorverarbeiten BilddatenPre-processing image data
6464
Klassifizierungs-/ApproximierungsergebnisClassification / approximation result
6666
FaltungenFolds
6868
Auswahloperationen (Pooling)Selection operations (pooling)
7070
Fully-Connected LayerFully connected layer
HH
WuchshöheStature
BH B H
Höhe Bild 30 Height image 30th
BB B B
Breite Bild 30 Wide image 30th

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102016209437 A1 [0006, 0067]DE 102016209437 A1 [0006, 0067]
  • DE 10351861 A1 [0007, 0067]DE 10351861 A1 [0007, 0067]

Claims (11)

Verfahren zum Ermitteln eines Zustandes (H) einer Feldfrucht-Bepflanzung (16) mittels eines landwirtschaftlichen Kameraträgers (10), an dem eine Kamera (20) montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung (16) gerichtetes Blickfeld (22) hat, mit den Schritten: - Aufnehmen wenigstens eines digitalen Bildes (30) mittels der Kamera (20); - Durchführen einer Mustererkennung an den Bilddaten (34) des Bildes (30); - Erfassen des Zustandes (H) der Feldfrucht-Bepflanzung (16) aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes (60) durchgeführt wird.Method for determining a state (H) of a field crop (16) by means of an agricultural camera support (10) on which a camera (20) is mounted, which provides a field of view (22) which is at least partially directed at the field crop (16) has, with the steps: - Recording at least one digital image (30) by means of the camera (20); - Carrying out a pattern recognition on the image data (34) of the image (30); - Detection of the state (H) of the field crop planting (16) from at least one recognized pattern, the pattern recognition being carried out using a neural network (60). Verfahren nach Anspruch 1, wobei das neuronale Netz ein Convolutional Neural Network (60) ist.Procedure according to Claim 1 wherein the neural network is a convolutional neural network (60). Verfahren nach Anspruch 1 oder 2, wobei aus dem aufgenommenen Bild zunächst eine Zielregion (36) ausgewählt wird.Procedure according to Claim 1 or 2 , wherein a target region (36) is first selected from the recorded image. Verfahren nach Anspruch 2 oder 3, wobei an den Bilddaten eine Mehrzahl von Faltungsoperationen (66) durchgeführt wird.Procedure according to Claim 2 or 3 wherein a plurality of convolution operations (66) are performed on the image data. Verfahren nach Anspruch 4, wobei nach einer Mehrzahl von Faltungsoperationen (66) wenigstens eine Fully-Connected Layer (70) vorliegt, die eine Klassifikation oder eine Annäherung des Zustandes (H) der Feldfrucht-Bepflanzung (16) darstellt.Procedure according to Claim 4 wherein after a plurality of folding operations (66) there is at least one fully connected layer (70) which represents a classification or an approximation of the state (H) of the crop planting (16). Verfahren nach einem der Ansprüche 1-5, wobei ein bei der Mustererkennung zu erkennendes Muster einen Rand (52) der Feldfrucht-Bepflanzung (16) aufweist, auf die das Blickfeld (22) der Kamera (20) gerichtet ist.Method according to one of the Claims 1 - 5 wherein a pattern to be recognized during the pattern recognition has an edge (52) of the field crop planting (16) to which the field of view (22) of the camera (20) is directed. Verfahren nach Anspruch 6, wobei der Rand (52) der Feldfrucht-Bepflanzung (16) benachbart zu einer Fahrspur (42) ist.Procedure according to Claim 6 wherein the edge (52) of the crop planting (16) is adjacent to a lane (42). Verfahren nach einem der Ansprüche 1-7, wobei der Zustand (H) der Feldfrucht-Bepflanzung (16) eine Gewächshöhe (H) der Feldfrucht-Bepflanzung ist.Method according to one of the Claims 1 - 7th wherein the state (H) of the crop planting (16) is a plant height (H) of the crop planting. Verfahren nach einem der Ansprüche 1-8, wobei die Kamera (20) an dem Kameraträger (10) in einer solchen Kameraposition montiert ist, dass das Blickfeld (22) der Kamera (20) von schräg oben auf eine Fahrspur (42) in der Feldfrucht-Bepflanzung (16) gerichtet ist.Method according to one of the Claims 1 - 8th wherein the camera (20) is mounted on the camera support (10) in such a camera position that the field of view (22) of the camera (20) is directed obliquely from above onto a lane (42) in the crop planting (16) . Steuereinrichtung (24), die eingerichtet ist, um ein Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.Control device (24) which is set up to implement a method according to one of the Claims 1 to 9 execute. Landwirtschaftliches Fahrzeug (10) mit einer Kamera (20) und mit einer Steuereinrichtung (24), auf der ein Verfahren gemäß einem der Ansprüche 1 bis 9 implementiert ist.Agricultural vehicle (10) with a camera (20) and with a control device (24) on which a method according to one of the Claims 1 to 9 is implemented.
DE102019201983.8A 2019-02-14 2019-02-14 Method for determining a condition of a crop planting and agricultural vehicle Withdrawn DE102019201983A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019201983.8A DE102019201983A1 (en) 2019-02-14 2019-02-14 Method for determining a condition of a crop planting and agricultural vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019201983.8A DE102019201983A1 (en) 2019-02-14 2019-02-14 Method for determining a condition of a crop planting and agricultural vehicle

Publications (1)

Publication Number Publication Date
DE102019201983A1 true DE102019201983A1 (en) 2020-08-20

Family

ID=71844287

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019201983.8A Withdrawn DE102019201983A1 (en) 2019-02-14 2019-02-14 Method for determining a condition of a crop planting and agricultural vehicle

Country Status (1)

Country Link
DE (1) DE102019201983A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10351861A1 (en) * 2003-11-06 2005-06-09 Deere & Company, Moline Method and steering system for automatically steering an agricultural machine
US20050279070A1 (en) * 2004-06-21 2005-12-22 Peter Pirro Self-propelled harvesting machine

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10351861A1 (en) * 2003-11-06 2005-06-09 Deere & Company, Moline Method and steering system for automatically steering an agricultural machine
US20050279070A1 (en) * 2004-06-21 2005-12-22 Peter Pirro Self-propelled harvesting machine

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DYRMANN, Mads, MORTENSEN, A. K., MIDTIBY, H. S., & JØRGENSEN, R. N. Pixel-wise classification of weeds and crops in images by using a fully convolutional neural network. In: Proceedings of the International Conference on Agricultural Engineering, Aarhus, Denmark. 2017. S. 1-6. *

Similar Documents

Publication Publication Date Title
EP3299996B1 (en) Agricultural machines with image processing system
EP1529428B1 (en) Method and system for automatic steering of an agricultural vehicle
EP3417686B1 (en) Agricultural machine
EP3782467B1 (en) Method for identifying weeds within a defined row of plants of an agricultural area
DE102018217742A1 (en) Process for applying a spray to a field
DE102016118227A1 (en) Image analysis system for agricultural machines
WO2020182564A1 (en) Vision-based steering assistance system for land vehicles
DE102016209437A1 (en) Automatic steering system for guiding an agricultural vehicle over a field and corresponding method
EP4088223A1 (en) Method for generating a plurality of annotated images
EP4262378A1 (en) Method for applying a spray onto agricultural land
DE102019201977A1 (en) Method for determining a condition of a crop planting and agricultural vehicle
DE102019201983A1 (en) Method for determining a condition of a crop planting and agricultural vehicle
EP4064819B1 (en) Method for treating plants in a field, for generating training data and for training a neural network
EP4064815A1 (en) Method for processing plants in a field
EP4064818A1 (en) Method for treating plants in a field
DE102017011747A1 (en) Tillage system
DE102022115549A1 (en) Method for the optimized configuration of a camera system for row detection in a field
DE102021125362A1 (en) Device and method for determining a position of a row of plants and/or a grid of rows of plants
DE102019111040A1 (en) Method for operating a self-propelled agricultural work machine
DE102021200400A1 (en) Process for registering plants or parts of plants, computer program product, registration device and agricultural vehicle
EP4064817A1 (en) Method for estimating a course of plant rows
WO2022111880A1 (en) Method and device for classifying plants, and computer program product
EP4133928A1 (en) Method for automating an agricultural task
DE102021125939A1 (en) Method for automating an agricultural work task
EP3818799A1 (en) Agricultural machine

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee