DE102019201983A1 - Method for determining a condition of a crop planting and agricultural vehicle - Google Patents
Method for determining a condition of a crop planting and agricultural vehicle Download PDFInfo
- Publication number
- DE102019201983A1 DE102019201983A1 DE102019201983.8A DE102019201983A DE102019201983A1 DE 102019201983 A1 DE102019201983 A1 DE 102019201983A1 DE 102019201983 A DE102019201983 A DE 102019201983A DE 102019201983 A1 DE102019201983 A1 DE 102019201983A1
- Authority
- DE
- Germany
- Prior art keywords
- camera
- field
- crop planting
- image
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Abstract
Verfahren zum Ermitteln eines Zustandes (H) einer Feldfrucht-Bepflanzung (16) mittels eines landwirtschaftlichen Kameraträgers (10), an dem eine Kamera (20) montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung (16) gerichtetes Blickfeld (22) hat, mit den Schritten: Aufnehmen wenigstens eines digitalen Bildes (30) mittels der Kamera (20); Durchführen einer Mustererkennung an den Bilddaten (34) des Bildes (30); Erfassen des Zustandes (H) der Feldfrucht-Bepflanzung (16) aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes (60) durchgeführt wird.Method for determining a state (H) of a field crop (16) by means of an agricultural camera support (10) on which a camera (20) is mounted, which provides a field of view (22) which is at least partially directed at the field crop (16) with the steps of: taking at least one digital image (30) by means of the camera (20); Performing a pattern recognition on the image data (34) of the image (30); Detecting the state (H) of the field crop planting (16) from at least one recognized pattern, the pattern recognition being carried out using a neural network (60).
Description
Die vorliegende Erfindung betrifft ein Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung bzw. eines Kulturenfeldes mittels eines landwirtschaftlichen Kameraträgers, an dem eine Kamera montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat.The present invention relates to a method for determining a condition of a crop planting or a crop field by means of an agricultural camera support on which a camera is mounted which has a field of view directed at least partially onto the crop planting.
Ferner betrifft die vorliegende Erfindung ein landwirtschaftliches Fahrzeug mit einer Kamera und mit einer Steuereinrichtung, auf der ein Verfahren der oben beschriebenen Art implementiert ist.The present invention also relates to an agricultural vehicle with a camera and with a control device on which a method of the type described above is implemented.
Die Landwirtschaft hat in den letzten Jahren erhebliche Schritte hinsichtlich einer Modernisierung erreicht. Dabei wird vornehmlich darauf abgestellt, landwirtschaftliche Nutzflächen örtlich differenziert und zielgerichtet zu bewirtschaften. Das Ziel ist es dabei generell, die Ertragsfähigkeit innerhalb eines Feldes möglichst dauerhaft zu optimieren.Agriculture has taken considerable steps towards modernization in recent years. The focus is primarily on cultivating agricultural areas in a locally differentiated and targeted manner. The goal is generally to optimize the profitability within a field as permanently as possible.
Während des Wachstums der Feldfrucht-Bepflanzung soll dabei Dünger beispielsweise nur nach Bedarf aufgebracht werden, ggf. als Funktion eines Zustandes der Feldfrucht-Bepflanzung über der Fläche des Ackers. Ferner ist man bestrebt, landwirtschaftliche Fahrzeuge möglichst autonom fahren zu lassen und/oder Drohnen zu verwenden, um einer Bodenverfestigung entgegen zu wirken.During the growth of the crop planting, fertilizer should, for example, only be applied as required, possibly as a function of a condition of the field crop planting over the area of the field. Furthermore, efforts are made to drive agricultural vehicles as autonomously as possible and / or to use drones to counteract soil consolidation.
Die autonome Fahrzeugsteuerung kann dabei beispielsweise über GPS-Navigation erfolgen. Zusätzlich hierzu ist es bekannt, Bilddaten zur selbsttätigen Führung eines landwirtschaftlichen Fahrzeugs zu verwenden.The autonomous vehicle control can take place, for example, via GPS navigation. In addition to this, it is known to use image data for the automatic guidance of an agricultural vehicle.
Beispielsweise offenbart das Dokument
Das Dokument
Durch das selbsttätige Lenken kann das landwirtschaftliche Fahrzeug sicher auf einer Fahrgasse geführt werden, die für eine landwirtschaftliche Saison oder dauerhaft in dem Acker vorgesehen ist, zum wiederholten Durchführen von Pflegemaßnahmen an der Bepflanzung.As a result of the automatic steering, the agricultural vehicle can be safely guided on a tramline which is provided for an agricultural season or permanently in the field, for repeated maintenance measures to be carried out on the plants.
In einem Regelfahrgassenverfahren wird jedes Jahr exakt dieselbe Fahrgasse benutzt. Mithilfe von GPS sowie Daten zur Maschinenarbeitsbreite etc. wird der Acker in befahrene und unbefahrene Zonen eingeteilt.In a standard tramline procedure, exactly the same tramline is used every year. With the help of GPS and data on the machine working width, etc., the field is divided into zones that are driven on and areas not driven on.
An dem landwirtschaftlichen Fahrzeug ist in der Regel eine Vielzahl von Anbauteilen und/oder Hängern anbringbar. Zum Düngen werden häufig sogenannte Sprüher verwendet. Zur Optimierung des Sprühvorganges werden an den Sprühern häufig Ultraschall-Sensoren zur Messung der Gewächshöhe eingesetzt. Diese Sensoren sind dabei in der Regel an Auslegern des Sprühers befestigt. Die so ermittelte Gewächshöhe kann verwendet werden, um einen optimalen Abstand zwischen einer Spritze des Sprühers und der Feldfrucht-Bepflanzung zu gewährleisten. Die Wuchshöhe kann auch zur automatischen Einstellung eines Mähwerkes verwendet werden.As a rule, a large number of add-on parts and / or hangers can be attached to the agricultural vehicle. So-called sprayers are often used for fertilization. To optimize the spraying process, ultrasonic sensors are often used on the sprayers to measure the height of the vegetation. These sensors are usually attached to the sprayer's arms. The plant height determined in this way can be used to ensure an optimal distance between a syringe of the sprayer and the crop planting. The height can also be used to automatically adjust a mower.
Es ist vor diesem Hintergrund eine Aufgabe der Erfindung, ein verbessertes Verfahren zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung sowie ein verbessertes landwirtschaftliches Fahrzeug anzugeben.Against this background, it is an object of the invention to provide an improved method for determining a condition of a field crop planting and an improved agricultural vehicle.
Die obige Aufgabe wird gelöst durch ein Verfahren zum Ermitteln einer Feldfrucht-Bepflanzung mittels eines landwirtschaftlichen Kameraträgers, an dem eine Kamera montiert ist, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat, mit den Schritten: Aufnehmen wenigstens eines digitalen Bildes mittels der Kamera; Durchführen einer Mustererkennung an den Bilddaten des Bildes; Erfassen des Zustandes der Feldfrucht-Bepflanzung aus wenigstens einem erkannten Muster, wobei die Mustererkennung unter Verwendung eines neuronalen Netzes durchgeführt wird.The above object is achieved by a method for determining a crop planting by means of an agricultural camera carrier, on which a camera is mounted, which has a field of view directed at least partially onto the crop planting, with the steps: recording at least one digital image by means of the Camera; Performing a pattern recognition on the image data of the image; Detecting the state of the crop planting from at least one recognized pattern, the pattern recognition being carried out using a neural network.
Die obige Aufgabe wird zudem gelöst durch ein landwirtschaftliches Fahrzeug mit einer Kamera und mit einer Steuereinrichtung, auf der ein Verfahren der erfindungsgemäßen Art implementiert ist.The above object is also achieved by an agricultural vehicle with a camera and with a control device on which a method of the type according to the invention is implemented.
Mit dem erfindungsgemäßen Verfahren lässt sich ein Zustand einer Feldfrucht-Bepflanzung ermitteln, ohne dass spezielle Sensoren oder dergleichen zu diesem Zweck vorgesehen werden müssen, wie beispielsweise Ultraschall-Sensoren. Daher kann das erfindungsgemäße Verfahren kostengünstig durchgeführt werden. With the method according to the invention, a state of a field crop can be determined without special sensors or the like having to be provided for this purpose, such as ultrasonic sensors. The method according to the invention can therefore be carried out inexpensively.
In vielen Fällen ist an einem landwirtschaftlichen Kameraträger, insbesondere an einem landwirtschaftlichen Fahrzeug wie einem Traktor, ohnehin eine Kamera montiert, die ein zumindest teilweise auf die Feldfrucht-Bepflanzung gerichtetes Blickfeld hat. In vielen Fällen dient eine derartige Kamera zur Navigation bzw. zum selbsttätigen Lenken des Fahrzeugs und/oder zur Unterstützung des selbsttätigen Lenkens des Fahrzeugs.In many cases, a camera is in any case mounted on an agricultural camera carrier, in particular on an agricultural vehicle such as a tractor, which camera has a field of view that is at least partially directed towards the crops. In many cases, a camera of this type is used for navigation or for automatic steering of the vehicle and / or for supporting the automatic steering of the vehicle.
Der Kameraträger kann ein landwirtschaftliches Fahrzeug sein, kann jedoch auch ein Anbauteil an einem landwirtschaftlichen Fahrzeug sein. Ferner kann der landwirtschaftliche Kameraträger ein Anhänger für ein landwirtschaftliches Fahrzeug oder dergleichen sein. Generell ist es jedoch auch denkbar, als landwirtschaftlichen Kameraträger eine Drohne einzusetzen, die ohne Kontakt zum Boden unbemannt in vergleichsweise niedriger Höhe (z.B. maximal 5 m) über das Feld geflogen wird.The camera support can be an agricultural vehicle, but it can also be an attachment part on an agricultural vehicle. Furthermore, the agricultural camera carrier can be a trailer for an agricultural vehicle or the like. In general, however, it is also conceivable to use a drone as an agricultural camera carrier that is flown unmanned over the field at a comparatively low height (e.g. maximum 5 m) without contact with the ground.
Die Kamera ist insbesondere eine Digitalkamera. Das digitale Bild, das mittels der Kamera aufgenommen wird, kann ein digitales Schwarzweiß- oder digitales Farbbild sein. Sofern es sich um ein Farbbild handelt, ist es möglich, zur Durchführung des Verfahrens nur die Bilddaten einer Farbe (z.B. rot, grün oder blau) zu verwenden, oder von allen drei Farben, aus denen ein Farbbild zusammengesetzt ist.In particular, the camera is a digital camera. The digital image captured by the camera can be a digital black and white or digital color image. If it is a color image, it is possible to use only the image data of one color (e.g. red, green or blue) to carry out the method, or of all three colors that make up a color image.
Das digitale Bild kann vor der Durchführung der Mustererkennung einer digitalen Filterung unterzogen werden, durch die beispielsweise eine Kontrasterhöhung durchgeführt wird oder Ähnliches. Ferner können die Bilddaten einer Vorabbearbeitung unterzogen werden, bei der beispielsweise optische Verzerrungen oder Aberrationen etc. herausgerechnet werden, die für die spezielle Kamera bzw. das spezielle in der Kamera verwendete Objektiv charakteristisch sind. Generell ist es auch möglich, eine automatisierte Bildverarbeitung über das aufgenommene Bild auszuführen, um den Kontrast zu verbessern, etc., und/oder einen Weißabgleich durchzuführen, ggf. in Abhängigkeit von der aufgenommenen überwiegenden Farbtemperatur (bewölkter Himmel, Sonnenschein oder andere Temperaturparameter).Before the pattern recognition is carried out, the digital image can be subjected to digital filtering by means of which, for example, a contrast increase is carried out or the like. Furthermore, the image data can be subjected to preliminary processing in which, for example, optical distortions or aberrations, etc., which are characteristic of the special camera or the special lens used in the camera, are calculated out. In general, it is also possible to carry out automated image processing on the recorded image in order to improve the contrast, etc., and / or to carry out a white balance, possibly depending on the predominant color temperature recorded (cloudy sky, sunshine or other temperature parameters).
Das digitale Bild kann beispielsweise ein Bild mit mehr als 1 Megapixeln sein (jeder Pixel kann ausschließlich ein Grauwert sein oder kann drei Einzelpixel für einen Grünwert, einen Blauwert und einen Rotwert beinhalten).The digital image can, for example, be an image with more than 1 megapixel (each pixel can be exclusively a gray value or can contain three individual pixels for a green value, a blue value and a red value).
Für die Durchführung der Mustererkennung ist es in der Regel hinreichend, wenn das digitale Bild weniger als 10 Megapixel aufweist.In order to carry out the pattern recognition it is usually sufficient if the digital image has less than 10 megapixels.
Der Zustand der Feldfrucht-Bepflanzung ist vorzugsweise ein solcher Zustand, der sich aus einem Muster ableiten lässt, das im Rahmen der Mustererkennung an den Bilddaten des Bildes durchgeführt wird.The state of the field crop planting is preferably such a state that can be derived from a pattern that is carried out in the context of pattern recognition on the image data of the image.
Da die Mustererkennung und Verwendung eines neuronalen Netzes durchgeführt wird, ist es bevorzugt, wenn die Aufnahme des wenigstens einen digitalen Bildes unter vergleichbaren Randbedingungen erfolgt, unter denen ein Einlernen des neuronalen Netzes stattgefunden hat. Dies kann beispielsweise eine Position einer Kamera an dem landwirtschaftlichen Kameraträger sein. Ferner sollte die gleiche Kamera bzw. eine Kamera mit zumindest dem gleichen Blickwinkel verwendet werden (gleicher Brennweite!). Schließlich sollte das Blickfeld der Kamera vergleichbar eingestellt werden, und zwar sowohl hinsichtlich der Ausrichtung in der Horizontalen und der Ausrichtung in der Vertikalen.Since the pattern recognition and use of a neural network is carried out, it is preferred if the recording of the at least one digital image takes place under comparable boundary conditions under which the neural network was learned in. This can be a position of a camera on the agricultural camera support, for example. Furthermore, the same camera or a camera with at least the same viewing angle should be used (same focal length!). Finally, the field of view of the camera should be set comparably, both with regard to the alignment in the horizontal and the alignment in the vertical.
Die Aufgabe wird damit vollkommen gelöst.The task is thus completely solved.
Bei einer besonders bevorzugten Ausführungsform ist das neuronale Netz ein Convolutional Neural Network. Derartige Netzwerke sind allgemein bekannt und auch als faltende neuronale künstliche Netzwerke bekannt, siehe
https://de.wikipedia.org/wiki/Convolutional_Neural_Network.In a particularly preferred embodiment, the neural network is a convolutional neural network. Such networks are well known and also known as convolutional neural artificial networks, see
https://de.wikipedia.org/wiki/Convolutional_Neural_Network.
Gemäß einer weiteren bevorzugten Ausführungsform ist es bevorzugt, wenn aus dem aufgenommenen Bild zunächst eine Zielregion ausgewählt wird.According to a further preferred embodiment, it is preferred if a target region is first selected from the recorded image.
Die Zielregion ist vorzugsweise ein bevorzugter Ausschnitt aus den aufgenommenen Bilddaten.The target region is preferably a preferred section from the recorded image data.
Das Blickfeld der Kamera ist vorzugsweise ein solches Blickfeld, das die Kamera dazu befähigt, auch bei Verfahren zum selbsttätigen Lenken beizutragen. Demzufolge ist das Blickfeld eher ein „Weitwinkel“-Blickfeld.The field of view of the camera is preferably such a field of view that enables the camera to contribute to automatic steering even during processes. As a result, the field of view is more of a “wide angle” field of view.
Für die Ermittlung des Zustandes der Feldfrucht-Bepflanzung ist jedoch in der Regel nur ein relativ kleiner Ausschnitt aus dem digitalen Bild notwendig, da beispielsweise bei der Mustererkennung nur auf Daten abgestellt wird, die sich in relativer Nähe zu der Kamera befinden, beispielsweise in einem Abstand von weniger als 15 Metern von der Kamera, insbesondere weniger als 10 Metern.To determine the condition of the crop planting, however, only a relatively small section of the digital image is usually necessary, since, for example, pattern recognition is only based on data that are in relative proximity to the camera, for example at a distance less than 15 meters from the camera, especially less than 10 meters.
Demzufolge kann die Zielregion so gewählt werden, dass aus dem Blickfeld der Kamera ein solcher Ausschnitt ausgewählt wird, bei dem die so erzeugte Zielregion maximal bis zu dem o.g. Wert reicht. Accordingly, the target region can be selected in such a way that such a section is selected from the field of view of the camera in which the target region generated in this way extends maximally up to the above value.
Beispielsweise kann hierdurch die Anzahl der Pixel auf weniger als die Hälfte der Anzahl der Pixel des digitalen Bildes reduziert werden, vorzugsweise weniger als ein Viertel, und insbesondere weniger als ein Fünftel der Anzahl der Pixel des digitalen Ausgangsbildes.For example, this allows the number of pixels to be reduced to less than half the number of pixels in the digital image, preferably less than a quarter, and in particular less than a fifth of the number of pixels in the digital output image.
Ferner ist es vorteilhaft, wenn bei der Verwendung des Convolutional Neural Networks eine Mehrzahl von Faltungsoperationen an den Bilddaten durchgeführt wird.Furthermore, it is advantageous if, when using the convolutional neural network, a plurality of convolution operations are carried out on the image data.
Hierzu wird in der Regel eine Faltungsmatrix bzw. ein Filterkernel verwendet, die bzw. der über die digitalen Bilddaten bewegt wird. Die Faltungsmatrix ist vorzugsweise eine 3x3-Matrix, eine 5x5-Matrix oder eine 7x7-Matrix.For this purpose, a convolution matrix or a filter kernel is usually used, which is moved over the digital image data. The convolution matrix is preferably a 3x3 matrix, a 5x5 matrix or a 7x7 matrix.
Der mittels der Faltungsmatrix ermittelte Input für ein Neuron des Netzwerks wird dann über eine Aktivierungsfunktion in einen Ausgang verwandelt. In einem folgenden Schritt wird vorzugsweise nach jeder Faltungsoperation eine Auswahloperation durchgeführt, das sogenannte „Pooling“, bei dem überflüssige Informationen verworfen werden.The input for a neuron of the network determined by means of the convolution matrix is then converted into an output via an activation function. In a subsequent step, a selection operation, known as “pooling”, is preferably carried out after each convolution operation, during which superfluous information is discarded.
Nach einigen sich wiederholenden Einheiten aus jeweiligen Faltungsoperationen und Auswahloperationen kann das Netzwerk eine oder mehrere sogenannte Fully-Connected Layers erzeugen, die zur Klassifizierung oder Approximation angewendet werden.After a few repetitive units of respective convolution operations and selection operations, the network can generate one or more so-called fully connected layers that are used for classification or approximation.
Während der Schritte der Faltungsoperationen und der Auswerteoperationen findet in der Regel eine Kantenerkennung statt. Das Muster beinhaltet dabei insbesondere wenigstens eine Kante.Edge detection usually takes place during the steps of the convolution operations and the evaluation operations. The pattern includes in particular at least one edge.
Von besonderem Vorzug ist es, wenn nach einer Mehrzahl von Faltungsoperationen wenigstens eine Fully-Connected Layer vorliegt, die eine Klassifikation oder Approximation des Zustandes der Feldfrucht-Bepflanzung darstellt.It is particularly preferred if, after a plurality of folding operations, there is at least one fully connected layer that represents a classification or approximation of the state of the crops.
Mit anderen Worten wird das Convolutional Neural Network so trainiert, dass in wenigstens einer Fully-Connected Layer als Abschluss des Netzwerkes nicht nur ein Muster erkannt worden ist, sondern bereits auf den Zustand der Feldfrucht-Bepflanzung geschlossen worden ist.In other words, the convolutional neural network is trained in such a way that not only a pattern has been recognized in at least one fully connected layer as the end of the network, but the state of the crops has already been inferred.
Hierbei kann das Convolutional Neural Network als Approximation diskrete Werte ausgeben, also beispielsweise Zustand
Das Training des CNN beinhaltet dabei vorzugsweise die Verwendung von einer Vielzahl von aufgenommenen digitalen Bildern und zugeordneten echten Messdaten („gelabelte Daten“).The training of the CNN preferably includes the use of a large number of recorded digital images and assigned real measurement data (“labeled data”).
Die Anzahl der im Training verwendeten Bilder sollte so groß wie möglich sein und dennoch praktikabel sein. Die Anzahl kann beispielsweise in einem Bereich von größer 2.000 und kleiner 50.000 liegen, insbesondere in einem Bereich von mehr als 4.000 und weniger als 15.000 Bildern. Die Optimierungs- bzw. Trainingsverfahren werden dabei mittels geeigneter Lernmechanismen durchgeführt.The number of images used in training should be as large as possible and still be practical. The number can, for example, be in a range of greater than 2,000 and less than 50,000, in particular in a range of more than 4,000 and less than 15,000 images. The optimization and training processes are carried out using suitable learning mechanisms.
Bei dem erfindungsgemäßen Verfahren wird das CNN folglich nicht nur zur Mustererkennung, sondern auch zur Approximation/Klassifizierung des Zustandes der Feldfrucht-Bepflanzung angewendet.In the method according to the invention, the CNN is consequently used not only for pattern recognition, but also for approximation / classification of the condition of the crops.
Insgesamt ist es besonders vorteilhaft, wenn ein bei der Mustererkennung zu erkennendes Muster einen Rand der Feldfrucht-Bepflanzung aufweist, auf die das Blickfeld der Kamera gerichtet ist.Overall, it is particularly advantageous if a pattern to be recognized during the pattern recognition has an edge of the crop planting towards which the field of view of the camera is directed.
Unter einem Rand der Feldfrucht-Bepflanzung wird ein Übergang von der Feldfrucht-Bepflanzung zu einem unbepflanzten Teil des Ackers verstanden. Das zu erkennende Muster kann dabei insbesondere eine Oberkante und/oder eine Unterkante eines solchen Randes der Feldfrucht-Bepflanzung sein, also insbesondere ein Bereich, bei dem die randständigen Pflanzen der Feldfrucht-Bepflanzung aus dem Boden austreten bzw. mit ihren Spitzen (z.B. Ähren) enden.An edge of the field crop planting is understood to mean a transition from the field crop planting to an unplanted part of the field. The pattern to be recognized can in particular be an upper edge and / or a lower edge of such an edge of the field crop planting, i.e. in particular an area in which the edge plants of the field crop planting emerge from the ground or with their tips (e.g. ears) end up.
Dabei ist es bevorzugt, wenn der Rand der Feldfrucht-Bepflanzung benachbart zu einer Fahrgasse ist.It is preferred here if the edge of the crop planting is adjacent to a tramline.
Der Zustand der Feldfrucht-Bepflanzung kann einen Fruchtreifegrad, eine Fruchtgröße, eine Farbe, etc. sein.The state of the crop planting may be a fruit ripeness degree, a fruit size, a color, etc.
Besonders bevorzugt ist es jedoch, wenn der Zustand der Feldfrucht-Bepflanzung eine Gewächshöhe der Feldfrucht-Bepflanzung ist.It is particularly preferred, however, if the state of the crop planting is a plant height of the crop planting.
Dieser Zustand kann insbesondere dazu genutzt werden, um eine Höhe einer Spritze bzw. einen Abstand der Spritze zu den Spitzen der Pflanze einzustellen, wenn die Bepflanzung mittels Sprüher besprüht wird.This state can in particular be used to set a height of a syringe or a distance between the syringe and the tips of the plant when the vegetation is sprayed by means of a sprayer.
Gemäß einer weiteren insgesamt bevorzugten Ausführungsform ist die Kamera an dem Kameraträger in einer solchen Kameraposition montiert, dass das Blickfeld der Kamera von schräg oben auf eine Fahrspur in der Feldfrucht-Bepflanzung gerichtet ist. According to a further overall preferred embodiment, the camera is mounted on the camera support in such a camera position that the field of view of the camera is directed obliquely from above onto a lane in the crops.
Durch das von schräg oben auf die Fahrspur gerichtete Blickfeld ist es möglich, den Rand der Feldfrucht-Bepflanzung am Übergang zu dieser Fahrspur gut zu erfassen. Das Blickfeld ist dabei vorzugsweise so, dass zu der Fahrspur benachbarte Feldfrüchte bzw. Pflanzen ausgehend von dem Boden bis zur Spitze der jeweiligen Pflanze zu sehen sind; bei einer zweispurigen Fahrgasse mit zwei Fahrspuren ist es bevorzugt, wenn die Kamera gegenüber einer Längs-Mittelachse des Kameraträgers bzw. des Fahrzeugs seitlich versetzt ist. Der seitliche Versatz kann beispielsweise in dem Bereich von 5 cm bis 150 cm liegen, insbesondere in einem Bereich von 10 cm bis 100 cm.The field of view directed obliquely from above onto the lane makes it possible to clearly see the edge of the crop planting at the transition to this lane. The field of view is preferably such that crops or plants adjacent to the lane can be seen starting from the ground up to the tip of the respective plant; In the case of a two-lane tramline with two lanes, it is preferred if the camera is laterally offset with respect to a longitudinal central axis of the camera carrier or of the vehicle. The lateral offset can, for example, be in the range from 5 cm to 150 cm, in particular in a range from 10 cm to 100 cm.
Hierdurch ist es möglich, den Rand der Feldfrucht-Bepflanzung von einer der zwei Fahrspuren der Fahrgasse optimiert aufzunehmen, derart, dass der Rand der Feldfrucht-Bepflanzung im Verhältnis zur Umgebung relativ groß ist.This makes it possible to record the edge of the field crop planting of one of the two lanes of the tramline in an optimized manner such that the edge of the field crop planting is relatively large in relation to the surroundings.
Bei dem erfindungsgemäßen Verfahren ist es mit geringem Mehraufwand möglich, sogenannte „Ground Truth Werte“ für die Wuchshöhe mitzubestimmen, beispielsweise durch Ultraschall-Sensoren, durch Lidar oder manuell mithilfe eines Maßbandes.With the method according to the invention, it is possible with little additional effort to co-determine so-called “ground truth values” for the height of growth, for example by means of ultrasonic sensors, by lidar or manually with the aid of a measuring tape.
Ferner wird eine Steuereinrichtung bereitgestellt, die eingerichtet ist, um das Verfahren gemäß einer der zuvor beschriebenen Ausführungsformen auszuführen. Die Steuereinrichtung kann verschiedene Schnittstellen zum Empfangen und Ausgeben der entsprechenden Signale aufweisen. Unter einer Einrichtung der Steuereinrichtung zum Ausführen einer bestimmten Funktion kann im Rahmen der Erfindung eine spezifische Herrichtung, beispielsweise eine Programmierung, der Steuereinrichtung zum Ausführen der Funktion verstanden werden.Furthermore, a control device is provided which is set up to carry out the method according to one of the previously described embodiments. The control device can have various interfaces for receiving and outputting the corresponding signals. In the context of the invention, a device of the control device for executing a specific function can be understood to mean a specific preparation, for example programming, of the control device for executing the function.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It goes without saying that the features mentioned above and those yet to be explained below can be used not only in the respectively specified combination, but also in other combinations or alone, without departing from the scope of the present invention.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden in der nachfolgenden Beschreibung näher erläutert. Es zeigen:
-
1 eine schematische Darstellung eines landwirtschaftlichen Fahrzeugs am Rand einer Feldfrucht-Bepflanzung; -
2 ein mittels einer Kamera des Fahrzeugs der1 aufgenommenes digitales Bild; -
3 eine Zielregion des Bildes der2 ; -
4 eine schematische Darstellung eines erkannten Musters in der Zielregion der3 ; -
5 ein aus dem erkannten Muster der4 ermittelter Zustand der Feldfrucht-Bepflanzung; -
6 eine Draufsicht auf ein landwirtschaftliches Fahrzeug, das in einer zweispurigen Fahrgasse in einer Feldfrucht-Bepflanzung fährt; -
7 ein mittels einer Kamera des Fahrzeugs der6 aufgenommenes Bild; -
8 eine Zielregion des digitalen Bildes der7 ; -
9 ein erkanntes Muster in der Zielregion der8 mit einer Darstellung des ermittelten Zustandes der Feldfrucht-Bepflanzung; und -
10 eine schematische Darstellung eines Verfahrensablaufs ausgehend von einer Bild-Vorbearbeitung über die Anwendung eine Convolutional Neural Networks und das daraus abgeleitete Klassifizierungsergebnis.
-
1 a schematic representation of an agricultural vehicle on the edge of a crop planting; -
2 one by means of a camera of the vehicle1 captured digital image; -
3 a target region of the image of the2 ; -
4th a schematic representation of a recognized pattern in the target region of FIG3 ; -
5 one from the recognized pattern of the4th ascertained condition of crop planting; -
6th a plan view of an agricultural vehicle traveling in a two-lane tramline in a crop plantation; -
7th one by means of a camera of the vehicle6th captured image; -
8th a target region of the digital image of the7th ; -
9 a recognized pattern in the target region of the8th with a representation of the determined condition of the crop planting; and -
10 a schematic representation of a process sequence based on image preprocessing using a convolutional neural network and the classification result derived therefrom.
In
Die Feldfrucht-Bepflanzung besteht aus Einzelpflanzen mit einem Halm
Dem Fahrzeug
Eine Achse der Hinterreifen des Fahrzeugs
An dem Fahrzeug
Die Kamera
Zwischen der Kamera
Ein unterer Rand des Blickfeldes
Mit anderen Worten ist das Blickfeld
Ergänzend sei darauf hingewiesen, dass das landwirtschaftliche Fahrzeug
Die Lenkeinrichtung
In
Die Kamera
Andererseits dient die Kamera
Zum Ermitteln der Gewächshöhe H ist vorzugsweise nur ein Ausschnitt aus dem Bild
Das digitale Bild
Die Arten der Vorbearbeitung des Bildes
In vielen Fällen beinhaltet die Vorbearbeitung auch einen Ausgleich von intrinsischen Fehlern der Kamera, beispielsweise ein Korrigieren einer Aberration, einer Verzerrung eines Objektives der Kamera, etc. Dies ist für eine Zielregion
Schließlich kann eine Vorbearbeitung auch eine Funktion von äußeren Umgebungszuständen sein, beispielsweise eine Funktion einer Farbtemperatur (z.B. Aufnahme bei bewölktem Himmel oder bei Sonnenschein, etc.).Finally, pre-processing can also be a function of external environmental conditions, for example a function of a color temperature (e.g. recording under cloudy skies or sunshine, etc.).
Nach dieser Vorbearbeitung des Bildes
Das Convolutional Neural Network, das im Folgenden kurz mit CNN bezeichnet wird, ist anhand einer Vielzahl (beispielsweise mehr als 1.000 und vorzugsweise weniger als 50.000) vergleichbaren Bilddaten trainiert worden, und zwar unter Verwendung von echten Messdaten zu diesen Bilddaten. Mit anderen Worten wurden der
Das CNN führt an den Bilddaten des Bildes bzw. der Zielregion
Das CNN gibt dabei als Endwert eine Approximation von H als diskrete Größe aus, beispielsweise eine Gewächshöhe in Form einer numerischen Zahl, die aus einem Zahlenraum entnommen ist, der beispielsweise eine begrenzte Anzahl von numerischen Werten enthält. Diese sind beispielsweise so beabstandet, dass der Abstand einer Gewächshöhen-Differenz von mehr als 0,5 cm und weniger als 50 cm entspricht. Für Mais als Feldfrucht liegt die relevante Differenz in einem Bereich von 5 cm bis 50 cm. Für kleinere Bepflanzungen, beispielsweise Weizen, liegt die Differenz beispielsweise in einem Bereich von 1 cm bis 10 cm.The CNN outputs an approximation of H as a discrete variable, for example a plant height in the form of a numerical number, which is taken from a number range that contains, for example, a limited number of numerical values. These are spaced, for example, so that the distance corresponds to a difference in plant height of more than 0.5 cm and less than 50 cm. For maize as a field crop, the relevant difference is in a range from 5 cm to 50 cm. For smaller plantings, for example wheat, the difference is, for example, in a range from 1 cm to 10 cm.
Durch diese Einschränkung des Zahlenraumes auf beispielsweise mehr als 5 und weniger als 50, insbesondere weniger als 30 unterschiedliche Werte, kann das Training des CNN mit der o.g. begrenzten Anzahl von Bilddaten durchgeführt werden.By restricting the number range to, for example, more than 5 and less than 50, in particular less than 30 different values, the training of the CNN with the above-mentioned limited number of image data can be performed.
Alternativ zur Ausgabe von diskreten Werten der Gewächshöhe H ist es möglich, das CNN so zu trainieren, dass dieses Klassen von Gewächshöhen ausgibt, also beispielsweise 10 cm bis 20 cm oder 20 cm bis 30 cm oder 30 cm bis 40 cm oder....As an alternative to outputting discrete values for the plant height H, it is possible to train the CNN in such a way that it outputs classes of plant heights, for example 10 cm to 20 cm or 20 cm to 30 cm or 30 cm to 40 cm or ...
Die Anzahl der Klassen liegt vorzugsweise in einem Bereich von 5 bis 30, insbesondere in einem Bereich von 5 bis 15.The number of classes is preferably in a range from 5 to 30, in particular in a range from 5 to 15.
Mittels des oben beschriebenen Verfahrens zum Ermitteln eines Zustandes einer Feldfrucht-Bepflanzung kann der Zustand aus Bilddaten einer Kamera erfasst bzw. abgeleitet werden, und zwar mittels eines CNN. Alternativ kann auch ein anderes neuronales Netzwerk verwendet werden, wobei ein CNN für Bilddaten das bevorzugte künstliche neurale Netzwerk ist.By means of the method described above for determining a condition of a field crop planting, the condition can be recorded or derived from image data from a camera, specifically by means of a CNN. Alternatively, another neural network can also be used, with a CNN for image data being the preferred artificial neural network.
Es ist folglich möglich, Sensoren wie Ultraschall-Sensoren einzusparen, die an dem Sprüher
Nachstehend wird eine weitere Ausführungsform eines Verfahrens zum Ermitteln einer Gewächshöhe einer Feldfrucht-Bepflanzung beschrieben, das hinsichtlich Aufbau und Funktionsweise generell dem Verfahren der
In
Das Fahrzeug
Durch diese asymmetrische Anordnung bzw. Ausrichtung wird eine der zwei Fahrspuren von dem Blickfeld
Ein mittels der Kamera
Es ist zu erkennen, dass die zwei Fahrspuren
Folglich wird eine Zielregion
Entscheidend ist, dass sich aus der Darstellung der
Die Höhe H kann wieder als diskreter Wert ausgegeben werden oder als Gewächshöhen-Klasse.The height H can again be output as a discrete value or as a plant height class.
In einem Schritt
Anschließend wird die vorbearbeitete Bilddatei (bzw. deren Zielregion
In einer bevorzugten Variante erfolgt in dem CNN zunächst eine Mustererkennung, aus der die Fahrgasse bzw. wenigstens eine Fahrspur abgeleitet werden kann. Diese Fully-Connected Layer, die Daten hinsichtlich der Fahrgasse darstellt, kann dann beispielsweise von einem selbsttätigen Lenksystem verwendet werden und im Anschluss auch von einem weiteren CNN bzw. weiteren Faltungsoperationen und Auswahloperationen bis hin zu weiteren Fully-Connected Layern, aus denen die Klassifikation der Gewächshöhe H der Feldfrucht-Bepflanzung hervorgeht.In a preferred variant, a pattern recognition first takes place in the CNN, from which the tramline or at least one lane can be derived. This fully connected layer, which represents data with regard to the tramline, can then be used, for example, by an automatic steering system and then also by a further CNN or further folding operations and selection operations up to further fully connected layers from which the classification of the Plant height H of the crops can be seen.
Bei dem Ermittlungsverfahren können mit etwas Mehraufwand Ground Truth Werte für die Gewächshöhe mitbestimmt werden, z.B. durch Ultraschall-Sensoren, durch Lidar oder manuell mithilfe eines Maßbandes. Dies Ground Truth Werte können zum fortlaufenden Training des CNN verwendet werden.During the determination process, ground truth values for the plant height can be determined with a little extra effort, e.g. by ultrasonic sensors, by lidar or manually using a tape measure. These ground truth values can be used for ongoing training of the CNN.
Dadurch, dass die Bilddaten auf eine Zielregion eingeschränkt werden, kann die Laufzeit des CNN positiv beeinflusst werden.By restricting the image data to a target region, the runtime of the CNN can be positively influenced.
BezugszeichenlisteList of reference symbols
- 1010
- landwirtschaftliches Fahrzeugagricultural vehicle
- 1212
- AckerField
- 1414th
- AckerbodenArable land
- 1616
- Feldfrucht-BepflanzungField crop planting
- 16a16a
- HalmStraw
- 16b16b
- ÄhreEar of wheat
- 2020th
- Kamera (digital)Camera (digital)
- 2222nd
- BlickfeldField of view
- 2424
- SteuereinrichtungControl device
- 2626th
- LenkeinrichtungSteering device
- 2828
- GPS-SystemGPS system
- 2929
- SprüherSprayer
- 3030th
- Bildimage
- 3232
- Himmelsky
- 3434
- Pixelpixel
- 3636
- ZielregionTarget region
- 4040
- FahrgasseTramline
- 4242
- linke Fahrspurleft lane
- 4444
- rechte Fahrspurright lane
- 4646
-
Mittelachse (
10 )Central axis (10 ) - 4848
- BlickfeldachseField of view axis
- 5050
- SeitenabstandSide spacing
- 52 52
-
Rand (
16 )Edge (16 ) - 6060
- Convolutional Neural NetworkConvolutional Neural Network
- 6262
- Vorverarbeiten BilddatenPre-processing image data
- 6464
- Klassifizierungs-/ApproximierungsergebnisClassification / approximation result
- 6666
- FaltungenFolds
- 6868
- Auswahloperationen (Pooling)Selection operations (pooling)
- 7070
- Fully-Connected LayerFully connected layer
- HH
- WuchshöheStature
- BH B H
-
Höhe Bild
30 Height image30th - BB B B
-
Breite Bild
30 Wide image30th
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- DE 102016209437 A1 [0006, 0067]DE 102016209437 A1 [0006, 0067]
- DE 10351861 A1 [0007, 0067]DE 10351861 A1 [0007, 0067]
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019201983.8A DE102019201983A1 (en) | 2019-02-14 | 2019-02-14 | Method for determining a condition of a crop planting and agricultural vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019201983.8A DE102019201983A1 (en) | 2019-02-14 | 2019-02-14 | Method for determining a condition of a crop planting and agricultural vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102019201983A1 true DE102019201983A1 (en) | 2020-08-20 |
Family
ID=71844287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019201983.8A Withdrawn DE102019201983A1 (en) | 2019-02-14 | 2019-02-14 | Method for determining a condition of a crop planting and agricultural vehicle |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102019201983A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10351861A1 (en) * | 2003-11-06 | 2005-06-09 | Deere & Company, Moline | Method and steering system for automatically steering an agricultural machine |
US20050279070A1 (en) * | 2004-06-21 | 2005-12-22 | Peter Pirro | Self-propelled harvesting machine |
-
2019
- 2019-02-14 DE DE102019201983.8A patent/DE102019201983A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10351861A1 (en) * | 2003-11-06 | 2005-06-09 | Deere & Company, Moline | Method and steering system for automatically steering an agricultural machine |
US20050279070A1 (en) * | 2004-06-21 | 2005-12-22 | Peter Pirro | Self-propelled harvesting machine |
Non-Patent Citations (1)
Title |
---|
DYRMANN, Mads, MORTENSEN, A. K., MIDTIBY, H. S., & JØRGENSEN, R. N. Pixel-wise classification of weeds and crops in images by using a fully convolutional neural network. In: Proceedings of the International Conference on Agricultural Engineering, Aarhus, Denmark. 2017. S. 1-6. * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3299996B1 (en) | Agricultural machines with image processing system | |
EP1529428B1 (en) | Method and system for automatic steering of an agricultural vehicle | |
EP3417686B1 (en) | Agricultural machine | |
EP3782467B1 (en) | Method for identifying weeds within a defined row of plants of an agricultural area | |
DE102018217742A1 (en) | Process for applying a spray to a field | |
DE102016118227A1 (en) | Image analysis system for agricultural machines | |
WO2020182564A1 (en) | Vision-based steering assistance system for land vehicles | |
DE102016209437A1 (en) | Automatic steering system for guiding an agricultural vehicle over a field and corresponding method | |
EP4088223A1 (en) | Method for generating a plurality of annotated images | |
EP4262378A1 (en) | Method for applying a spray onto agricultural land | |
DE102019201977A1 (en) | Method for determining a condition of a crop planting and agricultural vehicle | |
DE102019201983A1 (en) | Method for determining a condition of a crop planting and agricultural vehicle | |
EP4064819B1 (en) | Method for treating plants in a field, for generating training data and for training a neural network | |
EP4064815A1 (en) | Method for processing plants in a field | |
EP4064818A1 (en) | Method for treating plants in a field | |
DE102017011747A1 (en) | Tillage system | |
DE102022115549A1 (en) | Method for the optimized configuration of a camera system for row detection in a field | |
DE102021125362A1 (en) | Device and method for determining a position of a row of plants and/or a grid of rows of plants | |
DE102019111040A1 (en) | Method for operating a self-propelled agricultural work machine | |
DE102021200400A1 (en) | Process for registering plants or parts of plants, computer program product, registration device and agricultural vehicle | |
EP4064817A1 (en) | Method for estimating a course of plant rows | |
WO2022111880A1 (en) | Method and device for classifying plants, and computer program product | |
EP4133928A1 (en) | Method for automating an agricultural task | |
DE102021125939A1 (en) | Method for automating an agricultural work task | |
EP3818799A1 (en) | Agricultural machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |