DE102022212161A1 - Method for determining a width index of plants in a row of plants in an agricultural area - Google Patents

Method for determining a width index of plants in a row of plants in an agricultural area Download PDF

Info

Publication number
DE102022212161A1
DE102022212161A1 DE102022212161.9A DE102022212161A DE102022212161A1 DE 102022212161 A1 DE102022212161 A1 DE 102022212161A1 DE 102022212161 A DE102022212161 A DE 102022212161A DE 102022212161 A1 DE102022212161 A1 DE 102022212161A1
Authority
DE
Germany
Prior art keywords
plants
plant
width
image information
rows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022212161.9A
Other languages
German (de)
Inventor
Farid Khani
Andreas Weimer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022212161.9A priority Critical patent/DE102022212161A1/en
Publication of DE102022212161A1 publication Critical patent/DE102022212161A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089Regulating or controlling systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln einer Breitenkennzahl von Pflanzen (12) zumindest einer Pflanzenreihe (14) einer landwirtschaftlichen Fläche, wobei Breitenwerte für identifizierte Pflanzen (12) identifizierter Pflanzenreihen (14) in einer empfangenen Bildinformation (10) ermittelt werden, wobei die Bildinformation (10) in Querbereiche (18) unterteilt ist und ein Breitenwert jeweils eine maximale Breite (22) der jeweiligen Pflanze (12) in dem jeweiligen Querbereich (18) repräsentiert, und unter Verwendung der ermittelten Breitenwerte eine Breitenkennzahl der Pflanzen (12) ermittelt wird.The invention relates to a method for determining a width index of plants (12) of at least one row of plants (14) of an agricultural area, wherein width values for identified plants (12) of identified rows of plants (14) are determined in received image information (10), wherein the image information (10) is divided into transverse regions (18) and a width value represents a maximum width (22) of the respective plant (12) in the respective transverse region (18), and a width index of the plants (12) is determined using the determined width values.

Description

Stand der TechnikState of the art

Die Erfindung geht aus von einem Verfahren zum Ermitteln einer Breitenkennzahl von Pflanzen zumindest einer Pflanzenreihe einer landwirtschaftlichen Fläche sowie einer entsprechenden Recheneinheit, einer Pflanzenidentifizierungseinheit und einer landwirtschaftlichen Arbeitsmaschine nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm und ein maschinenlesbares SpeichermediumThe invention is based on a method for determining a width index of plants of at least one row of plants in an agricultural area and a corresponding computing unit, a plant identification unit and an agricultural working machine according to the class of the independent claims. The present invention also relates to a computer program and a machine-readable storage medium

In der Landwirtschaft ist oft die Nutzpflanzengröße ein wichtiges Merkmal. Zusätzlich ist diese Information auch wichtig für die Parametrisierung von Algorithmen zur Pflanzenklassifizierung. Hierfür üblicherweise die BBCH Skala herangezogen. Diese Skala beschreibt den Wachstumsstadium einer Pflanze und ist ein Standardverfahren in der Landwirtschaft. Die Beschreibung einer Pflanzengröße anhand dieser Skala lässt besonders bei nicht Agronomen viel Spielraum für Interpretationen übrig. Zusätzlich beschreibt die BBCH-Skala weniger direkt die Pflanzengröße, sondern eher Eigenschaften der Pflanze wie Keimungsstatus oder Anzahl der Blätter. Bspw. befinden sich zwar zwei Zuckerrübenpflanzen, welche jeweils 4 Blätter haben, im selben BBCH Stadium, können sich jedoch in der Größe deutlich voneinander unterscheiden.In agriculture, crop size is often an important characteristic. In addition, this information is also important for the parameterization of algorithms for plant classification. The BBCH scale is usually used for this. This scale describes the growth stage of a plant and is a standard procedure in agriculture. Describing a plant size using this scale leaves a lot of room for interpretation, especially for non-agronomists. In addition, the BBCH scale describes plant size less directly, but rather properties of the plant such as germination status or number of leaves. For example, two sugar beet plants, each with 4 leaves, are in the same BBCH stage, but can differ significantly in size.

Besonders für die Pflanzenklassifikation ist die Pflanzenbreite quer zur Pflanzenreihe ein wichtiges Merkmal. Aus dieser Information lassen sich eine Vielzahl von Parametern verschiedenster Algorithmen ableiten. Ein mehrere Hektar großes Feld wächst selten überall einheitlich gleich schnell. Je nach Wassermenge und Nährstoffe im Boden können deutliche Unterschiede lokal an verschiedenen Regionen des Feldes vorhanden sein.The plant width across the plant row is an important feature, especially for plant classification. A variety of parameters for a variety of algorithms can be derived from this information. A field of several hectares rarely grows at the same rate everywhere. Depending on the amount of water and nutrients in the soil, there can be significant local differences in different regions of the field.

Bei der visuellen Bestimmung der Pflanzengröße, insbesondere von Reihenkulturen gibt es zwei große Herausforderungen:

  • - Reihenkulturen wie Mais oder Soja wachsen schnell zusammen und bilden eine zusammenhängende Reihe.
  • - Innerhalb eines Bildes kann die Größe der Pflanzen stark variieren.
There are two major challenges in visually determining plant size, especially in row crops:
  • - Row crops such as corn or soy grow together quickly and form a continuous row.
  • - Within one picture the size of the plants can vary greatly.

Die noch unveröffentlichte DE 10 2021 213 280 offenbart ein Verfahren zum Identifizieren von Beikräutern in einer Pflanzenreihe einer landwirtschaftlichen Fläche, wobei jeweils ein Längenwert für die identifizierten Pflanzen eines definierten Kulturpflanzenbereiches ermittelt wird, wobei der Längenwert die Anzahl von Querbereichen ist, über die sich jeweils eine identifizierte Pflanze des definierten Kulturpflanzenbereiches erstreckt.The still unpublished EN 10 2021 213 280 discloses a method for identifying weeds in a row of plants in an agricultural area, wherein a length value is determined for each identified plant in a defined crop area, wherein the length value is the number of transverse areas over which an identified plant in the defined crop area extends.

Andere Algorithmen nutzen zur Pflanzenerkennung Netze (Deep Learning) oder Klassifikationsmethoden. Dazu sind viele Trainingsdaten, viele Label-Daten und ein Offline-Training im Vorfeld von Nöten. Darüber hinaus sind diese Verfahren sehr rechenintensiv.Other algorithms use networks (deep learning) or classification methods to recognize plants. This requires a lot of training data, a lot of label data and offline training beforehand. In addition, these methods are very computationally intensive.

Offenbarung der ErfindungDisclosure of the invention

Gegenstand der vorliegenden Erfindung ist ein Verfahren zum Ermitteln einer Breitenkennzahl von Pflanzen zumindest einer Pflanzenreihe einer landwirtschaftlichen Fläche, mit den Schritten:

  • - Empfangen einer Bildinformation von einem mittels einer optischen Erfassungseinheit erfassten Feldabschnitt einer landwirtschaftlichen Fläche mit Pflanzen;
  • - Identifizieren von Pflanzen in der Bildinformation mittels einer Recheneinheit;
  • - Identifizieren von Pflanzenreihen in der Bildinformation unter Verwendung der identifizierten Pflanzen mittels der Recheneinheit;
  • - Ermitteln von Breitenwerten für identifizierte Pflanzen identifizierter Pflanzenreihen in der Bildinformation mittels der Recheneinheit, wobei die Bildinformation in Querbereiche unterteilt ist und ein Breitenwert jeweils eine maximale Breite der jeweiligen Pflanze in dem jeweiligen Querbereich repräsentiert; und
  • - Ermitteln einer Breitenkennzahl der Pflanzen zumindest einer der Pflanzenreihen unter Verwendung der ermittelten Breitenwerte mittels der Recheneinheit.
The present invention relates to a method for determining a width index of plants of at least one row of plants in an agricultural area, comprising the steps:
  • - Receiving image information from a field section of an agricultural area with plants captured by means of an optical detection unit;
  • - Identifying plants in the image information using a computing unit;
  • - Identifying rows of plants in the image information using the identified plants by means of the computing unit;
  • - determining width values for identified plants of identified plant rows in the image information by means of the computing unit, wherein the image information is divided into transverse areas and a width value represents a maximum width of the respective plant in the respective transverse area; and
  • - Determining a width index of the plants of at least one of the plant rows using the determined width values by means of the computing unit.

Bei dem vorangehend beschriebenen Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren zum Ermitteln einer Breitenkennzahl von Pflanzen zumindest einer Pflanzenreihe einer landwirtschaftlichen Fläche mit den o.g. Schritten handeln.The method described above can in particular be a computer-implemented method for determining a width index of plants of at least one row of plants in an agricultural area using the above-mentioned steps.

Gegenstand der vorliegenden Erfindung ist ferner eine Recheneinheit, welche eingerichtet ist, die Schritte eines vorhergehend beschriebenen Verfahrens auszuführen und/oder zu steuern.The present invention further relates to a computing unit which is configured to execute and/or control the steps of a previously described method.

Gegenstand der vorliegenden Erfindung sind außerdem eine Pflanzenidentifizierungseinheit mit einer optischen Erfassungseinheit zum Erfassen eines Feldabschnitts einer landwirtschaftlichen Fläche mit Pflanzen, um eine Bildinformation von dem erfassten Feldabschnitt zu erhalten, und einer vorhergehend beschriebenen Recheneinheit.The present invention also relates to a plant identification unit with an optical detection unit for detecting a field section of an agricultural area with plants in order to obtain image information from the detected field section, and a previously described computing unit.

Gegenstand der vorliegenden Erfindung ist des Weiteren eine landwirtschaftliche Arbeitsmaschine, insbesondere landwirtschaftliche Feldspritze, mit einem landwirtschaftlichen Arbeitswerkzeug, insbesondere einer Spritzvorrichtung, und einer vorhergehend beschriebenen Pflanzenidentifizierungseinheit, wobei das Arbeitswerkzeug, insbesondere die Spritzvorrichtung in Abhängigkeit von der ermittelten Breitenkennzahl, insbesondere den darauf basierend klassifizierten Pflanzen ansteuerbar ist.The present invention further relates to an agricultural working machine, in particular an agricultural field sprayer, with an agricultural working tool, in particular a spraying device, and a plant identification unit as described above, wherein the working tool, in particular the spraying device, can be controlled depending on the determined width index, in particular the plants classified on the basis thereof.

Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm, das dazu eingerichtet ist, die Schritte eines vorangehend beschriebenen Verfahrens auszuführen und/oder zu steuern, wenn das Computerprogramm auf einem Computer ausgeführt wird, sowie ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist.The present invention also relates to a computer program which is designed to carry out and/or control the steps of a method described above when the computer program is executed on a computer, as well as to a machine-readable storage medium on which the computer program is stored.

Da Pflanzen in der Regel rotationssymmetrisch wachsen, ist die Pflanzenbreite quer zur Pflanzenreihe als Information ausreichend, um eine Pflanzengröße zu bestimmen. Daher wird erfindungsgemäß das Bild in definierte Querbereiche unterteilt, um dann Breitenwerte für identifizierte Pflanzen identifizierter Pflanzenreihen zu ermitteln, wobei ein Breitenwert jeweils eine maximale Breite der jeweiligen Pflanze in dem jeweiligen Querbereich repräsentiert. Hierdurch kann auf sehr einfache und ressourcensparende Art und Weise eine entsprechende Breitenkennzahl für Pflanzen einer Pflanzenreihe, insbesondere Kulturpflanzenreihe ermittelt werden, um bspw. Parameter weiterer Algorithmen einzustellen bzw. eine landwirtschaftliche Arbeitsmaschine anzusteuern.Since plants usually grow rotationally symmetrically, the plant width across the row of plants is sufficient information to determine a plant size. Therefore, according to the invention, the image is divided into defined transverse areas in order to then determine width values for identified plants in identified rows of plants, with a width value representing a maximum width of the respective plant in the respective transverse area. This makes it possible to determine a corresponding width index for plants in a row of plants, in particular a row of cultivated plants, in a very simple and resource-saving manner, for example to set parameters for further algorithms or to control an agricultural work machine.

Das erfindungsgemäße Verfahren funktioniert sehr viel präziser und fehlerfreier als eine Handeingabe eines statischen und ungenauen Wertes wie des BBCH-Wertes, sodass die Parameter der Algorithmen nun exakter und automatisch vom System dynamisch eingestellt werden können. Somit verbessern sie jeweils ihre eigene Performance, um in Summe des Gesamtsystem, insbesondere zu einer möglichst richtigen Klassifizierung von Pflanzen bzw. Beikräutern zu gelangen. Auch für den Softwareentwickler, der seine Algorithmen parametrisieren muss, ist dieses Verfahren eine Erleichterung.The method according to the invention works much more precisely and error-free than manually entering a static and inaccurate value such as the BBCH value, so that the parameters of the algorithms can now be set more precisely and automatically by the system dynamically. In this way, they each improve their own performance in order to achieve the most accurate classification of plants and weeds possible in the overall system. This method is also a relief for the software developer who has to parameterize his algorithms.

Unter einer landwirtschaftlichen Fläche kann eine landwirtschaftlich genutzte Fläche, eine Anbaufläche für Pflanzen oder auch eine Parzelle einer solchen Fläche bzw. Anbaufläche verstanden werden. Die landwirtschaftliche Fläche kann somit eine Ackerfläche, ein Grünland oder eine Weide sein. Die Pflanzen umfassen Kulturpflanzen bzw. Nutzpflanzen, deren Frucht landwirtschaftlich genutzt wird, beispielsweise als Nahrungsmittel, Futtermittel oder als Energiepflanze, sowie Beikräuter bzw. Unkräuter.An agricultural area can be understood as an area used for agriculture, a cultivation area for plants or even a plot of such an area or cultivation area. The agricultural area can therefore be arable land, grassland or pasture. The plants include cultivated plants or useful plants whose fruit is used agriculturally, for example as food, animal feed or as an energy crop, as well as weeds or weeds.

Das Verfahren kann einen Schritt des Erfassens eines Feldabschnitts einer landwirtschaftlichen Fläche mit Pflanzen mittels der optischen Erfassungseinheit umfassen. Der Schritt des Erfassens kann während einer Überfahrt oder eines Fluges der Pflanzenidentifizierungseinheit bzw. der landwirtschaftlichen Arbeitsmaschine durchgeführt werden. Zumindest ein weiterer Schritt des Verfahrens, insbesondere alle Schritte des Verfahrens kann/können während einer Überfahrt oder eines Fluges der Pflanzenidentifizierungseinheit bzw. der landwirtschaftlichen Arbeitsmaschine durchgeführt werden.The method can comprise a step of detecting a field section of an agricultural area with plants using the optical detection unit. The detection step can be carried out during a crossing or a flight of the plant identification unit or the agricultural work machine. At least one further step of the method, in particular all steps of the method, can be carried out during a crossing or a flight of the plant identification unit or the agricultural work machine.

Hierbei kann die Pflanzenidentifizierungseinheit eine mobile Einheit umfassen oder auf einer mobilen Einheit angeordnet sein, wobei die mobile Einheit insbesondere als Landfahrzeug und/oder Luftfahrzeug und/oder Anhänger ausgebildet sein kann. Die mobile Einheit kann auch ein selbstfahrender bzw. autonomer Roboter sein. Die Pflanzenidentifizierungseinheit ist bevorzugt Teil einer landwirtschaftlichen Arbeitsmaschine. Die landwirtschaftliche Arbeitsmaschine ist bevorzugt eine Beikrautregulierungsmaschine, insbesondere eine landwirtschaftliche Feldspritze. Das landwirtschaftliche Arbeitswerkzeug ist bevorzugt eine Spritzvorrichtung, kann jedoch auch ein mechanisches Werkzeug zur Beikrautregulierung sein.The plant identification unit can comprise a mobile unit or be arranged on a mobile unit, wherein the mobile unit can be designed in particular as a land vehicle and/or aircraft and/or trailer. The mobile unit can also be a self-propelled or autonomous robot. The plant identification unit is preferably part of an agricultural work machine. The agricultural work machine is preferably a weed control machine, in particular an agricultural field sprayer. The agricultural work tool is preferably a spraying device, but can also be a mechanical tool for weed control.

Der Feldabschnitt kann ein Erfassungsabschnitt bzw. ein erfasster Bildabschnitt einer optischen Erfassungseinheit sein. Die Bildinformation kann bspw. ein Bild des erfassten Feldabschnitts sein. Unter einer optischen Erfassungseinheit kann beispielsweise eine Kamera oder eine 3D-Kamera oder eine Infrarot-Erfassungseinheit verstanden werden. Die optische Erfassungseinheit kann kalibriert sein, um z.B. die Höhenzuordnung aus erfassten Bildern zu errechnen.The field section can be a detection section or a detected image section of an optical detection unit. The image information can be, for example, an image of the detected field section. An optical detection unit can be understood to be, for example, a camera or a 3D camera or an infrared detection unit. The optical detection unit can be calibrated, for example, to calculate the height assignment from detected images.

Das Verfahren umfasst einen Schritt des Identifizierens von Pflanzen in der Bildinformation bzw. dem Bild mittels einer Recheneinheit. Bei den Pflanzen in der Bildinformation handelt es sich verständlicherweise um Pixel, insbesondere zusammenhängende Pixel mit entsprechenden Pixelwerten in der Bildinformation bzw. dem Bild, welche ein Pflanzenobjekt aus der realen Welt in dem Bild charakterisieren bzw. repräsentieren. Das Pflanzenobjekt kann hierbei ausgewählt sein aus der Gruppe bestehenden aus: eine einzelne Pflanze, ein einzelnes Pflanzenteil, mehrere sich überlappende Pflanzen oder/oder Pflanzenteile, Pflanzenmasse, Biomasse und Kombinationen davon. Der Schritt des Identifizierens von Pflanzen kann ein Identifizieren eines Farbanteils, insbesondere eines roten Farbanteils und/oder eines Infrarotanteils in der Bildinformation bzw. dem Bild umfassen. Hierbei können mittels der optischen Erfassungseinheit, bspw. durch Auswertung von Lichtspektren oder anhand eines vorbestimmten NDVI-Wertes (Normalized Differenced Vegetation Index, er wird aus Reflexionswerten im nahen infraroten und sichtbaren roten Wellenlängenbereich des Lichtspektrums gebildet), Pflanzen erfasst werden, indem Pflanzenmasse oder Biomasse vom (Erd-) Boden unterschieden wird. Das Identifizieren von Pflanzen umfasst hierbei auch das Bestimmen des Vorhandenseins von Pflanzen oder Pflanzenteilen bzw. Pflanzenmasse oder Biomasse in dem Feldabschnitt, insbesondere ohne dass dabei (zunächst) eine Klassifizierung der einzelnen Pflanzen erfolgt.The method comprises a step of identifying plants in the image information or the image by means of a computing unit. The plants in the image information are understandably pixels, in particular connected pixels with corresponding pixel values in the image information or the image, which characterize or represent a plant object from the real world in the image. The plant object can be selected from the group consisting of: a single plant, a single plant part, several overlapping plants and/or plant parts, plant mass, biomass and combinations thereof. The step of identifying plants can involve identifying a color component, in particular a red color component and/or an infrared component in the image information. tion or the image. Plants can be detected using the optical detection unit, e.g. by evaluating light spectra or using a predetermined NDVI value (Normalized Differenced Vegetation Index, which is formed from reflection values in the near infrared and visible red wavelength range of the light spectrum), by distinguishing plant mass or biomass from the (earth) soil. Identifying plants here also includes determining the presence of plants or parts of plants or plant mass or biomass in the field section, in particular without (initially) classifying the individual plants.

Das Verfahren umfasst ferner einen Schritt des Identifizierens von Pflanzenreihen in der Bildinformation unter Verwendung der identifizierten Pflanzen mittels der Recheneinheit. Bei den Pflanzenreihen handelt es sich um entsprechend in Reihe, d.h. im Wesentlichen linear, gesäte Pflanzen, insbesondere Kulturpflanzen. Demnach handelt es sich bei den Pflanzenreihen bevorzugt um Kulturpflanzenreihen. Daher kann definitionsgemäß (zunächst) angenommen werden, dass es sich bei Pflanzen in der Kulturpflanzenreihe um Kulturpflanzen und bei Pflanzen zwischen den Kulturpflanzen um Beikräuter handelt.The method further comprises a step of identifying rows of plants in the image information using the identified plants by means of the computing unit. The rows of plants are plants, in particular cultivated plants, sown in rows, i.e. essentially linearly. Accordingly, the rows of plants are preferably rows of cultivated plants. Therefore, by definition, it can be assumed (initially) that plants in the row of cultivated plants are cultivated plants and plants between the cultivated plants are weeds.

Die Pflanzenreihen bzw. Kulturpflanzenreihen erstrecken sind im Wesentlichen geradlinig über die landwirtschaftliche Fläche und somit auch in der Bildinformation bzw. dem Bild. Das Identifizieren der Pflanzenreihen bzw. Kulturpflanzenreihen erfolgt bevorzugt unter Verwendung zumindest einer der folgenden Informationen: Farbanteil, insbesondere roter Farbanteil von Pflanzen des erfassten Feldabschnitts, Infrarotanteil von Pflanzen des erfassten Feldabschnitts, Pflanzenabstand, Pflanzreihenabstand, Wachstumsstadium der Pflanzen, Geokoordinaten einer Aussaat der Pflanzen. Mittels dieser Informationen können die Pflanzenreihen auf einfache Art und Weise identifiziert werden, da bspw. Kulturpflanzen in der Regel entlang von Reihen äquidistant angepflanzt werden oder die Kulturpflanzen vom Wachstumsstadium weiter sind als die Beikräuter bzw. Unkräuter. Bevorzugt werden in dem Schritt des Identifizierens der Pflanzenreihen alle Pflanzenreihen in der Bildinformation bzw. dem Bild identifiziert.The rows of plants or rows of cultivated plants extend essentially in a straight line across the agricultural area and thus also in the image information or the image. The identification of the rows of plants or rows of cultivated plants is preferably carried out using at least one of the following pieces of information: color component, in particular red color component of plants in the recorded field section, infrared component of plants in the recorded field section, plant spacing, plant row spacing, growth stage of the plants, geocoordinates of a sowing of the plants. Using this information, the rows of plants can be easily identified since, for example, cultivated plants are usually planted equidistantly along rows or the cultivated plants are further along in terms of growth stage than the weeds. In the step of identifying the rows of plants, all rows of plants in the image information or the image are preferably identified.

Da sich die Pflanzenreihen im Wesentlichen geradlinig erstrecken, kann die Identifizierung einer Pflanzenreihe beispielsweise durch Einpassung einer Geraden bzw. einer geradlinigen Pflanzenreihenmittelpunktlinie in eine Bildtrajektorie mit einem berechneten NDVI-Index bzw. dem höchsten NDVI-Wert (Normierter Abstand bzw. Differenz zwischen rot und Infrarot/NIR) erfolgen. Die Pflanzenreihenmittelpunktlinien können somit als Teil der Pflanzenreihen angesehen werden.Since the plant rows extend essentially in a straight line, the identification of a plant row can be done, for example, by fitting a straight line or a straight plant row center line into an image trajectory with a calculated NDVI index or the highest NDVI value (normalized distance or difference between red and infrared/NIR). The plant row center lines can thus be considered part of the plant rows.

Bevorzugt wird im Schritt des Identifizierens der Pflanzenreihen jeweils eine Pflanzenreihenmittelpunktlinie in den Pflanzenreihen generiert bzw. erzeugt. Die Pflanzenreihenmittelpunktlinie kann entweder zum Identifizieren der Pflanzenreihen generiert worden sein oder danach generiert werden. Hierbei erstrecken sich die Querbereiche bevorzugt quer, insbesondere orthogonal zu den generierten Pflanzenreihenmittelpunktlinien in der Bildinformation.Preferably, in the step of identifying the plant rows, a plant row center line is generated or created in each of the plant rows. The plant row center line can either have been generated to identify the plant rows or be generated afterwards. In this case, the transverse areas preferably extend transversely, in particular orthogonally to the generated plant row center lines in the image information.

Das Verfahren umfasst außerdem einen Schritt des Ermittelns von Breitenwerten für identifizierte Pflanzen identifizierter Pflanzenreihen in der Bildinformation mittels der Recheneinheit, wobei die Bildinformation in Querbereiche unterteilt ist und ein Breitenwert jeweils eine maximale Breite der jeweiligen Pflanze in dem jeweiligen Querbereich, d.h. innerhalb des jeweiligen Querbereichs repräsentiert. Die Breite wird hierbei quer, insbesondere senkrecht zu den Pflanzenreihen bzw. generierten Pflanzenreihenmittelpunktlinien ermittelt.The method also includes a step of determining width values for identified plants of identified plant rows in the image information using the computing unit, wherein the image information is divided into transverse areas and a width value represents a maximum width of the respective plant in the respective transverse area, i.e. within the respective transverse area. The width is determined transversely, in particular perpendicularly to the plant rows or generated plant row center lines.

Die Querbereiche erstrecken sich bevorzugt quer, insbesondere orthogonal zu den Pflanzenreihen bzw. generierten Pflanzenreihenmittelpunktlinien in der Bildinformation. Die Querbereiche können bspw. in einem Winkel von größer oder gleich 45° bis kleiner oder gleich 90°, weiter bevorzugt in einem Winkel von größer oder gleich 85° bis kleiner oder gleich 90° zu den Pflanzenreihen bzw. generierten Pflanzenreihenmittelpunktlinien verlaufen. Die Querbereiche können jedoch auch unabhängig von den Pflanzenreihen bzw. generierten Pflanzenreihenmittelpunktlinien horizontal in der Bildinformation bzw. dem Bild verlaufen. Hierbei erstrecken sich die Querbereiche bevorzugt über die gesamte Bildbreite der Bildinformation bzw. des Bildes.The transverse areas preferably extend transversely, in particular orthogonally, to the rows of plants or generated plant row center lines in the image information. The transverse areas can, for example, run at an angle of greater than or equal to 45° to less than or equal to 90°, more preferably at an angle of greater than or equal to 85° to less than or equal to 90° to the rows of plants or generated plant row center lines. However, the transverse areas can also run horizontally in the image information or the image, independently of the rows of plants or generated plant row center lines. The transverse areas preferably extend over the entire image width of the image information or the image.

Die Querbereiche weisen eine im Wesentlichen gleiche Länge entlang einer definierten Längsrichtung, insbesondere entlang einer Richtung der Pflanzenreihen oder einer der Pflanzenreihenmittelpunktlinien auf. Die Länge der Querbereiche kann vorgegeben oder vorgebbar sein. Die Querbereiche weisen bevorzugt eine im Wesentlichen gleiche Länge in der definierten Längsrichtung auf. Die Länge der Querbereiche ist hierbei größer als 1 Pixel. Bevorzugt liegt die Länge der Querbereiche in einem Bereich von größer oder gleich 5 Pixel bis kleiner oder gleich 50 Pixel.The transverse regions have a substantially equal length along a defined longitudinal direction, in particular along a direction of the plant rows or one of the plant row center lines. The length of the transverse regions can be predetermined or can be predetermined. The transverse regions preferably have a substantially equal length in the defined longitudinal direction. The length of the transverse regions is greater than 1 pixel. The length of the transverse regions is preferably in a range from greater than or equal to 5 pixels to less than or equal to 50 pixels.

Folglich handelt es sich bei den Querbereichen um definierte streifenförmige Pixelbereiche, welche die Bildinformation bzw. das Bild in, insbesondere gleich große „Streifen“ aufteilen.Consequently, the transverse areas are defined strip-shaped pixel areas which divide the image information or the image into “stripes”, in particular of equal size.

Bevorzugt ist der Breitenwert eine Anzahl von Pixeln der jeweiligen Pflanze in dem jeweiligen Querbereich der Bildinformation. Demnach repräsentiert bzw. charakterisiert der Breitenwert die Pixelanzahl, entlang der sich die jeweilige Pflanze in dem jeweiligen Querbereich quer, insbesondere senkrecht zu den Pflanzenreihen bzw. generierten Pflanzenreihenmittelpunktlinien erstreckt. Vorteilhafterweise wird im Schritt des Ermittelns jedem Querbereich jeweils ein Breitenwert pro Pflanzenreihe zugeordnet.The width value is preferably a number of pixels of the respective plant in the respective transverse area of the image information. Accordingly, the width value represents or characterizes the number of pixels along which the respective plant extends in the respective transverse area transversely, in particular perpendicularly to the plant rows or generated plant row center lines. In the step of determining, each transverse area is advantageously assigned a width value per plant row.

Folglich werden bei x Querbereichen und y identifizierten Pflanzenreihen x * y = z Breitenwerte ermittelt.Consequently, for x transverse areas and y identified plant rows, x * y = z width values are determined.

Das Verfahren umfasst des Weiteren einen Schritt des Ermittelns der Breitenkennzahl der Pflanzen zumindest einer der Pflanzenreihen unter Verwendung der ermittelten Breitenwerte mittels der Recheneinheit. Vorteilhafterweise werden im Schritt des Ermittelns der Breitenkennzahl Breitenwerte mit dem Wert Null gelöscht oder bleiben unberücksichtigt. Hierbei ist die Breitenkennzahl bevorzugt ausgewählt ist aus der Gruppe bestehend aus: minimaler Breitenwert, maximaler Breitenwert, Mittelwert der Breitenwerte, Median der Breitenwerte, Ausreißerwert der Breitenwerte. Vorteilhafterweise wird im Schritt des Ermittelns die Breitenkennzahl für jeweils eine identifizierte Pflanzenreihe und/oder jeweils eine empfangene Bildinformation und/oder für mehrere empfangene Bildinformationen, insbesondere eine definierte Anzahl vorhergehend empfangener Bildinformationen, ermittelt. D.h., mit anderen Worten, dass je nach gewünschter Auflösungsstufe oder Datenübertragungskapazitäten gewählt werden kann, ob die Breitenkennzahl für jeweils eine Pflanzenreihe oder mehrere Pflanzenreihen aus einem Bild oder mehreren Bildern, ermittelt werden soll, wobei im letzteren Fall eine noch stabilere Breitenkennzahl erhalten wird.The method further comprises a step of determining the width index of the plants in at least one of the plant rows using the determined width values by means of the computing unit. Advantageously, in the step of determining the width index, width values with the value zero are deleted or ignored. The width index is preferably selected from the group consisting of: minimum width value, maximum width value, mean value of the width values, median of the width values, outlier value of the width values. Advantageously, in the step of determining, the width index is determined for one identified plant row and/or one received image information item and/or for several received image information items, in particular a defined number of previously received image information items. In other words, depending on the desired resolution level or data transmission capacity, it can be selected whether the width index is to be determined for one plant row or several plant rows from one image or several images, in the latter case an even more stable width index is obtained.

Hierbei wird vorteilhafterweise die Breitenkennzahl mit steigender Anzahl vorhergehend identifizierter Pflanzen oder einer definierten Anzahl unmittelbar vorhergehend identifizierter Pflanzen während des Verfahrens, insbesondere während einer Bewegung der optischen Erfassungseinheit über der landwirtschaftlichen Fläche dynamisch angepasst. D.h., mit anderen Worten, dass sich die Breitenkennzahl dynamisch während der Feldüberfahrt ändert, da stets (neue) Breitenwerte neuer identifizierter Pflanzen mit einfließen. Ferner können bevorzugt (alte) Breitenwerte alter identifizierter Pflanzen herausfallen, bspw. wenn lediglich eine definierte konstante Anzahl an aktuellen identifizierten Pflanzen oder Bildinformationen berücksichtigt wird, sodass sich die Breitenkennzahl an den neusten Gegebenheiten auf der landwirtschaftlichen Fläche anpassen. Durch diese Maßnahme ist das Verfahren sehr flexible, da sich die Breitenkennzahl ständig während der Überfahrtfahrt automatisch aktualisiert, sodass sich der Algorithmus ständig neu auf die aktuelle Feldsituation und Breiten der Pflanzen einlernen kann und ferner auch dynamisch genug ist, dass er seine Entscheidung bzgl. des Ansteuerns des landwirtschaftlichen Arbeitswerkzeugs auch bei sich veränderten Pflanzenwachstum über die landwirtschaftliche Fläche Feld hinweg anpassen kann.In this case, the width index is advantageously dynamically adjusted with an increasing number of previously identified plants or a defined number of immediately previously identified plants during the process, in particular during a movement of the optical detection unit over the agricultural area. In other words, the width index changes dynamically during the field crossing, since (new) width values of newly identified plants are always included. Furthermore, (old) width values of old identified plants can preferably be excluded, e.g. if only a defined constant number of currently identified plants or image information is taken into account, so that the width index adapts to the latest conditions on the agricultural area. This measure makes the process very flexible, since the width index is constantly updated automatically during the crossing, so that the algorithm can constantly learn the current field situation and widths of the plants and is also dynamic enough that it can adapt its decision regarding the control of the agricultural work tool even if plant growth changes across the agricultural field.

Bevorzugt werden im Schritt des Ermittelns zusätzlich zu den Breitenwerten noch Längenwerte für identifizierte Pflanzen identifizierter Pflanzenreihen in der Bildinformation mittels der Recheneinheit ermittelt. Hierbei repräsentiert ein Längenwert jeweils eine Anzahl der Querbereiche, über die sich die jeweilige Pflanze, insbesondere entlang einer/der Richtung der Pflanzenreihen oder einer der Pflanzenreihenmittelpunktlinien erstreckt. D.h., mit anderen Worten, dass die Länge der Pflanzen in der Einheit „Querbereiche“ ermittelt wird. Die Ermittlung kann insbesondere gemäß der eingangs erwähnten DE 10 2021 213 280 erfolgen. Anschließend wird im Schritt des Ermittelns ferner eine Längenkennzahl der Pflanzen zumindest einer der Pflanzenreihen unter Verwendung der ermittelten Längenwerte mittels der Recheneinheit ermittelt. Preferably, in the step of determining, in addition to the width values, length values for identified plants of identified plant rows in the image information are determined by means of the computing unit. In this case, a length value represents a number of transverse areas over which the respective plant extends, in particular along a/the direction of the plant rows or one of the plant row center lines. In other words, the length of the plants is determined in the unit “transverse areas”. The determination can be carried out in particular according to the above-mentioned EN 10 2021 213 280 Subsequently, in the determining step, a length index of the plants of at least one of the plant rows is determined using the determined length values by means of the computing unit.

Hierdurch kann dem Landwirt auf sehr einfach und genaue Art und Weise bspw. gezeigt werden, wann (zeitlich auf Grund der Überfahrten / Aufnahmedatum der Bilder) oder wo (Georeferenzierte Informationen aus dem System) seine Kulturpflanzen von einzelnstehend zu einer geschlossenen Reihe hin zusammenwachsen sind.This makes it possible to show the farmer in a very simple and precise way, for example, when (in terms of time based on the crossings / date the images were taken) or where (georeferenced information from the system) his crops have grown from being isolated to forming a closed row.

Bevorzugt wird/werden die Breitenkennzahl und ggf. die Längenkennzahl als Eingangsgröße(n) für Berechnungsverfahren und Steuerverfahren einer landwirtschaftlichen Arbeitsmaschine verwendet, um diese, insbesondere während einer Bewegung der optischen Erfassungseinheit über der landwirtschaftlichen Fläche dynamisch anzupassen.Preferably, the width index and, if applicable, the length index are used as input variables for calculation methods and control methods of an agricultural working machine in order to adapt them dynamically, in particular during a movement of the optical detection unit over the agricultural area.

Das Verfahren kann das Verfahren einen Schritt des Klassifizierens der identifizierten Pflanzen in Abhängigkeit von der ermittelten Breitenkennzahl mittels der Recheneinheit umfassen. Hierbei können die identifizierten Pflanzen insbesondere in eine erste Pflanzenklasse oder Klasse von Kulturpflanzen und/oder in eine zweite Pflanzenklasse oder Klasse von Beikräutern klassifiziert werden. Demnach wird keine gewöhnliche Klassifikationsmethode angewandt, die aus pflanzenspezifischen Eigenschaften ein Clustering durchführt und diese dann eine Entscheidung bestimmt zu welcher Klasse (Kulturpflanze oder Beikraut) ein Objekt am wahrscheinlichsten gehört. Ein Klassifikator ist eine Methode, die am Ende eine Wahrscheinlichkeit berechnet, wie gut ein Objekt zu einer Klasse gehört.The method can comprise a step of classifying the identified plants depending on the determined width index using the computing unit. In this case, the identified plants can be classified in particular into a first plant class or class of cultivated plants and/or into a second plant class or class of weeds. Accordingly, no usual classification method is used that performs clustering from plant-specific properties and then determines which class (cultivated plant or weed) an object most likely belongs to. A classifier is a method, which ultimately calculates a probability of how well an object belongs to a class.

Hierdurch wird eine Reihe von Vorteilen geboten:

  • - Es resultierte eine verbesserte Klassifizierung der Pflanzen, insbesondere Kulturpflanzen und/oder Beikräuter.
  • - Es ist keine Sammlung von vielen Bilddaten und kein Anfertigen von Labels notwendig, um ein Netz oder Klassifikation zu trainieren, wodurch der Gesamtaufwand stark reduziert wird.
  • - Es ist kein Offline-Training anhand von Bilddaten im Vorfeld notwendig.
  • - Die erforderliche Rechenzeit für die Klassifizierung ist sehr gering.
  • - Die Information über die klassifizierten Pflanzen, insbesondere Kulturpflanzen und Beikräuter in dem Kulturpflanzenbereich kann für darauffolgende Schritte genutzt werden, um Pflanzenreihen besser bzw. genauer zu identifizieren, da die identifizierten bzw. erkannten Beikräuter hierfür unberücksichtigt bleiben bzw. „ignoriert“ werden können.
This offers a number of advantages:
  • - This resulted in an improved classification of plants, especially cultivated plants and/or weeds.
  • - There is no need to collect a lot of image data or create labels to train a network or classifier, which greatly reduces the overall effort.
  • - No offline training using image data is necessary beforehand.
  • - The computing time required for classification is very low.
  • - The information on the classified plants, in particular cultivated plants and weeds in the cultivated plant area can be used for subsequent steps to better or more accurately identify plant rows, since the identified or recognized weeds can be disregarded or "ignored" for this purpose.

Bevorzugt kann vor dem Schritt des Klassifizierens eine Vorklassifizierung der identifizierten Pflanzen unabhängig von der Breitenkennzahl erfolgt, wobei im Schritt des Klassifizierens die vorklassifizierten Pflanzen ihre Vorklassifizierung beibehalten oder umklassifiziert werden. D.h., mit anderen Worten, dass zunächst gemäß einer anderen Klassifizierungsmethode die Pflanzen (vor)klassifiziert werden können und anschließend eine Validierung oder Umklassifizierung in Abhängigkeit von der Breitenkennzahl erfolgen kann. Bspw. könnten die identifizierten Pflanzen bzw. Pflanzenobjekte gemäß einem aus der DE 10 2017 210 804 A1 bekannten Verfahren vorklassifiziert werden, um dann mittels des erfindungsgemäßen Verfahrens ggf. bei einer „Fehlklassifizierung“ umklassifiziert zu werden.Preferably, before the step of classification, a pre-classification of the identified plants can be carried out independently of the width index, whereby in the step of classification the pre-classified plants retain their pre-classification or are reclassified. In other words, the plants can first be (pre)classified according to another classification method and then a validation or reclassification can be carried out depending on the width index. For example, the identified plants or plant objects could be classified according to a EN 10 2017 210 804 A1 known methods in order to then be reclassified by means of the method according to the invention if a “misclassification” occurs.

Des Weiteren ist es vorteilhaft, wenn das Verfahren einen Schritt des Ansteuerns einer landwirtschaftlichen Arbeitsmaschine, insbesondere eines landwirtschaftlichen Arbeitswerkzeugs einer landwirtschaftlichen Arbeitsmaschine, insbesondere einer Spritzvorrichtung einer Feldspritze, in Abhängigkeit von der ermittelten Breitenkennzahl, insbesondere den darauf basierend klassifizierten Pflanzen umfasst. Hierdurch ermöglich das Verfahren, gezielt Beikräuter in und/oder zwischen den Pflanzenreihen zu bekämpfen bzw. zu regulieren.Furthermore, it is advantageous if the method comprises a step of controlling an agricultural working machine, in particular an agricultural working tool of an agricultural working machine, in particular a spraying device of a field sprayer, depending on the determined width index, in particular the plants classified on the basis thereof. The method thus makes it possible to specifically combat or regulate weeds in and/or between the rows of plants.

Vorteilhaft ist es auch, wenn ein Schritt des Speicherns der Breitenkennzahl in einer Speichereinheit einer/der landwirtschaftlichen Arbeitsmaschine oder einer externen Speichereinheit, insbesondere Cloud vorgesehen ist. Alternativ oder zusätzlich ist es vorteilhaft, wenn ein Schritt des Ausgebens der Breitenkennzahl an eine Anzeigeeinheit einer/der landwirtschaftlichen Arbeitsmaschine oder eine externe Anzeigeeinheit vorgesehen ist. Die Anzeigeeinheit kann bspw. ein externes Display oder Bedienterminal bzw. HMI-Gerät sein, welches bspw. als Smartphone oder Tablet ausgebildet ist.It is also advantageous if a step of storing the width index in a storage unit of an agricultural work machine or an external storage unit, in particular the cloud, is provided. Alternatively or additionally, it is advantageous if a step of outputting the width index to a display unit of an agricultural work machine or an external display unit is provided. The display unit can be, for example, an external display or operating terminal or HMI device, which is designed, for example, as a smartphone or tablet.

Die Recheneinheit ist bzw. die Recheneinheiten sind zur Bildverarbeitung ausgebildet bzw. eingerichtet, sodass sie Berechnungsschritte bzw. Bildverarbeitungsschritte zur Durchführung des erfindungsgemäßen Verfahrens ausführen kann. Demnach weist jede Recheneinheit eine entsprechende Bildverarbeitungssoftware auf. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten bspw. elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.The computing unit is or the computing units are designed or set up for image processing so that it can carry out calculation steps or image processing steps for carrying out the method according to the invention. Accordingly, each computing unit has corresponding image processing software. The computing unit can be, for example, a signal processor, a microcontroller or the like, wherein the storage unit can be a flash memory, an EPROM or a magnetic storage unit. The communication interface can be designed to read in or output data wirelessly and/or via a wired connection, wherein a communication interface that can read in or output wired data can read this data, for example, electrically or optically from a corresponding data transmission line or output it to a corresponding data transmission line.

Demnach kann das erfindungsgemäße Verfahren beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware in der Recheneinheit bzw. einem Steuergerät implementiert sein. Die Recheneinheit kann vollständig oder teilweise an der landwirtschaftlichen Arbeitsmaschine angeordnet bzw. in diese integriert sein. Die Recheneinheit kann jedoch auch vollständig oder teilweise extern, bspw. in einer Cloud integriert sein. Die Recheneinheit kann somit auch auf verschiedene, bspw. mobile und stationäre Einheiten aufgeteilt sein.Accordingly, the method according to the invention can be implemented, for example, in software or hardware or in a hybrid form of software and hardware in the computing unit or a control unit. The computing unit can be arranged completely or partially on the agricultural work machine or integrated into it. However, the computing unit can also be completely or partially integrated externally, e.g. in a cloud. The computing unit can therefore also be divided into different units, e.g. mobile and stationary units.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also advantageous is a computer program product or computer program with program code that can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and is used to carry out, implement and/or control the steps of the method according to one of the embodiments described above, in particular when the program product or program is executed on a computer or device.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

  • 1 eine schematische Darstellung eines Bildes mit identifizierten Pflanzen, welches in Querbereiche unterteilt ist;
  • 2 einen Ausschnitt einer Tabelle mit Breitenwerten zu dem Bild aus 1; und
  • 3 ein Ablaufdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.
Embodiments of the invention are shown in the drawings and explained in more detail in the following description. It shows:
  • 1 a schematic representation of an image with identified plants, divided into transverse regions;
  • 2 an excerpt from a table with width values for the image from 1 ; and
  • 3 a flow chart of a method according to an embodiment.

1 zeigt schematisch eine Bildinformation 10 bzw. ein Bild 10 eines mittels einer (nicht gezeigten) optischen Erfassungseinheit bzw. Kamera erfassten Feldabschnitts einer landwirtschaftlichen Fläche mit Pflanzen 12. 1 schematically shows image information 10 or an image 10 of a field section of an agricultural area with plants 12 captured by means of an optical detection unit or camera (not shown).

Wie aus 1 ersichtlich, wurden im Bild 10 zunächst die Pflanzen 12 und Pflanzenreihen 14 unter Verwendung der identifizierten Pflanzen 12 mittels einer (nicht gezeigten) Recheneinheit identifiziert. Die Identifizierung der Pflanzenreihen 14 ist hierbei durch Generierung von definierten geradlinigen Pflanzenreihenmittelpunktlinien 16 in Bildtrajektorien mit dem höchsten NDVI-Wert der Pflanzen 12 erfolgt.As from 1 As can be seen, in image 10 the plants 12 and plant rows 14 were first identified using the identified plants 12 by means of a computing unit (not shown). The identification of the plant rows 14 was carried out by generating defined straight plant row center lines 16 in image trajectories with the highest NDVI value of the plants 12.

Wie weiter aus 1 ersichtlich, ist das Bild 10 in dreizehn (13) Querbereiche 18 unterteilt. Die Querbereiche 18 erstrecken sich quer bzw. orthogonal zu den Pflanzenreihen 14 bzw. Pflanzenreihenmittelpunktlinien 16. Die Querbereiche 18 sind gleich ausgebildet. Die Querbereiche 18 erstrecken sich über die gesamte Bildbreite des Bildes 10 und weisen die gleiche Länge entlang einer definierten Längsrichtung 2 auf, welche der Richtung der Pflanzenreihen 14 bzw. der Pflanzenreihenmittelpunktlinien 16 entspricht.How to continue 1 As can be seen, the image 10 is divided into thirteen (13) transverse regions 18. The transverse regions 18 extend transversely or orthogonally to the plant rows 14 or the plant row center lines 16. The transverse regions 18 are of the same design. The transverse regions 18 extend over the entire width of the image 10 and have the same length along a defined longitudinal direction 2, which corresponds to the direction of the plant rows 14 or the plant row center lines 16.

Erfindungsgemäß werden Breitenwerte für identifizierte Pflanzen 12 identifizierter Pflanzenreihen 14 in dem Bild 10 ermittelt, wobei ein Breitenwert jeweils eine maximale Breite 22 der jeweiligen Pflanze 12 in dem jeweiligen Querbereich 18 repräsentiert bzw. charakterisiert. Hierbei ist der Breitenwert eine Anzahl von Pixeln der jeweiligen Pflanze 12 in dem jeweiligen Querbereich 18 des Bildes 10.According to the invention, width values are determined for identified plants 12 of identified plant rows 14 in the image 10, wherein a width value represents or characterizes a maximum width 22 of the respective plant 12 in the respective transverse area 18. The width value is a number of pixels of the respective plant 12 in the respective transverse area 18 of the image 10.

2 zeigt einen Ausschnitt einer Tabelle mit den Breitenwerten zu dem Bild 10 aus 1, wobei jedem Querbereich 18 jeweils ein Breitenwert pro Pflanzenreihe 14 zugeordnet wurde. 2 shows an excerpt from a table with the width values for image 10 from 1 , whereby each transverse area 18 was assigned a width value per plant row 14.

Unter Verwendung der ermittelten Breitenwerte kann dann erfindungsgemäß eine Breitenkennzahl der Pflanzen 12 ermittelt werden. Bei der Ermittlung der Breitenkennzahl können vorteilhafterweise Breitenwerte mit dem Wert Null gelöscht oder unberücksichtigt bleiben. Die Breitenkennzahl kann ausgewählt sein aus der Gruppe bestehend aus: minimaler Breitenwert, maximaler Breitenwert, Mittelwert der Breitenwerte, Median der Breitenwerte, Ausreißerwert der Breitenwerte. Ferner kann die Breitenkennzahl für jeweils eine identifizierte Pflanzenreihe 14 und/oder jeweils ein empfangenes Bild 10 und/oder für mehrere empfangene Bilder 10, insbesondere eine definierte Anzahl vorhergehend empfangener Bilder 10, ermittelt werden.Using the determined width values, a width index of the plants 12 can then be determined according to the invention. When determining the width index, width values with the value zero can advantageously be deleted or ignored. The width index can be selected from the group consisting of: minimum width value, maximum width value, mean value of the width values, median of the width values, outlier value of the width values. Furthermore, the width index can be determined for each identified row of plants 14 and/or each received image 10 and/or for several received images 10, in particular a defined number of previously received images 10.

3 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 100 zum Ermitteln einer Breitenkennzahl von Pflanzen 12 zumindest einer Pflanzenreihe 14 einer landwirtschaftlichen Fläche. Das Verfahren 100 umfasst einen Schritt des Empfangens 102 einer Bildinformation 10 von einem mittels einer optischen Erfassungseinheit erfassten Feldabschnitt einer landwirtschaftlichen Fläche mit Pflanzen 12. Das Verfahren umfasst ferner einen Schritt des Identifizierens 104 von Pflanzen 12 in der Bildinformation 10 mittels einer Recheneinheit. Das Verfahren 100 umfasst außerdem einen Schritt des Identifizierens 106 von Pflanzenreihen 14 in der Bildinformation 10 unter Verwendung der identifizierten Pflanzen 12 mittels der Recheneinheit. Das Verfahren 100 umfasst des Weiteren einen Schritt des Ermitteln 108 von Breitenwerten für identifizierte Pflanzen 12 identifizierter Pflanzenreihen 14 in der Bildinformation 10 mittels der Recheneinheit, wobei die Bildinformation 10 in Querbereiche (18) unterteilt ist und ein Breitenwert jeweils eine maximale Breite 22 der jeweiligen Pflanze 12 in dem jeweiligen Querbereich 18 repräsentiert. Das Verfahren umfasst ferner einen Schritt des Ermittelns 110 einer Breitenkennzahl der Pflanzen 12 zumindest einer der Pflanzenreihen 14 unter Verwendung der ermittelten Breitenwerte mittels der Recheneinheit. 3 shows a flow chart of an embodiment of the approach presented here as a method 100 for determining a width index of plants 12 of at least one row of plants 14 of an agricultural area. The method 100 comprises a step of receiving 102 image information 10 from a field section of an agricultural area with plants 12, detected by means of an optical detection unit. The method further comprises a step of identifying 104 plants 12 in the image information 10 by means of a computing unit. The method 100 also comprises a step of identifying 106 rows of plants 14 in the image information 10 using the identified plants 12 by means of the computing unit. The method 100 further comprises a step of determining 108 width values for identified plants 12 of identified plant rows 14 in the image information 10 by means of the computing unit, wherein the image information 10 is divided into transverse regions (18) and a width value represents a maximum width 22 of the respective plant 12 in the respective transverse region 18. The method further comprises a step of determining 110 a width index of the plants 12 of at least one of the plant rows 14 using the determined width values by means of the computing unit.

Das Verfahren umfasst außerdem einen optionalen Schritt des Klassifizierens 112 der identifizierten Pflanzen 12 in Abhängigkeit von der ermittelten Breitenkennzahl mittels der Recheneinheit, insbesondere in eine erste Pflanzenklasse oder Klasse von Kulturpflanzen 12 und/oder in eine zweite Pflanzenklasse oder Klasse von Beikräutern. Alternativ oder zusätzlich umfasst der Verfahren 100 einen optionalen Schritt des Ansteuerns 114 einer landwirtschaftlichen Arbeitsmaschine, insbesondere eines landwirtschaftlichen Arbeitswerkzeugs einer landwirtschaftlichen Arbeitsmaschine, insbesondere einer Spritzvorrichtung einer Feldspritze, in Abhängigkeit von der ermittelten Breitenkennzahl, insbesondere den darauf basierend klassifizierten Pflanzen 12.The method also includes an optional step of classifying 112 the identified plants 12 depending on the determined width index by means of the computing unit, in particular into a first plant class or class of cultivated plants 12 and/or into a second plant class or class of weeds. Alternatively or additionally, the method 100 includes an optional step of controlling 114 an agricultural work machine, in particular an agricultural work tool of an agricultural work machine, in particular a spraying device of a field sprayer, depending on the determined width index, in particular the plants 12 classified based thereon.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102021213280 [0005, 0032]EN 102021213280 [0005, 0032]
  • DE 102017210804 A1 [0037]DE 102017210804 A1 [0037]

Claims (20)

Verfahren (100) zum Ermitteln einer Breitenkennzahl von Pflanzen (12) zumindest einer Pflanzenreihe (14) einer landwirtschaftlichen Fläche, mit den Schritten: - Empfangen (102) einer Bildinformation (10) von einem mittels einer optischen Erfassungseinheit erfassten Feldabschnitt einer landwirtschaftlichen Fläche mit Pflanzen (12); - Identifizieren (104) von Pflanzen (12) in der Bildinformation (10) mittels einer Recheneinheit; - Identifizieren (106) von Pflanzenreihen (14) in der Bildinformation (10) unter Verwendung der identifizierten Pflanzen (12) mittels der Recheneinheit; - Ermitteln (108) von Breitenwerten für identifizierte Pflanzen (12) identifizierter Pflanzenreihen (14) in der Bildinformation (10) mittels der Recheneinheit, wobei die Bildinformation (10) in Querbereiche (18) unterteilt ist und ein Breitenwert jeweils eine maximale Breite (22) der jeweiligen Pflanze (12) in dem jeweiligen Querbereich (18) repräsentiert; und - Ermitteln (110) einer Breitenkennzahl der Pflanzen (12) zumindest einer der Pflanzenreihen (14) unter Verwendung der ermittelten Breitenwerte mittels der Recheneinheit.Method (100) for determining a width index of plants (12) of at least one row of plants (14) of an agricultural area, comprising the steps: - receiving (102) image information (10) from a field section of an agricultural area with plants (12) detected by an optical detection unit; - identifying (104) plants (12) in the image information (10) by means of a computing unit; - identifying (106) rows of plants (14) in the image information (10) using the identified plants (12) by means of the computing unit; - determining (108) width values for identified plants (12) of identified rows of plants (14) in the image information (10) by means of the computing unit, wherein the image information (10) is divided into transverse regions (18) and a width value represents a maximum width (22) of the respective plant (12) in the respective transverse region (18); and - determining (110) a width index of the plants (12) of at least one of the rows of plants (14) using the determined width values by means of the computing unit. Verfahren (100) nach Anspruch 1, dadurch gekennzeichnet, dass der Breitenwert eine Anzahl von Pixeln der jeweiligen Pflanze (12) in dem jeweiligen Querbereich (18) der Bildinformation (10) ist.Procedure (100) according to Claim 1 , characterized in that the width value is a number of pixels of the respective plant (12) in the respective transverse area (18) of the image information (10). Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Breitenkennzahl ausgewählt ist aus der Gruppe bestehend aus: minimaler Breitenwert, maximaler Breitenwert, Mittelwert der Breitenwerte, Median der Breitenwerte, Ausreißerwert der Breitenwerte.Procedure (100) according to Claim 1 or 2 , characterized in that the width index is selected from the group consisting of: minimum width value, maximum width value, mean value of the width values, median of the width values, outlier value of the width values. Verfahren (100) nach einem der vorherhergehenden Ansprüche, dadurch gekennzeichnet, dass im Schritt des Ermittelns (110) die Breitenkennzahl für jeweils eine identifizierte Pflanzenreihe (14) und/oder jeweils eine empfangene Bildinformation (10) und/oder für mehrere empfangene Bildinformationen (10), insbesondere eine definierte Anzahl vorhergehend empfangener Bildinformationen (10), ermittelt wird.Method (100) according to one of the preceding claims, characterized in that in the step of determining (110) the width index is determined for each identified row of plants (14) and/or each received image information (10) and/or for several received image information items (10), in particular a defined number of previously received image information items (10). Verfahren (100) nach einem der vorherhergehenden Ansprüche, dadurch gekennzeichnet, dass im Schritt des Ermittelns (108) jedem Querbereich (18) jeweils ein Breitenwert pro Pflanzenreihe (14) zugeordnet wird.Method (100) according to one of the preceding claims, characterized in that in the step of determining (108) each transverse region (18) is assigned a width value per row of plants (14). Verfahren (100) nach Anspruch 5, dadurch gekennzeichnet, dass im Schritt des Ermittelns (110) der Breitenkennzahl Breitenwerte mit dem Wert Null gelöscht oder unberücksichtigt bleiben.Procedure (100) according to Claim 5 , characterized in that in the step of determining (110) the width index, width values with the value zero are deleted or disregarded. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sich die Querbereiche (18) quer, insbesondere orthogonal zu den Pflanzenreihen (14) in der Bildinformation (10) erstrecken.Method (100) according to one of the preceding claims, characterized in that the transverse regions (18) extend transversely, in particular orthogonally, to the rows of plants (14) in the image information (10). Verfahren (100) nach Anspruch 7, dadurch gekennzeichnet, dass im Schritt des Identifizierens (106) der Pflanzenreihen (14) jeweils eine Pflanzenreihenmittelpunktlinie (16) in den Pflanzenreihen (14) generiert wird, wobei sich die Querbereiche (18) quer, insbesondere orthogonal zu den generierten Pflanzenreihenmittelpunktlinien (16) in der Bildinformation (10) erstrecken.Procedure (100) according to Claim 7 , characterized in that in the step of identifying (106) the plant rows (14) a plant row center line (16) is generated in each of the plant rows (14), wherein the transverse regions (18) extend transversely, in particular orthogonally, to the generated plant row center lines (16) in the image information (10). Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Querbereiche (18) die im Wesentlichen gleiche Länge entlang einer definierten Längsrichtung (20), insbesondere entlang einer Richtung (20) der Pflanzenreihen (14) oder einer der Pflanzenreihenmittelpunktlinien (16) aufweisen.Method (100) according to one of the preceding claims, characterized in that the transverse regions (18) have substantially the same length along a defined longitudinal direction (20), in particular along a direction (20) of the plant rows (14) or one of the plant row center lines (16). Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im Schritt des Ermittelns (108) ferner Längenwerte für identifizierte Pflanzen (12) identifizierter Pflanzenreihen (14) in der Bildinformation (10) mittels der Recheneinheit ermittelt werden, wobei ein Längenwert jeweils eine Anzahl der Querbereiche (18), über die sich die jeweilige Pflanze (12), insbesondere entlang einer/der Richtung (20) der Pflanzenreihen (14) oder einer der Pflanzenreihenmittelpunktlinien (16) erstreckt, repräsentiert, wobei im Schritt des Ermittelns (110) ferner eine Längenkennzahl der Pflanzen (12) zumindest einer der Pflanzenreihen (14) unter Verwendung der ermittelten Längenwerte mittels der Recheneinheit ermittelt wird.Method (100) according to one of the preceding claims, characterized in that in the step of determining (108) further length values for identified plants (12) of identified plant rows (14) in the image information (10) are determined by means of the computing unit, wherein a length value represents a number of transverse regions (18) over which the respective plant (12) extends, in particular along a/the direction (20) of the plant rows (14) or one of the plant row center lines (16), wherein in the step of determining (110) further a length index of the plants (12) of at least one of the plant rows (14) is determined using the determined length values by means of the computing unit. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Breitenkennzahl als Eingangsgröße für Berechnungsverfahren und Steuerverfahren einer landwirtschaftlichen Arbeitsmaschine verwendet wird, um diese, insbesondere während einer Bewegung der optischen Erfassungseinheit über der landwirtschaftlichen Fläche dynamisch anzupassen.Method (100) according to one of the preceding claims, characterized in that the width index is used as an input variable for calculation methods and control methods of an agricultural working machine in order to dynamically adapt them, in particular during a movement of the optical detection unit over the agricultural area. Verfahren (100) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch einen Schritt des Klassifizierens (112) der identifizierten Pflanzen (12) in Abhängigkeit von der ermittelten Breitenkennzahl mittels der Recheneinheit, insbesondere in eine erste Pflanzenklasse oder Klasse von Kulturpflanzen (12) und/oder in eine zweite Pflanzenklasse oder Klasse von Beikräutern.Method (100) according to one of the preceding claims, characterized by a step of classifying (112) the identified plants (12) depending on the determined width index by means of the computing unit, in particular into a first plant class or class of cultivated plants (12) and/or into a second plant class or class of weeds. Verfahren (100) nach Anspruch 12, dadurch gekennzeichnet, dass vor dem Schritt des Klassifizierens (112) eine Vorklassifizierung der identifizierten Pflanzen unabhängig von der Breitenkennzahl erfolgt, wobei im Schritt des Klassifizierens (112) die vorklassifizierten Pflanzen ihre Vorklassifizierung beibehalten oder umklassifiziert werden.Procedure (100) according to Claim 12 , characterized in that before the step of classifying izing (112) a pre-classification of the identified plants is carried out independently of the width index, wherein in the classifying step (112) the pre-classified plants retain their pre-classification or are reclassified. Verfahren (100) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch einen Schritt des Ansteuerns (114) einer landwirtschaftlichen Arbeitsmaschine, insbesondere eines landwirtschaftlichen Arbeitswerkzeugs einer landwirtschaftlichen Arbeitsmaschine, insbesondere einer Spritzvorrichtung einer Feldspritze, in Abhängigkeit von der ermittelten Breitenkennzahl, insbesondere den darauf basierend klassifizierten Pflanzen (12).Method (100) according to one of the preceding claims, characterized by a step of controlling (114) an agricultural working machine, in particular an agricultural working tool of an agricultural working machine, in particular a spraying device of a field sprayer, depending on the determined width index, in particular the plants (12) classified based thereon. Verfahren (100) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch einen Schritt des Speicherns der Breitenkennzahl in einer Speichereinheit einer/der landwirtschaftlichen Arbeitsmaschine oder einer externen Speichereinheit, insbesondere Cloud, und/oder des Ausgebens der Breitenkennzahl an eine Anzeigeeinheit einer/der landwirtschaftlichen Arbeitsmaschine oder eine externe Anzeigeeinheit, insbesondere ein Smartphone oder Tablet.Method (100) according to one of the preceding claims, characterized by a step of storing the width index in a storage unit of an agricultural working machine or an external storage unit, in particular cloud, and/or outputting the width index to a display unit of an agricultural working machine or an external display unit, in particular a smartphone or tablet. Recheneinheit, welche eingerichtet ist, die Schritte eines Verfahrens (100) nach einem der vorhergehenden Ansprüche auszuführen und/oder zu steuern.Computing unit which is configured to execute and/or control the steps of a method (100) according to one of the preceding claims. Pflanzenidentifizierungseinheit mit einer optischen Erfassungseinheit zum Erfassen eines Feldabschnitts einer landwirtschaftlichen Fläche mit Pflanzen (12), um eine Bildinformation (10) von dem erfassten Feldabschnitt zu erhalten, und einer Recheneinheit nach Anspruch 14.Plant identification unit with an optical detection unit for detecting a field section of an agricultural area with plants (12) in order to obtain image information (10) from the detected field section, and a computing unit according to Claim 14 . Landwirtschaftliche Arbeitsmaschine, insbesondere landwirtschaftliche Feldspritze, mit einem landwirtschaftlichen Arbeitswerkzeug, insbesondere einer Spritzvorrichtung, und einer Pflanzenidentifizierungseinheit nach Anspruch 17, wobei das Arbeitswerkzeug, insbesondere die Spritzvorrichtung in Abhängigkeit von der ermittelten Breitenkennzahl, insbesondere den darauf basierend klassifizierten Pflanzen (12) ansteuerbar ist.Agricultural working machine, in particular an agricultural field sprayer, with an agricultural working tool, in particular a spraying device, and a plant identification unit according to Claim 17 , wherein the working tool, in particular the spraying device, can be controlled depending on the determined width index, in particular the plants (12) classified based thereon. Computerprogramm, das dazu eingerichtet ist, die Schritte eines Verfahrens (100) nach einem der Ansprüche 1 bis 15 auszuführen und/oder zu steuern, wenn das Computerprogramm auf einem Computer ausgeführt wird.Computer program which is designed to carry out the steps of a method (100) according to one of the Claims 1 until 15 to execute and/or control when the computer program is executed on a computer. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 19 gespeichert ist.Machine-readable storage medium on which the computer program is Claim 19 is stored.
DE102022212161.9A 2022-11-16 2022-11-16 Method for determining a width index of plants in a row of plants in an agricultural area Pending DE102022212161A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022212161.9A DE102022212161A1 (en) 2022-11-16 2022-11-16 Method for determining a width index of plants in a row of plants in an agricultural area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022212161.9A DE102022212161A1 (en) 2022-11-16 2022-11-16 Method for determining a width index of plants in a row of plants in an agricultural area

Publications (1)

Publication Number Publication Date
DE102022212161A1 true DE102022212161A1 (en) 2024-05-16

Family

ID=91023814

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022212161.9A Pending DE102022212161A1 (en) 2022-11-16 2022-11-16 Method for determining a width index of plants in a row of plants in an agricultural area

Country Status (1)

Country Link
DE (1) DE102022212161A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210804A1 (en) 2017-06-27 2018-12-27 Robert Bosch Gmbh Method Apply a spray to a field
DE102020214837A1 (en) 2020-11-26 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for classifying plants and computer program product
DE102021213280A1 (en) 2021-11-25 2023-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Method for identifying weeds in a row of plants in an agricultural area

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210804A1 (en) 2017-06-27 2018-12-27 Robert Bosch Gmbh Method Apply a spray to a field
DE102020214837A1 (en) 2020-11-26 2022-06-02 Robert Bosch Gesellschaft mit beschränkter Haftung Method and device for classifying plants and computer program product
DE102021213280A1 (en) 2021-11-25 2023-05-25 Robert Bosch Gesellschaft mit beschränkter Haftung Method for identifying weeds in a row of plants in an agricultural area

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIRZADIFAR, Alimohammad, et al. Mapping crop stand count and planting uniformity using high resolution imagery in a maize crop. Biosystems Engineering, 2020, 200. Jg., S. 377-390.

Similar Documents

Publication Publication Date Title
EP3700320B1 (en) Creation of digital processing cards
EP3782467B1 (en) Method for identifying weeds within a defined row of plants of an agricultural area
DE102018217742A1 (en) Process for applying a spray to a field
WO2023094111A1 (en) Method for identifying weeds in a row of plants of an agricultural field
EP3701449A1 (en) Yield estimation in the cultivation of crop plants
DE112015002189T5 (en) Image filter based on row identification
DE102018222428A1 (en) Process for applying a spray to an agricultural area
WO2017071928A1 (en) Method and information system for detecting at least one plant planted on a field
WO2023110207A1 (en) Method for identifying weeds in a plant row of an agricultural area
EP3512333A1 (en) Determination of the requirements on plant protection agents
EP4088223A1 (en) Method for generating a plurality of annotated images
DE102017217258A1 (en) Method for classifying plants
DE102022212161A1 (en) Method for determining a width index of plants in a row of plants in an agricultural area
DE102022212162A1 (en) Method for determining a plant index of plants in a row of plants in an agricultural area
DE102018200411A1 (en) Method for working a soil and tillage device
DE102022212169A1 (en) Method for classifying plants in and/or between rows of plants in an agricultural area
DE102022212171A1 (en) Method for classifying plants in and/or between rows of plants in an agricultural area
EP3468339B1 (en) Method for determining the crop properties of an agricultural crop
DE102021211803A1 (en) Method for identifying weeds in an identified plant row of an agricultural area
DE102019209526A1 (en) Monitoring a cultivation area
DE102019201977A1 (en) Method for determining a condition of a crop planting and agricultural vehicle
EP4064818B1 (en) Method for treating plants in a field
DE102022115549A1 (en) Method for the optimized configuration of a camera system for row detection in a field
DE102020215877A1 (en) Method of classifying plants for agricultural purposes
DE102021214001A1 (en) Method for determining plant information relating to a plant on an agricultural area

Legal Events

Date Code Title Description
R163 Identified publications notified