FR3116141A1 - Method for controlling a unit of a mobile agricultural device and implementation system - Google Patents
Method for controlling a unit of a mobile agricultural device and implementation system Download PDFInfo
- Publication number
- FR3116141A1 FR3116141A1 FR2111872A FR2111872A FR3116141A1 FR 3116141 A1 FR3116141 A1 FR 3116141A1 FR 2111872 A FR2111872 A FR 2111872A FR 2111872 A FR2111872 A FR 2111872A FR 3116141 A1 FR3116141 A1 FR 3116141A1
- Authority
- FR
- France
- Prior art keywords
- plant
- image data
- agricultural
- dimensional image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000033001 locomotion Effects 0.000 claims abstract description 49
- 239000007921 spray Substances 0.000 claims description 32
- 239000007788 liquid Substances 0.000 claims description 30
- 239000002689 soil Substances 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 241000196324 Embryophyta Species 0.000 description 212
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 11
- 239000013543 active substance Substances 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 239000003337 fertilizer Substances 0.000 description 5
- 230000012010 growth Effects 0.000 description 5
- 238000005507 spraying Methods 0.000 description 5
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 244000038559 crop plants Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 238000000265 homogenisation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910052757 nitrogen Inorganic materials 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- FTKOCAZZFUDHDQ-OXLBYMFNSA-N α-cam Chemical compound C([C@@H](N(CC1)C)C23C=C[C@@]4([C@H](C3)CN(CCCl)CCCl)OC)C3=CC=C(O)C5=C3[C@@]21[C@H]4O5 FTKOCAZZFUDHDQ-OXLBYMFNSA-N 0.000 description 2
- 239000002028 Biomass Substances 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000016383 Zea mays subsp huehuetenangensis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000000855 fungicidal effect Effects 0.000 description 1
- 239000000417 fungicide Substances 0.000 description 1
- 239000003630 growth substance Substances 0.000 description 1
- 230000002363 herbicidal effect Effects 0.000 description 1
- 239000004009 herbicide Substances 0.000 description 1
- 239000002917 insecticide Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 235000009973 maize Nutrition 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 239000011814 protection agent Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
- A01M7/0089—Regulating or controlling systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/001—Steering by means of optical assistance, e.g. television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Wood Science & Technology (AREA)
- Environmental Sciences (AREA)
- Zoology (AREA)
- Pest Control & Pesticides (AREA)
- Insects & Arthropods (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Guiding Agricultural Machines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
TITRE : Procédé de commande d’une unité d’un dispositif agricole mobile de mise en œuvre Procédé de commande d’une unité d’un dispositif agricole mobile (10) en fonction d’une information d’une plante (28) consistant à : - saisir la plante (28) dans une première position du dispositif agricole (10) à l’aide d’une caméra (26) du dispositif (10) pour générer des premières données d’image à deux dimensions de la plante (28), - saisir la plante (28) dans une seconde position du dispositif agricole (10) à l’aide de la caméra (26) pour générer des secondes données d’image à deux dimensions de la plante (28), - déterminer des données d’image tridimensionnelle de la plante (28) avec les premières et les secondes données et une information de mouvement à l’aide d’une unité de commande (20), - déterminer l’information de la plante (28) avec les données d’image tridimensionnelle, et - commander (190) l’unité du dispositif agricole (10). Figure 1ATITLE: Method for controlling a unit of a mobile agricultural device Method of controlling a unit of a mobile agricultural device (10) according to information from a plant (28) consisting in : - capturing the plant (28) in a first position of the agricultural device (10) using a camera (26) of the device (10) to generate first two-dimensional image data of the plant (28 ), - capturing the plant (28) in a second position of the agricultural device (10) using the camera (26) to generate second two-dimensional image data of the plant (28), - determining three-dimensional image data of the plant (28) with the first and second data and movement information using a control unit (20), - determining the information of the plant (28) with the three-dimensional image data, and - controlling (190) the agricultural device unit (10). Figure 1A
Description
DOMAINE DE L’INVENTIONFIELD OF THE INVENTION
La présente invention se rapporte à un procédé et un système de commande d’une unité de dispositif agricole mobile, en fonction d’une information de plante relative à une plante de la surface agricole ainsi qu’une unité de commande, un programme d’ordinateur et un dispositif agricole mobile.The present invention relates to a method and a system for controlling a mobile agricultural device unit, based on plant information relating to a plant in the agricultural area, as well as a control unit, a program for computer and a mobile agricultural device.
ETAT DE LA TECHNIQUESTATE OF THE ART
Un objectif important de l’agriculture intelligente est de distribuer, de manière spécifique et ciblée des amendements et des agents de pulvérisation sur les surfaces agricoles. Pour cela il faut des moyens permettant de déterminer de manière efficace et en même temps précise, l’état de croissance des plantes dans le champ. On connaît des capteurs de mesure sans contact qui déterminent, par exemple, la teneur en azote en se fondant sur des mesures de réflectance et en déterminant, à partir de là, la demande en engrais. De telles méthodes de mesure agricoles ainsi que d’autres types de mesures utilisent la courbe caractéristique de réflectance lumineuse de la végétation ; il s’agit de l’indice normé de végétation différentielle NDV1. Pour déterminer la teneur en azote, on mesure la réflectance dans différentes bandes de longueur d’onde et on en déduit la teneur en chlorophylle et la biomasse d’une plante utile.An important objective of smart agriculture is to distribute, in a specific and targeted manner, amendments and spraying agents on agricultural surfaces. For this, means are needed to determine efficiently and at the same time precisely the state of growth of plants in the field. Non-contact measuring sensors are known which, for example, determine the nitrogen content on the basis of reflectance measurements and determine the fertilizer demand therefrom. Such agricultural measurement methods as well as other types of measurement use the characteristic curve of light reflectance of vegetation; this is the standardized NDV1 differential vegetation index. To determine the nitrogen content, the reflectance in different wavelength bands is measured and the chlorophyll content and biomass of a useful plant are deduced therefrom.
EXPOSE ET AVANTAGES DE L’INVENTIONDESCRIPTION AND ADVANTAGES OF THE INVENTION
La présente invention a pour objet un procédé de commande d’une unité d’un dispositif agricole mobile, en fonction d’une information de plante relative à une plante de la surface agricole et qui a été déterminée notamment à l’aide d’un dispositif agricole mobile.The subject of the present invention is a method for controlling a unit of a mobile agricultural device, as a function of plant information relating to a plant of the agricultural surface and which has been determined in particular with the aid of a mobile agricultural device.
A cet effet, l’invention a pour objet un procédé de commande d’une unité d’un dispositif agricole mobile en fonction d’une information de plante concernant une plante d’une surface agricole, comprenant les étapes suivantes consistant à : saisir la plante dans une première position du dispositif agricole sur la surface agricole à l’aide d’une unité de caméra du dispositif agricole pour générer des premières données d’image à deux dimensions de la plante, saisir la plante dans une seconde position du dispositif agricole sur la surface agricole à l’aide de l’unité de caméra pour générer des secondes données d’image à deux dimensions concernant la plante, déterminer des données d’image à trois dimensions concernant la plante, en utilisant les premières et les secondes données d’image bidimensionnelle et une information de mouvement du dispositif agricole à l’aide d’une unité de commande du dispositif agricole; déterminer l’information de plante concernant la plante en utilisant les données d’image tridimensionnelles déterminées à l’aide de l’unité de commande; et commander l’unité du dispositif agricole en fonction de l’information de plante déterminée à l’aide de l’unité de commande.To this end, the subject of the invention is a method for controlling a unit of a mobile agricultural device as a function of plant information relating to a plant of an agricultural area, comprising the following steps consisting of: entering the plant in a first position of the agricultural device on the agricultural surface using a camera unit of the agricultural device to generate first two-dimensional image data of the plant, capturing the plant in a second position of the agricultural device on the agricultural surface using the camera unit to generate second two-dimensional image data relating to the plant, determining three-dimensional image data relating to the plant, using the first and the second data two-dimensional image and motion information of the agricultural device using a control unit of the agricultural device; determining plant information about the plant using the determined three-dimensional image data using the control unit; and controlling the agricultural device unit based on the plant information determined using the control unit.
Il convient de remarquer que l’expression :It should be noted that the expression:
- données d’image à deux dimensions",- two-dimensional image data",
est équivalente à l’expression : "données d’image bidimensionnelle", et l’expression :is equivalent to the expression: "two-dimensional image data", and the expression:
- "données d’image à trois dimensions,- "three-dimensional image data,
est équivalente à l’expression : "données d’image tridimensionnelle".is equivalent to the expression: "three-dimensional image data".
En d’autres termes, le procédé selon l’invention comprend une étape de saisie de la plante dans une première position du dispositif agricole sur la surface agricole à l’aide d’une unité de caméra du dispositif agricole pour générer des premières données d’image bidimensionnelle de la plante. En d’autres termes, cela signifie que l’on saisit la plante à un premier instant lorsque le dispositif agricole se trouve dans ou sur une première position de la surface agricole.In other words, the method according to the invention comprises a step of capturing the plant in a first position of the agricultural device on the agricultural surface using a camera unit of the agricultural device to generate first data of two-dimensional image of the plant. In other words, this means that the plant is grasped at a first instant when the agricultural device is in or on a first position of the agricultural surface.
Le procédé consiste en outre à saisir la plante dans une seconde position du dispositif agricole, différente notamment de la première position sur la surface agricole, à l’aide de l’unité de caméra, pour générer des secondes données d’image bidimensionnelle de la plante. En d’autres termes, cela signifie que la plante sera saisie à un second instant, notamment différent du premier instant à l’aide de la même unité de caméra, le dispositif agricole étant alors dans ou sur une seconde position sur la surface agricole, différente de la première position.The method further includes capturing the plant in a second position of the agricultural device, notably different from the first position on the agricultural surface, using the camera unit, to generate second two-dimensional image data of the plant. In other words, this means that the plant will be captured at a second instant, in particular different from the first instant using the same camera unit, the agricultural device then being in or on a second position on the agricultural surface, different from the first position.
Le procédé consiste en outre à déterminer des données d’image tridimensionnelle de la plante en utilisant les premières données d’image bidimensionnelle et les secondes données d’image bidimensionnelle ainsi qu’une information de mouvement du dispositif agricole à l’aide de l’unité de commande du dispositif agricole.The method further includes determining three-dimensional image data of the plant using the first two-dimensional image data and the second two-dimensional image data and motion information of the agricultural device using the agricultural device control unit.
Le procédé comprend une étape consistant à déterminer l’information de plante de la plante en utilisant des données d’images déterminées à trois dimensions, à l’aide de l’unité de commande.The method includes a step of determining the plant information of the plant using determined three-dimensional image data, using the control unit.
Le procédé comprend en outre une étape consistant à commander directement ou indirectement l’unité du dispositif agricole en fonction de l’information de plante déterminée par l’unité de commande.The method further comprises a step of directly or indirectly controlling the unit of the agricultural device based on the plant information determined by the control unit.
L’invention a également pour objet une unité de commande notamment pour commander directement ou indirectement une unité d’un dispositif agricole mobile en fonction d’une information de plante concernant une plante de la surface agricole. Pour cela, l’unité de commande est conçue pour recevoir des secondes données d’image bidimensionnelle concernant la plante. En particulier, on génère les premières données d’image bidimensionnelle avec une unité de caméra du dispositif agricole occupant une première position sur la surface agricole. En outre, l’unité de commande est conçue pour recevoir des secondes données d’image bidimensionnelle de la plante. Pour cela, on génère les secondes données d’image bidimensionnelle avec l’unité de caméra pour une seconde position du dispositif agricole sur la surface agricole. L’unité de commande est conçue pour déterminer des données d’image tridimensionnelle concernant la plante en utilisant les premières et les secondes données d’image bidimensionnelle ainsi qu’une information de mouvement du dispositif agricole. L’unité de commande est conçue pour déterminer l’information de plante concernant la plante en utilisant les données d’image tridimensionnelle déterminées. En outre, l’unité de commande est conçue pour commander l’unité du dispositif agricole en fonction de l’information de plante déterminée notamment directement ou indirectement.The invention also relates to a control unit in particular for directly or indirectly controlling a unit of a mobile agricultural device according to plant information concerning a plant of the agricultural area. For this, the control unit is adapted to receive second two-dimensional image data concerning the plant. In particular, the first two-dimensional image data is generated with a camera unit of the agricultural device occupying a first position on the agricultural surface. Further, the control unit is adapted to receive second two-dimensional image data of the plant. For this, the second two-dimensional image data is generated with the camera unit for a second position of the agricultural device on the agricultural area. The control unit is configured to determine three-dimensional image data about the plant using the first and second two-dimensional image data and movement information of the agricultural device. The control unit is configured to determine plant information about the plant using the determined three-dimensional image data. Furthermore, the control unit is designed to control the unit of the agricultural device according to the plant information determined in particular directly or indirectly.
L’invention a également pour objet un système de commande d’une unité d’un dispositif agricole mobile en fonction d’une information de plante concernant une plante de la surface à usage agricole. Le système comprend une unité de commande décrite précédemment et une unité de caméra réalisée pour saisir la plante sur la surface agricole, pour obtenir les données d’image bidimensionnelles concernant la plante.The invention also relates to a system for controlling a unit of a mobile agricultural device according to plant information concerning a plant of the surface for agricultural use. The system includes a control unit described above and a camera unit realized to capture the plant on the agricultural surface, to obtain the two-dimensional image data concerning the plant.
L’invention a également pour objet un dispositif agricole mobile comportant une barre de pulvérisation qui, en fonction d’une unité de distribution pour distribuer un milieu de traitement, notamment un liquide de traitement sur la surface agricole ainsi qu’un système décrit précédemment. L’unité de caméra et/ou l’unité de capteur de saisie de distance et/ou l’unité de commande du système sont installées sur la barre de pulvérisation. Au-delà, l’unité de commande du système est conçue pour commander l’unité de distribution en fonction de l’information de plante.The invention also relates to a mobile agricultural device comprising a spray bar which, as a function of a distribution unit for distributing a treatment medium, in particular a treatment liquid on the agricultural surface as well as a system described above. The camera unit and/or the distance sensing sensor unit and/or the system control unit are installed on the spray bar. Beyond that, the system control unit is designed to control the delivery unit based on plant information.
La présente invention concerne un programme d’ordinateur qui, appliquant le programme, fait exécuter toutes les étapes du procédé décrit ci-dessus ainsi qu’un support de mémoire lisible par une machine comportant l’enregistrement du programme d’ordinateur.The present invention relates to a computer program which, applying the program, executes all the steps of the method described above as well as a machine-readable memory medium comprising the recording of the computer program.
Une surface agricole est une surface à usage agricole, une surface pour planter ou une parcelle d’une telle surface ou d’un tel champ. La surface agricole est ainsi un champ, un grand champ, un terrain herbagé ou une pâture.An agricultural area is an area for agricultural use, an area for planting or a parcel of such an area or of such a field. The agricultural area is thus a field, a large field, grassland or pasture.
La plante peut être une plante utile dont le fruit est utilisé dans l’agriculture (par exemple, comme aliment, nourriture de bétail ou plante fournissant de l’énergie). La plante peut également être de l’herbe ou une aventis ou une mauvaise herbe ou autre. De façon préférentielle, la plante fait partie de la surface agricole.The plant may be a useful plant whose fruit is used in agriculture (e.g. as food, livestock feed or an energy plant). The plant can also be grass or an aventis or a weed or whatever. Preferably, the plant is part of the agricultural area.
Le dispositif agricole mobile est un véhicule terrestre et/ou un engin aérien et/ou une remorque. Le dispositif agricole mobile est notamment une machine à usage agricole, par exemple, un tracteur, une machine de traction, un remorqueur ou un pulvérisateur autonome.The mobile agricultural device is a land vehicle and/or an aerial vehicle and/or a trailer. The mobile agricultural device is in particular a machine for agricultural use, for example a tractor, a traction machine, a tug or an autonomous sprayer.
Le dispositif agricole mobile réalisé sous la forme d’une machine agricole comporte un dispositif de pulvérisation. Le dispositif de pulvérisation peut équiper un dispositif hydraulique de la machine agricole. On peut également envisager d’installer le dispositif de pulvérisation sur la surface de chargement de la machine agricole. En variante, le dispositif de pulvérisation est accroché à la machine agricole.The mobile agricultural device made in the form of an agricultural machine comprises a spraying device. The spraying device can equip a hydraulic device of the agricultural machine. It is also possible to envisage installing the spraying device on the loading surface of the agricultural machine. Alternatively, the spraying device is attached to the agricultural machine.
L’unité du dispositif agricole mobile est installé, ou peut être installé de préférence, sur un dispositif agricole. L’unité est reliée par une liaison sans fil ou une liaison par fil à l’unité de commande du dispositif agricole. L’unité de commande est conçue pour fournir un dispositif à usage agricole coopérant avec l’unité de commande, notamment pour recevoir le signal de commande concernant l’information de plante déterminée.The mobile agricultural device unit is installed, or can be preferably installed, on an agricultural device. The unit is connected by a wireless link or a wired link to the control unit of the agricultural device. The control unit is designed to provide a device for agricultural use cooperating with the control unit, in particular to receive the control signal relating to the determined plant information.
L’unité peut être réalisée comme unité de liaison optique et/ou acoustique et/ou comme unité de mémoire et/ou comme unité de distribution. On peut également envisager une unité de distribution qui, en réponse au signal de commande reçu, émet un élément d’émission optique et/ou acoustique comprenant l’information de plante déterminée. Par exemple, on peut, afficher l’état de croissance de la plante en passant plusieurs fois sur la surface agricole, en procédant dans le temps et/ou par comparaison entre les différentes positions de plante développées sur la surface agricole correspondant au même type de plante en étant affichée en fonction de l’espace à l’aide de l’unité de distribution.The unit can be realized as an optical and/or acoustic link unit and/or as a memory unit and/or as a distribution unit. It is also possible to envisage a distribution unit which, in response to the received control signal, emits an optical and/or acoustic emission element comprising the determined plant information. For example, it is possible to display the state of growth of the plant by passing several times over the agricultural surface, by proceeding over time and/or by comparison between the different positions of the plant developed on the agricultural surface corresponding to the same type of crashes by being displayed according to the space using the distribution unit.
On peut également envisager d’installer l’unité de mémoire pour enregistrer, de manière temporaire ou permanente, l’information de plante obtenue à l’aide du signal de commande reçu. Par exemple, on peut enregistrer l’état de croissance de la plante par plusieurs passages sur la surface agricole, dans le temps et/ou par comparaison entre différentes positions de plantes développées sur la surface agricole correspondant au même type de plante, en fonction de l’espace, à l’aide de l’unité de mémoire pour la documentation.It is also possible to consider installing the memory unit to store, temporarily or permanently, the plant information obtained using the received control signal. For example, the growth state of the plant can be recorded by several passes over the agricultural surface, over time and/or by comparison between different positions of plants developed on the agricultural surface corresponding to the same type of plant, depending on space, using the memory unit for documentation.
On peut en outre envisager de réaliser l’unité de distribution pour distribuer sur la plante saisie sur la surface agricole, un milieu de traitement, notamment un liquide de traitement, en fonction du signal de commande reçu.It is also possible to envisage making the distribution unit for distributing on the plant seized on the agricultural surface, a treatment medium, in particular a treatment liquid, according to the control signal received.
Le dispositif agricole mobile est conçu pour se déplacer le long de la surface agricole. De manière préférentielle, le dispositif agricole passe sur la surface agricole. Le dispositif agricole est conçu pour prendre différentes positions dans l’espace, sur la surface agricole. Le dispositif agricole est réalisé pour être à un premier instant dans une première position sur la surface agricole et à un second instant, différent du premier instant, dans une seconde position différente de la première position sur la surface agricole.The mobile agricultural device is adapted to move along the agricultural surface. Preferably, the agricultural device passes over the agricultural surface. The agricultural device is designed to take different positions in space, on the agricultural surface. The agricultural device is designed to be at a first instant in a first position on the agricultural surface and at a second instant, different from the first instant, in a second position different from the first position on the agricultural surface.
La première position de l’unité de caméra par rapport à la surface agricole pour la première position du dispositif agricole est différente d’une seconde position de la même unité de caméra par rapport à la surface agricole dans une seconde position du dispositif agricole. La grandeur de la distance dans l’espace entre la première position du dispositif agricole et la seconde position du dispositif agricole peut être supérieure ou égale à 1 cm ou plus petite ou égale à 100 cm, de préférence supérieure ou égale à 20 cm et inférieure ou égale à 50 cm ou 37 cm en fonction de la vitesse de saisie d’images de 15 Hz pour une vitesse du dispositif agricole de 20 km/h.The first position of the camera unit relative to the agricultural surface for the first position of the agricultural device is different from a second position of the same camera unit relative to the agricultural surface in a second position of the agricultural device. The magnitude of the distance in space between the first position of the agricultural device and the second position of the agricultural device may be greater than or equal to 1 cm or less than or equal to 100 cm, preferably greater than or equal to 20 cm and less or equal to 50 cm or 37 cm depending on the image acquisition speed of 15 Hz for a speed of the agricultural device of 20 km/h.
L’information de mouvement comprend une information concernant le mouvement du dispositif agricole entre une première position du dispositif agricole et une seconde position du dispositif agricole. L’information de mouvement peut être une information relative à une valeur ou à une évolution dans le temps d’une vitesse ou d’une accélération ou du trajet parcouru par le dispositif agricole, entre la première position et la seconde position sur la surface agricole.The movement information includes information regarding movement of the agricultural device between a first position of the agricultural device and a second position of the agricultural device. The movement information can be information relating to a value or to a change over time of a speed or an acceleration or of the path traveled by the agricultural device, between the first position and the second position on the agricultural surface. .
L’unité de caméra est, de préférence, une nano caméra conçue pour générer des données d’image bidimensionnelles et les fournir à l’unité de commande. Les données d’image bidimensionnelles comprennent notamment une ou plusieurs images bidimensionnelles de la plante. De façon préférentielle, les première et seconde données d’image bidimensionnelle comprennent chaque fois une image de la plante saisie, l’image des premières données d’image bidimensionnelle de la plante étant faites selon un premier angle de visée ou un angle de vue et l’image des secondes données d’images à deux dimensions de la plante correspondant à un second angle de visée différent du premier angle de visée. Les données d’image tridimensionnelle comprennent notamment une ou plusieurs données d’image tridimensionnelle de la plante.The camera unit is preferably a nano camera designed to generate two-dimensional image data and supply it to the control unit. The two-dimensional image data includes in particular one or more two-dimensional images of the plant. Preferably, the first and second two-dimensional image data comprise each time an image of the captured plant, the image of the first two-dimensional image data of the plant being made according to a first viewing angle or a viewing angle and the image of the second two-dimensional image data of the plant corresponding to a second viewing angle different from the first viewing angle. The three-dimensional image data includes in particular one or more three-dimensional image data of the plant.
De façon préférentielle, les données d’image tridimensionnelle se déterminent en utilisant un algorithme connu des spécialistes, à savoir, l’algorithme "structure à partir du mouvement". Pour cela, on détermine une information de flux concernant le flux optique des premières et des secondes données d’image bidimensionnelle. Pour cela, on détermine notamment à l’aide d’un algorithme connu du spécialiste, les correspondances entre les points-images des premières données d’image bidimensionnelle et les points-images des secondes données d’image bidimensionnelle.Preferably, the three-dimensional image data is determined using an algorithm known to specialists, namely, the "structure from motion" algorithm. For this, flow information about the optical flow of the first and second two-dimensional image data is determined. For this, the correspondences between the image points of the first two-dimensional image data and the image points of the second two-dimensional image data are determined in particular using an algorithm known to the specialist.
L’information de plante déterminée comprend une information concernant la plante sur la surface agricole. L’information de plante déterminée peut comporter un paramètre physique et/ou biologique de la plante. Le paramètre physique peut être le volume et/ou la masse ou la hauteur de la plante. Le paramètre biologique de la plante peut être un état de croissance et/ou un état de végétation et/ou un type de plante, par exemple, une plante utile ou une mauvaise herbe. En outre, l’information de plante comprend la position dans l’espace de la plante sur la surface agricole.The determined plant information includes information about the plant on the agricultural area. The determined plant information may comprise a physical and/or biological parameter of the plant. The physical parameter can be the volume and/or the mass or the height of the plant. The biological parameter of the plant can be a growth state and/or a vegetation state and/or a type of plant, for example, a useful plant or a weed. Furthermore, the plant information includes the spatial position of the plant on the agricultural surface.
De façon préférentielle, le dispositif agricole mobile a une barre de pulvérisation à plusieurs éléments et à chaque élément est associé un système comme celui décrit ci-dessus. On peut également envisager à cet effet que plusieurs systèmes de pulvérisation influencent respectivement une unité de commande ou une unité de commande commune.Preferably, the mobile agricultural device has a spray bar with several elements and each element is associated with a system like that described above. It is also conceivable for this purpose that several spray systems influence respectively a control unit or a common control unit.
L’unité de distribution du dispositif agricole est conçue pour distribuer un milieu de traitement, notamment un liquide de traitement sur la surface agricole, notamment sur la plante saisie. Pour cela, l’unité de distribution comprend, de préférence, une ou plusieurs buses de pulvérisation pour distribuer le liquide de traitement. L’unité de distribution est conçue pour commander la distribution du milieu de traitement notamment du liquide de traitement en fonction de l’information de plante déterminée. On peut également envisager d’associer une unité ou plusieurs unités de sortie.The delivery unit of the agricultural device is adapted to deliver a treatment medium, in particular a treatment liquid, to the agricultural surface, in particular to the gripped plant. For this, the dispensing unit preferably comprises one or more spray nozzles for dispensing the treatment liquid. The distribution unit is adapted to control the distribution of the treatment medium in particular the treatment liquid according to the determined plant information. One can also consider associating one unit or several output units.
L’unité de commande comporte au moins deux unités partielles de commande. On peut envisager une première unité partielle de commande de l’unité de commande équipée de l’unité de caméra en particulier intégrée dans l’unité de caméra. On peut également envisager une seconde unité partielle de commande de l’unité de commande en dehors de l’unité de caméra, sur le dispositif agricole. La première et la seconde unités partielles de commande peuvent être reliées par fil ou de manière électronique, sans fil. Par exemple, la première unité partielle de commande est conçue pour exécuter l’étape de détermination des données d’image tridimensionnelle et/ou l’étape de détermination de l’information de plante. Cela permet d’exploiter directement les données d’image à l’aide de la première unité partielle rendant inutile le transfert des données d’image, ce qui réduit le besoin en largeur de bande disponible pour la transmission de données. La seconde unité partielle de commande est conçue pour exécuter l’étape de détermination de l’information de plante et/ou l’étape de commande de l’unité du dispositif agricole. En outre, on peut envisager d’installer l’unité de commande complètement dans l’unité de caméra, notamment en l’intégrant à l’unité de caméra.The control unit comprises at least two partial control units. It is possible to envisage a first partial control unit of the control unit equipped with the camera unit in particular integrated in the camera unit. It is also possible to envisage a second partial control unit of the control unit outside the camera unit, on the agricultural device. The first and the second partial control units can be connected by wire or electronically, wirelessly. For example, the first partial control unit is designed to execute the three-dimensional image data determining step and/or the plant information determining step. This enables the image data to be directly exploited using the first partial unit making it unnecessary to transfer the image data, thereby reducing the need for available bandwidth for data transmission. The second partial control unit is adapted to execute the step of determining the plant information and/or the step of controlling the unit of the agricultural device. In addition, it is possible to consider installing the control unit completely in the camera unit, in particular by integrating it into the camera unit.
Le procédé, selon l’invention et le système selon l’invention permettent de déterminer l’information de plante sur la base d’une plante unique et ainsi d’une manière particulièrement précise, en même temps, toutefois qu’un procédé mis à l’échelle de façon à permettre l’analyse d’une surface agricole avec un grand nombre de plantes simples, et cela en un temps très court et de façon précise. Le système fondé sur les composants techniques simples et peu sensibles aux défauts est réalisé indépendamment de capteurs à trois dimensions tels que des caméras stéréo ou des capteurs multi-spectre. Pendant un traitement nécessaire pour des raisons agricoles sur la surface agricole, on applique le procédé pour ne pas avoir le passage selon les besoins agricoles ; cela évite de densifier le sol de la surface agricole et réduit les dommages occasionnés aux plantes par le passage. En déterminant l’information de plante pendant le temps de fonctionnement, on peut adapter le traitement en fonction de l’information de plante déterminée, ce qui permet un traitement particulièrement efficace de la surface agricole, par exemple, par l’application d’un agent de pulvérisation spécifique à une plante prise isolément.The method according to the invention and the system according to the invention make it possible to determine the plant information on the basis of a single plant and thus in a particularly precise manner, at the same time, however, as an updated method the scale so as to allow the analysis of an agricultural area with a large number of single plants, and this in a very short time and in a precise manner. The system based on simple technical components and not very sensitive to faults is produced independently of three-dimensional sensors such as stereo cameras or multi-spectrum sensors. During a treatment necessary for agricultural reasons on the agricultural surface, the method is applied so as not to have the passage according to agricultural needs; this avoids densifying the soil of the agricultural surface and reduces the damage caused to the plants by the passage. By determining the plant information during the operating time, the treatment can be adapted according to the determined plant information, which allows a particularly effective treatment of the agricultural surface, for example, by the application of a spray agent specific to a single plant.
Il est également avantageux de déterminer les données d’image tridimensionnelle de la plante en utilisant une information de distance statique et/ou dynamique de la distance entre l’unité de caméra et la surface agricole, notamment la plante que l’on détermine pour mettre à l’échelle tridimensionnelle en utilisant l’information de distance. L’information de distance peut être la valeur d’une distance dans l’espace entre l’unité de caméra et la surface agricole, en particulier la plante. On peut également envisager la distance déterminée selon l’axe optique de l’unité de caméra entre l’unité de caméra, et la surface agricole, notamment la plante.It is also advantageous to determine the three-dimensional image data of the plant using static and/or dynamic distance information of the distance between the camera unit and the agricultural surface, in particular the plant which is determined to put on a three-dimensional scale using distance information. The distance information can be the value of a distance in space between the camera unit and the agricultural surface, in particular the plant. It is also possible to envisage the distance determined along the optical axis of the camera unit between the camera unit and the agricultural surface, in particular the plant.
L’information statique de distance comprend une valeur constante de cette distance, prédéfinie ou qui peut être prédéfinie statiquement ou une distance de valeur constante. En d’autres termes, cela signifie que l’information de distance statique comprend une valeur approchée de la distance différente de la distance effective selon le temps de parcours pour appliquer le procédé. Par exemple, on peut prendre pour l’information de distance statique, une valeur de la distance comprise entre le centre de l’unité de caméra et le sol de la surface agricole, le long de l’axe optique de la caméra. L’information de distance statique à l’arrêt du dispositif agricole se détermine à l’aide de l’unité de capteur saisissant une distance. On peut également envisager de déterminer l’information de distance statique si le dispositif agricole est sur une partie de sol plan ou plat de la surface agricole.The static distance information comprises a constant value of this distance, predefined or which can be statically predefined or a distance of constant value. In other words, this means that the static distance information includes an approximate value of the distance different from the effective distance according to the travel time to apply the method. For example, the static distance information can be taken as a value of the distance between the center of the camera unit and the ground of the agricultural area, along the optical axis of the camera. The static distance information when the agricultural device is stationary is determined by means of the sensor unit entering a distance. It is also possible to consider determining the static distance information if the agricultural device is on a flat or flat part of the agricultural surface.
L’information de distance dynamique comprend une valeur de la distance qui se détermine par rapport au temps de parcours du procédé. Cela signifie en d’autres termes que l’information de distance dynamique comprend la valeur actuelle de la distance qui, dans le cadre de la précision de le mesure ou de la détermination, correspond à la distance effective entre l’unité de caméra et la surface agricole, notamment la plante. L’information de distance dynamique se détermine à l’aide d’une unité de capteur saisissant la distance, par exemple, une unité de capteur à ultrasons pour le temps de circulation du procédé. De façon préférentielle, l’unité de capteur saisissant la distance comprend une plage de saisie qui chevauche une plage de saisie de l’unité de caméra.The dynamic distance information includes a distance value which is determined with respect to the process travel time. This means in other words that the dynamic distance information includes the current distance value which, within the scope of measurement or determination accuracy, corresponds to the effective distance between the camera unit and the agricultural surface, especially the plant. The dynamic distance information is determined using a distance sensing sensor unit, e.g. an ultrasonic sensor unit for the process circulation time. Preferably, the distance sensing sensor unit includes an input range which overlaps with an input range of the camera unit.
De façon préférentielle, le procédé comprend une étape de mise à l’échelle des données d’image tridimensionnelle en utilisant l’information de distance statique et/ou dynamique. Dans l’étape de mise à l’échelle, en utilisant l’information de distance on détermine un coefficient de mise à l’échelle statique et/ou dynamique à l’aide duquel on peut mettre à l’échelle les données d’images tridimensionnelles ou à l’aide duquel on peut associer une mesure de longueur aux données d’image tridimensionnelles.Preferably, the method comprises a step of scaling the three-dimensional image data using the static and/or dynamic distance information. In the scaling step, using the distance information, a static and/or dynamic scaling coefficient is determined by which the image data can be scaled three-dimensional or by which a measure of length can be associated with three-dimensional image data.
On peut envisager pour mettre à l’échelle les données d’images tridimensionnelle de projeter, tout d’abord, le centre de l’unité de caméra sur une surface de sol déterminée au préalable de la surface agricole pour déterminer la distance dans l’espace, non mise à l’échelle, entre le centre de l’unité de caméra et la surface du sol. Ensuite, en se fondant sur l’information de distance statique et la distance dans l’espace, non mise à l’échelle, on détermine le coefficient statique de mise à l’échelle.Consideration may be given to scaling the three-dimensional image data by first projecting the center of the camera unit onto a previously determined ground surface of the agricultural surface to determine the distance in the space, unscaled, between the center of the camera unit and the ground surface. Then, based on the static distance information and the unscaled distance in space, the static scaling coefficient is determined.
En variante ou en plus, pour mettre à l’échelle les données d’image tridimensionnelles, on peut transformer une information de distance dans l’espace fournie par l’unité de capteurs qui saisit la distance, par rapport à la distance entre l’unité de capteurs saisissant la distance et la plante saisie par l’unité de capteurs par un système de coordonnées de l’unité de capteurs saisissant la distance dans un système de coordonnées de l’unité de caméras. Ensuite, en se fondant sur l’information de distance transformée et notamment en se fondant en outre sur la mise à l’échelle statique, on détermine le coefficient dynamique de mise à l’échelle. En utilisant l’information de distance, les données d’image tridimensionnelles générées par l’unité de commande ont une qualité particulièrement élevée concernant l’information dans l’espace.Alternatively or additionally, to scale the three-dimensional image data, spatial distance information provided by the sensor unit that captures the distance can be transformed, relative to the distance between the sensor unit capturing the distance and the plant captured by the sensor unit by a coordinate system of the sensor unit capturing the distance in a coordinate system of the camera unit. Then, based on the transformed distance information and in particular based further on the static scaling, the dynamic scaling coefficient is determined. By using the distance information, the three-dimensional image data generated by the control unit has a particularly high quality regarding information in space.
Il est en outre avantageux de déterminer l’information de plante en utilisant une information de sol concernant le sol de la surface agricole ; cette information de sol se détermine en se fondant sur les premières et/ou secondes données d’image bidimensionnelle et/ou les données d’image tridimensionnelle. Le sol de la surface agricole est une zone de la surface agricole dans ou sur laquelle se développe la plante. La plante s’étend à partir du sol en direction du dispositif agricole. L’information de sol peut comporter une information concernant une plage d’images des données d’image qui comprend le sol, c’est-à-dire une indication de la zone d’image des données d’image qui comprend le sol. En tenant compte de l’information de sol, on détermine l’information de plante d’une manière particulièrement efficace et précise.It is further advantageous to determine the plant information using soil information about the soil of the agricultural area; this ground information is determined based on the first and/or second two-dimensional image data and/or the three-dimensional image data. The soil of the agricultural surface is an area of the agricultural surface in or on which the plant grows. The plant extends from the ground towards the agricultural device. The ground information may include information about an image range of the image data which includes the ground, i.e. an indication of the image area of the image data which includes the ground. By taking the soil information into account, the plant information is determined in a particularly efficient and precise way.
Il est avantageux ainsi, dans l’étape de détermination des données d’images tridimensionnelles par rapport à la plante, de déterminer une plage d’image de plante contenant la plage des données d’image tridimensionnelle en utilisant l’information de sol déterminée. Pour cela, on peut projeter la plage d’image de plante des données d’image bidimensionnelle comme masque inverse ou comme filtre sur les données d’image tridimensionnelle fondées sur les premières et secondes données d’image bidimensionnelle. Cela permet de subdiviser les données d’image tridimensionnelle en une plage d’image de plante contenant la plante pour les données d’image tridimensionnelle et une plage d’image résiduelle différente de la plage d’image de plante pour les données d’image tridimensionnelle. En projetant la plage d’image de plante des données d’image bidimensionnelle on peut éliminer la plage d’image de plante qui contient la plante des données d’image tridimensionnelle. La plage d’images résiduelles qui subsiste pour les données d’image tridimensionnelle comprend, pour l’essentiel, le sol, c’est-à-dire les données d’image représentant le sol. Cela permet de déterminer, d’une manière particulièrement précise, les données d’image tridimensionnelle concernant la plante.It is thus advantageous, in the step of determining the three-dimensional image data with respect to the plant, to determine a plant image range containing the range of the three-dimensional image data by using the determined soil information. For this, the plant image range of the two-dimensional image data can be projected as an inverse mask or as a filter on the three-dimensional image data based on the first and second two-dimensional image data. This makes it possible to subdivide the three-dimensional image data into a plant image range containing the plant for the three-dimensional image data and a residual image range different from the plant image range for the image data three-dimensional. By projecting the plant image range of the two-dimensional image data, the plant image range that contains the plant can be eliminated from the three-dimensional image data. The remaining residual image range for the three-dimensional image data mainly comprises the ground, i.e. the image data representing the ground. This makes it possible to determine, in a particularly precise way, the three-dimensional image data concerning the plant.
Il est, en outre avantageux, pour déterminer l’information de sol, de subdiviser les données d’image bidimensionnelle et/ou tridimensionnelle en une plage d’image de plante contenant la plante et une plage d’image résiduelle différente de la plage d’image de plante et une surface de sol de la surface agricole dans les premières et/ou secondes données d’image bidimensionnelle et/ou les données d’image tridimensionnelle en se fondant sur la plage d’image résiduelle. On peut envisager qu’un pixel ou que chaque pixel des données d’image soit associé à la plage d’image de plante ou à la plage d’image résiduelle. Pour cette association de pixel à pixel ou segmentation, l’homme du métier connaît différents algorithmes dans le domaine de la reconnaissance de plantes fondée sur l’image.It is further advantageous, for determining the soil information, to subdivide the two-dimensional and/or three-dimensional image data into a plant image range containing the plant and a residual image range different from the range d plant image and a soil surface of the agricultural surface in the first and/or second two-dimensional image data and/or the three-dimensional image data based on the residual image range. It can be considered that a pixel or each pixel of the image data is associated with the plant image range or the residual image range. For this pixel-to-pixel association or segmentation, the person skilled in the art knows various algorithms in the field of image-based plant recognition.
La surface du sol peut se déterminer dans la plage d’image résiduelle des données bidimensionnelles et/ou tridimensionnelles en déterminant ou en calculant une surface de compensation notamment un plan de compensation dans lequel on détermine la plage d’image résiduelle. La surface de compensation représente la surface du sol dans les données d’image. Pour cette réalisation, on peut faire une approximation de la surface réel du sol.The ground surface can be determined in the residual image range of the two-dimensional and/or three-dimensional data by determining or calculating a compensation surface, in particular a compensation plane in which the residual image range is determined. The compensation surface represents the ground surface in the image data. For this realization, one can make an approximation of the real surface of the ground.
Il est en outre avantageux de déterminer l’information de plante en déterminant le volume ou la masse de la plante en se fondant sur la plage d’image de plante des données d’image tridimensionnelle. On envisage un volume ou une mesure de volume de la plante en se fondant sur la plage d’image de plante des données d’image tridimensionnelle mises à l’échelle. On envisage en outre de déterminer avec l’unité de commande en utilisant un algorithme connu de l’homme du métier comme, par exemple, la triangulation de Delaunay ou un algorithme de "cubes en marche" ou une "surface de la plante" en utilisant les données d’image tridimensionnelle mises à l’échelle. La surface de la plante se représente par un réseau de polygones ou un réseau de triangles.It is further advantageous to determine the plant information by determining the volume or mass of the plant based on the plant image range of the three-dimensional image data. A volume or volume measurement of the plant is considered based on the plant image range of the scaled three-dimensional image data. It is further envisaged to determine with the control unit using an algorithm known to those skilled in the art such as, for example, the Delaunay triangulation or a "walking cubes" algorithm or a "plant surface" in using the scaled three-dimensional image data. The surface of the plant is represented by a network of polygons or a network of triangles.
On peut également envisager un ou plusieurs modèles de plante prédéfinis ou qui peuvent être prédéfinis, intégrés dans des points tridimensionnels pour tenir compte de la géométrie et/ou de la nature de la croissance de la plante. On peut, par exemple, pour du maïs, prédéfinir pour chaque modèle de plante, un état de croissance ou le prédéfinir. Cela permet de tenir compte de différents types de plantes et de déterminer avec une grande précision l’information de plante.It is also possible to envisage one or more plant models which are predefined or which can be predefined, integrated into three-dimensional points to take account of the geometry and/or the nature of the growth of the plant. It is possible, for example, for maize, to predefine for each plant model, a state of growth or to predefine it. This makes it possible to take into account different types of plants and to determine the plant information with great precision.
Ensuite, en se fondant sur la surface obtenue de la plante, on détermine le volume de la plante. On peut en outre envisager qu’avec le volume déterminé de la plante et avec une densité de plante prédéfinie ou prédéfinissable, on détermine une masse de la plante. Cette réalisation permet de déterminer la grandeur particulièrement caractéristique de la surface agricole à travailler ou traiter.Then, based on the obtained surface of the plant, the volume of the plant is determined. It is also possible to envisage that with the determined volume of the plant and with a predefined or predefinable plant density, a mass of the plant is determined. This embodiment makes it possible to determine the particularly characteristic size of the agricultural surface to be worked or treated.
Il est en outre particulièrement avantageux que l’information de mouvement du dispositif agricole contienne une information fournie par une unité de capteur du dispositif agricole qui saisit le mouvement du dispositif agricole entre la première position du dispositif agricole et la seconde position de celui-ci. L’information de mouvement peut se transmettre par une liaison sans fil ou une liaison par fil de l’unité de capteur qui saisit le mouvement à l’unité de commande. De façon préférentielle, l’information de mouvement est répétée notamment est transmise périodiquement et d’une manière particulièrement préférentielle, elle est transmise avec un taux de répétition qui correspond à une fréquence d’images, par exemple, supérieur ou égal 1 Hz et inférieur ou égal à 50 Hz, de préférence égal à 15 Hz de l’unité de caméra à la saisie de la plante. Cette réalisation permet de déterminer les données tridimensionnelles, d’une manière fiable et précise.It is also particularly advantageous if the movement information of the agricultural device contains information provided by a sensor unit of the agricultural device which detects the movement of the agricultural device between the first position of the agricultural device and the second position thereof. Motion information can be transmitted wirelessly or wired from the sensor unit that senses the motion to the control unit. Preferably, the motion information is repeated in particular is transmitted periodically and in a particularly preferential manner, it is transmitted with a repetition rate which corresponds to an image frequency, for example, greater than or equal to 1 Hz and less or equal to 50 Hz, preferably equal to 15 Hz from camera unit to plant capture. This realization makes it possible to determine the three-dimensional data, in a reliable and precise way.
Il est en outre avantageux que l’unité du dispositif agricole soit une unité de distribution pour distribuer le milieu de traitement, notamment le liquide de traitement sur la surface agricole et dans l’étape de la commande, on commande l’alimentation ou la distribution du milieu de traitement, notamment le liquide de traitement par l’unité de distribution, notamment sur la plante saisie, en fonction de l’information de plante déterminée.It is furthermore advantageous for the unit of the agricultural device to be a distribution unit for distributing the treatment medium, in particular the treatment liquid on the agricultural surface and in the control step, the supply or distribution is controlled. of the treatment medium, in particular the treatment liquid by the dispensing unit, in particular on the gripped plant, according to the determined plant information.
Le milieu de traitement peut être un liquide de traitement ou une matière solide de traitement, par exemple, un engrais solide. Le liquide de traitement comporte au moins un agent actif. L’agent actif peut être un agent de pulvérisation, c’est-à-dire une réparation ou des moyens phytosanitaires, notamment un concentré de moyens phytosanitaires. L’agent actif peut être ainsi, par exemple, un herbicide, fongicide ou insecticide (pesticide). L’agent actif peut être également un engrais, notamment un concentré d’engrais ou un régulateur de croissance. En outre, le liquide de traitement, est, de préférence, un liquide, notamment un liquide de support tel que de l’eau, pour diluer l’agent actif. Le liquide de traitement est, de préférence, une bouillie à pulvériser, notamment un agent de protection des plantes, dilué ou un engrais dilué.The treatment medium can be a treatment liquid or a solid treatment material, for example, a solid fertilizer. The treatment liquid includes at least one active agent. The active agent can be a spray agent, that is to say a repair or phytosanitary means, in particular a concentrate of phytosanitary means. The active agent can thus be, for example, a herbicide, fungicide or insecticide (pesticide). The active agent can also be a fertilizer, in particular a fertilizer concentrate or a growth regulator. Further, the treatment liquid is preferably a liquid, especially a carrier liquid such as water, to dilute the active agent. The treatment liquid is preferably a spray mixture, in particular a diluted plant protection agent or a diluted fertilizer.
La commande de la distribution du milieu de traitement, notamment du liquide de traitement en fonction de l’information de plante déterminée se fait en activant ou en démarrant la distribution du liquide de traitement notamment du liquide de traitement et/ou la fin de la distribution du milieu de traitement, en particulier, le liquide de traitement. On peut envisager que dans l’étape de commande de la distribution du milieu de traitement, notamment du liquide de traitement on commande la composition de l’agent actif et/ou la concentration en agent actif dans le milieu de traitement notamment le liquide de traitement en fonction de l’information de plante déterminée. Par exemple, l’information de plante déterminée peut comprendre une information concernant la masse et/ou le volume de la plante et dans l’étape de commande de l’unité de distribution, on dose la quantité d’agent actif dans le liquide de traitement en fonction de la masse ou du volume de la plante avec une unité de dosage pour que le liquide de traitement soit distribué avec la quantité d’agent actif sur la plante qui est adaptée à la masse ou au volume de la plante.The control of the distribution of the treatment medium, in particular of the treatment liquid according to the determined plant information is done by activating or by starting the distribution of the treatment liquid in particular of the treatment liquid and / or the end of the distribution of the treatment medium, in particular, the treatment liquid. It can be envisaged that in the step of controlling the distribution of the treatment medium, in particular of the treatment liquid, the composition of the active agent and/or the concentration of active agent in the treatment medium, in particular the treatment liquid, is controlled. based on the determined plant information. For example, the determined plant information may include information relating to the mass and/or volume of the plant and in the step of controlling the dispensing unit, the quantity of active agent in the liquid of treatment according to the mass or volume of the plant with a dosage unit so that the treatment liquid is distributed with the amount of active agent on the plant which is suitable for the mass or volume of the plant.
Cette réalisation permet d’adapter et de doser, d’une manière individuelle, propre à chaque plante, le liquide de traitement, ce qui correspond à un traitement optimum de la plante et en même temps le liquide peut être distribué sur la surface agricole de façon beaucoup plus réduite que par le traitement actuel.This realization makes it possible to adapt and dose, in an individual way, specific to each plant, the treatment liquid, which corresponds to an optimum treatment of the plant and at the same time the liquid can be distributed on the agricultural surface of way much more reduced than by the current treatment.
Il est en outre avantageux que, dans l’étape de commande de l’unité du dispositif agricole, on commande une unité de génération de carte associée à l’unité de commande, en fonction de l’information de plante obtenue. L’unité de génération de carte est conçue pour qu’en fonction d’un signal de commande reçu par l’unité de commande, on actualise l’information de plante déterminée dans une carte de plante de la surface agricole. La carte de plante comprend un jeu de données ayant une plage partielle dans l’espace, notamment représentée par un jeu de coordonnées GNSS, par exemple, fournies à un récepteur GNSS installé dans le dispositif agricole et avec lequel on obtient l’information de plante déterminée, par exemple, sous la forme du volume et/ou de la masse correspondant à la plante ou aux plantes dans la plage partielle de l’espace. Cette réalisation permet de travailler d’une manière particulièrement efficace une surface agricole en utilisant la carte de plantes.It is furthermore advantageous that, in the step of controlling the unit of the agricultural device, a map generation unit associated with the control unit is controlled, according to the plant information obtained. The map generation unit is designed so that based on a control signal received by the control unit, the determined plant information is updated into a plant map of the agricultural area. The plant map comprises a set of data having a partial range in space, in particular represented by a set of GNSS coordinates, for example, supplied to a GNSS receiver installed in the agricultural device and with which the plant information is obtained determined, for example, as the volume and/or mass corresponding to the plant or plants in the partial range of space. This realization makes it possible to work in a particularly effective way an agricultural area by using the map of plants.
Il est également avantageux que le système comporte une unité de capteur saisissant la distance et/ou une unité de capteurs saisissant un mouvement. L’unité de capteur saisissant une distance est réalisée pour saisir la distance dans l’espace entre le système et la surface agricole. De façon préférentielle, l’unité de capteur saisissant la distance est installée par rapport à l’unité de caméra pour que la plage de saisie de l’unité de capteur saisissant la distance chevauche celle de l’unité de caméra. On peut envisager que l’unité de capteur saisissant la distance et l’unité de caméra soient orientées en biais ou selon la direction de mouvement du dispositif agricole, en restant voisins sur la barre de pulvérisation du dispositif agricole. D’une manière particulièrement préférentielle, l’unité de capteur saisissant la distance est réalisée en fonction de l’unité de caméra pour saisir la distance entre l’unité de capteur saisissant la distance et la plante saisie par l’unité de capteur.It is also advantageous if the system comprises a sensor unit detecting the distance and/or a sensor unit detecting a movement. The distance sensing sensor unit is realized to sense the distance in space between the system and the agricultural surface. Preferably, the distance sensing sensor unit is installed relative to the camera unit so that the sensing range of the distance sensing sensor unit overlaps that of the camera unit. It is possible to envisage that the sensor unit capturing the distance and the camera unit are oriented at an angle or according to the direction of movement of the agricultural device, remaining close together on the spray bar of the agricultural device. Particularly preferably, the distance sensing sensor unit is made depending on the camera unit for sensing the distance between the distance sensing sensor unit and the plant sensed by the sensor unit.
L’unité de capteur saisissant le mouvement est réalisé pour saisir un mouvement, notamment de l’unité de caméra du dispositif agricole à partir de la première position du dispositif agricole vers la seconde position du dispositif agricole. En outre, l’unité de capteur saisissant le mouvement est conçue pour fournir ou transmettre une information de mouvement concernant le mouvement saisi de l’unité par une liaison sans fil ou avec fil à l’unité de commande. L’unité de capteur saisissant le mouvement peut être un capteur d’accélération ou une unité de capteur d’accélération et de vitesse de rotation, par exemple, une unité de mesure par inertie.The motion sensing sensor unit is constructed to sense a motion, in particular, of the camera unit of the agricultural device from the first position of the agricultural device to the second position of the agricultural device. Further, the motion sensing sensor unit is adapted to provide or transmit motion information regarding the sensed motion of the unit via a wireless or wired link to the control unit. The motion sensing sensor unit may be an acceleration sensor or an acceleration and rotational speed sensor unit, for example, an inertial measurement unit.
De façon préférentielle, l’unité de capteur saisissant le mouvement est installée sur la barre de pulvérisation du dispositif agricole. D’une manière particulièrement préférentielle, l’unité de capteur saisissant le mouvement est à une distance devant l’unité de caméra sur la barre de pulvérisation qui ne dépasse pas un seuil prédéfini ou qui peut être prédéfini de sorte que le mouvement saisi par l’unité de capteur saisissant le mouvement corresponde, pour l’essentiel, au mouvement de l’unité de caméra. Le seuil est prédéfini de façon que même en cas d’oscillations de la barre de pulvérisation, le mouvement saisi par l’unité de capteur saisissant le mouvement corresponde, pour l’essentiel au mouvement de l’unité de caméra. Cette réalisation donne un système particulièrement robuste et fiable permettant un traitement très efficace de la surface agricole.Preferably, the sensor unit capturing the movement is installed on the spray bar of the agricultural device. Particularly preferably, the sensor unit capturing the movement is at a distance in front of the camera unit on the spray bar which does not exceed a predefined threshold or which can be predefined so that the movement captured by the The motion sensing sensor unit essentially corresponds to the motion of the camera unit. The threshold is predefined so that even in the event of spray bar oscillations, the motion captured by the motion sensing sensor unit substantially matches the motion of the camera unit. This realization gives a particularly robust and reliable system allowing a very effective treatment of the agricultural surface.
Il est, en outre, avantageux que le dispositif agricole mobile comporte au moins une première et une seconde unité de caméra avec des plages de saisie qui se chevauchent dans l’espace et que l’unité de commande soit conçue pour déterminer des données d’image tridimensionnelle concernant une première plante saisie par la première unité de caméra et les données d’image tridimensionnelle concernant une seconde plante saisie par la seconde caméra en utilisant leur information de distance. On peut envisager que le dispositif agricole mobile comporte une unité de capteur saisissant la distance qui a une plage de saisie qui chevauchant la plage de saisie de la première unité de caméra. L’unité de capteur saisissant la distance est réalisée pour saisir la distance entre l’unité de capteur saisissant la distance et en particulier la plante sur la surface agricole. On peut, en outre, envisager une unité de commande conçue pour qu’avec les plages de saisie en chevauchement de la première unité de caméra et de l’unité de capteur saisissant la distance, on obtient une information concernant la distance entre la première unité de caméra et la plante et on met à l’échelle les données d’image de la première unité de caméra en utilisant l’information de distance. On peut en outre envisager que l’unité de commande soit conçue pour qu’en se fondant sur des plages de saisie qui se chevauchent entre la première unité de caméra et la seconde unité de caméra, on peut aussi mettre à l’échelle les images de caméra de la seconde unité de caméra en utilisant la même information de distance. Pour cela, on prédéfinit ou on peut prédéfinir la distance dans l’espace entre la première et la seconde unités de caméra le long de la barre de pulvérisation ou une plage partielle d’image qui représentent la plage de chevauchement dans les première et seconde donnée d’image. Cette réalisation permet à un dispositif agricole mobile ayant plusieurs unités de caméra de réduire le nombre des unités de capteur, de préférence de façon importante par rapport au nombre d’unités de caméra pour soulager l’alimentation en énergie du dispositif agricole.It is further advantageous that the mobile agricultural device has at least a first and a second camera unit with spatially overlapping input ranges and that the control unit is designed to determine three-dimensional image relating to a first plant captured by the first camera unit and the three-dimensional image data relating to a second plant captured by the second camera using their distance information. It is conceivable that the mobile agricultural device comprises a distance sensing sensor unit which has a sensing range which overlaps with the sensing range of the first camera unit. The distance grasping sensor unit is realized to grasp the distance between the distance grasping sensor unit and in particular the plant on the agricultural surface. It is furthermore possible to envisage a control unit designed so that with the overlapping input ranges of the first camera unit and the sensor unit capturing the distance, information is obtained concerning the distance between the first unit unit and plant it and scale the image data of the first camera unit using the distance information. It is further conceivable that the control unit is designed so that based on overlapping input ranges between the first camera unit and the second camera unit, the images can also be scaled of the second camera unit using the same distance information. For this, we predefine or we can predefine the distance in space between the first and the second camera units along the spray bar or a partial frame range which represents the range of overlap in the first and second data. of picture. This embodiment enables a mobile agricultural device having several camera units to reduce the number of the sensor units, preferably significantly compared to the number of camera units to relieve the power supply of the agricultural device.
L’invention porte également, de manière avantageuse, sur un produit-programme d’ordinateur ou un programme d’ordinateur avec un code-programme enregistré sur un support de mémoire ou dans une mémoire à semi-conducteurs, lisible par une machine, ou encore une mémoire à disque dur ou une mémoire optique et permettant, par leur mise en œuvre, d’appliquer ou de commander les étapes du procédé selon l’une des formes de réalisation décrites ci-dessus, en particulier, lorsque le produit-programme ou le programme est exécuté par un ordinateur.The invention also advantageously relates to a computer program product or a computer program with program code recorded on a memory medium or in a semiconductor memory, machine readable, or also a hard disk memory or an optical memory and allowing, by their implementation, to apply or control the steps of the method according to one of the embodiments described above, in particular, when the program product or the program is run by a computer.
La présente invention sera décrite ci-après de manière plus détaillée à l’aide d’exemples de réalisation représentés dans les dessins annexés dans lesquels :The present invention will be described below in more detail using exemplary embodiments shown in the accompanying drawings in which:
DESCRIPTION DE MODES DE REALISATIONDESCRIPTION OF EMBODIMENTS
Il est à remarquer que dans la présentation de l’invention, la conjonction "ou" est inclusive.It should be noted that in the presentation of the invention, the conjunction "or" is inclusive.
Dans la description ci-dessous des exemples de réalisation préférentiels de l’invention, les éléments identiques ou analogues dans les différentes figures portent des références identiques ou analogues sans que la description de ces éléments ne soit nécessairement répétée.In the description below of the preferred embodiments of the invention, identical or similar elements in the various figures bear identical or similar references without the description of these elements necessarily being repeated.
La
Le dispositif agricole mobile 10 comprend un tracteur 12 et un pulvérisateur embarqué 14. Le pulvérisateur 14 est installé sur le tracteur 12. Le pulvérisateur 14 a un réservoir 16 contenant du liquide à pulvériser, une barre de pulvérisation 18 et une unité de commande 20.The mobile agricultural device 10 comprises a tractor 12 and an on-board sprayer 14. The sprayer 14 is mounted on the tractor 12. The sprayer 14 has a tank 16 containing liquid to be sprayed, a spray bar 18 and a control unit 20.
La barre de pulvérisation 18 est subdivisée en plusieurs segments de largeur 22 ; plusieurs unités de caméra 26 sont réparties selon l’axe longitudinal 24 de la barre de pulvérisation 18 pour saisir les plantes 28 de la surface agricole 30 ainsi que plusieurs buses de pulvérisation non détaillées pour distribuer du liquide, pulvérisé sur la surface agricole 30.The spray bar 18 is subdivided into several segments of width 22; several camera units 26 are distributed along the longitudinal axis 24 of the spray bar 18 to capture the plants 28 of the agricultural surface 30 as well as several non-detailed spray nozzles to distribute liquid, sprayed on the agricultural surface 30.
En outre, des unités de capteur 32 pour saisir des écarts, réalisées sous la forme de capteurs à ultrasons 32 sont répartis le long de l’axe longitudinal de la barre de pulvérisation 18 ainsi que des unités de capteur pour saisir le mouvements, sous la forme de capteurs d’accélération non représentés.In addition, sensor units 32 for detecting deviations, embodied in the form of ultrasonic sensors 32 are distributed along the longitudinal axis of the spray bar 18 as well as sensor units for detecting movements, under the form of acceleration sensors not shown.
Les capteurs à ultrasons 32 saisissent la distance entre la barre de pulvérisation 18 et la surface agricole 30. Les capteurs d’accélération saisissent le mouvement du dispositif agricole 10 sur la surface agricole 30.The ultrasonic sensors 32 sense the distance between the spray bar 18 and the agricultural surface 30. The acceleration sensors sense the movement of the agricultural device 10 over the agricultural surface 30.
La
L’unité de commande 20 est destinée à commander les buses de pulvérisation du dispositif agricole 10 en fonction d’une information de plante concernant au moins l’une des plantes 28 de la surface agricole 30. L’unité de commande 20 est conçue pour recevoir les premières données d’image en deux dimensions concernant au moins l’une des plantes 28 ; les premières données d’image en deux dimensions de l’une des unités de caméra 26 du dispositif agricole 10 sont générées dans une position du dispositif agricole 10 sur la surface agricole 30. L’unité de commande 20 est conçue pour recevoir les données d’image en deux dimensions (données d’image bidimensionnelle) d’au moins une plante 28 ; les secondes données d’image à deux dimensions de la même unité de caméra 26 correspondent à une seconde position du dispositif agricole 10 sur la surface agricole 30.The control unit 20 is intended to control the spray nozzles of the agricultural device 10 according to plant information relating to at least one of the plants 28 of the agricultural area 30. The control unit 20 is designed to receiving the first two-dimensional image data relating to at least one of the plants 28; the first two-dimensional image data of one of the camera units 26 of the agricultural device 10 is generated in a position of the agricultural device 10 on the agricultural surface 30. The control unit 20 is adapted to receive the data from two-dimensional image (two-dimensional image data) of at least one plant 28; the second two-dimensional image data of the same camera unit 26 corresponds to a second position of the agricultural device 10 on the agricultural surface 30.
L’unité de commande 20 est conçue pour déterminer des données d’image en trois dimensions (données d’image tridimensionnelle) pour au moins une plante 28 en utilisant les premières et secondes données d’image en deux dimensions et une information de mouvement fournie par les capteurs d’accélération du dispositif agricole 10 ainsi que l’information de plante concernant cette plante 28 en utilisant les données d’image en trois dimensions, ainsi déterminées. De plus, l’unité de commande 20 est conçue pour commander les buses de pulvérisation du dispositif agricole 10 en fonction de l’information de plante ainsi obtenue et distribuer le liquide de pulvérisation sur la plante 28 de la surface agricole 30.The control unit 20 is arranged to determine three-dimensional image data (three-dimensional image data) for at least one plant 28 using the first and second two-dimensional image data and motion information provided by the acceleration sensors of the agricultural device 10 as well as the plant information relating to this plant 28 using the three-dimensional image data, thus determined. In addition, the control unit 20 is designed to control the spray nozzles of the agricultural device 10 according to the plant information thus obtained and distribute the spray liquid to the plant 28 of the agricultural area 30.
L’unité de commande 20 est conçue pour mettre à l’échelle les données d’image en trois dimensions (ou tridimensionnelle) de la plante 28 en utilisant une information de distance fournie par les capteurs à ultrasons 32 et se rapportant à la distance entre le capteur à ultrasons 32 et la plante 28. On utilise l’information de distance du capteur à ultrasons 32 respectif pour mettre à l’échelle les données d’image et répare l’une des unités de caméra 26 et dont la plage de saisie 36 chevauche en partie la plage de saisie 34 de l’unité de caméra 26.The control unit 20 is designed to scale the three-dimensional (or three-dimensional) image data of the plant 28 using distance information provided by the ultrasonic sensors 32 and relating to the distance between the ultrasonic sensor 32 and the plant 28. The distance information of the respective ultrasonic sensor 32 is used to scale the image data and fix one of the camera units 26 and whose input range 36 partly overlaps the input area 34 of the camera unit 26.
La
L’unité de commande 20’ du dispositif agricole 10’ est conçue pour transmettre une mise à l’échelle fondée sur l’information de distance fournie par le capteur à ultrasons 32’ des données d’image saisies par l’une des unités de caméra 26’ aux données d’image d’une unité de caméra 26’ voisine avec la plage de saisie 34’ en chevauchement. De cette manière on peut transmettre la mise à l’échelle des données d’image selon l’axe longitudinal 24 de la barre de pulvérisation 18’ d’une unité de caméra 26’ à une unité de caméra 26’. Le point de départ d’une telle chaîne est une unité de caméra 26’ dont la plage de saisie 34’ chevauche partiellement la plage de saisie 36’ du capteur à ultrasons 32’. Les données d’image saisies par une unité de caméra 26’ voisine le long de la barre de pulvérisation 18’ on met tout d’abord à l’échelle la plage de chevauchement des unités de caméra 26’ en utilisant l’information de distance (écart) fournie par le capteur à ultrasons 32’. Ensuite, on met à l’échelle les données d’image à l’extérieur de la plage de chevauchement avec les données d’image mises à l’échelle dans la plage de chevauchement pour mettre complètement à l’échelle les données d’image saisies par l’unité de caméra 26’ installée au voisinage sur la barre de pulvérisation 18’. De façon préférentielle, on met à l’échelle les données d’image en trois dimensions des unités de caméra 26’ respectives. La distance dans l’espace entre chaque fois deux unités de caméra 26’ voisines, installées le long de la barre de pulvérisation 18’ peut être prévue ou est prévisible ou peut se fixer avec les données d’image pour le temps de parcours.The control unit 20' of the agricultural device 10' is designed to transmit a scaling based on the distance information provided by the ultrasonic sensor 32' of the image data captured by one of the units of camera 26' to image data from a neighboring camera unit 26' with overlapping input area 34'. In this way, the scaling of the image data along the longitudinal axis 24 of the spray bar 18' can be transmitted from a camera unit 26' to a camera unit 26'. The starting point of such a chain is a 26' camera unit whose 34' pick-up range partially overlaps the 36' pick-up range of the 32' ultrasonic sensor. The image data captured by a neighboring camera unit 26' along the spray bar 18' is first scaled to the overlapping range of the camera units 26' using the distance information (difference) supplied by the ultrasonic sensor 32'. Then scale the image data outside the overlap range with the scaled image data within the overlap range to fully scale the image data captured by the camera unit 26' installed nearby on the spray bar 18'. Preferably, the three-dimensional image data of the respective camera units 26' are scaled. The distance in space between each time two neighboring 26' camera units, installed along the 18' spray bar can be predicted or is predictable or can be fixed with the image data for the travel time.
La
Dans l’étape 110 on saisit la plante sur la surface agricole à l’aide du dispositif agricole.In step 110, the plant is grasped on the agricultural surface using the agricultural device.
La plante est saisie dans l’étape 112 dans une première position du dispositif agricole sur la surface agricole à l’aide d’une unité de caméra du dispositif agricole. L’unité de caméra saisit des premières données d’image en deux dimensions concernant la plante ; ces données sont fournies à une unité de commande du dispositif agricole.The plant is captured in step 112 in a first position of the agricultural device on the agricultural surface using a camera unit of the agricultural device. The camera unit captures first two-dimensional image data about the plant; these data are supplied to a control unit of the agricultural device.
Dans l’étape 114, on saisit la plante dans une seconde position du dispositif agricole sur la surface agricole ; cette seconde position est différente de la première position du dispositif agricole ; elle est aussi saisie avec l’unité de caméra du dispositif agricole. L’unité de caméra génère des secondes données d’image en deux dimensions de la plante et les fournit à l’unité de commande du dispositif agricole.In step 114, the plant is grasped in a second position of the agricultural device on the agricultural surface; this second position is different from the first position of the agricultural device; it is also captured with the camera unit of the agricultural device. The camera unit generates second two-dimensional image data of the plant and supplies it to the control unit of the agricultural device.
Dans l’étape 120, l’unité de commande fournit les données d’image en trois dimensions de la plante en utilisant les premières données d’image en deux dimensions, les secondes données d’image en deux dimensions et une information de mouvement fournie pour le dispositif agricole.In step 120, the control unit provides the three-dimensional image data of the plant using the first two-dimensional image data, the second two-dimensional image data, and motion information provided for the agricultural system.
Dans l’étape 122, une unité de capteur d’accélération du dispositif agricole saisit une information de mouvement concernant le mouvement dans l’espace du dispositif agricole entre sa première position et sa seconde position.In step 122, an agricultural device acceleration sensor unit captures motion information regarding the spatial movement of the agricultural device between its first position and its second position.
Dans l’étape 124, l’unité de commande, utilisant les première et seconde données d’image en deux dimensions, détermine une information de flux concernant le flux optique des première et seconde données d’image en deux dimensions. Pour cela, à l’aide d’un algorithme connu de l’homme du métier, on détermine les correspondances entre les point-images des premières données d’image à deux dimensions et des point-images des secondes données d’image à deux dimensions.In step 124, the control unit, using the first and second two-dimensional image data, determines flow information regarding the optical flow of the first and second two-dimensional image data. For this, using an algorithm known to those skilled in the art, the correspondences are determined between the point-images of the first two-dimensional image data and the point-images of the second two-dimensional image data. dimensions.
Dans l’étape 126, l’unité de commande, utilisant l’information de flux obtenue et l’information de mouvement reçue de l’unité de capteur d’accélération, saisit une information de mouvement concernant le mouvement de l’unité de caméra entre la première position et la seconde position du dispositif agricole.In step 126, the control unit, using the obtained stream information and the motion information received from the acceleration sensor unit, inputs motion information regarding the motion of the camera unit between the first position and the second position of the agricultural device.
Dans l’étape 128, l’unité de commande, utilisant les première et seconde données d’image en deux dimensions ainsi que l’information de mouvement déterminée concernant le mouvement de l’unité de caméra détermine les données d’image en trois dimensions. Les données d’image en trois dimensions ne sont pas à l’échelle et elles ont la forme d’un nuage de points en trois dimensions Xunscaled(cam)dans un système de coordonnées (CS)camde l’unité de caméra. Pour cela, on utilise un algorithme "structure à partir du mouvement" connu du spécialiste.In step 128, the control unit, using the first and second two-dimensional image data together with the determined motion information regarding the movement of the camera unit determines the three-dimensional image data . The three-dimensional image data is not to scale and has the form of an unscaled(cam) X three-dimensional point cloud in a cam coordinate system (CS) of the camera unit. For this, a "structure from movement" algorithm known to the specialist is used.
Dans l’étape 130, l’unité de commande subdivise respectivement les premières données d’images en deux dimensions et les secondes données d’images en deux dimensions dans une plage d’image de plante contenant la plante et une plage d’image résiduelle différente de la plage d’image de plantes. Pour cela, on segmente par les pixels, les données d’image en deux dimensions respectives, c’est-à-dire, l’association des pixels des données d’image de la plage d’image de plante et la plage d’image résiduelle. Différents algorithmes de reconnaissance de plantes fondés sur l’image sont connus des spécialistes, utilisant la couleur des pixels ou la répartition spatiale des pixels entre eux. On peut également utiliser des jeux classiques de segments du domaine de la vision par ordinateur, par exemple, un procédé de partitionnement, c’est-à-dire une analyse de partitionnement de données telles que K-Means ou Mean Shift, mais également d’autres procédés de partitionnement tels que, par exemple, le "Region Growing" (croissance de région), Snakes ou Level-Set. En variante, on peut également utiliser une segmentation sémantique de réseaux neuronaux.In step 130, the control unit respectively subdivides the first two-dimensional image data and the second two-dimensional image data into a plant image range containing the plant and a residual image range different from the picture range of plants. For this, we segment by the pixels, the image data in two dimensions respectively, that is to say, the association of the pixels of the image data of the plant image range and the range of residual image. Different image-based plant recognition algorithms are known to specialists, using the color of the pixels or the spatial distribution of the pixels between them. It is also possible to use classic sets of segments from the field of computer vision, for example, a partitioning method, that is to say a partitioning analysis of data such as K-Means or Mean Shift, but also d other partitioning methods such as, for example, "Region Growing", Snakes or Level-Set. Alternatively, semantic segmentation of neural networks can also be used.
Dans l’étape 140, à l’aide de l’unité de commande, on détermine une information de sol du sol de la surface agricole en se fondant sur les premières données d’image en deux dimensions, les secondes données d’image en deux dimensions et les données d’image en trois dimensions pour déterminer une plage d’image de sol contenant le sol, dans les données d’image en trois dimensions. Pour cela, on projette les plages d’image de plante de l’étape 130, les données d’image en deux dimensions, comme masque inverse ou comme filtre sur le nuage de points en trois dimensions, déterminé. En d’autres termes, cela signifie que les plages d’images résiduelles déterminées dans l’étape 130 sont projetées sous la forme de masque ou de filtre sur les nuages de points en trois dimensions, déterminés. De façon préférentielle, on projette comme masque inverse sur le nuage de points en trois dimensions, uniquement la plage d’images de plante de la première ou de la seconde donnée d’image. On répartit ainsi les données d’image en trois dimensions entre une plage d’image de plante contenant les données d’image en trois dimensions et une plage d’images résiduelles différente de la plage d’images de plante. Par la projection du masque inverse on enlève la plage d’image de plante contenant la plante par rapport au nuage de points en trois dimensions. La plage d’image résiduelle qui subsiste, contient pratiquement les points-image du sol ou représentant le sol.In step 140, using the control unit, soil information of the soil of the agricultural area is determined based on the first two-dimensional image data, the second two-dimensional image data two-dimensional and the three-dimensional image data to determine a floor image range containing the floor, in the three-dimensional image data. For this, the plant image ranges of step 130, the two-dimensional image data, are projected as an inverse mask or as a filter onto the determined three-dimensional point cloud. In other words, this means that the residual image ranges determined in step 130 are projected as a mask or filter on the determined three-dimensional point clouds. Preferably, only the plant image range of the first or second image datum is projected as an inverse mask on the three-dimensional point cloud. The three-dimensional image data is thus distributed between a plant image range containing the three-dimensional image data and a residual image range different from the plant image range. By projecting the inverse mask, the plant image range containing the plant is removed from the cloud of points in three dimensions. The remaining residual image range practically contains the image points of the ground or representing the ground.
Dans l’étape 140 on détermine une surface de sol de la surface agricole dans les données d’image en trois dimensions avec la plage d’image résiduelle des données d’image en trois dimensions.In step 140 a soil area of the agricultural area is determined in the three-dimensional image data with the residual image range of the three-dimensional image data.
En général, le sol d’une surface agricole n’est pas une surface parfaitement plane. On peut avoir des défauts à la reconnaissance des plantes ou en déterminant les données d’image en trois dimensions avec la structure de l’algorithme de mouvement pour atténuer la plage d’image résiduelle des données d’image en trois dimensions par rapport au sol de la surface agricole. C’est pourquoi on détermine la surface du sol en utilisant l’algorithme RANSAC, robuste par rapport aux exceptions, pour adapter une surface compensée présentant la surface du sol à la plage d’images résiduelles des données d’image en trois dimensions dont on élimine les valeurs aberrantes. Ainsi, l’unité de commande détermine la surface de sol.In general, the ground of an agricultural area is not a perfectly flat surface. There may be defects in plant recognition or in determining the three-dimensional image data with the structure of the motion algorithm to alleviate the residual image range of the three-dimensional image data relative to the ground of agricultural land. Therefore, the ground surface is determined using the exception-robust RANSAC algorithm to fit a compensated surface showing the ground surface to the residual image range of the three-dimensional image data that is eliminates outliers. Thus, the control unit determines the floor area.
Dans l’étape 150 on met à l’échelle les données d’image en trois dimensions par rapport à la plante en utilisant une information de distance statique et dynamique de la distance entre l’unité de caméra et la plante.In step 150 the three-dimensional image data is scaled relative to the plant using static and dynamic distance information of the distance between the camera unit and the plant.
Pour cela, dans l’étape 152 on détermine la distance dans l’espace dextentre un plan-image de l’unité de caméra et le sol de la surface agricole, le long de l’axe optique de l’unité de caméra. Pour cela, à l’arrêt du dispositif agricole sur un sol plat, on détermine la distance spatiale (h) entre le milieu de l’unité de caméra et le sol ainsi que le basculement ou l’angle de rotation αcamde l’axe optique par rapport à la perpendiculaire au sol.For this, in step 152 the distance in space d ext between an image plane of the camera unit and the ground of the agricultural area is determined, along the optical axis of the camera unit . For this, when the agricultural device is stopped on flat ground, the spatial distance (h) between the middle of the camera unit and the ground is determined as well as the tilting or the angle of rotation α cam of the optical axis relative to the perpendicular to the ground.
La
La détermination de cette distance spatiale dextpeut se faire par rapport à la période de fonctionnement du procédé, comme information de distance dynamique ou déjà avant la période de fonctionnement du procédé. Dans ce cas, la distance spatiale dextest enregistrée comme information de distance statique dans une unité de mémoire associée à l’unité de commande 20.The determination of this spatial distance d ext can be done with respect to the operating period of the method, as dynamic distance information or already before the operating period of the method. In this case, the spatial distance d ext is stored as static distance information in a memory unit associated with the control unit 20.
Pour la mise à l’échelle des images en trois dimensions, on projette d’abord le centre de l’unité de caméra sur la surface de sol déterminée dans l’étape 140 pour fournir une distance spatiale dplanenon mise à l’échelle entre le centre de l’unité de caméra et la surface du sol. Ensuite, en se fondant sur la distance spatiale dextainsi déterminée et la distance spatiale non mise à l’échelle dplane, on détermine un coefficient de mise à l’échelle comme suit :For scaling the three-dimensional images, the center of the camera unit is first projected onto the ground surface determined in step 140 to provide an unscaled plane spatial distance d between the center of the camera unit and the ground surface. Then, based on the spatial distance d ext thus determined and the unscaled spatial distance d plane , a scaling coefficient is determined as follows:
En utilisant la distance spatiale dexton met à l’échelle les données d’image en trois dimensions non mises à l’échelle Xunscaledpar la formule suivante :Using the spatial distance d ext we scale the unscaled three-dimensional image data X unscaled by the following formula:
en utilisant l’information de distance statique pour mettre à l’échelle les données d’image en trois dimensions non encore mises à l’échelle
Pour améliorer la mise à l’échelle des données d’image en trois dimensions, dans l’étape 156 on détermine la distance axiale dusentre l’une des unités de capteur à ultrasons 32 du dispositif agricole et la plante 28 sur la surface agricole.To improve the scaling of the three-dimensional image data, in step 156 the axial distance d us between one of the ultrasonic sensor units 32 of the agricultural device and the plant 28 on the surface is determined. agricultural.
Ainsi, la
Tout d’abord on détermine la plage de chevauchement entre les plages de saisie 34, 36 de l’unité de caméra 26 et celles de l’unité de capteur à ultrasons 32 en utilisant les images en trois dimensions, mises à l’échelle. La plage de saisie 36 de l’unité de capteur à ultrasons 32 est modélisée sous une forme conique. Pour déterminer quels points des données d’image en trois dimensions se situent dans la plage de saisie 36 de forme conique de l’unité de capteur à ultrasons 32, on transforme les données d’image en trois dimensions selon la formule :First, the range of overlap between the input areas 34, 36 of the camera unit 26 and those of the ultrasonic sensor unit 32 is determined using the scaled three-dimensional images. The pickup pad 36 of the ultrasonic sensor unit 32 is modeled in a conical shape. To determine which points of the three-dimensional image data fall within the conical-shaped pick-up area 36 of the ultrasonic sensor unit 32, the three-dimensional image data is transformed according to the formula:
dans le système de coordonnées de l’unité de caméra 26 le système de coordonnées de l’unité à ultrasons 32 en appliquant la matrice de transformation suivante :in the coordinate system of the camera unit 26 the coordinate system of the ultrasound unit 32 by applying the following transformation matrix:
Pour cela on s’appuie sur la position relative connue et l’orientation relative connue entre l’unité de caméra 26 et l’unité de capteur à ultrasons 32 sur la barre de pulvérisation et qui se détermine par calibrage.This is based on the known relative position and the known relative orientation between the camera unit 26 and the ultrasonic sensor unit 32 on the spray bar and which is determined by calibration.
Pour les points dans l’espace xus= (x, y, z) dans une plage de saisie de l’unité de capteur à ultrasons avec l’angle de saisie αopenon a :For the points in space x us = (x, y, z) within an input range of the ultrasonic sensor unit with input angle α open we have:
Les données d’image en trois dimensions sont filtrées alors en tenant compte de la plage de saisie 36 de l’unité de capteur à ultrasons 32 pour éliminer les points images au-delà de la plage de saisie 32 de l’unité de capteurs à ultrasons 36. En outre, on utilise un algorithme connu des spécialistes pour éliminer les valeurs aberrantes.The three-dimensional image data is then filtered taking into account the pickup range 36 of the ultrasonic sensor unit 32 to eliminate image points beyond the pickup range 32 of the sensor unit to ultrasound 36. In addition, an algorithm known to specialists is used to eliminate outliers.
Les points-images des données d’image en trois dimensions avec la plus petite distance par rapport à l’unité de caméra 26 sont, qui subsistent
Pour au moins un point-image résiduel
Le tilde indique explicitement que la représentation est en coordonnées homogènes. Pour le calcul exposé ci-dessous de la norme, on supprime l’homogénéisation des coordonnées. Pour la représentation de nuages en lettres majuscules, on ne caractérise pas l’homogénéisation car cela est connu à l’homme du métier, selon le contexte.The tilde explicitly indicates that the representation is in homogeneous coordinates. For the calculation exposed below of the norm, one removes the homogenization of the coordinates. For the representation of clouds in capital letters, the homogenization is not characterized because this is known to those skilled in the art, depending on the context.
En utilisant la matrice de transformation connue ou obtenue par calibrage à partir de la position relative connue et de l’orientation relative connue entre l’unité de caméra et l’unité de capteur à ultrasons, on transforme ce point du système de coordonnées de l’unité de capteur à ultrasons dans le système de coordonnées de l’unité de caméra comme suit :Using the transformation matrix known or obtained by calibration from the known relative position and the known relative orientation between the camera unit and the ultrasonic sensor unit, we transform this point of the coordinate system of the ultrasonic sensor unit in the coordinate system of the camera unit as follows:
Ensuite en se fondant sur au moins un point-image résiduel à des coordonnées mises à l’échelle grossièrement
Les double-barres signifient qu’il s’agit de la norme euclidienne. En d’autres termes, cela signifie en d’autres termes qu’à partir de
On applique le coefficient de mise à l’échelle Srefineen trois dimensions à la mise à l’échelle grossière
pour obtenir ainsi des données d’image en trois dimensions à échelle fine
Dans l’étape 160 on subdivise les données d’image en trois dimensions mises à l’échelle
En d’autres termes, cela signifie que dans l’étape 160 on filtre le nuage de points en plus du plan du sol ainsi déterminé, de sorte que potentiellement on élimine encore d’autres points par rapport à l’étape 140. Le filtrage supplémentaire dans l’étape 160 permet, par exemple, de sélectionner la taille d’un paramètre de filtre, notamment un seuil en se fondant sur une grandeur physique qui est ou qui peut être prédéterminée. Ainsi, à partir de la mise à l’échelle déjà effectuée, on peut éliminer la "rugosité" de la surface agricole en centimètres et la comparer aux données d’images en trois dimensions pour éliminer d’autres points.In other words, this means that in step 160 the cloud of points is filtered in addition to the ground plane thus determined, so that potentially still other points are eliminated with respect to step 140. The filtering additional in step 160 makes it possible, for example, to select the size of a filter parameter, in particular a threshold based on a physical quantity which is or which can be predetermined. Thus, from the scaling already carried out, one can eliminate the "roughness" of the agricultural surface in centimeters and compare it to the data of three-dimensional images to eliminate other points.
Pour cela, on détermine les points-images à proximité spatiale du plan du sol déterminé dans les données d’image en trois dimensions mises à l’échelle, c’est-à-dire les points-images dont la distance est inférieure à un seuil prédéfini ou prédéfinissable par rapport au plan du sol déterminé comme plage d’image résiduelle des données en trois dimensions mises à l’échelle.For this, the image points in the spatial proximity of the ground plane determined in the scaled three-dimensional image data are determined, that is to say the image points whose distance is less than one predefined or pre-definable threshold with respect to the ground plane determined as residual image range of the scaled three-dimensional data.
En outre, on projette les plages d’image de plantes des données d’image en deux dimensions déterminées dans l’étape 130 comme masque ou filtre, sur le nuage de points en trois dimensions, mis à l’échelle. Les données d’image en trois dimensions mises à l’échelle sont réparties entre une plage d’image de plante contenant la plante avec les données d’image en trois dimensions mises à l’échelle et une plage résiduelle, différente de la plage d’image de plante, pour les données d’images en trois dimensions mises à l’échelle. Par la projection du masque il subsiste la plage d’image de plante contenant la plante dans le nuage de points en trois dimensions. La plage d’image résiduelle éliminée par la projection contient pratiquement le sol ou les points-image représentant le sol.Further, the plant image ranges of the two-dimensional image data determined in step 130 as a mask or filter are projected onto the scaled three-dimensional point cloud. The scaled three-dimensional image data is divided into a plant image range containing the plant with the scaled three-dimensional image data and a residual range, different from the plant image, for scaled three-dimensional image data. By projecting the mask, the plant image range containing the plant in the three-dimensional point cloud remains. The residual image range eliminated by the projection practically contains the ground or the image points representing the ground.
Dans l’étape 170, l’unité de commande détermine l’information de plante concernant la plante, en utilisant les données d’image en trois dimensions, mises à l’échelle, comme cela a été déterminé. L’information de plante comprend le volume et la masse de la plante.In step 170, the controller determines plant information about the plant, using the three-dimensional image data, scaled as determined. Plant information includes volume and mass of the plant.
Tout d’abord, on détermine la mesure en volume de la plante en utilisant la plage d’image de plante des données d’image en trois dimensions, mises à l’échelle. A l’aide de l’unité de commande et en appliquant un algorithme connu, par exemple, la triangulation de Delaunay ou un algorithme "Marching Cubes" on détermine la surface de la plante avec les données d’image en trois dimensions mises à l’échelle. La surface de la plante est représentée par un réseau polygonal ou un réseau de triangles. Ensuite, en se fondant sur la surface supérieure ainsi déterminée de la plante, on obtient le volume de la plante.First, the volume measurement of the plant is determined using the plant image range of the three-dimensional, scaled image data. Using the control unit and applying a known algorithm, for example, Delaunay triangulation or a "Marching Cubes" algorithm, the surface of the plant is determined with the three-dimensional image data brought to light. 'scale. The surface of the plant is represented by a polygonal network or a network of triangles. Then, based on the thus determined upper surface of the plant, the volume of the plant is obtained.
Dans l’étape 180 on génère ou on actualise une carte de plantes de la surface agricole à l’aide de l’unité de commande. La carte de plantes comprend un jeu de données, une plage partielle dans l’espace, notamment représentée par un jeu de coordonnées GNSS à laquelle on associe respectivement une information de plante sous la forme d’un volume et/ou d’une masse de plante ou plantes dans la plage partielle de l’espace.In step 180 a plant map of the agricultural area is generated or updated using the control unit. The plant map comprises a data set, a partial range in space, in particular represented by a set of GNSS coordinates with which plant information is respectively associated in the form of a volume and/or a mass of plant or plants in the partial range of space.
Dans l’étape 182, en option, on utilise ou on enregistre une carte de plante existante de la surface agricole à l’aide de l’unité de commande.In step 182, as an option, an existing plant map of the agricultural area is used or saved using the controller.
Dans l’étape 184 on reçoit l’information globale de position de la position dans l’espace du dispositif agricole mobile à l’aide de l’unité de commande. L’information globale de position est, par exemple, fournie par l’unité de réception GNSS de l’unité de commande.In step 184, the global position information of the position in space of the mobile agricultural device is received using the control unit. The global position information is, for example, supplied by the GNSS reception unit of the control unit.
Dans l’étape 186 on actualise la carte de plante reçue avec l’information de plante déterminée et l’information de position globale fournie.In step 186, the received plant map is updated with the determined plant information and the provided global position information.
Dans l’étape 188 on mémorise la carte de plantes actualisée de l’unité de commande dans une unité de mémoire associée à l’unité de commande.In step 188 the control unit's updated plant map is stored in a memory unit associated with the control unit.
Dans l’étape 190, l’unité de commande actionne l’unité de distribution du dispositif agricole pour distribuer le liquide pulvérisé sur la surface agricole en fonction de l’information de plante obtenue. A cet effet, l’unité de commande génère un signal de commande pour l’unité de distribution qui définit le débit volumique ainsi que la concentration en agents actifs et sa composition en se fondant sur l’information de plante obtenue, à l’aide de l’unité de distribution.In step 190, the control unit operates the distribution unit of the agricultural device to distribute the sprayed liquid on the agricultural surface according to the obtained plant information. For this purpose, the control unit generates a control signal for the dispensing unit which defines the volume flow as well as the concentration of active agents and its composition on the basis of the obtained plant information, using of the dispensing unit.
Claims (15)
- saisir (110, 112) la plante (28) dans une première position du dispositif agricole (10, 10’) sur la surface agricole (30) à l’aide d’une unité de caméra (26, 26’) du dispositif agricole (10, 10’) pour générer des premières données d’image à deux dimensions de la plante (28),
- saisir (110, 114) la plante (28) dans une seconde position du dispositif agricole (10, 10’) sur la surface agricole (30) à l’aide de l’unité de caméra (26, 26’) pour générer des secondes données d’image à deux dimensions concernant la plante (28),
- déterminer (120, 124, 126, 128) des données d’image tridimensionnelle concernant la plante (28) en utilisant les premières et les secondes données d’image bidimensionnelle et une information de mouvement du dispositif agricole (10, 10’) à l’aide d’une unité de commande (20) du dispositif agricole (10, 10’),
- déterminer (170) l’information de plante concernant la plante (28) en utilisant les données d’image tridimensionnelle déterminées à l’aide de l’unité de commande (20), et
- commander (190) l’unité du dispositif agricole (10, 10’) en fonction de l’information de plante déterminée à l’aide de l’unité de commande (20).A method (100) of controlling a unit of a mobile agricultural device (10, 10') based on plant information relating to a plant (28) of an agricultural area (30) comprising the following steps: :
- capturing (110, 112) the plant (28) in a first position of the agricultural device (10, 10') on the agricultural surface (30) using a camera unit (26, 26') of the device crop (10, 10') to generate first two-dimensional image data of the plant (28),
- grasping (110, 114) the plant (28) in a second position of the agricultural device (10, 10') on the agricultural surface (30) using the camera unit (26, 26') to generate second two-dimensional image data relating to the plant (28),
- determining (120, 124, 126, 128) three-dimensional image data about the plant (28) using the first and second two-dimensional image data and motion information from the agricultural device (10, 10') to using a control unit (20) of the agricultural device (10, 10'),
- determining (170) plant information about the plant (28) using the determined three-dimensional image data using the control unit (20), and
- controlling (190) the unit of the agricultural device (10, 10') according to the plant information determined using the control unit (20).
caractérisé en ce que
les données d’image tridimensionnelle concernant la plante (28) se déterminent en utilisant une information de distance statique et/ou dynamique concernant la distance entre l’unité de caméra (26, 26’) et la surface agricole (30), notamment la plante (28) pour mettre à l’échelle les données d’image dimensionnelle en utilisant l’information de distance.A method (100) according to claim 1,
characterized in that
the three-dimensional image data relating to the plant (28) is determined using static and/or dynamic distance information relating to the distance between the camera unit (26, 26') and the agricultural surface (30), in particular the plants (28) to scale the dimensional image data using the distance information.
caractérisé en ce que
on détermine l’information de plante en utilisant une information de sol concernant le sol de la surface agricole (30), cette information de sol se déterminant à partir des premières et/ou secondes données d’image bidimensionnelle et/ou les données d’images tridimensionnelles.A method (100) according to claim 1 or 2,
characterized in that
the plant information is determined using soil information relating to the soil of the agricultural area (30), the soil information being determined from the first and/or second two-dimensional image data and/or the data of three-dimensional pictures.
caractérisé en ce que
dans l’étape de détermination (120, 124, 126, 128) des données d’image tridimensionnelle concernant la plante (28) on détermine une plage d’image de plante des données d’image tridimensionnelle contenant la plante (28) en utilisant l’information de sol déterminée.A method (100) according to claim 3,
characterized in that
in the step of determining (120, 124, 126, 128) the three-dimensional image data relating to the plant (28) a plant image range of the three-dimensional image data containing the plant (28) is determined using the determined soil information.
caractérisé en ce que
pour déterminer l’information de sol, on subdivise les données d’image bidimensionnelle et/ou tridimensionnelle en une plage d’image de plante contenant la plante (28) et une plage d’image résiduelle différente de la plage d’image de plante et on détermine une surface de sol de la surface agricole (30) dans les premières et/ou les secondes données d’image bidimensionnelle et/ou les données d’image tridimensionnelle en se fondant sur la plage d’image résiduelle.A method (100) according to claim 3 or 4,
characterized in that
to determine the soil information, the two-dimensional and/or three-dimensional image data is subdivided into a plant image range containing the plant (28) and a residual image range different from the plant image range and determining a soil area of the agricultural area (30) in the first and/or the second two-dimensional image data and/or the three-dimensional image data based on the residual image range.
caractérisé en ce que
déterminer (170) l’information de plante consiste à déterminer (170) un volume et/ou une masse de la plante (28) en se fondant sur la plage d’image de plante des données d’image tridimensionnelle.A method (10) according to claim 4 or 5,
characterized in that
determining (170) the plant information includes determining (170) a volume and/or mass of the plant (28) based on the plant image range of the three-dimensional image data.
caractérisé en ce que
l’information de mouvement du dispositif agricole (10, 10’) comprend une information fournie par une unité de capteur de saisie du mouvement du dispositif agricole (10, 10’) pour le mouvement du dispositif agricole (10, 10’) entre la première position du dispositif agricole (10, 10’) et la seconde position du dispositif agricole (10, 10’).Method (100) according to one of the preceding claims,
characterized in that
the agricultural device movement information (10, 10') comprises information provided by an agricultural device movement input sensor unit (10, 10') for the movement of the agricultural device (10, 10') between the first position of the agricultural device (10, 10') and the second position of the agricultural device (10, 10').
caractérisé en ce que
l’unité du dispositif agricole (10, 10’) est une unité de distribution pour distribuer un milieu de traitement notamment un liquide de traitement sur la surface agricole (30) et dans l’étape de commande (190), on commande la distribution du milieu de traitement, notamment du liquide de traitement à l’aide de l’unité de distribution, notamment sur la plante (28) saisie, en fonction de l’information de plante, déterminée.Method (100) according to one of the preceding claims,
characterized in that
the unit of the agricultural device (10, 10') is a distribution unit for distributing a treatment medium in particular a treatment liquid on the agricultural surface (30) and in the control step (190), the distribution is controlled of the treatment medium, in particular the treatment liquid using the dispensing unit, in particular on the plant (28) entered, according to the plant information, determined.
l’unité de commande (20) étant conçue pour :
- recevoir des premières données d’image bidimensionnelle concernant la plante (28), ces premières données d’image bidimensionnelle étant fournies par une unité de caméra (26, 26’) du dispositif agricole (10, 10’) dans une première position du dispositif agricole (10, 10’) sur la surface agricole (30),
- recevoir des secondes données d’image bidimensionnelle concernant la plante (28), ces secondes données d’images bidimensionnelle étant fournies par l’unité de caméra (26, 26’) dans une seconde position du dispositif agricole (10, 10’) sur la surface agricole (30),
- déterminer les données d’images tridimensionnelle concernant la plante (28) en utilisant les premières et les secondes données d’image bidimensionnelle et une information de mouvements du dispositif agricole (10, 10’),
- déterminer l’information de plante concernant la plante (28) en utilisant les données d’image tridimensionnelle déterminées, et
- commander l’unité du dispositif agricole (10, 10’) en fonction de l’information de plante obtenue.Control unit (20) for controlling a unit of a mobile agricultural device (10, 10') based on plant information relating to a plant (28) of an agricultural area (30),
the control unit (20) being designed to:
- receiving first two-dimensional image data relating to the plant (28), said first two-dimensional image data being provided by a camera unit (26, 26') of the agricultural device (10, 10') in a first position of the agricultural device (10, 10') on the agricultural surface (30),
- receiving second two-dimensional image data relating to the plant (28), said second two-dimensional image data being provided by the camera unit (26, 26') in a second position of the agricultural device (10, 10') on agricultural land (30),
- determining the three-dimensional image data relating to the plant (28) using the first and the second two-dimensional image data and movement information of the agricultural device (10, 10'),
- determining plant information about the plant (28) using the determined three-dimensional image data, and
- controlling the unit of the agricultural device (10, 10') according to the obtained plant information.
caractérisé par
- une unité de capteur (32, 32’) de saisie de distance, cette unité étant conçue pour saisir la distance entre le système et la surface agricole (30) et/ou
- une unité de capteur de saisie de mouvement conçue pour saisir le mouvement du dispositif agricole (10, 10’) passant de la première position du dispositif agricole (10, 10’) à la seconde position du dispositif agricole (10, 10’).System according to claim 12,
characterized by
- a sensor unit (32, 32') for sensing distance, this unit being designed to sense the distance between the system and the agricultural area (30) and/or
- a motion capture sensor unit adapted to capture movement of the agricultural device (10, 10') from the first position of the agricultural device (10, 10') to the second position of the agricultural device (10, 10') .
caractérisé en ce que
le dispositif (10, 10’) comprend au moins une première et une seconde unités de caméra (26, 26’) avec des plages de saisie (34, 34’) se chevauchant dans l’espace, et
- l’unité de commande (20) est conçue pour saisir des données d’image tridimensionnelle d’une première plante (28) saisie par la première unité de caméra (26, 26’) et des données d’image tridimensionnelle d’une seconde plante (28) saisie par la seconde unité de caméra (26, 26’) pour utiliser cette même information de distance.Mobile agricultural device (10, 10') according to claim 14,
characterized in that
the device (10, 10') comprises at least a first and a second camera unit (26, 26') with spatially overlapping input areas (34, 34'), and
- the control unit (20) is adapted to capture three-dimensional image data of a first plant (28) captured by the first camera unit (26, 26') and three-dimensional image data of a second plant (28) captured by the second camera unit (26, 26') to use this same distance information.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102020214075.8A DE102020214075A1 (en) | 2020-11-10 | 2020-11-10 | Method for controlling a unit of a mobile agricultural device |
| DE102020214075.8 | 2020-11-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR3116141A1 true FR3116141A1 (en) | 2022-05-13 |
Family
ID=81256394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR2111872A Pending FR3116141A1 (en) | 2020-11-10 | 2021-11-09 | Method for controlling a unit of a mobile agricultural device and implementation system |
Country Status (3)
| Country | Link |
|---|---|
| BR (1) | BR102021022535A2 (en) |
| DE (1) | DE102020214075A1 (en) |
| FR (1) | FR3116141A1 (en) |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018221442A1 (en) | 2018-12-11 | 2020-06-18 | Robert Bosch Gmbh | Agricultural spraying device with at least one spray nozzle unit for applying a spraying agent to a field |
-
2020
- 2020-11-10 DE DE102020214075.8A patent/DE102020214075A1/en active Pending
-
2021
- 2021-11-09 BR BR102021022535-1A patent/BR102021022535A2/en unknown
- 2021-11-09 FR FR2111872A patent/FR3116141A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| BR102021022535A2 (en) | 2022-05-17 |
| DE102020214075A1 (en) | 2022-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3585168B1 (en) | Control system for agricultural sprayer | |
| US6813544B2 (en) | Method and apparatus for spatially variable rate application of agricultural chemicals based on remotely sensed vegetation data | |
| Balafoutis et al. | Smart farming technologies–description, taxonomy and economic impact | |
| US11968973B2 (en) | Method for applying a spray to a field based on analysis of evaluation portion of monitored field section | |
| Mulla et al. | Historical evolution and recent advances in precision farming | |
| KR102049938B1 (en) | Agricultural dron system capable of controlling pesticide application amount in real time using big data analysis based on sensor | |
| FR3090270A1 (en) | Method of dispensing a product, control device and sprayer device | |
| FR2783945A1 (en) | METHOD OF OPERATING LOCALIZED AGRICULTURAL DATA TO OPTIMIZE CULTIVATION OF PERENNIAL PLANTS | |
| US20160195505A1 (en) | System and method for analyzing the effectiveness of an application to a crop | |
| US20230136009A1 (en) | Method, vehicle and system for weed control management | |
| FR2944111A1 (en) | METHOD AND SYSTEM FOR ENTERING THE ENVIRONMENT | |
| US20220019795A1 (en) | Predicting horticultural yield for a field location using multi-band aerial imagery | |
| Amaral et al. | UAV applications in Agriculture 4.0 | |
| EP3051936B1 (en) | Agricultural machine for revisiting a planted plot; associated method | |
| EP3304416A1 (en) | System and method for estimating a harvest volume in a vineyard operation | |
| FR3093620A1 (en) | Method of adjusting a parameter of an agricultural sprayer and agricultural sprayer for its implementation | |
| US20190141883A1 (en) | System For Treatment Of An Agricultural Field Using An Augmented Reality Visualization | |
| FR3116141A1 (en) | Method for controlling a unit of a mobile agricultural device and implementation system | |
| US10729058B2 (en) | Systems and methods for adjusting the output of a field measurement system to conform to agronomy measurements | |
| US11941879B2 (en) | Edge-based processing of agricultural data | |
| US20210185882A1 (en) | Use Of Aerial Imagery For Vehicle Path Guidance And Associated Devices, Systems, And Methods | |
| WO2022223722A1 (en) | Method for preparing a product in a suitable quantity for localized treatment in a plot of land | |
| Jonak et al. | SPAGRI-AI: Smart precision agriculture dataset of aerial images at different heights for crop and weed detection using super-resolution | |
| Martello | Orbital, aerial, and proximal sensing applied to monitoring the spatial variability of coffee plantations | |
| Mirzaev et al. | Effect of recording device parameters on the operation of the sugar beet recognition algorithm in the early stages of growth |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 2 |
|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLSC | Publication of the preliminary search report |
Effective date: 20231229 |