EP3937628A1 - Dispositif de contrôle de traitement agricole - Google Patents

Dispositif de contrôle de traitement agricole

Info

Publication number
EP3937628A1
EP3937628A1 EP20708129.0A EP20708129A EP3937628A1 EP 3937628 A1 EP3937628 A1 EP 3937628A1 EP 20708129 A EP20708129 A EP 20708129A EP 3937628 A1 EP3937628 A1 EP 3937628A1
Authority
EP
European Patent Office
Prior art keywords
weeds
diseases
deficiencies
leaf symptoms
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20708129.0A
Other languages
German (de)
English (en)
Inventor
Gerald Germain
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carbon Bee
Original Assignee
Carbon Bee
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR1902497A external-priority patent/FR3093614B1/fr
Application filed by Carbon Bee filed Critical Carbon Bee
Publication of EP3937628A1 publication Critical patent/EP3937628A1/fr
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00—Methods for working soil
    • A01B79/005—Precision agriculture
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00—Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00—Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/04—Apparatus for destruction by steam, chemicals, burning, or electricity
    • A01M21/043—Apparatus for destruction by steam, chemicals, burning, or electricity by chemicals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/001—Steering by means of optical assistance, e.g. television cameras
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00—Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/02—Apparatus for mechanical destruction
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00—Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/04—Apparatus for destruction by steam, chemicals, burning, or electricity
    • A01M21/046—Apparatus for destruction by steam, chemicals, burning, or electricity by electricity

Definitions

  • the present invention relates to an agricultural treatment control device intended to be mounted on an agricultural machine, integrating at least one controllable device for treating the plot and at least one detector for weeds or leaf deficiency symptoms. or diseases.
  • Crop rotations was one of the first methods theorized at the start of the 20th century, as described in the document “Clyde E. Leighty, 1938 Yearbook of Agriculture”, consisting of an alternation of autumn and spring crops in order to break certain biological cycles of weeds;
  • the curative measures are as follows: - Chemical weed control, as described in the document “Spraying in field crops.
  • the keys to success Arvalis, avoids the emergence of weeds in the crop.
  • the phytosanitary products dedicated to chemical weed control are suitable either for a pre-emergence treatment to prevent the germination of weeds present in the seed state, or for a post-emergence treatment, to destroy the weeds that have emerged in the crop.
  • Chemical weed control is either selective, making it possible to treat a type of weed, or non-selective, making it possible to destroy all the plants present in the plot at the time of treatment.
  • the repeated use of the same chemical group of weedkiller leads to the appearance of resistance of weeds, as well as phytotoxicity having an impact on the yield of the crop.
  • Chemical weedkillers are applied to the plot by means of a sprayer;
  • the cultivator a tool suitable for a wide range of soil
  • Arvalis in pre-emergence or post-emergence, allows to destroy either the weed seedlings or the weeds to a more advanced stage. This weeding process improves soil structure and also disrupts the cycle of some pests.
  • the tools used for mechanical weeding are tine harrows or rotary hoes for complete weeding or tine cultivators for inter-row or under-row treatment;
  • Treatments whether chemical, mechanical or alternative, are carried out by a machine, usually attached to a motorized vehicle that moves through the crop.
  • Control system for agricultural spreading describes a spreading control system comprising a set of spreading nozzles, means for mapping plants to be treated using, in one embodiment , cameras, and means for controlling the spreading according to the mapping data produced.
  • This control system requires a first pass of the system in the agricultural plot in order to produce a map of this agricultural plot used in a second pass for the application of the treatment.
  • Document FR 3,063,206 includes several embodiments, but the main embodiment comprises a single processing unit, which can admittedly use images from several cameras. Although this document also mentions “several processing units", this mention is succinct, and the only embodiment practice is that of a plurality of control subsystems each comprising a processing unit.
  • Document CN 108 990 944 seems to describe a drone carrying a camera in the visible range and an infrared camera, the images of which are merged by a central processor.
  • “Hyperspectral acquisition detection device” describes a hyperspectral acquisition device with direct detection capable of detecting the shape, texture and spectral reflectance signature of a weed, or of leaf symptoms. deficiencies or diseases, in a culture. This device is suitable for discerning weeds at early stages, including weeds of the same family. Likewise, this device is suitable for detecting leaf symptoms of deficiencies or diseases.
  • the documents FR1905916 and WO2019EP85847 take up and supplement the two preceding documents. These latter four patent applications are incorporated herein by reference in their entirety for convenience.
  • agricultural treatment equipment especially spray booms
  • a detection system must therefore be able to detect with great reliability the presence of certain families of weeds or leaf symptoms of deficiencies or diseases, over a large width.
  • the technical problem of the invention consists in detecting the presence of weeds, or leaf symptoms of deficiencies or diseases in real time during the journey of an agricultural machine.
  • the present invention proposes to respond to this technical problem by equipping an agricultural machine with a set of sensors for weeds or leaf symptoms of deficiencies or diseases; said sensors of weeds or leaf symptoms of deficiencies or diseases collaborating in the detection and control of the treatment to be applied as a function of the detections made by each of said sensors of weeds or of leaf symptoms of deficiencies or diseases.
  • the invention relates to an agricultural treatment control device intended to be mounted on an agricultural machine, said agricultural machine comprising at least one controllable treatment device, the agricultural treatment control device comprising:
  • the invention is characterized in that at least one system for detecting weeds or leaf symptoms of deficiencies or diseases collaborates with a system for detecting weeds or leaf symptoms of deficiencies or diseases including the area of detection overlaps partially with that of said system for detecting weeds or leaf symptoms of deficiencies or diseases in order to decide collaboratively on the treatment to be applied to the detection zone of said system for detecting weeds or leaf symptoms of deficiencies or diseases.
  • the device comprises a communication system between said at least one detection system for weeds or leaf symptoms of deficiencies or diseases and at least one treatment device. This embodiment allows a selective chemical, thermal or mechanical treatment in an agricultural plot.
  • an agricultural treatment control device is composed of at least one sensor detecting the presence and location of weeds or leaf symptoms of deficiencies or diseases in an agricultural plot, and of a collaborative process for the automated decision to apply a treatment; the treatment may be of different natures, in particular chemical, mechanical or electrical.
  • said at least one system for detecting weeds or leaf symptoms of deficiencies or diseases is adapted to collaborate with another system for detecting weeds or leaf symptoms of deficiencies or diseases of which the detection zone laterally overlaps partially with that of said system for detecting weeds or leaf symptoms of deficiencies or diseases.
  • said at least one system for detecting weeds or leaf symptoms of deficiencies or diseases is adapted to collaborate with a system for detecting weeds or leaf symptoms of deficiencies or diseases of which the area. detection is overlapped in time with that of said system for detecting weeds or leaf symptoms of deficiencies or diseases.
  • the location system comprises a geolocation system and / or an inertial unit.
  • the device comprises at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases.
  • one, in particular each, system for detecting weeds or leaf symptoms of deficiencies or diseases is equipped with a localization system.
  • one, in particular each, system for detecting weeds or leaf symptoms of deficiencies or diseases is adapted to collaborate with another, in particular the others, systems for detecting weeds or leaf symptoms. deficiencies or diseases.
  • one, in particular each, system for detecting weeds or leaf symptoms of deficiencies or diseases comprises a hyperspectral sensor.
  • a system for detecting weeds or leaf symptoms of deficiency or disease is adapted to detect the presence of weeds or leaf symptoms of deficiencies or diseases from peculiarities specific to weeds or leaf symptoms. deficiencies or diseases.
  • a weed or leaf symptom of deficiency or disease detection system is adapted to detect an area for a weed or a leaf symptom of deficiency or disease.
  • a system for detecting weeds or leaf symptoms of deficiency or disease is completed with a probability of the presence of said peculiarities specific to weeds or leaf symptoms of deficiencies or diseases.
  • the localization system is adapted to locate the treatment to be applied to the detection zone.
  • the device comprises a communication system between said systems for detecting weeds or leaf symptoms of deficiencies or diseases.
  • a temporal overlap of said information of detections of weeds or of leaf symptoms of deficiencies or diseases is obtained.
  • one, in particular each, detection system comprises a system for the direct detection of features in the hyperspectral scene integrating a deep and convolutional neural network designed to detect at least one desired feature in said hyperspectral scene for a weed or leaf symptom of deficiency or disease from at least one compressed image of the hyperspectral scene.
  • one, in particular each, detection system comprises a system for detecting features in the hyperspectral scene comprising:
  • a neural network configured to calculate a hyperspectral hypercube of the hyperspectral scene from at least one compressed image and one uncompressed image of the hyperspectral scene
  • a characterization module to detect the weed or the leaf deficiency symptom or disease from the hyperspectral hypercube.
  • said agricultural treatment device comprises at least one spray nozzle, the flow rate or pressure of said at least one spray nozzle being controlled by the collaborative decision of all of said at least two systems. detection of weeds or leaf symptoms of deficiencies or diseases.
  • This embodiment allows a chemical treatment of weed control of weeds or treatment of deficiencies or diseases in the plot by optimizing the quantity of phytosanitary product spread in the agricultural plot.
  • said agricultural treatment device comprises at least one weed destruction LASER, said at least one LASER being controlled by the collaborative decision of all of said at least two weed detection systems or leaf symptoms of deficiencies or diseases.
  • This embodiment allows a destructive treatment by LASER of the weeds of the plot, by optimizing the work rate by selecting only the weeds concerned by the treatment.
  • said agricultural treatment device comprises at least one high pressure water jet whose objective is the destruction of weeds, said at least one high pressure water jet being controlled by the decision. collaborative of all of said at least two detection systems for weeds or leaf symptoms of deficiencies or diseases.
  • This embodiment allows a destructive treatment by water jet high pressure of the weeds in the plot, by optimizing the work flow by selecting only the weeds concerned by the treatment.
  • said agricultural treatment device comprises at least one mechanical weeding tool for hoeing, said at least one mechanical weeding tool for hoeing being controlled by the collaborative decision of all of said at least two systems. detection of weeds or leaf symptoms of deficiencies or diseases.
  • This embodiment allows a destructive mechanical treatment of the weeds of the plot, by optimizing the work rate by selecting only the weeds concerned by the treatment.
  • said agricultural treatment device comprises at least one electric weeding tool for destroying weeds, said at least one electric weeding tool being controlled by the collaborative decision of all of said at least two systems. detection of weeds or leaf symptoms of deficiencies or diseases.
  • This embodiment allows a destructive electric weed control treatment of the weeds of the plot, by optimizing the work rate by selecting only the weeds concerned by the treatment.
  • the agricultural treatment device is localized.
  • all of said at least one system for detecting weeds or leaf symptoms of deficiencies or diseases is adapted to collaboratively construct a mapping of the agricultural plot traversed by said agricultural machine, said mapping being constructed by a geostatistical method with localized detection data representing the actual condition as measured by said at least one detection system for weeds or leaf symptoms of deficiencies or diseases.
  • This embodiment allows the generation of a map of weed detections and symptoms of deficiencies or diseases in the treated agricultural plot for purposes of statistics and monitoring of agricultural plots.
  • the device further comprises a control screen, and said map of the agricultural plot traveled is displayed on the control screen intended for the technician processing the agricultural plot.
  • This embodiment allows the technician processing the agricultural plot to follow in real time the application of the treatment in the agricultural plot.
  • a processor is adapted to produce statistics of spraying, prevalence, species, densities, or stages of weeds or leaf symptoms of deficiencies or diseases present in the plot. agricultural using the cartography of the agricultural parcel covered. This embodiment makes it possible to monitor the treatments in the plot.
  • the invention relates to a method for collaborative control of agricultural treatment implemented by a device intended to be mounted on an agricultural machine, said agricultural machine comprising at least one controllable treatment device, the method agricultural treatment control including:
  • the method of collaborative control of the treatment device mounted on an agricultural machine on which is mounted a set of systems for detecting weeds or leaf symptoms of deficiencies or diseases comprises, for each d '' at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases, the steps of:
  • said projection uses the information coming from said inertial unit of said system for detecting weeds or leaf symptoms of deficiencies or diseases in order to determine the angle of capture of the image data relative to the normal vector. on the ground.
  • the fusion is weighted according to the quality and the calculated distance of each detection.
  • the invention is assembled on an agricultural machine comprising at least one controllable treatment device.
  • the agricultural machine is such that said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases are fixed on the support of said at least one controllable treatment device and communicate with each other as well as with the plurality of said at least a controllable treatment device for, in operation, issuing the activation control command adapted to be received by each of said at least one controllable treatment device for triggering the treatment on the target plant.
  • the information of roll, pitch and yaw is used; this roll, pitch and yaw information being calculated continuously and kept up to date by each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases by means of an attitude estimation algorithm using the raw information from said inertial unit on board each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases.
  • the attitude estimation algorithm making it possible to calculate the roll, pitch and yaw information, can be an extended Kalman filter, a Mahony or Madgwick algorithm.
  • said attitude information can be calculated from the raw information of the inertial units of all of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases. Said raw information from the inertial units being exchanged by means of the communication system connecting said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases continuously, the attitude estimation algorithm executed on each of said to At least two detection systems for weeds or leaf symptoms of deficiencies or diseases can use all the raw information.
  • the estimates of roll, pitch and yaw are consolidated by a set of similar, coherent and covariate measurements between them.
  • an extended Kalman filter can be used in each of said at least two detection systems for weeds or leaf symptoms of deficiencies or diseases, by taking the data from the inertial units of all of said at least two detection systems. detection of weeds or leaf symptoms of deficiencies or diseases.
  • said attitude information can be calculated from the raw information of the inertial units to which the geolocation data of all of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases are added. .
  • an extended Kalman filter can be used in each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases, by taking the data from the inertial units as well as the geolocation data of the whole. said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases.
  • R R z . R y . R x
  • - R is the matrix containing the rotations along the three axes of roll, pitch and yaw;
  • Said image data projected on the ground are used to detect the presence of weeds or leaf symptoms of deficiencies or diseases from the peculiarities specific to weeds or leaf symptoms of deficiencies or diseases in order to detect areas in said projected image data in which the target plants are present.
  • Each of the detections of the presence of weeds or leaf symptoms of deficiencies or diseases is completed with a probability of the presence of said peculiarities specific to weeds or leaf symptoms of deficiencies or diseases. This probability information is necessary for geostatistical calculations making it possible to decide on the application of a treatment on the target plant.
  • a hyperspectral sensor such as described in document FR1873313, “Hyperspectral acquisition detection device” or in document FR1901202, “Device for hyperspectral detection by fusion of sensors”, or in document FR1905916, “Detection device hyperspectral ”can be used to detect the desired features of weeds or leaf symptoms of deficiencies or diseases.
  • each of the projected image data is geolocated from geolocation information obtained by means of said geolocation system of said system for detecting weeds or leaf symptoms of deficiencies or diseases.
  • Said geolocation information obtained corresponds to the position of said system for detecting weeds or leaf symptoms of deficiencies or diseases at the time of capturing said image datum.
  • Said ground projection operation is applied to said geolocation information in order to obtain the coordinates projected on the ground of said projected image data.
  • Each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases obtains continuously and by means of the communication system between the different systems for detecting weeds or leaf symptoms of deficiencies or diseases the geolocated detection information from all the other systems for detecting weeds or leaf symptoms of deficiencies or diseases. All of the information on said detections of weeds or leaf symptoms of deficiencies or diseases originating from all of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases is stored in a geographical database local to each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases.
  • Each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases calculates the real-time geostatistics of the presence of weeds or of leaf symptoms of deficiencies or diseases from all of said information of detection of weeds or leaf symptoms of deficiencies or geolocalised diseases and for which information on the probability of presence is provided.
  • the computation of geostatistics uses a kriging algorithm, as described in the book "Lognormal-de Wijsian Geostatistics for Ore Evaluation", DG Krige, 1981, ISBN 978-0620030069; Said krigeing algorithm making it possible to consolidate said information on the detection of weeds or leaf symptoms of deficiencies or diseases originating from all of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases, taking into account the respective probabilities of each of said detection.
  • said information for detecting weeds or leaf symptoms of deficiencies or diseases consolidated by means of said geostatistical calculation confirms the presence of the desired feature of the weed or leaf symptom of deficiency or disease, the geolocated detection information is added to the list of target plants to be treated.
  • Each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases continuously calculates the instantaneous speed of movement by means of said geolocation information obtained by means of said geolocation system.
  • the speed information is necessary in order to estimate the time of control of said at least one agricultural processing device and to anticipate the processing time according to said agricultural processing device.
  • each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases is estimated at each moment and for each of said target plants currently within reach of said at least one treatment device, which of said at least one treatment device is the most suitable for treating said target plant; For example, the spreading nozzle closest to the target plant is selected when said at least one treatment device is a spreading boom. Likewise, the treatment tool closest to the target plant can be selected. This determination uses the location data of the treatment device, expressed in the frame of reference of the plot in which the weeds or leaf symptoms of deficiencies or diseases are geolocated.
  • the piloting commands are transmitted to said at least one agricultural processing device by means of the means of communication between said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases and said at least one agricultural treatment device.
  • the computerized methods described herein are implemented by one or more computer programs executed by a processor of a programmable machine.
  • FIG. 2 a structural schematic representation of the elements of the device of FIG. 1;
  • FIG. 3 a schematic front view of a device for capturing a hyperspectral image according to one embodiment of the invention
  • FIG. 4 a structural schematic representation of the elements of the device of FIG. 3;
  • FIG. 5 a schematic representation of the influence weights of the neural network of FIG. 4;
  • FIG. 4 a schematic representation of the architecture of the neural network in FIG. 4.
  • FIG. 7 a schematic front view of the elements of a capture and detection device in a hyperspectral scene according to one embodiment of the invention
  • FIG. 8 a structural schematic representation of the elements of the device of FIG. 7;
  • FIG. 9 an alternative structural schematic representation of the elements of the device of FIG. 7;
  • FIG. 10 a schematic representation of the diffractions obtained by the acquisition device of FIG. 8;
  • FIG. 11 a schematic representation of the architecture of the neural network in Fig. 8.
  • FIG. 12 a schematic front view of the elements of a capture and detection device in a hyperspectral scene according to a second embodiment of the invention
  • FIG. 13 a structural schematic representation of the elements of the device of FIG. 12;
  • FIG. 14 a schematic representation of the architecture of the neural network in Fig. 13.
  • FIG. 15 a structural schematic representation, view in projection, of the elements of the device of FIG. 1;
  • FIG. 16 a graph showing a method of collaborative piloting of agricultural treatment devices.
  • FIG. 17 is a schematic representation similar to Figure 15 for another embodiment.
  • compressed one refers to a two-dimensional image of a three-dimensional scene comprising spatial and spectral information of the three-dimensional scene.
  • the spatial and spectral information of the three-dimensional scene is thus projected by means of an optical system onto a two-dimensional sensing surface.
  • Such a “compressed” image can comprise one or more diffracted images of the three-dimensional scene, or parts thereof. In addition, it can also include part of a non-diffracted image of the scene.
  • the term “Compressed” is used because a two-dimensional representation of three-dimensional spectral information is possible.
  • spectral it is understood that we go beyond, in terms of number of frequencies detected, a “standard” RGB image of the scene.
  • non-homogeneous we mean an image whose properties are not identical throughout the image.
  • a “non-homogeneous” image can contain, at certain locations, pixels whose information essentially comprises spectral information at a certain respective wavelength band, as well as, in other locations, pixels. the information of which essentially comprises non-spectral information.
  • Computer processing of such a “non-homogeneous” image is not possible, because the properties necessary for its processing are not identical depending on the locations in this image.
  • 'peculiarity' we refer to a feature of the scene - this feature can be spatial, spectral, correspond to a shape, color, texture, spectral signature, or a combination thereof, and may in particular be interpreted semantically.
  • object one refers to the common sense used for this term.
  • An object detection on an image corresponds to the localization and a semantic interpretation of the presence of the object on the imaged scene.
  • An object can be characterized by its shape, color, texture, spectral signature, or a combination of these characteristics.
  • FIG. 1 illustrates a cooperative agricultural treatment control device intended to be mounted on an agricultural machine 1, said agricultural machine 1 comprising at least one controllable agricultural treatment device 3; said cooperative agricultural treatment control device comprising at least two detection systems 2 of weeds or leaf symptoms of deficiency or disease, each being mechanically adapted for attachment to the agricultural machine 1 and having an angle of sight of the objective acquisition in the direction of the direction of advance of said agricultural machine 1.
  • the agricultural machine moves in the agricultural plot 5 in a direction of advance.
  • the detection systems 2 can be arranged spaced apart from each other in a horizontal direction transverse to the direction of advance. They can for example be carried by a transverse beam of the agricultural machine.
  • the agricultural treatment device 3 can be controlled to treat an area to be treated downstream of the area imaged by the detection system 2 of weeds or leaf symptoms of deficiencies or diseases along the movement of the agricultural machine.
  • the plurality of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases is fixed on the agricultural machine so as to capture the visual information of the agricultural plot 5.
  • Each of said at least two detection systems 2 weeds or leaf symptoms of deficiencies or diseases has a detection field intersecting the detection field of at least one detection system 2 of weeds or leaf symptoms of deficiencies or diseases neighboring .
  • a hyperspectral sensor such as described in document FR1873313, “Hyperspectral acquisition detection device” or in document FR1901202, “Device for hyperspectral detection by fusion of sensors”, or in document FR1905916, “Detection device hyperspectral ”, or in document WO2019EP85847,“ Device for hyperspectral detection ”, can be used for each of said at least two detection systems 2 of weeds or of leaf symptoms of deficiencies or diseases.
  • the detection system 2 of weeds or leaf symptoms of deficiencies or diseases comprises a capture device 10 and a computerized characterization module 21.
  • FIG. 3 illustrates a capture device 10 d 'a three-dimensional hyperspectral image 15 comprising three juxtaposed sensors 11-13.
  • a first sensor 11 makes it possible to obtain a compressed image 14 ′ of a focal plane P1 T of an observed scene. As illustrated in FIG. 4, this first sensor 11 comprises a first converging lens 30 which focuses the focal plane P1 T on an opening 31.
  • a collimator 32 captures the rays passing through the opening 31 and transmits these rays to an array of diffraction 33.
  • a second converging lens 34 focuses these rays coming from the diffraction grating 33 on a capture surface 35.
  • the compressed image shows eight distinct R0-R7 diffractions obtained with two diffraction axes of the diffraction grating 33 arranged as far apart as possible from each other in a plane normal to the 'optical axis, that is to say substantially orthogonal to one another.
  • three axes of diffractions can be used on the diffraction grating 33 so as to obtain a 14 ’diffracted image with sixteen diffractions.
  • the three diffraction axes can be evenly distributed, that is to say separated from each other by an angle of 60 °.
  • the compressed image comprises 2 R + 1 diffractions if one uses R equally distributed diffraction gratings, ie separated by the same angle from each other.
  • the capture surface 35 may correspond to a CCD sensor (for "charge-coupled device” in the English literature, that is to say a charge transfer device), to a CMOS sensor (for “Complementary metal-oxide-semiconductor” in the Anglo-Saxon literature, a technology for manufacturing electronic components), or to any other known sensor.
  • CCD sensor for "charge-coupled device” in the English literature, that is to say a charge transfer device
  • CMOS sensor for “Complementary metal-oxide-semiconductor” in the Anglo-Saxon literature, a technology for manufacturing electronic components
  • any other known sensor for example, the scientific publication “Practical Spectral Photography”, published in Eurographics, volume 31 (2012) number 2, proposes to associate this optical structure with a standard digital camera to capture the compressed image.
  • each pixel of the compressed image 14 ’ is coded on 8 bits thus making it possible to represent 256 colors.
  • a second sensor 12 makes it possible to obtain an undiffracted image 17 'of a focal plane P12' of the same observed scene, but with an offset induced by the offset between the first 11 and the second sensor 12.
  • This second sensor 12 corresponds to an RGB sensor, that is to say a sensor making it possible to code the influence of the three colors Red, Green and Blue of the focal plane P12 ′. It makes it possible to account for the influence of the use of a blue filter F1, a green filter F2 and a red filter F3 on the observed scene.
  • This sensor 12 can be produced by a CMOS or CCD sensor associated with a Bayer filter. As a variant, any other sensor can be used to acquire this RGB image 17 '. Preferably, each color of each pixel of the RGB image 17 'is coded on 8 bits. Thus, each pixel of the RGB image 17 'is coded on 3 times 8 bits. As a variant, a monochrome sensor could be used.
  • a third sensor 13 makes it possible to obtain an infrared image 18 ′, IR, of a third focal plane P13 ′ of the same scene observed with also an offset with the first 11 and the second sensors 12. This sensor 13 allows to account for the influence of the use of an F4 infrared filter on the observed scene.
  • any known type of sensor can be used to acquire this IR image 18.
  • each pixel of the IR image 18 is coded on 8 bits.
  • only one or the other of sensor 12 and sensor 13 is used.
  • the distance between the three sensors 11-13 may be less than 1 cm so as to obtain a significant overlap of the focal planes P1 T-P13 'by the three sensors 11-13.
  • the sensors are for example aligned along the x axis.
  • the topology and the number of sensors can vary without changing the invention.
  • sensors 11-13 can acquire an image of the same observed scene by using semi-transparent mirrors to transmit information from the observed scene to different sensors 11-13.
  • FIG. 3 illustrates a device 10 comprising three sensors 11-13.
  • other sensors can be mounted on device 10 to augment the information contained in the hyperspectral image.
  • the device 10 can integrate a sensor whose wavelength is between 0.001 nanometers and 10 nanometers or a sensor whose wavelength is between 10,000 nanometers and 20,000 nanometers.
  • the device 10 also comprises a construction module 16 of a hyperspectral image 15 from the different diffractions R0- R7 of the diffracted image 14 'and of the non-diffracted images 17 ', 18'.
  • a preprocessing step is carried out to extract a focal plane P11-P13 present on each of the images 14 ', 17'-18' acquired by the three sensors 11-13.
  • This pre-processing consists, for each focal plane P1 -P13 ', in isolating the common part of the focal planes P1 T-P13' then in extracting 26 this common part to form the image 14, 17-18 of each focal plane P11- P13 observed by specific sensor 11-13.
  • the part of each image 14 ', 17'- 18' to be isolated can be defined directly in a memory of the capture device 10 according to the positioning choices of the sensors 11-13 between them, or a learning step can be used to identify the part to be isolated 25.
  • the 17'-18 'images from RGB and IR sensors are cross-checked using two-dimensional cross-correlation.
  • the extraction of the focal plane of the diffracted image 14 ' is calculated by interpolation of the shifts in x and y between the sensors 12-13 brought back to the position of the sensor 11 of the diffracted image knowing the distance between each sensor 11-13.
  • This preprocessing step is not always necessary, in particular, when the sensors 1 1-13 are configured to capture the same focal plane, for example with the use of semi-transparent mirrors.
  • the construction module 16 uses a neural network 20 to form a hyperspectral image 15 to based on the information from these three images 14, 17-18.
  • This neural network 20 aims to determine the intensity l XYA of each voxel V X, Y, A of the hyperspectral image 15.
  • the neural network 20 comprises an input layer 40, able to extract the information from images 14, 17-18, and an output layer 41, suitable in processing this information so as to create information for the voxel V XYA considered.
  • the first neuron of the input layer 40 makes it possible to extract the intensity I i R (x, y) of the IR image 18 as a function of the x and y coordinates of the voxel V X, Y, A sought . For example, if the IR image 18 is coded on 8 bits, this first neuron transmits to the output layer 41 the 8-bit value of the pixel of the IR image 18 at the sought x and y coordinates.
  • the second neuron of the input layer 40 performs the same task for the red color 17a of the RGB image 17.
  • the desired intensity l R (x; y) is also coded on 8 bits.
  • the third neuron searches for the intensity l v (x; y) in the same way for the green color 17b and the fourth neuron searches for the intensity l B (x; y) for the blue color 17c.
  • the following neurons of the input layer 40 are more complex, because each of the following neurons is associated with an R0-R7 diffraction of the diffracted image 14.
  • This relation between the three coordinates of the voxel V XYA and the position in x and y can be encoded in a memory during the integration of the neural network 20.
  • a learning phase makes it possible to define this relation by using a known model whose parameters are sought from representations of known objects.
  • An example model is defined by the following relation:
  • n floor (M (d t -1) / D MA x);
  • n between 0 and M, the number of diffractions of the compressed image
  • Mod represents the mathematical operator modulo.
  • a learning phase therefore makes it possible to define the parameters A S ii Ce x, A SiiCeY , Xoffsetx (n), and y 0 ffsetY (n), so that each neuron can quickly find the intensity of the corresponding pixel .
  • other models are possible, in particular depending on the nature of the diffraction grating 33 used.
  • the information related to the intensity of the pixel l n (x, y) sought by each neuron can be determined by a product of convolution between the intensity of the pixel of the compressed image 14 and its close neighbors in the different R0-R7 diffractions.
  • the output of these neurons from the input layer 40 is also coded on 8 bits.
  • this output neuron 41 associates a weight with each item of information as a function of the wavelength l of the voxel sought. Following this modulation on the influence of the contributions of each image 17-18 and of each diffraction R0-R7, this output neuron 41 can sum the contributions to determine an average intensity which will form the intensity I c, g , l of the voxel n c, g, l sought, for example coded on 8 bits.
  • This process is repeated for all the coordinates of the voxel n CU l , so as to obtain a hypercube containing all the spatial and spectral information from the non-diffracted images 17-18 and from each diffraction R0-R7.
  • the output neuron 41 will use the spatial information of the non-diffracted images obtained with blue F1 and green F2 filters as well as the information on the different R0-R7 diffractions obtained as a function of the wavelength considered. It is possible to configure the neural network 20 so as not to take into account certain diffractions R0-R7 so as to limit the time for calculating the sum of the contributions. In the example of FIG.
  • the weight of each contribution as a function of the wavelength l of the voxel n c, g, l sought can also be defined during the implantation of the neural network 20 or determined by a learning phase.
  • the learning can be carried out by using known scenes picked up by the three sensors 11-13 and by determining the weights of each contribution for each wavelength l so that the information from each known scene corresponds to the information contained in the known scenes. This learning can be carried out independently or simultaneously with the learning of the relationships between the three coordinates of the voxel n c, g, l and the position in x and y on the diffracted image 14.
  • This neural network 20 can be implemented in a on-board system so as to process in real time the images coming from the sensors 11-13 to define and store a hyperspectral image 15 between two acquisitions from the sensors 11-13.
  • the on-board system can comprise a power supply for the sensors 11-13, a processor configured to perform the calculations of the neurons of the input layer 40 and of the output layer 41 and a memory integrating the weights of each neuron of the input layer 40 as a function of the wavelength h.
  • the different treatments can be carried out independently on several electronic circuits without changing the invention.
  • an acquisition circuit can acquire and transmit the information coming from the neurons of the first layer 40 to a second circuit which contains the neuron of the second layer 41.
  • the invention thus makes it possible to obtain a hyperspectral image 15 rapidly and with great discretization in the spectral dimension.
  • the use of a neural network 20 makes it possible to limit the complexity of the operations to be carried out during the analysis of the diffracted image 14.
  • the neural network 20 also allows the association of the information of this diffracted image 14 with that of non-diffracted images. 17-18 to improve precision in the spatial dimension.
  • a computerized characterization module 21 is used downstream to determine a weed or a leaf symptom of deficiency or disease.
  • the input to the computerized characterization module is the three-dimensional hyperspectral image 15.
  • the computerized characterization module can for example apply a predefined treatment, characterizing the weed or the leaf symptom of deficiency or disease, to the three-dimensional hyperspectral image, and giving as output a presence or an absence of the weed. or leaf symptom of deficiency or disease.
  • the computerized characterization module can for example be applied, as described in the article “Hyperspectral image analysis techniques for the detection and classification of the early onset of plant disease and stress”, Amy Lowe, Nicola Harrison and Andrew P. French, Plant Methods (2017), a detection based on indices (for example the index "Normalized Difference Vegetation Index” - NDVI - or "Photochemical Reflectance Index” (PRI)), in order to pre-process the hyperspectral image 15 in three dimensions by selecting a subset of spectral bands which are assembled by means of an index.
  • indices for example the index "Normalized Difference Vegetation Index" - NDVI - or "Photochemical Reflectance Index” (PRI)
  • the resulting image makes it possible to identify the presence of plants in the image.
  • the value in a pixel is compared to a predefined scale to classify the detection in that pixel.
  • a single pixel value between -0.2 and 0.2 indicates the presence of healthy plant in that pixel.
  • indices are applicable, each making it possible to process the hyperspectral image and to detect the presence of either a weed, a leaf symptom of deficiency or disease, or the presence of plants. Potentially applicable indices include the following:
  • NDVI Normalized difference vegetation index
  • PRI Photochemical reflectance index
  • Plant senescence reflectance index (PSRI), defined by the equation (Red-Green) / NIR, where Red represents the sum of the intensities of the voxels of wavelengths between 620 and 700 nm, Green represents the sum of the intensities voxels with wavelengths between 500 and 578 nm, NIR represents the sum of the intensities of voxels with wavelengths between 700 and 1000 nm, making it possible to detect the senescence of a plant, the stress of a plant or the maturity of a fruit;
  • NPQI Normalized phaeophytinization index
  • SI PI Structure Independent Pigment Index
  • Leaf rust disease severity index (LRDSI), defined by equation 6.9 c (R605 / R455) - 1.2, to detect leaf rust disease of wheat.
  • the predefined equation gives a probability of the presence of the weed or the leaf symptom of deficiency or disease.
  • an additional output from the computerized characterization module is a location of the weed or leaf deficiency symptom or disease in image 17 or 18.
  • the detection system described above is considered as a single detection system, even if it uses different sensors whose information is merged to detect an adventitia or a syndrome. leaf deficiency or disease.
  • the detection system 2 of weed or leaf deficiency symptom or disease comprises a capture device 202.
  • FIG. 7 illustrates a device 202 for capturing a hyperspectral scene 203 comprising a sensor, or acquisition system 204, making it possible to obtain a two-dimensional compressed image 211 of a focal plane 303 of an observed scene.
  • the hyperspectral scene can be located in space by means of an orthonormal coordinate system (x; y; z) not shown.
  • the capture device 202 is similar to that described above. [142] This optical structure makes it possible to obtain a compressed image 211, illustrated in FIG. 10, showing several R0-R7 diffractions of the focal plane 303 arranged around an undiffracted image of small size C.
  • the capture device 202 may include a first converging lens 241 which focuses the focal plane 303 on a mask 242.
  • a collimator 243 captures the rays passing through the mask 242 and transmits these rays to a prism 244.
  • a second converging lens 245 focuses these rays coming from the prism 244 on a capture surface 246.
  • the mask 242 defines a coding for the image 213.
  • the capture surfaces 35 or 246 may correspond to the photographic acquisition device of a computer or any other portable device including a photographic acquisition arrangement, by adding the capture device 202 of the hyperspectral scene 203 in front of the photographic acquisition device.
  • the acquisition system 204 may comprise a compact mechanical embodiment which can be integrated into a portable and autonomous device and the detection system is included in said portable and autonomous device.
  • the sensing surfaces 35 or 246 can be a device whose sensed wavelengths are not in the visible part.
  • the device 202 can integrate sensors with a wavelength between 0.001 nanometers and 10 nanometers or a sensor with a wavelength between 10,000 nanometers and 20,000 nanometers, or a sensor with a length of wave is between 300 nanometers and 2000 nanometers. It may be an infrared device.
  • the detection system 2 implements a neural network 212 to detect a feature in the observed scene from the information of the compressed image 211.
  • This neural network 212 aims to determine the probability of presence of the desired feature for each pixel located at the x and y coordinates of the observed hyperspectral scene 203.
  • the neural network 212 comprises an input layer 230, able to extract the information from the image 211 and an output layer 231, able to process this information so as to generate an image whose intensity of each pixel at x and y coordinates, corresponds to the probability of presence of the feature at x and y coordinates of the hyperspectral scene 203.
  • the input layer 230 is populated from the pixels forming the compressed image.
  • the input layer is a tensor of order three, and has two spatial dimensions of size X M AX and Y M AX, and a depth dimension of size D M AX, corresponding to the number of subsets of l 'compressed image copied to the input layer.
  • the invention uses the nonlinear relation f (x t , y t , d t ) (x im g, yimg) defined for x t e [0..X M AX [, y t e [0..U MAc [ and d t e [0..D MA x [making it possible to calculate the coordinates x img and y img of the pixel of the compressed image whose intensity is copied into the tensor of order three of said input layer of the network of neurons at coordinates (x t , y t , d t ).
  • the input layer 230 can be populated as follows:
  • n floor (M (d r iyD MA x);
  • n between 0 and M, the number of diffractions of the compressed image
  • Mod represents the mathematical operator modulo.
  • the invention makes it possible to correlate the information contained in the different diffractions of the diffracted image with information contained in the central non-diffracted part of the image.
  • the compressed image obtained by the optical system contains the focal plane of the non-diffracted scene at the center, as well as the projections diffracted along the axes of the different diffraction filters.
  • the neural network uses, for the direct detection of the particularities sought, the following information from said at least one diffracted image:
  • MASK image of the compression mask used
  • CASSI measured compressed image
  • Img Selected image whose pixel is copied.
  • the architecture of said neural network 212, 214 is composed of a set of convolutional layers assembled linearly and alternately with decimation (pooling) or interpolation (unpooling) layers.
  • a convolutional layer of depth d is defined by d convolution kernels, each of these convolution kernels being applied to the volume of the input tensor of order three and of size Xi nput , yi nput , di nput ⁇
  • the convolutional layer thus generates an output volume, tensor of order three, having a depth d.
  • An ACT activation function is applied to the calculated values of the output volume of this convolutional layer.
  • this function can be a ReLu function, defined by the following equation:
  • a decimation layer reduces the width and height of the input third order tensor for each depth of said third order tensor. For example, a MaxPool (2,2) decimation layer selects the maximum value of a sliding tile on the surface of 2x2 values. This operation is applied to all the depths of the input tensor and generates an output tensor having the same depth and a width divided by two, as well as a height divided by two.
  • An interpolation layer makes it possible to increase the width and height of the third order tensor at the input for each depth of said third order tensor.
  • a MaxUnPool (2,2) interpolation layer copies the input value of a sliding point on the surface of 2x2 output values. This operation is applied to all depths of the input tensor and generates an output tensor having the same depth and width multiplied by two, as well as a height multiplied by two.
  • a neural network architecture allowing the direct detection of features in the hyperspectral scene can be as follows:
  • the number of layers of CONV (d) convolution and MaxPool decimation (2.2) can be changed in order to facilitate the detection of features having a higher semantic complexity.
  • a higher number of convolution layers makes it possible to process more complex signatures of shape, texture, or spectral characteristics of the particularity sought in the hyperspectral scene.
  • the number of CONV deconvolution (d) and MaxUnpool (2, 2) interpolation layers can be changed to facilitate reconstruction of the output layer. For example, a higher number of deconvolution layers makes it possible to reconstruct an output with greater precision.
  • the CONV convolution layers (64) may have a different depth than 64 in order to handle a different number of local features. For example, a depth of 128 makes it possible to locally process 128 different features in a complex hyperspectral scene.
  • the MaxUnpool interpolation layers (2, 2) can be of different interpolation dimension.
  • a MaxUnpool layer (4, 4) can increase the processing dimension of the top layer.
  • the ReLu (x) type ACT activation layers inserted following each convolution and deconvolution can be of a different type.
  • the MaxPool decimation layers (2, 2) can be of different decimation size.
  • a MaxPool layer (4, 4) makes it possible to reduce the spatial dimension more quickly and to concentrate the semantic research of the neural network on the local particularities.
  • fully connected layers can be inserted between the two central convolution layers at line 6 of the description in order to process detection in a higher mathematical space.
  • three fully connected layers of size 128 can be inserted.
  • the dimensions of the CONV convolution layers (64), MaxPool decimation (2, 2), and MaxUnpool interpolation (2, 2) can be adjusted over one or more layers, in order to accommodate the architecture of the neural network as close as possible to the type of particularities sought in the hyperspectral scene.
  • the weights of said neural network 212 are calculated by means of training. For example, learning by backpropagation of the gradient or its derivatives from training data can be used to calculate these weights.
  • the neural network 212 can determine the probability of the presence of several distinct features within the same observed scene.
  • the last convolutional layer will have a depth corresponding to the number of distinct features to be detected.
  • the convolutional layer CONV (1) is replaced by a convolutional layer CONV (u), where u corresponds to the number of distinct features to be detected.
  • FIG. 12 illustrates a device 302 for capturing a hyperspectral scene 203 comprising a set of sensors making it possible to obtain at least one compressed image in two dimensions 211 or 213 and at least one standard image 312 of a hyperspectral focal plane 303 of a observed scene.
  • the capture device 302 comprises at least one acquisition device, or sensor, 301 of a compressed image as described above with reference to FIG. 8.
  • the capture device 302 may further comprise a device for acquiring an uncompressed "standard" image, comprising a converging lens 331 and a capture surface 232.
  • the capture device 302 may further comprise a device. acquisition of a compressed image as described above with reference to FIG. 9.
  • the standard image acquisition device and the compressed image acquisition device are arranged juxtaposed with parallel optical axes, and optical beams at least partially overlapping.
  • a portion of the hyperspectral scene is imaged at a time by the acquisition devices.
  • the focal planes of the various image acquisition sensors are offset with respect to each other transversely to the optical axes of these sensors.
  • a set of partially reflecting mirrors is used so as to capture said at least one standard non-diffracted images 312 and said at least one compressed image 211, 213 of the same hyperspectral scene 203 on several sensors simultaneously.
  • the sensing surface 232 can be a device whose sensed wavelengths are not in the visible part.
  • the device 202 can integrate sensors with a wavelength between 0.001 nanometers and 10 nanometers or a sensor with a wavelength between 10,000 nanometers and 20,000 nanometers, or a sensor with a length of wave is between 300 nanometers and 2000 nanometers.
  • the detection means uses a neural network 214 to detect a feature in the observed scene from the information of the compressed images 211 and 213, and standard image 312.
  • This neural network 214 aims to determine the probability of presence of the desired feature for each pixel located at the x and y coordinates of the observed hyperspectral scene 203.
  • the neural network 214 includes an encoder 251 for each compressed image and for each uncompressed image; each encoder 251 has an input layer 250, able to extract the information from the image 211, 312 or 213.
  • the neural network merges the information coming from the different encoders 251 by means of convolution layers or of fully connected layers 252 (particular case shown in the figure).
  • a decoder 253 and its output layer 350 able to process this information so as to generate an image whose intensity of each pixel, at the x and y coordinate, corresponds to the probability of the presence of the feature at the x and y coordinates of the hyperspectral scene 203, is inserted following the fusion of the information.
  • the input layer 250 of an encoder 251 is filled with the various diffractions of the compressed image 211 as described above.
  • the population described above corresponds to the population of the first input ("Input1") of the neural network, according to the architecture presented below.
  • the population of the input layer relative to the "standard” image is populated by directly copying the "standard” image into the neural network.
  • the third input "Input3" of the neural network is populated as described above for the compressed image 213.
  • a neural network architecture allowing the direct detection of features in the hyperspectral scene can be as follows:
  • Input1 corresponds to the portion of the input layer 250 populated from the compressed image 211.
  • Input2 corresponds to the portion of the input layer 250 populated from the 'standard image 312, and
  • Input3 corresponds to the portion of the input layer 250 populated from the compressed image 213.
  • the line “CONV (64)" in the fifth line of the architecture operates the fusion of the information.
  • the line “CONV (64)” in the fifth line of the information fusion architecture can be replaced by a fully connected layer having as input all the MaxPool outputs (2, 2) of the processing paths of the set of inputs “input1”, “input2” and “input3” and at output a tensor of order one serving as input to the next layer “CONV (64)” presented in the sixth line of l 'architecture.
  • the fusion layer of the neural network takes into account the offsets of the focal planes of the different image acquisition sensors, and integrates the homographic function making it possible to merge the information from the different sensors by taking into account the parallaxes of the images. different images.
  • the weights of said neural network 214 are calculated by means of learning. For example, learning by backpropagation of the gradient or its derivatives from training data can be used to calculate these weights.
  • the neural network 214 can determine the probability of the presence of several distinct features within the same observed scene.
  • the last convolutional layer will have a depth corresponding to the number of distinct features to be detected.
  • the convolutional layer CONV (1) is replaced by a convolutional layer CONV (u), where u corresponds to the number of distinct features to be detected.
  • a separate dedicated acquisition device is not necessarily used to obtain the “standard” image 312.
  • part of the compressed image 211 comprises a “standard” image of the hyperspectral scene. This is in particular the image portion C described above. In this case, it is possible to use this image portion “C” of the compressed image 211 as the “standard” input image of the neural network.
  • the neural network 214 uses, for the direct detection of the particularities sought, the following information from said at least one compressed image:
  • a detected feature of the hyperspectral scene is a two-dimensional image in which the value of each pixel at the coordinates x and y corresponds to the probability of the presence of a feature. at the same x and y coordinates of the hyperspectral focal plane of the scene 203.
  • the feature corresponds to a feature potentially indicative of the presence of a weed or of a leaf symptom of deficiency or disease in this pixel.
  • Each weed, each leaf symptom of deficiency or disease can be characterized by one or more peculiarities.
  • the detection system then combines the results of the detection of each feature associated with a weed or a leaf symptom of deficiency or disease to determine a probability of the presence of the weed or of the leaf symptom of deficiency or disease. If necessary, this process is repeated for all the weeds or foliar symptoms of predetermined deficiency or disease sought in the plot. It is possible, however, as a variant, to provide, according to the embodiments of the invention, for the detection of other particularities. According to one example, such a further feature can be obtained from the image obtained from the neural network presented above. For this, the neural network 212, 214, can present a subsequent layer, suitable for processing the image in question and determining the desired feature.
  • this subsequent layer can for example count the pixels of the image in question for which the probability is greater than a certain threshold.
  • the result obtained is then an area (possibly related to a standard area of the image).
  • the result obtained may then correspond to a concentration of the chemical compound in the imaged hyperspectral scene which may be indicative of a weed or a leaf symptom of deficiency or disease.
  • this subsequent layer may for example have only one neuron whose value (real or Boolean) will indicate the presence or absence of an object or a particularity sought in the hyperspectral scene. .
  • This neuron will have a maximum value in the presence of the object or feature and a minimum value in the opposite case.
  • This neuron will be fully connected to the previous layer, and the connection weights will be calculated through training.
  • the neural network can also be architected to determine this feature without going through the determination of an image of the probability of presence of the feature in each pixel.
  • the detection system described above is considered as a single detection system, even if it uses different sensors whose information is merged to detect an adventitia or a syndrome. leaf deficiency or disease.
  • each detection system 2 can include a location system, of the type comprising an inertial unit and / or a geolocation system.
  • the agricultural treatment control device further comprises a communication system connecting the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases.
  • the communication system is suitable for exchanging data between the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases such as, in particular, data for detecting weeds or leaf symptoms of deficiencies or diseases, data location from inertial units, and / or geolocation systems.
  • the plurality of said at least one controllable agricultural treatment device 3 is also fixed on the agricultural machine so as to be able to treat the target plants 4.
  • the agricultural treatment devices 3 may be arranged spaced with respect to each other in a horizontal direction transverse to the direction of advance. They can for example be carried by a transverse beam of the agricultural machine, where appropriate by the same beam which carries the detection systems 2. In addition, they can be spaced from them in the transverse direction.
  • the agricultural treatment control device further comprises a system for locating agricultural treatment devices.
  • the agricultural processing control device further comprises a communication system connecting the detection 2 of weeds or leaf symptoms of deficiencies or diseases.
  • the agricultural treatment device further comprises a communication system suitable for exchanging data between the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases and the agricultural treatment devices 3.
  • the number of controllable agricultural treatment devices 3 need not be the same as the number of detection systems 2 for weeds or leaf symptoms of deficiency or disease. Indeed, according to one example, the collaborative treatment decision is transmitted to the controllable agricultural treatment device 3 having the least distance from the target plant.
  • FIG. 15 illustrates the device, provided with two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, mounted on an agricultural machine 1, in which each of the detection systems 2 of weeds or leaf symptoms of deficiencies or diseases , is directed at an angle towards the ground of the agricultural plot 5, and having an overlap of their respective detection zones.
  • the first detection system will be characterized by the reference “.1”
  • the second detection system will be characterized by the reference “.2”.
  • said detection system 2.1 of weeds or leaf symptoms of deficiencies or diseases takes a picture 6.1 of the area of agricultural plot 5 facing its objective; said detection system 2.2 of weeds or leaf symptoms of deficiencies or diseases, takes a snapshot 6.2 of the area of agricultural plot 5 facing its objective; said areas facing the optical objectives 9 of said detection systems 2.1 and 2.2 of weeds or leaf symptoms of deficiencies or diseases, have a common acquisition area.
  • FIG. 16 gives an example of a collaborative processing method for the acquired data.
  • the collaborative processing method is designated by the reference 8, and the steps thereof by reference signs ". Index”.
  • capturing 8.1 of the image information of the agricultural plot 5 traversed makes it possible to obtain the acquired images 6.1 and 6.2.
  • the plurality of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases is composed of homogeneous systems, exhibiting the same detection properties.
  • - R is the matrix containing the rotations along the three axes of roll, pitch and yaw;
  • the angles a, b, and g correspond respectively to the current yaw, roll and pitch angles of the detection system 2 of weeds or leaf symptoms of deficiencies or diseases considered as calculated from the raw data of the inertial unit on board the detection system 2 of weeds or leaf symptoms of deficiencies or diseases considered; these roll, pitch and yaw information are continuously calculated and kept up to date by the detection system 2 of weeds or leaf symptoms of deficiencies or diseases considered by means of an attitude estimation algorithm using the raw information of said inertial unit on board the detection system 2 of weeds or leaf symptoms of deficiencies or diseases considered.
  • the attitude estimation algorithm making it possible to calculate the roll, pitch and yaw information, can be an extended Kalman filter, a Mahony or Madgwick algorithm.
  • the ortho-projection 8.2 of the image information acquired from the agricultural plot 5 traversed makes it possible to obtain the acquired images 7.1 and 7.2 from the images 6.1 and 6.2.
  • Said image data projected on the ground are used to detect the presence of weeds or leaf symptoms of deficiencies or diseases from the peculiarities specific to weeds or leaf symptoms of deficiencies or diseases determined by one of the above methods, in order of detecting the zones, identified at the coordinates of the image Xdetect and Y of tect, in said projected image data in which the target plants 4 are present.
  • a target plant 4 is a plant for which the detection device detects a weed or a leaf symptom of deficiency or disease.
  • each of the 8.3 detections of the presence of weeds or leaf symptoms of deficiencies or diseases is completed with a probability of the presence of said peculiarities specific to weeds or leaf symptoms of deficiencies or diseases. In certain exemplary embodiments, this probability information is necessary for the geostatistical calculations making it possible to decide on the application of a treatment to the target plant.
  • each of said detections of weeds or leaf symptoms of deficiencies or diseases is geolocated 8.4 at the coordinates lat and Ing by means of the geolocation system embedded in each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases.
  • Rad fract clistance / EARTI-I RADIUS
  • Lat target (180.asin (lat 2i + lat 22 )) ⁇
  • Lng target (180. (((Lng + atan2 (lng 2i , lng 22 ) + 3n) mod2n) -n)) / p
  • Pixei 2 meter ratio is the ratio between one pixel in the image and one meter on the ground
  • - X detect is the x coordinate, in pixels, of the center of the detection in the image
  • - Y detect is the y coordinate, in pixels, of the center of the detection in the image
  • Lat is the latitude measured by said geolocation system of said detection system 2 of weeds or leaf symptoms of deficiencies or diseases;
  • - Ing is the longitude measured by said geolocation system of said detection system 2 of weeds or leaf symptoms of deficiencies or diseases;
  • - lat target is the latitude of the target plant 4 detected in the image
  • - Ing target is the longitude of target plant 4 detected in the image.
  • Each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases obtains continuously and by means of the communication system between the different detection systems 2 of weeds or leaf symptoms of deficiencies or diseases detection information geolocated by the lat target and lng target coordinates coming from all the other detection systems 2 of weeds or leaf symptoms of deficiencies or diseases.
  • Each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases communicates therefore continuously and by means of the communication system between the different detection systems 2 of weeds or leaf symptoms of deficiencies or diseases the detection information geolocated by the lat target and lng target coordinates to all the other systems for detecting 2 weeds or leaf symptoms of deficiencies or diseases.
  • the GeoJSON format as described in document RFC7946, “The GeoJSON Format”, IETF 08/2016, makes it possible to transport said geolocated detection information on said communication system.
  • the ESRI Shapefile format as described in the document ESRI Shapefile technical description, 07/1998, makes it possible to transport said geolocated detection information on said communication system.
  • said latitude and longitude information can be calculated from the raw information of the inertial units of all of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases. Said raw information from the inertial units being exchanged by means of the communication system connecting said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases continuously, the algorithm for estimating the latitude, executed on each said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases can use all the raw information.
  • the latitude and longitude information is calculated relatively in the coordinate system of the agricultural parcel being traversed.
  • an extended Kalman filter can be used in each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, by taking the data from the inertial units of all of said at least two systems. detection of weeds or leaf symptoms of deficiencies or diseases.
  • the calculation of the 8.4 geolocation of a detection of weed or leaf symptom of deficiency or disease is based on the same relationship with the following elements:
  • - lat is the latitude calculated in the coordinate system of the agricultural plot traversed from the data obtained from the inertial units of all of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases of said detection system 2 weeds or leaf symptoms of deficiency or disease;
  • Ing is the longitude calculated in the coordinate system of the agricultural parcel traversed from the data from the inertial units of all of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases of said detection system 2 weeds or leaf symptoms of deficiencies or diseases.
  • [247] - sensor angia is the angle between the vertical and the average viewing angle of the detection system 2 of weeds or leaf symptoms of deficiencies or diseases;
  • - sensor height is the height from the ground of the detection system 2 of weeds or leaf symptoms of deficiencies or diseases
  • ratiopixel2meter is the ratio of one pixel in the image to one meter on the ground
  • [250] - X detect is the x coordinate, in pixels, of the center of the detection in the image
  • [251] - Y detect is the y coordinate, in pixels, of the center of the detection in the image
  • [252] - w img is the width of the image in pixels
  • [253] - h img is the height of the image in pixels
  • [254] - X tarçjet is the relative longitudinal coordinate in meters of the target plant 4 detected in the image
  • [255] - Y tarçjet is the relative coordinate in meters facing said detection system 2 of weeds or leaf symptoms of deficiencies or diseases of the target plant 4 detected in the image.
  • All the information of said detections of weeds or leaf symptoms of deficiencies or diseases coming from all of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases is stored in a geographic database local to each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases.
  • Each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases having its detection zone of the particularities sought; weeds or leaf symptoms of deficiencies or diseases; in agricultural plot 5, overlapping with said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or neighboring diseases, a covering side of said information of detection of weeds or leaf symptoms of deficiencies or diseases is obtained.
  • each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases detecting at the present moment the desired peculiarities of weeds or leaf symptoms of deficiencies or diseases in the agricultural plot 5 in the detection zone within range of the optical objective of said detection system 2 of weeds or leaf symptoms of deficiencies or diseases, a temporal recovery of said information of detections of weeds or leaf symptoms of deficiencies or diseases is obtained .
  • temporal overlap reference is made to the fact that the detection zones at two successive distinct instants overlap if the determination frequency is sufficiently high.
  • Figure 17 illustrates this embodiment, and represents in dotted lines the optical field acquired by the detection system 2 of weed or leaf symptoms of deficiencies or diseases at a first instant h, and in phantom lines the optical field acquired by the same detection system 2 of weed or leaf symptoms of deficiencies or diseases in a second instant t 2 .
  • the optical fields are geographically shifted due to the travel of the agricultural machine during the time interval.
  • the photographs and images obtained at the second instant are represented with the index “.3”. However, at all times, the detections are geolocated in a common repository.
  • said information for detecting weeds or leaf symptoms of deficiencies or diseases stored in said geographic database local to each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases contains the redundancy of said information of detection of weeds or leaf symptoms of deficiencies or diseases.
  • the 8.5 merger operation can be a kriging operation, as described in the book "Lognormal-de Wijsian Geostatistics for Ore Evaluation", DG Krige, 1981, ISBN 978-0620030069, taking into account all of said detection information.
  • the result is determined from the detection result obtained for this point by each of the detection systems.
  • the result makes it possible to decide whether or not a treatment at this point. For example, the result is compared with a certain predetermined threshold and, if the result is positive, the application of the treatment is ordered.
  • the merger in question takes into account the quality of the detection.
  • the result of the merger may include a map of the probability of the presence of the weed or of the symptom.
  • leaf deficiency or disease obtained from these individual maps. Therefore, inherently, each individual map carries information about the quality of detection, and the merged result takes this quality into account. For example, if, at a given location, one detection system determines a 90% probability of the presence of a leaf symptom of a certain disease, and another detection system determines a probability of the presence of a leaf symptom of a certain disease. this same disease at 30% is that the quality of detection of at least one of the two detection systems is low, and the final result transcribes this quality of detection.
  • the distance of each detection is also taken into account. Indeed, if in a given location, located close to the optical axis of a detection system, a 30% probability of the presence of a leaf symptom of a certain disease is determined, and another detection system, for which this same location is far from the optical axis, determines a probability of the presence of a leaf symptom of the same disease at 90%, a greater weight will be applied to the detection system facing the location studied during fusion.
  • the merger operation 8.5 is an operation taking into account all the information on the detection of weeds or leaf symptoms of deficiencies or geolocalised diseases and containing the information on the probability of detection, coming from the plurality of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, as well as the information of lateral and temporal overlaps, in order to calculate the consolidated probabilities of detections of weeds or of leaf symptoms of deficiencies or geolocated diseases; Said consolidation operation taking into account the probabilities of each detection of weeds or leaf symptoms of deficiencies or geolocalised diseases.
  • the localized detection information obtained for several times spaced apart are merged as described above.
  • This embodiment is, where appropriate, applicable to a single system for detecting weeds or leaf symptoms of deficiency or disease.
  • the collaborative work is done from two detections spaced in time of the same system for detecting weeds or leaf symptoms of deficiency or disease.
  • the agricultural treatment control device comprises a single system for detecting weeds or leaf symptoms of deficiency or disease, it does not implement a communication system between detection systems for weeds or leaf symptoms of deficiency or disease. However, a communication system between the detection system for weeds or leaf symptoms of deficiency or disease and the treatment device remains necessary.
  • Each of said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases continuously calculates the instantaneous speed of movement by means of said location information obtained by means of said location system.
  • the speed information is necessary in order to estimate the time of control of said at least one agricultural processing device and to anticipate the processing time according to said agricultural processing device.
  • the control device determines the or the processing devices to be actuated, and the temporal characteristics (instant, duration, etc.) of this actuation.
  • each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases is estimated at each instant and for each of said target plants 4 currently within range of said at least one treatment device 3, which of said at least one treatment device 3 is the most suitable for treating said target plant 4.
  • the piloting commands are transmitted to said at least one agricultural treatment device by means of the means of communication between said at least two systems for detecting weeds or leaf symptoms of deficiencies or diseases and said at least one treatment device. agricultural.
  • the command 8.7 to be sent to each of said at least one agricultural treatment device 3 is a pressure and flow control taking into account the presence of a target plant at the present moment in the spraying zone of said spreading nozzle.
  • the command 8.7 to be sent to each of said at least one agricultural treatment device 3 is a command for transverse and longitudinal offsets, and for the power of lighting taking into account the presence of a target plant at the present moment in the range of said LASER.
  • the command 8.7 to be sent to each of said at least one agricultural treatment device 3 is a pressure and flow control taking taking into account the presence of a target plant at the present moment in the range zone of the high pressure water injection nozzle.
  • the command 8.7 to be sent to each of said at least one agricultural treatment device 3 is an activation command taking into account the presence of a target plant at the present moment in the zone of said mechanical weeding tool of hoeing.
  • the command 8.7 to be sent to each of said at least one agricultural treatment device 3 is an activation command taking into account the presence of a target plant at the moment present in the zone of said electric weeding tool.
  • the acquired image is first projected in a given frame of reference, then the detection of weed or leaf deficiency symptom or disease is implemented for the projected image.
  • provision could be made to start by producing an image of the probability of presence of weed or of leaf deficiency symptom or of detection from the raw acquired image, then to orthoproject it into the given frame of reference.
  • the geolocation of each detection system is carried out independently, and the geolocated detections are merged in order to decide on the possible treatment.
  • the geolocation of each detection system can be done collaboratively.
  • said attitude information can be calculated from the raw information of the inertial units of all of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases. Said raw information from the inertial units being exchanged by means of the communication system connecting said at least two weed detection systems 2 or leaf symptoms of deficiencies or diseases continuously, the attitude estimation algorithm executed on each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases can use all the raw information .
  • the estimates of roll, pitch and yaw are consolidated by a set of similar, coherent and covariate measurements between them.
  • an extended Kalman filter can be used in each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, by taking the data from the inertial units of all of said at least two systems. detection of weeds or leaf symptoms of deficiencies or diseases.
  • the document “Data Fusion Algorithms for Multiple Inertial Measurement Units”, Jared B. Bancroft and protagonist Lachapelle, Sensors (Basel), 06/29/2011, 6771-6798 presents an alternative raw data fusion algorithm of a set of power plants inertial to determine attitude information.
  • said attitude information can be calculated from the raw information of the inertial units to which the geolocation data of all of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases are added. Said raw information from the inertial units as well as the geolocation data being exchanged by means of the communication system connecting said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, the attitude estimation algorithm can use all raw information. For example, an extended Kalman filter can be used in each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, by taking the data from the inertial units as well as the geolocation data of the plant. together of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases.
  • said communication system between said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases and said at least one agricultural treatment device 3 is a wired Ethernet 1 Gigabit per second network allowing thus each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases to communicate with the others systems for detecting 2 weeds or leaf symptoms of deficiencies or diseases as well as with said at least one agricultural treatment device 3.
  • each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases locally builds a mapping of the peculiarities; or the presence of weeds or leaf symptoms of deficiencies or diseases; using a local geographic database.
  • the geolocated detection information for the presence of weeds or leaf symptoms of deficiency or diseases, detected by all of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases and exchanged by means of the communication system. are thus stored in each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases.
  • each of said geographical databases stored locally in each of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases represents the real state, as measured by the all of said at least two detection systems 2 of weeds or leaf symptoms of deficiencies or diseases, and health of said agricultural plot 5 traversed.
  • mapping information of the agricultural plot 5 traversed by said agricultural machine is transmitted by means of a communication system, and displayed on a control screen intended for the technician processing the agricultural plot. 5.
  • the communication system used to transmit the mapping information of the agricultural plot 5 to said control screen intended for the technician processing the agricultural plot 5, comprises a wired Gigabit Ethernet network.
  • the communication system used to transmit the mapping information of the agricultural plot 5 to said control screen for the technician processing the agricultural plot 5, is a wired CAN network ("Control Area Network" ).
  • the mapping of agricultural plot 5 finds an advantageous use in order to produce statistics of spraying or treatments applied to said agricultural plot 5. Said statistics also make it possible to measure the prevalence, presence and quantity of certain species of weeds. , as well as their densities and stages. The prevalence, presence and density of leaf symptoms of deficiency or diseases can also be calculated from the information contained in the mapping of agricultural plot 5.
  • each detection system communicates with neighboring detection systems, for collaborative treatment decision making.
  • a central processor adapted to communicate, via the communication system, with the detection systems, to take a decision, and to communicate the processing instructions to the processing devices 3 via the communication system.
  • a single detection system 2 of weeds or leaf symptoms of deficiency or disease makes a collaborative decision using information relating to other detection systems 2 of weeds or leaf deficiency symptoms or disease.

Abstract

L'invention concerne un dispositif collaboratif de contrôle de traitement de parcelle agricole destiné à être monté sur une machine agricole (1), composé d'un ensemble de détecteurs (2) d'adventices ou symptômes foliaires de carences ou maladies collaborant à la décision de contrôler les dispositifs de traitement (3) de la parcelle agricole.

Description

Description
Titre de l’invention : DISPOSITIF DE
CONTRÔLE DE TRAITEMENT AGRICOLE
[1] DOMAINE TECHNIQUE
[2] La présente invention se rapporte à un dispositif de contrôle de traitement agricole destiné à être monté sur une machine agricole, intégrant au moins un dispositif contrôlable de traitement de la parcelle et au moins un détecteur d'adventices ou de symptômes foliaires de carences ou maladies.
[3] ART ANTERIEUR
[4] Les cultures agricoles nécessitent un entretien régulier afin d’optimiser la production agricole. Les traitements de fertilisation, de désherbage, de lutte contre les carences, ou de lutte contre les maladies ou nuisibles sont nécessaires afin d’optimiser le rendement de production de ces cultures.
[5] Les techniques culturales modernes tendent à réduire les intrants et traitements, dans cet objectif, elles proposent différentes méthodes afin de traiter ces problématiques.
[6] Les mesures prophylactiques, dont l’objectif est de réduire au maximum le nombre d’adventices présents sur une parcelle agricole entrant en concurrence avec la culture sont largement employées dans les itinéraires techniques des grandes cultures et cultures maraîchères. Les méthodes suivantes sont recommandées dans cet objectif :
- Les rotations de cultures fut l’une des premières méthodes théorisée dès le début du XXe siècle, tel que décrit dans le document « Clyde E. Leighty, 1938 Yearbook of Agriculture », consistant en une alternance des cultures automnales et printanières cela afin de rompre certains cycles biologiques des adventices ;
- le labour permet de réduire le nombre d’adventices dans la culture par enfouissement des graines de ceux-ci ;
- le faux semis, tel que décrit dans le document « Evaluating Cover Crops for Benefits, Costs and Performance within Cropping System Niches. » Agronomy Journal 97 (1). American Society of Agronomy: 322-32, en faisant lever des adventices à levée rapide, détruits avant le semis de la culture permet également de réduire le taux d’adventices présents dans la culture.
[7] Les mesures curatives, dont l’objectif est d’éviter les levées d’adventices dans la culture, et d’avoir une incidence sur le rendement de celle-ci recommandées sont les suivantes : - Le désherbage chimique, tel que décrit dans le document « Pulvérisation en grandes cultures. Les clés de la réussite », Arvalis, permet d’éviter les levées d’adventices dans la culture. Les produits phytosanitaires dédiés au désherbage chimique sont adaptés soit à un traitement pré-levée permettant d’éviter la germination des adventices présents à l’état de graines, soit à un traitement post-levée, permettant de détruire les adventices ayant levé dans la culture. Le désherbage chimique est soit sélectif, permettant de traiter une typologie d’adventice, soit non-sélectif, permettant de détruire l’ensemble des végétaux présent dans la parcelle au moment du traitement. L’utilisation répétée d’un même groupe chimique de désherbant entraîne l’apparition de résistances des adventices, ainsi qu’une phytotoxicité ayant un impact sur le rendement de la culture. Les désherbants chimiques sont appliqués sur la parcelle au moyen d’un pulvérisateur ;
- le désherbage mécanique tel que décrit dans le document « La bineuse, un outil adapté à une large gamme de sol », Arvalis, en pré-levée ou post-levée, permet de détruire soit les plantules d’adventices, soit les adventices à un stade plus avancé. Ce procédé de désherbage améliore la structure du sol et perturbe également le cycle de certains ravageurs. Les outils employés pour un désherbage mécanique sont les herses étrilles ou houes rotatives pour un désherbage complet ou les bineuses à dents pour un traitement inter-rang ou sous le rang ;
- des méthodes alternatives sont développées, tel que décrit dans le document «Alternative methods in weed management to the use of glyphosate and other herbicide », pesticide action network europe, 2018 (second édition), avec notamment, le traitement des adventices par injection d’un courant électrique, consistant à détruire chaque adventice levé par éclatement des cellules biologiques en provoquant une évaporation de l’eau contenue dans celles-ci, les traitements des adventices par chaleur, dont les procédés sont basés sur l’utilisation de laser, ou d’eau chaude haute pression, permettent de détruire sélectivement les adventices par un apport calorique suffisant à la destruction des cellules biologiques de l’adventice.
[8] Les méthodes de traitement des carences et des maladies ou de lutte contre les nuisibles recommandées sont essentiellement basées sur des traitements chimiques.
[9] Les traitements, qu’ils soient chimiques, mécaniques ou alternatifs, sont exécutés par un engin, généralement attachée à un véhicule motorisé qui se déplace dans la culture.
[10] Ces traitements, sont traditionnellement larges et ne prennent pas en compte la présence ou non d’adventices, des nuisibles, des carences ou des maladies, en traitant la totalité de la parcelle agricole de façon homogène. Ce mode de contrôle est peu précis et entraîne une surutilisation des produits phytosanitaires lorsque le traitement est chimique, ou un débit de chantier réduit lorsque le traitement est mécanique ou alternatif.
[11] Dans ce contexte, la thèse « Segmentation d’images pour la localisation d’adventices. Application à la réalisation d’un système de vision pour une pulvérisation spécifique en temps réel », Jérémie Bossu, Université de Bourgogne/CNRS 5158, 4 décembre 2007, décrit un dispositif expérimental de pilotage d’épandage comprenant une caméra montée sur un engin agricole, une unité centrale de détection et de calcul de l’instant optimal de pulvérisation, prenant en compte la position des plantes dans les images acquises par la caméra.
[12] Le document WO2012/032245, « Système de commande pour épandage agricole », décrit un système de commande d’épandage comprenant un ensemble de buses d’épandage, des moyens de cartographie de plantes à traiter utilisant, dans une forme de réalisation, des caméras, et des moyens pour piloter l’épandage en fonction des données de cartographie produite. Ce système de commande, nécessitent un premier passage du système dans la parcelle agricole afin de produire une cartographie de cette parcelle agricole utilisée dans un deuxième passage pour l’application du traitement.
[13] Le document WO2012/122988, « Rampe de pulvérisation pour pulvériser de manière sélective une composition désherbante sur des dicotylédones », décrit un procédé permettant de discerner une catégorie d’adventices parmi d’autres adventices afin de sélectivement traiter les adventices concernées par la détection. Ce procédé utilise une caméra stéréoscopique afin de discerner les adventices, et ne permet pas de discerner les adventices de la même famille, par exemple dicotylédones, à des stades précoces. De la même façon, ce procédé n’est pas adapté à une détection de symptômes foliaires de carences ou maladies.
[14] Le document US2018/0240228, « Sélective plant détection and treatment using green luminance photometric machine vision scan with real time chromaticity operations and image parameter floors for low Processing load », décrit un procédé permettant la détection de végétaux dans une image et de cibler celui-ci dans un traitement. Ce procédé n’est pas adapté à une détection sélective des familles d’adventices, ni à la détection de symptômes foliaires de carences ou maladies.
[15] Le document FR 3 063 206 comprend plusieurs modes de réalisation, mais le mode de réalisation principal comprend une unique unité de traitement, qui peut certes utiliser des images en provenance de plusieurs caméras. Bien que ce document mentionne également « plusieurs unités de traitement », cette mention est succincte, et le seul mode de réalisation pratique est celui d’une pluralité de sous-systèmes de contrôle comprenant chacun une unité de traitement.
[16] Le document CN 108 990 944 semble décrire un drone portant une caméra dans le domaine visible et une caméra infra-rouge, dont les images sont fusionnées par un processeur central.
[17] Par ailleurs, le document FR1873313, « Dispositif de détection à acquisition hyperspectrale » décrit un dispositif d’acquisition hyperspectrale à détection directe apte à détecter la signature de forme, texture et réflectance spectrale d’un adventice, ou de symptômes foliaires de carences ou maladies, dans une culture. Ce dispositif est adapté au discernement des adventices à des stades précoces, y compris des adventices de la même famille. De même, ce dispositif est adapté à la détection de symptômes foliaires de carences ou maladies. Le document FR1901202, « Dispositif de détection hyperspectrale par fusion de capteurs », décrit un procédé alternatif de détection directe apte à détecter la présence d’adventices, ou de symptômes foliaires de carences ou maladies dans une image de culture. Les documents FR1905916 et WO2019EP85847 reprennent et complètent les deux documents précédents. Ces quatre dernières demandes de brevet sont incorporées ici par référence en entier à toute fin utile.
[18] Les problématiques de détection des adventices sont multiples. Les formulations des traitements chimiques de désherbage sélectif, s’adressent, pour chacune d’entre elles, à une famille d’adventices, par exemple les dicotylédones, et ont une efficacité adaptée à certains stades de développement de l’adventice, par exemple le stade plantule. Il apparaît donc nécessaire d’être capable de discerner avec une grande fiabilité les adventices d’une certaine famille parmi l’ensemble des végétaux présents dans la parcelle agricole. De façon équivalente, la détection de maladies ou carences dans une culture nécessite une grande fiabilité de détection afin de couvrir l’ensemble des zones affectées dans la culture.
[19] En outre, les équipements agricoles de traitement, tout particulièrement les rampes de pulvérisations, peuvent couvrir une grande largeur, jusqu’à 50m, de traitement ; ces rampes possèdent alors un grand nombre de buses de traitement. Un système de détection doit donc être en capacité de détecter avec une grande fiabilité la présence de certaines familles d’adventices ou de symptômes foliaires de carences ou de maladies, sur une grande largeur.
[20] Ainsi, le problème technique de l'invention consiste à détecter la présence d’adventices, ou de symptômes foliaires de carences ou maladies en temps réel lors du parcours d’un engin agricole.
[21] EXPOSE DE L’INVENTION [22] La présente invention se propose de répondre à ce problème technique en équipant une machine agricole d’un ensemble de capteurs d’adventices ou de symptômes foliaires de carences ou maladies ; lesdits capteurs d’adventices ou de symptômes foliaires de carences ou maladies collaborant à la détection et au pilotage du traitement à appliquer en fonction des détections faites par chacun desdits capteurs d’adventices ou de symptômes foliaires de carences ou maladies.
[23] A cet effet, l'invention concerne un dispositif de contrôle de traitement agricole destiné à être monté sur une machine agricole, ladite machine agricole comportant au moins un dispositif de traitement contrôlable, le dispositif de contrôle de traitement agricole comprenant :
- au moins un système de détection d'adventices ou de symptômes foliaires de carences ou maladies, chacun étant adapté pour une fixation sur la machine agricole,
un système de localisation d’au moins un système de détection d’adventices ou de symptômes foliaires de carences ou maladies.
[24] L'invention se caractérise en ce qu’au moins un système de détection d'adventices ou de symptômes foliaires de carences ou maladies collabore avec un système de détection d'adventices ou de symptômes foliaires de carences ou maladies dont la zone de détection se recouvre partiellement avec celle dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies afin de décider collaborativement du traitement à appliquer sur la zone de détection dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies. Le dispositif comprend un système de communication entre lesdits au moins un systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies et au moins un dispositif de traitement. Ce mode de réalisation permet un traitement chimique, thermique ou mécanique sélectif dans une parcelle agricole.
[25] Au sens de l'invention, un dispositif de contrôle de traitement agricole est composé d’au moins un capteur détectant la présence et la localisation d’adventices ou de symptômes foliaires de carences ou maladies dans une parcelle agricole, et d’un procédé collaboratif de décision automatisé d’application d’un traitement ; le traitement pouvant être de différentes natures notamment chimique, mécanique ou électrique.
[26] Selon un mode de réalisation, ledit au moins un système de détection d’adventices ou de symptômes foliaires de carences ou maladies est adapté pour collaborer avec un autre système de détection d’adventices ou de symptômes foliaires de carences ou maladies dont la zone de détection se recouvre latéralement partiellement avec celle dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies. [27] Selon un mode de réalisation, ledit au moins un système de détection d’adventices ou de symptômes foliaires de carences ou maladies est adapté pour collaborer avec un système de détection d’adventices ou de symptômes foliaires de carences ou maladies dont la zone de détection se recouvre temporellement avec celle dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies.
[28] Selon un mode de réalisation, le système de localisation comprend un système de géolocalisation et/ou une centrale inertielle.
[29] Selon un mode de réalisation, le dispositif comprend au moins deux systèmes de détection d’adventices ou de symptômes foliaires de carences ou maladies.
[30] Selon un mode de réalisation, un, notamment chaque, système de détection d’adventices ou de symptômes foliaires de carences ou maladies est équipé d’un système de localisation.
[31] Selon un mode de réalisation, un, notamment chaque, système de détection d’adventices ou de symptômes foliaires de carences ou maladies est adapté pour collaborer avec un autre, notamment les autres, systèmes de détection d’adventices ou de symptômes foliaires de carences ou maladies.
[32] Selon un mode de réalisation, un, notamment chaque, système de détection d'adventices ou de symptômes foliaires de carences ou maladies comprend un capteur hyperspectral.
[33] Selon un mode de réalisation, un système de détection d’adventice ou de symptôme foliaire de carence ou de maladie est adapté pour détecter la présence d’adventices ou symptômes foliaires de carences ou maladies depuis des particularités propres aux adventices ou symptômes foliaires de carences ou maladies.
[34] Selon un mode de réalisation, un système de détection d’adventice ou de symptôme foliaire de carence ou de maladie est adapté pour détecter une zone pour un adventice ou un symptôme foliaire de carence ou maladie.
[35] Selon un mode de réalisation, un système de détection d’adventice ou de symptôme foliaire de carence ou de maladie est complété avec une probabilité de présence desdites particularités propres aux adventices ou symptômes foliaires de carences ou maladies.
[36] Selon un mode de réalisation, le système de localisation est adapté pour localiser le traitement à appliquer sur la zone de détection.
[37] Selon un mode de réalisation, le dispositif comprend un système de communication entre lesdits systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. [38] Selon un mode de réalisation, un recouvrement temporel desdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies est obtenu.
[39] Selon un mode de réalisation, un, notamment chaque, système de détection comporte un système de détection directe de particularités dans la scène hyperspectrale intégrant un réseau de neurones profond et convolutif architecturé pour détecter au moins une particularité recherchée dans ladite scène hyperspectrale pour un adventice ou un symptôme foliaire de carence ou maladie depuis au moins une image compressée de la scène hyperspectrale.
[40] Selon un mode de réalisation, un, notamment chaque, système de détection comporte un système de détection de particularités dans la scène hyperspectrale comprenant :
- un réseau de neurones configuré pour calculer un hypercube hyperspectral de la scène hyperspectrale depuis au moins une image compressée et une image non compressée de la scène hyperspectrale,
- un module de caractérisation pour détecter l’adventice ou le symptôme foliaire de carence ou maladie à partir de l’hypercube hyperspectral.
[41] Selon un mode de réalisation, ledit dispositif de traitement agricole comprend au moins une buse de pulvérisation, le débit ou la pression de ladite au moins une buse de pulvérisation étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Ce mode de réalisation permet un traitement chimique de désherbage des adventices ou de traitement des carences ou maladies dans la parcelle en optimisant la quantité de produit phytosanitaire épandu dans la parcelle agricole.
[42] Selon un mode de réalisation, ledit dispositif de traitement agricole comprend au moins un LASER de destruction des adventices, ledit au moins un LASER étant contrôlée par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Ce mode de réalisation permet un traitement destructif par LASER des adventices de la parcelle, en optimisant le débit de chantier par la sélection des seuls adventices concernés par le traitement.
[43] Selon un mode de réalisation, ledit dispositif de traitement agricole comprend au moins un jet d'eau à haute pression dont l'objectif est la destruction des adventices, ledit au moins un jet d'eau haute pression étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Ce mode de réalisation permet un traitement destructif par jet d’eau haute pression des adventices de la parcelle, en optimisant le débit de chantier par la sélection des seuls adventices concernés par le traitement.
[44] Selon un mode de réalisation, ledit dispositif de traitement agricole comprend au moins un outil de désherbage mécanique de binage, ledit au moins un outil de désherbage mécanique de binage étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Ce mode de réalisation permet un traitement destructif mécanique des adventices de la parcelle, en optimisant le débit de chantier par la sélection des seuls adventices concernés par le traitement.
[45] Selon un mode de réalisation, ledit dispositif de traitement agricole comprend au moins un outil de désherbage électrique de destruction des adventices, ledit au moins un outil de désherbage électrique étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Ce mode de réalisation permet un traitement destructif de désherbage électrique des adventices de la parcelle, en optimisant le débit de chantier par la sélection des seuls adventices concernés par le traitement.
[46] Selon un mode de réalisation, le dispositif de traitement agricole est localisé.
[47] Selon un mode de réalisation, l’ensemble desdits au moins un système de détection d'adventices ou de symptômes foliaires de carences ou maladies est adapté pour construire collaborativement une cartographie de la parcelle agricole parcourue par ladite machine agricole, ladite cartographie étant construite par un procédé de géostatistiques avec des données de détection localisées représentant l'état réel tel que mesuré par lesdits au moins un systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Ce mode de réalisation permet la génération d’une cartographie des détections d’adventices et de symptômes de carences ou maladies dans la parcelle agricole traitée à des fins de statistiques et suivi de traitement des parcelles agricoles.
[48] Selon un mode de réalisation, le dispositif comprend en outre un écran de contrôle, et ladite cartographie de la parcelle agricole parcourue est affichée sur récran de contrôle à destination du technicien procédant au traitement de la parcelle agricole. Ce mode de réalisation permet au technicien procédant au traitement de la parcelle agricole de suivre en temps réel l’application du traitement dans la parcelle agricole.
[49] Selon un mode de réalisation, un processeur est adapté pour produire des statistiques de pulvérisation, de prévalence, d'espèces, de densités, ou de stades des adventices ou des symptômes foliaires de carences ou maladies présents dans la parcelle agricole en utilisant la cartographie de la parcelle agricole parcourue. Ce mode de réalisation permet un suivi des traitements dans la parcelle.
[50] Selon un aspect, l’invention se rapporte à un procédé de pilotage collaboratif de traitement agricole mis en œuvre par un dispositif destiné à être monté sur une machine agricole, ladite machine agricole comportant au moins un dispositif de traitement contrôlable, le procédé de contrôle de traitement agricole comprenant :
- une décision collaborative dudit au moins un systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies dont les zones de détection se recouvrent partiellement, chacun étant adapté pour une fixation sur la machine agricole et la localisation du traitement à appliquer sur la zone de détection ; et
- une communication entre lesdits systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies avec ledit au moins un dispositif de traitement.
[51] Selon un mode de réalisation, le procédé de pilotage collaboratif du dispositif de traitement monté sur une machine agricole sur laquelle est monté un ensemble de systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies, comporte, pour chacun d’au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies, les étapes de :
- Acquisition d’une nouvelle donnée image depuis le sol de la parcelle agricole parcourue sur laquelle se déplace une machine agricole au moyen dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Acquisition des informations additionnelles de position dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies au moyen d’une centrale inertielle et du système de localisation ; et
- Projection de ladite donnée image acquise par chacun desdits systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies sur le plan du sol ; et
- Détection de présence d'adventices ou de symptômes foliaires de carences ou maladies depuis ladite donnée image acquise et projetée sur ledit plan du sol ; et
- Calcul des positions des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies ; ledit calcul de position utilisant les informations de localisation dudit système de localisation dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies et les informations de détection dans ladite donnée image ; et
- Communication desdites positions des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies à l’ensemble des autres systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Réception desdites positions des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit détecteur d'adventices ou de symptômes foliaires de carences ou maladies en provenance d’autres systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Fusion desdites positions des adventices ou symptômes foliaires de carences ou maladies de l’ensemble des systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Calcul de la commande à envoyer au dispositif de traitement concerné par la zone de détection dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Émission de la commande au dispositif de traitement concerné par la zone de détection dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies.
[52] Selon un aspect, ladite projection utilise les informations en provenance de ladite centrale inertielle dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies afin de déterminer l’angle de prise de la donnée image par rapport au vecteur normal au sol.
[53] Selon un aspect, communication desdites positions des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies à d’autres, notamment à l’ensemble des autres systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies.
[54] Selon un aspect, la fusion est pondérée en fonction de la qualité et la distance calculée de chaque détection.
[55] L’invention est assemblée sur une machine agricole comprenant au moins un dispositif de traitement contrôlable. La machine agricole est telle que lesdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies sont fixés sur le support desdits au moins un dispositif de traitement contrôlable et communiquent entre eux ainsi qu’avec la pluralité desdits au moins un dispositif de traitement contrôlable pour, en opération, émettre la commande de pilotage d’activation adaptée pour être reçue par chacun desdits au moins un dispositif de traitement contrôlable pour déclencher le traitement sur le végétal cible. [56] En ce qui concerne l’opération de projection desdites données images sur le plan du sol, les informations de roulis, tangage et lacet sont utilisées ; ces informations de roulis, tangage et lacet étant calculées en continu et maintenues à jour par chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies au moyen d’un algorithme d’estimation d’attitude utilisant les informations brutes de ladite centrale inertielle embarquée dans chacun desdits au moins deux systèmes de détection d’adventices ou de symptômes foliaires de carences ou maladies. Par exemple, l’algorithme d’estimation d’attitude, permettant de calculer les informations de roulis, tangage et lacet, peut être un filtre de Kalman étendu, un algorithme de Mahony ou de Madgwick. Le document « A comparison of multisensor attitude estimation algorithm », A. Cirillo, P. Cirillo, G. De Maria, C. Natale, S. Pirozzi, décrit et compare un ensemble d’algorithmes de fusion de données de centrales inertielles afin d’en extraire l’attitude, définie par les angles de roulis, tangage, et lacet, du système.
[57] En variante, lesdites informations d’attitude peuvent être calculées depuis les informations brutes des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Lesdites informations brutes des centrales inertielles étant échangées au moyen du système de communication connectant lesdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies en continu, l’algorithme d’estimation d’attitude exécuté sur chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies peut utiliser l’ensemble des informations brutes. Ainsi, les estimations de roulis, tangage et lacet sont consolidées par un ensemble de mesures similaires, cohérentes et covariantes entre elles. Par exemple, un filtre de Kalman étendu peut être utilisé dans chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies, en prenant les données issues des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Le document « Data Fusion Algorithms for Multiple Inertial Measurement Units », Jared B. Bancroft and Gérard Lachapelle, Sensors (Basel), 29/06/2011 , 6771-6798, présente un algorithme alternatif de fusion de données brutes d’un ensemble de centrales inertielles afin de déterminer les informations d’attitude.
[58] En variante, lesdites informations d’attitude peuvent être calculées depuis les informations brutes des centrales inertielles auxquelles les données de géolocalisation de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies sont ajoutées. Lesdites informations brutes des centrales inertielles ainsi que les données de géolocalisation étant échangées au moyen du système de communication connectant lesdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies, l’algorithme d’estimation d’attitude peut utiliser l’ensemble des informations brutes. Par exemple, un filtre de Kalman étendu peut être utilisé dans chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies, en prenant les données issues des centrales inertielles ainsi que les données de géolocalisation de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Par ailleurs, un procédé, tel que décrit dans le document « Attitude estimation for accelerated vehicles using GPS/INS measurements », Minh-Duc Hua, 07/2010, Control Engineering Practice Volume 18, Issue 7, July 2010, pages 723-732, permet une fusion des informations issues d’un système de géolocalisation et d’une centrale inertielle.
[59] Ladite projection au sol de ladite donnée image est calculée suivant les relations suivantes :
[61] R=Rz. Ry. Rx
1 0 0
[62] Rx — 0 cosy —siny
.0 siny cosy .
cos/? 0 eίhb
[63] Ry — 0 1 0
—Xίhb 0 cos/?_
[65] Où :
- Imgprojetée est Ie tenseur contenant les pixels de l’image projetée au sol ; et
- Imgacquise est Ie tenseur contenant les pixels de ladite donnée image brute ; et
- R est la matrice contenant les rotations suivant les trois axes de roulis, tangage et lacet ; et
- a est l’angle de lacet ; et
- b est l’angle de roulis ; et
- y est l’angle de tangage.
[66] Lesdites données images projetées au sol sont utilisées pour détecter la présence d’adventices ou symptômes foliaires de carences ou maladies depuis les particularités propres aux adventices ou symptômes foliaires de carences ou maladies afin de détecter les zones dans lesdites données images projetées dans lesquelles les végétaux cibles sont présents. Chacune des détections de présence d’adventices ou symptômes foliaires de carences ou maladies est complétée avec une probabilité de présence desdites particularités propres aux adventices ou symptômes foliaires de carences ou maladies. Ces informations de probabilités sont nécessaires aux calculs de géostatistiques permettant de décider l’application d’un traitement sur le végétal cible. Par exemple, un capteur hyperspectral, tel que décrit dans le document FR1873313, « Dispositif de détection à acquisition hyperspectrale » ou dans le document FR1901202, « Dispositif de détection hyperspectrale par fusion de capteurs », ou dans le document FR1905916, « Dispositif de détection hyperspectrale » peut être utilisé afin de détecter les particularités recherchées d’adventices ou symptômes foliaires de carences ou maladies.
[67] En ce qui concerne le calcul des positions des adventices ou symptômes foliaires de carences ou maladies, la détection des particularités propres aux adventices ou symptômes foliaires de carences ou maladies dans ladite donnée image projetée indique la présence desdits végétaux cibles dans le système de coordonnées de ladite donnée image projetée. En outre, chacune des données images projetées est géolocalisée à partir des informations de géolocalisation obtenues au moyen dudit système de géolocalisation dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies. Ladite information de géolocalisation obtenue correspond à la position dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies au moment de la capture de ladite donnée image. Ladite opération de projection au sol est appliquée sur ladite information de géolocalisation afin d’obtenir les coordonnées projetées au sol de ladite donnée image projetée. Ainsi les contours de la détection desdites particularités propres aux adventices ou symptômes foliaires de carences ou maladies détectées sur chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies sont géolocalisés dans la parcelle agricole.
[68] Chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies obtient en continu et au moyen du système de communication entre les différents systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies les informations de détections géolocalisées de l’ensemble des autres systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. L’ensemble des informations desdites détections d’adventices ou de symptômes foliaires de carences ou maladies en provenance de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies est stocké dans une base de données géographique locale à chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. [69] Chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies calcule les géostatistiques en temps réel de présence d’adventices ou de symptômes foliaires de carences ou maladies à partir de l’ensemble desdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies géolocalisées et pour lesquelles une informations de probabilité de présence est fournie. Le calcul des géostatistiques utilise un algorithme de krigéage, tel que décrit dans le livre « Lognormal-de Wijsian Geostatistics for Ore Evaluation », D.G. Krige, 1981 , ISBN 978- 0620030069 ; Ledit algorithme de krigéage permettant de consolider lesdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies en provenances de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies en tenant compte des probabilités respectives de chacune desdites détection. Lorsque lesdites informations de détection d’adventices ou de symptômes foliaires de carences ou maladies consolidées au moyen dudit calcul de géostatistique confirment la présence de la particularité recherchée de l’adventice ou symptôme foliaire de carence ou maladie, l’information de détection géolocalisée est ajoutée à la liste des végétaux cibles à traiter.
[70] Chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies calcule en continu la vitesse instantanée de déplacement au moyen desdites informations de géolocalisation obtenues au moyen dudit système de géolocalisation. L’information de vitesse est nécessaire afin d’estimer l’instant de commande dudit au moins un dispositif de traitement agricole et d’anticiper le temps de traitement en fonction dudit dispositif de traitement agricole.
[71] En ce qui concerne le calcul de la commande à envoyer auxdits au moins un dispositif de traitement agricole, chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies estime à chaque instant et pour chacun desdits végétaux cibles actuellement à portée desdits au moins un dispositif de traitement, lequel desdits au moins un dispositif de traitement est le plus adapté à traiter ledit végétal cible ; Par exemple, la buse d’épandage la plus proche du végétal cible est sélectionnée lorsque ledit au moins un dispositif de traitement est une rampe d’épandage. De la même façon, l’outil de traitement le plus proche du végétal cible peut être sélectionné. Cette détermination utilise la donnée de localisation du dispositif de traitement, exprimée dans le référentiel de la parcelle dans lequel les adventices ou symptômes foliaires de carences ou de maladies sont géolocalisées.
[72] Les commandes de pilotage sont transmises audit au moins un dispositif de traitement agricole au moyen du moyen de communication entre lesdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies et ledit au moins un dispositif de traitement agricole.
[73] En ce qui concerne le pilotage dudit au moins un dispositif de traitement agricole, l’ensemble des informations desdites détections d’adventices ou de symptômes foliaires de carences ou maladies sont géolocalisées et lesdits au moins un dispositif de traitement agricole sont actionnés à l’instant exact où ledit au moins un dispositif de traitement agricole sont au-dessus des végétaux cibles.
[74] Selon un aspect, les procédés informatisés qui sont décrits ici sont mis en œuvre par un ou plusieurs programmes d’ordinateur exécutés par un processeur d’une machine programmable.
[75] DESCRIPTION SOMMAIRE DES FIGURES
[76] La manière de réaliser l’invention ainsi que les avantages qui en découlent, ressortiront bien du mode de réalisation qui suit, donné à titre indicatif mais non limitatif, à l’appui des figures annexées dans lesquelles les figures 1 à 17 représentent :
[77] - [Fig. 1] : une représentation schématique du dispositif complet ; et
[78] - [Fig. 2] : une représentation schématique structurelle des éléments du dispositif de la Fig. 1 ;
[79] - [Fig. 3] : une représentation schématique de face d'un dispositif de capture d'une image hyperspectrale selon un mode de réalisation de l'invention ;
[80] - [Fig. 4] : une représentation schématique structurelle des éléments du dispositif de la figure 3 ;
[81] - [Fig. 5] : une représentation schématique des poids d'influence du réseau de neurones de la figure 4 ;
[82] - [Fig. 6] : une représentation schématique de l'architecture du réseau de neurones de la figure 4.
[83] [Fig. 7] : une représentation schématique de face des éléments d’un dispositif de capture et de détection dans une scène hyperspectrale selon un mode de réalisation de l’invention ;
[84] [Fig. 8] : une représentation schématique structurelle des éléments du dispositif de la Fig. 7 ;
[85] [Fig. 9] : une représentation schématique structurelle alternative des éléments du dispositif de la Fig. 7 ; [86] [Fig. 10] : une représentation schématique des diffractions obtenues par le dispositif d’acquisition de la Fig. 8 ;
[87] [Fig. 11] : une représentation schématique de l’architecture du réseau de neurones de la Fig. 8.
[88] [Fig. 12] : une représentation schématique de face des éléments d’un dispositif de capture et de détection dans une scène hyperspectrale selon un deuxième mode de réalisation de l’invention ;
[89] [Fig. 13] : une représentation schématique structurelle des éléments du dispositif de la Fig. 12 ;
[90] [Fig. 14] : une représentation schématique de l’architecture du réseau de neurones de la Fig. 13.
[91] - [Fig. 15] : une représentation schématique structurelle, vue en projection, des éléments du dispositif de la Fig. 1 ;
[92] - [Fig. 16] : un graphe montrant un procédé de pilotage collaboratif de dispositifs de traitement agricole ; et
[93] [Fig. 17] est une représentation schématique similaire à la figure 15 pour une autre réalisation.
[94] MANIERE DE DECRIRE L’INVENTION
[95] Par « directe », quand on qualifie la détection de particularité, on décrit ainsi que le résultat de sortie du système de détection est la particularité recherchée. On exclut ici les cas où le résultat de sortie du système de détection ne correspond pas à la particularité recherchée, mais correspond uniquement à un intermédiaire dans le calcul de la particularité. Toutefois, le résultat de sortie du système de détection directe peut, en plus de correspondre à la particularité recherchée, aussi être utilisé pour des traitements ultérieurs. Notamment, par « direct », on entend que le résultat de sortie du système de détection de particularités n’est pas un cube hyperspectral de la scène qui, en soi, ne constitue pas une particularité de la scène.
[96] Par « compressée », on fait référence à une image bi-dimensionnelle d’une scène tri dimensionnelle comprenant des informations spatiales et spectrales de la scène tri dimensionnelle. Les informations spatiales et spectrales de la scène tridimensionnelle sont ainsi projetées au moyen d’un système optique sur une surface de captation bidimensionnelle. Une telle image « compressée » peut comprendre une ou plusieurs images diffractées de la scène tridimensionnelle, ou des parties de celles-ci. En complément, elle peut aussi comprendre une partie d’une image non-diffractée de la scène. Ainsi, le terme « compressé » est utilisé parce qu’une représentation en deux-dimensions d’une information spectrale tri-dimensionnelle est possible. Par « spectral », on comprend qu’on va au-delà, en terme de nombre de fréquences détectées, d’une image RGB « standard » de la scène.
[97] Par « standard », on fait référence, par opposition à une image « compressée », à une image ne présentant pas de diffraction de la scène hyperspectrale. Une telle image peut quand même être obtenue par des manipulations optiques par l’intermédiaire de miroirs réfléchissants ou de lentilles.
[98] Par « non-homogène », on fait référence à une image dont les propriétés ne sont pas identiques sur l’ensemble de l’image. Par exemple, une image « non-homogène » peut contenir, à certaines localisations, des pixels dont l’information comprend essentiellement des informations spectrales à une certaine bande de longueur d’onde respective, ainsi que, en d’autres localisations, des pixels dont l’information comprend essentiellement des informations non spectrales. Un traitement informatique d’une telle image « non-homogène » n’est pas possible, car les propriétés nécessaires à son traitement ne sont pas identiques en fonction des localisations dans cette image.
[99] Par « particularité », on fait référence à une caractéristique de la scène - cette caractéristique peut être spatiale, spectrale, correspondre à une forme, une couleur, une texture, une signature spectrale ou une combinaison de celles-ci, et peut notamment être interprétée de manière sémantique.
[100] Par « objet », on fait référence au sens commun utilisé pour ce terme. Une détection d’objet sur une image correspond à la localisation et à une interprétation sémantique de la présence de l’objet sur la scène imagée. Un objet peut être caractérisé par sa forme, sa couleur, sa texture, sa signature spectrale ou une combinaison de ces caractéristiques.
[101] La Fig. 1 illustre un dispositif de contrôle de traitement agricole coopératif destiné à être monté sur une machine agricole 1 , ladite machine agricole 1 comprenant au moins un dispositif de traitement agricole contrôlable 3 ; ledit dispositif de contrôle de traitement agricole coopératif comprenant au moins deux systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladie, chacun étant adapté mécaniquement pour une fixation sur la machine agricole 1 et présentant un angle de visée de l’objectif d’acquisition en direction du sens d’avancement de ladite machine agricole 1. Comme on peut le voir en particulier sur la figure 1 , la machine agricole se déplace dans la parcelle agricole 5 selon une direction d’avancement. Les systèmes de détection 2 peuvent être disposés espacés les uns par rapport aux autres selon une direction horizontale transversale à la direction d’avancement. Ils peuvent être par exemple portés par une poutre transversale de la machine agricole. Pour fixer les idées, on peut définir l’axe « x » comme l’axe d’avancement de la machine agricole, et « y » l’axe horizontal transversal (sensiblement parallèle à la direction principale de la poutre). Par « horizontal », on fait référence au plan moyen du sol au niveau de la machine agricole. Le dispositif de traitement agricole 3 est contrôlable pour traiter une zone à traiter en aval de la zone imagée par le système de détection 2 d’adventices ou de symptômes foliaires de carences ou de maladies le long du déplacement de la machine agricole.
[102] Tel qu’illustré sur la Fig. 2, la pluralité desdits au moins deux systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies est fixée sur la machine agricole de façon à capturer les informations visuelles de la parcelle agricole 5. Chacun desdits au moins deux systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies a un champ de détection recoupant le champ de détection d’au moins un système de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies voisin._Pour les systèmes de détection 2 d’adventices ou de symptômes foliaires de carence ou maladie qui ne sont pas disposés aux extrémités de la poutre, leur champ de détection peut recouper le champ de détection d’au moins deux systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies voisins. Par exemple, un capteur hyperspectral, tel que décrit dans le document FR1873313, « Dispositif de détection à acquisition hyperspectrale » ou dans le document FR1901202, « Dispositif de détection hyperspectrale par fusion de capteurs », ou dans le document FR1905916, « Dispositif de détection hyperspectrale », ou dans le document WO2019EP85847, « Dispositif de détection hyperspectrale », peut être utilisé pour chacun desdits au moins deux systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies.
[103] Selon un premier mode de réalisation, le système de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies comprend un dispositif de capture 10 et un module informatisé de caractérisation 21. La figure 3 illustre un dispositif de capture 10 d'une image hyperspectrale 15 en trois dimensions comportant trois capteurs juxtaposés 11-13. Un premier capteur 11 permet d'obtenir une image compressée 14' d'un plan focal P1 T d'une scène observée. Tel qu'illustré sur la figure 4, ce premier capteur 11 comporte une première lentille convergente 30 qui focalise le plan focal P1 T sur une ouverture 31. Un collimateur 32 capte les rayons traversant l'ouverture 31 et transmet ces rayons à un réseau de diffraction 33. Une seconde lentille convergente 34 focalise ces rayons issus du réseau de diffraction 33 sur une surface de captation 35.
[104] La structure de ce réseau optique est relativement similaire à celle décrite dans la publication scientifique « Computed-tomography imaging spectrometer : expérimental calibration and reconstruction results », publiée dans APPLIED OPTICS, volume 34 (1995) nombre 22. [105] Cette structure optique permet d'obtenir une image compressée 14’, illustrée sur la figure 5, présentant plusieurs diffractions R0-R7 du plan focal P11' disposées autour d'une image non diffractée de petite taille. Dans l'exemple des figures 3 à 6, l'image compressée présente huit diffractions R0-R7 distinctes obtenues avec deux axes de diffraction du réseau de diffraction 33 disposés aussi éloignés que possible l’un de l’autre dans un plan normal à l’axe optique, c’est-à-dire sensiblement orthogonaux l’un à l’autre.
[106] En variante, trois axes de diffractions peuvent être utilisés sur le réseau de diffraction 33 de sorte à obtenir une image diffractée 14’ avec seize diffractions. Les trois axes de diffraction peuvent être équirépartis, c’est-à-dire séparés les uns des autres par un angle de 60°.
[107] Ainsi, de manière générale, l’image compressée comprend 2R+1 diffractions si on utilise R réseaux de diffraction équirépartis, c’est-à-dire séparés par le même angle les uns des autres.
[108] La surface de captation 35 peut correspondre à un capteur CCD (pour « charge- coupled device » dans la littérature anglo-saxonne, c'est-à-dire un dispositif à transfert de charge), à un capteur CMOS (pour « complementary metal-oxide-semiconductor » dans la littérature anglo-saxonne, une technologie de fabrication de composants électroniques), ou à tout autre capteur connu. Par exemple, la publication scientifique « Practical Spectral Photography », publiée dans Eurographics, volume 31 (2012) nombre 2, propose d'associer cette structure optique à un appareil photo numérique standard pour capter l'image compressée.
[109] De préférence, chaque pixel de l'image compressée 14’ est codé sur 8 bits permettant ainsi de représenter 256 couleurs.
[110] Un second capteur 12 permet d'obtenir une image non diffractée 17' d'un plan focal P12' de la même scène observée, mais avec un décalage induit par le décalage entre le premier 11 et le second capteur 12. Ce second capteur 12 correspond à un capteur RVB, c'est-à-dire un capteur permettant de coder l'influence des trois couleurs Rouge, Verte et Bleue du plan focal P12'. Il permet de rendre compte de l'influence de l'utilisation d'un filtre bleu F1 , d'un filtre vert F2 et d'un filtre rouge F3 sur la scène observée.
[111] Ce capteur 12 peut être réalisé par un capteur CMOS ou CCD associé à filtre de Bayer. En variante, tout autre capteur peut être utilisé pour acquérir cette image RVB 17'. De préférence, chaque couleur de chaque pixel de l'image RVB 17' est codée sur 8 bits. Ainsi, chaque pixel de l'image RVB 17' est codé sur 3 fois 8 bits. En variante, on pourrait utiliser un capteur monochrome. [112] Un troisième capteur 13 permet d'obtenir une image infrarouge 18', IR, d'un troisième plan focal P13' de la même scène observée avec également un décalage avec le premier 11 et le second capteurs 12. Ce capteur 13 permet de rendre compte de l'influence de l'utilisation d'un filtre infrarouge F4 sur la scène observée.
[113] Tout type de capteur connu peut être utilisé pour acquérir cette image IR 18. De préférence, chaque pixel de l'image IR 18 est codé sur 8 bits. En variante, on utilise seulement l’un ou l’autre du capteur 12 et du capteur 13.
[114] La distance entre les trois capteurs 11-13 peut être inférieure à 1 cm de sorte à obtenir un recoupement important des plans focaux P1 T-P13' par les trois capteurs 11-13. Les capteurs sont par exemple alignés selon l’axe x. La topologie et le nombre des capteurs peuvent varier sans changer l'invention.
[115] Par exemple, les capteurs 11-13 peuvent acquérir une image de la même scène observée en utilisant des miroirs semi-transparents pour transmettre les informations de la scène observée aux différents capteurs 11-13. La figure 3 illustre un dispositif 10 comportant trois capteurs 11-13. En variante, d'autres capteurs peuvent être montés sur le dispositif 10 pour augmenter les informations contenues dans l'image hyperspectrale. Par exemple, le dispositif 10 peut intégrer un capteur dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nano- mètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètre et 20000 nanomètres.
[116] Tel qu'illustré sur la figure 4, le dispositif 10 comporte également un module de construction 16 d'une image hyperspectrale 15 à partir des différentes diffractions R0- R7 de l'image diffractée 14’ et des images non-diffractées 17’, 18’.
[117] Dans l'exemple des figures 3 à 6, dans lequel les capteurs 11-13 sont juxtaposés, une étape de prétraitement est réalisée pour extraire un plan focal P11-P13 présent sur chacune des images 14', 17'-18' acquises par les trois capteurs 11-13. Ce prétraitement consiste, pour chaque plan focal P1 -P13', à isoler 25 la partie commune des plans focaux P1 T-P13' puis à extraire 26 cette partie commune pour former l'image 14, 17- 18 de chaque plan focal P11-P13 observé par le capteur 11-13 spécifique. La partie de chaque image 14', 17'- 18' à isoler peut être définie directement dans une mémoire du dispositif de capture 10 en fonction des choix de positionnement des capteurs 11-13 entre eux, ou une étape d'apprentissage peut être utilisée pour identifier la partie à isoler 25.
[118] De préférence, les images 17'-18' issues de capteurs RVB et IR sont recoupées en utilisant une corrélation croisée en deux dimensions. L'extraction du plan focal de l'image diffractée 14' est calculée par interpolation des décalages en x et y entre les capteurs 12-13 ramenés à la position du capteur 11 de l'image diffractée en connaissant la distance entre chaque capteur 11-13. Cette étape de prétraitement n'est pas toujours nécessaire, notamment, lorsque les capteurs 1 1-13 sont configurés pour capturer le même plan focal, par exemple avec l'utilisation de miroirs semi-transparents.
[1 19] Lorsque les images 14, 17 et 18 de chaque plan focal P11-P13 observées par chaque capteur 1 1-13 sont obtenues, le module de construction 16 met en œuvre un réseau de neurones 20 pour former une image hyperspectrale 15 à partir des informations de ces trois images 14, 17-18.
[120] Ce réseau de neurones 20 vise à déterminer l'intensité lX Y A de chaque voxel VX,Y,A de l'image hyperspectrale 15.
[121] Pour ce faire, tel qu'illustré sur la figure 6, le réseau de neurones 20 comporte une couche d'entrée 40, apte à extraire les informations des images 14, 17-18, et une couche de sortie 41 , apte à traiter ces informations de sorte à créer une information pour le voxel VX Y A considéré.
[122] Le premier neurone de la couche d'entrée 40 permet d'extraire l'intensité I iR(x,y) de l'image IR 18 en fonction des coordonnées x et y du voxel VX,Y,A recherché. Par exemple, si l'image IR 18 est codée sur 8 bits, ce premier neurone transmet à la couche de sortie 41 la valeur sur 8 bits du pixel de l'image IR 18 aux coordonnées x et y recherchées. Le second neurone de la couche d'entrée 40 effectue la même tâche pour la couleur rouge 17a de l'image RVB 17.
[123] Selon l'exemple précédent, chaque couleur étant codée sur 8 bits, l'intensité recherchée lR (x ;y) est également codée sur 8 bits. Le troisième neurone recherche l'intensité lv(x ;y) de la même manière pour la couleur verte 17b et le quatrième neurone recherche l’intensité lB(x ;y) pour la couleur bleue 17c. Ainsi, pour ces quatre premiers neurones, il est très facile d'obtenir l'intensité, car il suffit d'utiliser la position en x et y du voxel recherché.
[124] Les neurones suivants de la couche d'entrée 40 sont plus complexes, car chacun des neurones suivants est associé à une diffraction R0-R7 de l'image diffractée 14.
[125] Ces neurones recherchent l'intensité d'une diffraction spécifique ln(x,y) en fonction de la position en x et y, mais également de la longueur d'onde l du voxel VX Y A recherché.
[126] Cette relation entre les trois coordonnées du voxel VX Y A et la position en x et y peut être codée dans une mémoire lors de l'intégration du réseau de neurones 20.
[127] De préférence, une phase d'apprentissage permet de définir cette relation en utilisant un modèle connu dont les paramètres sont recherchés à partir de représentations d'objets connus. Un exemple de modèle est défini par la relation suivante :
[128] avec : n=floor(M(dt-1)/DMAx) ;
n compris entre 0 et M, le nombre de diffractions de l'image compressée ;
A=(dr1)mod(DMAx/M) ;
dt compris entre 1 et DMAX;
xt compris entre 0 et XMAX ;
yt compris entre 0 et YMAX ;
XMAX la taille selon l’axe x du tenseur d’ordre trois de la couche d’entrée ;
YMAX la taille selon l’axe y du tenseur d’ordre trois de la couche d’entrée ;
DMAX la profondeur du tenseur d’ordre trois de la couche d’entrée ;
Asiicex, la constante du pas spectral selon l’axe x de ladite image compressée ;
Asiicev, la constante du pas spectral selon l’axe y de ladite image compressée ;
Xoffsetx(n) correspondant au décalage suivant l'axe x de la diffraction n ;
y0ffsetY(n) correspondant au décalage suivant l'axe y de la diffraction n.
Floor est un opérateur de troncature bien connu.
Mod représente l’opérateur mathématique modulo.
[129] Une phase d'apprentissage permet donc de définir les paramètres ASiiCex, ASiiCeY, Xoffsetx(n) , et y0ffsetY(n) , de sorte que chaque neurone puisse trouver rapidement l'intensité du pixel correspondant. En variante, d'autres modèles sont possibles, notamment en fonction de la nature du réseau de diffraction 33 utilisé.
[130] En outre, l'information liée à l'intensité du pixel ln(x,y) recherchée par chaque neurone peut être déterminée par un produit de convolution entre l'intensité du pixel de l'image compressée 14 et de ses proches voisins dans les différentes diffractions R0-R7. Selon l'exemple précédent, la sortie de ces neurones de la couche d'entrée 40 est également codée sur 8 bits.
[131] Toutes ces différentes intensités de la couche d'entrée 40 sont injectées dans un seul neurone de la couche de sortie 41 qui a pour fonction de combiner toutes ces informations et de fournir la valeur de l'intensité Ic g l du voxel recherché. [132] Pour ce faire, ce neurone de sortie 41 associe un poids à chaque information en fonction de la longueur d'onde l du voxel recherché. Suite à cette modulation sur l'influence des contributions de chaque image 17-18 et de chaque diffraction R0-R7, ce neurone de sortie 41 peut faire la somme des contributions pour en déterminer une intensité moyenne qui formera l'intensité Ic,g,l du voxel nc,g,l recherché, par exemple codé sur 8 bits. Ce processus est répété pour toutes les coordonnées du voxel nC U l, de sorte à obtenir un hypercube contenant toutes les informations spatiales et spectrales issues des images non- diffractées 17-18 et de chaque diffraction R0-R7. Par exemple, tel qu'illustré sur la figure 5, pour rechercher l'intensité Ic,g,l d'un voxel nc,g,l dont la longueur d'onde est de 500 nm, c'est- à-dire une longueur d'onde comprise entre celle du bleu (480 nm) et celle du vert (525 nm), le neurone de sortie 41 va utiliser les informations spatiales des images non diffractées obtenues avec des filtres bleu F1 et vert F2 ainsi que les informations des différentes diffractions R0-R7 obtenues en fonction de la longueur d'onde considérée. Il est possible de configurer le réseau de neurones 20 pour ne pas prendre en compte certaines diffractions R0-R7 de sorte à limiter le temps de calcul de la somme des contributions. Dans l'exemple de la figure 5, la troisième diffraction R2 n'est pas considérée par le neurone de la couche de sortie 41. Le poids de chaque contribution en fonction de la longueur d'onde l du voxel nc,g,l recherché peut également être défini lors de l'implantation du réseau de neurones 20 ou déterminé par une phase d'apprentissage. L'apprentissage peut être réalisé en utilisant des scènes connues captées par les trois capteurs 11-13 et en déterminant les poids de chaque contribution pour chaque longueur d'onde l de sorte que les informations issues de chaque scène connue correspondent aux informations contenues dans les scènes connues. Cet apprentissage peut être réalisé indépendamment ou simultanément avec l'apprentissage des relations entre les trois coordonnées du voxel nc,g,l et la position en x et y sur l'image diffractée 14. Ce réseau de neurones 20 peut être implémenté dans un système embarqué de sorte à traiter en temps réel les images issues des capteurs 11-13 pour définir et stocker une image hyperspectrale 15 entre deux acquisitions des capteurs 11-13. Par exemple, le système embarqué peut comporter une alimentation pour les capteurs 11-13, un processeur configuré pour réaliser les calculs des neurones de la couche d'entrée 40 et de la couche de sortie 41 et une mémoire intégrant les poids de chaque neurone de la couche d'entrée 40 en fonction de la longueur d'onde h. En variante, les différents traitements peuvent être réalisés indépendamment sur plusieurs circuits électroniques sans changer l'invention. Par exemple, un circuit d'acquisition peut acquérir et transmettre les informations issues des neurones de la première couche 40 à un second circuit qui contient le neurone de la seconde couche 41.
[133] L'invention permet ainsi d'obtenir une image hyperspectrale 15 rapidement et avec une grande discrétisation dans la dimension spectrale. L'utilisation d'un réseau de neurones 20 permet de limiter la complexité des opérations à effectuer lors de l'analyse de l'image diffractée 14. En outre, le réseau de neurones 20 permet également l'association des informations de cette image diffractée 14 avec celles d'images non- diffractées 17-18 pour améliorer la précision dans la dimension spatiale.
[134] Un module informatisé de caractérisation 21 est utilisé en aval pour déterminer un adventice ou un symptôme foliaire de carence ou de maladie. Par exemple, l’entrée du module informatisé de caractérisation est l’image hyperspectrale 15 en trois dimensions. Le module informatisé de caractérisation peut par exemple appliquer un traitement prédéfini, caractérisant l’adventice ou le symptôme foliaire de carence ou de maladie, à l’image hyperspectrale 15 en trois dimensions, et donnant en sortie une présence ou une absence de l’adventice ou du symptôme foliaire de carence ou de maladie.
[135] Le module informatisé de caractérisation peut par exemple appliquer, tel que décrit dans l’article « Hyperspectral image analysis techniques for the détection and classification of the early onset of plant disease and stress », Amy Lowe, Nicola Harrison et Andrew P. French, Plant Methods (2017), une détection basée sur des indices (par exemple l’indice « Normalised Différence Végétation Index » - NDVI - ou « Photochemical Réflectance Index » (PRI)), afin de pré-traiter l’image hyperspectrale 15 en trois dimensions en sélectionnant un sous-ensemble de bandes spectrales qui sont assemblées au moyen d’un indice. Par exemple l’indice PRI est une image bidimensionnelle composée des bandes à 531 nm et 570 nm par l’équation Img = (R531 - Rs7o)/(R53i + R570), où Rn représente l’intensité du voxel de coordonnées (x ;y ;n) du cube hyperspectral. L’image résultante permet d’identifier la présence des végétaux dans l’image. La valeur en un pixel est comparée à une échelle pré-définie pour classifier la détection en ce pixel. Typiquement, dans l’image résultante, une valeur en un pixel comprise entre -0,2 et 0,2 indique la présence d’un végétal en bonne santé en ce pixel.
[136] D’autres indices sont applicables, chacun permettant de traiter l’image hyperspectrale et de détecter la présence soit d’un adventice, soit d’un symptôme foliaire de carence ou maladie, soit la présence de végétal. Les indices potentiellement applicables sont notamment les suivants :
« Normalised différence végétation index » (NDVI), défini par l’équation : (RNIR - RRED)/(RNIR + RRED), avec RRED = 680 nm, RNIR = 800 nm, permettant de détecter la présence de végétaux ;
« Red edge » NDVI, défini par l’équation (R750 - R7os)/(R75o + R705), permettant de détecter la présence de végétaux ; « Simple ratio index » (SRI), défini par l’équation RNIR/RRED avec RRED = 680 nm, RNIR = 800 nm, permettant de détecter la présence de végétaux ;
« Photochemical réflectance index » (PRI), défini par l’équation (R531 - Rs7o)/(R53i + R570), permettant de détecter la vigueur (ou bonne santé) d’un végétal ;
« Plant senescence réflectance index » (PSRI), défini par l’équation (Red- Green)/NIR, où Red représente la somme des intensités des voxels de longueurs d’onde comprises entre 620 et 700 nm, Green représente la somme des intensités des voxels de longueurs d’onde comprises entre 500 et 578 nm, NIR représente la somme des intensités des voxels de longueurs d’onde comprises entre 700 et 1000 nm, permettant de détecter la senescence d’un végétal, le stress d’un végétal ou la maturité d’un fruit ;
« Normalised phaeophytinization index » (NPQI), défini par l’équation (R4 5 - R435)/(R415 + R435), permettant de mesurer la dégradation de la chlorophylle foliaire ;
« Structure Independent Pigment Index » (SI PI), défini par l’équation (R800 - R445)/(R8OO + R680), permettant de détecter la vigueur (ou bonne santé) d’un végétal ; et
« Leaf rust disease severity index » (LRDSI), défini par l’équation 6.9 c (R605/R455) - 1.2, permettant de détecter la maladie de la rouille des feuilles du blé.
[137] Tout autre indice adapté à la détection d’une maladie ou d’un stress en particulier peut être utilisé.
[138] Le cas échéant, l’équation prédéfinie donne une probabilité de présence de l’adventice ou du symptôme foliaire de carence ou de maladie. Le cas échéant, une sortie additionnelle du module informatisé de caractérisation est une localisation de l’adventice ou du symptôme foliaire de carence ou de maladie dans l’image 17 ou 18.
[139] Dans le cadre de la présente demande de brevet, le système de détection décrit ci- dessus est considéré comme un unique système de détection, même si celui-ci utilise différents capteurs dont les informations sont fusionnées pour détecter un adventice ou un syndrome foliaire de carence ou de maladie.
[140] Selon un deuxième mode de réalisation, le système de détection 2 d’adventice ou de symptôme foliaire de carence ou maladie comprend un dispositif de capture 202. La Fig. 7 illustre un dispositif de capture 202 d'une scène hyperspectrale 203 comportant un capteur, ou système d’acquisition 204, permettant d'obtenir une image compressée en deux dimensions 211 d'un plan focal 303 d'une scène observée. La scène hyperspectrale peut être repérée dans l’espace au moyen d’un repère orthonormé (x ;y ;z ) non représenté.
[141] Tel qu'illustré sur la Fig. 8, le dispositif de capture 202 est similaire à celui décrit ci- dessus. [142] Cette structure optique permet d'obtenir une image compressée 211 , illustrée sur la Fig. 10, présentant plusieurs diffractions R0-R7 du plan focal 303 disposées autour d'une image non diffractée de petite taille C.
[143] En variante, tel qu'illustré sur la Fig. 9, le dispositif de capture 202 peut comporter une première lentille convergente 241 qui focalise le plan focal 303 sur un masque 242. Un collimateur 243 capte les rayons traversant le masque 242 et transmet ces rayons à un prisme 244. Une seconde lentille convergente 245 focalise ces rayons issus du prisme 244 sur une surface de captation 246. Le masque 242 définit un codage pour l’image 213.
[144] La structure de cet assemblage optique est relativement similaire à celle décrite dans la publication scientifique « Compressive Coded Aperture Spectral Imaging », IEEE Signal Processing Magazine, Volume 31 , Issue 1 , Gonzalo R. Arce, David J. Brady, Lawrence Carin, Henry Arguello, and David S. Kittle.
[145] En variante, les surfaces de captation 35 ou 246 peuvent correspondre au dispositif d'acquisition photographique d'un ordiphone ou tout autre dispositif portable incluant un disposition d'acquisition photographique, en ajoutant le dispositif de capture 202 de la scène hyperspectrale 203 devant le dispositif d'acquisition photographique.
[146] En variante, le système d’acquisition 204 peut comprendre une réalisation mécanique compacte et intégrable dans un dispositif portable et autonome et le système de détection est inclus dans ledit dispositif portable et autonome.
[147] En variante, les surfaces de captation 35 ou 246 peuvent être un dispositif dont les longueurs d'ondes captées ne sont pas dans la partie visible. Par exemple, le dispositif 202 peut intégrer des capteurs dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètres et 20000 nanomètres, ou un capteur dont la longueur d'onde est comprise entre 300 nanomètres et 2000 nanomètres. Il peut s’agir d’un dispositif infrarouge.
[148] Lorsque l’image 211 du plan focal hyperspectral observé est obtenue, le système de détection 2 met en œuvre un réseau de neurones 212 pour détecter une particularité dans la scène observée à partir des informations de l’image compressée 211.
[149] Ce réseau de neurones 212 vise à déterminer la probabilité de présence de la particularité recherchée pour chaque pixel localisé aux coordonnées x et y de la scène hyperspectrale 203 observée.
[150] Pour ce faire, tel qu'illustré sur la Fig. 11 , le réseau de neurones 212 comporte une couche d'entrée 230, apte à extraire les informations de l'image 211 et une couche de sortie 231 , apte à traiter ces informations de sorte à générer une image dont l'intensité de chaque pixel aux coordonnées x et y, correspond à la probabilité de présence de la particularité aux coordonnées x et y de la scène hyperspectrale 203.
[151] La couche d’entrée 230 est peuplée à partir des pixels formant l’image compressée. Ainsi, la couche d'entrée est un tenseur d'ordre trois, et possède deux dimensions spatiales de taille XMAX et YMAX, et une dimension de profondeur de taille DMAX, correspondant au nombre de sous-ensembles de l’image compressée copiés dans la couche d’entrée. L'invention utilise la relation non linéaire f(xt, yt, dt) (ximg, yimg) définie pour xt e [0..XMAX[, yt e [0..UMAc[ et dt e [0..DMAx[ permettant de calculer les coordonnées ximg et yimg du pixel de l’image compressée dont l'intensité est copiée dans le tenseur d'ordre trois de ladite couche d'entrée du réseau de neurones aux coordonnées (xt, yt, dt).
[152] Par exemple, dans le cas d’une image compressée 211 obtenue à partir du dispositif de capture de la figure 8, la couche d’entrée 230 peut être peuplée de la manière suivante :
[153]
avec : n=floor(M(driyDMAx) ;
n compris entre 0 et M, le nombre de diffractions de l'image compressée ;
A=(dr1)mod(DMAx/M) ;
dt compris entre 1 et DMAx ;
xt compris entre 0 et CMAc ;
yt compris entre 0 et UMAc ;
XMAX la taille selon l’axe x du tenseur d’ordre trois de la couche d’entrée ;
YMAX la taille selon l’axe y du tenseur d’ordre trois de la couche d’entrée ;
DMAX la profondeur du tenseur d’ordre trois de la couche d’entrée ;
Asiiœx, la constante du pas spectral selon l’axe x de ladite image compressée ;
Asiicev, la constante du pas spectral selon l’axe y de ladite image compressée ;
Xoffsetx(n) correspondant au décalage suivant l'axe x de la diffraction n ;
yoffsetY(n) correspondant au décalage suivant l'axe y de la diffraction n.
Floor est un opérateur de troncature bien connu.
Mod représente l’opérateur mathématique modulo. [154] Comme il est en particulier bien visible sur la figure 11 , chaque tranche, en profondeur, du tenseur d’entrée d’ordre trois du réseau de neurones, reçoit une partie d’un lobe de diffraction correspondant sensiblement à un intervalle de longueurs d’onde.
[155] En variante, l’invention permet de corréler les informations contenues dans les différentes diffractions de l’image diffractée avec des informations contenues dans la partie centrale non-diffractée de l’image.
[156] Selon cette variante, on peut rajouter une tranche supplémentaire dans la direction de la profondeur de la couche d’entrée, dont les neurones seront peuplés avec l’intensité détectées dans les pixels de l’image compressée correspondant à la détection non- diffractée. Par exemple, si on affecte à cette tranche la coordonnée dt=0, on peut conserver la formule ci-dessus pour le peuplement de la couche d’entrée pour dt supérieur ou égal à 1 , et peupler la couche dt=0 de la manière suivante :
Ximg- (lf"n9width/2)-X|viAX"*"Xt i
Yimg- (lm9height/2)-Y|viAX"*"yt ,
Avec :
lmgWidth taille de l’image compressée selon l’axe x ;
lmgheight la taille de l’image compressée selon l’axe y.
[157] L’image compressée obtenue par le système optique contient le plan focal de la scène non diffractée au centre, ainsi que les projections diffractées suivant les axes des différents filtres de diffractions. Ainsi, le réseau de neurones utilise, pour la détection directe des particularités recherchées, les informations de ladite au moins une image diffractée suivantes :
l'intensité lumineuse dans la partie centrale et non-diffractée du plan focal de la scène aux coordonnées x et y ; et
des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées x' et y' sont dépendantes des coordonnées x et y de la partie centrale non diffractée du plan focal de la scène.
[158] En variante, dans le cas d’une image compressée 213 obtenue à partir du dispositif de capture de la figure 9, la couche d’entrée 230 peut être peuplée de la manière suivante : f(Xt,yt,dt)-{(Ximg-Xt) yimg- yt)}(lmg=MASK si dt=0 ; lmg=CASSI si dt>0)>
Avec :
MASK : image du masque de compression utilisé, CASSI : image compressée mesurée,
Img : Image sélectionnée dont le pixel est copié.
[159] Sur la tranche 0 du tenseur d’ordre trois de la couche d’entrée est copiée l’image du masque de compression employé.
[160] Sur les autres tranches du tenseur d’ordre trois de la couche d’entrée est copiée l’image compressée de la scène hyperspectrale.
[161] L'architecture dudit réseau de neurones 212, 214 est composé d'un ensemble de couches convolutives assemblées linéairement et en alternance avec des couches de décimation (pooling), ou d'interpolation (unpooling).
[162] Une couche convolutive de profondeur d, noté CONV(d), est définie par d noyaux de convolution, chacun de ces noyaux de convolution étant appliqué au volume du tenseur d'entrée d'ordre trois et de taille Xinput,yinput,dinput· La couche convolutive génère ainsi un volume de sortie, tenseur d'ordre trois, ayant une profondeur d. Une fonction d'activation ACT est appliquée sur les valeurs calculées du volume de sortie de cette couche convolutive.
[163] Les paramètres de chaque noyau de convolution d'une couche convolutive sont spécifiés par la procédure d'apprentissage du réseau de neurones.
[164] Différentes fonctions d'activation ACT peuvent être utilisées. Par exemple, cette fonction peut être une fonction ReLu, définie par l'équation suivante :
[165] ReLu(x ) = max 0, x)
[166] En alternance avec les couches convolutives, des couches de décimation (pooling), ou des couches d'interpolation (unpooling) sont insérées.
[167] Une couche de décimation permet de réduire la largeur et la hauteur du tenseur d'ordre trois en entrée pour chaque profondeur dudit tenseur d'ordre trois. Par exemple, une couche de décimation MaxPool(2,2) sélectionne la valeur maximale d'une tuile glissante sur la surface de 2x2 valeurs. Cette opération est appliquée sur l'ensemble des profondeurs du tenseur d'entrée et génère un tenseur de sortie ayant la même profondeur et une largeur divisée par deux, ainsi qu'une hauteur divisée par deux.
[168] Une couche d’interpolation permet d’augmenter la largeur et la hauteur du tenseur d'ordre trois en entrée pour chaque profondeur dudit tenseur d'ordre trois. Par exemple, une couche d’interpolation MaxUnPool(2,2) copie la valeur d’entrée d’un point glissant sur la surface de 2x2 valeurs de sortie. Cette opération est appliquée sur l'ensemble des profondeurs du tenseur d'entrée et génère un tenseur de sortie ayant la même profondeur et une largeur multipliée par deux, ainsi qu'une hauteur multipliée par deux.
[169] Une architecture de réseau de neurones permettant la détection directe de particularités dans la scène hyperspectrale peut être la suivante :
Input
=> CONV(64)
= MaxPool(2,2)
=> CONV(64)
= MaxPool(2,2)
=> CONV(64)
= MaxPool(2,2)
=> CONV(64)
=> CONV(64)
= MaxUnpool(2,2)
=> CONV(64)
= MaxUnpool(2,2)
=> CONV(64)
= MaxUnpool(2,2)
=> CONV(1)
= Output
[170] En variante, le nombre de couches de convolution CONV(d) et de décimation MaxPool(2,2) peut être modifié afin de faciliter la détection de particularités ayant une complexité sémantique supérieure. Par exemple, un nombre plus élevé de couches de convolution permet de traiter des signatures plus complexes de forme, de texture, ou spectrales de la particularité recherchée dans la scène hyperspectrale.
[171] En variante, le nombre de couches de déconvolution CONV(d) et d’interpolation MaxUnpool(2, 2) peut être modifié afin de faciliter la reconstruction de la couche de sortie. Par exemple, un nombre plus élevé de couches de déconvolution permet de reconstruire une sortie avec une précision plus importante. [172] En variante, les couches de convolution CONV(64), peuvent avoir une profondeur différente de 64 afin de traiter un nombre de particularités locales différent. Par exemple, une profondeur de 128 permet de traiter localement 128 particularités différentes dans une scène hyperspectrale complexe.
[173] En variante, les couches d’interpolation MaxUnpool(2, 2) peuvent être de dimension d’interpolation différente. Par exemple, une couche MaxUnpool (4, 4) permet d’augmenter la dimension de traitement de la couche supérieure.
[174] En variante, les couches d’activation ACT de type ReLu(x) insérées suite à chaque convolution et déconvolution, peuvent être de type différent. Par exemple, la fonction softplus définie par l’équation : /(x) = log( 1 + e*)peut être utilisée.
[175] En variante, les couches de décimation MaxPool(2, 2) peuvent être de dimension de décimation différente. Par exemple, une couche MaxPool(4, 4) permet de réduire la dimension spatiale plus rapidement et de concentrer la recherche sémantique du réseau de neurones sur les particularités locales.
[176] En variante, des couches entièrement connectées peuvent être insérées entre les deux couches de convolution centrale à la ligne 6 de la description afin de traiter la détection dans un espace mathématique plus élevé. Par exemple, trois couches entièrement connectées de taille 128 peuvent être insérées.
[177] En variante, les dimensions des couches de convolution CONV(64), de décimation MaxPool(2, 2), et d’interpolation MaxUnpool(2, 2) peuvent être ajustées sur une ou plusieurs couches, afin d’adapter l’architecture du réseau de neurones au plus proche du type de particularités recherchées dans la scène hyperspectrale.
[178] Les poids dudit réseau de neurones 212 sont calculés au moyen d'un apprentissage. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé pour calculer ces poids.
[179] En variante, le réseau de neurones 212 peut déterminer la probabilité de présence de plusieurs particularités distinctes au sein de la même scène observée. Dans ce cas, la dernière couche convolutive aura une profondeur correspondant au nombre de particularités distinctes à détecter. Ainsi la couche convolutive CONV(1) est remplacée par une couche convolutive CONV(u), où u correspond au nombre de particularités distinctes à détecter.
[180] La Fig. 12 illustre un dispositif de capture 302 d'une scène hyperspectrale 203 comportant un ensemble de capteurs permettant d'obtenir au moins une image compressée en deux dimensions 211 ou 213 et au moins une image standard 312 d'un plan focal hyperspectral 303 d'une scène observée. [181] Tel qu'illustré sur la Fig. 13, le dispositif de capture 302 comporte au moins un dispositif d’acquisition, ou capteur, 301 d’une image compressée tel que décrit ci-dessus en référence avec la figure 8.
[182] Le dispositif de capture 302 peut en outre comprendre un dispositif d’acquisition d’une image « standard » non compressée, comprenant une lentille convergente 331 et une surface de captation 232. Le dispositif de capture 302 peut en outre comprendre un dispositif d’acquisition d’une image compressée tel que décrit ci-dessus en référence avec la figure 9.
[183] Dans l’exemple présenté, le dispositif d’acquisition de l’image standard et le dispositif d’acquisition de l’image compressée sont disposés juxtaposés avec des axes optiques parallèles, et des faisceaux optiques se recouvrant au moins partiellement. Ainsi, une portion de la scène hyperspectrale est imagée à la fois par les dispositifs d’acquisition. Ainsi, les plans focaux des différents capteurs d’acquisition des images sont décalés les uns par rapport aux autres transversalement aux axes optiques de ces capteurs.
[184] En variante, on utilise un jeu de miroirs partiellement réfléchissants de sorte à capter ladite au une moins images standards non-diffractées 312 et ladite au moins une image compressée 211 , 213 de la même scène hyperspectrale 203 sur plusieurs capteurs simultanément.
[185] En variante, la surface de captation 232 peut être un dispositif dont les longueurs d'ondes captées ne sont pas dans la partie visible. Par exemple, le dispositif 202 peut intégrer des capteurs dont la longueur d'onde est comprise entre 0,001 nanomètre et 10 nanomètres ou un capteur dont la longueur d'onde est comprise entre 10000 nanomètres et 20000 nanomètres, ou un capteur dont la longueur d'onde est comprise entre 300 nanomètres et 2000 nanomètres.
[186] Lorsque les images 211 , 312 ou 213 du plan focal hyperspectral observé sont obtenues, le moyen de détection met en œuvre un réseau de neurones 214 pour détecter une particularité dans la scène observée à partir des informations des images compressées 211 et 213, et de l’image standard 312.
[187] En variante, seules les images compressée 211 et standard 312 sont utilisées et traitées par le réseau de neurones 214.
[188] En variante, seules les images compressée 213 et standard 312 sont utilisées et traitées par le réseau de neurones 214.
[189] Ainsi, quand la description se rapporte à un ensemble d’images compressées, il s’agit d’au moins une image compressée. [190] Ce réseau de neurones 214 vise à déterminer la probabilité de présence de la particularité recherchée pour chaque pixel localisé aux coordonnées x et y de la scène hyperspectrale 203 observée.
[191] Pour ce faire, tel qu'illustré sur la Fig. 14, le réseau de neurones 214 comporte un encodeur 251 pour chaque image compressée et pour chaque image non compressée ; chaque encodeur 251 possède une couche d'entrée 250, apte à extraire les informations de l'image 211 , 312 ou 213. Le réseau de neurones fusionne les informations provenant des différents encodeurs 251 au moyen de couches de convolution ou de couches entièrement connectées 252 (cas particulier représenté sur la figure). Un décodeur 253 et sa couche de sortie 350, apte à traiter ces informations de sorte à générer une image dont l'intensité de chaque pixel, à la coordonnée x et y, correspond à la probabilité de présence de la particularité aux coordonnées x et y de la scène hyperspectrale 203, est inséré suite à la fusion des informations.
[192] Tel qu’illustré sur la Fig. 11 , la couche d’entrée 250 d’un encodeur 251 est remplie avec les différentes diffractions de l’image compressée 211 comme décrit ci-dessus.
[193] Le peuplement décrit ci-dessus correspond au peuplement de la première entrée (« Inputl ») du réseau de neurones, selon l’architecture présentée ci-dessous.
[194] Pour la deuxième entrée (« Input2 ») du réseau de neurones, le peuplement de la couche d’entrée relative à l’image « standard » est peuplée en copiant directement l’image « standard » dans le réseau de neurones.
[195] Selon un exemple de réalisation où on utilise également une image compressée 213, la troisième entrée « Input3 » du réseau de neurones est peuplée comme décrit ci-dessus pour l’image compressée 213.
[196] Une architecture de réseau de neurones permettant la détection directe de particularités dans la scène hyperspectrale peut être la suivante :
Inputl Input2 Input3 => CONV(64) => CONV(64) => CONV(64)
= MaxPool(2,2) = MaxPool(2,2) = MaxPool(2,2) => CONV(64) => CONV(64) => CONV(64)
= MaxPool(2,2) = MaxPool(2,2) = MaxPool(2,2)
=> CONV(64)
=> CONV(64) = Maxllnpool(2,2)
=> CONV(64)
= MaxUnpool(2,2)
=> CONV(64)
= MaxUnpool(2,2)
=> CONV(1)
= Output
[197] Dans cette description, « Inputl » correspond à la portion de la couche d’entrée 250 peuplée à partir de l’image compressée 211. « Input2 » correspond à la portion de la couche d’entrée 250 peuplée à partir de l’image standard 312, et « Input3 » correspond à la portion de la couche d’entrée 250 peuplée à partir de l’image compressée 213. La ligne « CONV(64) » à la cinquième ligne de l’architecture opère la fusion des informations.
[198] En variante, la ligne « CONV(64) » à la cinquième ligne de l’architecture opérant la fusion des informations peut être remplacée par une couche entièrement connectée ayant pour entrée l’ensemble des sorties MaxPool(2, 2) des chemins de traitement de l’ensemble des entrées « inputl », « input2 » et « input3 » et en sortie un tenseur d’ordre un servant d’entrée à la couche suivante « CONV(64) » présentée à la sixième ligne de l’architecture.
[199] Notamment, la couche de fusion du réseau de neurones prend en compte les décalages des plans focaux des différents capteurs d’acquisition des images, et intègre la fonction homographique permettant de fusionner les informations des différents capteurs en prenant en compte les parallaxes des différentes images.
[200] Les variantes présentées ci-dessus pour le mode de réalisation de la figure 11 peuvent également être appliquées ici.
[201] Les poids dudit réseau de neurones 214 sont calculés au moyen d'un apprentissage. Par exemple, un apprentissage par rétro-propagation du gradient ou ses dérivés à partir de données d'apprentissage peut être utilisé pour calculer ces poids.
[202] En variante, le réseau de neurones 214 peut déterminer la probabilité de présence de plusieurs particularités distinctes au sein de la même scène observée. Dans ce cas, la dernière couche convolutive aura une profondeur correspondant au nombre de particularités distinctes à détecter. Ainsi la couche convolutive CONV(1) est remplacée par une couche convolutive CONV(u), où u correspond au nombre de particularités distinctes à détecter. [203] Selon une variante de réalisation, comme représenté sur la figure 11 , on n’utilise pas nécessairement un dispositif d’acquisition dédié distinct pour obtenir l’image « standard » 312. En effet, comme présenté ci-dessus en relation avec la figure 9, dans certains cas, une partie de l’image compressée 211 comprend une image « standard » de la scène hyperspectrale. Il s’agit notamment de la portion d’image C décrite ci-dessus. Dans ce cas, on peut utiliser cette portion d’image « C » de l’image compressée 211 comme image « standard » d’entrée du réseau de neurones.
[204] Ainsi, le réseau de neurones 214 utilise, pour la détection directe des particularités recherchées, les informations de ladite au moins une image compressée suivantes :
l'intensité lumineuse dans la partie centrale et non-diffractée du plan focal de la scène aux coordonnées x et y ; et
des intensités lumineuses dans chacune des diffractions de ladite image compressée dont les coordonnées x' et y' sont dépendantes des coordonnées x et y de la partie centrale non diffractée du plan focal de la scène.
[205] L’invention a été présentée ci-dessus dans différentes variantes, dans lesquelles une particularité détectée de la scène hyperspectrale est une image bidimensionnelle dont la valeur de chaque pixel aux cordonnées x et y correspond à la probabilité de présence d’une particularité aux mêmes coordonnées x et y du plan focal hyperspectral de la scène 203. Notamment, la particularité correspond à une particularité potentiellement indicatrice de la présence d’un adventice ou d’un symptôme foliaire de carence ou maladie en ce pixel. Chaque adventice, chaque symptôme foliaire de carence ou de maladie peut être caractérisé par une ou plusieurs particularités. Le système de détection combine alors les résultats de la détection de chaque particularité associée à un adventice ou à un symptôme foliaire de carence ou de maladie pour déterminer une probabilité de présence de l’adventice ou du symptôme foliaire de carence ou de maladie. Le cas échéant, ce processus est répété pour l’ensemble des adventices ou symptômes foliaires de carence ou de maladie prédéterminés recherchés dans la parcelle. On peut, toutefois, en variante, prévoir, selon les modes de réalisation de l’invention, la détection d’autres particularités. Selon un exemple, une telle autre particularité peut être obtenue à partir de l’image issue du réseau de neurones présentée ci-dessus. Pour cela, le réseau de neurones 212, 214, peut présenter une couche ultérieure, adaptée pour traiter l’image en question et déterminer la particularité recherchée. Selon un exemple, cette couche ultérieure peut par exemple compter les pixels de l’image en question pour lesquels la probabilité est supérieure à un certain seuil. Le résultat obtenu est alors une superficie (éventuellement rapportée à une superficie standard de l’image). Selon un exemple d’application, si l’image présente, en chaque pixel, une probabilité de présence d’un composé chimique, le résultat obtenu peut alors correspondre à une concentration du composé chimique dans la scène hyperspectrale imagée qui peut être indicative d’un adventice ou d’un symptôme foliaire de carence ou maladie.
[206] Selon un autre exemple, cette couche ultérieure peut par exemple n’avoir qu’un neurone dont la valeur (réel ou booléen) indiquera la présence ou l’absence d’un objet ou d’une particularité recherché dans la scène hyperspectrale. Ce neurone aura une valeur maximale en cas de présence de l’objet ou la particularité et une valeur minimale en cas inverse. Ce neurone sera entièrement connecté à la couche précédente, et les poids de connexion seront calculés au moyen d'un apprentissage.
[207] Selon une variante, on comprendra que le réseau de neurones peut également être architecturé pour déterminer cette particularité sans passer par la détermination d’une image de probabilités de présence de la particularité en chaque pixel.
[208] Dans le cadre de la présente demande de brevet, le système de détection décrit ci- dessus est considéré comme un unique système de détection, même si celui-ci utilise différents capteurs dont les informations sont fusionnées pour détecter un adventice ou un syndrome foliaire de carence ou de maladie.
[209] De plus, chaque système de détection 2 peut comprendre un système de localisation, du type comprenant une centrale inertielle et/ou un système de géolocalisation.
[210] Le dispositif de contrôle de traitement agricole comprend en outre un système de communication connectant les systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Le système de communication est adapté pour échanger des données entre les systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies telles que, notamment, des données de détection d’adventices ou de symptômes foliaires de carences ou maladie, des données de localisation issues des centrales inertielles, et/ou des systèmes de géolocalisation.
[211] La pluralité desdits au moins un dispositif de traitement agricole contrôlable 3 est également fixée sur la machine agricole de façon à pouvoir traiter les végétaux cible 4. Comme on peut le voir en particulier sur la figure 1 , les dispositifs de traitement agricole 3 peuvent être disposés espacés les uns par rapport aux autres selon une direction horizontale transversale à la direction d’avancement. Ils peuvent être par exemple portés par une poutre transversale de la machine agricole, le cas échéant par la même poutre qui porte les systèmes de détection 2. De plus, ils peuvent être espacés de ceux-ci dans la direction transversale. Le dispositif de contrôle de traitement agricole comprend en outre un système de localisation des dispositifs de traitement agricole. Le dispositif de contrôle de traitement agricole comprend en outre un système de communication connectant les systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Le dispositif de traitement agricole comprend en outre un système de communication adapté pour échanger des données entre les systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies et les dispositifs de traitement agricole 3.
[212] Il n’est pas nécessaire que le nombre de dispositifs de traitement agricole contrôlables 3 soit le même que le nombre de systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies. En effet, selon un exemple, la décision collaborative de traitement est transmise au dispositif de traitement agricole contrôlable 3 ayant le moins de distance avec le végétal cible.
[213] La Fig. 15 illustre le dispositif, muni de deux systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies, monté sur une machine agricole 1 , dans lequel chacun des systèmes de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies, est dirigé avec un angle vers le sol de la parcelle agricole 5, et ayant un recouvrement de leurs zones de détection respectives. Dans ce qui suit, le premier système de détection sera caractérisé par la référence « .1 », et le deuxième système de détection sera caractérisé par la référence « .2 ».
[214] A chaque instant, ledit système de détection 2.1 d’adventices ou de symptômes foliaires de carences ou maladies, prend un cliché 6.1 de la zone de la parcelle agricole 5 face à son objectif ; ledit système de détection 2.2 d’adventices ou de symptômes foliaires de carences ou maladies, prend un cliché 6.2 de la zone de la parcelle agricole 5 face à son objectif ; lesdites zones face aux objectifs optiques 9 desdits systèmes de détection 2.1 et 2.2 d’adventices ou de symptômes foliaires de carences ou maladies, ont une zone commune d’acquisition.
[215] La figure 16 donne un exemple de procédé de traitement collaboratif des données acquises. Le procédé de traitement collaboratif est désigné par la référence 8, et les étapes de celui-ci par des signes de référence « .indice ». Tel qu’illustré sur la Fig.16, la captation 8.1 des informations d’image de la parcelle agricole 5 parcourue permet d’obtenir les images acquises 6.1 et 6.2.
[216] De préférence, la pluralité desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies est composée de systèmes homogènes, présentant les mêmes propriétés de détections.
[217] Les images 6.1 et 6.2 acquises respectivement par lesdits systèmes de détection 2.1 et 2.2 d’adventices ou de symptômes foliaires de carences ou maladies, sont traitées localement dans chacun desdits systèmes de détection 2.1 et 2.2 d’adventices ou de symptômes foliaires de carences ou maladies, afin de projeter chacune desdites images acquises sur le plan du sol en une image projetée au sol 7.1 et 7.2. La discussion qui suit peut s’appliquer à chaque système de détection 2.
[218] La projection au sol de ladite donnée image est calculée suivant les relations suivantes :
[224] Où :
- Imgpr0jetée est le tenseur contenant les pixels de l’image projetée au sol ; et
- Imgacquise est Ie tenseur contenant les pixels de ladite donnée image brute ; et
- R est la matrice contenant les rotations suivant les trois axes de roulis, tangage et lacet ; et
- a est l’angle de lacet ; et
- b est l’angle de roulis ; et
- y est l’angle de tangage.
[225] Les angles a, b, et g, correspondent respectivement aux angles de lacet, roulis et tangage actuels du système de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies considéré tel que calculé à partir des données brutes de la centrale inertielle embarquée dans le système de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies considéré ; ces informations de roulis, tangage et lacet sont calculées en continu et maintenues à jour par le système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies considéré au moyen d’un algorithme d’estimation d’attitude utilisant les informations brutes de ladite centrale inertielle embarquée dans le système de détection 2 d’adventices ou de symptômes foliaires de carences ou maladies considéré. Par exemple, l’algorithme d’estimation d’attitude, permettant de calculer les informations de roulis, tangage et lacet, peut être un filtre de Kalman étendu, un algorithme de Mahony ou de Madgwick. Le document « A comparison of multisensor attitude estimation algorithm », A. Cirillo, P. Cirillo, G. De Maria, C. Natale, S. Pirozzi, dans « Multisensor attitude estimation : Fundamental concepts and applications, Chapter 29, Publisher : CRC Press, Editors : H. Fourati, D.E.C. Belkhiat, pp. 529-539, Septembre 2016, décrit et compare un ensemble d’algorithmes de fusion de données de centrales inertielles afin d’en extraire l’attitude, définie par les angles de roulis, tangage, et lacet, du système.
[226] Tel qu’illustré sur la Fig.16 l’ortho-projection 8.2 des informations d’image acquise de la parcelle agricole 5 parcourue permet d’obtenir les images acquises 7.1 et 7.2 à partir des images 6.1 et 6.2.
[227] Lesdites données images projetées au sol sont utilisées pour détecter la présence d’adventices ou symptômes foliaires de carences ou maladies depuis les particularités propres aux adventices ou symptômes foliaires de carences ou maladies déterminées par l’un des procédés ci-dessus, afin de détecter les zones, identifiées aux coordonnées de l’image Xdetect et Ydetect, dans lesdites données images projetées dans lesquelles les végétaux cibles 4 sont présents. Un végétal cible 4 est un végétal pour lequel le dispositif de détection détecte un adventice ou un symptôme foliaire de carence ou de maladie. Tel qu’illustré sur la Fig. 16, chacune des détections 8.3 de présence d’adventices ou symptômes foliaires de carences ou maladies est complétée avec une probabilité de présence desdites particularités propres aux adventices ou symptômes foliaires de carences ou maladies. Dans certains exemples de réalisation, ces informations de probabilités sont nécessaires aux calculs de géostatistiques permettant de décider l’application d’un traitement sur le végétal cible.
[228] Tel qu’illustré sur la Fig. 16, chacune desdites détections d’adventices ou symptômes foliaires de carences ou maladies est géolocalisée 8.4 aux coordonnées lat et Ing au moyen du système de géolocalisation embarqué dans chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies.
[229] Le calcul de la géolocalisation 8.4 d’une détection d’adventice ou symptôme foliaire de carence ou maladie est basé sur les relations suivantes :
[230] Distance — ratiOpjxei2meter^[(XdetecrWjmg/2) +(Ydetecfhimg/2) ]
[231] Bearing=cos[(Ydetect-himg/2)/(distance/ratiOpiXei2meter)]
[232] Radfract=clistance/EARTI-I RADIUS
[235]
[236] Lattarget=(180.asin(lat2i+lat22))^
[237] Lngtarget=(180.(((lng +atan2(lng2i ,lng22)+3n)mod2n)-n)) /p
[238] Où :
- EARTHRADIUS est le rayon moyen de la Terre, soit 6 371 000 mètres ; et
- ratioPixei2meter est le ratio entre un pixel de l’image et un mètre sur le sol ; et
- Xdetect est la coordonnée x, en pixels, du centre de la détection dans l’image ; et
- Ydetect est la coordonnée y, en pixels, du centre de la détection dans l’image ; et
- wimg est la largeur de l’image en pixels ; et
- himg est la hauteur de l’image en pixels ; et
- lat est la latitude mesurée par ledit système de géolocalisation dudit système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Ing est la longitude mesurée par ledit système de géolocalisation dudit système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ; et
- lattarget est la latitude du végétal cible 4 détecté dans l’image ; et
- Ingtarget est la longitude du végétal cible 4 détecté dans l’image.
[239] Chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies obtient en continu et au moyen du système de communication entre les différents systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies les informations de détection géolocalisées par les coordonnées lattarget et lngtarget en provenance de l’ensemble des autres systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies communique par conséquent en continu et au moyen du système de communication entre les différents systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies les informations de détection géolocalisées par les coordonnées lattarget et lngtarget vers l’ensemble des autres systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Par exemple, le format GeoJSON, tel que décrit dans le document RFC7946, « The GeoJSON Format », IETF 08/2016, permet de transporter lesdites informations de détections géolocalisées sur ledit système de communication. [240] En variante, le format ESRI Shapefile, tel que décrit dans le document ESRI Shapefile technical description, 07/1998, permet de transporter lesdites informations de détections géolocalisées sur ledit système de communication.
[241] En variante, lesdites informations de latitude et longitude peuvent être calculées depuis les informations brutes des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Lesdites informations brutes des centrales inertielles étant échangées au moyen du système de communication connectant lesdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies en continu, l’algorithme d’estimation de la latitude, exécuté sur chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies peut utiliser l’ensemble des informations brutes. Ainsi, les informations de latitude et de longitude sont calculées relativement dans le système de coordonnées de la parcelle agricole parcourue. Par exemple, un filtre de Kalman étendu peut être utilisé dans chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, en prenant les données issues des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Dans cette variante, le calcul de la géolocalisation 8.4 d’une détection d’adventice ou symptôme foliaire de carence ou maladie est basé sur la même relation avec les éléments suivants :
- lat est la latitude calculée dans le système de coordonnées de la parcelle agricole parcourue depuis les données issues des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies dudit système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Ing est la longitude calculée dans le système de coordonnées de la parcelle agricole parcourue depuis les données issues des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies dudit système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies.
[242] En variante, on n’utilise pas nécessairement une géolocalisation des détections d’adventices ou de symptômes foliaires de carences ou maladies, mais à une localisation de celles-ci dans un référentiel instantané de la machine agricole. Une telle localisation peut être suffisante, dans la mesure où le traitement peut aussi être commandé dans ce référentiel. Ce pourra être le cas notamment si les systèmes de détection et les systèmes de traitement ont des positions relatives connues au cours du temps, par exemple sont fixes les uns par rapport aux autres au cours du temps. Pour un système de détection d’adventice ou de symptôme foliaire de carence ou maladie, les coordonnées (xtarget ; ytarget) de la cible par rapport au centre du capteur peuvent être par exemple déterminées comme suit :
[243] distaway = tan(sensorangie) sensorheight
[244] Xtarget = ratiopixel2meter . (Xdetect-wimg/2)
[245] Ytarget = distaway + ratiopixel2meter . (Ydetect-himg/2)
[246] Où :
[247] - sensorangie est l’angle entre la verticale et l’angle de visée moyen du système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ;
[248] - sensorheight est la hauteur au sol du système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ;
[249] - ratiopixel2meter est le ratio entre un pixel de l’image et un mètre sur le sol ;
[250] - Xdetect est la coordonnée x, en pixels, du centre de la détection dans l’image ;
[251] - Y detect est la coordonnée y, en pixels, du centre de la détection dans l’image ;
[252] - wimg est la largeur de l’image en pixels ;
[253] - himg est la hauteur de l’image en pixels ;
[254] - Xtarçjet est la coordonnée longitudinale relative en mètre du végétal cible 4 détecté dans l’image ;
[255] - Y tarçjet est la coordonnée relative en mètre face audit système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies du végétal cible 4 détecté dans l’image.
[256] L’ensemble des informations desdites détections d’adventices ou de symptômes foliaires de carences ou maladies en provenance de l’ensemble desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies est stocké dans une base de données géographique locale à chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies.
[257] Chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ayant sa zone de détection des particularités recherchées ; adventices ou symptômes foliaires de carences ou maladies ; dans la parcelle agricole 5, en recouvrement avec lesdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies voisins, un recouvrement latéral desdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies est obtenu.
[258] De la même façon, chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies détectant à l’instant présent les particularités recherchées des adventices ou symptômes foliaires de carences ou maladies dans la parcelle agricole 5 dans la zone de détection à portée de l’objectif optique dudit système de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, un recouvrement temporel desdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies est obtenu. Par recouvrement temporel, on fait référence au fait que les zones de détection en deux instants distincts successifs se recouvrent si la fréquence de détermination est suffisamment élevée. La figure 17 illustre cette réalisation, et représente en traits pointillés le champ optique acquis par le système de détection 2 d’adventice ou de symptômes foliaire de carences ou maladies en un premier instant h, et en traits mixtes le champ optique acquis par le même système de détection 2 d’adventice ou de symptômes foliaire de carences ou maladies en un deuxième instant t2. Les champs optiques sont décalés géographiquement du fait du parcours de la machine agricole pendant l’intervalle de temps. Les cliché et image obtenus au deuxième instant sont représentés avec l’indice « .3 ». Toutefois, à chaque instant, les détections sont géolocalisées dans un référentiel commun.
[259] Ainsi, lesdites informations de détection d’adventices ou symptômes foliaires de carences ou maladies stockées dans ladite base de données géographique locale à chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies contient les redondances desdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies. L’opération 8.5 de fusion peut être une opération de krigéage, tel que décrite dans le livre « Lognormal-de Wijsian Geostatistics for Ore Evaluation », D.G. Krige, 1981 , ISBN 978-0620030069, prenant en compte l’ensemble desdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies géolocalisées et contenant l’information de probabilité de détection, en provenance de la pluralité desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, ainsi que les informations de recouvrements latéraux et temporaux, permettant ainsi de confirmer les probabilités de détection d’adventices ou de symptômes foliaires de carences ou maladies. Ainsi, en un point de détection donné, on détermine le résultat à partir du résultat de détection obtenu pour ce point par chacun des systèmes de détection. Le résultat permet de décider ou non d’un traitement en ce point. Par exemple, on compare le résultat avec un certain seuil prédéterminé et, si le résultat est positif, on commande l’application du traitement. [260] La fusion en question prend en compte la qualité de la détection. Par exemple, quand les détections fusionnées comprennent des cartographies de probabilités de présence d’un adventice ou d’un symptôme foliaire de carence ou maladie, le résultat de la fusion peut comprendre une cartographie de la probabilité de présence de l’adventice ou du symptôme foliaire de carence ou de maladie obtenue à partir de ces cartographies individuelles. Par conséquent, intrinsèquement, chaque cartographie individuelle porte l’information de la qualité de la détection, et le résultat fusionné prend en compte cette qualité. Par exemple, si, en un endroit donné, un système de détection détermine une probabilité de présence d’un symptôme foliaire d’une certaine maladie à 90%, et un autre système de détection détermine une probabilité de présence d’un symptôme foliaire de cette même maladie à 30%, c’est que la qualité de détection d’au moins un des deux systèmes de détection est faible, et le résultat final transcrit cette qualité de détection.
[261] Selon une variante, au cours de cette fusion, la distance de chaque détection est également prise en compte. En effet, si en un endroit donné, se situant proche de l’axe optique d’un système de détection, détermine une probabilité de présence d’un symptôme foliaire d’une certaine maladie à 30%, et un autre système de détection, pour lequel ce même endroit est éloigné de l’axe optique, détermine une probabilité de présence d’un symptôme foliaire de cette même maladie à 90%, on appliquera un poids supérieur au système de détection faisant face à l’emplacement étudié au cours de la fusion.
[262] En variante, l’opération 8.5 de fusion est une opération prenant en compte l’ensemble des informations de détections d’adventices ou de symptômes foliaires de carences ou maladies géolocalisées et contenant l’information de probabilité de détection, en provenance de la pluralité desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, ainsi que les informations de recouvrements latéraux et temporaux, afin de calculer les probabilités consolidées de détections d’adventices ou de symptômes foliaires de carences ou maladies géolocalisées; Ladite opération de consolidation prenant en compte les probabilités de chacune des détections d’adventices ou de symptômes foliaires de carences ou maladies géolocalisées.
[263] Dans la variante de la figure 17, les informations de détection localisées obtenues pour plusieurs instants espacés sont fusionnées comme décrit ci-dessus. Ce mode de réalisation est, le cas échéant, applicable à un unique système de détection d’adventices ou de symptôme foliaire de carence ou maladie. Dans ce cas, le travail collaboratif se fait à partir de deux détections espacées dans le temps du même système de détection d’adventices ou de symptôme foliaire de carence ou maladie. Si le dispositif de contrôle de traitement agricole comporte un seul système de détection d’adventices ou de symptôme foliaire de carence ou maladie, il ne met pas en œuvre de système de communication entre systèmes de détection d’adventices ou de symptôme foliaire de carence ou maladie. Toutefois, un système de communication entre le système de détection d’adventices ou de symptôme foliaire de carence ou maladie et le dispositif de traitement reste nécessaire.
[264] Chacun desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies calcule en continu la vitesse instantanée de déplacement au moyen desdites informations de localisation obtenues au moyen dudit système de localisation. L’information de vitesse est nécessaire afin d’estimer l’instant de commande dudit au moins un dispositif de traitement agricole et d’anticiper le temps de traitement en fonction dudit dispositif de traitement agricole.
[265] Ainsi, en fonction de la nature et de la localisation détectées des adventices ou symptômes foliaires de carences ou maladies, de la nature et de la localisation des dispositifs de traitement, et de la vitesse de déplacement, le dispositif de contrôle détermine le ou les dispositifs de traitement à actionner, et les caractéristiques temporelles (instant, durée, ...) de cet actionnement.
[266] En ce qui concerne le calcul de la commande 8.6 à envoyer auxdits au moins un dispositif de traitement agricole 3, chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies estime à chaque instant et pour chacun desdits végétaux cibles 4 actuellement à portée desdits au moins un dispositif de traitement 3, lequel desdits au moins un dispositif de traitement 3 est le plus adapté à traiter ledit végétal cible 4.
[267] Les commandes de pilotage sont transmises audit au moins un dispositif de traitement agricole au moyen du moyen de communication entre lesdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies et ledit au moins un dispositif de traitement agricole.
[268] En ce qui concerne le pilotage dudit au moins un dispositif de traitement agricole, l’ensemble des informations desdites détections d’adventices ou de symptômes foliaires de carences ou maladies sont géolocalisées, les dispositifs de traitement agricole sont également géolocalisés, et lesdits au moins un dispositif de traitement agricole sont actionnés à l’instant exact où ledit au moins un dispositif de traitement agricole sont au- dessus des végétaux cibles.
[269] Par exemple, lorsque ledit au moins un dispositif de traitement agricole 3 est une buse d’épandage, la commande 8.7 à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande de pression et débit prenant en compte la présence d’un végétal cible à l’instant présent dans la zone de pulvérisation de ladite buse d’épandage. [270] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un LASER, la commande 8.7 à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande de décalages transversal et longitudinal, et de puissance d’éclairage prenant en compte la présence d’un végétal cible à l’instant présent dans la zone de portée dudit LASER.
[271] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un jet d’eau à haute pression, la commande 8.7 à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande de pression et débit prenant en compte la présence d’un végétal cible à l’instant présent dans la zone de portée de la buse d’injection de l’eau à haute pression.
[272] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un outil de désherbage mécanique de binage, la commande 8.7 à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande d’activation prenant en compte la présence d’un végétal cible à l’instant présent dans la zone dudit outil de désherbage mécanique de binage.
[273] En variante, lorsque ledit au moins un dispositif de traitement agricole 3 est un outil de désherbage électrique, la commande 8.7 à envoyer à chacun desdits au moins un dispositif de traitement agricole 3 est une commande d’activation prenant en compte la présence d’un végétal cible à l’instant présent dans la zone dudit outil de désherbage électrique.
[274] Dans la présentation ci-dessus, l’image acquise est d’abord projetée dans un référentiel donné, puis la détection d’adventice ou de symptôme foliaire de carence ou maladie est mise en œuvre pour l’image projetée. En variante, on pourrait prévoir de commencer par réaliser une image de probabilité de présence d’adventice ou de symptôme foliaire de carence ou de détection à partir de l’image acquise brute, puis d’orthoprojeter celle-ci dans le référentiel donné.
[275] Dans la présentation ci-dessus, la géolocalisation de chaque système de détection est réalisée indépendamment, et les détections géolocalisées sont fusionnées de manière à décider de l’éventuel traitement. En variantes, comme décrit ci-dessous, la géolocalisation de chaque système de détection peut se faire de manière collaborative.
[276] Dans une première variante, lesdites informations d’attitude peuvent être calculées depuis les informations brutes des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Lesdites informations brutes des centrales inertielles étant échangées au moyen du système de communication connectant lesdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies en continu, l’algorithme d’estimation d’attitude exécuté sur chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies peut utiliser l’ensemble des informations brutes. Ainsi, les estimations de roulis, tangage et lacet sont consolidées par un ensemble de mesures similaires, cohérentes et covariantes entre elles. Par exemple, un filtre de Kalman étendu peut être utilisé dans chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, en prenant les données issues des centrales inertielles de l’ensemble desdits au moins deux systèmes de détection d'adventices ou de symptômes foliaires de carences ou maladies. Le document « Data Fusion Algorithms for Multiple Inertial Measurement Units », Jared B. Bancroft and Gérard Lachapelle, Sensors (Basel), 29/06/2011 , 6771-6798 présente un algorithme alternatif de fusion de données brutes d’un ensemble de centrales inertielles afin de déterminer les informations d’attitude.
[277] Dans une deuxième variante, lesdites informations d’attitude peuvent être calculées depuis les informations brutes des centrales inertielles auxquelles les données de géolocalisation de l’ensemble desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies sont ajoutées. Lesdites informations brutes des centrales inertielles ainsi que les données de géolocalisation étant échangées au moyen du système de communication connectant lesdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, l’algorithme d’estimation d’attitude peut utiliser l’ensemble des informations brutes. Par exemple, un filtre de Kalman étendu peut être utilisé dans chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, en prenant les données issues des centrales inertielles ainsi que les données de géolocalisation de l’ensemble desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies. Par ailleurs, un procédé, tel que décrit dans le document « Attitude estimation for accelerated vehicles using GPS/INS measurements », Minh-Duc Hua, 07/2010, Control Engineering Practice Volume 18, Issue 7, July 2010, pages 723-732, permet une fusion des informations issues d’un système de géolocalisation et d’une centrale inertielle.
[278] Par exemple, ledit système de communication entre lesdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies et ledit au moins un dispositif de traitement agricole 3 est un réseau filaire Ethernet 1 Gigabit par seconde permettant ainsi à chacun desdits moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies de communiquer avec les autres systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies ainsi qu’avec ledit au moins un dispositif de traitement agricole 3.
[279] En ce qui concerne la cartographie de la parcelle agricole 5 parcourue par ladite machine agricole, chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies construit localement une cartographie des particularités ; ou de présence d’adventices ou de symptômes foliaires de carences ou maladies ; au moyen d’une base de données géographique locale. Les informations de détection géolocalisées de présence d’adventices ou de symptômes foliaires de carence ou maladies, détectées par l’ensemble desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies et échangées au moyen du système_de communication, sont ainsi stockées dans chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies.
[280] Ainsi, le contenu de chacune desdites bases de données géographiques stockées localement dans chacun desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, représente l’état réel, tel que mesuré par l’ensemble desdits au moins deux systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies, et sanitaire de ladite parcelle agricole 5 parcourue.
[281] En variante, les informations de cartographie de la parcelle agricole 5 parcourue par ladite machine agricole, sont transmises au moyen d’un système de communication, et affichée sur un écran de contrôle à destination du technicien procédant au traitement de la parcelle agricole 5.
[282] De préférence, le système de communication utilisé pour transmettre les informations de cartographie de la parcelle agricole 5 audit écran de contrôle à destination du technicien procédant au traitement de la parcelle agricole 5, comprend un réseau filaire Gigabit Ethernet.
[283] En variante, le système de communication utilisé pour transmettre les informations de cartographie de la parcelle agricole 5 audit écran de contrôle à destination du technicien procédant au traitement de la parcelle agricole 5, est un réseau filaire CAN (« Control Area Network »).
[284] La cartographie de la parcelle agricole 5 trouve une utilisation avantageuse afin de produire des statistiques de pulvérisations ou traitements appliqués sur ladite parcelle agricole 5. Lesdites statistiques permettent également de mesurer la prévalence, la présence et la quantité de certaines espèces d’adventices, ainsi que leurs densités et leurs stades. La prévalence, la présence ainsi que la densité de symptômes foliaires de carences ou maladies peuvent également être calculées à partir des informations contenues dans la cartographie de la parcelle agricole 5.
[285] Dans l’exemple présenté, chaque système de détection communique avec les systèmes de détection voisins, pour la prise de décision de traitement collaborative. En variante, on peut prévoir un processeur central adapté pour communiquer, via le système de communication, avec les systèmes de détection, prendre une décision, et communiquer les instructions de traitement aux dispositifs de traitement 3 via le système de communication.
[286] Selon l’invention, il suffit qu’un seul système de détection 2 d’adventices ou de symptômes foliaires de carence ou maladie prenne une décision collaborative en utilisant des informations relatives à d’autres systèmes de détection 2 d’adventices ou de symptômes foliaires de carence ou maladie.
[287] Les procédés qui sont décrits peuvent être des procédés informatisés. Ils peuvent alors être définis dans des programmes d’ordinateur, qui peuvent être exécutés par un ou plusieurs processeurs de machines programmables.
[288] Références
machine agricole 1
systèmes de détection 2 d'adventices ou de symptômes foliaires de carences ou maladies systèmes de détection 2.1 et 2.2
dispositif de traitement agricole 3
végétal cible 4
parcelle agricole 5
cliché 6.1 , 6.2
images acquises 7.1 et 7.2 à partir des images 6.1 et 6.2
captation 8.1
ortho-projection 8.2
détections 8.3
calcul de la géolocalisation 8.4
opération 8.5 de fusion
commande 8.6
commande 8.7 objectif optique 9
dispositif de capture 10
premier capteur 1 1
second capteur 12
troisième capteur 13
image diffractée 14, 14'
image hyperspectrale 15
module de construction 16
image non diffractée 17'
image infrarouge 18'
réseau de neurones 20
module de caractérisation 21
isoler 25
extraire 26
première lentille convergente 30
ouverture 31
collimateur 32
réseau de diffraction 33
seconde lentille convergente 34
surface de captation 35
couche d'entrée 40
couche de sortie 41
dispositif de capture 202
Scène hyperspectrale 203
capteur, ou système d’acquisition 204, image compressée en deux dimensions 21 1 réseau de neurones 212 image compressée 213 réseau de neurones 214
couche d'entrée 230
couche de sortie 231
surface de captation 232
première lentille convergente 241
masque 242
collimateur 243
prisme 244
seconde lentille convergente 245
surface de captation 246
couche d'entrée 250
encodeur 251
couches de convolution ou de couches entièrement connectées 252 décodeur 253
dispositif d’acquisition, ou capteur, 301
dispositif de capture 302
plan focal 303
image standard 312
lentille convergente 331
couche de sortie 350

Claims

REVENDICATIONS
[Revendication 1] Dispositif de contrôle de traitement agricole destiné à être monté sur une machine agricole (1), ladite machine agricole (1) comportant au moins un dispositif de traitement contrôlable (3), le dispositif de contrôle de traitement agricole comprenant :
- au moins un système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies, chacun étant adapté pour une fixation sur la machine agricole (1) ;
- un système de localisation d’au moins un système de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies;
au moins un système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies étant caractérisé en ce qu'il est adapté pour collaborer avec un système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies dont la zone de détection se recouvre partiellement avec celle dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies afin de décider collaborativement du traitement à appliquer sur la zone de détection dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies ; et
- un système de communication entre lesdits au moins un systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies et au moins un dispositif de traitement (3).
[Revendication 2] Dispositif selon la revendication 1 , dans lequel ledit au moins un
système de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies est adapté pour collaborer avec un autre système de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies dont la zone de détection se recouvre latéralement partiellement avec celle dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 3] Dispositif selon la revendication 1 ou 2, dans lequel ledit au moins un système de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies est adapté pour collaborer avec un système de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies dont la zone de détection se recouvre temporellement avec celle dudit système de détection d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 4] Dispositif selon l'une des revendications 1 à 3, dans lequel l’ensemble desdits au moins un système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies est adapté pour construire collaborativement_une cartographie de la parcelle agricole (5) parcourue par ladite machine agricole, ladite cartographie étant construite par un procédé de géostatistiques avec des données de détection localisées représentant l'état réel tel que mesuré par lesdits au moins un système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 5] Dispositif selon la revendication 4, comprenant en outre un écran de contrôle, et dans lequel la cartographie de la parcelle agricole (5) parcourue est affichée sur l’écran de contrôle à destination du technicien procédant au traitement de la parcelle agricole.
[Revendication 6] Dispositif selon l’une des revendications 1 à 5, dans lequel le système de localisation comprend un système de géolocalisation et/ou une centrale inertielle.
[Revendication 7] Dispositif selon l’une quelconque des revendications 1 à 6, qui
comprend en outre l’une et/ou l’autre des caractéristiques suivantes :
- au moins deux systèmes de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies ;
- un, notamment chaque, système de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies est équipé d’un système de localisation ;
- un, notamment chaque, système de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies est adapté pour collaborer avec un autre, notamment les autres, systèmes de détection (2) d’adventices ou de symptômes foliaires de carences ou maladies ;
- un, notamment chaque, système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies comprend un capteur hyperspectral ;
- un système de détection (2) d’adventice ou de symptôme foliaire de carence ou de maladie est adapté pour détecter la présence d’adventices ou symptômes foliaires de carences ou maladies depuis des particularités propres aux adventices ou symptômes foliaires de carences ou maladies ;
- un système de détection (2) d’adventice ou de symptôme foliaire de carence ou de maladie est adapté pour détecter une zone pour un adventice ou un symptôme foliaire de carence ou maladie ;
- un système de détection (2) d’adventice ou de symptôme foliaire de carence ou de maladie est complété avec une probabilité de présence desdites particularités propres aux adventices ou symptômes foliaires de carences ou maladies ;
- le système de localisation est adapté pour localiser le traitement à appliquer sur la zone de détection ;
- un système de communication entre lesdits systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ;
- un recouvrement temporel desdites informations de détections d’adventices ou de symptômes foliaires de carences ou maladies est obtenu.
[Revendication 8] Dispositif selon l’une des revendications 1 à 7, dans lequel un,
notamment chaque, système de détection comporte un système de détection directe de particularités dans la scène hyperspectrale intégrant un réseau de neurones profond et convolutif (212, 214) architecturé pour détecter au moins une particularité recherchée dans ladite scène hyperspectrale pour un adventice ou un symptôme foliaire de carence ou maladie depuis au moins une image compressée de la scène hyperspectrale.
[Revendication 9] Dispositif selon l’une des revendications 1 à 7, dans lequel un,
notamment chaque, système de détection comporte un système de détection de particularités dans la scène hyperspectrale comprenant :
- un réseau de neurones configuré pour calculer un hypercube hyperspectral de la scène hyperspectrale depuis au moins une image compressée et une image non compressée de la scène hyperspectrale,
- un module de caractérisation pour détecter l’adventice ou le symptôme foliaire de carence ou maladie à partir de l’hypercube hyperspectral.
[Revendication 10] Système comprenant un dispositif selon la revendication 4 ou 5, et comprenant en outre un processeur adapté pour produire des statistiques de pulvérisation, de prévalence, d'espèces, de densités, ou de stades des adventices ou des symptômes foliaires de carences ou maladies présents dans la parcelle agricole (5) en utilisant la cartographie de la parcelle agricole (5) parcourue.
[Revendication 11] Système comprenant un dispositif selon l’une des
revendications 1 à 9 ou un système selon la revendication 10 et un dispositif de traitement agricole (3) contrôlable d’une machine agricole (1), dans lequel ledit dispositif de traitement agricole (3) comprend au moins une buse de pulvérisation, le débit ou la pression de ladite au moins une buse de pulvérisation (3) étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 12] Système comprenant un dispositif selon l’une des
revendications 1 à 9 ou un système selon la revendication 10 ou 11 et un dispositif de traitement agricole (3) contrôlable d’une machine agricole (1), dans lequel ledit dispositif de traitement agricole (3) comprend au moins un LASER de destruction des adventices, ledit au moins un LASER étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 13] Système comprenant un dispositif selon l’une des
revendications 1 à 9 ou un système selon l’une des revendications 10 à 12 et un dispositif de traitement agricole (3) contrôlable d’une machine agricole (1), dans lequel ledit dispositif de traitement agricole (3) comprend au moins un jet d'eau à haute pression dont l'objectif est la destruction des adventices, ledit au moins un jet d'eau haute pression étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 14] Système comprenant un dispositif selon l’une des
revendications 1 à 9 ou un système selon l’une des revendications 10 à 13 et un dispositif de traitement agricole (3) contrôlable d’une machine agricole (1), dans lequel ledit dispositif de traitement agricole (3) comprend au moins un outil de désherbage mécanique de binage, ledit au moins un outil de désherbage mécanique de binage étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 15] Système comprenant un dispositif selon l’une des
revendications 1 à 9 ou un système selon l’une des revendications 10 à 14 et un dispositif de traitement agricole (3) contrôlable d’une machine agricole (1), dans lequel ledit dispositif de traitement agricole (3) comprend au moins un outil de désherbage électrique de destruction des adventices, ledit au moins un outil de désherbage électrique étant contrôlé par la décision collaborative de l'ensemble desdits au moins deux systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 16] Système selon l’une des revendications 10 à 15, dans lequel le dispositif de traitement agricole est localisé.
[Revendication 17] Procédé de pilotage collaboratif de traitement agricole destiné à être mis en œuvre par un dispositif monté sur une machine agricole (1), ladite machine agricole (1) comportant au moins un dispositif de traitement contrôlable (3), le procédé de contrôle de traitement agricole comprenant :
- une décision collaborative dudit au moins un systèmes de détection (2)
d'adventices ou de symptômes foliaires de carences ou maladies (4) dont les zones de détection se recouvrent partiellement, chacun étant adapté pour une fixation sur la machine agricole (1) et la localisation du traitement à appliquer sur la zone de détection ; et
- une communication entre lesdits systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies avec ledit au moins un dispositif de traitement (3).
[Revendication 18] Procédé de pilotage collaboratif selon la_revendication 17, le procédé comportant pour chacun d’au moins deux systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies, les étapes de : - Acquisition (8.1) d’une nouvelle donnée image depuis le sol de la parcelle agricole parcourue (5) sur laquelle se déplace une machine agricole (1) au moyen dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Acquisition des informations additionnelles de position dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies au moyen du système de localisation ; et
- Projection (8.2) de ladite donnée image acquise par chacun desdits systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies sur le plan du sol ; et
- Détection (8.3) de présence d'adventices ou de symptômes foliaires de carences ou maladies depuis ladite donnée image acquise et projetée sur ledit plan du sol ; et
- Calcul des positions (8.4) des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ; ledit calcul de position utilisant les informations de localisation dudit système de localisation dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies et les informations de détection dans ladite donnée image ; et
- Communication desdites positions des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies à l’ensemble des autres systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Réception desdites positions des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit détecteur (2) d'adventices ou de symptômes foliaires de carences ou maladies en provenance d’autres systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Fusion (8.5) desdites positions des adventices ou symptômes foliaires de carences ou maladies de l’ensemble des systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Calcul de la commande (8.6) à envoyer au dispositif de traitement (3) concerné par la zone de détection dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ; et
- Émission de la commande (8.7) au dispositif de traitement (3) concerné par la zone de détection dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies.
[Revendication 19] Procédé de pilotage collaboratif selon la revendication 18, comprenant en outre l’une et/ou l’autre des dispositions suivantes :
- ladite projection utilise les informations en provenance de ladite centrale inertielle dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies afin de déterminer l’angle de prise de la donnée image par rapport au vecteur normal au sol ;
- Communication desdites positions des adventices ou symptômes foliaires de carences ou maladies dans la zone de détection dudit système de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies à d’autres, notamment à l’ensemble des autres systèmes de détection (2) d'adventices ou de symptômes foliaires de carences ou maladies ;
- la fusion est pondérée en fonction de la qualité et la distance calculée de chaque détection. [Revendication 20] Programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé selon l’une quelconque des revendications 17 à 19.
EP20708129.0A 2019-03-12 2020-03-10 Dispositif de contrôle de traitement agricole Pending EP3937628A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1902497A FR3093614B1 (fr) 2019-03-12 2019-03-12 Dispositif collaboratif de contrôle de traitement agricole
FR1908086A FR3093613A1 (fr) 2019-03-12 2019-07-17 Dispositif de contrôle de traitement agricole
PCT/EP2020/056401 WO2020182840A1 (fr) 2019-03-12 2020-03-10 Dispositif de contrôle de traitement agricole

Publications (1)

Publication Number Publication Date
EP3937628A1 true EP3937628A1 (fr) 2022-01-19

Family

ID=69726596

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20708129.0A Pending EP3937628A1 (fr) 2019-03-12 2020-03-10 Dispositif de contrôle de traitement agricole

Country Status (3)

Country Link
US (1) US20220174934A1 (fr)
EP (1) EP3937628A1 (fr)
WO (1) WO2020182840A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220101554A1 (en) * 2020-09-25 2022-03-31 Blue River Technology Inc. Extracting Feature Values from Point Clouds to Generate Plant Treatments
US11793187B2 (en) * 2021-01-15 2023-10-24 Cnh Industrial America Llc System and method for monitoring agricultural fluid deposition rate during a spraying operation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2964577B1 (fr) 2010-09-10 2013-12-27 Exel Ind Systeme de commande pour engin agricole de pulverisation
AU2012228772A1 (en) 2011-03-16 2013-10-17 Syddansk Universitet Spray boom for selectively spraying a herbicidal composition onto dicots
US9609859B2 (en) * 2013-09-13 2017-04-04 Palo Alto Research Center Incorporated Unwanted plant removal system having a stabilization system
US10269107B2 (en) 2017-02-23 2019-04-23 Global Neighbor Inc Selective plant detection and treatment using green luminance photometric machine vision scan with real time chromaticity operations and image parameter floors for low processing load
FR3063206B1 (fr) 2017-02-24 2021-08-13 Bilberry Sas Systeme de controle pour epandage agricole
CN108990944B (zh) 2018-06-27 2021-01-29 浙江大学 基于可见光热红外图像融合的无人机遥感喷药一体化方法及装置

Also Published As

Publication number Publication date
WO2020182840A1 (fr) 2020-09-17
US20220174934A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
US10274420B2 (en) Compact multifunctional system for imaging spectroscopy
Dekker et al. Intercomparison of shallow water bathymetry, hydro‐optics, and benthos mapping techniques in Australian and Caribbean coastal environments
CA3083079A1 (fr) Procede de caracterisation d'echantillons utilisant des reseaux de neurones
US20170154440A1 (en) Method and system for photogrammetric processing of images
WO2020182840A1 (fr) Dispositif de contrôle de traitement agricole
EP1828992A1 (fr) Procede de traitement d'images mettant en oeuvre le georeferencement automatique d'images issues d'un couple d'images pris dans le meme plan focal
FR3069940B1 (fr) Procede et systeme de cartographie de l’etat sanitaire de cultures
EP3714399A1 (fr) Dispositif de détection hyperspectrale
WO2020127422A1 (fr) Dispositif de détection hyperspectrale
FR3013878A1 (fr) Analyse d'une image multispectrale
FR2982393A1 (fr) Recherche d'une cible dans une image multispectrale
WO2019053364A1 (fr) Dispositif de capture d'une image hyperspectrale
FR3093613A1 (fr) Dispositif de contrôle de traitement agricole
WO2021234063A1 (fr) Procede et systeme de controle de traitement agricole
Papadopoulos et al. Weed mapping in cotton using ground-based sensors and GIS
EP3579186A1 (fr) Procede et systeme pour la gestion d'une parcelle agricole
Okamoto et al. Unified hyperspectral imaging methodology for agricultural sensing using software framework
FR3098962A1 (fr) Système de détection d’une particularité hyperspectrale
WO2020165176A1 (fr) Dispositif de microscopie holographique hyperspectrale par fusion de capteurs
WO2018109044A1 (fr) Dispositif de détection d'un objet d'intérêt et procédé mettant en œuvre ce dispositif
Okamoto et al. Weed detection using hyperspectral imaging
Pushparaj et al. Reconstruction of hyperspectral images from RGB images
Mifdal Application of optimal transport and non-local methods to hyperspectral and multispectral image fusion
Tardif Proximal sensing and neural network processes to assist in diagnosis of multi-symptom grapevine diseases
Kåsen et al. Band selection for hyperspectral target detection based on a multinormal mixture anomaly detection algorithm

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210913

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20231215