EP3935557A1 - System and method for assisting with the pruning of plants - Google Patents

System and method for assisting with the pruning of plants

Info

Publication number
EP3935557A1
EP3935557A1 EP20711327.5A EP20711327A EP3935557A1 EP 3935557 A1 EP3935557 A1 EP 3935557A1 EP 20711327 A EP20711327 A EP 20711327A EP 3935557 A1 EP3935557 A1 EP 3935557A1
Authority
EP
European Patent Office
Prior art keywords
plant
electronic device
images
augmented reality
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP20711327.5A
Other languages
German (de)
French (fr)
Inventor
Jean-Pierre Rosat
Tommaso MARTIGNON
Massimo GIUDICI
Marco SIMONIT
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3d2cut Sa
Original Assignee
3d2cut Sa
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3d2cut Sa filed Critical 3d2cut Sa
Publication of EP3935557A1 publication Critical patent/EP3935557A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G3/00—Cutting implements specially adapted for horticultural purposes; Delimbing standing trees
    • A01G3/04—Apparatus for trimming hedges, e.g. hedge shears
    • A01G3/0435—Machines specially adapted for shaping plants, e.g. topiaries
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45106—Used in agriculture, tree trimmer, pruner
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Definitions

  • the present invention relates to a system and a method of assisting the pruning of plants mainly in the field of viticulture, arboriculture and roses.
  • the system and method is implemented by means of an electronic device, for example by means of augmented reality glasses, a digital tablet or a smartphone.
  • An aim of the present invention is therefore to provide methods of assisting the pruning of a plant, in particular suitable for the field of viticulture, arboriculture and roses, but generally for any plant. requiring reasonable pruning.
  • the electronic device is in the form of an augmented reality glasses comprising the camera and glasses comprising the display area.
  • WO2015135786 discloses an assistance system for assisting an operator of an agricultural machine in his working environment.
  • the assistance system includes augmented reality glasses configured to display information superimposed on the agricultural environment.
  • the types of information displayed may be planning and / or management data, information on the operation of the agricultural machine, help information for the operator (assistance center) and / or training information. .
  • the electronic device is in the form of a digital tablet or of a smartphone / computer comprising the display zone and the camera.
  • the training data is in the form of points or recommended cut marks or else by the coloring of branches not to be kept on images comprising reference characteristics representing a specific signature. to each plant image from a series of plant images of different appearances.
  • a series of images of the plant to be pruned is taken using the camera of the electronic device from several angles during step b. This step is followed by a step consisting in generating a 3D digital model of the plant to be pruned according to the series of images of the plant. Reference features are extracted from the 3D digital model. These reference characteristics represent a signature specific to the plant to be pruned. [0013] In one embodiment, the reference characteristics correspond in particular to the bifurcations of the branches of the plant to be pruned, and preferably to the ends of the branches.
  • the computer learning machine is a neural network. This was trained from reference features obtained from training images in order to classify the features extracted from the 3D digital model, and then derive cutting instructions, for example selected cutting instructions in a cutting database.
  • the cutting instructions include marks or cutting points or by the coloring of branches not to be kept superimposed on the branches of the real plant image and / or the images / videos explanatory.
  • instructions for moving around the plant to be pruned are displayed on the display area of the electronic device in order to take images of the plant at optimal angles in order to be able to generate the 3D digital model .
  • the reference image or the 3D digital model can be transmitted in real time or near real time to a remote operator.
  • the operator then transmits visual and / or auditory cutting instructions to the subject.
  • the plant to be pruned is a vine plant.
  • the plant to be pruned may be a rose bush, a fruit tree such as an apple tree, or any other type of plant requiring reasonable pruning.
  • Another aspect of the invention relates to a system for assisting the pruning of a plant intended to implement the method described above according to its various embodiments.
  • the system comprises for this purpose:
  • an electronic device comprising a display area for displaying in augmented reality superimposed on an image of the plant captured by the camera one or more cutting information from among the group comprising text, images, videos and / or dots / cut marks, and
  • the electronic device is in the form of an augmented reality glasses comprising the camera and glasses comprising the display area.
  • the system further comprises a computer (Smartphone) configured to transmit the data relating to the cutting instructions to the augmented reality glasses via a wireless interface, in particular of the WIFI or Bluetooth type for the display of said instructions on the display area of the glasses.
  • augmented reality glasses configured to transmit the data relating to the cutting instructions to the augmented reality glasses via a wireless interface, in particular of the WIFI or Bluetooth type for the display of said instructions on the display area of the glasses.
  • the electronic device is in the form of a digital tablet or a smartphone comprising the display area and the camera.
  • the computer learning machine is a neural network.
  • the system further comprises an electronic device or a remote processing unit.
  • the electronic device or the remote processing unit comprises a calculation unit for generating a 3D digital model.
  • the electronic device is a smartphone or a digital tablet.
  • an image database and / or an instruction database are stored in a memory of the electronic device or in a memory of the remote processing unit.
  • the computer learning machine is produced by software executed in a memory of the electronic device or in a memory of the remote processing unit.
  • an image processing captured by a camera is performed by software executed in a memory of the electronic device or in a memory of the remote processing unit.
  • a 3D model is obtained from several successive images captured by the camera, by means of software executed in a memory of the electronic device or in a memory of the processing unit to distance.
  • reference characteristics are extracted from one or more images of the plant, or from a 3D model of the plant, by means of software executed in a memory of the electronic device or in a memory of the remote processing unit.
  • the remote processing unit is a server configured to transmit the data relating to the cutting instructions to the electronic device via a communication network, for example a mobile telephone network.
  • Another aspect of the invention relates to a computer application for a computer (Smartphone) for assistance in pruning a plant, in particular a vine plant for example.
  • the computer application when it is executed, allows you to perform the following operations:
  • Another aspect of the invention relates to a method of assisting the pruning of a plant, in particular of a vineyard plan for example, comprising the following steps:
  • the electronic device is in the form of an augmented reality glasses comprising the camera and glasses comprising the display area.
  • the augmented reality glasses are equipped with a microphone and headphones to allow an exchange of communication between the subject and the operator.
  • the electronic device is in the form of a digital tablet or a smartphone comprising the display area and the camera.
  • the instructions comprise an image selected by the operator from among a series of images of plants saved in a database.
  • Each image has cutting instructions including marks or cut points superimposed on the branches of the actual plant image and / or explanatory images / videos.
  • Another aspect of the invention relates to a method of assisting the pruning of a plant, in particular of a vine plant for example, comprising the following steps:
  • a subject at. equipping a subject with a computer / smartphone and augmented reality glasses comprising glasses comprising a display area;
  • FIG. 1 illustrates a perspective view of augmented reality glasses for the implementation of the system and of the method of assisting the pruning of plants according to one embodiment of the invention
  • Figure 2 illustrates a schematic view of a digital tablet for the implementation of the system and the method of assisting the pruning of plants according to another embodiment of the invention
  • Figure 3 illustrates a schematic view of a smartphone for implementing the system and the method of assisting in the pruning of plants according to another embodiment of the invention
  • Figure 4 illustrates a vine plant to be pruned
  • Figures 5a, 5b, 5c illustrate different images of a vine plant with instructions for pruning the grape plant
  • Figure 6 illustrates a flowchart of the main steps of the pruning assistance method according to an embodiment according to a preferred embodiment of the invention
  • FIG. 7 illustrates a block diagram of a system for implementing the method according to another embodiment of the invention.
  • the assistance method is adapted to the size of a vine plant 10 as illustrated in FIG. 4.
  • a user for example a non-initiated person at the waist, is equipped with augmented reality glasses 12 according to the illustrative example of Figure 1.
  • the augmented reality glasses 12 include an RGB camera, an infrared camera and a 3D camera.
  • the use of an infrared camera eliminates the problem of shadows or illumination.
  • the use of a 3D camera for example a time-of-flight measurement sensor, makes it possible to obtain from each frame information as to the position of each pixel along three axes X, Y and Z.
  • the method according to the invention can preferably comprise the following steps as illustrated in FIG. 6: a. capture of one or more sequences of images of the vineyard plan 10 using an RGB camera, or preferably using an RGB camera, an infrared camera in order to limit the problems of shadows and a 3D camera; b.
  • the 3D digital model can for example be obtained by aligning and superimposing the different frames of images obtained by the different RGB, infrared and / or 3D sensors; d. extraction of “features”, hereinafter referred to as reference characteristics from the 3D digital model, for example the parts of the vine plant corresponding in particular to the bifurcations of the twigs, and / or the ends of the twigs, etc .; e.
  • the learning characteristics constitute a signature specific to each plant used for learning. These characteristics can for example represent the bifurcation points of the branches and the ends of the twigs of a vine plan which has been previously modeled in order to keep only these data in order to reduce the volume of data for each plant.
  • an assistance system 40 for pruning the vine plant comprises the augmented reality glasses 12 as described above as well as an electronic device 41.
  • the electronic device 41 comprises a control unit. reception 42 to receive the data constituting the sequence of images transmitted by the augmented reality glasses 12, a digital processing unit 43 for preliminary digital processing of the sequence of images (see step b of the method described below) above), a calculation unit 44 (processor) for generating a 3D digital model of the vine plan to be pruned from the sequence of images, a database of instructions 48 as well as a neural network 50 previously trained with reference characteristics obtained from training images corresponding to digital 3D models of a multitude of vine plants in a database 26.
  • the neural system 50 is adapted, on the one hand, to classify the reference characteristics extracted from the image captured with the camera, or from the 3D model generated from several images of a sequence, then, from on the other hand, to deduce from this classification associated cutting instructions.
  • the cutting instructions are then displayed on the display area 16 of the glasses 12 in order to display these instructions in augmented reality superimposed on the image captured by the camera of the vine plant.
  • the cutting instructions are for example in the form of marks, colors or dots on the branches to be cut, in the form of images as illustrated in FIGS. 5a-5c or else in the form of explanatory videos.
  • the display area 16 of the augmented reality glasses 12 can display instructions other than those relating to the size of the vine plant.
  • instructions for moving around the vine plant 10 to be pruned can be displayed based on data from an accelerometer and a compass built into the glasses 12 in order to take the images of the vine plan at optimal angles to be able to reconstruct the 3D digital model of the vine plant to be pruned.
  • the accelerometer and compass can also be used to determine camera position and shooting direction, so that the 3D digital model can be built based on different optimal shots.
  • the computer learning machine is in the form of a neural network 50 which has been previously trained to learn how to determine which cutting instructions to display for which plant.
  • the neural network 50 has been trained with reference characteristics (features) of a multitude of 2D or 3D models each corresponding to a particular vine plant and with cutting instructions introduced by a specialist for each plant.
  • the electronic device 41 can for example be a computer (Smartphone) in communication with the augmented reality glasses 12, for example by a communication protocol of the Bluetooth type.
  • the smartphone 41 can receive a sequence of images sent by the augmented reality glasses 12 comprising the reference characteristics of the vine plant 10 to be pruned and perform preliminary digital processing operations on the sequence of images received, in particular of the type as described above.
  • the computing power of the processor of the computer is sufficient, on the one hand, to generate a 3D digital model of the vine plant to be pruned from the sequence of images and to extract the reference characteristics from of the 3D digital model and, on the other hand, to perform the classification of these characteristics using the neural network 50.
  • the processor of the smartphone first of all performs image processing as described above on each successive frame of one or more sequences of images, then uses the different images thus processed to generate a 3D model of the filmed vine plant and then extract the reference characteristics.
  • These reference characteristics are introduced into a neural network also produced in the form of software stored in the memory of the smartphone 41 and which makes it possible to classify this model in order to determine the closest learning model and / or select cutting instructions associated with the identified plant model.
  • These cutting instructions are then transmitted by the smartphone 41 to the augmented reality glasses 12 via a communication protocol of the Bluetooth or Wifi type in order to display the cutting instructions on the display zone 16 of the glasses 12 in augmented reality, superimposed on the real image of the vine plant to be pruned.
  • This embodiment has the advantage of providing an autonomous waist assistance system comprising only the augmented reality glasses 12 and a conventional smartphone 41.
  • a computer application can be downloaded to the smartphone 41 to implement the method of assisting the size of a vineyard plan.
  • This computer application when it is executed, allows in particular a preliminary digital processing of the sequence of images received by the smartphone in order to correct each image, in particular its illumination, its contrast, its dimension as well as for the extraction. of the foreground and the background of the image to keep only the vine plant.
  • the neural network 50 is produced in the form of software stored in a memory of a server which comprises one or more processors whose computing power is particularly well suited for the execution of the model classification algorithms as well as to generate a 3D digital model from a series of images transmitted by the augmented reality glasses 12.
  • the server can also store the instruction databases 48 in a memory.
  • the server is configured to communicate with the smartphone 41 or the augmented reality glasses 12 via a communication network, for example a mobile telephone network.
  • the server can thus receive a sequence of images of the vine plant 10 to be pruned transmitted by the augmented reality glasses 12 or by the smartphone 41 via the mobile telephone network in order to generate the model digital 3D in order to extract the reference characteristics necessary for the selection of the cutting instructions according to the image or images identified by the neural network 30 according to the reference characteristics of the 3D digital model.
  • the cutting instructions are then transmitted by the server to the augmented reality glasses 12 via the mobile telephone network in order to display the cutting instructions on the display area 16 of the glasses 12 in augmented reality superimposed on the real image of the vine plant to be pruned.
  • Data compression / decompression software can be used to improve the speed of data transmission between the augmented reality glasses 12 and the smartphone 41, between the augmented reality glasses 12 and the server or between the smartphone 21 and the server.
  • the method of assisting in the pruning of a vine plant consists in equipping a person not initiated in the size of augmented reality glasses 12 comprising lenses 14 comprising a zone of 'display 16.
  • the augmented reality glasses 12 further include a camera 18 for filming and transmitting in real time the images of the vine plant to be pruned to an operator located at a distance and having the necessary knowledge to be able to guide the non-person. initiated.
  • the operator is provided with a computer unit in order to be able to select, from among a series of images of vine plants saved in a database, one or more images resembling the images received in real time and comprising instructions. relating to the size of the plant shown in the image or each image.
  • One or more images from the database are then transmitted via a communication network to the augmented reality glasses 12 and displayed on the area display 16 of the glasses 14 of the glasses 12.
  • the latter can advantageously be equipped with a microphone and headphones to allow an exchange of communication between the uninitiated person and the operator.
  • the method of assisting the pruning of a vine plant consists in equipping a non-initiated person at the size of a computer 41 and augmented reality glasses 12 comprising glasses 14 comprising a display area 16.
  • the uninitiated person can select an image by means of the smartphone 41 from a series of images of vine plants saved in a database in a memory of the smartphone 41 This selection is done manually and is based on the estimate of resemblance made by the uninitiated person in relation to the appearance of the vine plant to be pruned.
  • Each image has cutting instructions preferably including marks or cut points.
  • a person uninitiated in the size is equipped with a digital tablet 22 or a smartphone 32, according to Figures 2 and 3, having on one side a display area 26, 36 and on the back a camera 28, 38 so as to be able to take an image or series of images of the vine plant to be pruned.
  • the digital tablet 22 or the smartphone 32 may further include an accelerometer and preferably a compass (not illustrated).
  • This embodiment has the advantage of reducing the number of equipment since the digital tablet 22 or the smartphone 32 includes the necessary hardware in order to perform on its own the different steps illustrated in FIG. 6 in order to display in augmented reality cutting instructions superimposed on the real image of the plant.
  • the digital tablet or the smartphone comprises a digital processing unit for preliminary digital processing of the sequence of images of the vine plant, a calculation unit (processor) for generating a 3D digital model of the plan of vine to be pruned from the sequence of images, a database of instructions as well as a previously trained neural network with reference characteristics obtained from training images corresponding to 3D digital models of a multitude of vine plants in a database.
  • a digital processing unit for preliminary digital processing of the sequence of images of the vine plant
  • a calculation unit for generating a 3D digital model of the plan of vine to be pruned from the sequence of images
  • a database of instructions as well as a previously trained neural network with reference characteristics obtained from training images corresponding to 3D digital models of a multitude of vine plants in a database.
  • the digital tablet 22 or the smartphone 32 therefore performs the same functions as the electronic device 41 previously described in relation to the augmented reality glasses 12.
  • the selection of cutting instructions through a neural network in function of the features extracted from the 3D model can therefore be directly displayed in augmented reality on the display area of the digital tablet or smartphone superimposed on the real image of the plant.
  • the computer learning machine is trained from reference characteristics obtained from 2D training images, annotated by an operator according to a labeling code, with the aim of classify the characteristics extracted from these images taken by the electronic device (eg augmented reality glasses 12, digital tablet 22, smartphone 32) and not from a digital 3D model, and then deduce cutting instructions , for example cutting instructions selected from a cutting database.
  • the pruning assistance method according to the invention is not limited to the field of viticulture and can be applied in particular to the field of arboriculture for any type of tree, in particular of fruit tree, in the field of landscaping for the size of decorative bush or in the floral field for the size of flowers, in particular roses, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Manufacturing & Machinery (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Environmental Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

The invention relates to a method for assisting with the pruning of a plant (10) implemented by an electronic device (21), comprising the following steps: a. providing an electronic device (12; 22; 32) comprising a display area (16; 26; 36), and a camera (18; 28; 38); b. taking at least one image of the plant (10) to be pruned using the camera (18; 28; 38) of the electronic device (12; 22; 32); c. using a computer learning machine (30) preloaded with training data to determine cutting instructions; and d. displaying the cutting instructions on the display area (16; 26; 36) of the electronic device superimposed on the real image of the plant. The invention also relates to a system for assisting (40) with the pruning of a plant intended to implement the above method.

Description

Système et méthode d'assistance à la taille de végétaux Domaine technique System and method of assistance in the pruning of plants Technical field
[0001] La présente invention concerne un système et une méthode d'assistance à la taille de végétaux principalement dans le domaine de la viticulture, de l'arboriculture et des rosiers. Le système et la méthode est mis en œuvre au moyen d'un appareil électronique, par exemple au moyen de lunettes de réalité augmentée, d'une tablette numérique ou d'un smartphone. The present invention relates to a system and a method of assisting the pruning of plants mainly in the field of viticulture, arboriculture and roses. The system and method is implemented by means of an electronic device, for example by means of augmented reality glasses, a digital tablet or a smartphone.
Etat de la technique State of the art
[0002] Dans le cadre de la viticulture en particulier, assurer une bonne fructification à la vigne est tout un art. Parmi le savoir-faire à acquérir, la taille de la vigne est probablement celui qui conditionne le plus la qualité des raisins produits. Le vigneron recherche la production de raisin, tout en évitant un allongement démesuré de la vigne. La taille sert à régulariser et à prolonger la production de la vigne. Elle permet, aussi, une augmentation de la production, en diminuant sensiblement le nombre des grappes et, par conséquent, à augmenter leur grosseur La taille est importante pour la santé et donc la conservation du capital-plante. Une mauvaise taille fera dépérir le cep, en plus d'être une porte ouverte pour les maladies foudroyantes, type Esca notamment. Les récoltes seront ainsi plus régulières d'une année sur l'autre. [0002] In the context of viticulture in particular, ensuring good fruiting in the vine is quite an art. Among the know-how to be acquired, the pruning of the vine is probably the one that most conditions the quality of the grapes produced. The winegrower seeks the production of grapes, while avoiding an excessive lengthening of the vines. Pruning is used to regulate and prolong the production of the vine. It also allows an increase in production, by significantly reducing the number of clusters and, consequently, to increase their size. Size is important for health and therefore the conservation of plant capital. A bad pruning will make the vine wither, in addition to being an open door for lightning diseases, such as Esca. The harvests will thus be more regular from one year to the next.
[0003] Il est donc primordial que la taille de la vigne se fasse par un professionnel pour conserver la qualité optimale de la plante sur la durée la plus longue possible et pour la qualité des raisins produits. [0003] It is therefore essential that the pruning of the vine is done by a professional in order to maintain the optimum quality of the plant over the longest possible time and for the quality of the grapes produced.
[0004] Or, dans le domaine de la viticulture, les ouvriers agricoles qui pratiquent une taille qui doit être rapide et rentable sont rarement formés dans les règles de l'art, ce qui a un impact non négligeable sur la qualité des raisins produits. [0004] However, in the field of viticulture, agricultural workers who practice pruning which must be rapid and profitable are rarely trained. in the state of the art, which has a significant impact on the quality of the grapes produced.
Bref résumé de l'invention Brief summary of the invention
[0005] Un but de la présente invention est donc de proposer des méthodes d'assistance à la taille d'un végétal notamment adaptée au domaine de la viticulture, de l'arboriculture et des rosiers, mais d'une manière générale à tout végétal nécessitant une taille raisonnée. [0005] An aim of the present invention is therefore to provide methods of assisting the pruning of a plant, in particular suitable for the field of viticulture, arboriculture and roses, but generally for any plant. requiring reasonable pruning.
[0006] A cet effet, il est proposé une méthode d'assistance à la taille d'un végétal mise en oeuvre par un dispositif électronique, comportant les étapes suivantes : [0006] For this purpose, there is proposed a method of assisting the pruning of a plant implemented by an electronic device, comprising the following steps:
a. équiper un sujet d'un appareil électronique comprenant une zone d'affichage, et une caméra; at. equipping a subject with an electronic device comprising a display area, and a camera;
b. prendre au moins une image du végétal à tailler à l'aide de la caméra, ci-après image de référence ; b. take at least one image of the plant to be pruned using the camera, hereinafter reference image;
c. utiliser une machine d'apprentissage informatique préalablement entraînée avec des données d'apprentissage pour déterminer des instructions de coupe, et vs. using a computer learning machine previously trained with training data to determine cutting instructions, and
d. afficher les instructions de coupe sur la zone d'affichage de l'appareil électronique en superposition à l'image réelle du végétal à tailler. d. display cutting instructions on the display area of the electronic device superimposed on the actual image of the plant to be pruned.
[0007] Dans une forme d'exécution, l'appareil électronique est sous la forme de lunette de réalité augmentée comprenant la caméra et des verres comportant la zone d'affichage. [0007] In one embodiment, the electronic device is in the form of an augmented reality glasses comprising the camera and glasses comprising the display area.
[0008] L'utilisation de la réalité augmentée dans le domaine de l'agriculture est certes déjà connue. A titre d'exemple, W02015135786 divulgue un système d'assistance pour assister un opérateur d'une machine agricole dans son environnement de travail. Le système d'assistance comprend des lunettes de réalité augmentée configurée pour afficher des informations en superposition avec l'environnement agricole. Le types d'informations affichées peuvent être des données de planification et/ou de gestion, des informations sur le fonctionnement de la machine agricole, des informations d'aide pour l'opérateur (centre d'assistance) et/ou des informations de formation. [0008] The use of augmented reality in the field of agriculture is certainly already known. By way of example, WO2015135786 discloses an assistance system for assisting an operator of an agricultural machine in his working environment. The assistance system includes augmented reality glasses configured to display information superimposed on the agricultural environment. The types of information displayed may be planning and / or management data, information on the operation of the agricultural machine, help information for the operator (assistance center) and / or training information. .
[0009] Les informations affichées sur les verres des lunettes de réalité augmentée ne sont toutefois pas destinées à assister un agriculteur sur l'ensemble des travaux effectué directement sur le milieu naturel. [0009] The information displayed on the lenses of augmented reality glasses is not, however, intended to assist a farmer on all the work carried out directly on the natural environment.
[0010] Dans une forme d'exécution, l'appareil électronique est sous la forme d'une tablette numérique ou d'un smartphone/ordiphone comportant la zone d'affichage et la caméra. [0010] In one embodiment, the electronic device is in the form of a digital tablet or of a smartphone / computer comprising the display zone and the camera.
[0011] Dans une forme d'exécution, les données d'apprentissage sont sous la forme de points ou de marques de coupes recommandés ou encore par la coloration de branches à ne pas garder sur des images comportant des caractéristiques de référence représentant une signature propre à chaque image de végétal parmi une série d'images de végétaux de différentes apparences. In one embodiment, the training data is in the form of points or recommended cut marks or else by the coloring of branches not to be kept on images comprising reference characteristics representing a specific signature. to each plant image from a series of plant images of different appearances.
[0012] Dans une forme d'exécution, une série d'images du végétal à tailler est prise à l'aide de la caméra de l'appareil électronique sous plusieurs angles au cours de l'étape b. Cette étape est suivie d'une étape consistant à générer un modèle numérique 3D du végétal à tailler en fonction de la série d'images du végétal. Des caractéristiques de référence sont extraites à partir du modèle numérique 3D. Ces caractéristiques de référence représentent une signature propre au végétal à tailler. [0013] Dans une forme d'exécution, les caractéristiques de référence correspondent notamment aux bifurcations des branches du végétal à tailler, et de préférence aux extrémités des branches. [0014] Dans une forme d'exécution, la machine d'apprentissage informatique est un réseau neuronal. Celui-ci a été entraîné à partir de caractéristiques de référence obtenues à partir d'images d'entraînement afin de classer les caractéristiques extraites à partir du modèle numérique 3D, et en déduire ensuite des instructions de coupe, par exemple des instructions de coupe sélectionnées dans une base de données de coupe. [0012] In one embodiment, a series of images of the plant to be pruned is taken using the camera of the electronic device from several angles during step b. This step is followed by a step consisting in generating a 3D digital model of the plant to be pruned according to the series of images of the plant. Reference features are extracted from the 3D digital model. These reference characteristics represent a signature specific to the plant to be pruned. [0013] In one embodiment, the reference characteristics correspond in particular to the bifurcations of the branches of the plant to be pruned, and preferably to the ends of the branches. In one embodiment, the computer learning machine is a neural network. This was trained from reference features obtained from training images in order to classify the features extracted from the 3D digital model, and then derive cutting instructions, for example selected cutting instructions in a cutting database.
[0015] Il est ensuite possible d'afficher ces instructions de coupe en réalité augmentée en superposition à l'image du végétal à tailler telle que capturée par la caméra. [0016] Dans une forme d'exécution, les instructions de coupe comportent des marques ou des points de coupe ou par la coloration de branches à ne pas garder se superposant aux branches de l'image réelle de végétal et/ou des images/vidéos explicatives. [0015] It is then possible to display these cutting instructions in augmented reality superimposed on the image of the plant to be pruned as captured by the camera. [0016] In one embodiment, the cutting instructions include marks or cutting points or by the coloring of branches not to be kept superimposed on the branches of the real plant image and / or the images / videos explanatory.
[0017] Dans une forme d'exécution, des instructions de déplacement autour du végétal à tailler sont affichées sur la zone d'affichage de l'appareil électronique afin de prendre des images du végétal sous des angles optimaux pour pouvoir générer le modèle numérique 3D. In one embodiment, instructions for moving around the plant to be pruned are displayed on the display area of the electronic device in order to take images of the plant at optimal angles in order to be able to generate the 3D digital model .
[0018] Dans une forme d'exécution, l'image de référence ou le modèle numérique 3D peut être transmis en temps réel ou quasi-temps réel à un opérateur à distance. L'opérateur transmet ensuite au sujet des instructions de coupe visuelles et/ou auditives. [0018] In one embodiment, the reference image or the 3D digital model can be transmitted in real time or near real time to a remote operator. The operator then transmits visual and / or auditory cutting instructions to the subject.
[0019] Dans une forme d'exécution, le végétal à tailler est un plant de vigne. Dans une autre forme d'exécution, le végétal à tailler peut être un rosier, un arbre fruitier tel qu'un pommier, ou tout autre type de végétal nécessitant une taille raisonnée. [0020] Un autre aspect de l'invention porte sur un système d'assistance à la taille d'un végétal destiné à mettre en oeuvre la méthode décrite ci-dessus selon ses différentes formes d'exécution. [0019] In one embodiment, the plant to be pruned is a vine plant. In another embodiment, the plant to be pruned may be a rose bush, a fruit tree such as an apple tree, or any other type of plant requiring reasonable pruning. Another aspect of the invention relates to a system for assisting the pruning of a plant intended to implement the method described above according to its various embodiments.
[0021] Le système comprend à cet effet : [0021] The system comprises for this purpose:
- une caméra ; - a camera ;
- un appareil électronique comportant une zone d'affichage pour afficher en réalité augmentée en superposition à une image du végétal capturée par la caméra une ou plusieurs informations de coupe parmi le groupe comprenant du texte, des images, des vidéos et/ou des points/marques de coupe, et - an electronic device comprising a display area for displaying in augmented reality superimposed on an image of the plant captured by the camera one or more cutting information from among the group comprising text, images, videos and / or dots / cut marks, and
- une machine d'apprentissage informatique préalablement entraînée avec des images d'apprentissage pour la reconnaissance de caractéristiques de référence du végétal filmé par la caméra et pour sélectionner des instructions de coupe associées à ces caractéristiques de référence. a computer learning machine previously trained with learning images for the recognition of reference characteristics of the plant filmed by the camera and for selecting cutting instructions associated with these reference characteristics.
[0022] Dans une forme d'exécution, l'appareil électronique est sous la forme de lunette de réalité augmentée comprenant la caméra et des verres comportant la zone d'affichage. Le système comporte en outre un ordiphone (Smartphone) configuré pour transmettre les données relatives aux instructions de coupe aux lunettes de réalité augmentée via une interface sans fil, notamment du type WIFI ou Bluetooth pour l'affichage desdites instructions sur la zone d'affichage des lunettes de réalité augmentée. [0022] In one embodiment, the electronic device is in the form of an augmented reality glasses comprising the camera and glasses comprising the display area. The system further comprises a computer (Smartphone) configured to transmit the data relating to the cutting instructions to the augmented reality glasses via a wireless interface, in particular of the WIFI or Bluetooth type for the display of said instructions on the display area of the glasses. augmented reality glasses.
[0023] Dans une forme d'exécution, l'appareil électronique est sous la forme d'une tablette numérique ou d'un smartphone comportant la zone d'affichage et la caméra. [0023] In one embodiment, the electronic device is in the form of a digital tablet or a smartphone comprising the display area and the camera.
[0024] Dans une forme d'exécution, la machine d'apprentissage informatique est un réseau neuronal. [0025] Dans une forme d'exécution, le système comporte en outre un dispositif électronique ou une unité de traitement à distance. Le dispositif électronique ou l'unité de traitement à distance comporte une unité de calcul pour générer un modèle numérique 3D. [0024] In one embodiment, the computer learning machine is a neural network. [0025] In one embodiment, the system further comprises an electronic device or a remote processing unit. The electronic device or the remote processing unit comprises a calculation unit for generating a 3D digital model.
[0026] Dans une forme d'exécution, le dispositif électronique est un smartphone ou une tablette numérique. [0026] In one embodiment, the electronic device is a smartphone or a digital tablet.
[0027] Dans une forme d'exécution, une base de données d'images et/ou une base de données d'instructions sont stockées dans une mémoire du dispositif électronique ou dans une mémoire de l'unité de traitement à distance. [0027] In one embodiment, an image database and / or an instruction database are stored in a memory of the electronic device or in a memory of the remote processing unit.
[0028] Dans une forme d'exécution, la machine d'apprentissage informatique est réalisée par un logiciel exécuté dans une mémoire du dispositif électronique ou dans une mémoire de l'unité de traitement à distance. [0028] In one embodiment, the computer learning machine is produced by software executed in a memory of the electronic device or in a memory of the remote processing unit.
[0029] Dans une forme d'exécution, un traitement d'image capturée par une caméra est effectué par un logiciel exécuté dans une mémoire du dispositif électronique ou dans une mémoire de l'unité de traitement à distance. [0029] In one embodiment, an image processing captured by a camera is performed by software executed in a memory of the electronic device or in a memory of the remote processing unit.
[0030] Dans une forme d'exécution, un modèle 3D est obtenu à partir de plusieurs images successives capturées par la caméra, au moyen d'un logiciel exécuté dans une mémoire du dispositif électronique ou dans une mémoire de l'unité de traitement à distance. [0030] In one embodiment, a 3D model is obtained from several successive images captured by the camera, by means of software executed in a memory of the electronic device or in a memory of the processing unit to distance.
[0031] Dans une forme d'exécution, des caractéristiques de référence sont extraites à partir d'une ou plusieurs images du végétal, ou à partir d'un modèle 3D du végétal, au moyen d'un logiciel exécuté dans une mémoire du dispositif électronique ou dans une mémoire de l'unité de traitement à distance. [0031] In one embodiment, reference characteristics are extracted from one or more images of the plant, or from a 3D model of the plant, by means of software executed in a memory of the electronic device or in a memory of the remote processing unit.
[0032] Dans une forme d'exécution, l'unité de traitement à distance est un serveur configuré pour transmettre les données relatives aux instructions de coupe à l'appareil électronique via un réseau de communication, par exemple un réseau de téléphonie mobile. [0032] In one embodiment, the remote processing unit is a server configured to transmit the data relating to the cutting instructions to the electronic device via a communication network, for example a mobile telephone network.
[0033] Un autre aspect de l'invention porte sur une application informatique pour ordiphone (Smartphone) pour l'assistance à la taille d'un végétal, notamment d'un plant de vigne par exemple. L'application informatique, lorsque qu'elle est exécutée, permet d'effectuer les opérations suivantes: Another aspect of the invention relates to a computer application for a computer (Smartphone) for assistance in pruning a plant, in particular a vine plant for example. The computer application, when it is executed, allows you to perform the following operations:
- générer un modèle numérique 3D d'un végétal à partir d'une série d'images de différentes vues du végétal ; - generate a 3D digital model of a plant from a series of images of different views of the plant;
- extraire des caractéristiques de référence à partir d'un modèle numérique 3D, les caractéristiques de référence représentant une signature propre au végétal à tailler; - extracting reference characteristics from a 3D digital model, the reference characteristics representing a signature specific to the plant to be pruned;
- classer les caractéristiques de référence au moyen d'une machine d'apprentissage informatique préalablement entraînée à l'aide d'images de référence, et - classify the reference characteristics using a computer learning machine previously trained using reference images, and
- sélectionner des instructions de coupe en fonction de ce classement. - select cutting instructions according to this classification.
[0034] Un autre aspect de l'invention porte sur une méthode d'assistance à la taille d'un végétal, notamment d'un plan de vigne par exemple, comportant les étapes suivantes : Another aspect of the invention relates to a method of assisting the pruning of a plant, in particular of a vineyard plan for example, comprising the following steps:
a. équiper un sujet d'un appareil électronique comportant une zone d'affichage, et une caméra; at. equipping a subject with an electronic device comprising a display area, and a camera;
b. filmer le végétal à tailler au moyen de la caméra de l'appareil électronique et transmettre en temps réel les images du végétal à un opérateur se trouvant à distance, et b. film the plant to be pruned by means of the camera of the electronic device and transmit in real time the images of the plant to a remote operator, and
c. transmission par l'opérateur d'instructions sur la taille du végétal et affichage desdites instructions sur ladite zone d'affichage en réalité augmentée en superposition à l'image réelle du végétal à tailler. [0035] Dans une forme d'exécution, l'appareil électronique est sous la forme de lunette de réalité augmentée comprenant la caméra et des verres comportant la zone d'affichage. vs. transmission by the operator of instructions on the size of the plant and display of said instructions on said display area in augmented reality superimposed on the real image of the plant to be pruned. In one embodiment, the electronic device is in the form of an augmented reality glasses comprising the camera and glasses comprising the display area.
[0036] Dans une forme d'exécution, les lunettes de réalité augmentée sont équipées d'un microphone et d'écouteurs pour permettre un échange de communication entre le sujet et l'opérateur. In one embodiment, the augmented reality glasses are equipped with a microphone and headphones to allow an exchange of communication between the subject and the operator.
[0037] Dans une forme d'exécution, l'appareil électronique est sous la forme d'une tablette numérique ou d'un smartphone comportant la zone d'affichage et la caméra. [0037] In one embodiment, the electronic device is in the form of a digital tablet or a smartphone comprising the display area and the camera.
[0038] Dans une forme d'exécution, les instructions comportent une image sélectionnée par l'opérateur parmi une série d'images de végétaux sauvegardée dans une base de données. Chaque image comporte des instructions de coupe comprenant des marques ou des points de coupe se superposant aux branches de l'image réelle de végétal et/ou des images/vidéos explicatives. [0039] Un autre aspect de l'invention porte sur une méthode d'assistance à la taille d'un végétal, notamment d'un plant de vigne par exemple, comportant les étapes suivantes : In one embodiment, the instructions comprise an image selected by the operator from among a series of images of plants saved in a database. Each image has cutting instructions including marks or cut points superimposed on the branches of the actual plant image and / or explanatory images / videos. Another aspect of the invention relates to a method of assisting the pruning of a plant, in particular of a vine plant for example, comprising the following steps:
a. équiper un sujet d'un ordiphone/Smartphone et de lunettes de réalité augmentée comportant des verres comprenant une zone d'affichage; at. equipping a subject with a computer / smartphone and augmented reality glasses comprising glasses comprising a display area;
b. sélection d'une image par le sujet au moyen de l'ordiphone parmi une série d'images de végétaux sauvegardée dans une base de données dans une mémoire de l'ordiphone, chaque image étant associée à des instructions de coupe comprenant des marques ou des points de coupe et/ou des images/vidéos explicatives, et b. selection of an image by the subject using the smartphone from among a series of images of plants saved in a database data in a memory of the smartphone, each image being associated with cutting instructions comprising marks or cutting points and / or explanatory images / videos, and
c. transmission des instructions de coupe aux lunettes de réalité augmentée pour afficher sur la zone d'affichage les instructions de coupe en réalité augmentée en superposition à l'image réelle du végétal à tailler. vs. transmission of cutting instructions to augmented reality glasses to display the augmented reality cutting instructions on the display area superimposed on the real image of the plant to be cut.
Brève description des figures Brief description of the figures
[0040] Des exemples de mise en oeuvre de l'invention sont indiqués dans la description illustrée par les figures annexées dans lesquelles : · La figure 1 illustre une vue en perspective de lunettes de réalité augmentée pour la mise en oeuvre du système et de la méthode d'assistance à la taille de végétaux selon un mode d'exécution de l'invention, Examples of implementation of the invention are indicated in the description illustrated by the appended figures in which: FIG. 1 illustrates a perspective view of augmented reality glasses for the implementation of the system and of the method of assisting the pruning of plants according to one embodiment of the invention,
• La figure 2 illustre une vue schématique d'une tablette numérique pour la mise en oeuvre du système et de la méthode d'assistance à la taille de végétaux selon un autre mode d'exécution de l'invention, • Figure 2 illustrates a schematic view of a digital tablet for the implementation of the system and the method of assisting the pruning of plants according to another embodiment of the invention,
• La figure 3 illustre une vue schématique d'un smartphone pour la mise en oeuvre du système et de la méthode d'assistance à la taille de végétaux selon un autre mode d'exécution de l'invention, • Figure 3 illustrates a schematic view of a smartphone for implementing the system and the method of assisting in the pruning of plants according to another embodiment of the invention,
• La figure 4 illustre un plant de vigne à tailler, • Figure 4 illustrates a vine plant to be pruned,
Les figures 5a, 5b, 5c illustrent différentes images d'un plant de vigne avec des instructions relatives à la taille du plant de vigne, • La figure 6 illustre un flowchart des étapes principales de la méthode d'assistance à la taille selon un mode d'exécution selon un mode préférentiel de l'invention, et Figures 5a, 5b, 5c illustrate different images of a vine plant with instructions for pruning the grape plant, • Figure 6 illustrates a flowchart of the main steps of the pruning assistance method according to an embodiment according to a preferred embodiment of the invention, and
• La figure 7 illustre un schéma bloc d'un système pour la mise en oeuvre de la méthode selon un autre mode d'exécution de l'invention. FIG. 7 illustrates a block diagram of a system for implementing the method according to another embodiment of the invention.
Exemples de mode de réalisation de l'invention Examples of embodiment of the invention
[0041] Selon une forme d'exécution, la méthode d'assistance est adaptée à la taille d'un plant de vigne 10 tel qu'illustré à la figure 4. A cet effet, un utilisateur, par exemple une personne non-initiée à la taille, est équipée de lunettes de réalité augmentée 12 selon l'exemple d'illustration de la figure 1. According to one embodiment, the assistance method is adapted to the size of a vine plant 10 as illustrated in FIG. 4. For this purpose, a user, for example a non-initiated person at the waist, is equipped with augmented reality glasses 12 according to the illustrative example of Figure 1.
[0042] Les lunettes de réalité augmentée 12 comportent des verres 14 pourvus d'une zone d'affichage 16 pour l'affichage notamment d'instructions relatives à la taille du plant de vigne 10 ainsi qu'une caméra 18 de sorte à pouvoir prendre une image ou série d'images du plant de vigne à tailler tel qu'illustré à la figure 4. De manière avantageuse, les lunettes de réalité augmentée 12 peuvent comporter en outre un accéléromètre et de préférence une boussole (non illustrés). The augmented reality glasses 12 comprise glasses 14 provided with a display area 16 for the display in particular of instructions relating to the size of the vine plant 10 as well as a camera 18 so as to be able to take an image or series of images of the vine plant to be pruned as illustrated in FIG. 4. Advantageously, the augmented reality glasses 12 may further include an accelerometer and preferably a compass (not illustrated).
[0043] Par ailleurs, selon une forme d'exécution préférentielle non- illustrée, les lunettes de réalité augmentée 12 comportent une caméra RGB, une caméra infrarouge ainsi qu'une caméra 3D. L'utilisation d'une caméra infrarouge permet de s'affranchir des problèmes d'ombres ou d'illumination. L'utilisation d'une caméra 3D, par exemple un capteur à mesure de temps de vol, permet d'obtenir à partir de chaque trame une information quant à la position de chaque pixel selon trois axes X,Y et Z. [0044] La méthode selon l'invention peut de préférence comporter les étapes suivantes telles qu'illustrées à la figure 6 : a. capture d'une ou plusieurs séquences d'images du plan de vigne 10 à l'aide d'une caméra RGB, ou de préférence à l'aide d'une caméra RGB, d'une caméra infrarouge afin de limiter les problèmes d'ombres et d'une caméra 3D ; b. transmission et traitement numérique préliminaire de la séquence d'images pour la correction de chaque image, notamment de son illumination, de sa couleur de blanc, de son contraste, de sa dimension et pour la superposition des images RGB, infrarouge et en 3D ainsi que pour l'extraction de l'avant-plan et de l'arrière-plan pour ne garder que le plant de vigne. Il est aussi possible de segmenter l'image du plant de vigne de manière à distinguer par exemple entre les bois (le tronc et les rameaux), les feuilles, les grappes etc ; cela permet par exemple d'isoler les bois et de faciliter la comparaison ultérieure avec des caractéristiques de référence obtenues à partir de plants se trouvant à un stade de développement différent du feuillage et du fruit ; c. construction d'un modèle numérique 3D du plant de vigne à tailler à partir de la ou des séquences d'images et en tenant de préférence compte des données de l'accéléromètre et/ou de la boussole des lunettes de réalité augmentée . Le modèle numérique 3D peut par exemple être obtenu en alignant et superposant les différentes trames d'images obtenues par les différents capteurs RGB, infrarouge et/ou 3D ; d. extraction de « features », ci-après dites caractéristiques de référence à partir du modèle numérique 3D, par exemple les parties du plant de vigne correspondant notamment aux bifurcations des rameaux, et/ou aux extrémités des rameaux, etc.; e. transmission de ces caractéristiques de référence à un réseau neuronal, entraîné préalablement avec des images d'apprentissage comportant uniquement des caractéristiques d'apprentissage et avec des instructions de coupe en fonction de la configuration des caractéristiques de référence de l'image, de sorte à déterminer des instructions de coupe pour le plant de vigne à tailler, et f. affichage des instructions de coupe en superposition sur l'image vidéo en temps réel, par exemple sous la forme de marques ou de points sur les branches à couper ou de texte, d'image ou de vidéo explicatives. [0045] A noter que les caractéristiques d'apprentissage constituent une signature propre à chaque plant utilisé pour l'apprentissage. Ces caractéristiques peuvent par exemple représenter des points de bifurcation des branches et des extrémités des rameaux d'un plan de vigne qui a été préalablement modélisé afin de garder uniquement ces données afin de réduire le volume de données pour chaque plant. Furthermore, according to a preferred embodiment not shown, the augmented reality glasses 12 include an RGB camera, an infrared camera and a 3D camera. The use of an infrared camera eliminates the problem of shadows or illumination. The use of a 3D camera, for example a time-of-flight measurement sensor, makes it possible to obtain from each frame information as to the position of each pixel along three axes X, Y and Z. The method according to the invention can preferably comprise the following steps as illustrated in FIG. 6: a. capture of one or more sequences of images of the vineyard plan 10 using an RGB camera, or preferably using an RGB camera, an infrared camera in order to limit the problems of shadows and a 3D camera; b. transmission and preliminary digital processing of the sequence of images for the correction of each image, in particular its illumination, its color of white, its contrast, its size and for the superposition of RGB, infrared and 3D images as well as for the extraction of the foreground and the background to keep only the vine plant. It is also possible to segment the image of the vine plant so as to distinguish, for example, between antlers (trunk and twigs), leaves, clusters etc; this makes it possible, for example, to isolate the woods and to facilitate subsequent comparison with reference characteristics obtained from plants at a different stage of development of the foliage and the fruit; vs. construction of a 3D digital model of the vine plant to be pruned from the image sequence (s) and preferably taking into account the data from the accelerometer and / or the compass of the augmented reality glasses. The 3D digital model can for example be obtained by aligning and superimposing the different frames of images obtained by the different RGB, infrared and / or 3D sensors; d. extraction of “features”, hereinafter referred to as reference characteristics from the 3D digital model, for example the parts of the vine plant corresponding in particular to the bifurcations of the twigs, and / or the ends of the twigs, etc .; e. transmission of these reference characteristics to a neural network, previously trained with training images comprising only training characteristics and with cutting instructions according to the configuration of the reference characteristics of the image, so as to determine cutting instructions for the vine plant to be pruned, and f. display of cutting instructions superimposed on the video image in real time, for example in the form of marks or dots on the branches to be cut or of explanatory text, image or video. Note that the learning characteristics constitute a signature specific to each plant used for learning. These characteristics can for example represent the bifurcation points of the branches and the ends of the twigs of a vine plan which has been previously modeled in order to keep only these data in order to reduce the volume of data for each plant.
[0046] Selon la figure 7, un système d'assistance 40 à la taille du plant de vigne comporte les lunettes de réalité augmentée 12 telles que décrites ci- dessus ainsi qu'un dispositif électronique 41. Le dispositif électronique 41 comporte une unité de réception 42 pour recevoir les données constituant la séquence d'images transmises par les lunettes de réalité augmentée 12, une unité de traitement numérique 43 pour un traitement numérique préliminaire de la séquence d'images (voir l'étape b de la méthode décrite ci-dessus), une unité de calcul 44 (processeur) pour générer un modèle numérique 3D du plan de vigne à tailler à partir de la séquence d'images, une base de données d'instructions 48 ainsi qu'un réseau neuronal 50 préalablement entraîné avec des caractéristiques de référence obtenues à partir d'images d'apprentissage correspondant à des modèles numériques 3D d'une multitude de plants de vigne dans une base de données 26. [0047] Le système neuronal 50 est adapté, d'une part, pour classer les caractéristiques de référence extraites de l'image capturée avec la caméra, ou du modèle 3D généré à partir de plusieurs images d'une séquence, puis, d'autre part, pour déduire de cette classification des instructions de coupes associées. Les instructions de coupes sont ensuite affichées sur la zone d'affichage 16 des lunettes 12 afin d'afficher ces instructions en réalité augmentée en superposition à l'image capturée par la caméra du plant de vigne. Les instructions de coupe sont par exemple sous la forme de marques, de couleurs ou de points sur les branches à couper, sous la forme d'images telles qu'illustrées aux figures 5a-5c ou encore sous la forme de vidéos explicatives. Dans cet exemple de végétal, La personne non-initiée se retrouve ainsi en face du plant de vigne 10 avec des instructions dans son champ visuel afin de lui permettre d'effectuer les bons gestes pour une taille optimale du plant de vigne 10. [0048] La zone d'affichage 16 des lunettes de réalité augmentée 12 peut afficher des instructions autres que celles concernant la taille du plant de vigne. Par exemple, des instructions de déplacement autour du plant de vigne 10 à tailler peuvent être affichées en fonction des données d'un accéléromètre et d'une boussole intégrés aux lunettes 12 afin de prendre les images du plan de vigne sous des angles optimaux pour pouvoir reconstituer le modèle numérique 3D du plant de vigne à tailler. L'accéléromètre et la boussole peuvent aussi être utilisés pour déterminer la position de la caméra et la direction de prise de vue, afin de pouvoir construire le modèle numérique 3D en fonction de différentes prises de vues optimales. [0049] De manière avantageuse, la machine d'apprentissage informatique est sous la forme d'un réseau neuronal 50 qui a été préalablement entraîné pour apprendre à déterminer quelles instructions de coupe à afficher pour quel plant. A cet effet, le réseau neuronal 50 a été entraîné avec des caractéristiques de référence (features) d'une multitude de modèles 2D ou 3D correspondant chacun à un plant de vigne particulier et avec des instructions de coupe introduites par un spécialiste pour chaque plant. According to Figure 7, an assistance system 40 for pruning the vine plant comprises the augmented reality glasses 12 as described above as well as an electronic device 41. The electronic device 41 comprises a control unit. reception 42 to receive the data constituting the sequence of images transmitted by the augmented reality glasses 12, a digital processing unit 43 for preliminary digital processing of the sequence of images (see step b of the method described below) above), a calculation unit 44 (processor) for generating a 3D digital model of the vine plan to be pruned from the sequence of images, a database of instructions 48 as well as a neural network 50 previously trained with reference characteristics obtained from training images corresponding to digital 3D models of a multitude of vine plants in a database 26. The neural system 50 is adapted, on the one hand, to classify the reference characteristics extracted from the image captured with the camera, or from the 3D model generated from several images of a sequence, then, from on the other hand, to deduce from this classification associated cutting instructions. The cutting instructions are then displayed on the display area 16 of the glasses 12 in order to display these instructions in augmented reality superimposed on the image captured by the camera of the vine plant. The cutting instructions are for example in the form of marks, colors or dots on the branches to be cut, in the form of images as illustrated in FIGS. 5a-5c or else in the form of explanatory videos. In this example of a plant, the uninitiated person thus finds himself in front of the vine plant 10 with instructions in his visual field in order to allow him to perform the right actions for an optimal size of the vine plant 10. [0048 The display area 16 of the augmented reality glasses 12 can display instructions other than those relating to the size of the vine plant. For example, instructions for moving around the vine plant 10 to be pruned can be displayed based on data from an accelerometer and a compass built into the glasses 12 in order to take the images of the vine plan at optimal angles to be able to reconstruct the 3D digital model of the vine plant to be pruned. The accelerometer and compass can also be used to determine camera position and shooting direction, so that the 3D digital model can be built based on different optimal shots. [0049] Advantageously, the computer learning machine is in the form of a neural network 50 which has been previously trained to learn how to determine which cutting instructions to display for which plant. For this purpose, the neural network 50 has been trained with reference characteristics (features) of a multitude of 2D or 3D models each corresponding to a particular vine plant and with cutting instructions introduced by a specialist for each plant.
[0050] Dans une forme d'exécution avantageuse, le dispositif électronique 41 peut par exemple être un ordiphone (Smartphone) en communication avec les lunettes de réalité augmentée 12 par exemple par un protocole de communication du type Bluetooth. L'ordiphone 41 peut recevoir une séquence d'images envoyée par les lunettes de réalité augmentée 12 comportant les caractéristiques de référence du plant de vigne 10 à tailler et effectuer sur la séquence d'images reçues des opérations de traitement numérique préliminaire, notamment du type tel que décrit précédemment. In an advantageous embodiment, the electronic device 41 can for example be a computer (Smartphone) in communication with the augmented reality glasses 12, for example by a communication protocol of the Bluetooth type. The smartphone 41 can receive a sequence of images sent by the augmented reality glasses 12 comprising the reference characteristics of the vine plant 10 to be pruned and perform preliminary digital processing operations on the sequence of images received, in particular of the type as described above.
[0051] La puissance de calcul du processeur de l'ordiphone est suffisante, d'une part, pour générer un modèle numérique 3D du plant de vigne à tailler à partir de la séquence d'images et pour extraire les caractéristiques de référence à partir du modèle numérique 3D et, d'autre part, pour effectuer la classification de ces caractéristiques à l'aide du réseau neuronal 50. The computing power of the processor of the computer is sufficient, on the one hand, to generate a 3D digital model of the vine plant to be pruned from the sequence of images and to extract the reference characteristics from of the 3D digital model and, on the other hand, to perform the classification of these characteristics using the neural network 50.
[0052] Selon cette forme d'exécution, le processeur de l'ordiphone effectue tout d'abord un traitement d'image tel que décrit plus haut sur chaque trame successive d'une ou plusieurs séquences d'images, puis utilise les différentes images ainsi traitées pour générer un modèle 3D du plant de vigne filmé et ensuite en extraire les caractéristiques de référence. Ces caractéristiques de référence sont introduites dans un réseau neuronal également réalisé sous la forme d'un logiciel stockés dans la mémoire de l'ordiphone 41 et qui permet de classer ce modèle afin de déterminer le modèle d'apprentissage le plus proche et/ou de sélectionner des instructions de coupe associées au modèle de plant identifié. Ces instructions de coupe sont ensuite transmises par l'ordiphone 41 aux lunettes de réalité augmentée 12 via un protocole de communication du type Bluetooth ou Wifi afin d'afficher les instructions de coupe sur la zone d'affichage 16 des lunettes 12 en réalité augmentée en superposition à l'image réelle du plant de vigne à tailler. Cette forme d'exécution à l'avantage de proposer un système d'assistance à la taille autonome comportant uniquement les lunettes de réalité augmentée 12 et un ordiphone 41 conventionnel. According to this embodiment, the processor of the smartphone first of all performs image processing as described above on each successive frame of one or more sequences of images, then uses the different images thus processed to generate a 3D model of the filmed vine plant and then extract the reference characteristics. These reference characteristics are introduced into a neural network also produced in the form of software stored in the memory of the smartphone 41 and which makes it possible to classify this model in order to determine the closest learning model and / or select cutting instructions associated with the identified plant model. These cutting instructions are then transmitted by the smartphone 41 to the augmented reality glasses 12 via a communication protocol of the Bluetooth or Wifi type in order to display the cutting instructions on the display zone 16 of the glasses 12 in augmented reality, superimposed on the real image of the vine plant to be pruned. This embodiment has the advantage of providing an autonomous waist assistance system comprising only the augmented reality glasses 12 and a conventional smartphone 41.
[0053] Dans le cadre de cette forme d'exécution avantageuse, une application informatique peut être téléchargée sur l'ordiphone 41 pour mettre en oeuvre la méthode d'assistance à la taille d'un plan de vigne. Cette application informatique, lorsque qu'elle est exécutée, permet notamment un traitement numérique préliminaire de la séquence d'images reçues par l'ordiphone afin de corriger chaque image, en particulier son illumination, son contraste, sa dimension ainsi que pour l'extraction de l'avant-plan et de l'arrière-plan de l'image pour ne garder que le plant vigne. [0054] Dans une autre forme d'exécution, le réseau neuronal 50 est réalisé sous la forme d'un logiciel stocké dans une mémoire d'un serveur qui comporte un ou plusieurs processeurs dont la puissance de calcul est particulièrement bien adaptée pour l'exécution des algorithmes de classification de modèles ainsi que pour générer un modèle numérique 3D à partir d'une série d'images transmise par les lunettes de réalité augmentée 12. Le serveur peut également stocker dans une mémoire les bases de données d'instructions 48. As part of this advantageous embodiment, a computer application can be downloaded to the smartphone 41 to implement the method of assisting the size of a vineyard plan. This computer application, when it is executed, allows in particular a preliminary digital processing of the sequence of images received by the smartphone in order to correct each image, in particular its illumination, its contrast, its dimension as well as for the extraction. of the foreground and the background of the image to keep only the vine plant. In another embodiment, the neural network 50 is produced in the form of software stored in a memory of a server which comprises one or more processors whose computing power is particularly well suited for the execution of the model classification algorithms as well as to generate a 3D digital model from a series of images transmitted by the augmented reality glasses 12. The server can also store the instruction databases 48 in a memory.
[0055] Selon cette configuration, le serveur est configuré pour communiquer avec l'ordiphone 41 ou les lunettes de réalité augmentée 12 via un réseau de communication, par exemple un réseau de téléphonie mobile. Le serveur peut ainsi recevoir une séquence d'images du plant de vigne 10 à tailler transmise par les lunettes de réalité augmentée 12 ou par l'ordiphone 41 via le réseau de téléphonie mobile afin de générer le modèle numérique 3D afin d'extraire les caractéristiques de référence nécessaires pour la sélection des instructions de coupe en fonction de la ou des images identifiées par le réseau neuronal 30 selon les caractéristiques de référence du modèle numérique 3D. [0056] Les instructions de coupe sont ensuite transmises par le serveur aux lunettes de réalité augmentée 12 via le réseau de téléphonie mobile afin d'afficher les instructions de coupe sur la zone d'affichage 16 des lunettes 12 en réalité augmentée en superposition à l'image réelle du plant de vigne à tailler. [0057] Un logiciel de compression/décompression de données peut être utilisé afin d'améliorer la vitesse de transmission des données entre les lunettes de réalité augmentée 12 et l'ordiphone 41, entre les lunettes de réalité augmentée 12 et le serveur ou entre l'ordiphone 21 et le serveur. According to this configuration, the server is configured to communicate with the smartphone 41 or the augmented reality glasses 12 via a communication network, for example a mobile telephone network. The server can thus receive a sequence of images of the vine plant 10 to be pruned transmitted by the augmented reality glasses 12 or by the smartphone 41 via the mobile telephone network in order to generate the model digital 3D in order to extract the reference characteristics necessary for the selection of the cutting instructions according to the image or images identified by the neural network 30 according to the reference characteristics of the 3D digital model. The cutting instructions are then transmitted by the server to the augmented reality glasses 12 via the mobile telephone network in order to display the cutting instructions on the display area 16 of the glasses 12 in augmented reality superimposed on the real image of the vine plant to be pruned. Data compression / decompression software can be used to improve the speed of data transmission between the augmented reality glasses 12 and the smartphone 41, between the augmented reality glasses 12 and the server or between the smartphone 21 and the server.
[0058] Selon une autre forme d'exécution, la méthode d'assistance à la taille d'un plant de vigne consiste à équiper une personne non-initiée à la taille de lunettes de réalité augmentée 12 comportant des verres 14 comprenant une zone d'affichage 16. Les lunettes de réalité augmentée 12 comportent en outre une caméra 18 pour filmer et transmettre en temps réel les images du plant de vigne à tailler à un opérateur se trouvant à distance et disposant des connaissances nécessaires pour pouvoir guider la personne non-initiée. According to another embodiment, the method of assisting in the pruning of a vine plant consists in equipping a person not initiated in the size of augmented reality glasses 12 comprising lenses 14 comprising a zone of 'display 16. The augmented reality glasses 12 further include a camera 18 for filming and transmitting in real time the images of the vine plant to be pruned to an operator located at a distance and having the necessary knowledge to be able to guide the non-person. initiated.
[0059] L'opérateur est muni d'une unité informatique afin de pouvoir sélectionner, parmi une série d'images de plants de vigne sauvegardée dans une base de données, une ou plusieurs images ressemblant aux images reçues en temps réel et comportant des instructions relatives à la taille du végétal figurant sur l'image ou chaque image. Une ou plusieurs images provenant de la base de données sont ensuite transmises via un réseau de communication aux lunettes de réalité augmentée 12 et affichée sur la zone d'affichage 16 des verres 14 des lunettes 12. Ces dernières peuvent avantageusement être équipées d'un microphone et d'écouteurs pour permettre un échange de communication entre la personne non-initiée et l'opérateur. [0060] Selon une autre forme d'exécution, la méthode d'assistance à la taille d'un plant de vigne consiste à équiper une personne non-initiée à la taille d'un ordiphone 41 et de lunettes de réalité augmentée 12 comportant des verres 14 comprenant une zone d'affichage 16. La personne non-initiée peut sélectionner une image au moyen de l'ordiphone 41 parmi une série d'images de plants de vigne sauvegardée dans une base de données dans une mémoire de l'ordiphone 41. Cette sélection se fait manuellement et est basée sur l'estimation de ressemblance faite par la personne non-initiée par rapport l'aspect du plant de vigne à tailler. Chaque image comporte des instructions de coupe comprenant de préférence des marques ou des points de coupe. Ces images sont transmises de l'ordiphone 41 aux lunettes de réalité augmentée 12, par exemple via un protocole de communication du type Bluetooth ou Wifi, afin de pouvoir afficher les instructions de coupe sur la zone d'affichage 16 des lunettes 12 en réalité augmentée en superposition à l'image réelle du plan de vigne. [0061] Selon une autre forme d'exécution de l'invention, une personne non-initiée à la taille, est équipée d'une tablette numérique 22 ou d'un smartphone 32, selon les figures 2 et 3, comportant sur une face une zone d'affichage 26, 36 et au dos une caméra 28, 38 de sorte à pouvoir prendre une image ou série d'images du plant de vigne à tailler. De manière avantageuse, la tablette numérique 22 ou le smartphone 32 peut comporter en outre un accéléromètre et de préférence une boussole (non illustrés). The operator is provided with a computer unit in order to be able to select, from among a series of images of vine plants saved in a database, one or more images resembling the images received in real time and comprising instructions. relating to the size of the plant shown in the image or each image. One or more images from the database are then transmitted via a communication network to the augmented reality glasses 12 and displayed on the area display 16 of the glasses 14 of the glasses 12. The latter can advantageously be equipped with a microphone and headphones to allow an exchange of communication between the uninitiated person and the operator. According to another embodiment, the method of assisting the pruning of a vine plant consists in equipping a non-initiated person at the size of a computer 41 and augmented reality glasses 12 comprising glasses 14 comprising a display area 16. The uninitiated person can select an image by means of the smartphone 41 from a series of images of vine plants saved in a database in a memory of the smartphone 41 This selection is done manually and is based on the estimate of resemblance made by the uninitiated person in relation to the appearance of the vine plant to be pruned. Each image has cutting instructions preferably including marks or cut points. These images are transmitted from the smartphone 41 to the augmented reality glasses 12, for example via a communication protocol of the Bluetooth or Wifi type, in order to be able to display the cutting instructions on the display zone 16 of the glasses 12 in augmented reality. superimposed on the real image of the vineyard plan. According to another embodiment of the invention, a person uninitiated in the size, is equipped with a digital tablet 22 or a smartphone 32, according to Figures 2 and 3, having on one side a display area 26, 36 and on the back a camera 28, 38 so as to be able to take an image or series of images of the vine plant to be pruned. Advantageously, the digital tablet 22 or the smartphone 32 may further include an accelerometer and preferably a compass (not illustrated).
[0062] Cette forme d'exécution à l'avantage de réduire le nombre d'équipement puisque la tablette numérique 22 ou le smartphone 32 comporte le hardware nécessaire afin d'exécuter à lui seul les différentes étapes illustrées à la figure 6 afin d'afficher en réalité augmentée des instructions de coupe en superposition à l'image réelle du végétal. This embodiment has the advantage of reducing the number of equipment since the digital tablet 22 or the smartphone 32 includes the necessary hardware in order to perform on its own the different steps illustrated in FIG. 6 in order to display in augmented reality cutting instructions superimposed on the real image of the plant.
[0063] Plus particulièrement, la tablette numérique ou le smartphone comporte une unité de traitement numérique pour un traitement numérique préliminaire de la séquence d'images du plant de vigne, une unité de calcul (processeur) pour générer un modèle numérique 3D du plan de vigne à tailler à partir de la séquence d'images, une base de données d'instructions ainsi qu'un réseau neuronal préalablement entraîné avec des caractéristiques de référence obtenues à partir d'images d'apprentissage correspondant à des modèles numériques 3D d'une multitude de plants de vigne dans une base de données. More particularly, the digital tablet or the smartphone comprises a digital processing unit for preliminary digital processing of the sequence of images of the vine plant, a calculation unit (processor) for generating a 3D digital model of the plan of vine to be pruned from the sequence of images, a database of instructions as well as a previously trained neural network with reference characteristics obtained from training images corresponding to 3D digital models of a multitude of vine plants in a database.
[0064] La tablette numérique 22 ou le smartphone 32 effectue par conséquent les mêmes fonctions que le dispositif électronique 41 décrit préalablement en relation avec les lunettes de réalité augmentée 12. La sélection d'instructions de coupe par le biais d'un réseau neuronal en fonction des features extraites du modèle 3D peut donc directement être affichée en réalité augmentée sur la zone d'affichage de la tablette numérique ou de smartphone en superposition à l'image réelle du végétal. [0065] Selon une autre forme d'exécution, la machine d'apprentissage informatique est entraînée à partir de caractéristiques de référence obtenues à partir d'images 2D d'entraînement, annotées par un operateur selon un code de labellisation, dans le but de classer les caractéristiques extraites à partir de ces images prises par l'appareil électronique (e.g. lunettes de réalité augmentée 12, tablette numérique 22, smartphone 32) et non pas à partir d'un modèle numérique 3D, et en déduire ensuite des instructions de coupe, par exemple des instructions de coupe sélectionnées dans une base de données de coupe. [0066] Bien entendu, la méthode d'assistance à la taille selon l'invention n'est pas limitée au domaine de la viticulture et peut s'appliquer notamment au domaine de l'arboriculture pour tout type d'arbre, en particulier d'arbre fruitier, au domaine du paysagisme pour la taille de buisson décoratif ou encore au domaine floral pour la taille de fleurs, notamment de roses, etc. The digital tablet 22 or the smartphone 32 therefore performs the same functions as the electronic device 41 previously described in relation to the augmented reality glasses 12. The selection of cutting instructions through a neural network in function of the features extracted from the 3D model can therefore be directly displayed in augmented reality on the display area of the digital tablet or smartphone superimposed on the real image of the plant. According to another embodiment, the computer learning machine is trained from reference characteristics obtained from 2D training images, annotated by an operator according to a labeling code, with the aim of classify the characteristics extracted from these images taken by the electronic device (eg augmented reality glasses 12, digital tablet 22, smartphone 32) and not from a digital 3D model, and then deduce cutting instructions , for example cutting instructions selected from a cutting database. Of course, the pruning assistance method according to the invention is not limited to the field of viticulture and can be applied in particular to the field of arboriculture for any type of tree, in particular of fruit tree, in the field of landscaping for the size of decorative bush or in the floral field for the size of flowers, in particular roses, etc.

Claims

Revendications Claims
1. Méthode d'assistance à la taille d'un végétal (10) mise en œuvre par un dispositif électronique (21), comportant les étapes suivantes : 1. Method for assisting the pruning of a plant (10) implemented by an electronic device (21), comprising the following steps:
a. équiper un sujet d'un appareil électronique (12 ; 22 ; 32) comportant une zone d'affichage (16 ; 26 ; 36) et une caméra (18 ; 28 ; 38) ; at. equipping a subject with an electronic device (12; 22; 32) comprising a display area (16; 26; 36) and a camera (18; 28; 38);
b. prendre au moins une image du végétal (10) à tailler à l'aide de la caméra (18 ; 28 ; 38) de l'appareil électronique (12 ; 22 ; 32), ci-après image de référence ; b. take at least one image of the plant (10) to be pruned using the camera (18; 28; 38) of the electronic device (12; 22; 32), hereinafter a reference image;
c. utiliser une machine d'apprentissage informatique (50) préalablement entraînée avec des données d'apprentissage pour déterminer des instructions de coupe, et vs. using a computer learning machine (50) previously trained with training data to determine cutting instructions, and
d. afficher les instructions de coupe sur la zone d'affichage (16 ; 26 ; 36) en réalité augmentée en superposition à l'image réelle du végétal. d. displaying the cutting instructions on the display area (16; 26; 36) in augmented reality superimposed on the real image of the plant.
2. Méthode selon la revendication 1, dans laquelle l'appareil électronique est sous la forme de lunette de réalité augmentée (12) comprenant la caméra (18) et des verres (14) comportant la zone d'affichage (16). 2. Method according to claim 1, in which the electronic device is in the form of an augmented reality glasses (12) comprising the camera (18) and glasses (14) comprising the display zone (16).
3. Méthode selon la revendication 1, dans laquelle l'appareil électronique est sous la forme d'une tablette numérique (22) ou d'un smartphone (32) comportant la zone d'affichage (26 ; 36) et la caméra (28 ; 38). 3. Method according to claim 1, wherein the electronic device is in the form of a digital tablet (22) or a smartphone (32) comprising the display area (26; 36) and the camera (28). ; 38).
4. Méthode selon l'une des revendications précédentes, dans laquelle les données d'apprentissage incluent des points ou des marques de coupes recommandés associés à des caractéristiques de référence représentant une signature propre à chaque plant végétal parmi une pluralité de plants de végétaux de différentes apparences. 4. Method according to one of the preceding claims, wherein the training data includes points or recommended cut marks associated with reference characteristics representing a signature specific to each plant plant among a plurality of plant plants of different. appearances.
5. Méthode selon l'une des revendications précédentes, dans laquelle une série d'images du végétal à tailler est prise à l'aide de la caméra (18 ; 28 ; 38) de l'appareil électronique (12 ; 22 ; 32) sous plusieurs angles au cours de l'étape b, laquelle est suivie d'une étape consistant à générer un modèle numérique 3D du végétal à tailler en fonction de la série d'images du végétal, et dans laquelle des caractéristiques de référence sont extraites à partir du modèle numérique 3D, les caractéristique de référence représentant une signature propre au végétal à tailler. 5. Method according to one of the preceding claims, in which a series of images of the plant to be pruned is taken using the camera (18; 28; 38) of the electronic device (12; 22; 32). from several angles during step b, which is followed by a step of generating a 3D digital model of the plant to be pruned based on the series of images of the plant, and in which reference characteristics are extracted from the 3D digital model, the reference characteristics representing a signature specific to the plant to be pruned.
6. Méthode selon la revendication 5, dans laquelle au moins certaines desdites caractéristiques de référence correspondent aux bifurcations des branches du végétal à tailler. 6. Method according to claim 5, in which at least some of said reference characteristics correspond to the bifurcations of the branches of the plant to be pruned.
7. Méthode selon la revendication 5 ou 6, dans laquelle la machine d'apprentissage informatique (40) est un réseau neuronal adapté pour, d'une part, classer les caractéristiques de référence extraites à partir du modèle numérique 3D puis, d'autre part, déterminer les instructions de coupes associées à ces caractéristiques de référence afin d'afficher lesdites instructions de coupe en réalité augmentée en superposition à l'image capturée du végétal à tailler. 7. Method according to claim 5 or 6, wherein the computer learning machine (40) is a neural network suitable for, on the one hand, classifying the reference characteristics extracted from the 3D digital model and then, on the other hand. on the other hand, determining the cutting instructions associated with these reference characteristics in order to display said cutting instructions in augmented reality superimposed on the captured image of the plant to be pruned.
8. Méthode selon la revendication 7, dans laquelle les instructions de coupe comportent des marques ou des points de coupe se superposant aux branches de l'image de végétal et/ou des images/vidéos explicatives. 8. The method of claim 7, wherein the cutting instructions include marks or cutting points superimposed on the branches of the plant image and / or explanatory images / videos.
9. Méthode selon l'une des revendications 5 à 8, dans laquelle des instructions de déplacement autour du végétal à tailler sont affichées sur ladite zone d'affichage (16 ; 26 ; 36) de l'appareil numérique afin de prendre des images du végétal sous des angles optimaux pour pouvoir générer le modèle numérique 3D. 9. Method according to one of claims 5 to 8, wherein movement instructions around the plant to be pruned are displayed on said display area (16; 26; 36) of the digital apparatus in order to take images of the. plant under optimal angles to be able to generate the 3D digital model.
10. Méthode selon l'une des revendications précédentes, comprenant la transmission en temps réel ou quasi-temps réel de l'image de référence ou du modèle numérique 3D à un opérateur à distance, et la réception par le sujet d'instructions de coupe visuelles et/ou auditives de la part de cet opérateur à distance. 10. Method according to one of the preceding claims, comprising the transmission in real time or near real time of the reference image or of the 3D digital model to a remote operator, and the reception by the subject of cutting instructions. visual and / or auditory from this remote operator.
11. Méthode selon l'une des revendications précédentes, dans laquelle le végétal est un plant de vigne. 11. Method according to one of the preceding claims, in which the plant is a vine plant.
12. Système d'assistance (40) à la taille d'un végétal destiné à mettre en oeuvre la méthode selon l'une des revendications précédentes, le système comprenant : 12. Assistance system (40) for the size of a plant intended to implement the method according to one of the preceding claims, the system comprising:
un appareil électronique (12 ; 22 ; 32) comportant une zone d'affichage (16 ; 26 ; 36) pour afficher en réalité augmentée en superposition à l'image réelle du végétal une ou plusieurs informations parmi le groupe comprenant du texte, des images, des vidéos et des points/marques de coupe, l'appareil électronique (2 ; 22 ; 32) comportant en outre une caméra (18, 28, 38) ; et an electronic device (12; 22; 32) comprising a display area (16; 26; 36) for displaying in augmented reality superimposed on the real image of the plant one or more information from among the group comprising text, images , videos and cut points / marks, the electronic device (2; 22; 32) further comprising a camera (18, 28, 38); and
- une machine d'apprentissage informatique (50) préalablement entraînée avec des données d'apprentissage pour déterminer, à partir d'images 2D prises par l'appareil électronique (12 ; 22 ; 32) ou à partir d'un modèle numérique 3D, des instructions de coupe. - a computer learning machine (50) previously trained with training data to determine, from 2D images taken by the electronic device (12; 22; 32) or from a 3D digital model, cutting instructions.
13. Système selon la revendication 12, dans lequel l'appareil électronique est sous la forme de lunette de réalité augmentée (12) comprenant la caméra (18) et des verres (14) comportant la zone d'affichage (16), le système comportant en outre un ordiphone (Smartphone) configuré pour transmettre les données relatives aux instructions de coupe aux lunettes de réalité augmentée (12) via une interface sans fil, notamment du type WIFI ou Bluetooth pour l'affichage desdites instructions sur la zone d'affichage (16) des lunettes de réalité augmentée. 13. The system of claim 12, wherein the electronic device is in the form of augmented reality glasses (12) comprising the camera (18) and glasses (14) comprising the display area (16), the system. further comprising a computer (Smartphone) configured to transmit the data relating to the cutting instructions to the augmented reality glasses (12) via a wireless interface, in particular of the WIFI or Bluetooth type for displaying said instructions on the display area (16) augmented reality glasses.
14. Système selon la revendication 12, dans lequel l'appareil électronique est sous la forme d'une tablette numérique (22) ou d'un smartphone (32) comportant la zone d'affichage (26 ; 36) et la caméra (28 ; 38). 14. The system of claim 12, wherein the electronic device is in the form of a digital tablet (22) or a smartphone (32) comprising the display area (26; 36) and the camera (28). ; 38).
15. Système selon l'une des revendications 12 à 14, dans lequel la machine d'apprentissage informatique est un réseau neuronal. 15. System according to one of claims 12 to 14, wherein the computer learning machine is a neural network.
16. Système selon l'une des revendications 12 à 15, comportant en outre un dispositif électronique (41) ou une unité de traitement à distance, le dispositif électronique (41) ou l'unité de traitement à distance comportant une unité de calcul (44) pour générer le modèle numérique 3D. 16. System according to one of claims 12 to 15, further comprising an electronic device (41) or a remote processing unit, the electronic device (41) or the remote processing unit comprising a computing unit ( 44) to generate the 3D digital model.
17. Système selon la revendication 16, dans lequel ledit dispositif électronique (41) est intégré dans la tablette numérique (22) ou le smartphone (32). 17. System according to claim 16, wherein said electronic device (41) is integrated into the digital tablet (22) or the smartphone (32).
18. Système selon la revendication 16 ou 17, dans lequel la machine d'apprentissage informatique (50) est réalisée sous la forme d'un logiciel stocké dans une mémoire du dispositif électronique (41) ou dans une mémoire de l'unité de traitement à distance. 18. The system of claim 16 or 17, wherein the computer learning machine (50) is implemented in the form of software stored in a memory of the electronic device (41) or in a memory of the processing unit. remotely.
19. Système selon l'une des revendications 16 à 18, dans lequel l'unité de traitement à distance est un serveur configuré pour transmettre les données relatives aux instructions de coupe à l'appareil électronique (12 ; 22 ; 32) via un réseau de communication, notamment du type internet. 19. System according to one of claims 16 to 18, wherein the remote processing unit is a server configured to transmit the data relating to the cutting instructions to the electronic device (12; 22; 32) via a network. communication, in particular of the internet type.
20. Application informatique pour ordiphone (Smartphone) pour l'assistance à la taille d'un végétal, notamment d'un plant de vigne, l'application informatique, lorsque qu'elle est exécutée, permettant : 20. Computer application for a computer (Smartphone) for assistance in pruning a plant, in particular a vine plant, the computer application, when it is executed, allowing:
- de générer un modèle numérique 3D d'un végétal à partir d'une série d'images de différentes vues du végétal ; - generate a 3D digital model of a plant from a series of images of different views of the plant;
- d'extraire des caractéristiques de référence à partir du modèle numérique 3D, les caractéristiques de référence représentant une signature propre au végétal à tailler, et - extract reference characteristics from the 3D digital model, the reference characteristics representing a signature specific to the plant to be pruned, and
- d'identifier selon les caractéristiques de référence des instructions de coupe associée. - identify according to the reference characteristics of the associated cutting instructions.
21. Méthode d'assistance à la taille d'un végétal, notamment d'un plan de vigne, comportant les étapes suivantes : 21. Method of assisting in pruning a plant, in particular a vine plan, comprising the following steps:
a. équiper un sujet d'un appareil électronique (12 ; 22 ; 32) comprenant une zone d'affichage (16 ; 26 ; 36) et une caméra (18 ; 28 ; 38); b. filmer le végétal à tailler au moyen de la caméra (18 ; 28 ; 38) de l'appareil électronique (12 ; 22 ; 32) et transmettre en temps réel les images du végétal à un opérateur se trouvant à distance, et at. equipping a subject with an electronic device (12; 22; 32) comprising a display area (16; 26; 36) and a camera (18; 28; 38); b. film the plant to be pruned by means of the camera (18; 28; 38) of the electronic device (12; 22; 32) and transmit the images of the plant in real time to a remote operator, and
c. transmission par l'opérateur d'instructions sur la taille du végétal et affichage desdites instructions sur ladite zone d'affichage. vs. transmission by the operator of instructions on the size of the plant and display of said instructions on said display area.
22. Méthode selon la revendication 21, dans laquelle l'appareil électronique est sous la forme de lunette de réalité augmentée (12) comprenant la caméra (18) et des verres (14) comportant la zone d'affichage (16). 22. The method of claim 21, wherein the electronic device is in the form of augmented reality glasses (12) comprising the camera (18) and glasses (14) comprising the display area (16).
23. Méthode selon la revendication 22, dans laquelle les lunettes de réalité augmentée (12) sont équipées d'un microphone et d'écouteurs pour permettre un échange de communication entre le sujet et l'opérateur. 23. The method of claim 22, wherein the augmented reality glasses (12) are equipped with a microphone and headphones to allow an exchange of communication between the subject and the operator.
24. Méthode selon la revendication 21, dans laquelle l'appareil électronique est sous la forme d'une tablette numérique (22) ou d'un smartphone (32) comportant la zone d'affichage (26 ; 36) et la caméra (28 ; 38). 24. The method of claim 21, wherein the electronic device is in the form of a digital tablet (22) or a smartphone (32) comprising the display area (26; 36) and the camera (28). ; 38).
25. Méthode selon l'une des revendications 21 à 24, dans laquelle lesdites instructions comportent une image sélectionnée par l'opérateur parmi une série d'images de végétaux sauvegardée dans une base de données, chaque image comportant des instructions de coupe comportant des marques ou des points de coupe se superposant aux branches de l'image réelle de végétal et/ou des images/vidéos explicatives. 25. Method according to one of claims 21 to 24, wherein said instructions comprise an image selected by the operator from among a series of plant images saved in a database, each image comprising cutting instructions comprising marks. or cutting points superimposed on the branches of the real plant image and / or explanatory images / videos.
26. Méthode d'assistance à la taille d'un végétal, notamment d'un plant de vigne, comportant les étapes suivantes : 26. Method of assisting the pruning of a plant, in particular a vine plant, comprising the following steps:
a. équiper un sujet d'un ordiphone/Smartphone (22) et de lunettes de réalité augmentée (12) comportant des verres (14) comprenant une zone d'affichage (16); at. equipping a subject with a computer / smartphone (22) and augmented reality glasses (12) comprising glasses (14) comprising a display zone (16);
b. sélection d'une image par le sujet au moyen de l'ordiphone (22) parmi une série d'images de végétaux sauvegardée dans une base de données dans une mémoire de l'ordiphone, chaque image comportant des instructions de coupe comprenant des marques ou des points de coupe et/ou des images/vidéos explicatives, et b. selection of an image by the subject by means of the computer (22) from among a series of images of plants saved in a database data in a memory of the smartphone, each image comprising cutting instructions including marks or cutting points and / or explanatory images / videos, and
c. transmission des instructions de coupe aux lunettes de réalité augmentée (12) pour afficher lesdites instructions de coupe sur la zone d'affichage (16) en réalité augmentée en superposition à l'image réelle du végétal à tailler. vs. transmitting cutting instructions to the augmented reality glasses (12) to display said cutting instructions on the display area (16) in augmented reality in superposition on the real image of the plant to be pruned.
EP20711327.5A 2019-03-07 2020-02-28 System and method for assisting with the pruning of plants Pending EP3935557A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CH2742019 2019-03-07
PCT/IB2020/051723 WO2020178694A1 (en) 2019-03-07 2020-02-28 System and method for assisting with the pruning of plants

Publications (1)

Publication Number Publication Date
EP3935557A1 true EP3935557A1 (en) 2022-01-12

Family

ID=69811438

Family Applications (1)

Application Number Title Priority Date Filing Date
EP20711327.5A Pending EP3935557A1 (en) 2019-03-07 2020-02-28 System and method for assisting with the pruning of plants

Country Status (4)

Country Link
US (1) US20220189329A1 (en)
EP (1) EP3935557A1 (en)
CN (1) CN113574538A (en)
WO (1) WO2020178694A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7140086B2 (en) * 2019-10-04 2022-09-21 オムロン株式会社 Fruit Vegetable Plant and Fruit Tree Cultivation Management Apparatus, Learning Device, Fruit Vegetable Plant and Fruit Tree Cultivation Management Method, Learning Model Generation Method, Fruit Vegetable Plant and Fruit Tree Cultivation Management Program, and Learning Model Generation Program
US20240144673A1 (en) * 2022-10-27 2024-05-02 Snap Inc. Generating user interfaces displaying augmented reality content
CN115885778A (en) * 2022-11-29 2023-04-04 杭州睿胜软件有限公司 Method and device for assisting user in plant maintenance

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI981694A1 (en) * 1998-07-22 2000-01-22 Bacchini Sandro AUTOMATED PRUNING EQUIPMENT FOR TREE PLANTS IN COLAR PARTS
JP2005321986A (en) * 2004-05-07 2005-11-17 Pioneer Electronic Corp Hairstyle proposal system, hairstyle proposal method and computer program
DE102014103195A1 (en) 2014-03-11 2015-09-17 Amazonen-Werke H. Dreyer Gmbh & Co. Kg Assistance system for an agricultural work machine and method for assisting an operator
EP3085223B1 (en) * 2015-04-23 2017-12-20 Honda Research Institute Europe GmbH System and method for assisting reductive shaping of plants into a desired 3d-shape by removing material
WO2017061281A1 (en) * 2015-10-08 2017-04-13 ソニー株式会社 Information processing device and information processing method
US20180035606A1 (en) * 2016-08-05 2018-02-08 Romello Burdoucci Smart Interactive and Autonomous Robotic Property Maintenance Apparatus, System, and Method
CN206178480U (en) * 2016-11-25 2017-05-17 广州华夏职业学院 Unmanned aerial vehicle is pruned to intelligence based on machine vision
CN206348666U (en) * 2016-11-25 2017-07-21 仲恺农业工程学院 3D horticulture molding intelligence is pruned unmanned aerial vehicle
CN106919738A (en) * 2017-01-19 2017-07-04 深圳市赛亿科技开发有限公司 A kind of hair style matching process

Also Published As

Publication number Publication date
US20220189329A1 (en) 2022-06-16
WO2020178694A1 (en) 2020-09-10
CN113574538A (en) 2021-10-29

Similar Documents

Publication Publication Date Title
WO2020178694A1 (en) System and method for assisting with the pruning of plants
Yin et al. Computer vision and machine learning applied in the mushroom industry: A critical review
WO2016009752A1 (en) Information processing device, method for generating control signal, information processing system, and program
JP2019520632A (en) Weed recognition in the natural environment
US9633462B2 (en) Providing pre-edits for photos
EP3226672B1 (en) System and method for the automatic adjustment of the height of an agricultural implement using 3d reconstruction
CA2667526A1 (en) Method and device for the virtual simulation of a sequence of video images
CN112836623B (en) Auxiliary method and device for agricultural decision of facility tomatoes
CN107945188A (en) Personage based on scene cut dresss up method and device, computing device
EP3937628A1 (en) Agricultural treatment control device
US20240054776A1 (en) Tracking objects with changing appearances
EP3993608A1 (en) Growing system and method
FR3071644A1 (en) METHOD AND DEVICE FOR CLASSIFYING PLANTS
FR3093613A1 (en) AGRICULTURAL TREATMENT CONTROL DEVICE
EP3145405B1 (en) Method of determining at least one behavioural parameter
CN117893500A (en) Image processing method and device, electronic equipment and storage medium
Zhang et al. Recognition of greenhouse cucumber fruit using computer vision
CN110264544B (en) Picture processing method and device, storage medium and electronic device
CN112418112A (en) Orchard disease and pest monitoring and early warning method and system
CN111724272A (en) Crop growth condition data analysis system and method
EP3579186A1 (en) Method and system for managing an agricultural plot
JP2022114418A (en) Training device of artificial intelligence (ai), picking object estimation device, estimation system, and program
Rovira-Más et al. Crop scouting and surrounding awareness for specialty crops
CN110781782A (en) Face model determination method and device
EP4166067A1 (en) On-board device for synchronised collection of brain waves and environmental data

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210930

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230425