EP3056288A1 - Procede de tri selectif - Google Patents

Procede de tri selectif Download PDF

Info

Publication number
EP3056288A1
EP3056288A1 EP16305055.2A EP16305055A EP3056288A1 EP 3056288 A1 EP3056288 A1 EP 3056288A1 EP 16305055 A EP16305055 A EP 16305055A EP 3056288 A1 EP3056288 A1 EP 3056288A1
Authority
EP
European Patent Office
Prior art keywords
objects
zone
cluster
nature
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP16305055.2A
Other languages
German (de)
English (en)
Other versions
EP3056288B1 (fr
Inventor
Jérémy DOUBLET
Christophe Gambier
Jean-François REZEAU
Alexander Mallinson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Veolia Environnement SA
Original Assignee
Veolia Environnement SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=53008698&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP3056288(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Veolia Environnement SA filed Critical Veolia Environnement SA
Publication of EP3056288A1 publication Critical patent/EP3056288A1/fr
Application granted granted Critical
Publication of EP3056288B1 publication Critical patent/EP3056288B1/fr
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02—Measures preceding sorting, e.g. arranging articles in a stream orientating
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/3416—Sorting according to other particular properties according to radiation transmissivity, e.g. for light, x-rays, particle radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C7/00—Sorting by hand only e.g. of mail
    • B07C7/005—Computer assisted manual sorting, e.g. for mail

Definitions

  • the present invention generally relates to a selective sorting method for identifying and sorting material objects of different natures, sizes, masses and shapes.
  • the present invention also relates to a device capable of implementing such a sorting method.
  • the invention relates to a method for selectively sorting a set of objects in the form of a cluster.
  • PPE personal protective equipment
  • workstations ventilation and appropriate infrastructure in particular
  • hydraulic machines can be used in sorting areas.
  • Examples of hydraulic machines include construction machines such as cranes, or hydraulic excavators.
  • these machines do not make it possible to reach satisfactory levels of performance and productivity.
  • it is difficult to precisely control the extraction of an object in particular and to be able to observe it in its entirety during its displacement.
  • robotic systems are used to efficiently and quickly sort fruits and vegetables according to various predefined criteria, including physical criteria, such as the shape, size or maturity of a product. organic.
  • international demand WO 2009/068792 describes a method and a selective sorting device improving those described in WO 98/19799 , in particular by allowing a very high rate. More particularly, in the device of WO 2009/068792 , it is possible to change the visual appearance of an image of a targeted object on a video screen.
  • clusters in the sense of the present invention, means a set of heterogeneous objects entangled and arranged randomly on each other, said objects being waste.
  • said method being characterized in that the nature of the object grasped or to be grasped by the robot is defined and assigned between steps e) and i), and consists in capturing at least one two-dimensional image in which said object appears, using at least one two-dimensional image sensor and to broadcast at least one of said two-dimensional images on a display screen that can be observed by an operator, said operator assigning a nature to said object displayed.
  • the cluster of objects that can be sorted by the process according to the invention may for example contain, in a nonlimiting manner, bulky objects or objects small sizes, whatever waste, industrial or domestic.
  • the term "waste” means any object, or more generally any movable good, the holder of which is undone or whose intention or obligation it is to dispose of, for the purposes of recovery or disposal, whether the holder is an industrialist, a community or an individual.
  • the objects of the cluster that can be sorted by the method according to the invention are for example organic waste or not, electronic waste, construction waste, furniture waste, industrial waste etc. .
  • the objects that are to be sorted are conveyed to a processing center for recovery, for example for recycling.
  • the objects to be sorted are typically arranged in the form of bulk or clusters, which may comprise a greater or lesser number of randomly entangled objects, in a particular and predefined area of the processing center. Then, they are usually transferred to processing means and other specific devices. Their transfer from a particular and predefined area of the treatment center to treatment means is achieved using known transfer means, such as, for example, shovels or conveyors.
  • the method according to the invention is thus fed by these object transfer means to be sorted, said objects to be sorted generally being in the form of clusters.
  • the method according to the invention is implemented to identify and sort a succession of clusters consisting of material objects of different natures, shapes and sizes.
  • the first step a) of the method according to the invention consists in feeding a zone of vision into objects lying generally in the form of clusters, the viewing zone being in the zone of action of a robot provided with one or more gripping members.
  • the viewing zone of the method according to the invention can be confused with the aforementioned particular and predefined area of the processing center, the objects to be sorted then for example directly discharged into this area of vision by a collection vehicle.
  • the supply of this zone of vision into objects can be carried out either according to a batch supply, or according to a continuous supply.
  • batch feed means a batch feed.
  • the feeding of the viewing zone is discontinuous. Only one cluster of objects at a time is processed. In this configuration, until all the objects have been sorted, the viewing area is not powered. However, when the last object to be valorised previously contained in the cluster is grasped by at least one gripping member of said robot, another cluster is moved into the viewing zone to be sorted later.
  • continuous supply means a power supply without deactivation of the means making it possible to supply the vision zone with objects.
  • objects to be sorted are moved to the continuous viewing area.
  • This zone of vision comprises at least two sensors for measuring electromagnetic radiation. It is also possible to add in this zone a source of incident electromagnetic radiation in order to allow an emission level of electromagnetic radiation sufficient by the cluster of objects to capture images representative of the real cluster.
  • the electromagnetic radiation measuring sensors are used to identify the nature of the unitary object located in said receiving area.
  • these electromagnetic radiation measuring sensors can be directly attached to the articulated mechanical arm of the robot.
  • the one or more image captures, made by the electromagnetic radiation measuring sensors are performed when the unitary object is under the influence of one of the gripping members of the robot.
  • the assignment of a nature to the unitary object is made during its movement between the vision zone and the reception zone. During this identification, it is therefore not necessary for the unitary object to be deposited in a particular area.
  • unitary object means any object initially initially contained in the cluster of objects to be sorted and which has been extracted therefrom.
  • step b) of the method according to the invention make it possible, in step b) of the method according to the invention, to produce at least two two-dimensional images of the cluster present in said zone of vision.
  • These two-dimensional images make it possible to reconstruct one or more virtual or electronic images of the cluster of objects in the zone of vision that can be viewed on a screen.
  • step c) of the method according to the invention with the aim of identifying all the possible gripping zones for the gripping member (s) of the robot and of identifying the most gripping member adapted for each of the possible catch zones, said zones being associated with objects present in the cluster.
  • a gripping zone or specific zone, is understood to mean an area that can be grasped by any gripping member of a robot. It should also be noted that several capture zones can be associated with an object contained in the cluster.
  • the processing of these two-dimensional images can, for example, be done using computational software and image processing software.
  • step d) of the method according to the invention After all the gripping zones have been identified through the two-dimensional image processing and analysis, the gripping zones are located in position and orientation, step d) of the method according to the invention.
  • the nature of the object grasped or to be grasped by the robot is assigned between steps e) and i), and consists in capturing at least one two-dimensional image using at least one two-dimensional image sensor and to broadcast at least two-dimensional images on a display screen that can be observed by an operator, the operator assigning a nature to a unitary object displayed.
  • the step of defining the nature of the seized unit object is carried out in the reception zone, and more particularly between the steps h) and i) previously mentioned.
  • the choice of one of the gripping zones, step e) of the method according to the invention can advantageously be performed automatically through the use of an algorithm.
  • the selection of a specific area is performed through the use of a controller, which does not require the intervention of an operator.
  • the robot's trajectory can be calculated using computational software.
  • a particular input path may be associated with each tap area. The method is then advantageous because it is possible to quickly enter and deposit a unitary object.
  • the unitary object associated with this gripping zone is transferred from the viewing zone to a gripping zone. reception.
  • the step of defining the nature of the object in the reception zone can be advantageously achieved by capturing at least one two-dimensional image of the unitary object in the reception area at the reception area. using at least one electromagnetic radiation measuring sensor and diffusing at least one of these two-dimensional images of the unitary object onto a display screen that can be observed by an operator, who in real time attributes a nature to the unitary object displayed in the reception area. In this embodiment, the intervention of an operator is necessary.
  • the same object is moved from the reception area to an outlet according to the nature assigned to it beforehand.
  • the step consisting in defining the nature of the object seized or to be grasped can be performed between the steps e) and f) mentioned above, starting from the virtual image of the cluster of objects from step b), which is broadcast on at least one viewing screen that can be observed by an operator, said operator assigning a nature to said object to be entered within the cluster of objects displayed.
  • a nature is attributed to an object of the cluster when it is located in the zone of vision. In this embodiment, the intervention of an operator is then necessary.
  • one of the capture zones can be targeted by an operator on the viewing screen broadcasting said virtual image representing the cluster located in the viewing zone.
  • the operator can assign a nature to the preselected gripping area, corresponding to a particular object, interactively through the use of a touch screen, or a screen video associated with a voice recognition system or a keyboard type system or any other system allowing the particular selection of a specific area.
  • any of the gripping members of a robot can enter this preselected gripping zone so that move the object from the viewing area to the receiving area.
  • the robot's take-off trajectory can be advantageously calculated by the use of computational software.
  • a particular input path may be associated with each tap area. The method is advantageous because it is possible to quickly grab and deposit objects.
  • the unitary object, associated with this preselected gripping zone is transferred from the viewing zone to a receiving zone.
  • the object can be advantageously moved from the reception area to an outlet predefined according to this nature.
  • the viewing zones of the cluster of objects and the receiving zone of the unitary object are distinct zones, that is to say separate processing center volumes.
  • the totality of the objects contained in the initial cluster is sorted, that is to say that all the objects are grasped by the robot and transits from the zone. from vision to the reception area.
  • all the objects contained in the initial cluster is not necessarily sorted and therefore does not necessarily pass from the viewing area to the receiving area.
  • an outlet for receiving the objects not grasped by any gripping member may be placed near the viewing area to allow its evacuation.
  • all of the objects not grasped by any of the gripping members of the robot is moved to a particular outlet by the use of any transfer means.
  • the device according to the invention is advantageous because it allows sorting remotely avoiding contact between an operator and any object to be sorted.
  • interfaces can be used to allow an operator to control and control the remote sorting device.
  • the device according to the invention makes it possible to sort clusters of objects containing multiple material objects, including waste, which may be of different natures, sizes and shapes.
  • the device according to the invention comprises means for providing a flow of objects in the form of clusters.
  • these means may be belt conveyors or roller conveyors, roller conveyors, ball tables, vibrating tables, devices mechanical means comprising gripping means, or any other device for moving an object cluster from an initial point to another point.
  • Collection bins in which the objects to be sorted are placed can also be used.
  • the bucket is static during the sorting process and during the gripping of each of the objects it contains.
  • a bucket containing new objects to be sorted is conveyed into the viewing zone and thus replaces the first bucket. It is also possible that the bucket is directly filled by a collection truck which avoids the replacement of the bucket.
  • the flow of objects feeds an area of the device according to the invention, called vision zone, in clusters of objects.
  • the device according to the invention further comprises a mechanical robot provided with at least one gripping member making it possible, in a first step, to grasp an object contained in the cluster present beforehand in the zone of vision, each object of the cluster being defined by one or more gripping zones, and in a second step to move the object entered from the viewing zone to another zone, called receiving zone.
  • a mechanical robot provided with at least one gripping member making it possible, in a first step, to grasp an object contained in the cluster present beforehand in the zone of vision, each object of the cluster being defined by one or more gripping zones, and in a second step to move the object entered from the viewing zone to another zone, called receiving zone.
  • the mechanical robot by means of at least one of its gripping members, moves the object associated with this particular catch area of the viewing area to the receiving area.
  • the device according to the invention comprises, especially in the viewing zone, sensors for measuring electromagnetic radiation, which can be measurement sensors in the visible or non-visible spectrum, such as gamma radiation sensors, radioelectric sensors, sensors infrared sensors, ultraviolet sensors, X-ray sensors or cameras.
  • sensors for measuring electromagnetic radiation can be measurement sensors in the visible or non-visible spectrum, such as gamma radiation sensors, radioelectric sensors, sensors infrared sensors, ultraviolet sensors, X-ray sensors or cameras.
  • the electromagnetic radiation measuring sensors are visible spectrum cameras. It should be noted that the aforementioned sensors can also be used in combination.
  • electromagnetic radiation measurements allow the robot to grab a particular object through a preselected grip area. These electromagnetic radiation measurements can also be analyzed and processed by computational software and image processing to allow the identification and location of all possible capture areas of each object contained in the cluster.
  • the electromagnetic radiation measuring sensor (s) may advantageously be connected to image analysis means.
  • an object contained in the cluster may be associated with several gripping zones or specific zones, the calculating and image processing software having the objective of identifying gripping surfaces and not objects.
  • Measurements of electromagnetic radiation can allow the development of one or more two-dimensional images.
  • the device may comprise processing and calculation means capable of automatically associating with a gripping surface selected by an operator or an automaton, the most suitable robot member.
  • the device may advantageously comprise processing and calculation means capable of automatically defining a gripping trajectory of an object by the compatible specific zone, preselected by an operator or an automaton, for a particular gripping member of a mechanical robot.
  • the reception zone may comprise one or more sensors for measuring electromagnetic radiation.
  • reception zone means an area whose volume is accessible by a robot as previously described.
  • the electromagnetic radiation measurement sensors used are sensors making it possible to reproduce one or more virtual or electronic images of the object located in the reception zone.
  • these sensors may be infrared or near infrared radiation sensors, ultraviolet radiation sensors, X-ray sensors, electromagnetic radiation sensors according to the visible or non-visible spectrum, gamma radiation sensors, laser scanning distance sensors, and preferably the electromagnetic radiation measuring sensors are visible spectrum cameras.
  • the aforementioned sensors can also be used in combination.
  • the images recovered by one or more of the aforementioned sensors can be viewed on a touch screen.
  • This touch screen can for example comprise two zones.
  • a first zone can be used to display an image from electromagnetic radiation measuring sensors.
  • a second area of the screen includes sub-categories respectively corresponding to predetermined natures.
  • an operator can assign to the unit object that he displays on said touch screen a particular nature by selecting a particular subcategory.
  • the video screen is not tactile, but is associated with a voice recognition system or a keyboard type system or any other system for attributing a particular nature to the object displayed on said screen.
  • the seized object is evacuated from said receiving area to an outlet, by means of routing according to the nature that has been assigned to it.
  • conveying means may be belt conveyors or roller conveyors, roller conveyors, ball tables, vibrating tables, mechanical devices comprising gripping means, or any other device for moving a unitary object of an initial point to another point.
  • One of the advantageous means of routing is the same mechanical robot used to move the cluster object from the viewing area to the receiving area.
  • the object transiting on these conveyance means is moved into a predefined outlet according to the nature that has been assigned to it.
  • the outlets may include manipulator arms or robots adapted to the characteristics of the objects to be extracted. These outlets may also include pneumatic ejection devices conveyor belt jets, air nozzles, referral systems, pushers using jacks, traps, robots. Extraction means combining different aforementioned ejection devices can be applied.
  • the device according to the invention may comprise means for detecting and tracking the movements and positions of a particular object, between the gripping device of a robot and an outlet, as a function of time.
  • These means may comprise electromagnetic radiation measuring sensors as mentioned above.
  • FIGS. figures 1 and 2 robotic solutions marketed by the company Sileane or the company AKEO.
  • These devices comprise a robot which comprises a polyarticulate system provided with one or more gripping members capable of grasping an object by a specific area. To facilitate the reading of the figures, only one gripping member is shown on the figures 1 and 2 .
  • the robot may comprise at least two gripping members, the first using a so-called “suction cup” technology and the other a so-called “clamp” technology.
  • This robot is not the one illustrated in the figures.
  • the robot comprises a single gripping member using the "clamp" technology.
  • the figure 1 describes a device 10 according to the invention, for extracting particular objects contained in a cluster, depending on their nature.
  • the cluster of objects includes a bulk volume of heterogeneous objects placed randomly so that the objects become entangled.
  • the cluster of objects for processing is arranged on a first belt conveyor 11.
  • This first belt conveyor 11 is able to feed a zone, called the vision zone 12, into a cluster of material objects.
  • This viewing zone 12 is irradiated with electromagnetic radiation from radiation sources in order to produce one or more images of the cluster of objects situated in the viewing zone 12.
  • the device of the figure 1 comprises sensors for measuring electromagnetic radiation in order to produce one or more two-dimensional images of the cluster of objects situated in the viewing zone 12.
  • the electromagnetic radiation measuring sensors are configured to acquire successive two-dimensional images of the cluster located in the viewing zone 12. It should be noted that the captured images cover the entire cluster of objects.
  • the images are captured through the use of a camera 19a in visible spectrum.
  • One or more of said images of the cluster of captured objects are then processed and analyzed to allow the identification and location of each possible setting area by a gripping member 18 of the polyarticulate robot 14.
  • the sensors for measuring electromagnetic radiation are, for example, coupled to means of processing, which may be computers and other software, configured to process images from said sensors.
  • a gripping member 18 grasps the defined gripping zone.
  • the device of the figure 1 can also use computational software and image processing to also allow to define the fastest and shortest possible capture trajectory, for a given gripping member 18.
  • the speed of the flow of objects towards the viewing zone 12 is possibly not constant.
  • the speed of the flow of objects decreases, or even vanishes, so that the sensors present in the viewing zone 12 can capture at least two two-dimensional images representing the cluster of objects.
  • the sensors After each capture, the sensors capture new images of the cluster of objects. In this way, the object to be captured, which could be moved by the input of a previous object, will still be located and seized.
  • the first belt conveyor 11 can be put back into operation in order to bring into this viewing zone 12 a new cluster of objects to be sorted.
  • the totality of the objects contained in the initial cluster to be sorted passes from the viewing zone to the reception zone after having been grasped by the robot.
  • each object deposited in this reception zone 13 is assigned a particular nature. This allocation is made thanks to the intervention of an operator who can use an interface. This interface allows the operator to assign a nature to a given object at a given time.
  • the interface is coupled to one or more sensors for measuring electromagnetic radiation.
  • the two-dimensional image sensor is a camera 19b operating in the visible spectrum.
  • This camera 19b is connected to a screen and the captured images appear on this screen.
  • These images can be preprocessed by computer to present a certain contrast to the operator and thus give him indications for example on properties or the nature of said object ( figure 3A ).
  • an object is plastic
  • a specific color or texture that facilitates recognition of the operator can be assigned to the object. This step is particularly interesting for subjects whose effectiveness of recognition does not have good performance.
  • the second screen area may further comprise a subcategory 23 that does not correspond to any particular nature, but in which an operator can classify all objects regardless of their nature.
  • This subcategory 23 can then complement the other subcategories or be the only one available. In the latter case, possibly, it is possible to have only one outlet 16b in which are ejected all objects located on the second conveyor belt 15.
  • the object is directed to a predefined outlet 16, at first, thanks to the use of a second conveyor belt 15 and in a second step through the use of one or more extraction means 17.
  • the extraction means 17 make it possible to extract the objects situated on the second belt conveyor 15 and to route them to the appropriate outlets 16 intended to receive them.
  • the figure 1 shows that these outlets 16 comprise pneumatic ejection devices using jacks.
  • means can be used to record and follow the movements and positions of a particular object, between the gripping device 18 of a robot 14 and an outlet 16, as a function of time.
  • figure 2 describes a device 20 according to the invention for selecting in particular one or more objects contained in a cluster, according to the second embodiment of the method according to the invention.
  • the cluster of objects includes a bulk volume of heterogeneous objects placed randomly so that the objects become entangled.
  • the cluster of objects for processing is arranged on a first belt conveyor 11.
  • This first belt conveyor 11 is able to feed a zone, called the vision zone 12, into a cluster of material objects.
  • a visible spectrum camera 19c for producing one or more two-dimensional images of the cluster of objects situated in the viewing zone 12.
  • the images captured by the camera 19c cover the entire cluster of objects.
  • the camera 19c is connected to a screen and the captured images appear on this screen. These images can be preprocessed in order to present a certain contrast to the operator and thus give him indications, for example on properties or the nature of said object selected by the designation of a particular gripping area ( figure 3B ).
  • an object is plastic
  • a specific color or texture that facilitates recognition of the operator can be assigned to the object. This step is particularly interesting for subjects whose effectiveness of recognition does not have good performance.
  • the camera 19c is, for example, coupled to processing means, which may be computers and other software, configured to process the images from the camera 19c and thus allow the identification and location of all the zones take possible associated with each object of the cluster.
  • processing means which may be computers and other software, configured to process the images from the camera 19c and thus allow the identification and location of all the zones take possible associated with each object of the cluster.
  • the screen on which the images captured by the camera 19c appear is tactile.
  • the second screen area may include a sub-category 23 that does not correspond to any particular nature, but in which an operator can classify all the objects selected and previously contained in the cluster. In this last case, it is possible to have only one outlet 16b in which are ejected all the objects that have been deposited in the receiving area 13 located on the second conveyor belt 15.
  • the possible gripping zones are represented on the first zone of said touch screen 20 by virtual circles.
  • an operator may designate a finger pointing area on the touch screen 20.
  • the selection of a gripping zone 25 can be corrected. For example, selecting an already selected tap area 25 deselects it.
  • an operator can assign a nature to a given object.
  • the assignment of a nature to a particular engagement zone is as follows. An operator first selects a take zone 25 and then selects a subcategory 23 of allocation. According to this configuration, the selected gripping zone 25 is marked with a graphical sub-referent such as, for example, a colored circle 24.
  • unitary category that is to say that a single category is assigned automatically to all the objects designated by an operator after having selected a gripping zone. possible of an object contained in the cluster.
  • unitary category is previously defined by the operator.
  • each object has been assigned a nature.
  • this second conveyor belt 15 is in permanent operation, an object grasped by a gripper 18 of a robot 14, and then deposited on the second belt conveyor 15, is very quickly set in motion. In this way, each of the objects seized in the initial cluster succeeds throughout this second conveyor belt 15.
  • the second belt conveyor 15 thus makes it possible to extract the unitary object previously deposited in the receiving zone 13.
  • each object Since each object has been assigned a nature, each of them can be moved to a specific 16b outlet.
  • the outlet 16b comprises a robot provided with a gripping member capable of grasping any object located on the second conveyor belt 15 and to move it into a predefined outlet 16b according to the nature that has been assigned to it.
  • the robot 14 is used as extraction means 17.
  • means can be used to record and follow the movements and positions of a particular object, between the gripping device 18 of a robot 14 and an outlet 16b, as a function of time.

Abstract

La présente invention a pour objet un procédé de tri sélectif pour identifier et trier des objets matériels de natures, tailles et formes différentes se présentant sous forme d'un amas, ledit procédé étant caractérisé en ce que l'attribution de la nature de l'objet à trier consiste à capturer au moins une image bidimensionnelle dans laquelle apparait ledit objet, à l'aide d'au moins un capteur de rayonnement électromagnétique et à diffuser une au moins desdites images bidimensionnelles sur un écran de visualisation pouvant être observé par un opérateur, ledit opérateur attribuant une nature audit objet visualisé. La présente invention a également pour objet un dispositif apte à mettre en oeuvre un tel procédé.

Description

    Domaine technique
  • La présente invention concerne de manière générale un procédé de tri sélectif pour identifier et trier des objets matériels de natures, de tailles, de masses et de formes différentes. La présente invention concerne également un dispositif apte à mettre en oeuvre un tel procédé de tri.
  • Plus précisément, l'invention concerne un procédé de tri sélectif d'un ensemble d'objets se trouvant sous forme d'un amas.
  • Le tri d'objets, lorsqu'il est réalisé manuellement, est une activité physiquement intense, se traduisant par la répétition à cadence élevée de gestes relativement amples et répétitifs, sollicitant fortement les membres, notamment supérieurs.
  • La répétition de ces gestes peut être à l'origine de troubles musculo-squelettiques qu'il convient d'éviter dans la mesure du possible afin de diminuer au maximum toute blessure ou gêne occasionnée par ce tri manuel.
  • De plus la préhension manuelle d'objets impose la présence d'opérateurs dans le même espace que les objets à trier, ce qui expose directement les opérateurs à des risques de toutes natures (atteintes physiques, coupures, piqures, salissures, poussière, etc...) engendrés par les objets à trier.
  • Le port d'équipements de protection individuelle (EPI), de même que l'aménagement des postes de travail (ventilation et infrastructure adéquat notamment) sont bien entendu de nature à réduire ces risques, mais ne peuvent totalement les supprimer.
  • Ainsi, pour diminuer les désagréments causés par des tris manuels, et pour faciliter le déplacement des objets encombrants et de masses importantes, des machines hydrauliques peuvent être employées dans des zones de tri. Comme exemple de machines hydrauliques, on peut citer des engins de chantier tels que des grues, ou encore des pelles mécaniques hydrauliques. Par contre, ces machines ne permettent pas d'atteindre des niveaux de performance et de productivité satisfaisantes. En outre, il est difficile de contrôler avec précision l'extraction d'un objet en particulier et de pouvoir l'observer dans sa globalité lors de son déplacement.
  • C'est pourquoi des systèmes automatisés sont mis au point dans l'industrie dans le but, notamment, de réduire l'exposition humaine à des situations dangereuses ou potentiellement dangereuses, de remplacer les opérations manuelles dans les tâches fastidieuses et répétitives, mais également afin d'augmenter les performances de tri en terme de qualité ou/et de productivité. Par exemple, dans le secteur agroalimentaire, des systèmes robotiques sont utilisés pour trier de manière efficace et rapide des fruits et légumes en fonction de différents critères prédéfinis, notamment physiques, comme la forme, la taille ou encore le niveau de maturité d'un produit organique.
  • A l'échelle industrielle, les tris automatisés actuels ne permettent pas de prendre en considération la totalité des critères précités ci-dessus de manière simultanée.
  • Typiquement, dans le domaine du traitement des déchets, le tri automatique doit être couplé à des opérations humaines. Plus précisément, un opérateur doit impérativement intervenir, souvent en fin de chaîne, pour trier chacun des déchets puisqu'il est le seul capable de reconnaître la totalité des objets, alors que les machines de tri automatisé ne peuvent identifier qu'un certain nombre d'objets prédéfinis.
  • A cet effet, de grands progrès ont été réalisés sur des dispositifs de tri automatique, c'est-à-dire automatisant certaine tâches.
  • Des dispositifs de tri automatique et les procédés de tri les mettant en oeuvre, sont connus de l'homme du métier. Par exemple, la demande internationale WO 98/19799 divulgue un procédé ainsi qu'un dispositif de tri sélectif de déchets avec téléopérateur, comprenant des moyens de désignation sur écran tactile d'un objet à extraire, et des moyens d'extraction sélective commandés par désignation sur écran tactile de l'objet. Cette désignation permet un tri à distance, c'est-à-dire que toute préhension manuelle d'un objet quelconque ne nécessite pas la présence d'opérateur dans le même espace que les objets.
  • Par ailleurs, plus récemment, la demande internationale WO 2009/068792 décrit un procédé ainsi qu'un dispositif de tri sélectif améliorant ceux décrits dans WO 98/19799 , en permettant notamment une cadence très élevée. Plus particulièrement, dans le dispositif de WO 2009/068792 , il est possible de modifier l'apparence visuelle d'une image d'un objet ciblé sur un écran vidéo.
  • Cependant, il est à noter que ces dispositifs connus de l'art antérieur ne permettent pas le tri d'un amas pouvant contenir des objets de différentes formes et/ou différentes tailles et/ou différentes nature. En effet, ces dispositifs ne permettent que le tri d'objets se présentant préalablement sous forme unitaire.
  • Plus généralement, il est connu de l'homme du métier des dispositifs de tri automatisé permettant de trier des objets de natures, masses ou formes différentes tels que des déchets, seulement si ces objets se présentent au préalable sous forme unitaire. Dans cette configuration, tous les objets sont séparés les uns des autres, de telle sorte qu'il est possible d'en distinguer leur contour et les objets qui restent sous forme d'amas sont triés manuellement en fin de chaine de tri.
    • Description de l'invention
  • Ainsi, il existe donc un besoin réel de proposer un procédé et un dispositif qui permettent de trier un amas pouvant contenir des objets de tailles et/ou de formes et/ou de natures différentes, notamment des déchets, en permettant un accroissement de la productivité et de l'efficacité de n'importe quel procédé de tri de l'art antérieur, tout en diminuant, voire même en supprimant la pénibilité physique du tri grâce à l'utilisation d'interfaces plutôt que de contacts entre les objets et les opérateurs.
  • Il est à noter que par amas, on entend, au sens de la présente invention, un ensemble d'objets hétérogènes enchevêtrés et disposés de manière aléatoire les uns sur les autres, lesdits objets étant des déchets.
  • Dans ce contexte, le demandeur a mis au point un procédé qui surmonte les inconvénients de l'art antérieur et répond aux objectifs cités ci-dessus.
  • Plus particulièrement, la présente invention a pour objet un procédé de tri sélectif pour identifier et trier des objets matériels de natures, de tailles, et de formes différentes et se présentant sous la forme d'un amas, ledit procédé comprenant les étapes suivantes :
    1. a) fournir un flux d'objets sous forme d'un amas, vers une zone de vision comprenant au moins deux capteurs de mesure de rayonnement électromagnétique, ladite zone se trouvant dans la zone d'action d'un robot muni d'un ou plusieurs organes de préhension ;
    2. b) capturer au moins deux images bidimensionnelles de l'amas contenu dans ladite zone de vision à l'aide desdites capteurs de mesure de rayonnement électromagnétique, pour reconstruire une image virtuelle ou électronique de l'amas d'objets dans la zone de vision pouvant être visualisée sur un écran ;
    3. c) traiter les informations résultant desdites images bidimensionnelles, et identifier toutes les zones de prise possibles associées à des objets présents dans l'amas pour ledit ou lesdits organes de préhension dudit robot, sans chercher à connaitre la nature desdits objets ;
    4. d) localiser, en position et orientation, lesdites zones de prise possibles, et
    5. e) choisir l'une des zones de prise ;
    6. f) définir automatiquement, pour un organe de préhension donné, une trajectoire de prise d'un objet correspondant à la zone de prise choisie ;
    7. g) saisir l'objet unitaire correspondant selon la trajectoire définie ;
    8. h) déplacer ledit objet unitaire saisi vers une zone de réception ;
    9. i) déplacer ledit objet unitaire se trouvant dans ladite zone de réception vers un exutoire en fonction de la nature ;
  • ledit procédé étant caractérisé en ce que la nature de l'objet saisi ou devant être saisi par le robot est définie et attribuée entre les étapes e) et i), et consiste à capturer au moins une image bidimensionnelle dans laquelle apparait ledit objet, à l'aide d'au moins un capteur d'image bidimensionnelle et à diffuser une au moins desdites images bidimensionnelles sur un écran de visualisation pouvant être observé par un opérateur, ledit opérateur attribuant une nature audit objet visualisé.
  • Il est à noter que l'amas d'objets pouvant être trié par le procédé selon l'invention peut par exemple contenir, de manière non limitative, des objets encombrants ou des objets de petites tailles, des déchets quels qu'ils soient, industriels ou domestiques.
  • Ainsi, on entend par déchets, au sens de l'invention, tout objet, ou plus généralement tout bien meuble, dont le détenteur se défait ou dont il a l'intention ou l'obligation de se défaire, à des fins de valorisation ou d'élimination, que le détenteur soit un industriel, une collectivité ou un particulier.
  • Les objets de l'amas pouvant être triés par le procédé selon l'invention sont par exemple des ordures ménagères organiques ou non, des déchets électroniques, des déchets relatifs à la construction, des déchets d'ameublement, des déchets de l'industrie etc.
  • En règle générale, les objets que l'on souhaite trier sont acheminés jusqu'à un centre de traitement en vue de leur valorisation, par exemple en vue de leur recyclage. Il est à noter que les objets à trier sont typiquement disposés sous forme de vrac ou d'amas, pouvant comprendre un plus ou moins grand nombre d'objets enchevêtrés aléatoirement, dans une zone particulière et prédéfinie du centre de traitement. Puis, ils sont généralement transférés vers des moyens de traitement et autres dispositifs spécifiques. Leur transfert, d'une zone particulière et prédéfinie du centre de traitement vers des moyens de traitement, est réalisé en utilisant des moyens de transfert connus, comme par exemple, des pelles ou des convoyeurs.
  • Le procédé selon l'invention est ainsi alimenté par ces moyens de transfert d'objets à trier, lesdits objets à trier se trouvant généralement sous forme d'amas.
  • Puis, le procédé selon l'invention est mis en oeuvre pour identifier et trier une succession d'amas constitués d'objets matériels de natures, de formes et de tailles différentes.
  • La première étape a) du procédé selon l'invention consiste à alimenter une zone de vision en objets se trouvant généralement sous forme d'amas, la zone de vision se trouvant dans la zone d'action d'un robot muni d'un ou plusieurs organes de préhension.
  • La zone de vision du procédé selon l'invention peut être confondue avec la zone particulière et prédéfinie précitée du centre de traitement, les objets à trier étant alors par exemple directement déchargés dans cette zone de vision par un véhicule de collecte.
  • L'alimentation de cette zone de vision en objets peut être réalisée soit suivant une alimentation en batch, soit suivant une alimentation continue.
  • Au sens de la présente demande, on entend par alimentation en batch, une alimentation par lot. En d'autres termes, l'alimentation de la zone de vision est discontinue. Un seul amas d'objets à la fois est traité. Dans cette configuration, tant que la totalité des objets n'a pas été triée, la zone de vision n'est pas alimentée. Mais lorsque le dernier objet à valoriser contenu préalablement dans l'amas est saisi par au moins un organe de préhension dudit robot, un autre amas est déplacé dans la zone de vision pour être trié ultérieurement.
  • Au sens de la présente demande, on entend par alimentation continue, une alimentation sans désactivation du moyen permettant de fournir la zone de vision en objets. Dans cette configuration, des objets à trier sont déplacés vers la zone de vision en continue.
  • Cette zone de vision comprend au moins deux capteurs de mesure de rayonnement électromagnétique. Il est également possible d'ajouter dans cette zone une source de rayonnement électromagnétique incident afin de permettre un niveau d'émission de rayonnement électromagnétique suffisant par l'amas d'objets afin de capturer des images représentatives de l'amas réel.
  • Dans la présente demande, les capteurs de mesure de rayonnement électromagnétique sont utilisés pour identifier la nature de l'objet unitaire situé dans ladite zone de réception.
  • Il est à noter que ces capteurs de mesure de rayonnement électromagnétique peuvent être directement fixés sur le bras mécanique articulé du robot. Dans cette configuration, la ou les captures d'image, réalisées par les capteurs de mesure de rayonnement électromagnétique, sont effectuées lorsque l'objet unitaire est sous l'emprise d'un des organes de préhension du robot. En d'autres termes, l'attribution d'une nature à l'objet unitaire est réalisée lors de son déplacement entre la zone de vision et la zone de réception. Lors de cette identification, il n'est donc pas nécessaire que l'objet unitaire soit déposé dans une zone particulière.
  • Au sens de la présente demande, on entend par objet unitaire, tout objet initialement contenu préalablement dans l'amas d'objets à trier et qui en a été extrait.
  • Les mesures réalisées par ces capteurs de rayonnement électromagnétique permettent, étape b) du procédé selon l'invention, de réaliser au moins deux images bidimensionnelles de l'amas présent dans ladite zone de vision. Ces images bidimensionnelles permettent de reconstruire une ou plusieurs images virtuelles ou électroniques de l'amas d'objets dans la zone de vision pouvant être visualisée sur un écran.
  • La transformation des mesures de rayonnement électromagnétique en image bidimensionnelle est rendue possible par l'utilisation de logiciel calculatoire.
  • Ces images bidimensionnelles sont analysées et traitées, étape c) du procédé selon l'invention, dans le but d'identifier toutes les zones de prise possibles pour le ou les organes de préhension du robot et d'identifier l'organe de préhension le plus adapté pour chacune des zones de prises possibles, lesdites zones étant associées à des objets présents dans l'amas.
  • Il est à noter que par zone de prise, ou zone spécifique, on entend au sens de la présente invention, une zone pouvant être saisie par un quelconque organe de préhension d'un robot. Il est à noter également que plusieurs zones de prise peuvent être associées à un objet contenu dans l'amas.
  • Le traitement de ces images bidimensionnelles peut, par exemple, se faire à l'aide de logiciels calculatoires et de logiciels de traitement d'image.
  • Après que toutes les zones de prise ont été identifiées grâce aux traitements et aux analyses des images bidimensionnelles, les zones de prise sont localisées en position et en orientation, étape d) du procédé selon l'invention.
  • Ensuite, selon le procédé de l'invention, la nature de l'objet saisi ou devant être saisi par le robot est attribuée entre les étapes e) et i), et consiste à capturer au moins une image bidimensionnelle à l'aide d'au moins un capteur d'image bidimensionnelle et à diffuser une au moins des images bidimensionnelles sur un écran de visualisation pouvant être observé par un opérateur, l'opérateur attribuant une nature à un objet unitaire visualisé.
  • Selon un premier mode de réalisation avantageux du procédé de l'invention, l'étape consistant à définir la nature de l'objet unitaire saisi est effectuée dans la zone de réception, et plus particulièrement entre les étapes h) et i) précédemment citées.
  • Suivant ce premier mode de réalisation, le choix de l'une des zones de prise, étape e) du procédé selon l'invention, peut avantageusement être effectué automatiquement grâce à l'utilisation d'un algorithme.
  • Avantageusement, la sélection d'une zone spécifique est effectuée grâce à l'utilisation d'un automate, qui ne nécessite donc pas l'intervention d'un opérateur.
  • Il est à noter que lors de cette saisie, la trajectoire de prise du robot peut être calculée par l'utilisation de logiciels calculatoires. En outre, une trajectoire particulière de saisie peut être associée à chaque zone de prise. Le procédé est alors avantageux du fait qu'il est possible de saisir et de déposer rapidement un objet unitaire.
  • Après que le robot a saisi la zone de prise définie par l'algorithme à l'aide de l'un de ses organes de préhension, l'objet unitaire associé à cette zone de prise est transféré de la zone de vision à une zone de réception.
  • Suivant ce premier mode de réalisation, l'étape consistant à définir la nature de l'objet dans la zone de réception peut être avantageusement réalisé par la capture d'au moins une image bidimensionnelle de l'objet unitaire dans la zone de réception à l'aide d'au moins un capteur de mesure de rayonnement électromagnétique et à diffuser une au moins de ces images bidimensionnelles de l'objet unitaire sur un écran de visualisation pouvant être observé par un opérateur, qui en temps réel, attribue une nature à l'objet unitaire visualisé dans la zone de réception. Dans ce mode de réalisation, l'intervention d'un opérateur est nécessaire.
  • Il est à noter que les différents capteurs de mesure de rayonnement électromagnétique précédemment mentionnés sont choisis en fonction de la ou des sources de rayonnement électromagnétique utilisées.
  • Après l'attribution d'une nature particulière à un objet présent dans la zone de réception, ce même objet est déplacé de la zone de réception vers un exutoire en fonction de la nature qui lui a été attribuée au préalable.
  • Selon un deuxième mode de réalisation avantageux du procédé de l'invention, l'étape consistant à définir la nature de l'objet saisi ou devant être saisi peut être effectuée entre les étapes e) et f) précédemment citées, à partir de l'image virtuelle de l'amas d'objets de l'étape b), qui est diffusée sur au moins un écran de visualisation pouvant être observé par un opérateur, ledit opérateur attribuant une nature audit objet devant être saisi au sein de l'amas d'objets visualisé.
  • Une nature est attribuée à un objet de l'amas lorsque celui-ci est situé dans la zone de vision. Dans ce mode de réalisation, l'intervention d'un opérateur est alors nécessaire.
  • Avantageusement, dans un premier temps, une des zones de prise peut être ciblée par un opérateur sur l'écran de visualisation diffusant ladite image virtuelle représentant l'amas situé dans la zone de vision.
  • Puis, dans un deuxième temps, de manière avantageuse, l'opérateur peut attribuer une nature à la zone de prise présélectionnée, correspondant à un objet particulier, de façon interactive grâce à l'utilisation d'écran vidéo tactile, ou d'un écran vidéo associé à un système de reconnaissance vocale ou à un système de type clavier ou à tout autre système permettant la sélection particulière d'une zone spécifique.
  • Selon ce deuxième mode de réalisation avantageux du procédé de l'invention, après avoir attribué une nature particulière à une zone de prise présélectionnée par un opérateur, l'un quelconque des organes de préhension d'un robot peut saisir cette zone de prise présélectionnée afin de déplacer l'objet de la zone de vision vers la zone de réception.
  • Comme pour le premier mode de réalisation de l'invention, il est à noter que lors de la saisie, la trajectoire de prise du robot peut être avantageusement calculée par l'utilisation de logiciels calculatoires. En outre, une trajectoire particulière de saisie peut être associée à chaque zone de prise. Le procédé est alors avantageux du fait qu'il est possible de saisir et de déposer rapidement des objets.
  • Après que le robot a saisi ladite zone présélectionnée par un opérateur par un de ses organes de préhension, l'objet unitaire, associé à cette zone de prise présélectionnée, est transféré de la zone de vision à une zone de réception.
  • Dans le cadre du deuxième mode de réalisation du procédé selon l'invention, un opérateur ayant au préalable attribué une nature à l'objet se trouvant dans la zone de réception, l'objet peut être avantageusement déplacé de la zone de réception vers un exutoire prédéfini en fonction de cette nature.
  • Il est à noter que quel que soit le mode de réalisation selon l'invention, les zones de vision de l'amas d'objets et la zone de réception de l'objet unitaire sont des zones distinctes, c'est-à-dire des volumes du centre de traitement distincts.
  • Il est à noter que suivant le premier mode avantageux de l'invention, la totalité des objets contenus dans l'amas initial est triée, c'est-à-dire que la totalité des objets est saisie par le robot et transite de la zone de vision vers la zone de réception.
  • Et selon le deuxième mode avantageux de l'invention, la totalité des objets contenus dans l'amas initial n'est pas nécessairement triée et ne transite donc pas obligatoirement de la zone de vision vers la zone de réception.
  • Dans ce cas, un exutoire destiné à recevoir les objets non saisis par un quelconque organe de préhension peut être placé à proximité de la zone de vision afin de permettre son évacuation. En d'autres termes, la totalité des objets non saisie par l'un quelconque des organes de préhension du robot est déplacée vers un exutoire particulier par l'utilisation d'un quelconque moyen de transfert.
  • La présente invention a encore pour objet un dispositif de tri sélectif, susceptible de mettre en oeuvre le procédé précédemment décrit, et comprenant :
    • des moyens pour fournir un flux d'objets se présentant sous la forme d'un amas ;
    • des capteurs de mesure de rayonnement électromagnétique pour réaliser une ou plusieurs images bidimensionnelles ;
    • des logiciels de traitement d'image et de calcul pour traiter les informations résultantes desdites images capturées et pour identifier et localiser des zones de prise des objets de l'amas ;
    • un robot mécanique muni d'au moins un organe de préhension pour saisir un objet défini par une ou plusieurs zones de prise dans l'amas et le déplacer d'une zone de vision vers une zone de réception ;
    • des moyens pour évacuer l'objet placé dans la zone de réception ;
    • des moyens pour diffuser une au moins desdites images bidimensionnelles sur au moins un écran de visualisation pouvant être observé par un opérateur, de sorte que ledit opérateur puisse attribuer une nature audit objet visualisé.
  • Le dispositif selon l'invention est avantageux car il permet un tri sélectif à distance en évitant tout contact entre un opérateur et un quelconque objet à trier. Dans cette optique, des interfaces peuvent être utilisées pour permettre à un opérateur de contrôler et de maîtriser le dispositif de tri sélectif à distance. En outre, le dispositif selon l'invention permet de trier des amas d'objets contenant de multiples objets matériels, notamment des déchets, pouvant être de natures, tailles et formes différentes.
  • Le dispositif selon l'invention comprend des moyens permettant de fournir un flux d'objets se présentant sous forme d'amas. Par exemple, ces moyens peuvent être des convoyeurs à bande ou à rouleaux, des convoyeurs à galets, des tables à billes, des tables vibrantes, des dispositifs mécaniques comprenant des moyens de préhension, ou tout autre dispositif permettant de déplacer un amas d'objet d'un point initial à un autre point. Des bennes de collecte dans lesquelles sont placés les objets à trier peuvent également être utilisées. Dans cette configuration, la benne est statique pendant le procédé de tri ainsi que pendant la préhension de chacun des objets qu'elle contient. Par contre, dès que les objets à trier contenus dans ladite benne ont été triés, une benne contenant de nouveaux objets à trier est acheminée dans la zone de vision et remplace ainsi la première benne. Il est aussi possible que la benne soit directement remplie par un camion de collecte ce qui évite le remplacement de la benne.
  • Le flux d'objets alimente une zone du dispositif selon l'invention, appelée zone de vision, en amas d'objets.
  • Le dispositif selon l'invention comprend en outre un robot mécanique muni d'au moins un organe de préhension permettant, dans un premier temps, de saisir un objet contenu dans l'amas présent au préalable dans la zone de vision, chaque objet de l'amas étant défini par une ou plusieurs zones de prise, et dans un second temps de déplacer l'objet saisi de la zone de vision vers une autre zone, dite zone de réception.
  • Il est à noter qu'après que le choix d'une zone de prise particulière a été effectué, soit par un automate, soit par un opérateur, le robot mécanique, par l'intermédiaire d'au moins un de ses organes de préhension, déplace l'objet associé à cette zone de prise particulière de la zone de vision vers la zone de réception.
  • Le dispositif selon l'invention comprend, notamment dans la zone de vision, des capteurs de mesure de rayonnement électromagnétique, pouvant être des capteurs de mesures dans le spectre visible ou non-visible, tels que des capteurs de rayonnement gamma, des capteurs radioélectriques, des capteurs infrarouges, des capteurs ultraviolets, des capteurs de rayonnement X ou des caméras.
  • De préférence, les capteurs de mesure de rayonnement électromagnétique sont des caméras en spectre visible. Il est à noter que les capteurs susmentionnés peuvent également être utilisés en combinaison.
  • Ces mesures de rayonnement électromagnétique permettent au robot de saisir un objet particulier par une zone de prise présélectionnée. Ces mesures de rayonnement électromagnétique peuvent également être analysées et traitées par des logiciels calculatoires et de traitement d'image afin de permettre l'identification et la localisation de toutes les zones de prise possibles de chaque objet contenu dans l'amas.
  • C'est pourquoi, le ou les capteurs de mesure de rayonnement électromagnétique peuvent être avantageusement connectés à des moyens d'analyse d'image.
  • Il est à noter qu'un objet contenu dans l'amas peut être associé à plusieurs zones de prise ou zones spécifiques, les logiciels calculatoires et de traitement d'image ayant pour objectif d'identifier des surfaces de préhension et non des objets.
  • Les mesures de rayonnement électromagnétique peuvent permettre l'élaboration d'une ou plusieurs images bidimensionnelles.
  • De préférence, l'écran de visualisation sur lequel sont diffusées une ou plusieurs desdites images bidimensionnelles peut être soit tactile, soit associé à un système de reconnaissance vocale, soit associé à un clavier, soit associé à plusieurs des systèmes susmentionnés afin de permettre la sélection d'une zone de prise particulière par un opérateur. L'écran vidéo peut comprendre en outre deux zones :
    • une première zone qui permet de visualiser une image issue des capteurs de mesure de rayonnement électromagnétique, et ainsi permettre la sélection d'une zone spécifique particulière, et
    • une deuxième zone de l'écran qui comprend des sous-catégories correspondant respectivement à des natures prédéterminées pour permettre d'attribuer à la zone spécifique présélectionnée une nature particulière.
  • Avantageusement, le dispositif peut comprendre des moyens de traitement et de calcul capables d'associer automatiquement à une surface de préhension sélectionnée par un opérateur ou un automate, l'organe du robot le plus adapté.
  • En outre, le dispositif peut comprendre avantageusement des moyens de traitement et de calcul capables de définir automatiquement une trajectoire de prise d'un objet par la zone spécifique compatible, présélectionnée par un opérateur ou un automate, pour un organe de préhension particulier d'un robot mécanique.
  • De cette façon, le trajet suivi par un quelconque organe de préhension du robot est optimisé. Il est le plus rapide possible et également le plus court possible.
  • Avantageusement, la zone de réception peut comprendre un ou plusieurs capteurs de mesure de rayonnement électromagnétique.
  • Au sens de la présente demande, on entend par zone de réception une zone dont le volume est accessible par un robot tel que décrit au préalable.
  • De cette façon, l'attribution d'une nature à un objet se trouvant dans la zone de réception est effectuée, dans cette configuration, par un opérateur.
  • A cet effet, les capteurs de mesure de rayonnement électromagnétique utilisés sont des capteurs permettant de reproduire une ou plusieurs images virtuelles ou électroniques de l'objet situé dans la zone de réception. Par exemple, ces capteurs peuvent être des capteurs de rayonnement infrarouge ou proche infrarouge, des capteurs de rayonnement ultraviolet, des capteurs de rayonnement X, des capteurs de rayonnement électromagnétique selon le spectre visible ou non visible, des capteurs de rayonnement gamma, des capteurs de distance à balayage laser, et de préférence les capteurs de mesure de rayonnement électromagnétique sont des caméras en spectre visible. Les capteurs susmentionnés peuvent également être utilisés en combinaison.
  • De préférence, les images récupérées par un ou plusieurs des capteurs susmentionnés peuvent être visualisées sur un écran tactile. Cet écran tactile peut par exemple comprendre deux zones. Une première zone peut permettre de visualiser une image issue des capteurs de mesure de rayonnement électromagnétique. Une deuxième zone de l'écran comprend des sous-catégories correspondant respectivement à des natures prédéterminées.
  • Dans cette configuration, un opérateur peut attribuer à l'objet unitaire qu'il visualise sur ledit écran tactile une nature particulière en sélectionnant une sous-catégorie particulière.
  • Suivant une autre alternative, l'écran vidéo n'est pas tactile, mais est associé à un système de reconnaissance vocale ou à un système de type clavier ou à tout autre système permettant d'attribuer un nature particulière à l'objet visualisé sur ledit écran.
  • Après qu'une nature a été attribuée à un objet placé dans la zone de réception, l'objet saisi est évacué de ladite zone de réception vers un exutoire, par des moyens d'acheminement en fonction de la nature qui lui a été attribué.
  • Ces moyens d'acheminement peuvent être des convoyeurs à bande ou à rouleaux, des convoyeurs à galets, des tables à bille, des tables vibrantes, des dispositifs mécaniques comprenant des moyens de préhension, ou tout autre dispositif permettant de déplacer un objet unitaire d'un point initial à un autre point. L'un des moyens d'acheminement avantageux est le même robot mécanique utilisé pour déplacer l'objet de l'amas de la zone de vision à la zone de réception.
  • L'objet transitant sur ces moyens d'acheminement est déplacé dans un exutoire prédéfini en fonction de la nature qui lui a été attribuée.
  • Par exemple, les exutoires peuvent comprendre des bras manipulateurs ou des robots adaptés aux caractéristiques des objets à extraire. Ces exutoires peuvent également comprendre des dispositifs d'éjection pneumatique en jetée de tapis d'acheminement, des buses à air comprimé, des systèmes d'aiguillage, des poussoirs employant des vérins, des trappes, des robots. Des moyens d'extraction combinant différents dispositifs d'éjection précités peuvent être appliqués.
  • De cette façon, le trajet suivi par un organe de préhension dudit robot est optimisé, typiquement pour être le plus rapide possible et également le plus court possible.
  • En outre, le dispositif selon l'invention peut comprendre des moyens pour relever et suivre les mouvements et les positions d'un objet particulier, entre le dispositif de préhension d'un robot et un exutoire, en fonction du temps. Ces moyens peuvent comprendre des capteurs de mesure de rayonnement électromagnétique tels que cités précédemment.
    • Brève description des figures
  • D'autres caractéristiques et avantages de la présente invention apparaîtront plus clairement à la lecture de la description suivante donnée à titre d'exemple illustratif et non limitatif et faite en référence aux figures annexées dans lesquelles :
    • la figure 1 illustre un mode de réalisation d'un dispositif selon l'invention, vue en tridimensionnelle, apte à trier les objets de l'amas sélectionnés automatiquement, selon le premier mode de réalisation du procédé selon l'invention,
    • la figure 2 illustre un mode de réalisation d'un dispositif selon l'invention, vue en tridimensionnelle, apte à trier les objets de l'amas sélectionnés par un opérateur, selon le deuxième mode de réalisation du procédé selon l'invention,
    • la figure 3A illustre une vue d'écran tactile pouvant être visualisé par un opérateur lorsque celui-ci attribue une nature particulière à un objet se présentant sous forme unitaire,
    • la figure 3B illustre une vue d'un écran pouvant être visualisé par un opérateur lorsque celui-ci sélectionne une zone de prise particulière et lui attribue une nature.
  • Les références identiques représentées sur les figures 1 à 3B sont identifiées par des références numériques identiques.
    • Modes de réalisation
  • Dans les exemples présentés ci-après, à titre indicatif et non limitatif, on utilise dans les deux modes de réalisation des dispositifs selon l'invention illustrés sur les figures 1 et 2, des solutions robotisées commercialisées par la société SILEANE ou par la société AKEO. Ces dispositifs comprennent un robot qui comprend un système polyarticulé muni d'un ou plusieurs organes de préhension capable de saisir un objet par une zone spécifique. Pour faciliter la lecture des figures, un seul organe de préhension est représenté sur les figures 1 et 2.
  • Cependant, de préférence, le robot peut comprendre au moins deux organes de préhension, le premier utilisant une technologie dite « ventouse » et l'autre une technologie dite « pince ». Ce robot n'est pas celui illustré sur les figures.
  • Dans les figures 1 et 2, le robot comprend un seul organe de préhension utilisant la technologie « pince ».
  • La figure 1 décrit un dispositif 10 selon l'invention, permettant d'extraire des objets particuliers contenus dans un amas, en fonction de leur nature.
  • L'amas d'objets comprend un vrac volumique d'objets hétérogènes placés aléatoirement de sorte que les objets s'enchevêtrent.
  • Tel que présenté sur la figure 1, l'amas d'objets, en vue de son traitement, est disposé sur un premier convoyeur à bande 11.
  • Ce premier convoyeur à bande 11 est apte à alimenter une zone, dite zone de vision 12, en amas d'objets matériels.
  • Cette zone de vision 12 est irradiée avec un rayonnement électromagnétique à partir de sources de rayonnement afin de réaliser une ou plusieurs images de l'amas d'objets situé dans la zone de vision 12.
  • En outre, le dispositif de la figure 1 comprend des capteurs de mesure de rayonnement électromagnétique afin de réaliser une ou plusieurs images bidimensionnelles de l'amas d'objets situé dans la zone de vision 12.
  • Dans ces conditions, les capteurs de mesure de rayonnement électromagnétique sont configurés pour acquérir des images bidimensionnelles successives de l'amas situé dans la zone de vision 12. Il est à noter que les images capturées couvrent la totalité de l'amas d'objets.
  • Selon le dispositif 10 de la figure 1, les images sont capturées grâce à l'utilisation d'une caméra 19a en spectre visible.
  • Une ou plusieurs desdites images de l'amas d'objets capturées sont ensuite traitées et analysées pour permettre l'identification et la localisation de chaque zone de prise possible par un organe de préhension 18 du robot 14 polyarticulé.
  • Pour ce faire, les capteurs de mesure de rayonnement électromagnétique sont, par exemple, couplés à des moyens de traitement, pouvant être des calculateurs et autres logiciels, configurés pour traiter les images issues desdits capteurs.
  • Les utilisations combinées de logiciels calculatoires et de logiciels de traitements d'images permettent de choisir une zone de préhension et un organe de préhension.
  • Selon le dispositif 10 de la figure 1, un organe de préhension 18 saisit la zone de prise définie.
  • Le dispositif de la figure 1 peut utiliser en outre des logiciels calculatoires et de traitement d'images pour permettre également de définir la trajectoire de prise la plus rapide et la plus courte possible, pour un organe de préhension 18 donné.
  • Il est à noter que pour permettre l'obtention d'images représentatives de la réalité, la vitesse du flux d'objets se dirigeant vers la zone de vision 12, par l'utilisation d'un convoyeur à bande 11 selon la figure 1, n'est éventuellement pas constante. Par exemple, lorsqu'un amas d'objets atteint la zone de vision 12, la vitesse du flux d'objets diminue, voire s'annule, afin que les capteurs présents dans la zone de vision 12 puissent capter au moins deux images bidimensionnelles représentant l'amas d'objets.
  • Après chaque saisie, les capteurs capturent de nouvelles images de l'amas d'objets. De cette façon, l'objet à saisir, qui a pu être déplacé par la saisie d'un objet précédent, sera quand même localisé et saisi.
  • Sur ordre d'un opérateur, le premier convoyeur à bande 11 peut se remettre en fonctionnement afin d'amener dans cette zone de vision 12 un nouvel amas d'objets à trier.
  • Ensuite, dans le dispositif 10 de l'invention illustré sur la figure 1, il n'est pas nécessaire que la ou les images capturées par les capteurs soient transférées sur un écran vidéo puisque les images préalablement capturées ne sont utiles que pour identifier et localiser automatiquement chaque zone de prise possible par un organe de préhension 18.
  • Il est à noter qu'ici, aucun opérateur n'intervient. Le choix de l'une quelconque des zones de prise est effectué automatiquement suivant différents critères préétablis.
  • Ensuite, tous les objets contenus dans l'amas initial sont saisis par un quelconque organe de préhension 18, comme présenté ci-dessus, est disposé, selon la figure 1, dans une zone de réception 13 située sur un deuxième convoyeur à bande 15.
  • Il est à noter que la totalité des objets contenus dans l'amas initial à trier transite de la zone de vision vers la zone de réception après avoir été saisie par le robot.
  • Selon la figure 1, à chaque objet déposé dans cette zone de réception 13 est attribuée une nature particulière. Cette attribution est effectuée grâce à l'intervention d'un opérateur pouvant utiliser une interface. Cette interface permet audit opérateur d'attribuer une nature à un objet donné, à un instant donné.
  • L'interface est couplée à un ou plusieurs capteurs de mesure de rayonnement électromagnétique.
  • Selon le dispositif de la figure 1, le capteur d'image bidimensionnelle est une caméra 19b fonctionnant dans le spectre visible. Cette caméra 19b est connectée à un écran et les images capturées apparaissent sur cet écran. Ces images peuvent être prétraitées informatiquement afin de présenter un certain contraste à l'opérateur et ainsi lui donner des indications par exemple sur des propriétés ou la nature dudit objet (figure 3A).
  • Par exemple, si un objet est en plastique, une couleur ou une texture spécifique facilitant la reconnaissance de l'opérateur peut être attribuée audit objet. Cette étape est particulièrement intéressante pour des matières dont l'efficacité de reconnaissance n'a pas de bonne performance.
  • La figure 3A représente un écran tactile 20 pouvant être visualisé par un opérateur voulant attribuer une nature à un objet unitaire situé dans la zone de réception 13. Sur cet écran, il est possible de visualiser, d'une part, l'objet situé dans la zone de réception 13, et d'autre part, de lui attribuer une nature particulière. Pour ce faire, la caméra 19b est connectée à un écran tactile 20, comprenant deux zones 21 et 22 :
    • une première zone 21 pour visualiser une image issue de la caméra 19b, et
    • une deuxième zone 22 de l'écran, qui comprend des sous-catégories 23 correspondant respectivement à des natures prédéterminées : par exemple, une première sous-catégorie 23 correspond à du bois, une deuxième sous-catégorie 23 à de la ferraille, une troisième sous-catégorie 23 à du plastique, une quatrième sous-catégorie 23 à du gravât.
  • La deuxième zone d'écran peut comprendre en outre, une sous-catégorie 23 qui ne correspond à aucune nature particulière, mais dans laquelle un opérateur peut classer tous les objets indifféremment de leur nature. Cette sous-catégorie 23 peut alors compléter les autres sous-catégories ou être la seule disponible. Dans ce dernier cas, éventuellement, il est possible de n'avoir qu'un seul exutoire 16b dans lequel sont éjectés tous les objets situés sur le deuxième convoyeur à bande 15.
  • Il est à noter que l'opérateur qui effectue l'opération d'attribution d'une nature à un objet donné doit être initié à cette tâche dans le but de conserver la souplesse et la productivité du procédé de tri.
  • D'après la figure 1, après l'attribution d'une nature particulière à un objet, l'objet est dirigé vers un exutoire 16 prédéfini, dans un premier temps, grâce à l'utilisation d'un deuxième convoyeur à bande 15 et dans un deuxième temps grâce à l'utilisation d'un ou plusieurs moyens d'extraction 17.
  • Comme présenté dans la figure 1, les moyens d'extraction 17 permettent d'extraire les objets situés sur le deuxième convoyeur à bande 15 et de les acheminer vers les exutoires 16 appropriés destinés à les recevoir. La figure 1 montre que ces exutoires 16 comprennent des dispositifs d'éjection pneumatique utilisant des vérins.
  • En outre, des moyens peuvent être utilisés pour relever et suivre les mouvements et les positions d'un objet particulier, entre le dispositif de préhension 18 d'un robot 14 et un exutoire 16, en fonction du temps.
  • Par ailleurs, la figure 2 décrit un dispositif 20 selon l'invention permettant de sélectionner en particulier un ou plusieurs objets contenus dans un amas, selon le deuxième mode de réalisation du procédé selon l'invention.
  • L'amas d'objets comprend un vrac volumique d'objets hétérogènes placés aléatoirement de sorte que les objets s'enchevêtrent.
  • Tel que présenté sur la figure 2, l'amas d'objets, en vue de son traitement, est disposé sur un premier convoyeur à bande 11.
  • Ce premier convoyeur à bande 11 est apte à alimenter une zone, dite zone de vision 12, en amas d'objets matériels.
  • Au niveau de la zone de vision 12 se trouve, selon le dispositif 20 de la figure 2, une caméra 19c en spectre visible, afin de réaliser une ou plusieurs images bidimensionnelles de l'amas d'objets situé dans la zone de vision 12.
  • Il est à noter que les images capturées par la caméra 19c couvrent la totalité de l'amas d'objets.
  • Selon le dispositif de la figure 2, la caméra 19c est connectée à un écran et les images capturées apparaissent sur cet écran. Ces images peuvent être prétraitées informatiquement afin de présenter un certain contraste à l'opérateur et ainsi lui donner des indications par exemple sur des propriétés ou la nature dudit objet sélectionné par la désignation d'une zone de prise 25 particulière (figure 3B).
  • Par exemple, si un objet est en plastique, une couleur ou une texture spécifique facilitant la reconnaissance de l'opérateur peut être attribuée audit objet. Cette étape est particulièrement intéressante pour des matières dont l'efficacité de reconnaissance n'a pas de bonne performance.
  • De plus, la caméra 19c est, par exemple, couplé à des moyens de traitement, pouvant être des calculateurs et autres logiciels, configurés pour traiter les images issues de la caméra 19c et pour permettre ainsi l'identification et la localisation de toutes les zones de prise possibles associées à chacun des objets de l'amas.
  • L'écran sur lequel apparaissent les images capturées par la caméra 19c est tactile.
  • Selon la figure 3B, l'écran tactile 20 comprend deux zones 21 et 22 :
    • une première zone 21 pour visualiser une image issue des capteurs de mesure de rayonnement électromagnétique, et
    • une deuxième zone 22 de l'écran, qui comprend des sous-catégories 23 correspondant respectivement à des natures prédéterminées : par exemple, une première sous-catégorie 23 correspond à du bois, une deuxième sous-catégorie 23 à de la ferraille, une troisième sous-catégorie 23 à du plastique, une quatrième sous-catégorie 23 à du gravât.
  • La deuxième zone d'écran peut comprendre, une sous-catégorie 23 qui ne correspond à aucune nature particulière, mais dans laquelle un opérateur peut classer tous les objets sélectionnés et contenus préalablement dans l'amas. Dans ce dernier cas, éventuellement, il est possible de n'avoir qu'un seul exutoire 16b dans lequel sont éjectés tous les objets qui on été déposés dans la zone de réception 13 situés sur le deuxième convoyeur à bande 15.
  • Sur la figure 3B, les zones de prise possibles sont représentées, sur la première zone dudit écran tactile 20, par des cercles virtuels. Dans cette configuration, un opérateur peut désigner une zone de prise 25 par pointage du doigt sur l'écran tactile 20.
  • Selon cette configuration, la sélection d'une zone de prise 25 peut être corrigée. Par exemple, le fait de sélectionner à nouveau une zone de prise 25 déjà sélectionné la désélectionne.
  • Dans cette configuration, un opérateur peut attribuer une nature à un objet donné.
  • Il est à noter que l'opérateur qui effectue l'opération d'attribution d'une nature à un objet donné doit être initié à cette tâche dans le but de conserver la souplesse et la productivité du procédé de tri.
  • Avec cette configuration, un opérateur peut, par conséquent, dans un premier temps sélectionner une zone de prise 25 possible, et dans un second temps il peut attribuer à cette zone de prise 25 une nature particulière.
  • L'attribution d'une nature à une zone de prise 25 particulière s'effectuer comme suit. Un opérateur sélectionne d'abord une zone de prise 25 puis il sélectionne une sous-catégorie 23 d'attribution. Suivant cette configuration, la zone de prise 25 choisie est marquée avec un sous-référent graphique comme par exemple un cercle coloré 24.
  • On peut également définir un mode de fonctionnement en catégorie unitaire, c'est-à-dire qu'une seule catégorie est affectée automatiquement à l'ensemble des objets désignés par un opérateur après avoir sélectionnés une zone de prise 25 possible d'un objet contenu dans l'amas. Dans ce cas la catégorie unitaire est préalablement définie par l'opérateur.
  • Il est à noter que les objets non saisis par un quelconque organe de préhension 18 subsistent dans la zone de vision 12, avant que le premier convoyeur à bande 11 ne se mette de nouveau en fonctionnement. De cette façon, les objets subsistant dans cette zone de vision 12 sont dirigés vers un exutoire 16a commun situé à l'extrémité du premier convoyeur à bande 11.
  • Après que les objets ont été saisis, ils se retrouvent sous forme unitaire dans la zone de réception 13.
  • Il est à noter que lorsque les objets sont disposés dans la zone de réception 13, à chaque objet a été attribuée une nature.
  • Dès qu'un objet est déposé dans la zone de réception 13, il est déplacé de cette zone de réception 13 par à un deuxième convoyeur à bande 15.
  • En effet, ce deuxième convoyeur à bande 15 étant en fonctionnement permanent, un objet saisit par un organe de préhension 18 d'un robot 14, puis déposé sur ce deuxième convoyeur à bande 15, est très rapidement mis en mouvement. De cette façon, chacun des objets saisis dans l'amas initial se succède tout au long de ce deuxième convoyeur à bande 15.
  • Le deuxième convoyeur à bande 15 permet donc d'extraire l'objet unitaire déposé au préalable dans la zone de réception 13.
  • Puisqu'à chaque objet a été attribuée une nature, chacun d'eux peut donc être déplacé dans un exutoire 16b spécifique.
  • Selon la figure 2, l'exutoire 16b comprend un robot muni d'un organe de préhension capable de saisir un quelconque objet situé sur le deuxième convoyeur à bande 15 et de le déplacer dans un exutoire 16b prédéfini en fonction de la nature qui lui a été attribué. Le robot 14 est utilisé comme moyen d'extraction 17.
  • Eventuellement, il est possible de n'avoir qu'un seul exutoire 16b dans lequel sont éjectés tous les objets situés sur le deuxième convoyeur à bande 15.
  • En outre, des moyens peuvent être utilisés pour relever et suivre les mouvements et les positions d'un objet particulier, entre le dispositif de préhension 18 d'un robot 14 et un exutoire 16b, en fonction du temps.
  • La présente invention n'est pas limitée aux modes de réalisation précédemment décrits.

Claims (11)

  1. Procédé de tri sélectif pour identifier et trier des objets matériels de type déchets, de natures, de formes et de tailles différentes et se présentant sous la forme d'un amas, ledit procédé comprenant les étapes suivantes :
    a) fournir un flux d'objets sous forme d'un amas, vers une zone de vision (12) comprenant au moins deux capteurs de mesure de rayonnement électromagnétique, ladite zone se trouvant dans la zone d'action d'un robot (14) muni d'un ou plusieurs organes de préhension ;
    b) capturer au moins deux images bidimensionnelles de l'amas contenu dans ladite zone de vision (12) à l'aide desdits capteurs de mesure de rayonnement électromagnétique, pour reconstruire une image virtuelle ou électronique de l'amas d'objets dans la zone de vision (12) pouvant être visualisée sur un écran ;
    c) traiter les informations résultant desdites images bidimensionnelles, et identifier toutes les zones de prise possibles associées à des objets présents dans l'amas pour ledit ou lesdits organes de préhension dudit robot (14) sans chercher à connaître la nature desdits objets ;
    d) localiser, en position et orientation, lesdites zones de prise possibles ;
    e) choisir l'une des zones de prise ;
    f) définir automatiquement, pour un organe de préhension (18) donné, une trajectoire de prise d'un objet correspondant à la zone de prise choisie ;
    g) saisir l'objet unitaire correspondant selon la trajectoire définie ;
    h) déplacer ledit objet unitaire saisi vers une zone de réception (13) ;
    i) déplacer ledit objet unitaire se trouvant dans ladite zone de réception (13) vers un exutoire (16) en fonction de la nature ;
    ledit procédé étant caractérisé en ce que la nature de l'objet saisi ou devant être saisi par le robot (14) est attribuée entre les étapes e) et i), et consiste à capturer au moins une image bidimensionnelle dans laquelle apparait ledit objet, à l'aide d'au moins un capteur de rayonnement électromagnétique et à diffuser une au moins desdites images bidimensionnelles sur un écran de visualisation pouvant être observé par un opérateur, ledit opérateur attribuant une nature audit objet visualisé.
  2. Procédé de tri sélectif selon la revendication 1, dans lequel l'étape consistant à attribuer une nature à l'objet unitaire saisi est effectuée entre l'étape h) et l'étape i), dans ladite zone de réception (13).
  3. Procédé de tri sélectif selon la revendication 2, dans lequel l'étape consistant à attribuer une nature à un objet unitaire situé dans la zone de réception (13) est effectuée par la capture, par au moins un capteur de rayonnement électromagnétique, d'au moins une image bidimensionnelle diffusée sur un écran de visualisation pouvant être observé par un opérateur.
  4. Procédé de tri sélectif selon l'une quelconque des revendications 1 à 3, dans lequel le choix de l'une des zones de prise de l'étape e) est effectué automatiquement grâce à l'utilisation d'un algorithme.
  5. Procédé de tri sélectif selon la revendication 1, dans lequel l'étape consistant à attribuer une nature à l'objet devant être saisi est effectuée entre l'étape e) et f).
  6. Procédé de tri sélectif selon la revendication 5, dans lequel l'étape consistant à attribuer une nature à l'objet devant être saisi est effectuée à partir de l'image virtuelle ou électronique de l'amas d'objets de l'étape b), qui est diffusée sur au moins un écran de visualisation pouvant être observé par un opérateur, ledit opérateur attribuant une nature audit objet devant être saisi au sein de l'amas d'objets visualisé.
  7. Procédé de tri sélectif selon l'une quelconque des revendications précédentes, dans lequel une des zones de prise est ciblée par un opérateur sur l'écran de visualisation diffusant ladite image virtuelle.
  8. Dispositif de tri sélectif, susceptible de mettre en oeuvre le procédé selon l'une quelconque des revendications 1 à 7, et comprenant :
    - des moyens pour fournir un flux d'objets se présentant sous la forme d'un amas ;
    - des capteurs de mesure de rayonnement électromagnétique pour réaliser une ou plusieurs images bidimensionnelles ;
    - des logiciels de traitement d'image et de calcul pour traiter les informations résultantes desdites images capturées et pour identifier et localiser des zones de prise des objets de l'amas ;
    - un robot (14) mécanique muni d'au moins un organe de préhension (18) pour saisir un objet défini par une ou plusieurs zones de prise dans l'amas et le déplacer d'une zone de vision (12) vers une zone de réception (13) ;
    - des moyens pour évacuer l'objet placé dans la zone de réception ;
    - des moyens pour diffuser une au moins desdites images bidimensionnelles sur au moins un écran de visualisation pouvant être observé par un opérateur, de sorte que ledit opérateur puisse attribuer une nature audit objet visualisé.
  9. Dispositif de tri sélectif selon la revendication 8, comprenant des moyens de traitement et de calcul pour définir automatiquement une trajectoire de prise dudit objet par ledit robot (14).
  10. Dispositif de tri sélectif selon l'une quelconque des revendications 8 ou 9, dans lequel les capteurs de mesure de rayonnement électromagnétique sont des capteurs de mesure dans le spectre visible ou non visible tels que des capteurs de rayonnement gamma, des capteurs radioélectriques, des capteurs infrarouge, des capteurs ultraviolet, des capteur de rayonnement X ou des caméras.
  11. Dispositif de tri sélectif selon l'une quelconque des revendications 8 à 10, dans lequel ledit écran vidéo est soit tactile, soit associé à un système de reconnaissance vocale, soit associé à un clavier, pour sélectionner une zone de prise particulière, soit associé à plusieurs des systèmes susmentionnés.
EP16305055.2A 2015-02-10 2016-01-21 Procédé et dispositif de tri selectif Active EP3056288B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1551084A FR3032366B1 (fr) 2015-02-10 2015-02-10 Procede de tri selectif

Publications (2)

Publication Number Publication Date
EP3056288A1 true EP3056288A1 (fr) 2016-08-17
EP3056288B1 EP3056288B1 (fr) 2018-03-14

Family

ID=53008698

Family Applications (1)

Application Number Title Priority Date Filing Date
EP16305055.2A Active EP3056288B1 (fr) 2015-02-10 2016-01-21 Procédé et dispositif de tri selectif

Country Status (4)

Country Link
US (1) US9682406B2 (fr)
EP (1) EP3056288B1 (fr)
DK (1) DK3056288T3 (fr)
FR (1) FR3032366B1 (fr)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108144863A (zh) * 2016-12-02 2018-06-12 朱塞佩·普里泰利G.P.咨询简易两合公司 家具行业的面板生产线中精益生产的优化制造方法和系统
CN110076768A (zh) * 2018-01-25 2019-08-02 发那科株式会社 物品搬运系统以及机器人系统
CN110856846A (zh) * 2018-08-24 2020-03-03 胜宏科技（惠州）股份有限公司 一种pcb板自动分拣系统及方法
CN111805309A (zh) * 2020-07-02 2020-10-23 哈尔滨工业大学 用于硬脆单晶圆柱外圆超声振动辅助磨削的全自动磨床
US11660762B2 (en) 2018-05-11 2023-05-30 Mp Zenrobotics Oy Waste sorting robot

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2011066C2 (en) * 2013-06-28 2015-01-05 Ig Specials B V Apparatus and method for sorting plant material.
FR3031048B1 (fr) * 2014-12-24 2016-12-30 Solystic Machine de tri postal avec une entree d'alimentation comprenant un bras robotise et un convoyeur a plat incline
FR3032365B1 (fr) * 2015-02-10 2017-02-03 Veolia Environnement-VE Procedure de tri selectif
WO2017044747A1 (fr) 2015-09-11 2017-03-16 Berkshire Grey Inc. Systèmes robotiques et procédés d'identification et de traitement de divers objets
ES2954904T3 (es) 2015-12-04 2023-11-27 Berkshire Grey Operating Company Inc Sistemas y métodos para el procesamiento dinámico de objetos
US10730078B2 (en) 2015-12-04 2020-08-04 Berkshire Grey, Inc. Systems and methods for dynamic sortation of objects
US9937532B2 (en) 2015-12-18 2018-04-10 Berkshire Grey Inc. Perception systems and methods for identifying and processing a variety of objects
EP4177691A1 (fr) * 2016-11-08 2023-05-10 Berkshire Grey Operating Company, Inc. Systèmes et procédés de traitement d'objets
EP4299490A3 (fr) 2016-11-28 2024-03-20 Berkshire Grey Operating Company, Inc. Système permettant d'assurer une séparation d'objets destinés à un traitement
EP3551553A1 (fr) 2016-12-06 2019-10-16 Berkshire Grey Inc. Systèmes et procédés pour permettre le traitement d'objets dans des véhicules
WO2018175294A1 (fr) 2017-03-20 2018-09-27 Berkshire Grey, Inc. Systèmes et procédés de traitement d'objets comprenant un système d'auto-navette
WO2018176033A1 (fr) 2017-03-24 2018-09-27 Berkshire Gray, Inc. Systèmes et procédés de traitement d'objets, comprenant un traitement automatisé
US11416695B2 (en) 2017-04-18 2022-08-16 Berkshire Grey Operating Company, Inc. Systems and methods for distributing induction of objects to a plurality of object processing systems
US10438034B2 (en) 2017-04-18 2019-10-08 Berkshire Grey, Inc. Systems and methods for processing objects including space efficient distribution stations and automated output processing
US11200390B2 (en) 2017-04-18 2021-12-14 Berkshire Grey, Inc. Systems and methods for separating objects using drop conveyors with one or more object processing systems
US11080496B2 (en) 2017-04-18 2021-08-03 Berkshire Grey, Inc. Systems and methods for separating objects using vacuum diverts with one or more object processing systems
US11301654B2 (en) 2017-04-18 2022-04-12 Berkshire Grey Operating Company, Inc. Systems and methods for limiting induction of objects to one or more object processing systems
US11205059B2 (en) 2017-04-18 2021-12-21 Berkshire Grey, Inc. Systems and methods for separating objects using conveyor transfer with one or more object processing systems
US11055504B2 (en) 2017-04-18 2021-07-06 Berkshire Grey, Inc. Systems and methods for separating objects using a vacuum roller with one or more object processing systems
CA3178148A1 (fr) 2017-04-24 2018-11-01 Berkshire Grey Operating Company, Inc. Systemes et procedes d'obtention d'une singularisation d'objets pour traitement par redistribution de mouvement d'objets
JP2018203480A (ja) * 2017-06-07 2018-12-27 株式会社東芝 仕分装置および仕分システム
CN107214108A (zh) * 2017-06-19 2017-09-29 太仓弘杉环保科技有限公司 一种高效智能化生产加工系统的工作方法
CN107661865A (zh) * 2017-06-19 2018-02-06 福建南方路面机械有限公司 建筑垃圾分拣前端检测系统
SE543130C2 (en) 2018-04-22 2020-10-13 Zenrobotics Oy A waste sorting robot gripper
EP3871168A1 (fr) 2018-10-23 2021-09-01 Berkshire Grey, Inc. Systèmes et procédés de traitement dynamique d'objets avec validation de données
CN112930547A (zh) 2018-10-25 2021-06-08 伯克希尔格雷股份有限公司 用于学习外推最佳物体运送和搬运参数的系统和方法
CA3088030C (fr) * 2018-10-25 2023-01-10 And Y Knot Innovation And Sales Inc. Dispositif d'empilement et d'empaquetage
CN109926354B (zh) * 2019-03-18 2020-12-25 佛山市利普达机械配件有限公司 一种用于物流分拣用传送带
CN110328148B (zh) * 2019-07-10 2021-06-08 广东华中科技大学工业技术研究院 一种屏幕检测筛选装置
CN110756464A (zh) * 2019-10-24 2020-02-07 北京京日东大食品有限公司 一种原料豆选豆工艺
CN111359908A (zh) * 2020-02-21 2020-07-03 苏州先迅检测科技有限公司 一种自动检测设备
CN111570326A (zh) * 2020-04-07 2020-08-25 西安航空学院 机电自动化物料分拣装置
CN111842178A (zh) * 2020-06-18 2020-10-30 苏州小优智能科技有限公司 一种流水线鞋坯3d扫描及智能分拣的设备及方法
CN112337807A (zh) * 2020-11-15 2021-02-09 李童 一种基于电子商务的自动分拣装置
WO2023042389A1 (fr) * 2021-09-17 2023-03-23 株式会社Pfu Dispositif de traitement d'objets
CN115138579A (zh) * 2022-06-28 2022-10-04 苏州启航电子有限公司 Ai视觉检测设备
FR3138331A1 (fr) 2022-07-26 2024-02-02 Tellux Procede de traitement automatique de deblais en forme de granulats sur convoyeur equipe d’un imageur hyperspectral
CN115365166B (zh) * 2022-10-26 2023-03-24 国家电投集团科学技术研究院有限公司 垃圾识别及分拣系统和分拣方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998019799A1 (fr) 1996-11-04 1998-05-14 National Recovery Technologies, Inc. Systeme de tri a robot telecommande
WO2009068792A2 (fr) 2007-11-07 2009-06-04 Veolia Proprete Procede et dispositif de tri selectif d'objets

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1258006B (it) * 1992-01-13 1996-02-20 Gd Spa Sistema e metodo per il prelievo automatico di oggetti
FR2725640B1 (fr) 1994-10-12 1997-01-10 Pellenc Sa Machine et procede pour le tri d'objets divers a l'aide d'au moins un bras robotise
US5675710A (en) 1995-06-07 1997-10-07 Lucent Technologies, Inc. Method and apparatus for training a text classifier
FR2842671B1 (fr) 2002-07-22 2005-03-04 Inst Nat Rech Inf Automat Compression de donnees numeriques robuste au bruit de transmission
US20070208455A1 (en) 2006-03-03 2007-09-06 Machinefabriek Bollegraaf Appingedam B.V. System and a method for sorting items out of waste material
AU2008205361B2 (en) * 2007-01-05 2012-06-14 Thomas A. Valerio System and method for sorting dissimilar materials
DE102007038837A1 (de) 2007-08-16 2009-02-19 BIBA - Bremer Institut für Produktion und Logistik GmbH Verfahren und Vorrichtung zur Umsetzung von Stückgut
FI20106090A0 (fi) 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
US9067744B2 (en) 2011-10-17 2015-06-30 Kabushiki Kaisha Yaskawa Denki Robot system, robot, and sorted article manufacturing method
JP6000579B2 (ja) * 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法
JP6364836B2 (ja) * 2014-03-14 2018-08-01 セイコーエプソン株式会社 ロボット、ロボットシステム、及び制御装置
US9266148B2 (en) * 2014-06-27 2016-02-23 Key Technology, Inc. Method and apparatus for sorting

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998019799A1 (fr) 1996-11-04 1998-05-14 National Recovery Technologies, Inc. Systeme de tri a robot telecommande
WO2009068792A2 (fr) 2007-11-07 2009-06-04 Veolia Proprete Procede et dispositif de tri selectif d'objets

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108144863A (zh) * 2016-12-02 2018-06-12 朱塞佩·普里泰利G.P.咨询简易两合公司 家具行业的面板生产线中精益生产的优化制造方法和系统
CN110076768A (zh) * 2018-01-25 2019-08-02 发那科株式会社 物品搬运系统以及机器人系统
US11660762B2 (en) 2018-05-11 2023-05-30 Mp Zenrobotics Oy Waste sorting robot
CN110856846A (zh) * 2018-08-24 2020-03-03 胜宏科技（惠州）股份有限公司 一种pcb板自动分拣系统及方法
CN111805309A (zh) * 2020-07-02 2020-10-23 哈尔滨工业大学 用于硬脆单晶圆柱外圆超声振动辅助磨削的全自动磨床
CN111805309B (zh) * 2020-07-02 2021-07-20 哈尔滨工业大学 用于硬脆单晶圆柱外圆超声振动辅助磨削的全自动磨床

Also Published As

Publication number Publication date
DK3056288T3 (en) 2018-04-23
FR3032366B1 (fr) 2017-02-03
US9682406B2 (en) 2017-06-20
FR3032366A1 (fr) 2016-08-12
EP3056288B1 (fr) 2018-03-14
US20160228921A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
EP3056288B1 (fr) Procédé et dispositif de tri selectif
EP3056289B1 (fr) Procédé et dispositif de tri sélectif
EP3134234B1 (fr) Procédé et installation de préhension automatique d'un objet
EP0706838B1 (fr) Machine et procédé pour le tri d'objets divers à l'aide d'au moins un bras robotisé
FR2923165A1 (fr) Procede et dispositif de tri selectif d'objets
US20190075732A1 (en) Automated plant trimmer
WO2011037481A1 (fr) Système de tri de diamants
JP2021503604A5 (fr)
US20150224544A1 (en) Method and apparatus for handling harvested root crops
FR3100140A1 (fr) Dispositif de tri pour produits agricoles, et procédé correspondant
CA3020716A1 (fr) Procede et dispositif d'orientation d'un fruit ombilique notamment en vue de son emballage
CN107138432A (zh) 非刚性物体分拣方法和装置
EP1703753B1 (fr) Procédé d'analyse du fonctionnement d'un réseau de télécommunication mobile cellulaire
CA2550440A1 (fr) Procede pour fusionner des lettres et des objets postaux de grand format et/ou non mecanisables dans une tournee unique du facteur
FR3044573A1 (fr) Procede et installation permettant de constituer un lot de pieces a partir de pieces situees dans des zones de stockage differentes
WO2015162364A1 (fr) Procédé, système et produit-programme d'ordinateur pour afficher une image d'un objet
WO2011030042A1 (fr) Procédé d'aide à l'indentification de produits non conformes triés manuellement et installation pour sa mise en oeuvre
EP2812161B1 (fr) Installation et procede pour l'accrochage automatique de pieces sur des supports complexes
EP3105014A1 (fr) Procédé et installation de dépose de produits individuels sur des supports plans alvéoles non indexes
EP4281930A1 (fr) Contrôle visuel d' un élément se déplaçant sur une ligne de production
CN215218257U (zh) 自动抽梗分梗装置
FR2868971A1 (fr) Methode d'identification et/ou de tri par pieces, d'objets ou de produits utilisables pour la preparation de commande, le suivi de production ou la validation de commande
Liu et al. Laser point detection based on improved target matching method for application in home environment human-robot interaction
EP3496874B1 (fr) Procede pour fusionner sur table des objets postaux avec des articles de courrier deja tries
CN104951291B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

17P Request for examination filed

Effective date: 20160916

RBV Designated contracting states (corrected)

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20170203

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: GRANT OF PATENT IS INTENDED

INTG Intention to grant announced

Effective date: 20171103

GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE PATENT HAS BEEN GRANTED

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

Ref country code: AT

Ref legal event code: REF

Ref document number: 978338

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180315

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: FRENCH

REG Reference to a national code

Ref country code: DE

Ref legal event code: R082

Ref document number: 602016002041

Country of ref document: DE

Representative=s name: NOVAGRAAF BREVETS, FR

REG Reference to a national code

Ref country code: DE

Ref legal event code: R096

Ref document number: 602016002041

Country of ref document: DE

REG Reference to a national code

Ref country code: NL

Ref legal event code: FP

REG Reference to a national code

Ref country code: DK

Ref legal event code: T3

Effective date: 20180416

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

REG Reference to a national code

Ref country code: LT

Ref legal event code: MG4D

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: HR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: LT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: NO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180614

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

REG Reference to a national code

Ref country code: AT

Ref legal event code: MK05

Ref document number: 978338

Country of ref document: AT

Kind code of ref document: T

Effective date: 20180314

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LV

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180614

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180615

Ref country code: RS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: PL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SM

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: AT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

REG Reference to a national code

Ref country code: DE

Ref legal event code: R026

Ref document number: 602016002041

Country of ref document: DE

PLBI Opposition filed

Free format text: ORIGINAL CODE: 0009260

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180716

PLAX Notice of opposition and request to file observation + time limit sent

Free format text: ORIGINAL CODE: EPIDOSNOBS2

26 Opposition filed

Opponent name: ZENROBOTICS OY

Effective date: 20181214

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

PLBB Reply of patent proprietor to notice(s) of opposition received

Free format text: ORIGINAL CODE: EPIDOSNOBS3

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: IE

Ref legal event code: MM4A

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190131

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190131

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20190121

PLBD Termination of opposition procedure: decision despatched

Free format text: ORIGINAL CODE: EPIDOSNOPC1

PLBP Opposition withdrawn

Free format text: ORIGINAL CODE: 0009264

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

REG Reference to a national code

Ref country code: DE

Ref legal event code: R100

Ref document number: 602016002041

Country of ref document: DE

PLBM Termination of opposition procedure: date of legal effect published

Free format text: ORIGINAL CODE: 0009276

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: OPPOSITION PROCEDURE CLOSED

27C Opposition proceedings terminated

Effective date: 20200409

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: IS

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180714

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT; INVALID AB INITIO

Effective date: 20160121

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20180314

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: LU

Payment date: 20230123

Year of fee payment: 8

Ref country code: FR

Payment date: 20230123

Year of fee payment: 8

Ref country code: DK

Payment date: 20230123

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: SE

Payment date: 20230123

Year of fee payment: 8

Ref country code: GB

Payment date: 20230124

Year of fee payment: 8

Ref country code: DE

Payment date: 20230119

Year of fee payment: 8

Ref country code: BE

Payment date: 20230123

Year of fee payment: 8

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20230124

Year of fee payment: 8

P01 Opt-out of the competence of the unified patent court (upc) registered

Effective date: 20230601

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: NL

Payment date: 20240123

Year of fee payment: 9

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: LU

Payment date: 20240122

Year of fee payment: 9